Duchovní účel náročných časů s Nealem Donaldem Walschem

Lze třídit robots.txt tudy:

User-agent: DESIRED_INPUT Sitemap: https://example.com/sitemap-index.xml Disallow: / 

namísto:

User-agent: DESIRED_INPUT Disallow: / Sitemap: https://example.com/sitemap-index.xml 

Předpokládám, že oba jsou v pořádku, protože je pravděpodobné, že soubor je sestaven ve správném pořadí obecně všemi prohledávači. Je to osvědčený postup Disallow: před Sitemap: zabránit extrémně nepravděpodobné chybě špatné kompilace procházení prohledávače před ignorováním Disallow:?

V tomto případě to nevadí. Uvedl bych adresu URL souboru Sitemap na samém konci stránky robots.txt, aby věci nebyly náhodně zmatené (nemá smysl mít to uprostřed směrnice), ale technicky to nezmění. Chtěli byste mít věci řádně objednané pro sebe a pro kohokoli jiného, ​​kdo pracuje na webu.

V prvním příkladu prohledávač uvidí jeho název, který byl vyvolán, poznamená si adresu URL souboru Sitemap, prohledá ji v určitém okamžiku při procházení vašeho webu a mezitím bude pokračovat v seznamu směrnic.

Bude na tom záležet, pokud místo User-agent: *, napsal jsi User-agent: Googlebot? Poukáže to pouze na soubor Sitemap pro Google a ne pro Bing nebo jiné prohledávače? Pokud je váš soubor Sitemap v kořenovém adresáři vaší domény a není jinak blokován nebo nedostupný, vyhledávače jej při procházení vašeho webu stejně najdou. Směrnice o souboru Sitemap je ve skutečnosti volitelná, což je spíše tradiční věc, jakou SEO dělá. (Pokud jej neuvíznete v adresáři, který prohledávačům není zřejmý, v takovém případě byste jej měli přesunout do kořenového adresáře, pokud je to možné.) Samozřejmě, pokud jde o to, aby výslovně ukázal váš soubor Sitemap všem prohledávačům dole nebo nahoře, bude to dávat větší smysl.

Na čem záleží (poněkud - ne pro hlavní roboty, podle poznámek MrWhite níže), kam jste vložili Allow vs. Disallow. Řekněme, že máte následující:

User-agent: * Allow: /category/stuff Disallow: /category/ 

V takovém případě je nejlepší postup dát Allow zaprvé, aby nebyla šance, že prolézací modul mimo hlavní proud uvidí zablokovaný adresář a nebude se obtěžovat kontrolou jediného povoleného souboru uvnitř.

  • 1 „Na čem záleží, je to, kam dáte Allow vs. Disallow ... nejlepší praxe je dát Allow první "- Pro maximální kompatibilitu; ano. Ačkoli by to mělo být přísně řečeno, mělo by to být nejkonkrétnější pravidlo jako první, bez ohledu na to, zda je Allow nebo Disallow - Ačkoli Allow od směrnic se očekává, že budou konkrétnější, takže by přirozeně šly na první místo.
  • 1 Všechny běžné roboty vyhledávacích strojů (Googlebot, Bingbot, YandexBot, ...) se však shodují podle nejdelší (nejkonkrétnější) cesty (která je v souladu s nedávno navrženým specifikací - „Robots Exclusion Protocol“), bez ohledu na pořadí pravidel. Takže pro běžné vyhledávací roboty na tom vlastně nezáleží kde dal jsi Allow a Disallow směrnice.
  • Děkujeme za poznámky a odkaz na specifikaci, @MrWhite - dává smysl. Upravil jsem svou odpověď tak, aby obsahoval odkaz na vaše aktualizace.

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?