Jak ČÍNA a Tchaj-wan chtějí VYPLATIT NA CORONAVIRUSU - VisualPolitik EN

Pokud nechci nastavovat žádné speciální chování, je v pořádku, když se neobtěžuji mít soubor robots.txt?

Nebo může být nedostatek škodlivého?

Nedostatek souboru robots.txt nebude škodlivý. Z webu robotstxt.org:

Umožnit všem robotům úplný přístup

Uživatelský agent: *
Zakázat:

(nebo jen vytvořte prázdný soubor „/robots.txt“ nebo ho nepoužívejte vůbec)

I když v souboru robots.txt nic neurčíte, je to dobrý způsob, jak informovat vyhledávače o umístění vašeho souboru XML Sitemap. Můžete to udělat přidáním řádku v horní části souboru robots.txt, který vypadá podobně jako:

Sitemap: http://www.example.com/sitemap-host1.xml

Měli byste také vědět, že pokud to nemáte, vytvoříte ve svých webových protokolech 404 položek.

  • +1 - dobrý souhrn, i když bych opravdu zdůraznil to, co Kinopiko již správně zdůraznil: stačí vytvořit ten nejzákladnější nebo dokonce prázdný vyhnout se těm 404 a (v závislosti na zpracování vašich stránek 404 stránkami) potenciálně docela dost provozu / šířky pásma, protože vyhledávací stroje použijí správné ovládání mezipaměti HTTP, aby přeskočilo stahování souboru znovu, pokud se nezmění, ať už je prázdný nebo ne.
  • Označeno jako wiki, upravujte, jak uznáte za vhodné.

Pokud nemáte soubor „robots.txt“, zobrazí se v protokolu chyb spousta 404 souborů, což může být jakousi nepříjemností, podobně jako pokud nemáte favicon.

  • 2 vynikající bod ..
  • 2 +1 - Chtěl bych dodat, že se neukládáte jen z větších a hlučných souborů protokolu, ale můžete (v závislosti na zpracování vašich stránek 404 stránkami) vyhněte se potenciálně docela nějakému provozu / šířce pásma také kvůli tomu, že většina 404 stránek je větší než jednoduchá robots.txt soubor, který bude navíc stažen méně často kvůli tomu, že vyhledávače používají správné ovládání mezipaměti HTTP.

Myslím, že ano mít aby bylo v pořádku, jinak by obrovské řádky webu byly webovými pavouky neindexovatelné.

Ne robots.txt je stejné jako „povolit indexování všemi“ robots.txt téměř podle definice.

Nedostatek souboru robots.txt ponechává na prohledávači, aby rozhodl, co může a co nemůže. Jelikož trvá jen několik sekund, než se vyhnete jakémukoli dvojznačnosti, proč neudělat jen takový, který umožní všem agentům přístup ke všemu?

No, protože robots.txt obsahuje adresu vašeho souboru Sitemap, její neexistence je potenciálně škodlivá.

  • soubory Sitemap jsou však užitečné pouze pro určité typy webových stránek, IMO
  • Také jsem viděl, jak prohledávače (zejména google) hledají /sitemap.xml nebo /sitemap.gz bez přítomnosti souboru robots.txt
  • Nemusíte mít svůj soubor Sitemap ve svém souboru robots.txt, můžete jej stejně odeslat do Google / Yahoo / Bing. Rozhodně to není „potenciálně škodlivé“.

V závislosti na vašem obsahu by neměly být problémy s tím, že nemáte soubor robotů, pokud budete mít rádi, aby byla každá stránka vašeho webu indexována vyhledávači.

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?