Generátor souborů Sitemap: Free Software Utility pro vytváření souborů HTML nebo Text Sitemap

Takže mi bylo přiděleno, abych se podíval na naše SEO (oblast, ve které mám nějaké, ale ne úžasné schopnosti), a první věc, kterou jsem si všiml, je, že náš soubor robots.txt říká následující:

# go away User-agent: * Disallow: / 

Nyní jsem docela schopný číst počítač a pokud vím, říká se, že VŠECHNY pavouci by se neměli dívat na NIC co v kořenovém adresáři nebo níže.

Čtu to správně? Protože se to zdá šílené.

Možná někdo nechtěl platit za provoz pavouků?

Bez ohledu na to ji čtete správně:

http://www.robotstxt.org/robotstxt.html

Vlastníci webových stránek používají soubor /robots.txt k poskytování pokynů o svých stránkách webovým robotům; tomu se říká Robots Exclusion Protocol. Funguje to takto: robot chce navštívit URL webových stránek, řekněme http://www.example.com/welcome.html. Než to udělá, nejprve zkontroluje http://www.example.com/robots.txt a najde:

 User-agent: * Disallow: / 

The 'User-agent: *' znamená, že tato část platí pro všechny roboty. The 'Disallow: /' říká robotovi, že by neměl navštěvovat žádné stránky na webu.

Při prvním vývoji webu jsem zavedl tento druh souboru robots.txt, protože nechci, aby jej indexoval Google a ostatní, než bude připraven.

Také jsem to zapomněl upravit poté, co byl web spuštěn. * facepalm *

  • Problém je v tom, že se jedná o web pro společnost zabývající se webovým designem za několik milionů dolarů s více než 35 zaměstnanci, která existuje již více než 15 let!
  • Hmm, sytič, ROFL

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?