Responzivní šablona návrhu webových stránek v interiéru

Četl jsem odpovědi v této otázce, ale stále nechávají moji otázku otevřenou: Má Google mezipaměť robots.txt?

V Nástrojích pro webmastery Google jsem nenašel způsob, jak vyvolat opětovné stažení mého robots.txt.

Přes nějakou chybu, můj robots.txt byl nahrazen:

User-agent: * Disallow: / 

A teď byl veškerý můj obsah odstraněn z výsledků vyhledávání Google.

Je zřejmé, že mám zájem to opravit co nejdříve. Už jsem vyměnil robots.txt, ale nemohu najít způsob, jak Google aktualizovat verzi uloženou v mezipaměti.

  • 1 Pouhé zakázání všech vašich stránek v souboru robots.txt by mělo obecně platit ne stačí je zcela odstranit z výsledků Google, pokud na ně stále odkazují jiné weby.
  • Hmm, je to ošemetná věc. Zdá se, že adresy URL ZenCart matou robota prohledávače webů robots.txt a než se nadějete, zablokovali jste adresy URL, které nechcete blokovat. Moje zkušenost je, že je vám lépe bez souboru robots.txt, ale jen udržujete čistý web. Ztratil jsem mnoho míst s webovými hodnostmi kvůli blokování platných adres URL chybou souboru robots.txt. Protože ZenCart používá dynamické adresy URL, zdá se, že zaměňuje webový prohledávač robots.txt, což vede k blokování adres URL, u nichž neočekáváte blokování. Nejste si jisti, zda to souvisí s deaktivací kategorie v ZenCart a následným přesunem produktů z této kategorie a

Nemůžete je přimět, aby si znovu stáhli váš soubor robots.txt, kdykoli chcete. Google jej znovu prolezne a použije nová data, kdykoli se bude domnívat, že je to pro váš web vhodné. Mají tendenci jej pravidelně procházet, takže bych nečekal, že bude trvat dlouho, než bude nalezen váš aktualizovaný soubor a vaše stránky budou znovu procházeny a znovu indexovány. Pamatujte, že po nalezení nového souboru robots.txt může chvíli trvat, než budou vaše stránky znovu procházeny, a ještě více času, než se znovu objeví ve výsledcích vyhledávání Google.

  • 1 Podle nich kontrolují každý den nebo tak, ale pravděpodobně častěji kontrolují obsazenost stránek. Viz webmasters.stackexchange.com/a/32949/17430.

Když jsem spustil svůj nový web, čelil jsem stejnému problému www.satyabrata.com 16. června.

měl jsem Disallow: / v mém robots.txt, přesně jako Oliver. V Nástrojích pro webmastery Google byla také varovná zpráva o blokovaných adresách URL.

Problém byl vyřešen včera 18. června. Udělal jsem následující. Nejsem si jistý, který krok fungoval.

  1. Zdraví -> Načíst jako Google: robots.txt a domovská stránka. Poté odešlete do indexu.
  2. Nastavení -> Preferovaná doména: Zobrazit URL jako www.satyabrata.com
  3. Optimalizace -> Sitemap: Přidán soubor XML Sitemap.

Varovná zpráva o blokovaných adresách URL je nyní pryč a nová robots.txt se zobrazuje stažený v Nástrojích pro webmastery Google.

V současné době mám v Google indexovány pouze dvě stránky, domovskou stránku a robots.txt. Na webu mám 10 stránek. Doufám, že zbytek bude brzy indexován.

Měl jsem problém, kdy byly obrázky přesunuty na samostatný server CNAME a do složky obrázků byl vložen zákaz. Vyřešil jsem to tak, že jsem nechal soubor robots.txt načtený v Nástrojích pro webmastery číst web jako nástroj Google. Jakmile mi řekl, že načetl a přečetl soubor robots.txt, odeslal jsem ho. Tím se porušilo tříměsíční embargo na skenování obrázků, kde Google hlásil, že čte soubor robots.txt, ale nezměnil spidering tak, aby odpovídal pravidlům, která byla změněna, aby povolila složku obrázků. Během týdne byly obrázky znovu indexovány.

Možná to stojí za vyzkoušení. Je známo, že Google občas zasekne a nedokáže soubor znovu načíst.

  • Přečetli soubor asi 6 hodin poté, co jsem zveřejnil příspěvek. Nyní je vše v pořádku.
  • Fíha! Takže zpátky na trať!
  • Snažil jsem se požádat nástroje pro webmastery o načtení souboru robots.txt, stěžoval si, že byl souborem robots.txt odepřen :). Zdá se tedy, že tento trik nebude fungovat, pokud robots.txt dělá celý blok.
  • Stejné zde ... Žádost o robots.txt zamítnuta robots.txt! Cha!
  • Whelp, pokud dáte root, pak si myslím, že jste trochu SOL. V mém případě to byla podsložka, která byla odmítnuta, takže vynucení přečtení souboru robots.txt prostřednictvím poskytnutých mechanismů skutečně fungovalo.

Doufám, že vám tento odkaz pomůže procházet vaše webové stránky: https://support.google.com/adsense/answer/10532?hl=cs.

Odstranit / z vašeho robots.txt soubor.

  • O tom tato otázka není

V mém případě byl problém v tom, že jsem používal bezplatnou službu DNS nazvanou fear.org.

(moje bezplatná doména skončila v .us.to)

Jakmile jsem přešel na TLD, začalo to fungovat.

  • Nechápu, co má DNS nebo mít bezplatný web co do činění s robots.txt nebo sdělením Googlu, aby to znovu načetl.
  • @StephenOstermiller: Ani já nevidím, ale faktem je, že to v mém případě pomohlo.
  • Pomohlo to Googlu zkontrolovat váš soubor robots.txt?
  • @StephenOstermiller: Ano.

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?