Problémy společnosti AG Barr SKORČOVÁNÍ Reakce na Nasty Attack Jerryho Nadlera

Obecně chci, aby byla moje stránka indexována, ale existují určité soubory, které si nepřeji, aby byly prohledávatelné z Google, Yahoo atd.

Vím, že můžete zablokovat indexování vašeho webu pomocí souboru robotů, ale co když chci, aby nebyly indexovány pouze určité soubory?

K tomu můžete použít také soubor robots.txt. Pak byste napsali několik nepovolených příkazů. Zde jsou nějaké příklady:

Disallow: /tmp Disallow: /logs 

Další informace najdete ve specifikaci souboru robotů.

Uvědomte si však, že ne každý pavouk tento soubor respektuje. Možná tedy potřebujete další metody jako např. metaznačku nofollow, pokud si chcete být jisti.

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?