Ve statistikách na mém hostitelském účtu vidím, že mezi běžnými návštěvami stránek a návštěvami robotů je velký rozdíl. Myslím, že roboti způsobují vysoké využití procesoru na serveru.

Co bych měl hledat v protokolech přístupu na web, abych se pokusil identifikovat problém, a jakmile budu identifikován, jak mohu nastavit řízení přístupu, abych tomu zabránil?

Pokud roboty, máte na mysli prohledávače, pak by jednoduchý soubor robots.txt měl být schopen opravit problém pro roboty, kteří se ho skutečně drží. Existuje jen málo, co lze udělat, aby se zabránilo těm, kteří tak neučiní, kromě jejich blokování na úrovni sítě.

Soubor robots.txt lze použít k přidání prohledávačů na bílou listinu nebo na černou listinu nebo ke konkrétním částem webu. Pokud máte místo toho k dispozici nějaký statický materiál (nebo statické verze kopie řízené databází), můžete tam nasměrovat prohledávače, aniž byste příliš obětovali z pohledu aktuálnosti.

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?