Jamestown Revival - Crazy World (Judgment Day) (Audio)

Pracoval jsem více na filtru bot pro svůj web, ale v žádném případě není úplný.

Zatím mám ty hlavní:

Google, Yahoo, MSN, Baidu, Amazon a několik dalších ...

Právě teď používám filtr k porovnání adresy URL doporučení, existující domény a známých prohlížečů vs. jiných než prohlížečových uživatelských agentů.

Existují nějaké další dobré techniky k detekci, zda zásah pochází od robota nebo ne?

Existují nějaké další dobré techniky k detekci, zda zásah pochází od robota nebo ne?

Záleží na tom, na jakou odrůdu robotů lovíte - zde je několik tipů pro izolaci škodlivých robotů:

  • Hledejte požadavky na neexistující (nebo omezený přístup) administrativní skripty, e-mailové skripty atd.
  • Hledejte téměř okamžité načtení obsahu vašeho webu
  • Hledejte opakované zásahy do svých zdrojů (zejména pokud víte, že se váš obsah používá na škrabkách)

Můžete také zkontrolovat web user-agent.org, kde najdete některé z nejasnějších agentů vyhledávacích robotů, které můžete očekávat, a podívat se na stránku Kde najdu seznam uživatelských agentů prohledávače vyhledávacích strojů a jejich názvy domén? vlákno založené Dev před několika dny.

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?

užitečné informace