3 typy zlých chlapců, kterým je třeba se vyhnout | Proč dobré dívky mají rádi špatné chlapce

Používám web WordPress s AWS, konkrétně službu Cloudfront, která slouží z cloudu k CSS, obrázkům a JS.

V poslední době jsem si všiml mnoha zásahů od robotů pocházejících z:

  • IP: 54.236.71.87 Název hostitele: ec2-54-236-71-87.compute-1.amazonaws.com
  • IP: 54.147.229.75 Název hostitele: ec2-54-147-229-75.compute-1.amazonaws.com
  • IP: 34.207.96.105 Název hostitele: ec2-34-207-96-105.compute-1.amazonaws.com
  • IP: 52.202.239.36 Název hostitele: ec2-52-202-239-36.compute-1.amazonaws.com
  • IP: 34.203.222.34 Název hostitele: ec2-34-203-222-34.compute-1.amazonaws.com
  • ...

Goeip je vystopoval do Ashburnu v USA. Procházejí téměř každou minutu všechny kanály RSS na mých webových stránkách (příspěvky, kategorie) pocházející z adresy https://www.google.com/.

Jejich uživatelský agent je trochu náhodný:

Browser: undefined Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9a3pre) Gecko/20070330 

nebo:

Browser: Chrome version 0.0 running on MacOSX Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17 

nebo:

Browser: undefined Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.13; ) Gecko/20101203 

Jak mohu zjistit, co chtějí? Souvisí s generováním mezipaměti pro Cloudfront?

Zajímalo by mě, protože za posledních 9 dní byla více než polovina šířky pásma mého hostování spotřebována neidentifikovanými roboty.

Připadají mi jako roboti / prohledávače běžící na instancích EC2, spíše než cokoli společného s Cloudfront. AWS zde zveřejňuje seznam rozsahů IP používaných službou Cloudfront: https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/LocationsOfEdgeServers.html

Pravděpodobně shromažďují obsah nebo e-mailové adresy, hledají zranitelné aplikace, otevírají formuláře komentářů, kde mohou zveřejňovat spam spamu, nebo něco jiného, ​​co není ve váš prospěch. Bohužel není neobvyklé, že velká část vašeho provozu pochází z takových robotů.

Možná budete chtít blokovat tyto IP adresy ve skupině zabezpečení pro vaši instanci nebo ELB. Pokud tyto IP adresy narážejí na vaše původní servery, místo aby procházely cloudfrontem a pro přístup k těmto serverům používáte pouze cloudfront, můžete zvážit použití něčeho podobného, ​​které blokuje vše kromě IP adres cloudfront https://github.com/awslabs/aws- cloudfront-samples / tree / master / update_security_groups_lambda

Pracoval pro vás: Charles Robertson | Chcete nás kontaktovat?