Unser Honeypot meint ja
Wir haben hier auf traveLink einen Honeypot eingerichtet. Der identifiziert und blockt automatisch alle Bad Bots, die die Disallow-Regel missachten. Heute ist eine IP von Google in unser Honigtöpfchen getappt. The mother of all search engines missachtet die Disallow-Regeln? Really? NO! Es war zwar ein Zugriff aus dem IP-Range von Google (34.64.0.0 – 34.127.255.255), iniziert wurde er aber aus Singapore (129.126.xx.xx.bc.googleusercontent.com). CloudMania
Hintergrund: In der Datei robots.txt teilen Webseiten-Betreiber den Robots (bots) der Suchmaschinen exakt mit, welche Inhalte der Website sie durchsuchen dürfen. Mit „Disallow“ werden Webseiten-Inhalte explizit ausgenommen – so beschreibt Google die Funktionsweise.
Ist Google doch ein Bad Bot?
Unser Honigtöpfchen hat heute den Google Bot geblockt. Google don’t be evil
2021/11/05 @ 07:35:57 pm
IP Address: 66.249.7x.xxx
Host Name: crawl-66-249-76-146.googlebot.com