traveLink: Ist Google etwa ein Bad Bot?

Unser Honeypot meint ja

Wir haben hier auf traveLink einen Honeypot eingerichtet. Der identifiziert und blockt automatisch alle Bad Bots, die die Disallow-Regel missachten. Heute ist eine IP von Google in unser Honigtöpfchen getappt. The mother of all search engines missachtet die Disallow-Regeln? Really? NO! Es war zwar ein Zugriff aus dem IP-Range von Google (34.64.0.0 – 34.127.255.255), iniziert wurde er aber aus Singapore (129.126.xx.xx.bc.googleusercontent.com). CloudMania

Hintergrund: In der Datei robots.txt teilen Webseiten-Betreiber den Robots (bots) der Suchmaschinen exakt mit, welche Inhalte der Website sie durchsuchen dürfen. Mit „Disallow“ werden Webseiten-Inhalte explizit ausgenommen – so beschreibt Google die Funktionsweise.

Eine Antwort auf „traveLink: Ist Google etwa ein Bad Bot?“

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.