Bad Bots: Sie sind wie Pest, Cholera und Aids

Roboter, Bots, können Webseiten lahmlegen

Der Googlebot war der erste Roboter, der Web-Inhalte eigenständig analysiert und kategorisiert. Im September 1997 ging die Suchmaschine unter dem Namen Google online. Zuvor gab es nur Webkataloge wie Altavista oder Yahoo. Der Googlebot revolutionierte das Internet, machte es zugänglich. So viel zur Geschichte und den Good Bots. Und jetzt zur Realität: Bad Bots bombardieren traveLink.

Bisher haben wir die Bad Bots über robots.txt und .htaccess manuell geblockt = hoher Aufwand. Das überlassen wir besser anderen, die das besser verstehen. Wir haben das Plugin Stop Bad Bots installiert. Und das blockt so um die 1.500 Seitenaufrufe von Bad Bots pro Tag. Good Job