Suchmaschinen im Internet: Bing und Google verbrauchen Ressourcen ohne Ende

traveLink ist eine sehr kleine Website im Internet, erhält dafür aber jede Menge Request von den grossen beiden Suchmaschinen Bing und Google. Besonders negativ fällt dabei der Bot von Bing auf – bingbot/2.0 – 10-20 Anfragen in 5 Minuten sind nicht aussergewöhnlich. Der Bot von Google – Googlebot/2.1 – ist weniger auffällig. Alle anderen Crawler-Anfragen liegen im grünen Bereich, meistens für unsere RSS-Feeds. Da von Bing so gut wie kein traffic bei traveLink ankommt, werden wir diesen Bot vermutlich bald blocken. Please Don’t Talk About Me When I’m Gone