Bots und Crawler - die Erfasser des Internet

Bots, Webcrawler oder Crawler sind Programme, die das Internet automatisch absuchen. Dabei werden Internet-Server der Reihe nach angesteuert die Dateien, die sie enthalten, der Reihe nach erfasst.

Robots (Bots) sind eigentlich alle Programme, die nach ihrem Start ein definiertes Set von sich Aufgaben autonom erfüllen können. Oft sind dies wiederholende Tätigkeiten (Schleifen). Ihre "autonome" Qualität unterscheidet sie von "Scripts" oder "Batch-Files", die meist manuell aufgerufen werden müssen. Bots arbeiten innerhalb einer spezifischen Umgebung, die ein Chat-Room, ein Betriebssystem oder der IP-Adressraum sein kann, und werden meist für eine der folgenden Aufgaben eingesetzt:

• Überwachung
• Durchsuchung
• Bereitstellung von Diensten

Die repetitive Natur von Bots macht sie sehr geeignet zur Durchführung von Indizierungs-Aufgaben. Selbst Indizierungen von astronomischer Größe sind damit durchführbar. Bots, die das Internet durchsuchen und dabei Inhalte erfassen und/oder bewerten, nennt man Webcrawler oder Crawler. Die Grenzen sind jedoch fließend, der Webcrawler der bekanntesten Suchmaschine "Google" beispielsweise heißt "Googlebot".

Lexikon-Index