Crawler

Crawler ist eine andere Bezeichnung für Robot oder Spider. Dabei handelt es sich um spezielle Programme von Suchmaschinen, die auf selbständige Weise das Internet auf neue Informationsangebote durchsuchen. Dabei werden bestimmte Suchbegriff eingegeben, die im gesamten Web alle Seiten registrieren, die diese Suchbegriffe entweder in der einen oder in der anderen Form enthalten. Durch die Art der Arbeitsweise des Crawlers lässt sich die Qualität einer Suchmaschine beurteilen. Es kommt vor, das auch Suchmaschinen Crawler einsetzen, die fehlerhaft sind. Zum Beispiel beherrschen diese dann die http Protokolle nicht richtig oder eine korrekte Bearbeitung der URLs ist nicht möglich, wenn anstelle der absoluten ein relativer Pfad- und Dateiname innerhalb einer Präsenz eingesetzt wird. Hinzu kommt, dass manche Crawler schon einmal in eine Endlos Schleife geraten. Vor einigen Jahren entdeckte der Lycos-Spider beispielsweise die Live Suche von Fireball und suchte bei Fireball anstatt bei Lycos.