Deep Crawl

Der Begriff deep crawl kommt aus dem Englischen und heißt übersetzt „Tiefen-Indexierung“. Dabei handelt es sich um eine spezielle Technik von manchen Suchmaschinen, die durch Deep crawl alle Unterseiten einer Webseite eigenständig crawlt und indexiert. Bei Suchmaschinen, die diese Technik nicht anwenden, ist die Erfassung der Unterseiten begrenzt bis zu einer bestimmten Verzeichnistiefe. Einige Suchmaschinen haben auch bestimmte Kriterien, nach denen entschieden wird, ob und welche Unterseite indexiert wird. Als Kriterium kann zum Beispiel die Link Popularity oder der Page Rank dienen. Suchmaschinen, die deep crawl jedoch anwenden, nehmen die Unterseiten automatisch und ohne extra Anmeldung in ihren Index auf, wenn die eigentliche Webseite bereits indexiert ist. Die Informationen werden vom Deep Crawl bis aus der untersten Ebene gelesen. Da dies sehr zeitintensiv ist, arbeiten die Suchmaschinen mit Wartezeiten, um eine Überbelastung des Servers vorzubeugen. Der Vorgang des Deep Crwaling kann sehr genau durch die Server-Logfiles beobachtet werden.