Yahoo Slurp

Ursprünglich sprach man nur von “Slurp” und damit wurde der Spider von der Suchmaschine Inktomi bezeichnet. Die Suchmaschine Inktomi wurde allerdings im Jahr 2003 von Yahoo aufgekauft und dementsprechend wurde der Name des Spiders Anfang des Jahres 2004 in den Namen Yahoo Slurp umgewandelt. Man vermutet, dass der Yahoo Slurp die Suchmaschinen Grundlage für die Suchmaschine von Yahoo bildet. Die Aufgabe des Yahoo Slurp ist es, das Internet kontinuierlich nach aktuellen und neuen Inhalten zu durchsuchen. Der Yahoo Slurp crawled im Vergleich zum Googlebot (dieser verfügt über unterschiedliche Crawlfrequenzen) bedeutend gleichmäßiger durch das Web. Alle Dokumente, die der Yahoo Slurp einliest werden in den Index von Yahoo aufgenommen, dies erfolgt in der Regel relativ schnell. Daher ist es wichtig bei der Erstellung einer Webseite darauf zu achten, dass diese auch von den verschiedenen Spidern/Crawlern der Suchmaschinen gefunden werden, denn sonst kann keine Aufnahme in das Index erfolgen, was bedeuten würde, dass die entsprechende Webseite nicht in der Suchmaschine vertreten ist.