Focused Crawling

Die Suchmaschinen haben einen extremen Aufwand, die Milliarden von Seiten aus dem Internet zu erfassen. Um eine Vorstellung zu haben: Google, die bekannteste und meistgenutzte Suchmaschine, benötigt für die Erstellung eines neuen Index in etwa einen Monat. Durch Focused Crawling wird dieser Aufwand minimiert. Nur noch als wichtig erachtete Webseiten werden gespidert und nur ein bestimmter, festgelegter Teil von Seiten wird in regelmäßigen Abständen aufgesucht und aufgefrischt. Werden Webseiten beispielsweise nur selten oder gar nicht aktualisiert, werden diese von den Googlebots nicht so häufig aufgesucht, wie andere Webseiten, die regelmäßig aktualisiert werden. Die Häufigkeit der Indexierung richtet sich also nach der Häufigkeit der Aktualisierung einer Webseite. Die Aktualisierungen einer Webseite werden hierzu zunächst von der Suchmaschine gemessen. Mit dem Focused Crawling wird die Zeit, die für die Erstellung eines neuen Index benötigt wird, reduziert.