Googlebot

Der Googlebot ist der so genannte Webrawler der Suchmaschine Google. Ein Crawler ist ein Programm, welches automatisch Internetseiten durchsucht und diese auf ihren Inhalt hin analysiert. Der Googlebot nimmt selbstverständlich nur Seiten auf, die in den Google-Index einfließen sollen. Ein wichtiges Kriterium für die Frequenz des Besuches auf ein Homepage sind die externen Links, die auf die bestimmte Homepage verweisen und selbstverständlich die Höhe des so genannten Page-Ranks. Für die Suche werden vom Googlebot die robots.txt-Datei verwendet und die Anweisungen in den Metatags. Im Durschnitt greift Googlebot alle paar Sekunden auf jede Webseite zu. Das Durchlaufen des Googelbots von den Webseiten ist kein Garant dafür, dass diese Seiten auch in den Index aufgenommen werden. Ein Faktor der dagegen spricht, wäre die Enthüllung einer Dublikat-Seite. Es ist auch möglich, durch den Befehle <META NAME="Googlebot" CONTENT="nofollow"> den Googlebot daran zu hindern, gewisse Seiten zu durchlaufen.