Robots.txt

Bei Robots.txt handelt es sich um eine Textdatei, die der Robot einer Suchmaschine beim Besuch der Webseite als erstes liest. Diese Textdatei liegt im Hauptverzeichnis (Root-Directory) einer Domain und steuert die Indexierung der Suchmaschine. In dieser Textdatei wird im Prinzip festgelegt ob der Robot die Webseite besuchen darf und wie er dieses darf. Somit können beispielsweise bestimmte Seiten für einen Robot gesperrt werden, oder auch die Seiten für bestimmte Robots gesperrt werden. Dies gibt den Betreibern eines Webseite die Möglichkeit ausgesuchte Dateien für bestimmte Suchmaschinen zu sperren, beispielsweise ist dies von Vorteil, wenn es sich um nicht aktuelle Dokumente handelt. Robots.txt kann als Standard betrachtet werden, da es heute allgemein anerkannt wird, es wurde im Jahre 1994 bereits entwickelt. Diesbezüglich muss man heute jedoch zwischen „freundlichen“ Robots und „aggressiven“ Robots unterscheiden. Die ersten halten sich an das vorhandene Protokoll, die letzteren missachten dieses (zum Beispiel E-Mail Sammler und Gästebuch-Spammer).