Volltextindexierung
Von einer Volltextindexierung spricht man bei einigen großen und leistungsfähigen Suchmaschinen, die den gesamten textlichen Inhalt auf einer Webseite indexieren. Diese Indexierung wird vollautomatisch durch sogenannte Robot bzw. Spider vorgenommen. Jedes neue Dokument, welches von Robots/Spidern gefunden wird, wird innerhalb der Datenbank der jeweiligen Suchmaschine verschlagwortet. Wie diese Verschlagwortung im einzelnen geschieht ist von Suchmaschine zu Suchmaschine unterschiedlich. Manche indexieren jedes Wort, andere beschränken auf den Titel oder Absätze des jeweiligen Dokumentes. Dabei werden die gesammelten Daten meist nicht als Kopie gespeichert, denn das würde einen sehr hohen Speicheraufwand bedeuten. Die meisten Volltext-Suchmaschinen arbeiten daher mit einer Index-Tabelle, die sich strukturiert in Form von Ja und Nein. Dadurch lässt sich die Speichergröße der Dokumente erheblich verringern, wodurch eine höhere Suchgeschwindigkeit gewährleistet werden kann. Die einzelnen Volltext-Suchmaschinen unterscheiden sich in ihrer Indexierungsbreite und –tiefe.