So arbeitet die Spider

Die Spider holt die Dokumente aus dem WWW heran, damit Sie indiziert und in der Datenbasis des erfaßt werden können.

Ausgehend von der von Ihnen angegebenen Adresse folgt Sie den HTML-Links auf den gleichen Server. Dabei werden nach der Startadresse selbst alle direkt von der Startadresse aus erreichbaren Dokumente geholt, danach die nur über letztere erreichbaren usw. Bei größeren Angeboten erfassen wir eventuell überhaupt nur einen Teil der Seiten oder die tieferen Schichten nicht bei jedem Besuch des . Unsere Spider erfaßt nur HTML-Dokumente. Mit einigen Links hat sie noch Schwierigkeiten:

• JavaScript (immer)
• Client-Side-Imagemaps (teilweise)
• Frames (manchmal)

Sie wollen nicht nur bestimmen, was der zu sehen bekommt sondern auch, was nicht? Kein Problem, denn er fragt bei jedem Besuch zuerst die Datei /robots.txt ab und beachtet den robot-exclusion-standard. Der ggf. als User-agent einzutragende Name ist natürlich BeSucher.