Robot

Ein Robot oder Spider ist ein Programm, was im Auftrag einer Suchmaschine das Word Wide Web abgrast, um neue Inhalte in den Index der Suchmaschine aufzunehmen. Der Robot gibt sich im Regelfall gegenüber der Website zu erkennen. Dies ermöglicht es dem Webmaster, einen Robot von der Indexierung abzuhalten; entsprechende Regeln werden in der robots.txt festgelegt. 

Findet der Robot auf einer Webseite einen Link, dann wird die damit verknüpfe Webseite zum Spidern ausgewählt und später auch eingelesen. Im Regelfall folgt der Robot jedem Link, der auf einer Webseite vorgefunden wird. Sind alle Webseiten einer Webpräsenz untereinander verlinkt, dann findet jeder Robot früher oder später jede Webseite des Webangebots.

Hilfreich? Wenn ja, würden Sie es mit anderen teilen, die es auch zu schätzen wissen? Herzlichen Dank!
SEO Wiki
Previous reading
Lokale Suche im Internet, oder wer sucht der findet
Next reading
Richtlinien