Google SEO


Ein Robot oder Spider ist ein Programm, was im Auftrag einer Suchmaschine das Word Wide Web abgrast, um neue Inhalte in den Index der Suchmaschine aufzunehmen. Der Robot gibt sich im Regelfall gegenüber der Website zu erkennen. Dies ermöglicht es dem Webmaster, einen Robot von der Indexierung abzuhalten; entsprechende Regeln werden in der robots.txt festgelegt. 

Findet der Robot auf einer Webseite einen Link, dann wird die damit verknüpfe Webseite zum Spidern ausgewählt und später auch eingelesen. Im Regelfall folgt der Robot jedem Link, der auf einer Webseite vorgefunden wird. Sind alle Webseiten einer Webpräsenz untereinander verlinkt, dann findet jeder Robot früher oder später jede Webseite des Webangebots



leave a comment
Please post your comments here.