Robots TXT Generator

Wenn Suchmaschinen eine Website durchsuchen, suchen sie zuerst nach einer robots.txt-Datei im Domänenstamm. Wenn sie gefunden werden, lesen sie die Liste der Direktiven der Datei, um zu sehen, welche Verzeichnisse und Dateien, falls vorhanden, am Crawlen gehindert werden. Diese Datei kann mit einem robots.txt Datei-Generator erstellt werden. Wenn Sie einen robots.txt-Generator verwenden, können Google und andere Suchmaschinen dann herausfinden, welche Seiten auf Ihrer Website ausgeschlossen werden sollen. Mit anderen Worten, die von einem robots.txt-Generator erstellte Datei ist wie das Gegenteil einer Sitemap, die angibt, welche Seiten eingebunden werden sollen.

Benutzerdefinierte User-Agent-Direktiven erstellen

In unserem robots.txt Generator können Google und verschiedene andere Suchmaschinen innerhalb Ihrer Kriterien angegeben werden. Um alternative Direktiven für einen Crawler anzugeben, klicken Sie auf das Listenfeld, um den Bot auszuwählen. Wenn Sie auf Direktive hinzufügen klicken, wird der benutzerdefinierte Abschnitt der Liste mit allen generischen Direktiven hinzugefügt, die in der neuen benutzerdefinierten Direktive enthalten sind. Um eine generische Disallow-Direktive in eine Allow-Direktive für den benutzerdefinierten Benutzeragenten zu ändern, erstellen Sie eine neue Allow-Direktive für den spezifischen Benutzeragenten für den Inhalt. Die entsprechende Disallow-Direktive wird für den benutzerdefinierten Benutzeragenten entfernt.

Sie können auch einen Link zu Ihrer XML-basierten Sitemap-Datei hinzufügen. Geben Sie die vollständige URL für die XML-Sitemapdatei in das Textfeld XML-Sitemap ein. Klicken Sie auf Aktualisieren, um diesen Befehl zur Dateiliste robots.txt hinzuzufügen.

Klicken Sie anschließend auf Exportieren, um Ihre neue robots.txt-Datei zu speichern. Verwenden Sie FTP, um die Datei in den Domänenstamm Ihrer Website hochzuladen. Mit dieser hochgeladenen Datei aus unserem robots.txt-Generator weiß Google oder andere angegebene Websites, welche Seiten oder Verzeichnisse Ihrer Website bei der Suche nicht angezeigt werden sollen.

Hilfreich? Wenn ja, würden Sie es mit anderen teilen, die es auch zu schätzen wissen? Herzlichen Dank!
Tools Wiki
Vorheriger Beitrag
Google XML Sitemaps Arne Brachhold
Nächster Beitrag
Homepage Optimieren kostenlos

Cookie-Einstellung

Bitte wählen Sie eine Option aus. Weitere Informationen zu den Auswirkungen Ihrer Auswahl finden Sie unter Hilfe.

Wählen Sie eine Option, um fortzufahren

Ihre Auswahl wurde gespeichert!

Hilfe

Hilfe

Um fortzufahren, müssen Sie eine Cookie-Auswahl treffen. Im Folgenden werden die verschiedenen Optionen und ihre Bedeutung erläutert.

  • Alle Cookies akzeptieren!:
    Alle Cookies wie Tracking und Analyse-Cookies.
  • First Party Cookies akzeptieren!:
    Nur Cookies von dieser Website.
  • keine Cookies zulassen!:
    Es werden keine Cookies gesetzt, außer solche, die aus technischen Gründen notwendig sind.

Sie können Ihre Cookie-Einstellung hier jederzeit ändern: Datenschutzerklärung. Impressum

Zurück