WebsRow

Robots.txt- Generator

Erstellen Sie eine robots.txt-Datei mit crawlerspezifischen Regeln, gängigen Einschränkungen, optionaler Crawl-Verzögerung und Ihrer Sitemap-URL.

Website-Einstellungen
Bot-Voreinstellungen
Regeln für den ausgewählten Bot
Gängige Einschränkungen
Erzeugte robots.txt
Bereit
Konfigurieren Sie Ihre Crawler-Regeln und erzeugen Sie dann Ihre robots.txt-Datei.
In Ihrem Browser erzeugt