Robots.txt 生成器

创建包含爬虫专属规则、常见限制、可选抓取延迟和站点地图网址的 robots.txt 文件。

站点设置
爬虫预设
所选爬虫的规则
常见限制
已生成的 robots.txt
就绪
配置您的爬虫规则,然后生成 robots.txt 文件。
在您的浏览器中生成