免费 · 无需注册 · 浏览器本地处理
Robots.txt 生成器：爬虫分组、路径与站点地图
按爬虫分组配置允许与禁止的路径，填写站点地图网址并下载 robots.txt；安装到自己的域名前先核对生成文字。
爬虫规则
使用步骤
添加 User-agent 分组，每行填写一个路径，下载后放到自己的域名根目录。
使用前请检查
robots 约束愿意遵守规则的爬虫，不是私密内容访问控制；本工具不会抓取或安装文件。
试一个例子
为 * 允许 /assets/、禁止 /draft/，并填写 https://example.com/sitemap.xml。
计算或处理方式
逐组生成明确的爬虫与路径规则，删除重复路径，并拒绝通过换行插入额外指令。
常见问题
按爬虫分组生成 Allow、Disallow 与站点地图声明。
如何使用Robots.txt 生成器？
添加 User-agent 分组，每行填写一个路径，下载后放到自己的域名根目录。
数据会上传吗？
工具在当前浏览器内处理输入与文件。页面访问统计不包含这些输入内容。
有哪些限制？
robots 约束愿意遵守规则的爬虫，不是私密内容访问控制；本工具不会抓取或安装文件。