免费工具
Robots.txt 生成器
生成包含站点地图发现规则的 robots.txt。
在浏览器中处理，输入内容不会上传。
输入
粘贴文本或读取本地文本文件，不会保存到浏览器存储中。
Ctrl / Cmd + Enter 执行结果
结果将在这里显示。
关于这个工具
用文本文件为网站准备爬虫访问说明。User-agent 与规则独立配置，可加入已有站点地图地址，无需手动改写生成结果。
适用场景
- 为新网站准备爬虫规则。
- 检查允许和禁止抓取的路径。
- 加入已有站点地图地址。
如何使用
- 设置 User-agent 并填写规则或注释。
- 如果已有站点地图，填写有效 URL。
- 生成、检查后将 robots.txt 部署到网站根目录。
输入与输出示例
输入
User-agent：* 规则：Allow: /；Disallow: /private/
输出
User-agent: * Allow: / Disallow: /private/
使用说明与限制
- robots 规则是爬虫说明，不是认证或访问控制。
- 禁止抓取不能可靠替代 noindex 指令。
- 不同爬虫可能支持不同扩展，使用 Crawl-delay 前请核对目标爬虫。
常见问题
robots.txt 能保护私密文件吗？
不能，机密资源应使用真正的访问控制，不能依赖爬虫是否遵守规则。
生成器会向搜索引擎提交文件吗？
不会，它只生成本地文本文件，由你部署并验证。