开发工具 · 使用说明
Robots.txt 生成器
可视化生成搜索引擎抓取规则。
这个工具能做什么
可视化生成搜索引擎抓取规则。 工具直接在浏览器中运行，输入内容不会因为转换操作自动上传到服务器。
适用场景
适合开发、调试、部署配置和代码审查过程中的快速处理。
具体使用方法
- 填写 User-agent，通常可从 * 开始。
- 逐行添加 Allow 与 Disallow 路径。
- 按需填写 Sitemap 的完整 URL。
- 生成并保存为站点根目录的 robots.txt。
注意事项
robots.txt 是抓取建议而不是访问控制，敏感页面仍需身份验证。