Robots.txt 生成器
可视化配置 · 多模板 · 处理多个 User-Agent · sitemap 设置 · 下载/复制
Robots.txt 生成器
可视化配置，快速生成搜索引擎爬虫规则文件
快速模板
输出选项
屏蔽爬虫
一键完全禁止特定爬虫访问整个网站
规则配置
预览
# robots.txt # 使用左侧面板配置规则 User-agent: * Allow: /
Sitemap
已添加的规则
暂无规则，请使用左侧面板添加
功能说明
可视化规则
不需手写语法，点击按钮即可生成 Allow/Disallow 规则。
多模板
包含博客/电商/WordPress/全允许/全屏蔽等预设。
多 UA 支持
可为 Google/Bing/百度/搜狗/360/Yandex/GPTBot 等单独设置规则。
一键导出
生成后可下载 robots.txt 文件或复制到剪贴板。
常见问题
robots.txt 要放在哪里?
必须放在网站根目录，如 https://example.com/robots.txt。
robots.txt 必需吗?
不必需。但推荐提供，以控制搜索引擎抓取范围。
如何验证?
可使用 Google Search Console 的「robots.txt 测试器」验证。