Robots.txt 生成器

可视化配置，快速生成搜索引擎爬虫规则文件

快速模板

输出选项

屏蔽爬虫

一键完全禁止特定爬虫访问整个网站

规则配置

预览 

# robots.txt
# 使用左侧面板配置规则

User-agent: *
Allow: /

Sitemap

已添加的规则

暂无规则，请使用左侧面板添加

使用说明

工具介绍

本工具用于可视化配置并生成 robots.txt 文件。robots.txt 是网站告知搜索引擎爬虫哪些路径可抓取、哪些禁止抓取的协议文件。通过本工具，您可以快速配置规则，生成标准的 robots.txt 文件并下载到网站根目录。

使用步骤

  1. 选择快速模板（如"允许所有"、"博客站点"等）快速生成基础配置，或从零开始配置。
  2. 如需屏蔽特定爬虫，点击"屏蔽爬虫"区域的按钮，一键禁止该爬虫访问整个网站。
  3. 在"规则配置"中选择 User-Agent，添加 Allow 或 Disallow 规则，指定允许或禁止的路径。
  4. 可添加 Sitemap 地址，帮助搜索引擎发现网站地图。
  5. 在"预览"区域查看生成的 robots.txt 内容，确认无误后点击"复制"或"下载"。
  6. 将下载的 robots.txt 文件上传到网站根目录（与 index.html 同级）。

结果说明

User-Agent：指定规则适用的爬虫，使用 * 表示所有爬虫。
Allow/Disallow：允许或禁止访问的路径，支持通配符 * 和 $ 符号。
Crawl-delay：爬取延迟时间（秒），用于控制爬虫访问频率。
Sitemap：网站地图地址，帮助搜索引擎发现和索引网站内容。

适用场景

网站管理员需要配置爬虫规则；SEO 人员优化网站收录；开发者需要屏蔽 AI 爬虫或特定搜索引擎；新建网站需要快速生成 robots.txt 文件。本工具所有操作在浏览器本地完成，不会上传任何数据到服务器。

常见问题

生成的 robots.txt 文件应该放在哪里？

必须放在网站根目录下，即与首页（如 index.html）同级。访问 https://yourdomain.com/robots.txt 应该能够直接访问到该文件。

如何屏蔽 AI 爬虫？

点击"屏蔽爬虫"区域的 GPT、CCBot 或 Claude 按钮，即可一键禁止这些 AI 爬虫访问整个网站。也可以手动添加规则，针对特定路径进行限制。

Allow 和 Disallow 的优先级是什么？

robots.txt 采用最长匹配原则。如果同时存在 Allow 和 Disallow 规则，会优先匹配更具体的路径。例如 Allow: /public/ 和 Disallow: /public/admin/，则 /public/admin/ 会被禁止。

数据会上传到服务器吗？

本工具所有操作在浏览器本地完成，不会上传任何配置数据或生成的 robots.txt 内容到服务器。您可以放心使用。

如何测试 robots.txt 是否生效？

上传文件后，访问 https://yourdomain.com/robots.txt 确认文件可访问。使用 Google Search Console 或 Bing Webmaster Tools 的 robots.txt 测试工具验证规则是否正确。