robots.txt 生成器

按 robots 协议标准字段化生成 robots.txt，一键下载部署。

1. 站点信息

2. 生成规则（依据 robots 协议标准）

常用值：*（所有爬虫）/ Googlebot（谷歌）/ Baiduspider（百度）/ Bingbot（必应）/ 360Spider（360）

robots.txt 是什么？

robots.txt 是放在网站根目录的纯文本协议文件（https://域名/robots.txt），用于告诉搜索引擎爬虫：哪些页面可以抓取、哪些页面不要抓取。绝大多数搜索引擎（百度、谷歌、必应、360 等）都会在抓取网站前先读取这个文件。

核心语法（每行一条指令）

  • User-agent: 名称 — 规则适用的爬虫，* 表示所有爬虫
  • Allow: 路径 — 允许抓取的路径，如 /public/
  • Disallow: 路径 — 禁止抓取的路径，/ 表示禁止全站
  • Sitemap: 地址 — 告诉爬虫你的 sitemap 位置（百度、谷歌均支持）
  • Crawl-delay: 秒 — 抓取间隔，降低服务器压力（部分爬虫支持）

常用爬虫标识

  • Googlebot — Google（谷歌）
  • Baiduspider — 百度
  • Bingbot — Bing（必应）
  • 360Spider — 360 搜索
  • Sogou web spider — 搜狗

使用建议与注意事项

  • 必须放在网站根目录，且文件名必须是小写 robots.txt；大小写敏感
  • 路径以 / 开头表示网站根路径，如 Disallow: /admin/ 屏蔽后台
  • 支持通配符：* 匹配任意字符，$ 匹配结尾，如 Disallow: /*.pdf$
  • robots.txt 不是安全措施：它只是"约定"，不影响被外部链接直接访问；敏感页面请配合登录鉴权
  • 默认未禁止任何内容时，建议写 User-agent: * 加 Allow: / 表示全站放行
  • 禁止过度屏蔽：把后台、购物车、参数页等无价值路径屏蔽即可，屏蔽过度会影响收录
  • 修改 robots.txt 后，可在搜索引擎站长平台提交/测试该文件，通常几分钟内生效
提示：robots.txt 与 sitemap.xml 是配合使用的——在 robots.txt 中声明 Sitemap 地址，能让搜索引擎更快发现并收录你的站点地图。

标准示例

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?from=
Crawl-delay: 1
Sitemap: https://example.com/sitemap.xml

含义：允许所有爬虫抓取全站，但禁止抓取后台与购物车路径；请求带 from 参数的 URL 不抓取；抓取间隔 1 秒；声明 sitemap 位置。

部署教程：如何把 robots.txt 部署到您的网站

  1. 填写并生成：在上方表单填写站点地址与规则，点击「生成 robots.txt」，系统会在 robots/站点域名/ 下生成 robots.txt 与 log 日志，并显示完整路径
  2. 下载文件：点击「下载 robots.txt」按钮，将文件保存到本地（文件名保持为 robots.txt）
  3. 上传到根目录：通过 FTP / 主机面板 / 宝塔等，把 robots.txt 上传到您网站的根目录（与 index.html 同级），即 https://您的域名/robots.txt 可直接访问
  4. 验证是否生效：浏览器打开 https://您的域名/robots.txt，能看到刚才生成的内容即部署成功
  5. 配合 Sitemap 使用：把您的 sitemap 地址提交到百度站长平台 / Google Search Console，即可让搜索引擎按规则抓取并收录
提示：如果您的网站已有 robots.txt，覆盖前请先备份旧文件；部署后建议在百度站长平台「robots 测试」工具中校验格式。

常见问题