Updated: 2026-07-11
📝 粘贴robots.txt内容
📖 Robots.txt规范说明
• User-agent：指定适用的爬虫名称，* 表示所有爬虫
• Disallow：禁止爬虫访问的路径
• Allow：允许爬虫访问的路径（可覆盖Disallow）
• Sitemap：声明站点地图地址，帮助爬虫发现页面
• Crawl-delay：设置爬虫请求间隔（秒）
• 文件位置：应放在网站根目录下，路径为 /robots.txt
免费在线Robots.txt验证器，检查robots.txt语法是否正确，检测常见错误和SEO问题，提供修复建议。无需注册。 | 无需注册 · 数据绝不上传服务器
零依赖·可离线使用• User-agent：指定适用的爬虫名称，* 表示所有爬虫
• Disallow：禁止爬虫访问的路径
• Allow：允许爬虫访问的路径（可覆盖Disallow）
• Sitemap：声明站点地图地址，帮助爬虫发现页面
• Crawl-delay：设置爬虫请求间隔（秒）
• 文件位置：应放在网站根目录下，路径为 /robots.txt
本工具的核心计算逻辑：
lineNum = i+1网站上线前验证robots.txt的语法和规则是否有效，检查是否误屏蔽了搜索引擎爬虫、是否允许了不应公开的目录。SEO人员、站长在配置搜索引擎抓取策略时的必备检查工具。
robots.txt只是抓取建议而非强制约束，不能用于保护敏感页面；真正需要保密的资源应使用登录鉴权。