robots.txt规则详解:语法、优先级与常见配置示例

📍 WDQWDWQD987AAAAA:216.73.217.74
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /66d6fa2f98f0.html
📄

robots.txt 是网站与搜索引擎爬虫之间的第一道沟通协议,合理的 robots.txt 规则既能保护敏感路径,也能引导爬虫高效抓取。理解其语法与匹配逻辑,是做好技术 SEO 的基础。

robots.txt 规则的基本结构

一个 robots.txt 文件由若干条记录组成,每条记录包含 User-agent、Allow、Disallow 等指令。User-agent 指定规则适用的爬虫,Allow 与 Disallow 分别表示允许和禁止抓取的路径。同一 User-agent 下的多条规则会合并生效,而不同 User-agent 的记录彼此独立。

路径匹配与优先级

robots.txt 规则采用前缀匹配,而非通配符正则。当 Allow 与 Disallow 同时命中同一路径时,路径长度更长的一方优先;长度相同时,Allow 通常优先。此外,支持 * 和 $ 通配符,可用于匹配动态参数或文件后缀。

常见配置与注意事项

配置 robots.txt 规则时,应避免误屏蔽 CSS、JS 等影响渲染的资源,否则可能导致搜索引擎无法正确评估页面。同时,robots.txt 只能阻止抓取,不能阻止收录,敏感内容应配合 noindex 或权限控制。不要用 robots.txt 隐藏不希望用户访问的页面,因为它本身是公开文件。

最后,修改规则后应使用搜索引擎的 robots.txt 测试工具验证匹配结果,并定期检查抓取统计,确保重要页面未被意外拦截。

图1 图2

nginx