上海网站优化公司
2013年2月8日，北京市第一中级人民法院受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争案件，索赔金额高达一亿元。这起被视为“3B大战”延续的诉讼，将Robots协议这一技术规范推向公众视野——当百度明确禁止360爬虫访问“百度知道”“百度百科”等内容时，360的抓取行为已超越行业惯例，触及商业竞争的红线。事实上，早在2012年11月，中国互联网协会牵头制定的《互联网搜索引擎服务自律公约》已明确要求企业“遵循国际通行的行业惯例与商业规则，遵守机器人协议(robots协议)”，而这场纠纷恰恰折射出Robots协议在互联网生态中的复杂性与重要性。
要理解Robots协议，需先厘清其核心对象——Web Robots。这一名称或许陌生，但提及“Web Wanderers”“Crawlers”“Spiders”，多数从业者会恍然大悟：它们是搜索引擎抓取网页的程序，中文统称“网络爬虫”。网页通过超链接形成网状结构，爬虫的工作模式如同蜘蛛沿链接穿梭，基本流程可概括为：以“种子URL”为起点，抓取并解析HTML页面，抽取其中的新链接，循环往复直至覆盖目标内容。这种模式下，网站处于被动地位，而Robots协议的出现，正是为了赋予网站主动权。
网站管理员常有以下需求：保护隐私数据（如用户信息）、避免敏感内容被索引（如动态生成的临时页面）、控制抓取频率以节省服务器资源，或拒绝特定搜索引擎的抓取。为满足这些需求，Robots协议（The Robots Exclusion Protocol）应运而生。它通过纯文本文件robots.txt（置于站点根目录）明确告知爬虫哪些内容可抓取、哪些需屏蔽，其本质是网站与搜索引擎的“沟通约定”，而非强制规范——如同私家花园的“闲人免进”告示，尊重者绕行，不尊重者仍可强行进入，这也是百度与360纠纷的根源。
robots.txt的核心语法由两条基础规则构成：User-agent（指定适用爬虫）与Disallow（指定屏蔽路径），两者组合形成完整的抓取策略。
User-agent：爬虫抓取时会声明身份（即HTTP协议中的User-agent），robots.txt据此区分不同引擎。例如，Google网页搜索爬虫的User-agent为“Googlebot”，而“User-agent: ”则表示规则适用于所有爬虫。需要注意的是，各搜索引擎的爬虫身份标识存在差异，需参考官方文档（如百度爬虫列表、Google爬虫列表）以确保准确性。
Disallow：以正斜线（/）开头，可指定具体路径或模式。屏蔽整个网站仅需“Disallow: /”；屏蔽某一目录则添加“/”后缀，如“Disallow: /temp/”；屏蔽特定文件如“Disallow: /private.html”。通配符“”（匹配任意字符）和“$”（匹配URL结尾）可简化规则，例如“Disallow: .gif$”屏蔽所有GIF文件，但需注意通配符并非所有搜索引擎均支持，且规则区分大小写（如“Disallow: /test”不屏蔽“/Test”）。
实践案例：淘宝曾通过“User-agent: Baiduspider”“Disallow: /”全面禁止百度爬虫，以保护商品数据与用户行为信息；京东则采用“User-agent: ”“Disallow: /pop/.html”屏蔽动态生成页面，并对“EtaoSpider”设置“Disallow: /”，避免重复抓取。这些案例表明，robots.txt是网站管理内容可见性的基础工具。
在基础规则之上，部分搜索引擎支持更高级的语法，实现精细化抓取控制。
Allow规则：当需屏蔽某目录下特定路径时，可结合Allow与Disallow。例如，屏蔽“a1-a100”目录但允许“a50”，可写为“Disallow: /a”“Allow: /a50/”；若需进一步屏蔽“a50/private.html”，则追加“Disallow: /a50/private.html”——规则优先级遵循“越具体越优先”。
Sitemap指令：对于无外部链接指向的动态页面或网站管理员希望主动引导爬虫抓取的内容，可通过Sitemap指令告知站点地图位置。例如，“Sitemap: http://example.com/sitemap.xml”，帮助搜索引擎更高效地索引网站内容。Google等引擎还提供自动生成sitemap的工具，降低人工维护成本。
meta标签：作为robots.txt的补充，meta标签可实现页面级控制。在HTML的head部分添加“”，可禁止该页面被搜索引擎索引；“nofollow”则禁止爬虫跟踪页面内的链接。需注意的是，meta标签仅对单个页面生效，且不同引擎的支持程度存在差异。
Crawl-delay：用于控制爬虫抓取频率，如“Crawl-delay: 5”要求两次抓取间隔至少5秒，避免对服务器造成过大压力。但需注意，Google已不再支持此指令，转而通过Google Search Console的抓取速率工具进行管理。
尽管Robots协议被广泛采用，但其非强制性本质与技术特性决定了其局限性。
协议一致性缺失：Robots协议缺乏统一国际标准，各引擎对语法（如通配符、Crawl-delay）的支持程度不一，可能导致规则在不同平台效果差异。例如，部分小众爬虫可能完全忽略Allow规则。
缓存延迟问题：为提升效率，爬虫通常会缓存robots.txt内容，而非每次抓取前实时更新。若网站管理员修改规则，变更需等待爬虫重新获取robots.txt（时间由引擎控制）才能生效，部分引擎虽提供“重新抓取”建议，但执行时间不确定。
恶意抓取与协议忽视：部分爬虫可能因开发疏忽或恶意行为无视robots.txt，通过IP代理、肉鸡网络等方式突破限制。此时，需结合技术手段（如用户验证、IP拦截、访问频率控制、Captcha验证）加强防护，而非依赖robots.txt单点保障。
信息泄露风险：robots.txt本身可能暴露网站结构。例如，若新增“Disallow: /new-service/”，可能引发外界对“新服务”路径的猜测，导致敏感信息提前曝光。因此，需避免在robots.txt中透露敏感目录名称。
Robots协议是网站与搜索引擎沟通的“通用语言”，其核心价值在于尊重网站内容所有者的意愿，平衡抓取需求与数据保护。然而，作为非强制性的行业约定，它无法完全阻止恶意抓取或数据泄露。网站管理员需将其视为内容管理的“第一道防线”，结合加密、访问控制等技术手段构建多层次安全体系。同时，搜索引擎企业也应加强协议执行的自律性，共同维护健康有序的互联网生态。
