robots.txt文件的格式规范

“robots.txt”文件作为搜索引擎爬虫访问网站时的协议指令文件，其内容由一条或多条独立记录构成，记录之间以空行进行明确分隔，结束符可为CR（回车符）、CR/NL（回车换行符）或NL（换行符）。每条记录遵循严格的字段命名规范，其基本结构为“字段名:可选空格值可选空格”，其中字段名与值之间通过冒号分隔，前后允许存在空格字符以提升格式灵活性。文件支持使用井号（#）进行注释，注释行为从井号开始直至该行结束，注释内容不会被搜索引擎爬虫解析执行，其使用惯例与UNIX系统中的注释规则保持一致，便于开发者对爬取规则进行说明和标注。

该文件的核心规则通常以一行或多行User-agent字段开始，后跟若干Disallow字段，必要时可搭配Allow字段共同作用。User-agent字段用于指定受robots.txt协议约束的搜索引擎爬虫名称，其值对应具体的爬虫标识符（如Googlebot、Bingbot等）。当文件中包含多条User-agent记录时，表明多个爬虫将分别遵循对应的访问规则，每条User-agent记录独立作用于其指定的爬虫。若将该字段的值设为星号（），则表示协议对所有搜索引擎爬虫均生效，需特别注意的是，文件中“User-agent: ”记录仅能存在一条，以确保规则的统一性。

Disallow字段是定义访问限制的核心，其值用于指定禁止爬虫访问的URL路径，既可以是完整路径（如“/admin/”），也可以是路径前缀（如“/help”）。爬虫将严格禁止访问所有以Disallow字段值开头的URL，例如“Disallow:/help”将同时覆盖/help.html、/help/index.html等以“/help”开头的所有路径；而“Disallow:/help/”则仅禁止/help/index.html等以“/help/”开头的路径，但不禁止/help.html。若某条Disallow记录的值为空（即“Disallow:”），则表示该网站的所有路径均允许被爬虫访问，robots.txt文件中必须至少包含一条Disallow记录，以确保访问规则的明确性；若文件完全为空，则等同于对所有爬虫开放整个网站的访问权限。

Allow字段用于定义允许爬虫访问的URL路径，与Disallow类似，其值可为完整路径或路径前缀，所有以Allow字段值开头的URL均被明确授权访问。需知网站所有URL默认处于允许访问状态，因此Allow字段通常需与Disallow字段协同配置，通过“先禁止后允许”的策略实现精细化的访问控制，例如通过“Disallow: /”禁止所有路径，再通过“Allow: /public/”开放公共目录。需特别强调的是，Disallow与Allow记录的排列顺序具有关键意义，爬虫将按照文件中的记录顺序进行匹配，一旦发现某条规则与目标URL匹配（无论是Allow还是Disallow），即依据该规则决定是否访问，后续规则不再生效。

为提升规则的灵活性，robots.txt协议支持使用通配符“”和“$”实现模糊匹配。其中，“”可匹配0个或任意数量的字符，如“Disallow:/.jpg”将禁止所有.jpg图片路径；“$”则用于匹配行结束符，如“Disallow:/$”将禁止所有以“/”结尾的路径。通配符的使用能帮助开发者更高效地定义复杂的访问控制策略，避免冗余的规则列举。