头条搜索Robots协议匹配规则详解

匹配方式概述

头条搜索Robots协议的匹配机制主要涵盖路径（path）与参数（parameter）两大核心模块。系统支持两种通配符：星号（）与美元符号（$）。其中，星号（）可匹配任意有效字符的0个或多个实例，而美元符号（$）则用于标识网址的结束位置。这种设计确保了匹配规则的灵活性与精准性，能够适应多样化的URL结构需求。

路径匹配规则详解

路径部分的匹配逻辑与Google Robots协议保持一致，仅允许以正斜杠（/）或星号（）开头的规则参与匹配。具体规则如下：

- /：匹配根目录及其所有下级路径。例如，可匹配`/`、`/fish/`、`/fish/salmon.html`等。

- /fish/：以`/fish/`开头的路径，且末尾斜杠表示匹配该文件夹内的所有内容，如`/fish/`、`/fish/?id=anything`，但不匹配`/fish`或`/fish.html`。

- /.php：匹配所有以`.php`结尾的路径，如`/filename.php`、`/folder/filename.php`，但不匹配`/windows.PHP`（因大小写敏感）或`/filename.php?parameters`（因未使用结束符$）。

- /fish.php：匹配`fish`后接任意字符且以`.php`结尾的路径，如`/fish.php`、`/fishheads/catfish.php`，但不匹配`/Fish.PHP`。

- /fish/：包含字符串`/fish/`的路径，如`/search/fish/filename.php`，但不匹配`/Fish.PHP`。

需注意，末尾斜杠（如`/fish/`）会被系统忽略，等同于`/fish/`。路径匹配严格区分大小写，且需遵循“/”或“”开头的约束条件。

参数匹配规则详解

参数部分支持无序匹配，且参数的键（key）与值（value）均支持星号（）通配符。具体规则如下：

- 无序匹配：参数顺序不影响匹配结果，如`/home.php?mod=?`可匹配`/home.php?c=0&mod=939`，无需考虑`mod`与`c`的顺序。

- 通配符应用：

- 值通配：`/home.php?mod=?`匹配`mod`参数为任意值；`/home.php?mod=9`匹配`mod`值以`9`结尾的URL；`/home.php?mod=\39`匹配`mod`值以`39`结尾的URL。

- 键通配：`/home.php?mod=?`匹配键以`mod`结尾的参数（如`smod`）；`/home.php?mod=?`匹配键以`mod`开头的参数（如`mods`）；`/home.php?mod=?`匹配键包含`mod`字符串的参数（如`smods`）。

- 完全匹配：`/home.php?mod=9`仅当`mod`值严格为`9`时匹配，不匹配`mod=939`。

- 前缀匹配：`/home.php?mod`可匹配`mod`开头的键（如`mods`），但不匹配`smod`；`/home.php?mod`则可同时匹配`mod`和`mods`。

参数匹配时，系统会忽略参数顺序，且通配符对键和值均生效，确保对复杂URL参数的精准覆盖。

总结

头条搜索Robots协议通过路径与参数的双模块匹配设计，结合通配符的灵活应用，实现了对URL结构的精细化控制。其规则兼顾一致性与实用性，既遵循行业通用标准，又针对复杂场景提供了定制化匹配能力，助力站长高效配置抓取策略。