AumCrawl 能做什么？AI 爬虫请求记录与访问规则说明

直接结论

AumCrawl 是免费的 WordPress 插件，用来记录已识别 AI 抓取工具的请求，并为支持的 crawler user-agent 配置访问规则。它不依赖 AumCreate 主题，也不要求购买网站模板。

插件已在 WordPress.org 提供下载。

它解决哪两个问题

看见 AI crawler 的请求

仅凭普通访问统计，很难判断某次请求是否来自已知 AI 抓取工具。AumCrawl 会记录它能够识别的 crawler 请求，让站长可以检查哪些工具访问过站点。

记录能说明“发生过请求”，但不能单独证明页面已经被某个 AI 产品收录、引用或用于回答。分析时应把访问记录与服务器日志、索引情况和实际引用分开理解。

为支持的 user-agent 配置访问规则

当前目录明确写明 AumCrawl 可以为支持的 crawler user-agent 配置访问规则。因此，旧文章中“只能查看、不能配置”的说法已经过时。

规则应按实际内容策略设置：公开文章、产品和帮助文档可以有不同策略，后台、账户页或其他不希望公开抓取的区域则应谨慎处理。具体支持哪些 crawler、规则如何输出，以插件当前界面和文档为准。

使用时应注意什么

1. 不要把一次 crawler 请求等同于收录或推荐。
2. 修改访问规则后，检查生成结果是否符合预期。
3. 避免用过宽的规则误伤正常搜索引擎抓取。
4. 规则变更后继续观察日志，而不是只配置一次就不再检查。
5. 涉及敏感内容时，应同时使用登录权限和服务器访问控制，不能只依赖 crawler 自律。

与 AumViso 的区别

AumCrawl 侧重已识别 AI crawler 的请求与访问规则；AumViso侧重元数据、结构化数据、XML Sitemap、llms.txt 等站点可读信息。两者关注点不同，不应把功能混写。

总结

AumCrawl 的定位不是泛化的“AI SEO 插件”，而是更具体的 crawler 观察与规则工具。下载和功能更新以产品页及 WordPress.org说明为准。