Alli AI 对 69 个网站为期 55 天的分析显示，OpenAI 的"ChatGPT-User"爬虫请求量达 13.3 万次，是 Googlebot（3.7 万次）的 3.6 倍。数据显示，AI 相关爬虫总请求量已远超传统搜索引擎爬虫，其中 ChatGPT-User 流量甚至超过 Googlebot、Amazonbot 和 Bingbot 之和。此外，OpenAI 还运营独立的 GPTBot
SEJ · 生成式人工智能
ChatGPT 的爬虫流量是 Googlebot 的 3.6 倍：2400 万次请求揭示了什么？
随着 OpenAI 的"ChatGPT-User"爬虫在网页请求量上超越传统搜索引擎，Googlebot 已不再是唯一的网络主导爬虫。
本文由 Alli AI 赞助。文中表达的观点仅代表赞助商立场。
长期以来，人们普遍认为 Googlebot 是访问其网站的主导爬虫。然而，这一假设如今已不再成立。
我们在 Alli AI 的爬虫启用平台上，对 69 个客户网站的 78,000 多个页面进行了为期 55 天（2026 年 1 月至 3 月）的分析，共捕获了 24,411,048 次代理请求。数据显示，OpenAI 的"ChatGPT-User"爬虫发出的请求量是 Googlebot 的 3.6 倍。
值得注意的是，上述数据尚未计入 OpenAI 另一款独立的训练用爬虫——GPTBot。
方法论说明： 爬虫识别基于用户代理字符串匹配，并已通过公开 IP 段进行验证。请求指标在代理/CDN 层进行测量。数据集涵盖 69 个网站，涉及不同行业与规模，其中绝大多数基于 WordPress 构建。完整方法论详见文末。
来源：searchenginejournal.com