中文翻译

摘要: Alli AI 对 69 个网站为期 55 天的分析显示，OpenAI 的"ChatGPT-User"爬虫请求量达 13.3 万次，是 Googlebot（3.7 万次）的 3.6 倍。数据显示，AI 相关爬虫总请求量已远超传统搜索引擎爬虫，其中 ChatGPT-User 流量甚至超过 Googlebot、Amazonbot 和 Bingbot 之和。此外，OpenAI 还运营独立的 GPTBot

正文

· 生成式人工智能

ChatGPT 的爬虫流量是 Googlebot 的 3.6 倍：2400 万次请求揭示了什么？

随着 OpenAI 的"ChatGPT-User"爬虫在网页请求量上超越传统搜索引擎，Googlebot 已不再是唯一的网络主导爬虫。

本文由 Alli AI 赞助。文中表达的观点仅代表赞助商立场。

长期以来，人们普遍认为 Googlebot 是访问其网站的主导爬虫。然而，这一假设如今已不再成立。

我们在 Alli AI 的爬虫启用平台上，对 69 个客户网站的 78,000 多个页面进行了为期 55 天（2026 年 1 月至 3 月）的分析，共捕获了 24,411,048 次代理请求。数据显示，OpenAI 的"ChatGPT-User"爬虫发出的请求量是 Googlebot 的 3.6 倍。

值得注意的是，上述数据尚未计入 OpenAI 另一款独立的训练用爬虫——GPTBot。

方法论说明：

爬虫识别基于用户代理字符串匹配，并已通过公开 IP 段进行验证。请求指标在代理/CDN 层进行测量。数据集涵盖 69 个网站，涉及不同行业与规模，其中绝大多数基于 WordPress 构建。完整方法论详见文末。

发现一：AI 爬虫流量已超越 Google 3.6 倍，ChatGPT 领跑

![图表：Alli AI 制作，2026 年 4 月]

当我们按请求量对所有已识别的爬虫进行排名时，结果清晰明确：

| 排名 | 爬虫名称 | 请求量 | 类别 |

|------|------------------------------|----------|----------------|

| 1 | ChatGPT-User (OpenAI) | 133,361 | AI 搜索 |

| 2 | Googlebot | 37,426 | 传统搜索 |

| 3 | Amazonbot | 35,728 | AI / 电商 |

| 4 | Bingbot | 18,280 | 传统搜索 |

| 5 | ClaudeBot (Anthropic) | 13,918 | AI 搜索 |

| 6 | MetaBot | 10,756 | 社交 |

| 7 | GPTBot (OpenAI) | 8,864 | AI 训练 |

| 8 | Applebot | 6,794 | AI 搜索 |

| 9 | Bytespider (ByteDance) | 6,644 | AI 训练 |

| 10 | PerplexityBot | 5,731 | AI 搜索 |

ChatGPT-User 的请求量超过了 Googlebot、Amazonbot 和 Bingbot 三者之和。

![分组统计图：Alli AI 制作，2026 年 4 月]

按用途分类后，AI 相关爬虫（包括 ChatGPT-User、GPTBot、ClaudeBot、Amazonbot、Applebot、Bytespider、PerplexityBot、CCBot）共发出 213,477 次请求，而传统搜索爬虫（Googlebot、Bingbot、YandexBot）仅发出 59,353 次。在我们的网络中，AI 爬虫的请求量已是传统搜索爬虫的 3.6 倍。

发现二：OpenAI 使用两款独立爬虫，但多数网站并未意识到其区别

![对比图：Alli AI 制作，2026 年 4 月]

OpenAI 运营着两个目的截然不同的爬虫：

• ChatGPT-User：检索型爬虫。当用户向 ChatGPT 提问需要最新网页信息时，该爬虫会实时抓取相关内容。它直接决定您的内容是否出现在 ChatGPT 的回答中。

• GPTBot：训练型爬虫。用于收集数据以优化 OpenAI

来源: Brave/searchenginejournal.com

采集时间: 2026-04-07 20:18:06