从 Googlebot 到 GPTBot：2025 年谁在爬取您的网站
从 2024 年 5 月到 2025 年 5 月，爬虫流量增长了 18%，其中 GPTBot 增长了 305%，Googlebot 增长了 96%。
Carlos Azevedo
Lisbon
AI 无处不在：WAF 规则构建助手、Cloudflare Radar AI 洞察和更新的 AI 机器人保护
在今年的 Cloudflare 生日之际，我们扩展了 AI 助手的能力以帮助您构建新的 WAF 规则，向 Radar 添加了新的 AI 机器人和爬虫流量洞察，并为客户提供了新的 AI 机器人拦截功能
宣布独立自主使用 AI：一键阻止 AI 机器人、抓取工具和爬网程序
为了帮助内容创作者维护安全的互联网环境，Cloudflare 刚刚推出了一个全新的“简易按钮”用于阻止所有 AI 机器人。它适用于所有客户，包括使用免费套餐的客户
杜绝离线：Cloudflare Radar 如何检测互联网中断
Cloudflare Radar 将发布有关国家/地区和自治系统 (AS) 的异常流量事件。这些事件与上面提到的事件相同，它们触发了我们用于验证和确认中断的内部工作流程
