搜索
Cloudflare推出AI爬虫红黑榜 字节跳动因不遵守抓取协议直接垫底
6 天前
Cloudflare推出AI爬虫红黑榜，首批评测包括OpenAI、Google、Meta、Anthropic、xAI和字节跳动。该榜单通过爬虫IP验证、WebBotAuth验证、爬虫分离和robots.txt协议遵守情况四个维度进行验证、识别和统计。目前，OpenAI爬虫表现优秀，而字节跳动、Anthropic和xAI Grok爬虫因几乎未进行验证而垫底。该榜单旨在帮助网站管理员决定是否屏蔽这些爬虫。
