Cloudflare推出AILabyrinth对抗恶意爬虫

Cloudflare，一家全球知名的网络基础设施企业，近期推出了创新工具“AI Labyrinth”（AI 迷宫），此工具旨在有效应对未经授权的网络爬虫，防止其抓取网站数据。该工具的核心机制在于，一旦Cloudflare检测到异常爬虫行为，便引导这些爬虫至由AI生成的虚假页面，以“拖延、迷惑及消耗”恶意爬虫的资源。

在以往，网站管理员主要通过“robots.txt”文件来控制爬虫的访问权限。然而，许多AI公司，包括一些知名企业如Anthropic和Perplexity AI，往往忽略这一规则。Cloudflare透露，他们每天要处理超过500亿个爬虫请求。尽管Cloudflare有能力识别并阻止恶意请求，但攻击者不断调整策略，导致了一场持久的“军备竞赛”。

Cloudflare的AI Labyrinth并非仅仅是为了阻止爬虫，而是选择了一种更积极的对抗方式。该工具的设计使得爬虫在处理与目标网站数据无关的信息时，被引导至虚假信息之中。Cloudflare强调，AI Labyrinth不仅是“下一代诱饵”，还能识别恶意爬虫，并了解新出现的爬虫模式和特征。这些链接对普通用户不可见，从而避免了用户受到干扰。

Cloudflare指出，网站管理员可通过其Cloudflare仪表板中的“爬虫管理”部分选择是否启用AI Labyrinth。这项新功能的推出是Cloudflare利用生成AI对抗爬虫的初步尝试，Cloudflare还计划构建一个更复杂的链接URL网络，使得爬虫更难识别虚假数据。值得一提的是，AI Labyrinth与Nepenthes工具相似，后者旨在将爬虫“拖延”数月，使其沉浸在由AI生成的垃圾数据中。

官方博客：https://blog.cloudflare.com/ai-labyrinth/

重点提示：

🕷️ Cloudflare 推出“AI Labyrinth”，用于对抗恶意抓取数据的网络爬虫。

🔗 新工具利用AI生成虚假页面，将爬虫引入无用信息，消耗其资源。

💡 网站管理员可在Cloudflare仪表板上启用此功能，未来功能将进一步扩展。