AI公司Anthropic违规爬虫抓取数据引发多个网站不满

  The Verge 报道,AI 初创公司 Anthropic 用来抓取旗下 AI 训练数据的网络爬虫在 24 小时内攻击了维修网站 iFixit 近 100 万次,并违反了该公司的数据使用条款。

  iFixit CEO Kyle Wiens 在社交平台 X 上表示;「如果这些请求有一个访问了我们的服务条款,它们会告诉您我们的内容是明确禁止使用的。」

  由于爬虫抓取率过高,Anthropic 的爬虫机器人触发了 iFixit 所有的警报,还启动了 iFixit 的技术团队。

  iFixit 目前已经将「机器人排除协议」robot.txt 文件添加到了爬虫延迟的扩展中,在这之后,Anthropic 确实停止了数据抓取。

  这也不是 Anthropic 第一次被报告这种违规行为,免费软件文档托管平台 Read the Docs 和自由职业平台 Freelancer 也在上述推文中表示,他们的网站也曾被 Anthropic 的爬虫「积极地」抓取。