外媒指责 AI 工具 Perplexity 在禁止情况下继续抓取自家内容

  美国《连线》杂志通过调查和分析发现,AI 工具 Perplexity 似乎忽略了「机器人排除协议」,悄悄从一些不想被机器人访问的网站上抓取内容,包括《连线》杂志本身。

  《连线》杂志表示,他们在 robots.txt 文件(网络爬虫的标准说明文档)中屏蔽了 Perplexity,但 Perplexity 依然在设法访问他们的内容。他们发现,Perplexity 在相关新闻标题下生成的文字,与《连线》所撰写的新闻文章存在高度相似的部份。

  该媒体还建立了一个新网站来监控服务器日志,然后在 Perplexity 中提示机器人总结网站内容,网站服务器立即记录了一个可疑的秘密 IP 地址访问了该网站。

  《连线》杂志不是唯一一家发现 Perplexity 在偷偷抓取自己内容的媒体,著名杂志《福布斯》也表示 Perplexity 抄袭了自己的内容。