丰色杨净发自凹非寺
量子位公众号 QbitAI
你说 ChatGPT，它写的东西逼真到傻傻分不清？
没关系！
现在，它的“克星”来了——
一位华人小哥专门搞了这么一个网站，专门鉴别文字到底是出自于 AI 还是人类。
你只需要把相应的内容粘进去，几秒内就能分析出结果。
比如这段从新闻网站里摘出来的。
它：“妥妥的人类～”
至于这段从推特上摘下来的文段。
它：“就知道是 AI。”
如此神器一出，可谓迅速俘获大家的芳心。
这不，直接把服务器都给挤崩喽（好在还有个备用的）。
这下，那些用 ChatGPT 写作业的“熊孩子”也要惨啦？
是人还是 ChatGPT？GPTZero：看我的
这个网站名叫GPTZero。
它主要靠“perplexity”，即文本的“困惑度”作为指标来判断所给内容到底是谁写的。
NLP 领域的朋友们都知道，这个指标就是用来评价一个语言模型的好坏的。
在这里，每当你喂给 GPTZero 一段测试内容，它就会分别计算出：
1、文字总困惑度
这个值越高，就越可能出自人类之手。
2、所有句子的平均困惑度
句子越长，这个值通常就越低。
3、每个句子的困惑度
通过条形图的方式呈现，鼠标悬浮到各个方块就可以查看相应的句子是什么（这里就两块，因为我此时输入的测试内容就俩句子）。
之所以要绘制这样的条形图，作者也作出了解释：
根据最新的一些研究：人类书写的一些句子可能具有较低的困惑度（前面说过，人类的困惑度是比较高的），但随着继续写，困惑度势必会出现峰值。
相反，用机器生成的文本，其困惑度是均匀分布的，并且总是很低。
除此之外，GPTZero 还会挑出困惑度最高的那个句子（也就是最像人写的）。
规则就是这些，接下来实际测一测。
测试1：成功
首先来一段最新的英文新闻（目前还不支持测中文）：
将它粘贴进测试框（需注意每句至少 5 个单词，建议每段能有 10 个句子，结果会更准一些）。
很快，GPTZero 计算出这段文字的总文字困惑度为 27，句子平均困惑度为 171.2，每条句子的困惑度图长这样：
以及困惑度最高的句子的值为 476。
看这个结果，估计你也猜出了 GPTZero 的答案：
是人类写的。
答对了。
测试2：失败
来一段 ChatGPT 的。
将内容粘贴进测试框，得出这段文字的总文字困惑度为 31，句子平均困惑度为 76.67，每条句子的困惑度图长这样：
以及困惑度最高的句子的值为 99。
看起来，每项困惑度值都和上面那段差距都挺大的，应该能猜出来是 AI 写的吧。
不过遗憾的是，GPTZero 无法给出答案，还希望我们再多加一点文字试试。
显然，这段话字数够多，但句子不够多，无法让 GPTZero 一眼识破 ChatGPT 的“伪装”。
测试3：成功
那我们再来一段 ChatGPT 的试试。
这回内容够长，句子也够多。
果然没问题了，GPTZero 直接答对：
好像确实摸出来一点门道：
那就是字多的同时，句子数量也一定要多，至少 5 句，好让 GPTZero 通过直方图的分布加码识别，最后的准确率就可以提高一些。
另外还需要提的是，我们发现在挑战失败的情况中，除了上面这种识别不出来的时候，也有直接识别错误的——
比如把 AI 写的判断成人写的：
把人写的新闻判断成 AI 的：
这种情况按照上面所说的窍门，再多加点内容可能就能将结果扳回来。
（注意是可能哈，就上面这段新闻，我们把所有内容都粘进去了，它也说不行，还说要再多来点。）
普林斯顿华人小哥出品
创建该网站的，是一个 22 岁的华人小哥 Edward Tian，来自加拿大多伦多。
目前是美国普林斯顿 CS 专业大四学生，辅修认知科学和新闻学，对软件工程、机器学习等有浓厚的兴趣。
他现在微软实习，曾在 BBC、贝灵猫等公司撰写过科技稿件，还曾加入到地图工具 Representable 的创始团队。
学习期间，他曾来到清华大学参加为期四周的城市研究研讨会。
据他表示，这个应用程序是新年假期在咖啡店完成的。
之所以想要开发这款应用程序，简而言之就是因为有太多 ChatGPT 炒作，人类应该知道有哪些是 AI 写的文章。
目前仍处于准系统阶段，预计在接下来几周内改进模型和分析。
除此之外，他还透露，正在测试由学生撰写的新闻文章数据集，并希望最终能发表论文。
更多 ChatGPT 杀手
事实上，也不只有这位小哥看 ChatGPT 不顺眼了。还有其他人类组织也相应开发了 AI 文本检测器，AKAChatGPT 杀手。
大体思路也都差不多，那就是“用魔法打败魔法”，用 AI 写的东西来训练新 AI。
前阵子，OpenAI 自己联合哈佛等高校机构联合打造了一款检测器：GPT-2 Output Detector。
作者们先是发布了一个“GPT-2 生成内容”和 WebText（专门从国外贴吧 Reddit 上扒下来的）数据集，让 AI 理解“AI 语言”和“人话”之间的差异。
随后，用这个数据集对 RoBERTa 模型进行微调，就得到了这个 AI 检测器。其中人话一律被识别为 True，AI 生成的内容则一律被识别为 Fake。
（RoBERTa 是 BERT 的改进版。原始的 BERT 使用了 13GB 大小的数据集，但 RoBERTa 使用了包含 6300 万条英文新闻的 160GB 数据集。）
另一位早年代表选手，也因为这次新进展再次被提及。
它就是 MIT-IBM 沃森 AI 实验室的以及哈佛 NLP 实验室开发的GLTR 模型。
它主要通过对文本进行统计分析和可视化，而用来检测的是最初用来生成文本的相同 or 类似模型。目前主要支持 GPT-2 和 BERT 两个模型。
由于输出是模型知道的所有单词排名，根据排名对文本每个单词进行颜色编码，前 10 名是绿色，前 100 名是黄色，前 1000 名是红色，紫色则是不太可能出现的词。
如果一段文本黄绿色过多，那么这段文字主要是由 AI 生成的。
此番 GPTZero 再度亮相，不少网友惊叹：Incredible work！
但也有人表示，文本检测器根本就是一场失败的军备竞赛，他们的实际效果并不好。也阻挡不了 ChatGPT 的发展。
与此同时，还有网友探讨起关于「文章是否需要明确指示由 AI 还是人类编写」的必要性。
有位词曲创作者认为，这是有必要的，就像在看杂志时会标注“广告”，这应该是一个简单的要求。
但有网友立即表示反对，为什么要设置障碍？这就跟使用 PS 然后加上 Adobe 水印，对产品没有任何益处。
对于这个问题，你怎么看呢？
试玩链接：
https://etedward-gptzero-main-zqgfwb.streamlit.app/
参考链接：
[1]https://brackets.substack.com/about
[3]https://twitter.com/Marc__Watkins/status/1601746409203863553
