MIT News AI ↗ · 2026-11-18 13:00 · UTC+8
帮助 AI 文本检测器跟上不断变化的环境
媒体报道 MIT News AI 原文语言:英文
认为学生的学期论文可能由大语言模型(LLM)编写的老师可以使用工具进行检测。
全文
面包屑导航
MIT News
帮助人工智能文本检测器适应不断变化的环境
帮助人工智能文本检测器适应不断变化的环境
一种更灵活的训练方法可以使人工智能文本检测器在出现新模型或人工智能生成的文本被伪装成人类风格时更加稳健。
Adam Zewe | MIT News
发布日期:
2026年11月18日
媒体垂询
新闻联系人:
Abby
Abazorius
电子邮件:
abbya@mit.edu
电话:
617-253-2709
MIT新闻办公室
媒体下载
↓ 下载图片
图片说明:
“我们已经证明,测试时自适应使您的人工智能检测器能够更加稳健,即使面对人工智能用户的持续对抗行为也是如此,”Manish Raghavan说道。
版权信息:
版权:Jose-Luis Olivares, MIT; Getty Images
*使用条款:
MIT新闻办公室网站上可供下载的图片根据知识共享署名-非商业性使用-禁止演绎许可协议提供给非营利实体、新闻界和广大公众。除按尺寸裁剪外,您不得修改所提供的图片。复制图片时必须使用版权说明;如果下方未提供,请将图片版权归于“MIT”。
关闭
图片说明:
“我们已经证明,测试时自适应使您的人工智能检测器能够更加稳健,即使面对人工智能用户的持续对抗行为也是如此,”Manish Raghavan说道。
版权信息:
版权:Jose-Luis Olivares, MIT; Getty Images
一位老师如果怀疑学生的学期论文可能是由大语言模型(LLM)撰写的,可以使用人工智能生成文本检测工具来帮助证实其猜测。但这位老师在完全信任该检测器之前可能需要三思而后行。
来自麻省理工学院(MIT)和康奈尔大学的研究人员表明,这类检测工具(它们本身也是人工智能模型)很容易被伪装成人类撰写的人工智能生成文本所欺骗。由于写作习惯随时间的自然变化或新大语言模型的出现,检测器也可能无法识别出人工智能文本。
在的一篇新论文中,研究人员展示了一种特殊的训练技术如何使人工智能检测器更加准确且更具抗欺骗能力,即使人类和人工智能的写作方式在不断变化。
他们采用了一种称为测试时自适应的方法,该方法允许已部署的检测模型通过即时调整其内部运作,从新的未标记数据中进行学习。通过这种方式,模型无需从头重新训练即可适应未见过的输入。
在实验中,某商业检测器只能识别约27%经过伪装的人工智能生成文本,而新方法则实现了93%的准确率。
这种方法可以帮助教育工作者、编辑、出版商和招聘经理标记人们试图冒充人类撰写的由大语言模型生成的文章。它还可以被网络安全专家用于防止电子邮件网络钓鱼诈骗或识别搜索引擎优化欺诈。
“在许多高风险的场景中,人们非常关心作者的身份,从科学出版到短篇小说比赛。我们已经证明,测试时自适应使您的人工智能检测器能够更加稳健,即使面对人工智能用户的持续对抗行为也是如此,”该研究的共同作者、麻省理工学院斯隆管理学院Drew Houston (2005) 职业发展教授Manish Raghavan说道,他在电气工程与计算机科学系(EECS)拥有麻省理工学院苏世民计算学院的跨学科职位,并且是信息与决策系统实验室(LIDS)的首席研究员。
与他共同撰写这篇论文的还有第一作者、Cornell Tech研究生Kevin Ren,以及资深作者、Cornell Tech助理教授Nikhil Garg。该研究将在神经信息处理系统大会上发表。
愚弄检测器
生成类人文本的大语言模型的激增催生了大量商业人工智能检测工具,以帮助人们辨别一段文字是否由人类撰写。
但是,当这些检测工具评估的文本与它们被训练识别的文本存在显着差异时,它们可能会失效。这被称为分布偏移。
检测器开发者通常通过收集互联网上已知由人工智能生成或由人类生成的文本来训练他们的模型。他们训练模型来区分这两者。
然而,一旦检测器发布,人们可能会改变他们的写作方式或使用人工智能生成文本的方式。
例如,2030年的人类可能会使用2010年的写作者并不常见的新类比来撰写不同的主题。使用2010年数据训练的检测器可能不熟悉这种新的写作风格,并错误地将人类编写的文本标记为AI生成。
检测模型的发布也在其开发者与希望绕过该模型的用户之间引发了一场猫鼠游戏。这些人可以通过自动化的“人性化(humanizer)”软件工具运行AI生成的文本,该工具对其进行修改,使其在检测器看来像是人类编写的。
Ren说:“在公司发布模型之后,会涌现出一批‘人性化工具’来试图击败它,因此公司会试图将这些经过人性化处理的文本纳入其训练中,以便检测器能够识别它们,如此循环往复。这就像是不断重复。这个循环可以永远持续下去。”
研究人员探讨了测试时自适应(TTA)是否能使AI检测器对这些分布偏移具有鲁棒性。
实战中的自适应
在TTA中,研究人员不将模型冻结以使其在部署期间无法更改,而是允许模型在发布后自行适应传入的数据。对于AI文本检测器而言,这些数据是用户上传的新文本。
这些数据是没有标签的,因此检测器开发者不知道哪些数据是由人类编写的,哪些是由AI模型编写的。但这些新数据代表了当代人类和AI的写作——正是开发者希望模型能够预测的内容。
有了足够的样本,检测器就会学会识别模式,从而确定哪些数据是AI生成的,哪些是人类生成的。
研究人员通过创建包含一定数量的AI生成文本和人类生成文本的数据集来研究TTA,但他们并未向模型提供这些标签。他们还使用LLM生成了一些类似于AI编写的文本的样本,以专门逃避检测器。
然后,他们执行了TTA训练过程,并在真实数据(ground-truth data)上测试了模型。
在旨在模拟人类语言随时间自然变化的实验中,使用TTA的检测器准确率达到了85%,而传统方法仅达到73%的准确率。
而在专门用来规避检测工具的写作方面,现有方法只能识别约27%,而TTA使模型能够捕捉到超过93%的伪装文本。
Ren说:“TTA有潜力真正帮助已部署的AI检测模型,使其能够积极应对对抗性AI用户这种迭代式的‘博弈’行为。”
他补充说,适应人类写作行为的变化是一个更困难的TTA问题,因为这种变化更缓慢,发生的方式也更微妙。
研究人员警告说,随着未来的LLM产生听起来更自然的语言,且更难找到可用于训练的可验证人类文本,TTA可能并不总是有效的解决方案。
Raghavan说:“目前还不完全清楚这是否会是一个可以解决的问题。在一个无法区分人类生成内容和AI内容的时代,关于如何看待科学、写作和艺术,存在着一些重大的开放性问题。”
未来,研究人员希望探索TTA可能发挥作用的类似战略领域,并构建更好的基准测试工具,以帮助工程师以动态方式改进这些AI检测模型。
本项目使用了Pangram提供的API额度来使用其AI文本检测器。
分享此新闻文章至:
X
打印
论文
论文:“Hitting a Moving Target: Test-Time Adaptation for AI Text Detection under Continual Distribution Shift”
相关主题
研究
人工智能
机器学习
人机交互
写作
语言
信息与决策系统实验室 (LIDS)
电气工程与计算机科学系 (EECS)
工程学院
斯隆管理学院
苏世民计算学院
正文为 AI 译文。