Turnitin采用哪种AI检测器?模型、准确度等方面介绍

随着 ChatGPT 等 AI 写作工具的广泛普及,Turnitin 也推出了自己的 AI 检测器。
但与那些给出模糊答案的免费工具不同,Turnitin 的系统显得更为严谨,而且其内部运作也要复杂得多。
我深入研究了他们的官方白皮书并测试了其工作机制,因此在这篇文章中,我将向你介绍 Turnitin 实际使用的模型、它们如何检测 AI 生成以及经过 AI 改写的内容,以及这些模型与其他工具的不同之处。
1. Turnitin使用的AI检测器是什么?
根据Turnitin官方白皮书(本文依据的来源),Turnitin的AI检测系统依托于两个核心深度学习模型:
AIW(即AI Writing的缩写)用于检查一段文字是否由AI生成。
AIR(即AI Rewriting的缩写)是一款较新的模型,专门用于检测那些经过AI工具改写以更符合人类表达的文字。
这两个模型均基于Transformer架构构建 —— 与现代AI(如ChatGPT)所使用的技术相同。
Turnitin于2023年4月首次推出其AI检测工具——AIW-1,之后在2023年12月升级为AIW-2。随后,在2024年7月,又推出了AIR-1,以检测更隐蔽的AI使用情况,例如学生仅利用AI工具对现有内容进行改写的情形。
这些模型协同工作,帮助教师识别出可能由AI生成或经过AI修改的文本,从而更全面地评估学生作品的原创性。
问:个人可以使用Turnitin的AI检测器吗?
Turnitin的AI检测功能是其原创性检测服务的一部分,该服务仅面向学校、学院等机构提供。此外,Turnitin的所有服务都是收费的。
报告仅限教师和管理员查看。因此,如果你是学生或个人用户,你无法直接使用Turnitin或其AI检测器。不过,网上仍有一些替代工具可供选择,例如社区共享的Discord链接或其他AI检测应用。
2. Turnitin 的 AI 检测器是如何开发的?
首先,是 AIW-1
Turnitin 的第一代 AI 写作检测器名为 AIW-1,于 2023年4月推出。它通过扫描文本中常见的 AI 生成迹象——如过于流畅的结构、缺乏微妙变化或重复的表达方式——来进行工作。
如果文档中出现了足够多这样的迹象,它就会将这段文本标记为可能由 AI 创作。
AIW-1 的一大优势在于其 极低的误报率,这意味着它能够谨慎地区分人工创作与 AI 生成的文本。只要文档中至少有 20% 的内容被标记,误报率便低于 1%。
这让教师们更容易相信检测结果,而不会对那些微小或边缘的情况大惊小怪。
接着推出了 AIW-2 —— 一个更智能的升级版
然而,形势是这样的:AI 工具在不断进步——尤其是那些用于 改写 或 重构文本的工具。这类工具会对 AI 生成的句子进行再加工,使其听起来更像人写的,从而增加了检测的难度。
因此,Turnitin 在 2023年12月推出了 AIW-2。这一更智能的模型使用了更丰富的写作样本进行训练,包括:
传统的 AI 生成文本(例如 ChatGPT 生成的)
来自不同背景和学科的真实学生写作
先由 AI 生成再经 AI 改写工具处理的文本
既含有人类创作又含 AI 内容的混合文档
AIW-2 同样采用了基于变压器的深度学习架构,类似于 GPT-4 背后的模型。这使得它能够捕捉句子结构、语法和语调中更复杂的模式,而这些都是简单模型容易忽略的。
📊 截至2024年6月,Turnitin 报告称 AIW-2 已检测超过 2.5亿份学生提交作业,为其提供了庞大的训练和测试数据基础(Turnitin, 2024)。
总之,AIW-2 实现了质的飞跃:它提升了检测的准确性,降低了误报率,并使系统在面对改写后的 AI 内容时更具韧性。
到目前为止,我们讨论了如何检测 AI 写作。但如果学生尝试使用改写工具来 掩盖 AI 文本 呢?这正是 Turnitin 最新模型 —— AIR-1 —— 所解决的问题。
3. AIR-1 模型:它如何检测 AI 改写
越来越多的学生(以及广大写作者)使用 AI 改写工具——通常被称为“文字旋转器”——来重写 AI 生成的内容。这些工具并不像 ChatGPT 那样从零开始创作,而是对现有文本进行改写,以掩盖其原始出处。
但这里有个关键区别:改写工具留下的统计指纹与完整的 AI 写作模型有所不同。
因此,Turnitin 需要一个专门的模型来捕捉这些模式——这便是 AIR-1(即 AI 改写检测 的简称)于 2024年7月诞生的原因。
什么是 AI 改写,为什么它这么难以掌握?
改写工具(通常本身也由 AI 驱动)会拿取类似 ChatGPT 这样的 LLM 所写的文本,并对其进行重新措辞。目的在于让文本听起来不再生硬,而更接近学生真实的原创表达。这些工具并不创造新意,而只是对已有内容进行重组。
从检测角度看,这使得辨识变得更加困难。尽管文本的结构和词汇可能会改变,但 AI 写作的底层统计特征往往仍然存在。
AIR-1 的工作原理
将 AIR-1 想象成一位经过专门训练的侦探,善于发现经过改写的 AI 内容。它不仅关注“说了什么”,更着重于如何表达,通过捕捉改写 AI 文本中常见的细微语言特征和模式来进行判断。它不仅看重词汇选择或短语构造,更深入地分析 AI 改写工具往往留下的隐性模式,包括文本的节奏、思路重构的方式,甚至句子复杂度的变化。
下面是其在背后进行工作的流程:
首先,AIW-2 模型按照常规方式进行扫描。
如果它标记出 20% 或更多的文档可能由 AI 撰写,那么 AIR-1 就会启动介入。
AIR-1 会重新分析这些被标记的句子,并寻找是否存在 AI 改写的迹象。
一旦发现这些迹象,它将在 Turnitin 的 AI 写作报告中将该句高亮显示为 紫色。
报告中的呈现方式
当 AIR-1 识别出某个句子经过 AI 改写时,它会与 AIW-2 的初步检测结果一起标记显示。在 Turnitin 的报告界面中,这些句子通常会以紫色高亮显示——意味着系统认为它们既是 AI 撰写的,同时也经过另一个 AI 工具的改写。
这种额外的检测层级帮助教育工作者不仅能判断是否使用了 AI,还能了解 AI 是如何被应用的——无论是学生通过复制粘贴聊天机器人的内容,还是试图通过改写工具进行掩饰。
✳️ AIR-1 不会扫描整个文档。它仅针对 AIW-2 已标记为可能由 AI 生成的文本进行分析,并且绝不会检测 AIW-2 判断为人类书写的文本是否经过改写。
既然我们已经介绍了所有关键工具——AIW-2 和 AIR-1——现在让我们讨论构建这些工具所依赖的 数据和训练吧。
4. Turnitin AI检测器是如何训练与测试的?
既然我们已经了解了AIW-2和AIR-1的实际功能,那么我们有理由问:它们怎么保证是可靠的?
Turnitin表示,在训练和测试这些模型时投入了大量精心准备和数据,以确保它们能按预期运行。下面我们用简明的语言解释一下。
模型训练:数据来源于何处?
为了让AIW-2和AIR-1学会辨别AI生成或改写的内容,Turnitin使用了庞大的数据集——而且不只是普通文本。
Turnitin介绍说:
AIW-2模型通过整合AI生成内容与真实人类撰写的学术文章进行训练。这些文章涵盖了各种学科、国家和学生群体的作品。
Turnitin特别注重包含代表性不足的群体,例如第二语言学习者以及来自不同学术背景的学生。这有助于降低偏见,使模型在不同写作风格下表现得更公平和准确。
更重要的是,AIW-2的训练数据还包含了经过改写工具处理的AI生成文本示例,这对提升其识别“AI+AI改写”内容的能力至关重要。
而对于AIR-1,训练的侧重点则更加明确:
它在大量AI改写文本的基础上进行训练,同时还加入了常规人类写作和纯AI生成内容。
这使得AIR-1能够捕捉到改写AI所独有的细微线索,而这些线索往往是传统AI检测器所忽略的。
总而言之,这些模型并非仅仅依靠互联网上随意搜集到的示例进行训练,而是通过模拟真实学术场景来精心设计,以符合教育者和学生实际遇到的情况。
模型测试:Turnitin如何评估准确性?
在测试阶段,Turnitin注重两个核心指标:
召回率 – 该指标衡量模型能正确识别出多少实际由AI创作的文本。高召回率意味着模型能够有效捕捉到应检测的内容。
误报率 (FPR) – 该指标反映了多少人类撰写的文本被错误地判定为AI生成。在学术环境中,低误报率尤为重要,因为错误的指控可能会带来严重后果。
根据Turnitin,只要检测到文档中至少20%的内容由AI生成,AIW-2就能将文档级别的误报率控制在1%以内。因此,在AI报告中你经常会看到这个20%的阈值——这是基于大量测试精心设定的分界点。
为何单靠“准确性”不足以说明问题
有意思的是,Turnitin在报告中并未采用“准确性”这一通用术语。为什么呢?
这是因为在数据集不平衡的情况下(例如,当大部分文档由人类撰写时),即便模型表现很差,只要总是判断为“人类”,它也可能显示出99%的准确率,这样的表现具有很强的误导性。
因此,Turnitin通过关注召回率和误报率,为我们提供了一个更加真实的检测系统表现视角。
既然我们已经了解了Turnitin模型的训练过程,那接下来让我们深入看看,当学生提交作品后,模型究竟是如何对其进行分析的。接下来的内容会稍显技术性,但我们将尽可能简单地解释。
Turnitin的AI检测器实际工作原理
首先,系统将文本拆分成小块
Turnitin采用一种称为分段窗口技术的方法。基本上,系统不会一次性通读整篇论文,而是将其拆分成小而重叠的部分——大约每段包含五到十个句子。
每个“窗口”会以每次一条句子的方式逐步滑动,因此每个句子都会出现在多个窗口中接受分析。这使得模型在不同上下文中能更准确地评估同一句话。
接着,为每个句子评定AI生成的可能性得分
每个窗口都会被赋予一个0到1之间的得分:
得分接近0表示文本很可能是人工撰写。
得分接近1则表明文本更可能由AI生成。
由于每个句子可能出现在多个窗口中,Turnitin会计算每个句子的加权平均得分。这种做法有助于平滑偶然的误判,并提供更稳定的评估结果。
此外,正如前文提到,对那些被判定为AI生成的句子,系统还会进行单独的AI生成改写评估,形成另一个独立的得分。
随后,系统对整篇文档做出判断
那么,它是如何确定整篇文档是否由AI生成的呢?
Turnitin指出,只有当20%或以上的句子得分超过AI写作阈值时,文档才会被标记。这个20%的标准并非随意设定——测试表明,较低的比例容易产生误报。通过这种方式,Turnitin力求在只有明显AI痕迹时才进行标记。
换句话说,论文需要含有大量AI生成的特征,才会最终被标记为AI生成。
短文不会被检测
另一个重要限制是:Turnitin不会对少于300个单词的文档进行AI检测。这是因为短文本无法为系统提供足够的数据以做出准确预测。内容越丰富,分析越准确。
这就是有关Turnitin如何检测AI内容的全部说明。
Turnitin的AI检测器与其他工具的对比
目前市面上有很多AI检测器——包括免费和付费的类型——但Turnitin的系统在几个关键方面表现尤为突出:
专为学术领域打造:不同于许多通用检测器,Turnitin的模型专门以各科目、各语言及多种写作风格的真实学生作品为训练样本。这不仅降低了误报率,也使其在教育环境中更加可靠。
双模型策略:大多数检测器仅标记AI生成的文本,而Turnitin则采用两个模型——AIW-2用于原始AI生成文本,AIR-1用于AI改写后的文本——从而覆盖更广,能够识别那些巧妙伪装的内容。
基于Transformer架构:许多检测器依赖诸如困惑度或突发性等简单统计指标。Turnitin则利用先进的Transformer模型捕捉语言中的细微规律,使检测变得更加智能和精准。
规模化整合:Turnitin的工具已经嵌入全球各大教学管理系统,累计分析超过2.5亿篇论文——这让其模型能不断从真实数据中得到优化。
透明度与检测:Turnitin公开发布了详尽的白皮书和验证研究,直观展示其系统的表现和局限性——这是大多数免费检测器所不具备的优势。
总之:Turnitin不仅仅是一个普通的AI检测工具。它是一个强大且有实证支持的系统,专为满足教育领域的复杂需求而打造,而不仅仅是依据简单规则来标记AI的使用。
Turnitin 对比其他 AI 检测工具
你是否想知道是否可以仅用其他 AI 检测工具而不是 Turnitin 在提交前检查你的作品?事实是,Turnitin 的系统无法被像 GPTZero 这样的常用工具轻易替代。
Turnitin 通过在各个学科和语言的真实学生论文上训练其 AI 模型,实现了对学术写作的精细调校。此外,它还借鉴了超过2.5亿份真实提交作品的分析结果——这是大多数其他检测工具所不具备的。得益于这些真实数据,检测的准确性得到了极大提升。
Turnitin 更进一步,采用了两个模型:一个用于检测 AI 生成的内容,另一个用于识别 AI 改写的句子。尽管 GPTZero 和 Quillbot 在句子层面上提供了一些标记,但它们在深度和可靠性上都无法与 Turnitin 相匹敌。
从技术角度来看,许多检测工具依赖于诸如困惑度等简单统计指标,而 Turnitin 则利用先进的 Transformer 模型捕捉细微的语言模式,使其检测更为智能。
FAQ
Q: Turnitin使用哪些AI模型?
A: Turnitin采用了两种主要模型——AIW (AI Writing)用于检测由AI直接生成的文本,AIR (AI Rewriting)用于识别经过AI改写的内容。最新版本分别为AIW-2和AIR-1,均基于先进的Transformer深度学习技术。
Q: 如何避免被Turnitin的AI检测器标记?
如果您担心AI检测问题,最好的办法是用您独特的语言风格撰写原创且经过深度研究的内容。此外,还有一些更具人性化的工具可以帮助您提升作品质量,同时不会呈现出明显的AI生成痕迹。
Q: Turnitin的准确性是否优于像ZeroGPT这样的免费工具?
A: 是的。Turnitin的模型经过同行评审,并在数百万篇真实学术论文上进行了测试,专门针对学生写作进行了优化。相比之下,许多免费检测器不会公开其训练数据或误报率,而且往往忽略了句子级别的细节。类似ZeroGPT的工具通常做出更宽松的判断,精确度较低。
Q: Turnitin能检测出由GPT-4或Gemini等新型AI生成的文本吗?
A: 当然可以。截至2024年,Turnitin的系统已被设计来识别由GPT-3、GPT-4、GPT-4o、Gemini、LLaMA以及其他主流大型语言模型生成的文本。
Q: Turnitin的AI检测有多准确?
A: 根据Turnitin介绍,其AI检测的准确性相当高。对于文档中至少20%的内容由AI生成的情况,其误报率始终控制在1%以下。
结论
我们探讨了Turnitin的AI检查器的细节——从它如何将论文拆分为各个部分,到它如何结合真实学生的写作和AI生成的内容进行训练。随着AI的不断进步,Turnitin也在不断更新演化,这成为了教师和学生都必须直面的问题。归根结底,这不仅仅是为了抓住错误,而是为了维护我们提交作品的诚信。了解这一工具的工作原理能够帮助每个人更加公正和负责任地使用它。