Turnitin 使用哪种 AI 检测器？模型、准确率及更多
随着像ChatGPT这样的人工智能写作工具无处不在，Turnitin介入并推出自己的人工智能检测器也就不足为奇了。
但与那些给出模糊答案的免费工具不同，Turnitin的系统更加严肃，而且在底层也复杂得多。
我深入研究了他们的官方白皮书，并测试了它的工作原理，所以在这篇文章中，我将向您介绍Turnitin实际使用的模型，他们如何标记人工智能和经人工智能改写的文章，以及是什么使他们脱颖而出。
1. Turnitin 使用哪种 AI 检测器？
根据Turnitin 的官方白皮书（本文基于此），Turnitin 的 AI 检测系统依赖于两个关键的深度学习模型：
AIW（AI Writing 的缩写）是检查一段文字是否由 AI 生成的模型。
AIR（AI Rewriting 的缩写）是一个较新的模型，专门用于查找被 AI 工具释义或重写，使其更像人类写作的内容。
两者都使用基于 Transformer 的架构构建——与 ChatGPT 等现代 AI 背后的技术相同。
Turnitin 于 2023 年 4 月首次推出其 AI 检测工具 - AIW-1。该模型于 2023 年 12 月更新并被 AIW-2 取代。然后，在 2024 年 7 月，添加了 AIR-1 以检测更隐蔽的 AI 使用，例如当学生使用 AI 工具仅重新措辞现有内容时。
这些模型共同帮助教师发现可能是 AI 编写或 AI 修改的文本，从而更深入地了解学生作品的原创性。
问：个人可以使用 Turnitin 的 AI 检测器吗？
Turnitin 的 AI 检测是其原创性服务的一部分，该服务仅适用于学校和学院等机构。并且所有 Turnitin 的服务都是付费的。
报告仅供教师和管理人员访问。因此，如果您是学生或个人，则无法直接使用 Turnitin或其 AI 检测器。但是，一些替代工具可在网上获得，包括社区共享的 Discord 链接或其他 AI 检测应用程序。
2. Turnitin 的 AI 检测器是如何开发的？
首先，AIW-1 问世
Turnitin 的首个 AI 写作检测器名为 AIW-1，于 2023 年 4 月发布。它通过扫描文章，寻找 AI 生成文本中常见的模式，例如：结构过于流畅、缺乏细节变化、措辞重复等。
如果在文档中发现足够多的此类模式，AIW-1 就会将该文本标记为可能由 AI 编写。
AIW-1 的优势之一是误报率极低，这意味着它非常谨慎，不会错误地将人类创作的文章判定为 AI 生成。只要文档中至少 20% 的内容被标记，误报的概率就低于 1%。
这有助于教师信任检测结果，避免对少量、不确定的情况反应过度。
接着，更智能的 AIW-2 升级版来了
但问题在于：AI 工具也在不断进步，尤其是那些能够改写或释义文本的工具。这些工具会获取 AI 生成的句子，并进行二次处理，使其听起来更自然。这大大增加了检测难度。
因此，Turnitin 推出了 AIW-2，并于 2023 年 12 月发布。这是一个更智能的模型，它基于更广泛的写作样本进行训练：
常见的 AI 生成文本（例如来自 ChatGPT）
来自不同背景和学科的真实学生作品
先由 AI 生成，再由 AI 释义工具改写的文本
包含人类和 AI 内容的混合文档
AIW-2 还构建于基于 Transformer 的深度学习架构之上，类似于 GPT-4 等工具背后的模型。这使其能够识别句子结构、语法和语调中更复杂的模式，而这些模式往往会被简单的模型忽略。
📊 截至 2024 年 6 月，Turnitin 报告称已在超过 2.5 亿份学生提交的作业中使用了 AIW-2 (Turnitin, 2024)。这为其提供了庞大的训练和测试基础。
总而言之，AIW-2 是一次巨大的飞跃：它提高了检测准确性，减少了误报，并增强了系统对 AI 释义内容的识别能力。
到目前为止，我们主要讨论的是如何检测 AI 写作。但是，如果学生试图使用释义工具来掩盖 AI 文本呢？ 这就是 Turnitin 的最新模型 —— AIR-1 —— 将要解决的问题。
3. AIR-1 模型：如何检测 AI 改写
越来越多的学生（以及一般的写作者）正在使用 AI 改写工具——通常被称为“文本润色工具”——来重写 AI 生成的内容。这些工具不像 ChatGPT 那样从头开始创作，而是修改现有文本以试图掩盖其来源。
但关键在于：相比于完整的 AI 写作模型，AI 改写工具会留下不同的统计特征。
因此，Turnitin 需要一个专门的模型来捕捉这些特征——这就是 AIR-1（AI 改写检测的简称）在 2024 年 7 月诞生的原因。
什么是 AI 改写，为什么它如此棘手？
改写工具（通常由 AI 驱动）采用像 ChatGPT 这样的 LLM 编写的文本并进行改写。目的是什么？使其听起来更自然，更像是学生自己的原创。这些工具不会产生新的想法——它们只是将已有的内容重新组合。
从检测的角度来看，这就增加了难度。结构和词汇可能会改变，但 AI 写作的潜在统计特征通常仍然存在。
AIR-1 的工作原理
可以将 AIR-1 视为一个训练有素的侦探，专门识别经过改写的 AI 内容。它不仅关注内容本身，更关注表达方式，通过细微的语言线索和 AI 改写文本的典型模式进行判断。它不仅仅关注用词或措辞，还会分析 AI 改写工具倾向于留下的更深层特征，包括文本的节奏、想法的重组方式，甚至句子复杂程度的变化。
以下是其工作原理：
首先，AIW-2 模型像往常一样进行扫描。
如果它将文档的 20% 或更多标记为可能是 AI 编写的，那么 AIR-1 就会介入。
AIR-1 重新分析这些被标记的句子，并寻找它们已被 AI 改写的迹象。
如果它发现这些迹象，它会在 Turnitin 的 AI 写作报告中以紫色突出显示该句子。
它如何在报告中显示
当 AIR-1 识别出一个句子为 AI 改写时，它会将其与 AIW-2 的原始检测结果一同标记。在 Turnitin 的报告界面中，这些句子通常以紫色突出显示——这意味着系统认为它们既是由 AI 编写的，又被另一个 AI 工具改写过。
这种额外的检测手段有助于教育工作者更好地了解 AI 的使用情况，例如学生是直接从聊天机器人复制粘贴，还是试图通过改写工具进行掩盖。
✳️ AIR-1 不扫描整个文档。它只检查 AIW-2 已经标记为可能由 AI 生成的文本。并且它从不尝试对 AIW-2 认为是人工编写的文本进行改写检测。
现在我们已经了解了所有关键工具——AIW-2 和 AIR-1——让我们来谈谈构建它们所使用的数据和训练类型。
4. Turnitin AI 检测器是如何训练和测试的？
既然我们了解了 AIW-2 和 AIR-1 实际的功能，那么很自然会问：我们如何确定它们的可靠性？
根据 Turnitin 官方信息，为了确保这些模型能够达到预期效果，他们在训练和测试上投入了大量的精力，并使用了海量数据。 接下来，我们用简单易懂的方式来详细解读。
模型训练：数据来源
为了让 AIW-2 和 AIR-1 能够识别 AI 生成或改写的内容，Turnitin 使用了庞大的数据集——而且并非随意选取文本。
Turnitin 表示：
AIW-2 模型通过混合使用 AI 生成内容和真实的人工学术写作来进行训练， 涵盖了广泛的学科、国家和学生群体的论文。
Turnitin 特别注重纳入代表性不足的群体，例如第二语言学习者和来自不同学术背景的学生， 这有助于减少偏差，并提高模型在不同写作风格上的公平性和准确性。
更重要的是，AIW-2 的训练数据还包括经过 AI 改写工具处理过的 AI 生成文本，这对于提升其检测“AI 生成 + AI 改写”内容的能力至关重要。
对于 AIR-1，其训练重点更为明确：
它基于大量的 AI 改写文本以及常规的人工写作和纯 AI 生成内容进行训练。
这帮助 AIR-1 学习识别 AI 改写独有的细微线索——这些线索往往会被传统的 AI 检测器忽略。
总而言之，这些模型并非仅仅使用从互联网上抓取的示例进行训练， 而是基于真实的学术场景精心设计，以贴合教育工作者和学生在实际工作中遇到的情况。
模型测试：Turnitin 如何评估准确性？
在测试方面，Turnitin 主要关注以下两个核心指标：
召回率 – 衡量的是模型正确识别 AI 生成文本的能力。 高召回率意味着模型能够有效地检测出目标内容。
假阳性率 (FPR) – 指的是将人工撰写的文本错误地标记为 AI 生成的频率。 较低的 FPR 至关重要，尤其是在学术环境中，因为错误的指控可能会带来严重的后果。
根据 Turnitin 提供的数据，AIW-2 将文档级别的假阳性率控制在 1% 以下，前提是该模型检测到至少有 20% 的内容是由 AI 生成的。 这也解释了为什么你经常在 AI 报告中看到 20% 这一阈值——这是经过测试后 carefully 选择的临界值。
为什么仅凭“准确性”还不够？
有趣的是，Turnitin 在其报告中并没有直接使用“准确性”这一通用术语。 这是为什么呢？
因为在不平衡的数据集中（例如，当大多数文档都是人工撰写时），即使是很差的模型也可能显示出 99% 的“准确率”，因为它总是猜测为“人工”。 这样的结果会产生误导。
因此，Turnitin 侧重于召回率和 FPR， 从而更客观地展示其检测系统的实际性能。
现在我们了解了 Turnitin 模型的训练方式， 接下来让我们深入了解它们如何在学生提交论文后对其写作内容进行分析。 接下来会涉及到一些技术细节，我们会尽量用简单的方式进行讲解。
Turnitin 的 AI 检测器是如何运作的
系统如何将文章分拆成小段落？
Turnitin 使用一种叫做分段窗口技术的方法。 简单来说，它不是一次性分析整篇文章，而是将文章分割成小段且互相重叠的段落，大约每段包含五到十个句子。
这些“窗口”在文章中逐句滑动，这样每个句子都会在多个段落中被分析。 这种做法为模型提供了多重语境，从而更可靠地评估每个句子。
系统如何评估句子由 AI 生成的可能性？
每个段落都会获得一个0 到 1 之间的评分：
评分越接近 0，表示文本越有可能是由人类撰写。
评分越接近 1，表示文本越有可能是由 AI 生成。
由于每个句子会出现在多个窗口中，Turnitin 会计算出每个句子的加权平均分。 这样可以减少偶然的误判，并提供更准确的评估结果。
正如之前提到的，Turnitin 还会对已被判断为 AI 生成的句子进行 AI 释义的评估，这会产生一个单独的评分。
系统如何判断整篇文章是否为 AI 生成？
那么，Turnitin 如何确定整篇文章是否由 AI 生成呢？
根据 Turnitin 的说法，只有当至少 20% 的句子被评判为超过 AI 写作的阈值时，该文章才会被标记为 AI 生成。 这个 20% 的比例并非随意设定，而是基于测试结果，表明较低的比例容易导致误报。 因此，Turnitin 采取谨慎的做法，只有当文章中存在明显的 AI 参与迹象时，才会将其标记出来。
换句话说，一篇论文需要包含相当数量的 AI 生成内容，才会被判定为 AI 生成。
篇幅过短的文章不会被检测
还有一个重要的限制是：Turnitin 不会对少于 300 字的文章进行 AI 检测。 这是因为短篇文章无法为系统提供足够的数据来进行准确预测。 系统需要一定的内容才能进行分析，而且文章越长，分析结果通常越准确。
以上就是关于 Turnitin 如何检测 AI 内容的全部内容。
Turnitin的AI检测工具与其他工具相比怎么样
市面上有许多AI检测工具——有些是免费的，有些是付费的——但Turnitin的系统在几个关键方面表现突出：
专为学术界设计： 与许多通用检测工具不同，Turnitin的模型是专门基于真实的学生作品进行训练，这些作品涵盖不同学科、语言和写作风格。 这可以减少误报，并使其在教育环境中更加可靠。
双重模型方法： 大多数检测工具仅仅标记AI生成的文本，而Turnitin采用双重模型——AIW-2用于检测原始AI写作内容，AIR-1用于检测AI释义后的文本——从而覆盖更广泛的范围，并捕捉经过巧妙伪装的内容。
基于Transformer的架构： 许多检测工具依赖于诸如困惑度或突发性等简单统计数据。 Turnitin使用先进的transformer模型，使其能够识别语言中的细微模式，从而使检测更加智能和准确。
规模化和集成化： Turnitin的工具已嵌入全球范围内的学习管理系统，目前已经分析了超过2.5亿篇论文——这意味着他们的模型可以通过真实世界的数据不断改进。
透明度和测试： Turnitin发布详细的白皮书和验证研究，公开展示其系统的性能和局限性——这是大多数免费检测工具所不具备的。
总而言之： Turnitin不仅仅是另一款AI检查工具。 它是一个强大且有研究支持的系统，旨在满足教育领域的复杂需求，而不仅仅是基于简单的规则来标记AI的使用情况。
Turnitin 与其他 AI 检测工具对比
是否考虑过在提交论文前，使用其他 AI 检测工具代替 Turnitin 来检查您的作品？ 需要注意的是：Turnitin 的系统很难被像 GPTZero 这样的常用工具轻易取代。
Turnitin 使用涵盖广泛学科和语言的真实学生论文来训练其 AI 模型，因此针对学术写作进行了优化。 此外，它还从分析超过 2.5 亿份真实提交的论文中进行学习——这是大多数其他检测工具所不具备的优势。 这种真实数据大大提高了检测准确性。
Turnitin 更进一步，采用两种模型：一种用于检测 AI 生成的写作内容，另一种用于识别 AI 改写的句子。 尽管 GPTZero 和 Quillbot 提供一些句子级别的突出显示功能，但它们在深度和可靠性上都无法与 Turnitin 相媲美。
从技术角度来看，许多检测工具依赖于诸如困惑度等简单的统计数据，而 Turnitin 则建立在先进的 Transformer 模型之上，能够捕捉到细微的语言模式，从而实现更智能的检测。
FAQ
Q: Turnitin 使用哪些 AI 模型？
A: Turnitin 主要使用两种模型：AIW (AI 写作) 用于检测直接由 AI 生成的文本，以及 AIR (AI 重写) 用于识别 AI 改写的内容。 最新版本是 AIW-2 和 AIR-1，它们都由基于先进 Transformer 的深度学习技术驱动。
Q: 如何避免被 Turnitin 的 AI 检测器标记？
如果您担心被 AI 检测系统标记，最佳方法是以您自己的风格创作原创且研究充分的内容。 此外，还有一些人性化工具可以帮助您改进作品，同时避免产生 AI 生成的语气。
Q: Turnitin 比 ZeroGPT 等免费工具更准确吗？
A: 是的。 Turnitin 的模型经过同行评审，并在数百万篇真实的学术论文上进行了测试，专门针对学生写作进行了优化。 相比之下，许多免费检测工具不公开其训练数据或误报率，并且经常忽略句子层面的细节。 像 ZeroGPT 这样的工具往往更宽松，准确性也更低。
Q: Turnitin 可以检测 GPT-4 或 Gemini 等新型 AI 的写作内容吗？
A: 当然可以。 截至 2024 年，Turnitin 的系统能够识别由 GPT-3、GPT-4、GPT-4o、Gemini、LLaMA 和其他领先的大型语言模型生成的文本。
Q: Turnitin 的 AI 检测准确率如何？
A: Turnitin 表示，他们的 AI 检测准确率相当高。 对于 AI 生成内容占 20% 或以上的文档，其误报率低于 1%。
结论
我们深入探讨了Turnitin AI检测器的核心原理——从它如何将论文分解成各部分，到它如何基于真实的学生写作和AI生成的内容进行训练。 随着AI技术的不断发展，Turnitin也在不断进化，这是教育者和学生都需要认真对待的问题。 归根结底，重点不是揪出作弊者，而是维护学术诚信。 了解这个工具的工作原理能帮助大家更公平、更负责任地使用它。