Turnitin能检测ChatGPT吗?工作原理和准确性

曾用 ChatGPT 协助完成作业后,你是否曾疑惑,“等等……Turnitin 能发现这个吗?”你绝对不是唯一有这种疑问的人。
在本文中,我们将详细解析 Turnitin 的 AI 检测机制。我们会说明它能够(以及无法)检测的内容,如何识别 AI 生成或改写的文本,以及这些究竟对你意味着什么。无论你是在使用 AI 工具,还是仅仅关心潜在风险,了解这些系统的工作原理都能帮助你做出更明智的决定!
Turnitin 能检测到 ChatGPT 吗?
是的,但目前仅适用于用 英文、日文和西班牙文撰写的文档。
Turnitin 的 AI 写作检测旨在识别这三种语言中可能由 AI 生成的 长篇文章。然而,AI 改写检测——用以标记经过改写或“旋转”的 AI 内容——目前仅对 英文提交的文档提供支持。
Turnitin 的技术最初是为检测 GPT-3、GPT-3.5及其变体(包括 ChatGPT 等工具)的输出而训练的。随着时间推移,其检测范围已扩展到来自更先进模型的写作,如 GPT-4 (ChatGPT Plus)、GPT-4o、Gemini (Pro)、LLaMA以及其他基于类似大型语言模型的工具。
Turnitin 是否显示使用了 ChatGPT?
不完全是这样。
Turnitin 不会直接指出使用了哪种工具——它不会显示“这篇文章是由 ChatGPT 撰写的”或标明具体创建该内容的账户。相反,它会分析写作风格:词汇选择、句子结构和整体流畅度。文本如果显得过于整洁、一致或缺少变化——这些都是 ChatGPT 及类似 AI 模型的特征——就可能被检测出来。
Turnitin 如何呈现检测结果?
Turnitin 的检测结果会通过颜色标识显示:
若超过文档内容的 20%可能由 AI 生成,则 AI 指示器上会显示 蓝色分数。
若检测到 AI 内容但不足 20%,你将看到一个 细微的星号 (*%),这种低分标识有助于减少误报,并使教师能更专注于需要处理的结果。
还有一点:
AI 写作分数会显示在 相似性报告中,而该报告通常 仅对教师可见。除非学校决定共享,否则学生一般看不到 AI 分数。
ChatGPT内容中Turnitin AI检测到了哪些内容?以及它是如何检测的?
Turnitin的AI检测并不仅仅停留在表面——它现在将检测到的内容归为两种完全不同的类别,帮助教育者更清楚地了解学生写作中可能存在的AI介入情况。
1. AI生成内容
这是一种最直接的检测类型。它指的是看起来像是由大型语言模型(LLM),例如 ChatGPT,直接生成的文本。换句话说,这类内容很可能是直接复制粘贴到文档中而未做过重大修改的。
Turnitin使用青色来标记这类内容。系统会寻找机器生成文本的典型特征:极为标准的语法、异常可预测的措辞以及呈现出算法逻辑而非人类特有的不确定性。
2. AI改写内容
这一类别展示了Turnitin系统更高的智能。一些学生会借助诸如 ChatGPT 这样的AI工具生成内容,然后通过诸如 Quillbot 的改写工具对文本进行伪装。
目前,Turnitin能够检测出这种两步处理过程,但仅适用于英文提交。在检测报告中,这部分内容会以紫色标记。系统能辨识出,尽管具体用词发生了改变,但文章的结构、措辞模式和句子构造依然保留了大型语言模型的特征.
Turnitin如何对AI内容进行分段和评分
提交论文后,Turnitin会将文本划分成若干个小片段,每个片段大约包含2-3个句子。这样一来,每个句子就能在其上下文中得到充分检测,而不是孤立地判断。
对于每个片段,Turnitin的AI模型将给出一个介于0与1之间的分数。分数接近0代表该文本很可能是人类所写,而接近1则表明它可能是由AI生成的。
Turnitin会对所有片段的分数进行平均计算,从而大致评估出整篇论文中可能有多少比例的内容是AI生成的。
对于那些被标记为AI生成的部分,Turnitin还会进行第二轮检查,以判断文本是否经过像 Quillbot 这样的AI工具进行了重写或改写。这个第二模型同样会为文本打分,以区分纯AI生成和经过AI改写的内容。
最后,Turnitin将所有这些分数综合起来,从而得出论文中有多少比例的内容是AI生成和/或经过AI改写的总体估计.
如果AI分数较低,该怎么办?
并非所有的AI检测都会生成详细报告。如果被标记的内容占提交论文的比例低于20%,Turnitin将不会显示精确的百分比,而只会显示一个星号 (*%)。
这说明虽然检测到了AI的痕迹,但数量太少,尚不足以作为采取进一步措施的依据。此措施有效降低了误报的风险,对于确保公平性至关重要——尤其是在一些常见用语可能与AI生成的文本相似的情形下。
关于检测 ChatGPT 准确性如何?
Turnitin 的 AI 写作检测工具旨在识别由 AI 生成的内容,同时尽量避免误判——即把人类书写的文本错误地标记为 AI 生成的情况。根据其数据,对于至少含有 20% 可能为 AI 生成内容的文档,误判率低于 1%。这意味着每 100 篇完全由人类撰写的论文中,大约有 1 篇可能会被错误地认为含有 AI 生成的文本。
至于 AI 改写检测——该检测针对已被标记为 AI 生成的文本进行分析——该系统显示出相当不错的准确性,但并非绝对不会出错。错误的分类可能有两种情况:一种是把 AI 生成但未经过改写的文本错误地标为已改写,另一种是未能发现已改写的 AI 文本,仅简单地标注为 AI 生成。
为了降低被错误指控的风险,Turnitin 在检测过程中允许一定的误差,可能会遗漏论文中高达 15% 的 AI 生成内容。这意味着,如果 Turnitin 检测出 50% 的内容为 AI 生成,实际比例可能更接近 65%。
Turnitin 定期利用大型数据集对其模型进行更新,其中包括 ChatGPT 出现之前的学术论文,以便在不断进化的 AI 技术背景下监控并保持检测性能。尽管做出了这些努力,检测 AI 生成文本仍然是一项复杂的挑战,需要在灵敏度和准确性之间作出权衡。
常见问题
Turnitin 能识别 ChatGPT 对话或您的浏览记录吗?
不。Turnitin 无法访问或识别您的 ChatGPT 对话或浏览记录。不过,有些工具可以监控比如超快的打字速度或在作业或论文提交过程中大量粘贴文本的行为。
ChatGPT 会在 Turnitin 上显示吗?
不。如果您的老师启用了该功能,Turnitin 会检测内容是 AI 生成还是 AI 改写,但不会具体指出使用了哪种 AI 工具(如 ChatGPT)。
Turnitin 能识别 ChatGPT 改写的文本吗?
是的,Turnitin 能识别到 AI 改写的文本。使用可靠且值得信赖的改写工具会增加 AI 改写文本被识别出来的可能性。
如果您让文本更自然,Turnitin 能检测到 ChatGPT 吗?
AI 模型和 Turnitin 的检测方法都在不断发展。Turnitin 是否能识别出 AI 生成的内容,取决于文本被“人性化”的程度以及是否采用了有效的改写技术。
结语
现在你已经知道 Turnitin 能够检测出 ChatGPT 生成的内容,并且了解它的检测方式。尽管其 AI 检测技术在不断进步,但依然不是十全十美。Turnitin 力求在准确性与公平性之间取得平衡,特别是在避免误报方面。了解其运作原理可以帮助你在提交作业时做出更明智、更有责任感的选择。