Turnitin的AI检测工具准确吗?- 功能与局限性解析

Author image
作者  Dr. Lily Chen
2024-12-19 18:15:19 3 分钟阅读

曾否在提交论文后质疑过Turnitin的AI检测器到底有多精确?让我们一起来探讨这个话题。

本文深入研究了Turnitin的人工智能能力,探讨它真正能检测到的内容以及可能在哪些方面有所不足。

注意:Turnitin的AI报告仅对教师可见。如果您需要预览您的AI分数,EssayDone提供了一种替代方案,它的Turnitin检测器为所有用户提供可访问的相似度和AI分数!

Turnitin AI检测器是否精确第一屏幕

Turnitin的准确性如何?

根据官方声明,Turnitin力求将误将人工撰写的文本标记为AI生成文本的比率保持在1%以下,这适用于含有超过20% AI撰写内容的文档。这意味着在每100份完全由人工撰写的文档中,只有一份可能被误标记为含有AI生成内容。

为确保和验证这一准确性,Turnitin在2023年4月对80万篇早于ChatGPT发布的学术论文进行了全面测试。测试结果支持他们的声明,即误标率保持在1%以下。

然而,为了实现如此低的误标率,Turnitin承认可能会漏检文档中高达15%的AI撰写文本。例如,如果他们的工具判断文档中50%是AI撰写的,实际数字可能高达65%。

Turnitin AI 指标可以检测和无法检测的内容

在我们深入讨论 Turnitin 的准确性之前,首先需要了解 Turnitin 的 AI 检测器具体在寻找什么。

Turnitin 的 AI 检测功能专注于识别可能由 AI 工具生成或修改的内容。以下是一个简要概述:

检测内容:

  • AI 写作检测:识别似乎由高级 AI 工具(如 GPT-3 或 GPT-3.5)生成的文本。

  • AI 改写检测:评估是否使用 AI 驱动的改写工具对 AI 生成的内容进行了后续修改。

Turnitin AI 生成和改写报告颜色标记

局限性:

  • 非散文内容:该模型在处理像诗歌、剧本或代码这类不按照标准散文结构的内容时存在困难。

  • 短篇/非传统写作:模型在处理项目符号、标注式的书目以及其他非传统或片段化的写作风格时存在困难。

  • 语言和翻译:主要专注于英文文本,除非翻译的内容与 AI 生成的文本模式相似,否则可能无法准确检测。

  • AI 工具的具体性:Turnitin 可以检测 AI 创作的文本的存在,但无法区分不同的 AI 写作工具,如 ChatGPT 或其他语言模型。

Turnitin 的 AI 检测工作原理

Turnitin 的 AI 检测过程始于将每篇提交的论文拆分为数百字的文本块,以分析是否有 AI 生成内容的迹象。这些片段中的每个句子都会获得一个从 0(表示人类撰写)到 1(表示 AI 生成)的得分。AI 检测模型评估这些得分以确定 AI 参与的可能性。

如果片段被标记为 AI 生成,它们会进一步接受 AI 改写检测模型的审查,以检查文本是否使用了 AI 改写工具进行过修改。第二层分析也为句子评分从 0 到 1。被识别为 AI 生成但没有改写的句子与那些被检测到两者兼有的句子不同地标记。

Turnitin AI 检测评分过程

最终报告的 AI 百分比结合了这些发现,量化了直接的 AI 参与和随后的修改,为提交中的 AI 生成和 AI 改写内容提供了详细和全面的视图。

因此,您在报告中看到的最终 AI 百分比等于 AI 生成和 AI 改写内容的总和。

如何查看Turnitin的AI评分

通常,Turnitin的AI检测评分是不直接向学生开放的。教育机构和教师可以通过Turnitin系统查看这些分数,但一般不会通过学习管理系统(LMS)或由学生自行查看。

那么,如何获取接近Turnitin报告的详细信息呢?EssayDone Turnitin检测器 提供了一种专业工具,可以显示相似性评分和AI检测结果。以下是使用EssayDone获得类似Turnitin报告见解的方法:

在Turnitin上检查论文的步骤:

  1. 访问EssayDone平台。

  2. 上传您要检查的文档。此过程方便快捷。

  3. 分析通常需要5至20分钟,具体视文档长度和复杂性而定。

  4. 分析完成后,您将收到一份详细报告,其中包括相似性评分和检测到的AI生成内容。

重要的是,使用EssayDone可以确保您的文档不会存储在Turnitin数据库中,这意味着未来再次提交同一文档到Turnitin时不会受到影响。这使得EssayDone成为最终提交到教育机构之前进行初步检查的理想选择! 

为什么Turnitin会报告我使用AI,而我实际上没有?

Turnitin的AI检测工具虽然很先进,但也不是完美无缺的。有时候,它们可能会错误地将人类创作的内容识别为AI生成。这通常是因为以下几个原因:

  • 常用短语和结构化文本:你的文章可能使用了在AI生成内容中经常出现的短语或结构,从而导致误判。

  • 复杂的AI模型:尽管Turnitin不断更新其检测模型,但一些新型或高度复杂的AI生成文本能够很好地模仿人类写作风格,这使得检测更加困难。

  • 创造性的写作风格:创新或独特的写作风格可能不符合AI检测器的常规识别模式,从而导致错误分类。

  • 教师设置:教师设置的来源和引用过滤器可能影响文本是否被标记为AI生成。例如,如果没有排除小的匹配项,学生自己的名字或常用短语可能会被误判。

提交历史:如果学生多次提交同一篇论文的草稿,每次提交可能会人为地增加AI评分。教师可以通过在报告中排除之前的提交来解决这个问题。

导致Turnitin相似性评分低的因素

  • 直接复制与正确引用:直接复制文本的学生可能会得到与正确引用内容的学生类似的文本相似性评分。教育者可能会选择不在报告中包括引用,以便更加清晰地展示非引用部分的相似性。

  • 大量引用:拥有大量引用内容的论文也可能显示出较高的相似性评分。教师可能需要调整设置以从相似性计算中排除参考书目和引用内容。

Turnitin对误判的回应

Turnitin意识到其AI检测技术的局限性和潜在的不准确性。他们鼓励用户通过AI报告部分的反馈按钮提供建议,这有助于完善模型并减少误判。此外,Turnitin承认存在一定的误差范围,并会持续努力优化工具的敏感度,既能防止错误指控,又能保持有效检测的能力。

如果您的Turnitin AI分数很高,该怎么办?

如果您的提交获得了Turnitin的高AI分数,显示出大量AI生成内容,可以通过以下详细策略来解决并可能绕过Turnitin的检测:

  1. 审查并理解报告:仔细查看哪些部分被Turnitin的AI检测器标识。了解背后的上下文和原因。

  2. 与老师沟通:与您的指导老师讨论AI报告。为被标识的部分提供解释,并获得是否需要修改的指导。

学生和指导老师对话

  1. 修改您的内容:通过以下方式调整您的写作:

    • 改变句子结构:调整句子结构,增强人性化表达。混合使用简单句、复合句和复杂句,使其更加自然流畅,降低被标识为AI生成的可能性。

    • 创造性语言调整:尝试变换句子结构或使用字形相似的字符挑战AI检测,确保可读性。

    • 同义词替换:通过同义词替换关键词来保持原意和上下文,使内容保持自然。

  2. 混合内容来源:使用各种资源,避免内容被识别为相似或抄袭。结合书籍、期刊文章和网站内容的数据,使叙述更加丰富复杂。

  3. 适当编辑和校对:彻底审阅以纠正类似句子或重复短语,手动调整语气和风格,掩盖机器生成模式。

  4. 慎用引用:适当整合和引用资料丰富论证,并展示深度研究,从而降低相似度分数。

同义词替换恢复

  1. 结合视效元素:插入图片、图形和表格提供不被相似性检测的非文本内容,增强原创性。

  2. 进行深入研究:详细研究可以产出更原创的内容,降低Turnitin匹配概率。充分研究的论文显示对主题的深入理解,减少过度引用或释义的需要。

  3. 寻求专业帮助:如果难以创作独特内容,可考虑使用专业学术写作服务,确保内容符合学术标准并成功规避AI检测。

  4. 如允许,重新提交:如果教师允许,再将修改后的文件提交至Turnitin,以检查修改是否有效降低AI分数。确保重新提交与课程或机构的作业提交政策一致。

通过实施这些策略,您可以有效应对高的Turnitin AI分数,提高学术作品的原创性和完整性。

常见问题 

常见问题绿色

36%的Turnitin分数是否算糟糕? 

对于Turnitin分数的好坏没有固定标准。若在Turnitin上显示36%的相似度分数,则表示您的文本中有36%的内容与其他来源重合。这并不一定糟糕,但要看匹配内容的性质以及您所在机构的规定。重要的是检查这些匹配的地方,并确保正确引用。

Turnitin能否检测到ChatGPT生成的内容? 

是的,Turnitin可以检测到由ChatGPT等AI工具生成的文本,以及经过Quillbot等工具改写的内容。其AI检测功能旨在识别AI生成的内容及AI改写工具所做的修改。

如何使用Turnitin? 

要使用Turnitin,请按您所在机构或老师的指示,在线提交您的文件。Turnitin会分析文本与其他来源的相似性,并提供突出显示匹配项的报告。

如果使用ChatGPT,我的老师会发现吗? 

如果您直接复制ChatGPT中的内容作为提交材料,很可能会被Turnitin检测出来。报告会指出内容是AI生成的,但不会具体说明使用了哪个工具。

在Turnitin的AI报告中发现误报怎么办?

如果您认为Turnitin错误地将您的内容标记为AI生成(误报),请与您的老师沟通该报告,并提供必要的证据或修改建议。您也可以通过Turnitin的界面提供反馈,以帮助改进检测算法。

结论

以上就是我们对Turnitin的AI检测器准确性和局限性的讨论总结。

现在,您更加清楚Turnitin可以检测到什么以及无法检测到的内容,并了解这些因素可能会如何影响您的提交。

希望这些信息对您有帮助,谢谢阅读!