Turnitin能檢測AI嗎?- 分數、工作原理及報告解析

Author image
作者   Dr. Lily Chen
2024-12-20 09:46:23 3 分鐘閱讀

嗨!你有沒有想過 Turnitin 怎麼在你的論文中追蹤 AI 生成的內容? 

不管你是正在為學期報告煩惱的學生,還是想維持公平的老師,了解 Turnitin 的功能是很重要的。 

那麼,我們來看看這個智能系統是怎麼運作的,它能檢測到哪些內容,以及誰能看到這些資訊。我們開始吧!

Turnitin 能檢測 AI 橫幅嗎

Turnitin 是否能檢測 AI?

是的,Turnitin 可以檢測 AI 生成的內容並生成報告。這項功能於 2023 年 4 月 4 日整合到 Turnitin 的服務中,確保通過該平台提交的所有作業不僅被檢查抄襲,還會篩選 AI 生成的材料。

誰可以查看 AI 檢測報告?

AI 檢測報告的可見性取決於機構或教師是否啟用了此功能。通常,這些報告包含一個顯示內容是 AI 生成可能性的 AI 分數,學生無法查看。它們通常僅供教師查看,教師可以利用這些信息來指導後續行動或學術誠信的討論。

想知道您的老師在 Turnitin 上檢查您的論文時會看到什麼嗎?  

別擔心,如果您想了解論文的詳細信息,還有其他解決方案。像 "EssayDone Turnitin Detector" 這樣的服務可以幫助您!通過使用官方 Turnitin 數據,這個服務讓您看到教師完整的評分。您可以獲得一份報告,其中包括相似度百分比和 AI 檢測結果。對於任何希望深入了解其分數並在最終提交前優化作業的學生來說,這都是一個很棒的工具。

誰可以使用Turnitin AI檢測器?

只有擁有Turnitin原創性許可的用戶可以使用AI寫作檢測。如果您使用的是Turnitin相似性、Feedback Studio或原創性檢查,您需要與您的Turnitin帳戶經理討論訪問選項。iThenticate 2.0用戶也可以透過聯繫他們的帳戶經理添加這個功能。

從2024年1月1日起,AI寫作檢測功能將僅通過原創性許可提供。沒有這個許可,使用者將無法訪問AI得分和報告,甚至是過去的提交也是如此。然而,具有原創性附加功能的機構可以查看所有提交的AI數據。

在像Moodle、Blackboard和Canvas這樣的LMS平台上的相似性報告內提供AI檢測,使用者需要查看完整報告才能看到AI詳細信息。

University Turnitin LMS

Turnitin AI 指標如何運作

概述

當論文提交到 Turnitin 時,系統會通過將文本劃分成大約五到十句的段落來進行分析。

這些段落故意重疊,以確保每句話能在更全面的上下文中被分析。Turnitin 的 AI 檢測模型隨後在 0 到 1 的範圍內評估每句話,其中 0 表示可能由人撰寫,1 則暗示由 AI 生成。

這些評分在整篇文檔中取平均值,提供文本可能由 AI 生成的整體預測。

可檢測的 AI 模型

Turnitin 的 AI 檢測能力目前包括:

  • GPT-3 和 GPT-3.5:這些是 Turnitin 最早關注的模型,能識別基於這些技術生成的文本,如 ChatGPT。

  • GPT-4:經過廣泛測試,Turnitin 確認其系統常能檢測 GPT-4 生成的文本,亦稱為 ChatGPT Plus。

  • 擴展計畫:Turnitin 正積極工作以將更多模型如 GPT-4o 和 LLaMA 納入其檢測能力,以反映大型語言模型(LLM)的持續發展。

檢測功能

Turnitin 的 AI 檢測器專門設計來識別:

  • AI 生成內容:包括完全由 AI 生成的文本。

  • AI 改寫內容:涉及最初由 AI 生成再由 AI 改寫工具修改的文本,如 Quillbot, Grammarly 的改寫工具和 Scribbr。此功能增強系統檢測經過細微調整來躲避檢測的文本的能力。

指標與報告

在 AI 寫作報告中,Turnitin 使用顏色標識來突顯不同類型的 AI 參與,幫助教師有效解讀結果。

Turnitin 的模型調整為僅在至少有 98% 確定性時才將內容標記為 AI 生成。這嚴格的門檻有助於將誤報率降到最低,儘管約有 15% 的 AI 撰寫文本可能未被檢測出。

Turnitin報告- 83% 檢測為 AI

LMS 集成

Turnitin 的 AI 檢測功能透過相似度報告集成於 Moodle、Blackboard 和 Canvas 等學習管理系統(LMS)。然而,具體的 AI 寫作指標未直接嵌入 LMS 介面;用戶需訪問詳細報告以查看 AI 分數。

偏見考量

考慮到偏見的可能性,尤其是對第二語言學習者或不常見學術領域,Turnitin 設計其 AI 檢測模型時強調公平性。模型開發考量了盡可能減少未充分代表團體所受影響的需要,旨在各種學術環境中實現公平應用。

Turnitin AI報告:分數、視覺指標和百分比

在Turnitin相似性報告中,AI報告部分詳細說明了兩種分數:

  • AI生成文本:此分數標識可能來自AI工具,特別是大型語言模型(LLM)的文本。

  • AI改寫文本:此分數識別看似由AI生成並經AI改寫工具如Quillbot修改過的文本。

報告中的視覺指標

Turnitin使用不同顏色來表示各類AI參與:

  • 青色標記:標示可能AI生成的文本。

  • 紫色標記:指示既是AI生成又由AI改寫的文本。

  • 藍色加百分比(0-100):顯示提交文本中來自AI的比例,特別針對敘述性文字。

  • 灰色(無百分比):表示提交無法進行AI檢測,可能由於不兼容的文件類型或大小。

  • 錯誤(!):顯示處理失敗,需重試或採取進一步措施。

為預防誤報,低於20%的AI檢測分數會以謹慎態度處理:

  • 0%-19% (*%):這些低分數會加星號和百分比符號 (*%),不在報告中量化。此舉是為減少誤認人寫文本為AI生成的錯誤。

Turnitin Similarity Score

Turnitin允許多少AI內容?

Turnitin未設AI生成內容的上限;它僅識別並標註顯著AI參與。實際AI內容接受度由各機構的學術誠信政策決定,因此學生和教職員應查閱具體指導方針以了解學術作品中允許使用AI的範圍。

Factors That Lead to Poor Turnitin Similarity Scores

與相似度分數的區別

  • 相似度分數:衡量文本與Turnitin龐大資料庫中來源相符的百分比。

  • AI檢測百分比:獨立評估文本中可能由AI工具生成的比例。此分數獨立於相似度分數,專注於AI生成的內容。

處理Turnitin的AI檢測誤判

Turnitin的AI寫作檢測系統力求高準確性,但有時可能會出現誤判,特別是對於結構變化小或經過大量改寫的文本。如果您認為提交的內容被錯誤標記:

  1. 提供反饋:使用AI寫作報告中的反饋功能告知Turnitin。這有助於隨著時間的推移提高系統的準確性。

  2. 情境審查:在處理長篇文檔時,應考慮AI生成內容與原創寫作的混合情況。對於短篇,系統的「全有或全無」法則可能會將混合創作錯誤標記為全部由AI生成。

  3. 教師判斷:教師應將AI檢測結果與其他評估手段及與學生的討論結合,以確保對他們作品的公平評價,並認識到該檢測模型在區分AI創作與人類文本的局限性。

FAQ Green

常見問題

Turnitin 的 AI 檢測是免費的嗎?

不,從 2024 年 1 月起,Turnitin 將開始收取其 AI 文字檢測服務的費用。

AI 檢測能分析以前提交的論文嗎?

是的,如果再次提交作業以進行分析,並且您的帳戶啟用了 AI 檢測功能,您可以檢查以前提交的作業中是否含有 AI 生成的內容。

Turnitin 支援哪些語言?

截至 2024 年 9 月,Turnitin 的 AI 檢測目前支援英文文檔和西班牙語長篇內容。然而,AI 轉述檢測功能僅適用於英語提交。

如何隱藏 AI 報告?

管理員可以選擇在 Turnitin 帳戶設置中禁用 AI 檢測功能,從而在結果中隱藏 AI 報告。

AI 檢測技術會隨著時間發展嗎?

是的,隨著 Turnitin 繼續開發和改進其模型,檢測功能和 AI 比例可能會發生變化。不過,特定文檔的 AI 比例將維持不變,除非它被重新提交以進行處理。

Turnitin 會將 Grammarly 修改的文本標記為 AI 嗎?

Turnitin 的檢測器通常不會將經過 Grammarly 基本拼寫、語法和標點工具修改的文本標記為 AI 生成。然而,使用 Grammarly 的 AI 生成功能(如撰寫和重寫)創建的內容很可能會被識別為 AI 生成。

結論 

總之,Turnitin 擁有強大的功能來檢測 AI 生成的內容,提供了維護學術誠信的基本工具。 

雖然教師可以深入分析所有報告細節,但學生可能需要在其他地方尋找相同的信息。 

請記住,Turnitin 的有效性實際上依賴於學校如何加以運用。希望您覺得這個分析有用——感謝您的關注!