主要な知見: Turnitinは学生の論文中でAIをどう検出するか？
2023年4月、TurnitinはおなじみのSimilarity Reportに直接組み込まれたAI文章検出機能を導入しました。この措置は、学生の作品においてChatGPTのようなgenerative AIツールが使用されることに対する懸念の高まりに応じたものです。
学術機関が独自性の基準を守ろうとする中で、TurnitinはAI生成コンテンツの識別において重要な存在として位置付けられています。しかし、TurnitinのAI検出は実際にどのように裏側で機能しているのでしょうか？この記事では、その仕組みを一段階ずつ解説していきます。
Turnitinが検出する内容
では、TurnitinはAIを検出できるのか? 答えは: はい。
2023年4月以降、TurnitinはAIライティング検出機能をSimilarity Reportの一部として実装しました。この機能は、主に以下の2種類のコンテンツを識別するために設計されています:
AI生成コンテンツ
GPT-3、GPT-3.5、GPT-4などを含む、ChatGPTなどの生成AIツールによって直接作成されたと思われるテキスト。AIパラフレーズコンテンツ
最初にAIで生成され、その後AIベースのパラフレーズツールを用いて、人間が書いたように見せるために修正されたテキスト。
エッセイにおけるTurnitinのAI文章検出方法
しかし、実際に学生のエッセイではどのように機能するのでしょうか？ ここでは、内部でどのような処理が行われているのかを解説します。
ステップ1: 提出物の分割
論文を提出すると、Turnitinは文書全体を一度にチェックするのではなく、通常数百語ごとの小さな部分に分割します。なぜなら、細かく分割することで、システムが文章の文体、構成、および言語パターンをより正確に解析できるためです。
ステップ2: AIモデルによるセグメントごとのスコア付け
各セグメントは、Turnitin独自のAI検出モデルを通じて評価され、0から1までのスコアが割り当てられます:
0に近い = おそらく人間が執筆した
1に近い = おそらくAIが生成した
0.5–1 = AIの影響が混在している可能性がある
これらの数値は、確実性ではなくあくまで確率を示しており、各セグメントごとの「リスクスコア」として考えてください。
ステップ3: 全体のAI割合の算出
すべてのセグメントの解析が完了すると、Turnitinは各スコアを統合し、全体を示すAIライティング割合を算出します。これは、論文のどの程度がAIによって生成またはAIベースのパラフレーズで改変された可能性があるかを示しています。
【重要な注意点】
この割合は、一般的に長文のプローズといった対象テキストのみを反映します。箇条書き、リスト、またはコードブロックは含まれません。
レポートにはこの割合が表示されますが、Similarity Scoreそのものには影響しません。
ステップ4: パターンマッチング（TurnitinがAIを検出する方法）
Turnitinは、テキストがChatGPTなどのモデルから生成されたかどうかを単に「推測」するのではなく、AI生成に特有のパターンを詳細にスキャンします:
予測可能な文の構造
繰り返し使われる表現
文の長さの変動が少ない
つなぎのフレーズの過剰使用
これらの特徴は、GPTのような大規模言語モデルによって生成されたコンテンツに共通しています。
ステップ5: AI検出レポートとカラーコード
すべての処理が完了すると、TurnitinはAIライティングレポートを提供します。以下は表示内容の解釈方法です:
カラーインジケーター:
🔵 青 (20%–100%): 正常に処理され、AIコンテンツが検出されたことを示します。
🔵 アスタリスク付きの青 (1%–19%): 検出の信頼度が低いことを示します。これらのスコアは信頼性が低いため、過剰な反応を防ぐ目的でアスタリスクが付けられています。
⚪ 灰色 (--%): 処理が行われなかったことを示します。ファイル形式の問題や、提出が古過ぎる場合などが考えられます。
❗ エラー (!): システムエラーが発生し、Turnitinが解析を完了できなかったことを示しています。再提出をお試しください。
TurnitinのAI検出器の訓練方法
TurnitinのAI検出システムは、トランスフォーマーを基盤としたディープラーニングモデルで構成されています。このモデルは、5〜10文（数百語程度）を含む小さな重複セグメント単位でテキストを処理します。これらの「セグメントウィンドウ」は、一文ずつ移動しながら、各ウィンドウ内の単語やフレーズから十分な統計データを収集するため、セグメントごとにテキストがAI生成の特徴的なパターンに沿っているかどうかを判断する材料となります。
各セグメントに対して、モデルは0から1のスコアを出力します。スコアが1に近いほど、そのセグメントはAIによって作成された可能性が高く、0に近い場合は人間が書いた可能性が高いと判断されます。Turnitinは、ある文を含むすべてのセグメントのスコアを平均し、その文に対するAI起源の可能性を示すスコアを割り当てます。もしそのスコアが一定の閾値を超えた場合、その文はAI生成、またはAIRモデルの場合はAIによるパラフレーズが施されたものとしてフラグが立てられます。
文書全体に対しては、文の20%以上がAI生成と判断される閾値を超えた場合にのみ、「AI生成」とラベル付けされます。この基準は、特にAIらしい内容が20%未満の文書において誤判定を防ぐために役立ちます。また、システムが正確に動作するためには、文書が少なくとも300語以上である必要があります。
AIWおよびAIRモデル
TurnitinのAIライティング検出ツールは、初めにAIW-1モデルで運用され、その後AIW-2へと改良されました。AIW-2は、単純なAI生成テキストだけでなく、内容を書き換えることでAIの痕跡を隠そうとするAIパラフレーズツールによって修正されたテキストも検出します。
さらに、TurnitinはAIによるパラフレーズを検出するために、専用のAIR-1モデルを利用しています。AIR-1は、通常のAI生成テキストとは異なる、パラフレーズツール特有の統計的特徴を捉えることで、AIによって改変された文を識別し、教育者に文章の出所をより明確に示すことができます。
AIR-1モデルは、AIW-2によって20%以上のAI生成コンテンツが認められた文書に対してのみ作動し、また人間が書いたと判断された文にはパラフレーズのラベルを付与しません。
トレーニングデータとモデル設計
Turnitinのモデルは、約20年にわたる学術論文の幅広く多様なデータセットでトレーニングされており、各種の科目や学生の背景を反映した、人間が執筆したテキストとAI生成テキストの両方を含んでいます。このデータセットには、AIパラフレーズされた人間の文章や、パラフレーズ処理を受けたAIの文章など、さまざまな形式のテキストが混在しています。
また、偏りを抑え公正性を高めるため、非ネイティブの英語話者、異なる国の学生、さらにはあまり一般的でない学術分野のテキストも特に重視して含められました。
TurnitinのAIレポートが表示される場所
TurnitinのAI検出は別個のツールではなく、Similarity Reportのインターフェースに直接組み込まれています。
Similarity Reportの一部
論文が提出されると、Turnitinは盗作チェックと同様に内容を処理します。もしAI検出が有効であれば、レポートのサイドバーにAI Writing Indicatorが表示され、どの部分がAIを用いて生成または言い換えられた可能性があるかを確認できます。
このインジケーターは盗作スコアとは別に機能し、成績ではなく追加の解析レイヤーとして提供されます。
機関によって表示が制御される
AI検出ツールは機関が有効にした場合にのみ動作します。つまり：
一部の学校では講師のみに表示されるよう設定されることがあります。
他の学校では完全に無効化されている場合もあります。
学生自身は通常AI結果を見ることができません。
アクセスは学校レベルで管理されるため、表示状況は様々です。
提出前にTurnitinのAIフラグを確認する方法
学生は通常TurnitinのAI結果にアクセスできないため、TurnitinがAI生成コンテンツを検出する仕組みを模倣した他の専門ツールを利用するケースが多いです。
よく使われるオプションの一つは：
TurnitinDetector.com – TurnitinのAIおよび盗作チェックをシミュレートするツールです。
Turnitinの実際の検出エンジンを利用しており、見た目だけのものではありません。
あなたのファイルをいかなるデータベースにも保存しません。
講師が確認する内容とほぼ同じ結果が得られます。
これにより、学生は学校のLMSにアップロードする前に、潜在的なAIフラグを確認する機会を得ることができます。
TurnitinのAI検出における限界と精度
TurnitinのAIチェッカーは役立つツールですが、完璧ではありません。学生と講師が押さえておくべきポイントは以下の通りです：
AI検出は最終判断ではない
Turnitinは、このAI検出ツールが最終的な判断を下すものではなく、教師が参考にするための一つのデータであると明言しています。結論を急ぐ前に、学生の執筆履歴やパフォーマンスといった背景情報を考慮するようにと、プラットフォームは教育者に助言しています.
偽陽性の可能性もある
また、偽陽性の可能性があることも認め、講師には学生に対して疑いすぎないよう促しています。Turnitinは、この機能が学生と教育者の間で不信感を生むのではなく、対話を促進するためのサポートになるべきだと強調しています。
たとえツールがある内容をAI生成と判定したとしても、それが人間によって作成された可能性は十分にあります。特に、構造が整然としていたり、繰り返しが多かったり、あまりにも形式張っているなど、AI生成と似た文体で自然に書く学生に当てはまることが多いのです。
このため、教員の洞察が極めて重要となります。教育者は以下の点を考慮することが推奨されています：
学生の過去の執筆内容
授業での成績
結論を出す前の課題の背景
Constant Updates, But Not Perfect
Turnitinのツールは、GPT-4やGPT-4oなどの新たなAIモデルに対応するために定期的な更新を行うことで、その効果を保っています。生成モデルが作り出す傾向のある言語パターン、例えばあまりにも一貫した文構造や予測可能な表現に注目しているのです。
それでも、新しいまたはより高度なAIツールが検出を逃れる場合もあります。ですから、Turnitinは教育者に対して、検出の限界を把握し、結果をより広範な評価プロセスの一部として使用するよう推奨しています。
FAQ
Turnitinは本当にAIを検出できるのですか？
はい、Turnitinは検出モデルを使って、AIが書いたり言い換えたりした可能性のある内容にフラグを立てることができます。ただし、100％正確ではなく、最終的な判断は人の判断に依存します。
Turnitinではどの程度のAI使用が許容されるのでしょうか？
特に決まった制限はありません。TurnitinはAIの使用率に基づいてペナルティを科すことはなく、課題や状況に応じて教員が許容範囲を判断します。
Turnitinで40％というスコアは問題なのでしょうか？
必ずしもそうではありません。40％のAIスコアは、文章の一部がAI生成のパターンに似ていることを示すに過ぎず、不正行為があったと断定するものではありません。教員が全体の文脈を評価します。
要約
TurnitinがAIライティングをどのように検出するかについて、セグメント分析、パターン認識、およびAI予測モデルを活用して説明しました。AIが生成または言い換えた内容を見抜く有用なツールではありますが、最終的な判断はあくまで教員に委ねられています。システムの仕組みを理解することで、学生と教員の双方がより効果的に活用できるでしょう。