TurnitinはAIを検出するか？- スコア、仕組み、レポート
こんにちは！論文内のAI生成コンテンツをTurnitinがどうやって追跡しているのか、考えたことはありますか？
学期末レポートに取り組む学生や、公平性を守りたい教師にとって、Turnitinのツールを理解することは大切です。
では、このスマートなシステムの仕組みや、何が検出できるのか、誰がそれを見られるのかを確認してみましょう。それでは始めましょう！
TurnitinはAIを検出しますか？
はい、TurnitinはAI生成コンテンツを検出し、レポートを作成することができます。この機能は2023年4月4日からTurnitinのサービスに導入され、プラットフォームを通じて提出されたすべての課題が盗作のチェックだけでなく、AI生成資料のスクリーニングも行われるようになりました。
AI検出レポートを誰が見ることができるのでしょうか？
AI検出レポートの表示可否は、機関や担当教員がこの機能を有効にしているかどうかに依存します。通常、AIスコアが含まれるこれらのレポートは学生には見えず、通常は担当教員のみがアクセスでき、学問の誠実さに関するさらなる行動や議論を導くために利用されます。
Turnitinで教師があなたのレポートを確認する際、何を見るのでしょうか？
心配は不要です。もし自分のレポートの詳細を知りたい場合には、「EssayDone Turnitin Detector」のようなサービスが役立ちます。このサービスでは、公式のTurnitinデータを使用して、教師が見る内容をそのまま確認できます。類似性パーセンテージとAI検出結果の両方が含まれるレポートを取得でき、最終提出前に課題を精査し、スコアを理解するのに有用なツールです。
誰がTurnitin AIディテクタにアクセスできるのか
AIライティング検出機能は、Turnitinオリジナリティライセンスを持っているユーザーのみ利用可能です。Turnitin類似性、フィードバックスタジオ、またはオリジナリティチェックを利用している場合は、アクセスオプションをTurnitinのアカウントマネージャーに相談してください。iThenticate 2.0のユーザーも、アカウントマネージャーに問い合わせてこの機能を追加することができます。
2024年1月1日からは、オリジナリティライセンスを持っていないとAIスコアやレポートにはアクセスできなくなりますが、オリジナリティのアドオンを持つ機関はすべての提出物に関するAIデータを確認できます。
AI検出は、Moodle、Blackboard、CanvasなどのLMSプラットフォーム上にある類似性レポート内で利用可能ですが、AIの詳細を確認するには完全なレポートにアクセスする必要があります。
TurnitinのAIインジケーターの仕組み
概要
資料がTurnitinに提出されると、システムはテキストを約5〜10文ごとに分割して分析を開始します。
これらのセグメントは、各文をその文脈内で検討するために意図的に重ねられています。TurnitinのAI検出モデルは各文を0から1のスケールで評価します。ここで0は人間が書いた可能性が高い文を示し、1はAIによって生成された可能性があることを示しています。
これらのスコアの平均を計算することで、テキストのどの程度がAIによって生成されたかを総合的に予測します。
検出可能なAIモデル
TurnitinのAI検出能力には現在以下が含まれます：
GPT-3およびGPT-3.5：これらの技術を基にしたツールによって生成されたテキストを識別します。例えばChatGPTなどです。
GPT-4：多くのテストを経て、GPT-4、別名ChatGPT Plusによるテキストを検出できることが確認されています。
拡大計画：TurnitinはGPT-4oやLLaMAといった追加モデルを含めるために積極的に取り組んでいます。
検出能力
TurnitinのAI検出器は特に以下を識別します：
AI生成コンテンツ：完全にAIによって生成されるテキストを含みます。
AIによるパラフレーズされたコンテンツ：これはAIによって初めに生成され、その後QuillbotやGrammarlyなどのツールで修正されたテキストを含みます。微妙に変更されたテキストを検出する能力を強化します。
インジケーターと報告
AI文書レポートでは、Turnitinは色分けを使って異なるAI関与タイプをハイライトし、指導者が結果を解釈するのを支援します。
Turnitinのモデルは精度を最大化するように調整され、98％以上の確実性がある場合にのみAI生成コンテンツと判断します。この厳しいしきい値により誤認を最小限に抑えていますが、AIが書いたテキストの15%までが検出されない可能性も認識されています。
LMS統合
TurnitinのAI検出は、MoodleやBlackboard、Canvasのような学習管理システム（LMS）内に依存しています。ただし、特定のAIインジケーターはLMSのインターフェースに直接組み込まれることはなく、詳しいレポートにアクセスすることでAIスコアを確認可能です。
バイアスに関する考慮事項
特に第二言語学習者や珍しい研究分野に対するバイアスの可能性を考慮し、Turnitinは公平性に力点を置いてAI検出モデルを設計しました。このモデルの開発では、代表不足のグループに対する不利益を最小限に抑え、さまざまな学術環境に公平に適用できるようにしています。
Turnitin AIレポート: スコア、視覚的指標、パーセンテージ
Turnitinの類似性レポート内のAIレポートセクションでは、次の2つの特定スコアがあります:
AI生成テキスト: このスコアは、AIツール、特に大規模言語モデル（LLM）から生成されたと思われるテキストを特定します。
AI改変テキスト: このスコアは、AIによって生成され、QuillbotなどのAI改変ツールによって変更されたと思われるテキストを識別します。
レポートの視覚的指標
Turnitinは、レポート内でAIの関与度合いを示すために、異なる色を使用します:
シアンハイライト: AIによって生成された可能性のあるテキストを示します。
パープルハイライト: AI生成かつAI改変されたテキストを示します。
パーセンテージ付きの青色 (0-100): 提出物のテキストで、AI起源の率を示します。
グレー (パーセンテージなし): 提出物がAI検出できないことを示し、ファイルタイプやサイズの不適合が原因かもしれません。
エラー (!): 処理エラーを示し、再試行や他の手順が必要です。
誤判定を避けるために、20%未満のAI検出スコアは慎重に扱います:
0%-19% (*%): これらの低率はアスタリスクとパーセンテージ記号 (*%) 付きでマークされ、レポートでは数値化されません。これは誤って人間作成のテキストをAI作成と判断するエラーを防ぐためです。
Turnitinで許容されるAIの割合は？
TurnitinはAI生成コンテンツの最大許容限を指定しておらず、単にAI関与を特定、表示します。AI生成コンテンツの受け入れは、各機関の学術ポリシーにより異なるため、学生や教職員はAIの使用に関するガイドラインを確認するべきです。
類似性スコアとの違い
類似性スコア: Turnitinの広範なデータベースに一致するテキストの割合を測ります。
AI検出の割合: テキストの内、AIツールにより生成された部分を独自に評価します。このスコアは類似性スコアとは独立して機能し、AI生成コンテンツにのみ焦点を当てます。
TurnitinのAI検出における誤認への対応
TurnitinのAIライティング検出は高精度を狙っていますが、特に構造の変化が少ないテキストや内容が大きく言い換えられている場合、誤認する可能性があります。提出が誤って AI として認定されたと思われる場合には、以下の手順を検討してください。
フィードバックの提供: AIライティングレポートのフィードバックボタンを使用してTurnitinに情報を提供してください。これにより、精度が時間とともに向上するのを助けます。
文脈的な見直し: 長い文書の場合、AI生成部分と元の文章の組み合わせを考慮してください。短いテキストでは、「全てか無か」のアプローチが、混ざったコンテンツを完全にAI生成と見なすことがあります。
教育者の判断: 教育者はAI検出の結果を他の評価や学生との議論と共に活用し、AIと人間の文章を区別するモデルの限界を認識した上で、作業を公正に評価する必要があります。
FAQ
TurnitinのAI検出は無料ですか？
いいえ、Turnitinは2024年1月からAIライティング検出サービスに対して料金を請求します。
AI検出は以前に提出された論文を分析できますか？
はい、アカウントでAI検出が有効になっている場合、再提出された課題をAIライティングとしてチェックできます。
Turnitinはどの言語をサポートしていますか？
TurnitinのAI検出は現在、英語のドキュメントに対応しており、2024年9月からはスペイン語の長文コンテンツもサポートします。ただし、AIのパラフレーズ検出機能は英語の提出物にのみ利用可能です。
AIレポートを隠す方法は？
管理者は、Turnitinのアカウント設定でAI検出機能を無効にして、結果からAIレポートを非表示にすることができます。
AI検出技術は時間とともに進化しますか？
はい、Turnitinがモデルを改良し続けることで、検出能力とAIパーセンテージは変化するかもしれません。しかし、特定のドキュメントのAIパーセンテージは、再提出しない限り変わりません。
TurnitinはGrammarlyで修正されたテキストをAIと識別しますか？
Turnitinの検出ツールは、一般にGrammarlyの基本的なスペル、文法、句読点ツールで修正されたテキストをAI生成として識別しません。ただし、GrammarlyのAI駆動の生成機能（ドラフトやパラフレーズなど）を使って生成されたコンテンツは、AI生成として識別される可能性があります。
結論
まとめると、TurnitinはAI生成コンテンツを検出する優れた機能を備えており、学問の公正性を保つための重要なツールを提供しています。
教員はレポートの詳細をしっかりと確認できますが、学生は同じ情報を得るために別の方法を探さなければならないかもしれません。
ただし、Turnitinの効果は学校側の活用方法に依存します。この説明が役立てば幸いです。ご覧いただきありがとうございました！