Turnitinが確認する点と確認しない点：類似性、AIその他

Turnitinは盗作を発見するためのツールとして広く知られていますが、実際に何をチェックしているのでしょうか? 

生徒の文章と何十億もの情報源との照合から、AI生成コンテンツの検出まで、Turnitinは教育者にさまざまな洞察を提供します。しかし、それは単に「不正行為」を指摘したり、合格/不合格のスコアを与えたりするほど単純なものではありません. 

Turnitinが正確に何を探し、そして何を探していないのかを解説しましょう.

Turnitinとは何ですか？何をチェックするのでしょうか？

Turnitinは、学術の誠実性を守るために開発されたツールです。多くの大学やカレッジで利用され、Moodle、Canvas、またはBlackboardといったプラットフォームに直接組み込まれていることがよくあります。論文を提出すると、Turnitinは裏で自動的にチェックを実行するため、余分なクリックは必要ありません。

では、具体的に何をチェックしているのでしょうか？Turnitinは、インターネット上の情報源、学術出版物、そして学生の提出物という膨大なデータベースとあなたの文章を比較します。該当するテキストをハイライトし、盗作の疑いがある箇所にマークを付けます。もしAI検出機能が有効になっている場合、TurnitinのAI検出器が、論文の一部が人工知能によって生成された可能性があるかどうかも評価する場合があります。

Turnitinは盗作をチェックしますか？

Turnitinによると、その答えは「いいえ」です—Turnitinは盗作をチェックしません。Turnitinが生成するのは類似性レポートと呼ばれるもので、盗作レポートではなく、この違いは意図的なものです。

論文が提出されると、Turnitinはそのテキストをインターネット上のコンテンツ、学術出版物、過去に提出された学生の論文などを含む大規模なデータベースと照合します。照合されたテキストは強調表示され、提出物が既存の情報源とどの程度類似しているかを示す類似性の割合が算出されます。各一致部分は色分けされ、詳細を確認するためにその情報源へのリンクが提供されます。

ただし、Turnitinは判断や非難を下すことはありません。類似するテキストが見つかったとしても、それだけで盗作が確定するわけではありません。たとえば、適切に引用された直接引用でも一致として検出されます。同様に、正しく出典が明記されていないテキストも元の情報源と同一と判定されてフラグが立つ可能性がありますが、これが違反にあたるかどうかは講師の判断に委ねられます。

一方で、不十分な言い換えや出典が示されていないアイデアの場合、Turnitinが全くフラグを立てないこともあります。つまり、すべての盗作が類似性レポートで検出されるわけではなく、すべての類似性が盗作を意味するわけでもないのです。低い類似性スコアだからといって論文に問題がないとは限らず、高いスコアが自動的に不正行為の証明となるわけでもありません。レポートはあくまでデータを示すのみであり、その解釈は学術方針および講師の判断に依存します. 

TurnitinはAIを検出できるのか？

類似性のチェックに加え、Turnitinは人工知能によって生成されたコンテンツを検出しようとする機能も搭載しています。これには、生成的AIツールによって作成されたテキスト（たとえばChatGPT）と、AIパラフレーズツールによって修正されたテキストの2種類の使用例が含まれます。検出結果は類似性レポートの一部として表示されますが、この機能の使用は機関によって管理されています。有効化の有無や教員が結果を確認できるかどうかは、学校の設定に依存します。学生にはAI検出結果は表示されません。

TurnitinがAIを検出するために使用しているワーカーは、独自のAIWとAIRです。TurnitinのAI検出機能はどのように動作するのか？まずテキストを小さな断片に分割し、各断片を独自モデルで分析します。その後、AIツールによって生成された、または大幅に編集されたと予測される部分に印を付けます。これらの印付き部分は、提出物を審査する際に教育者が追加情報として参照できるよう、AIによる執筆の指標と共に表示されます。

特筆すべきは、Turnitinはこのツールが非難や罰を目的としたものではなく、むしろ教育者への支援および追加の文脈情報の提供を意図していると明言している点です。最終的な判断は依然として教員に委ねられており、学生の執筆習慣や過去の作品、コースの成績など、利用可能なすべての情報を総合的に考慮した上で行われます。

Turnitinはどの程度正確なのか？AI検出技術は非常に複雑で、まだ発展途上にあります。Turnitinは誤検出が起こりうることを強調しており、教育者にはフラグが付けられた内容を慎重に扱い、最終的な結論ではなく参考情報として利用することを推奨しています。

教師がTurnitinを使う方法

教師は主に、学術の公正性を維持しながら、評価やフィードバックを効率化するためにTurnitinを利用しています。テキストの類似性の確認に加え、TurnitinはGradeMark™やQuickMark™といったツールも提供しています。GradeMark™では、教師が学生の論文に具体的で詳細なコメントを記入でき、QuickMark™を使えば、よく使われるコメントを素早く追加することが可能です。さらに、ルーブリックスコアカードにより、定められた基準に基づいた評価の標準化が図られます。

しかし、すべての教師がTurnitinのAI検出機能を全面的に受け入れているわけではありません。一部の教師は、AIによって自動生成される警告の精度に疑問を呈しており、こうしたツールに依存することで、教師と学生の間の信頼関係が損なわれるのではないかと懸念しています。

また、多くの講師はRedditなどのフォーラムで、類似性スコアやAI検出結果を単独の指標とするべきではないと指摘しています。むしろ、これらの結果の解釈には、それぞれの事例の文脈が大きく影響するとされています。

Turnitinが検出しないもの

ここでは、Turnitinの主な制限事項をまとめます。

まず、Turnitinは盗用を直接検出するものではありません。Turnitin自体も、盗用レポートではなく類似性レポートを生成すると述べています。結果の解釈と学術不正の有無の判断は、教員に委ねられています。

さらに、Turnitinは引用が正確かどうかの検証や、パラフレーズの質の評価を行うことはできません。引用が正しく行われているかに関わらず、マッチしたテキストをすべて強調表示します。つまり、きちんと引用されている資料でもレポート上では一致部分として表示される可能性があります。

加えて、Turnitinはアイデアの独自性や文章の質を評価することもできません。アイデアが革新的か、洞察に富んでいるか、または盗用されたものかどうかを判断せず、ただテキストの類似性をチェックするだけです。同様に、構造、トーン、文法などの文章技術についても採点しません。

また、Turnitinは自らのデータベースに含まれていない情報源を検出することはできません。これには以下が含まれます：

• 印刷物（例：アップロードやスキャンがされていない書籍）

• 定期購読専用の学術雑誌やリポジトリ

• ニッチな、もしくはあまり目立たないオンラインコンテンツ

もし資料がTurnitinのデータベースに存在しなければ、コピーされていてもフラグは立ちません。

最後に、Turnitinは以下のようなその他の学術的不正行為を検出しません：

• 契約不正行為（論文を購入する行為）

• データの捏造や改ざん

• 無許可のグループ作業や共同作業

これらは、Turnitinがテキスト照合システムとしての機能範囲外にあるものです。

これらの制限から、Turnitinはあくまでツールであり、最終的な判断を下すものではないことが分かります。レポートは補助的な証拠を示すに過ぎず、最終的な判断は必ず人間の評価者が行うべきです。

FAQ

Turnitinは実際にAIを検出できるのでしょうか？

はい、TurnitinはAIによって生成またはパラフレーズされた可能性のあるコンテンツにマークを付けることができます。ただし、その検出精度は常に完璧ではなく、機関が有効に設定している場合にのみ講師に表示されます。

Turnitinで容認される割合はどのくらいですか？

一律に決まった「容認される」割合は存在しません。一般的に、類似度が15%未満であれば低いとされますが、講師は数値自体よりもどの部分が一致しているかに注目します。

Turnitinはパラフレーズ（言い換え）を検出するのでしょうか？

Turnitinは不十分な、またはほぼ直訳の言い換えは検出する場合がありますが、十分に書き直されたコンテンツはマークされない可能性があります。検出は既存の資料との文言の類似度によります。

AIとして検出された割合とは何ですか？

これは、Turnitinのシステムがテキストの中からAIが執筆した可能性があると予測する部分の割合を指します。これは推定値であり、確定的な証拠ではないため、講師は他の文脈と併せて解釈する必要があります。

結論 

総括すると、Turnitinは文章の一致点やAI使用の可能性を見つけ出すのには非常に有効ですが、盗作を摘発したり文章の質を評価したりすることはできません。 

これらのレポートは、教師がさらに詳細に調査を進めるための出発点に過ぎません。Turnitinの能力と限界を理解することで、誰もがより賢明に利用でき、誠実でオリジナルな作業に対する公平性が保たれるのです。