Perspectives: Comment Turnitin détecte l'IA dans essais ?
En avril 2023, Turnitin a lancé sa fonctionnalité de détection de la rédaction par IA, directement intégrée à son rapport de similarité habituel. Cette initiative répond aux préoccupations grandissantes concernant l'usage d'outils d'IA générative tels que ChatGPT dans les travaux étudiants.
Alors que les établissements universitaires s'efforcent de garantir l'originalité des travaux, Turnitin s'impose comme un acteur majeur dans l'identification des contenus générés par l'IA. Mais comment fonctionne réellement le système de détection de l'IA de Turnitin ? Cet article vous l'explique étape par étape.
Ce que Turnitin détecte
Alors, Turnitin est-il capable de détecter l'IA ? La réponse est oui.
Depuis avril 2023, Turnitin a intégré une fonctionnalité de détection de l'écriture par l'IA à son rapport de similarité. Cette fonctionnalité est conçue pour identifier principalement deux types de contenus :
Contenu généré par l'IA
Texte qui semble avoir été créé directement par des outils d'IA générative tels que ChatGPT, incluant des versions comme GPT-3, GPT-3.5 et GPT-4.Contenu paraphrasé par l'IA
Texte initialement généré par l'IA, puis modifié à l'aide d'outils de paraphrase basés sur l'IA, lesquels essaient de reformuler le contenu pour lui donner une apparence plus humaine.
Comment Turnitin Détecte la Rédaction Assistée par IA dans un Essai
Mais comment cela fonctionne-t-il concrètement sur un essai étudiant ? Voici une explication détaillée de ce qui se passe en coulisses.
Étape 1 : Analyse de Votre Soumission
Lorsque vous soumettez un document, Turnitin ne l'examine pas dans son intégralité. Il le divise plutôt en sections plus petites, généralement de quelques centaines de mots chacune. Pourquoi ? Cette segmentation facilite l'analyse précise du style d'écriture, de la structure et des motifs linguistiques.
Étape 2 : Évaluation des Sections à l'Aide de Modèles d'IA
Chaque section est analysée par les modèles de détection d'IA propriétaires de Turnitin. Ces modèles attribuent un score compris entre 0 et 1 :
Proche de 0 = probablement rédigé par un humain
Plus proche de 1 = probablement généré par l'IA
0,5–1 = éventuellement influencé par l'IA
Ces chiffres indiquent une probabilité, et non une certitude. Considérez-le comme un "score de risque" pour chaque section.
Étape 3 : Pourcentage Global d'IA
Une fois toutes les sections analysées, Turnitin regroupe les scores pour obtenir un chiffre global : le pourcentage de rédaction assistée par IA. Cela indique la proportion de votre document susceptible d'avoir été générée par l'IA ou modifiée par un outil de paraphrase basé sur l'IA.
Remarque importante :
Ce pourcentage ne concerne que le texte pertinent, généralement la prose longue. Les listes à puces, les énumérations ou les blocs de code ne sont pas pris en compte.
Ce pourcentage figure dans le rapport, mais n'a aucune incidence sur l'Indice de Similarité.
Étape 4 : Identification des Motifs (Comment Turnitin Repère l'IA)
Turnitin ne se contente pas de "supposer" que le texte provient de ChatGPT ou d'outils similaires. Il recherche des motifs caractéristiques du langage généré par l'IA :
Structures de phrases prévisibles
Formulations répétitives
Faible variation de la longueur des phrases
Utilisation excessive de phrases de transition
Ces caractéristiques sont fréquentes dans les contenus générés par des modèles linguistiques importants tels que GPT.
Étape 5 : Rapport de Détection d'IA et Codes Couleur
Une fois l'analyse terminée, Turnitin fournit un rapport de rédaction assistée par IA. Voici comment interpréter les informations affichées :
Légende des Couleurs :
🔵 Bleu (20%–100%) : Traitement réussi. Indique la présence de contenu IA détecté.
🔵 Bleu avec * (1%–19%) : Détection à faible fiabilité. Ces scores, moins fiables, sont signalés par un astérisque afin d'éviter toute interprétation hâtive.
⚪ Gris (--%) : Non traité. Cela peut être dû à un problème de format de fichier ou au fait que le document est trop ancien.
❗ Erreur (!) : Erreur système. Turnitin n'a pas pu réaliser l'analyse. Veuillez soumettre le document à nouveau.
Comment les détecteurs d'IA de Turnitin sont-ils formés ?
Le système de détection d'IA de Turnitin repose sur un modèle d'apprentissage profond utilisant une architecture de type transformeur. Ce modèle analyse le texte en le divisant en petits segments qui se chevauchent, chacun couvrant environ cinq à dix phrases (quelques centaines de mots). Ces "fenêtres de segment" parcourent le document phrase par phrase, permettant au système de collecter suffisamment de données statistiques à partir des mots et expressions contenus dans chaque fenêtre. Cela aide le modèle à déterminer si le texte de ce segment correspond aux caractéristiques typiques d'une production écrite générée par l'IA.
Pour chaque segment, le modèle attribue un score compris entre 0 et 1. Un score proche de 1 indique une forte probabilité que le segment ait été écrit par une IA, tandis qu'un score proche de 0 suggère qu'il a été écrit par un humain. Turnitin calcule ensuite la moyenne de ces scores pour chaque phrase, en tenant compte de tous les segments qui la contiennent, afin de lui attribuer un indice de probabilité d'IA. Si cet indice dépasse un certain seuil, la phrase est identifiée comme étant générée ou paraphrasée par une IA (dans le cas du modèle AIR).
Un document complet est considéré comme "généré par l'IA" par Turnitin uniquement si plus de 20 % de ses phrases dépassent le seuil d'écriture de l'IA. Ce seuil permet de limiter les faux positifs, en particulier pour les documents contenant moins de 20 % de contenu de type IA, pour lesquels le risque d'erreurs est plus élevé. Le système exige également que les documents comportent au moins 300 mots pour garantir un traitement fiable.
Modèles AIW et AIR
L'outil de détection d'écriture par IA de Turnitin a d'abord été lancé avec le modèle AIW-1, puis a été amélioré avec AIW-2. AIW-2 détecte non seulement les textes directement générés par l'IA, mais aussi ceux qui ont été modifiés par des outils de paraphrase d'IA, conçus pour masquer l'origine artificielle du contenu en le réécrivant.
En complément d'AIW, Turnitin utilise le modèle AIR-1 pour détecter spécifiquement les paraphrases réalisées par une IA. AIR-1 identifie les traces statistiques spécifiques laissées par ces outils, qui diffèrent de celles des textes directement générés par l'IA. Cela permet à Turnitin de signaler les phrases qui ont été modifiées par une IA, offrant ainsi aux enseignants une vision plus claire de l'origine du texte.
Le modèle AIR-1 n'est activé que pour les documents signalés par AIW-2 comme contenant au moins 20 % de contenu généré par l'IA, et n'attribue pas de label de paraphrase aux phrases identifiées comme étant écrites par des humains.
Données d'entraînement et conception du modèle
Les modèles de Turnitin sont entraînés à partir d'un ensemble de données vaste et diversifié, couvrant environ 20 ans de production académique, incluant des textes écrits par des humains et des textes générés par l'IA, provenant de différentes disciplines et de différents profils d'étudiants. Cet ensemble de données comprend également des textes hybrides, tels que des écrits humains ayant été paraphrasés par une IA, ou des écrits d'IA ayant subi une paraphrase.
Un effort particulier a été fait pour inclure des textes rédigés par des personnes dont l'anglais n'est pas la langue maternelle, par des étudiants de différents pays et issus de domaines académiques moins courants, afin de réduire les biais et d'améliorer l'équité.
Où le rapport d'IA de Turnitin s'affiche-t-il ?
La détection d'IA de Turnitin n'est pas un outil séparé ; elle est directement intégrée à l'interface du Rapport de similarité.
Intégré au Rapport de similarité
Lorsqu'un document est soumis, Turnitin analyse le contenu comme pour la détection de plagiat. Si la détection d'IA est activée, un Indicateur d'écriture IA apparaît dans la barre latérale du rapport. Un clic révèle les sections potentiellement générées ou reformulées par une IA.
Cet indicateur est indépendant du score de plagiat. Il s'agit d'une analyse supplémentaire, pas d'une évaluation.
Visibilité gérée par les établissements
L'outil de détection d'IA n'est actif que si l'établissement l'active, ce qui implique que :
Certains établissements peuvent choisir de le réserver aux enseignants.
D'autres peuvent le désactiver complètement.
Les étudiants n'ont généralement pas accès aux résultats de l'IA.
L'accès étant géré au niveau de l'établissement, la visibilité varie.
Comment vérifier la présence d'IA avant de soumettre un document
Comme les étudiants n'ont généralement pas accès aux résultats de l'IA de Turnitin, beaucoup utilisent d'autres outils professionnels pour simuler la détection d'IA de Turnitin.
Une option courante est :
TurnitinDetector.com – Un outil simulant les vérifications de Turnitin en matière d'IA et de plagiat.
Utilise le véritable moteur de détection de Turnitin (et non une imitation).
Ne sauvegarde pas votre fichier dans une base de données.
Fournit des résultats quasiment identiques à ceux consultés par les enseignants.
Cela permet aux étudiants d'identifier les potentielles détections d'IA avant de soumettre leur travail sur la plateforme LMS de leur établissement.
Limites et précision de la détection de l'IA de Turnitin
L'outil de détection de l'IA de Turnitin est utile, mais imparfait. Voici ce que les étudiants et les enseignants doivent garder à l'esprit :
Détection de l'IA ≠ Verdict final
Turnitin précise que son outil de détection de l'IA ne constitue pas un verdict définitif. Il s'agit simplement d'un indicateur supplémentaire pour les enseignants. La plateforme recommande aux éducateurs de prendre en compte le contexte, notamment les antécédents de l'étudiant en matière de rédaction et ses performances, avant de conclure.
Des faux positifs sont possibles
Turnitin reconnaît également la possibilité de faux positifs et encourage les enseignants à faire preuve de bienveillance envers les étudiants. Turnitin souligne que cette fonctionnalité a pour but de favoriser le dialogue, et non la suspicion, entre les étudiants et les enseignants.
Même si l'outil identifie un contenu comme étant généré par l'IA, il peut en réalité avoir été écrit par un humain. Cela est particulièrement vrai pour les étudiants dont le style d'écriture naturel se rapproche de celui de l'IA : structuré, répétitif ou excessivement formel.
C'est pourquoi l'expertise de l'enseignant est essentielle. Il est recommandé aux éducateurs de prendre en considération :
Les travaux écrits antérieurs de l'étudiant
Son rendement dans le cadre du cours
Le contexte de l'exercice, avant de tirer des conclusions.
Mises à jour régulières, perfectibilité constante
L'efficacité de l'outil Turnitin est maintenue grâce à des mises à jour régulières qui lui permettent de s'adapter aux nouveaux modèles d'IA tels que GPT-4 et GPT-4o. L'outil se concentre sur les schémas linguistiques typiquement produits par les modèles génératifs, tels qu'une structure de phrase trop uniforme ou un style prédictif.
Cependant, les outils d'IA les plus récents ou sophistiqués peuvent parfois passer entre les mailles du filet. C'est pourquoi Turnitin conseille aux enseignants de se tenir informés des limites de la détection et d'utiliser les résultats obtenus comme un élément parmi d'autres dans le cadre d'une évaluation plus globale.
FAQ
Turnitin peut-il vraiment détecter l'IA ?
Oui, Turnitin peut identifier les contenus susceptibles d'avoir été écrits ou paraphrasés par une IA grâce à ses modèles de détection. Cependant, cette détection n'est pas précise à 100 % et doit être interprétée avec discernement.
Quelle quantité d'IA est acceptable dans Turnitin ?
Il n'existe pas de limite fixe. Turnitin n'applique pas de pénalité en fonction du pourcentage d'IA détecté. Les professeurs déterminent ce qui est acceptable en fonction du devoir et du contexte.
Un score de 40 % sur Turnitin est-il problématique ?
Pas nécessairement. Un score d'IA de 40 % signifie que cette partie du texte présente des similarités avec des modèles générés par l'IA. Cela ne constitue pas une preuve de fraude. Votre professeur évaluera le contexte.
Résumé
Nous avons expliqué comment Turnitin détecte la rédaction par IA, grâce à l'analyse de segments, la reconnaissance de motifs et les modèles de prédiction de l'IA. Bien qu'il s'agisse d'un outil utile pour identifier les contenus générés ou paraphrasés par une IA, l'évaluation finale revient toujours aux enseignants. Comprendre le fonctionnement du système peut aider les étudiants et les professeurs à l'utiliser plus efficacement.