Quel détecteur d'IA? Turnitin: modèles, précision & plus
Avec la prolifération des outils d'écriture basés sur l'IA comme ChatGPT, il n'est pas étonnant que Turnitin ait développé ses propres détecteurs d'IA.
Contrairement aux outils gratuits qui offrent des réponses imprécises, le système de Turnitin est plus rigoureux et beaucoup plus complexe dans son fonctionnement interne.
J'ai analysé en profondeur leur livre blanc officiel et testé son fonctionnement. Dans cet article, je vais donc vous expliquer les modèles que Turnitin utilise réellement, comment ils identifient les contenus générés par l'IA ou reformulés par l'IA, et ce qui les distingue des autres solutions.
1. Quel détecteur d'IA Turnitin utilise-t-il ?
Selon le livre blanc officiel de Turnitin (la source sur laquelle cet article est basé), le système de détection d'IA de Turnitin s'appuie sur deux modèles d'apprentissage profond principaux :
AIW (abréviation de AI Writing) est le modèle qui détermine si un texte a été généré par une IA.
AIR (abréviation de AI Rewriting) est un modèle plus récent qui cible spécifiquement les textes paraphrasés ou réécrits par des outils d'IA afin de les rendre plus naturels.
Ces deux modèles reposent sur une architecture de type "transformeur", la même technologie que celle utilisée par les IA modernes telles que ChatGPT.
Turnitin a lancé son premier outil de détection d'IA, AIW-1, en avril 2023. Ce modèle a été ensuite mis à jour et remplacé par AIW-2 en décembre 2023. Puis, en juillet 2024, AIR-1 est venu compléter le dispositif pour identifier une utilisation plus subtile de l'IA, notamment lorsqu'un étudiant se contente de reformuler un contenu existant à l'aide d'un outil d'IA.
Ensemble, ces modèles permettent aux enseignants d'identifier plus facilement les textes susceptibles d'avoir été rédigés ou modifiés par une IA, offrant ainsi une meilleure compréhension de l'originalité du travail des étudiants.
Q : Les particuliers peuvent-ils utiliser les outils de détection d'IA de Turnitin ?
La fonctionnalité de détection d'IA de Turnitin est intégrée à son service d'évaluation de l'originalité, qui est exclusivement réservé aux établissements d'enseignement tels que les écoles et les universités. De plus, tous les services proposés par Turnitin sont payants.
Seuls les enseignants et les administrateurs ont accès aux rapports. Par conséquent, si vous êtes un étudiant ou un particulier, vous ne pouvez pas utiliser Turnitin ou ses outils de détection d'IA directement. Toutefois, d'autres solutions alternatives sont disponibles en ligne, notamment des liens Discord partagés par la communauté ou d'autres applications dédiées à la détection d'IA.
2. Comment le détecteur d'IA Turnitin a-t-il été développé ?
Premièrement, AIW-1
Le premier détecteur d'écriture d'IA de Turnitin s'appelait AIW-1, et il a été lancé en avril 2023. Il fonctionnait en analysant les écrits à la recherche de motifs qui apparaissent généralement dans les textes générés par l'IA — par exemple, une structure trop lisse, un manque de nuances ou des formulations répétitives.
S'il détectait suffisamment de ces motifs dans un document, il signalerait que le texte est probablement généré par IA.
L'un des principaux atouts d'AIW-1 était son très faible taux de faux positifs, c'est-à-dire qu'il veillait à ne pas identifier à tort un texte humain comme étant généré par IA. Tant qu'au moins 20 % du document était signalé, le risque de fausse alerte était inférieur à 1 %.
Cela a permis aux enseignants d'avoir confiance dans les résultats, sans surréagir dans les cas limites.
Ensuite, AIW-2 – Une version améliorée et plus intelligente
Mais voici le problème : les outils d'IA s'amélioraient, en particulier ceux qui réécrivent ou paraphrasent le texte. Ces outils prennent des phrases générées par l'IA et les modifient pour les rendre plus naturelles. Cela a rendu la détection beaucoup plus difficile.
Turnitin a donc réagi en lançant AIW-2 en décembre 2023. Il s'agit d'un modèle plus intelligent, entraîné sur une plus grande variété d'échantillons d'écriture :
Texte standard généré par IA (par exemple, via ChatGPT)
Textes authentiques rédigés par des étudiants de divers horizons et dans différentes matières
Textes générés par l'IA, puis reformulés par un outil de paraphrase d'IA
Documents mixtes contenant à la fois du contenu rédigé par des humains et du contenu généré par l'IA
AIW-2 repose également sur une architecture d'apprentissage profond basée sur les transformeurs, semblable aux modèles utilisés par des outils tels que GPT-4. Cela lui permet de reconnaître des schémas plus complexes dans la structure des phrases, la grammaire et le style – des éléments qui échappent souvent aux modèles plus simples.
📊 En juin 2024, Turnitin a annoncé avoir utilisé AIW-2 sur plus de 250 millions de travaux d'étudiants (Turnitin, 2024). Cela lui fournit une base de données massive pour l'apprentissage et les tests.
En résumé, AIW-2 a marqué une avancée significative : il a amélioré la précision de la détection, réduit les faux positifs et renforcé la résistance du système face aux contenus d'IA paraphrasés.
Jusqu'à présent, nous avons évoqué la détection de l'écriture d'IA en général. Mais qu'en est-il lorsque les étudiants tentent de masquer un texte généré par l'IA à l'aide d'outils de paraphrase ? C'est là qu'entre en jeu le modèle le plus récent de Turnitin : AIR-1.
3. Le modèle AIR-1 : Comment détecte-t-il la paraphrase de l'IA
De plus en plus d'étudiants (et d'écrivains en général) utilisent des outils de paraphrase basés sur l'IA — souvent appelés « reformulateurs de texte » — pour réécrire du contenu généré par l'IA. Ces outils ne créent pas d'écrits à partir de zéro comme ChatGPT. Au lieu de cela, ils reformulent le texte existant pour essayer de masquer ses origines.
Mais voici le point crucial : les outils de paraphrase laissent des signatures statistiques distinctes de celles des modèles d'écriture d'IA complets.
Ainsi, Turnitin avait besoin d'un modèle spécialisé pour détecter ces schémas — et c'est ainsi que AIR-1, abréviation de détection de la réécriture par IA, est né en juillet 2024.
Qu'est-ce que la paraphrase de l'IA et pourquoi est-ce délicat ?
Les outils de paraphrase (souvent alimentés par l'IA eux-mêmes) prennent du texte écrit par un LLM comme ChatGPT et le reformulent. Le but ? Le rendre moins robotique et plus semblable à la voix originale d'un étudiant. Ces outils ne génèrent pas de nouvelles idées — ils ne font que remixer ce qui existe déjà.
En termes de détection, cela complique les choses. La structure et le vocabulaire peuvent changer, mais la signature statistique sous-jacente de l'écriture de l'IA reste souvent.
Comment fonctionne AIR-1
Considérez AIR-1 comme un détective formé pour repérer le contenu d'IA reformulé. Il ne se contente pas de regarder ce qui est dit — il regarde la manière dont c'est dit, en utilisant des indices et des schémas de langage subtils qui sont typiques du texte d'IA paraphrasé. Il ne se contente pas de regarder le choix des mots ou le phrasé — il analyse des schémas plus profonds que les paraphraseurs d'IA laissent généralement. Cela inclut le rythme du texte, la façon dont les idées sont restructurées et même la façon dont la complexité des phrases évolue.
Voici ce qui se passe en coulisses :
Tout d'abord, le modèle AIW-2 effectue son analyse comme d'habitude.
S'il signale 20 % ou plus du document comme étant probablement écrit par l'IA, alors AIR-1 intervient.
AIR-1 réanalyse ces phrases signalées et recherche des signes qu'elles ont été paraphrasées par l'IA.
S'il détecte ces signes, la phrase est surlignée en violet dans le rapport Turnitin.
Comment cela apparaît dans les rapports
Lorsqu'AIR-1 identifie une phrase comme étant paraphrasée par l'IA, il la marque à côté de la détection originale d'AIW-2. Dans l'interface du rapport de Turnitin, ces phrases sont souvent mises en évidence en violet — ce qui signifie que le système pense qu'elles sont à la fois écrites par l'IA et paraphrasées par un autre outil d'IA.
Ce niveau de détection supplémentaire aide les éducateurs à mieux comprendre non seulement si l'IA a été utilisée, mais comment elle a été utilisée — si l'étudiant a copié et collé à partir d'un chatbot ou a essayé de le dissimuler à l'aide d'un outil de paraphrase.
✳️ AIR-1 ne scanne pas l'ensemble du document. Il ne regarde que le texte qu'AIW-2 a déjà marqué comme étant possiblement généré par l'IA. Et il n'essaie jamais de détecter la paraphrase dans un texte qu'AIW-2 pense être écrit par un humain.
Maintenant que nous connaissons tous les outils clés — AIW-2 et AIR-1 — parlons du type de données et de formation qui ont servi à les construire.
4. Comment les détecteurs d'IA de Turnitin ont-ils été entraînés et testés ?
Maintenant que nous comprenons le fonctionnement de AIW-2 et AIR-1, il est légitime de se demander comment nous pouvons être sûrs de leur fiabilité.
Turnitin affirme avoir investi beaucoup de soin et de données dans la formation et le test de ces modèles, afin de garantir leur bon fonctionnement. Examinons cela plus en détail.
Formation des modèles : d'où les données proviennent-elles ?
Pour apprendre à AIW-2 et AIR-1 à identifier les contenus rédigés ou reformulés par une IA, Turnitin a utilisé d'énormes ensembles de données, mais pas n'importe quels textes.
Selon Turnitin :
Le modèle AIW-2 a été entraîné à l'aide d'un mélange de contenus générés par IA et de véritables travaux universitaires rédigés par des humains, incluant des articles provenant d'un large éventail de sujets, de pays et de données démographiques étudiantes.
Turnitin s'est efforcé d'inclure des groupes sous-représentés, tels que les étudiants allophones et ceux issus de divers contextes universitaires, contribuant ainsi à réduire les biais et à rendre le modèle plus équitable et précis pour différents styles d'écriture.
Il est important de souligner que les données d'entraînement d'AIW-2 comprenaient également des exemples de textes générés par l'IA ayant été traités par des outils de reformulation, ce qui a permis d'améliorer sa capacité à détecter les contenus « IA + reformulations par IA ».
En ce qui concerne AIR-1, l'approche a été encore plus ciblée :
Il a été entraîné sur un large éventail de textes reformulés par l'IA, ainsi que sur des écrits humains classiques et des contenus purement issus de l'IA.
Cela a permis à AIR-1 d'apprendre à repérer des indices subtils propres aux reformulations par l'IA, souvent négligés par les détecteurs d'IA traditionnels.
En résumé, ces modèles n'ont pas été uniquement entraînés à partir d'exemples extraits d'Internet, mais ont été soigneusement conçus à l'aide de scénarios universitaires réalistes, afin de correspondre aux situations rencontrées par les enseignants et les étudiants.
Test des modèles : comment Turnitin mesure-t-il la précision ?
Pour les tests, Turnitin se concentre sur deux indicateurs clés :
Le rappel, qui mesure le nombre de textes réellement écrits par l'IA qui sont correctement identifiés. Un rappel élevé signifie que le modèle détecte efficacement les contenus qu'il est censé identifier.
Le taux de faux positifs (FPR), qui indique la fréquence à laquelle un texte rédigé par un humain est incorrectement signalé comme étant de l'IA. Un FPR faible est essentiel, en particulier dans un contexte universitaire, où une fausse accusation peut avoir de graves conséquences.
Selon Turnitin, AIW-2 maintient le taux de faux positifs au niveau du document en dessous de 1 %, à condition qu'au moins 20 % d'un document soient identifiés comme générés par l'IA. C'est pourquoi ce seuil de 20 % est souvent mentionné dans le rapport d'IA : il s'agit d'une limite soigneusement définie sur la base de tests.
Pourquoi la « précision » seule ne suffit pas
Il est intéressant de noter que Turnitin n'utilise pas le terme général de « précision » dans ses rapports. Pourquoi ?
Parce que dans les ensembles de données déséquilibrés (par exemple, lorsque la plupart des documents sont rédigés par des humains), même un modèle médiocre pourrait sembler précis à 99 % simplement en considérant systématiquement que le texte a été écrit par un « humain », ce qui serait trompeur.
En se concentrant plutôt sur le rappel et le FPR, Turnitin offre une vision plus objective de l'efficacité réelle de son système de détection.
Maintenant que nous comprenons comment les modèles de Turnitin sont entraînés, examinons de plus près la manière dont ils analysent concrètement les travaux des étudiants une fois soumis. Les aspects deviennent un peu plus techniques, mais nous allons les expliquer simplement.
Comment le détecteur d'IA de Turnitin fonctionne-t-il réellement ?
Tout d'abord, le système divise le texte en petits segments
Turnitin utilise une méthode appelée approche par fenêtres segmentées. Au lieu de lire l'intégralité de l'essai en une seule fois, le système le divise en petits segments qui se chevauchent, de l'ordre de cinq à dix phrases par segment.
Chacune de ces « fenêtres » parcourt le document phrase par phrase, de sorte que chaque phrase est analysée dans plusieurs segments. Cela permet au modèle d'évaluer la même phrase dans différents contextes, pour une fiabilité accrue.
Ensuite, une évaluation de la probabilité que chaque phrase soit issue d'une IA est réalisée
Chaque segment reçoit une note entre 0 et 1 :
Une note proche de 0 indique que le texte a probablement été écrit par un humain.
Une note proche de 1 suggère qu'il a plus probablement été généré par une IA.
Comme chaque phrase apparaît dans plusieurs fenêtres, Turnitin calcule une note moyenne pondérée pour chaque phrase. Cela permet d'atténuer les erreurs de lecture accidentelles et de fournir une évaluation plus stable.
De plus, comme mentionné précédemment, les phrases identifiées comme générées par l'IA font l'objet d'une évaluation distincte concernant les tentatives de paraphrase par l'IA.
Ensuite, le système émet un jugement au niveau du document
Alors, comment le système détermine-t-il si un document entier a été généré par une IA ?
Selon Turnitin, un document n'est signalé que si 20 % ou plus de ses phrases obtiennent une note supérieure au seuil d'écriture par l'IA. Cette règle des 20 % n'est pas arbitraire ; elle repose sur des tests qui ont démontré que des pourcentages inférieurs conduisent souvent à de faux positifs. Ainsi, Turnitin cherche à faire preuve de prudence et à ne signaler un travail que lorsqu'un signal fort indique une implication de l'IA.
En d'autres termes, un document doit présenter une quantité significative de contenu de type IA avant d'être considéré comme tel.
Les documents courts ne sont pas analysés
Autre limite importante : Turnitin ne lance pas le détecteur d'IA sur les documents de moins de 300 mots. En effet, les textes courts ne fournissent pas au système suffisamment de données pour effectuer une prédiction précise. Il faut une certaine quantité de contenu pour que l'analyse soit fiable, et plus il y a de mots, mieux c'est.
Voilà tout ce qu'il faut savoir sur la manière dont Turnitin détecte le contenu généré par l'IA.
Comment le détecteur d'IA de Turnitin se positionne-t-il face aux autres outils ?
Il existe de nombreux détecteurs d'IA—certains gratuits, d'autres payants—; toutefois, le système de Turnitin se distingue par plusieurs aspects clés :
Spécialement conçu pour le monde académique : Contrairement à de nombreux détecteurs généralistes, les modèles de Turnitin sont spécifiquement entraînés sur des travaux d'étudiants réels, couvrant diverses matières, langues et styles d'écriture. Cela réduit les faux positifs et le rend plus fiable dans un contexte éducatif.
Approche à deux modèles : Alors que la plupart des détecteurs se contentent de signaler les textes générés par l'IA, Turnitin utilise deux modèles : AIW-2 pour l'écriture brute de l'IA et AIR-1 pour le texte paraphrasé par l'IA. Cette approche couvre un plus large éventail de possibilités et détecte les contenus habilement dissimulés.
Architecture basée sur les transformateurs : De nombreux détecteurs reposent sur des statistiques plus simples, telles que la perplexité ou le caractère bursty. L'utilisation par Turnitin de modèles de transformateurs avancés lui permet de repérer des schémas subtils dans le langage, rendant ainsi la détection plus intelligente et plus précise.
Échelle et intégration : Les outils de Turnitin sont intégrés aux systèmes de gestion de l'apprentissage du monde entier et analysent déjà plus de 250 millions de documents, ce qui signifie que leurs modèles s'améliorent continuellement grâce aux données du monde réel.
Transparence et tests : Turnitin publie des livres blancs détaillés et des études de validation, qui présentent ouvertement les performances et les limites de son système, contrairement à la plupart des détecteurs gratuits.
En résumé : Turnitin n'est pas un simple vérificateur d'IA de plus. Il s'agit d'un système robuste, basé sur la recherche, conçu pour répondre aux exigences complexes du secteur de l'éducation, plutôt que de simplement signaler l'utilisation de l'IA à partir de règles rudimentaires.
Turnitin contre d'autres détecteurs d'IA
Vous vous demandez si vous pouvez utiliser d'autres détecteurs d'IA que Turnitin pour vérifier votre travail avant de le soumettre ? Le problème est que le système de Turnitin n'est pas facilement remplaçable par des outils populaires comme GPTZero.
Turnitin entraîne ses modèles d'IA sur des travaux d'étudiants réels, couvrant un large éventail de sujets et de langues, ce qui l'ajuste finement à la rédaction académique. De plus, il s'est perfectionné en analysant plus de 250 millions de soumissions, un atout que la plupart des autres détecteurs n'ont pas. Ces données issues du monde réel améliorent considérablement la précision.
Turnitin va encore plus loin en utilisant deux modèles : l'un pour identifier les textes générés par l'IA et l'autre pour repérer les phrases reformulées par l'IA. Bien que GPTZero et Quillbot mettent en évidence certaines portions de phrases, ils n'offrent pas la même profondeur et fiabilité que Turnitin.
Techniquement, de nombreux détecteurs reposent sur des statistiques plus simples, comme la perplexité, mais Turnitin est basé sur des modèles de transformateurs avancés qui captent des structures linguistiques subtiles, rendant ainsi sa détection plus performante.
FAQ
Q: Quels modèles d'IA Turnitin utilise ?
R : Turnitin utilise deux modèles principaux : AIW (AI Writing) pour détecter le texte directement généré par l'IA, et AIR (AI Rewriting) pour repérer les contenus paraphrasés par l'IA. Les dernières versions sont AIW-2 et AIR-1, toutes deux alimentées par un apprentissage profond avancé de type Transformer.
Q: Comment éviter d'être signalé par les détecteurs d'IA de Turnitin ?
Si vous vous inquiétez de la détection par l'IA, la meilleure solution est de rédiger un contenu original et bien documenté, avec votre propre style. Il existe aussi des outils d'aide à la rédaction qui améliorent votre travail sans y ajouter de style généré par l'IA.
Q: Turnitin est-il plus précis que les outils gratuits comme ZeroGPT ?
R : Oui. Les modèles de Turnitin sont évalués par des pairs, testés sur des millions de documents universitaires réels, et spécialement conçus pour l'écriture étudiante. De nombreux détecteurs gratuits, en revanche, ne partagent ni leurs données d'entraînement, ni leurs taux de faux positifs, et passent souvent à côté de détails importants. Les outils comme ZeroGPT sont généralement plus permissifs et moins précis.
Q: Turnitin peut-il détecter les textes produits par les nouvelles IA comme GPT-4 ou Gemini ?
R : Absolument. À partir de 2024, le système de Turnitin est conçu pour identifier les textes générés par GPT-3, GPT-4, GPT-4o, Gemini, LLaMA et d'autres modèles de langage de pointe.
Q: Quelle est la précision de la détection d'IA de Turnitin ?
R : Selon Turnitin, sa détection d'IA est très précise. L'entreprise maintient un taux de faux positifs inférieur à 1 % pour les documents dont au moins 20 % du texte est généré par l'IA.
Conclusion
Nous avons examiné les aspects essentiels du détecteur d'IA de Turnitin, depuis la manière dont il analyse les documents en détail jusqu'à son entraînement basé sur des productions d'étudiants réels et des contenus générés par l'IA. À mesure que l'IA évolue, Turnitin évolue également, un sujet que les enseignants et les étudiants doivent aborder. Au bout du compte, l'objectif n'est pas de démasquer les fraudeurs, mais de maintenir la confiance dans le travail que nous remettons. Comprendre le fonctionnement de cet outil permet à chacun de l'utiliser de façon plus juste et responsable.