ChatGPT repéré par Turnitin ? Mode d'emploi et fiabilité
Avez-vous déjà utilisé ChatGPT pour vous aider à rédiger un devoir, et vous êtes-vous ensuite demandé : « Attendez… Turnitin peut-il détecter ça ? » Vous êtes loin d'être le seul à vous poser cette question.
Dans cet article, nous allons examiner en détail le fonctionnement de la détection d'IA de Turnitin. Nous allons analyser ce qu'elle peut (et ne peut pas) détecter, comment elle repère les contenus générés ou paraphrasés par l'IA, et ce que cela implique concrètement pour vous. Que vous utilisiez des outils d'IA ou que vous vous interrogiez sur les risques, comprendre le fonctionnement de ces systèmes peut vous aider à prendre des décisions plus éclairées !
Turnitin détecte-t-il ChatGPT ?
Oui, mais il ne fonctionne actuellement que pour les documents rédigés en anglais, japonais et espagnol.
La détection de l'écriture par l'IA de Turnitin est conçue pour identifier le contenu susceptible d'être généré par l'IA dans les textes longs pour ces trois langues. Cependant, la détection de la paraphrase par l'IA—qui signale le contenu IA reformulé ou remanié—n'est disponible que pour les soumissions en anglais.
Turnitin a d'abord entraîné sa technologie pour détecter les sorties de GPT-3, GPT-3.5 et de leurs variantes, y compris des outils comme ChatGPT. Au fil du temps, ses capacités se sont étendues pour reconnaître l'écriture de modèles plus avancés comme GPT-4 (ChatGPT Plus), GPT-4o, Gemini (Pro), LLaMA, et d'autres construits sur des modèles de langage de grande taille similaires.
Turnitin montre-t-il que ChatGPT a été utilisé ?
Pas exactement.
Turnitin ne nomme pas l'outil – il n'indiquera pas "ceci a été écrit par ChatGPT" ni quel compte l'a créé. Au lieu de cela, il analyse le style d'écriture : les modèles de choix de mots, la structure des phrases et la fluidité du texte. Un texte trop propre, cohérent ou prévisible – caractéristiques de ChatGPT et des modèles d'IA similaires – peut déclencher la détection.
Comment Turnitin rapporte-t-il les résultats de la détection ?
Les résultats de la détection de Turnitin sont affichés avec des indicateurs de couleur :
Si plus de 20 % d'un document est susceptible d'être généré par l'IA, un score bleu est affiché sur l'indicateur de l'IA.
Si le contenu de l'IA est présent mais en dessous de 20 %, vous verrez un astérisque subtil (*%) à la place. Ce signalement de faible score aide à réduire les faux positifs et aide les enseignants à se concentrer sur des résultats exploitables.
Encore une chose :
Le score de l'écriture de l'IA apparaît dans le rapport de similarité, qui est généralement uniquement visible par les enseignants. Les étudiants ne voient généralement pas le score de l'IA à moins que l'école ne choisisse de le partager.
Que détecte l'IA de Turnitin dans les contenus ChatGPT ? Comment cela fonctionne-t-il ?
La détection de l'IA par Turnitin ne se limite pas à une analyse superficielle : elle catégorise désormais les contenus détectés en deux types distincts. Les enseignants peuvent ainsi mieux cerner la nature de l'implication de l'IA dans le travail d'un étudiant.
1. Contenu généré par l'IA
Il s'agit du type de détection le plus direct. Il concerne les textes qui semblent avoir été produits directement par un modèle linguistique étendu (LLM) tel que ChatGPT, c'est-à-dire les contenus probablement copiés-collés dans le document sans modification notable.
Turnitin signale ce type de contenu en cyan. Le système recherche les caractéristiques typiques d'une écriture générée par une machine : une grammaire d'une perfection artificielle, un phrasé excessivement prévisible et des schémas qui suivent une logique algorithmique plutôt qu'une logique humaine.
2. Contenu paraphrasé par l'IA
C'est là que le système de Turnitin démontre une plus grande sophistication. Certains étudiants utilisent des outils d'IA, comme ChatGPT, pour générer du contenu, puis ils le soumettent à des outils de reformulation tels que Quillbot afin de le masquer.
Turnitin est désormais capable de détecter ce processus en deux étapes dans les soumissions rédigées uniquement en anglais. Ces passages sont signalés en violet dans le rapport. Le système identifie que, malgré les modifications apportées à la formulation, la structure sous-jacente, les schémas de phrasé et l'architecture des phrases conservent la signature d'un LLM.
Comment Turnitin segmente et évalue les contenus issus de l'IA
Lorsqu'un document est soumis, Turnitin divise le texte en petits segments se chevauchant, chacun contenant environ 2 ou 3 phrases. De cette manière, chaque phrase est analysée dans son contexte, et non isolément.
Pour chaque segment, le modèle d'IA de Turnitin attribue un score compris entre 0 et 1. Un score proche de 0 indique que le texte a probablement été rédigé par un humain, tandis qu'un score proche de 1 suggère qu'il a été généré par l'IA.
Après avoir évalué tous les segments, Turnitin calcule la moyenne de ces scores afin d'estimer la proportion du document susceptible d'avoir été générée par l'IA.
Pour les passages identifiés comme générés par l'IA, Turnitin effectue une vérification supplémentaire afin de déterminer si le texte a été réécrit ou paraphrasé à l'aide d'outils d'IA tels que Quillbot. Ce second modèle évalue également le texte afin de déterminer s'il a simplement été généré par l'IA ou s'il a été paraphrasé par cette dernière.
Enfin, Turnitin combine tous ces scores pour fournir une estimation globale de la proportion du document qui a été générée par l'IA et/ou paraphrasée par l'IA.
Que se passe-t-il si le score d'IA est faible ?
La détection d'IA ne donne pas toujours lieu à un rapport complet. Si moins de 20 % d'une soumission est signalé, Turnitin n'affiche pas de pourcentage précis, mais un astérisque (* %).
Cela signifie que de l'IA a été détectée, mais en quantité insuffisante pour justifier une action fondée sur cette seule information. Cette mesure de protection permet de réduire le risque de faux positifs, ce qui est essentiel pour garantir l'équité, notamment lorsque des expressions courantes peuvent ressembler au résultat d'une génération par l'IA.
Quelle est la précision de la détection de ChatGPT ?
L'outil de détection d'écriture IA de Turnitin a pour but d'identifier les contenus générés par l'IA tout en limitant les faux positifs, c'est-à-dire les cas où un texte rédigé par un humain est incorrectement signalé comme étant généré par l'IA. D'après leurs données, le taux de faux positifs est maintenu en dessous de 1 % pour les documents contenant au moins 20 % de contenu potentiellement issu de l'IA. Cela signifie qu'environ 1 document sur 100 entièrement écrits par des humains pourrait être identifié à tort comme contenant du texte généré par l'IA.
En ce qui concerne la détection du contenu paraphrasé par l'IA (analyse des textes déjà identifiés comme créés par l'IA), le système se révèle relativement précis, mais pas infaillible. Des erreurs de classification peuvent survenir de deux façons : soit en qualifiant de paraphrasé un texte généré par l'IA qui ne l'est pas, soit en ne reconnaissant pas un texte IA paraphrasé et en le signalant simplement comme généré par l'IA.
Pour limiter le risque d'accusations infondées, Turnitin accepte une marge d'erreur dans sa détection, ce qui peut entraîner une non-détection de près de 15 % des contenus générés par l'IA dans un document. Ainsi, si Turnitin indique 50 % de contenu IA, le chiffre réel pourrait avoisiner les 65 %.
Turnitin actualise régulièrement ses modèles en utilisant de grands ensembles de données, y compris des articles universitaires antérieurs à ChatGPT, afin de suivre et de maintenir la performance de la détection face à l'évolution des technologies d'IA. Malgré ces efforts, la détection de textes générés par l'IA reste un défi complexe, impliquant des compromis inévitables entre sensibilité et précision.
FAQ
Turnitin peut-il détecter les conversations ChatGPT ou votre historique de navigation ?
Non. Turnitin n'a pas la capacité d'accéder à vos conversations ChatGPT, ni de détecter votre historique de navigation. Cependant, certains outils peuvent surveiller des comportements comme une frappe très rapide ou d'importantes quantités de texte collées lors de la soumission de travaux ou de dissertations.
ChatGPT apparaît-il sur Turnitin ?
Non. Turnitin détecte si un contenu a été généré ou reformulé par une IA, à condition que votre enseignant ait activé cette fonctionnalité. Cependant, l'outil ne précise pas quelle IA (comme ChatGPT) a été utilisée.
Turnitin peut-il détecter les paraphrases issues de ChatGPT ?
Oui, Turnitin peut détecter un texte reformulé par une IA. L'utilisation d'un outil de reformulation fiable augmente les chances que la paraphrase réalisée par l'IA soit repérée.
Turnitin peut-il détecter ChatGPT si le texte est "humanisé" ?
Les modèles d'IA et les méthodes de détection de Turnitin évoluent constamment. La capacité de Turnitin à détecter une IA dépend de la qualité de "l'humanisation" du texte et de l'efficacité des techniques de reformulation employées.
Conclusion
Vous savez maintenant que Turnitin peut détecter le contenu généré par ChatGPT, et comment. Bien que sa technologie de détection de l'IA se perfectionne, elle n'est pas infaillible. Turnitin vise à équilibrer précision et équité, en particulier en évitant les faux positifs. Comprendre son fonctionnement peut vous aider à faire des choix plus éclairés et responsables lors de la soumission de vos travaux.