Erkennt Turnitin ChatGPT? So funktioniert es & Präzision
Hast du jemals ChatGPT genutzt, um bei einer Aufgabe zu helfen, und dich dann gefragt: „Moment … kann Turnitin das entdecken?“ Du bist definitiv nicht allein.
In diesem Artikel erklären wir genau, wie die KI-Erkennung von Turnitin funktioniert. Wir erläutern, was erkannt werden kann (und was nicht), wie KI-generierte oder umformulierte Inhalte identifiziert werden und was das alles für dich bedeutet. Ob du nun KI-Tools benutzt oder einfach nur wissen möchtest, welche Risiken bestehen – zu verstehen, wie diese Systeme arbeiten, kann dir helfen, bessere Entscheidungen zu treffen!
Erkennt Turnitin ChatGPT?
Ja, aber derzeit funktioniert es nur bei Dokumenten, die in Englisch, Japanisch und Spanisch verfasst wurden.
Turnitins KI-Schreiberkennung wurde entwickelt, um Inhalte zu identifizieren, die in umfangreichen Texten in diesen drei Sprachen vermutlich von KI erstellt wurden. Allerdings ist die Erkennung von KI-Paraphrasierungen – also die Kennzeichnung umformulierter oder "umgeschriebener" KI-Inhalte – nur für englische Einreichungen verfügbar.
Die Technologie von Turnitin wurde zunächst darauf trainiert, Ausgaben von GPT-3, GPT-3.5 sowie deren Varianten, darunter Tools wie ChatGPT, zu erkennen. Mit der Zeit wurde sie erweitert, sodass nun auch Texte von fortgeschritteneren Modellen wie GPT-4 (ChatGPT Plus), GPT-4o, Gemini (Pro), LLaMA und weiteren, die auf ähnlichen großen Sprachmodellen basieren, identifiziert werden können.
Wird angezeigt, dass ChatGPT verwendet wurde?
Nicht direkt.
Turnitin nennt das verwendete Tool nicht – es wird nicht festlegen, "dies wurde von ChatGPT geschrieben" oder welches Konto dafür verantwortlich ist. Stattdessen wird der Schreibstil analysiert: Wortwahl, Satzstruktur und Sprachfluss. Texte, die zu makellos, konsistent oder vorhersehbar wirken – typische Eigenschaften von ChatGPT und ähnlichen KI-Modellen – können so die Erkennung auslösen.
Wie werden die Erkennungsergebnisse dargestellt?
Die Ergebnisse der Turnitin-Erkennung werden mithilfe von Farbindikatoren visualisiert:
Wenn mehr als 20 % eines Dokuments voraussichtlich von KI generiert wurde, erscheint ein blauer Score im KI-Indikator.
Sind zwar KI-Inhalte vorhanden, aber machen sie weniger als 20 % aus, wird stattdessen ein dezentes Sternchen (*%) angezeigt. Diese Kennzeichnung mit niedrigem Score hilft, Fehlalarme zu vermeiden und sorgt dafür, dass Dozenten sich auf aussagekräftige Ergebnisse konzentrieren können.
Noch ein Hinweis:
Der KI-Schreibwert erscheint im Ähnlichkeitsbericht, der in der Regel nur für Dozenten sichtbar ist. Schüler sehen den KI-Score in der Regel nicht, es sei denn, die Schule entscheidet sich, ihn zu veröffentlichen.
Welche ChatGPT-Inhalte erkennt Turnitin AI? Und wie?
Turnitins KI-Erkennung geht über oberflächliche Analysen hinaus – sie unterscheidet jetzt zwischen zwei unterschiedlichen Typen von Inhalten. Dies hilft Lehrkräften, besser nachzuvollziehen, inwieweit KI bei der Erstellung einer studentischen Arbeit involviert war.
1. Von KI erstellte Inhalte
Dies ist der einfachste Erkennungstyp. Damit sind Texte gemeint, die den Eindruck erwecken, direkt von einem großen Sprachmodell (LLM) wie ChatGPT erstellt worden zu sein – also Inhalte, die vermutlich kopiert und ohne wesentliche Anpassungen in das Dokument eingefügt wurden.
Turnitin markiert diese Inhalte in cyan. Das System sucht dabei nach typischen Eigenschaften maschinell erzeugter Texte: eine übermäßig perfekte Grammatik, sehr vorhersagbare Formulierungen und Muster, die einer algorithmischen Logik folgen, statt der typischen menschlichen Variabilität.
2. Von KI umformulierte Inhalte
Hier zeigt das Turnitin-System seine größere Raffinesse. Einige Studenten verwenden KI-Tools wie ChatGPT zur Inhaltserstellung und lassen diese danach durch Paraphrasierungswerkzeuge wie Quillbot laufen, um den Ursprung zu verschleiern.
Turnitin kann diesen zweistufigen Prozess mittlerweile bei rein englischsprachigen Einreichungen erkennen. Die betreffenden Abschnitte werden im Bericht in lila hervorgehoben. Dabei erkennt das System, dass obwohl sich die Wortwahl geändert hat, die ursprüngliche Struktur, die Formulierungsmuster und der Satzbau weiterhin die Handschrift eines LLM tragen.
Wie Turnitin KI-Inhalte segmentiert und bewertet
Bei der Einreichung einer Arbeit zerlegt Turnitin den Text in kleine, überlappende Abschnitte, von denen jeder etwa 2-3 Sätze umfasst. So wird jeder Satz im Kontext analysiert, statt isoliert betrachtet zu werden.
Für jeden dieser Abschnitte vergibt das KI-Modell von Turnitin einen Wert zwischen 0 und 1. Ein Wert in der Nähe von 0 bedeutet, dass der Text wahrscheinlich von einem Menschen verfasst wurde, während ein Wert in der Nähe von 1 darauf hindeutet, dass er vermutlich von KI stammt.
Nachdem alle Abschnitte bewertet wurden, ermittelt Turnitin anhand des Durchschnitts dieser Werte, wie groß der Anteil des möglicherweise KI-generierten Inhalts in der gesamten Arbeit ist.
Für die Bereiche, die als von KI erstellt markiert wurden, führt Turnitin eine zusätzliche Prüfung durch, um zu berechnen, ob der Text von Tools wie Quillbot umgeschrieben oder paraphrasiert wurde. Auch dieses zweite Modell bewertet den Text, um zu entscheiden, ob er ausschließlich von KI generiert oder auch umformuliert wurde.
Schließlich kombiniert Turnitin all diese Bewertungen, um insgesamt abzuschätzen, wie groß der Anteil der KI-generierten und/oder von KI umformulierten Inhalte in der Arbeit ist.
Was passiert, wenn der KI-Wert niedrig ist?
Nicht jede Erkennung von KI führt zu einem ausführlichen Bericht. Wird weniger als 20% einer Einreichung markiert, zeigt Turnitin keinen genauen Prozentsatz an. Stattdessen erscheint ein Sternchen (*%).
Das signalisiert, dass zwar KI-Aktivitäten erkannt wurden, deren Anteil jedoch zu gering ist, um konkrete Maßnahmen zu rechtfertigen. Diese Vorsichtsmaßnahme mindert die Wahrscheinlichkeit von falsch-positiven Ergebnissen – ein wichtiger Aspekt für die Fairness, besonders wenn kleinere, gebräuchliche Phrasen als KI-Ausgabe fehlinterpretiert werden könnten.
Was ist mit der Genauigkeit bei der Erkennung von ChatGPT?
Turnitins Indikator zur Erkennung von AI-Texten zielt darauf ab, von AI generierte Inhalte zu identifizieren und gleichzeitig Fehlalarme zu vermeiden – also Fälle, in denen von Menschen verfasste Texte fälschlicherweise als von AI erzeugt erkannt werden. Ihren Daten zufolge liegt die Fehlalarmquote bei Dokumenten mit mindestens 20% wahrscheinlichem AI-Inhalt unter 1%. Das bedeutet, dass etwa 1 von 100 vollständig menschlich geschriebenen Arbeiten möglicherweise fälschlicherweise als AI-generiert eingestuft wird.
Bei der Erkennung von AI-Paraphrasierungen – also der Analyse von Texten, die bereits als von AI generiert markiert wurden – zeigt das System eine ordentliche Genauigkeit, ist aber nicht unfehlbar. Fehlklassifizierungen können auf zwei Arten entstehen: Entweder wird AI-generierter, aber nicht paraphrasierter Text fälschlicherweise als paraphrasiert eingestuft, oder paraphrasierter AI-Text wird nicht als solcher erkannt und einfach als AI-generiert markiert.
Um das Risiko falscher Anschuldigungen zu minimieren, akzeptiert Turnitin eine gewisse Fehlertoleranz bei der Erkennung, wodurch bis zu 15% des AI-generierten Inhalts in einer Arbeit unter Umständen übersehen werden können. Das bedeutet, dass bei einer von Turnitin gemeldeten AI-Anteil von 50% der tatsächliche Anteil eher bei 65% liegen könnte.
Turnitin aktualisiert seine Modelle regelmäßig mithilfe großer Datensätze, darunter auch akademische Arbeiten aus der Zeit vor ChatGPT, um die Erkennungsleistung angesichts der fortschreitenden AI-Technologien zu überwachen und zu verbessern. Trotz dieser Bemühungen bleibt die Erkennung von AI-generiertem Text eine komplexe Herausforderung, bei der es stets einen Kompromiss zwischen Sensitivität und Genauigkeit gibt.
FAQ
Kann Turnitin ChatGPT-Unterhaltungen oder Ihren Browserverlauf erkennen?
Nein. Turnitin kann nicht auf Ihre ChatGPT-Unterhaltungen oder Ihren Browserverlauf zugreifen beziehungsweise diese erkennen. Allerdings können einige Tools Verhaltensweisen wie extrem schnelles Tippen oder das Einfügen großer Textmengen bei der Abgabe von Hausaufgaben oder wissenschaftlichen Arbeiten überwachen.
Erscheint ChatGPT bei Turnitin?
Nein. Turnitin erkennt, ob Inhalte von einer KI generiert oder umformuliert wurden – vorausgesetzt, Ihr Dozent hat diese Funktion aktiviert – gibt jedoch nicht an, welches KI-Tool (zum Beispiel ChatGPT) verwendet wurde.
Kann Turnitin umformulierte ChatGPT-Texte erkennen?
Ja, Turnitin kann KI-umformulierten Text erkennen. Die Nutzung eines zuverlässigen und vertrauenswürdigen Umschreibwerkzeugs erhöht die Wahrscheinlichkeit, dass KI-Umformulierungen markiert werden.
Kann Turnitin ChatGPT-Spuren entdecken, wenn Sie den Text „vermenschlichen“?
Sowohl die KI-Modelle als auch Turnitins Erkennungsmethoden entwickeln sich kontinuierlich weiter. Ob Turnitin KI erkennt, hängt davon ab, wie gut der Text "vermenschlicht" wurde und ob dabei effektive Umformulierungsstrategien zum Einsatz kamen.
Abschließende Gedanken
Jetzt wissen Sie, dass Turnitin ChatGPT-generierte Inhalte erkennen kann – und wie es das macht. Auch wenn seine KI-Erkennungstechnologie immer weiter fortschreitet, ist sie nicht perfekt. Turnitin strebt danach, Genauigkeit und Fairness miteinander zu vereinen, vor allem durch das Vermeiden von falsch-positiven Ergebnissen. Wenn Sie verstehen, wie es funktioniert, können Sie beim Einreichen von Aufgaben klügere und verantwortungsvollere Entscheidungen treffen.