Pangram im Test: menschliche, KI-generierte und gemischte Texte
Ein Detektor kann eine vollständig KI-generierte Passage zwar identifizieren, liefert jedoch ein anderes Ergebnis, sobald KI-generierter Text in einem von Menschen verfassten Dokument auftaucht. Dieser Mischfall ist besonders interessant, da er aufzeigt, wie das Tool mit Dokumenten umgeht, die aus unterschiedlichen Quellen stammen.
Wir haben Pangram 4.1 anhand von drei Textabschnitten über öffentliche Bibliotheken getestet: einem veröffentlichten, von Menschen geschriebenen Artikel, einer neuen KI-generierten Passage sowie einer gemischten Version aus beiden. Pangram klassifizierte den ersten Abschnitt als 100% Mensch, den zweiten als 100% KI und den gemischten Text als 40% KI / 60% Mensch. Anschließend reichten wir denselben gemischten Text bei GPTZero ein, welches diesen als 100% Gemischt einstufte.
Ergebnisse von Pangram an drei Beispielen
| Beispiel | Pangram 4.1 Ergebnis |
|---|---|
| Veröffentlichter menschlicher Text | 100% Mensch |
| KI-generierter Text | 100% KI |
| Gemischter Text (Mensch + KI) | 40% KI / 60% Mensch |
Das menschliche Beispiel stammt aus Yvonne Dooleys „America's Public Libraries“, das im Mai 2016 von der Library of Congress veröffentlicht wurde. Die KI-Passage wurde für diesen Test zum selben allgemeinen Thema erstellt: ob öffentliche Bibliotheken ihre Wochenendöffnungszeiten verlängern sollten. Das gemischte Beispiel behielt die beiden menschlichen Absätze bei und fügte einen KI-generierten Absatz über die Bewertung der Wochenendöffnungszeiten hinzu.
Wie hat GPTZero dieselbe gemischte Passage klassifiziert?
GPTZero Modell 5.0b ergab für denselben Text KI 0%, Gemischt 100%, Mensch 0%. Der Bericht beschrieb das Dokument als eine Mischung aus menschlich verfassten und KI-generierten Inhalten.
Die beiden Ausgaben verwenden unterschiedliche Bezeichnungen. Pangrams 40% KI / 60% Mensch ist dessen Textklassifizierung. GPTZeros 100% Gemischt entspricht der Konfidenz des Modells in die Kategorie „Gemischt“; dies bedeutet nicht, dass jedes Wort KI-generiert war. Die wichtige Erkenntnis ist, dass beide Tools die Passage als gemischt identifiziert haben, diese Ergebnisse jedoch unterschiedlich präsentieren.
Was beinhaltet der kostenlose Zugang von Pangram?
Während unserer angemeldeten Sitzung zeigte das Prüf-Tool 20 verfügbare Credits an. Die drei Beispielscans verbrauchten insgesamt neun Credits, sodass noch 11 übrig blieben. Die Benutzeroberfläche gab eine Rate von einem Credit pro 100 Wörtern für die Texterkennung an.
Die erfasste Preisseite führte zwei kostenpflichtige Pläne auf:
| Plan | Angezeigter Preis | Veröffentlichtes Kontingent |
|---|---|---|
| Individual (Einzelpersonen) | 20 $/Monat nach einer 7-tägigen Testphase | Bis zu 300.000 Wörter, 600 Bilder oder 50 Minuten Video pro Monat |
| Professional | 65 $/Monat | Das Fünffache des Scan-Kontingents des individuellen Plans |
Da die Preisseite die kostenlosen Prüf-Credits nicht als separaten kostenpflichtigen Plan auflistete, ist das oben genannte Guthaben von 20 Credits ein beobachtetes Kontokontingent und keine monatliche Wortquote. Bitte besuchen Sie die aktuelle Preisseite von Pangram für die neuesten Details zu den kostenpflichtigen Plänen.
Ist Pangram einen Versuch wert?
Pangram hat diese drei Proben präzise verarbeitet: Die veröffentlichte menschliche Textpassage wurde als menschlich gekennzeichnet, die generierte Passage als KI erkannt und die kombinierte Passage erhielt ein gemischtes Ergebnis. Der Bericht ordnete das KI-generierte Material zudem korrekt im hinteren Teil des kombinierten Textes ein. GPTZero klassifizierte denselben Text ebenfalls als gemischt, drückte das Ergebnis jedoch anders aus.
Wenn Sie sehen möchten, wie ein Detektor mit gemischten Texten umgeht, ist Pangram einen Versuch wert, insbesondere bei einer Passage, deren Quelle Sie kennen. Betrachten Sie die Textklassifizierung des Berichts gemeinsam mit den hervorgehobenen Abschnitten. Das Gesamturteil ist zwar nützlich, aber die genaue Stelle der markierten Textpassagen hilft Ihnen zu verstehen, wie das Werkzeug das Dokument analysiert hat.
Wenn Sie weitere Berichte vergleichen möchten, bietet der EssayDone-KI-Detektor einen kostenpflichtigen Zugang zu den Ergebnissen von GPTZero, Originality.ai und Winston AI an einem zentralen Ort. Legen Sie Ihre Textpassage neben die Berichte und achten Sie darauf, welche Sätze markiert werden. Das liefert Ihnen eine konkrete Grundlage, falls Sie angesichts der Ergebnisse unsicher sind, wie Sie weiter verfahren sollen.