ChatGPT scoperto da Turnitin? Come funziona e precisione

Hai mai usato ChatGPT per svolgere un compito e poi ti sei chiesto: "Un momento... Turnitin se ne accorge?" Non sei il solo a pensarci. 

In questo articolo, esamineremo nel dettaglio come funziona il sistema di rilevamento AI di Turnitin. Analizzeremo cosa è in grado di individuare (e cosa no), come identifica i contenuti generati o parafrasati dall'IA e cosa significa tutto questo per te. Che tu stia usando strumenti di IA o ti stia solo informando sui potenziali rischi, capire come funzionano questi sistemi può aiutarti a fare scelte più consapevoli!

Turnitin rileva ChatGPT?

Sì, ma al momento funziona solo per documenti scritti in inglese, giapponese e spagnolo.

La funzione di rilevamento della scrittura AI di Turnitin è progettata per identificare i contenuti che, con alta probabilità, sono stati generati tramite intelligenza artificiale in testi lunghi per queste tre lingue. Tuttavia, la capacità di rilevare la parafrasi AI, ovvero l'individuazione di contenuti AI riformulati, è disponibile unicamente per testi in inglese.

La tecnologia di Turnitin è stata inizialmente sviluppata per identificare i risultati prodotti da GPT-3, GPT-3.5 e relative varianti, inclusi strumenti come ChatGPT. Successivamente, le sue capacità sono state ampliate per riconoscere testi generati da modelli più avanzati come GPT-4 (ChatGPT Plus), GPT-4o, Gemini (Pro), LLaMA e altri basati su modelli linguistici di grandi dimensioni simili.

Turnitin segnala l'utilizzo di ChatGPT?

Non esattamente.

Turnitin non indica il nome dello strumento: non comunica "questo testo è stato scritto da ChatGPT" né rivela quale account lo ha generato. Invece, analizza lo stile di scrittura, individuando schemi nella scelta delle parole, nella struttura delle frasi e nel flusso del testo. Un testo eccessivamente lineare, uniforme o prevedibile, caratteristiche tipiche di ChatGPT e di modelli AI simili, può innescare il sistema di rilevamento.

Come presenta Turnitin i risultati del rilevamento?

I risultati del rilevamento di Turnitin sono indicati tramite colori:

• Se più del 20% di un documento risulta essere stato generato dall'AI, viene mostrato un punteggio blu sull'indicatore AI.

• Se è presente contenuto AI ma in percentuale inferiore al 20%, viene visualizzato un asterisco discreto (*%). Questo indicatore di basso punteggio contribuisce a ridurre i falsi positivi e permette ai docenti di concentrarsi su risultati concreti.

  

Inoltre:

Il punteggio relativo alla scrittura AI compare nel Rapporto di Somiglianza, che è generalmente visibile solo ai docenti. Di norma, gli studenti non visualizzano il punteggio AI, a meno che l'istituto scolastico non decida di condividerlo.

Cosa individua l'AI di Turnitin nei contenuti di ChatGPT? E come funziona?

Il sistema di rilevamento AI di Turnitin va oltre la superficie: ora classifica i contenuti rilevati in due tipologie distinte, aiutando gli insegnanti a comprendere meglio il tipo di utilizzo dell'AI presente negli elaborati degli studenti.

1. Contenuti generati tramite AI

Si tratta del tipo di rilevamento più diretto. Riguarda testi che appaiono generati direttamente da modelli linguistici avanzati (LLM) come ChatGPT. In altre parole, contenuti probabilmente copiati e incollati nel documento senza modifiche sostanziali.

Turnitin segnala questo tipo di contenuto in ciano. Il sistema ricerca le caratteristiche tipiche della scrittura automatica: una grammatica perfetta in modo innaturale, un fraseggio altamente prevedibile e schemi che seguono una logica algoritmica piuttosto che l'imprevedibilità umana.

2. Contenuti parafrasati tramite AI

Qui il sistema di Turnitin dimostra una maggiore capacità di analisi. Alcuni studenti utilizzano strumenti di AI come ChatGPT per generare testi, per poi ricorrere a tool di parafrasi come Quillbot per camuffarli.

Turnitin è ora in grado di individuare questo processo in due fasi nei documenti inviati esclusivamente in inglese. Queste sezioni vengono evidenziate in viola nel report. Il sistema riconosce che, nonostante le modifiche alla formulazione, la struttura di base, gli schemi di fraseggio e l'architettura delle frasi conservano l'impronta tipica di un LLM.

Come Turnitin segmenta e valuta i contenuti generati dall'AI

Quando si carica un documento, Turnitin lo suddivide in piccoli segmenti sovrapposti, ciascuno contenente circa 2-3 frasi. In questo modo, ogni frase viene analizzata nel contesto circostante, e non isolatamente.

Per ogni segmento, il modello AI di Turnitin assegna un punteggio da 0 a 1. Un punteggio vicino allo 0 indica che il testo è probabilmente opera di un umano, mentre un punteggio vicino all'1 suggerisce che sia stato generato dall'AI.

Dopo aver valutato tutti i segmenti, Turnitin calcola la media dei punteggi per stimare approssimativamente la quantità di testo potenzialmente generata dall'AI nell'intero documento.

Per le sezioni identificate come generate dall'AI, Turnitin esegue un ulteriore controllo per verificare se il testo è stato riscritto o parafrasato tramite strumenti di AI come Quillbot. Questo secondo modello valuta ulteriormente il testo per stabilire se è stato semplicemente generato dall'AI o se è stato anche parafrasato.

Infine, Turnitin combina tutti questi punteggi per fornire una stima complessiva della quantità di testo generata e/o parafrasata dall'AI presente nel documento.

Cosa succede se il punteggio AI è basso?

Non tutti i rilevamenti di AI generano un report completo. Se meno del 20% del testo inviato viene segnalato, Turnitin non mostra la percentuale esatta, ma visualizza un asterisco (*%).

Questo indica che è stata rilevata la presenza di AI, ma in quantità insufficiente per intervenire con certezza. Questa precauzione riduce il rischio di falsi positivi, il che è essenziale per garantire l'imparzialità, specialmente quando brevi frasi comuni possono assomigliare a output generati dall'AI.

Quanto è accurato il rilevamento di ChatGPT?

L'indicatore di scrittura AI di Turnitin ha lo scopo di individuare i contenuti generati dall'intelligenza artificiale, riducendo al minimo i falsi positivi, ovvero i casi in cui un testo scritto da persone viene erroneamente identificato come generato dall'IA. Secondo i dati forniti, il tasso di falsi positivi viene mantenuto al di sotto dell'1% per i documenti con almeno il 20% di contenuti presumibilmente generati dall'IA. Questo significa che circa 1 documento su 100, interamente scritto da persone, potrebbe essere erroneamente segnalato come contenente testo generato dall'IA.

Per quanto riguarda il rilevamento della parafrasi tramite IA, che analizza testi già identificati come generati dall'IA, il sistema mostra una buona accuratezza, ma non è perfetto. Gli errori di classificazione possono avvenire in due modi: etichettando come parafrasato un testo generato dall'IA ma non effettivamente parafrasato, oppure non riconoscendo un testo IA parafrasato e segnalandolo semplicemente come generato dall'IA.

Per diminuire il rischio di accuse infondate, Turnitin ammette un margine di errore nel rilevamento, consentendo potenzialmente che sfugga fino al 15% dei contenuti generati dall'IA presenti in un documento. Ciò implica che, se Turnitin indica un 50% di contenuti generati dall'IA, la percentuale reale potrebbe avvicinarsi al 65%.

Turnitin aggiorna costantemente i suoi modelli usando vasti insiemi di dati, compresi documenti accademici precedenti a ChatGPT, per monitorare e preservare l'efficacia del rilevamento di fronte al progresso delle tecnologie di IA. Malgrado questi sforzi, identificare un testo creato dall'intelligenza artificiale resta una sfida complessa, con compromessi inevitabili tra sensibilità e precisione.

FAQ

Turnitin può rilevare le conversazioni su ChatGPT o la cronologia del browser?

No. Turnitin non può accedere né rilevare le conversazioni su ChatGPT o la cronologia del browser. Tuttavia, alcuni strumenti possono monitorare comportamenti come la digitazione molto rapida o l'inserimento di grandi quantità di testo tramite copia e incolla durante la stesura di compiti o la presentazione di documenti.

ChatGPT viene rilevato da Turnitin?

No. Turnitin rileva se un contenuto è stato generato o parafrasato tramite intelligenza artificiale (IA) qualora l'insegnante abbia attivato questa funzione, ma non specifica quale strumento di IA (come ChatGPT) è stato utilizzato.

Turnitin è in grado di rilevare parafrasi generate da ChatGPT?

Sì, Turnitin è in grado di rilevare testi parafrasati tramite IA. L'utilizzo di uno strumento di riscrittura affidabile aumenta le probabilità che la parafrasi generata dall'IA venga segnalata.

Turnitin può identificare ChatGPT se il testo viene umanizzato?

Sia i modelli di IA sia i metodi di rilevamento di Turnitin sono in continua evoluzione. La capacità di Turnitin di identificare contenuti generati tramite IA dipende dall'efficacia con cui il testo è stato "umanizzato" e dall'utilizzo di tecniche di parafrasi avanzate.

Conclusioni

Ora sai che Turnitin può rilevare i contenuti generati da ChatGPT – e come. Sebbene la sua tecnologia di rilevamento AI stia diventando più avanzata, non è infallibile. Turnitin punta a bilanciare accuratezza ed equità, evitando soprattutto i falsi positivi. Capire come funziona può aiutarti a fare scelte più intelligenti e responsabili quando presenti i lavori.