Punti chiave: Come scopre Turnitin l'IA nei saggi?
Nell'aprile 2023, Turnitin ha lanciato la sua funzione di rilevamento di testi scritti con l'AI, integrata direttamente nel suo familiare Rapporto di Similarità. La decisione è stata presa in risposta alle crescenti preoccupazioni sull'uso di strumenti di IA generativa come ChatGPT nei compiti degli studenti.
Mentre le istituzioni accademiche cercano di mantenere gli standard di originalità, Turnitin si è posizionata come un attore chiave nell'identificazione di contenuti generati dall'IA. Ma come funziona in realtà il sistema di rilevamento AI di Turnitin? Questo articolo lo analizza passo dopo passo.
Cosa individua Turnitin
Quindi, Turnitin è in grado di rilevare l'IA? La risposta è: sì.
Da aprile 2023, Turnitin ha integrato una funzionalità di rilevamento della scrittura IA all'interno del suo Rapporto di Similarità. Questa funzione è progettata per individuare principalmente due tipi di contenuti:
Contenuto generato tramite IA
Testo che appare creato direttamente da strumenti di IA generativa come ChatGPT, incluse le versioni GPT-3, GPT-3.5 e GPT-4.Contenuto parafrasato tramite IA
Testo generato inizialmente da una IA e successivamente modificato tramite strumenti di parafrasi basati sull'IA, i quali tentano di riscrivere il contenuto rendendolo più simile a quello umano.
Come Turnitin Individua la Scrittura Generata dall'IA in un Tema
Ma come funziona concretamente quando analizza il tema di uno studente? Ecco cosa succede nel dettaglio.
Fase 1: Scomposizione del Testo Inviato
Quando carichi un documento, Turnitin non lo analizza interamente in una volta. Lo suddivide invece in sezioni più piccole, di solito di qualche centinaio di parole ciascuna. Perché? Sezioni più piccole consentono al sistema di analizzare stile di scrittura, struttura e schemi linguistici in modo più preciso.
Fase 2: Valutazione delle Sezioni Tramite Modelli di IA
Ogni sezione viene analizzata tramite i modelli proprietari di Turnitin per il rilevamento dell'IA. Questi modelli assegnano un punteggio compreso tra 0 e 1:
Valore vicino a 0 = probabile scrittura umana
Valore vicino a 1 = probabile generazione tramite IA
0.5–1 = possibile influenza mista dell'IA
Questi numeri riflettono una probabilità, non una certezza. Consideralo come un "indice di rischio" per ogni sezione.
Fase 3: Percentuale Complessiva di IA
Una volta analizzate tutte le sezioni, Turnitin combina i punteggi in un unico valore complessivo: la percentuale di scrittura IA. Questo indica in che misura il tuo documento potrebbe essere stato generato dall'IA o modificato tramite strumenti di parafrasi basati sull'IA.
Nota importante:
Questa percentuale si riferisce unicamente al testo rilevante, generalmente testi narrativi lunghi. Elenchi puntati, liste o blocchi di codice non vengono presi in considerazione.
Questa percentuale compare nel report, ma non influisce sul punteggio di similarità.
Fase 4: Riconoscimento di Schemi (Come Turnitin Rileva l'IA)
Turnitin non si limita a "supporre" che un testo provenga da ChatGPT o modelli simili. Analizza gli schemi tipici del linguaggio generato dall'IA:
Strutture delle frasi prevedibili
Formulazioni ripetitive
Scarsa variazione nella lunghezza delle frasi
Uso eccessivo di congiunzioni e locuzioni di transizione
Queste caratteristiche sono comuni nei contenuti creati da modelli linguistici di grandi dimensioni come GPT.
Fase 5: Report di Rilevamento IA e Legenda dei Colori
Al termine dell'elaborazione, Turnitin fornisce un report di analisi della scrittura IA. Ecco come interpretare i risultati:
Legenda dei Colori:
🔵 Blu (20%–100%): Elaborazione completata. Indica la presenza di contenuti generati dall'IA.
🔵 Blu con * (1%–19%): Rilevamento con bassa attendibilità. Questi punteggi sono meno sicuri e vengono segnalati con un asterisco per evitare interpretazioni errate.
⚪ Grigio (--%): Non elaborato. Possibili cause: formato del file non supportato o invio troppo datato.
❗ Errore (!): Errore di sistema. Turnitin non è riuscito a completare l'analisi. Riprova a caricare il file.
Come vengono addestrati i sistemi di rilevamento AI di Turnitin
Il sistema di rilevamento AI di Turnitin si basa su un modello di deep learning di tipo transformer. Questo modello analizza il testo suddividendolo in piccoli segmenti sovrapposti, ognuno dei quali comprende da cinque a dieci frasi (circa un centinaio di parole). Questi segmenti vengono fatti scorrere attraverso il documento, una frase alla volta, permettendo al sistema di raccogliere sufficienti dati statistici dalle parole e dalle frasi contenute in ciascuno di essi. In questo modo, il modello può valutare se il testo di quel segmento segue gli schemi tipici della scrittura generata dall'AI.
Per ogni segmento, il modello fornisce un punteggio tra 0 e 1. Un punteggio vicino a 1 indica che il segmento è molto probabilmente stato scritto dall'AI, mentre un punteggio vicino allo 0 suggerisce che sia stato scritto da un essere umano. Successivamente, Turnitin calcola la media di questi punteggi tra tutti i segmenti in cui compare una determinata frase, per attribuire a quella frase un punteggio di probabilità AI. Se il punteggio supera una certa soglia, la frase viene segnalata come generata o parafrasata dall'AI (nel caso del modello AIR).
Turnitin contrassegna un intero documento come "generato dall'AI" solo se più del 20% delle frasi supera la soglia di scrittura AI. Questa precauzione aiuta a ridurre i falsi positivi, soprattutto nei documenti con meno del 20% di contenuti simili all'AI, dove il rischio di errore è maggiore. Il sistema richiede inoltre che i documenti siano lunghi almeno 300 parole per garantire un'analisi affidabile.
Modelli AIW e AIR
Lo strumento di rilevamento della scrittura AI di Turnitin è stato inizialmente introdotto con il modello AIW-1, per poi essere migliorato con AIW-2. AIW-2 non solo rileva il testo generato direttamente dall'AI, ma anche il testo modificato con strumenti di parafrasi AI, che cercano di nascondere l'origine AI riscrivendo i contenuti.
Oltre ad AIW, Turnitin utilizza il modello AIR-1 per rilevare specificamente la parafrasi AI. AIR-1 individua le particolari tracce statistiche lasciate dagli strumenti di parafrasi AI, che sono diverse da quelle del normale testo generato dall'AI. Questo permette a Turnitin di evidenziare le frasi che sono state modificate dall'AI, offrendo agli insegnanti un quadro più chiaro dell'origine del testo.
Il modello AIR-1 si attiva solo sui documenti che AIW-2 ha già identificato come contenenti il 20% o più di contenuti generati dall'AI, e non etichetta come parafrasate le frasi identificate come scritte da persone.
Dati di addestramento e progettazione del modello
I modelli di Turnitin sono addestrati su un set di dati ampio e diversificato, che comprende circa 20 anni di testi accademici, inclusi testi scritti da persone e testi generati dall'AI provenienti da diverse discipline e contesti studenteschi. Questo set di dati include anche diverse tipologie di testo, come testi scritti da persone e poi parafrasati dall'AI, oppure testi generati dall'AI e poi sottoposti a parafrasi.
Particolare attenzione è stata dedicata all'inclusione di testi di persone non madrelingua inglese, di studenti provenienti da diversi paesi e di ambiti accademici meno comuni, al fine di ridurre i pregiudizi e migliorare l'equità.
Dove Viene Visualizzato il Report AI di Turnitin
Il sistema di rilevamento AI di Turnitin non è uno strumento a parte, ma è integrato direttamente nell'interfaccia del Report di Similarità.
Parte del Report di Similarità
Quando un elaborato viene inviato, Turnitin ne analizza il contenuto proprio come farebbe per un caso di plagio. Se la funzione di rilevamento AI è attiva, nella barra laterale del report comparirà un Indicatore di Scrittura AI. Cliccando su di esso, si potranno visualizzare le sezioni che potrebbero essere state generate o riformulate tramite l'uso di Intelligenza Artificiale.
Questo indicatore è indipendente dal punteggio di plagio. Rappresenta un livello di analisi aggiuntivo, non un voto.
Visibilità Gestita dagli Istituti
Lo strumento di rilevamento AI è attivo unicamente se l'istituto lo abilita. Questo implica che:
Alcune scuole possono scegliere di renderlo visibile solo ai docenti.
Altre potrebbero disattivarlo del tutto.
Solitamente, gli studenti non visualizzeranno i risultati dell'AI dal loro account.
L'accesso è gestito a livello di istituto scolastico, quindi la visibilità varia.
Come Controllare la Presenza di Segnalazioni AI di Turnitin Prima dell'Invio
Dato che, di norma, gli studenti non hanno accesso ai risultati AI di Turnitin, molti si affidano ad altri strumenti professionali che simulano il metodo di Turnitin per l'individuazione di contenuti generati tramite AI.
Un'opzione di uso comune è:
TurnitinDetector.com – Uno strumento che simula i controlli antiplagio e AI di Turnitin.
Utilizza l'effettivo motore di rilevamento di Turnitin (non un emulatore).
Non salva i tuoi file in alcun database.
Fornisce risultati pressoché identici a quelli visualizzati dai docenti.
Ciò offre agli studenti l'opportunità di esaminare le potenziali segnalazioni AI prima di caricare i documenti sul sistema LMS del loro istituto.
Limitazioni e Accuratezza del Rilevamento AI di Turnitin
Il checker AI di Turnitin è uno strumento utile, ma non è perfetto. Ecco cosa studenti e insegnanti dovrebbero tenere a mente:
Rilevamento AI ≠ Verdetto Finale
Turnitin è chiaro che questo strumento di rilevamento AI non rappresenta un verdetto definitivo, ma solo un'indicazione per i docenti. La piattaforma suggerisce agli insegnanti di valutare il contesto, come il pregresso dello studente nella scrittura e il suo rendimento, prima di giungere a conclusioni.
Sono Possibili Falsi Positivi
Si riconosce inoltre la possibilità di falsi positivi e si raccomanda ai docenti di concedere agli studenti il beneficio del dubbio. Turnitin sottolinea che questa funzionalità deve promuovere il dialogo, e non il sospetto, tra studenti e insegnanti.
Anche se lo strumento dovesse segnalare il contenuto come generato dall'AI, potrebbe comunque essere scritto da persone reali. Questo è particolarmente vero per quegli studenti il cui stile di scrittura naturale somiglia a quello dell'AI: strutturato, ripetitivo o eccessivamente formale.
Per questo l'esperienza del docente è fondamentale. Si invitano i docenti a considerare:
I precedenti lavori scritti dello studente
Il rendimento nel corso
Il contesto dell'assegnazione, prima di trarre conclusioni.
Aggiornamenti Costanti, Ma Non Perfetti
L'efficacia dello strumento Turnitin viene mantenuta tramite aggiornamenti regolari per adattarsi ai nuovi modelli di AI, come GPT-4 e GPT-4o. L'attenzione è focalizzata sui modelli linguistici tipici dei modelli generativi, come strutture di frase eccessivamente uniformi o formulazioni prevedibili.
Tuttavia, strumenti di AI più recenti o sofisticati potrebbero talvolta non essere individuati. Per questo motivo, Turnitin raccomanda ai docenti di tenersi aggiornati sui limiti di rilevamento e di utilizzare i risultati ottenuti come parte di una valutazione più ampia.
FAQ
Turnitin è davvero in grado di rilevare l'AI?
Sì, Turnitin può segnalare i contenuti che con alta probabilità sono stati scritti o parafrasati dall'AI, grazie ai suoi modelli di rilevamento. Tuttavia, il sistema non è preciso al 100% e i risultati vanno interpretati con il giudizio umano.
Quanta AI è accettabile in Turnitin?
Non esiste un limite fisso. Turnitin non applica penalità basandosi sulla percentuale di AI rilevata. Sono gli insegnanti a decidere cosa è accettabile, a seconda del compito e del contesto.
Un punteggio del 40% su Turnitin è un problema?
Non necessariamente. Un punteggio AI del 40% indica che quella parte del testo presenta caratteristiche simili a quelle generate dall'AI. Questo non significa automaticamente che ci sia stata una condotta scorretta. Sarà l'insegnante a valutare il contesto.
Riepilogo
Abbiamo visto come Turnitin rileva i testi scritti con l'AI: attraverso l'analisi dei segmenti, il riconoscimento di modelli e i modelli predittivi di AI. Pur essendo uno strumento utile per identificare i contenuti generati o riformulati con l'AI, la decisione finale spetta comunque ai docenti. Comprendere il funzionamento del sistema può aiutare sia gli studenti che gli insegnanti a utilizzarlo in modo più efficace.