L’Opinione

Come "smascherare"
i testi scritti da ChatGPT

di Sandra Mitrovic
Ricercatrice dell'Istituto Dalle Molle di studi sull'intelligenza artificiale

Solo una persona arroccata in un luogo sperduto senza giornali né internet avrebbe potuto restare immune all’esposizione mediatica di ChatGPT, il nuovo modello di linguaggio basato sull’Intelligenza Artificiale. A partire dal suo lancio a fine novembre del 2022, ChatGPT ha attirato un’attenzione senza precedenti: già nella prima settimana dal suo lancio ha raggiunto oltre un milione di utenti.

Cosa rende ChatGPT così popolare? Prima di tutto, ChatGPT è disponibile gratuitamente (almeno nella sua versione più semplice) ed è estremamente facile da usare. È progettato come un agente conversazionale: l’utente fornisce una premessa come input (ad esempio, pone una domanda) e ChatGPT scrive il suo output (ad esempio, una risposta alla domanda posta). Sì, è davvero così semplice. In secondo luogo, ChatGPT comprende le domande degli utenti relative a domini diversi e scritte in lingue diverse. Può generare output di vari tipi e stili (ad esempio da molto conciso a lungo, dallo stile poetico a diversi testi adattati allo stile dei social media). Terzo, e probabilmente ciò che ha portato la maggior parte della sua popolarità, è che l’output di ChatGPT tende ad essere grammaticalmente impeccabile e apparentemente molto simile a quello umano. Ovviamente, per molti utenti questo è stato molto attraente, poiché ha chiaramente mostrato il potenziale di  applicazione nei diversi ambiti, dalla scrittura di brevi riassunti, alla spiegazione in termini semplici di fenomeni complessi come la fusione nucleare. In quarto luogo, ciò che in un certo senso ci fa assumere una certa “intelligenza” in ChatGPT è la sua capacità di contestare premesse errate e rifiutare di soddisfare una richiesta se inappropriata (ad esempio, non puoi chiedergli di scrivere un post usando un linguaggio aggressivo e intollerante).

Cosa può fare ChatGPT per un utente "normale" nella vita di tutti i giorni? Può scrivere diversi testi: può rispondere all’e-mail del suo capo, scrivere un tweet, aiutare a scrivere un saggio (per esempio per i compiti di un bambino – ma non solo), spiegare come eseguire una ricetta per fare un’ottima torta ma anche scrivere una notizia falsa. E tutto ciò, può fare in diverse lingue, il che significa anche che può tradurre un testo da una lingua all’altra. Inoltre, può riassumere un documento o produrre una panoramica su di un dato argomento di interesse, scrivere una poesia (sull’argomento desiderato o utilizzando parole chiave specifiche) e persino scrivere un pezzo di codice per programmare un computer.

Quindi, ci si può fidare di ChatGPT? Quali sono i suoi limiti? Dopo le primissime esperienze giudicate come particolarmente positive, soprattutto sui social si potevano leggere molte testimonianze sull’analisi dell’output di ChatGPT e sul test delle sue capacità e della correttezza dei sui output. Le persone hanno chiesto a ChatGPT di rispondere a domande su fatti noti e di eseguire alcuni calcoli abbastanza semplici, e sono state notate diverse volte delle risposte errate, imprecise o cambiamenti nelle risposte da una sessione all’altra. Ciò ha in qualche modo minato l’euforia iniziale per ChatGPT. Ma è ragionevole? Bisogna tenere presente qual è il compito principale di ChatGPT e per cosa è stato addestrato e cioè generare testi più o meno simili a quelli contenuti nella maggior parte dei documenti con i quali è stato allenato. ChatGPT non è un’enciclopedia e non è stato progettato per esserlo.
In conclusione non ci si dovrebbe fidare ciecamente di lui. È vero, ’’sa’’ molte cose, perché ha "letto" enormi quantità di testo. Più di quanto chiunque di noi leggerà durante la nostra vita. Ma non significa che sappia "tutto" (e tra l’altro, la sua formazione è stata fatta utilizzando i dati fino al 2021, quindi è anche ufficialmente "all’oscuro" di quello che è successo dopo). Inoltre, ChatGPT non è stato addestrato a ragionare né a risolvere compiti matematici e logici impegnativi. Metteresti alla prova un insegnante di lingua sulle sue conoscenze di matematica? Probabilmente no. Allora perché testare ChatGPT su questo? Ma, uno si potrebbe chiedere: com’è possibile allora che quando comunque viene chiesto di eseguire alcune operazioni matematiche (ad esempio delle sommatorie, ma anche delle derivazioni), ChatGPT sembra che funzioni bene? La verità è che la complessa natura della sua sottostante architettura produce questo effetto collaterale che ChatGPT sia in grado di fare più di quello per cui inizialmente era stato addestrato. Ma, la verità è che questa potente architettura non è ancora ben capita nei sui dettagli più reconditi, anzi rappresenta un campo di ricerca molto attivo oggigiorno.

Comunque, torniamo ai testi. Se l’output generato da ChatGPT è così convincente, possiamo dire se un testo è stato generato da ChatGPT o da un essere umano? Abbiamo studiato la possibilità di individuare l’autore del testo tramite un algoritmo di apprendimento automatico nel caso di testi semplici e brevi come le recensioni online dei ristoranti. Si potrebbe discutere se le recensioni dei ristoranti siano o meno un buon caso di studio per capire se l’autore sia un umano o ChatGPT, ma fatto sta che le recensioni dei ristoranti sono semplici: chiunque può scriverle. Ci sono altri due punti interessanti su questo tipo di recensioni: in primo luogo, sono in genere piuttosto brevi, e inoltre consideriamo solo quelle veramente brevi, ad esempio che non superano le due frasi di lunghezza, poiché vogliamo rendere questo compito impegnativo per il nostro algoritmo. Infatti se chiediamo a qualcuno poco esperto di parlare di qualcosa in una o due frasi, potrebbe anche fornirci una spiegazione apparentemente ragionevole, ma se chiediamo alla stessa persona di parlare per mezz’ora, allora si capirebbe con maggiore certezza se stia parlando a vanvera o meno.

Inoltre, per quanto le recensioni dei ristoranti possano sembrare meno importanti di, ad esempio, testi giuridici, anche il loro abuso potrebbe avere un notevole impatto finanziario. In particolare, se utilizzato per generare false recensioni nel settore della ristorazione, potrebbe danneggiare la reputazione di un’attività di qualità o, al contrario, migliorare falsamente la reputazione di un’attività di bassa qualità, potenzialmente danneggiando i suoi clienti. Abbiamo scoperto che la distinzione tra testo generato da persone e ChatGPT può essere eseguita automaticamente in modo abbastanza accurato. Inoltre, ChatGPT tende ad avere un linguaggio particolare: molto formale, educato, impersonale, che descrive esperienze piuttosto che sentimenti e si concentra su concetti generali senza entrare nei dettagli. Le recensioni umane sono molto più varie. Ad esempio, un essere umano entusiasta del suo cibo potrebbe commentare solo quell’aspetto della sua esperienza al ristorante, ma aggiungendo molte particolarità sofisticate sul piatto (e anche molte espressioni per supportare il suo piacere). Al contrario, un essere umano a cui non piace un ristorante potrebbe utilizzare metafore ardite (ad esempio "questa bistecca è come la suola di una scarpa") o potrebbe anche lasciarsi andare ad espressioni molto maleducate sul ristorante e sul personale.

Allora, usare o non-usare (e come?) ChatGPT? Forse l’hype su ChatGPT potrebbe essere evitata se le persone, in particolare i media, non enfatizzassero troppo i suoi pregi attribuendogli capacità che non ha. Dopotutto, dobbiamo ricordare che ChatGPT è stato creato da esseri umani e non è stato creato in modo da essere una macchina per fare conti complessi e accurati o per ragionare come un fliosofo, e neppure come una enciclopedia tipo Wikipedia. ChatGPT sa parafrasare ma, a differenza degli umani, non ha la fantasia né la capacità di pensiero astratto. Infine ricordiamoci che come tutti i sistemi di intelligenza artificiale ChatGPT è qui per aiutarci ma non per sostituirci.