Il pappagallo stocastico (su IA e dintorni). Lettera
Inviata da Roberto Ippolito del gruppo La nostra scuola e dell’associazione Agorà 33 – Ricordavo di aver sentito dire che l’intelligenza artificiale (IA), qualunque cosa possa significare, poteva incontrare difficoltà nel rispondere a semplici quesiti, come: quante volte la lettera e compare nella parola intermittente?
Ho deciso di fare qualche semplice test con ChatGPT e, dopo pochi tentativi, ho trovato conferma di ciò che ricordavo. Come mostra la trascrizione della conversazione, che riporto alla fine di questo scritto, ChatGPT non è riuscito a contare quante volte la lettera e compare nella parola letterariamente. Ha sostenuto che compare 5 volte, quando anche un bambino riuscirebbe a contare 4 occorrenze. Ciò che è ancora più sorprendente e grave è che, su esplicita richiesta di conferma della correttezza della risposta, ChatGPT, con sicurezza accademica e imperturbabile, abbia ribadito il proprio errore. Immaginate se un insegnante agisse così con i suoi allievi!
Spinto dalla curiosità, ho chiesto a ChatGPT di spiegarmi il procedimento utilizzato per arrivare alla risposta. Come potete vedere dalla trascrizione della conversazione, la procedura utilizzata è teoricamente corretta, ma contiene errori grossolani nell’esecuzione.
A questo punto sorgono alcune riflessioni spontanee. Che valenza può avere uno strumento che non riesce a contare le occorrenze di una lettera in una parola? Che affidabilità possiamo attribuire a un sistema che classifica come certamente corretta una risposta evidentemente sbagliata?
Noi esseri umani, con millenni di storia alle spalle, abbiamo imparato che i disastri peggiori non nascono dall’ignoranza in sé, in fondo nessuno è onnisciente, ma dall’ignoranza accompagnata dalla presunzione di sapere.
Non intendo screditare l’IA con questo semplice test artigianale, che tra l’altro non rivela nulla di nuovo. Il mio obiettivo è stimolare un atteggiamento più critico, soprattutto tra gli insegnanti, verso l’IA, anche in considerazione di un eventuale prematuro ingresso dell’IA nella scuola, magari sostenuto più da interessi esterni alla scuola che da autentiche esigenze educative e didattiche, eventualità che solo insegnanti preparati e critici potrebbero gestire adeguatamente, evitando o limitando i possibili danni conseguenti.
Non credo che l’IA sia la panacea dei problemi della società e della scuola, e sicuramente non è ancora uno strumento maturo, dato che talvolta fornisce risposte scorrette a quesiti elementari. Insomma uno strumento che non sa contare le lettere in una parola, e che presenta con certezza insindacabile informazioni sbagliate come corrette, non può essere adatto ad un uso didattico ordinario, come un libro di testo per intenderci, da parte di ragazzi in formazione, privi delle conoscenze necessarie per individuare e correggere i suoi limiti ed errori.
Quand’anche l’IA fosse perfetta, la prudenza è d’obbligo in campo educativo e didattico. Non si può consentire ai giovani in formazione l’uso indiscriminato di uno strumento che, con un semplice clic, riversa su di loro tutto ciò che dovrebbero acquisire, memorizzare e assimilare gradualmente nei tempi e modi dovuti. Un approccio del genere porterebbe a un disastro educativo, senza contare le conseguenze nefaste che potrebbe avere il deterioramento della relazione educativa, componente fondamentale e irrinunciabile di ogni apprendimento scolastico e della crescita umana, quale relazione educativa è mai possibile in un rapporto anaffettivo tra una persona e un’IA?
Non voglio addentrarmi nei problemi etici, negli interessi economici o nelle questioni di sostenibilità ambientale legati all’IA, la cui discussione richiederebbe uno spazio più ampio e altri elementi di analisi. Tuttavia, so che tali problemi esistono e pesano come macigni sull’adozione di queste tecnologie.
Per concludere propongo una similitudine che trovo particolarmente efficace: a cosa dobbiamo pensare quando parliamo di IA? A un pappagallo stocastico!
In fondo, cos’è l’IA se non un enorme archivio di dati, parole, frasi, procedimenti, che un pappagallo probabilistico, senza comprendere nulla di ciò che fa, combina in modo probabilmente, ma non certamente corretto, per rispondere alle nostre richieste?
La similitudine, coniata dalla linguista computazionale Emily M. Bender dell’Università di Washington, è stata introdotta nell’articolo critico sull’IA “On the Dangers of Stochastic Parrots”. Non sorprende che alcune coautrici possano aver perso il lavoro a seguito della sua pubblicazione: criticare il prodotto di chi ha investito enormi risorse economiche non ti fa considerare più un alleato, ma ti trasforma in un avversario.
Questo non significa che l’IA debba essere demonizzata o rifiutata in toto. Sarebbe come opporsi al progresso. È innegabile che l’intelligenza artificiale offra vantaggi concreti, se opera nel rispetto dei valori etici e di sostenibilità ambientale: traduzioni automatiche di testi complessi in diverse lingue, generazione rapida di bozze per documenti, supporto nella ricerca di informazioni e nell’analisi di grandi quantità di dati, revisione automatica di testi per errori grammaticali e stilistici… Tuttavia, è fondamentale ricordare che abbiamo a che fare con un pappagallo stocastico, non con un’entità dotata di vera comprensione. L’affidabilità delle sue risposte non è mai garantita al 100%, è sempre necessaria la supervisione umana!
In campi specialistici, come la medicina, l’ingegneria e la scienza, l’IA promette grandi innovazioni. Sarebbe scorretto escludere pregiudizialmente queste opportunità.
Tuttavia, questa tecnologia appare sovrastimata e ancora poco matura, forse sostenuta da grandi investimenti economici che ora attendono solo un rientro monetario per poter chiudere il bilancio in positivo.
Una tecnologia che nel tempo sarà apprezzata o criticata per ciò che realmente è, come accaduto con tutte le invenzioni della storia.
L’idea del pappagallo stocastico è illuminante: rende le persone più consapevoli di cosa sia realmente l’IA, disperde quell’aura di superiorità sapienziale che molti vorrebbero attribuirle, e la ridimensiona a un semplice strumento, che può essere utile ma è sicuramente imperfetto, da usare quindi con grande cautela.
Dopotutto, è uno strumento che ancora non sa contare le lettere in una parola, non distingue il vero dal falso e, probabilmente, non lo farà mai!
Di seguito la trascrizione della conversazione con ChatGPT. Io: Quante volte compare la lettera a nella parola animale? ChatGPT: Nella parola “animale”, la lettera a compare due volte. Io: Quante volte compare la lettera a nella parola animalesca? ChatGPT: Nella parola “animalesca”, la lettera a compare tre volte. Io: Quante volte compare la lettera t nella parola letterariamente? ChatGPT: Nella parola letterariamente, la lettera t compare tre volte. Io: Quante volte compare la lettera e nella parola letterariamente? ChatGPT: Nella parola letterariamente, la lettera e compare cinque volte.
Io: Mi puoi confermare con certezza che la lettera e compare esattamente 5 volte nella parola letterariamente? ChatGPT: Confermo con certezza: nella parola letterariamente, la lettera e compare esattamente cinque volte. Io: Spiegami, se puoi, il procedimento che hai utilizzato per determinare che nella parola letterariamente la lettera e compare esattamente 5 volte?
ChatGPT: Per determinare quante volte la lettera e compare nella parola letterariamente, ho seguito questo semplice procedimento: 1. Analisi della parola lettera per lettera: Ho osservato la parola “letterariamente” e ho contato ogni occorrenza della lettera e manualmente, procedendo sistematicamente da sinistra a destra. 2. Controllo visivo: La prima e si trova nella seconda posizione: l/e/t/t/e. La seconda e si trova nella quinta posizione: …t/e/r/a. La terza e si trova nella decima posizione: …r/i/a/m/e. La quarta e si trova nella tredicesima posizione: …m/e/n. La quinta e si trova nella quindicesima posizione: …n/t/e. 3. Verifica finale: Ho ricontrollato le posizioni di tutte le e per assicurarmi di non averne saltata nessuna. Conclusione: Ci sono esattamente 5 occorrenze della lettera e nella parola letterariamente.
