Sta facendo molto discutere negli ultimi giorni la notizia che ChatGPT versione 4 avrebbe superato il test di Turing. Non è la prima volta che qualcuno supera il test di Turing :-) – o meglio: non è la prima volta che qualcuno sostiene di farlo. La sottigliezza del ragionamento insito in questa affermazione, che mi rendo conto non essere ovvia, sembra essere più determinato dalla volontà del clickbait che dà una effettiva aderenza scientifica ai fatti. Vale pertanto la pena di ricordare in cosa consiste Turing, e quali sono stati precedenti superamenti in cui abbiamo sentito parlarne negli ultimi anni.
Il test di Turing non si può superare: e questo perchè
- tutti i tentativi fatti finora si basavano su campioni di casi circoscritti, mentre il test parlava in generale
- non esistono criteri univoci per stabilire se un test sia stato superato
- anche se ci fossero, rimarrebbe comunque il dilemma che il test non sia adeguato ai progressi dell’informatica teorica moderna.
Ma proviamo, a questi punto, ad analizzare meglio la situazione.
Cos’è il test di Turing
Il Test di Turing ha generato un ampio dibattito nella comunità scientifica riguardo alla definizione di intelligenza artificiale e alla possibilità che le macchine possano un giorno sviluppare un’intelligenza simile a quella umana. Si tratta di una proposta teorica formulata nel 1950 dal matematico e informatico britannico Alan Turing (rif. Computing Machinery and Intelligence). Si tratta di un test concettuale – e già qui dovrebbe essere agevole capire quanto sia difficile battere un test concepito sulla carta – ideato per valutare se una macchina possa dimostrare comportamenti intelligenti simili a quelli umani.
Nel test un umano A interagisce tramite una tastiera e un monitor con due interlocutori nascosti: uno è una macchina M, l’altro è un’altra persona B. L’obiettivo dell’umano A è determinare se l’interlocutore nascosto sia umano (B) o una macchina (M) basandosi esclusivamente sulle risposte date alle domande poste. Se il giudice umano non riesce a distinguere quale dei due interlocutori sia la macchina con una percentuale significativa di successo, allora la macchina viene considerata “passata” nel Test di Turing, dimostrando un comportamento intelligente (qualsiasi cosa ciò significhi davvero, peraltro).
Casi precedenti di superamento (presunto tale) del test di Turing
Da una prospettiva puramente tecnica, è effettivamente possibile immaginare scenari in cui una macchina supera il Test di Turing. Molti sono stati gli esperimenti in tal senso: già nel 2014 relativamente ad un supercomputer russo si affermava che si fosse riusciti a superare il test. Nonostante i toni entusiastici all’interno del comunicato, si erano rivelati degli errori di forma e delle percentuali arbitrari: ad esempio l’ipotesi (falsa) che se un computer viene scambiato per un essere umano il 30% delle volte o più durante una conversazione di almeno cinque minuti (i numeri sono forniti del Reading, nel Regno Unito) allora è riuscito a passare il test. La definizione dell’obiettivo accertamento lecita ma non è di per sé indicativa del superamento del test, perché l’esempio di Turing era volutamente teorico e, peraltro, non c’è alcun riferimento nel suo articolo a percentuali o durate di tempo. Il riferimento alle percentuali avveniva solo a livello previsionale: scriveva Turing di prevedere che nei prossimi 50 anni (anni Duemila in poi) sarà possibile programmare computer che possano partecipare al gioco dell’imitazione in modo tale che un utente medio non abbia più del 70% di probabilità di identificare correttamente (da una chat, si intende) l’uomo o la macchina dopo cinque minuti di domande. Il che non è un criterio scientifico, è giusto una previsione molto azzeccata e tantomeno è posto come tale.
Cosa è stato fatto su ChatGPT 4
La pubblicazione su ChatGPT-4 e l’affermazione che abbia superato il test di Turing (che, lo ribadiamo, non è formalmente stata definita in alcun modo da Turing) è stata pubblicata sulla rivista scientifica PNAS, peer reviewed e autorevole nel campo delle scienze sociali ( National Academy of Sciences o NAS). ChatGPT-4 si dice essere stato testato per una ricerca mostra tratti comportamentali e di personalità – sulla base del test tassonomico BIG Five – che sono statisticamente indistinguibili da un essere umano casuale tra decine di migliaia di soggetti umani provenienti da più di 50 paesi. L’idea sembra interessante: lo studio conclude che il comportamento discorsivo di ChatGPT-4 converge verso una massimizzazione della media dei guadagni ottenuti da sè stesso e in favore degli altri, come se fosse mostrasse tratti impliciti collaborativi. I loro comportamenti rientrano – scrivono gli autori della ricerca – nella distribuzione dei comportamenti degli esseri umani e mostrano modelli coerenti con l’apprendimento. Quando si discostano dai comportamenti umani meschini e modali, sono più cooperativi e altruisti. Questo è un passo nello sviluppo di valutazioni dell’intelligenza artificiale poiché influenza sempre più le esperienze umane.
L’articolo è intitolato Un test di Turing per verificare se i chatbot IA sono comportamentalmente simili agli umani, e non sembra la stessa che affermare che il test di Turing è stato superato.
Ingegnere per passione, consulente per necessità; ho creato Lipercubo.it. – Mastodon