È sempre più realistico, dal punto di vista tecnologico, immaginare di decodificare i pensieri degli umani. Per la prima volta, i neuroscienziati sono stati in grado di “decodificare” i dati di imaging non invasivi dal cervello di tre partecipanti per ricostruire sequenze di parole e il significato generale delle storie che i partecipanti avevano ascoltato, visto o immaginato.
In questo nuovo studio, pubblicato su Nature Neuroscience, Alexander Huth e i suoi colleghi dell’Università del Texas hanno estratto con successo il significato generale e le frasi dalle immagini dell’attività cerebrale ottenute mediante risonanza magnetica funzionale (o MRI funzionale).
Decodifica la lingua
La sintesi delle parole attraverso i segnali cerebrali potrebbe essere molto utile per le persone che non hanno accesso alla parola a causa di condizioni come la malattia dei motoneuroni, che colpisce i neuroni che controllano il movimento volontario nel corpo. Questa ricerca pone interrogativi anche sull’esistenza della nostra vita privata più intima, quella dei nostri pensieri.
I modelli di decodifica del linguaggio, o “decodificatori del linguaggio”, cercano di utilizzare le registrazioni dell’attività cerebrale per dedurre le parole che i soggetti sentono, dicono o immaginano.
Fino ad ora, i decodificatori linguistici sono stati utilizzati solo su dati ottenuti da dispositivi impiantati nel cervello, il che ne limita l’utilità. E finora, i decodificatori che utilizzano registrazioni non invasive dell’attività cerebrale hanno decodificato singole parole o frasi molto brevi, ma non sono stati applicati per estrarre il significato dal discorso continuo.
In questo nuovo studio è stato sfruttato un segnale molto specifico della risonanza magnetica funzionale: questo segnale dipende dal flusso sanguigno nel cervello e dal livello di ossigenazione del sangue.
Concentrandosi sull’attività cerebrale nelle regioni del cervello e nelle reti neurali note per elaborare il linguaggio, i ricercatori hanno dimostrato che il loro decodificatore potrebbe essere addestrato a ricostruire un discorso continuo, comprese parole specifiche ma anche significati aggregati di frasi più complete.
Il decodificatore ha utilizzato le risposte cerebrali di tre partecipanti registrate mentre ascoltavano storie e ha generato sequenze di parole che avrebbero potuto produrre l’attività cerebrale registrata. Queste sequenze di parole riproducevano abbastanza bene l’idea generale della storia, e in alcuni casi includevano anche parole o frasi esatte.
All’interno dello scanner MRI funzionale, i partecipanti sono stati anche portati a guardare film muti e immaginare le storie corrispondenti. In entrambi i casi, il decodificatore è stato in grado di prevedere la maggior parte delle storie.
Ad esempio, un partecipante ha pensato “Non ho ancora la patente di guida”, e il decodificatore ha predetto “Non ha ancora imparato a guidare”.
Inoltre, quando i partecipanti dovevano ascoltare attivamente una storia ignorando una seconda storia trasmessa in simulcast, il decodificatore era in grado di identificare solo la prima trama.
Come funziona?
In primo luogo, gli scienziati hanno chiesto ai partecipanti di trascorrere 16 ore in uno scanner MRI funzionante, dove hanno ascoltato le storie lette mentre le loro attività cerebrali venivano registrate.
Queste risposte cerebrali sono state utilizzate per addestrare un “codificatore”, che è un modello di computer che prevede come il cervello risponde alle parole ascoltate dal partecipante. Dopo questa formazione, il codificatore può prevedere con buona precisione a cosa risponderebbe il cervello di ciascun partecipante durante l’ascolto di una sequenza di parole particolari.
Ma andare nella direzione opposta, cioè estrarre una sequenza di parole dall’attività cerebrale, è molto più difficile.
In effetti, il modello del codificatore è progettato per mettere in relazione le attività cerebrali e gli “elementi semantici” o il significato complessivo di parole o frasi. Per raggiungere questo obiettivo, il sistema utilizza il modello di linguaggio “GPT”, per il trasformatore generativo pre-addestrato, il precursore dell’odierno GPT-4. Il decodificatore genera quindi la sequenza di parole che potrebbe aver prodotto la risposta cerebrale osservata.
La correttezza di ogni previsione del decodificatore viene verificata utilizzandola per calcolare l’attività cerebrale corrispondente. Questa attività cerebrale prevista dal decodificatore viene quindi confrontata con quella effettivamente registrata.
Durante questo processo, che consuma molte risorse di calcolo, vengono generate una per una molte previsioni, classificate in base alla loro accuratezza: le previsioni inappropriate vengono eliminate, le più accurate vengono mantenute. Quindi, viene prevista la parola successiva in sequenza, fino a quando non viene determinata la sequenza più corretta.
Parole e significato
Il nuovo studio mostra che, per eseguire il processo di previsione, erano necessari dati provenienti da più regioni del cervello. Queste regioni sono diverse ma molto specifiche: sono la rete del linguaggio, la regione associativa parietale/temporale/occipitale e la corteccia prefrontale.
Una delle principali differenze tra questo lavoro e gli studi precedenti è il tipo di dati utilizzati. In effetti, la maggior parte dei decodificatori collega i dati delle regioni del cervello coinvolte nella fase finale della formazione del linguaggio, vale a dire i movimenti della bocca e della lingua. Questo decodificatore lavora su un altro livello, sulle idee e sul significato dei pensieri.
Uno dei limiti dei dati di risonanza magnetica funzionale è la loro bassa “risoluzione temporale”. Infatti, il segnale di ossigenazione del sangue sale e scende in circa 10 secondi, periodo durante il quale sentiamo una ventina di parole o più. Pertanto, questa tecnica non rileva singole parole ma il probabile significato di sequenze di parole.
Non ci facciamo prendere dal panico (non ancora)
L’idea che possiamo leggere le menti solleva naturalmente preoccupazioni sull’esistenza delle nostre vite private più intime, su ciò che accade nelle nostre teste. I ricercatori hanno eseguito ulteriori esperimenti per chiarire le capacità della tecnica.
Questi esperimenti dimostrano che non c’è ancora bisogno di preoccuparsi che i nostri pensieri vengano letti mentre camminiamo per strada o se non siamo disposti a collaborare.
In effetti, un decodificatore addestrato sui dati cerebrali di una persona predice male gli elementi semantici dai dati cerebrali di un’altra persona. Inoltre, i partecipanti possono complicare il compito di decodifica rivolgendo la loro attenzione a un altro compito, come nominare animali o raccontare un’altra storia.
Il decodificatore funziona anche male se i partecipanti si spostano nello scanner MRI funzionale, poiché si tratta di una tecnica di imaging molto sensibile al movimento. La collaborazione dei partecipanti è essenziale qui.
Con questi vincoli tecnici, oltre alla necessità di computer molto potenti per eseguire il decodificatore, è molto improbabile in questa fase che i pensieri di qualcuno possano essere decodificati contro la loro volontà in questa fase.
Infine, il decoder funziona solo per il momento con i dati ottenuti dalla risonanza magnetica funzionale, che è una tecnica costosa e spesso complicata da implementare. Il gruppo di ricerca intende testare questo metodo con dati provenienti da altre tecnologie di imaging cerebrale non invasive.
Autore
Christina Maher, Università di Sydney
