Per alcune persone, il termine “scatola nera” fa venire in mente i dispositivi di registrazione negli aeroplani che sono preziosi per le analisi post mortem se accade l’impensabile. Per altri evoca teatri piccoli e poco attrezzati. Ma scatola nera è anche un termine importante nel mondo dell’intelligenza artificiale.
Le scatole nere AI si riferiscono a sistemi AI con meccanismi interni invisibili all’utente. Puoi fornire loro input e ottenere output, ma non puoi esaminare il codice del sistema o la logica che ha prodotto l’output.
L’apprendimento automatico è il sottoinsieme dominante dell’intelligenza artificiale. È alla base di sistemi di intelligenza artificiale generativa come ChatGPT e DALL-E 2. Esistono tre componenti per l’apprendimento automatico: un algoritmo o un insieme di algoritmi, dati di addestramento e un modello. Un algoritmo è un insieme di procedure. Nell’apprendimento automatico, un algoritmo impara a identificare i modelli dopo essere stato addestrato su un ampio set di esempi: i dati di addestramento. Una volta addestrato un algoritmo di apprendimento automatico, il risultato è un modello di apprendimento automatico. Il modello è quello che usano le persone.
Ad esempio, un algoritmo di apprendimento automatico potrebbe essere progettato per identificare modelli nelle immagini e i dati di addestramento potrebbero essere immagini di cani. Il modello di apprendimento automatico risultante sarebbe un dog spotter. Dovresti dargli un’immagine come input e ottenere come output se e dove nell’immagine un insieme di pixel rappresenta un cane.
Ciascuno dei tre componenti di un sistema di apprendimento automatico può essere nascosto o in una scatola nera. Come spesso accade, l’algoritmo è pubblicamente noto, il che rende meno efficace metterlo in una scatola nera. Quindi, per proteggere la loro proprietà intellettuale, gli sviluppatori di intelligenza artificiale spesso mettono il modello in una scatola nera. Un altro approccio adottato dagli sviluppatori di software consiste nell’oscurare i dati utilizzati per addestrare il modello, in altre parole, inserire i dati di addestramento in una scatola nera.
L’opposto di una scatola nera è talvolta indicato come una scatola di vetro. Una AI glass box è un sistema i cui algoritmi, dati di addestramento e modello sono tutti disponibili per chiunque possa vederli. Ma i ricercatori a volte caratterizzano aspetti anche di questi come scatola nera.
Questo perché i ricercatori non comprendono appieno come funzionano gli algoritmi di apprendimento automatico, in particolare gli algoritmi di apprendimento profondo. Il campo dell’intelligenza artificiale spiegabile sta lavorando per sviluppare algoritmi che, pur non essendo necessariamente una scatola di vetro, possono essere meglio compresi dagli esseri umani.
Perché le scatole nere AI sono importanti
In molti casi, ci sono buone ragioni per diffidare degli algoritmi e dei modelli di apprendimento automatico della scatola nera. Supponiamo che un modello di apprendimento automatico abbia fatto una diagnosi sulla tua salute. Vorresti che il modello fosse una scatola nera o una scatola di vetro? E il medico che prescrive il tuo corso di trattamento? Forse vorrebbe sapere come la modella è arrivata alla sua decisione.
Cosa succede se un modello di apprendimento automatico che determina se sei idoneo per un prestito aziendale da una banca ti rifiuta? Non vorresti sapere perché? Se lo facessi, potresti appellarti in modo più efficace contro la decisione o cambiare la tua situazione per aumentare le tue possibilità di ottenere un prestito la prossima volta.
Le scatole nere hanno anche importanti implicazioni per la sicurezza del sistema software. Per anni, molte persone nel campo informatico hanno pensato che tenere il software in una scatola nera avrebbe impedito agli hacker di esaminarlo e quindi sarebbe stato al sicuro. Questa ipotesi è stata ampiamente smentita perché gli hacker possono decodificare il software, ovvero creare un facsimile osservando da vicino come funziona un software e scoprire vulnerabilità da sfruttare.
Se il software è in una scatola di vetro, i tester del software e gli hacker ben intenzionati possono esaminarlo e informare i creatori dei punti deboli, riducendo così al minimo gli attacchi informatici.
Autore
Saurabh Bagchi, Purdue University
