Premessa
Nel precedente articolo su questo blog abbiamo affrontato il tema della XAI — Explainable AI — ovvero di quell’insieme di metodologie che rende i sistemi di intelligenza artificiale trasparenti, consentendo in astratto agli esseri umani di comprendere logiche, dati e fattori che hanno determinato il sistema a prendere una certa decisione.
In particolare ci siamo focalizzati sul perché la spiegabilità tecnica sia un requisito cruciale. Infatti, oltre ad essere un requisito che l’AI Act impone ai sistemi ad alto rischio, si tratta di un’esigenza che nasce nella collaborazione stessa tra essere umano e IA : chi lavora con il sistema deve potersi fidare delle sue scelte e poter individuare errori, bias, falle nei dati. C’è anche una terza ragione, molto pratica: conviene a chi il sistema lo sviluppa e lo vende, perché l’utente adotta più volentieri uno strumento con cui sente di poter dialogare.
Tuttavia, come abbiamo già notato, non è sempre possibile per i sistemi riuscire a “spiegarsi” e il contraltare della spiegabilità tecnica è proprio la connaturata “opacità” degli stessi. In questo articolo cerchiamo di comprendere il concetto di opacità dei sistemi IA e introduciamo alcune nozioni tecniche fondamentali.
L’algoritmo e l’insegnamento di Renato Borruso ai Giuristi.
Chi ha studiato informatica giuridica nei primi anni 2000 ricorderà bene che la definizione di algoritmo era la seguente: l’algoritmo è una sequenza finita di istruzioni, scritte da un essere umano, che un elaboratore esegue passo per passo. La sua logica è fatta di operatori booleani: se A e B, allora C. Una logica che a noi giuristi risultava familiare, poiché ricalca la struttura della norma giuridica: l’individuazione di una fattispecie determina la produzione del corrispondente effetto giuridico. Il programmatore scrive le regole e la macchina le applica. (Renato Borruso, Computer e diritto, Giuffrè, 1988)
In questa prospettiva, la trasparenza è garantita per costruzione, ed è una trasparenza ex ante: le regole esistono prima di ogni decisione dell’elaboratore, stanno scritte nel codice, e chiunque sappia leggerle può ripercorrere esattamente il ragionamento della macchina. La macchina non può sorprendere: fa esattamente ciò che qualcuno le aveva detto di fare.
La rivoluzione del Deep Learning: il cambio di paradigma
Con il graduale sviluppo di ciò che ora chiamiamo Intelligenza artificiale, qualcosa di cruciale è cambiato. L’algoritmo non ha smesso di essere ciò che era — resta un programma per elaboratore, resta una programmazione. Ma è cambiato l’oggetto della programmazione. Nel machine learning, il programmatore non scrive più le regole della decisione, bensì le regole dell’apprendimento del sistema. Ovvero scrive un procedimento che indica alla macchina come imparare dai dati, e non cosa decidere.
Al sistema vengono forniti migliaia, o più spesso milioni, di esempi: dati di ingresso accompagnati dall’esito corretto. L’algoritmo di apprendimento confronta continuamente le proprie previsioni con il risultato reale e, ad ogni errore, modifica leggermente i propri parametri matematici interni. Ripetendo questo processo milioni di volte, il sistema riduce progressivamente gli errori fino a sviluppare la capacità di formulare previsioni sempre più accurate. Questo processo prende il nome di training (addestramento), mentre il risultato finale dell’apprendimento è il modello, ossia il sistema che verrà poi utilizzato per assumere decisioni o formulare raccomandazioni.
La centralità del dato nei sistemi di machine learning in un esempio tratto dalla Robotica Medicale.
Un esempio tratto dalla robotica endovascolare aiuta a comprendere concretamente questo meccanismo. Si immagini un sistema di navigazione intelligente destinato a supportare procedure di trombectomia meccanica o altri interventi intravascolari. Durante l’addestramento, al modello vengono presentate milioni di immagini angiografiche, ricostruzioni tridimensionali ottenute da TAC o risonanza magnetica, filmati di procedure realmente eseguite e dati clinici annotati dagli specialisti. Per ciascun caso il sistema “osserva” il percorso seguito dal catetere o dal dispositivo endovascolare, le caratteristiche della placca o del trombo, la morfologia della parete arteriosa e l’esito finale dell’intervento.
Attraverso questo processo il modello apprende, ad esempio, a riconoscere i segni radiologici di una parete arteriosa particolarmente fragile, di una dissezione già presente o di una calcificazione severa. In presenza di tali configurazioni, impara che la prosecuzione della manovra con una determinata forza o secondo una certa traiettoria aumenta significativamente il rischio di perforazione del vaso, dissezione coronarica o distacco di materiale embolico, eventi che possono determinare conseguenze gravissime, come un infarto miocardico o un ictus. Di conseguenza, il modello apprende ad associare quelle specifiche caratteristiche anatomiche alla scelta di arrestare l’avanzamento del dispositivo, modificare la traiettoria o suggerire una diversa strategia operatoria.
È importante sottolineare che il sistema non “comprende” il significato biologico della fragilità del vaso né ragiona come farebbe un cardiologo interventista. Esso individua, attraverso l’analisi statistica di un numero enorme di esempi, correlazioni estremamente complesse tra determinate caratteristiche delle immagini e gli esiti clinici osservati durante l’addestramento. In altre parole, il modello non applica regole programmate una per una dal progettista, ma costruisce autonomamente una funzione matematica che, sulla base dell’esperienza accumulata, stima quale decisione abbia la maggiore probabilità di condurre a un esito clinico favorevole.
Trasparenza e architettura dei modelli. Il cambio di paradigma e la nascita dell’opacità dei modelli.
La vera rivoluzione, dunque, non risiede tanto nell’algoritmo, quanto nel ruolo assunto dal dato. Nei sistemi di machine learning i dati non costituiscono più il semplice oggetto sul quale un programma applica regole predeterminate; diventano la materia dalla quale il modello ricava autonomamente le proprie regolarità decisionali. È la qualità, la quantità e la rappresentatività dei dati di addestramento a plasmare il comportamento del modello. Per questa ragione, comprendere il funzionamento di un sistema di intelligenza artificiale non significa più soltanto leggere il codice sorgente: occorre interrogarsi sull’esperienza che il sistema ha accumulato durante il training e sulle correlazioni statistiche che ha appreso.
La centralità del dato produce, però, un’ulteriore conseguenza. Se le regole decisionali non sono più scritte dal programmatore, ma emergono dall’addestramento, la loro conoscibilità non dipende più dal codice sorgente, bensì dal modo in cui il modello rappresenta ciò che ha appreso. È da questa modalità di rappresentazione della conoscenza che dipende il grado di trasparenza dei sistemi di intelligenza artificiale e, nei casi più complessi, il fenomeno della cosiddetta opacità (black box).
Non tutti i modelli, infatti, sono opachi allo stesso modo. La differenza dipende dall’architettura con cui la conoscenza appresa durante il training viene rappresentata.
In alcuni modelli tale rappresentazione rimane direttamente leggibile. È il caso degli alberi decisionali, nei quali il modello assume la forma di una sequenza di condizioni verificabili, oppure della regressione lineare, in cui ogni variabile è associata a un peso esplicito e interpretabile. In questi casi la spiegazione coincide, sostanzialmente, con la struttura del modello stesso.
Nel deep learning, invece, il modello è costituito da una rete neurale articolata in molteplici strati di unità di calcolo interconnesse. Durante il training, vengono modificati milioni — e nei modelli più avanzati miliardi — di parametri numerici (weights). Nessuno di essi, considerato isolatamente, corrisponde a una regola comprensibile o a un criterio decisionale autonomo; la decisione emerge dall’interazione complessiva di tutti questi parametri. È proprio questa modalità di rappresentazione della conoscenza a rendere il deep learning estremamente accurato, ma anche strutturalmente opaco.
La spiegazione ex post: LIME e SHAP
Quando il modello non incorpora una spiegazione direttamente leggibile, quest’ultima può essere ottenuta attraverso un’attività distinta e successiva rispetto al processo decisionale. È questo il compito delle tecniche di Explainable Artificial Intelligence (XAI), tra le quali le più note sono LIME (Local Interpretable Model-agnostic Explanations) e SHAP (SHapley Additive exPlanations).
LIME ricostruisce la logica di una singola decisione osservando come il modello reagisce a piccole variazioni dei dati di ingresso. Da tale comportamento costruisce un modello semplificato, valido per quello specifico caso, che evidenzia quali caratteristiche hanno maggiormente inciso sul risultato.
SHAP, invece, attribuisce a ciascuna variabile un contributo quantitativo alla decisione finale, calcolando quanto ciascun fattore abbia inciso, in senso positivo o negativo, sull’esito prodotto dal modello.
Le tecniche di XAI non modificano il funzionamento del sistema né trasformano un modello opaco in uno trasparente. Esse ricostruiscono ex post le ragioni della decisione, senza rendere direttamente accessibile il processo interno che l’ha generata. Resta tuttavia un’avvertenza, sulla quale torneremo: la spiegazione ricostruita non coincide necessariamente con il reale processo decisionale del modello. È il tema della faithfulness, oggi al centro del dibattito scientifico sull’affidabilità delle spiegazioni, di cui parleremo in seguito.
L’opacità del modello non esclude la spiegabilità della decisione.
Il fatto che il sistema non sia in grado di spiegare il percorso matematico che lo ha condotto a una determinata decisione non impedisce al medico di comprenderne il comportamento sul piano clinico. In ambiti altamente specialistici, come la cardiologia interventistica o la neuroradiologia, la conoscenza dell’anatomia, della fisiopatologia e delle tecniche operatorie consente infatti allo specialista di valutare se la decisione del modello sia coerente con le evidenze scientifiche e con la buona pratica medica. È proprio su questa distinzione che si fonda la riflessione contemporanea più autorevole sull’explainability:
l’impossibilità di ricostruire analiticamente i milioni di parametri del modello non coincide necessariamente con l’impossibilità di comprenderne la razionalità funzionale e di sottoporne gli esiti a un controllo critico da parte dell’essere umano.
Fonti: Burrell 2016 (opacità); Ribeiro et al. 2016 (LIME); Lundberg & Lee 2017 (SHAP); Jacovi & Goldberg 2020 (faithfulness) — Renato Borruso, Computer e diritto (Giuffrè, 1988, 2 tomi)
