Premessa

Nel precedente articolo su questo blog abbiamo affrontato il tema della XAI — Explainable AI — ovvero di quell’insieme di metodologie che rende i sistemi di intelligenza artificiale trasparenti, consentendo in astratto agli esseri umani di comprendere logiche, dati e fattori che hanno determinato il sistema a prendere una certa decisione. In particolare ci siamo focalizzati sul perché la spiegabilità tecnica sia un requisito cruciale. Infatti, oltre ad essere un requisito che l’AI Act impone ai sistemi ad alto rischio, si tratta di un’esigenza che nasce nella collaborazione stessa tra essere umano e IA : chi lavora con il sistema deve potersi fidare delle sue scelte e poter individuare errori, bias, falle nei dati. C’è anche una terza ragione, molto pratica: conviene a chi il sistema lo sviluppa e lo vende, perché l’utente adotta più volentieri uno strumento con cui sente di poter dialogare. https://marialuisamanis.nova100.ilsole24ore.com/2026/07/04/il-concetto-di-spiegabilita-tecnica-nellintelligenza-artificiale/

Tuttavia, come abbiamo già notato, non è sempre possibile per i sistemi riuscire a “spiegarsi” e il contraltare della spiegabilità tecnica è proprio la connaturata “opacità” degli stessi.  In questo articolo cerchiamo di comprendere il concetto di opacità dei sistemi IA e introduciamo alcune nozioni tecniche fondamentali.

L’algoritmo e l’insegnamento di Renato Borruso ai Giuristi

Chi ha studiato informatica giuridica nei primi anni 2000 ricorderà bene che la definizione di algoritmo era la seguente: l’algoritmo è una sequenza finita di istruzioni, scritte da un essere umano, che un elaboratore esegue passo per passo. La sua logica è fatta di operatori booleani: se A e B, allora C. Una logica che a noi giuristi risultava familiare, poiché ricalca la struttura della norma giuridica: l’individuazione di una fattispecie determina la produzione del corrispondente effetto giuridico.  Il programmatore scrive le regole e la macchina le applica. (Renato Borruso, Computer e diritto, Giuffrè, 1988)

In questa prospettiva, la trasparenza è garantita per costruzione, ed è una trasparenza ex ante, perché le regole esistono prima di ogni decisione dell’elaboratore, stanno scritte nel codice, e chiunque sappia leggerle può ripercorrere esattamente il ragionamento della macchina. La macchina non può sorprendere: fa esattamente ciò che qualcuno le aveva detto di fare.

La rivoluzione del Deep Learning: il cambio di paradigma

Con il graduale sviluppo di ciò che ora chiamiamo Intelligenza artificiale, qualcosa di cruciale è cambiato. L’algoritmo non ha smesso di essere ciò che era — resta un programma per elaboratore, resta una programmazione. Ma è cambiato l’oggetto della programmazione. Nel machine learning, il programmatore non scrive più le regole della decisione, bensì le regole dell’apprendimento del sistema.  Ovvero scrive un procedimento che indica alla macchina come imparare dai dati, e non cosa decidere. 

Al sistema vengono forniti migliaia, o più spesso milioni, di esempi: dati di ingresso accompagnati dall’esito corretto. L’algoritmo di apprendimento confronta continuamente le proprie previsioni con il risultato reale e, ad ogni errore, modifica leggermente i propri parametri matematici interni. Ripetendo questo processo milioni di volte, il sistema riduce progressivamente gli errori fino a sviluppare la capacità di formulare previsioni sempre più accurate. Questo processo prende il nome di training (addestramento), mentre il risultato finale dell’apprendimento è il modello, ossia il sistema che verrà poi utilizzato per assumere decisioni o formulare raccomandazioni.

La centralità del dato nei sistemi di machine learning in un esempio tratto dalla Robotica Medicale

Un esempio tratto dalla robotica endovascolare aiuta a comprendere concretamente questo meccanismo. Si immagini un sistema di navigazione intelligente destinato a supportare procedure di trombectomia meccanica o altri interventi intravascolari. Durante l’addestramento, al modello vengono presentate milioni di immagini angiografiche, ricostruzioni tridimensionali ottenute da TAC o risonanza magnetica, filmati di procedure realmente eseguite e dati clinici annotati dagli specialisti. Per ciascun caso il sistema “osserva” il percorso seguito dal catetere o dal dispositivo endovascolare, le caratteristiche della placca o del trombo, la morfologia della parete arteriosa e l’esito finale dell’intervento.

Attraverso questo processo il modello apprende, ad esempio, a riconoscere i segni radiologici di una parete arteriosa particolarmente fragile, di una dissezione già presente o di una calcificazione severa. In presenza di tali configurazioni, impara che la prosecuzione della manovra con una determinata forza o secondo una certa traiettoria aumenta significativamente il rischio di perforazione del vaso, dissezione coronarica o distacco di materiale embolico, eventi che possono determinare conseguenze gravissime, come un infarto miocardico o un ictus. Di conseguenza, il modello apprende ad associare quelle specifiche caratteristiche anatomiche alla scelta di arrestare l’avanzamento del dispositivo, modificare la traiettoria o suggerire una diversa strategia operatoria.

Naturalmente il sistema non “comprende” il significato biologico della fragilità del vaso né ragiona come farebbe un cardiologo interventista. Esso individua, attraverso l’analisi statistica di un numero enorme di esempi, correlazioni estremamente complesse tra determinate caratteristiche delle immagini e gli esiti clinici osservati durante l’addestramento.  Il modello non applica regole programmate una per una dal progettista, ma costruisce autonomamente una funzione matematica che, sulla base dell’esperienza accumulata, stima quale decisione abbia la maggiore probabilità di condurre a un esito clinico favorevole.

Trasparenza e architettura dei modelli. Il cambio di paradigma e la nascita dell’opacità dei modelli

La vera rivoluzione, dunque, non risiede tanto nell’algoritmo, quanto nel ruolo assunto dal dato. Nei sistemi di machine learning i dati non costituiscono più il semplice oggetto sul quale un programma applica regole predeterminate; diventano la materia dalla quale il modello ricava autonomamente le proprie regolarità decisionali. È la qualità, la quantità e la rappresentatività dei dati di addestramento a plasmare il comportamento del modello.

Per questa ragione, comprendere il funzionamento di un sistema di intelligenza artificiale non significa più soltanto leggere il codice sorgente: occorre interrogarsi sull’esperienza che il sistema ha accumulato durante il training e sulle correlazioni statistiche che ha appreso.

La centralità del dato produce, però, un’ulteriore conseguenza. Se le regole decisionali non sono più scritte dal programmatore, ma emergono dall’addestramento, la loro conoscibilità non dipende più dal codice sorgente, bensì dal modo in cui il modello rappresenta ciò che ha appreso. È da questa modalità di rappresentazione della conoscenza che dipende il grado di trasparenza dei sistemi di intelligenza artificiale e, nei casi più complessi, il fenomeno della cosiddetta opacità (black box).

Non tutti i modelli, infatti, sono opachi allo stesso modo. La differenza dipende dall’architettura con cui la conoscenza appresa durante il training viene rappresentata.

In alcuni modelli tale rappresentazione rimane direttamente leggibile. È il caso degli alberi decisionali, nei quali il modello assume la forma di una sequenza di condizioni verificabili, oppure della regressione lineare, in cui ogni variabile è associata a un peso esplicito e interpretabile. In questi casi la spiegazione coincide, sostanzialmente, con la struttura del modello stesso.

Nel deep learning, invece, il modello è costituito da una rete neurale articolata in molteplici strati di unità di calcolo interconnesse. Durante il training, vengono modificati milioni — e nei modelli più avanzati miliardi — di parametri numerici (weights). Nessuno di essi, considerato isolatamente, corrisponde a una regola comprensibile o a un criterio decisionale autonomo; la decisione emerge dall’interazione complessiva di tutti questi parametri. È proprio questa modalità di rappresentazione della conoscenza a rendere il deep learning estremamente accurato, ma anche intrinsecamente e strutturalmente opaco.

La spiegazione ex post: LIME e SHAP

Quando il modello non incorpora  naturalmente una spiegazione direttamente leggibile, quest’ultima può essere ottenuta attraverso un’attività distinta e successiva rispetto al processo decisionale.

È questo il compito delle tecniche di Explainable Artificial Intelligence (XAI), tra le quali le più note sono LIME (Local Interpretable Model-agnostic Explanations) e SHAP (SHapley Additive exPlanations).

LIME ricostruisce la logica di una singola decisione osservando come il modello reagisce a piccole variazioni dei dati di ingresso. Da tale comportamento costruisce un modello semplificato, valido per quello specifico caso, che evidenzia quali caratteristiche hanno maggiormente inciso sul risultato.

SHAP, invece, attribuisce a ciascuna variabile un contributo quantitativo alla decisione finale, calcolando quanto ciascun fattore abbia inciso, in senso positivo o negativo, sull’esito prodotto dal modello.

Le tecniche di XAI non modificano il funzionamento del sistema né trasformano un modello opaco in uno trasparente. Esse ricostruiscono ex post le ragioni della decisione, senza rendere direttamente accessibile il processo interno che l’ha generata. Resta tuttavia un’avvertenza, sulla quale torneremo: la spiegazione ricostruita non coincide necessariamente con il reale processo decisionale del modello. È il tema della faithfulness, oggi al centro del dibattito scientifico sull’affidabilità delle spiegazioni, di cui parleremo in seguito.

L’opacità del modello non esclude la spiegabilità della decisione

Utilizziamo ancora l’esempio nel contesto della AI clinica e robotica medicale per evidenziare un’importante precisazione ovvero il fatto che il sistema di intelligenza artificiale non sia in grado di spiegare il percorso matematico che lo ha condotto a una determinata decisione non impedisce allo specialista che collabora con esso di comprenderne la logica indipendentemente. In ambiti altamente specialistici, come la cardiologia interventistica o la neuroradiologia ad esempio, la conoscenza dell’anatomia, della fisiopatologia e delle tecniche operatorie consente infatti allo specialista di valutare se la decisione del modello sia coerente con le evidenze scientifiche e con la buona pratica medica. È proprio su questa distinzione che si fonda  la riflessione contemporanea più autorevole sull’explainability:

 l’impossibilità di ricostruire analiticamente i milioni di parametri del modello non coincide necessariamente con l’impossibilità di comprenderne la razionalità funzionale e di sottoporne gli esiti a un controllo critico da parte dell’essere umano.

Conclusioni

In conclusione, per il diritto è essenziale acquisire il radicale ribaltamento della logica di funzionamento del software che si compie nei modelli di deep learning. Con il machine learning le regole decisionali non sono più scritte da un programmatore, ma emergono dai dati di addestramento; nei modelli di deep learning esse restano distribuite tra milioni di parametri privi di significato autonomo: nessun livello intermedio di regole leggibili separa più l’input dall’output, e la decisione non è scomponibile in premesse e conclusioni. L’opacità dei sistemi di IA non è dunque un difetto accidentale, né un limite sempre rimediabile, ma una caratteristica strutturale dei modelli più potenti.

Se il diritto pretende trasparenza — come fa l’AI Act per i sistemi ad alto rischio — occorre allora definire l’oggetto dell’obbligo di trasparenza sulla base dello stato dell’arte: quanta trasparenza è oggettivamente esigibile dal sistema?

Quattro presupposti non possono essere ignorati dal giurista: (1) i sistemi di IA non sempre possono garantire ex ante la trasparenza dei propri processi decisionali; (2) esistono tecniche, come LIME e SHAP, che ricostruiscono ex post la spiegazione della decisione; (3) non è possibile garantire che tale spiegazione ricostruita ex post sia pienamente accurata, si tratta infatti di una ricostruzione ex post svolta dal sistema stesso; (4) resta possibile — e in certi contesti doveroso — un controllo critico umano sugli esiti.

Da questi presupposti possiamo dedurre che il rapporto decisionale e la distribuzione delle responsabilità tra professionista e sistema di IA vanno costruiti, sul piano giuridico, intorno a una duplice misura di esigibilità: quanta trasparenza si può esigere dalla macchina, secondo lo stato dell’arte, e quanta capacità di ricostruzione ex post si può esigere dal professionista, in forza delle sue conoscenze ed esperienza. La responsabilità finale della decisione non può in molteplici scenari essere delegata alla macchina. Il medico che opera con il robot chirurgico ne è l’esempio paradigmatico: deve essere preparato non solo nella propria specialità, ma anche a vagliare criticamente le indicazioni del sistema. È qui che opacità e trasparenza si rivelano categorie chiave: segnano il confine mobile lungo il quale si ripartiscono gli obblighi dell’uno e dell’altra. Al rapporto tra specialista e IA clinica dedicheremo un articolo specifico.

 

Fonti: Burrell 2016 (opacità); Ribeiro et al. 2016 (LIME); Lundberg & Lee 2017 (SHAP); Jacovi & Goldberg 2020 (faithfulness) — Renato Borruso, Computer e diritto (Giuffrè, 1988, 2 tomi)