I due volti della explainability
In questo blog abbiamo già affrontato il tema della explainability dei sistemi di intelligenza artificiale (Il concetto di spiegabilità tecnica). In particolare abbiamo discusso: 1) la spiegabilità tecnica, ovvero la capacità reale del sistema di IA di rendere comprensibili le proprie scelte e decisioni, e il suo contraltare ovvero l’opacità strutturale dei modelli più performanti e complessi; 2) il fatto che, se il modello non è trasparente per costruzione, la spiegazione può essere ricostruita, con dei limiti, ex post, con tecniche come LIME e SHAP; 3) il modo in cui, sul piano giuridico, questa esigenza di comprensibilità del sistema si traduce in specifici obblighi di trasparenza e informazione da parte del fornitore nei confronti dell’utilizzatore nell’ ambito dell’AI ACT.
Nell’affrontare il tema ci siamo concentrati sul caso dell’utilizzatore-clinico che impiega sistemi di robotica e di IA clinica (Perché l’opacità dell’intelligenza artificiale deve interessare il giurista). L’AI Act disciplina questo rapporto soprattutto attraverso l’art. 13, che impone al fornitore di progettare e sviluppare i sistemi di IA ad alto rischio in modo da garantire un livello sufficiente di trasparenza, affinché il deployer possa interpretarne l’output e utilizzarlo correttamente, e di fornire le informazioni e le istruzioni necessarie al loro impiego. A questa disciplina si affianca l’art. 14, relativo alla sorveglianza umana, che richiede che i sistemi ad alto rischio siano progettati in modo da poter essere efficacemente supervisionati da persone fisiche durante il loro utilizzo. La spiegabilità tecnica diviene quindi la condizione perché la sorveglianza umana possa esercitarsi concretamente: senza comprendere l’output del sistema IA, l’utilizzatore non può vagliarlo né rifiutarlo prima che la decisione ricada sulla persona che vi è sottoposta.
In questo nuovo articolo affrontiamo un altro volto della explainability, che per comodità chiameremo spiegabilità giuridica, per distinguerla da quella tecnica esaminata nei precedenti articoli. Il tema è qui il diritto della persona interessata a conoscere le ragioni di una decisione adottata dal deployer sulla base dell’output di un sistema di IA ad alto rischio.
Quando l’output dell’IA entra nella decisione: esempi concreti.
Se nei precedenti articoli guardavamo all’utilizzatore e collaboratore del sistema IA, come ad esempio il clinico che collabora con il sistema e deve comprenderne l’output, qui guardiamo alla persona su cui la decisione ricade. La relazione rilevante non è più la collaborazione uomo-macchina, ma il rapporto tra la persona e la decisione che incide sui suoi diritti.
Il caso è quindi quello di una persona destinataria di una decisione adottata da un soggetto pubblico o privato sulla base dell’output prodotto da un sistema di intelligenza artificiale. Il sistema interviene in una fase del procedimento decisionale fornendo una valutazione, una classificazione, un punteggio o un’altra forma di output, che viene utilizzata dal soggetto chiamato a decidere. La decisione finale resta formalmente imputabile a quest’ultimo, ma l’output del sistema può incidere in modo determinante sul suo contenuto.
Si pensi a una banca che utilizzi un sistema di IA per valutare l’affidabilità creditizia di un richiedente e, sulla base del risultato ottenuto, neghi la concessione di un finanziamento; a un datore di lavoro che utilizzi un sistema di IA nella selezione dei candidati e, sulla base della valutazione prodotta, escluda un candidato dal successivo procedimento di assunzione; a un’amministrazione pubblica che se ne serva per valutare l’ammissibilità di una persona a una determinata prestazione o servizio.
In tutte queste situazioni l’output del sistema IA entra nel processo attraverso il quale viene assunta una decisione destinata a produrre effetti sulla persona: il richiedente può vedersi negare un finanziamento, il candidato può essere escluso da un’opportunità di lavoro, il cittadino può non ottenere una prestazione.
L’Articolo 86 dell’AI ACT
L’art. 86 dell’AI Act (Reg. UE 2024/1689) riconosce alla persona interessata, destinataria di una decisione adottata dal deployer sulla base dell’output di un sistema di IA ad alto rischio, il diritto di ottenere dallo stesso deployer spiegazioni chiare e significative sul ruolo svolto dal sistema nella procedura decisionale e sui principali elementi della decisione adottata. La finalità non è descrivere il funzionamento tecnico del sistema, ma consentire al destinatario della decisione di comprenderne le ragioni e di esercitare consapevolmente gli altri diritti riconosciuti dall’ordinamento (il considerando 171 precisa che la spiegazione dev’essere fornita in modo da porre la persona interessata in condizione di esercitare i propri diritti).
L’AI Act non vieta queste decisioni: ammette che siano adottate, ma pretende che la persona sia posta nelle condizioni di comprenderne la motivazione.
Le preoccupazioni del Legislatore Europeo.
L’integrazione dell’Articolo 86 nell’AI Act risponde alla necessità del legislatore europeo di bilanciare la crescente complessità tecnologica con la tutela dei diritti dei singoli, affrontando specifiche preoccupazioni legate all’uso di sistemi di intelligenza artificiale ad alto rischio.
Le principali preoccupazioni e gli obiettivi del legislatore dietro questa disposizione sono quella di contrastare la connaturata opacità e complessità intrinseca di molti sistemi IA. L’IA deduce modelli dai dati, rendendo spesso difficile capire esattamente perché sia stata prodotta una specifica decisione. Senza l’Articolo 86, le persone subirebbero decisioni algoritmiche senza poterne comprendere la “logica operativa”. Poi una preoccupazione centrale è che la mancanza di informazioni impedisca alle persone di esercitare i propri diritti fondamentali. Il legislatore vuole rimediare a una situazione in cui un cittadino, colpito negativamente da una decisione (ad esempio il rifiuto di un prestito o di un’assunzione), non ha gli strumenti per contestarla. In tal senso la spiegazione deve essere “chiara e significativa” proprio per fornire una base che consenta alle persone interessate di esercitare i propri diritti, come il diritto al ricorso o a un giudice imparziale. Si deve sottolineare che il legislatore ha identificato aree specifiche e critiche (elencate nell’Allegato III) in cui l’IA può determinare il corso della vita di una persona. Le preoccupazioni riguardano Istruzione e Lavoro (Decisioni sul reclutamento o sull’ammissione a percorsi educativi che possono perpetuare modelli storici di discriminazione), Servizi essenziali: Valutazioni del merito creditizio o accesso a prestazioni sociali, dove la persona si trova in una posizione di vulnerabilità rispetto al deployer; Attività di contrasto: Il rischio che sistemi non trasparenti portino ad arresti o sorveglianza ingiusta, rendendo estremamente difficile per un indagato confutare i risultati in tribunale.
Inoltre si vuole mitigare la “Distorsione dell’Automazione” (Automation Bias). Esiste infatti il timore che i deployer umani possano fare eccessivo affidamento sull’output della macchina senza esercitare un controllo critico. L’obbligo di fornire una spiegazione costringe indirettamente chi utilizza l’IA (il deployer) a comprendere meglio il ruolo del sistema nella propria procedura decisionale, favorendo una supervisione umana più consapevole e responsabile. Infine il legislatore riconosce che per promuovere l’adozione di un’IA “antropocentrica e affidabile” nell’Unione, sia essenziale costruire la fiducia dei cittadini. Se le persone percepiscono i sistemi di IA come strumenti di controllo sociale arbitrari e inspiegabili, l’innovazione stessa verrebbe ostacolata. L’Articolo 86 serve quindi a garantire che l’IA rimanga uno strumento al servizio dell’uomo, e non viceversa.
L’articolo 86, condizioni di applicazione.
Il diritto alla spiegazione non sorge, però, per qualsiasi impiego dell’intelligenza artificiale. Occorre che ricorrano, congiuntamente, più elementi.
Deve esservi una persona interessata, cioè concretamente incisa dalla decisione: non un diritto generale alla trasparenza sul funzionamento dei sistemi di IA, ma una garanzia collegata a una specifica decisione individuale.
La decisione dev’essere presa dal deployer, cioè dal soggetto che utilizza il sistema sotto la propria autorità, e deve fondarsi sull’output del sistema — una classificazione, una valutazione, un punteggio, una previsione.
Il sistema, infine, dev’essere un sistema di IA ad alto rischio, e non un sistema ad alto rischio qualsiasi, ma uno di quelli che l’AI Act classifica come tali nell’Allegato III (come si dirà tra breve).
Conviene puntualizzarlo, perché è il punto in cui si annida l’equivoco: non basta che la decisione produca un effetto sulla persona. Occorre anche che si fondi sull’output di un sistema ad alto rischio e che questo sistema rientri in una speciale categoria di sistemi ad alto rischio. Sono questi elencati elementi che devono sussistere cumulativamente affinché l’articolo 86 trovi applicazione.
Quanto all’effetto, l’art. 86 richiede che la decisione produca effetti giuridici sulla persona oppure incida su di essa in modo analogamente significativo. In questo caso abbiamo due ipotesi alternative. La prima ipotesi riguarda le decisioni che modificano la posizione giuridica della persona — l’attribuzione o la negazione di un diritto o di un beneficio. La seconda estende la tutela alle decisioni che, pur non modificando direttamente quella posizione, incidono con analoga rilevanza. La norma aggiunge che tale incidenza dev’essere considerata dalla persona come avente un impatto negativo sulla propria salute, sicurezza o sui propri diritti fondamentali: non si tratta, però, di un requisito ulteriore e autonomo, né occorre dimostrare separatamente un danno già verificatosi. È il modo in cui la norma qualifica l‘incidenza significativa: rileva che la persona la consideri tale.
Cosa può ottenere la persona interessata
Non una descrizione tecnica o matematica del modello, né la consegna dell’algoritmo o dei suoi parametri. Il diritto ha per oggetto due elementi: il ruolo svolto dal sistema di IA nella procedura decisionale e i principali elementi della decisione adottata. Si tratta, cioè, di comprendere come il sistema sia entrato nel processo decisionale e quali siano stati i fattori principali che hanno condotto alla decisione. Il diritto è orientato alla comprensibilità della decisione, non alla divulgazione integrale del funzionamento tecnico del sistema.
Come si esercita il diritto
La spiegazione è dovuta su richiesta della persona interessata: è un diritto che l’interessato esercita, non un obbligo che il deployer debba adempiere d’ufficio. La spiegazione dev’essere chiara e significativa. L’art. 86 non fissa, invece, né un termine né una forma per la risposta.
Una precisazione: la decisione «basata sull’output»
Vale la pena soffermarsi su questo elemento della norma. L’art. 86 non parla di una decisione adottata dal sistema, ma di una decisione adottata dal deployer sulla base dell’output del sistema. Nella banca dell’esempio, non è il sistema a negare il finanziamento: il sistema produce una valutazione dell’affidabilità creditizia, e su quella valutazione il deployer assume la decisione. La decisione resta un atto umano, imputabile a chi la adotta; il deployer in questi scenari descritti non può schermarsi dietro la macchina. È significativo che la norma ragioni in questi termini — «sulla base dell’output» — e non in termini di decisione automatizzata.
Quali sistemi sono «ad alto rischio»
Resta da precisare cosa si intenda per sistema di IA ad alto rischio. Sarebbe un errore ritenere che qualunque sistema ad alto rischio faccia sorgere il diritto alla spiegazione. Non è così.
La classificazione di sistema ad alto rischio nell’AI ACT è affidata all’art. 6, che individua due strade. Da un lato vi sono i sistemi di IA che costituiscono, o sono componenti di sicurezza di, prodotti già disciplinati dalla normativa di armonizzazione dell’Unione (art. 6, § 1). Dall’altro vi sono i sistemi elencati nell’Allegato III, considerati ad alto rischio in ragione del loro specifico ambito di impiego (art. 6, § 2). L’art. 86 richiama soltanto questa seconda categoria: il diritto alla spiegazione riguarda i sistemi ad alto rischio dell’Allegato III, non indistintamente tutti i sistemi qualificabili come tali. Sono le aree in cui l’impiego dell’IA incide più direttamente sulle persone: vi rientrano, tra gli altri, i sistemi utilizzati per valutare l’affidabilità creditizia, per il reclutamento e la selezione del personale, per l’accesso a prestazioni e servizi pubblici essenziali — esattamente le ipotesi da cui siamo partiti.
Va aggiunto che non ogni sistema riconducibile a un’area dell’Allegato III è, per ciò solo, ad alto rischio: l’art. 6, § 3, esclude i sistemi destinati a svolgere compiti meramente accessori — un compito procedurale ristretto, il miglioramento di un’attività umana già svolta, un’attività preparatoria — che non influiscono in modo sostanziale sulla decisione. Con un’eccezione: se il sistema effettua la profilazione di persone fisiche, resta in ogni caso ad alto rischio.
All’interno dell’Allegato III, poi, l’art. 86 esclude espressamente i sistemi del punto 2, relativi alle infrastrutture critiche (tra cui la fornitura di acqua, gas ed elettricità e la gestione del traffico stradale). L’esclusione è testuale e non va ricavata in via interpretativa. La ragione è comprensibile: quei sistemi sono classificati come ad alto rischio soprattutto per le conseguenze di un loro malfunzionamento sulla sicurezza collettiva, non perché servano ad assumere decisioni individuali incidenti sulla posizione di una singola persona. L’art. 86 seleziona, all’interno della categoria, proprio i sistemi il cui impiego può tradursi in decisioni individuali.
Limitazioni all’esercizio del diritto ex articolo 86.
Il diritto non opera in modo assoluto. Non si applica dove il diritto dell’Unione o il diritto nazionale — in conformità al diritto dell’Unione — preveda eccezioni o limitazioni (art. 86, § 2). E ha carattere sussidiario: opera soltanto nella misura in cui un analogo diritto alla spiegazione non sia già previsto da altre norme del diritto dell’Unione (art. 86, § 3). Non si sovrappone, dunque, alle garanzie già esistenti, ma si inserisce nel sistema come tutela ulteriore e specifica.
Questa scelta riflette la natura dell’AI Act come normativa orizzontale: esso non intende aggiungere oneri dove una legislazione verticale o di settore già preveda obblighi sostanzialmente identici, ma coprire gli spazi che restano altrimenti scoperti.
Perché soltanto i sistemi ad alto rischio
Perché l’AI Act si preoccupa di queste decisioni, e perché soltanto di quelle fondate su sistemi ad alto rischio? Come già sottolineato l’AI Act non adotta un approccio totalmente basato sul rischio da qualificare volta per volta, ma stabilisce invece a priori quali sistemi ad alto rischio siano rilevanti ovvero l’elenco puntuale dell’Allegato III. Tuttavia possiamo generalizzare dicendo che si tratta di decisioni capaci di incidere in modo significativo sulla salute, sulla sicurezza o sui diritti fondamentali ed è importante che vengano adottate sulla base di processi comprensibili e verificabili.
Conclusione
Ben prima dell’AI Act, però, il diritto dell’Unione si era già occupato delle decisioni automatizzate e della profilazione, con la disciplina sulla protezione dei dati personali: è il piano su cui ci sposteremo nel prossimo articolo. Dovremo infatti chiarire in che modo le norme del GDPR sulle decisioni automatizzate convivono con le disposizioni dell’AI ACT.
