Oggi ti porto in uno scenario concreto per spiegarti il concetto di explainability nella Intelligenza Artificiale.

Vorrei proporre alcuni concetti giuridici, e talvolta tecnici, spiegandoli con gradualità affinché il lettore possa ricostruire progressivamente la complessità giuridica che accompagna l’utilizzo dell’intelligenza artificiale nel contesto lavorativo.  Chi ormai da tempo collabora , nello svolgimento del proprio lavoro, con sistemi di intelligenza artificiale è ben consapevole di quanto l’explainability, quella tecnica e non quella giuridica (di cui parleremo nel prossimo articolo), sia cruciale, specialmente quando si mantiene la responsabilità dell’output finale.

Lo scenario della azienda energivora.

Consideriamo il caso di un capo reparto di una fonderia di alluminio di medie dimensioni dove il costo dell’energia rappresenta fino al 30-40% dei costi di produzione. Acquistare in modo strategico e conveniente l’energia rappresenta per la fonderia un enorme vantaggio competitivo. L’energia acquistata sui mercati all’ingrosso ha un prezzo che cambia ogni ora e con contratti a termine che bloccano il prezzo. Immaginiamo che la fonderia decida di sviluppare con una software house esterna e di installare un Agente Intelligente  (lo chiameremo Robot) che sia in grado autonomamente non solo di selezionare, ma altresì di concludere contratti d’acquisto di energia. L’attività di approvvigionamento viene quindi affidata al Robot, che certamente è in grado di districarsi tra molteplici variabili da considerare contestualmente, come opzioni di prezzo e piani di produzione della fonderia. È lui che quindi monitora i mercati ogni ora, prevede i prezzi, conclude autonomamente contratti d’acquisto entro le direttive e  limiti che gli vengono prefissati (come ad esempio il budget massimo, le quantità e le fasce orarie). Un esempio concreto: il Robot prevede che domani, nella fascia oraria di mezzogiorno, il prezzo scenderà sensibilmente grazie al picco di produzione fotovoltaica e decide quindi di concentrare in quella fascia l’acquisto del fabbisogno, invece di comprare oggi a prezzo pieno.

Il Rapporto Uomo-Robot nel lavoro.

Nello scenario descritto il Robot non è solo al lavoro, bensì opera sotto la supervisione di un responsabile umano. Il capo reparto resta il vero responsabile degli acquisti di energia per conto della fonderia. Il Robot non sostituisce il capo reparto che invece ne fissa i limiti, valuta le strategie, lo istruisce che sopra certe soglie (contratti pluriennali) la decisione sul contratto torna al capo. Il capo reparto è colui che risponde del budget al CdA. In questo caso lo scenario si complica, perché per alcuni contratti la revisione umana della singola transazione non è programmata, per altri invece si. Sotto il profilo organizzativo e potenzialmente anche giuridico, il capo reparto potrebbe essere chiamato a rispondere al CDA dei contratti rispetto ai quali ha un ruolo di supervisione necessaria (perchè superano certi budget) ma anche dei contratti automatici rispetto ai quali gli è stato dato un potere di dare istruzioni su parametri e piani industriali dell’azienda.

Comprendere come il Robot ha ragionato. 

Se sei un professionista o un dipendente, qualunque sia il livello delle tue responsabilità, sai già ora perché nasca l’esigenza di cosiddetta “explainability” tradotto in italiano “spiegabilità” del robot all’umano. Il concetto di spiegabilità nasce in un contesto dove Sistemi IA e lavoratori umani collaborano, operano nello stesso contesto lavorativo,  e dove l’errore dei primi non è impossibile. 

Che un sistema di intelligenza artificiale possa produrre risultati erronei o discriminatori è un’eventualità che il diritto considera da tempo. La normativa sulla protezione dei dati se ne occupa da decenni per le decisioni automatizzate sui consumatori — decisioni inaccurate o discriminatorie su credito, contratti, servizi. È un tema diverso dal nostro, con una sua storia e una giurisprudenza recente importante: ne parleremo nel prossimo articolo dedicato alla Spiegabilità Giuridica e le decisioni automatizzate.

Invece nel nostro scenario parliamo di rapporto di collaborazione tra uomo e macchina, dove il primo ha una esigenza di comprendere come il secondo ha ragionato al fine di identificarne preventivamente i possibili errori e possibilmente prevenirne le conseguenze.

Da dove può originare un errore?

• • dai dati: incompleti, vecchi, di scarsa qualità (previsioni meteo sbagliate; massimario non aggiornato)
  • dalla domanda: quesito posto male, istruzioni ambigue del supervisore umano
  • dal contesto mancante: la macchina non sa ciò che non le è stato detto (piano industriale riservato; il cliente ha già transatto)
  • dal ragionamento stesso: risposte plausibili ma sbagliate, con la stessa sicurezza di quelle giuste

Le domande giuste da porsi sulla spiegabilità tecnica, ma alcune restano prive di risposta.

Il concetto di spiegabilità tecnica è stato oggetto di un rapporto del  Garante europeo della protezione dei dati (EDPS) datato novembre 2023. https://www.edps.europa.eu/system/files/2023-11/23-11-16_techdispatch_xai_en.pdf

Il modo migliore per capirla è attraverso le domande che il nostro capo reparto — e chiunque lavori con un Agente IA — dovrebbe porsi.  Per alcune la risposta c’è già, almeno sul piano logico. Altre sono invece ancora aperte, sul piano tecnico e quindi di conseguenza anche sul piano giuridico. Ed è proprio questa mappa di risposte e vuoti che ci interessa.

1. Cos’è la spiegabilità tecnica, in una frase? È la capacità del Sistema IA di rendere conto del proprio operato in modo comprensibile al collega umano. Presuppone che il sistema operi sotto supervisione umana. C’è un filtro umano che decide e si assume la responsabilità, anche giuridica, dell’output. Ed è già la realtà lavorativa di moltissimi di noi.

2. Cosa dovrebbe spiegare, come minimo? Su quali dati si è basato — sempre che su quei dati sia già stata operata una valutazione di qualità e attendibilità, altrimenti la spiegazione serve a ben poco; il percorso che ha fatto da input a conclusione; le alternative che ha scartato e perché; quanto è sicuro della conclusione e dove sono i suoi margini di dubbio.

3. La spiegazione serve prima o dopo? Ex ante: parametri, istruzioni, fonti dichiarate — è ciò che conta per i contratti che conclude in autonomia, dove nessuno rivedrà la singola transazione. In questo caso si tratterebbe della capacità del sistema IA di dire sulla base di quali dati, condizioni, presupposti e variabili si prepara a decidere e agire. Ex post: è il rendiconto del perché di quella conclusione, ed è  nel nostro esempio ciò che serve al capo reparto per i contratti che deve visionare, e a chiunque altro debba ricostruire l’accaduto quando qualcosa è andato storto.

4. In che linguaggio il sistema deve rendere intellegibile il proprio funzionamento? Non certo nel linguaggio del software, ma in un linguaggio intelligibile per il destinatario, il suo supervisore umano. Le logiche di ragionamento e la pratica professionale di Robot e collega umano devono potersi armonizzare. E attenzione: la spiegazione deve essere intelligibile non solo al collega , ma anche a chi dovesse in seguito valutare le responsabilità, come ad esempio il consiglio di amministrazione della fonderia, o un giudice, se un contratto stipulato erroneamente creasse un danno all’azienda.

5. Fino a che punto un sistema di IA è davvero in grado di spiegare sé stesso? Quanta trasparenza è davvero esigibile da un punto di vista tecnico e giuridico? Qui incontriamo un ostacolo ed è naturalmente tecnico, con ripercussioni anche sulla esigibilità giuridica di tali obblighi. Molti sistemi di IA moderni non seguono regole scritte da un programmatore: bensì “imparano” da enormi quantità di dati. Il risultato è che nemmeno chi li ha sviluppati saprebbe sempre ricostruire con esattezza perché il sistema è arrivato a una certa conclusione. Questo è il problema della black box, la scatola nera o il problema della cosiddetta Opacità dei sistemi IA. 

La spiegabilità tecnica nell’AI Act

La spiegabilità, quindi, non è una caratteristica che i sistemi IA possiedono naturalmente ma costituisce una caratteristica progettuale richiesta al fornitore e sviluppatore e va verificata. Se e quanto le spiegazioni che il sistema fornisce corrispondano al suo reale funzionamento interno — la cosiddetta feasibility — è una questione tecnica ancora aperta. Chi realizza un agente AI deve porsi questo problema? L’AI Act sicuramente lo richiede per i sistemi ad alto rischio. 

L’articolo 13 impone che questi sistemi siano progettati con un funzionamento sufficientemente trasparente da consentire ai deployer — così il regolamento chiama chi utilizza il sistema sotto la propria autorità — di interpretarne l’output e utilizzarlo adeguatamente; le istruzioni per l’uso devono indicare, tra l’altro, capacità e limiti delle prestazioni, i dati di input, e le misure tecniche per facilitare l’interpretazione degli output. L’articolo 14 richiede che siano progettati per essere efficacemente supervisionati da persone fisiche: chi sorveglia deve poter comprendere capacità e limiti del sistema, individuare anomalie, interpretare correttamente l’output e, se necessario, ignorarlo, ribaltarlo o arrestare il sistema. Il regolamento nomina persino il rischio che qui ci interessa di più: chi supervisiona deve restare consapevole della distorsione dell’automazione, la tendenza a fidarsi eccessivamente della macchina.

Che non si tratti di previsioni isolate lo conferma il preambolo del Regolamento. Il considerando 39 eleva la spiegabilità a principio: la trasparenza include la capacità dei sistemi di consentire tracciabilità e spiegabilità. Il considerando 72 chiarisce lo scopo: i sistemi vanno progettati perché i deployer possano comprenderne funzionamento, punti di forza e limiti. E il considerando 171 aggancia il diritto della persona: chi subisce una decisione che incide sui suoi diritti fondamentali, basata principalmente sull’output di un sistema ad alto rischio, ha diritto a una spiegazione chiara e significativa — ed è qui che la spiegabilità tecnica di cui parliamo si salda con quella giuridica, di cui parleremo nel prossimo articolo.

Fuori dal perimetro dell’alto rischio, questi obblighi restano l’espressione di un principio, non un obbligo puntuale.

Conclusioni.

La spiegabilità tecnica non rappresenta soltanto un requisito progettuale dei sistemi di intelligenza artificiale. È il presupposto che consente all’essere umano di mantenere un controllo effettivo sul processo decisionale e, con esso, sulla responsabilità delle decisioni assunte. Solo partendo da questa prospettiva sarà possibile affrontare il diverso tema della spiegabilità giuridica delle decisioni automatizzate, oggetto del prossimo contributo.