Nel 2018 veniva affidato dalla Commissione europea ad un gruppo indipendente di esperti del mondo accademico e dell’industria (AI HLEG) il compito di individuare i requisiti per una IA affidabile ed eticamente valida. Nel 2019 venivano quindi pubblicate le Ethics Guidelines for Trustworthy AI che individuavano 7 principi etici, il primo dei quali è la necessità di intervento e sorveglianza umani.
Le Linee Guida spiegano che i sistemi di IA sono sviluppati e utilizzati come strumenti al servizio delle persone, nel rispetto della dignità umana e dell’autonomia personale, e pertanto devono funzionare in modo da poter essere adeguatamente controllati e sorvegliati dagli esseri umani.
La sorveglianza umana si inquadra pertanto come una misura di salvaguardia, che però a sua volta presuppone (a) che oltre al sistema IA ci sia una persona fisica (un collega umano) che collabora con il sistema e (b) che il sistema sia costruito in modo che la persona fisica possa comprendere come il sistema abbia ragionato e possa prevenire output inattesi o errati. In due articoli di questo blog si è approfondito il tema della trasparenza del sistema IA e della spiegabilità tecnica come presupposto per la sorveglianza umana.
1. La Sorveglianza Umana nell’AI Act
Il Regolamento (UE) 2024/1689 richiama le Linee Guida HLEG 2019 e l’obiettivo di promuovere lo sviluppo e l’adozione di una intelligenza artificiale che sia antropocentrica e affidabile (nel 27esimo considerando e nell’articolo 1, paragrafo 1), concependo l’intervento e la sorveglianza umana come garanzia che i sistemi di IA siano sviluppati e utilizzati come strumenti al servizio delle persone, nel rispetto della dignità umana e dell’autonomia personale. Tuttavia nell’ambito dell’AI Act la sorveglianza umana è oggetto di norme vincolanti solo nel caso di sistemi di IA ad alto rischio.
2. Obblighi a carico del Fornitore. Due tipologie di misure di sorveglianza.
L’AI Act colloca la sorveglianza: 1) come obbligo di progettazione tecnica del fornitore (articoli 13 e 14); 2) come obbligo organizzativo del deployer (articoli 26 e 27); 3) infine come diritto finale della persona interessata (articolo 86).
L’articolo 14 si rivolge ai fornitori: i sistemi di IA ad alto rischio, in linea con quanto previsto dal 73esimo considerando, devono essere progettati e sviluppati in modo da poter essere supervisionati da persone fisiche durante l’uso.
In particolare l’articolo parla di misure di sorveglianza, le quali vanno commisurate al livello di rischio, al livello di autonomia e al contesto di utilizzo del sistema di IA ad alto rischio.
Si tratta di requisiti di progettazione che vengono descritti in termini generali, ma si opera un’importante distinzione. La prima tipologia comprende le misure che il fornitore individua e integra nel sistema fornito, ove tecnicamente possibile, e che quindi fanno parte del sistema stesso (articolo 14, paragrafo 3, lettera a). La seconda comprende le misure che il fornitore individua, ma che spetta all’utilizzatore, il deployer, implementare (lettera b).
Ci sono infatti casi in cui non è possibile per il fornitore ricorrere a una misura tecnologica integrata nel sistema, ad esempio una procedura automatica di revisione dell’output, e allora spetterà all’utilizzatore porre in essere misure organizzative atte allo scopo.
Due esempi concreti, tratti da contesti operativi e tecnologici diversi, mostrano la differenza.
Il primo è quello di un robot che assiste il medico durante un intervento e che, in quanto dispositivo medico, rientra tra i sistemi ad alto rischio. Qui il fornitore può integrare la sorveglianza nel sistema stesso: il robot può essere progettato per segnalare al medico ogni movimento anomalo, per arrestarsi con un comando di emergenza e per fermarsi da solo quando supera determinati limiti di sicurezza.
Il secondo è quello di un sistema di IA che seleziona i candidati per un’assunzione, classificato ad alto rischio dall’allegato III. Il sistema produce una graduatoria, ma non è in grado di verificare da solo se ha escluso ingiustamente un candidato. In questo caso la misura di sorveglianza non può essere integrata nel sistema: il fornitore la indica nelle istruzioni per l’uso, prevedendo ad esempio che una persona dell’ufficio del personale esamini le esclusioni prima che diventino definitive. Spetta poi all’utilizzatore organizzare questo controllo.
3. Obblighi dell’utilizzatore: la scelta dei sistemi; la scelta e la formazione del personale incaricato della sorveglianza
Se al fornitore si impongono obblighi di progettazione per rendere la sorveglianza umana azionabile, spetta poi all’utilizzatore del sistema IA svolgere concretamente questa sorveglianza e predisporla opportunamente.
L’articolo 26, paragrafo 2, stabilisce che chi utilizza il sistema di IA ad alto rischio deve affidare la sorveglianza umana «a persone fisiche che dispongono della competenza, della formazione e dell’autorità necessarie nonché del sostegno necessario».
Quindi vi è una responsabilità nella scelta e nella formazione del proprio personale e nell’attuazione di misure organizzative.
Questi obblighi dell’utilizzatore presuppongono che il sistema di IA sia costruito dal fornitore in modo che i dipendenti a cui è affidata la sorveglianza possano: a) capire capacità e limiti del sistema, monitorarne il funzionamento e identificare anomalie e output inattesi; d) decidere di ignorare, annullare o ribaltare l’output del sistema di IA ad alto rischio; e) fermare il sistema in condizioni di sicurezza (e infatti questi obblighi a carico del fornitore sono previsti sempre nell’articolo 14, paragrafo 4).
Dall’articolo 14 si può quindi ricavare, in via interpretativa, che l’utilizzatore non solo ha una responsabilità nella scelta delle persone idonee a operare la sorveglianza, ma anche nella scelta del sistema di IA ad alto rischio, perché dovrà assicurarsi che il fornitore si sia adeguato e abbia implementato quelle misure tecniche previste dall’AI Act per la sorveglianza umana e che fanno da presupposto alle misure organizzative dell’utilizzatore.
Per agevolare gli utilizzatori nella scelta, l’articolo 13, paragrafo 3, lettera d), stabilisce che le istruzioni per l’uso indichino «le misure di sorveglianza umana di cui all’articolo 14, comprese le misure tecniche poste in essere per facilitare l’interpretazione degli output dei sistemi di IA ad alto rischio da parte dei deployer».
In questa fase, in cui mancano ancora, nella maggior parte dei settori, discipline specifiche che regolino e certifichino la progettazione dei sistemi di IA, assume particolare rilievo la responsabilità dell’utilizzatore nella scelta del sistema (culpa in eligendo).
È infatti l’utilizzatore il primo a dover valutare il sistema che adotta, a tutela di coloro che subiscono gli effetti delle decisioni e delle azioni del sistema stesso. In alcuni settori si stanno elaborando orientamenti che indicano alle imprese come scegliere i sistemi di IA e quali caratteristiche e requisiti di progettazione questi debbano possedere. È il caso della contrattazione automatizzata: con la Apply AI Strategy, la Commissione europea ha annunciato un forum di confronto con i portatori di interessi per ridurre i rischi della contrattazione basata sull’IA per le PMI, comprese le start-up, e per fornire indicazioni giuridiche, in particolare modelli di clausole contrattuali e orientamenti sulla scelta dei sistemi di contrattazione basati sull’IA.
