L’AI Act prevede obblighi specifici di sorveglianza umana per i sistemi di intelligenza artificiale ad alto rischio. Nel dibattito scientifico, tuttavia, la sorveglianza umana è spesso considerata una salvaguardia fondamentale anche al di fuori di questi casi: un presidio che può assumere forme e intensità diverse, ma che non dovrebbe essere eliminato.

Questa impostazione solleva alcuni interrogativi. Perché la sorveglianza umana è considerata un presidio ineliminabile? È sempre concretamente praticabile? E, soprattutto, la sua funzione consiste nel prevenire o ridurre i rischi derivanti dal funzionamento dei sistemi di IA, oppure risponde anche ad esigenze ulteriori, come ad esempio alla necessità di ricondurre le decisioni a soggetti giuridicamente responsabili?

1. Una normativa orizzontale

L’AI Act è una normativa orizzontale: non disciplina un singolo settore, ma stabilisce regole applicabili ai sistemi di IA in contesti molto diversi, dalla sanità al lavoro, dalla giustizia ai servizi finanziari. Non può quindi prescrivere un’unica modalità di sorveglianza valida per ogni contesto tecnologico e operativo.

L’articolo 14, dedicato alla sorveglianza umana dei sistemi di IA ad alto rischio, riconosce implicitamente questa eterogeneità. Il paragrafo 3 stabilisce infatti che le misure di sorveglianza siano «commisurate ai rischi, al livello di autonomia e al contesto di utilizzo del sistema di IA ad alto rischio».

La sorveglianza, dunque, non è concepita come una modalità uniforme di intervento umano. La sua configurazione dipende dalle caratteristiche del sistema e dalle circostanze in cui viene utilizzato.

Resta tuttavia da accertare se, oltre ad una necessaria diversificazione delle modalità di esercizio della sorveglianza, vi siano scenari operativi e tecnologici dove il presidio non sia necessario.

2. I tre approcci delle linee guida

Le Ethics Guidelines for Trustworthy AI del gruppo di esperti AI HLEG, pubblicate nel 2019, hanno individuato tre approcci alla sorveglianza umana che vengono definiti human-in-the-loop, human-on-the-loop e human-in-command. Le tre modalità permettono di distinguere diversi livelli e forme di intervento umano, in funzione delle caratteristiche e dell’impiego del sistema.

Lo human-in-the-loop prevede la possibilità di un intervento umano nel singolo ciclo decisionale del sistema. Le linee guida osservano che un intervento di questo tipo può non essere possibile o auspicabile in tutti i contesti. E questo è condivisibile perché rischierebbe di vanificare i benefici dell’automazione.

Lo human-on-the-loop prevede invece che l’essere umano sorvegli il funzionamento del sistema e possa intervenire quando necessario, senza dover partecipare a ogni singola decisione.

Lo human-in-command riguarda infine la capacità di sorvegliare l’attività complessiva del sistema, compresi i suoi effetti economici, sociali, giuridici ed etici, e di decidere quando e come utilizzarlo.

Questi approcci mostrano come la sorveglianza umana possa essere articolata secondo modalità differenti. Non risolvono, tuttavia, la questione preliminare, ovvero se sia sempre necessario mantenere un presidio umano e, in caso affermativo, per quale ragione.

3. Un presidio percepito come fondamentale

L’AI Act riprende dalle linee guida dell’AI HLEG il concetto di sorveglianza umana, ma lo rende vincolante solo per i sistemi ad alto rischio. Inoltre non ripropone la distinzione tra human-in-the-loop, human-on-the-loop e human-in-command: si limita a stabilire, all’articolo 14, paragrafo 3, che le misure di sorveglianza siano commisurate ai rischi, al livello di autonomia e al contesto di utilizzo del sistema.

Come abbiamo anticipato in premessa, per una parte della letteratura, la sorveglianza umana rappresenta una salvaguardia essenziale, la cui intensità può essere modulata in funzione del contesto, ma che non dovrebbe nai essere del tutto eliminata.

Al di là degli specifici obblighi dell’AI Act, è comprensibile che la presenza umana venga considerata auspicabile anche in contesti nei quali non sussiste un obbligo specifico di sorveglianza ai sensi dell’articolo 14. L’automazione, infatti, non elimina necessariamente i rischi derivanti dall’impiego del sistema, né garantisce che le sue decisioni siano sempre coerenti con gli obiettivi perseguiti.

La nostra realtà attuale operativa, tuttavia, ci obbliga a notare che esistono già scenari nei quali l’intervento umano è limitato o addirittura assente. In alcuni casi, un controllo continuo potrebbe risultare tecnicamente impraticabile; in altri, potrebbe ridurre in misura significativa i vantaggi economici e organizzativi dell’automazione.

Si pone allora l’esigenza di interrogarsi sulle ragioni per cui la sorveglianza umana è considerata un presidio irrinunciabile da alcuni scholars.

4. La sorveglianza umana è davvero efficace e risolutiva?

La sorveglianza umana presuppone sicuramente che la persona fisica, se incaricata del controllo, sia in grado di individuare errori, anomalie o risultati inattesi del sistema. Presuppone, ancor prima, che un sistema di Intelligenza Artificiale possa produrre risultati errati o inappropriati per una pluralità di ragioni.

Il primo presupposto deve però confrontarsi con un fenomeno ampiamente studiato: l’automation bias, o distorsione dell’automazione, ossia la nostra tendenza ad affidarci eccessivamente agli output di un sistema automatizzato, rinunciando a valutarli in modo sufficientemente indipendente.

Un contributo di Wasif Ali Shah, Automation Bias in AI Human Oversight Under the EU AI Act, pubblicato nel 2026 su VERITAS Jurisprudence & Psychological Science, richiama sul punto il TechDispatch 2/2025 del Garante europeo della protezione dei dati (EDPS) in cui si evidenzia come la presenza di un decisore umano non garantisca, di per sé, che la decisione sia effettivamente autonoma. Il documento richiama, tra gli altri, uno studio pubblicato nel 2023 sulla rivista Radiology, nel quale 27 radiologi hanno esaminato 50 mammografie con l’ausilio di suggerimenti attribuiti a un sistema di IA. In presenza di suggerimenti errati, l’accuratezza dei radiologi è diminuita sensibilmente: l’indicazione sbagliata del sistema li ha indotti a sbagliare a loro volta («Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance», Radiology, 2023).

Abbiamo già discusso a lungo di quanto la trasparenza ex ante ed ex post dei sistemi IA sui propri processi decisionali sia cruciale per consentire al “collega umano” di operare una sorveglianza efficace (si veda questo articolo). Tuttavia questi studi dimostrano che anche laddove gli output siano accompagnati da spiegazioni o indicazioni sui passaggi che hanno condotto al risultato o decisione del sistema, non è detto che il revisore riesca a valutarli criticamente. La trasparenza, da sola, quindi non garantisce l’efficacia e l’indipendenza del controllo.

Incorporando queste preoccupazioni e in considerazione di questi rischi, l’articolo 14, paragrafo 4, lettera b), richiede che il sistema sia progettato e sviluppato in modo da consentire alle persone incaricate della sorveglianza di rimanere consapevoli della propria tendenza ad affidarsi automaticamente o eccessivamente ai suoi output. La lettera c) richiede inoltre che tali persone siano in grado di interpretare correttamente gli output, tenendo conto, ad esempio, degli strumenti e dei metodi di interpretazione disponibili. Per questo è necessario che il fornitore predisponga istruzioni dettagliate e che l’utilizzatore formi il proprio personale come abbiamo visto nel precedente contributo (https://marialuisamanis.nova100.ilsole24ore.com/2026/10/13/la-sorveglianza-umana-come-presidio-nellai-act/).

Il secondo presupposto, ossia la possibilità che i sistemi di IA producano errori, appare invece difficilmente contestabile. Molti errori si verificano quando il sistema viene impiegato oltre le sue capacità, perché l’utilizzatore non ne conosce a sufficienza i limiti. Chi impiega uno strumento di IA con successo per operazioni relativamente semplici potrebbe presumere, erroneamente, che sia altrettanto affidabile in situazioni più complesse e affidarsi al sistema anche per queste ultime e così ignorare gli errori dovuti a mancanza di capacità connaturate al sistema, che non è concepito per quei risultati. Si pensi a un agente di IA impiegato per negoziare acquisti ordinari. Il buon esito di queste operazioni potrebbe indurre l’utilizzatore ad affidargli una negoziazione più complessa, che richieda di considerare rapporti pregressi con la controparte, crediti da recuperare o altri elementi non esplicitamente rappresentati nella richiesta. L’utilizzatore potrebbe presumere che il sistema abbia tenuto conto di tutte queste circostanze, senza sapere se sia effettivamente in grado di farlo. Il problema, in questo caso, nasce dalla divergenza tra le capacità che l’utilizzatore gli attribuisce e quelle che il sistema possiede realmente. Una possibile spiegazione tecnica di errori frequenti in questi scenari viene da uno studio del 2023 (Liu et al., Lost in the Middle: How Language Models Use Long Contexts), secondo cui i modelli linguistici utilizzano bene le informazioni collocate all’inizio o alla fine di un testo lungo, ma tendono a trascurare quelle che si trovano nella parte centrale. Nel caso dell’agente, i rapporti pregressi con il fornitore e i crediti da recuperare potrebbero quindi essere presenti tra i documenti a disposizione del sistema e, ciononostante, non essere considerati nella negoziazione. La ricerca successiva ha attenuato questo limite, che resta però un tema aperto: per questo l’utilizzatore deve conoscere i limiti dello strumento che impiega.

Rispetto all’errore, molti sistemi IA oggi in uso sono già concepiti per poter ricontrollare autonomamente il proprio operato e verificare ex post l’output operando controlli aggiuntivi di diverso livello di approfondimento. In questo caso è lo stesso sistema ad operare la sorveglianza e possiamo sospettare che possa essere più efficace della sorveglianza del collega umano.

Quindi ci si può legittimamente domandare in quali condizioni un controllo automatizzato possa costituire un’alternativa adeguata alla sorveglianza umana e rappresentare un adeguato presidio, anche nel caso di sistemi IA ad alto rischio.

Possiamo anche considerare il caso di un sistema IA il cui margine di errore è pari a zero, o comunque trascurabile. Ad esempio pensiamo ad un sistema che ripete dei compiti semplici, sempre uguali, basati su un numero limitato di parametri e in cui i parametri sono verificati in anticipo. In questi casi anche laddove l’impiego del sistema incidesse su diritti fondamentali, la sorveglianza umana potrebbe risultare superflua.

5. Il bene giuridico tutelato

La domanda che ci si pone in questo articolo è dunque quale sia il bene giuridico protetto da questo presidio. L’AI Act attribuisce alla sorveglianza umana (articolo 14, paragrafo 2) l’obiettivo di prevenire o ridurre al minimo i rischi per la salute, la sicurezza o i diritti fondamentali che possono emergere quando un sistema di IA ad alto rischio viene utilizzato secondo la sua finalità prevista o in condizioni di uso improprio ragionevolmente prevedibile.

La disposizione offre quindi un’indicazione precisa sulla finalità preventiva del presidio. La tutela dei diritti fondamentali emerge anche dall’articolo 27 dell’AI Act, che prevede una valutazione d’impatto sui diritti fondamentali per determinate categorie di deployer prima dell’impiego di specifici sistemi di IA ad alto rischio.

Non è esplicitato se la funzione preventiva sia l’unica. La sorveglianza umana può ad esempio rispondere anche all’esigenza di ricondurre determinate decisioni a soggetti giuridicamente responsabili delle relative conseguenze.