Il tema della Sorveglianza Umana quando l’AI è utilizzata per finalità mediche.

In precedenti contributi ho analizzato il concetto, cruciale nel contesto dell’AI Act, della sorveglianza umana sugli output dei sistemi di IA (La sorveglianza umana come presidio nell’AI Act; Il controllo umano sull’IA è sempre necessario?). In quei contributi è emerso che la sorveglianza umana è concepita come una salvaguardia, che si basa sul presupposto che i sistemi di IA possano commettere errori e che ci sia un collega umano che, per preparazione specialistica e per formazione in IA inclusa la consapevolezza del rischio di automation bias (distorsione dell’automazione), sia in grado e nella posizione di evitare che quell’output errato possa produrre conseguenze negative per i suoi destinatari. Ci siamo chiesti però se la sorveglianza umana sia efficace e se sia ragionevole richiederla anche al di fuori dei casi in cui l’AI Act la prevede obbligatoriamente.

Vorrei ora analizzare questo concetto e gli obblighi ad esso associati in un contesto specifico, ovvero nell’ambito clinico di utilizzo di un sistema di IA con finalità mediche, come un software IA diagnostico o un robot chirurgico guidato da un sistema di IA.

È evidente come l’Intelligenza Artificiale applicata con finalità terapeutiche, diagnostiche o di robotica chirurgica incide su beni di primario rilievo, quali la vita, la salute e l’integrità psicofisica della persona, e per questo richiede il livello più elevato di salvaguardie. Eppure proprio nell’ambito della tecnologia medicale l’Intelligenza Artificiale non ha segnato una rottura netta, bensì rappresenta l’esito di un’evoluzione graduale.

Dal dato sanitario digitalizzato alla Intelligenza Artificiale in ambito medicale.

I sistemi di diagnosi assistita da computer sono in uso da quasi trent’anni (il primo, per la mammografia, fu approvato negli Stati Uniti nel 1998 come supporto al radiologo), mentre la robotica chirurgica guidata dalle immagini ha oltre quarant’anni di storia (nel 1985 un braccio robotico guidò un ago per una biopsia cerebrale sulla base di immagini TC). L’intelligenza artificiale si è spesso innestata su dispositivi già esistenti.

Da oltre vent’anni, inoltre, è chiaro il valore del dato sanitario e l’importanza della sua digitalizzazione posto che già nel 2004 la Commissione europea adottava un piano d’azione per la sanità elettronica. Lavorando ai primi progetti di telemedicina a partire dal 2013, ci rendevamo conto delle enormi potenzialità del dato sanitario digitalizzato nel creare un’intelligenza diagnostica cumulativa, sicuramente incrementale rispetto alle capacità diagnostiche del singolo specialista o reparto specialistico.

Tutto ciò è emerso con sempre maggior vigore negli obiettivi di ricerca nel settore della diagnostica di precisione e dei modelli predittivi, e poi nei software che guidano la navigazione dei robot intelligenti. In un progetto di telemedicina dermatologica del 2014 sottolineavo l’importanza che le immagini transitassero sulla piattaforma e mai su app di messaggistica, e non tanto per motivi di tutela del dato sensibile ma soprattutto perché solo così potevano essere catalogate e diventare la base per previsioni diagnostiche sempre più precise e avanzate. Senza chiamarla così, stavamo già costruendo le condizioni dell’intelligenza artificiale. Pochi anni dopo, nel 2017, uno studio pubblicato su Nature mostrava che una rete neurale addestrata su circa 130.000 immagini cliniche classificate da dermatologi riconosceva i tumori della pelle con un’accuratezza pari a quella degli specialisti.

Parallelamente, dal piano d’azione del 2004 in poi, la Commissione europea orienta policy e finanziamenti della ricerca medica verso la circolazione e il riuso del dato sanitario. Il percorso passa per la direttiva sui diritti dei pazienti nell’assistenza sanitaria transfrontaliera del 2011, che ha istituito la rete eHealth. Prosegue con la raccomandazione del 2019 sul formato europeo di scambio delle cartelle cliniche elettroniche e con l’infrastruttura MyHealth@EU, fino al regolamento sullo Spazio europeo dei dati sanitari del 2025. Accanto alle norme, i programmi quadro di ricerca, da FP7 a Horizon 2020 e Horizon Europe, hanno finanziato piattaforme e standard di interoperabilità, come i profili IHE riconosciuti dalla Commissione nel 2015. Tutto questo ha posto le basi per lo sviluppo dell’IA nel settore medicale.

La storia della robotica chirurgica mostra la stessa continuità. Dai primi interventi degli anni Ottanta, i robot hanno acquisito precisione e capacità di navigazione grazie alle immagini diagnostiche, come TC e risonanza magnetica, usate prima per orientarsi e pianificare l’intervento e poi per addestrare i modelli che guidano il robot.

Tuttavia quando si parla di robotica clinica è più evidente il distacco rispetto all’Intelligenza Artificiale vera e propria e la questione dell’autonomia resta aperta: la letteratura distingue sei livelli, dall’assenza di autonomia all’autonomia piena (Yang et al., 2017). I sistemi oggi in commercio operano sotto il controllo del chirurgo.

È molto importante il tema dell’autonomia quando si parla di Intelligenza Artificiale. Possiamo dire che l’autonomia è l’altra faccia della medaglia della sorveglianza umana. Quanto più è autonomo un sistema, tanto meno ci sarà spazio per la sorveglianza degli output dell’IA da parte di un essere umano.

L’intelligenza artificiale nei dispositivi medici, un salto inventivo non ovvio.

Pertanto, accanto alla continuità che abbiamo descritto, nell’evoluzione tecnologica dei sistemi diagnostici predittivi sino ai modelli di IA, esiste in ogni caso un elemento di rottura. Infatti non tutti i dispositivi di diagnostica avanzata sono sistemi di IA. L’integrazione dell’intelligenza artificiale nei dispositivi medici non rappresenta un semplice sviluppo incrementale del software medicale tradizionale, ma un’evoluzione non ovvia, nel senso dell’attività inventiva del diritto dei brevetti.

Sul piano giuridico, il discrimine risiede nella capacità di inferenza. Il considerando 12 dell’AI Act esclude dalla definizione di sistema di IA i software tradizionali più semplici e i sistemi basati su regole definite solo da persone fisiche per eseguire operazioni in automatico. Le linee guida della Commissione sulla definizione di sistema di IA, non vincolanti, indicano quattro categorie che restano fuori dalla definizione: i sistemi di ottimizzazione matematica, l’elaborazione di base dei dati, le euristiche classiche e i sistemi di previsione semplici. Ne consegue che un dispositivo diagnostico, anche molto avanzato, che funziona con regole fissate dall’uomo non è un sistema di IA.

Anche la letteratura scientifica traccia la linea di demarcazione tra sistemi diagnostici avanzati e sistemi diagnostici avanzati di IA nella capacità dei secondi di apprendere dai dati. Nei sistemi tradizionali di analisi delle immagini mediche le caratteristiche da ricercare erano definite dai ricercatori, mentre i sistemi più recenti le apprendono direttamente dai dati; il passaggio dagli uni agli altri è stato graduale (Litjens et al., 2017).

La FDA statunitense ad esempio distingue l’algoritmo bloccato, che non cambia comportamento con nuovi dati, da quello adattivo, che continua ad apprendere dai dati reali dopo l’immissione in commercio (FDA, 2019). Per l’AI Act europeo, invece, l’adattività non è necessaria: anche un algoritmo bloccato, se addestrato sui dati, può essere un sistema di IA.

In sintesi, il discrimine non è quanto il dispositivo sia sofisticato, ma come produce l’output: secondo regole fissate dall’uomo, oppure per inferenza da ciò che ha appreso dai dati.

Presentazione dei tre articoli sul tema della sorveglianza umana nell’utilizzo dei MDAI

L’MDR, il Regolamento (UE) 2017/745, che disciplina i dispositivi medici, non distingue tra software IA e software non IA, ma la distinzione rileva per l’applicazione delle nuove norme dell’AI Act. Data la complessità di questo doppio binario regolatorio, il tema della sorveglianza umana nei dispositivi medici che utilizzano l’IA (i cosiddetti MDAI) è oggetto di una serie di quattro articoli, di cui questo è il primo, quello introduttivo. Nel prossimo contributo esamineremo l’inquadramento degli MDAI nel MDR e nell’AI Act. Chiarire come si coordinano le due discipline, il MDR e l’AI Act, è urgente, perché gli obblighi dell’AI Act per gli MDAI ad alto rischio si applicheranno dal 2 agosto 2028. Per orientare gli operatori, il Medical Device Coordination Group e l’AI Board hanno adottato una guida congiunta, la MDCG 2025-6, che ci aiuterà a comprendere come le due discipline vadano applicate insieme.

Quindi vedremo come, anche prima dell’AI Act, la qualità dell’output dei dispositivi medici abbia una sua grande rilevanza e come operi la sorveglianza post commercializzazione su questi dispositivi. Infine affronteremo il tema della sorveglianza per gli MDAI in concreto: proveremo a valutare come gli obblighi dell’AI Act in tema di sorveglianza possano incidere sugli obblighi e sulla responsabilità del medico e della struttura sanitaria, anche con l’aiuto delle norme già esistenti, come la disciplina della responsabilità da prodotto e la Legge Gelli-Bianco (L. 24/2017).

 

Questo articolo è il primo di una serie di quattro contributi dedicati alla sorveglianza umana nei dispositivi medici basati su sistemi di IA. La serie è parte di un lavoro di ricerca destinato a una pubblicazione scientifica, attualmente in preparazione. Chi intenda riprenderne i contenuti o l’impostazione è tenuto a citare la fonte, nel rispetto dei principi di integrità della ricerca scientifica e delle norme sul diritto d’autore: M.L. Manis, «[titolo]», Nova100 – Il Sole 24 Ore, [data], [link].