perché quasi tutti i modelli sono sbagliati

Negli ultimi dieci anni sono stati pubblicati migliaia di modelli di machine learning per la medicina, spesso con risultati spettacolari sulla carta, ma pochissimi sono stati validati prospetticamente o hanno avuto un impatto misurabile in clinica. Per gli autori dell’editoriale “Why almost all ML models for medicine are wrong-and what we need for evidence-based medical AI” pubblicato sull’International Journal of Medical Informatics il problema non è solo regolatorio o infrastrutturale, è metodologico e riguarda il modo stesso in cui questi modelli sono costruiti e valutati.

Gli autori individuano cinque debolezze ricorrenti:

• Ground truth incerta: le etichette su cui i modelli sono addestrati derivano spesso da giudizi soggettivi di singoli esperti, non da uno standard oggettivo.
• Soglie decisionali inappropriate: si ottimizzano metriche globali come l’AUC, ignorando che in clinica le soglie rilevanti dipendono dal contesto e hanno implicazioni etiche.
• Metriche instabili: indicatori come accuratezza, PPV o F1 variano fortemente al cambiare della prevalenza, rendendo i confronti poco affidabili.
• Incertezza non riportata: le performance sono presentate come numeri puntuali, senza intervalli di confidenza né test statistici.
• Validazione esterna assente: la maggior parte dei modelli è testata sugli stessi dati di addestramento o su coorti molto simili, senza verificarne la tenuta nel tempo o in situazioni diverse.

La vera prova dell’AI in sanità non è l’accuratezza dichiarata, ma la robustezza e la validazione in contesti reali

La conclusione è un appello alla responsabilità collettiva. Ricercatori, revisori, riviste scientifiche e aziende dovrebbero adottare standard più rigorosi, perché i modelli predittivi diventino strumenti clinici credibili e non solo “prodotti pubblicabili”.
Ne parliamo a TrendSanità con il Professor Federico Cabitza, professore di Interazione Uomo-Macchina all’Università degli Studi Milano-Bicocca e Direttore del Centro Digital Health della Fondazione Bruno Kessler (FBK) di Trento, primo autore dello studio.

Secondo l’editoriale, il problema più profondo dell’AI in medicina riguarda le etichette con cui i modelli sono addestrati, cioè le diagnosi usate per insegnare all’algoritmo cos’è una malattia e cosa non lo è. Nondimeno due medici, davanti alla stessa lastra o allo stesso referto, possono dare giudizi leggermente diversi. Cosa succede quando un algoritmo è addestrato su queste diagnosi, che sembrano oggettive ma in realtà non lo sono del tutto?

«Succede che l’algoritmo impara anche l’incertezza, le ambiguità e talvolta gli errori presenti nei dati. In medicina molte diagnosi non sono etichette perfettamente oggettive, dipendono da criteri clinici, interpretazioni, strumenti, contesto e talvolta dal giudizio del singolo specialista. Se addestriamo un modello come se quelle etichette fossero verità assolute, rischiamo di costruire un sistema apparentemente preciso ma fondato su basi fragili. Questo non significa che l’AI sia inutile, significa che dobbiamo trattare le diagnosi usate per addestrarla come dati clinici imperfetti, da controllare, confrontare tra più esperti e accompagnare da misure di incertezza».

Si critica il modo in cui oggi si valutano questi algoritmi. Si dà un punteggio che mette insieme la loro performance in tantissime situazioni diverse, comprese quelle che un medico non userebbe mai nella pratica. Il rischio è che un algoritmo sembri eccellente “in media”, ma non sia mai stato verificato davvero nell’ambito specifico in cui un medico dovrà poi fidarsi della sua risposta. Cosa si rischia in un caso del genere?

«Si rischia una falsa sicurezza. Un modello può avere un risultato molto alto “in media”, ma comportarsi male proprio nei casi che contano di più, come nei pazienti più fragili, i casi borderline, pazienti appartenenti a popolazioni diverse da quelle viste durante lo sviluppo, oppure in corrispondenza delle soglie decisionali che nella pratica clinica sono davvero rilevanti. In medicina non basta sapere che un modello discrimina abbastanza bene tra malati e non malati in astratto. Bisogna sapere se è affidabile in quello specifico contesto, con quei pazienti, per quella decisione, con quelle conseguenze. Altrimenti il numero diventa rassicurante, ma non necessariamente utile».

Senza test indipendenti, in ospedali diversi e su pazienti diversi, non sappiamo se il modello ha imparato qualcosa di clinicamente generale o solo qualcosa di specifico del dataset su cui è nato

Si sottolinea che pochissimi modelli sono testati su pazienti e ospedali diversi da quelli con cui sono stati costruiti. Perché, secondo lei, questo passaggio è saltato così spesso? Mancano tempo e dati o è un problema più di fondo nella cultura della ricerca?

«Mancano certamente tempo, dati accessibili, infrastrutture e collaborazioni tra centri, ma il problema è anche culturale. Per anni la ricerca sull’AI in medicina ha premiato soprattutto la costruzione di modelli nuovi, il risultato brillante, le metriche elevate e la pubblicazione rapida. La validazione esterna, invece, è più lenta, meno spettacolare e spesso più severa, e può mostrare che il modello funziona meno bene di quanto sembrasse. Però è proprio questo il passaggio scientificamente decisivo. Senza test indipendenti, in ospedali diversi e su pazienti diversi, non sappiamo se il modello ha imparato qualcosa di clinicamente generale o solo qualcosa di specifico del dataset su cui è nato».

Lei lancia un appello alle riviste scientifiche perché alzino l’asticella e chiedano validazione esterna, analisi di robustezza e trasparenza su calibrazione e incertezza. Se questi criteri diventassero davvero vincolanti, quanti dei modelli pubblicati oggi pensa supererebbero la prova? Quanto tempo realisticamente richiederà questo cambio di passo nella comunità scientifica?

«È molto difficile dare una percentuale precisa. Posso però ricordare un dato: in una survey pubblicata l’anno scorso (Marconi, L., & Cabitza, F. (2025). Show and tell: a critical review on robustness and uncertainty for a more responsible medical AI. International journal of medical informatics, 202, 105970), io e un mio collaboratore abbiamo osservato che, anche limitandoci alle riviste più importanti del settore, meno del 5% degli articoli sull’intelligenza artificiale medica riportava una validazione esterna, cioè una valutazione condotta in contesti che non avevano partecipato allo sviluppo del modello. Sulla base di questo dato, che è comunque recente, credo che una parte molto consistente della letteratura attuale avrebbe difficoltà a superare criteri davvero rigorosi. Non perché si tratti di ricerca inutile, ma perché spesso è ricerca ancora preliminare, anche quando viene presentata come se fosse prossima la sua applicazione in contesti clinici reali.

Se chiedessimo sempre ai data scientist e agli sviluppatori e produttori una vera validazione esterna, una analisi di robustezza, l’analisi di calibrazione, la quantificazione dell’incertezza e una valutazione dell’utilità decisionale, molti modelli verrebbero fortemente ridimensionati: non più “strumenti pronti per la pratica”, ma “ipotesi promettenti da verificare meglio”.

Prima dell’adozione nella pratica clinica, i modelli di AI devono dimostrare robustezza, validazione esterna e reale utilità decisionale

Questo cambio di passo richiederà anni, ma può iniziare subito, se riviste, revisori, ricercatori, ospedali e aziende accettano una regola semplice: non dobbiamo fidarci del modello come fonte di risposte vere e oggettive, dobbiamo fidarci del processo che lo ha sviluppato, valutato, validato e che, dopo l’adozione, continua a monitorarlo nel mondo reale».