Miglioramento della qualità dell’intelligenza artificiale clinica: verso il monitoraggio e l’aggiornamento continuo degli algoritmi di AI in sanità

npj Medicina Digitale volume 5, numero articolo: 66 (2022) Citare questo articolo

13mila accessi

19 citazioni

49 Altmetrico

Dettagli sulle metriche

Gli algoritmi di machine learning (ML) e intelligenza artificiale (AI) hanno il potenziale per ricavare informazioni approfondite dai dati clinici e migliorare i risultati dei pazienti. Tuttavia, questi sistemi altamente complessi sono sensibili ai cambiamenti ambientali e soggetti a un decadimento delle prestazioni. Anche dopo la loro riuscita integrazione nella pratica clinica, gli algoritmi ML/AI dovrebbero essere continuamente monitorati e aggiornati per garantirne la sicurezza e l’efficacia a lungo termine. Per portare l’intelligenza artificiale a maturità nell’assistenza clinica, sosteniamo la creazione di unità ospedaliere responsabili della garanzia della qualità e del miglioramento di questi algoritmi, che chiamiamo unità “AI-QI”. Discuteremo di come gli strumenti utilizzati da tempo nell'assicurazione e nel miglioramento della qualità ospedaliera possano essere adattati per monitorare gli algoritmi ML statici. D'altro canto, le procedure per l'aggiornamento continuo dei modelli sono ancora in fase nascente. Evidenziamo le considerazioni chiave nella scelta tra i metodi esistenti e le opportunità di innovazione metodologica.

L'uso dell'intelligenza artificiale (AI) e dell'apprendimento automatico (ML) in ambito clinico si è sviluppato enormemente negli ultimi decenni, con numerosi esempi nell'imaging medico, nella cardiologia e nelle cure acute1,2,3,4,5,6. In effetti, l’elenco degli algoritmi basati su AI/ML approvati per l’uso clinico dalla Food and Drug Administration (FDA) degli Stati Uniti continua a crescere rapidamente7. Nonostante lo sviluppo accelerato di questi algoritmi medici, l’adozione in clinica è stata limitata. Le sfide incontrate nel percorso verso un’integrazione riuscita vanno ben oltre la fase iniziale di sviluppo e valutazione. Poiché gli algoritmi ML sono fortemente dipendenti dai dati, una delle principali preoccupazioni è che le loro prestazioni dipendono fortemente da come i dati vengono generati in contesti specifici, in momenti specifici. Può essere difficile prevedere come questi modelli si comporteranno nel tempo in contesti reali, poiché la loro complessità può oscurare potenziali modalità di fallimento8. Attualmente, la FDA richiede che gli algoritmi non vengano modificati dopo l'approvazione, che descriviamo come "bloccata". Sebbene questa politica impedisca l'introduzione di aggiornamenti deleteri dei modelli, i modelli bloccati sono soggetti a un calo delle prestazioni nel tempo in ambienti altamente dinamici come quello sanitario. In effetti, molti hanno documentato il decadimento delle prestazioni del machine learning a causa del mix di casi di pazienti, dei modelli di pratica clinica, delle opzioni di trattamento e altro ancora9,10,11.

Per garantire l’affidabilità e l’efficacia a lungo termine degli algoritmi clinici basati su AI/ML, è fondamentale stabilire sistemi per il monitoraggio e la manutenzione regolari12,13,14. Sebbene l’importanza del monitoraggio e dell’aggiornamento continui sia stata riconosciuta in numerosi articoli recenti15,16,17, la maggior parte degli articoli fornisce dettagli limitati su come implementare tali sistemi. In effetti, il lavoro più simile potrebbe essere costituito da documenti recenti che documentano la creazione di sistemi ML pronti per la produzione presso le società Internet18,19. Tuttavia, il contesto sanitario differisce in quanto gli errori hanno ripercussioni più gravi, il numero di campioni è inferiore e i dati tendono ad essere più rumorosi.

In questo lavoro, esaminiamo gli sforzi esistenti di garanzia della qualità ospedaliera (QA) e di miglioramento della qualità (QI)20,21,22 come modello per la progettazione di iniziative simili per algoritmi di intelligenza artificiale clinica, a cui ci riferiamo come AI-QI. Tracciando paralleli con le pratiche cliniche standard di QI, mostriamo come strumenti consolidati di controllo statistico dei processi (SPC) possano essere applicati al monitoraggio di algoritmi clinici basati sull'intelligenza artificiale. Inoltre, descriviamo una serie di sfide uniche durante il monitoraggio degli algoritmi di intelligenza artificiale, tra cui la mancanza di dati di verità, la censura correlata al trattamento indotta dall’intelligenza artificiale e l’elevata dimensionalità dei dati. L’aggiornamento del modello è un compito del tutto nuovo, con molte opportunità per innovazioni tecniche. Descriviamo le considerazioni chiave e i compromessi nella scelta tra le procedure di aggiornamento del modello. Un’implementazione efficace dell’AI-QI richiederà una stretta collaborazione tra medici, amministratori ospedalieri, professionisti della tecnologia dell’informazione (IT), biostatistici, sviluppatori di modelli e agenzie di regolamentazione (Fig. 1). Infine, per fondare la nostra discussione, utilizzeremo l'esempio di un ipotetico sistema di allerta precoce basato sull'intelligenza artificiale per gli episodi ipotensivi acuti (AHE), ispirato all'Acumen Hypotension Prediction Index di Edwards approvato dalla FDA23.