Nuovo modello di IA multimodale per prevedere l’evoluzione clinica dei pazienti integrando informazioni eterogenee
Pubblicazione di un nuovo e significativo risultato scientifico nel campo dell’Intelligenza Artificiale applicata alla sanità: il gruppo di ricerca KDDE – Knowledge Discovery and Data Engineering, afferente al Dipartimento di Informatica di UniBa ha contribuito allo sviluppo di MEDUSA, un innovativo modello di multimodal predictive process monitoring progettato per prevedere l’evoluzione clinica dei pazienti integrando informazioni eterogenee.
Lo studio, dal titolo “Multimodal predictive process monitoring and its application to explainable clinical pathways”, è stato pubblicato sulla rivista internazionale Information Systems (Volume 139, July 2026), classificata Q1 nell’area Computer Science, ed è disponibile in modalità Open Access.
Il lavoro è stato svolto in collaborazione con ricercatori della Free University of Bozen Bolzano e dello NVIDIA AI Technology Center, Santa Clara, California e rientra nelle attività di ricerca sviluppate nell’ambito del progetto PNRR FAIR – Future Artificial Intelligence Research e progetto PRIN REPA - aRtificial intElligence for Process Analytics.
Il lavoro presenta MEDUSA, un modello avanzato di Intelligenza Artificiale capace di combinare in modo integrato:
• immagini radiologiche
• cartelle cliniche elettroniche (EHR)
• note cliniche testuali con l’obiettivo di anticipare possibili esiti clinici durante il percorso di cura del paziente.
L'approccio multimodale consente di analizzare diverse fonti di dati simultaneamente, migliorando la capacità di identificare pattern e correlazioni che potrebbero non essere evidenti se si considerassero i dati in modo isolato.
Questo potrebbe portare a decisioni cliniche più informate e a un miglioramento della qualità delle cure. La sperimentazione è stata condotta su un dataset reale relativo a pazienti COVID 19, con lo scopo di prevedere il rischio di mortalità fino al momento dell’acquisizione di una specifica immagine radiologica.Il modello utilizza tecniche di Intelligenza Artificiale spiegabile (Explainable AI, XAI) che permettono di capire come e perché l’algoritmo arriva a una certa previsione.
Il modello MEDUSA prende il nome dalla figura mitologica greca nota per i serpenti che formavano la sua chioma. In modo analogo, ogni “serpente” del framework rappresenta una diversa tipologia di dato clinico: immagini radiologiche, cartelle cliniche elettroniche o note testuali. Singolarmente, ciascuna di queste modalità fornisce solo una parte delle informazioni; integrate insieme, permettono al modello di ottenere una visione più completa del paziente e di migliorare significativamente la qualità delle previsioni.
Questo studio avanza lo stato dell’arte dell’IA multimodale applicata alla sanità, introduce un approccio innovativo per il monitoraggio, predittivo dei percorsi clinici, dimostra come dati clinici eterogenei possano essere armonizzati per supportare le decisioni mediche e promuove lo sviluppo di sistemi di IA affidabili, trasparenti e spiegabili Il risultato conferma il ruolo dell’Università di Bari nel panorama internazionale della ricerca in intelligenza artificiale, process mining, data science e applicazioni mediche dell’AI.
L’immagine mostra come MEDUSA unisca tre fonti di informazioni cliniche — la cartella clinica elettronica, la narrazione testuale del percorso del paziente e la radiografia del torace — per ottenere una visione completa e integrata dello stato di salute.
Questa combinazione multimodale permette al modello di Intelligenza Artificiale di cogliere segnali clinici complementari e produrre previsioni più accurate e spiegabili a supporto delle decisioni mediche.