Studie warnt vor zweifelhaften KI-Daten für medizinische Diagnosemodelle

Manche KI-Modelle zur Vorhersage von Schlaganfällen und dem Diabetes-Risiko beruhen auf Datensätzen, deren Ursprung sich nicht verifizieren lässt. Zu diesem Ergebnis kommt eine Studie der Queensland University of Technology und des Australian Center for Health Services Innovation.

Untersucht wurden zwei häufig heruntergeladene Gesundheitsdatensätze der Plattform Kaggle. Die Forscher warnen, dass deren fehlende Herkunftsnachweise die Zuverlässigkeit medizinischer KI-Modelle und klinischer Anwendungen infrage stellen.

In 125 Studien verwendet

Die beiden Datensätze wurden in 125 begutachteten wissenschaftlichen Studien verwendet, obwohl kaum Informationen über ihre Herkunft, die Datenerhebung oder die Echtheit der zugrunde liegenden Patientendaten vorlagen. Die Ergebnisse hätten das Forschungsteam um Alexander Gibson „schockiert“.

„Diese Datensätze verfügen über ungewöhnliche Muster, die ernste Fragen über ihre Authentizität und Eignung für die klinische Forschung aufwerfen“, erklärt Gibson. Die Ergebnisse wurden im Fachjournal „BMC Medicine“ veröffentlicht.

Drei auf diesen Datensätzen basierende Vorhersagemodelle waren bereits für den Einsatz in der klinischen Praxis vorgesehen. Eines davon wurde sogar in einem Patent für ein medizinisches Gerät erwähnt. Zudem wurden die Modelle in 86 Übersichtsarbeiten zitiert.

Datensätze nicht entfernbar

Für ihre Untersuchung bewerteten die Wissenschaftler die Datensätze anhand des international anerkannten „TRIPOD+AI Framework“. Dabei erfüllten sie keines der neun zentralen Kriterien zur Dokumentation der Datenherkunft.

Nach Einschätzung von Alexander Gibson sollten die Ergebnisse ein Warnsignal für wissenschaftliche Fachzeitschriften, Entwickler medizinischer KI-Systeme und Klinikärzte sein.

„Ohne vertrauenswürdige Daten sind die Ergebnisse unzuverlässig, riskieren eine Irreführung der Ärzte und schaden den Patienten.“ Die Forscher empfehlen deshalb, die beiden betroffenen Datensätze von Kaggle zu entfernen, um weiteren Missbrauch zu verhindern.

Bereits sieben wissenschaftliche Veröffentlichungen, die auf diesen Datensätzen basierten, wurden von Fachzeitschriften als unzuverlässig eingestuft und zurückgezogen.

 

Quelle: pressetext.redaktion/Moritz Bergmann
Bildquelle: Symbolbild © Father – Studio/Shutterstock.com