Event-Rückblick: «Shape responsible clinical AI»
Die DSI Communities AI & Law, Ethics und Health haben kürzlich gemeinsam ein Expertenpanel organisiert, das beleuchtet, warum KI-Tools im Gesundheitswesen ihr technisches Potenzial so selten in echten klinischen Mehrwert übersetzen. Diskutiert wurden die Bedingungen, unter denen KI medizinisches Fachpersonal wirklich unterstützen kann – von Vertrauen und Rechenschaftspflicht über Workflow-Integration bis hin zu den Grenzen von Trainingsdaten.
Am 8. Mai kamen auf Einladung der DSI Communities AI & Law, Ethics und Health Kliniker:innen, Forschende und Branchenexpert:innen zusammen, um in einem Expertenpanel zentrale Herausforderungen beim Einsatz von KI im Gesundheitswesen zu diskutieren. Als Panellist:innen nahmen Dr. Tariq Andersen (Assoziierter Professor, Universität Kopenhagen), Dr. Afua van Haasteren (Direktorin für Gesundheitspolitik und externe Angelegenheiten, Roche Diagnostics), Dr. David Sasu (Technologiedirektor, LIGHT Lab und EPFL SwissAI Fellow), Dr. Daphné Chopard (KI-Forschungsleitung, ICU-Forschungsgruppe, Universitäts-Kinderspital Zürich) und Dr. Sintieh Ekongefeyin (Arzt, Forschender und Teilnehmer im DSI Excellence Program, Universität Zürich) teil; die Moderation übernahmen Gabriela Morgenshtern (Doktorandin, Universität Zürich) und Dr. Andrea Farnham (Digital Epidemiologin, Universität Zürich).
Ein wiederkehrendes Thema war, dass KI-Entwicklung zu oft bei der Technologie ansetzt statt beim klinischen Problem. Die Panellist:innen hinterfragten die Annahme, dass ein ausgefeiltes Tool automatisch nützlich ist: KI im Gesundheitswesen müsse daran gemessen werden, ob sie ein reales Problem löst, in klinische Arbeitsabläufe passt und die Ergebnisse für Patient:innen und Fachpersonal verbessert.
Als eine der zentralen Fragen erwies sich die des Vertrauens. Im Gesundheitswesen kann selbst ein hochperformantes Modell schwer akzeptierbar sein, wenn Kliniker:innen es weder nachvollziehen noch sich darauf verlassen können. Eine aus technischer Sicht beeindruckende Genauigkeitsrate kann in der klinischen Praxis dennoch inakzeptabel sein – dort, wo die verbleibende Fehlermarge Patientenschäden, Haftungsfragen und professionelle Verantwortung betrifft. Betont wurde auch: Ärzt:innen fürchten nicht primär, durch KI ersetzt zu werden, sondern fragen, wer die Verantwortung trägt, wenn KI-gestützte Entscheidungen schiefgehen.
Ein weiterer zentraler Punkt war der Kontext. Dasselbe KI-Tool kann in einem Setting hilfreich und in einem anderen störend sein. Eine Funktion, die Kliniker:innen in einem kleinen, ressourcenarmen Spital unterstützt, kann Spezialist:innen in einem grossen Universitätsspital verwirren. Gleichermassen können Tools, die infrastrukturelle Gegebenheiten, Internetverfügbarkeit, lokale Ressourcen oder die Realität der Patient:innen ausblenden, trotz solider technischer Grundlage scheitern. Ein diskutiertes Beispiel war ein Gesundheitsberatungstool, das Lebensmittel empfahl, die in den Zielregionen gar nicht erhältlich waren – ein Beleg dafür, dass Nützlichkeit genauso vom Umfeld abhängt wie von der technischen Güte.
Das Panel nannte Grenzen von Daten und Generalisierbarkeit. KI-Modelle, die in einem bestimmten Spital, einer Population oder Altersgruppe trainiert wurden, funktionieren anderswo oft nicht. Klinische Praxis variiert stark nach Institution, Region und Patientengruppe, was dazu führen kann, dass Modelle lokale Annahmen reproduzieren statt universelles medizinisches Wissen. Das warf umfassendere Fragen zu Bias, grenzüberschreitender Datennutzung und der Notwendigkeit regulatorischer Rahmenbedingungen auf, die gleichzeitig Patientenschutz und verantwortungsvolle Innovation ermöglichen.
Ein abschliessender Gedanke galt der Zusammenarbeit zwischen Entwickler:innen, Kliniker:innen, Institutionen und Patient:innen. Als vielversprechendster Ansatz wurde nicht die isolierte Entwicklung von KI mit anschliessender Implementierung im Gesundheitswesen bezeichnet, sondern die frühzeitige Einbindung von Kliniker:innen, das Testen in realen Arbeitsabläufen und die Anpassung an lokale Bedürfnisse. Statt medizinische Expertise zu ersetzen, wurde KI als Form der Augmentierung eingeordnet: potenziell nützlich, wenn sie Kliniker:innen hilft, Informationen zu verarbeiten, effizienter zu arbeiten und mehr Zeit mit Patient:innen zu verbringen – aber nur, wenn sie vertrauenswürdig, kontextsensitiv und sorgfältig in das Gesundheitssystem integriert ist.
Ein grosses Dankeschön an alle Panellist:innen und die Moderatorinnen für ihre Beiträge sowie an die DSI Communities Health, Ethics und AI & Law für die Organisation dieses Events. Weitere Informationen zum CITL-Projekt (Clinician-in-the-Loop AI & Clinical Uncertainty) finden sich auf der Projektwebsite.