Eine deutsch-österreichische Studie hat die Leistungsfähigkeit von ChatGPT-3.5 bei der Erstbewertung akuter urologischer Symptome untersucht. Dabei zeigte die KI in der Mehrheit der Fälle vielversprechende Ergebnisse, offenbarte jedoch auch Schwächen bei Transparenz und Risikobewertung. Die Ergebnisse wurden in der Fachzeitschrift European Urology Open Science veröffentlicht.
KI als wichtige Informationsquelle für Patienten
Viele Menschen suchen bei gesundheitlichen Beschwerden zunächst online nach Informationen. Studien zufolge informieren sich bis zu 75 Prozent der Patient:innen im Internet, bevor sie eine:n Ärzt:in konsultieren. Die Unsicherheit bei der Einordnung von Symptomen erschwert jedoch oft eine rechtzeitige medizinische Abklärung. In diesem Zusammenhang könnte generative KI, wie ChatGPT-3.5 von OpenAI, eine wichtige Rolle spielen.
Die Studie, durchgeführt von Urolog:innen mehrerer Universitätskliniken, darunter die MedUni Graz, bewertete die Eignung der KI für eine erste Triage bei akuten urologischen Symptomen. Ziel war es, die Genauigkeit und Qualität der von ChatGPT bereitgestellten Informationen zu beurteilen. Untersucht wurden dabei typische Symptomkomplexe wie Hodenschmerzen, verfärbter Harn, Anzeichen einer Harnwegsinfektion, kolikartige Schmerzen und Priapismus (eine länger als drei Stunden anhaltende Erektion).
Vorgehen der Untersuchung
Die Grundlage der Studie bildeten 472 Anfragen, die auf der Basis von Beschreibungen aus Patientenforen formuliert wurden. Neun Urologen gaben diese Beschreibungen unabhängig voneinander in ChatGPT-3.5 ein. Die Antworten der KI wurden anschließend mit den Leitlinien des Europäischen Urologie-Verbandes (EAU) abgeglichen und anhand eines standardisierten Fragebogens sowie einer linguistischen Analyse bewertet. Die Ergebnisse wurden auf einer Skala von 1 bis 5 eingestuft.
Ergebnisse: Hohe Genauigkeit, aber Schwächen in der Transparenz
Die mittleren Bewertungen lagen bei 4 von 5 Punkten für die vorgeschlagene Differenzialdiagnose und empfohlene Vorgehensweise. Die allgemeine Informationsqualität wurde mit 3 von 5 Punkten etwas niedriger bewertet. Besonders positiv schnitten die englischen Antworten ab, die bei Diagnosen (4,27 Punkte) und Empfehlungen (4,27 Punkte) besser bewertet wurden als die deutschsprachigen Ergebnisse (Diagnosen: 3,95 Punkte, Empfehlungen: 4,05 Punkte).
Es zeigte sich kein Leistungsunterschied zwischen dringenden und weniger dringenden Fällen. Kritisiert wurden jedoch die fehlende Transparenz der KI, insbesondere bei der Quellenangabe, sowie Defizite in der Risikobewertung und der Berücksichtigung von Fragen der Lebensqualität.
Fazit: Potenzial als Triage-System, aber Verbesserungen notwendig
Die Studie kommt zu dem Schluss, dass ChatGPT-3.5 als KI-gestütztes Triage-System Potenzial hat, da es eine umfassende Liste möglicher Diagnosen liefert und Empfehlungen gibt, die weitgehend mit den EAU-Leitlinien übereinstimmen. Positiv hervorgehoben wird zudem, dass ChatGPT auf eine große Datenbasis zugreifen kann, während Laien bei eigenständiger Recherche oft auf unzuverlässige Quellen stoßen.
Gleichzeitig weisen die Wissenschaftler auf Verbesserungsbedarf hin. Mängel in der Informationsqualität, insbesondere bei der Risikobewertung und Transparenz, schmälern die Zuverlässigkeit. Auch kulturelle Unterschiede wurden sichtbar: So empfahl die KI, unabhängig vom Versicherungsschutz einen Arzt aufzusuchen – ein Hinweis, der nicht in jedem Land gleichermaßen relevant ist.
Zusammenfassend sehen die Forscher in ChatGPT-3.5 ein nützliches Tool für die erste Orientierung bei akuten urologischen Beschwerden. Um die KI als zuverlässigen Partner im Gesundheitswesen zu etablieren, sind jedoch weitere Optimierungen erforderlich.