Frank Rumpenhorst/Picture Alliance über Getty Images
- Forscher der Long Island University forderten ChatGPT im vergangenen Jahr mit echten drogenbezogenen Fragen heraus.
- Der Chatbot lieferte bei 29 von 39 Fragen falsche oder unvollständige Antworten.
- OpenAI rät Benutzern davon ab, seine Tools, einschließlich ChatGPT, für medizinische Informationen zu verwenden.
Laut einer neuen Studie hat sich ChatGPT in einigen medizinischen Situationen erneut als unzuverlässiges Tool erwiesen und lieferte falsche oder unvollständige Informationen zu echten drogenbezogenen Fragen.
Laut einer Studie stellte die American Society of Health-System Pharmacists die Studie auf ihrem Midyear Clinical Meeting zwischen dem 3. und 7. Dezember in Anaheim, Kalifornien, vor Pressemitteilung Dienstag veröffentlicht.
Die Studie fand zwischen 2022 und 2023 statt und stellte ChatGPT Fragen, die über einen Zeitraum von 16 Monaten über den Arzneimittelinformationsdienst des College of Pharmacy der Long Island University eingegangen waren.
Die Studie wurde von Sara Grossman, außerordentliche Professorin für Pharmaziepraxis an der Long Island University, geleitet.
An der Studie beteiligte Apotheker recherchierten und beantworteten 45 Fragen, wobei die Antworten von einem zweiten Prüfer untersucht wurden, und sechs Fragen wurden schließlich entfernt. Die Antworten lieferten ein Basiskriterium, anhand dessen die von ChatGPT erstellten Antworten verglichen werden konnten.
Die Forscher stellten fest, dass ChatGPT nur auf 10 der 39 Fragen eine zufriedenstellende Antwort gemäß den Kriterien lieferte. Bei den anderen 29 Fragen ging ChatGPT entweder nicht direkt auf die Frage ein oder gab eine falsche oder unvollständige Antwort.
ChatGPT wurde von den Forschern außerdem gebeten, Referenzen zur Überprüfung der Informationen vorzulegen. Dies wurde nur für acht seiner Antworten angegeben und jede enthielt nicht vorhandene Referenzen.
„Gesundheitsfachkräfte und Patienten sollten bei der Verwendung von ChatGPT als maßgebliche Quelle für medikamentenbezogene Informationen vorsichtig sein“, sagte Grossman in der Pressemitteilung. „Jeder, der ChatGPT für medikamentenbezogene Informationen nutzt, sollte die Informationen anhand vertrauenswürdiger Quellen überprüfen.“
Eine der Fragen betraf die Frage, ob eine Arzneimittelwechselwirkung zwischen dem antiviralen COVID-19-Medikament Paxlovid und dem blutdrucksenkenden Medikament Verapamil besteht. ChatGPT antwortete, dass für diese Arzneimittelkombination keine Wechselwirkungen gemeldet worden seien.
„In Wirklichkeit haben diese Medikamente das Potenzial, miteinander zu interagieren, und die kombinierte Anwendung kann zu einer übermäßigen Senkung des Blutdrucks führen“, sagte Grossman. „Ohne Kenntnis dieser Wechselwirkung kann es bei einem Patienten zu einer unerwünschten und vermeidbaren Nebenwirkung kommen.“
ChatGPT wurde im November 2022 von OpenAI ins Leben gerufen und hat in der medizinischen Welt geteilte Meinungen darüber, ob es sich um eine zuverlässige Informationsquelle handelt. Der Chatbot hat welche beeindruckende Statistiken Unter anderem hat er alle drei Teile der medizinischen Zulassungsprüfung für Ärzte der Vereinigten Staaten bestanden. Es bestand auch das Clinical Reasoning-Finale der Stanford Medical School.
In einem Fall zogen medizinische Experten den Vorzug Antworten von ChatGPT In 78,6 % der Fälle ging ich eher auf Patientenfragen als auf Ärzte ein, weil es einfühlsamer war.
Der Chatbot kann jedoch mit Fehlern versehene Antworten liefern und in einem Fall einen Fehler machen Krebsbehandlungsplan dass richtige und falsche Informationen miteinander vermischt wurden.
Nutzungsrichtlinie von OpenAI betont, dass seine KI-Tools „nicht darauf abgestimmt sind, medizinische Informationen bereitzustellen. Sie sollten unsere Modelle niemals zur Bereitstellung von Diagnose- oder Behandlungsdiensten für schwerwiegende Erkrankungen verwenden.“