NurPhoto/Getty Images
- Ein digitales Unternehmen für psychische Gesundheit zieht Ärger auf sich, weil es die GPT-3-Technologie verwendet, ohne die Benutzer zu informieren.
- Koko-Mitbegründer Robert Morris sagte gegenüber Insider, dass das Experiment aufgrund der Art des Tests vom Gesetz zur Einwilligung nach Aufklärung „ausgenommen“ sei.
- Einige Mediziner und Techniker gaben an, dass sie das Experiment für unethisch hielten.
Während sich die Anwendungsfälle von ChatGPT erweitern, nutzt ein Unternehmen die künstliche Intelligenz, um mit der digitalen psychischen Gesundheitsfürsorge zu experimentieren und Licht auf ethische Grauzonen rund um den Einsatz der Technologie zu werfen.
Rob Morris – Mitbegründer von Koko, einem kostenlosen psychiatrischen Dienst und einer gemeinnützigen Organisation, die mit Online-Communities zusammenarbeitet, um gefährdete Personen zu finden und zu behandeln – schrieb in a Twitter-Thread am Freitag, dass sein Unternehmen GPT-3-Chatbots verwendet, um Antworten für 4.000 Benutzer zu entwickeln.
Morris sagte in dem Thread, dass das Unternehmen einen „Co-Pilot-Ansatz mit Menschen, die die KI nach Bedarf überwachen“ in Nachrichten getestet habe, die über Koko Peer Support gesendet wurden, eine Plattform, die er in einem Begleittext beschrieb Videoals “ein Ort, an dem Sie Hilfe von unserem Netzwerk erhalten oder jemand anderem helfen können.”
„Wir machen es sehr einfach, anderen Menschen zu helfen, und mit GPT-3 machen wir es noch einfacher, als Hilfeanbieter effizienter und effektiver zu sein“, sagte Morris in dem Video.
ChatGPT ist eine Variante von GPT-3, die menschenähnlichen Text basierend auf Eingabeaufforderungen erstellt, die beide von OpenAI erstellt wurden.
Koko-Benutzer wurden zunächst nicht darüber informiert, dass die Antworten von einem Bot entwickelt wurden, und „als die Leute erfuhren, dass die Nachrichten von einer Maschine miterstellt wurden, funktionierte es nicht“, schrieb Morris am Freitag.
„Simulierte Empathie fühlt sich komisch und leer an. Maschinen haben keine gelebte, menschliche Erfahrung. Wenn sie also sagen ‚das klingt hart‘ oder ‚ich verstehe‘, klingt es unauthentisch“, schrieb Morris in dem Thread. “Eine Chatbot-Antwort, die in 3 Sekunden generiert wird, fühlt sich, egal wie elegant, irgendwie billig an.”
Allerdings am Samstag, Morris hat getwittert “Einige wichtige Klarstellung.”
„Wir haben Leute nicht ohne ihr Wissen zusammengebracht, um mit GPT-3 zu chatten. (Im Nachhinein hätte ich meinen ersten Tweet formulieren können, um dies besser widerzuspiegeln)“, heißt es in dem Tweet.
„Dieses Feature war Opt-in. Jeder wusste von dem Feature, als es für ein paar Tage live war.“
Morris sagte am Freitag, dass Koko „das ziemlich schnell von unserer Plattform genommen hat“. Er stellte fest, dass KI-basierte Nachrichten „wesentlich höher bewertet wurden als die von Menschen selbst geschriebenen“, und dass die Antwortzeiten dank der Technologie um 50 % verkürzt wurden.
Ethische und rechtliche Bedenken
Das Experiment führte zu einem Aufschrei auf Twitter, wobei einige Fachleute des öffentlichen Gesundheitswesens und der Technik das Unternehmen wegen Behauptungen anprangerten, gegen die es verstoßen hatte Einwilligungsgesetzeine Bundesrichtlinie, die vorschreibt, dass Versuchspersonen vor der Beteiligung an Forschungszwecken ihre Zustimmung geben müssen.
„Das ist zutiefst unethisch“, sagt Medienstratege und Autor Eric Seufert am Samstag getwittert.
„Wow, das würde ich nicht öffentlich zugeben“, sagt Christian Hesketh, der sich auf Twitter als Clinical Scientist bezeichnet. hat am Freitag getwittert. „Die Teilnehmer hätten ihre informierte Zustimmung geben müssen und dies hätte einen IRB durchlaufen müssen [institutional review board].”
In einer Erklärung gegenüber Insider am Samstag sagte Morris, dass das Unternehmen „keine Personen zum Chatten mit GPT-3 zusammenbringen“ und sagte, dass die Option zur Verwendung der Technologie entfernt wurde, nachdem festgestellt wurde, dass sie sich „wie eine unauthentische Erfahrung anfühlte“.
„Vielmehr haben wir unseren Peer-Unterstützern die Möglichkeit geboten, GPT-3 zu verwenden, um ihnen zu helfen, bessere Antworten zu verfassen“, sagte er. „Sie erhielten Vorschläge, die ihnen dabei helfen sollten, schneller unterstützende Antworten zu schreiben.“
Morris sagte gegenüber Insider, dass die Studie von Kokos vom Gesetz zur Einwilligung nach Aufklärung „ausgenommen“ sei, und wurde zitiert zuvor veröffentlichte Forschungdurch das ebenfalls befreite Unternehmen.
„Jeder Einzelne muss der Nutzung des Dienstes zustimmen“, sagte Morris. „Wenn dies eine Universitätsstudie wäre (was nicht der Fall ist, es war nur eine untersuchte Produktfunktion), würde dies unter eine ‚befreite‘ Forschungskategorie fallen.“
Er fuhr fort: „Dies bedeutete kein weiteres Risiko für Benutzer, keine Täuschung, und wir sammeln keine persönlich identifizierbaren Informationen oder persönlichen Gesundheitsinformationen (keine E-Mail, Telefonnummer, IP, Benutzername usw.).“
Beatriz Vera/EyeEm/Getty Images
ChatGPT und die Grauzone der psychischen Gesundheit
Dennoch wirft das Experiment Fragen zur Ethik und zu den Grauzonen rund um den Einsatz von KI-Chatbots im Gesundheitswesen insgesamt auf, nachdem es bereits zu Unruhen in der Wissenschaft geführt hat.
Arthur Caplan, Professor für Bioethik an der Grossman School of Medicine der New York University, schrieb in einer E-Mail an Insider, dass die Verwendung von KI-Technologie, ohne die Benutzer zu informieren, „grob unethisch“ sei.
„Die ChatGPT-Intervention ist keine Standardbehandlung“, sagte Caplan gegenüber Insider. “Keine psychiatrische oder psychologische Gruppe hat ihre Wirksamkeit überprüft oder potenzielle Risiken aufgezeigt.”
Er fügte hinzu, dass Menschen mit psychischen Erkrankungen „besondere Sensibilität in jedem Experiment erfordern“, einschließlich „einer genauen Überprüfung durch eine Forschungsethikkommission oder ein institutionelles Prüfungsgremium vor, während und nach der Intervention“.
Caplan sagte, dass der Einsatz der GPT-3-Technologie auf diese Weise seine Zukunft in der Gesundheitsbranche auf breiterer Ebene beeinflussen könnte.
„ChatGPT könnte eine Zukunft haben, ebenso wie viele KI-Programme wie Roboterchirurgie“, sagte er. „Aber was hier passiert ist, kann diese Zukunft nur verzögern und erschweren.“
Morris sagte Insider, seine Absicht sei es, „die Bedeutung des Menschen in der Diskussion zwischen Mensch und KI zu betonen“.
„Ich hoffe, das geht hier nicht verloren“, sagte er.