Jakub Porzycki/NurPhoto über Getty Images
- Laut einem KI-Manager können KI-Modelle, die sich zu viele Gedanken über Fehler machen, ihren Nutzen verlieren.
- Jared Kaplan von Anthropic argumentiert, dass gelegentliche Chatbot-Fehler ein notwendiger „Kompromiss“ für Benutzer seien.
- Der OpenAI-Konkurrent Anthropic setzt seine Marke auf die sichere, zuverlässige und ethische Entwicklung von KI.
Generative KI ist bekanntermaßen fehleranfällig. Aber ein KI-Manager meint, das sei vielleicht gar nicht so schlimm – vorerst.
Wenn Chatbots sich zu viele Sorgen um ihre eigene Fehlbarkeit machen, könnte das dazu führen, dass sie alle Informationen, die ihnen präsentiert werden, hinterfragen, sagte Jared Kaplan, Mitbegründer von Anthropic. beim CIO Network Summit des Wall Street Journal am Montag. Das, so meinte er, würde sie für die Nutzer sinnlos machen.
Gelegentliche „Halluzinationen“ – Fehler, die durch falsche Annahmen oder Programmiermängel verursacht werden – seien Teil des „Kompromisses“ für ein ansonsten nützliches KI-System, sagte Kaplan.
„Diese Systeme – wenn man ihnen beibringt, niemals zu halluzinieren – werden große Angst davor haben, Fehler zu machen, und sie werden zu allem sagen: ‚Ich kenne den Kontext nicht‘“, sagte er.
Wann ist es also akzeptabel, dass ein Chatbot auf eine Anfrage mit einer Antwort antwortet, von der er weiß, dass sie möglicherweise nicht 100 % korrekt ist? Kaplan sagte, das sei es, was Entwickler entscheiden müssten.
„Ein Stein halluziniert nicht, aber er ist nicht sehr nützlich“, sagte er. „Ich denke, dass du diese Grenze nicht erreichen willst.“
Das Endziel, sagte Kaplan, sei eine KI-Plattform mit „null“ Halluzinationen. Aber das ist leichter gesagt als getan.
„Ab und zu halluziniere ich auch“, sagte er. „Ich mache Fehler, wir alle machen Fehler.“
Der KI-Sektor kämpft immer noch damit, den Spagat zwischen Genauigkeit und Praktikabilität zu meistern. Letztes Jahr wurde die Gemini-KI von Google von Nutzern dafür kritisiert, dass sie auf einfache Fragen falsche Antworten gab. Gleichzeitig gaben Benutzer jedoch an, dass der Chatbot sich nicht zu kontroversen Themen äußerte, und forderten sie stattdessen auf, „die Google-Suche zu verwenden“.
Anthropic hat sich mit der Frage der Genauigkeit und Ethik in der generativen KI auseinandergesetzt. Anfang des Jahres berichtete BI, dass Forscher des Unternehmens im Rahmen einer Studie KI-Modelle entworfen hätten, die Menschen absichtlich anlügen würden. Die Studie ergab, dass zum Lügen trainierte Modelle Prüfer täuschen und Sicherheitsprogramme bestehen können.
Kaplan gründete Anthropic zusammen mit anderen ehemaligen Mitarbeitern von OpenAI, dem Unternehmen, das ChatGPT entwickelt hat. Es bezeichnet sich selbst als „KI-Sicherheits- und Forschungsunternehmen“ und gibt an, dass es sich um KI-Entwicklung handelt legt Wert auf ethische Werte und Sicherheitsbedenken.