Jack Guez/Getty
- Das Superalignment-Team von OpenAI wurde im Juli 2023 gegründet, um KI-Risiken wie „untreues“ Verhalten zu mindern.
- Berichten zufolge hat OpenAI sein Superalignment-Team aufgelöst, nachdem seine Co-Leiter zurückgetreten waren.
- Einer der ehemaligen Führungskräfte kritisierte in einem Beitrag auf X den Fokus von OpenAI auf „glänzende“ Produkte statt auf Sicherheit.
In derselben Woche, in der OpenAI GPT-4o, seine bisher menschenähnlichste KI, auf den Markt brachte, löste das Unternehmen sein Superalignment-Team auf, zunächst Wired gemeldet.
OpenAI gründete im Juli 2023 sein Superalignment-Team unter der gemeinsamen Leitung von Ilya Sutskever und Jan Leike. Das Team widmete sich der Minderung von KI-Risiken, beispielsweise der Möglichkeit, dass sie „abtrünnig“ wird.
Berichten zufolge löste sich das Team wenige Tage nachdem seine Anführer Ilya Sutskever und Jan Leike Anfang dieser Woche ihren Rücktritt angekündigt hatten, auf. Sutskever sagte in seinem Beitrag, er sei „zuversichtlich, dass OpenAI unter der derzeitigen Führung eine AGI entwickeln wird, die sowohl sicher als auch nützlich ist“.
Er fügte außerdem hinzu, dass er „gespannt auf das ist, was als nächstes kommt“, was er als „Projekt, das für ihn von großer persönlicher Bedeutung ist“ beschrieb. Der ehemalige OpenAI-Manager hat nicht näher darauf eingegangen, sagte aber, dass er rechtzeitig Details mitteilen werde.
Sutskever, Mitbegründer und ehemaliger Chefwissenschaftler von OpenAI, sorgte für Schlagzeilen, als er seinen Rücktritt ankündigte. Die Führungskraft spielte eine Rolle bei der Absetzung von CEO Sam Altman im November. Obwohl er später sein Bedauern zum Ausdruck brachte, zu Altmans Absetzung beigetragen zu haben, war Sutskevers Zukunft bei OpenAI seit Altmans Wiedereinstellung fraglich.
Nach Sutskevers Ankündigung veröffentlichte Leike auf X, ehemals Twitter, dass er auch OpenAI verlassen würde. Der frühere Geschäftsführer veröffentlichte am Freitag eine Reihe von Beiträgen, in denen er seinen Rücktritt begründete, der seiner Meinung nach erfolgte, nachdem es „eine ganze Weile“ Meinungsverschiedenheiten über die Kernprioritäten des Unternehmens gegeben hatte.
Leike sagte, sein Team sei „gegen den Wind gesegelt“ und habe Schwierigkeiten, Rechenleistung für seine Forschung zu bekommen. Die Mission des Superalignment-Teams bestand darin, in den nächsten vier Jahren 20 % der Rechenleistung von OpenAI zu nutzen, um „einen automatisierten Alignment-Forscher auf ungefähr menschlicher Ebene aufzubauen“. nach zur Ankündigung des Teams durch OpenAI im vergangenen Juli.
Leike hinzugefügt „OpenAI muss ein sicherheitsorientiertes AGI-Unternehmen werden.“ Er sagte, der Aufbau generativer KI sei „ein von Natur aus gefährliches Unterfangen“ und OpenAI sei mehr auf die Veröffentlichung „glänzender Produkte“ als auf Sicherheit bedacht.
Jan Leike reagierte nicht auf eine Bitte um Stellungnahme.
Das Ziel des Superalignment-Teams bestand darin, „die zentralen technischen Herausforderungen der Superintelligenzausrichtung in vier Jahren zu lösen“, ein Ziel, das das Unternehmen als „unglaublich ehrgeizig“ einräumte. Sie fügten außerdem hinzu, dass ihnen der Erfolg nicht garantiert sei.
Zu den Risiken, an denen das Team arbeitete, gehörten „Missbrauch, wirtschaftliche Störungen, Desinformation, Voreingenommenheit und Diskriminierung, Sucht und übermäßiges Vertrauen“. Das Unternehmen sagte in seinem Beitrag, dass die Arbeit des neuen Teams eine Ergänzung zu den bestehenden Arbeiten bei OpenAI sei, die darauf abzielen, die Sicherheit aktueller Modelle wie ChatGPT zu verbessern.
Einige der verbleibenden Teammitglieder wurden in andere OpenAI-Teams aufgenommen, berichtete Wired.
OpenAI antwortete nicht auf eine Anfrage nach einem Kommentar.