SOPA-Bilder / Mitwirkender/ SOPA-Bilder / Mitwirkender
- Google hat diese Woche Gemini vorgestellt, seinen Rivalen zu OpenAIs GPT-4.
- Laut Google übertrifft Gemini GPT-4 in Mathematik, Codierung und Fachkenntnissen auf seiner höchsten Stufe.
- Google gibt außerdem an, dass es das erste Modell sei, das Experten auf menschlicher Ebene in einem Test von 57 Fachgebieten zusammenbringt.
Diese Woche, Google hat Gemini vorgestellt, was bereits wie ein beängstigend intelligenter Rivale zu OpenAIs GPT-4 aussieht.
Gemini besteht aus drei verschiedenen Modellen, die sich in Größe und Leistungsfähigkeit unterscheiden. Sein fortschrittlichstes Modell, Gemini Ultra – das noch nicht für die Öffentlichkeit erhältlich ist, aber laut Google für „hochkomplexe Aufgaben“ konzipiert ist – überlistet es GPT-4 in mehreren Bereichen, von Kenntnissen in Themen wie Geschichte und Recht über die Generierung von Code in Python bis hin zu Aufgaben, die mehrstufiges Denken erfordern, sagte Google in seinem Bekanntmachung.
Google hat das gesagt Gemini übertraf GPT-4 beim Massive Multitask Language Understanding Test (MMLU), einer der beliebtesten Methoden zur Messung des Wissens und der Problemlösungsfähigkeiten von KI-Modellen.
Man könnte es mit den „SATs für KI-Modelle“ von Kevin Roose vergleichen sagte im Tech-Podcast Hard Fork der New York Times. Die MMLU ist jedoch etwas fortgeschrittener als eine typische College-Vorbereitungsprüfung. Es umfasst 57 Fächer, darunter Mathematik, Physik, Geschichte, Recht, Medizin und Ethik, um sowohl Weltwissen als auch Problemlösungsfähigkeiten zu testen, so die Ankündigung von Google.
Laut Google erreichte Gemini Ultra 90 % beim MMLU, während GPT-4 86,4 % erreichte.
Aber die beeindruckendere Leistung von Gemini Ultra könnte sein, dass es auch das erste Modell ist, das menschliche Experten im MMLU übertrifft. Menschliche Experten erreichten etwa 89,8 %, sagte Google in einer technischen Stellungnahme Bericht auf Zwillinge.
„Ich denke, wenn man zwei oder drei Jahre zurückgegangen wäre und den KI-Forschern gesagt hätte, dass Google ein Modell haben wird, das 90 Prozent der MMLU erreicht, das besser ist als der Benchmark-Schwellenwert für menschliche Experten, hätten sie gesagt, nun ja „Das ist AGI“, sagte Roose. AGI oder künstliche allgemeine Intelligenzist eine hypothetische Form künstlicher Intelligenz, die komplexe menschliche Fähigkeiten wie gesunden Menschenverstand und Bewusstsein verarbeiten kann.
Laut Google hat GPT-4 Gemini Ultra in einer Bewertung des gesunden Menschenverstandes bei alltäglichen Aufgaben um mehrere Prozentpunkte übertroffen.
Ein Vorteil von Gemini gegenüber anderen Modellen besteht jedoch laut Google darin, dass es von Grund auf multimodal ist, was bedeutet, dass es von Grund auf für die Verarbeitung verschiedener Datentypen konzipiert wurde, von Text über Audio und Code bis hin zu Bildern und Videos. Andere multimodale Modelle seien dadurch entstanden, dass reine Text-, reine Bild- und reine Audiomodelle auf „suboptimale Weise“ „zusammengefügt“ worden seien, sagte Oriol Vinyals, Vizepräsident für Forschung bei Googles DeepMind, in einem Video, in dem Gemini angekündigt wurde.
Daher sagt Google, dass das Design von Gemini es ihm ermöglicht, Eingaben besser zu verstehen als bestehende multimodale Modelle. Das sagen auch Forscher hinter dem SemiAnalysis-Blog Gemini wird GPT-4 wahrscheinlich „zerschlagen“. aus purer Rechenleistung.
Obwohl Gemini Ultra sicherlich große Erwartungen an seine Einführung geknüpft hat, ist sich die Jury noch nicht sicher, wie sich das Trio der Gemini-Modelle gegen OpenAI schlagen wird, das bei der Verbraucherbekanntheit bereits einen Vorteil hat.
Früh Reaktionen auf den weniger fortschrittlichen Gemini Pro, die über Googles Chatbot Bard zugänglich ist, waren positiv. Allerdings hatte das Modell auch Probleme mit der Genauigkeit und Halluzinationen. Es hat den Leuten sogar gesagt, dass sie es tun sollen Für Antworten auf kontroverse Fragen greifen Sie auf Google zurück.
Google und OpenAI antworteten nicht auf eine Bitte um einen Kommentar von Business Insider.