LLetzte Woche kündigte Meta LLaMA an, seinen neuesten Versuch, ein „Large Language Model“* im GPT-Stil zu erstellen. Wenn KI die Zukunft der Technologie ist, dann müssen große Technologieunternehmen ihre eigenen Modelle kontrollieren oder von der Konkurrenz abgehängt werden. LLaMA schließt sich OpenAIs GPT (von Microsoft für Bing lizenziert und untermauert OpenAIs eigenen ChatGPT) und Googles LaMDA (das Bard, seinen ChatGPT-Rivalen, antreiben wird) in den oberen Rängen des Feldes an.
Das Ziel von Meta war nicht einfach, GPT zu replizieren. Es heißt, dass LLaMA ein „kleineres, leistungsfähigeres Modell“ als seine Mitbewerber ist, das entwickelt wurde, um die gleichen Meisterleistungen des Verständnisses und der Artikulation mit einem geringeren Platzbedarf in Bezug auf die Rechenleistung* zu erreichen, und hat daher eine entsprechend geringere Auswirkung auf die Umwelt. (Die Tatsache, dass es billiger zu betreiben ist, schadet auch nicht.)
Aber das Unternehmen versuchte sich auch auf andere Weise zu differenzieren, indem es LLaMA „offen“ machte und implizit darauf hinwies, dass „OpenAI“ trotz seines Brandings alles andere als das ist. Von seiner Ankündigung:
Trotz all der jüngsten Fortschritte bei großen Sprachmodellen bleibt der vollständige Forschungszugang zu ihnen aufgrund der Ressourcen, die zum Trainieren und Ausführen solch großer Modelle erforderlich sind, begrenzt. Dieser eingeschränkte Zugang hat die Fähigkeit der Forscher eingeschränkt, zu verstehen, wie und warum diese großen Sprachmodelle funktionieren, und behindert den Fortschritt bei den Bemühungen, ihre Robustheit zu verbessern und bekannte Probleme wie Voreingenommenheit, Toxizität und das Potenzial zur Erzeugung von Fehlinformationen zu mindern.
Durch die gemeinsame Nutzung des Codes für LLaMA können andere Forscher neue Ansätze zur Begrenzung oder Eliminierung dieser Probleme in großen Sprachmodellen einfacher testen.
Durch die Veröffentlichung von LLaMA für Forscher hat Meta eine der wichtigsten Grenzen der akademischen KI-Forschung beseitigt: die enormen Kosten für die Ausbildung eines LLM*. Vor drei Jahren kostete jeder Trainingslauf von GPT-3 schätzungsweise zwischen 10 und 12 Millionen US-Dollar. (OpenAI hat nicht die tatsächlichen Kosten offengelegt, sondern nur die Menge an Rechenleistung, die für einen einzelnen Lauf verwendet wurde; es hat auch nicht offengelegt, wie viele Läufe nötig waren, um es richtig zu machen, angesichts der Trial-and-Error-Natur des Feldes.) Der Preis ist seitdem nur gestiegen, und indem Meta LLaMA für Forscher freigibt, können sie Millionen sparen – oder, realistischer, die Aussicht auf Grundlagenforschung insgesamt eröffnen.
Durch die Konzentration auf Effizienz hat das Unternehmen den Betrieb des Systems ebenfalls kostengünstiger gemacht. Das fortschrittlichste LLaMA-Modell hat 65 Milliarden „Parameter“ (eine Art, aber nicht ganz die Anzahl der Verbindungslinien im riesigen neuronalen Netzwerk * in seinem Herzen), kaum ein Drittel der Größe des dicksten Jungen von GPT-3, aber Meta sagt das zwei sind in ihrer Leistungsfähigkeit ungefähr gleichwertig. Diese abgespeckte Größe bedeutet, dass LLaMA sogar auf viel billigeren Systemen laufen kann ein Desktop-Computer – wenn Sie eisige Bearbeitungszeiten vertragen.
Aber Metas Großzügigkeit war nicht grenzenlos. „Um die Integrität zu wahren und Missbrauch zu verhindern … wird der Zugriff auf das Modell von Fall zu Fall gewährt“, sagte das Unternehmen. Anfänglich wurde es dafür kritisiert, wie es diese Fälle entschieden hat, mit Vorwürfen einer westlichen Voreingenommenheit gegenüber denjenigen, die als berechtigt gelten.
*Sind irgendwelche dieser Begriffe noch verwirrend? Sehen Sie sich das KI-Glossar der letzten Woche an.
Undichtes LLaMA
Aber diese Kritik wurde am Wochenende hinfällig, als das gesamte Modell für jeden zum Herunterladen durchgesickert war. Ursprünglich auf 4Chan gepostet, gelangte ein Link zum BitTorrent-Spiegel von LLaMA schließlich zu GitHub, wo ein frecher Benutzer eine offiziell aussehende Notiz hinzufügte, die andere aufforderte, diesen Link zu verwenden, „um unsere Bandbreite zu sparen“.
Es ist noch zu früh, um zu sagen, welche Auswirkungen das Leck haben wird. Das Modell in seiner jetzigen Form ist für niemanden ohne ernsthafte technische Fähigkeiten und einen extrem robusten Computer oder die Bereitschaft, ein paar hundert Pfund für Cloud-Speicherrechnungen zu verbrennen, unbrauchbar. Ebenfalls unklar ist, wie Metas Antwort sein wird. „Es ist das Ziel von Meta, hochmoderne KI-Modelle mit Mitgliedern der Forschungsgemeinschaft zu teilen, um uns bei der Bewertung und Verbesserung dieser Modelle zu helfen“, sagte ein Meta-Sprecher. „LLaMA wurde zu Forschungszwecken geteilt, im Einklang mit der Art und Weise, wie wir frühere große Sprachmodelle geteilt haben. Obwohl das Modell nicht für alle zugänglich ist und einige versucht haben, den Genehmigungsprozess zu umgehen, glauben wir, dass die aktuelle Veröffentlichungsstrategie es uns ermöglicht, Verantwortung und Offenheit in Einklang zu bringen.“
Das lässt vieles ungesagt. Wird es Anwälte auf das Problem werfen und versuchen, den Geist wieder in die Flasche zu stopfen, oder wird es seine zufällige Rolle als Entwickler dessen übernehmen, was wahrscheinlich schnell zur am weitesten verbreiteten KI der Welt werden wird? Wenn letzteres der Fall ist, könnten wir in Kürze die gleiche Revolution bei LLMs erleben, die im vergangenen Sommer die Bildgeneratoren getroffen hat. Dall-E 2 wurde im vergangenen Mai veröffentlicht und zeigt eine schrittweise Veränderung in der Qualität der KI-Bilderzeugung. (Das erneute Lesen der TechScape-Ausgabe über die Veröffentlichung öffnet uns die Augen dafür, wie weit wir in so kurzer Zeit gekommen sind.)
Aber Dall-E wurde genau wie ChatGPT von OpenAI kontrolliert, wobei der Zugriff sorgfältig kontrolliert wurde. Die Leute wussten, dass etwas Großes passieren würde, waren aber in ihrer Fähigkeit, mit der Technologie zu experimentieren, eingeschränkt, während OpenAI wie ein Torwächter aussah, der alle kommerziellen Vorteile der Kreation ernten würde.
Dann, im August, veröffentlichte Stability AI Stable Diffusion. Stable Diffusion wurde im Wesentlichen vollständig durch die Ersparnisse des ehemaligen Hedgefonds-Händlers Emad Mostaque finanziert und war vom ersten Tag an Open Source. Was Meta aus Versehen tat, tat Stability AI absichtlich und ging davon aus, dass es eine bessere Chance auf Erfolg in diesem Bereich hätte, wenn es Dienste zusätzlich zum Free-to-Use-Modell verkaufen würde, anstatt den Zugang um jeden Preis zu kontrollieren.
OpenAI v KI öffnen
nach Newsletter-Promotion
Wir stehen an der Kreuzung zweier sehr unterschiedlicher KI-Zukünfte. Zum einen fungieren die Unternehmen, die Milliarden in die Ausbildung und Verbesserung dieser Modelle investieren, als Torwächter, die einen Teil der wirtschaftlichen Aktivität abschöpfen, die sie ermöglichen. Wenn Sie zum Beispiel ein Geschäft auf ChatGPT aufbauen möchten, können Sie das tun – für einen Preis. Es ist nicht erpresserisch, nur 2 US-Dollar für jeweils 700.000 verarbeitete Wörter. Aber es ist leicht zu sehen, wie das eines Tages dazu führen könnte, dass OpenAI für jedes einzelne Wort, das in einen Computer getippt wird, einen winzigen Cent bezahlt bekommt.
Man könnte meinen, dass kein Unternehmen einen solchen Vorteil aufgeben würde, aber es gibt eine Schwäche dieser Welt: Sie ist instabil. Ein Torwächter zu sein, funktioniert nur, solange es einen Zaun um Ihr Produkt gibt, und es braucht nur ein Unternehmen, das (freiwillig oder nicht) beschließt, etwas fast so Gutes kostenlos zur Verfügung zu stellen, um ein Loch in diesen Zaun zu sprengen.
Die andere Welt ist eine Welt, in der die KI-Modelle, die das nächste Jahrzehnt des Technologiesektors definieren, für jedermann verfügbar sind, um darauf aufzubauen. In diesen Welten kommt ein Teil des Nutzens immer noch ihren Entwicklern zu, die in der Lage sind, ihr Fachwissen und ihre Dienstleistungen zu verkaufen, während ein Teil mehr von den Infrastrukturanbietern abgeschöpft wird. Aber mit weniger Gatekeepern im Spiel verteilen sich die wirtschaftlichen Vorteile des Umbruchs viel weiter.
Es gibt natürlich einen Nachteil. Gatekeeper ziehen nicht nur eine Maut ein – sie halten auch Wache. Die API-Gebühren von OpenAI sind kein reines Profitcenter, denn das Unternehmen hat sich zu einem verantwortungsvollen Umgang mit seinen Tools verpflichtet. Es sagt, dass es die Arbeit erledigen wird, die erforderlich ist, um sicherzustellen, dass Spammer und Hacker sofort abgewiesen werden, und dass es die Möglichkeit hat, ChatGPT Einschränkungen aufzuerlegen, die nicht nur Teil des eigenen Modells sind – zum Beispiel, um Anfragen und Antworten zu filtern.
Solche Limits gibt es nicht für Stable Diffusion und auch nicht für die Pirateninstanzen von LLaMA, die diese Woche auf der ganzen Welt auftauchen. In der Welt der Bildgenerierung bedeutete das bisher kaum mehr als viel mehr KI-generierte Pornos als in der desinfizierten Welt von Dall-E. Aber ich denke, es wird nicht lange dauern, bis wir den Wert dieser Leitplanken in der Praxis sehen werden. Und dann ist es vielleicht nicht nur Meta, die versucht, den Geist wieder in die Flasche zu stopfen.
Das breitere TechScape
