Teslas Full-Self-Driving verwendet generative vortrainierte Transformatoren (GPT) für das Sehen, twitterte Elon Musk kürzlich. Er fügte hinzu, dass die GPTs nativ auf Tesla TRIP-Chips laufen und kein Roundtrip zu iGPU erforderlich ist. Ich denke, es ist wichtig, sich kurz und tief damit zu befassen, denn das ist sozusagen das Herz und die Seele von FSD. Zum Glück haben wir „Dr. Know It All Knows It All“, um zu übersetzen, was das alles bedeutet. Neue Dinge zu lernen ist etwas, wofür wir alle offen sein sollten, und deshalb schreibe ich dies heute. Ich lerne auch.
Elon Musks erster Tweet war eine Antwort auf @JeffTutorials, der Elon Musk bat, Software-Versionshinweise in die Tesla-App einzufügen, und fügte hinzu, dass es schön wäre, direkt vom Telefon aus zu sehen, was neu ist. In diesem Thread stellte Elon Musk fest, dass die Transformer die C-Heuristik für die Nachbearbeitung der riesigen Punktesammlung der neuronalen Netze des Sehens ersetzen.
Einige Gedanken zu diesem Tweet-Thread. Ich hoffe, sie sind nützlich! https://t.co/CCEfh924zP
— DrKnowItAll (@DrKnowItAll16) 2. Juni 2022
Ich bat Dr. Know It All, etwas mehr über TRIP-Chips zu erzählen, und er verwies mich auf ein Projekt, an dem das Department of Computer Science der University of Texas in Austin arbeitete. Ich denke, bin mir aber nicht 100% sicher, dass Elon sich auf TRIPS-Chips bezog, eine Art Mikroprozessorarchitektur. Sie können sich über das Projekt informieren hier.
Im folgenden Tweet teilte KL Manish eine Definition eines TRIP-Chips mit und Elon Musk bestätigte dies.
Ja
– Elon Musk (@elonmusk) 2. Juni 2022
Dr. Know It All bemerkte, dass Elon Musk viele nützliche Informationen preisgab, und sein Video ist ein kurzer Einblick in das, worüber Elon Musk genau spricht und warum es wichtig ist. Ich bin mir sicher, dass Jeff nicht vorhatte, ein Gespräch über künstliche Intelligenz und GPT zu beginnen, und Elons Antwort an Jeff ist ein bisschen vom Thema abgekommen. Jeff bezog sich darauf, die Versionshinweise sowohl in der Tesla-App als auch auf dem Bildschirm des Autos verfügbar zu machen. Es ist ein brillanter Vorschlag und würde es einfacher machen, Screenshots der Versionshinweise für diejenigen zu machen, die sie auf Twitter teilen, damit wir Autoren darüber schreiben können.
Dr. Know It All erklärte, dass GPT etwas ist, an dem OpenAI arbeitet – insbesondere GPT3. GPT3 hat 175 Milliarden Parameter.
„Es ist ein absolut massives Netzwerk, das sie machen. Nun, ich sage nicht, dass GPT3 das ist, was Tesla hier verwendet, aber ich wollte das nur als kontextbezogenes Element dort einfügen.“
Er erklärte, dass Teslas Hardware 3 viele Chips enthält und der Sub-Chip ein TRIP-Chip ist, der im Gegensatz zu einer GPU im Wesentlichen neuronale Netzwerkoperationen durchführt. Als Elon Musk von der „Notwendigkeit eines Roundtrips zur iGPU“ sprach, bezog er sich auf die GPU an Bord der Tesla Hardware 3.
„Der Deal ist, dass es im Wesentlichen nur schneller läuft. Anstatt einige der Berechnungen auf dem TRIP-Chip ausführen zu müssen, der über eine neuronale Netzwerkarchitektur verfügt, und dann auch einen Teil des Codes auf der GPU, und all diese Dinge per Roundtrip ausführen zu müssen, ist es tatsächlich viel schneller, alles nativ auf dem auszuführen TRIP-Chip. Außerdem läuft der Code auf Dingen, für die er entwickelt wurde, einfach schneller – die GPUs wurden speziell für Spiele und das Rendern von Polygonen und so entwickelt. Und Leute in der künstlichen Intelligenz haben gerade erkannt, dass dies eine sehr ähnliche Art von Berechnung ist wie bei der Arbeit am Skalarprodukt und der Addition für die ganze Sache mit der riesigen Matrizenmultiplikation, die der zentrale Teil des Trainings für tiefe neuronale Netze ist. Sie sagten: ‚Oh, wir können das verwenden, aber es ist nicht ideal dafür geeignet.’“
Dinge, erklärte er, wie der Apple M1 Chip, Teslas Hardware 3 und sogar Googles Tensor Processing Unit gehören zu mehreren neuen Arten von Hardware, die speziell für das KI-Training entwickelt wurden, was der TRIP-Chip im Vergleich zur GPU ist. Die GPU eignet sich hervorragend zum Rendern von Dingen auf einem Bildschirm, z. B. zum Ansehen von Videos, ist jedoch nicht ideal für das KI-Training optimiert.
„Sie möchten möglichst etwas verwenden, das ideal für das KI-Training optimiert ist, und das ist der TRIP-Chip eigentlich, und dazu kommt noch die Tatsache, dass Sie das nicht umrunden müssen. Sie müssen keine Dinge aus dem Speicher ziehen, in den TRIP-Chip gehen, in die iGPU zurück zum TRIP-Chip und zurück in den Speicher gehen. Es spart einfach eine Menge Latenz, und genau das hat KL Manish gesagt.“
Das Endergebnis ist Effizienz, da keine Zeit damit verschwendet wird, vom Speicher zum TRIP-Chip zur iGPU und wieder zurück zu gehen.
Verwenden des GP-Teils von GPT für einen Spurvorhersage-Transformator
Als James Douma, ein Experte für KI, fragte, ob Elon GPTs für das Sehen verwende, stimmte Dr. Know It All zu, dass es eine ziemlich wilde Sache sei. Er wies darauf hin, dass es sich bei GPT3 um ein riesiges neuronales Netzwerk handelt. James bemerkte, dass er dachte, dass der frühe Kommentar bedeute, dass Tesla den GP-Teil von GPT mache und dass es sinnvoll wäre, GP für einen Fahrspurvorhersage-Transformator zu verwenden, und wies darauf hin, dass die Transformatoren C-Heuristiken für die Nachbearbeitung der neuronalen Netzwerke der Vision ersetzen würden ‘ Riesige Punktetasche. Dr. Know It All fügte hinzu,
„Grundsätzlich können Transformatoren ohne generatives Vortrainieren verwendet werden. Sie sind nur eine Architektur, die neuronale Netze haben. Es ist eine sehr moderne Architektur.“
Er fügte hinzu, dass Andrej Karpathy, als er darüber sprach, gesagt hatte, dass sie räumlich basierte Transformer verwenden würden – ursprünglich waren Transformer sprachbasierte Modelle. Das ließ mich an Predictive Texting denken. Er fügte hinzu, dass es großartige Informationen für ein Sprachmodell sind, aber sie erkannten, dass dies visuell erfolgen könnte, da sie räumliche Informationen über die Position von Pixeln in einem Bild oder Video liefern können. Sie können transformieren (vorhersagen), was sich in diesen Räumen befindet, z. B. eine rote Katze, die in den Laden geht.
Dr. Know It All teilte mir einige zusätzliche Gedanken mit.
„Während es nicht den Anschein hat, dass Tesla etwas so Massives wie GPT-3 verwendet (was mit 174 Milliarden Parametern für ein Auto verrückt wäre), ist die Tatsache, dass sie in der Lage sind, mehrere GPTs zu verwenden, indem sie sie auf dem lokalisierten TRIP-Chip ausführen ist äußerst beeindruckend. Wenn dies erfolgreich umgesetzt wird, prognostiziere ich, dass Autos viel „kreativer“ in ihren Fähigkeiten zur Problemlösung werden.
„Ein massives neuronales Allzwecknetzwerk wird in der Lage sein, viel vielfältigere Fahrherausforderungen zu lösen als kleinere Netzwerke – und insbesondere als herkömmlicher heuristischer Code – und sollte uns endlich an einen Ort bringen, an dem Autos genauso gut oder besser fahren können als Menschen! ”
Ich denke, das Video ist eine informative Uhr, und ich ermutige Sie, es vollständig anzusehen, wenn Sie daran interessiert sind, die vollständigen Gedanken von Dr. Besserwisser zu hören. Sie können es unten oder durch Anklicken ansehen hier.
Schätzen Sie die Originalität von CleanTechnica? Erwägen Sie, Mitglied, Unterstützer, Techniker oder Botschafter von CleanTechnica zu werden – oder Gönner auf Patreon.
