Wie wir kürzlich geschrieben haben, steckt die GM-Abteilung für autonome Fahrzeuge und Robotaxi Cruise in der Krise. Nach einem besonders schlimmen Unfall zwischen einem seiner Fahrzeuge und einem Fußgänger verlor das Unternehmen seine Lizenz zum Betrieb von Robotaxis in Kalifornien und hat seitdem die Produktion seiner Fahrzeuge der nächsten Generation auf Eis gelegt.
Seitdem ist der CEO des Unternehmens in Ungnade zurückgetreten, und die wichtigste Lehre aus diesem Beispiel von Corporate Seppuku ist, dass Transparenz bei autonomen Fahrzeugen von entscheidender Bedeutung ist.
Was uns die Pressemitteilung nicht über die Unfalluntersuchung sagte
In der vorherigen Berichterstattung schien es, dass Cruise möglicherweise nicht für den Unfall verantwortlich war. Ein von einem Menschen gesteuertes Fahrzeug traf einen Fußgänger und schleuderte ihn auf den Weg des Cruise-Robotaxis. Das Robotaxi tat wie geplant und bewegte sich nach der Kollision selbst zu einem sicheren Haltepunkt, aber der Computer war sich nicht bewusst, dass es den Fußgänger auf dieser kurzen Fahrt mitzog.
Es sah also eher nach schlechter Optik aus (einen Fußgänger mitzuschleppen ist eine beängstigende Vorstellung) als nach schlechten Sicherheitspraktiken bei Cruise. Das Unternehmen ließ den Eindruck entstehen, dass es sich um eine äußerst ungewöhnliche Situation handelte, die von einem menschlichen Fahrer verursacht wurde, und dass Cruise in gewisser Weise ein Opfer war, dass das Unternehmen jedoch die ausfallsichere Programmierung verbessern musste, um bei einem Manöver zum Herausbewegen des Autos keine Personen zu verletzen weit nach einer Kollision.
Was zu diesem Zeitpunkt nicht klar war, war, warum sowohl die kalifornischen Behörden als auch Cruise selbst plötzlich so düstere Vorstellungen von den Zukunftsaussichten wegen einer von einem menschlichen Fahrer verursachten Kollision hatten. Aber es war nicht der Unfall selbst, sondern Cruises Interaktion mit den Ermittlern, die sie in so große Schwierigkeiten brachte.
Anstatt den Zusammenstoß völlig transparent zu machen, sagte Cruise Den Ermittlern zeigte sich nur ein Teilvideo des Unfalls. Als der Staat herausfand, dass Informationen zurückgehalten worden waren und dass der Unfall weitaus schlimmer war, als ursprünglich beschrieben. Sogar in Pressemitteilungen wurde nicht ganz deutlich gemacht, dass das Opfer unter dem Fahrzeug eingeklemmt und dann (in dem begrenzten Raum unter einem Chevy Bolt) mit 7 Meilen pro Stunde über 20 Fuß betäubt wurde.
Das Opfer wurde nicht getötet, hätte es aber sehr leicht sein können, und dieses umfassendere Bild ist etwas, das den Durchschnittsmenschen wahrscheinlich in Angst und Schrecken versetzt. Die Vorstellung, dass eine seelenlose Maschine (so süß ihr Name auch sein mag) eine Person unter sich herzieht und sich überhaupt nicht bewusst ist, was sie tut, klingt beängstigend. Wenn man dazu noch die ziemlich schnelle Beschleunigung bei niedrigen Geschwindigkeiten hinzufügt, zu der ein Bolt fähig ist (wenn auch nur auf 7 Meilen pro Stunde), ist es einfach beängstigend, sich das vorzustellen.
Ein Video des Vorfalls wurde erstellt mindestens einem Medienunternehmen gezeigt werdenwurde aber noch nicht öffentlich veröffentlicht.
Das Transparenzproblem
Es scheint ziemlich klar zu sein, dass es sowohl ein Sicherheitsproblem als auch ein Problem gibt, wenn man der Öffentlichkeit (und den damit indirekt verbundenen Regulierungsbehörden) nicht sagt, was wirklich vor sich geht. Diese Mischung aus Horror und Dunkelheit ist etwas, das der menschliche Geist einfach nicht gut verträgt.
In eine Folge von Der Autonocast ab Ende Oktober, wird das Problem ausführlicher diskutiert. Es wurden nicht nur Einzelheiten des Vorfalls zurückgehalten, auch die Gedanken hinter öffentlichen Tests und der Entwicklung autonomer Fahrzeuge sind für die Öffentlichkeit ebenso undurchsichtig.
Ich weiß, dass nicht jeder, der in der AV-Branche arbeitet, so denkt, aber es scheint, dass die Idee dahinter darin besteht, dass Risiken die Belohnungen wert sind. Wenn es um Risiken geht, gibt es keine Möglichkeit, sie wirklich und wirklich zu beseitigen. Robotaxis sind ziemlich gut geworden, machen aber auch immer noch einige große Fehler. Da ihre Feldmaßstäbe skalieren, besteht die Idee darin, dass die Tests in der realen Welt zu weiteren Verbesserungen führen werden. Wenn die Fahrzeuge ausreichend verbessert werden, sind sie sicherer als menschliche Fahrer, was zur Rettung von Leben führen würde.
Diese utilitaristische Perspektive, bei der die Bedürfnisse einiger weniger (Menschen, die während der Entwicklung verletzt und getötet werden) weniger wichtig sind als die Bedürfnisse der vielen, die später gerettet werden könnten, klingt auf den ersten Blick gut. Wenn wir Menschen auf Zahlen reduzieren, scheint es die logische Wahl zu sein, kleine Zahlen gegen größere Zahlen einzutauschen, oder? Aber wenn wir die erschreckenden Details darüber hören (und vielleicht irgendwann auch sehen), was mit einem der wenigen passiert ist, denken wir zweimal darüber nach, ob diese Person eine Nummer war, die wir so leichtfertig gegen zukünftige gerettete Leben eintauschen könnten.
Edward Niedermeyer (einer der Personen im oben verlinkten Podcast und Autor von dieses Buch) sagt, dass Robotaxi-Unternehmen über diese utilitaristische Perspektive wirklich transparenter sein müssen. Wenn die Öffentlichkeit die kalte Kalkulation nicht versteht, wird es umso schockierender, wenn sie plötzlich damit konfrontiert wird.
Gleichzeitig sind die Versprechen einer sichereren Zukunft jedoch nicht so klar, wie sie einst schienen. Unternehmen wie Tesla, GM und Google versprechen seit Jahren autonome Fahrzeuge, die sicherer sind als ein Mensch. Im Fall von Tesla kamen und gingen Vorhersagen für die Zukunft (immer nächstes Jahr oder bald) immer wieder. Die Zahl der Menschen, die für die versprochene autonome Utopie gefährdet sind, nimmt also weiter zu, während gleichzeitig auch die Zweifel, ob wir überhaupt dorthin gelangen, zunehmen.
Aufgrund dieses mangelnden Vertrauens der Öffentlichkeit und anderer Faktoren, die uns wahrscheinlich noch nicht bewusst sind, ist die Situation für Cruise schlecht. Verschiedene Medien berichten, dass die Moral bei Cruise stark gesunken ist. Sein Chef ist von der Zukunft des Unternehmens so enttäuscht, dass er den ehrenvollen Ausweg wählte und zurücktrat, anstatt zu versuchen, das Unternehmen zu retten. GM ist auch hinsichtlich der Zukunft des Unternehmens sehr vorsichtig.
Tatsächlich geht es in dieser Geschichte um viel mehr als nur um Cruise. Die Silicon-Valley-Idee, dass man sich schnell bewegen und Dinge kaputt machen muss, funktioniert gut, wenn das größte Risiko darin besteht, dass eine App auf Ihrem Smartphone nicht wie vorgesehen funktioniert. Wenn es um Sicherheit geht, scheint die Öffentlichkeit dafür eine viel geringere Toleranz zu haben. Transparenz ist auf jeden Fall wichtig, aber das zugrunde liegende Konzept der Entwicklung könnte tatsächlich so unvereinbar mit der menschlichen Natur sein, dass es verborgen bleiben muss, um zu überleben.
Ausgewähltes Bild von GM Cruise.