Wissenschaftler des Massachusetts Institute of Technology sind auf . gestoßen ein interessantes problem mit maschinellem Lernen und Bildklassifizierung. Dieses Problem kann, wenn es nicht gelöst wird, harmlos oder tödlich sein, je nachdem, wofür das System verwendet wird. Einfach ausgedrückt könnte ein Modell ein Bild betrachten und eine Vorhersage treffen, die auf Informationen basiert, die wir Menschen nicht verstehen können, und die könnte falsch sein.
Die Bildklassifizierung wird sowohl in der medizinischen Diagnostik als auch beim autonomen Fahren verwendet. Ziel ist es, ein neuronales Netz so zu trainieren, dass es ein Bild ähnlich wie ein Mensch versteht. Das MIT hat all dies in einem Blog-Beitrag erklärt, der damit begann, wie viel wir in Bezug auf nicht wissen wie neuronale Netze ihre Entscheidungen treffen.
Ja, der Entscheidungsprozess selbst ist unbekannt. Bekannt ist, dass sie zum Lernen trainiert werden können. Es ist das wie sie lernen das ist nicht wirklich bekannt.
Obwohl dies nicht neu ist, ist das Problem, das Wissenschaftler des MIT identifiziert und „Überinterpretation“ genannt haben, neu. Ein Thema, das sowohl die medizinische Diagnostik als auch das autonome Fahren betreffen könnte. Überinterpretation ist einfach ein Algorithmus, der auf der Grundlage von Details, die er sieht, die wir Menschen nicht verstehen können, eine „sichere“ Vorhersage macht und eine Vorhersage erstellt, die es nicht sollte.
Es könnte zum Beispiel etwas in einem gemusterten Hintergrund sehen, das wir nicht sehen oder nicht verstehen können, und dies bei einer Entscheidung berücksichtigen, die es trifft. Es macht für uns keinen Sinn, aber aus welchem Grund auch immer, der Computer sieht und verwendet es, um eine Vorhersage oder Entscheidung zu treffen.
Das MIT stellte fest, dass diese subtile Art von Fehlern etwas ist, auf das ein KI-Modell, das versucht, ein Bild zu klassifizieren (oder zu identifizieren), stoßen kann, und es könnte in Situationen mit Umgebungen mit hohem Einsatz problematisch sein.
Dies beunruhigt die Forscher, da 1) Situationen wie die medizinische Diagnostik von Krankheiten, die sofortiger Aufmerksamkeit bedürfen, oder 2) Entscheidungen in Sekundenbruchteilen für selbstfahrende Autos betroffen sein könnten.
Autonome Fahrzeuge sind auf Systeme angewiesen, die ihre Umgebung fast sofort genau erfassen und schnelle und sichere Entscheidungen treffen. Das System verwendet bestimmte Hintergründe, Kanten oder sogar Muster am Himmel, um festzustellen, ob es sich bei einem Objekt um eine Ampel, ein Straßenschild oder etwas anderes handelt. Was die MIT-Wissenschaftler beunruhigte, war die Feststellung, dass neuronale Netze, die mit Datensätzen wie CIFAR-10 und ImageNet trainiert wurden, unter Überinterpretation leiden. [Editor’s note: I have actually had a problem that probably falls into this category in my Tesla Model 3. It sometimes sees a reflection on a specific traffic light that it interprets as the light turning from red to green due to the angle, proximity, and lighting of the traffic light. —Zach]
Sie stellten fest, dass auf CIFAR-10 trainierte Modelle zuverlässige Vorhersagen machten, obwohl 95 % der Eingabebilder fehlten und die vorhandenen Bilder für den Menschen sinnlos waren. Brandon Carter, ein MIT-Labor für Informatik und künstliche Intelligenz, Ph.D. Student und der Hauptautor in einem Artikel über die Forschung, erläuterten das Problem genauer:
„Überinterpretation ist ein Datensatzproblem, das durch diese unsinnigen Signale in Datensätzen verursacht wird. Diese Bilder mit hoher Zuverlässigkeit sind nicht nur nicht wiederzuerkennen, sondern enthalten auch weniger als 10 Prozent des Originalbilds in unwichtigen Bereichen, wie z. B. Rändern. Wir fanden heraus, dass diese Bilder für den Menschen bedeutungslos waren, aber Modelle können sie dennoch mit hoher Sicherheit klassifizieren.“
Ein angeführtes Beispiel ist eine App, die Ihnen sagt, ob etwas ein Hot Dog ist oder nicht. Ein besseres Beispiel sind meiner Meinung nach die Apps, die Ihnen anhand eines Bildes der Pflanze oder eines Blattes der Pflanze sagen, welche Art von Pflanze Sie haben. Ich bin auf dieses Szenario gestoßen, als mir jemand eine Garnelenpflanze geschenkt hat, die noch nicht zu blühen begonnen hatte. Bei der Verwendung dieser Pflanzen-Apps identifizierten sie die Pflanze als Gifteiche.
Das System verarbeitet einzelne Pixel aus mehreren vorbeschrifteten Bildern, damit das Netzwerk lernen kann. In diesen Apps sollen sie die Pflanze (oder Hot Dog wie der MIT-Blogpost verwendet) anhand von Pixeln identifizieren können. Eine große Herausforderung besteht darin, dass Modelle des maschinellen Lernens diese Pixel oder das, was wir als sinnlose subtile Signale wahrnehmen, einklinken können und auf Datensätzen wie Imagenet trainierte Bildklassifizierer dann basierend auf dem, was sie „sehen“, scheinbar zuverlässige Vorhersagen treffen können.
Bezüglich meiner Anlage habe ich 2-3 dieser Apps heruntergeladen und nach mehreren Fotos verschiedene Antworten erhalten, darunter auch die richtige. Das war zwar ziemlich lustig, aber es wäre nicht lustig, wenn eine KI in einem autonomen Fahrzeug eine Person mit grünem Hemd, die die Straße überquert, für grünes Licht halten würde. Obwohl dieses Szenario im Moment etwas weit hergeholt ist, könnte angesichts einiger Fortschritte, die Tesla bei der KI gemacht hat, so etwas passieren. Sag niemals nie.
Carter bemerkte, dass dies eine wichtige Frage aufwirft, wie Datensätze modifiziert werden können, um trainiert zu werden, um nachzuahmen, wie ein Mensch über die Klassifizierung von Bildern denken würde.
„Es stellt sich die Frage, wie wir die Datensätze so modifizieren können, dass Modelle trainiert werden können, um genauer nachzuahmen, wie ein Mensch über die Klassifizierung von Bildern denkt, und daher hoffentlich in diesen realen Szenarien wie autonomen Szenarien besser verallgemeinern können.“ Autofahren und medizinische Diagnose, damit die Models dieses unsinnige Verhalten nicht haben.“
Im Moment geschieht die Überinterpretation mit Bildern, die aus dem öffentlichen Bereich extrahiert und dann klassifiziert werden. Im Fall von Tesla als Beispiel arbeiten jedoch täglich Hunderte oder Tausende von Menschen daran, Bilder zu identifizieren, die die Autos sehen, und sie richtig zu klassifizieren / zu beschriften. „Obwohl es den Anschein hat, dass das Modell hier wahrscheinlich der Schuldige ist, sind die Datensätze eher schuld“, bemerkt das MIT treffend.
Sie können den MIT-Blogbeitrag lesen Hier und Carters Forschungsergebnisse Hier.
Schätzen Sie die Originalität von CleanTechnica? Ziehen Sie in Erwägung, CleanTechnica-Mitglied, Unterstützer, Techniker oder Botschafter zu werden – oder ein Förderer von Patreon.
