MEredith Broussard ist Datenjournalist und Akademiker, dessen Forschung sich auf Vorurteile in der künstlichen Intelligenz (KI) konzentriert. Sie war Vorreiterin bei der Sensibilisierung und der Alarmierung über ungeprüfte KI. Ihr vorheriges Buch, Künstliche Unintelligenz (2018) prägten den Begriff „Technochauvinismus“, um den blinden Glauben an die Überlegenheit technischer Lösungen zur Lösung unserer Probleme zu beschreiben. Sie erschien in der Netflix-Dokumentation Codierte Voreingenommenheit (2020), das untersucht, wie Algorithmen Diskriminierung codieren und verbreiten. Ihr neues Buch ist Mehr Than a Glitch: Confronting Race, Gender and Ability Bias in Tech. Broussard ist Associate Professor am Arthur L. Carter Journalism Institute der New York University.
Die Botschaft, dass Voreingenommenheit in unsere technologischen Systeme eingebettet sein kann, ist nicht wirklich neu. Warum brauchen wir dieses Buch?
In diesem Buch geht es darum, Menschen zu helfen, die sehr realen sozialen Schäden zu verstehen, die in Technologie eingebettet sein können. Wir hatten eine Explosion von wunderbarem Journalismus und Wissenschaft über algorithmische Voreingenommenheit und die Schäden, die Menschen erfahren haben. Ich versuche, dieses Berichten und Denken anzuheben. Ich möchte auch, dass die Leute wissen, dass wir jetzt Methoden haben, um Verzerrungen in algorithmischen Systemen zu messen. Sie sind keine völlig unbekannten Black Boxes: algorithmisches Auditing existiert und kann durchgeführt werden.
Warum ist das Problem „mehr als ein Fehler“? Wenn Algorithmen rassistisch und sexistisch sein können, weil sie mit voreingenommenen Datensätzen trainiert werden, die nicht alle Menschen repräsentieren, ist die Antwort dann nicht nur repräsentativere Daten?
Ein Fehler deutet auf etwas Vorübergehendes hin, das leicht behoben werden kann. Ich behaupte, dass Rassismus, Sexismus und Ableismus systemische Probleme sind, die in unsere technologischen Systeme eingebrannt sind, weil sie in die Gesellschaft eingebrannt sind. Es wäre toll, wenn der Fix mehr Daten wären. Aber mehr Daten werden unsere technologischen Systeme nicht reparieren, wenn das zugrunde liegende Problem die Gesellschaft ist. Nehmen Sie Hypothekengenehmigungsalgorithmen, die wurden gefunden 40-80 % wahrscheinlicher, dass sie Kreditnehmern von Farbe verweigern als ihren weißen Kollegen. Der Grund dafür ist, dass die Algorithmen anhand von Daten darüber trainiert wurden, wer in der Vergangenheit Hypotheken erhalten hatte, und dass es in den USA eine lange Geschichte der Diskriminierung bei der Kreditvergabe gibt. Wir können die Algorithmen nicht reparieren, indem wir bessere Daten einspeisen, weil es keine besseren Daten gibt.
Sie argumentieren, dass wir bei der Technologie, die wir in unser Leben und unsere Gesellschaft zulassen, wählerischer sein sollten. Sollten wir einfach jede KI-basierte Technologie ablehnen, die Voreingenommenheit kodiert?
KI steckt heutzutage in all unseren Technologien. Aber wir können verlangen, dass unsere Technologien gut funktionieren – für alle – und wir können bewusst entscheiden, ob wir sie einsetzen.
Ich bin begeistert von der Unterscheidung in der vorgeschlagenes KI-Gesetz der Europäischen Union die Verwendungen basierend auf dem Kontext in hohes und niedriges Risiko einteilt. Eine risikoarme Verwendung der Gesichtserkennung könnte die Verwendung zum Entsperren Ihres Telefons sein: Die Einsätze sind gering – Sie haben einen Passcode, wenn er nicht funktioniert. Aber die Gesichtserkennung in der Polizeiarbeit wäre ein risikoreicher Einsatz, der reguliert oder – noch besser – gar nicht eingesetzt werden müsste, weil er zu unrechtmäßigen Festnahmen führt und nicht sehr effektiv ist. Es ist nicht das Ende der Welt, wenn Sie einen Computer nicht für eine Sache verwenden. Man kann nicht davon ausgehen, dass ein technologisches System gut ist, weil es existiert.
Es gibt Enthusiasmus für den Einsatz von KI zur Diagnose von Krankheiten. Aber auch rassistische Vorurteile werden eingebrannt, auch aus nicht repräsentativen Datensätzen (z. B. Hautkrebs-KIs wird wahrscheinlich viel besser auf hellerer Haut funktionieren, da dies meistens in den Trainingsdaten steht). Sollten wir es versuchen „akzeptable Schwellenwerte“ für Verzerrungen in medizinischen Algorithmen einzuführen, wie einige vorgeschlagen haben?
Ich glaube nicht, dass die Welt bereit ist, dieses Gespräch zu führen. Wir befinden uns immer noch auf einem Niveau, in dem wir das Bewusstsein für Rassismus in der Medizin schärfen müssen. Wir müssen einen Schritt zurücktreten und ein paar Dinge über die Gesellschaft in Ordnung bringen, bevor wir anfangen, sie in Algorithmen einzufrieren. Als Code formalisiert, wird es schwierig, eine rassistische Entscheidung zu erkennen oder auszurotten.
Bei Ihnen wurde Brustkrebs diagnostiziert und erfolgreich behandelt. Nach Ihrer Diagnose haben Sie damit experimentiert, Ihre eigenen Mammographien durch eine Open-Source-Krebserkennungs-KI laufen zu lassen, und Sie haben festgestellt, dass sie tatsächlich Ihren Brustkrebs erkannt hat. Es funktionierte! Also tolle Neuigkeiten?
Es war ziemlich schön zu sehen, wie die KI einen roten Rahmen um den Bereich des Scans zeichnete, in dem sich mein Tumor befand. Aber ich habe aus diesem Experiment gelernt, dass diagnostische KI ein viel stumpferes Instrument ist, als ich es mir vorgestellt habe, und dass es komplizierte Kompromisse gibt. Beispielsweise müssen die Entwickler eine Entscheidung über die Genauigkeitsraten treffen: mehr falsch positive oder falsch negative? Sie bevorzugen Ersteres, weil es als schlimmer angesehen wird, etwas zu verpassen, aber das bedeutet auch, dass Sie bei einem falschen Positiv in die Diagnose-Pipeline gelangen, was wochenlange Panik und invasive Tests bedeuten könnte. Viele Menschen stellen sich eine schlanke KI-Zukunft vor, in der Maschinen Ärzte ersetzen. Das klingt für mich nicht verlockend.
Gibt es Hoffnung, dass wir unsere Algorithmen verbessern können?
Ich bin optimistisch in Bezug auf das Potenzial der algorithmischen Prüfung – dem Prozess der Betrachtung der Eingaben, Ausgaben und des Codes eines Algorithmus, um ihn auf Verzerrungen zu bewerten. Ich habe getan etwas Arbeit darauf. Ziel ist es, sich auf Algorithmen zu konzentrieren, wie sie in bestimmten Kontexten verwendet werden, und Bedenken aller Beteiligten, einschließlich der Mitglieder einer betroffenen Gemeinschaft, anzusprechen.
KI-Chatbots liegen voll im Trend. Aber die Technologie ist auch voller Vorurteile. Leitplanken wurden zu ChatGPT von OpenAI hinzugefügt leicht zu umgehen. Wo haben wir einen Fehler gemacht?
Obwohl noch mehr getan werden muss, schätze ich die Leitplanken. Das war in der Vergangenheit nicht der Fall, also ist es ein Fortschritt. Aber wir müssen auch aufhören, überrascht zu sein, wenn KI auf sehr vorhersehbare Weise Fehler macht. Die Probleme, die wir mit ChatGPT sehen, waren vorweggenommen und darüber geschrieben von KI-Ethikforschern, darunter Timnit Gebru [who was forced out of Google in late 2020]. Wir müssen erkennen, dass diese Technologie keine Zauberei ist. Es wird von Menschen zusammengebaut, es hat Probleme und es fällt auseinander.
Sam Altman, Mitbegründer von OpenAI kürzlich beförderte KI-Ärzte als Weg zur Lösung der Gesundheitskrise. Er schien ein zweistufiges Gesundheitssystem vorzuschlagen – eines für die Reichen, in dem sie Konsultationen mit menschlichen Ärzten genießen, und eines für den Rest von uns, in dem wir eine KI sehen. Ist das so und macht ihr euch Sorgen?
KI in der Medizin funktioniert nicht besonders gut, also wenn eine sehr wohlhabende Person sagt: „Hey, du kannst KI für deine Gesundheitsversorgung haben und wir behalten die Ärzte für uns“, scheint mir das ein Problem zu sein und nicht etwas, das uns zu einer besseren Welt führt. Außerdem kommen diese Algorithmen für alle, also können wir die Probleme genauso gut angehen.