EINls die Untersuchung des Todes von Molly Russell am Freitag zu Ende ging, blitzte eine rhetorische Frage von Alexander Pope aus dem Jahr 1735 wie eine fehlerhafte Leuchtreklame im Gedächtnis auf: „Wer zerbricht einen Schmetterling auf einem Rad?“ Für Papst war es ein Hinweis auf „am Rad brechen“, eine mittelalterliche Form der Folter, bei der Opfern ihre langen Knochen mit einer Eisenstange gebrochen wurden, während sie an ein Katharinenrad gebunden waren, benannt nach der heiligen Katharina, die auf diese Weise hingerichtet wurde.
Für die Angeklagten muss die Bedeutung der Metapher unverkennbar gewesen sein, denn sie hörten sich einen Bericht darüber an, wie ein unschuldiges und depressives 14-jähriges Mädchen von einem unbarmherzigen, zeitgenössischen Katharinenrad gebrochen wurde – den KI-betriebenen Empfehlungsmaschinen von zwei Social-Media-Unternehmen, Instagram und Pinterest.
Diese saugten sie in einen Strudel von wie der Gerichtsmediziner es ausdrückte, „Bilder, Videoclips und Texte, die sich mit Selbstverletzung, Selbstmord oder anderweitig negativer oder deprimierender Natur befassen oder damit befasst sind … von denen einige ausgewählt und bereitgestellt wurden, ohne dass Molly sie angefordert hat“. Einige dieser Inhalte romantisierten Akte der Selbstverletzung durch junge Menschen an sich selbst, während „andere Inhalte darauf abzielten, Diskussionen mit denen, die möglicherweise hätten helfen können, zu isolieren und zu entmutigen“. Sein Urteil war nicht Selbstmord, sondern dass „Molly Rose Russell an einem Akt der Selbstverletzung starb, während sie an Depressionen und den negativen Auswirkungen von Online-Inhalten litt“.
Diese Untersuchung hatte eine größere Bedeutung als die einer verspäteten – Molly starb im November 2017 – Anerkennung einer erschütternden Ungerechtigkeit. Erstens war das Urteil des Gerichtsmediziners insofern eine Weltneuheit, als es explizit Social-Media-Empfehlungsmaschinen als ursächlichen Faktor für einen Todesfall in Verbindung brachte. Zweitens betrat seine Untersuchung verfahrenstechnisches Neuland, indem sie Vertreter der beiden beteiligten US-Unternehmen (Meta, Eigentümer von Instagram, und Pinterest) aufforderte, persönlich unter Eid auszusagen. Natürlich waren die beiden, die die Transatlantikreise gemacht haben – Elizabeth Lagone von Meta und Jud Hoffman von Pinterest – im Wesentlichen nur Affen, die ihre jeweiligen Leierkastenmänner im Silicon Valley repräsentierten; aber trotzdem waren sie in London und schlugen auf ein sehr klebriges Wicket.
Drittens wurden die schrecklichen Beweise für das Zeug, dem Molly ausgesetzt war, in einem offenen Gerichtsverfahren vorgelegt. Und es war schrecklich – so sehr, dass ein Kinderpsychiater, der aussagte, sagte, dass sogar er es gefunden hatte verstörend und belastend. Danach sagte er: „Es gab Perioden, in denen ich einige Wochen lang nicht gut schlafen konnte. Wenn ich bedenke, dass das Kind dies über einen Zeitraum von Monaten gesehen hat, kann ich nur sagen, dass es so war [affected] – vor allem wenn man bedenkt, dass sie eine depressive 14-Jährige war.“
Auch das Kreuzverhör der beiden Unternehmensvertreter war aufschlussreich. Der Pinterest-Typ gab früh nach. Der Anwalt der Familie Russell (Oliver Sanders KC) führte ihn durch die letzten 100 Stellen, die Molly vor ihrem Tod gesehen hatte. Hoffman äußerte sein „tiefes Bedauern, dass sie auf einige der gezeigten Inhalte zugreifen konnte“. Er gab zu, dass Empfehlungs-E-Mails, die von Pinterest an den Teenager gesendet wurden, wie „10 Depressions-Pins, die Ihnen gefallen könnten“, „die Art von Inhalten enthielten, mit denen wir nicht möchten, dass jemand viel Zeit damit verbringt“, und dass einige der Bilder die ihm gezeigt worden waren, die er seinen eigenen Kindern nicht zeigen würde. Wie vorauszusehen war, war der Meta-Vertreter eine härtere Nuss zu knacken. Nachdem Beweise dafür gegeben wurden 16.300 Beiträge, die Molly gespeichert hatdie in den sechs Monaten vor ihrem Tod auf Instagram geteilt oder geliked wurden, 2.100 waren Depressionen, Selbstverletzungen oder Suizide. fragte Sanders sie: „Stimmen Sie uns zu, dass diese Art von Material für Kinder nicht sicher ist?“
Lagone antwortete, dass Richtlinien für alle Benutzer vorhanden seien, und bezeichnete die vom Gericht angesehenen Beiträge als „Hilferuf“.
„Glauben Sie, dass diese Art von Material sicher für Kinder ist?“ Sanders fuhr fort.
„Ich denke, es ist sicher für die Menschen, sich ausdrücken zu können“, antwortete sie. Nachdem Sanders dieselbe Frage noch einmal gestellt hatte, sagte Lagone: „Respektvoll, ich finde es keine binäre Frage.“
Hier warf der Gerichtsmediziner ein und fragte: „Sie sagen also ja, es ist sicher oder nein, es ist nicht sicher?“
„Ja, es ist sicher“, antwortete Lagone.
In gewisser Weise war dies ein „Gotcha“-Moment, der die Realität offenlegte, dass kein Meta-Manager öffentlich zugeben kann, was das Unternehmen privat weiß (als Whistleblower Frances Haugen verriet), nämlich dass seine Empfehlungsmaschine toxische und im Fall von Molly Russell lebensbedrohliche Auswirkungen haben kann.
Am Ende geht alles auf das Geschäftsmodell von Unternehmen wie Instagram zurück. Sie gedeihen und monetarisieren das Engagement der Benutzer – wie viel Aufmerksamkeit jeder Inhalt erhält, wie weit er geteilt wird, wie lange er angesehen wird und so weiter. Die Empfehlungsmaschine ist so programmiert, dass sie überwacht, was jedem Benutzer gefällt, und andere Inhalte vorschlägt, die ihm gefallen könnten. Wenn Sie also depressiv sind und Selbstmordgedanken haben, gibt Ihnen die Maschine immer mehr davon.
Nach Mollys Tod entdeckte ihre Familie, dass es so war noch senden dieses Zeug auf ihr Konto. Das Rad drehte sich weiter, auch nachdem es sie gebrochen hatte.
John Naughton leitet den Beirat der Minderoo Zentrum für Technologie und Demokratie an der Universität Cambridge