ichNach einer weiteren rassistisch motivierten Schießerei, die in den sozialen Medien live gestreamt wurde, stehen Technologieunternehmen vor neuen Fragen zu ihrer Fähigkeit, ihre Plattformen effektiv zu moderieren.
PaytonGendron, der 18-jährige Schütze, der am Samstag zehn Menschen in einem überwiegend von Schwarzen bewohnten Viertel in Buffalo, New York, tötete, übertrug seinen gewalttätigen Amoklauf auf dem Videospiel-Streaming-Dienst Twitch. Twitch sagt, dass es den Videostream in nur wenigen Minuten heruntergefahren hat, aber es war immer noch genug Zeit für die Leute, bearbeitete Kopien des Videos zu erstellen und es auf anderen Plattformen wie Streamable, Facebook und Twitter zu teilen.
Wie arbeiten Technologieunternehmen also daran, Gewaltvideos zu kennzeichnen und zu entfernen, die verändert und auf anderen Plattformen in unterschiedlichen Formen verbreitet wurden – Formen, die in den Augen automatisierter Systeme möglicherweise nicht vom Originalvideo zu erkennen sind?
Auf den ersten Blick erscheint das Problem kompliziert. Aber laut Hany Farid, Professor für Informatik an der UC Berkeley, gibt es eine technische Lösung für dieses einzigartige technische Problem. Tech-Unternehmen sind finanziell einfach nicht motiviert, Ressourcen in die Entwicklung zu investieren.
Farids Arbeit umfasst die Erforschung von robustem Hashing, einem Tool, das einen Fingerabdruck für Videos erstellt, der es Plattformen ermöglicht, sie und ihre Kopien zu finden, sobald sie hochgeladen sind. The Guardian sprach mit Farid über das umfassendere Problem des Sperrens unerwünschter Inhalte von Online-Plattformen und darüber, ob Technologieunternehmen genug tun, um das Problem zu beheben.
Dieses Interview wurde aus Gründen der Länge und Klarheit bearbeitet. Twitch, Facebook und YouTube reagierten nicht sofort auf eine Bitte um Stellungnahme.
Twitch sagt das Es hat das Video des Buffalo-Schützen innerhalb von Minuten heruntergefahren, aber bearbeitete Versionen von thDas Video verbreitete sich immer noch, nicht nur auf Twitch, sondern auf vielen anderen Plattformen. Wie verhindern Sie die Verbreitung eines bearbeiteten Videos auf mehreren Plattformen? Gibt es eine Lösung?
Es ist kein so schwieriges Problem, wie der Technologiesektor Sie glauben machen will. Hier spielen zwei Dinge eine Rolle. Eine davon ist das Live-Video, wie schnell es hätte gefunden werden können und sollen und wie wir die Verbreitung dieses Materials einschränken.
Die Kerntechnologie zum Stoppen der Umverteilung wird „Hashing“ oder „robustes Hashing“ oder „wahrnehmungsbezogenes Hashing“ genannt. Die Grundidee ist ganz einfach: Sie haben einen Inhalt, der in Ihrem Dienst nicht erlaubt ist, entweder weil er gegen die Nutzungsbedingungen verstößt, illegal ist oder aus irgendeinem Grund, Sie greifen auf diesen Inhalt zu und extrahieren eine digitale Signatur oder einen Hash wie es heißt.
Dieser Hash hat einige wichtige Eigenschaften. Das erste ist, dass es anders ist. Wenn ich Ihnen zwei verschiedene Bilder oder zwei verschiedene Videos gebe, sollten sie unterschiedliche Signaturen haben, ähnlich wie die menschliche DNA. Das geht eigentlich ganz einfach. Das können wir schon lange. Der zweite Teil ist, dass die Signatur auch dann stabil sein sollte, wenn der Inhalt geändert wird, wenn jemand beispielsweise die Größe oder die Farbe ändert oder Text hinzufügt. Das Letzte ist, dass Sie in der Lage sein sollten, Signaturen sehr schnell zu extrahieren und zu vergleichen.
Wenn wir also eine Technologie hätten, die alle diese Kriterien erfüllt, würde Twitch sagen, wir hätten einen Terroranschlag identifiziert, der live gestreamt wird. Wir werden uns dieses Video schnappen. Wir werden den Hash extrahieren und ihn mit der Industrie teilen. Und jedes Mal, wenn ein Video mit dem Hash hochgeladen wird, wird die Signatur mit dieser Datenbank verglichen, die fast augenblicklich aktualisiert wird. Und dann stoppen Sie die Umverteilung.
Wie reagieren Tech-Unternehmen jetzt und warum reicht das nicht aus?
Es ist ein Problem der branchenübergreifenden Zusammenarbeit und ein Problem der zugrunde liegenden Technologie. Und wenn es das erste Mal wäre, würde ich es verstehen. Aber das ist nicht, das ist nicht das 10. Mal. Es ist nicht das 20. Mal. Ich möchte betonen: Keine Technologie ist perfekt. Es kämpft gegen ein von Natur aus feindliches System. Aber das sind nicht ein paar Dinge, die durch die Ritzen rutschen. Ihre Hauptschlagader platzt. Blut spritzt ein paar Liter pro Sekunde. Das ist kein kleines Problem. Dies ist ein völlig katastrophales Versagen, dieses Material einzudämmen. Und meiner Meinung nach ist es, wie es mit Neuseeland war und wie es vorher war, aus technologischer Sicht unentschuldbar.
Aber die Unternehmen sind nicht motiviert, das Problem zu beheben. Und wir sollten aufhören, so zu tun, als wären dies Unternehmen, denen alles andere scheißegal ist, als Geld zu verdienen.
Sprechen Sie mit mir über die bestehenden Probleme mit der Technologie, die sie verwenden. Warum reicht es nicht?
Ich kenne nicht die ganze Technik, die verwendet wird. Das Problem ist jedoch die Widerstandsfähigkeit gegenüber Änderungen. Wir wissen, dass unser Gegner – die Leute, die dieses Zeug online haben wollen – Änderungen am Video vornimmt. Sie tun dies seit Jahrzehnten mit Urheberrechtsverletzungen. Die Leute modifizieren das Video, um zu versuchen, diese Hash-Algorithmen zu umgehen. So [the companies’] Hashing ist einfach nicht robust genug. Sie haben nicht gelernt, was der Gegner tut, und sich daran angepasst. Und das könnten sie übrigens auch. Das machen Virenfilter. Das machen Malware-Filter. [The] Die Technologie muss ständig an neue Bedrohungsvektoren angepasst werden. Und die Technologieunternehmen tun das einfach nicht.
Warum haben Unternehmen keine bessere Technologie implementiert?
Weil sie nicht in ausreichend widerstandsfähige Technologie investieren. Das ist das zweite Kriterium, das ich beschrieben habe. Es ist einfach, einen beschissenen Hashing-Algorithmus zu haben, der funktioniert. Aber wenn jemand schlau genug ist, wird er es umgehen können.
Wenn Sie zu YouTube gehen und auf ein Video klicken und dort steht, Entschuldigung, das wurde wegen Urheberrechtsverletzung entfernt, ist das eine Hashing-Technologie. Es heißt Inhalts-ID. Und YouTube hat diese Technologie seit jeher, weil wir in den USA den DMCA verabschiedet haben, den Digital Millennium Copyright Act, der besagt, dass Sie kein urheberrechtlich geschütztes Material hosten dürfen. Und so ist das Unternehmen wirklich gut darin geworden, es abzubauen. Damit Sie noch urheberrechtlich geschütztes Material sehen können, muss es wirklich radikal bearbeitet werden.
Dass nicht wenige Modifikationen durchgegangen sind, liegt also einfach daran, dass die Technik nicht gut genug ist. Und hier ist die Sache: Dies sind jetzt Billionen-Dollar-Unternehmen, über die wir gemeinsam sprechen. Wie kommt es, dass ihre Hashing-Technologie so schlecht ist?
Das sind übrigens dieselben Unternehmen, die so ziemlich alles über jeden wissen. Sie versuchen, es in beide Richtungen zu haben. Sie wenden sich an Werbetreibende und sagen ihnen, wie ausgeklügelt ihre Datenanalysen sind, damit sie sie für die Bereitstellung von Anzeigen bezahlen. Aber wenn wir sie dann fragen, warum ist dieses Zeug immer noch auf Ihrer Plattform? Sie sagen, nun, das ist ein wirklich schwieriges Problem.
Die Facebook-Dateien hat uns gezeigt, dass Unternehmen wie Facebook profitieren davon, Leute dazu zu bringen, unterzugehen Kaninchenlöcher. Aber ein Gewaltvideo, das sich auf Ihrer Plattform verbreitet, ist nicht gut fürs Geschäft. Warum reicht das nicht als finanzielle Motivation für diese Unternehmen, es besser zu machen?
Ich würde argumentieren, dass es auf eine einfache finanzielle Berechnung hinausläuft, dass die Entwicklung einer Technologie, die so effektiv ist, Geld und Mühe kostet. Und die Motivation wird nicht aus einer prinzipiellen Position kommen. Das ist das Einzige, was wir über das Silicon Valley verstehen sollten. Sie sind wie jede andere Branche. Sie führen eine Berechnung durch. Was kostet die Reparatur? Was kostet es, es nicht zu reparieren? Und es stellt sich heraus, dass die Kosten für das Nicht-Reparieren geringer sind. Und deshalb reparieren sie es nicht.
Warum glauben Sie, dass der Druck auf Unternehmen, auf dieses Problem zu reagieren und es zu beheben, nicht anhält?
Wir fahren fort. Sie bekommen ein paar Tage lang schlechte Presse, sie werden in der Presse herumgeohrfeigt und die Leute sind wütend, und dann machen wir weiter. Wenn es eine Hundert-Milliarden-Dollar-Klage gäbe, denke ich, würde das ihre Aufmerksamkeit erregen. Aber die Unternehmen haben einen phänomenalen Schutz vor Missbrauch und Schaden durch ihre Plattformen. Diesen Schutz haben sie hier. In anderen Teilen der Welt hacken die Behörden langsam daran herum. Das teilte die EU mit Gesetz über digitale Dienste das setzt eine Sorgfaltspflicht voraus [standard on tech companies]. Das wird anfangen zu sagen, wenn Sie nicht anfangen, die schrecklichsten Missbräuche auf Ihrer Plattform einzudämmen, werden wir Sie mit einer Geldstrafe von Milliarden und Abermilliarden von Dollar belegen.
[The DSA] würde ziemlich harte Strafen für Unternehmen verhängen, bis zu 6 % der weltweiten Gewinne, wenn sie die Gesetze nicht einhalten, und es gibt eine lange Liste von Dingen, die sie einhalten müssen, von Fragen der Kindersicherheit bis hin zu illegalem Material. Das Vereinigte Königreich arbeitet an einem eigenen Gesetzentwurf zur digitalen Sicherheit, der einen Sorgfaltspflichtstandard einführen würde, der besagt, dass Technologieunternehmen sich nicht hinter der Tatsache verstecken können, dass es sich um ein großes Internet handelt, es ist wirklich kompliziert und sie können nichts dagegen tun.
Und sehen Sie, wir wissen, dass das funktionieren wird. Vor dem DMCA war es ein Free-for-all da draußen mit urheberrechtlich geschütztem Material. Und die Unternehmen sagten, schau, das ist nicht unser Problem. Und als sie den DMCA bestanden haben, haben alle Technologien entwickelt, um urheberrechtlich geschütztes Material zu finden und zu entfernen.
Klingt auch nach Autoindustrie. Wir hatten keine Sicherheitsgurte, bis wir Vorschriften erschufen, die Sicherheitsgurte erforderten.
Stimmt. Ich erinnere Sie auch daran, dass es in den 1970er Jahren eine Karte namens Ford Pinto gab, bei der der Benzintank an der falschen Stelle platziert wurde. Wenn dich jemand anrempeln würde, würde dein Auto explodieren und alle würden sterben. Und was hat Ford getan? Sie sagten, ok, schau, wir können alle Autos zurückrufen, den Benzintank reparieren. Es wird diesen Betrag von Dollar kosten. Oder wir lassen es einfach in Ruhe, lassen ein paar Leute sterben, regeln die Prozesse. Es wird weniger kosten. Das ist die Rechnung, es ist billiger. Der Grund, warum die Berechnung funktionierte, liegt darin, dass die Deliktsreform nicht wirklich durchgeführt worden war. Es gab Obergrenzen für diese Klagen, die besagten, selbst wenn Sie wissentlich zulassen, dass Menschen aufgrund eines unsicheren Produkts sterben, können wir Sie nur auf eine begrenzte Menge verklagen. Und das haben wir geändert und es hat funktioniert: Produkte sind viel, viel sicherer. Warum also behandeln wir die Offline-Welt so, wie wir die Online-Welt nicht behandeln?
In den ersten 20 Jahren des Internets dachten die Leute, das Internet sei wie Las Vegas. Was im Internet passiert, bleibt im Internet. Es spielt keine Rolle. Aber es tut. Es gibt keine Online- und Offline-Welt. Was in der Online-Welt passiert, hat sehr, sehr große Auswirkungen auf unsere Sicherheit als Einzelpersonen, als Gesellschaften und als Demokratien.
Es gibt einige Gespräche über die Sorgfaltspflicht im Zusammenhang mit Abschnitt 230 hier in den USA – stellen Sie sich das als eine der Lösungen dafür vor?
Mir gefällt die Art und Weise, wie die EU und das Vereinigte Königreich darüber nachdenken. Wir haben ein riesiges Problem auf dem Capitol Hill, und zwar aus sehr unterschiedlichen Gründen, obwohl alle den Technologiesektor hassen. Wenn wir über Tech-Reformen sprechen, sagen konservative Stimmen, dass wir weniger Mäßigung haben sollten, weil Mäßigung schlecht für Konservative ist. Die Linke sagt, der Technologiesektor sei eine existenzielle Bedrohung für die Gesellschaft und die Demokratie, was der Wahrheit näher kommt.
Das bedeutet also, dass die Verordnung wirklich anders aussieht, wenn Sie denken, dass das Problem etwas anderes ist als das, was es ist. Und deshalb glaube ich nicht, dass wir auf Bundesebene viel Bewegung bekommen werden. Die Hoffnung ist, dass zwischen [regulatory moves in] Australien, die EU, das Vereinigte Königreich und Kanada, vielleicht könnte es eine Bewegung geben, die Druck auf die Technologieunternehmen ausüben würde, einige umfassendere Richtlinien zu verabschieden, die der Pflicht hier gerecht werden.