iStock; Insider
- Die Rolle der sozialen Medien bei der Radikalisierung von Extremisten hat in den letzten Jahren drastisch zugenommen.
- Einige rechtsextreme TikToker verwenden ein Meme-ähnliches Format in ihren Inhalten, um der Moderation von Inhalten auszuweichen.
- TikTok verbreitet gewalttätige, weiße supremacistische Inhalte für Benutzer, die mit Anti-Trans-Inhalten interagieren.
EIN aktuelle Studie des linksgerichteten gemeinnützigen Wächters Media Matters fanden heraus, dass der Algorithmus der Social-Networking-App, wenn ein TikTok-Benutzer ausschließlich mit transphoben Inhalten und Erstellern interagiert, nach und nach beginnt, seine „Für dich“-Seite mit weißen supremacistischen, antisemitischen und rechtsextremen Videos sowie Aufrufen zu Gewalt zu füllen.
TikTok wurde 2016 vom chinesischen Technologie-Startup ByteDance ins Leben gerufen und verzeichnete während der COVID-19-Pandemie einen Anstieg des Nutzerwachstums und 1 Milliarde Nutzer gewonnen in fünf Jahren weltweit, von denen viele Teenager und junge Erwachsene sind.
Im Jahr 2020 stufte die App mehr als ein Drittel ihrer täglichen Nutzer als 14 Jahre oder jünger ein. Das berichtete die New York Times. Ein ehemaliger TikTok-Mitarbeiter stellte fest, dass Videos und Konten von Kindern, die jünger als das Mindestalter der App von 13 Jahren waren, wochenlang online bleiben durften. Die Times berichtete, was Fragen zu den von der Plattform ergriffenen Maßnahmen zum Schutz ihrer Nutzer vor Fehlinformationen, Hassreden und sogar gewalttätigen Inhalten aufwirft.
In dem Experiment erstellten Forscher von Media Matters einen Dummy-Account, interagierten mit Anti-Trans-Inhalten und bewerteten dann die ersten 400 Videos, die dem Account zugeführt wurden. Einige der Videos wurden entfernt, bevor sie analysiert werden konnten, während andere gesponserte Werbung ohne Bezug zur Studie waren. Von den verbleibenden 360 Videos fanden die Forscher:
- 103 enthielt anti-trans- und/oder homophobe Narrative
- 42 waren frauenfeindlich
- 29 enthielten rassistische Narrative oder weiße supremacistische Botschaften
- 14 befürwortete Gewalt
“Während sich fast 400 wie eine große Anzahl von Videos anhören mögen, wenn ein Benutzer Videos durchschnittlich jeweils 20 Sekunden lang ansieht, könnte er 400 Videos in etwas mehr als zwei Stunden konsumieren. Ein Benutzer könnte die App möglicherweise beim Frühstück herunterladen und offen gefüttert werden.” weiße Vorherrschaft und Neonazi-Inhalte vor dem Mittagessen”, die studie abgeschlossen.
Die rechtsextreme Bewegung hat in der Vergangenheit Anti-Trans-Rhetorik angenommen, und rechte Anwerber wissen, dass “weichere Ideen” wie Transphobie verwendet werden können, um Neuankömmlinge an extremere Überzeugungen heranzuführen, Melody Devries, eine Doktorandin der Ryerson University, die Rechtsextreme studiert Rekrutierung und Mobilisierung, sagte Insider.
“Die Videos, die die Leute in den Kaninchenbau bringen, sind leider Vorurteile, die in der Gesellschaft nicht als extrem gelten”, sagte Devries.
Unvorhergesehene Folgen des digitalen Zeitalters
Vor dem Aufkommen der sozialen Medien formten Einzelpersonen ihre Überzeugungen überwiegend durch reale Netzwerke von Beziehungen zu Eltern, Familienmitgliedern und Freunden. Social-Media-Plattformen gaben Einzelpersonen jedoch die Möglichkeit, diese sozialen Netzwerke durch den Aufbau von Communities in Online-Umgebungen zu erweitern.
Die schnelle Expansion und Entwicklung digitaler Räume hat extremistische Inhalte und Ideologien aus Nischenbereichen des Internets auf Plattformen übertragen, die von Milliarden von Nutzern frequentiert werden.
„Nun können Facebook, Instagram, Twitter, all unsere Kommunikationsplattformen, die wir als die am einfachsten zu nutzenden bezeichnen, der Ausgangspunkt sein [of radicalization]. Und dann kann eine Person zu mehrschichtigen Anwendungen wechseln, die schwerer zu durchdringen sind”, sagte Thomas Holt, Professor und Direktor der Michigan State University School of Criminal Justice, gegenüber Insider.
Laut der Nationales Konsortium für das Studium des Terrorismus und der Reaktionen auf den Terrorismus (NCSTRT) hat die Rolle der sozialen Medien im Extremismus in den letzten Jahren drastisch zugenommen.
Im Jahr 2012 gaben nur 48% der Extremisten an, die in Profiles of Individual Radicalization in the United States (PIRUS), einem NCSTRT-Datensatz, aufgeführt sind, dass soziale Medien eine Rolle bei ihrer Radikalisierung gespielt haben. Bis 2016 nutzten 86,75 % der PIRUS-gelisteten Extremisten soziale Medien in ihrem Radikalisierungsprozess. laut einem NCSRT-Forschungsbrief.
Holt erwähnte Facebook, Instagram und Twitter, die alle entweder ein Jahrzehnt oder mehr als ein Jahrzehnt alt sind. Aber in den letzten fünf Jahren hat sich TikTok zu einer der am schnellsten wachsenden Social-Media-Plattformen aller Zeiten entwickelt, die für ihren leistungsstarken Algorithmus bekannt ist, der hochgradig maßgeschneiderte Videos bereitstellt.
Es hat mehr als 100 Millionen tägliche Nutzer in den USA, laut CNBC, und ist in letzter Zeit in den Mittelpunkt der Überprüfung seines Algorithmus gerückt, was die Schöpfer von Black und LGBTQ gesagt haben zensiert ihre Stimmen und setzt gezielte Belästigungen fort.
Wie Big Tech die Selbstradikalisierung rationalisierte
Weil Social-Media-Gewinnmodelle verlassen sich stark auf das Engagement der Benutzer, wählen die meisten Unternehmen den sprichwörtlichen “Mittelweg” bei der Moderation von Inhalten, um Zensurvorwürfe von beiden Seiten des politischen Spektrums zu vermeiden und letztendlich ihrem Gewinn zu schaden, so Devries.
“Die Tatsache, dass diese Plattformen damit völlig in Ordnung sind, weil dies ihr Gewinnmotiv ist, und das ist ihr Design, ist meiner Meinung nach ein Problem und trägt offensichtlich dazu bei, wie die rechte Kommunikation transformiert wird”, sagte Devries gegenüber Insider.
Die Moderation von unterdurchschnittlichen Inhalten hat es ermöglicht, dass implizite extremistische Inhalte weitgehend auf Plattformen verbleiben und manchmal bis zu Millionen von Nutzern erreichen. Viele der extremistischen TikTok-Videos analysiert von Media Matters ein “memetisches Format” verwendet oder die einzigartige Kombination der Plattform aus Audio, Video und Text verwendet, um gegen Community-Richtlinien zu verstoßen.
Zum Beispiel verwendeten mehrere der FYP-Videos des Dummy-Accounts der Forscher einen Ton namens “Teddy”, der die erste Zeile von “Unabomber” Ted Kaczynskis Manifest zitiert: “Die industrielle Revolution und ihre Folgen waren eine Katastrophe für die Menschliche Rasse.”
Der Sound, der in mehr als 1.200 Videos verwendet wurde, ist auf dem rechten TikTok populär geworden.
„In den Videos, die wir überprüft haben, wurde es häufig mit Montagen von Screenshots von LGBTQ-Livestreams auf TikTok kombiniert. Diese Videos verwenden nicht nur Audio, das einem Terroristen huldigt, sondern fördern auch die Belästigung von LGBTQ-TikTok-Benutzern.“ Media Matters-Forscher schrieben.
Obwohl der „Teddy“-Sound möglicherweise nicht ausdrücklich gegen die Richtlinien der Plattform verstößt, kommunizieren Videos, die ihn verwenden, häufig hasserfüllte, gefährliche und sogar gewalttätige Botschaften, wenn der gesamte Inhalt berücksichtigt wird, einschließlich anderer Komponenten wie Grafiken und Text.
Das Internet ist zu einer kritischen Ressource für extremistische Gruppen geworden und Schlupflöcher in Bezug auf Gemeinschaftsrichtlinien ermöglichen es ihnen, ihre Ideologien auf subtile und überzeugende Weise einem größeren Publikum bekannt zu machen, so Holts Forschung zu abweichendem Verhalten.
“Ob [viewers] Ob Sie es zunächst glauben oder nicht, im Laufe der Zeit spalten diese Interaktionen mit diesem Inhalt langsam ihr ideologisches Glaubenssystem ab und bauen ein neues auf, das auf den in diesem Inhalt präsentierten Ideen basiert”, sagte Devries.
Stoppen von Online-Interaktionen mit extremistischen Inhalten
Die Auswirkungen von Desinformation, Fehlinformationen und Radikalisierung, die durch soziale Medien verbreitet werden — Aufstände, Fragen der nationalen Sicherheit, und selbst Völkermord – sind seit Jahren auf der ganzen Welt zu spüren.
„Es sind nicht nur die USA. Jedes Land ist in irgendeiner Weise von der Nutzung und dem Missbrauch von Social-Media-Plattformen für Desinformation, Fehlinformationen oder Radikalisierung betroffen soweit es bereitgestellt werden kann, Transparenz bei der Meldung und Entfernung”, sagte Holt gegenüber Insider.
Devries fügte jedoch hinzu, es gehe nicht darum, Gegenfakten zu präsentieren; die Interaktionen selbst müssen gestoppt werden.
In ihrer ethnografischen Analyse der rechtsextremen Facebook-Räume hat Devries gesehen, wie die Plattform Infografiken hinzufügte, die davor warnten, dass ein Beitrag Fehlinformationen enthält, um Inhalte zu moderieren, ein Ansatz, den sie für nicht intuitiv hält.
„Die Leute interagieren nicht nur mit den falschen Inhalten selbst, sie interagieren auch mit der Tatsache, dass Facebook versucht hat, sie zu zensieren. So wird die Infografik selbst zu einem weiteren Inhalt, mit dem sie interagieren und in ihre Ideologie einfließen können“, sagte Devries Insider.
Auf die Frage nach einem Kommentar sagte ein Facebook-Sprecher, dass das Unternehmen versuche, möglichst vielen Menschen eine positive Erfahrung auf Facebook zu ermöglichen und Schritte unternehme, um die Sicherheit der Menschen zu gewährleisten, einschließlich der Bereitstellung von 5 Milliarden US-Dollar im nächsten Geschäftsjahr für Sicherheit und Schutz.
Als eine Untersuchung des Wall Street Journal aufdeckte, wie Facebook reale Schäden verbreitete, indem es Hassreden und Fehlinformationen nicht moderierte, räumte das Unternehmen in einem Blog vom September 2021 dass es „Sicherheitsherausforderungen nicht früh genug im Produktentwicklungsprozess angegangen ist“.
Anstatt reaktive Lösungen wie die Moderation von Inhalten zu verfolgen, schlägt Holt vor, dass Social-Media-Unternehmen den Online-Extremismus auf ihren Plattformen abschwächen, indem sie Lösungen implementieren, wie sie zum Entfernen von Inhalten zur sexuellen Ausbeutung von Kindern verwendet werden.
Werkzeuge wie Microsofts PhotoDNA werden verwendet, um die Online-Weiterleitung von Inhalten zur sexuellen Ausbeutung von Kindern zu stoppen, indem ein “Hash” erstellt wird, der als eine Art digitaler Fingerabdruck fungiert, der mit einer Datenbank illegaler Bilder verglichen werden kann, die von Überwachungsorganisationen und Unternehmen zusammengestellt wurde, laut Microsoft.
Wenn diese Art von Technologie mit sozialen Medien überlagert würde, könne sie automatisiert werden, um Inhalte zu entfernen, die mit Extremismus oder gewalttätigen Ideologien in Verbindung stehen.
Diese Lösung basiert jedoch auf Social-Media-Plattformen, die interne Änderungen vornehmen. In der Zwischenzeit setzt sich Holt für eine bessere öffentliche Aufklärung auf diesen Plattformen und für den verantwortungsvollen Umgang mit ihnen ein.
„Ja, die Katze ist aus dem Sack. Ich weiß nicht, wie wir sie zurückdrehen und unsere Nutzung sozialer Medien minimieren. Stattdessen scheint es, als müssten wir die Öffentlichkeit, insbesondere junge Leute, besser aufklären, um verstehen, ‘So funktionieren die Plattformen, hier ist, was da sein könnte'”, sagte Holt gegenüber Insider.
Letztendlich sind sich sowohl Holt als auch Devries einig, dass mehr Forschung erforderlich ist, um zu analysieren, wie neuere Plattformen wie TikTok verwendet werden, um Extremisten zu mobilisieren und Neuankömmlinge in ihrer Ideologie zu radikalisieren, sowie um Lösungen zu finden, um die Folgen zu minimieren und ihnen entgegenzuwirken.
TikTok teilte Insider mit, dass alle in der Media Matters-Studie zitierten Inhalte von der Plattform entfernt wurden, weil sie gegen die Richtlinien zu hasserfülltem Verhalten verstoßen. Darüber hinaus skizzierte das Unternehmen die in sein Produkt integrierten Anti-Missbrauchs-Maßnahmen, einschließlich der Hinzufügung neuer Kontrollen, die es Benutzern ermöglichen, mehrere Kommentare gleichzeitig zu löschen oder zu melden und Konten in großen Mengen zu sperren.
Trotzdem sagte Eric Han, Leiter der US-Sicherheit für TikTok, in einem Oktober-Erklärung dass Belästigung und Hassreden „sehr nuancierte und kontextbezogene Probleme sind, die es jedes Mal schwierig sein können, sie richtig zu erkennen und zu moderieren“.
„Um ein sicheres und unterstützendes Umfeld für unsere Gemeinde und insbesondere für Jugendliche zu gewährleisten, arbeiten wir jeden Tag daran, unsere Richtlinien und Praktiken zu lernen, anzupassen und zu stärken.“ sagte TikToks Transparenzbericht für das zweite Quartal 2021.