Anfang Dezember probierte Bader, die mittlerweile mehr als 800.000 Anhänger hat, eine zu kleine braune Lederhose von Zara an, und die Zuschauer erhaschten einen Blick auf ihren teilweise nackten Hintern. TikTok löschte das Video schnell und verwies auf seine Richtlinien gegen "Nacktheit bei Erwachsenen". Es war für Bader ärgerlich, dass ihr Video, das die Körperpositivität fördern sollte, entfernt wurde, während Videos von anderen TikTok-Benutzern, die sexuell suggestiv erscheinen, in der App verbleiben. "Das macht für mich keinen Sinn", sagte sie.
Julia Kondratink, eine 29-jährige biracial Bloggerin, die sich selbst als "mittelgroß" bezeichnet, hatte im Dezember einen ähnlich unerwarteten Abbau auf der Plattform. TikTok hat ein Video gelöscht, in dem sie wegen "Nacktheit bei Erwachsenen" blaue Dessous trägt. Http://rss.cnn.com/ "Ich war geschockt", sagte sie gegenüber CNN Business. "Es gab nichts Grafisches oder Unangemessenes."
Und Maddie Touma sagt, sie habe es schon mehrmals bei ihren Videos gesehen. Die 23-jährige TikTok-Influencerin mit fast 200.000 Anhängern hat Videos von ihr in Dessous und normaler Kleidung entfernt. Es brachte sie dazu, den Inhalt, den sie veröffentlicht, zu überdenken, was ein schwieriger Kompromiss sein kann, da ihre Mission die Körperpositivität ist.
"Ich habe tatsächlich angefangen, meinen Inhaltsstil zu ändern, weil ich befürchtet hatte, dass mein Konto entweder entfernt wird oder nur Auswirkungen darauf hat, dass ich so oft als Community-Richtlinien gekennzeichnet werde", sagte Touma.
Beim Scrollen durch Videos auf TikTok, der Kurzform-Video-App, die besonders bei Teenagern und 20-Jährigen beliebt ist, mangelt es nicht an leicht bekleideten Frauen und sexuell anregenden Inhalten. Wenn also kurvigere Influencer wie Bader und Touma ähnliche Videos veröffentlichen, die dann entfernt werden, müssen sie sich fragen, was passiert ist: War es ein Moderatorfehler, ein Algorithmusfehler oder etwas anderes? Zu ihrer Verwirrung trägt die Tatsache bei, dass die Videos auch nach einem Aufruf an das Unternehmen nicht immer wieder hergestellt werden.
Probleme mit der Moderation von Inhalten sind natürlich nicht auf TikTok beschränkt, aber es ist ein relativer Neuling im Vergleich zu Facebook, Twitter und anderen, die seit Jahren wegen ähnlicher Fehltritte einen Rückschlag erleiden. In regelmäßigen Abständen äußern Gruppen und Einzelpersonen Bedenken, dass die Plattformen die Reichweite ihrer Beiträge unangemessen und möglicherweise absichtlich zensieren oder einschränken, wenn die Wahrheit weit weniger klar ist. Bei den übergroßen Influencern ist nicht ersichtlich, ob sie mehr als jeder andere von der Deaktivierung von Inhalten betroffen sind, aber ihre Fälle bieten dennoch ein Fenster, um den chaotischen und manchmal inkonsistenten Prozess der Inhaltsmoderation zu verstehen.
Die Dunkelheit dessen, was diesen Influencern tatsächlich passiert ist, unterstreicht sowohl das Rätsel, wie Algorithmen und Inhaltsmoderation funktionieren, als auch die Macht, die diese Algorithmen und menschlichen Moderatoren – oft gemeinsam – darüber haben, wie wir kommunizieren und möglicherweise sogar über wessen Körper haben das Recht, im Internet angesehen zu werden. Branchenkenner sagen, dass die wahrscheinlichen Erklärungen von künstlicher Intelligenz bis zu kulturellen Blindspots von Moderatoren reichen. Aber diejenigen außerhalb der Branche fühlen sich im Dunkeln gelassen. Wie Bader und Adore Me festgestellt haben, können Posts verschwinden, selbst wenn Sie glauben, dass Sie die Regeln befolgen. Und die Ergebnisse können verwirrend und verletzend sein, selbst wenn sie unbeabsichtigt sind.
"Es ist frustrierend für mich. Ich habe Tausende von TikTok-Videos von kleineren Menschen in einem Badeanzug oder in der gleichen Art von Outfit gesehen, die ich tragen würde, und sie sind nicht wegen Nacktheit gekennzeichnet", sagte Touma. "Doch ich als übergroße Person bin markiert."
Ein Gefühl des Nichtwissens ist allgegenwärtig
Seit Jahren verlassen sich Tech-Plattformen auf Algorithmen, um zu bestimmen, was Sie online sehen, ob es sich um die Songs handelt, die Spotify für Sie spielt, die Tweets, die Twitter auf Ihrer Timeline zeigt, oder um die Tools, mit denen Hassreden auf Facebook erkannt und entfernt werden. Während viele der großen Social-Media-Unternehmen KI verwenden, um die Erfahrung ihrer Benutzer zu ergänzen, ist dies für die Verwendung von TikTok noch zentraler.
Die "For You" -Seite von TikTok, die sich auf KI-Systeme stützt, um Inhalte bereitzustellen, von denen sie glaubt, dass sie einzelnen Benutzern gefallen, ist die Standard- und vorherrschende Art und Weise, wie Benutzer die App verwenden. Die Bekanntheit der Seite "Für Sie" hat für viele TikTok-Benutzer einen Weg zum viralen Ruhm geschaffen und ist eine der bestimmenden Funktionen der App: Da sie KI verwendet, um bestimmte Videos hervorzuheben, können gelegentlich Personen ohne Follower Millionen von Videos sammeln Ansichten über Nacht.
Die Entscheidung von TikTok, Algorithmen zu verdoppeln, kommt jedoch zu einer Zeit weit verbreiteter Bedenken hinsichtlich Filterblasen und algorithmischer Verzerrung. Und wie viele andere soziale Netzwerke verwendet TikTok auch KI, um Menschen dabei zu helfen, eine große Anzahl von Posts zu sichten und unerwünschte Inhalte zu entfernen. Infolgedessen können Leute wie Bader, Kondratink und Touma, deren Inhalt entfernt wurde, versuchen, die Black Box zu analysieren, bei der es sich um KI handelt.
TikTok sagte gegenüber CNN Business, dass es keine Maßnahmen in Bezug auf Inhalte ergreift, die auf der Körperform oder anderen Merkmalen basieren, wie Adore Me behauptet, und das Unternehmen sagte, es habe Wert darauf gelegt, an Empfehlungstechnologien zu arbeiten, die mehr Vielfalt und Inklusion widerspiegeln. Darüber hinaus sagte das Unternehmen, dass in den USA ansässige Stellen möglicherweise von einem algorithmischen System gekennzeichnet werden, ein Mensch jedoch letztendlich entscheidet, ob sie entfernt werden sollen. Außerhalb der USA werden Inhalte möglicherweise automatisch entfernt.
KI-Experten erkennen an, dass die Prozesse teilweise undurchsichtig erscheinen können, da die Technologie selbst nicht immer gut verstanden wird, selbst von denen, die sie erstellen und verwenden. Inhaltsmoderationssysteme in sozialen Netzwerken verwenden normalerweise maschinelles Lernen, eine KI-Technik, bei der sich ein Computer selbst beibringt, eine Sache zu tun – beispielsweise Nacktheit in Fotos zu kennzeichnen -, indem er über einen Datenberg blättert und lernt, Muster zu erkennen. Obwohl es für bestimmte Aufgaben gut funktioniert, ist nicht immer klar, wie es genau funktioniert.
"Wir haben nicht oft viele Einblicke in diese Algorithmen für maschinelles Lernen und die daraus gewonnenen Erkenntnisse und wie sie ihre Entscheidungen treffen", sagte Haroon Choudery, Mitbegründer von AI for Anyone, einer gemeinnützigen Organisation, die sich zum Ziel gesetzt hat Verbesserung der KI-Kompetenz.
Aber TikTok möchte das Aushängeschild sein, um das zu ändern.
Ein Blick in die Black Box der Inhaltsmoderation
Schließlich, so das Unternehmen, können Gäste in den tatsächlichen Büros in Los Angeles und Washington, DC, "auf dem Platz eines Inhaltsmoderators sitzen, unsere Moderationsplattform nutzen, Beispielinhalte überprüfen und kennzeichnen und mit verschiedenen Erkennungsmodellen experimentieren."
"Die Marke von TikTok soll transparent sein", sagte Mutale Nkonde, Mitglied des TikTok-Beirats und Mitglied des Digital Civil Society Lab in Stanford.
Trotzdem ist es unmöglich, genau zu wissen, was in jeder Entscheidung zum Entfernen eines Videos aus TikTok steckt. Die KI-Systeme, auf die sich große Social-Media-Unternehmen verlassen, um das zu moderieren, was Sie veröffentlichen können und was nicht, haben eines gemeinsam: Sie verwenden Technologien, die immer noch am besten geeignet sind, um enge Probleme zu beheben, um ein weit verbreitetes Problem zu lösen. sich ständig ändernd und so nuanciert, dass es für einen Menschen sogar schwierig sein kann, es zu verstehen.
Aus diesem Grund ist Miriam Vogel, Präsidentin und CEO von Non-Profit EqualAI, das Unternehmen dabei hilft, die Verzerrung ihrer KI-Systeme zu verringern, der Ansicht, dass Plattformen versuchen, KI dazu zu bringen, zu viel zu tun, wenn es um die Moderation von Inhalten geht. Die Technologie ist auch anfällig für Verzerrungen: Wie Vogel betont, basiert maschinelles Lernen auf Mustererkennung, was bedeutet, dass schnelle Entscheidungen auf der Grundlage früherer Erfahrungen getroffen werden. Das allein ist implizite Voreingenommenheit; Die Daten, auf denen ein System trainiert wird, und eine Reihe anderer Faktoren können mehr Vorurteile in Bezug auf Geschlecht, Rasse oder viele andere Faktoren aufweisen.
"KI ist sicherlich ein nützliches Werkzeug. Sie kann enorme Effizienz und Vorteile bringen", sagte Vogel. "Aber nur, wenn wir uns seiner Grenzen bewusst sind."
Zum Beispiel, wie Nkonde betonte, wurde ein KI-System, das Text betrachtet, den Benutzer posten, möglicherweise darauf trainiert, bestimmte Wörter als Beleidigungen zu erkennen – vielleicht "groß", "fett" oder "dick". Solche Begriffe wurden von denjenigen in der Community der Körperpositivität als positiv zurückgefordert, aber die KI kennt den sozialen Kontext nicht. Es weiß nur, wie man Muster in Daten erkennt.
Darüber hinaus beschäftigt TikTok Tausende von Moderatoren, darunter Vollzeitbeschäftigte und Auftragnehmer. Die Mehrheit befindet sich in den USA, beschäftigt aber auch Moderatoren in Südostasien. Dies könnte dazu führen, dass beispielsweise ein Moderator auf den Philippinen möglicherweise nicht weiß, was Körperpositivität ist, sagte sie. Wenn diese Art von Video von der KI markiert wird und nicht Teil des kulturellen Kontexts des Moderators ist, wird es möglicherweise entfernt.
Moderatoren arbeiten im Schatten
Es bleibt unklar, wie genau die Systeme von TikTok für Bader, Touma und andere fehlgeschlagen sind, aber KI-Experten sagten, dass es Möglichkeiten gibt, die Art und Weise zu verbessern, wie das Unternehmen und andere Inhalte moderieren. Anstatt sich auf bessere Algorithmen zu konzentrieren, ist es jedoch wichtig, auf die Arbeit zu achten, die der Mensch leisten muss.
Liz O'Sullivan, Vizepräsidentin für verantwortliche KI bei der Algorithmusprüfungsfirma Arthur, ist der Ansicht, dass ein Teil der Lösung zur Verbesserung der Moderation von Inhalten im Allgemeinen darin besteht, die von diesen Mitarbeitern geleistete Arbeit zu verbessern. Oft, so stellte sie fest, arbeiten Moderatoren im Schatten der Technologiebranche: Die Arbeit wird an Call Center auf der ganzen Welt als schlecht bezahlte Vertragsarbeit ausgelagert, trotz der oft unappetitlichen (oder schlimmeren) Bilder, Texte und Videos, mit denen sie beauftragt sind mit sortieren durch.
Um unerwünschte Vorurteile zu bekämpfen, sagte O'Sullivan, ein Unternehmen müsse sich auch mit jedem Schritt des Aufbaus seines KI-Systems befassen, einschließlich der Kuratierung der Daten, die zum Trainieren der KI verwendet werden. Für TikTok, das bereits über ein System verfügt, kann dies auch bedeuten, die Funktionsweise der Software genauer zu beobachten.
Vogel stimmte zu und sagte, dass Unternehmen einen klaren Prozess haben müssen, um nicht nur KI-Systeme auf Verzerrungen zu überprüfen, sondern auch um festzustellen, nach welchen Verzerrungen sie suchen, wer für die Suche nach ihnen verantwortlich ist und welche Ergebnisse in Ordnung und nicht in Ordnung sind.
"Man kann Menschen nicht aus dem System herausholen", sagte sie.
Wenn keine Änderungen vorgenommen werden, können die Konsequenzen nicht nur von den Nutzern sozialer Medien, sondern auch von den Technologieunternehmen selbst wahrgenommen werden.
"Es hat meine Begeisterung für die Plattform verringert", sagte Kondratink. "Ich habe darüber nachgedacht, mein TikTok komplett zu löschen."