Google hat sich geweigert, das Konto eines Mannes wiederherzustellen, nachdem es medizinische Bilder, die er von der Leiste seines Sohnes aufgenommen hatte, fälschlicherweise als Material für sexuellen Missbrauch von Kindern (CSAM) gekennzeichnet hatte. Die New York Times zuerst gemeldet. Experten sagen, dass es ein unvermeidlicher Fallstrick ist, wenn man versucht, eine technologische Lösung für ein gesellschaftliches Problem anzuwenden.
Experten warnen seit langem vor den Grenzen automatisierter Bilderkennungssysteme für sexuellen Missbrauch von Kindern, insbesondere da Unternehmen behördlichem und öffentlichem Druck ausgesetzt sind, zur Bekämpfung des Vorhandenseins von sexuellem Missbrauchsmaterial beizutragen.
„Diese Unternehmen haben Zugang zu einer ungeheuer invasiven Menge an Daten über das Leben von Menschen. Und immer noch haben sie nicht den Kontext dessen, was das Leben der Menschen tatsächlich ist“, sagte Daniel Kahn Gillmor, leitender Technologe an der ACLU. “Es gibt alle möglichen Dinge, bei denen nur die Tatsache Ihres Lebens für diese Informationsgiganten nicht so gut lesbar ist.” Er fügte hinzu, dass die Nutzung dieser Systeme durch Technologieunternehmen, die „als Stellvertreter“ für die Strafverfolgung fungieren, die Menschen dem Risiko aussetze, von „der Macht des Staates“ „mitgerissen“ zu werden.
Der Mann, der nur von der New York Times als Mark identifiziert wurde, machte Fotos von der Leiste seines Sohnes, um sie an einen Arzt zu schicken, nachdem er festgestellt hatte, dass sie entzündet war. Der Arzt verwendete dieses Bild, um Marks Sohn zu diagnostizieren und Antibiotika zu verschreiben. Als die Fotos automatisch in die Cloud hochgeladen wurden, identifizierte Googles System sie als CSAM. Zwei Tage später wurden Marks Gmail- und andere Google-Konten, einschließlich Google Fi, das seinen Telefondienst bereitstellt, wegen „schädlicher Inhalte“ deaktiviert, die „eine schwerwiegende Verletzung der Unternehmensrichtlinien darstellen und möglicherweise illegal sind“, berichtete die Times unter Berufung auf a Nachricht auf seinem Handy. Später fand er heraus, dass Google ein weiteres Video auf seinem Handy gemeldet hatte und dass die Polizei von San Francisco Ermittlungen gegen ihn einleitete.
Mark wurde von jeglichem kriminellen Fehlverhalten freigesprochen, aber Google hat erklärt, dass es zu seiner Entscheidung stehen wird.
„Wir folgen dem US-Recht bei der Definition, was CSAM ausmacht, und verwenden eine Kombination aus Hash-Matching-Technologie und künstlicher Intelligenz, um es zu identifizieren und von unseren Plattformen zu entfernen“, sagte Christa Muldoon, eine Sprecherin von Google.
Muldoon fügte hinzu, dass Google-Mitarbeiter, die CSAM überprüfen, von medizinischen Experten geschult wurden, um nach Hautausschlägen oder anderen Problemen zu suchen. Sie selbst seien jedoch keine medizinischen Experten, und medizinische Experten seien bei der Überprüfung der einzelnen Fälle nicht konsultiert worden, sagte sie.
Das ist laut Gillmor nur eine Möglichkeit, wie diese Systeme Schaden anrichten können. Um beispielsweise mögliche Einschränkungen von Algorithmen bei der Unterscheidung zwischen schädlichen Bildern sexuellen Missbrauchs und medizinischen Bildern zu beheben, haben Unternehmen oft einen Menschen auf dem Laufenden. Aber diese Menschen sind selbst von Natur aus in ihrem Fachwissen begrenzt, und um den richtigen Kontext für jeden Fall zu erhalten, ist ein weiterer Zugriff auf Benutzerdaten erforderlich. Gillmor sagte, es sei ein viel aufdringlicherer Prozess, der immer noch eine ineffektive Methode zum Nachweis von CSAM sein könnte.
„Diese Systeme können den Menschen echte Probleme bereiten“, sagte er. „Und es ist nicht nur so, dass ich nicht glaube, dass diese Systeme jeden Fall von Kindesmissbrauch aufdecken können, es ist auch so, dass sie wirklich schreckliche Folgen in Bezug auf Fehlalarme für die Menschen haben. Das Leben der Menschen kann wirklich auf den Kopf gestellt werden, wenn die Maschinerie und die Menschen im Kreislauf einfach eine schlechte Entscheidung treffen, weil sie keinen Grund haben, zu versuchen, sie zu reparieren.“
Gillmor argumentierte, dass Technologie nicht die Lösung für dieses Problem sei. Tatsächlich könnten viele neue Probleme entstehen, sagte er, einschließlich der Schaffung eines robusten Überwachungssystems, das den Randgruppen unverhältnismäßigen Schaden zufügen könnte.
„Es gibt einen Traum von einer Art Techno-Solutionists-Sache, [where people say], ‚Oh, wissen Sie, es gibt eine App, mit der ich ein günstiges Mittagessen finde, warum kann es keine App geben, mit der ich eine Lösung für ein heikles soziales Problem finden kann, wie den sexuellen Missbrauch von Kindern?’“, sagte er. „Nun, wissen Sie, sie sind möglicherweise nicht mit denselben Technologien oder Fähigkeiten lösbar.“