KI-Bildapps: Lücken beim Jugendschutz in US-Test

Wer am Handy seines Kindes einen Download freigibt, muss sich ein Bild von der gewünschten App machen können. Eine niedrige Altersangabe hilft dabei nur, wenn sie zum tatsächlichen Angebot passt. Bei KI-Bildbearbeitung können hinter einer unauffälligen Oberfläche Funktionen stecken, mit denen Menschen auf Fotos sexualisiert dargestellt werden.

Die Elternfreigabe gehörte zum Versuch

Für seine am 19. Oktober veröffentlichte Untersuchung richtete TTP je zwei Apple- und Google-Konten für einen 13-jährigen Nutzer in den USA ein. Je eines davon erhielt Elternkontrollen samt Altersfilter und Genehmigungspflicht für Downloads und Käufe. Getestet wurden Suchergebnisse und auffällige App-Werbungen; als Bildmaterial dienten mit KI erzeugte Bilder erfundener Frauen.

Bei den beaufsichtigten Konten übernahmen die Forschenden auch die Elternrolle: Sie genehmigten alle Downloads, deren Altersangabe zum Testkonto passte. Der Versuch belegt deshalb keinen generellen Download ohne Elternfreigabe bei eingeschalteter Genehmigungspflicht. Er untersucht unter anderem, welche Apps eine solche Freigabe wegen ihrer Alterskennzeichnung überhaupt nahelegen.

Warum die Altersangabe täuschen kann

Wie diese Angaben entstehen, beschreiben beide Unternehmen selbst. Apple ermittelt die Alterseinstufung anhand eines Fragebogens, den App-Anbieter ausfüllen. Bei Google Play bestimmen die Antworten der Anbieter die Einstufung durch verschiedene Bewertungsstellen. Die Anbieter tragen damit wesentliche Informationen über ihre eigenen Inhalte bei.

Nach TTPs Befunden passten manche niedrigen Einstufungen nicht zu den sexuellen Funktionen. Ein Filter, der solche Apps anhand ihrer Altersangabe zulässt, kann technisch arbeiten und trotzdem ungeeignete Angebote durchlassen. Eltern müssten dann Funktionen erkennen, vor denen sie die Kennzeichnung eigentlich warnen sollte.

Auch die Gesamtzahl von 135 Apps braucht eine Erklärung. TTP zählt zur Kategorie „Nudify“ auch Anwendungen, die bekleidete Personen in Bikini oder Unterwäsche darstellen können. Die Zahl bezeichnet daher keine einheitliche Sammlung von 135 Porno-Apps. Apple widerspricht der breiten Einordnung: Bikini- und Unterwäsche-Bearbeitungen allein fallen nach seiner gegenüber TTP erläuterten Sicht nicht unter „Nudification“. Der Bericht umfasst somit unterschiedlich weitgehende Bildfunktionen und eine umstrittene Definition.

Abo-Käufe waren ein eigener Prüfschritt

Zusätzlich untersuchte TTP kostenpflichtige Funktionen bereits installierter Apps. Dafür bezahlten die Testkonten Abos mit Geschenkkarten. Laut Bericht erhielten die verknüpften Elternkonten dabei keine Anfrage; manche sexualisierenden Funktionen waren erst nach einer Zahlung verfügbar. Diese Beobachtung betrifft die spätere Kaufkontrolle.

Apple erklärte TTP, solche Käufe hätten eine Elternfreigabe auslösen sollen. Ein abweichendes Verhalten sei unerwartet und werde untersucht. Google beantwortete TTPs konkrete Frage dazu laut Bericht nicht. Apples Hilfeseite zur Kaufanfrage beschreibt, welche Downloads und In-App-Käufe eine Elternanfrage auslösen. Die Altersbewertung einer App und die Genehmigung einer Zahlung sind getrennte Kontrollen.

Was Apple und Google dazu sagen

Google teilte TTP mit, regelwidrige Apps gesperrt und entsprechende Suchbegriffe eingeschränkt zu haben. Dem Guardian erklärte Apple zusätzlich, man habe auch bei den weiteren im Bericht genannten Apps Maßnahmen ergriffen. Das ist eine Unternehmensauskunft; wie umfassend einzelne Funktionen dadurch verschwunden sind, ist damit noch nicht unabhängig belegt.

Bereits am 16. Oktober hatte Apple Änderungen seiner App-Prüfregeln angekündigt. Die Mitteilung nennt unter anderem Klarstellungen zu Schutzmaßnahmen bei nutzergenerierten Inhalten und zu versteckten oder nicht dokumentierten Funktionen.

Was der US-Test für Familien hier bedeutet

Vier gezielt eingesetzte Testkonten zeigen konkrete Zugangswege. Daraus lässt sich weder ablesen, wie viele Jugendliche solche Apps nutzen, noch eine identische Verfügbarkeit im deutschsprachigen Raum ableiten. Für erkannte minderjährige Nutzer dokumentiert Google im Europäischen Wirtschaftsraum und in der Schweiz zusätzliche Sperren für Apps mit Erwachsenenfreigabe. Auch Apple weist auf regionale Unterschiede bei seinen Elternfunktionen hin. Eine eigene Prüfung mit hiesigen Konten hat Mimikama für diesen Artikel nicht vorgenommen.

Für Eltern lässt sich daraus ableiten, Altersangaben als eine Orientierung zu behandeln und sich eine gewünschte Bildapp gemeinsam anzusehen. Auch ihre kostenpflichtigen Funktionen verdienen Aufmerksamkeit. Zum Gespräch gehört die Zustimmung der abgebildeten Person: Ein öffentlich verfügbares Foto ist keine Einwilligung, daraus eine sexualisierte Darstellung zu machen. Elternkontrollen können die Begleitung unterstützen; eine Alterszahl allein erklärt noch nicht, was eine App mit einem Foto anstellen kann.