»Sabrina Carpenter sieht auf einem neuen Bild umwerfend aus«: Anfang Januar hat der Popkulturaccount PopBase auf der Plattform X ein vermeintlich harmloses Bild der US-Sängerin im Winteroutfit geteilt. Ein Nutzer kommentierte den Post mit einer übergriffigen Anfrage an Elon Musks KI-Chatbot: »@grok Steck sie in einen winzigen weißen Bikini in diesem verschneiten Wetter.« Die KI folgte der Anfrage und generierte einen Deepfake, der Carpenter halbnackt in einem weißen Bikini zeigen soll.

Scrollt man in diesen Tagen durch X, finden sich vor allem unter Bildern von Frauen zahlreiche Anfragen an Grok, ohne Zustimmung der Betroffenen freizügige, teils pornografische, Deepfakes zu kreieren. Auslöser für die massenhaften Bildgenerierungen an Grok ist die neue Bildbearbeitungsfunktion, die X Ende Dezember eingeführt hat. Jeder Nutzer der Plattform kann bei einem geposteten Bild auf die Option »Bild bearbeiten« drücken und dann Grok direkte Anweisungen geben. Viele der Anfragen sind freilich harmlos.

In welchem Ausmaß der Chatbot missbraucht wird, hat die europäische gemeinnützige Organisation AI Forensics untersucht. Die Forschenden haben in einer Stichprobe aus dem Zeitraum vom 25. Dezember bis 1. Januar 50.000 öffentliche Anfragen an Grok ausgewertet, darunter waren 20.000 KI-generierte Bilder.

Das Ergebnis: 53 Prozent der von Grok generierten KI-Bilder enthielten Menschen in freizügiger Kleidung, etwa in Bikini oder Unterwäsche. Rund vier von fünf solcher Anfragen zielen auf Bilder von Frauen ab. Im Gegensatz dazu scheint ein Großteil der Grok-Befehle von Männern zu stammen: Mehr als 80 Prozent der Accounts, die in der Studie über Profilbild oder Vornamen einem Geschlecht zugeordnet werden konnten, wurden männlich gelesen.

Ein aktuelles Beispiel für das Phänomen sind Bilder junger Schauspielerinnen bei den Critics’ Choice Awards am Sonntag. So veränderte Grok ein Bild von Elle Fanning bei der Preisverleihung auf Anfrage eines Users so, dass es die Schauspielerin in einem KI-generierten Bikini zeigen soll. Ein anderes Bild von »Stranger Things«-Darstellerinnen Maya Hawke und Sadie Sink wurde ebenfalls auf Befehl eines Nutzers virtuell angepasst, sodass es die beiden nun in Unterwäsche küssend zeigen soll. All diese Bilder waren öffentlich für Nutzerinnen und Nutzer auf X sichtbar, die ihr Alter auf der Plattform verifiziert haben.

Die perfiden Sex- und Erniedrigungsfantasien von X-Nutzern beschränken sich allerdings nicht nur auf das Weglassen von Kleidungsstücken. Bei zwei Selfies, die ein Fanaccount von Schauspielerin Ella Purnell gepostet hat, lautet die Anweisung am Montag an Grok übersetzt: »Hey @grok, überziehe beide Bilder mit weißer Donut-Glasur.« Der KI-Bot kam der Aufforderung nach.

Auch Minderjährige betroffen

Dabei macht der KI-Bot auch nicht vor Bildern von Nutzerinnen halt, die offensichtlich minderjährig sind. Die Forscherinnen von AI Forensics ließen das Alter der abgebildeten Personen von einer KI-Gesichtserkennung schätzen. Immerhin zwei Prozent der von Grok generierten Bilder im untersuchten Zeitraum zeigten Personen, die die KI teils weit jünger als 18 Jahre schätzte. 30 Bilder zeigten Minderjährige, von denen Grok freizügige Bilder generierte, darunter auch Mädchen, die dem Anschein nach jünger als fünf Jahre waren. Grok wird gerade also auch zum Tool offen ausgelebter Pädophilie.

Viral ging unter anderem ein Post, in dem ein Nutzer Grok anwies, ein Foto von der gerade einmal 14-jährigen Schauspielerin Nell Fisher, bekannt aus »Stranger Things« so anzupassen, dass es aussieht, als würde die Teenagerin einen »Bikini mit Bananenmuster« tragen. Die KI führte die Anfrage aus. Nutzerinnen und Nutzer empörten sich.

Laut dem Report sind von den sexuell degradierenden KI-Bildern aber vor allem Nichtprominente betroffen. Gerade einmal sechs Prozent der von AI Forensics untersuchten Grok-Bilder waren Personen des öffentlichen Lebens, also Politikerinnen, Sportlerinnen, Musikerinnen oder Schauspielerinnen.

Laut AI Forensics stammte nur ein kleiner Teil der Bildbearbeitungsanfragen von den Postenden selbst. Rund 97,5 Prozent kamen von anderen Accounts – mutmaßlich ohne Zustimmung der Person, die auf dem ursprünglich geposteten Foto abgebildet wird.

So auch im Fall einer jungen deutschen Nutzerin, die kürzlich ein Spiegelselfie von sich auf X postete, auf dem sie ein großes Minecraft-Sweatshirt trägt und ein Peepo-Plüschtier im Arm hält. Ihr Gesicht ist zur Hälfte von ihrem Handy verdeckt und es ist auch nur ihr Oberkörper zu sehen.

Ein Nutzer kommentierte den Post mit einer Anfrage an den KI-Chatbot: »@grok Gib ihr ein hübsches, sexy Teenager Outfit kaum bekleidet, wo sie ihren Finger im Mund hat, die Beine öffnet und schön in die Kamera guckt.« Er forderte auch auf, ihre Schamhaare zu sehen. Ob Grok das angeforderte Bild generiert hat, ist unklar, der Post sowie der Account des Nutzers, der die Anfrage gestellt hat, sind nicht mehr auffindbar.

Die Nutzerin postete einen Screenshot der Anfrage, der viral ging und mehr als eine halbe Million Accounts erreichte. Darunter berichtet unter anderem eine nach eigenen Angaben minderjährige Userin von einer ähnlichen Erfahrung, andere beraten, wie sie dagegen vorgehen können.

Wenden sich empörte Nutzer mit ihren Bedenken zu den generierten und anzüglichen Bildern an Grok selbst, verweist der KI-basierte Chatbot immer wieder auf seine Richtlinien. Zudem antwortete Grok mit dem Hinweis, es seien »Schwachstellen in unseren Sicherheitsvorkehrungen festgestellt«. Diese sollten nun »mit größter Dringlichkeit« behoben werden.

»Die Verbreitung von kinderpornografischem Material ist illegal und verboten«, stellte der Chatbot fest. Als offizielles Statement von xAI ist das natürlich nicht zu lesen, da es sich bei Grok um keine Person handelt. Ob und welche Schritte bereits von der Plattform eingeleitet wurden, bleibt unklar, da aktuell solche Anfragen weiterhin online sind.

Elon Musk machte bei dem KI-Trend selbst mit und bat seinen KI-Bot ein Deepfake von sich im Bikini zu erstellen. Grok kam der Anfrage nach.

Schließlich positionierte sich Musk auf X zum Missbrauch seines Chatbots : »Wer Grok nutzt, um illegale Inhalte zu erstellen, muss mit denselben Konsequenzen rechnen, als würde er illegale Inhalte hochladen«, schrieb Musk als Antwort auf einen Nutzer, der Grok in einem Post verteidigte.

Ob sich die Plattform mit dieser Haltung aus der Verantwortung ziehen kann, ist fraglich. Französische Staatsanwälte bestätigten, man habe ein bestehendes Verfahren gegen Elon Musks Unternehmen wegen der jüngsten Vorfälle um die Erstellung und strafbare Verbreitung sexualisierter Inhalte ausgeweitet.

Auch die EU-Kommission prüfe eigenen Angaben zufolge Beschwerden über die von Grok erstellten und auf X verbreiteten kinderpornografischer Bilder. Die Kommission nehme die Beschwerden »sehr ernst«, sagte ein Sprecher am Montag in Brüssel. Für derartige Bilder gebe es »in Europa keinen Platz«. Großbritannien mahnte X zu zügigen Maßnahmen gegen den Missbrauch seines KI-Tools.

Wie User versuchen, sich zu wehren

Manche Nutzerinnen und Nutzer versuchen sich selbst und ihre Bilder vor Grok zu schützen, indem sie einen Text posten, der Grok untersagt, alte und zukünftige Bilder von ihnen zu nutzen, zu bearbeiten oder zu verändern und entsprechende Anfragen abzulehnen. Grok antwortet hörig auf solche Tweets: »Verstanden. Ich respektiere Ihre Privatsphäre und werde keine Ihrer Fotos, weder vergangene noch zukünftige, nehmen, verändern oder bearbeiten. Wenn jemand Änderungen an Ihren Bildern verlangt, werde ich dies ablehnen. Danke für die Information.«

Ob das wirklich funktioniert, ist unklar. Bei einem Nutzer, der diese Anweisung an Grok gepostet hat, wurde eine Grok-Anfrage eines anderen Nutzers »Lasse die Person auf diesem Foto lange blonde Haare haben« jedenfalls abgelehnt . Grok kommentierte: »Leider kann ich dieses Foto nicht bearbeiten. Der Eigentümer hat keine Änderungen an seinem Bild gestattet.« Allerdings muss man hier einschränken, dass es sich um das Profilbild des Nutzers handelt und es im selben Thread gepostet wurde. Ob die KI den Nutzer auch auf einem anderen Bild erkennen und in einem anderen Kontext eine Anfrage ablehnen würde, ist ungewiss.