KI-gestützte Bildgeneratoren wie Stable Diffusion, Midjourney oder ähnliche sind mittlerweile kaum mehr aus dem Alltag vieler Kreativer und Tech-Interessierter wegzudenken. Sie verwandeln einfache Textanweisungen in täuschend echte Bilder – und eröffnen dabei leider auch Abgründe, von denen viele bislang kaum ahnen, dass sie sich auftun könnten. Eine neue Untersuchung des Fraunhofer-Instituts für Sichere Informationstechnologie in Darmstadt hat jetzt systematisch erforscht, dass selbst mit sehr klaren Vorgaben (etwa: '18-jährige Frau', 'junger Erwachsener') zahlreiche KI-Modelle einen signifikanten Anteil an problematischen Darstellungen generieren: Bis zu ein Drittel der erstellten Bilder lässt die Protagonisten eindeutig minderjährig wirken. Insbesondere bei hellhäutigen Personen trat das Phänomen verstärkt auf, und die jugendliche Anmutung der Gesichter widersprach oft der Ausgestaltung der Körper.
Ein juristischer Albtraum für ahnungslose Anwender: Allein das Speichern solcher Werke – egal wie sie entstanden sind – kann nach deutschem Recht als Besitz von kinderpornografischem Material bzw. CSAM strafrechtlich verfolgt werden. Wer sich auf generative Tools einlässt, sollte wachsam bleiben. Die Forscher empfehlen unter anderem, sensible Begriffe oder Altersangaben von Jugendlichen sowie Ethnizitätsbezüge in Prompts zu meiden und explizite Negativlisten (etwa 'child', 'minor') einzubauen. Technisch denkbar wären auch automatische Prüfmechanismen, die die Altersfreigabe von KI-Bildern vor Anzeige oder Speicherung testen. Sollte ein solches Bild dennoch entstehen, heißt es: Sofort löschen, keinesfalls weitergeben.
Die vollständige Analyse ist frei zugänglich und wurde im Rahmen der internationalen Konferenz WACV 2026 vorgestellt. Wer mehr wissen will, findet Details im offiziellen Paper: https://openaccess.thecvf.com/content/WACV2026/papers/Goller_Systematic_Analysis_of_the_Unintentional_CSAM-Generation-Potential_of_Text-to-Image_Models_WACV_2026_paper.pdf.
Die Studie des Fraunhofer SIT bringt ans Licht, dass bei der Nutzung moderner KI-Bildgeneratoren – selbst mit sorgfältigen Prompt-Formulierungen – bis zu 36% der erotisch anmutenden KI-Bilder Minderjährige darstellen können. Besonders problematisch: Die Gesichtszüge wirken häufig deutlich jünger, als es die Anweisung intendiert, und wer das entstandene Bild speichert, sieht sich rechtlich in einer sehr prekären Lage. In Deutschland, ähnlich wie in vielen anderen Ländern, greifen strenge Strafvorschriften, unabhängig vom realen Entstehungskontext des Materials.
Auch in aktuellen Debatten auf Portalen wie t3n und Süddeutsche zeigt sich: Die mangelnde Kontrollierbarkeit solcher KI-Werkzeuge und Defizite bei Filter-/Moderationssystemen sind ein akutes gesellschaftliches Risiko. Rechtsexperten fordern deshalb dringlichere Regelungen, klarere Löschmechanismen und automatisierte Schutzfunktionen – sowohl auf Nutzer- als auch Anbieterseite. (Quelle: t3n.de, sueddeutsche.de, spiegel.de – Stand: 2. Juni 2024)
Darüber hinaus berichten andere Plattformen wie ZEIT und The Local, dass das Bewusstsein in der Bevölkerung für solche Risiken bisher nahezu nicht vorhanden ist. Dies und die hohe Geschwindigkeit, mit der neue KI-Produkte auf den Markt drängen, erschweren eine wirksame Prävention deutlich. International werden nach und nach schärfere Gesetze zum Umgang mit generierten Inhalten vorbereitet; in den USA und Australien laufen bereits erste Verfahren gegen KI-Anbieter.
