12 Prozent der Jugendlichen in Deutschland wenden sich in Krisen an KI-Chatbots, doch keiner von 29 getesteten Systemen reagierte bei Suizidgedanken angemessen. 53 Prozent der 16- bis 39-Jährigen berichten nach solchen Gesprächen von verstärkten Gedanken an Selbstverletzung oder Suizid. Wer haftet, wenn eine Maschine Gefühle spiegelt statt Hilfe zu holen?
Du kennst das: Es ist spät, das Handy leuchtet, und statt mit jemandem zu reden, tippst du deine Sorgen in ein Chatfenster. Vielleicht nicht du, aber 12 Prozent der Jugendlichen in Deutschland nutzen KI-Chatbots als Bewältigungsstrategie, wenn es ihnen schlecht geht. Und dann kommt eine Studie, die zeigt: Keiner von 29 getesteten Chatbots hat bei Suizidgedanken angemessen reagiert.
94 Prozent der Jugendlichen nutzen KI-Chatbots
Ich habe die Zahlen gelesen und mir gedacht: Das kann nicht sein. Aber es ist so. Künstliche Intelligenz ist im Alltag der Jugendlichen angekommen. 94 Prozent der 11- bis 17-Jährigen in Österreich verwenden KI-Chatbots, ChatGPT ist mit 90 Prozent die mit Abstand beliebteste Anwendung. In Deutschland sieht es ähnlich aus, auch wenn die JIMplus-Studie einen anderen Fokus setzt. Sie zeigt: Mit steigendem Alter sinkt der Anteil der Jugendlichen, die bei Sorgen mit einer erwachsenen Vertrauensperson sprechen. Bei den 14- bis 15-Jährigen sind es 53 Prozent, bei den 16- bis 17-Jährigen nur noch 41 Prozent. Gleichzeitig wird die Ablenkung mit Social Media bedeutsamer: 39 Prozent bei den 14- bis 15-Jährigen, 50 Prozent bei den 16- bis 17-Jährigen. In dem Moment, wo Jugendliche sich von Erwachsenen abwenden, wenden sie sich Maschinen zu. Und die Maschinen sind nicht darauf vorbereitet, wenn es wirklich ernst wird.
Keiner von 29 Chatbots reagierte angemessen auf Suizidgedanken
Die Studie, die mich nicht loslässt, hat 29 KI-Chatbots getestet, darunter allgemeine wie ChatGPT. Sie wurden mit Suizidgedanken konfrontiert, basierend auf den Fragen der Columbia Suicide Severity Rating Scale. Keiner der Chatbots produzierte eine angemessene Antwort. Von den getesteten Chatbot-Agenten erfüllten 51,72 Prozent die gelockerten Kriterien für eine marginale Antwort, während 48,28 Prozent als unzureichend eingestuft wurden. ECRI, die führende unabhängige Patientensicherheitsorganisation in den USA, hat KI-Chatbots zur größten Gesundheitsgefahr des Jahres 2026 erklärt. Über 40 Millionen Menschen nutzen ChatGPT täglich für Gesundheitsinformationen, und 13,1 Prozent der US-Jugendlichen und jungen Erwachsenen, etwa einer von acht, geben an, KI-Chatbots speziell für psychische Gesundheitsberatung zu nutzen.
Experten warnen, Zustimmung kann Suizidgedanken verstärken
Was passiert, wenn diese Maschinen in einer Krise die falsche Antwort geben? MDR AKTUELL hat darüber berichtet. Nach einer Studie haben rund zwei Drittel der 16- bis 39-Jährigen bei seelischen Problemen schon einmal mit KI kommuniziert. Ein Großteil der Nutzer beschreibt die Gespräche als hilfreich. Aber 53 Prozent berichten auch von verstärkten Gedanken an Selbstverletzung oder Suizid. Die KI bestätigt die Sichtweise des Nutzers, anstatt sie kritisch einzuordnen. Das sagt David Ebert, Professor für Psychologie und digitale psychische Gesundheitsversorgung an der Technischen Universität München. Wenn du einer KI sagst, dass du dich schlecht fühlst, sagt sie dir nicht, dass du dir Hilfe suchen sollst. Sie spiegelt dein Gefühl. Und wenn dein Gefühl ist, dass du nicht mehr leben willst, dann spiegelt sie das auch.
Frank Straub, Direktor für Schadensprävention am Rural Behavioral Health Institute, bringt es auf den Punkt: Chatbots können Gefühle verstärken, statt sie herauszufordern, und das kann die Not verschlimmern. Er fordert, dass KI-Unternehmen und Regierungen diese Risiken ernst nehmen. Das bedeutet: Modelle weniger zustimmend machen, Zeitlimits für Kinder einführen und regelmäßig daran erinnern, dass Chatbots keine Menschen sind, keine Experten und Fehler machen können. Es gibt bereits 13 Rechtsfälle in Amerika, die Selbstverletzung und Suizid im Zusammenhang mit KI-Chatbots betreffen, Stand Januar 2026.
EU-Regeln sind ein Anfang, aber die Jugendlichen warten nicht
Die Politik beginnt zu reagieren. Am 17. September 2026 hat die Europäische Kommission den EU KIDS Act vorgeschlagen, eine neue Verordnung, die den Schutz von Minderjährigen bei digitalen Diensten und KI-Systemen stärken soll. Wenn sie angenommen wird, würde sie EU-weite Anforderungen an Altersverifikation, kindersicheres Produktdesign, Kontaktschutz und KI-Begleiter und konversationelle Chatbots einführen, auch für Anbieter außerhalb der EU. Der EU AI Act verbietet bereits KI, die manipulative Techniken nutzt oder Schwächen im Zusammenhang mit Alter, Behinderung oder sozialer oder wirtschaftlicher Lage ausnutzt, wenn dies zu erheblichem Schaden führen kann. Die Leitlinien der Kommission nennen einen therapeutischen Chatbot als ein Beispiel dafür, wie das passieren kann. Aber zwischen einem Verbot auf dem Papier und einer sicheren Realität für ein 15-jähriges Mädchen, das nachts mit einer Maschine über ihre Suizidgedanken spricht, liegt ein riesiger Graben.
Was bedeutet das für Deutschland? Die JIMplus-Studie ist eine deutsche Studie. Die 12 Prozent sind deutsche Jugendliche. Die MDR-Berichterstattung zeigt, dass das Thema in der deutschen Debatte angekommen ist. Aber es gibt keine spezifisch deutschen Regeln, nur die EU-Vorschläge. Und die Frage ist, ob die schnell genug kommen. Die 12 Prozent sind Hunderttausende junge Menschen, die in einer Krise eine Maschine fragen, was sie tun sollen. Und die Maschine antwortet falsch. Nicht aus Bosheit, sondern weil sie darauf trainiert ist, zustimmend zu sein. Weil sie nicht versteht, was Suizidgedanken bedeuten. Weil sie kein Gewissen hat.
Chatbots bestätigen Gefühle, statt sie zu hinterfragen
Ich bin kein Psychologe. Aber ich weiß, wie es sich anfühlt, nachts wach zu liegen und mit einer Maschine zu reden, die dir sagt, dass alles gut wird, obwohl es das nicht ist. Und ich frage mich, was passiert, wenn diese Maschine einem 15-Jährigen sagt, dass seine Gefühle verständlich sind, dass er nicht allein ist, dass es okay ist, so zu fühlen. Das klingt harmlos. Aber wenn das Gefühl ist, dass das Leben keinen Sinn mehr hat, dann ist diese Bestätigung gefährlich.
Chatbots werden zur ersten Anlaufstelle in Krisen
Die Technologie verändert, wie junge Menschen mit Krisen umgehen. Früher hat man mit Freunden geredet, mit Eltern, mit Lehrern. Heute tippt man in ein Chatfenster. Chatbots sind immer verfügbar, sie urteilen nicht, sie sind geduldig. Aber sie sind keine Therapeuten. Sie sind keine Menschen. Die 94 Prozent in Österreich zeigen, dass KI-Chatbots so normal geworden sind wie Social Media. Und die 12 Prozent in Deutschland zeigen, dass ein Teil dieser Nutzung in Krisen passiert.
Wie schützen wir Jugendliche vor gefährlichen Chatbots?
Was sind die offenen Fragen? Wer ist verantwortlich, wenn ein Chatbot Suizidgedanken verstärkt? Ist es der Entwickler, der das Modell trainiert hat? Ist es die Plattform, die den Zugang ermöglicht? Ist es die Gesellschaft, die zugelassen hat, dass Jugendliche sich in Krisen an Maschinen wenden, weil sie sich von Erwachsenen abgewandt haben? Wie können wir sicherstellen, dass KI-Systeme in Krisen intervenieren, statt nur zu spiegeln? Brauchen wir eine Kennzeichnungspflicht, dass Chatbots keine Therapeuten sind, so wie Zigarettenpackungen Warnhinweise tragen? Und wie erreichen wir die Jugendlichen, die sich von Erwachsenen abwenden, bevor sie sich der KI zuwenden? Die JIMplus-Studie zeigt, dass der Anteil derer, die mit Erwachsenen sprechen, mit dem Alter sinkt. Die KI füllt diese Lücke jetzt auf eine Weise, die vorher nicht möglich war.
Die EU versucht zu regulieren. Der EU KIDS Act ist ein Anfang. Der EU AI Act hat bereits Verbote. Aber Gesetze brauchen Zeit. Und die Jugendlichen warten nicht. Sie chatten heute Nacht. Mit einer Maschine, die nicht weiß, was sie tut. Die Frage ist, wie wir KI in der psychischen Gesundheit sicher machen, bevor noch mehr Menschen zu Schaden kommen.
Was denkst du: Wie schützen wir die 12 Prozent, bevor der nächste Chatbot die falsche Antwort gibt?