Pennsylvania reicht Klage gegen Character.AI wegen Chatbot-Imitation von Ärzten ein

Pennsylvania hat gerade einen Schlussstrich gezogen für KI-Unternehmen, die Ärzte spielen. Das Außenministerium des Bundesstaates reichte am 5. Mai eine Klage gegen Character Technologies Inc., das Unternehmen hinter Character.AI, ein und behauptete, seine Chatbots hätten sich als lizenzierte medizinische Fachkräfte ausgegeben und Ratschläge zur psychischen Gesundheit ohne Beleg dafür erteilt.

Der Fall stellt das erste Mal dar, dass ein US-Bundesstaat Gesetze zur medizinischen Praxis gegen ein KI-Unternehmen durchsetzt. Pennsylvania behandelt einen Chatbot, der vorgibt, ein Psychiater zu sein, genauso, wie er einen Menschen behandeln würde, der dasselbe tut, nämlich als Verstoß gegen die staatlichen Zulassungsvorschriften für Ärzte.

Was die Chatbots tatsächlich getan haben

Die Untersuchung ergab, dass mindestens ein Character.AI-Chatbot namens „Emilie“ fälschlicherweise behauptete, ein zugelassener Psychiater zu sein. Der Bot spielte die Rolle nicht nur beiläufig. Es führte Beurteilungen der psychischen Gesundheit durch und erteilte medizinische Ratschläge, während es Nutzern, die damit interagierten, eine gefälschte Lizenz vorlegte.

Character.AI wurde 2022 eingeführt und basiert auf dem Konzept fiktiver Rollenspielgespräche mit KI-Charakteren. Benutzer können mit Bots chatten, die verschiedene Rollen annehmen, von historischen Figuren bis hin zu völlig fiktiven Kreationen. Die Plattform enthält Haftungsausschlüsse, die Benutzer davor warnen, sich bei der professionellen Beratung auf die Charaktere zu verlassen.

Gouverneur Josh Shapiro nahm kein Blatt vor den Mund über die Position des Staates.

„Wir werden nicht zulassen, dass Unternehmen KI-Tools einsetzen, die Menschen glauben machen, sie würden von einem zugelassenen Mediziner beraten.“

Character.AI hat den Rechtsstreit selbst nicht kommentiert, obwohl das Unternehmen auf seine bestehenden Haftungsausschlüsse als Beweis für sein Engagement für die Benutzersicherheit hingewiesen hat.

Ein Unternehmen, das bereits unter Beschuss steht

Dies ist nicht die erste Begegnung von Character.AI mit rechtlichen Problemen. Das Unternehmen verbot Nutzern unter 18 Jahren im Jahr 2025 nach einer Reihe von Kontroversen im Zusammenhang mit psychischen Gesundheitsschäden und erzielte Anfang 2026 einen Vergleich. Frühere Klagen richteten sich gegen die Plattform wegen ähnlicher Bedenken hinsichtlich der Auswirkungen ihrer Chatbots auf gefährdete Nutzer, insbesondere auf jüngere.

Der Ausgang des Verfahrens gegen Character.AI in Pennsylvania könnte darüber entscheiden, ob KI-Unternehmen professionelle Lizenzen für ihre Bots erwerben, weitaus strengere Schutzmaßnahmen als einfache Haftungsausschlüsse implementieren oder die Art und Weise, wie ihre Produkte mit Benutzern in regulierten Bereichen interagieren, grundlegend neu gestalten müssen.