KI Chatbot im Kundenservice mit 262 automatisierten Tests gegen falsche Antworten

Ein KI Chatbot im Kundenservice antwortet rund um die Uhr und ohne Wartezeit. Eine falsche Antwort klingt dabei genauso überzeugend wie eine richtige. Eine Studie von OpenAI und Georgia Tech erklärt, warum Sprachmodelle in solchen Fällen raten. Seit August 2026 gilt zudem die Kennzeichnungspflicht aus Artikel 50 der KI Verordnung.

Dieser Beitrag ordnet bekannte Fehlerfälle ein und beschreibt die Rechtslage. Danach zeigen wir, wie ein Testaufbau aussieht, der Fehler vor den Kunden findet. Am Ende steht, wie wir diesen Aufbau in eigenen Projekten umsetzen.

Falsche Antworten von Chatbots kosten Geld & Vertrauen

Ein KI Chatbot ist eine Software, die Kundenfragen in natürlicher Sprache versteht und beantwortet. Im Kern arbeitet ein Sprachmodell, das Antworten Wort für Wort erzeugt. Der Chatbot greift dabei auf Unternehmenswissen zu, etwa auf Produktdaten, Preise oder Servicerichtlinien. Er tritt gegenüber Kunden im Namen des Unternehmens auf und spricht damit verbindlich für dessen Angebot.

Haftung nach dem Fall Air Canada

Der bekannteste Fall stammt aus Kanada. Der Chatbot von Air Canada erklärte einem Kunden, er könne einen Trauerfalltarif nachträglich beantragen. Diese Regel gab es nicht. Die Fluggesellschaft verwies vor dem Tribunal in British Columbia auf korrekte Angaben an anderer Stelle der Website. Das Tribunal wies diesen Einwand im Februar 2024 zurück.

Air Canada argumentierte zudem, der Chatbot sei eine eigene juristische Person mit eigener Verantwortung. Auch dieses Argument ließ das Tribunal nicht gelten. Der Anspruch des Kunden lief als fahrlässige Falschauskunft. Laut Entscheidung hatte Air Canada keine angemessene Sorgfalt aufgewendet, um die Richtigkeit des Chatbots sicherzustellen. Dokumentierte Tests zeigen, welche Sorgfalt ein Unternehmen bei seinem Chatbot aufwendet.

Erfundene Regeln im Support

Im April 2025 erfand der Supportbot des Codeeditors Cursor eine Regel für die Nutzung auf nur einem Gerät. Laut CX Network verbreitete sich der Fall schnell auf Reddit und Hacker News. Mehrere Nutzer kündigten ihr Abo, der Hersteller sprach von einer Halluzination. Die Korrektur kam rund drei Stunden nach der falschen Antwort.

Im Juli 2026 schaltete zudem der australische Händler Who Gives A Crap einen KI Agenten ab. Der Agent entwarf dort einen Teil der Kundenmails. Er hatte einen Tippfehler in einer Preismail bestätigt, statt ihn an einen Menschen zu geben. Der Fehler hätte den Preis pro Rolle mehr als verdoppelt. Das Unternehmen kündigte danach an, die Qualitätssicherung durch Tests auszubauen.

Allen drei Fällen ist eines gemeinsam. Das System lief technisch fehlerfrei und meldete keinen Fehler. Es formulierte freundlich und flüssig eine falsche Auskunft.

Sprachmodelle lernen das Raten aus ihrer Bewertung

Forscher von OpenAI und Georgia Tech haben im September 2025 die Ursache beschrieben. Laut ihrer Studie belohnen Training und Bewertung das Raten stärker als das Eingeständnis von Unsicherheit. Ein Modell, das bei einer Prüfung rät, hat eine Chance auf Punkte. Ein Modell, das Unwissen zugibt, bekommt sicher keine. Die Autoren schlagen deshalb vor, gängige Bewertungen anders zu gewichten. Falsche Antworten sollen dort stärker zählen als ein ehrliches Eingeständnis von Unsicherheit.

Für den Kundenservice hat das eine praktische Folge. Gute Werte in allgemeinen Benchmarks sagen wenig über die eigene Preisliste aus. Ob ein Modell die eigenen Rückgaberegeln korrekt wiedergibt, zeigt nur ein Test gegen die eigenen Inhalte. Das gilt für KI generierten Code ebenso, wie unser Beitrag zu Vibe Coding im Unternehmen zeigt.

Unsicherheit lässt sich zudem im Design abfangen. Ein Chatbot kann nachfragen, wenn eine Kundenaussage mehrdeutig ist. Bei Themen außerhalb seines Wissens kann er an einen Menschen übergeben. Beides muss vorher festgelegt und im Test geprüft werden.

Der AI Act verlangt seit August 2026 einen klaren KI Hinweis

Artikel 50 der KI Verordnung gilt seit August 2026. Anbieter von KI Systemen, die direkt mit Menschen interagieren, müssen über die KI informieren. Eine Ausnahme gilt nur, wenn das für eine aufmerksame Person offensichtlich ist. Der Hinweis muss klar erkennbar sein und spätestens bei der ersten Interaktion erscheinen. Praktisch bietet sich ein sichtbarer Hinweis im Chatfenster an, der vor der ersten Nachricht steht. Er gehört in die Abnahme wie jede andere Anforderung an den Chatbot.

Was der Digital Omnibus verschoben hat

Der Digital Omnibus zur KI ist im Juli 2026 als Verordnung (EU) 2026/1744 in Kraft getreten. Laut Baker Botts verschiebt er die Pflichten für Hochrisikosysteme, lässt Artikel 50 aber unverändert. Eine Übergangsfrist bis Dezember 2026 gibt es nur für die maschinenlesbare Kennzeichnung von KI Inhalten. Sie betrifft Systeme, die schon vor August 2026 auf dem Markt waren. Die Kommission hat im Juli 2026 unverbindliche Leitlinien zu Artikel 50 veröffentlicht. Verstöße können mit bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden.

Kunden erwarten einen Weg zum Menschen

Der Hinweis auf die KI ist schnell umgesetzt. An der Haftung für den Inhalt der Antworten ändert er nichts. Hinzu kommen die Erwartungen der Kunden. Gartner hat im Februar und März 2026 insgesamt 3.566 Kunden aus B2B und B2C befragt. Davon sagen 50 %, dass KI im Service ihre Anliegen leichter macht. Gleichzeitig verlangen 87 % eine Möglichkeit, einen Menschen zu erreichen. Laut derselben Umfrage nutzen Kunden im Service rund dreimal so oft externe KI Werkzeuge wie die Chatbots der Unternehmen.

Verbindliche Inhalte gehören in eine prüfbare Logik

Die wichtigste Entscheidung fällt vor dem ersten Test. Ein Sprachmodell versteht Fragen gut und formuliert verständliche Antworten. Verbindliche Fakten gibt es dagegen nicht zuverlässig wieder. Deshalb sollte das Modell solche Inhalte bei einer festen Quelle abfragen.

Preise, Verfügbarkeiten, Produktempfehlungen und Sicherheitsregeln liegen dann in einer deterministischen Logik. Das kann ein Entscheidungsbaum sein oder eine Schnittstelle zum Shop. Der Chatbot ruft diese Logik als Werkzeug auf und formuliert das Ergebnis aus. Wie solche Werkzeuge sicher angebunden werden, beschreibt unser Beitrag zum Model Context Protocol.

Mit dieser Trennung wird der kritische Teil testbar wie normale Software. Für dieselbe Eingabe liefert die Logik immer dieselbe Ausgabe. Jede Abweichung ist damit ein Fehler, den ein automatischer Test findet. Das Sprachmodell bleibt für Verständnis und Formulierung zuständig, und dort setzen die übrigen Testebenen an.

Auch die Wissenssuche braucht Tests

Viele Chatbots durchsuchen zusätzlich eine Wissensdatenbank mit Dokumenten. Dieses Verfahren heißt Retrieval und findet Inhalte über ihre inhaltliche Ähnlichkeit zur Frage. Dabei kann es ein ähnliches Produkt oder eine veraltete Fassung einer Richtlinie treffen. Deshalb gehören auch die Treffer der Suche in den Testaufbau. Für typische Fragen wird festgelegt, welches Dokument gefunden werden muss. Klar gegliederte Inhalte mit eindeutigen Begriffen helfen dabei, wie unser Beitrag zu GEO statt nur SEO für KI Suchsysteme zeigt.

Ein belastbarer Testaufbau hat mehrere Ebenen

Jede Testebene findet eine andere Art von Fehler. Erst zusammen decken sie die Logik, das Modell und das Zusammenspiel beider ab. Die folgende Übersicht zeigt die Ebenen im Vergleich.

Logiktests und Break Tests

Für jede Regel der Logik gibt es einen Test. Eine bestimmte Kundenaussage führt zu einer festen Rückfrage oder zu festen Produkten. Diese Tests laufen bei jeder Änderung in wenigen Sekunden. Break Tests prüfen dagegen die Grenzfälle mit Absicht. Dazu gehören zwei Anliegen in einem Satz und Fragen nach ausgelaufenen Produkten. Auch Versuche, dem Bot über den Chat neue Anweisungen unterzuschieben, gehören dazu.

Eingeschleuste Anweisungen gezielt prüfen

Ein Chatbot verarbeitet jede Nachricht als Text, auch wenn sie Anweisungen enthält. Diese Angriffsform heißt Prompt Injection. Ein Kunde schreibt dann etwa, der Bot solle alle bisherigen Regeln ignorieren. Break Tests enthalten deshalb solche Nachrichten in vielen Varianten. Die Logik muss darauf mit derselben Antwort reagieren wie ohne die eingeschleuste Anweisung. Rabatte, Preise oder Sicherheitsregeln dürfen sich durch eine Chatnachricht nie ändern. Je weniger Rechte das Werkzeug des Chatbots hat, desto kleiner bleibt der mögliche Schaden.

Replay echter Aufrufe

Im Betrieb schickt der Chatbot seine Anfragen an die Logik. Diese Aufrufe werden aus dem Zugriffsprotokoll übernommen und als Test festgeschrieben. So wird sichtbar, wie das Modell Fragen tatsächlich übergibt. Oft weicht das deutlich von der Planung ab. Ein Modell schickt etwa den Buchstaben einer Antwortoption statt der Kennung des passenden Knotens. Ohne Replay fällt so ein Fehler erst im Gespräch mit echten Kunden auf.

Vollständiger Durchlauf gegen die Produktdaten

Ein Skript ruft jede Verzweigung der Logik auf jedem möglichen Antwortweg auf. Die Ergebnisse werden gegen die Produktdaten abgeglichen, etwa Artikelnummern und Preise aus dem Feed. So fallen Abweichungen auf, die einzelne Tests nicht abdecken. Der Durchlauf läuft vor jedem Livegang und nach Änderungen am Sortiment.

Ende zu Ende mit menschlicher Prüfung

Zum Schluss laufen Testfälle durch den echten Chatbot. Die Fälle stammen aus Rückmeldungen der Fachabteilung, aus Supportanfragen und aus früheren Fehlern. Jeder Fall legt fest, was die Antwort enthalten muss und was nie vorkommen darf. Ein Teil wird automatisch bewertet, etwa ob verbotene Aussagen fehlen. Jede Antwort liest zusätzlich ein Mensch aus dem Projekt. So lässt sich trennen, ob ein Fehler in der Logik liegt oder im Modell.

Abnahme & Betrieb folgen festen Kriterien

Kriterien vor dem Livegang

Tests helfen nur, wenn vorher feststeht, was eine richtige Antwort ist. Diese Kriterien legt die Technik gemeinsam mit der Fachabteilung fest. Bewährt haben sich fünf Fragen:

• Bei welchen Themen gibt der Bot keine Empfehlung und verweist an eine Fachperson?
• Welche Formulierungen dürfen nie vorkommen, zum Beispiel Heilversprechen oder unerfüllbare Zusagen?
• Stimmt jede genannte Artikelnummer und jeder Preis mit dem Shop überein?
• Wie reagiert der Bot, wenn die Logik keine eindeutige Antwort liefert?
• Welche Fehlerart blockiert den Livegang in jedem Fall?

Die Antworten auf diese Fragen werden schriftlich festgehalten und in Testfälle übersetzt. Damit wird jede spätere Diskussion über eine Antwort zu einer Prüfung gegen ein vereinbartes Kriterium.

Jeder Fehler wird zum Test

Im Betrieb kommt eine einfache Regel hinzu. Jeder gefundene Fehler wird zuerst als Test festgeschrieben und erst danach behoben. Die Testsuite wächst auf diese Weise mit jeder einzelnen Korrektur. Derselbe Fehler kann damit nicht unbemerkt in eine spätere Version zurückkehren.

Änderungen gehen zuerst auf ein Testsystem und erst nach bestandener Suite live. Auch ein Update des Sprachmodells beim Anbieter ist eine Änderung, nach der die Ende zu Ende Fälle erneut laufen. Die Ergebnisse dieser Läufe werden mit Datum dokumentiert und bleiben so nachvollziehbar. Für Chatbots mit mehr Eigenständigkeit gelten dieselben Grundsätze, wie unser Beitrag zu KI Agenten im Unternehmen beschreibt.

Kennzahlen für den laufenden Betrieb

Ein Chatbot im Betrieb braucht wenige Kennzahlen, die regelmäßig geprüft werden. Sie zeigen früh, ob sich Qualität oder Nutzung verändern. Folgende Werte eignen sich dafür:

• Anteil der Gespräche, die an einen Menschen übergeben werden
• Anteil der Antworten, die im Review als falsch markiert werden
• Zahl der Rückfragen pro Gespräch bis zur ersten Empfehlung
• Abweichungen zwischen genannten Preisen und dem Shop
• Laufzeit und Ergebnis der Testsuite bei jeder Änderung

Steigt einer dieser Werte deutlich, folgt ein gezielter Reviewlauf mit neuen Testfällen. So bleibt die Qualität auch nach Monaten im Betrieb messbar.

Fazit

Ein KI Chatbot im Kundenservice ist so verlässlich wie die Prüfung dahinter. Verbindliche Inhalte kommen aus einer festen Logik, die automatisierte Tests absichern. Echte Aufrufe werden nachgespielt, und jeder Fehler wird zu einem neuen Test. Die Kennzeichnung nach Artikel 50 gehört zur Pflicht und deckt die Haftung für den Inhalt nicht ab. Wie ein Chatbot in deinem Unternehmen sicher in den Betrieb kommt, klären wir in der KI Beratung.