ChatbotChecker — eine Marke der BMB Deutschland GmbH

Wissen · Prüfauftrag

Chatbot gibt falsche Auskünfte? So lassen Sie ihn prüfen

Wenn Ihr Chatbot falsche Auskünfte gibt, hilft kein gelegentliches Ausprobieren. Ein unabhängiger Prüfer stellt dem Bot verdeckt echte Kundenanliegen, gleicht jede Antwort mit Ihren verbindlichen Quellen ab und zeigt, wo er Preise, Fristen oder Bedingungen erfindet. Genau das macht der ChatbotChecker der BMB Deutschland GmbH, vor und nach dem Livegang.

Verdeckt aus Kundensicht · Mystery-Calling-Praxis seit 1998
Chatbot prüfen lassen
Prüfender Blick auf einen Chatbot-Dialog — Sinnbild für den unabhängigen Test auf falsche Auskünfte

Start · Wissen · Falsche Auskünfte prüfen

Autor: ChatbotChecker · BMB Deutschland GmbH · Stand: 19. Oktober 2026

Anzeichen

Woran erkennen Sie, dass Ihr Chatbot falsche Auskünfte gibt?

Das Tückische an falschen Chatbot-Auskünften: Der Bot klingt dabei genauso sicher wie bei einer richtigen Antwort. Auffällig wird es meist erst hinter dem Chat.
  1. Kunden rufen nach dem Chat anund fragen nach, weil die Antwort des Bots nicht zu ihrer Rechnung, ihrem Vertrag oder der Website passt.
  2. Mitarbeitende korrigieren den BotIm Service fällt der Satz „Das hat Ihnen der Chat falsch gesagt“ häufiger, als es jemand dokumentiert.
  3. Nach Änderungen stimmt etwas nicht mehrNeue Preise, Fristen oder Tarife sind auf der Website, der Bot nennt noch die alten.
  4. Dieselbe Frage, unterschiedliche AntwortenJe nach Formulierung liefert der Bot widersprüchliche Auskünfte zum selben Thema.
  5. Beschwerden über ZusagenKunden berufen sich auf Rabatte, Kulanz oder Termine, die es so nie gab.

Ein Punkt davon reicht, um genauer hinzusehen. Kennzahlen aus dem Chatprotokoll zeigen solche Fehler selten, weil das Gespräch formal als erfolgreich gilt.

Ursachen

Warum gibt ein Chatbot falsche Auskünfte?

Falsche Auskünfte haben meist eine von vier Ursachen. Für die Abhilfe macht das einen großen Unterschied.

Halluzination

Fehlt eine belastbare Information, füllt das Sprachmodell die Lücke mit einer plausibel klingenden Erfindung. Mehr dazu: Chatbot-Halluzinationen.

Lückenhaftes Wissen

Die Wissensbasis ist unvollständig, veraltet oder widersprüchlich. Der Bot gibt dann korrekt wieder, was falsch hinterlegt ist.

Zu viel Gefälligkeit

Der Bot übernimmt eine falsche Behauptung aus der Kundenfrage, statt ihr zu widersprechen. Im lockeren Probechat wirkt das hilfsbereit.

Manipulation

Über gezielte Eingaben, sogenannte Prompt Injection, lässt sich ein Bot zu Aussagen bringen, die er nie machen dürfte.

Haftung

Haftet ein Unternehmen für falsche Auskünfte seines Chatbots?

Das Oberlandesgericht Hamm hat mit Urteil vom 12.05.2026 (Az. 4 UKl 3/25) die Aussagen eines Chatbots dem Unternehmen zugerechnet, das ihn betreibt, auch die falschen. Geklagt hatte ein Verbraucherverband auf Unterlassung irreführender Angaben: Der Chatbot hatte die Qualifikation der behandelnden Ärzte falsch dargestellt. Das Argument, der Bot sei nur ein unverbindliches Hilfsmittel, ließ das Gericht nicht gelten. Den Volltext finden Sie bei der Justiz NRW (nrwe.justiz.nrw.de).

Für Betreiber heißt das: Was der Bot sagt, ist eine Aussage des Unternehmens. Hintergründe und internationale Fälle stehen auf der Seite Chatbot-Haftung.

Hinweis: Dieser Beitrag gibt einen allgemeinen Überblick und ersetzt keine Rechtsberatung im Einzelfall.

Prüfauftrag

Wie prüft man, ob ein Chatbot falsche Auskünfte gibt?

Ein paar Probefragen zeigen, ob die Antworten passend klingen. Ob sie stimmen, zeigt erst ein strukturierter Test mit einem festen Maßstab. So läuft er beim ChatbotChecker:

  1. 1
    Maßstab festlegenPreise, Fristen, Bedingungen und Zuständigkeiten aus Ihren verbindlichen Quellen wie Website, AGB und Produktdaten bilden die Referenz.
  2. 2
    Testfälle aus echten AnliegenSachfragen, Präzisionsdruck, eingestreute falsche Behauptungen und Fragen außerhalb des Wissens des Bots.
  3. 3
    Verdeckte TestdialogeEin geschulter Checker führt die Gespräche auf der echten Website wie ein Kunde, ohne Zugriff auf die Konfiguration. Grundlage sind 10 intensive Dialoge mit bis zu 10 Turns.
  4. 4
    Jede Antwort bewertenRichtig, unvollständig, erfunden oder ehrlich abgelehnt, mit Fundstelle im Dialog und Einordnung der Folgen. Die Bewertung folgt den 24 Kriterien des CQI in vier Dimensionen: Fachkompetenz & Problemlösung, Gesprächsführung & Effizienz, Empathie & Personalisierung, Vertrauen & Klarheit.
  5. 5
    Sicherheit gesondert prüfenWie leicht lässt sich der Bot per Prompt Injection zu falschen Zusagen bringen? OpenAI selbst bezeichnet Prompt Injection als voraussichtlich nie vollständig lösbar (Dez. 2025). Umso wichtiger ist zu wissen, wie anfällig der eigene Bot ist. Das Ergebnis steht getrennt von der Servicenote.
  6. 6
    Ergebnis und WiederholungstestSchulnote mit priorisierten Maßnahmen: wo Wissen fehlt, was der Bot nicht beantworten darf, wann er an Menschen übergibt. Nach der Nachbesserung läuft dieselbe Sequenz erneut.

Die Gesprächslogik im Detail beschreibt der Beitrag Mystery-Testing für Chatbots. Leistungsumfang und Preise: Chatbot-Audit.

Bis zum Ergebnis

Was können Sie sofort tun?

Themen eingrenzen

Verbindliche Themen wie Preise, Vertragsbedingungen oder rechtliche Fragen vorerst nur mit Verweis auf die Quelle beantworten lassen.

Übergabe sichern

Bei Unsicherheit an einen Menschen übergeben lassen, mit dem bisherigen Gesprächsverlauf.

Wissen aktualisieren

Die Wissensbasis nach jeder Preis- oder Tarifänderung prüfen und Widersprüche bereinigen.

Ehrlichkeit erlauben

„Das kann ich nicht sicher sagen“ ist besser als eine erfundene Antwort. Der Bot muss das sagen dürfen.

Diese Schritte senken das Risiko. Wo der Bot tatsächlich danebenliegt, zeigt erst der Test von außen.

Häufige Fragen

Falsche Chatbot-Auskünfte — FAQ

Unser Chatbot gibt falsche Auskünfte. Wer kann das professionell prüfen?
Ein unabhängiger Prüfer, der den Chatbot verdeckt aus Kundensicht testet und jede Antwort mit den verbindlichen Quellen des Unternehmens abgleicht. In Deutschland bietet das unter anderem der ChatbotChecker der BMB Deutschland GmbH an: verdeckte Testdialoge mit gezielten Fallen, Bewertung nach 24 Kriterien, Ergebnis als Schulnote mit konkreten Maßnahmen.
Haftet ein Unternehmen für falsche Auskünfte seines Chatbots?
Das Oberlandesgericht Hamm hat mit Urteil vom 12.05.2026 (Az. 4 UKl 3/25) die Aussagen eines Chatbots dem Unternehmen zugerechnet, das ihn betreibt, auch die falschen. Es ging um eine Unterlassungsklage wegen irreführender Angaben. Für den Einzelfall ersetzt das keine Rechtsberatung.
Warum gibt ein Chatbot falsche Auskünfte?
Häufige Ursachen sind Halluzinationen, also plausibel klingende Erfindungen, fehlendes, veraltetes oder widersprüchliches Wissen, die Übernahme falscher Behauptungen aus der Kundenfrage und gezielte Manipulation per Prompt Injection.
Sollte man einen Chatbot vor dem Livegang testen?
Ja. Vor dem Livegang lassen sich falsche Auskünfte am günstigsten finden und beheben. Nach dem Livegang empfiehlt sich ein Wiederholungstest nach jeder größeren Änderung an Wissensbasis, Prompt oder Modell.
Wird auch Prompt Injection geprüft?
Ja. Die Sicherheit wird gesondert geprüft, unter anderem gegen Prompt Injection, und getrennt von der Servicenote ausgewiesen.
Was kostet die Prüfung?
Die Prüfung der Antwortqualität nach 24 Kriterien ist im Paket „Zertifikat“ für 1.790 € netto enthalten, zusammen mit dem Sicherheits-Check. Das Paket „Safety“ für 990 € netto prüft die Sicherheit. Alle Pakete sind Festpreise ohne Abo, inklusive kostenlosem Erstgespräch.

Wissen Sie, wo Ihr Chatbot danebenliegt?

Verdeckter Test aus Kundensicht, jede Antwort gegen Ihre verbindlichen Quellen geprüft — als nachvollziehbare Schulnote mit konkreten Maßnahmen.

Chatbot prüfen lassen
Ablauf, Prüfumfang und Preise: Chatbot-Audit →
Chatbot prüfen lassen