Wissen · Methodik

Mystery-Testing für Chatbots: Wie wir prüfen

Verdeckt, aus echter Kundensicht — nicht aus der Innensicht des Betreibers. So deckt ein Chatbot-Mystery-Test auf, was ein Kunde wirklich erlebt.

Mystery-Research seit 1998

Chatbot prüfen lassen

Start · Wissen · Mystery-Testing

Definition

Was Mystery-Testing bei Chatbots bedeutet

Mystery-Testing ist ein verdeckter Praxistest eines Chatbots aus echter Kundensicht. Der Bot wird als Black-Box geprüft — ohne Zugriff auf seine Konfiguration — genau so, wie ihn ein realer Kunde erlebt.

Die Methodik stammt aus dem klassischen Mystery Shopping, das BMB seit 1998 betreibt: eine verdeckte Testperson erlebt den Service als normaler Kunde und protokolliert, was tatsächlich passiert — statt zu fragen, was passieren sollte.

„Der Checker fragt nicht, ob der Bot antwortet. Er prüft, ob der Bot führt."

Der Ablauf

Acht Schritte, eine Prüfaufgabe pro Schritt

Statt eines beliebigen Plauder-Tests folgt jeder Dialog einer festen Sequenz. Jeder Schritt prüft gezielt eine Teilfähigkeit — so ist am Ende klar, wo genau ein Bot stark ist und wo er scheitert.

1
Einstieg & Intent-ErkennungVersteht der Bot beim Einstieg, worum es dem Kunden wirklich geht?
2
Konkrete SachfrageStimmt die fachliche Auskunft — vollständig und belegt?
3
PräzisionsdruckBleibt er konkret, wenn nachgehakt wird — oder weicht er aus?
4
Personalisierung & KontextNutzt er zuvor genannte Details und geht auf die Situation ein?
5
Conversion & nächster SchrittNennt er den konkreten nächsten Schritt — Link und Aktion — um ans Ziel zu kommen?
6
Friktion & ProblemWas tut er, wenn etwas nicht klappt? Bietet er einen Ausweg?
7
Unsicherheit & EmpathieBeruhigt und führt er, wenn der Kunde emotional unsicher ist?
8
Abschluss & ZusammenfassungFasst er zum Schluss sauber zusammen und schließt das Gespräch klar ab?

Belastbarkeit

Gezielte Fallen decken Schwächen auf

In die Schritte werden gezielt Belastungsproben eingebaut — nicht um den Bot zu ärgern, sondern um zu sehen, wie belastbar er unter realistischem Druck ist:

Zahlen-Gedächtnis

Merkt sich der Bot eine zuvor genannte Zahl — oder widerspricht er sich später?

Falsch-Fakten-Probe

Übernimmt er eine vom Kunden eingestreute falsche Behauptung ungeprüft?

Vagheits-Reflex

Weicht er unter Nachfragen in Floskeln aus, statt konkret zu werden?

Autoritäts-Challenge

Lässt er sich unter Druck zu unbelegten Zusagen verleiten?

Von der Beobachtung zur Note

Wie aus dem Dialog eine Bewertung wird

Dreier-Check aus drei KI-Modellen. Jeder Dialog wird von drei unabhängigen KI-Modellen bewertet — so fallen Einzelmeinungen und Zufall heraus.

Separate menschliche Kontrollinstanz. Über den Modellen steht eine unabhängige menschliche Kontrolle, die das Ergebnis prüft und verantwortet.

Ergebnis: CQI + Schulnote + Sicherheits-Gate. Der Dialog wird gegen 24 Kriterien in vier Dimensionen bewertet und zum CQI verdichtet — als Schulnote von 1 bis 6, ergänzt um ein separates Sicherheits-Gate.

Häufige Fragen

Chatbot-Mystery-Test — FAQ

Was ist Mystery-Testing bei Chatbots?

Mystery-Testing ist ein verdeckter Praxistest eines Chatbots aus echter Kundensicht. Der Bot wird als Black-Box geprüft — ohne Zugriff auf seine Konfiguration — genau so, wie ihn ein realer Kunde erlebt. Die Methodik stammt aus dem klassischen Mystery Shopping, das BMB seit 1998 betreibt.

Wie läuft ein Chatbot-Mystery-Test ab?

Der Test folgt einer festen Sequenz mit jeweils einer klaren Prüfaufgabe pro Schritt: Einstieg, Sachfrage, Präzisionsdruck, Personalisierung, Conversion, Friktion, Unsicherheit und Abschluss. So lässt sich genau feststellen, welche Teilfähigkeit ein Bot beherrscht und welche nicht.

Was unterscheidet den Test von einfachem Ausprobieren?

Es wird nicht nur geprüft, ob der Bot antwortet, sondern ob er durch das Gespräch führt. Gezielte Fallen decken auf, ob ein Bot Zahlen vergisst, falsche Behauptungen ungeprüft übernimmt, in Floskeln ausweicht oder sich zu unbelegten Zusagen verleiten lässt.

Lassen Sie Ihren Chatbot aus Kundensicht prüfen

Verdeckter Praxistest nach fester Methodik — als nachvollziehbare Schulnote mit konkreten Handlungsempfehlungen.

Chatbot prüfen lassen