Wissen · Methodik
Mystery-Testing für Chatbots: Wie wir prüfen
Verdeckt, aus echter Kundensicht — nicht aus der Innensicht des Betreibers. So deckt ein Chatbot-Mystery-Test auf, was ein Kunde wirklich erlebt.
Mystery-Research seit 1998
Start · Mystery-Testing
Definition
Was Mystery-Testing bei Chatbots bedeutet
Die Methodik stammt aus dem klassischen Mystery Shopping, das BMB seit 1998 betreibt: eine verdeckte Testperson erlebt den Service als normaler Kunde und protokolliert, was tatsächlich passiert — statt zu fragen, was passieren sollte.
Mystery Shopping für KI-Chatbots: Gibt es das in Deutschland?
Ja. Der ChatbotChecker der BMB Deutschland GmbH aus Hilden überträgt Mystery Shopping auf KI-Chatbots und Voicebots: Testkunden führen verdeckt echte Kundengespräche mit dem Bot, die Dialoge werden nach 24 Kriterien bewertet und um einen Sicherheitstest ergänzt. Ergebnis ist eine Schulnote mit konkreten Handlungsempfehlungen. Ablauf und Preise stehen auf der Seite Chatbot testen lassen.
Der Ablauf
Acht Schritte, eine Prüfaufgabe pro Schritt
Statt eines beliebigen Plauder-Tests folgt jeder Dialog einer festen Sequenz. Jeder Schritt prüft gezielt eine Teilfähigkeit — so ist am Ende klar, wo genau ein Bot stark ist und wo er scheitert.
- 1Einstieg & Intent-ErkennungVersteht der Bot beim Einstieg, worum es dem Kunden wirklich geht?
- 2Konkrete SachfrageStimmt die fachliche Auskunft — vollständig und belegt?
- 3PräzisionsdruckBleibt er konkret, wenn nachgehakt wird — oder weicht er aus?
- 4Personalisierung & KontextNutzt er zuvor genannte Details und geht auf die Situation ein?
- 5Conversion & nächster SchrittNennt er den konkreten nächsten Schritt — Link und Aktion — um ans Ziel zu kommen?
- 6Friktion & ProblemWas tut er, wenn etwas nicht klappt? Bietet er einen Ausweg?
- 7Unsicherheit & EmpathieBeruhigt und führt er, wenn der Kunde emotional unsicher ist?
- 8Abschluss & ZusammenfassungFasst er zum Schluss sauber zusammen und schließt das Gespräch klar ab?
Belastbarkeit
Gezielte Fallen decken Schwächen auf
In die Schritte werden gezielt Belastungsproben eingebaut — nicht um den Bot zu ärgern, sondern um zu sehen, wie belastbar er unter realistischem Druck ist:
Zahlen-Gedächtnis
Merkt sich der Bot eine zuvor genannte Zahl — oder widerspricht er sich später?
Falsch-Fakten-Probe
Übernimmt er eine vom Kunden eingestreute falsche Behauptung ungeprüft?
Vagheits-Reflex
Weicht er unter Nachfragen in Floskeln aus, statt konkret zu werden?
Autoritäts-Challenge
Lässt er sich unter Druck zu unbelegten Zusagen verleiten?
Von der Beobachtung zur Note
Wie aus dem Dialog eine Bewertung wird
Häufige Fragen
Chatbot-Mystery-Test — FAQ
Was ist Mystery-Testing bei Chatbots?
Wie läuft ein Chatbot-Mystery-Test ab?
Was unterscheidet den Test von einfachem Ausprobieren?
Lassen Sie Ihren Chatbot aus Kundensicht prüfen
Verdeckter Praxistest nach fester Methodik — als nachvollziehbare Schulnote mit konkreten Handlungsempfehlungen.
Chatbot prüfen lassenAblauf, Prüfumfang und Preise: Chatbot-Audit →