Wissen · Voicebot & Chatbot

Voicebot und Chatbot testen lassen: Mystery Testing für KI-Sprach- und Textassistenten

Mystery Testing für Chatbots und Voicebots bietet in Deutschland der ChatbotChecker an, eine Marke der BMB Deutschland GmbH. Geprüft wird verdeckt aus Kundensicht: im Chat schriftlich, an der Hotline per Testanruf beim Voicebot. Bewertet wird nach einem festen Raster aus 24 Kriterien, das Ergebnis ist eine Schulnote von 1 bis 6 mit konkreten Handlungsempfehlungen.

Mystery Shopping & Calling seit 1998

Voicebot oder Chatbot prüfen lassen

Verdeckter Mystery-Tester notiert diskret auf dem Smartphone, mit Lupe- und Sprechblasen-Symbol – Prüfung aus echter Kundensicht

Start · Wissen · Voicebot- und Chatbot-Test

Autor: ChatbotChecker · BMB Deutschland GmbH · Stand: 29. September 2026

Anbieter

Wer bietet Mystery Testing für Chatbots und Voicebots an?

Der ChatbotChecker testet Service-Chatbots und telefonische Voicebots unabhängig und verdeckt aus Kundensicht — so, wie Ihre Kunden sie erleben. Dahinter steht die BMB Deutschland GmbH aus Hilden, die seit 1998 Servicequalität prüft.

BMB prüft analoge und digitale Kundenkanäle — vom klassischen Mystery Shopping bis zum Mystery Calling am Telefon. Seit 2021 beschäftigt sich BMB systematisch mit dem Testen von Chatbots und hat daraus die Methodik des ChatbotCheckers entwickelt.

Für einen Voicebot-Test ist diese Herkunft die entscheidende Grundlage: Ein Voicebot übernimmt genau das Telefonat, das BMB seit Jahrzehnten als verdeckter Testkunde führt und bewertet. Die Prüflogik aus dem Mystery Calling — verdeckter Anruf, realistisches Anliegen, strukturierte Bewertung — wird auf den KI-Sprachassistenten übertragen.

Prüffelder

Was wird bei Chatbot und Voicebot geprüft?

Chatbot und Voicebot werden nach demselben Kriterienraster bewertet: 24 Kriterien in vier Dimensionen, die zum CQI (Chatbot Quality Index) verdichtet werden. Unterschiede gibt es dort, wo der Kanal eigene Stolperstellen hat.

Prüffeld	Chatbot (Text)	Voicebot (Telefon)
Anliegen verstehen	Erkennt der Bot aus der geschriebenen Frage, worum es dem Kunden wirklich geht?	Versteht der Voicebot gesprochene Sprache — auch bei Rückfragen und Umformulierungen?
Fachliche Auskunft	Ist die Antwort richtig, vollständig und mit passender Quelle belegt?	Ist die Auskunft richtig und vollständig — obwohl der Anrufer nichts nachlesen kann?
Gesprächsführung	Nennt der Bot den konkreten nächsten Schritt, etwa Link und Aktion?	Führt der Voicebot zum Ziel, statt in Schleifen und Missverständnisse?
Übergabe an Menschen	Übergibt der Bot rechtzeitig, wenn er nicht weiterkommt?	Eskaliert der Voicebot rechtzeitig an einen Mitarbeiter?
Empathie und Ton	Geht der Bot auf Frust oder Unsicherheit ein, passt der Ton zur Marke?	Reagiert der Voicebot angemessen auf einen verärgerten oder unsicheren Anrufer?
Sicherheit	Lässt sich der Bot durch manipulierte Eingaben aus seiner Rolle bringen?	Hält der Voicebot Manipulationsversuchen im Gespräch stand? Der Prüfumfang wird im Erstgespräch festgelegt.
Ergebnis	Für beide Kanäle gleich: Schulnote von 1 bis 6, Report und Handlungsempfehlungen

Methodik

Warum reicht ein interner Test nicht aus?

Technische Testwerkzeuge und die Auswertung von Gesprächsprotokollen betrachten einen Bot aus Betreibersicht. Wer den eigenen Bot selbst testet, kennt zudem die richtigen Antworten schon und stellt selten unbequeme Fragen. Der Mystery Test ergänzt diese Wege um die Perspektive, auf die es im Service ankommt: die des Kunden. Er arbeitet als Black-Box, ohne Zugriff auf die Konfiguration des Bots, und baut gezielte Belastungsproben in die Gespräche ein:

Zahlen-Gedächtnis

Merkt sich der Bot eine zuvor genannte Zahl — oder widerspricht er sich später?

Falsch-Fakten-Probe

Übernimmt er eine vom Kunden eingestreute falsche Behauptung ungeprüft?

Vagheits-Reflex

Weicht er unter Nachfragen in Floskeln aus, statt konkret zu werden?

Autoritäts-Challenge

Lässt er sich unter Druck zu unbelegten Zusagen verleiten?

Ein Beispiel: Ein Voicebot, der einem drängenden Anrufer eine Garantie zusagt, die es nicht gibt, fällt in einem freundlichen Probegespräch kaum auf. Im verdeckten Test wird genau diese Situation gezielt herbeigeführt.

Auch rechtlich relevant: Das OLG Hamm hat mit Urteil vom 12.05.2026 (Az. 4 UKl 3/25) entschieden, dass ein Unternehmen für die Falschauskunft seines Chatbots haftet. Das Urteil ist noch nicht rechtskräftig, die Revision zum BGH ist zugelassen. Mehr dazu unter Chatbot-Haftung.

Die vollständige Prüflogik mit ihren acht Gesprächsschritten beschreibt der Beitrag Mystery-Testing für Chatbots. Einen neutralen Überblick über alle Messmethoden gibt der Beitrag Servicequalität eines KI-Chatbots messen.

Ablauf

Wie läuft ein Voicebot- oder Chatbot-Test ab?

1
Kostenloses ErstgesprächZiel, Umfang und der zu prüfende Kanal werden geklärt: Chat, Website-Bot oder Voicebot. Sie erhalten einen Festpreis.
2
Szenarien aus KundensichtPersonas, Anliegen und typische Schwachstellen werden aus echten Kundenstimmen abgeleitet.
3
Verdeckte TestgesprächeEin geschulter Checker schreibt mit dem Chatbot oder ruft beim Voicebot an — wie ein echter Kunde, mit realistischen Anliegen und gezielten Fallen.
4
Bewertung mit Mehrfach-KontrolleJedes Gespräch wird gegen 24 Kriterien bewertet, im Dreier-Check durch drei KI-Modelle. Eine separate menschliche Kontrollinstanz prüft das Ergebnis und gibt den Report frei.
5
Report, Schulnote und EmpfehlungenSie erhalten Gesamtnote, Einzelbefunde mit Gesprächsbeispielen und priorisierte nächste Schritte. Auf Wunsch folgt eine Nachprüfung nach Ihren Optimierungen.

Leistungsumfang, Beispielreport und Konditionen stehen auf der Seite Chatbot Audit. Antworten zu Kosten, Dauer und Prüfsiegel finden Sie in den häufigen Fragen.

Häufige Fragen

Voicebot- und Chatbot-Test — FAQ

Wer bietet Mystery Testing für Chatbots und Voicebots in Deutschland an?

Der ChatbotChecker, eine Marke der BMB Deutschland GmbH, testet Service-Chatbots und telefonische Voicebots verdeckt aus Kundensicht. BMB prüft Servicequalität seit 1998 mit Mystery Shopping und Mystery Calling und beschäftigt sich seit 2021 systematisch mit dem Testen von Chatbots.

Kann man einen Voicebot an der Hotline testen lassen?

Ja. Aus der Mystery-Calling-Praxis seit 1998 prüft der ChatbotChecker auch telefonische Voicebots und Sprachassistenten aus Kundensicht. Bewertet werden Sprachverständnis, Gesprächsführung, rechtzeitige Eskalation an einen Menschen und die Servicequalität.

Wird ein Voicebot nach denselben Kriterien bewertet wie ein Chatbot?

Ja. Voicebots werden nach demselben Kriterienraster bewertet wie Chatbots: 24 Kriterien in vier Dimensionen, verdichtet zum CQI und ausgewiesen als Schulnote von 1 bis 6.

Was kostet es, einen Voicebot oder Chatbot testen zu lassen?

Der Chatbot-Audit startet bei 990 € netto als Festpreis, ohne Abo. Das Erstgespräch ist kostenlos. Prüfungen mit Voicebot, mehreren Kanälen oder wiederkehrendem Monitoring werden individuell kalkuliert, weil Umfang und Kanal den Aufwand bestimmen.

Wie lange dauert die Prüfung?

Ein Standard-Audit dauert in der Regel wenige Werktage von der Freigabe bis zum fertigen Report. Der genaue Zeitrahmen hängt vom Umfang ab und wird im Erstgespräch verbindlich benannt.

Ist das ChatbotChecker-Prüfsiegel ein amtliches Siegel?

Nein. Bei bestandener Prüfung kann das ChatbotChecker-Prüfsiegel geführt werden. Es ist ein eigenes Siegel der BMB Deutschland GmbH, ein unabhängiges Qualitäts- und Sicherheitstestat. Es ist kein amtliches Siegel und kein Zertifikat einer Behörde oder der Europäischen Union.

Lassen Sie Ihren Voicebot oder Chatbot aus Kundensicht prüfen

Verdeckter Praxistest nach fester Methodik — als nachvollziehbare Schulnote mit konkreten Handlungsempfehlungen. Das Erstgespräch ist kostenlos.

Voicebot oder Chatbot prüfen lassen
Ablauf, Prüfumfang und Preise: Chatbot-Audit →