Wissen · Messmethoden
Servicequalität eines KI-Chatbots messen: Methoden, Kriterien, Ablauf
Die Servicequalität eines KI-Chatbots lässt sich vor allem auf vier Wegen messen: über Chatprotokolle und Kennzahlen, über Kundenbefragungen, über automatisierte Testsuiten und über verdeckte Praxistests aus Kundensicht. Der ChatbotChecker der BMB Deutschland GmbH misst mit dem verdeckten Test und dem CQI: 24 Kriterien in vier Dimensionen, verdichtet zu einer Schulnote von 1 bis 6.
24 Kriterien · 4 Dimensionen · Schulnote 1–6
Start · Wissen · Servicequalität messen
Grundlagen
Was bedeutet Servicequalität bei einem KI-Chatbot?
Ein Bot, der rund um die Uhr antwortet, ist damit noch kein guter Servicekanal. Entscheidend ist, ob die Antworten stimmen, ob das Anliegen gelöst wird und ob der Bot rechtzeitig an einen Menschen übergibt, wenn er nicht weiterkommt.
Wer Servicequalität messen will, braucht deshalb zwei Dinge: eine Methode, die realistische Gespräche erfasst, und ein Raster, das diese Gespräche vergleichbar bewertet. Beides lässt sich unterschiedlich lösen.
Methoden im Vergleich
Welche Methoden gibt es, um die Servicequalität eines Chatbots zu messen?
Die gängigen Methoden beantworten unterschiedliche Fragen und betrachten den Bot aus unterschiedlicher Perspektive. Keine ist für sich allein vollständig.
Chatprotokolle und Kennzahlen
Der Betreiber wertet echte Gespräche aus, etwa Abbrüche, Übergaben an Mitarbeitende oder häufige Themen. Das zeigt Muster im Echtbetrieb.
Kundenbefragung
Kurze Bewertungen nach dem Chat oder Befragungen erfassen, wie zufrieden Nutzer sind.
Automatisierte Testsuiten
Vordefinierte Fragen werden regelmäßig automatisch gestellt und mit Sollantworten verglichen. Das ist reproduzierbar und deckt Rückschritte nach Änderungen auf.
Verdeckter Praxistest
Geschulte Testkunden führen realistische Gespräche mit gezielten Belastungsproben und bewerten sie nach einem festen Raster. Das zeigt, was ein Kunde tatsächlich erlebt.
In der Praxis ergänzen sich die Methoden: Kennzahlen zeigen, wo es hakt. Der verdeckte Test zeigt, warum es hakt und was der Kunde dabei erlebt.
Kriterien
Nach welchen Kriterien wird die Servicequalität bewertet?
Der ChatbotChecker bewertet jeden Testdialog mit dem CQI (Chatbot Quality Index): 24 Kriterien, gebündelt in vier Dimensionen mit je sechs Kriterien. Jedes Kriterium wird auf einer Skala von 0 bis 100 Punkten bewertet.
Fachkompetenz & Problemlösung
Intent-Erkennung, fachliche Richtigkeit, Quellen, Kontext, Vollständigkeit und Bedarfsanalyse.
Gesprächsführung & Effizienz
Konkreter nächster Schritt, ehrlicher Umgang mit Unsicherheit, rechtzeitige Eskalation, Effizienz, Konsistenz und Proaktivität.
Empathie & Personalisierung
Empathie, Individualisierung, Markenfit, Respekt, Begrüßung und Verabschiedung.
Vertrauen & Klarheit
Vertrauen, Klarheit, Gesprächsfluss, Aktivierung, Fehlerkultur und Usability.
Alle 24 Kriterien mit ihren Prüffragen stehen auf der Seite Chatbot-Bewertung: Die 24 Kriterien.
Ablauf
Wie läuft die Messung beim ChatbotChecker ab?
- 1Setup aus KundensichtPersonas, Anliegen und typische Schwachstellen werden aus echten Kundenstimmen abgeleitet.
- 2Verdeckte TestdialogeEin geschulter Checker führt die Gespräche auf der echten Website wie ein Kunde — ohne Zugriff auf die Konfiguration des Bots. Grundlage sind 10 intensive Dialoge mit bis zu 10 Turns und gezielten Fallen.
- 3Bewertung nach 24 KriterienJeder Dialog wird Kriterium für Kriterium gegen das CQI-Raster bewertet.
- 4Dreier-Check und menschliche KontrolleDrei unabhängige KI-Modelle bewerten jeden Dialog, damit Einzelmeinungen und Zufall herausfallen. Darüber steht eine separate menschliche Kontrollinstanz: Ein geschulter Checker prüft die Auffälligkeiten und gibt jeden Report frei.
- 5Verdichtung zur SchulnoteDie Einzelwertungen ergeben einen Prozentwert, der über eine feste, an den IHK-Notenspiegel angelehnte Skala in eine Schulnote übersetzt wird: 92 % und mehr ergeben die Note 1, unter 30 % die Note 6.
- 6Report mit HandlungsempfehlungenGesamtnote, Befunde je Kriterium mit Dialogbeispielen und priorisierte nächste Schritte, mit denen sich die Note gezielt verbessern lässt.
Die Gesprächslogik im Detail beschreibt der Beitrag Mystery-Testing für Chatbots. Dasselbe Kriterienraster gilt für telefonische Voicebots, siehe Voicebot und Chatbot testen lassen.
Abgrenzung
Warum ist Ausprobieren keine Messung?
Wer ab und zu mit dem eigenen Bot chattet, sieht vor allem, ob die Antworten passend klingen. Ob sie stimmen, bleibt offen. Eine Messung braucht eine feste Sequenz mit einer klaren Prüfaufgabe pro Schritt: Einstieg, Sachfrage, Präzisionsdruck, Personalisierung, nächster Schritt, Problemfall, Unsicherheit und Abschluss.
Dazu kommen gezielte Belastungsproben. Ein Chatbot, der eine vom Kunden eingestreute falsche Behauptung einfach übernimmt, wirkt im lockeren Probechat hilfsbereit. Im verdeckten Test fällt genau dieses Verhalten auf und wird im Raster bewertet.
Die Sicherheit prüft der ChatbotChecker gesondert und weist sie getrennt von der Servicenote aus. Leistungsumfang und Beispielreport stehen auf der Seite Chatbot Audit.
Häufige Fragen
Chatbot-Servicequalität messen — FAQ
Wie misst man die Servicequalität eines KI-Chatbots?
Welche Methoden und Anbieter gibt es?
Was ist der CQI (Chatbot Quality Index)?
Wie viele Testdialoge umfasst eine Messung?
Wird die Sicherheit des Chatbots mitgemessen?
Was kostet eine Messung der Servicequalität?
Wie gut ist Ihr Chatbot im Kundenservice wirklich?
Verdeckte Messung aus Kundensicht nach 24 Kriterien — als nachvollziehbare Schulnote mit konkreten Handlungsempfehlungen.
Chatbot prüfen lassenAblauf, Prüfumfang und Preise: Chatbot-Audit →