ChatbotChecker — eine Marke der BMB Deutschland GmbH

Wissen · Methodik

CQI — Chatbot Quality Index: So wird Chatbot-Qualität messbar

Der Chatbot Quality Index macht die Servicequalität eines KI-Chatbots vergleichbar — als nachvollziehbare Schulnote statt Bauchgefühl. Hier steht, wie er aufgebaut ist und wie er erhoben wird.

24 Kriterien · 4 Dimensionen · Schulnote 1–6
Chatbot prüfen lassen

Start · Wissen · CQI

Definition

Was ist der CQI?

Der Chatbot Quality Index (CQI) ist ein Bewertungsindex für die Qualität von Service-Chatbots. Er bewertet einen Chatbot aus Kundensicht anhand von 24 Kriterien in vier Dimensionen und verdichtet das Ergebnis zu einer Schulnote von 1 bis 6 — ergänzt um ein separates Sicherheits-Gate.

Der Grundgedanke: Chatbot-Qualität ist kein Bauchgefühl, sondern messbar. Statt „der Bot wirkt ganz gut" liefert der CQI einen reproduzierbaren Wert, der sich über die Zeit und zwischen verschiedenen Bots vergleichen lässt.

Berechnung

Wie der CQI zustande kommt

Der CQI entsteht nicht aus einer einzelnen Frage, sondern aus einem strukturierten Testdialog, der jede Teilfähigkeit des Bots gezielt prüft.

1. Verdeckter Testdialog. Ein Mystery-Test aus echter Kundensicht — als Black-Box, ohne Zugriff auf die Konfiguration des Bots. Der Dialog folgt einer festen Sequenz mit jeweils einer klaren Prüfaufgabe pro Schritt (Einstieg, Sachfrage, Präzisionsdruck, Personalisierung, Abschluss).
2. Bewertung entlang 24 Kriterien. Jeder Dialog wird gegen 24 Einzelkriterien bewertet, gruppiert in vier Dimensionen.
3. Verdichtung zur Schulnote. Die Einzelwertungen ergeben einen Prozentwert, der über eine feste Notenskala in eine Schulnote von 1 bis 6 übersetzt wird.
4. Separates Sicherheits-Gate. Sicherheitsrelevante Schwächen (z. B. Prompt-Injection-Anfälligkeit) werden getrennt bewertet — Qualität und Sicherheit werden nicht vermischt.

Aufbau

Die vier Dimensionen des CQI

Die 24 Kriterien bündeln sich in vier Qualitätsdimensionen — sie decken ab, was einen Servicedialog wirklich gut macht:

Fachkompetenz & Problemlösung

Versteht der Bot das Anliegen, antwortet fachlich richtig, vollständig und belegt — und löst es wirklich?

Gesprächsführung & Effizienz

Führt der Bot zielgerichtet und effizient durch den Dialog — mit klaren nächsten Schritten und rechtzeitiger Eskalation?

Empathie & Personalisierung

Geht der Bot auf Situation und Person ein — empathisch, respektvoll und im passenden Marken-Ton?

Vertrauen & Klarheit

Ist der Bot vertrauenswürdig, klar verständlich und einfach zu nutzen — auch wenn einmal etwas schiefgeht?

Unabhängigkeit

Wer den CQI erhebt — und warum das belastbar ist

Der CQI wird nicht von einer einzelnen Instanz vergeben. Jeder Dialog durchläuft eine mehrfache Bewertung, um Einzelmeinungen und Zufall auszuschließen:

Dreier-Check aus drei KI-Modellen. Jeder Dialog wird von drei unabhängigen KI-Modellen bewertet — so fallen Einzelmeinungen und Zufall heraus.
Separate menschliche Kontrollinstanz. Über den drei KI-Modellen steht eine unabhängige menschliche Kontrolle, die das Ergebnis prüft und verantwortet, bevor es das Haus verlässt.
Aus Kundensicht, seit 1998. Die Methodik steht in der Tradition des BMB-Mystery-Shoppings seit 1998 — verdeckt, aus echter Kundenperspektive, ohne Innensicht auf den Bot.

Sicherheit

Woran sich die Sicherheitsbewertung orientiert

Neben der Servicequalität prüft der ChatbotChecker die Widerstandsfähigkeit des Bots gegen Manipulation. Die Sicherheitsbewertung ist an anerkannten, öffentlich dokumentierten Standards ausgerichtet:

→ OWASP Top 10 für LLM-Anwendungen
→ MITRE ATLAS
→ NIST AI 600-1 (Generative AI Profile)

Ergänzend kommen etablierte Benchmark-Tests für Prompt-Injection- und Jailbreak-Resistenz zum Einsatz. Details dazu auf der Seite Prompt-Injection-Test.

Notenskala

Vom Prozentwert zur Schulnote

Der CQI-Prozentwert wird über eine feste Schwellenskala in eine vertraute Schulnote übersetzt — angelehnt an den IHK-Notenspiegel:

CQI-WertSchulnote
92 % und mehr1 — sehr gut
81 % bis unter 92 %2 — gut
67 % bis unter 81 %3 — befriedigend
50 % bis unter 67 %4 — ausreichend
30 % bis unter 50 %5 — mangelhaft
unter 30 %6 — ungenügend

Die Note bildet die Servicequalität (CQI) ab. Die Sicherheitsbewertung wird separat über das Sicherheits-Gate ausgewiesen und nicht mit der Qualitätsnote verrechnet.

Häufige Fragen

CQI — FAQ

Was ist der CQI (Chatbot Quality Index)?
Der CQI ist ein Bewertungsindex für die Qualität von Service-Chatbots. Er bewertet einen Chatbot aus Kundensicht anhand von 24 Kriterien in vier Dimensionen und verdichtet das Ergebnis zu einer Schulnote von 1 bis 6, ergänzt um ein separates Sicherheits-Gate.
Wie wird der CQI berechnet?
In einem verdeckten Testdialog wird der Chatbot entlang von 24 Kriterien in vier Dimensionen bewertet. Die Einzelwertungen werden zu einem Prozentwert verdichtet und über eine feste Notenskala in eine Schulnote von 1 bis 6 übersetzt. Sicherheitsrelevante Schwächen werden über ein separates Sicherheits-Gate erfasst.
Welche vier Dimensionen umfasst der CQI?
Der CQI bewertet in vier Dimensionen: Fachkompetenz & Problemlösung, Gesprächsführung & Effizienz, Empathie & Personalisierung sowie Vertrauen & Klarheit. Jede Dimension bündelt sechs der insgesamt 24 Einzelkriterien.
Wie unabhängig ist die CQI-Bewertung?
Die Bewertung erfolgt verdeckt aus echter Kundensicht (Black-Box, ohne Zugriff auf die Konfiguration des Bots). Jeder Dialog wird von drei unabhängigen KI-Modellen bewertet (Dreier-Check). Darüber steht eine separate menschliche Kontrollinstanz, die das Ergebnis unabhängig prüft und verantwortet.
Woran orientiert sich die Sicherheitsbewertung?
Die Sicherheitsprüfung ist an anerkannten Standards ausgerichtet: den OWASP Top 10 für LLM-Anwendungen, MITRE ATLAS und NIST AI 600-1. Ergänzend kommen etablierte Benchmark-Tests für Prompt-Injection- und Jailbreak-Resistenz zum Einsatz.

Wie schneidet Ihr Chatbot im CQI ab?

Unabhängige Prüfung von Servicequalität und Sicherheit — als nachvollziehbare Schulnote mit konkreten Handlungsempfehlungen.

Chatbot prüfen lassen
Chatbot prüfen lassen