Beispielreport

Beispielreport: so sieht ein Chatbot-Audit aus

Ein anonymisierter Musterbericht zeigt vorab, was Sie bekommen: die Gesamt-Schulnote, die Auswertung über alle 24 Kriterien, den Sicherheits- und Prompt-Injection-Test und die konkreten Handlungsempfehlungen. Die Werte unten gehören zu einem fiktiven Beispiel-Servicebot und dienen nur der Illustration.

Eigenen Chatbot prüfen lassen

Start · Beispielreport

Chatbot-Audit — Ergebnisbericht

Prüfobjekt: Service-Chatbot (Beispiel) · Prüfung: BMB Deutschland GmbH

Musterbericht · illustrativ

PrüfobjektService-Chatbot „Beispiel GmbH“

MethodikCQI · 24 Kriterien

Testdialoge18 Szenarien

SicherheitPrompt-Injection-Test

74 %CQI-Gesamt

Note 3 — befriedigend

Solide Basis mit klaren Schwächen: Der Bot löst Standardanfragen zuverlässig, verliert aber bei Rückfragen den Kontext und weicht bei heiklen Themen aus. Sicherheitsseitig ein offener Punkt bei der Manipulierbarkeit.

74 % · Note 3

ungenügendausreichendgutsehr gut

Notenskala des CQI: ab 92 % = 1, 81–92 % = 2, 67–81 % = 3, 50–67 % = 4, 30–50 % = 5, unter 30 % = 6.

Ergebnis je Dimension

Die 24 Kriterien sind in vier Dimensionen gebündelt (je sechs Kriterien, 0–100 Punkte). Ausführlich: die 24 Kriterien.

Fachkompetenz & Problemlösung

68 %

Stark: korrekte Auskünfte zu Öffnungszeiten, Preisen und Standardprozessen. Schwach: bei mehrstufigen Rückfragen geht der Kontext verloren (Kriterium 04); zweimal widersprüchliche Angaben zur Rückgabefrist (Kriterium 11).

Gesprächsführung & Effizienz

79 %

Stark: klare nächste Schritte, kurze Wege zum Ziel. Schwach: Eskalation an einen Menschen erfolgt zu spät (Kriterium 09) — der Bot versucht zu lange, selbst zu antworten.

Empathie & Personalisierung

71 %

Stark: freundlicher, markengerechter Ton. Schwach: Frust eines Kunden wird nicht erkannt (Kriterium 13); Antworten bleiben trotz emotionaler Lage rein funktional.

Vertrauen & Klarheit

78 %

Stark: verständliche Sprache ohne Fachjargon. Schwach: Aussagen werden selten belegt (Kriterium 03); bei Unsicherheit rät der Bot, statt dies transparent zu machen (Kriterium 08).

Sicherheit & Prompt-Injection-Test

Härtetest aus Angreifersicht, angelehnt an die OWASP LLM Top 10. Mehr: Prompt-Injection-Test.

Handlungsbedarf

Bekannte Angriffsmuster

Von 12 getesteten Mustern wurden 10 abgewehrt. Bei 2 übernahm der Bot untergeschobene Anweisungen (Kriterium: Manipulierbarkeit).

Bestanden

Datenabfluss

Keine Preisgabe interner System-Prompts oder sensibler Inhalte im Test (OWASP LLM02).

Bestanden

Klartext-Ergebnis

Keine toxischen oder rufschädigenden Ausgaben provozierbar; Bot bleibt im Rahmen.

Priorisierte Handlungsempfehlungen

Hoch
Prompt-Injection-Schutz härtenDie 2 erfolgreichen Angriffsmuster gezielt schließen (System-Prompt-Isolierung, Eingabe-Filter) und nachprüfen.
Hoch
Kontext über mehrere Schritte haltenSession-State stabilisieren, damit Rückfragen nicht zu Widersprüchen führen (Kriterien 04 & 11).
Mittel
Eskalation früher auslösenKlare Übergabe an einen Menschen, sobald der Bot zweimal nicht weiterhilft (Kriterium 09).
Mittel
Unsicherheit ehrlich kommunizierenStatt zu raten: fehlende Sicherheit benennen und auf belegte Quelle verweisen (Kriterien 08 & 03).
Niedrig
Emotionen erkennenFrust-Signale aufgreifen und den Ton situativ anpassen (Kriterium 13).

Hinweis: Dies ist ein illustrativer Musterbericht. Prüfobjekt, Scores, Befunde und Empfehlungen gehören zu einem fiktiven Beispiel-Servicebot und bilden keinen realen Kunden ab. In einem echten Audit basieren alle Werte auf den tatsächlichen Testdialogen mit Ihrem Chatbot; die Struktur des Berichts entspricht dieser Vorlage.

Warum das zählt

Ein Urteil, das man nachvollziehen kann

Der Report macht Chatbot-Qualität überprüfbar statt behauptbar: eine reproduzierbare Note, belegt mit echten Dialogbeispielen, ergänzt um einen Sicherheitsteil und priorisierte nächste Schritte. Genau das erwarten Geschäftsführung, CX- und Compliance-Verantwortliche, wenn sie eine Entscheidung über ihren Bot begründen müssen.

Wie der Audit abläuft und was er kostet, steht auf der Seite Chatbot Audit.

So einen Report für Ihren Chatbot?

Unabhängig, aus Kundensicht, mit nachvollziehbarer Schulnote und konkreten Empfehlungen. Das Erstgespräch ist kostenlos.

Chatbot prüfen lassen