Unternehmen nutzen Chatbot-Metriken, um Verbesserungspotenziale zu erkennen und ihren Chatbot kontinuierlich weiterzuentwickeln. Bei modernen KI-basierten Chatbots sind neben den Nutzungszahlen insbesondere die Antwortqualität, die Erkennung von Wissenslücken und die erfolgreiche Bearbeitung von Benutzeranfragen entscheidend.
Was sind Chatbot-Metriken?
Chatbot-Metriken sind quantitative Messwerte, die Informationen über die Nutzung und Leistungsfähigkeit eines Chatbots liefern. Sie werden häufig auch als Chatbot-Kennzahlen oder Chatbot-KPIs bezeichnet.
Je nach Anwendung lassen sich unterschiedliche Bereiche untersuchen:
- Nutzung: Wie viele Personen verwenden den Chatbot?
- Interaktion: Wie viele Unterhaltungen und Nachrichten werden ausgetauscht?
- Antwortqualität: Wie gut beantwortet der Chatbot die gestellten Fragen?
- Wissenslücken: Welche Anfragen kann der Chatbot nicht beantworten?
- Benutzerzufriedenheit: Wie bewerten Benutzer die erhaltenen Antworten?
- Zielerreichung: Wie erfolgreich unterstützt der Chatbot bei konkreten Anliegen?
- Effizienz: Wie viele Ressourcen benötigt der Betrieb des Chatbots?
Die Analyse dieser Kennzahlen hilft Unternehmen, datenbasierte Entscheidungen zu treffen und die Qualität ihres Chatbots gezielt zu verbessern.
Welche Chatbot-Metriken sind besonders wichtig?
Welche Kennzahlen relevant sind, hängt vom Einsatzzweck des Chatbots ab. Für die Bewertung moderner KI-Chatbots sind insbesondere folgende Metriken interessant.
1. Anzahl der Konversationen
Die Anzahl der Konversationen zeigt, wie viele Unterhaltungen innerhalb eines bestimmten Zeitraums mit dem Chatbot geführt wurden.
Diese Kennzahl gibt einen Überblick über die Nutzung und hilft dabei, Veränderungen im Benutzerverhalten zu erkennen.
Eine steigende Anzahl von Konversationen kann beispielsweise auf eine stärkere Nutzung des Chatbots hinweisen. Sie bedeutet jedoch nicht automatisch, dass der Chatbot erfolgreich arbeitet.
2. Anzahl der Benutzernachrichten
Diese Metrik erfasst, wie viele Nachrichten Benutzer an den Chatbot senden.
Die Anzahl der Nachrichten kann Hinweise auf die Intensität der Interaktionen geben. Viele Nachrichten innerhalb einer Unterhaltung können beispielsweise auf ein komplexes Anliegen hinweisen.
Allerdings können auch Verständigungsprobleme dazu führen, dass Benutzer mehrfach nachfragen müssen.
Deshalb sollte die Anzahl der Nachrichten immer im Zusammenhang mit weiteren Kennzahlen betrachtet werden.
3. Fallback-Rate
Die Fallback-Rate zeigt, wie häufig ein Chatbot eine Benutzeranfrage nicht beantworten kann.
Bei klassischen Chatbots kann ein Fallback Intent ausgelöst werden, wenn eine Absicht nicht erkannt wird.
Auch moderne KI-Chatbots können an ihre Grenzen stossen, beispielsweise wenn benötigte Informationen fehlen oder eine Anfrage ausserhalb ihres Aufgabenbereichs liegt.
Eine hohe Fallback-Rate kann auf folgende Probleme hinweisen:
- Fehlende Informationen in der Wissensdatenbank
- Nicht ausreichend abgedeckte Themen
- Unklare Benutzeranfragen
- Fehlende Funktionen oder Integrationen
- Probleme beim Abrufen relevanter Informationen
Die Analyse von Fallbacks ist deshalb eine wichtige Grundlage für die kontinuierliche Optimierung.
4. Antwortqualität und Benutzerbewertungen
Die Antwortqualität beschreibt, wie korrekt, relevant und hilfreich die Antworten eines Chatbots sind.
Bei KI-Chatbots ist diese Kennzahl besonders wichtig, da ein Sprachmodell sprachlich überzeugende Antworten generieren kann, die nicht zwingend sachlich korrekt sein müssen.
Die Qualität lässt sich beispielsweise anhand folgender Kriterien beurteilen:
- Ist die Antwort sachlich richtig?
- Beantwortet sie die eigentliche Frage?
- Ist sie vollständig und verständlich?
- Beruht sie auf relevanten Wissensquellen?
- Hilft sie dem Benutzer bei seinem Anliegen?
Zusätzlich können Benutzer die Antworten bewerten.
Negative Bewertungen liefern wertvolle Hinweise darauf, welche Antworten überprüft oder verbessert werden sollten.
5. Häufig angefragte Themen
Die Analyse der häufigsten Themen zeigt, welche Informationen Benutzer besonders oft benötigen.
Daraus lassen sich beispielsweise folgende Erkenntnisse gewinnen:
- Welche Fragen werden besonders häufig gestellt?
- Welche Themen sind für die Benutzer besonders relevant?
- Bei welchen Themen treten häufig Fallbacks auf?
- Welche Informationen sollten ergänzt oder verbessert werden?
Diese Erkenntnisse helfen dabei, die Inhalte einer Wissensdatenbank gezielt weiterzuentwickeln.
6. Nutzung von Wissensquellen
Moderne KI-Chatbots können Informationen aus verschiedenen Wissensquellen abrufen.
Die Analyse der verwendeten Quellen zeigt, welche Inhalte besonders häufig für die Beantwortung von Benutzerfragen genutzt werden.
Dies ist insbesondere bei Chatbots mit Retrieval-Augmented Generation (RAG) relevant.
Unternehmen können dadurch besser verstehen, welche Informationen besonders wichtig sind und welche Wissensbereiche möglicherweise erweitert werden sollten.
7. Zielerreichung und erfolgreiche Aufgaben
Ein moderner KI-Chatbot kann nicht nur Fragen beantworten, sondern auch als digitaler Assistent Aufgaben übernehmen und Prozesse unterstützen.
Deshalb ist die Task Completion Rate, also die Erfolgsquote bei der Aufgabenerledigung, eine wichtige Kennzahl.
Beispiele für erfolgreich abgeschlossene Aufgaben sind:
- Eine Terminvereinbarung wurde durchgeführt.
- Eine gewünschte Information wurde bereitgestellt.
- Ein Support-Ticket wurde erstellt.
- Eine Statusabfrage wurde erfolgreich abgeschlossen.
- Eine Aktion in einem angebundenen System wurde ausgeführt.
Die Zielerreichung muss dabei anhand klar definierter Erfolgskriterien gemessen werden. Eine beantwortete Frage bedeutet nicht automatisch, dass das Anliegen des Benutzers vollständig gelöst wurde.
8. KI-Nutzung und Betriebskosten
Bei KI-basierten Chatbots können auch technische Kennzahlen relevant sein.
Dazu gehören beispielsweise die Anzahl der Aufrufe eines grossen Sprachmodells, der Tokenverbrauch und die damit verbundenen Kosten.
Diese Metriken helfen dabei, den Ressourcenverbrauch zu überwachen und den Betrieb des Chatbots wirtschaftlich zu optimieren.
Wie werden Chatbot-Metriken ausgewertet?
Chatbot-Metriken werden üblicherweise über definierte Zeiträume analysiert, beispielsweise über die letzten 7, 30 oder 90 Tage.
Dadurch lassen sich Entwicklungen erkennen und die Auswirkungen von Änderungen am Chatbot überprüfen.
Wird beispielsweise eine neue Absicht eingeführt, eine Wissensdatenbank erweitert oder eine Funktion angepasst, können die Kennzahlen vor und nach der Änderung verglichen werden.
Bei neu eingeführten Chatbots können die Messwerte zunächst stark schwanken. Mit zunehmender Nutzung entsteht eine bessere Datengrundlage, um längerfristige Entwicklungen zu beurteilen.
Entscheidend ist, Metriken nicht isoliert zu betrachten, sondern verschiedene Kennzahlen miteinander zu kombinieren.
Chatbot-Metriken bei Apptiva Klar
Die KI-Chatbot-Plattform Apptiva Klar bietet im Content-Management-System (CMS) Funktionen zur Analyse und Optimierung des Chatbots.
Im Bereich Insights und Analytics können Chatbot-Metriken über definierte Zeiträume ausgewertet werden. Dadurch lassen sich Entwicklungen beobachten und die Auswirkungen von Anpassungen am Chatbot nachvollziehen.
Zu den dokumentierten Auswertungsmöglichkeiten gehören unter anderem:
- Anzahl der Konversationen und Benutzernachrichten
- Fallback-Ereignisse und daraus entstandene Trainingsaufgaben
- Benutzerbewertungen
- Häufig angefragte Themen
- Nutzung von Wissensquellen
- Tokenverbrauch und Kosten von KI-Modellaufrufen
Zusätzlich können Chatverläufe analysiert werden, um Probleme bei der Beantwortung von Benutzerfragen zu identifizieren.
KI-gestützte Optimierung
Apptiva Klar unterstützt die Weiterentwicklung des Chatbots auch durch KI-gestützte Empfehlungen.
Dabei können ausgewählte Konversationen analysiert werden, um Verbesserungspotenziale zu erkennen.
Die Empfehlungen können beispielsweise aufzeigen, welche Anpassungen sinnvoll sind, welchen Nutzen diese voraussichtlich haben und wie sich der Erfolg einer Änderung überprüfen lässt.
Die Ergebnisse dienen als Entscheidungsgrundlage für die kontinuierliche Verbesserung des Chatbots.
Analytics-Daten über eine API nutzen
Apptiva Klar stellt Analytics-Daten auch über eine REST-API zur Verfügung.
Damit lassen sich Kennzahlen in externe Reporting-Systeme, Business-Intelligence-Lösungen oder eigene Dashboards integrieren.
Unternehmen können so Chatbot-Daten mit weiteren Unternehmenskennzahlen kombinieren und individuelle Auswertungen erstellen.
Wie helfen Chatbot-Metriken bei der Optimierung?
Die regelmässige Analyse von Chatbot-Metriken ermöglicht eine gezielte Weiterentwicklung des Systems.
Ein Beispiel:
Ein Unternehmen stellt fest, dass viele Benutzer nach bestimmten Dienstleistungen fragen, der Chatbot jedoch häufig keine passende Antwort liefert.
Die Analyse zeigt, dass relevante Informationen in der Wissensdatenbank fehlen.
Nach der Ergänzung dieser Informationen kann überprüft werden, ob die Anzahl der Fallbacks zurückgeht und die Benutzerbewertungen besser werden.
So entsteht ein kontinuierlicher Verbesserungsprozess:
Messen → Analysieren → Optimieren → Erneut messen
Dieser Prozess hilft dabei, die Qualität des Chatbots langfristig zu steigern und ihn besser auf die tatsächlichen Bedürfnisse der Benutzer auszurichten.
Was ist der Unterschied zwischen Chatbot-Metriken und KPIs?
Die Begriffe Chatbot-Metriken und Chatbot-KPIs werden häufig synonym verwendet. Sie haben jedoch unterschiedliche Bedeutungen.
Chatbot-Metriken umfassen grundsätzlich alle messbaren Kennzahlen zur Nutzung und Leistung eines Chatbots.
Chatbot-KPIs (Key Performance Indicators) sind ausgewählte Kennzahlen, die direkt mit einem bestimmten Unternehmensziel verbunden sind.
Beispielsweise ist die Anzahl der Konversationen eine allgemeine Metrik.
Wenn ein Unternehmen hingegen die erfolgreiche Bearbeitung von Kundenanfragen als wichtigstes Ziel definiert, kann die entsprechende Erfolgsquote als KPI verwendet werden.
Nicht jede Metrik ist deshalb automatisch ein KPI.
Warum sind Chatbot-Metriken für Unternehmen wichtig?
Chatbot-Metriken schaffen Transparenz darüber, wie ein Chatbot tatsächlich genutzt wird und welchen Beitrag er zur Erreichung der Unternehmensziele leistet.
Sie helfen dabei,
- die Nutzung und Akzeptanz zu verstehen,
- die Qualität der Antworten zu verbessern,
- Wissenslücken zu erkennen,
- häufige Benutzeranliegen zu identifizieren,
- die erfolgreiche Bearbeitung von Aufgaben zu überprüfen,
- technische und wirtschaftliche Kennzahlen zu überwachen und
- die Weiterentwicklung des Chatbots datenbasiert zu steuern.
Gerade bei modernen KI-Chatbots, die auf Unternehmenswissen zugreifen und als digitale Assistenten Aufgaben übernehmen, ist eine regelmässige Erfolgskontrolle entscheidend.
Häufige Fragen zu Chatbot-Metriken
Was sind Chatbot-Metriken?
Chatbot-Metriken sind Kennzahlen, mit denen die Nutzung, Leistung und Qualität eines Chatbots gemessen werden. Sie helfen Unternehmen dabei, den Erfolg des Chatbots zu beurteilen und Verbesserungspotenziale zu erkennen.
Welche Chatbot-Metriken sind besonders wichtig?
Zu den wichtigsten Kennzahlen gehören die Anzahl der Konversationen, die Fallback-Rate, die Antwortqualität, die Benutzerzufriedenheit und die erfolgreiche Erledigung von Aufgaben.
Was ist die Fallback-Rate bei einem Chatbot?
Die Fallback-Rate zeigt, wie häufig ein Chatbot eine Benutzeranfrage nicht beantworten kann. Sie hilft dabei, Wissenslücken und Probleme bei der Verarbeitung von Anfragen zu erkennen.
Wie lässt sich die Qualität eines KI-Chatbots messen?
Die Qualität eines KI-Chatbots kann anhand der Antwortgenauigkeit, Relevanz, Benutzerbewertungen, Fallbacks und erfolgreichen Aufgaben gemessen werden. Eine Kombination mehrerer Kennzahlen liefert die aussagekräftigsten Ergebnisse.
Was ist der Unterschied zwischen Chatbot-Metriken und KPIs?
Chatbot-Metriken sind allgemeine Messwerte zur Nutzung und Leistung eines Chatbots. KPIs sind ausgewählte Kennzahlen, die zur Bewertung konkreter Unternehmensziele eingesetzt werden.
Kann Apptiva Klar Chatbot-Metriken auswerten?
Ja. Apptiva Klar bietet im CMS Analyse- und Reporting-Funktionen. Damit können unter anderem Konversationen, Fallbacks, Bewertungen, angefragte Themen und die Nutzung von Wissensquellen ausgewertet werden.
Warum sollten Chatbot-Metriken regelmässig überprüft werden?
Die regelmässige Analyse zeigt, wie sich die Leistung eines Chatbots entwickelt und ob Anpassungen die gewünschten Verbesserungen bewirken. Dadurch kann der Chatbot kontinuierlich optimiert werden.