Ziele bzw. deren Erreichung für Chatbots zu formulieren, ist nicht unbedingt einfach, denn jenseits der Frage, ob der Chatbot Kosten einsparen soll oder den Service entlasten, wird es komplizierter. Wann ist ein Chatbot erfolgreich, wie gelingt die Erfolgsmessung? Worin besteht der Erfolg?

Zunächst hängen Ziel und Erreichung davon ab, was der Chatbot bei Ihnen leisten soll. Bei internen Chatbots ist die Messung vergleichsweise einfacher, weil Sie typischerweise eine interne Abteilung oder vielleicht sogar nur einen Mitarbeiter entlasten möchten. Da die Zielgruppe begrenzt und für Sie gut erreichbar ist (interne Mail, ein Alert, eine kurze Vorstellung im Rahmen einer Unternehmensveranstaltung oder ein Video im Intranet), können Sie schnell mit ersten Nutzern, Rückmeldungen und messbaren Daten rechnen.

In der „freien Wildbahn“ sieht das völlig anders aus: Sie werden Ihren Chatbot bekannt machen müssen, Werbung schalten, ihn prominent platzieren. Und wenn Sie nicht die Sensation schlechthin anbieten können, wird es eine gewisse Zeit brauchen, bis genug Zugriffe erfolgt sind, um über das Erreichen der Ziele nachzudenken.

Vergleichsweise einfach ist es, wenn Sie sehen, dass Ihr Chatbot nicht nur einmalig, sondern von denselben Personen mehrfach verwendet wurde. Was banal klingt, ist in der Praxis oft gar nicht so einfach zu ermitteln, denn zunächst stellt der Chatbot häufig eine Alternative zu einem bestehenden Weg dar (beispielsweise für die Genehmigung von Dienstreisen). Wenn Sie den Ursprungsweg nicht komplett blockieren, muss sich der Chatbot dagegen durchsetzen.

Das ist der Hintergrund, des immer wieder erwähnten Killerfeatures, das jeder Chatbot braucht. Einfach nur zu hoffen, dass die Belegschaft nach dem Appell zur Chatbotnutzung nur noch per Chatbot Kontakt zur Personalabteilung aufnimmt, ist nicht ausreichend.

Wenn Sie im Chatbot-Backend sehen können, dass einzelne Ihrer Beschäftigten den Chatbot mehrfach erfolgreich benutzt haben, ist das ein erster Indikator. Ohne die Information, wie viele den alten Weg gewählt haben, ist es allerdings schwierig.

Um beim Dienstreisebeispiel zu bleiben: Wenn in einem normalen Monat bei Ihnen vierzig Dienstreisenachfragen in der Personalabteilung aufschlagen (unabhängig davon, ob sie von Teammitgliedern oder Teamleitungen kommen), sind nach vier Wochen beispielsweise zehn erfolgreiche Anfragen im Chatbot schon gar nicht schlecht. Wenn daneben nur wenige erfolglose Anfragen erfolgen, scheint der Chatbot zu funktionieren. Nutzen einzelne Mitarbeiter den Chatbot öfter erfolgreich, ist das ein gutes Zeichen. Interessant wäre dann zu betrachten, ob die Nutzungskurve für den Chatbot steigt, gleich bleibt oder gar fällt.

Chatbots, die man wirklich nur punktuell benötigt, sind in Sachen Mehrfachnutzung kaum zu beurteilen. Dann gilt das Kriterium wie bei Webseiten: Gibt es Nutzer? Wenn ja, wie viele? Und: Was machen die im Chatbot? Sind es sinnvolle Dialoge oder nur Tests? Das herauszubekommen ist über das Chatbot-Backend nicht wirklich schwierig und sehr informativ. Unabhängig von der Nutzungsdauer ist wichtig, ob die Zahl der Nutzer nach dem Start steigt, sinkt oder halbwegs konstant bleibt. Sinken ist ungünstig, klar. Dann muss man prüfen, woran das liegt. Bleibt die Zahl der Nutzer konstant, kann das angemessen sein, wenn Sie einen Chatbot für die Einarbeitung neuer Mitarbeiter erstellt haben.

Wenn Sie nicht gerade jeden Monat eine große Anzahl neuer Kolleginnen und Kollegen einstellen, wird sich die Nutzerzahl kaum ändern, tendenziell vermutlich sogar sinken. Allerdings wäre dann die Mehrfachnutzung interessant. Steigende Zahlen sind in diesem Kontext gut, sofern der Chatbot vernünftig reagiert.

Wann die Nutzungshäufigkeit für Ihren Chatbot spricht, hängt von der Aufgabenstellung und vom Unternehmen ab. Um beim Beispiel des Einarbeitungschatbots zu bleiben: Wenn die Zahl der Nutzungen passt, prima. Auf die Dauer sollte Mehrfachnutzung die Regel werden, denn ein Einarbeitungschatbot, der nur einmal genutzt wird, kann unabhängig von der Nutzerzahl nicht gut sein.

Anders gesagt: Die Reaktion Ihrer Zielgruppe auf den Chatbot ist zunächst entscheidend, denn vor allen anderen Kennzahlen muss die Nutzung stimmen. Ob die Zahl der unique users hoch ist (recht charakteristisch bei Endkunden) oder die der Mehrfachnutzungen (eher charakteristisch für interne Lösungen) hängt wesentlich vom Konzept und der Zielgruppe ab. Es gibt auch keine magische Zahl, ab wann das gut klappt.

Nutzungen können Sie in unterschiedlichsten Perioden messen. Liefert Ihr Chatbot Stoff für die tägliche Arbeit, ist der Tageswert nicht uninteressant. Liefert der Chatbot keine tagesaktuellen Informationen, ist die Betrachtung eines Zwei-Wochen- oder Monatszeitraums sinnvoller. Wer öfter neue Inhalte bereitstellt, kann auch schnell erkennen, wann sich das „herumspricht“ und zu höheren Nutzungszahlen bzw. entsprechenden Anfragen führt. Am Ende wird auch der Chatbot Zeiten hoher genauso wie niedriger Aktivität aufweisen.

Nützlich ist außerdem, ähnlich wie bei Webseiten, die erfolgreichen Besuche und die abgebrochenen zu betrachten. Hohe Abbruchraten sprechen gegen die Nutzbarkeit, niedrige bedeuten nicht, dass Sie ein UX-Wunder gebaut haben, sondern nur, dass der Bot wohl zum Ziel führt.

Wenn Ihr Chatbot verkaufen soll – also kein interner Chatbot ist –, können Sie ihn am Umsatz messen. Das ist vergleichsweise einfach, aber nur auf den ersten Blick. Die Nutzung hängt an der Bekanntheit. Ist der Chatbot unbekannt oder schwierig zu finden, wird’s auch mit dem Umsatz schwieirg. Das bedeutet: Prüfen Sie zunächst, wie viele Ihrer Besucher den Chatbot überhaupt zu sehen bekommen, bevor Sie die Umsatzerwartung formulieren.

Bei der Erwartung ist es wichtig, realistisch zu sehen, dass nicht jeder, der den Chatbot nutzt, sofort über den Chatbot kaufen wird. Sicher kennen Sie Ihre Kennzahlen, sodass Sie vom Chatbot nichts Unmögliches erwarten. Und – ganz klar – der Chatbot wird auch die Conversion Rate nicht in astronomische Höhen schrauben. Wer im Webshop 2 % erreicht, kann zum Start vom Chatbot nicht gleich 10 % erwarten.

Mindestens genauso interessant und eine typische E-Commerce-Kennzahl ist der Umsatz pro Nutzer bzw. pro Nutzer, der konvertiert hat. Da wird es dann schon interessant, denn die Anteile für die Konversion zu betrachten, lohnt sich. Konvertiert der Chatbot besser – auch wenn die Umsätze noch niedrig sind? Prima. Konvertiert er kaum oder gar nicht? Dann heißt es prüfen, woran das liegt. Dazu nutzen Sie das Analysetool des Chatbots.

Interessant kann auch sein, den Anteil des Chatbots am Umsatz zu prüfen: Steigt er mit der Zeit, spricht das für Akzeptanz. Steigt er nicht, sollte die Veränderung der Nutzerzahlen geprüft werden. Nützlich ist auch die Betrachtung, wie stark der Umsatz des „normalen“ Shops zurückgeht. Gleicht der Chatbot das aus oder ist sein Anteil am Umsatz höher als sein Anteil an den Nutzern?

Setzen Sie den Chatbot auch für Empfehlungen (Recommendations) ein, lohnt sich die Betrachtung besonders, wenn Sie die Empfehlung nicht mit der Standardfloskel, „Andere Kunden kauften auch …“, einleiten, sondern gezielter auf die Kundenprodukte eingehen („Für Naturaufnahmen mit der … empfehlen wir dieses Objektiv“). Kommt das besser an? Steigen die Klickraten und auch die Verkäufe? Mit einem Chatbot ist zumindest die einfachste Variante des A/B-Testings leicht abdeckbar: Variieren Sie die Dialoge probehalber. Sie sehen schnell, was zum Ziel führt.

Direkt nach dem Launch sehen Sie in den Analyse- bzw. Trainingsdaten im Backend, wo Probleme bestehen. Auf diese Weise können Sie schnell erkennen, wo Sie ansetzen sollten. Typischerweise haben Sie nach dem Start höhere Trainingsaufwände, die aber mit der Zeit deutlich sinken.

Wichtig ist bei der Betrachtung der Trainingsaufwände weniger Ihr Zeitaufwand, sondern die Zahl der zusätzlich benötigten Intents sowie die Korrektur von Zuordnungen (Verständnis des Systems für die Anfragen). Normalerweise sinkt die Zahl der falsch zugeordneten Intents kontinuierlich, der Chatbot wird besser. Gleiches gilt für Intents, die Sie notwendigerweise nachziehen müssen. Erweitern Sie Ihre Intentbasis, sinkt normalerweise der Aufwand für die Zuordnungen.

Aus der Erfahrung lässt sich sagen, dass eine Art Protokoll der Anpassungen, die Sie vornehmen (müssen), nützlich ist, wenn Sie die Arbeitsaufwände später auswerten möchten. Außerdem macht es einfach Freude zu sehen, wie die Fehlerkennungsrate sinkt oder sich einfach keine neuen Intents mehr anbieten. Mehr zum Thema Training finden Sie hier am Beispiel Dialogflow Essentials.

Die Qualität zu messen, ist sinnvoll und notwendig, allerdings muss man bei der Interpretation der Daten vorsichtig sein. Was helfen 100 % erfolgreiche Antworten, die zu keiner Bestellung führen, weil es im Bestellprozess klemmt? Klar, viele erfolgreiche Antworten auf Kundeneingaben und möglichst wenig unzutreffende sind eine nützliche Kenngröße. Auch die Anzahl der nicht zutreffenden Antworten kann hilfreich sein – wenn Sie daraufhin effizient prüfen können. Müssen Sie Intents ergänzen, hilft das, die Zahl der weniger erfolgreichen Besuche zu reduzieren.

Betrachten Sie außerdem die Zahl der Dialogschritte. Sind es kurze knappe Dialoge, die zum Ziel führen, oder gibt es längere? Wie steht es um die durchschnittliche Länge eines Dialogs (in der Anzahl der Schritte oder in Zeiteinheiten)? Viele ähnlich geartete/formulierte Schritte in kurzer Zeit sprechen nicht für die Verständnisfähigkeit des Chatbots. Wenige in langer übrigens auch nicht wirklich, denn niemand sollte über eine Antwort des Chatbots länger nachdenken müssen.

Soll ein Chatbot bestimmte Aufgaben übernehmen, können Sie auch deren Erfüllung zum Kriterium machen. Wie viele der Beschäftigten haben an einer Umfrage teilgenommen, welche neuen Informationen konnten Sie über zusätzliche Kompetenzen gewinnen? Wie lange hat es gedauert, bis 50 % der Beschäftigten den Chatbot erstmalig benutzt und Daten aktualisiert haben. Damit bekommen Sie schon einiges raus.

Sammeln Sie speziell am Anfang bei einem internen Chatbot ruhig Feedback in einer kleinen Umfrage ein. Damit können Sie viel herausbekommen. Ein großer, für externe Nutzer geplanter Chatbot sollte intern solange getestet werden, bis die Qualität im Bereich von ca. 80 % richtiger Reaktionen liegt.

Ob Ihr Chatbot – zumindest in den nächsten Monaten – zu Ihrem positiven, modernen Image beiträgt, können Sie kaum messen, ohne Kundenumfragen zu machen. Man sollte auch nicht glauben, dass ein Chatbot ein traditionell wirkendes Unternehmen aus dem Stand zu einem modernen macht. Wenn aber die Nutzung stimmt, können Sie bei extern ausgerichteten Chatbots ruhig mal die PR-Trommel rühren und vom Erfolg sprechen. Wenn das innerhalb Ihrer Branche noch recht neu ist, haben Sie keine schlechten Karten.

Auch eine Integration in die Marketingaktivitäten kann Ihr Image fördern, wenn mit dem Chatbot kürzere Antwortzeiten, besserer Service o.ä. einhergehen. Bewerben Sie die Informationsmöglichkeiten offensiv, weil der Chatbot gut funktioniert, wird das die Wahrnehmung Ihres Unternehmens beeinflussen. Setzen Sie den Chatbot zu einer kleinen Marktforschung ein, können Sie das wiederum in die Werbeaktivitäten einfließen lassen – genauso wie einzelne Unternehmen heute schon mit Kundenfeedback oder Bewertungssternen werben.