Chatbots sind skalierbar und beantworten mehrere Anfragen gleichzeitig – das kann man sich leicht vorstellen. Wie viele das sein können, hängt von verschiedenen Aspekten ab (s. u.). Entscheidend für den Einsatz ist, dass es bei Chatbots keine Warteschleife mit Musik und genervten Kunden gibt. Denn Chatbots sind schnell. Jede „Lücke“ wird zur Verarbeitung anderer Dialoge genutzt. Meist sind sie sogar so schnell, dass das Antwortverhalten künstlich verzögert wird, um nicht zu „automatisch“ zu wirken.
Welche Kapazität ein Chatbot bereitstellt, hängt von Serversystem ab. Entsprechend groß dimensioniert kommt es erst bei sehr hoher Last zu einem Engpass. Läuft Ihr Chatbot in einer Cloud sind typischerweise automatische Skalierungsmöglichkeiten vorhanden. Dann bestimmt nur der Hosting-Vertrag die Kapazität.
Um ein konkretes Beispiel von/ für Googles Dialogflow zu geben: Die kostenlose Edition beantwortet bei Textnachrichten 180 Anfragen pro Minute, die kostenpflichtige Edition bis zu 600 Anfragen. Bei hundert gleichzeitigen Nutzern müsste also jeder pro Minute sechs Anfragen verfassen, um die Kapazität auszuschöpfen. Solche Chatbots sind skalierbar, da ist genug Puffer. Und selbst bei der Pflege stehen Ihnen bis zu 60 Intent-Anfragen pro Minute zur Verfügung. Das reizt nur ein großes Team aus.
Hosten Sie selbst, bestimmt Ihr Server-System die Kapazität. Für interne Chatbots wird ein moderner Server mehr als ausreichend sein, außerdem umgehen Sie bestimmte Aspekte der DSGVO. Verwenden Sie einen der bekannten Cloud-Services, sind dort gehostete Chatbot ebenalss skalierbar, denn Sie können durch temporäre Zusatzsysteme bei hoher Last skalieren. Sie halten dann für die Nachtstunden deutlich weniger Kapazität vor als tagsüber. Das Thema DSGVO-konforme Datenverarbeitung muss allerdings geklärt sein.
Die Anfragenzahl und die Serverlast sind permanent über das Monitoring und im Nachgang über die Analyse beobachtbar und leicht nachzuvollziehen. Ob Sie nun eine interne Verzögerung einstellen, die zu lauter kleinen Lücken führt, oder immer sofort antworten, ist nicht entscheidend. Dauern einzelne Dialoge länger, weil der Chatbot Verständnisschwierigkeiten zeigt, kann man das durch Training und Betreuung lösen.
Und kommt Ihr System für Produktanfragen an eine Grenze, können Sie über eine Aufteilung auf mehrere Chatbots problemlos für Reserven sorgen. Dann sind die einzelnen Chatbots jeweils für sich gut skalierbar.