Chat- und Voicebots haben durch die Integration von Large Language Models (LLMs) eine deutliche Veränderung im Hinblick auf Qualität und Umsetzungsmethoden erlebt. Früher mussten Unternehmen mühsam jede Frage und Antwort vordefinieren, was den Entwicklungsprozess langwierig und unflexibel gestaltete. Auch auf Userseite war die Experience meist eher ernüchternd, da die vordefinierten Antworten eher allgemein und wenig nutzerzentriert waren. Heute ermöglichen LLMs und Methoden wie Retriever-Augmented Generation (RAG), Chat- und Voicebots schnell und effizient zu trainieren, sodass diese in der Lage sind, sehr spezifisch und zielgruppengerecht zu kommunizieren. Dies erleichtert zunächst die Entwicklung und Implementierung, da die Bots nun dynamisch auf eine breite Palette von Anfragen reagieren können, ohne dass jedes mögliche Gesprächsszenario vorab programmiert werden muss. Gleichzeitig hat es die Customer Experience auf ein ganz neues Level gebracht. Die Qualität der Antworten ist im Hinblick auf Korrektheit der Antwort, sowie Individualität um ein Vielfaches gestiegen.
Im folgenden Beitrag findet ihr eine Auswahl an LLM-Chatbots. Die Liste wird laufend erweitert. Es lohnt sich also regelmässig „reinzuschauen“.
Zur Wiederholung
Was ist ein LLM-Chatbot?
LLM-Chatbots, oder Large Language Model Chatbots, sind fortschrittliche KI-Systeme, die Generative KI einsetzen, um menschliche Sprache zu verstehen und zu generieren. Diese intelligenten Chatbots basieren auf Large Language Modellen wie GPT-4 oder anderen Open Source Modellen, die mit enormen Mengen an Textdaten trainiert wurden, um ein tiefgehendes Verständnis von Kontext, Syntax und Semantik zu entwickeln. Durch diese fortschrittliche Sprachverarbeitung können LLM-Chatbots eine Vielzahl von Aufgaben übernehmen, von der Beantwortung von Fragen und der Erstellung von Inhalten bis hin zur Automatisierung des Kundensupports.
Im Zusammenhang mit LLM-Chatbots spielen Methoden wie Retriever-Augmented Generation (RAG) eine wichtige Rolle. RAG kombiniert die Fähigkeiten eines Retrieval-Systems, das relevante Dokumente oder Informationen aus einer Datenbank abruft, mit der Generierungsfähigkeit eines Large Language Models. Dies ermöglicht es LLM-Chatbots, nicht nur auf der Grundlage des trainierten Modells zu antworten, sondern auch spezifische, kontextbezogene Informationen aus unternehmenseigenen Quellen zu integrieren, um präzisere und informiertere Antworten zu generieren. Der Einsatz von RAG erweitert also die Funktionalität von LLM-Chatbots erheblich, indem es Unternehmen möglich macht, das Wissen des Chatbots individuell zu ergänzen. Unternehmen können sogar definieren, dass der LLM-Chatbots ausschliesslich auf die vom Unternehmen zur Verfügung gestellten Inhalte zurück greifen soll. So wird sichergestellt, dass der Bot nicht auf ungewollte bzw. falsche Informationen zurück greift.
LLM-Chatbots in der Finanzbranche
Clara von der Helvetia Versicherungen Schweiz
Der erste LLM-Chatbot aus der Schweiz heisst Clara und ist von der Helvetia Versicherung. Der LLM-Chatbot wurde in einem Pilot-Projekt Anfang 2023 entwickelt und veröffentlicht. Während dieser Phase hat der Chatbot lediglich auf das Wissen der Versicherungswebseite zurückgegriffen und das Sprachmodell GPT-3 von OpenAI genutzt, um Kunden und potenziellen Kunden ihre Fragen rund um Versicherungen zu beantworten. Weitere Details zum Helvetia-Experiment in meinem Erfahrungsbericht.
In weiteren Iterationen hat die Versicherung das Wissen und die Kompetenzen durch weitere interne Anbindungen ergänzt. Stand 07.2024 nutzt der Chatbot auch ausgewählte regelbasierte Chat-Flows, welche noch aus dem früheren intent-basierten Chatbot-Projekt stammen. Diese werden vor allem dann getriggert, wenn bestimmte Versicherungsprozesse, wie ein Schadensprozess durchlaufen werden sollen. Ziel ist aber, diese Flows in Zukunft auch durch LLMs und RAG zu ersetzten.
Wie auf den Bilder zu sehen ist, nutzt der Chatbot trotz der eher konservativen Versicherungsbranche vereinzelt Emojis und passt seine Tonalität an die seiner User an.
Mehr Hintergrundinfos zum LLM-Chatbot bei der Helvetia in meinem Gespräch mit Florian Nägele zu LLM-Chatbots in der Versicherungsbranche.



Lou von der Luzerner Kantonalbank
Die Luzerner Kantonalbank hatte ursprünglich einen regelbasierten Chatbot. Dieser wird nun Schritt für Schritt in einen LLM-Chatbot umgebaut. Die Luzerner Kantonalbank macht die Umstellung Themenbezogen. In einem ersten Schritt wurden lediglich alle regelbasierten Flows rund um den Bezahldienst Twint durch den LLM-Chatbot ergänzt. Der Chatbot hat Stand 07.2024 keine Schnittstellen an interne Systeme. Kunden sollen keine persönlichen Daten in den Chatbot eingeben, um keine Risiken im Datenschutz einzugehen.



Der Digitale Assistent der Migros Bank
Der LLM-basierte Chatbot der Migros Bank ist über die Kontaktseite auffindbar. Der Bot startet, wie die meisten LLM-Chatbots mit umfassenden Informationen zum Datenschutz und fragt den User dann, wie er helfen kann. Sehr interessant ist, dass der LLM-Chatbot darauf trainiert zu sein scheint, das Gespräch immer aufrecht zu erhalten und die meisten Dialoge mit einer Folgefrage an den User verfasst. Fragt ein User beispielsweise nach einem Kontoprodukt, dann gibt der LLM-Chatbot zunächst Informationen zu Kontoprodukten und versucht anschliessend mehr über die Bedürfnisse des Users herauszufinden, um ihn noch besser beraten zu können.



Die Digitale Assistentin der Suva Unfallversicherung
Die Suva Unfallversicherung bietet seit Ende 2023 einen LLM-Chatbot auf der Webseite an. In einer ersten Phase kann der Chatbot lediglich allgemeine Fragen beantworten, von denen er das Wissen mehrheitlich über die Webseite der Suva Versicherung holt. Der LLM-Chatbot hat Stand 07.2027 eine eher konservative Tonalität, die sich kaum individuell an die des Users anpasst. Der LLM-Chatbot der Suva Versicherung nutzt das Sprachmodell von OpenAI.



Der Chatbot von Klarna spricht über 35 Sprachen
Das Finanzunternehmen Klarna hat 2023 seine Partnerschaft mit OpenAI bekannt gegeben und dazu auch ihren LLM-Chatbot veröffentlicht. Der LLM-Chatbot von Klarna wurde durch die Medien von Anfang an als ein sehr erfolgreiches Projekt ausgezeichnet, indem er bereits im ersten Monat 2,3 Millionen Gespräche führte, was zwei Drittel der Kundenservice-Chats ausmachte. Er ist nahezu von Beginn an in der Lage, die Arbeit von 700 Vollzeitmitarbeitern zu ersetzen, während er die Kundenzufriedenheit auf demselben Niveau wie menschliche Mitarbeiter aufrechterhält. Die Lösung von Benutzeranfragen ist präziser, was zu einer 25-prozentigen Reduzierung von Folgeanfragen führte. Kunden erhalten Antworten in weniger als 2 Minuten, im Vergleich zu 11 Minuten zuvor. Der Chatbot ist rund um die Uhr in 23 Märkten und kann in mehr als 35 Sprachen kommunizieren. Durch die Einführung des LLM-Chatbots wird erwartet, dass Klarna bis 2024 einen Gewinnzuwachs von 40 Millionen USD erzielt.
Sofern sich Kunden authentifiziert haben bzw. eingeloggt sind kann der LLM-Chatbot sogar individuelle Fragen zu Kontoständen etc. liefern.



LLM-Chatbots im Retail
Jumbot vom Jumbo Baumarkt
Der Schweizer Bau- und Hobbymarkt Jumbo hat Mitte 2023 einen LLM-Chatbot zur Beratung der Webseiten-Besucher veröffentlicht. Der Bot hat die Aufgabe des Produkt-Beraters und ist über die Webseite verfügbar. Kunden können ihre Fragen zu Produkt-Details oder Produkt-Empfehlungen stellen und der Chatbot antwortet auf Basis seiner eigenen Wissensbasis. Die Wissensbasis wurde von dem Jumbo-Digital Team zusammen gestellt und beinhaltet im Groben die Webseiten Inhalte, sowie weitere Produkt-Detail-Unterlagen. Das erste Ziel des LLM-Chatbots war es den Kunden ein verbessertes Erlebnis auf der Webseite zu bieten, indem sie dank dem LLM-Chatbot rund um die Uhr eine Beratung in Anspruch nehmen können und sich so sicherer in ihrer Kaufentscheidung fühlen. Dieses erste Ziel konnte erreicht werden. Nun soll der Chatbot in weiteren Iterationen immer weitere Funktionalitäten erhalten.
Stand 07.2024 zeigt der LLM-Bot meist sehr lange und umfangreiche Antworten an. LLMs neigen dazu sehr ausführliche Antworten zu geben, was zum Teil die User Experience beeinträchtigen kann. Dies soll aber in weiteren Iterationen optimiert werden. Mehr zu dem Chatbot vom JumBot in meinem Beitrag zu LLM-Bots im Retail.



Der Shopping Assistant von Zalando
Der Onlineshop Zalando bietet seit 2024 einen LLM-basierten Shopping-Assistant an. Der Assistant ist allerdings nur mit einem vorhandenen Kundenkonto nutzbar. Kunden müssen sich erst einloggen und bekommen dann ihre KI-gestützte Einkaufsberatung. Zalando selbst verspricht, dass Kunden mit dem Fashion Assistant in eigenen Worten nach Produkten suchen können und so das Sortiment genauer gefiltert wird. So erhält man zudem eine personalisierte Beratung, um aus der grossen Produktvielfalt den passenden Look zu finden. Schlussendlich sollen durch die bessere Beratung natürlich mehr Umsätze und gleichzeitig auch weniger Rücksendungen erzielt werden.



Julia die Assistenten von Weltbild.de
Zunächst muss erwähnt werden, dass Weltbild eine Kombination aus LLM-Chatbot und regelbasiertem Bot nutzt. Der Chat startet jeweils mit einer kurzen Begrüssung und der User kann zwischen verschiedenen Themen auswählen. Erst wenn kein Thema dabei ist, kündigt der Chatbot an, dass er nun sein LLM-Modell nutzt und mit dem Sprachmodell GPT arbeitet.
Der LLM-Chatbot verwendet dann hauptsächlich die Webseite als Quelle und gibt dem Nutzer umfassende, aber dennoch kurze Antworten. Weiter zeigt der LLM-Chatbot immer seine Quellen an.



Digi von Migros Do It Garden
Digi stellt sich bei den Kunden als digitaler Assistent zur Produktberatung vor. Und Stand Sommer 2024 entspricht das auch sehr genau dem aktuellen Funktionsumfang. Wenn User dem LLM-Chatbot eine Frage zu Produkten stellen, bekommen sie meist eine eher umfangreiche und genaue Antwort. Der LLM-Chatbot versteht dann sogar Folgefragen, die sich auf die vorgeschlagenen Produkte beziehen. Wen User den LLM-Chatbot jedoch nach Lieferbedingungen etc. fragen, wird es schwieriger. Hier verweisst der LLM-Chatbot schnell auf menschliche Kundenberater. User können im Chat auch „Videoberatung“ auswählen. Bei dieser Option werden sie dann mit einem menschlichen Mitarbeitenden verbunden.



LLM-Chatbots im B2B
Codie von GS1
GS1 ist in der Schweiz für die Ausgabe der Barcodes zuständig. Obwohl jeder wohl zumindest als Konsument Barcodes nutzt, gibt es im Hinblick auf die Registrierung oder Nutzung von Barcodes immer wieder viele Kundenanfragen. GS1 hat dazu Anfang 2024 einen LLM-basierten Chatbot auf ihrer Webseite eingeführt. Der Chatbot wurde mit dem Microsoft-Bot Framework umgesetzt und nutzt als Sprachmodell GPT.
In einer ersten Phase kann der Bot lediglich Fragen beantworten, aber keine Prozesse durchlaufen. Zur besseren Nachvollziehbarkeit der Antworten zeigt der LLM-Bot immer seine Quellen an und Nutzer können bei Bedarf die gesamte Quelle direkt über den Chat öffnen.



LLM-Chatbots im öffentlichen Sektor
ZüriCityGPT
ZüriCityGPT ist, wie der Name schon vermuten lässt eine Art ChatGPT, welches mit allen öffentlich-verfügbaren Daten der Stadt Zürich trainiert wurden ist. Das Interface des Chatbots ähnelnet ein bisschen dem von ChatGPT und weniger einem klassischen Chatbot. Weiter ist dieser Bot aktuell nicht in der Lage Folgefragen zu verstehen oder vertiefende Fragen zu beantworten. Der Bot beantwortet immer lediglich eine Frage, anschliessend ist der User gefordert die nächste Frage zu stellen. Der Bot ist über diese separate Landingpage auffindbar.

LLM-Chatbots in den Medien
Hoi der KI-Helfer von Nachhaltigleben.ch
Das Nachhaltigkeitsmagazin nachhaltigleben.ch bietet seinen Lesern einen LLM-Chatbot an. Der Chatbot nutzt dabei mehrheitlich die Informationen der Webseite und kombiniert diese mit seinem Sprachmodell. Der LLM-Chatbot nutzt auffällig viele Emojis und bietet Usern nach jeder Antwort Folgefragen, passend zu seiner ursprünglichen Frage an.
Unter dem Eingabefeld befindet sich der Hinweis, dass Nutzer keine persönlichen Informationen in den Chat eingeben sollen und die Antwort jeweils selbst auf Richtigkeit einschätzen müssen.



Weitere LLM-Chatbots
Flurina von der Rhätischen Bahn
Mitte 2023 hat die Rhätische Bahn ihren ersten Chatbot überhaupt lanciert. Der Chatbot nutzt von Anfang an die Methoden der LLMs und des RAG. Dabei greift der LLM-Chatbot hauptsächlich auf die Inhalte der Webseite zu. Als Sprachmodell wird das von OpenAI verwendet.
Der Chatbot ist von Anfang an dreisprachig und fragt seine Nutzer am Anfang der Konversation, welche Sprache sie bevorzugen. Grundsätzlich wäre bei der Verwendung von LLMs das Abfragen der Sprache nicht notwendig. LLMs sind sozusagen sprachunabhängig. Herausfordernd wird es jedoch, wenn auch die Webseite dreisprachig ist und nicht eins zu eins in jeder Sprache gleich ist. In diesem Fall lohnt es sich, den User am Anfang nach seiner bevorzugten Sprache zu fragen, sodass der LLM-Bot dann auch die richtige Datenquellen als Grundlage für seine Antworten auswählen kann.



Der Chatbot ist von Anfang an dreisprachig und fragt seine Nutzer am Anfang der Konversation, welche Sprache sie bevorzugen. Grundsätzlich wäre bei der Verwendung von LLMs das Abfragen der Sprache nicht notwendig. LLMs sind sozusagen sprachunabhängig. Herausfordernd wird es jedoch, wenn auch die Webseite dreisprachig ist und nicht eins zu eins in jeder Sprache gleich ist. In diesem Fall lohnt es sich, den User am Anfang nach seiner bevorzugten Sprache zu fragen, sodass der LLM-Bot dann auch die richtige Datenquellen als Grundlage für seine Antworten auswählen kann.
Der LLM-Chatbot von BLT Baselland Transport AG
Baselland Transport AG hat seid Mitte 2024 ebenfalls einen LLM-Chatbot auf ihrer Webseite. Stand Mitte 2024 funktioniert der Chatbot sowohl regelbasiert, wie auch mit Hilfe von Sprachmodellen und Generative KI. Am Anfang des Dialogs fragt der Chatbot seinen User, ob dieser ein fixes Thema auswählen möchte oder eine eigene Frage stellen möchte. Sofern sich der Nutzer für die eigene Frage entscheidet, wird das Sprachmodell und die hinterlegte Wissensdatenbank für die Generierung der Antwort genutzt. Ansonsten durchläuft der Bot einen regelbasierten Prozess. Um sicher zu stellen, dass es keine Verwechselung zwischen Folgefragen mit oder ohne Kontextbezug geht, fragt der Chatbot nach jeder Antwort, ob der User eine neue oder eine Folgefrage hat.



Sophia die Digitale Assistentin von Pro Senectute beider Basel
https://bb.pro-senectute.ch/sophia-digitale-beraterin/sophia.htmlPro Senectute Basel hat Mitte 2024 ihren ersten LLM-Chatbot veröffentlicht. Für den Launch hat das NGO den Chatbot nicht direkt auf der klassischen Webseite integriert, sondern eine separate Landingpage mit Subdomain für den LLM-Chatbot erstellt. Interessierte können den LLM-Chatbot direkt über das Chatfenster am rechten Bildschirmrand nutzen. Weiter klärt die Subseite die User genauestens auf, was der Chatbot kann, was er nicht kann und gibt weitere Hinweise zum Datenschutz und weiteren Kontaktmöglichkeiten. Die Subseite mit dem LLM-Chatbot von Pro Senectute Basel kann hier besucht werden.

Lust auf mehr?
Ihr interessiert euch auch für LLM-Bots? Ich berate viele Unternehmen zum Einsatz von LLM-Chat- und Voicebot. Ich begleite gern euer LLM-Bot Projekt und helfe euch die passende Technologie zu finden. Natürlich kann ich mir euren aktuellen Chatbot auch gern mal anschauen und ein strukturiertes Feedback dazu geben.
Schickt mir am besten eine Nachricht per WhatsApp oder per E-Mail.