Chat- und Voicebots haben durch die Integration von Large Language Models (LLMs) eine deutliche Veränderung im Hinblick auf Qualität und Umsetzungsmethoden erlebt. Früher mussten Unternehmen mühsam jede Frage und Antwort vordefinieren, was den Entwicklungsprozess langwierig und unflexibel gestaltete. Heute ermöglichen LLMs und Methoden wie Retriever-Augmented Generation (RAG), Chat- und Voicebots schnell und effizient zu trainieren, sodass diese in der Lage sind, sehr spezifisch und zielgruppengerecht zu kommunizieren. Dies hat natürlich auch Auswirkungen auf den Umsetzungs- und Einführungsprozess von LLM-Chatbots. Bereits bei der Usecase-Findung gibt es neue Voraussetzungen, die dazu führen, dass der Prozess der LLM-Chatbot-Umsetzung an einigen Stellen neu definiert werden muss. Im Folgenden Beitrag führe ich euch Schritt für Schritt durch die Planung, Umsetzung und Veröffentlichung eines LLM-Chatbots.

Zur Wiederholung

Was sind Large Language Models (LLMs)?

Ein Large Language Model (LLM) ist ein fortschrittliches maschinelles Lernmodell, das darauf spezialisiert ist, menschliche Sprache zu verstehen und zu generieren. Diese Modelle, die auf tiefen neuronalen Netzwerkarchitekturen wie den sogenannten Transformern basieren, werden mit gigantischen Mengen an Textdaten trainiert. Durch dieses Training lernen sie, Muster, Strukturen und die Bedeutungen hinter Wörtern und Sätzen zu erkennen, was es ihnen ermöglicht, in natürlicher Sprache zu kommunizieren.

Was bedeutet Retriever-Augmented Generation (RAG)?

Retriever-Augmented Generation (RAG) ist eine Methode in der natürlichen Sprachverarbeitung, die einen Informations-Retriever und einen Textgenerator kombiniert, um präzise Antworten auf Benutzerfragen zu generieren. Der Prozess beginnt damit, dass der Retriever relevante Dokumente oder Daten aus einer umfangreichen Datenbank abruft, basierend auf der Übereinstimmung mit der gestellten Benutzerfrage. Diese ausgewählten Informationen werden dann an den Generator, typischerweise ein fortgeschrittenes Sprachmodell wie ein Transformer-basiertes Large Language Model, übergeben. Der Generator verwendet diese Informationen, um eine kohärente und informierte Antwort zu formulieren.

Was ist ein LLM-Chatbot?

LLM-Chatbots, oder Large Language Model Chatbots, sind fortschrittliche KI-Systeme, die Generative KI einsetzen, um menschliche Sprache zu verstehen und zu generieren. Diese intelligenten Chatbots basieren auf Large Language Modellen wie GPT-4 oder anderen Open Source Modellen, die mit enormen Mengen an Textdaten trainiert wurden, um ein tiefgehendes Verständnis von Kontext, Syntax und Semantik zu entwickeln. Durch diese fortschrittliche Sprachverarbeitung können LLM-Chatbots eine Vielzahl von Aufgaben übernehmen, von der Beantwortung von Fragen und der Erstellung von Inhalten bis hin zur Automatisierung des Kundensupports.

Im Zusammenhang mit LLM-Chatbots spielen Methoden wie Retriever-Augmented Generation (RAG) eine wichtige Rolle. RAG kombiniert die Fähigkeiten eines Retrieval-Systems, das relevante Dokumente oder Informationen aus einer Datenbank abruft, mit der Generierungsfähigkeit eines Large Language Models. Dies ermöglicht es LLM-Chatbots, nicht nur auf der Grundlage des trainierten Modells zu antworten, sondern auch spezifische, kontextbezogene Informationen aus unternehmenseigenen Quellen zu integrieren, um präzisere und informiertere Antworten zu generieren. Der Einsatz von RAG erweitert also die Funktionalität von LLM-Chatbots erheblich, indem es Unternehmen möglich macht, das Wissen des Chatbots individuell zu ergänzen. Unternehmen können sogar definieren, dass der LLM-Chatbots ausschliesslich auf die vom Unternehmen zur Verfügung gestellten Inhalte zurück greifen soll. So wird sichergestellt, dass der Bot nicht auf ungewollte bzw. falsche Informationen zurück greift.

LLM-Chatbot: So sieht ein Projektablauf aus

Seit Ende 2022 kommen immer mehr LLM-Chatbots auf den Markt. Natürlich ist jedes LLM-Chatbot Projekt einzigartig, individuell und erfordert unterschiedliche Ressourcen und Prioritäten. Im Allgemeinen durchlaufen Unternehmen jedoch während der Planung, Umsetzung und Implementierung eines LLM-Chatbots die folgenden Schritte.

Je nach Budget und Zieles des Unternehmens kann der Umfang der einzelnen Phasen variieren.

1. Bedarf klären und Usecase definieren

Der initiale Schritt in der Planung eines LLM-Chatbots hat sich im Kern nicht gewandelt. Jedes Projekt beginnt mit einer sorgfältigen Bedarfsanalyse und der Identifikation eines geeigneten Anwendungsfalls.

Die Tatsache, dass LLM-Chatbots sich jedoch deutlich effizienter implementieren lassen als frühere intentbasierte Chatbots, verändert die Kosten-Nutzen-Betrachtung bezüglich der Frage: „Ist ein Chatbot für unser Unternehmen sinnvoll?“. Zunehmend mehr Unternehmen sind nun in der Lage, mit geringem Aufwand ihren ersten LLM-Chatbot zu implementieren.

Auch bezüglich der Anwendungsfälle haben die Möglichkeiten der LLMs und der RAG-Technologie erhebliche Veränderungen bewirkt. Während früher die Tendenz bestand, kleinere Anwendungsfälle für begrenzte Themenbereiche zu definieren, ermöglichen LLM-Chatbots mit den entsprechenden Daten die gleichzeitige Bearbeitung einer Vielzahl an Themenbereichen. Die Beschränkungen eines Anwendungsfalls werden erst relevant, wenn in späteren Prozessschritten eventuell Drittsysteme oder weitere Partner integriert werden müssen.

Eine Inspiration für eure Usecases findet ihr vielleicht, wenn ihr euch meine Sammlung der Best Practices von LLM-Chatbots anschaut.

2. Technische und Inhaltliche Anforderungen festlegen

Nachdem die Usecase des LLM-Chatbots skizziert wurde, folgt im zweiten Schritt die genaue Definition der technischen und inhaltlichen Anforderungen.

Die inhaltlichen Anforderungen umfassen die Festlegung des Wissens, über das der LLM-Chatbot verfügen soll, einschliesslich der Fähigkeit, bestimmte Anfragen zu beantworten und zusätzliche Fähigkeiten auszuführen, wie die Durchführung weiterer Prozessschritte, wie die Änderung einer Adresse. Die Tonalität des LLM-Chatbots ist auch ein wichtiger Aspekt, der berücksichtigt werden muss, einschliesslich der Frage, wie stark der LLM-Chatbot eine eigene Persönlichkeit annehmen soll und wie diese Persönlichkeit sich zum Unternehmen und zum Benutzer verhält. Einige LLM-Chatbots passen ihre Persönlichkeit stark an die des Benutzers an, während andere mehr an die Tonalität des Unternehmens ausgerichtet sind und einige fast keine Persönlichkeit oder Tonalität haben.

Im Hinblick auf die technischen Anforderungen ist die Frage nach dem Datenschutz von entscheidender Bedeutung, einschliesslich des Ortes, an dem die von dem LLM-Chatbot verwendeten und gespeicherten Daten verarbeitet werden dürfen. Unternehmen haben die Wahl zwischen eigenen Servern, Servern im eigenen Land oder Servern weltweit, wie zum Beispiel in Amerika. Weitere technische Anforderungen umfassen die Integration in andere Systeme, wie CRM-Systeme oder interne Ticketsysteme, sowie die Entscheidung, wo der Chatbot implementiert wird, wie auf einer Webseite, in einer App oder in einem geschlossenen Login-Bereich. Darüber hinaus ist auch die Mehrsprachigkeit ein wichtiger Aspekt, der berücksichtigt werden muss.

Es ist entscheidend, dass dieser Schritt sorgfältig und detailliert durchgeführt wird, da fehlende Anforderungen negative Auswirkungen auf den Projekterfolg haben können. Deshalb ist es wichtig, alle relevanten Stakeholder in dieser Projektphase einzubinden und ihre Bedürfnisse zu berücksichtigen.

3. Sprachmodell und Technologie auswählen

Nachdem alle Anforderungen präzise definiert wurden, erfolgt die Auswahl der Technologie und des Sprachmodells. Die Entscheidung für ein bestimmtes Sprachmodell richtet sich primär nach den Datenschutzanforderungen des Unternehmens. Je höher die Datenschutzanforderungen und der Wunsch nach eigenem Hosting ausgeprägt sind, desto wahrscheinlicher ist die Wahl eines Open-Source-Sprachmodells.

In Bezug auf die Technologie oder den Technologiepartner wird zunächst geprüft, ob das Unternehmen bereits bestehende Partnerschaften oder Verträge mit Technologieanbietern besitzt, die möglicherweise auch die Implementierung des LLM-Chatbots übernehmen könnten. Viele Unternehmen unterhalten beispielsweise Partnerschaften mit Microsoft-Partnern, die potenziell auch die Realisierung des geplanten LLM-Chatbots durchführen könnten. (Sollte ein Unternehmen keine derartigen Partnerschaften haben, stehe ich zur Verfügung, eine Vielzahl vertrauenswürdiger Partner zu empfehlen und unterstütze hierbei gerne.)

Es ist möglich, dass im Rahmen der Technologieauswahl eine offizielle Ausschreibung erforderlich wird. Dies hängt sowohl von den internen Richtlinien des Unternehmens als auch vom Umfang des Projekts ab.

4. Daten sammeln und aufbereiten

Sobald die Technologie und das Sprachmodell entschieden worden sind, geht es an das Bereitstellen der Daten. Hier sollten Unternehmen eng mit dem Technologieanbieter zusammenarbeiten, um sicherzustellen, dass die Daten in einer brauchbaren Struktur bereit gestellt werden.

Gleichzeitig sind die Unternehmen hier gefordert sehr genau zu arbeiten. Wenn Trainingsdaten vergessen werden oder eine schlechte Qualität aufweisen, wird dies deutliche Auswirkungen auf die schlussendliche Qualität des LLM-Chatbots haben.

Mehr zur Datenbereitstellung könnt ihr auch in meinem Beitrag LLM-Chatbots – Eine Einführung in die neue Welt der Bots nachlesen.

5. Prompts erstellen

Neben den Daten, von denen der LLM-Chatbot lernen soll, spielen auch die Prompts eine wichtige Rolle im Hinblick auf die Performance und das Verhalten des finalen Chatbots. Mit Hilfe von Prompts können Unternehmen das Verhalten des Chatbots definieren. Dazu gehören Themen, wie die Tonalität, aber auch das Verhalten in unterschiedlichen Situationen. Unternehmen können beispielsweise mittels Prompt festlegen, wie der LLM-Chatbot mit Beschimpfungen umgehen soll.

Bei der Prompt-Erstellung machen sich die Kompetenzen des Prompt-Engenerriengs bemerkbar. Es gilt wieder, je genauer und präziser die Prompts sind, desto eher verhält sich der LLM-Chatbot, wie er soll. Es muss aber auch angemerkt werden, dass trotz guter und geprüfter Prompt, der LLM-Chatbot nie 100% unter Kontrolle sein wird. Mögliche Ausreisser kann es immer geben.

6. Umsetzung: Das LLM mit Prompts und Daten anreichern und finetunen

Sobald die Daten parat sind und die Prompts definiert sind, kann die Umsetzung beginnen. Dieser Prozessschritt liegt in der Regel beim Technologiepartner. Natürlich ist es auch möglich, dass Unternehmen ohne zusätzlichen Technologiepartner arbeiten und die Anbindung an das Sprachmodell selbst vornehmen.

Im Allgemeinen gilt, wenn die Daten und Prompts im Voraus sauber definiert und aufbereitet worden sind, sollte die eigentliche Umsetzung relativ fix gehen. Die kommenden Schritte erfordern dann wieder mehr Ressourcen und Zeit.

7. Testen und Optimieren

Diese Phase zeigt die Qualität der Vorarbeiten. Der LLM-Chatbot muss eingehend getestet und wahrscheinlich weiter optimiert werden. Funktionale Tests sind in der Regel unproblematisch; wesentlich kritischer und aufwendiger sind jedoch die inhaltlichen Tests. Hierbei ist zu evaluieren, wie der LLM-Chatbot sich in verschiedenen Szenarien verhält und ob er die erwarteten Antworten in angemessener Weise liefert. Sollten die Ergebnisse nicht zufriedenstellend sein, müssen Massnahmen zur Optimierung festgelegt werden. Häufig ist es notwendig, die Prompts zu justieren oder zusätzliche Inhalte hinzuzufügen. Gegebenenfalls müssen auch Trainingsinhalte korrigiert oder entfernt werden, falls sie irreführend oder fehlerhaft sind.

Diese Testphase wird so lange wiederholt, bis der LLM-Chatbot eine zufriedenstellende Qualität erreicht hat.

8. Den Chatbot in bestehende Kanäle (Chat oder Webseite) integrieren

Nach Abschluss der Tests und Optimierungen ist der LLM-Chatbot bereit, in die endgültigen Chatkanäle integriert zu werden. Die meisten Unternehmen implementieren ihren LLM-Chatbot direkt auf ihrer Webseite oder in ihrer eigenen App. Diese Integration erfolgt während dieser Phase.

9. Den LLM-Chatbot veröffentlichen

Nach der Fertigstellung ist der LLM-Chatbot bereit für die Veröffentlichung. Unternehmen können individuell entscheiden, ob sie einen Soft-Launch bevorzugen oder einen Launch mit umfangreicher Öffentlichkeitsarbeit durchführen möchten. Bei einem Soft-Launch wird der LLM-Chatbot meist stillschweigend online gestellt und wenig beworben. Andere Unternehmen versenden zu diesem Anlass eventuell sogar eine Pressemitteilung.

Unabhängig davon, ob ein Soft-Launch oder ein grosser Launch gewählt wird, ist es essentiell, dass die Unternehmen ihre Mitarbeiter über den neuen LLM-Chatbot informieren. Dazu gehören auch detaillierte Informationen zur Funktionsweise und zum Leistungsumfang des LLM-Chatbots.

10. Feedback einholen, optimieren und den LLM-Chatbots weiter entwickeln

Wer annimmt, dass der letzte Prozessschritt eines LLM-Projekts die Veröffentlichung ist, irrt sich. Nach der Veröffentlichung setzt sich die Arbeit fort. Der LLM-Chatbot muss kontinuierlich überwacht werden, und das Nutzerfeedback muss sorgfältig überprüft und analysiert werden. In den meisten Projekten führt diese Phase trotz vorangegangener Testphasen zu weiteren Optimierungen und Anpassungen des LLM-Chatbots.

Neben den Optimierungen, die zur Verbesserung des bestehenden Anwendungsfalls beitragen, sollte nach der Veröffentlichung auch die Weiterentwicklung des Chatbots berücksichtigt werden. Es ist wahrscheinlich, dass Erweiterungen des Anwendungsfalls oder zusätzliche Funktionalitäten identifiziert werden, die der LLM-Chatbot in Zukunft übernehmen könnte.

LLM-Chatbot Projekt: Häufige Fragen

Wie lange dauert ein LLM-Chatbot Projekt?

Die Dauer des LLM-Chatbot Projektes hängt vom Umfang des Usecases ab. Grundsätzlich sollten Unternehmen mindestens zwei Monate oder auch mehr einplanen. Ganz schnelle Unternehmen können es auch in einem Monat schaffen. Dies ist aber eher die Ausnahme

Was kostet ein LLM-Chatbot?

Die Kosten eines LLM-Chatbots sind meist überschaubar. Kleine Projekte können bereits bei EUR 10.000 starten. Wichtig ist aber zu berücksichtigen, dass der LLM-Chatbot auch Betriebskosten hat, die je nach Sprachmodell und Technologiepartner unterscheiden. Weiter werden natürlich auch für die Weiterentwicklungen weitere Ressourcen benötigt.

Gibt es auch LLM-Voicebots?

LLM-Voicebots sind wie LLM-Chatbots, aber sie funktionieren mit gesprochener Sprache. Der Ablauf eines LLM-Voicebot Projektes ist nahezu identisch mit dem der LLM-Chatbots.

Wie sicher sind LLM-Chatbots?

Die Sicherheit der LLM-Chatbots hängt vom gewählten Sprachmodell und vom Technologieanbieter ab. Grundsätzlich können LLM-Chatbots sehr sicher umgesetzt werden. Es gibt bereits einige LLM-Chatbots in der Finanzbranche. Diese würden nicht existieren, wenn die Sicherheit nicht gewährleistet ist.

Wie reagieren Kunden auf LLM-Chatbots?

Erste Auswertungen von LLM-Chatbots zeigen durchaus positive Reaktionen von Kunden im Hinblick auf LLM-Chatbots. Kunden lernen, dass die neuen Technologien von LLMs und RAG sich positiv auf die Qualität der Chatbots ausgewirkt haben. Kunden nutzen die LLM-Chatbots immer mehr und die Komplexität der Anfragen nimmt immer mehr zu.

Wo kann ich Beispiele zu LLM-Chatbots sehen?

In meinem Beitrag zur Sammlung der Best Practices von LLM-Chatbots findet ihr eine Übersicht verschiedener LLM-Chatbots nach Branche sortiert.

Und wann gehts bei euch los?

Habt ihr Lust bekommen euer eigenens LLM-Chatbot Projekt zu starten? Oder habt ihr zunächst noch weitere Fragen?

In beiden Fällen könnt ihr mich sehr gern kontaktieren. Ich habe schon viele LLM-Chatbot Projekte begleitet und geleitet und bin sehr gern auch in eurem Projekt dabei.

Schickt mir einfach eine Nachricht – am liebsten per WhatsApp Nachricht oder als E-Mail.

Diesen Beitrag gibt es übrigens auch als Podcast-Folge

Achtung! Der Podcast wurde komplett von meinem AI-Assistant auf Basis meines Beitrags erstellt – keine Garantie für Fehl-Inhalte.

*Zur sprachlichen Optimierung dieses Beitrags habe ich die KI-Technologie von SwissGPT verwendet.