Bei der Planung und Einführung von Chat- oder Voicebots ist es ratsam, einen Technologie-Partner auszuwählen, der über Kenntnisse und Erfahrung im Bereich der Large Language Models (LLMs) und der ChatGPT API verfügt.
Es gibt eine begrenzte Anzahl von Anbietern im deutschsprachigen Raum, die die ChatGPT API verwenden. Im Folgenden ein Vergleich möglicher Lösungen und Anbieter für Chatbot- oder Voicebot-Projekte, die die ChatGPT API bereits im Einsatz haben (Stand Juni 2023).
Es ist zu beachten, dass die Liste nicht abschliessend ist und nicht alle möglichen Anbieter vertreten sind. Die aufgeführten Anbieter wurden individuell kontaktiert und zu ihren Möglichkeiten mit der ChatGPT API befragt. Es wurden auch weitere Anbieter kontaktiert, die allerdings keine vollumfänglichen Antworten geben konnten und daher in diesem Vergleich nicht aufgeführt werden.
Welche Chatbot Anbieter wurden verglichen?
In diesem Beitrag bzw. im ergänzenden Report zum Download wurden folgende Anbieter verglichen:
- DialogBits
- Enterprisebot
- Paretoblabs
- BubbleChat
- Kore.ai
- PlaynVoice
Die ChatGPT API – Wofür wird sie genutzt?
Bei der Betrachtung der Anbieter fällt auf, dass die ChatGPT API unterschiedlich eingesetzt wird. Alle Anbieter nutzen ChatGPT direkt zur Verarbeitung von Wissensquellen und zur Beantwortung verschiedener Benutzeranfragen.
Bei DialogBits, Bubble Chat und Kore.ai hat die Integration von ChatGPT mehrere Funktionen. Sie unterstützt die Generierung von Antworten auf Benutzerfragen basierend auf umfangreichen Wissensdatenbanken wie Webseiten oder anderen Datenquellen. Gleichzeitig unterstützt sie den Benutzer im allgemeinen Prozess der Chatbot-Erstellung, wie beispielsweise bei der Generierung von weiteren Trainingssätzen für zuvor definierte Intents. Bei DialogBits kann bei eine Benutzeranfrage sogar direkt an ChatGPT weitergeleitet werden, um eine Antwort auf der Grundlage des umfangreichen Wissens des OpenAI-Chatbots zu generieren.
Bubble Chat nutzt die Funktionalität von ChatGPT auch für das automatisierte Testing des Bots.
Wie wird der Chatbot mit der ChatGPT API trainiert?
Die reine Verwendung von ChatGPT kann zu Fehlern oder unerwünschten Antworten führen. Daher ist es wichtig, dass Technologie-Anbieter Möglichkeiten für das Fine-Tuning und das Prompt Engineering bieten.
Nach Rücksprache mit den Anbietern scheinen DialogBits, Enterprisebot, paretolabs, Bubble Chat und Kore.ai die grösste Flexibilität beim Fine-Tuning und Prompt Engineering zu bieten. Bei Dialogbits und Bubble Chat können die Chat-Antworten sogar mittels Prompt Engineering individuell an den User ausgerichtet werden.
Paretolabs bieten in Form ihres Mid-Layers eine Vielzahl von Möglichkeiten zum Finetuning an. Paretolabs fokussiert sich mit dem Mid-Layer vor allem auf Branchen mit sensiblen Daten. Mehr zu Chatbot mit ChatGPT API im Banking in diesem Beitrag.
Woher kommt der Content für den Chatbot mit ChatGPT API?
Die meisten Anbieter bieten die Möglichkeit, Webseiten, PDFs und andere Dokumente als Grundlage für das Wissen des Bots zu verwenden. Das Wissen wird in der Regel in Form einer Vektordatenbank bereitgestellt. Es besteht auch die Möglichkeit, dass Kunden ihr Wissen direkt in Form einer Vektordatenbank an den Anbieter liefern.
Bei Dialogbits, Enterprisebot und Bubble Chat kann der Inhalt von Webseiten regelmässig neu geholt werden. So wird sicher gestellt, dass der Chatbot immer die neusten Informationen aus der Webseite erhält. Auch bei Paretolabs können ähnliche Funktionen eingestellt werden. Mehr zur Verwendung der ChatGPT API in Kombination mit dem eigenen Webseiten Content steht auch in dem Beitrag zu meinem eigenen ChatGPT Chatbot Experiment.
PlaynVoice holt das Wissen lediglich aus zuvor hochgeladenen PDFs und anderen Dokumenten (Stand Juni 2023).
Wie wird sicher gestellt, dass der Chatbot keine schützenswerten Daten an OpenAI sendet?
Die Anbieter implementieren zusätzliche Prozessschichten oder Prompts, um sicherzustellen, dass nicht alle Anfragen an OpenAI weitergeleitet werden.
Enterprisebot und Bubble Chat betonen explizit, dass ihre Lösungen sensible Informationen aus Benutzeranfragen anonymisieren können, sodass nur der anonyme Teil der Anfrage an OpenAI gesendet wird.
Paretolabs bietet hier in Form ihres Mid-Layers ebenfalls eine Vielzahl von Optionen zur Anonymisierung der Daten an.
Was geschieht mit Chatbots mit regelbasierten Dialogen?
Alle Technologie-Anbieter betonen, dass sie ihren Kunden neben der Lösung mit ChatGPT auch weiterhin regel- oder intentbasierte Ansätze anbieten. Dies ist besonders relevant, wenn es um feste Prozesse geht, bei denen ein Sprachmodell wie ChatGPT hinderlich sein könnte.
Was sind die Kosten von einem Chatbot mit ChatGPT API?
Die Kosten variieren stark, und nicht alle Anbieter konnten transparente Preise angeben. Im Allgemeinen gibt meist einen Fix-Preis für einen POC und anschliessend Lizenzkosten in Abhängigkeit mit der Nutzung. Die Lizenzkosten hängen teilweise von der Anzahl der Tokens oder Anfragen an OpenAI ab und werden nicht von allen transparent kommuniziert.
Enterprisebot gibt an, dass sie für Unternehmen einen ersten POC ab CHF 20.000 zur Verfügung stellen können. Bei Paretolabs starten die Preise für einen POC bei CHF 40.000.
Was wird für die Datensparsamkeit getan?
Die Verwendung von Large Language Models (LLMs) erfordert eine umfangreiche Datenverarbeitung, die mit hohen Serverkosten und einem hohen Energieverbrauch einhergeht. Das Konzept der Datensparsamkeit zielt darauf ab, diesem entgegenzuwirken. Alle vorgestellten Anbieter haben Mechanismen implementiert, um sicherzustellen, dass nicht alle Anfragen an OpenAI gesendet werden. Es werden nur solche Anfragen an OpenAI weitergeleitet, die sich nicht mit anderen Methoden beantworten lassen. Die Methoden, die die Anbieter zur Datensparsamkeit einsetzen variieren dabei. Mehrheitlich scheint ebenfalls Prompt Engineering eine wichtige Rolle zu spielen. Mehr dazu im Report, welcher am Ende dieses Beitrags gratis zum Download zur Verfügung steht.
Wo wird der Chatbot mit ChatGPT API gehostet?
Die grössten Unterschiede zwischen den Anbietern sind im Bereich des Hostings zu erkennen. Nicht alle Anbieter bieten die Option des On-Premise Hostings an. Die Mehrheit der Anbieter verwendet Microsoft Azure als Hosting-Plattform, wobei der Standort der Azure Cloud variieren kann. Andere genannte Cloud-Anbieter sind AWS oder Hetzner. Genauere Details dazu im Download-Report unten auf dieser Seite.
Wo kann der Chatbot mit ChatGPT API eingesetzt werden?
Wenn ein Bot ausschliesslich für den Einsatz am Telefon vorgesehen ist, kann die Voice-fokussierte Lösung von PlaynVoice gewählt werden. Für alle anderen Unternehmen wird empfohlen, einen der anderen Anbieter zu wählen. Diese bieten Chats auf Webseiten, WhatsApp, Telefon, Instagram, E-Mail und weitere Kommunikationskanäle an. Bubble Chat hat zusätzlich den Schweizer Anbieter Bekeeper als Integrationsmöglichkeit genannt.
Welche zusätzlichen Funktionen gibt es und was ist geplant?
Die Roadmaps der Anbieter sind alle sehr vielversprechend. Details zu den geplanten Features findet ihr im ausführlichen Report am Ende dieses Beitrags.
Welche Referenzen für Chatbots mit ChatGPT API existieren bereits?
Abgesehen von paretolabs verfügen alle Anbieter über längere Erfahrung im Chat- bzw. Voicebot Bereich und somit auch über eine Vielzahl von Referenzprojekten.
Hinsichtlich Referenzprojekten im Bereich ChatGPT scheint Stand Juni 2023 Enterprisebot die grössten Erfahrungen mitzubringen. Sie konnten gleich drei produktive Chatbots mit ChatGPT API nennen. Die genauen Referenzen findet ihr im Report, der hier unten kostenlos zum Download zur Verfügung steht.
Alle Infos, Fakten und Daten
Dies war nur ein kleiner Auszug aus einer recht umfangreichen Recherche zum Anbietervergleich von Chat- und Voicebot Anbietern, die die ChatGPT API bereits einsetzen.
Dabei ist anzumerken, dass die Liste keinesfalls abschliessend ist. Vielmehr wurde der Fokus auf eine genaue Analyse und direkte Kommunikation mit den einzelnen Anbietern gelegt.
Der gesamte Report ist über den folgenden Button verfügbar.
