Über ChatGPT
Ende 2022 hat das US-amerikanischen Unternehmen OpenAI den Chatbot ChatGPT veröffentlicht und seitdem steht das System allen Internetusern kostenlos zur Verfügung. ChatGPT ist ein Chatbot, also eine Software, die ein menschliches Gespräch simuliert. Auf der Internetseite findet sich ein schlichtes Eingabefenster, wie bei einer Suchmaschine. Wer sich auf der Seite registriert, kann kostenlos beliebige Fragen eintippen.
Das besondere an ChatGPT ist, dass das System in wenigen Sekunden Texte generiert, die sich auf den ersten Blick kaum von denen unterscheiden lassen, die reale Menschen geschrieben haben. Der Bot schreibt Gedichte, Aufsätze, Nachrichtentexte, Songzeilen und sogar Programmcode.
Die Grundlage dieses Chatbots bildet das Sprachmodell GPT-3.5 (GPT steht für Generative Pre-trained Transformer), eine verbesserte Version von GPT-3, die ebenfalls von OpenAI stammt. GPT basiert auf Transformern, einem von Google Brain vorgestellten Maschinenlernmodell, und wurde durch selbstüberwachtes Lernen trainiert. Konkret war die Aufgabe während des Trainings, das nächste Wort eines Textausschnittes vorherzusagen. Dieser Text kann aus verschiedenen Quellen stammen, beispielsweise aus Online-Foren, sozialen Medien, Zeitungsartikeln, Büchern und gesprochener Sprache. Dieser Schritt wird auch als Pre-Trainingbezeichnet, da ein Modell erzeugt wurde, das zwar noch nicht die gewünschte Aufgabe erfüllen kann, die erhaltenen Modellparameter aber günstige Startbedingungen für ein weiteres Fine-Tuning darstellen.
Wichtig ist, dass das Wissen dieses Chatbots auf jegliche Internetquellen und andere Quellen bis zum Jahr 2021 beschränkt ist.
Mehr zu ChatGPT hier im SRF Tagesgespräch.
Über GPT-3 bzw. GPT-3.5
Unternehmen bzw. Medien, die über ChatGPT berichten, machen oft keine klare Trennung zwischen dem Sprachmodell GPT-3 bzw. GPT-3.5 und dem öffentlich-bekannten ChatGPT. Dabei ist jedoch wichtig zu verstehen, dass ChatGPT der Chatbot von OpenAI ist, welche für alle registrierten User kostenlos oder mit einer kostenpflichtigen Pro-Version nutzbar ist.
GPT-3 oder GPT-3.5 ist das Sprachmodell, was sozusagen in dem Chatbot steckt und was dafür verantwortlich ist, dass der Chatbot von OpenAI eine so menschliche Ausdrucksform hat.
Man kann also sagen, dass ChatGPT eine mögliche Anwendung des Sprachmodells von GPT-3 bzw. GPT-3.5 ist.
Wie funktioniert GPT-3?
Auf die Frage, wie nun das Sprachmodell funktioniert, antwortet der Chatbot von OpenAI, wie folgt:
GPT-3 funktioniert auf der Grundlage von tiefen neuronalen Netzen, die auf großen Mengen von Texten trainiert werden. Es nutzt eine spezielle Art von neuronalen Netzen, die als „Transformer“ bezeichnet werden, um Texte zu generieren.
Zunächst wird GPT-3 mit einer enormen Menge an Texten trainiert, die aus Büchern, Artikeln, Webseiten und anderen Quellen stammen. Das Modell analysiert diese Texte, um Muster und Zusammenhänge in der Sprache zu erkennen und zu verstehen.
Wenn Sie nun einen Text eingeben oder eine Anfrage stellen, wendet GPT-3 das gelernte Wissen an, um eine Antwort oder einen Text zu generieren. Dabei werden Wörter und Sätze auf der Grundlage von Mustern und Zusammenhängen ausgewählt, die es während des Trainings gelernt hat.
Das Modell nutzt auch eine Technik namens „Sprachmodellierung“, um die Wahrscheinlichkeit jedes nächsten Wortes in einem Text vorherzusagen. Dies hilft ihm, zusammenhängende und sinnvolle Sätze zu generieren.
Zusätzlich kann GPT-3 auch auf frühere Eingaben oder Antworten zurückgreifen, um kontextbezogene Antworten zu liefern. Auf diese Weise kann es Gespräche führen oder Aufgaben ausführen, die auf früheren Anfragen basieren.
Insgesamt kombiniert GPT-3 die Fähigkeit, komplexe Sprachmuster zu erkennen und zu verstehen, mit einem riesigen Datensatz an Texten, um natürlichsprachliche Texte und Antworten zu generieren.
Wer trainiert GPT Bots?
Wie von OpenAIs Chatbot „ChatGPT“ oben beschrieben, muss das Sprachmodell GPT-3 zunächst trainiert werden. Und hier ist genau der entscheidende Unterschied zu ChatGPT. ChatGPT ist sozusagen ein fertiger Chatbot, der von OpenAI trainiert worden ist. GPT-3, also das Sprachmodell, kommt zunächst untrainiert daher und muss dann im Rahmen der Entwicklung der jeweiligen Anwendung, wie zum Beispiel der Chatbot, trainiert werden.
An dieser Stelle, ist anzumerken, dass OpenAI seinen ChatGPT selbst trainiert hat. Unternehmen und Konsumenten, können diesen Bot also nur so nutzen, wie er trainiert worden ist. Sprechen wir aber von dem Modell, also GPT-3, so können Unternehmen das Training selbst vornehmen und somit Einfluss auf die Antworten nehmen.
Ist GPT eine Blackbox?
ChatGPT wird häufig als Blackbox bezeichnet. Grund dafür ist, dass keiner die genauen Trainingsdaten kennt und weder User noch Unternehmen Einfluss auf die Antworten. Unternehmen haben also keine Kontrolle darüber, was der Chatbot ChatGPT von OpenAI ihren Kunden erzählt. Folglich erscheint die Nutzung des Chatbots ChatGPT für einige Unternehmen zum aktuellen Zeitpunkt etwas gewagt. Unternehmen fürchten einen Kontrollverlust und haben zu grossen Respekt vor der vermeintlichen Blackbox. Auch ist das Thema Datenschutz oder Haftung noch nicht in allen Fällen eindeutig geklärt.
Es bedeutet jedoch NICHT, dass Unternehmen von den neuen Entwicklungen rund um GPT nicht auch profitieren können. Vielmehr geht es darum, dass Unternehmen dank ChatGPT sehen, was ein gut trainierter Chatbot mit dem Modell GPT-3 alles beantworten kann.
Zur Wiederholung, das Sprachmodell GPT-3 kann „individuell“ trainiert werden.
Und nun?
ChatGPT und GPT-X sind nicht das gleiche. Unternehmen sollten vorsichtig sein, den bestehenden Chatbot ChatGPT, ohne weitere Überlegungen rund um Datenschutz und Kontrollverlust einzusetzen. Grund: ChatGPT ist von OpenAI trainiert.
Mit Bedacht eingesetzt, könnten sich für den Einsatz von ChatGPT jedoch folgende Usecases anbieten:
- Die Antworten von ChatGPT in den eigenen Chatbot integrieren und diese als Default-Option anzeigen, falls der eigene Bot keine Antwort weiss. Dabei jedoch immer kenntlich machen, wann die Antwort von ChatGPT generiert worden ist.
- Die Antworten von ChatGPT im Rahmen von einfachen Smalltalk oder Wissensfragen in dem unternehmenseigenen Chatbot integrieren, um so flüssigere Gespräche mit den Usern führen zu können und dabei im Dialog mehr über die User-Präferenzen herauszufinden.
Geht es jedoch um das Sprachmodell GPT-3 bzw. GPT-3.5, handelt es sich zunächst „nur“ um ein Sprachmodell, ohne jegliches Wissen. Bei der Verwendung des reinen Sprachmodells GPT-3 sind Unternehmen selbst angehalten den Datenschutz zu wahren und auch einige ethische Anforderungen zu berücksichtigen. Die Kontrolle über die Inhalte, liegt bei den Unternehmen selbst.
Lust mal über den Einsatz von ChatGPT oder GPT zu brainstormen? Dann bitte einfach eine kurze E-Mail an sophie@hundertmark.ch schicken.
