Ein Beitrag von Sophie Hundertmark.
Sophie Hundertmark ist Expertin für den praktischen Einsatz von Künstlicher Intelligenz mit Schwerpunkt auf Chatbots, AI-Strategien und verantwortungsvoller Technologieintegration. Sie ist Forscherin und Dozentin an der Hochschule Luzern und schreibt derzeit ihre Dissertation im Bereich Conversational AI an der Universität Fribourg. Als Beraterin begleitet sie Unternehmen, Verwaltungen und Bildungsinstitutionen bei der Einführung wirksamer KI-Lösungen. Mehr zu Sophie Hundertmark auf auf Linkedin.
Kürzlich habe ich einen Beitrag darüber geteilt, wie sehr ich in letzter Zeit mit Gemini zufrieden bin, oft mehr als mit ChatGPT. Der Grund? Für mich fühlt es sich an, als würde Gemini sich „mehr Kontext“ merken können. Ich habe mich für diesen Beitrag tiefer damit beschäftigt und dazu eine hilfreiche und spannende Übersicht gefunden! Die Quelle dazu findet ihr hier: Übersicht der großen Sprachmodelle (LLMs).
Was sind diese LLMs überhaupt und warum reden alle davon?
Bevor wir ins Detail gehen, lasst uns kurz klären, worüber wir hier eigentlich sprechen: LLMs sind die „Hirne“ hinter vielen der KI-Anwendungen, die ihr vielleicht schon nutzt – von Textgeneratoren über Chatbots, wie ChatGPT, bis hin zu smarten Assistenten. Stellt euch vor, ein LLM ist wie ein riesiges Lexikon, das nicht nur Wörter und Fakten kennt, sondern auch versteht, wie Sätze aufgebaut sind, wie Menschen kommunizieren und welche Bedeutung hinter Wörtern steckt. Sie sind darauf trainiert, Muster in riesigen Mengen von Textdaten zu erkennen und so menschliche Sprache zu verstehen und selbst zu erzeugen. Das Faszinierende daran ist, dass diese Modelle nicht einfach nur Informationen wiedergeben, sondern auf Basis ihres Trainingswissens auch neue, kreative und zusammenhängende Texte verfassen können. Für uns im Arbeitsalltag bedeutet das eine unglaubliche Erleichterung und Effizienzsteigerung bei vielen Aufgaben, die mit Sprache zu tun haben – sei es beim Entwurf von E-Mails, beim Brainstorming oder bei der Erstellung von Inhalten.
Das Geheimnis des "Kontexts" – Warum Gemini mehr "merkt"
Genau hier kommen wir zu meinem Aha-Erlebnis mit Gemini! Wenn ich sage, Gemini merkt sich „mehr Kontext“, spreche ich von etwas ganz Wichtigem in der Welt der LLMs: dem Kontextfenster (oder auf Englisch "Context Window"). Stellt euch vor, ihr unterhaltet euch mit jemandem. Wenn diese Person sich an alles erinnert, was ihr in den letzten zehn Minuten besprochen habt, ist die Unterhaltung flüssig und zusammenhängend. Wenn sie sich aber nur an die letzten zwei Sätze erinnern kann, wird es schwierig, ein tiefgehendes Gespräch zu führen, oder?
Bei LLMs ist das ähnlich. Jede Unterhaltung, die ihr mit einem LLM führt, besteht aus einer Reihe von "Tokens". Ein Token ist die kleinste Informationseinheit, die ein LLM verarbeiten kann. Das kann ein Wort sein, ein Satzzeichen oder sogar nur ein Teil eines Wortes. Das Kontextfenster eines LLMs bestimmt nun, wie viele dieser Tokens es sich gleichzeitig "merken" kann, um eure aktuelle Anfrage zu verstehen und eine passende Antwort zu generieren. Je grösser dieses Fenster ist, desto mehr von unserer bisherigen Unterhaltung kann das Modell im Blick behalten.
Schauen wir uns die Tabelle von Exploding Topics an, dann wird schnell klar, warum ich diesen Eindruck habe:
- Gemini 2.0 Pro hat zum Beispiel ein Kontextfenster von 2.000.000 Tokens!
- Gemini 2.5 Pro ist mit 1.000.000 Tokens (bald sogar 2.000.000) ebenfalls riesig.
- Im Vergleich dazu haben viele ChatGPT-Modelle (wie GPT-o4-mini, GPT-o3) oft "nur" 200.000 Tokens oder sogar GPT-4o und GPT-4o mini mit 128.000 Tokens.
Ihr seht, der Unterschied ist gewaltig! Und genau das ist der Grund, warum sich meine Interaktionen mit Gemini oft so viel flüssiger und tiefgehender anfühlen. Wenn ich über längere Zeit an einem Thema arbeite oder komplexe Aufgaben stelle, kann Gemini all das, was wir vorher besprochen haben, besser berücksichtigen und mir dadurch präzisere und relevantere Antworten liefern. Es ist, als würde es wirklich zuhören und sich meine Gedanken merken.
Der "Knowledge Cutoff" – Wann wurde die KI geboren?
Ein weiterer wichtiger Punkt, der in der Übersicht auftaucht, ist der Knowledge Cutoff Date. Auch dazu hatte ich eine Anmerkung auf LinkedIn, die für viele von euch interessant sein könnte. Dieser "Knowledge Cutoff" bezeichnet schlicht und einfach das Datum, bis zu dem das LLM trainiert wurde. Alle Informationen, die nach diesem Datum entstanden sind, sind dem Modell durch sein ursprüngliches Training nicht bekannt.
Auch hier lohnt sich ein Blick in die Tabelle:
- Viele Gemini-Modelle (z.B. Gemini 2.0 Pro) haben einen Knowledge Cutoff im August 2024 oder sogar Januar 2025 (Gemini 2.5 Pro).
- Einige GPT-Modelle (z.B. GPT-4.1) haben einen Cutoff im Mai 2024 oder Oktober 2023 (GPT-4o).
Das bedeutet, das grundlegende Wissen des Modells ist nur bis zu diesem Stichtag aktuell. Hier kommt aber ein entscheidender Aspekt ins Spiel, den ihr unbedingt beachten müsst: Einige LLMs, wie zum Beispiel Gemini, sind nicht auf dieses "Trainingsdatum" beschränkt, wenn es um aktuelle Informationen geht. Sie haben die Fähigkeit, über den Internetzugang auf aktuelle Daten zuzugreifen. Das ist ein Game Changer! Auch wenn ihr Wissen aus dem Training "alt" sein mag, können sie durch die Websuche die neuesten Informationen in eure Antworten einfliessen lassen. Das ist besonders für uns, die wir in einem schnelllebigen Umfeld arbeiten, extrem wichtig, da wir so immer auf dem neuesten Stand bleiben können, ohne auf die nächste Trainingsrunde des Modells warten zu müssen.
Was bedeutet das alles für euch in der Praxis?
Ihr als praxisorientierte Anwender, profitiert enorm von diesen Entwicklungen. Ein grosses Kontextfenster bedeutet:
- Bessere Gesprächsführung: Ihr könnt längere, komplexere Gespräche führen, ohne dass das Modell den Faden verliert.
- Kohärentere Ergebnisse: Wenn ihr einen längeren Text erstellen lasst oder ein Projekt bearbeitet, bleiben die Ergebnisse über die verschiedenen Anfragen hinweg konsistenter und stimmiger.
- Weniger Wiederholungen: Ihr müsst dem Modell nicht ständig die gleichen Informationen wiederholen, weil es sich mehr merkt.
Und die Fähigkeit, auf aktuelle Daten zuzugreifen, heisst für euch:
- Immer topaktuell: Ihr bekommt Antworten, die auf den neuesten Informationen basieren, auch wenn das Basiswissen des Modells älter ist.
- Zuverlässigere Informationen: Besonders wichtig, wenn es um schnelllebige Themen, Marktanalysen oder aktuelle Ereignisse geht.
Ich hoffe, diese kleine "deep dive" in die Welt der LLMs war für euch genauso aufschlussreich wie für mich! Es ist faszinierend zu sehen, wie die Technologie hinter diesen Modellen unsere tägliche Arbeit beeinflusst und verbessert. Wenn ihr Fragen dazu habt oder eigene Erfahrungen teilen wollt, meldet euch jederzeit! Ich freue mich immer über den Austausch.
