*Dieser Beitrag basiert auf einem YouTube-Video von Sophie Hundertmark, Expertin für den Einsatz von Künstlicher Intelligenz mit Fokus auf Chatbots und strategische AI-Anwendungen in Unternehmen und öffentlichen Institutionen. Sophie ist Forscherin und Dozentin an der Hochschule Luzern und promoviert im Bereich Conversational AI an der Universität Fribourg. Der Blogtext wurde mithilfe eines Custom GPT-Modells erstellt, das auf Sophies Video-Inhalte, Sprachstil und Fachwissen trainiert wurde. So entstehen fundierte, aktuelle Beiträge auf Basis eigener Expertise von Sophie Hundertmark.
Den Link zum Video findet ihr am Ende dieses Beitrags.
Viele Unternehmen beschäftigen sich aktuell mit der Frage, wie ihre Website in KI-Chatbots wie ChatGPT, Claude oder anderen AI-Systemen sichtbar wird. Dabei liegt der Fokus häufig auf hochwertigen Inhalten oder einer guten SEO-Strategie.
Ein entscheidender Punkt wird jedoch oft übersehen: die technische Grundlage. Denn selbst die besten Inhalte bringen wenig, wenn KI-Bots Eure Website gar nicht crawlen dürfen.
Warum die robots.txt so wichtig ist
Die Datei robots.txt steuert, welche Bereiche einer Website von Bots besucht werden dürfen und welche nicht. Ursprünglich wurde sie vor allem für Suchmaschinen wie Google genutzt. Heute spielt sie jedoch auch für KI-Bots eine wichtige Rolle.
Wenn ein KI-Bot durch die robots.txt ausgesperrt wird, kann er Eure Inhalte nicht lesen. Das bedeutet, dass Eure Website auch deutlich schlechter in KI-gestützten Antworten berücksichtigt werden kann.
So überprüft Ihr Eure Website in wenigen Sekunden
Die Prüfung ist denkbar einfach.
Hängt an Eure Domain einfach folgende Endung an:
/robots.txt
Beispiel:
Nach dem Aufrufen der Datei seht Ihr sofort, welche Bots zugelassen oder ausgeschlossen sind.
Worauf Ihr achten solltet
Besonders wichtig ist der Eintrag Disallow.
Wenn dort bestimmte KI-Bots explizit ausgeschlossen werden, können diese Eure Website nicht crawlen.
Im Idealfall gilt:
- KI-Bots werden ausdrücklich erlaubt oder
- sie werden zumindest nicht ausgeschlossen.
Eine explizite Freigabe für ChatGPT oder andere KI-Systeme ist häufig gar nicht notwendig. Entscheidend ist vor allem, dass sie nicht blockiert werden.
Viele Websites haben individuelle Regeln
Beim Blick auf verschiedene robots.txt-Dateien werdet Ihr feststellen, dass viele Websites zahlreiche Bereiche gezielt ausschließen. Das ist völlig normal.
Beispielsweise werden häufig folgende Bereiche gesperrt:
- Administrationsbereiche
- interne Suchseiten
- Testumgebungen
- technische Verzeichnisse
Diese Einstellungen sind sinnvoll und haben meist keinen negativen Einfluss auf die Sichtbarkeit der eigentlichen Inhalte.
Wichtig ist lediglich, dass die Bots grundsätzlich auf die relevanten Seiten zugreifen dürfen.
Was könnt Ihr tun, wenn KI-Bots blockiert werden?
Solltet Ihr feststellen, dass KI-Bots in Eurer robots.txt ausgeschlossen werden, solltet Ihr die Konfiguration überprüfen lassen.
Sprecht dazu mit Eurem Webdeveloper oder Eurer Webagentur und klärt, ob diese Einschränkung bewusst gesetzt wurde oder angepasst werden sollte.
Oft handelt es sich um eine ältere Einstellung, die heute nicht mehr sinnvoll ist – insbesondere dann, wenn Ihr möchtet, dass Eure Inhalte künftig auch in KI-Systemen gefunden werden.
Fazit
Die Optimierung für KI-Sichtbarkeit beginnt nicht erst bei den Inhalten, sondern bereits bei der technischen Infrastruktur Eurer Website.
Mit einem einfachen Blick in die robots.txt könnt Ihr innerhalb weniger Sekunden prüfen, ob KI-Bots Eure Inhalte überhaupt erreichen können. Diese kleine Kontrolle kann einen großen Unterschied machen, wenn es darum geht, langfristig in ChatGPT, Claude und anderen KI-Systemen sichtbar zu werden.
Wenn Ihr Eure Website fit für die Zukunft machen möchtet, solltet Ihr deshalb nicht nur auf gute Inhalte setzen, sondern auch sicherstellen, dass die technischen Voraussetzungen stimmen.
Weitere Fragen?
Ihr habt Fragen dazu? Gerne unterstütze ich euch, stehe als Sparring-Partner zur Verfügung und beantworte eure Fragen. Ich freue ich mich immer über eure Nachrichten, am liebsten per WhatsApp Nachricht oder als E-Mail.
