robots.txt für KI-Crawler richtig konfigurieren

Wenn Ihre Marke in ChatGPT, Perplexity oder Google-AI-Antworten auftauchen soll, muss der jeweilige KI-Crawler Ihre Inhalte lesen dürfen. Die zentrale Stellschraube dafür ist die robots.txt im Wurzelverzeichnis Ihrer Domain. Der häufigste, teure Fehler: KI-Bots werden pauschal blockiert – oft, weil eine Sicherheits- oder Datenschutzempfehlung ungeprüft übernommen wurde. Das Ergebnis ist Unsichtbarkeit in genau den Systemen, die Kaufentscheidungen zunehmend vorstrukturieren.

Wichtig zu verstehen: 'KI-Crawler' ist kein einheitlicher Typ. Es gibt Bots, die Trainingsdaten sammeln, Bots, die live für eine Antwort recherchieren, und Bots, die einen Suchindex aufbauen. Diese Unterschiede entscheiden, welchen Zugriff Sie erlauben sollten. Dieser Artikel erklärt die relevanten Bots im DACH-Kontext und zeigt eine bewusste, differenzierte Konfiguration.

Die drei Funktionen von KI-Crawlern

KI-Crawler lassen sich nach ihrer Aufgabe in drei Gruppen einteilen – und genau danach sollten Sie Ihre Entscheidung ausrichten. Wer alle Bots über einen Kamm schert, blockiert entweder zu viel oder erlaubt Dinge, die er nicht wollte.

Erstens: Trainings-Crawler. Sie sammeln Inhalte, um Sprachmodelle zu trainieren. Ob Sie das erlauben, ist eine strategische und teils rechtliche Frage, hat aber wenig direkten Einfluss darauf, ob Sie heute in einer KI-Antwort zitiert werden. Zweitens: Live-Retrieval-Bots. Sie rufen Ihre Seite in Echtzeit ab, wenn ein Nutzer eine Frage stellt, und speisen den Inhalt direkt in die Antwort ein. Diese Bots sind für Ihre KI-Sichtbarkeit entscheidend. Drittens: Such-Index-Bots. Sie bauen einen durchsuchbaren Index auf, aus dem KI-Systeme später Quellen ziehen.

• Training: nutzt Inhalte zur Modellverbesserung, kein direkter Sichtbarkeitseffekt.
• Live-Retrieval: liest Ihre Seite im Moment der Antwort – hier entsteht Sichtbarkeit.
• Such-Index: baut die Grundlage, aus der Antworten ihre Quellen wählen.

Die wichtigsten KI-Crawler und ihre User-Agents

Diese Bots sollten Sie kennen, wenn Sie die robots.txt bewusst konfigurieren. Die User-Agent-Namen sind exakt so anzugeben, wie sie die Anbieter dokumentieren – ein Tippfehler macht die Regel wirkungslos.

GPTBot ist der Trainings-Crawler von OpenAI. OAI-SearchBot ist der Bot, der Inhalte für die Suchfunktion und für Live-Antworten in ChatGPT abruft. ChatGPT-User beschreibt zudem Zugriffe, die durch eine konkrete Nutzeranfrage ausgelöst werden. Wer in ChatGPT-Antworten zitiert werden will, sollte OAI-SearchBot und ChatGPT-User erlauben; GPTBot ist die separate Trainings-Entscheidung. Die offizielle Übersicht der OpenAI-Bots hilft, die Namen aktuell zu halten.

PerplexityBot ist der Crawler von Perplexity für dessen Index und Antworten. ClaudeBot ist der Crawler von Anthropic für Claude. Google-Extended steuert, ob Google Ihre Inhalte für generative KI-Funktionen (Gemini, KI-Training) nutzen darf – wichtig: Diese Regel betrifft NICHT die normale Google-Suche oder das Ranking in den AI Overviews, dafür ist weiterhin der Googlebot zuständig. CCBot schließlich gehört zu Common Crawl, einem offenen Web-Archiv, dessen Datensätze von vielen Modellen als Trainingsgrundlage genutzt werden.

• GPTBot (OpenAI) – Training.
• OAI-SearchBot (OpenAI) – Suche und Live-Antworten in ChatGPT.
• ChatGPT-User (OpenAI) – nutzergetriggerte Abrufe.
• PerplexityBot (Perplexity) – Index und Antworten.
• ClaudeBot (Anthropic) – Crawler für Claude.
• Google-Extended (Google) – generative KI-Nutzung, nicht die normale Suche.
• CCBot (Common Crawl) – offenes Web-Archiv, Trainingsgrundlage vieler Modelle.

Zugriff bewusst erlauben: eine Beispiel-Konfiguration

Für die meisten Marken im DACH-Raum, die KI-Sichtbarkeit aufbauen wollen, ist die sinnvollste Grundhaltung: Live-Retrieval- und Such-Bots erlauben, Trainings-Zugriff bewusst entscheiden. Eine differenzierte robots.txt könnte so aussehen:

User-agent: OAI-SearchBot / Allow: / — User-agent: ChatGPT-User / Allow: / — User-agent: PerplexityBot / Allow: / — User-agent: ClaudeBot / Allow: / — User-agent: GPTBot / Disallow: / (falls Sie Training ausschließen wollen) — User-agent: Google-Extended / Allow: /

Zwei Punkte sind entscheidend. Erstens: Die robots.txt ist ein freiwilliger Standard, kein technisches Schloss. Sensible Inhalte (interne Bereiche, Kundendaten) gehören hinter Authentifizierung, nicht nur hinter eine Disallow-Zeile. Zweitens: Prüfen Sie, ob eine vorgeschaltete Firewall, ein CDN oder ein Sicherheits-Plugin KI-Bots bereits pauschal blockiert – das passiert häufig unbemerkt und überschreibt Ihre robots.txt-Absicht komplett. Eine strukturierte AEO-Checkliste hilft, solche Blockaden systematisch aufzudecken.

Ergänzen Sie die technische Freigabe durch technische Auffindbarkeit: eine gültige Sitemap-Referenz in der robots.txt und sauberes technisches SEO für KI-Crawler sorgen dafür, dass erlaubte Bots Ihre wichtigen Seiten auch tatsächlich finden.

Erlauben allein reicht nicht: Sichtbarkeit entsteht im Inhalt

Ein offener Crawler-Zugriff ist die Eintrittskarte, nicht der Sitzplatz. Dass ein Bot Ihre Seite lesen darf, garantiert kein Zitat in einer KI-Antwort. Ob Sie tatsächlich genannt werden, hängt von Inhaltsqualität, Struktur und Autorität ab.

Praktisch heißt das: antwort-orientiert schreiben, damit die Kernaussage jedes Abschnitts eigenständig zitierbar ist, mit strukturierten Daten arbeiten, damit Maschinen Ihre Entitäten sauber erfassen, und an Ihrer Website-Autorität arbeiten, damit KI-Systeme Sie als vertrauenswürdige Quelle einstufen. Der technische Zugriff und die inhaltliche Qualität sind zwei Hebel, die zusammenwirken müssen.

Weil viele Faktoren zusammenspielen, sollten Sie nicht raten, ob Ihre Freigabe wirkt, sondern messen. Genau hier setzt Citavo an: Das Tool prüft, ob und wie Ihre Marke in ChatGPT und Perplexity-Antworten erscheint, zeigt Wettbewerber und zitierte Quellen und leitet daraus einen priorisierten Aktionsplan ab. So sehen Sie, ob eine geöffnete robots.txt tatsächlich zu mehr Nennungen führt – oder ob der Engpass woanders liegt. Einen ersten Eindruck bekommen Sie in der 7-tägigen kostenlosen Testphase.