Ratgeber · KI-Bot-Zugänglichkeit · Stand: 08/2026

robots.txt für KI-Bots richtig konfigurieren

Kurzantwort: Eine 2026 sinnvolle Onlineshop-robots.txt erlaubt zwölf KI-Bots einzeln: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-Web, Claude-SearchBot, PerplexityBot, Perplexity-User, Google-Extended, Bingbot, Applebot-Extended, meta-externalagent und DuckAssistBot. Der häufigste Fehler ist, nur GPTBot zu erlauben — das ist der Training-Bot; für die Live-Antworten von ChatGPT (Suche) ist OAI-SearchBot zuständig. Ohne den fehlt die halbe Miete.

Warum das Thema heute wichtig ist

Viele deutsche Onlineshops haben ihre robots.txt vor Jahren gesetzt und nie wieder angefasst. Seit 2023 sind die für KI-Antworten relevanten Bots eine völlig andere Menge geworden als zur damaligen Zeit. Wer sich darauf verlässt, dass ein pauschaler User-agent: * mit Allow: / „schon alles" erlaubt, übersieht drei Punkte: Erstens gehen viele CDN- und WAF-Regeln davon aus, dass „nicht-Browser-User-Agents" verdächtig sind — dort werden KI-Bots aktiv geblockt, ohne dass die robots.txt daran etwas ändert. Zweitens interpretieren mehrere Bots (u. a. OpenAI, Google) ihre Berechtigung als opt-in-explizit — sie erwarten einen expliziten Eintrag, der ihnen erlaubt, was * allein nicht regelt. Drittens ist es sinnvoll, sensible Bereiche (/dashboard/, /admin/, Bestell-Flow) auch für KI-Bots explizit zu sperren — das ist gute Praxis, kein Sicherheits-Ersatz.

Die 12 Bots im Überblick

Bot	Wer	Wofür
`GPTBot`	OpenAI	Modelltraining (nicht Suche!)
`OAI-SearchBot`	OpenAI	ChatGPT-Suchantworten mit Quellenlink
`ChatGPT-User`	OpenAI	User-triggered fetches, wenn Nutzer einen Link im Chat nennt
`ClaudeBot`	Anthropic	Content für Claude-Modelle
`Claude-Web`	Anthropic	ältere Bezeichnung, weiterhin eingesetzt
`Claude-SearchBot`	Anthropic	Live-Suchantworten in Claude
`PerplexityBot`	Perplexity	Index für Antworten
`Perplexity-User`	Perplexity	User-triggered fetches
`Google-Extended`	Google	Gemini, AI Overviews (Opt-in-Bot)
`Bingbot`	Microsoft	Grundlage für Copilot
`Applebot-Extended`	Apple	Apple Intelligence, Siri LLM-Antworten
`meta-externalagent`	Meta	Meta AI in Facebook / Instagram / WhatsApp
`DuckAssistBot`	DuckDuckGo	DuckDuckGo AI Assist

Musterkonfiguration zum Übernehmen

Der folgende Block ist Muster — bitte an die eigenen sensiblen Bereiche anpassen.

# -------------------------------------------------------------
# Standard-Crawler
# -------------------------------------------------------------
User-agent: *
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# -------------------------------------------------------------
# KI-Crawler — explizit erlaubt, sensible Bereiche gesperrt
# -------------------------------------------------------------

# OpenAI: GPTBot = Training, OAI-SearchBot = Live-Antworten,
#         ChatGPT-User = user-triggered fetches.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# Anthropic
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# Perplexity
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# Google Gemini / AI Overviews (Opt-in)
User-agent: Google-Extended
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# Microsoft Bing / Copilot
User-agent: Bingbot
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# Apple Intelligence, Siri
User-agent: Applebot-Extended
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# Meta AI (WhatsApp, Instagram, Facebook)
User-agent: meta-externalagent
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

# DuckDuckGo AI Assist
User-agent: DuckAssistBot
Allow: /
Disallow: /dashboard/
Disallow: /admin/
Disallow: /checkout/
Disallow: /kundenkonto/

Sitemap: https://ihr-shop.de/sitemap-index.xml

Häufige Fallen

Nur GPTBot im Kopf haben. Das ist der Training-Bot; ohne OAI-SearchBot gibt es keine ChatGPT-Suchantworten mit Zitat auf Ihren Shop.
Google-Extended weglassen, weil Google sonst schon crawlt. Google-Extended ist ein separater Opt-in-Bot für Gemini und AI Overviews — er greift nicht auf normale Google-Crawls zurück.
CDN-/WAF-Regeln vergessen. Cloudflare, Sucuri, AWS WAF blocken „Nicht-Browser-User-Agents" häufig standardmäßig. Ohne Ausnahme dort läuft die robots.txt-Erlaubnis ins Leere.
JS-Rendering vergessen. Viele KI-Crawler führen kein JavaScript aus. Kritische Inhalte müssen im HTML-Response stehen, nicht erst nach Client-Rendering.
Crawl-delay auf 5+ Sekunden. Bei großen Katalogen bremst das die Erst-Erfassung dramatisch — Effekt wirkt Monate.

Wie prüfen, ob es wirkt

Server-Logs auf die oben genannten User-Agents filtern und über 30 Tage aggregieren. Wenn ein Bot vorher fehlte und jetzt regelmäßig kommt, greift die Änderung. Zusätzlich lohnt es sich, die eigene Domain in ChatGPT, Perplexity und Gemini mit „Site:"-Anfragen (soweit unterstützt) und mit direkten Fragen abzutasten — die Antwort ist zwar keine Garantie, aber ein schneller Sanity-Check.

Weiterführend

llms.txt erklärt — die Content-Landkarte für Modelle
UCP und ACP — der nächste Schritt für Shops
KI-Sichtbarkeits-Audit — wenn Sie prüfen wollen, was Ihr Shop heute konkret liefert