robots.txt
Auch: Robots Exclusion Protocol, Robots-Datei
Kurz erklärt
Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern von Suchmaschinen und KI-Diensten mitteilt, welche Bereiche sie besuchen dürfen und welche nicht. Hier lässt sich auch steuern, ob KI-Crawler Inhalte abrufen dürfen.
Was bedeutet robots.txt?
Die Datei liegt unter /robots.txt und enthält Regeln für bestimmte User-Agents, also Crawler, etwa Googlebot, Bingbot, GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic oder PerplexityBot. Mit Disallow werden Pfade ausgeschlossen, mit Allow freigegeben. Zudem kann dort die XML-Sitemap angegeben werden. Die robots.txt ist eine Bitte, keine technische Sperre, seriöse Crawler halten sich daran. Ein Ausschluss verhindert das Crawlen, aber nicht zwingend die Indexierung, wenn andere Seiten auf die URL verlinken.
Warum ist das im B2B wichtig?
Eine falsch konfigurierte robots.txt kann ganze Websites aus Suchmaschinen verbannen, etwa wenn nach einem Relaunch die Sperre der Testumgebung übernommen wird. Für die KI-Sichtbarkeit sollten Unternehmen bewusst entscheiden, welche KI-Crawler zugelassen werden. Wer die Such-Crawler von ChatGPT oder Perplexity blockiert, kann dort nicht als Quelle erscheinen.
Beispiel aus der Praxis
Ein Unternehmen stellt fest, dass sein Hosting-Anbieter pauschal alle KI-Crawler blockiert. Nach Freigabe von OAI-SearchBot, PerplexityBot und weiteren Such-Crawlern wird die Website in KI-Antworten wieder als Quelle verlinkt.
Häufige Fragen zu robots.txt
Sollte man KI-Crawler in der robots.txt blockieren?
Das ist eine Abwägung. Wer in KI-Antworten sichtbar sein will, sollte zumindest die Crawler zulassen, die für KI-Suchen Inhalte abrufen. Trainings-Crawler lassen sich getrennt steuern.
Wo finde ich die robots.txt meiner Website?
Unter ihrer-domain.de/robots.txt. In WordPress lässt sie sich mit SEO-Plugins wie Rank Math bearbeiten.