AI Crawler Check
Jede dritte Website blockiert versehentlich genau die Crawler, die ChatGPT und Perplexity mit Inhalten versorgen. Dieser AI Crawler Check liest Ihre robots.txt, Meta-Robots-Tags und Header und zeigt, welche der 15 KI-Bots Ihre Seiten wirklich sehen.
So testen Sie Ihre Website auf AI Crawler
Seiten-URL eingeben
Startseite oder Unterseite — der AI Crawler Check prüft exakt den Pfad, den Sie angeben, denn robots-Regeln unterscheiden sich pro Pfad.
Wir prüfen jedes Zugriffssignal
robots.txt-Regeln für 15 AI Crawler, Meta-Robots-Tags, X-Robots-Tag-Header, llms.txt und Sitemap-Einträge — der komplette Crawler-Test in einem Durchlauf.
Blockierte Bots sehen — und freischalten
Eine Allow/Block-Tabelle pro Bot, inklusive der exakten robots.txt-Zeile, die dafür verantwortlich ist. So beheben Sie Blockaden in Minuten statt Tagen.
Warum sich ein AI Crawler Audit lohnt
15 AI Crawler abgedeckt
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider, CCBot und mehr — jeder Bot, der für KI-Sichtbarkeit zählt.
Findet versehentliche Blockaden
CDN-Presets und alte robots.txt-Vorlagen sperren KI-Bots stillschweigend aus. Ob GPTBot bei Ihnen blockiert ist, sehen Sie hier in Sekunden.
Prüft alle drei Ebenen
robots.txt ist nur Ebene eins. Wir testen auch auf Seitenebene: Meta-Robots-Tags und noindex-Anweisungen im X-Robots-Tag-Header.
Erklärungen auf Regel-Ebene
Jedes Urteil zitiert die exakte Allow/Disallow-Zeile, die es ausgelöst hat — kein Rätselraten, welche Ihrer 40 robots-Regeln gegriffen hat.
Kennt llms.txt & Sitemap
Derselbe Durchlauf bestätigt, dass Ihre llms.txt erreichbar und Ihre Sitemap deklariert ist — die zwei Dateien, mit denen KI Sie navigiert.
Crawlbar ≠ empfohlen
Lesbar zu sein ist Schritt eins, empfohlen zu werden das Ziel. Kombinieren Sie das AI Crawler Audit mit einem kostenlosen Kairosy-Markenscan.
Was ist ein AI Crawler — und warum ein blockierter Bot Kunden kostet
Was ist ein AI Crawler? Der Bot, den ein KI-Unternehmen losschickt, um das öffentliche Web zu lesen: OpenAIs GPTBot sammelt Trainingsdaten, OAI-SearchBot treibt die ChatGPT-Suche an, ClaudeBot füttert die Modelle von Anthropic, und PerplexityBot baut den Index von Perplexity. Wenn Käufer diese Assistenten nach Empfehlungen fragen, können die Assistenten nur über Websites sprechen, die ihre KI-Crawler lesen konnten. Sie zu blockieren ist Unsichtbarkeit per Konfiguration — prüfen Sie deshalb zuerst die Erreichbarkeit, dann den Content.
Von Hand geht das so: robots.txt öffnen, die User-agent-Gruppe jedes Bots lesen (etwa die robots-Regeln für ChatGPT), dann die Seite auf Meta-Robots-Tags und X-Robots-Tag-Header prüfen — oder Sie lassen diesen Crawler-Test alles in fünf Sekunden erledigen. Einmal zu fragen „Ist meine Website crawlbar?“ reicht außerdem nicht: Themes, Plugins und CDN-Regeln ändern robots-Dateien lautlos. Wer GPTBot blockieren will, sollte das bewusst tun — ein monatliches AI Crawler Audit (plus ein Re-Test nach jeder Migration) ist die Gewohnheit, die Sie sichtbar hält.
Das sagen Nutzer über den AI Crawler Check
“Unser WAF-Template hatte GPTBot ein Jahr lang blockiert. Im ersten Durchlauf gefunden, am selben Tag behoben.”
“Ich teste jede neue Kunden-Website mit diesem AI Crawler Check. Die Hälfte blockiert mindestens einen KI-Bot, ohne es zu wissen.”
“Die Erklärungen auf Regel-Ebene sind Gold wert — das Tool zeigte mir exakt, welche Disallow-Zeile Bytespider traf und welche den Rest.”
“Einfach, ehrlich, schnell. Der Drei-Ebenen-Check (robots, Meta, Header) fand einen noindex-Header, den unser CDN injizierte.”
Häufige Fragen zum AI Crawler Check
Was ist ein AI Crawler, in einem Satz?+
Ein Bot, mit dem KI-Unternehmen öffentliche Webseiten lesen, damit ihre Assistenten wissen, was dort steht — und es empfehlen können.
Ist meine Website crawlbar, wenn die robots.txt leer ist oder fehlt?+
Meist ja: Keine robots.txt heißt keine Einschränkungen, KI-Crawler betrachten dann alles Öffentliche als zugänglich. Blockiert sein können Sie trotzdem — über Meta-Robots-Tags, X-Robots-Tag-Header oder die Firewall. Genau das prüft dieser AI Crawler Check.
Wie steuere ich ChatGPT gezielt über die robots.txt?+
ChatGPT nutzt zwei Bots: GPTBot (Training) und OAI-SearchBot (ChatGPT-Suche). Legen Sie für jeden eine eigene User-agent-Gruppe an — wer GPTBot blockieren, aber in der ChatGPT-Suche zitierbar bleiben will, sperrt nur GPTBot. Das Tool zeigt pro Bot, welche Regel aktuell greift.
Sollte ich manche AI Crawler absichtlich blockieren?+
Manche Publisher blockieren Trainings-Bots (GPTBot, CCBot) und erlauben Such-Bots (OAI-SearchBot, PerplexityBot), um zitierbar zu bleiben. Das ist eine legitime Strategie — entscheidend ist, sie bewusst zu wählen statt aus einer Vorlage zu erben.
Der Test sagt „offen“ — warum erwähnt KI meine Marke trotzdem nicht?+
Crawlbar heißt lesbar, nicht empfohlen. Starten Sie einen kostenlosen Kairosy-Scan und sehen Sie, was ChatGPT, Gemini, Claude und Perplexity Käufern wirklich über Sie erzählen — und was Sie beheben sollten, falls die Antwort schmerzt.
Verwandte kostenlose Tools
Llms.txt Generator
Crawlt eine beliebige Website und erzeugt in Sekunden eine fertige llms.txt.
Llms.txt Validator
Prüft, ob die llms.txt einer Website existiert, der Spezifikation folgt und keine toten Links hat.
Google Index Checker
Prüfen Sie gebündelt, ob Ihre Seiten bei Google, Bing, Yahoo, Yandex & DuckDuckGo im Index sind.
Technik erledigt? Prüfen Sie jetzt, was KI über Sie sagt
Kairosy stellt ChatGPT, Gemini, Claude und Perplexity die Fragen Ihrer Käufer — und zeigt, ob Sie empfohlen, ignoriert oder an die Konkurrenz verwiesen werden.
Kostenlosen KI-Marken-Scan starten