Der Generator erstellt eine robots.txt, die Suchmaschinen und KI-Crawlern sagt, wohin sie auf Ihrer Website dürfen. Er hat drei Vorlagen: alle zulassen, KI-Suche zulassen und Modelltraining sperren, oder alle KI sperren. Er deckt GPTBot, ClaudeBot, PerplexityBot, Google‑Extended und weitere ab und testet sofort, ob ein gewählter Pfad erlaubt ist.
—
Läuft komplett in Ihrem Browser. Nichts wird hochgeladen oder gespeichert.
Alle zulassen, KI-Suche ja und Training nein, oder alle KI sperren.
Zum Beispiel /admin/ oder /warenkorb/.
Die vollständige Adresse Ihrer sitemap.xml.
Prüfen Sie, ob ein Crawler eine Adresse aufrufen darf.
Manche Anbieter haben einen Crawler für das Modelltraining und einen für die Live-Suche. Der Generator unterscheidet sie, sodass Sie in KI-Antworten sichtbar bleiben können, ohne Inhalte für das Training freizugeben.
Das Ergebnis prüft die KI-Sichtbarkeit.
Nicht zuverlässig. Sie verbietet das Crawlen, aber eine Seite kann über Links im Index landen. Zum Entfernen aus dem Index dient das Meta-Tag noindex.
Blockieren Sie sie, zitieren KI-Suchmaschinen Sie nicht. Viele Firmen sperren das Training, lassen aber die KI-Suche zu.
Die großen Anbieter ja. Es ist aber ein freiwilliger Standard (RFC 9309), keine Sicherheitsmaßnahme.
Den Kontakt richte ich gerade ein. Probieren Sie inzwischen die Tools, die schon funktionieren.
Kontakt