Generátor robots.txt.

Generátor vytvoří soubor robots.txt, který říká vyhledávačům a AI crawlerům, kam na webu smějí. Má tři předvolby: pustit všechny, povolit AI vyhledávání a zakázat trénink modelů, nebo blokovat všechny AI. Pokrývá GPTBot, ClaudeBot, PerplexityBot, Google‑Extended i další a hned otestuje, jestli je zvolená cesta povolená.

Jak na to

Krok01

Vyberte předvolbu
Pro většinu firem doporučujeme pustit všechny, viditelnost v AI odpovědích je dnes výhoda.
Krok02

Doplňte zakázané cesty
Jen technické: administrace, košík, API. Ne stránky, které chcete mít ve vyhledávání.
Krok03

Přidejte sitemapu
Celá adresa, například https://www.vasweb.cz/sitemap.xml.
Krok04

Otestujte a nahrajte
Soubor patří do kořene webu: https://www.vasweb.cz/robots.txt.

Kdo je kdo mezi crawlery

Crawler	Firma	K čemu slouží
Googlebot, Bingbot, SeznamBot	Google, Microsoft, Seznam	Klasické vyhledávání
OAI-SearchBot, Claude-SearchBot, PerplexityBot	OpenAI, Anthropic, Perplexity	Odpovědi AI vyhledávačů
ChatGPT-User, Claude-User	OpenAI, Anthropic	Načtení stránky na žádost uživatele
GPTBot, ClaudeBot, Google-Extended, CCBot	OpenAI, Anthropic, Google, Common Crawl	Trénink jazykových modelů

Jak generátor rozhoduje

Generátor používá stejná pravidla jako vyhledávače podle normy RFC 9309: platí nejdelší shodná cesta, při shodě vyhrává Allow, hvězdička zastupuje libovolný text a znak $ konec adresy. Tester vpravo ukáže, jestli by vybraný crawler danou cestu směl načíst.

Jak je na tom váš současný web? Zkontrolujte ho v nástroji AI viditelnost, který robots.txt načte a vyhodnotí za vás.

FAQ05

Na co se lidé ptají

01Mám AI crawlery blokovat?

Záleží na tom, co chcete. Když je zablokujete, AI asistenti jako ChatGPT nebo Perplexity vás nebudou citovat a doporučovat. Pro většinu firem, které chtějí zákazníky, je lepší je pustit. Pokud vám vadí jen trénování modelů, použijte předvolbu „Vyhledávání ano, trénink AI ne“.

02Jaký je rozdíl mezi GPTBot a OAI-SearchBot?

GPTBot sbírá data pro trénink modelů OpenAI. OAI-SearchBot indexuje web pro vyhledávání v ChatGPT. ChatGPT-User přistupuje na stránku, když se na ni uživatel v chatu zeptá. Podobně Anthropic rozlišuje ClaudeBot, Claude-SearchBot a Claude-User.

03Zablokuje robots.txt přístup k stránce?

Ne. Je to jen prosba, kterou slušní roboti respektují. Pro skutečnou ochranu použijte heslo. Zakázaná stránka se navíc může ve výsledcích objevit bez popisku, pokud na ni vedou odkazy. Pro vyřazení z indexu slouží meta robots noindex.

04Co je Google-Extended?

Token, kterým Google rozlišuje použití vašeho obsahu pro modely Gemini. Jeho zakázání nemá vliv na pozice v Google Search.

05Potřebuje Seznam zvláštní pravidla?

Ne, SeznamBot se řídí standardními pravidly. Jen ho omylem nezakazujte, pro české weby je Seznam pořád důležitý zdroj návštěv.

Další krok01

Co dál

Na míru

01.

Nástroj na míru

Potřebujete něco, co tu není? Stavím nástroje na míru. Kontakt právě spouštím.

Souvisí06

Pokračujte

Máte práci, kterou by měl dělat program?

Kontakt ještě spouštím. Mezitím si vyzkoušejte nástroje, které už fungují.

Kontakt

Nástroje zdarma