Generátor vytvorí súbor robots.txt, ktorý hovorí vyhľadávačom a AI crawlerom, kam na webe smú. Zvlášť nastavíte bežné vyhľadávače, AI crawlery na trénovanie modelov a AI vyhľadávanie, ktoré vás môže citovať. Pridáte zakázané cesty a sitemap a otestujete, či konkrétna URL prejde.
—
Beží celý vo vašom prehliadači. Nič sa nikam neodosiela ani neukladá.
Vyhľadávače, AI trénovanie a AI vyhľadávanie zvlášť.
Napríklad /admin/ alebo /kosik/.
Celá adresa súboru sitemap.xml.
Overte, či crawler na danú adresu smie.
Niektorí poskytovatelia majú zvlášť crawler na trénovanie modelov a zvlášť na živé vyhľadávanie. Generátor ich rozlišuje, takže môžete zostať viditeľní v odpovediach AI a zároveň nedávať obsah na trénovanie.
Výsledok overí kontrola AI viditeľnosti.
Nie spoľahlivo. Zakáže prechádzanie, ale stránka sa môže v indexe objaviť cez odkazy. Na vyradenie z indexu použite meta tag noindex.
Ak ich zablokujete, AI vyhľadávače vás nebudú citovať. Mnoho firiem blokuje trénovanie, ale púšťa AI vyhľadávanie.
Veľkí poskytovatelia áno. Je to ale dobrovoľný štandard (RFC 9309), nie zabezpečenie.
Kontakt ešte spúšťam. Medzitým si vyskúšajte nástroje, ktoré už fungujú.
Kontakt