Generator tworzy plik robots.txt, który mówi wyszukiwarkom i crawlerom AI, gdzie na stronie mogą wejść. Osobno ustawiają Państwo zwykłe wyszukiwarki, crawlery AI do trenowania modeli i wyszukiwanie AI, które może Państwa cytować. Dodają Państwo zablokowane ścieżki i sitemap oraz testują, czy konkretny URL przejdzie.
—
Działa w całości w przeglądarce. Nic nie jest wysyłane ani zapisywane.
Wyszukiwarki, trenowanie AI i wyszukiwanie AI osobno.
Na przykład /admin/ lub /koszyk/.
Pełny adres pliku sitemap.xml.
Sprawdź, czy crawler może wejść pod dany adres.
Część dostawców ma osobny crawler do trenowania modeli i osobny do wyszukiwania na żywo. Generator je rozróżnia, więc mogą Państwo zostać widoczni w odpowiedziach AI i jednocześnie nie oddawać treści do trenowania.
Wynik sprawdzi widoczność w AI.
Nie niezawodnie. Blokuje przeglądanie, ale strona może trafić do indeksu przez linki. Do usunięcia z indeksu służy meta tag noindex.
Po zablokowaniu wyszukiwarki AI nie będą Państwa cytować. Wiele firm blokuje trenowanie, ale wpuszcza wyszukiwanie AI.
Duzi dostawcy tak. To jednak dobrowolny standard (RFC 9309), a nie zabezpieczenie.
Kontakt jeszcze uruchamiam. W międzyczasie wypróbuj narzędzia, które już działają.
Kontakt