Darmowy test · Asystenci AI
Czy Twoja witryna jest otwarta na AI?
ChatGPT, Claude, Perplexity, Copilot i Google cytują tylko to, co mogą przeczytać. Zbyt szeroki robots.txt, zapora ustawiona raz i zapomniana, strona istniejąca wyłącznie w JavaScripcie: drzwi mogą się zamknąć bez niczyjej wiedzy. Wklej swój adres, a my sprawdzimy.
Czytamy Twój plik robots.txt, Twoją stronę główną tak jak przeglądarka, a następnie tę samą stronę w imieniu ośmiu robotów AI. Łącznie jedenaście odczytów, zapominanych zaraz po wykonaniu. Czytamy adresy publiczne i tylko je.
Co sprawdza test i co dowodzi
Trzy odczyty, trzy różne moce dowodowe. Wynik zawsze mówi, który z nich przemówił.
1. Twój plik robots.txt — pewne
Plik jest publiczny, a jego odczyt znormalizowany (RFC 9309). Czytamy go tak, jak czytają go roboty: grupa wymieniająca robota z nazwy ma pierwszeństwo przed grupą ogólną, wygrywa najdłuższa reguła, a przy remisie przeważa zezwolenie. Plik robots.txt zwracający błąd serwera zamyka całą witrynę przed robotem przestrzegającym zasad: sygnalizujemy to.
2. Odpowiedź udzielona robotowi — prawdopodobne
Prosimy o Twoją stronę główną tak jak przeglądarka, a następnie w imieniu GPTBot, ClaudeBot, PerplexityBot i pozostałych. Jeśli przeglądarka otrzymuje stronę, a robot odmowę, zapora filtruje roboty AI. Mówimy „prawdopodobne”, a nie „pewne”: prawdziwy robot przychodzi z adresów swojego wydawcy, a niektóre zapory traktują go inaczej. Googlebot i Bingbot oceniamy wyłącznie na podstawie robots.txt: zapory z zasady blokują podróbki, a Ty zasługujesz na trafny werdykt.
3. Co zawiera strona w postaci, w jakiej jest serwowana
Roboty asystentów czytają stronę w takiej postaci, w jakiej do nich dociera. Nie wykonują JavaScriptu. Strona budowana w przeglądarce dociera do nich niemal pusta: liczymy słowa faktycznie serwowane. Sprawdzamy też
noindexinosnippet, które usuwają stronę z wyszukiwarek, na których opierają się asystenci.
Roboty, jeden po drugim
Każdy wydawca wysyła kilka robotów, a każdy z nich ma swoją rolę. Roboty wyszukiwanie decydują, czy można Cię znaleźć, a więc i zacytować. Roboty czytanie na żądanie otwierają Twoją stronę, gdy użytkownik poda ją asystentowi. Robotytrenowanie zbierają dane do trenowania modeli: ich zamknięcie to uprawniony wybór, który pozostawia Cię we wszystkich odpowiedziach.
| Robot | Dla | Rola | Jeśli go zamkniesz |
|---|---|---|---|
| OAI-SearchBot | ChatGPT | Wyszukiwanie | Twoje strony nie pojawiają się już w odpowiedziach ChatGPT z wyszukiwaniem. |
| ChatGPT-User | ChatGPT | Odczyt na żądanie | ChatGPT nie może już otworzyć Twojej strony, gdy użytkownik o to poprosi. |
| GPTBot | OpenAI | Trenowanie | Twoje strony nie służą już do trenowania modeli. Wyszukiwanie pozostaje nienaruszone. |
| Claude-SearchBot | Claude | Wyszukiwanie | Twoje strony nie pojawiają się już w odpowiedziach Claude'a z wyszukiwaniem. |
| Claude-User | Claude | Odczyt na żądanie | Claude nie może już otworzyć Twojej strony na żądanie użytkownika. |
| ClaudeBot | Anthropic | Trenowanie | Twoje strony nie służą już do trenowania modeli. Wyszukiwanie pozostaje nienaruszone. |
| PerplexityBot | Perplexity | Wyszukiwanie | Twoje strony wypadają z indeksu Perplexity. |
| Perplexity-User | Perplexity | Odczyt na żądanie | Perplexity nie może już otworzyć Twojej strony na żądanie. |
| Bingbot | Copilot | Wyszukiwanie | Wypadasz z Bing — i ze wszystkiego, co korzysta z jego indeksu, w tym z Copilota. |
| Googlebot | Wyszukiwanie | Wypadasz z Google, w tym z AI Overviews. | |
| Google-Extended | Trenowanie | Gemini nie używa już Twoich stron do trenowania. Google Search pozostaje nietknięty. | |
| MistralAI-User | Le Chat | Odczyt na żądanie | Le Chat od Mistral nie może już otwierać Twojej strony na żądanie. |
| CCBot | Common Crawl | Trenowanie | Twoje strony znikają z otwartego archiwum, z którego korzysta wiele modeli. |
Zamknąć trenowanie, pozostać w odpowiedziach
To najczęstsze nieporozumienie: chce się, by własne teksty nie trenowały modeli, zamyka się „AI” w całości i wypada się także z ich odpowiedzi. Te dwie rzeczy da się rozdzielić. Ten robots.txt zamyka trenowanie w OpenAI, Anthropic, Google i Common Crawl, a wyszukiwanie pozostawia otwarte wszędzie:
# Fermer l'entraînement, garder la recherche ouverte
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
# Tous les autres robots, dont ceux de la recherche
User-agent: *
Allow: /Kilka wierszy User-agent następujące po sobie tworzą jedną grupę; robot, który ma własną grupę, ignoruje grupę *. Przetestuj swoją witrynę po każdej zmianie: jeden wiersz za dużo wystarczy, by zamknąć wyszukiwanie.
Zapora sieciowa: drzwi, które zamykają się w ciszy
Plik robots.txt da się odczytać; zapory sieciowej — nie. Cloudflare, niektóre rozszerzenia bezpieczeństwa i niektórzy hostingodawcy proponują zablokowanie „robotów AI” jednym ustawieniem. To ustawienie odpowiada robotom kodem 403 i pozostawia robots.txt bez zmian: witryna wydaje się otwarta dla tego, kto czyta plik, i zamknięta dla tego, kto stuka do drzwi. Dokładnie to ujawnia drugi odczyt w teście.
W Cloudflare ustawienie znajduje się w panelu domeny, w sekcji dotyczącej robotów AI. Pozwala ono traktować każdego robota oddzielnie: zamknąć trenowanie, zachować wyszukiwanie. Cloudflare może też zarządzać Twoim plikiem robots.txt za Ciebie i wpisywać w nim sygnały dotyczące treści (Content-Signal: search=yes, ai-train=no); test je odczytuje i pokazuje Ci je.
Otwarte, a potem cytowane: dwa etapy
Otwarte drzwi to warunek, nie wynik. Asystenci cytują strony, które znajdują w swoich indeksach wyszukiwania, a znajdują tam przede wszystkim strony już dobrze pozycjonowane. Ten test mówi, czy droga jest wolna; kto rzeczywiście do Ciebie wchodzi, mierzy się w innym miejscu.
Mierzy się to na brzegu sieci, tam, gdzie przychodzą zapytania: który robot odczytał którą stronę i kiedy, przy czym każdy odczyt jest potwierdzony zakresami adresów publikowanymi przez wydawców. Właśnie to robi GEO SEO Records. Przewodnik Być cytowanym przez asystentów AI wyjaśnia szczegółowo, co sprawia, że strona jest cytowalna, gdy drzwi są już otwarte.