Gratis test · AI-assistenten
Staat uw site open voor AI?
ChatGPT, Claude, Perplexity, Copilot en Google citeren alleen wat ze kunnen lezen. Een te ruime robots.txt, een firewall die ooit is ingesteld en daarna vergeten, een pagina die alleen in JavaScript bestaat: de deur kan dichtgaan zonder dat iemand het merkt. Plak uw adres, wij kijken.
We lezen uw robots.txt, uw homepage zoals een browser dat doet, en vervolgens dezelfde pagina namens acht AI-bots. Elf keer lezen in totaal, meteen weer vergeten. We lezen openbare adressen, en alleen die.
Wat de test bekijkt, en wat die bewijst
Drie keer lezen, drie verschillende bewijskrachten. Het resultaat vertelt altijd welke aan het woord was.
1. Uw robots.txt — zeker
Het bestand is openbaar en het lezen ervan is genormeerd (RFC 9309). Wij lezen het zoals de bots het lezen: de groep die de bot bij naam noemt wint van de algemene groep, de langste regel wint, en bij gelijkspel wint de toestemming. Een robots.txt die een serverfout teruggeeft, sluit de hele site af voor een bot die zich aan de regels houdt: dat melden wij.
2. Het antwoord aan de bot — waarschijnlijk
We vragen uw homepage op als een browser, en vervolgens namens GPTBot, ClaudeBot, PerplexityBot en de andere. Als de browser de pagina krijgt en de bot een weigering, dan filtert een firewall de AI-bots eruit. Wij zeggen «waarschijnlijk» en niet «zeker»: de echte bot komt van de adressen van zijn uitgever, en sommige firewalls behandelen hem anders. Googlebot en Bingbot worden alleen op robots.txt beoordeeld: firewalls blokkeren namaakbots uit principe, en u verdient een nauwkeurig oordeel.
3. Wat de pagina bevat zoals die wordt geserveerd
De bots van de assistenten lezen de pagina zoals die binnenkomt. Ze voeren geen JavaScript uit. Een pagina die in de browser wordt opgebouwd, bereikt hen vrijwel leeg: wij tellen de woorden die daadwerkelijk worden geserveerd. We noteren ook
noindexennosnippet, die de pagina weghalen uit de zoekmachines waarop de assistenten steunen.
De bots, één voor één
Elke uitgever stuurt meerdere bots, en elk heeft zijn eigen rol. De bots voor zoeken bepalen of u gevonden kunt worden, en dus geciteerd. De bots voor lezen op verzoek openen uw pagina wanneer een gebruiker die aan de assistent geeft. De bots voortraining verzamelen om modellen te trainen: ze blokkeren is een legitieme keuze en houdt u in alle antwoorden.
| Bot | Voor | Rol | Als u hem sluit |
|---|---|---|---|
| OAI-SearchBot | ChatGPT | Zoeken | Uw pagina's verschijnen niet meer in de antwoorden van ChatGPT met zoekfunctie. |
| ChatGPT-User | ChatGPT | Lezen op verzoek | ChatGPT kan uw pagina niet meer openen wanneer een gebruiker daarom vraagt. |
| GPTBot | OpenAI | Training | Uw pagina's worden niet meer gebruikt om modellen te trainen. De zoekfunctie blijft volledig intact. |
| Claude-SearchBot | Claude | Zoeken | Uw pagina's verschijnen niet meer in de antwoorden van Claude met zoekfunctie. |
| Claude-User | Claude | Lezen op verzoek | Claude kan uw pagina niet meer openen op verzoek van een gebruiker. |
| ClaudeBot | Anthropic | Training | Uw pagina's worden niet meer gebruikt om modellen te trainen. De zoekfunctie blijft volledig intact. |
| PerplexityBot | Perplexity | Zoeken | Uw pagina's worden uit de index van Perplexity verwijderd. |
| Perplexity-User | Perplexity | Lezen op verzoek | Perplexity kan uw pagina niet meer op verzoek openen. |
| Bingbot | Copilot | Zoeken | U verdwijnt uit Bing — en uit alles wat op die index steunt, Copilot inbegrepen. |
| Googlebot | Zoeken | U verdwijnt uit Google, inclusief AI Overviews. | |
| Google-Extended | Training | Gemini gebruikt uw pagina's niet langer om te trainen. Google Search blijft volledig intact. | |
| MistralAI-User | Le Chat | Lezen op verzoek | Le Chat van Mistral kan uw pagina niet meer op verzoek openen. |
| CCBot | Common Crawl | Training | Uw pagina's komen uit het open archief waar veel modellen gebruik van maken. |
Training afsluiten, in de antwoorden blijven
Dit is de meest voorkomende verwarring: men wil dat zijn teksten de modellen niet trainen, men sluit 'de AI's' als geheel af, en verdwijnt zo ook uit hun antwoorden. Die twee zijn van elkaar te scheiden. Deze robots.txt sluit de training af bij OpenAI, Anthropic, Google en Common Crawl, en laat de zoekfunctie overal open:
# Fermer l'entraînement, garder la recherche ouverte
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
# Tous les autres robots, dont ceux de la recherche
User-agent: *
Allow: /Meerdere regels User-agent achter elkaar vormen één groep; een robot met een eigen groep negeert de groep *. Onderwerp uw site na elke wijziging aan de test: één regel te veel is genoeg om de zoekfunctie af te sluiten.
De firewall: de deur die geruisloos dichtgaat
Een robots.txt wordt gelezen; een firewall niet. Cloudflare, bepaalde beveiligingsextensies en sommige hostingproviders bieden aan om 'AI-robots' met één instelling te blokkeren. Die instelling antwoordt met 403 aan de robots en laat robots.txt ongemoeid: de site lijkt open voor wie het bestand leest, en gesloten voor wie aanklopt. Dat is precies wat de tweede lezing van de test aan het licht brengt.
Bij Cloudflare vindt u de instelling in het dashboard van het domein, onder de rubriek voor AI-robots. Daarmee kunt u elke robot afzonderlijk behandelen: training afsluiten, zoekfunctie behouden. Cloudflare kan ook uw robots.txt voor u beheren en er contentsignalen in schrijven (Content-Signal: search=yes, ai-train=no) ; de test leest ze en toont ze u.
Open, en dan geciteerd: twee stappen
Een open deur is de voorwaarde, niet het resultaat. Assistenten citeren de pagina's die ze in hun zoekindexen vinden, en daar vinden ze in de eerste plaats de pagina's die al goed scoren. Deze test geeft aan of de weg vrij is; wie er daadwerkelijk bij u binnenkomt, wordt elders gemeten.
Dat wordt gemeten aan de rand van het netwerk, daar waar de verzoeken binnenkomen: welke robot heeft welke pagina gelezen, en wanneer, waarbij elke leesbeurt wordt gecertificeerd aan de hand van de adresreeksen die de uitgevers publiceren. Dat is wat GEO SEO Records. De gids Geciteerd worden door AI-assistenten beschrijft in detail wat een pagina citeerbaar maakt zodra de deur openstaat.