AI-crawlers toegang geven

Een AI-assistent kan je alleen noemen als hij je site mag lezen. Dat regel je met je robots.txt, en soms ongemerkt ook met een instelling bij je hosting of CDN. Dit artikel legt uit welke bots bepalen of je in AI-antwoorden verschijnt, welke bots alleen tekst verzamelen om modellen te trainen, en hoe je beide goed instelt.

Dit is een cluster van Wat is GEO?.

Zoekbots en trainingsbots zijn niet hetzelfde

Elke grote aanbieder gebruikt meerdere bots, en ze doen elk iets anders. Het belangrijkste onderscheid:

Zoekbots bepalen of een assistent je site kan vinden en tonen in zijn antwoorden. Blokkeer je die, dan verdwijn je uit die antwoorden.
Trainingsbots verzamelen tekst om toekomstige modellen te trainen. Blokkeer je die, dan komt je tekst niet in de trainingsdata. Of je in antwoorden verschijnt, verandert daardoor niet.

Dat onderscheid staat in de documentatie van de aanbieders zelf. Oudere adviezen, ook van SEO-tools, gooien de twee soms op één hoop. Dan krijg je het advies om GPTBot nooit te blokkeren omdat je anders uit ChatGPT verdwijnt, en dat klopt niet.

Welke bot doet wat?

Per aanbieder, zoals zij het zelf beschrijven:

OpenAI (ChatGPT)

OAI-SearchBot: toont sites in de zoekresultaten van ChatGPT. Dit is de bot die bepaalt of ChatGPT je kan vinden.
ChatGPT-User: haalt een pagina op als een gebruiker daarom vraagt. Volgens OpenAI geldt robots.txt hiervoor mogelijk niet, omdat een mens het verzoek doet.
GPTBot: verzamelt tekst die gebruikt kan worden om modellen te trainen.

Anthropic (Claude)

Claude-SearchBot: verbetert de zoekresultaten van Claude. Blokkeren kan je zichtbaarheid daarin verlagen.
Claude-User: haalt een pagina op als een gebruiker Claude iets vraagt.
ClaudeBot: verzamelt tekst voor training.

Perplexity

PerplexityBot: toont en linkt sites in de zoekresultaten van Perplexity. Volgens Perplexity wordt hij niet gebruikt om modellen te trainen.
Perplexity-User: haalt een pagina op als een gebruiker iets vraagt, en negeert robots.txt volgens Perplexity meestal.

Google

Googlebot: bepaalt of je in Google Search staat. AI Overviews en AI Mode horen volgens Google bij Search en volgen dezelfde regels. Wat daar van je site verschijnt, stuur je dus met Googlebot en met de gewone snippet-instellingen.
Google-Extended: bepaalt of je content gebruikt mag worden om Gemini te trainen. Volgens Google heeft hij geen invloed op je plek in Search en is hij geen rankingsignaal.

Daarnaast zijn er trainingsbots van andere partijen, zoals CCBot (Common Crawl), Applebot-Extended, Bytespider en cohere-ai, en algemene crawlers zoals Amazonbot en Meta-ExternalAgent.

Hoe stel je robots.txt in?

Je robots.txt staat op jouwdomein.nl/robots.txt. Voor een bedrijf dat gevonden wil worden, is de eenvoudigste goede instelling ook de beste: alles toelaten en alleen afschermen wat niet openbaar hoort te zijn.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://jouwdomein.nl/sitemap.xml

Met User-agent: * gelden de regels voor elke bot die niet apart genoemd wordt, dus ook voor alle AI-bots. Let op één valkuil: noem je een bot wél apart, dan geldt alleen zijn eigen groep, niet de regels onder *. Een aparte groep User-agent: GPTBot met Allow: / laat GPTBot dus ook in /admin/ toe.

Wil je training uitsluiten maar wel gevonden worden, dan blokkeer je alleen de trainingsbots:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Opeenvolgende User-agent-regels vormen één groep en delen de regels eronder. Zo blokkeer je vier bots met één Disallow.

Toelaten of blokkeren?

Voor de meeste bedrijven is alles toelaten de juiste keuze. De zoekbots moeten er sowieso in, anders tonen de assistenten je niet. De trainingsbots toelaten heeft een eigen voordeel: een model dat je bedrijf uit zijn training kent, kan je ook noemen wanneer het niet op internet zoekt.

Training blokkeren is een bewuste keuze als je tekst je product is. Denk aan een uitgever die zijn artikelen in licentie geeft, of betaalde inhoud. Grote nieuwssites doen dat, en sommige blokkeren daarbij ook de zoekbots van bepaalde assistenten. Dat kost ze zichtbaarheid in die assistenten, en dat nemen ze voor lief.

De blokkade die niet in robots.txt staat

Een robots.txt die alles toelaat, is geen garantie. Sommige hostingpartijen, CDN's en firewalls hebben een instelling die AI-bots weigert. De bot krijgt dan een foutmelding zoals 403 of 429, terwijl je robots.txt zegt dat hij welkom is.

Je ziet dat niet zomaar. De site werkt gewoon voor bezoekers, en in je statistieken valt niets op. Controleer daarom de instellingen van je hosting en CDN op iets als "AI-bots blokkeren" of "botbescherming". Je kunt ook je homepage opvragen met de naam van een bot als user-agent en kijken of je hetzelfde antwoord krijgt als een gewone browser. Dat laatste is een aanwijzing, geen bewijs: de echte bot komt van een ander IP-adres, en sommige firewalls behandelen die anders.

Veelgemaakte fouten

Trainingsbots blokkeren en denken dat je daarmee uit AI verdwijnt. Of juist: GPTBot toelaten en denken dat ChatGPT je daarmee vindt. Het is OAI-SearchBot die dat bepaalt.
Google-Extended blokkeren om uit AI Overviews te blijven. Dat werkt niet; AI Overviews volgen Googlebot.
Een te brede Disallow. Eén regel die ooit is toegevoegd om scrapers buiten te houden, kan alle bots buitensluiten.
Alleen robots.txt controleren. De blokkade kan ook in je CDN of firewall zitten.
robots.txt vergeten na een migratie. Een nieuwe site of een testomgeving die live gaat, neemt soms een robots.txt mee die alles blokkeert.

Toegang is de eerste stap. Daarna helpen schema markup en een llms.txt de assistent om te begrijpen wie je bent.

Veelgestelde vragen

Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?

Nee. GPTBot is de trainingsbot van OpenAI. Of ChatGPT je kan vinden, hangt af van OAI-SearchBot.

Kan ik uit AI Overviews blijven zonder uit Google te verdwijnen?

Niet met Google-Extended. AI Overviews volgen Googlebot. Wat Google van een pagina mag tonen, stuur je met snippet-instellingen zoals nosnippet; die gelden dan voor Search als geheel.

Hoe weet ik of mijn site AI-bots blokkeert?

Kijk in je robots.txt welke bots er genoemd worden en met welke regels. Controleer daarna de bot-instellingen van je hosting en CDN. Onze gratis vindbaarheidscheck doet beide.

Hulp nodig?

Met dGEN Vindbaar controleren we bij de start je robots.txt én de instellingen van je hosting en CDN, en houden we dat daarna in de gaten. Wil je weten hoe je site er nu voor staat, plan dan een gratis vindbaarheidscheck.

Meer over GEO & AI-Search

Uit de blog

dGEN Productions, AI-bureau in Veldhoven, regio Eindhoven (Brainport), onderdeel van dGEN Labs. De Run 1141 (1e verdieping, nr. 12), 5503 LB Veldhoven · info@dgenproductions.nl · 06-87413056 · KvK 97916137 (eenmanszaak) · btw NL005295840B15