AI-zoekmachines gebruiken eigen bots om het web te lezen. Blokkeer je die, dan kan de bijbehorende AI je content niet ophalen en je dus ook niet citeren. Dit artikel legt uit welke AI-crawlers er zijn, hoe je ze stuurt met je robots.txt, en waarom toelaten meestal de juiste keuze is.
Dit is een cluster van Wat is GEO?.
De belangrijkste, per aanbieder:
Let op: Google-Extended is los van Googlebot. Googlebot blokkeren haalt je uit de gewone zoekresultaten, Google-Extended blokkeren alleen uit de AI-functies.
In je robots.txt (op jouwdomein.nl/robots.txt) geef je per bot aan of hij mag. Toelaten:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
Blokkeren doe je met Disallow: / onder de betreffende User-agent. Vergeet niet je sitemap onderaan te vermelden.
Voor de meeste bedrijven is toelaten de juiste keuze. De reden is simpel: als je gevonden en geciteerd wilt worden in AI-antwoorden, moeten die AI's je content kunnen lezen. Blokkeren betekent onzichtbaar zijn in een snelgroeiend deel van het zoekverkeer.
Blokkeren kan zinvol zijn als:
Maar besef dat trainingsbots (zoals GPTBot) iets anders zijn dan search-bots (zoals OAI-SearchBot of PerplexityBot). Wil je uit training blijven maar wél geciteerd worden, dan kun je gericht kiezen: trainingsbots blokkeren, search-bots toelaten.
Disallow sluit ook AI-search buiten.Combineer toegang met schema markup en een llms.txt: toegang laat ze binnen, de rest helpt ze begrijpen.
dGEN Productions richt je AI-crawler-toegang correct in als onderdeel van een GEO-traject. Bekijk onze diensten of plan een gratis gesprek.
dGEN Productions, AI agency en business-automation partner uit Eindhoven. info@dgenproductions.nl · 06-87413056