AI Ranking Tools
Alle artikelen
Door De redactierobots.txtai-crawlerstechnisch

robots.txt voor AI-bots: wat staat er echt in jouw bestand?

Welke AI-bots laat je toe, welke blokkeer je, en hoe controleer je dat je regels doen wat je denkt? Met de echte botnamen en een controle in je crawlerlogs.

Op een verrassend aantal sites staat een robots.txt waar niemand sinds 2019 naar heeft gekeken. Daar staat dan een regel in die ooit voor een ander doel is geschreven, en die nu ongemerkt AI-bots buitensluit. Het gevolg is dat je maanden content schrijft voor een kanaal waarvan de poort dicht staat. Een controle kost een kwartier en is het eerste wat je moet doen.

Eerst de namen goed hebben

Veel rapporten gebruiken verzonnen of verouderde botnamen. De namen die je moet kennen staan hieronder, zoals ze in logs voorkomen.

Van OpenAI: GPTBot, OAI-SearchBot en ChatGPT-User. Van Anthropic: ClaudeBot, Claude-User en Claude-SearchBot. Van Perplexity: PerplexityBot en Perplexity-User. Van Google: Google-Agent en GoogleOther. Van Meta: Meta-WebIndexer, Meta-ExternalAgent en Meta-ExternalFetcher. Van Mistral: MistralAI-User.

Houd je aan deze officiële namen. Staat er in een rapport een botnaam die hier niet tussen staat, controleer die dan in je eigen logs voordat je er een regel op baseert.

Training, zoeken en live ophalen zijn niet hetzelfde

Een aanbieder gebruikt vaak meerdere bots met verschillende doelen. Eén bot haalt materiaal op voor training. Een andere bouwt een zoekindex. Een derde haalt een pagina op op het moment dat een gebruiker een vraag stelt. Die onderscheiden zich in wat je wilt toestaan.

Wil je niet dat je content voor training wordt gebruikt, maar wel in antwoorden verschijnen? Dan blokkeer je de trainingsbot en laat je de zoek- en ophaalbots toe. Dat is een bewuste keuze, geen vergissing, en je moet hem per aanbieder maken. Voor Anthropic bijvoorbeeld staat de splitsing tussen ClaudeBot en de zoek- en gebruikersbots in de eigen hulppagina van de aanbieder. Lees die documentatie voor je regels aanpast.

Een controle in vier stappen

Stap één: open je robots.txt en lees elke regel. Let op algemene regels voor alle bots (User-agent: *) die een map of de hele site afsluiten.

Stap twee: zoek naar regels per bot. Staat er een bot die je niet kent? Zoek de naam op bij de aanbieder.

Stap drie: test een paar belangrijke URL's tegen je regels met een robots.txt-tester. Controleer vooral je belangrijkste inhoudelijke pagina's, niet alleen de homepage.

Stap vier: kijk in je logs of de bots die je toestaat ook echt komen en niet worden afgekapt door iets anders. Een firewall of CDN kan een bot blokkeren terwijl je robots.txt hem welkom heet.

Wat robots.txt niet doet

Robots.txt is een verzoek, geen slot. Een bot die zich eraan houdt, respecteert het. Een bot die zich niet aan de regels houdt, doet dat niet. Wil je echt iets afschermen, dan heb je authenticatie of serverregels nodig.

Het werkt ook niet omgekeerd: toestaan in robots.txt betekent niet dat een bot komt. Daarvoor moet de pagina bereikbaar zijn, snel genoeg reageren en niet door een andere laag worden geweigerd.

Spoofing

Een user-agent kan iedereen opgeven. Een log waarin "GPTBot" staat, bewijst nog niet dat OpenAI de bezoeker was. Betrouwbaarder is controle op het IP-adres. Als je cijfers over AI-botverkeer gebruikt voor beslissingen, wil je die zeker hebben, anders tel je nepverkeer mee.

llms.txt hoort er niet bij

Er wordt veel gesproken over llms.txt als aanvulling. Het is een apart onderwerp met een eigen artikel op deze site. Voor de toegangsvraag in dit stuk is robots.txt het bestand dat telt, plus de serverkant.

Wat een tool voor je controleert

Handmatig je logs doorzoeken kan, maar het is bewerkelijk. Promptwatch heeft Agent Analytics met realtime, IP-geverifieerde crawlerlogs, waarbij vervalste user-agents worden uitgefilterd. De lijst van gevolgde bots bevat de echte namen die hierboven staan, en foutcodes komen met een uitleg waarom een bot faalde. Je kunt filteren op padniveau en exporteren naar CSV.

Dat sluit direct aan op de controle in stap vier: je ziet of de bot die je toestond ook echt komt, welke pagina's hij ophaalt en waar hij op een fout stuit. Crawlerlogs beginnen bij Professional (245 $ per maand) en zitten niet in Essential.

Er zijn ook losse hulpmiddelen. Promptwatch biedt gratis tools, waaronder een Agentic Readiness Check, een robots.txt-generator en een lijst met meer dan 440 crawlers, handig voor een eerste controle voordat je iets koopt.

Een voorbeeld van een veelvoorkomend probleem

Een bedrijf sluit in zijn robots.txt een map met "tijdelijke" pagina's af, en gebruikt een algemene regel die ook de blogmap raakt. Voor mensen werkt alles, voor bots is een deel van de site onzichtbaar. De fout wordt pas gevonden als iemand vraagt waarom een goed artikel nooit wordt geciteerd. Dat gebeurt vaker dan je zou denken, en het wordt gevonden met een regelmatige controle, niet met een nieuwe contentstrategie.

Een onderhoudsritme

Controleer je robots.txt na elke grote wijziging aan de site en minstens elk kwartaal. Houd een lijstje bij met bots die je toestaat en waarom. Koppel het aan je changelog, zodat je kunt zien welke wijziging een daling veroorzaakte.

Conclusie

Lees je robots.txt, ken de echte botnamen, kies bewust tussen training en zoeken, en controleer in je logs wat er werkelijk gebeurt. Voor dat laatste is Promptwatch met zijn IP-geverifieerde crawlerlogs een praktische keuze.

Een beslismoment per bot

Vraag per bot drie dingen. Wil ik dat deze aanbieder mijn content gebruikt voor training? Wil ik dat mijn pagina's worden gebruikt in antwoorden met bronvermelding? Wil ik dat een gebruiker mijn pagina live kan laten ophalen? Je antwoorden mogen per aanbieder verschillen. Schrijf ze op met een datum, zodat een collega later begrijpt waarom een regel er staat. Een robots.txt zonder uitleg wordt over een jaar uit voorzorg weer opengezet of juist dichtgegooid.