AI crawler logs instellen: een stappenplan voor je eerste maand
Zo zet je AI crawler logs op: je stack in kaart brengen, de juiste logbron kiezen, privacy regelen, een testbezoek uitlokken en in de eerste maand een bruikbare nulmeting opbouwen.
Iedereen in GEO zegt dat je naar je crawler logs moet kijken. Weinig mensen vertellen hoe je ze aan de praat krijgt. In ons stuk over GPTBot, ClaudeBot en PerplexityBot lees je welke bots je tegenkomt en hoe je ze verifieert. Deze handleiding gaat over de stap daarvoor: de logs binnenhalen, en in de eerste maand iets opbouwen waar je op kunt sturen.
Stap 1: breng je stack in kaart
Voordat je iets koppelt, moet je weten waar je verkeer langskomt. Schrijf voor elk domein en subdomein op:
- welke hostnaam het is (www, blog, docs, shop);
- waar het gehost wordt;
- of er een CDN voor zit, en welke;
- wie in je organisatie of bij je hostingpartij toegang heeft tot die instellingen.
Dit klinkt als papierwerk. Het voorkomt het meest voorkomende probleem: je koppelt de hoofdsite en vergeet dat je documentatie of je helpcenter op een ander platform draait. Juist die pagina's worden vaak door AI-assistenten opgehaald.
Stap 2: kies de logbron
Er zijn grofweg twee plekken om AI-bots te zien: je origin-server en je CDN. Gebruik je een CDN, dan wil je de logs van het CDN. Alles wat uit cache wordt geserveerd, bereikt je origin namelijk nooit, dus de origin-log laat alleen een deel van de bezoeken zien.
Heb je geen CDN, dan zijn de access logs van je webserver de bron. Controleer dan wel hoe lang die bewaard worden. Veel hostingpakketten bewaren ze maar kort, en dan kun je nooit een kwartaal terugkijken.
Gebruik je meerdere CDN's of platforms, bijvoorbeeld Cloudflare voor de hoofdsite en Vercel voor een app, koppel ze dan allemaal. Een half beeld leidt tot verkeerde conclusies over welke content bots lezen.
Stap 3: regel de privacy vooraf
Logs bevatten niet alleen bots. Ze bevatten ook de IP-adressen en user agents van je menselijke bezoekers, en IP-adressen kunnen onder de AVG persoonsgegevens zijn. Bespreek met je privacyverantwoordelijke welke velden je doorstuurt naar een externe tool, hoe lang ze bewaard worden en of dat in je verwerkingsregister moet. Doe dit voor je de koppeling aanzet, niet erna. Een koppeling die je na drie weken weer uit moet zetten, kost je de nulmeting.
Stap 4: maak de koppeling
Hoe je koppelt, hangt af van je CDN en je tool. Bij de meeste CDN's stuur je logs door naar een extern endpoint, of installeer je een integratie die dat voor je doet. Het is werk voor een developer of voor wie je CDN beheert. Plan het in als taak met een eigenaar, niet als iets wat "even tussendoor" gebeurt.
Twee controles na het aanzetten:
- komen er regels binnen van alle hostnamen uit stap 1;
- zijn de logs volledig, of wordt er gesampled. Gesamplede logs laten lage crawlvolumes op losse pagina's verdwijnen.
Stap 5: lok een testbezoek uit
Wacht niet af tot er vanzelf een AI-bot langskomt. Vraag ChatGPT om een specifieke, weinig bezochte URL van je site te openen en samen te vatten. Dat hoort een bezoek van ChatGPT-User op te leveren. Doe hetzelfde in Perplexity en Claude. Zie je die bezoeken kort daarna in je logs terug, dan werkt de keten. Zie je niets, dan zit er iets tussen: een filter, een firewallregel of een hostnaam die je niet hebt gekoppeld.
Zie je in plaats daarvan een 403 of een andere foutcode bij die test, dan heb je meteen je eerste bevinding. Bot-bescherming en firewallregels blokkeren AI-crawlers vaak zonder dat iemand het weet.
Stap 6: bouw in vier weken een nulmeting
De eerste maand is voor kijken, niet voor ingrijpen. Noteer per week:
- welke AI-bots langskwamen en hoe vaak;
- welke paginatypes ze ophaalden: productpagina's, vergelijkingen, blog, documentatie;
- welke statuscodes ze kregen, en vooral hoeveel 4xx en 5xx;
- hoe lang het na het publiceren van een nieuwe pagina duurde tot de eerste fetch.
Na vier weken heb je een beeld dat je kunt vergelijken. Pas dan ga je dingen veranderen, zoals robots.txt-regels, interne links of de structuur van pagina's die nooit worden opgehaald.
Stap 7: leg de crawl naast de citaties
Een crawl op zich is geen succes. Het interessante is of een opgehaalde pagina ook in antwoorden terechtkomt. Pagina's die vaak worden opgehaald maar nooit geciteerd worden, hebben een inhoudsprobleem. Pagina's die je in antwoorden verwacht maar die nooit worden opgehaald, hebben een toegangs- of vindbaarheidsprobleem. Dat zijn twee verschillende oplossingen, en je kunt ze alleen uit elkaar houden als je beide datasets hebt.
Waar je dit praktisch inricht
Je kunt dit zelf bouwen met een logpijplijn en een spreadsheet, maar dan moet je bots verifiëren, dashboards maken en de koppeling met citaties handmatig leggen. In Promptwatch doet Agent Analytics dat werk. Het toont realtime AI crawler logs van onder meer GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, GoogleOther en de crawlers van Meta, met foutdetectie en het pad van crawl naar citatie. Logs komen binnen via integraties met Cloudflare, AWS CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN of een eigen HTTP-endpoint.
Daarmee zijn stap 6 en 7 geen handwerk meer: de citatie-analyse in hetzelfde platform laat zien welke pagina's en domeinen in de antwoorden op je gevolgde prompts staan, dus de vergelijking tussen crawl en citatie staat naast elkaar.
Let op het plan. Essential heeft geen crawler logs. Voor merken beginnen ze bij Professional (245 $/maand, 25 mln crawler logs), Business heeft er 100 mln. Bureaus krijgen ze op elk self-service plan, vanaf Kick-off (199 $/maand, 10 mln crawler logs).
Plan je de koppeling deze maand, start dan de proefperiode van Professional via promptwatch.com op dezelfde dag dat je developer het CDN aansluit. Dan begint je nulmeting meteen.