Zoekindexers versus fetchers: welke AI-crawlers tellen als citatiebezoek?
Je crawlerlogs tonen veel AI-bots, maar niet elk bezoek betekent een citatie; zo splits je zoekindexers van bots die een pagina ophalen tijdens een antwoord.
Je opent je crawlerlogs en ziet duizenden bezoeken van AI-bots. Je baas vraagt: dus we worden veel gebruikt door ChatGPT? Dat klinkt logisch, maar het klopt niet automatisch. Een groot deel van die bezoeken is een bot die je site doorzoekt om een index te vullen. Dat is iets anders dan een bot die jouw pagina ophaalt omdat iemand net een vraag stelde.
Wie die twee op één hoop gooit, rapporteert een getal dat groter lijkt dan het is. En andersom: wie alleen naar het totaal kijkt, mist de bezoeken die er echt toe doen.
Twee soorten bezoek
Een zoekindexer loopt je site af, onafhankelijk van een vraag. Het doel is een eigen index opbouwen, waaruit later antwoorden worden samengesteld. Bekende voorbeelden zijn OAI-SearchBot van OpenAI, Claude-SearchBot van Anthropic en Meta-WebIndexer van Meta. Dat zo'n bot je pagina bezoekt, zegt dat de pagina bereikbaar is voor die index. Het zegt niets over of iemand je pagina in een antwoord heeft gezien.
Een fetcher werkt anders. ChatGPT-User haalt een pagina op terwijl het model een gebruiker antwoordt. Er zit dus een echte vraag achter. Daarom noemen we dat een citatiebezoek: de bot komt langs om iets te gebruiken in een antwoord dat nu wordt gegeven.
Beide zijn nuttig om te kennen. Ze beantwoorden alleen een andere vraag. De indexers vertellen je of je toegankelijk bent. De fetchers vertellen je of je wordt gebruikt.
Waarom dit onderscheid je rapportage verandert
Neem een pagina die elke week honderden bezoeken van indexers krijgt en bijna niets van fetchers. Dat kan betekenen dat de pagina netjes wordt geïndexeerd, maar zelden wordt gekozen als bron. Dan zit het probleem in de inhoud of in de keuze van de prompts, niet in de toegang.
Het omgekeerde bestaat ook. Een pagina met veel fetchbezoeken maar een lage indexeerfrequentie wordt blijkbaar wel gebruikt, maar je kunt je afvragen of hij op termijn nog in de index blijft. Dat is een signaal om de toegankelijkheid te controleren.
Het onderscheid helpt je dus om een toegangsprobleem van een inhoudsprobleem te scheiden. Eén teller voor "AI-bezoeken" kan dat niet.
Wat je zelf kunt doen
Je serverlogs bevatten al de user agents. Je kunt filteren op de namen van de bots en ze in twee groepen verdelen. Dat werkt, maar er zijn twee valkuilen.
De eerste is dat een user agent niets bewijst. Iedereen kan zich voordoen als GPTBot of ChatGPT-User. Je telt dan nep mee. De betrouwbare manier is het IP-adres naast de gepubliceerde IP-reeksen van de operator leggen.
De tweede is dat het werk blijft doorlopen. Bots komen en gaan, er verschijnen nieuwe namen, en je indeling moet mee veranderen. Een spreadsheet van de ene maand is in de volgende maand al verouderd.
Let er ook op dat je de goede namen gebruikt. Een bot als "ChatGPTBot" bestaat niet. Gebruik de echte namen uit de documentatie van de aanbieder.
Hoe Promptwatch dit indeelt
In Promptwatch zit dit in Agent Analytics. Het toont crawlerlogs in realtime en controleert elk bezoek tegen de gepubliceerde IP-reeksen van de operator. Een nagemaakte user agent wordt daardoor eruit gefilterd. Tot de gevolgde bots horen onder meer GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Perplexity-User en Meta-WebIndexer. Crawlerlogs beginnen op het Professional-plan.
Per pagina laat Agent Analytics ook het pad van crawl naar citatie zien, met een citation rate. Daarmee zie je het verschil tussen een toegangsprobleem en een inhoudsprobleem, precies het onderscheid waar dit stuk om draait. Je ziet de populairste pagina's, welke pagina's bots ontdekken, fouten met uitleg waarom een crawl is mislukt, en je kunt filters op paden combineren en de data als CSV exporteren.
Sinds 4 november deelt GEO 360 de bezoeken op deze manier in, volgens het changelog van Promptwatch. Zoekindexers zoals OAI-SearchBot, Claude-SearchBot en Meta-WebIndexer tellen als AI-crawls. Een citatiecrawl is alleen een bot die een pagina ophaalt terwijl hij een gebruiker antwoordt, zoals ChatGPT-User.
Het changelog waarschuwt voor een bijeffect dat je moet kennen. De totalen van de citatiecrawls dalen met evenveel als de totalen van de AI-crawls stijgen, en pagina's kunnen daardoor van categorie wisselen. Zie je na 4 november dus een knik in je grafiek, dan is dat waarschijnlijk geen echte verandering in gedrag maar een andere indeling. Zet een notitie bij je rapport met die datum, anders ga je op zoek naar een oorzaak die er niet is.
Hoe je de cijfers leest
Begin met je belangrijkste pagina's, niet met het totaal. Zet per pagina de indexerbezoeken naast de citatiebezoeken.
- Veel indexerbezoeken en weinig citatiebezoeken: de pagina is bereikbaar, dus kijk naar de inhoud en naar de prompts waarvoor hij zou moeten verschijnen.
- Weinig van beide: controleer eerst of de pagina in de sitemap staat en of er fouten in de crawl zitten.
- Veel citatiebezoeken en weinig indexerbezoeken: kijk of de bot goed bij de pagina kan komen, bijvoorbeeld via je robots.txt of je CDN.
Een enkel bezoek zegt weinig. Kijk naar patronen over meerdere weken, en vergelijk pagina's van hetzelfde type met elkaar.
Wat dit niet bewijst
Een citatiebezoek is geen citatie. De bot heeft de pagina opgehaald, maar of hij in het antwoord is verschenen als bron, zie je in de citatie-analyse. Los daarvan is een citatie nog geen klik of conversie. Daarvoor heb je bezoekersdata nodig, zoals Promptwatch die met visitor analytics aanbiedt: AI-verwezen bezoeken en conversies uit onder meer ChatGPT, Perplexity en Gemini.
Een bot die vaak komt is ook geen bewijs dat je beter zichtbaar wordt. Het is een aanwijzing over toegang en gebruik, meer niet.
Volgende stap
Wil je weten hoe jouw crawlerlogs zich verdelen over indexers en fetchers, bespreek het dan in een demo via promptwatch.com/book-a-demo. Neem een export van je serverlogs mee als je die hebt, dan kun je hem naast de IP-geverifieerde cijfers leggen.