Van crawl naar citatie: het pad dat een pagina aflegt
Een pagina wordt eerst opgehaald, dan meegenomen in een antwoord en pas daarna geciteerd. Zo lees je dat pad, vind je waar het afbreekt en bepaal je wat je als eerste repareert.
Als een pagina nooit wordt geciteerd, zijn er eigenlijk maar drie plekken waar het kan misgaan. De bot komt niet langs. De bot komt langs, maar haalt de pagina niet goed binnen. Of de pagina komt binnen, maar wordt niet gekozen voor een antwoord. Elk van die drie heeft een andere oplossing. Wie ze door elkaar haalt, verbetert de inhoud van een pagina die technisch niet bereikbaar is, of herschrijft een server die in orde was.
Schakel één: komt de bot langs?
Dit is de vraag voor je crawlerlogs. Haalt een AI-bot de pagina de afgelopen weken op? Welke bot, hoe vaak, en met welke responscode? Een pagina die nooit in de logs voorkomt, is voor de bot onzichtbaar. Dat kan komen door een blokkade in robots.txt, een firewallregel, een pagina die nergens naar gelinkt is of een sitemap die haar niet bevat.
Kijk ook naar de verdeling over bots. Een zoekbot die vaak langskomt en een trainingsbot die nooit komt, vertelt een ander verhaal dan andersom. Voor zichtbaarheid in antwoorden zijn de zoek- en live-ophaalbots het belangrijkst.
Schakel twee: wat krijgt de bot terug?
Een bot die langskomt, kan nog steeds met lege handen weggaan. Bij een foutcode (403, 404, 429 of 5xx) is de pagina niet binnengehaald. Een trage respons kan ertoe leiden dat de bot afhaakt. Een pagina die alleen na uitvoering van scripts de inhoud toont, kan voor een bot er leeg uitzien.
Dit is een stille bron van verlies. Voor mensen werkt de pagina prima, de bot krijgt iets anders. Je ontdekt het alleen door te kijken naar wat de bot kreeg, niet naar wat je zelf in de browser ziet.
Schakel drie: wordt de pagina gekozen?
Is de pagina bereikbaar en wordt ze goed opgehaald, maar toch niet geciteerd, dan ligt het aan de inhoud of aan de concurrentie. Een model kiest uit de opgehaalde pagina's de bronnen die het beste passen bij een deelvraag. Je pagina moet voor die deelvraag het scherpste antwoord geven.
Hier helpt een vergelijking met de pagina's die wel worden geciteerd voor dezelfde prompt. Wat bieden ze dat jij niet biedt: een concrete cijfer, een tabel, een duidelijke definitie, een recente datum?
Een citatiepercentage per pagina
Het handige van het pad is dat je het kunt uitdrukken in een getal: van alle keren dat een pagina is opgehaald, in hoeveel gevallen werd ze geciteerd? Dat is geen perfecte maat, maar wel een vergelijkingsmiddel tussen pagina's. Een pagina met veel crawls en een laag percentage heeft een inhoudsprobleem. Een pagina met weinig crawls en een hoog percentage heeft een bereikprobleem: het model vindt haar goed zodra het haar ziet, maar ziet haar te zelden.
Dat tweede geval is het mooiste om te vinden. Je hoeft de pagina niet te herschrijven, je moet haar vindbaarder maken, bijvoorbeeld met betere interne links en een plek in de sitemap.
Een beslisboom om mee te werken
Kijk per pagina in deze volgorde. Eerst: komt er een bot? Nee: los toegang op. Ja: wat is de responscode? Fout: los de fout op. Goed: wordt de pagina geciteerd? Nee: verbeter het antwoord. Ja: bewaak de trend.
Houd je aan de volgorde. Het is verleidelijk om meteen bij inhoud te beginnen, omdat dat het leukste werk is. Maar elke minuut die je in inhoud steekt terwijl de toegang niet klopt, is verloren.
Wat je nodig hebt om het pad te zien
Je hebt drie dingen nodig: logs met herkenbare, geverifieerde AI-bots, citatiedata per pagina en een manier om die twee aan dezelfde URL te koppelen. Een tool die alleen antwoorden meet, laat het eerste deel weg. Een logtool zonder citatiedata laat het laatste deel weg.
Promptwatch heeft het pad als onderdeel van Agent Analytics. Je ziet de route van crawl naar citatie met een citatiepercentage per pagina, foutenregistratie met uitleg waarom het misging, stapelbare padfilters en CSV-export. De logs zijn IP-geverifieerd en vervalste user-agents worden eruit gefilterd, zodat je geen nepverkeer meetelt.
De logs komen binnen via een koppeling met bijvoorbeeld Cloudflare (Logpush of een automatisch geïnstalleerde Worker), AWS CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN, een eigen HTTP-endpoint of de WordPress-plugin. Voor veel sites is dat een koppeling van een kwartier. Let op dat crawlerlogs pas in Professional zitten, en niet in Essential.
Een voorbeeld
Stel dat je twee productpagina's hebt. Pagina A wordt wekelijks opgehaald door OAI-SearchBot en nooit geciteerd. Pagina B wordt zelden opgehaald, maar bijna elke keer geciteerd als de bot langskomt. Voor A is de vraag: wat mist het antwoord? Voor B: hoe krijg ik meer crawls? Je neemt voor B de eenvoudige stap, interne links en sitemap, en voor A de lastigere stap, herschrijven.
Zonder het pad had je beide pagina's op dezelfde manier behandeld, bijvoorbeeld door er allebei meer tekst bij te schrijven.
Wat je niet uit het pad haalt
Het pad vertelt je niet waarom een model een andere bron kiest. Het laat alleen zien waar je pagina uitvalt. Het geeft ook geen garantie: een verbeterde pagina wordt niet per se geciteerd. En het zegt niets over verkeer. Daarvoor heb je bezoekersgegevens nodig.
Een routine
Bekijk het pad voor je tien belangrijkste pagina's elke maand. Noteer waar elk uitvalt. Pak per maand twee pagina's aan. Over een kwartaal heb je zes pagina's verbeterd op basis van een diagnose in plaats van een gok.
Conclusie
Het pad van crawl naar citatie geeft je drie plekken om te zoeken, en een volgorde waarin je dat doet. Heb je er geen zicht op, dan verbeter je op gevoel. Wil je het pad per pagina zien, dan is Promptwatch met Agent Analytics de meest directe route.
Waarom dit beter werkt dan raden
Zonder pad kies je een pagina op gevoel en schrijf je er meer tekst bij. Met pad weet je of het probleem bereik, ophalen of inhoud is. Dat verandert het gesprek met je team: in plaats van "we moeten betere content maken" zeg je "deze pagina wordt wekelijks opgehaald en nooit gekozen, dus de inhoud is het probleem". Concreet, toetsbaar en klein genoeg om in een week aan te pakken.