De groei van de citatiecrawler van Claude
Promptwatch zag de citatiecrawler van Claude groeien van ongeveer 0,04% naar een piek van 1,73% op 13 april 2026. Wat dat betekent en hoe je het in je eigen logs controleert.
Half december 2025 kwam de citatiecrawler van Claude in de data van Promptwatch zo'n dertig keer per dag langs. Half april 2026 waren het er enkele duizenden per dag. Dat is meer dan honderd keer zoveel in vier maanden, en het grootste deel van die groei viel in een paar weken eind maart.
Klinkt als een reden om alles om te gooien. Dat is het niet. Het aandeel van Claude in het totale citatiecrawlerverkeer bleef klein. Maar het is wel een reden om te controleren of je site Claude niet per ongeluk buitensluit, en om te weten hoe je dat in je eigen logs ziet.
Wat het rapport meet
Het rapport over de citatiecrawler van Claude is gepubliceerd op 8 juni 2026 en beslaat 11 december 2025 tot en met 19 april 2026, 130 dagen in totaal. Het meet het dagelijkse aandeel van Claude in al het gevolgde citatiecrawlerverkeer van AI-systemen, weergegeven als voortschrijdend gemiddelde over zeven dagen. Volgens de pagina bezoekt de crawler geciteerde pagina's wanneer iemand Claude een vraag stelt of Claude Code gebruikt.
Twee dingen staan er niet in. Het rapport noemt niet welke user agent als "Claude Citation" telt, en het zegt niets over IP-verificatie. En de data stopt op 19 april 2026. Alles hieronder is dus een beeld van het voorjaar, niet van nu.
De cijfers
Het hoogste dagelijkse aandeel was 1,73%, op 13 april 2026. Het laatste dagelijkse aandeel in de reeks was 1,09%, op 19 april. Over de hele periode van 130 dagen kwam Claude op 0,45% van het citatiecrawlerverkeer. Half december ging het om ongeveer dertig bezoeken per dag, ongeveer 0,04%. Eind maart sprongen de dagelijkse bezoeken binnen twee weken van honderden naar duizenden. Dat alles staat in het rapport over de Claude-crawler over 11 december 2025 tot en met 19 april 2026.
Promptwatch-grafiek "Claude Citation Crawler Share of AI Crawler Traffic, April 2026" (11 december 2025 tot en met 19 april 2026), vastgelegd op 14 november 2026.
Let bij het lezen van de grafiek op het verschil tussen de kaarten en de lijn. De drie kaarten bovenaan geven dagwaarden en het periodegemiddelde. De lijn is een voortschrijdend gemiddelde over zeven dagen, dus het eindpunt van de lijn valt niet samen met de dagwaarde van 19 april. Wat de lijn wel laat zien, is de vorm: bijna vlak tot in februari, een kleine bult half maart, een korte dip en dan een steile klim vanaf de laatste week van maart.
Hoe groot is het echt?
Hier is nuchterheid op zijn plaats. Volgens het rapport over 11 december 2025 tot en met 19 april 2026 zat Claude aan het eind van de reeks rond 1% van het gevolgde citatiecrawlerverkeer, met ChatGPT als het overgrote deel van de rest. Het rapport noemt Claude zelf een snelgroeiend secundair kanaal en nog niet de plek om je optimalisatiebudget op te richten.
Er speelt nog iets. Promptwatch deelde op 4 november 2026 de crawlers opnieuw in. Zoekindexers zoals Claude-SearchBot tellen sindsdien als AI-crawls; als citatiecrawls tellen alleen bots die een pagina ophalen terwijl ze een gebruiker antwoorden. Het rapport dateert van vóór die herindeling. Wat het rapport een citatiecrawl noemde, hoeft dus niet precies samen te vallen met wat het product vandaag zo noemt. Het verschil tussen die twee soorten bezoek leggen we uit in zoekindexers versus fetchers.
Waarom het toch de moeite waard is om te controleren
Een kanaal van 1% negeren is redelijk. Een kanaal per ongeluk blokkeren is iets anders. Een brede regel tegen AI-bots, in robots.txt of in de botinstellingen van je CDN of firewall, kan Claude meeraken zonder dat iemand dat zo bedoeld heeft. Of zo'n regel op jouw site staat, zie je alleen in je eigen configuratie.
Het rapport adviseert twee dingen. Zorg dat Claude-User en ClaudeBot niet geblokkeerd worden in robots.txt of door bot-regels in je CDN of firewall. En leg een nulmeting vast van het aantal bezoeken van Anthropic-user agents in je logs, die je elke maand opnieuw bekijkt.
Promptwatch volgt drie Claude-bots: ClaudeBot, Claude-User en Claude-SearchBot. Welke rol elk van die drie heeft en wat je wel of niet wilt toestaan, bespreken we in hoe verschijn je in Claude Search. Controleer configuratiewijzigingen altijd ook in de documentatie van Anthropic zelf, want namen en beleid kunnen veranderen.
Voor een snelle controle zonder account zijn er gratis tools van Promptwatch. De Agentic Readiness Check toetst je robots.txt aan negen AI-crawlers. De robots.txt-generator voor AI schrijft regels per bot. En de AI Crawler URL Inspector laat zien wat een crawler op een specifieke URL aantreft.
Zo zie je Claude in je eigen logs
robots.txt vertelt wat je toestaat. Of een bot ook echt langskomt, en wat hij ophaalt, zie je alleen in je logs. Agent Analytics in Promptwatch toont live AI-crawler logs die op IP worden geverifieerd tegen de gepubliceerde IP-reeksen van elke aanbieder. Een bot die zich als ClaudeBot voordoet maar van een ander adres komt, wordt zo uitgefilterd.
Per pagina zie je welke bots langskwamen, met foutmeldingen als een verzoek faalde en een uitleg waarom. Het pad van crawl naar citatie geeft per pagina een citatieratio, zodat je ziet of een pagina wel bezocht maar niet geciteerd wordt. Filters op paden kun je stapelen en vasthouden, en alles is als CSV te exporteren. Zo maak je de maandelijkse nulmeting die het rapport aanraadt zonder zelf logbestanden door te spitten.
De pagina over Agent Analytics van Promptwatch, vastgelegd op 8 november 2026. De aantallen in het dashboard zijn een illustratie met voorbeeldgegevens.
De logs komen binnen via een koppeling met je hosting of CDN: onder meer Cloudflare, AWS CloudFront, Fastly, Vercel, Netlify, Akamai of de WordPress-plugin. Crawler logs zitten in de abonnementen voor merken vanaf Professional (245 $/maand); Essential (95 $/maand) heeft ze niet. Op de bureauabonnementen zitten ze in elk abonnement.
Wat je met een stijging in je eigen logs doet
Stel dat je in je logs ziet dat Claude-verkeer in een maand verdubbelt. Wat dan? Kijk eerst welke pagina's worden opgehaald. Gaat het om je documentatie, dan past dat bij het gebruik van Claude Code dat het rapport noemt: iemand bouwt iets met je product en de agent leest mee. Gaat het om productpagina's of blogartikelen, dan zit er eerder een vraag van een gewone gebruiker achter.
Kijk daarna naar fouten. Een bot die vaker langskomt, stuit ook vaker op een pagina die niet laadt, een redirect die nergens heen gaat of een 403 van een firewall. Die fouten zijn het eerste wat je kunt oplossen, en het enige waarvan je zeker weet dat het bezoek anders niets oplevert.
Het rapport zegt niets over het soort sites waar de groei plaatsvond. Een site voor ontwikkelaars kan een heel andere lijn zien dan een webshop. Gebruik de groeicurve uit het rapport daarom als aanleiding om te kijken, niet als verwachting voor je eigen cijfers.
En de antwoorden van Claude zelf?
Een punt dat vaak door elkaar loopt: crawlerverkeer en antwoorden meten zijn twee verschillende dingen. Promptwatch volgt Claude als model via de API (Claude Haiku 5.5). Dat laat zien wat Claude vanuit zijn trainingsdata antwoordt, niet wat Claude in zijn eigen interface met webzoeken zou citeren. Claude Code volgt Promptwatch apart, bij de coding agents.
Wil je weten of Claude jouw pagina's live ophaalt wanneer iemand een vraag stelt, dan zijn je crawler logs op dit moment de meest directe bron. Dat maakt Agent Analytics voor Claude belangrijker dan voor een model waarvan je de antwoorden in de echte interface kunt volgen.
Begin met je robots.txt
Draai de gratis Agentic Readiness Check op je domein en kijk of ClaudeBot en Claude-User worden toegelaten. Wil je daarna zien hoeveel Claude-verkeer je werkelijk krijgt, dan kun je Agent Analytics proberen in de proefperiode van 7 dagen op een maandabonnement voor Professional. Leg die eerste week vast als nulmeting, en kijk een maand later of de lijn bij jou dezelfde kant op gaat als in het rapport.