AI-crawlers in je serverlogs: Cloudflare, AI Overviews en Copilot (2026)
Welke bot voedt welk AI-antwoord? Wat Cloudflare AI Crawl Control laat zien, waarom AI Overviews op Googlebot draait en Copilot op Bingbot, en waar je logs ophouden.
Je opent het AI-overzicht in Cloudflare en ziet balken voor OpenAI, Anthropic en Meta. Je zoekt een regel voor Google AI Overviews en vindt niets. Copilot staat er ook niet bij. De conclusie ligt voor de hand: die twee komen niet langs. Die conclusie klopt bijna nooit. Ze komen wel, alleen onder een naam die je niet als AI herkent.
Dit stuk loopt per AI-oppervlak na welke crawler je logs vult, wat Cloudflare daar zelf van laat zien en waar je een andere bron nodig hebt. De feiten komen uit de documentatie van Google, Bing, OpenAI en Cloudflare, opgehaald op 3 oktober 2026, en uit de factsheet van Promptwatch.
Google AI Overviews en AI Mode: gewoon Googlebot
Er bestaat geen aparte crawler voor AI Overviews. Google schrijft in zijn crawlerdocumentatie (bijgewerkt op 14 juli 2026) dat de crawlvoorkeuren voor Googlebot gelden voor "Google Search (including Discover and all Google Search features)". AI Overviews en AI Mode zijn zulke features. De pagina die als bron onder een AI Overview hangt, is dus opgehaald door dezelfde Googlebot die al jaren in je logs staat.
Twee andere namen zorgen voor verwarring. Google-Extended is geen crawler. Volgens Google heeft het geen eigen user-agentstring in HTTP-verzoeken. Het is een token in robots.txt waarmee je aangeeft of je content gebruikt mag worden voor training van Gemini en voor grounding in Gemini Apps en Vertex AI. Google voegt eraan toe dat het geen invloed heeft op opname in Google Search en geen rankingsignaal is. Je zult "Google-Extended" dus nooit in een log vinden, hoe lang je ook filtert.
GoogleOther is de tweede. Dat is een generieke crawler die volgens Google geen specifiek product beïnvloedt. Veel GoogleOther-verkeer zegt iets over Google, niet over je kans in een AI Overview.
Praktisch betekent dit: wil je buiten AI Overviews blijven, dan lukt dat niet met een regel tegen een "AI-bot" zonder je gewone vindbaarheid te raken. Wil je er juist in, dan is de crawlkant gewoon klassiek technisch SEO-werk. Googlebot moet de pagina foutloos kunnen ophalen.
Copilot: Bingbot doet het werk
Bij Microsoft is het verhaal vergelijkbaar. In de webmasterrichtlijnen van Bing staat dat de zoekervaringen van Bing en Copilot draaien op "the same core crawling, indexing, and ranking foundation" als traditioneel zoeken. Bing noemt het blokkeren van Bingbot in robots.txt expliciet een fout. Wat jij als Copilot-crawler zoekt, is in je logs dus Bingbot.
Bing geeft je wel sturing op indexniveau. robots.txt regelt crawlen, niet indexeren. NOINDEX houdt een URL buiten Bing, Copilot en grounding-resultaten. NOARCHIVE voorkomt volgens Bing dat content gebruikt wordt in Copilot-antwoorden en grounding. NOCACHE beperkt Copilot tot URL, titel en snippet. Geen van die keuzes zie je in een crawler log, want Bingbot komt gewoon langs. Het effect zie je pas in het antwoord.
OpenAI, Anthropic en Perplexity: hier is de naam wel het signaal
Bij de AI-labs zelf heeft elke taak een eigen bot. OpenAI documenteert GPTBot (training) en OAI-SearchBot (zoeken) als verschillende robots, en ChatGPT-User als de fetch die een gebruiker midden in een gesprek start. Voor deze bots is filteren op user agent zinvol.
Verifieer wel. Een user-agentstring is tekst die iedereen kan invullen. Controleer Googlebot via reverse DNS (googlebot.com) of de IP-ranges die Google publiceert, en Bingbot via de Verify Bingbot-tool van Microsoft of reverse DNS. Een "Googlebot" die niet terugkoppelt naar Google, hoort niet in je rapport.
Wat Cloudflare zelf laat zien
Cloudflare heeft hiervoor AI Crawl Control, voorheen AI Audit. Het zit op elk plan. In de tabbladen Overview, Crawlers en Metrics zie je verzoeken per crawler en per operator (OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta), toegestane tegenover mislukte verzoeken, schendingen van robots.txt, statuscodes, paden en hosts. Je kunt per crawler toestaan of blokkeren. Pay per crawl zit in een private beta.
Kijk wel welk plan je hebt. Op Free gebeurt de detectie alleen op de user-agentstring en kijkt Metrics maar 24 uur terug. Referral-aantallen zie je alleen op betaalde plannen. Enterprise met Bot Management voegt detection IDs en zelf in te stellen periodes toe. De ruwe data haal je op via de GraphQL Analytics API.
Voor een eerste controle is dat genoeg. Je ziet of GPTBot een 403 krijgt, of een bot je robots.txt negeert en welke paden het vaakst worden opgevraagd. Wat AI Crawl Control niet doet: een crawl koppelen aan een prompt, aan een citatie in een antwoord of aan een bezoek dat converteerde. Het overzicht stopt aan de rand van je netwerk.
Drie vragen die je logs openlaten
Een crawl is input. Of die input iets opleverde, staat ergens anders.
"Googlebot haalt onze prijzenpagina dagelijks op. Waarom staan we niet in de AI Overview?" Dat weet je pas als je die AI Overview vastlegt en ziet welke bronnen er wel geciteerd worden.
"ChatGPT-User kwam gisteren tientallen keren langs op onze handleiding. Goed nieuws?" Misschien. Gebruikers stelden vragen waarvoor ChatGPT je pagina wilde lezen. Of je in de bronnenlijst belandde en of iemand doorklikte, staat niet in de log.
"Cloudflare toont geen referrals." Op Free kun je ze niet zien. En ook op een betaald plan weet je daarmee niet welke bezoeker iets afnam.
Waar Promptwatch verder gaat
Hier zit het verschil met een CDN-dashboard. Agent Analytics in Promptwatch leest realtime crawler logs van ChatGPTBot, ClaudeBot, PerplexityBot, GoogleOther en de Meta AI crawler, met foutdetectie en het pad van crawl naar citatie. Dat pad is de koppeling die Cloudflare mist: de crawl van dinsdag naast de citatie in het antwoord van vrijdag, voor dezelfde URL.
Voor Cloudflare-sites is de aansluiting eenvoudig. Op Enterprise loopt het via Logpush. Op andere plannen rolt Promptwatch automatisch een Worker uit, mits de DNS-record via Cloudflare geproxied is (de oranje wolk). Zit je niet op Cloudflare, dan zijn er koppelingen met AWS CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN en custom HTTP.
Voor AI Overviews en Copilot werk je vanaf de antwoordkant. Promptwatch monitort de echte interface van Google AI Overviews, AI Mode en Copilot, naast onder meer ChatGPT, Gemini, Claude en Perplexity. Citatie-analyse laat per pagina en per domein zien welke URL's geciteerd worden. Zo leg je de Googlebot- of Bingbot-crawl die je toch al zag naast het antwoord waar het om draaide. Bezoekersanalyse via een licht script of een GTM-template maakt het rond met AI-verwezen sessies en conversies.
Over de plannen: Essential (95 $/maand) heeft geen crawler logs. Professional (245 $/maand) bevat 25 mln crawler logs, Business (579 $/maand) 100 mln. Bureaus krijgen op Kick-off (199 $/maand) 10 mln.
Zo begin je deze week
Open AI Crawl Control en noteer welke AI-crawlers mislukte verzoeken krijgen. Controleer of je robots.txt of WAF per ongeluk Googlebot of Bingbot raakt, want dan verlies je AI Overviews en Copilot in één klap. Kies daarna tien vragen waarvoor je in AI Overviews of Copilot zou willen verschijnen en kijk welke bronnen er nu staan.
Wil je die lagen in één beeld, met crawl, antwoord en bezoek per URL, dan raden we Promptwatch aan. De doorslag geeft het crawl-naar-citatiepad. Daarmee zie je of een probleem bij de toegang zit of bij de inhoud, en dat bepaalt wie het ticket krijgt: je developer of je redacteur.