AI-bots zien in Cloudflare, Ahrefs of Semrush: welke crawlertool past bij je site? (2026)
Cloudflare AI Crawl Control, Ahrefs Bot Analytics en de AI-crawlerfuncties van Semrush naast elkaar. Wat elke tool laat zien, wat het kost en welk gat ze delen.
Bijna elk team dat over AI-crawlers begint, heeft al een tool die er iets over zegt. Cloudflare staat voor de site. Ahrefs of Semrush staat in de bladwijzers. De vraag is dus zelden welke nieuwe tool je moet kopen. De vraag is wat die drie al laten zien en waar het gat zit. Dat gat is bij alle drie hetzelfde, en daar komen we aan het eind op terug.
We vergelijken op vier punten: waar de data vandaan komt, welke bots je ziet, wat je ermee kunt sturen en of de tool een crawl aan een AI-antwoord koppelt. Alle productfeiten komen van de pagina's en helpcentra van de leveranciers, opgehaald op 3 oktober 2026.
Cloudflare AI Crawl Control: de bron zit al in je netwerk
AI Crawl Control, voorheen AI Audit, draait op de edge. Er gaat geen verzoek langs zonder dat Cloudflare het ziet, en dat is het sterkste punt. Je krijgt verzoeken per crawler en per operator, toegestane tegenover mislukte verzoeken, schendingen van robots.txt, statuscodes, paden en hosts. Je kunt per crawler toestaan of blokkeren. Van de drie is dit de enige die direct ingrijpt in wie binnenkomt.
De grenzen zitten in je plan. Free herkent bots alleen aan de user-agentstring en toont metrics over de laatste 24 uur. Referrals zie je alleen op betaalde plannen. Pas Enterprise met Bot Management geeft detection IDs en een periode die je zelf kiest. Pay per crawl zit nog in een private beta.
Geschikt voor de beheerder die wil weten welke bots er zijn en ze wil toelaten of tegenhouden.
Ahrefs Bot Analytics: logs lezen met een SEO-bril
Ahrefs Bot Analytics is server-side bot-analyse en is gratis zolang het in bèta is. Het deelt bots in twaalf categorieën in, waaronder AI-assistenten, zoekmachines en SEO-tools. Per bot (Googlebot, GPTBot, ClaudeBot) zie je pagina's, statuscodes en sitestructuur. Een schakelaar "AI bots" haalt de rest weg.
De logs moeten wel ergens vandaan komen. Ahrefs ondersteunt Cloudflare Logpush op Enterprise, een Cloudflare Worker op elk plan inclusief gratis, een log drain van Vercel, Fastly en een optie via een Amazon-datastream. Draai je op een eigen server zonder een van die lagen, dan is de aansluiting minder vanzelfsprekend.
Let op de productnamen. Bot Analytics staat los van Ahrefs Web Analytics en ook van Ahrefs Brand Radar, het product dat merkvermeldingen in AI-antwoorden volgt. Het een kijkt naar je server, het ander naar de antwoorden. Ze zijn niet aan elkaar gekoppeld.
Geschikt voor SEO'ers die crawlgedrag van AI-bots naast dat van Googlebot willen zien, in een omgeving die ze al kennen.
Semrush: drie plekken, de diepste op Enterprise
Bij Semrush is de informatie over AI-crawlers over modules verspreid.
In Site Audit staat een AI Search Health-score en een widget "Blocked from AI Search". Die laat zien welke van acht grote AI-crawlers je robots.txt blokkeert. Er is een filter op "AI Search"-issues, en je kunt de audit laten draaien met de user agent OpenAI-Search. Dat is een simulatie: Semrush crawlt zelf alsof het die bot is. Je ziet wat er mis zou kunnen gaan, niet wat er werkelijk gebeurde.
De Log File Analyzer werkt wel met je echte logs. Je uploadt of koppelt ze en filtert op GPTBot, ChatGPT-User, OAI-SearchBot en ClaudeBot.
De uitgebreidste laag zit in Semrush Enterprise. Daar vind je Bot Analytics in Site Intelligence (30 bots), een view "Agent Analytics" in AI Optimization en Crawler Profiles die crawls van ChatGPT (ChatGPT-User, OAI-SearchBot, GPTBot) en Googlebot nabootsen. Enterprise heeft geen publieke prijs.
Over die naam: Promptwatch heeft een crawlerproduct dat ook Agent Analytics heet en dat volgens de oprichters als eerste in de categorie uitkwam. Het zijn twee verschillende producten. Kom je de term tegen in een offerte, vraag dan van welke leverancier hij is.
En de Semrush AI Toolkit, de add-on van 99 $/maand per domein voor vermeldingen in AI-antwoorden, is weer iets anders. Dat is geen crawlertool.
Geschikt voor teams die al op Semrush draaien en een auditchecklist voor AI-crawlers willen, of die Enterprise al hebben.
Naast elkaar
| Databron | Prijs | Crawl gekoppeld aan prompt, citatie en conversie | |
|---|---|---|---|
| Cloudflare AI Crawl Control | Eigen edge | Op elk plan, meer op betaald en Enterprise | Nee |
| Ahrefs Bot Analytics | Logs via Cloudflare, Vercel, Fastly of Amazon | Gratis in bèta | Niet gepubliceerd |
| Semrush | Simulatiecrawl, eigen logs, Enterprise-modules | Uitgebreide laag alleen Enterprise, geen publieke prijs | Niet gepubliceerd |
| Promptwatch Agent Analytics | Logs via Cloudflare, CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN, custom HTTP | Vanaf Professional 245 $/maand (25 mln logs) | Ja |
Het gat dat alle drie delen
Elke tool hierboven beantwoordt de vraag welke bot welke pagina ophaalde, met welk resultaat. Dat is nuttig. Een stille 403 op OAI-SearchBot kost je zichtbaarheid in de zoekantwoorden van ChatGPT zonder dat iemand het merkt. Maar geen van de drie zet die crawl naast de prompt waarvoor hij ertoe deed, de citatie die eruit voortkwam of het bezoek dat volgde.
Daarom zetten we Promptwatch bovenaan zodra je verder wilt dan toegangscontrole. Agent Analytics leest realtime logs van ChatGPTBot, ClaudeBot, PerplexityBot, GoogleOther en de Meta AI crawler, met foutdetectie en het crawl-naar-citatiepad. In hetzelfde account zit prompt tracking met zoekvolumes en query fan-outs, citatie-analyse per pagina en domein, en bezoekersanalyse die AI-verwezen sessies aan conversies koppelt.
Het soort verband dat je dan ziet: ClaudeBot kreeg vorige week een paar keer een 500 op je vergelijkingspagina, die pagina verdween in dezelfde periode uit de antwoorden op je belangrijkste prompt, en het AI-verkeer naar die URL zakte. Met drie losse tools heb je drie losse grafieken en moet iemand het verband zelf leggen. Hier staat het op één tijdlijn.
Cloudflare-gebruikers sluiten Promptwatch aan via Logpush op Enterprise of via een automatisch uitgerolde Worker op andere plannen, met de record achter de oranje wolk. Crawler logs beginnen bij Professional (245 $/maand, 25 mln) voor merken en bij Kick-off (199 $/maand, 10 mln) voor bureaus. Essential (95 $/maand) heeft geen crawler logs.
Welke combinatie je kiest
Draai je op Cloudflare, zet dan AI Crawl Control aan. Het kost niets extra en het is de plek waar je bots direct toelaat of weert. Werkt je team in Ahrefs, probeer Bot Analytics zolang het gratis is. Op Semrush is de widget "Blocked from AI Search" in Site Audit een snelle controle van je robots.txt.
Daarna blijft de vraag die geen van hen beantwoordt: wat leverde die crawl op? Daarvoor kies je Promptwatch. Het crawl-naar-citatiepad en de bezoekersanalyse zitten daar in hetzelfde account als je prompts, en dat scheelt je een spreadsheet die niemand bijhoudt.