AI-crawlerlogs zonder servertoegang: Shopify, Webflow en WP Engine
Zit je site op Shopify, Webflow of WP Engine en kom je niet bij serverlogs? Zo zie je toch welke AI-crawlers langskomen, via de WordPress-plugin of Cloudflare Logpush.
"Dat kunnen wij niet zien, want onze site staat bij een platform." Het is de meest gehoorde reden waarom marketeers niets weten over AI-crawlers. Bij een eigen server open je een logbestand en zoek je op GPTBot. Bij Shopify, Webflow of een beheerde WordPress-host heb je dat bestand nooit gezien, en je ontwikkelaar ook niet.
Toch is de vraag dringend. Als een AI-crawler je pagina's niet bereikt, kan het antwoord ze niet gebruiken, hoe goed ze ook zijn. Zonder crawlerdata blijft je GEO-werk raden. In dit stuk lees je waarom servertoegang niet de enige route is, wat je handmatig kunt checken, en hoe je het structureel regelt.
Wat je wilt weten
Er zijn drie vragen. Komen AI-crawlers langs, en welke? Bereiken ze de pagina's die ertoe doen, of blijven ze hangen op je homepage en je robots.txt? En krijgen ze een foutmelding terug? De namen die je zoekt zijn echt, en je vindt ze in onze lijst: de AI-crawlers van ChatGPT, Claude en Perplexity. Let op dat er geen crawler bestaat die "ChatGPTBot" heet. De namen zijn bijvoorbeeld GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot en PerplexityBot.
Wat je zonder logs kunt doen
Begin met wat je kunt controleren zonder toegang.
Lees je robots.txt. Staat er een regel die AI-bots blokkeert? Dat gebeurt vaker dan je denkt, soms door een standaardinstelling van een plug-in of een beveiligingsdienst. Een crawler die verboden wordt, komt niet terug.
Kijk of je een CDN of firewall gebruikt. Veel sites staan achter Cloudflare, en daar kan een botregel AI-verkeer blokkeren of juist doorlaten. Zoek in de instellingen naar botbeheer.
Test een pagina via de ontbrekende kant: zoek een artikel van je site in een AI-model met zoekfunctie en kijk of het erin komt. Dat bewijst niets over crawlers, maar een artikel dat nooit wordt geciteerd bij een relevante vraag is een aanwijzing.
Het blijven aanwijzingen. De enige echte bevestiging is een logregel: dit bot, op dit tijdstip, op deze URL, met deze statuscode.
Twee routes naar logs zonder serverbestand
Je hebt geen toegang tot de server nodig als je de logs op een andere plek onderschept. Er zijn twee gangbare routes.
WordPress-plugin. Draait je site op WordPress, dan kan een plugin de verzoeken zelf registreren en doorsturen. Je installeert hem zoals elke andere plugin, ook als je host je niet bij de serverlogs laat.
Cloudflare Logpush. Zet je een site achter Cloudflare, dan kan Logpush de verzoeklogs naar een bestemming sturen. Volgens het changelog van Promptwatch is Cloudflare Logpush sinds 6 oktober 2026 de standaardinstelling voor crawlerlogs op sites van WP Engine, Webflow, Shopify en Kinsta. Dat zijn precies de platformen waar je geen serverlog krijgt.
Of dat voor jouw situatie werkt, hangt van je DNS en je platform af. Het changelog noemt dit als de standaardroute, en meer dan dat zeg ik er niet over. Lees de documentatie van je platform en je CDN voordat je iets omzet, vooral als je domein al achter een andere dienst staat.
Andere bronnen die Promptwatch ondersteunt zijn AWS CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN en een aangepaste HTTP-koppeling. Zit je daar al op, dan hoef je niets om te zetten.
Hoe Promptwatch de logs omzet in iets bruikbaars
Een logregel is nog geen inzicht. Promptwatch heeft hiervoor Agent Analytics: realtime, op IP geverifieerde crawlerlogs. Nagemaakte user agents worden eruit gefilterd, dus een scraper die zich voordoet als GPTBot telt niet mee. Sinds 8 september 2026 gebruikt de geverifieerde crawlerdata bovendien historische IP-reeksen van elke aanbieder, zodat bezoeken van reeksen die een aanbieder later heeft stopgezet weer meetellen (zie het changelog). Eerder werden die weggelaten.
Wat je ermee ziet:
- welke bots langskomen, met een schildbadge voor IP-geverifieerde crawlers;
- het pad van crawl naar citatie, met een citatiepercentage per pagina;
- foutmeldingen met een uitleg waarom het misging;
- filters op pad, en export naar CSV.
Dat sluit aan op het volgende: een pagina die wordt gecrawld maar nooit geciteerd, heeft een ander probleem dan een pagina die niet wordt gecrawld. Het eerste vraagt om betere content, het tweede om toegang. Zonder logs weet je niet welk van de twee het is.
Welk plan heb je nodig
Hier is precisie nodig. Crawlerlogs zitten niet in elk plan. Essential (95 $/maand) bevat geen crawlerlogs. Ze starten op Professional, voor 245 $/maand, met 25 mln crawlerlogs. Business (579 $/maand) heeft er 100 mln. De agencyplannen bevatten crawlerlogs allemaal, vanaf Kick-off voor 199 $/maand met 10 mln.
Heb je een klein project en wil je alleen weten of AI je pagina's leest, dan is Professional de ondergrens. Het is geen goedkope proef, dus doe eerst de handmatige controles hierboven. Een blokkade in robots.txt los je gratis op.
Bekijk de volledige plannen op de tool-pagina van Promptwatch. Wil je een vergelijking met andere tools die crawlers volgen, lees dan de beste tools om AI-crawlers te volgen.
Een stappenplan
- Lees je robots.txt en je botinstellingen in je CDN of firewall.
- Bepaal je platform: WordPress, of een platform achter Cloudflare.
- Kies de route: de plugin voor WordPress, Logpush voor de platformen uit het changelog.
- Volg onze stappen om crawlerlogs in te stellen voor de details.
- Kijk na een week welke bots komen, welke pagina's ze bereiken en waar fouten zitten.
Zo zie je met een platform zonder servertoegang toch wat een bedrijf met eigen hosting ziet. Het gaat niet om de logs zelf, maar om de beslissing die erop volgt: een pagina vrijmaken, een blokkade opheffen of de content verbeteren.