Meta-WebIndexer kruipt het web alsof het een zoekindex bouwt

Een maand geleden was Meta-WebIndexer een kleine regel in de AI crawler logs die Promptwatch publiceert. Op 9 augustus 2026 was het de zwaarste crawler in de dataset. De verschuiving was snel, en hij past bij berichtgeving dat Meta een eigen webzoekindex bouwt.

Het rapport over de webindexer van Meta, gepubliceerd op 10 augustus 2026, volgt het aandeel dag voor dag. Voor wie geeft om zichtbaarheid in AI antwoorden is de praktische vraag wat de methodologie wel en niet laat zien, en wat je doet met een crawler die een maand geleden niet meetelde.

De gemeten verschuiving

Het rapport van Promptwatch dekt het dagelijkse aandeel van Meta-WebIndexer in de AI crawler requests die het volgt. Het aandeel schommelde rond 2,2 procent midden juli 2026. Het piekte naar ongeveer 23 procent tussen 20 en 22 juli, en steeg toen van 5 augustus naar een piek van 37,8 procent op 9 augustus. Dat is een 17x stijging in minder dan een maand, van één crawler.

De methodologie is het deel dat bepaalt wat het getal betekent. Het aandeel is de Meta-WebIndexer requests, geïdentificeerd aan de meta-webindexer user agent, gedeeld door requests van alle AI crawlers die Promptwatch volgt. Andere crawlers van Meta tellen mee in de noemer maar niet in het aandeel van Meta-WebIndexer. Gewone zoekmachine crawlers zoals Googlebot en Bingbot, link preview fetchers zoals FacebookExternalHit, en menselijke bezoekers zijn uitgesloten. Dat isoleert de indexer van de ruis van de bredere bot vloot van Meta.

Wat de steekproef niet kan laten zien is de oorzaak. De grafiek laat zien wanneer de stijging kwam. Hij zegt niet waarom. Een zo snelle volumestijging, van één enkele indexeringscrawler, is wat het bouwen van een webindex vanaf nul eruit ziet. De externe bevestiging is dun. Op 6 augustus 2026 plaatste het @levelsio account dat Meta medewerkers hem zouden hebben gezegd dat het bedrijf een eigen webindex bouwt. Behandel dat als een tweedehands bericht, niet als een bevestigd feit. Het crawl aandeel is het hardere bewijs.

Wat de steekproef niet zegt over je site

Het rapport is een weergave op populatieniveau. Het zegt wat Meta-WebIndexer doet over het hele web. Het zegt niet wat Meta-WebIndexer doet op jouw site. Daarvoor heb je je eigen server logs nodig, die het rapport niet bevat.

Dat matters omdat het populatieaandeel en het aandeel op jouw site niet hetzelfde zijn. Een crawler kan stijgen op populatieniveau en jouw domein nooit raken, of het hard raken. De 37,8 procent is een reden om je eigen logs te controleren, niet een reden om aan te nemen dat jouw site evenredig gecrawld is.

Wat je moet doen

De eerste stap is je eigen server logs en je robots.txt te bekijken voor de Meta crawlers. Het rapport noemt de relevante user agents: meta-webindexer, meta-externalagent, meta-externalfetcher en FacebookBot. Als Meta een zoekindex bouwt, dan is het blokkeren van deze crawlers vandaag de beslissing of jouw content erin zit bij de lancering. De meeste sites die geven om AI zichtbaarheid zouden ze niet moeten blokkeren. De uitzondering zijn sites die per request factureren of draaien op infrastructuur die verkeer laat betalen, waar een aanhoudende crawlbelasting een echte kost is.

De tweede stap is Meta behandelen als een opkomend AI zoekoppervlak in je tracking, niet alleen als een sociaal platform. Meta-WebIndexer bestaat om Meta AI zoekresultaten te verbeteren en bronnen te citeren, dezelfde citatiedynamiek die je al optimaliseert voor ChatGPT en Perplexity. Een crawler die een jaar geleden niet meetelde is nu een pad naar een citaat, en het werk dat je vandaag doet rent over een langere horizon.

De derde stap is de crawl verbinden met de citaat. Een crawl aandeel is een voorlopende indicator. De pagina's die Meta vandaag leest zijn de pagina's die het morgen citeert. Log de pagina's die Meta-WebIndexer leest op jouw domein en markeer de pagina's die niet de pagina's zijn die jou citaties opleveren, zodat je de kloof dicht voordat de citaat dat doet. Het pad van crawl naar citaat is de meting die een populatierapport omzet in een beslissing op siteniveau.

Hoe je het goed meet

Een crawl aandeel rapport zoals dat van Promptwatch is de populatieweergave. De meting die het omzet in een beslissing op siteniveau is je eigen crawler logs gekoppeld aan je eigen zichtbaarheidsdata. Die koppeling is het deel dat de meeste zichtbaarheidstools overslaan.

Promptwatch publiceert die koppeling als Agent Analytics. De functie volgt realtime AI crawler logs over ChatGPTBot, ClaudeBot, PerplexityBot, GoogleOther en de Meta AI crawler, plus het pad van crawl naar citaat en foutopsporing. Voor een rapport dat Meta-WebIndexer laat stijgen op populatieniveau is de bijbehorende stap om dezelfde log weergave voor je eigen domein te openen en te zien of de stijging zichtbaar is in jouw crawlverkeer, en of de pagina's die Meta leest de pagina's zijn die geciteerd worden.

Wat de methodologie niet kan uitsluiten

Het rapport is voorzichtig over wat het niet beweert. Het zegt niet dat Meta een zoekmachine lanceert. Een crawler die een index bouwt is een noodzakelijke voorwaarde voor een zoekmachine, niet een voldoende. Meta zou kunnen crawlen om Meta AI antwoorden te verbeteren, om een toekomstig zoekproduct te voeden, of om modellen te trainen.

Die terughoudendheid matters voor hoe je het getal leest. Een aandeel van 37,8 procent is bewijs van indexeringswerk, niet bewijs van een consumentgericht zoekoppervlak. Het werk dat volgt, kijken of de crawl zich vertaalt in citaties in Meta AI antwoorden, is het werk dat je eigen tracking doet, niet het werk dat het populatierapport doet.

Het bredere patroon

De stijging van Meta-WebIndexer is één voorbeeld van een bredere verschuiving in AI zoek. Het crawler veld wordt drukker, niet rustiger. Het rapport noemt de crawlers die Promptwatch volgt over OpenAI, Anthropic, Google, Perplexity, xAI, Mistral, Meta, Cohere en DeepSeek. Elk is een kandidaat om een citatiebron te worden, en elk heeft een andere crawl cadans en een andere robots.txt houding.

Voor zichtbaarheidswerk betekent dat dat de set van oppervlakken om voor te optimaliseren groter is dan een jaar geleden. De praktische reactie is om crawler logs te behandelen als een eersteklas signaal, niet als een bijzaak. De merken die een nieuwe crawler vroeg opmerken, hem de pagina's laten lezen die ertoe doen, en de crawl verbinden met de citaties die volgen, zijn de merken die opduiken in het nieuwe oppervlak voordat de rankings er zijn.

Wat je hierna moet volgen

Het rapport is een momentopname tot 9 augustus 2026. De open vragen zijn of het aandeel standhoudt, of Meta-WebIndexer blijft stijgen, en of de crawl zich vertaalt in citaties in Meta AI antwoorden. Dat zijn precies de vragen die een crawler log weergave voor je eigen domein beantwoordt.

De dataset die Promptwatch publiceert is geaggregeerd en niet identificeerbaar, en wordt continu ververst. Dat maakt hem nuttig om populatieverschuivingen te spotten. Het vervangt niet de noodzaak om je eigen merk, je eigen prompts en je eigen crawlverkeer te volgen. De twee werken samen: het openbare rapport zegt wat er op het veld gebeurt, en je eigen tracking zegt of het jou overkomt.