Hoe nauwkeurig is AI over je merk? Claims controleren met een nauwkeurigheidsscore
ChatGPT en andere modellen beweren dingen over je prijzen en functies; zo zet je die claims op een rij en meet je welk deel van wat AI over je zegt klopt.
Een salesmedewerker krijgt een lead binnen die zegt: "ChatGPT vertelde me dat jullie geen integratie met Slack hebben." Die integratie bestaat al een jaar. Of de klant heeft het antwoord verkeerd onthouden, of het model heeft het verkeerd gezegd. Je weet het niet, en je kunt het niet navragen.
Dat is het probleem met AI-antwoorden over je merk. Je meet vaak of je wordt genoemd. Veel minder vaak meet je of wat er over je wordt gezegd ook klopt. En een fout antwoord dat honderden keren wordt herhaald, kost je meer dan een antwoord waarin je niet voorkomt.
Eerst: wat zegt AI eigenlijk over je?
Voordat je nauwkeurigheid kunt meten, moet je weten welke beweringen er circuleren. Een score over "het merk" is niets waard als je niet weet waaruit hij bestaat. Je hebt losse claims nodig: "kost per gebruiker", "heeft een gratis proefperiode", "werkt met Shopify", "klantenservice alleen per mail".
Zonder tool kun je dit met de hand doen. Draai je belangrijkste prompts, kopieer de antwoorden naar een document en haal er per antwoord de feitelijke beweringen uit. Je merkt snel dat dezelfde bewering in verschillende woorden terugkomt. Groepeer die. Het aantal keer dat een claim voorkomt, en in welk model, is al informatief: een foutje in één model is een ander probleem dan een fout die overal opduikt.
Deel de claims daarna in thema's in. Prijzen, functies, support en reputatie zijn de gebruikelijke vier. Per thema zie je wat het beeld is, en bij welk thema de fouten zitten.
Dan: wat klopt en wat niet?
Elke claim moet tegen een bron worden gelegd, en die bron is je eigen site of je interne documentatie. Dit is saai werk. Een claim over prijzen vergelijk je met je prijspagina, een claim over een integratie met je integratiepagina. Soms klopt een claim vroeger wel en nu niet meer. Noteer dat apart, want dan is de oorzaak vaak een oude pagina die het model nog kent.
Er zijn vier uitkomsten: juist, onjuist, niet te beoordelen en nog niet gecheckt. De laatste twee horen niet in je nauwkeurigheidscijfer. Wie ze meetelt als fout, overdrijft het probleem. Wie ze meetelt als juist, doet het omgekeerde. Houd ze erbuiten en vermeld hoeveel het er zijn.
Een score die je kunt volgen
Het cijfer zelf is eenvoudig: het aandeel gecheckte vermeldingen dat klopt. Het wordt pas bruikbaar als je het opdeelt. Eén totaalscore van 80 procent zegt weinig, terwijl dezelfde score met een kolom "prijzen in Perplexity" die bijna leeg is van juiste claims een concreet probleem aanwijst.
Zet daarom modellen tegen thema's. Dat is een raster, en in dat raster zie je meteen de cellen waar het misgaat. Het kan zijn dat één model je prijzen steeds fout heeft, terwijl de rest ze goed heeft. Dan zoek je de bron van dat ene model, in plaats van je hele site te herschrijven.
Let op de schaal. Een cel met twee gecheckte claims kan door één fout van kleur veranderen. Kijk naar de aantallen achter de score voordat je conclusies trekt.
Hoe Promptwatch dit doet
Promptwatch heeft hiervoor twee onderdelen die op elkaar aansluiten. Promptwatch verzamelt met Brand Narrative de afzonderlijke beweringen die AI in gevolgde antwoorden over jou en je concurrenten doet. Herhalingen worden gegroepeerd, met hoe vaak de claim voorkomt en in welke modellen. Ze worden onder thema's gezet zoals Prijzen, Functies, Support en Reputatie. Elke claim krijgt het label positief, neutraal, negatief of gemengd, en elk thema een score van 0 tot 100. Je kunt de thema's naast die van concurrenten leggen. Brand Narrative zit op elk plan.
Het tweede onderdeel is Fact Check. Je markeert een claim als juist of onjuist, en Fact Check zoekt in de pagina's die van je site zijn gecrawld naar pagina's die de claim bevestigen of het tegenovergestelde zeggen. Je krijgt citaten en een voorstel voor de volgende stap. Fact Check gebruikt Agent Credits, en je ziet vooraf een schatting. Het zit op Business, Agency Scale en Enterprise.
Sinds 4 november staat daar ook een nauwkeurigheidsscore bij, volgens het changelog van Promptwatch. Die toont het aandeel van de gecheckte vermeldingen van je merk dat juist is, als één cijfer en als heatmap per model en per thema. Een claim die jij zelf hebt gemarkeerd telt zoals jij hem markeerde. Voor de rest beslist de laatst voltooide factcheck. Claims waarbij de uitkomst niet te bepalen was, en claims die nog niet zijn gecheckt, tellen niet mee.
Dat laatste punt is eerlijk, maar het heeft een gevolg. Als je maar een deel van je claims hebt gecheckt, zegt de score iets over dat deel. Check dus eerst de claims die het vaakst voorkomen. Brand Narrative helpt daarbij: het zet het best scorende thema bovenaan en de meest negatieve claims bovenaan de lijst, zodat je weet waar je begint.
Wat je met een foute claim doet
Een onjuiste claim vraagt eerst om een diagnose. Staat de foute bewering ook ergens op je eigen site, bijvoorbeeld op een verouderde pagina? Dan is dat je eerste klus. Staat er op je site niets, dan is het een gat: er is geen pagina die het goede antwoord geeft. Of de fout komt van een externe bron. Dan weet je waar je iets moet rechtzetten.
Welke bronnen een model gebruikt, zie je met de citatie-analyse van Promptwatch. Dat is een aparte stap, en hij hoort bij het uitzoeken van de oorzaak, niet bij het meten van de score. Beloof jezelf ook niet dat een gecorrigeerde pagina het antwoord direct verandert. Je kunt het alleen opnieuw meten en kijken wat er gebeurt.
Een werkwijze voor deze maand
- Kies de vijf thema's die voor je verkoop het meest uitmaken.
- Bekijk in Brand Narrative per thema de claims die het vaakst voorkomen.
- Markeer de claims waarvan je zeker weet dat ze juist of onjuist zijn.
- Laat Fact Check de rest nalopen en lees de citaten.
- Kijk in de heatmap welk model en welk thema de laagste score hebben, en begin daar.
- Meet over een paar weken opnieuw en vergelijk de cellen, niet alleen het totaal.
Waar het niet voor dient
Een nauwkeurigheidsscore zegt hoe vaak AI iets goed zegt over je merk, niet of je vaker wordt genoemd. Combineer hem met je zichtbaarheid, zoals we beschrijven in je AI-zichtbaarheidsscore berekenen. Een merk dat vaak wordt genoemd met foute claims heeft een ander probleem dan een merk dat zelden wordt genoemd met juiste claims.
Volgende stap
Wil je zien welke claims AI nu over jouw merk maakt, vraag dan een demo aan via promptwatch.com/book-a-demo. Neem je prijspagina en je lijst met bekende misverstanden mee, dan kun je meteen controleren wat er klopt.