Derrin Beekman · · bijgewerkt
In het kort
AI-crawlers zoals GPTBot, ClaudeBot en PerplexityBot lezen je site anders dan een bezoeker: ze voeren meestal geen JavaScript uit en zien alleen wat er direct in de statische HTML staat. Een website die voor AI-vindbaarheid gebouwd is, zet daarom belangrijke content in gewone HTML, gebruikt schema-opmaak en houdt robots.txt open voor deze crawlers. Zonder die basis blijft een site onzichtbaar voor AI-assistenten, hoe goed hij er ook uitziet.
Hoe AI-crawlers een site lezen
Waar een bezoeker in de browser wacht tot alle scripts zijn geladen, doen AI-crawlers dat doorgaans niet. Ze halen de HTML op zoals die van de server komt en lezen daaruit tekst en structuur. Content die pas verschijnt nadat JavaScript is uitgevoerd, zoals bij veel losse React- of Vue-apps zonder server-rendering, blijft voor deze crawlers onzichtbaar.
Dat is een ander uitgangspunt dan de klassieke Googlebot, die inmiddels wel JavaScript rendert. Voor AI-crawlers geldt de veiligste aanname: staat het niet in de eerste HTML-response, dan wordt het niet gelezen.
Wat een AI-vriendelijke site technisch nodig heeft
Het begint bij statisch gerenderde HTML (of server-side rendering), zodat de kernboodschap er meteen staat zonder dat er iets hoeft te worden uitgevoerd. Daarnaast helpt schema-opmaak (JSON-LD): die maakt expliciet wie je bent, wat je aanbiedt en welke vragen je beantwoordt. En een open robots.txt die crawlers als GPTBot, ClaudeBot, PerplexityBot, Google-Extended en Bingbot toegang geeft in plaats van blokkeert, is de derde randvoorwaarde.
Deze site is zelf op die manier gebouwd: volledig statisch, met schema op elke pagina en een robots.txt die deze crawlers toelaat. Dat is een bewuste keuze: zo kunnen we een klant laten zien hoe het werkt, in plaats van het alleen te beweren.
Wat het concreet oplevert
Een site die AI-crawlers goed kunnen lezen, maakt vermelding in antwoorden van ChatGPT, Perplexity en Google AI Overviews mogelijk. Zonder leesbare content is dat sowieso uitgesloten; met leesbare content maak je in elk geval kans, de rest hangt af van citeerbare content en autoriteit.
Voor bedrijven die nu op een oud CMS of een zware JavaScript-opzet draaien, betekent dit meestal dat een technische herbouw nodig is voordat contentwerk zin heeft. Wil je eerst zelf nagaan hoe jouw site ervoor staat, loop dan de checklist voor AI-vindbaarheid door.