Headless browsers detecteren: Playwright, Puppeteer en verder

Headless browsers zijn het favoriete wapen voor geavanceerde web scraping, credential stuffing en fraudeoperaties. Anders dan eenvoudige HTTP-clients voeren headless browsers JavaScript uit, renderen ze pagina's en ondersteunen ze moderne web-API's — waardoor ze veel moeilijker te detecteren zijn. Onze Bot Detection-engine gebruikt meerdere onafhankelijke detectiemethoden om 15+ automatiseringsframeworks te identificeren met vrijwel nul false positives.

De evolutie van browserautomatisering

Browserautomatisering heeft een lange weg afgelegd sinds de eenvoudige curl-scripts. Moderne tools zoals Playwright, Puppeteer en Selenium WebDriver besturen echte browserengines — Chromium, Firefox of WebKit — in headless-modus. Ze voeren JavaScript uit, verwerken CSS, renderen canvas-elementen en verwerken WebGL-queries net als browsers met een venster. Daardoor zijn ze onzichtbaar voor detectiemethoden die simpelweg controleren op de mogelijkheid om JavaScript uit te voeren.

De nieuwste generatie tools gaat nog verder. De stealth-modus van Playwright patcht veel van de signalen waarop traditionele bot detection vertrouwt. Puppeteer-extra-plugin-stealth wijzigt navigator-eigenschappen, overschrijft WebGL-vendorstrings en simuleert gebruikersinteractie-events. Deze anti-detectiemaatregelen hebben een wapenwedloop veroorzaakt tussen botoperators en detectiesystemen.

Detectiemethode 1: analyse van de WebDriver-flag

De eigenschap navigator.webdriver wordt op true gezet wanneer een browser door automatisering wordt bestuurd. Vroege detectie was zo eenvoudig als het controleren van deze eigenschap. Maar moderne stealth-tools verwijderen of overschrijven die. Onze detectie gaat dieper — we controleren niet alleen de waarde van de eigenschap, maar ook de property descriptor, de aanwezigheid in de prototype chain en of er pogingen zijn gedaan om die opnieuw te definiëren. We controleren ook op gerelateerde eigenschappen, zoals afwijkingen in de lengte van navigator.plugins die gepaard gaan met WebDriver-overschrijvingen.

Detectiemethode 2: artefacten van het Chrome DevTools Protocol

Playwright en Puppeteer besturen browsers via het Chrome DevTools Protocol (CDP). Zelfs wanneer de stealth-modus actief is, laat CDP artefacten achter in de runtime: specifieke globale variabelen, gewijzigde getter-functies en aangepaste property descriptors op de Window- en Navigator-objecten. We speuren naar deze artefacten met technieken die bestand zijn tegen eenvoudige overschrijvingen.

Detectiemethode 3: fingerprinting van headless browsers

Headless Chrome heeft een andere set mogelijkheden dan Chrome met een venster. Het mist bepaalde browserplugins, heeft andere rendereigenschappen voor sommige CSS-properties en rapporteert andere waarden voor sommige MediaQuery-resultaten. We onderhouden een database met bekende kenmerken van headless browsers en toetsen inkomende fingerprints daaraan.

Belangrijke headless-indicatoren zijn onder meer: ontbrekende chrome.runtime (aanwezig in Chrome met venster, maar afwezig in headless), een navigator.plugins-array met lengte nul, specifieke user-agent-patronen die in eerdere versies met headless-modus zijn geassocieerd, en verschillen in de manier waarop headless Chrome iframe-securitycontexten afhandelt.

Detectiemethode 4: eval-lengteanalyse

Verschillende JavaScript-engines hebben verschillende implementaties van ingebouwde functies, en die implementaties hebben verschillende string-representaties. Door de lengte van Function.prototype.toString.call(eval) te controleren en te vergelijken met bekende waarden voor elke browserengine, kunnen we environment-spoofing detecteren — bijvoorbeeld een headless Chrome-instance die zich voordoet als Firefox.

Detectiemethode 5: TLS-cross-validatie

Zoals besproken in ons artikel over TLS-fingerprinting onthult het TLS Client Hello-bericht welke browser of HTTP-library de verbinding daadwerkelijk opzet. Wanneer een Playwright-script Chrome bestuurt, komt de TLS-fingerprint overeen met Chrome — dat is te verwachten. Maar wanneer een aangepaste bot de Python requests-library of Go's net/http gebruikt, onthult de TLS-fingerprint het bedrog, ongeacht welke user-agent-string wordt verstuurd.

Detectiemethode 6: timing- en gedragsanalyse

Echte gebruikers vertonen natuurlijke variatie in hun interactietiming. Ze bewegen de muis in bogen, niet in rechte lijnen. Ze pauzeren voor het klikken. Ze scrollen met wisselende snelheden. Geautomatiseerde tools, zelfs die menselijk gedrag simuleren, produceren statistisch onderscheidbare patronen — te consistente timing, perfect lineaire muispaden en onnatuurlijke scrollsnelheden.

We verzamelen minimale gedragssignalen tijdens het fingerprinting-proces zelf — de timing van API-aanroepen, de volgorde van signaalverzameling en de responsiviteit van bepaalde browser-API's. Deze microgedragssignalen zijn lastig te faken voor automatiseringstools, omdat ze afhangen van de daadwerkelijke uitvoeringsomgeving en niet van overschrijfbare eigenschappen.

Detectiemethode 7: inconsistentie in permissies en API's

Echte browsers hebben consistente permissiestatussen en API-beschikbaarheid. Een browser die beweert notificaties te ondersteunen maar geen Notification-constructor heeft, of die een specifieke schermresolutie rapporteert maar andere waarden retourneert vanuit window.screen en CSS-mediaqueries, vertoont inconsistenties die duiden op manipulatie of emulatie.

We controleren tientallen van deze cross-validatiepunten en zoeken naar tegenstrijdigheden die ontstaan wanneer automatiseringstools sommige signalen selectief overschrijven zonder de consistentie over alle gerelateerde API's te bewaren.

Detectiemethode 8: detectie van VM's en emulatie

Veel botoperaties draaien binnen virtual machines of cloud-instances. Hoewel dat op zichzelf geen bewijs van automatisering is, is het een sterk signaal in combinatie met andere indicatoren. Het is hier de moeite waard twee afzonderlijke zaken te onderscheiden, omdat ze vaak door elkaar worden gehaald.

Het eerste is software-rendering. Een machine zonder echte GPU valt terug op een software-rasterizer, en de WebGL-rendererstring zegt dat onomwonden — "llvmpipe", "SwiftShader" en hun varianten benoemen het rechtstreeks. Dat is een headless-indicator: hij vertelt iets over het renderpad en telt in elk plan mee in het botverdict.

Het tweede is de eigenlijke detectie van virtual machines, een mogelijkheid van het Enterprise-plan. Die leest de WebGL-renderer- en vendorstrings op hypervisor-signaturen — VMware, VirtualBox, Parallels, QEMU, Hyper-V — en toetst die aan hardwarekenmerken die niet stroken met consumentenapparaten: schermresoluties die standaard zijn voor VM's, één of twee CPU-cores achter een desktop-User-Agent, twee gigabyte geheugen of minder. Geen enkele losse marker beslist; de detector scoort de combinatie en rapporteert een betrouwbaarheidscijfer samen met de markers die aansloegen. Adresreeksen van datacenters en hostingproviders, herleid uit IP-intelligence, bevestigen dat vanaf de netwerkkant.

Geen van beide signalen is op zichzelf bewijs van automatisering — browsertests in de cloud en virtuele desktops zonder GPU zijn legitiem — en daarom voeden ze allebei het gewogen verdict in plaats van op zichzelf een blokkade te activeren.

Het multi-methodevoordeel

Elke detectiemethode heeft op zichzelf beperkingen — een geavanceerde botoperator zou elke afzonderlijke methode kunnen omzeilen. Maar alle methoden tegelijk omzeilen én daarbij de cross-validatieconsistentie over alle methoden bewaren, is onbetaalbaar duur. De kosten van het ontwikkelen en onderhouden van een bot die alle controles doorstaat, overtreffen de economische waarde van de meeste botoperaties.

Vrijwel nul false positives

Onze detectie werkt met een whitelist-model voor zoekmachinebots (Googlebot, Bingbot, enzovoort), geverifieerd via reverse DNS, en een multi-signaalmodel voor overig verkeer. We vereisen meerdere ondersteunende signalen voordat we verkeer als geautomatiseerd classificeren. Dat is precies het punt van het conservatieve ontwerp: één enkele dubbelzinnige marker is op zichzelf nooit genoeg, zodat de gewone bezoeker die toevallig één controle activeert niet als bot wordt geclassificeerd.