Headless browsers detecteren: Playwright, Puppeteer en verder

Headless browsers zijn het favoriete wapen voor geavanceerde web scraping, credential stuffing en fraudeoperaties. Anders dan eenvoudige HTTP-clients voeren headless browsers JavaScript uit, renderen ze pagina's en ondersteunen ze moderne web-API's — waardoor ze veel moeilijker te detecteren zijn. Onze Bot Detection-engine gebruikt meerdere onafhankelijke detectiemethoden om 15+ automatiseringsframeworks te identificeren met vrijwel nul false positives.

De evolutie van browserautomatisering

Browserautomatisering heeft een lange weg afgelegd sinds de eenvoudige curl-scripts. Moderne tools zoals Playwright, Puppeteer en Selenium WebDriver besturen echte browserengines — Chromium, Firefox of WebKit — in headless-modus. Ze voeren JavaScript uit, verwerken CSS, renderen canvas-elementen en verwerken WebGL-queries net als browsers met een venster. Daardoor zijn ze onzichtbaar voor detectiemethoden die simpelweg controleren op de mogelijkheid om JavaScript uit te voeren.

De nieuwste generatie tools gaat nog verder. De stealth-modus van Playwright patcht veel van de signalen waarop traditionele bot detection vertrouwt. Puppeteer-extra-plugin-stealth wijzigt navigator-eigenschappen, overschrijft WebGL-vendorstrings en simuleert gebruikersinteractie-events. Deze anti-detectiemaatregelen hebben een wapenwedloop veroorzaakt tussen botoperators en detectiesystemen.

Detectiemethode 1: analyse van de WebDriver-flag

De eigenschap navigator.webdriver wordt op true gezet wanneer een browser door automatisering wordt bestuurd. Vroege detectie was zo eenvoudig als het controleren van deze eigenschap. Maar moderne stealth-tools verwijderen of overschrijven die. Onze detectie gaat dieper — we controleren niet alleen de waarde van de eigenschap, maar ook de property descriptor, de aanwezigheid in de prototype chain en of er pogingen zijn gedaan om die opnieuw te definiëren. We controleren ook op gerelateerde eigenschappen, zoals afwijkingen in de lengte van navigator.plugins die gepaard gaan met WebDriver-overschrijvingen.

Detectiemethode 2: artefacten van het Chrome DevTools Protocol

Playwright en Puppeteer besturen browsers via het Chrome DevTools Protocol (CDP). Zelfs wanneer de stealth-modus actief is, laat CDP artefacten achter in de runtime: specifieke globale variabelen, gewijzigde getter-functies en aangepaste property descriptors op de Window- en Navigator-objecten. We speuren naar deze artefacten met technieken die bestand zijn tegen eenvoudige overschrijvingen.

Detectiemethode 3: fingerprinting van headless browsers

Headless Chrome heeft een andere set mogelijkheden dan Chrome met een venster. Het mist bepaalde browserplugins, heeft andere rendereigenschappen voor sommige CSS-properties en rapporteert andere waarden voor sommige MediaQuery-resultaten. We onderhouden een database met bekende kenmerken van headless browsers en toetsen inkomende fingerprints daaraan.

Belangrijke headless-indicatoren zijn onder meer: ontbrekende chrome.runtime (aanwezig in Chrome met venster, maar afwezig in headless), een navigator.plugins-array met lengte nul, specifieke user-agent-patronen die in eerdere versies met headless-modus zijn geassocieerd, en verschillen in de manier waarop headless Chrome iframe-securitycontexten afhandelt.

Detectiemethode 4: eval-lengteanalyse

Verschillende JavaScript-engines hebben verschillende implementaties van ingebouwde functies, en die implementaties hebben verschillende string-representaties. Door de lengte van Function.prototype.toString.call(eval) te controleren en te vergelijken met bekende waarden voor elke browserengine, kunnen we environment-spoofing detecteren — bijvoorbeeld een headless Chrome-instance die zich voordoet als Firefox.

Detectiemethode 5: TLS-cross-validatie

Zoals besproken in ons artikel over TLS-fingerprinting onthult het TLS Client Hello-bericht welke browser of HTTP-library de verbinding daadwerkelijk opzet. Wanneer een Playwright-script Chrome bestuurt, komt de TLS-fingerprint overeen met Chrome — dat is te verwachten. Maar wanneer een aangepaste bot de Python requests-library of Go's net/http gebruikt, onthult de TLS-fingerprint het bedrog, ongeacht welke user-agent-string wordt verstuurd.

Detectiemethode 6: timing- en gedragsanalyse

Echte gebruikers vertonen natuurlijke variatie in hun interactietiming. Ze bewegen de muis in bogen, niet in rechte lijnen. Ze pauzeren voor het klikken. Ze scrollen met wisselende snelheden. Geautomatiseerde tools, zelfs die menselijk gedrag simuleren, produceren statistisch onderscheidbare patronen — te consistente timing, perfect lineaire muispaden en onnatuurlijke scrollsnelheden.

We verzamelen minimale gedragssignalen tijdens het fingerprinting-proces zelf — de timing van API-aanroepen, de volgorde van signaalverzameling en de responsiviteit van bepaalde browser-API's. Deze microgedragssignalen zijn lastig te faken voor automatiseringstools, omdat ze afhangen van de daadwerkelijke uitvoeringsomgeving en niet van overschrijfbare eigenschappen.

Detectiemethode 7: inconsistentie in permissies en API's

Echte browsers hebben consistente permissiestatussen en API-beschikbaarheid. Een browser die beweert notificaties te ondersteunen maar geen Notification-constructor heeft, of die een specifieke schermresolutie rapporteert maar andere waarden retourneert vanuit window.screen en CSS-mediaqueries, vertoont inconsistenties die duiden op manipulatie of emulatie.

We controleren tientallen van deze cross-validatiepunten en zoeken naar tegenstrijdigheden die ontstaan wanneer automatiseringstools sommige signalen selectief overschrijven zonder de consistentie over alle gerelateerde API's te bewaren.

Detectiemethode 8: detectie van VM's en emulatie

Veel botoperaties draaien binnen virtual machines of cloud-instances. Hoewel dat op zichzelf geen bewijs van automatisering is, is het een sterk signaal in combinatie met andere indicatoren. We detecteren VM's via WebGL-rendererstrings die VM-gerelateerde trefwoorden bevatten (zoals "llvmpipe" of "SwiftShader"), hardwarekenmerken die niet stroken met consumentenapparaten (precies 2 CPU-cores en 2 GB geheugen — gangbare VM-standaardwaarden) en bekende IP-reeksen van cloudproviders.

Het multi-methodevoordeel

Elke detectiemethode heeft op zichzelf beperkingen — een geavanceerde botoperator zou elke afzonderlijke methode kunnen omzeilen. Maar alle methoden tegelijk omzeilen én daarbij de cross-validatieconsistentie over alle methoden bewaren, is onbetaalbaar duur. De kosten van het ontwikkelen en onderhouden van een bot die alle controles doorstaat, overtreffen de economische waarde van de meeste botoperaties.

Vrijwel nul false positives

Onze detectie werkt met een whitelist-model voor zoekmachinebots (Googlebot, Bingbot, enzovoort), geverifieerd via reverse DNS, en een multi-signaalmodel voor overig verkeer. We vereisen meerdere ondersteunende signalen voordat we verkeer als geautomatiseerd classificeren. Deze conservatieve aanpak zorgt voor een false-positive-ratio onder 0,1% — geverifieerd over miljarden productie-events.