Detectarea browserelor headless: Playwright, Puppeteer și nu numai

Browserele headless sunt arma preferată pentru web scraping sofisticat, credential stuffing și operațiuni de fraudă. Spre deosebire de clienții HTTP simpli, browserele headless execută JavaScript, randează pagini și susțin API-uri web moderne — ceea ce le face mult mai greu de detectat. Motorul nostru de Bot Detection folosește mai multe metode de detecție independente pentru a identifica peste 15 framework-uri de automatizare, cu fals pozitive aproape de zero.

Evoluția automatizării browserelor

Automatizarea browserelor a parcurs un drum lung de la simplele scripturi curl. Instrumente moderne precum Playwright, Puppeteer și Selenium WebDriver controlează motoare de browser reale — Chromium, Firefox sau WebKit — în mod headless. Ele execută JavaScript, procesează CSS, randează elemente canvas și gestionează interogări WebGL exact ca browserele cu interfață. Acest lucru le face invizibile pentru metodele de detecție care verifică pur și simplu capacitatea de execuție a JavaScript.

Cea mai recentă generație de instrumente a mers și mai departe. Modul stealth din Playwright corectează multe dintre semnalele pe care se bazează detecția tradițională a boților. Puppeteer-extra-plugin-stealth modifică proprietățile navigator, suprascrie string-urile de vendor WebGL și falsifică evenimentele de interacțiune ale utilizatorului. Aceste măsuri anti-detecție au creat o cursă a înarmării între operatorii de boți și sistemele de detecție.

Metoda de detecție 1: analiza flag-ului WebDriver

Proprietatea navigator.webdriver este setată la true atunci când un browser este controlat prin automatizare. Detecția timpurie era la fel de simplă precum verificarea acestei proprietăți. Dar instrumentele stealth moderne o șterg sau o suprascriu. Detecția noastră merge mai adânc — verificăm nu doar valoarea proprietății, ci și descriptorul acesteia, prezența ei în lanțul prototipului și dacă s-au făcut încercări de a o redefini. Verificăm de asemenea proprietăți conexe, precum anomaliile de lungime a navigator.plugins care însoțesc suprascrierile WebDriver.

Metoda de detecție 2: artefacte ale Chrome DevTools Protocol

Playwright și Puppeteer controlează browserele prin Chrome DevTools Protocol (CDP). Chiar și atunci când modul stealth este activ, CDP lasă artefacte în runtime: variabile globale specifice, funcții getter modificate și descriptori de proprietăți alterați pe obiectele Window și Navigator. Sondăm aceste artefacte folosind tehnici rezistente la simplele suprascrieri.

Metoda de detecție 3: fingerprinting-ul browserelor headless

Chrome headless are un set de capabilități diferit față de Chrome cu interfață. Îi lipsesc anumite plugin-uri de browser, are caracteristici de randare diferite pentru unele proprietăți CSS și raportează valori diferite pentru unele rezultate MediaQuery. Menținem o bază de date cu caracteristici cunoscute ale browserelor headless și comparăm amprentele primite cu aceasta.

Indicatorii-cheie de headless includ: absența chrome.runtime (prezent în Chrome cu interfață, dar absent în headless), un array navigator.plugins de lungime zero, tipare specifice de user agent care au fost asociate cu modul headless în versiuni anterioare și diferențe în modul în care Chrome headless gestionează contextele de securitate ale iframe-urilor.

Metoda de detecție 4: analiza lungimii eval

Diferite motoare JavaScript au implementări diferite ale funcțiilor built-in, iar aceste implementări au reprezentări string diferite. Verificând lungimea Function.prototype.toString.call(eval) și comparând-o cu valorile cunoscute pentru fiecare motor de browser, putem detecta falsificarea mediului — de exemplu, o instanță Chrome headless care pretinde a fi Firefox.

Metoda de detecție 5: validarea încrucișată TLS

După cum am discutat în articolul nostru despre TLS fingerprinting, mesajul TLS Client Hello dezvăluie browserul sau biblioteca HTTP reală care realizează conexiunea. Când un script Playwright controlează Chrome, amprenta TLS se potrivește cu Chrome — acest lucru este de așteptat. Dar când un bot personalizat folosește biblioteca Python requests sau net/http din Go, amprenta TLS dezvăluie înșelăciunea indiferent de string-ul de user agent trimis.

Metoda de detecție 6: analiza temporală și comportamentală

Utilizatorii reali prezintă o variație naturală în ritmul interacțiunilor. Mișcă mouse-ul pe curbe, nu pe linii drepte. Fac o pauză înainte de a da clic. Derulează cu viteze variabile. Instrumentele automatizate, chiar și cele care simulează comportament uman, produc tipare distincte din punct de vedere statistic — un ritm prea consecvent, trasee de mouse perfect liniare și viteze de derulare nenaturale.

Colectăm semnale comportamentale minime chiar în timpul procesului de fingerprinting — ritmul apelurilor de API, ordinea colectării semnalelor și reactivitatea anumitor API-uri de browser. Aceste semnale micro-comportamentale sunt dificil de falsificat pentru instrumentele de automatizare, deoarece depind de mediul real de execuție, nu de proprietăți care pot fi suprascrise.

Metoda de detecție 7: inconsecvențe de permisiuni și API

Browserele reale au stări de permisiuni și disponibilitate a API-urilor consecvente. Un browser care pretinde că susține notificări, dar nu are niciun constructor Notification, sau care raportează o anumită rezoluție a ecranului, dar returnează valori diferite de la window.screen și de la media queries CSS, prezintă inconsecvențe ce indică manipulare sau emulare.

Verificăm zeci de astfel de puncte de validare încrucișată, căutând contradicții care apar atunci când instrumentele de automatizare suprascriu selectiv anumite semnale fără a menține consecvența în toate API-urile conexe.

Metoda de detecție 8: detectarea VM-urilor și a emulării

Multe operațiuni de boți rulează în interiorul mașinilor virtuale sau al instanțelor cloud. Deși acest lucru singur nu este o dovadă de automatizare, este un semnal puternic atunci când este combinat cu alți indicatori. Detectăm VM-urile prin string-uri de renderer WebGL care conțin cuvinte-cheie asociate cu VM-uri (precum „llvmpipe” sau „SwiftShader”), caracteristici hardware inconsecvente cu dispozitivele de consum (exact 2 nuclee CPU și 2 GB de memorie — valori implicite frecvente pentru VM-uri) și game de IP cunoscute ale furnizorilor de cloud.

Avantajul multi-metodă

Fiecare metodă de detecție are individual limitări — un operator de boți sofisticat ar putea eluda oricare metodă singură. Dar eludarea tuturor metodelor simultan, păstrând în același timp consecvența validării încrucișate între toate, este prohibitiv de costisitoare. Costul dezvoltării și menținerii unui bot care trece toate verificările depășește valoarea economică a majorității operațiunilor de boți.

Fals pozitive aproape de zero

Detecția noastră funcționează pe un model de whitelist pentru boții motoarelor de căutare (Googlebot, Bingbot etc.) verificați prin reverse DNS și pe un model multi-semnal pentru restul traficului. Cerem mai multe semnale coroborante înainte de a clasifica traficul drept automatizat. Această abordare conservatoare asigură o rată de fals pozitive sub 0,1% — verificată pe miliarde de evenimente de producție.