Web scraping

Un scraper émet des requêtes vers un site et extrait des données structurées des réponses. Les scrapers simples utilisent des clients HTTP pour récupérer le HTML brut et l'analyser directement, ce qui est rapide et bon marché mais échoue sur les pages qui construisent leur contenu avec JavaScript. Les scrapers plus performants pilotent des navigateurs headless afin de pouvoir rendre des pages dynamiques et lire le DOM résultant, au prix de davantage de ressources par page.

Pour rassembler des données en volume, les scrapers parallélisent les requêtes et les répartissent entre de nombreuses adresses IP en utilisant des pools de proxys, de sorte qu'aucune origine isolée ne déclenche les limites de débit par IP. Ils font tourner les user agents et d'autres valeurs d'empreinte pour paraître comme une population variée de visiteurs, et ils cadencent les requêtes pour éviter les schémas qui révéleraient de façon évidente l'automatisation.

Les sites se défendent avec un mélange de limitation de débit, d'intelligence réseau, de fingerprinting et d'analyse comportementale. La lutte s'articule autour de la distinction entre une opération de scraping distribuée, c'est-à-dire de nombreuses requêtes coordonnées portant des déguisements différents, et une population authentique de visiteurs humains indépendants. Les vérifications de cohérence et l'identification de l'appareil sont centrales pour percer les déguisements.

Tout le scraping n'est pas hostile. Les moteurs de recherche, les services de comparaison de prix et les robots d'indexation de recherche font du scraping ouvertement et s'identifient, et de nombreux sites offrent des API comme alternative autorisée. Le problème est l'extraction non autorisée et à fort volume qui ignore les conditions d'utilisation, collecte des données personnelles ou propriétaires ou dégrade le service pour les vrais utilisateurs.