Веб-скрейпинг

Скрейпер выдаёт запросы к сайту и извлекает структурированные данные из ответов. Простые скрейперы используют HTTP-клиенты, чтобы получить сырой HTML и разобрать его напрямую, что быстро и дёшево, но не работает на страницах, которые строят своё содержимое с помощью JavaScript. Более способные скрейперы управляют headless-браузерами, чтобы отрисовывать динамические страницы и читать получившийся DOM, ценой большего количества ресурсов на страницу.

Чтобы собирать данные в объёме, скрейперы распараллеливают запросы и распределяют их по многим IP-адресам, используя пулы прокси, так что ни одно отдельное происхождение не срабатывает по лимитам запросов на один IP. Они ротируют user agent и другие значения отпечатка, чтобы выглядеть как разнообразная популяция посетителей, и размеряют запросы, чтобы избегать паттернов, которые очевидно выдали бы автоматизацию.

Сайты защищаются смесью ограничения частоты, сетевой аналитики, фингерпринтинга и поведенческого анализа. Состязание сосредоточено на различении распределённой скрейпинговой операции, которая есть множество координированных запросов в разных масках, от настоящей популяции независимых живых посетителей. Проверки согласованности и идентификация устройства центральны для того, чтобы видеть сквозь маски.

Не всякий скрейпинг враждебен. Поисковые системы, сервисы сравнения цен и исследовательские краулеры скрейпят открыто и представляются, и многие сайты предлагают API как санкционированную альтернативу. Проблема — несанкционированное, высокообъёмное извлечение, которое игнорирует условия использования, собирает персональные или проприетарные данные или ухудшает сервис для реальных пользователей.