Web scraping

Một scraper phát các yêu cầu đến một trang web và trích xuất dữ liệu có cấu trúc từ các phản hồi. Các scraper đơn giản sử dụng các client HTTP để lấy HTML thô và phân tích nó trực tiếp, điều này nhanh và rẻ nhưng thất bại trên các trang xây dựng nội dung của chúng bằng JavaScript. Các scraper có năng lực hơn điều khiển các trình duyệt headless để chúng có thể kết xuất các trang động và đọc DOM kết quả, với chi phí là nhiều tài nguyên hơn trên mỗi trang.

Để thu thập dữ liệu ở khối lượng lớn, các scraper song song hóa các yêu cầu và trải chúng qua nhiều địa chỉ IP bằng cách sử dụng các pool proxy, để không một nguồn gốc đơn lẻ nào kích hoạt các giới hạn tốc độ theo IP. Chúng xoay vòng các user agent và các giá trị dấu vân tay khác để trông như một quần thể khách truy cập đa dạng, và chúng điều chỉnh nhịp độ các yêu cầu để tránh các mẫu vốn sẽ lộ rõ việc tự động hóa.

Các trang web phòng thủ bằng một hỗn hợp của giới hạn tốc độ, trí tuệ mạng, tạo dấu vân tay và phân tích hành vi. Cuộc thi đấu tập trung vào việc phân biệt một hoạt động scraping phân tán, tức là nhiều yêu cầu được phối hợp mang những lớp ngụy trang khác nhau, với một quần thể khách truy cập là con người độc lập thật sự. Các kiểm tra tính nhất quán và việc nhận dạng thiết bị là trung tâm để nhìn xuyên qua các lớp ngụy trang.

Không phải mọi scraping đều thù địch. Các công cụ tìm kiếm, các dịch vụ so sánh giá và các trình thu thập nghiên cứu scraping một cách công khai và tự nhận diện, và nhiều trang web cung cấp các API như một giải pháp thay thế được cho phép. Vấn đề là việc trích xuất khối lượng lớn, trái phép, vốn phớt lờ các điều khoản sử dụng, thu hoạch dữ liệu cá nhân hoặc độc quyền, hoặc làm suy giảm dịch vụ cho những người dùng thật.