Web Scraping

Sebuah scraper mengeluarkan permintaan ke sebuah situs dan mengekstraksi data terstruktur dari respons. Scraper sederhana menggunakan klien HTTP untuk mengambil HTML mentah dan menguraikannya secara langsung, yang cepat dan murah tetapi gagal pada halaman yang membangun kontennya dengan JavaScript. Scraper yang lebih mampu mengendalikan browser headless sehingga mereka dapat me-render halaman dinamis dan membaca DOM yang dihasilkan, dengan biaya lebih banyak sumber daya per halaman.

Untuk mengumpulkan data dalam volume, scraper memparalelkan permintaan dan menyebarkannya ke banyak alamat IP menggunakan kumpulan proxy, sehingga tidak ada asal tunggal yang memicu batas laju per-IP. Mereka merotasi user agent dan nilai fingerprint lainnya agar tampak seperti populasi pengunjung yang beragam, dan mereka mengatur tempo permintaan untuk menghindari pola yang jelas-jelas akan mengungkapkan otomasi.

Situs bertahan dengan campuran pembatasan laju, intelijen jaringan, fingerprinting, dan analisis perilaku. Kontes berpusat pada pembedaan operasi scraping terdistribusi, yaitu banyak permintaan terkoordinasi yang mengenakan penyamaran berbeda, dari populasi asli pengunjung manusia independen. Pemeriksaan konsistensi dan identifikasi perangkat merupakan inti untuk menembus penyamaran tersebut.

Tidak semua scraping bersifat bermusuhan. Mesin pencari, layanan perbandingan harga, dan crawler riset melakukan scraping secara terbuka dan mengidentifikasi diri mereka, dan banyak situs menawarkan API sebagai alternatif yang disahkan. Masalahnya adalah ekstraksi tak berizin bervolume tinggi yang mengabaikan ketentuan penggunaan, memanen data pribadi atau kepemilikan, atau menurunkan layanan bagi pengguna nyata.