การขูดข้อมูลเว็บ

ตัวขูดข้อมูล (scraper) ส่งคำขอไปยังไซต์และสกัดข้อมูลที่มีโครงสร้างจากการตอบสนอง ตัวขูดข้อมูลอย่างง่ายใช้ไคลเอนต์ HTTP เพื่อดึง HTML ดิบและแยกวิเคราะห์มันโดยตรง ซึ่งรวดเร็วและราคาถูกแต่ล้มเหลวกับหน้าที่สร้างเนื้อหาด้วย JavaScript ตัวขูดข้อมูลที่มีความสามารถมากกว่าจะขับเคลื่อนเบราว์เซอร์แบบ headless เพื่อให้สามารถเรนเดอร์หน้าแบบไดนามิกและอ่าน DOM ที่ได้ โดยแลกกับทรัพยากรที่มากขึ้นต่อหน้า

เพื่อรวบรวมข้อมูลในปริมาณมาก ตัวขูดข้อมูลจะประมวลผลคำขอแบบขนานและกระจายมันไปตามที่อยู่ IP จำนวนมากโดยใช้พูลพร็อกซี เพื่อไม่ให้ต้นทางเดียวไปสะดุดการจำกัดอัตราต่อ IP พวกมันหมุนเวียน user agent และค่าลายนิ้วมืออื่น ๆ เพื่อให้ดูเหมือนประชากรผู้เข้าชมที่หลากหลาย และกำหนดจังหวะคำขอเพื่อหลีกเลี่ยงรูปแบบที่จะเผยให้เห็นระบบอัตโนมัติอย่างชัดเจน

ไซต์ป้องกันตัวด้วยการผสมผสานระหว่างการจำกัดอัตรา ข่าวกรองเครือข่าย การทำลายพิมพ์นิ้วมือ และการวิเคราะห์พฤติกรรม การแข่งขันมุ่งเน้นไปที่การแยกแยะการดำเนินการขูดข้อมูลแบบกระจาย ซึ่งก็คือคำขอที่ประสานงานกันจำนวนมากที่สวมการปลอมตัวที่แตกต่างกัน ออกจากประชากรผู้เข้าชมที่เป็นมนุษย์อิสระอย่างแท้จริง การตรวจสอบความสอดคล้องและการระบุตัวตนอุปกรณ์เป็นหัวใจสำคัญในการมองทะลุการปลอมตัว

การขูดข้อมูลไม่ใช่ทั้งหมดที่เป็นปฏิปักษ์ เครื่องมือค้นหา บริการเปรียบเทียบราคา และโปรแกรมรวบรวมข้อมูลเพื่อการวิจัย ขูดข้อมูลอย่างเปิดเผยและระบุตัวตนของตนเอง และไซต์จำนวนมากเสนอ API เป็นทางเลือกที่ได้รับอนุญาต ปัญหาคือการสกัดข้อมูลปริมาณสูงที่ไม่ได้รับอนุญาตซึ่งเพิกเฉยต่อข้อกำหนดการใช้งาน เก็บเกี่ยวข้อมูลส่วนบุคคลหรือข้อมูลกรรมสิทธิ์ หรือทำให้บริการเสื่อมลงสำหรับผู้ใช้จริง