كشط الويب

يصدر الكاشط طلبات إلى موقع ويستخرج بيانات منظمة من الاستجابات. تستخدم الكاشطات البسيطة عملاء HTTP لجلب HTML الخام وتحليله مباشرة، وهو سريع ورخيص لكنه يفشل على الصفحات التي تبني محتواها بـ JavaScript. وتقود الكاشطات الأقدر متصفحات مقطوعة الرأس لتتمكن من عرض الصفحات الديناميكية وقراءة الـ DOM الناتج، مقابل موارد أكثر لكل صفحة.

لجمع البيانات بكميات كبيرة، توازي الكاشطات الطلبات وتنشرها عبر عناوين IP كثيرة باستخدام تجمعات وكلاء، بحيث لا يعثّر مصدر واحد حدود المعدل لكل IP. وهي تدوّر وكلاء المستخدم وقيم البصمة الأخرى لتبدو كجمهور متنوع من الزوار، وتضبط وتيرة الطلبات لتجنب أنماط تكشف الأتمتة بوضوح.

تدافع المواقع بمزيج من تحديد المعدل وذكاء الشبكة والبصمة والتحليل السلوكي. وتتركز المنافسة على تمييز عملية كشط موزعة، وهي طلبات كثيرة منسقة ترتدي تمويهات مختلفة، عن جمهور حقيقي من الزوار البشريين المستقلين. وفحوص الاتساق والتعرّف على الأجهزة محوريان لرؤية ما وراء التمويهات.

ليس كل كشط عدائيًا. فمحركات البحث وخدمات مقارنة الأسعار وزواحف الأبحاث تكشط علنًا وتعرّف عن نفسها، وتوفّر مواقع كثيرة واجهات برمجية كبديل مُجاز. والمشكلة هي الاستخراج غير المصرّح به عالي الحجم الذي يتجاهل شروط الاستخدام، أو يحصد بيانات شخصية أو مملوكة، أو يُدهور الخدمة للمستخدمين الحقيقيين.