वेब स्क्रैपिंग

एक scraper किसी साइट को अनुरोध जारी करता है और प्रतिक्रियाओं से संरचित डेटा निकालता है। सरल scraper कच्चे HTML को लाने और उसे सीधे पार्स करने के लिए HTTP क्लाइंट का उपयोग करते हैं, जो तेज़ और सस्ता है लेकिन उन पेजों पर विफल हो जाता है जो अपनी सामग्री JavaScript से बनाते हैं। अधिक सक्षम scraper डायनामिक पेजों को रेंडर करने और परिणामी DOM को पढ़ने के लिए हेडलेस ब्राउज़र चलाते हैं, प्रति पेज अधिक संसाधनों की कीमत पर।

बड़ी मात्रा में डेटा इकट्ठा करने के लिए, scraper अनुरोधों को समानांतर करते हैं और उन्हें प्रॉक्सी पूलों का उपयोग करके कई IP पतों में फैला देते हैं, ताकि कोई एकल मूल प्रति-IP रेट लिमिट को न छेड़े। वे विज़िटर्स की एक विविध आबादी जैसा दिखने के लिए user agents और अन्य fingerprint मूल्यों को घुमाते हैं, और अनुरोधों को इस तरह लयबद्ध करते हैं कि ऐसे पैटर्न से बचा जा सके जो स्पष्ट रूप से स्वचालन प्रकट कर देते।

साइटें रेट लिमिटिंग, network intelligence, fingerprinting और व्यवहार विश्लेषण के मिश्रण से बचाव करती हैं। मुक़ाबला एक वितरित scraping परिचालन को — जो अलग-अलग भेस पहने कई समन्वित अनुरोध हैं — स्वतंत्र मानव विज़िटर्स की एक असली आबादी से अलग करने पर केंद्रित होता है। भेस को भेदने के लिए संगति जाँचें और device identification केंद्रीय हैं।

सारी स्क्रैपिंग शत्रुतापूर्ण नहीं होती। सर्च इंजन, कीमत-तुलना सेवाएँ और अनुसंधान क्रॉलर खुले तौर पर स्क्रैप करते हैं और स्वयं की पहचान बताते हैं, और कई साइटें एक स्वीकृत विकल्प के रूप में API प्रदान करती हैं। समस्या अनधिकृत, उच्च-मात्रा वाला निष्कर्षण है जो उपयोग की शर्तों की अनदेखी करता है, व्यक्तिगत या स्वामित्व वाले डेटा की कटाई करता है, या असली उपयोगकर्ताओं के लिए सेवा को खराब करता है।