你的流量中 49.6% 是机器人:这对你的业务意味着什么
近一半的互联网流量都是自动化的。以下是数据的结论、它的代价,以及你能采取的应对措施。
根据 Imperva《2024 恶意机器人报告》,如今 49.6% 的互联网流量都是自动化的——机器人、爬虫和脚本。其中 32% 被归类为恶意机器人流量:这些自动化程序被设计用来大规模抓取数据、撞库、实施欺诈或滥用系统。
这是互联网历史上第一次,人类流量成为少数。如果你的业务没有主动检测和管理机器人流量,那么你近一半的基础设施成本和分析数据都是由机器驱动的。
机器人分类学
好机器人(搜索引擎爬虫、监控机器人)约占流量的 17.6%。恶意机器人——剩下的 32%——可分为几个类别:
撞库机器人
这些机器人从数据泄露中获取被盗的用户名/密码组合列表,并大规模地在登录页面上进行尝试。被盗凭证在暗网市场上每千条售价 1-10 美元。0.1-2% 的成功率意味着每一百万次尝试就能攻陷数百个账户。根据 Ponemon Institute 的数据,一次撞库攻击的平均成本约为 600 万美元。
抓取机器人
网页抓取机器人会提取定价数据、产品列表和内容。电商平台尤其脆弱——竞争对手实时抓取定价数据,可以在几分钟内压低价格。
广告欺诈机器人
根据 Juniper Research 的数据,广告欺诈是一个 840 亿美元的难题。机器人在数字广告活动中制造虚假的展示、点击和转化。老练的广告欺诈团伙使用住宅代理和反检测浏览器,让机器人流量看起来像真实用户。
库存囤积机器人
这些机器人瞄准限量供应的库存——演唱会门票、限量版产品、预订名额。仅球鞋转售市场每年就产生 20 亿美元的规模,其中很大一部分由机器人驱动的库存囤积所推动。
为什么验证码不再有效
AI 驱动的破解。 GPT-4V 及类似的多模态 AI 模型破解视觉验证码的准确率可达 85-95%。
验证码作坊。 人工每破解一千次验证码收费 1-3 美元。像 2Captcha 这样的服务每天处理数百万次请求。
用户体验的影响。 Google 的研究表明,验证码会使转化率下降 3-8%。你在阻挡真实客户,而机器人无论如何都能破解验证码。
机器人复杂度的演进
第一代:简单的 HTTP 机器人。 直接发送 HTTP 请求的脚本。很容易被 WAF 检测到。
第二代:无头浏览器。 Puppeteer、Playwright 和 Selenium 自动化操作真实浏览器。可通过自动化框架留下的痕迹检测到。
第三代:反检测浏览器。 Multilogin、GoLogin 和 Dolphin Anty 会创建完全伪造的浏览器环境。可通过 canvas 不一致性分析和时序异常检测到。
第四代:AI 驱动的机器人。 正在浮现的威胁——这些机器人利用机器学习模仿人类的行为模式,包括鼠标移动、滚动模式和打字节奏。
tracio.ai 的方法
有效的机器人检测需要多个层次:
设备指纹从 130 多个浏览器信号中生成持久的访客 ID,这些 ID 能在 VPN 切换、清除 Cookie 和隐身会话之间保持不变。
行为分析评估交互模式。即便机器人能完美模仿鼠标移动,仍会在时序和抖动上产生可检测的模式。
Smart Signals 提供 24 个服务端计算的增强信号,包括隐身模式、VPN/代理、模拟器和 canvas 伪造检测。
判定引擎将所有信号融合为单个 ALLOW、BLOCK 或 CHALLENGE 决策,用时不到 50 毫秒。
你应该做什么
- 测量你的机器人流量。 从 tracio.ai 的免费套餐开始,运行一周。
- 优先保护高价值端点。 登录、注册、结账和 API 端点。
- 不要只依赖验证码。 将设备情报作为主要的检测层。
- 持续监控。 机器人运营者会不断适应。随威胁态势演进的自动化检测至关重要。
- 量化投资回报。 追踪基础设施成本、欺诈损失和分析准确度的改善情况。