Bot Detection

Система виявлення ботів TRACIO ідентифікує автоматизовані браузери, headless-інструменти та скриптовані атаки за допомогою дворівневої архітектури: збір сигналів на боці клієнта та аналіз на боці сервера. Вона виявляє поширені фреймворки автоматизації, headless-браузери, ШІ-агентів для веб-серфінгу та antidetect-браузери з майже нульовою кількістю хибних спрацювань, автоматично додаючи легітимні кроулери пошукових систем до allowlist.

Що виявляє TRACIO

• Фреймворки автоматизації — Selenium, Puppeteer, Playwright, Cypress, PhantomJS, NightmareJS та інші, за window/document-артефактами та поведінкою stack-trace.
• Headless-браузери — headless Chrome та споріднені середовища виконання (CDP-артефакти, рендеринг на програмному GPU, відсутні об'єкти браузера).
• ШІ-агенти для веб-серфінгу — Browser-Use, Claude Computer Use, Fellou, Genspark, Skyvern та подібні середовища виконання агентів.
• Antidetect-браузери — Multilogin, GoLogin, Dolphin та інші браузери, що підробляють fingerprint, за CSS-/property-/integrity-перевірками.
• Верифіковані кроулери — Googlebot, Bingbot, Applebot, GPTBot, Yandex, DuckDuckGo та інші, верифіковані через reverse DNS, щоб підроблені user-agent не проходили.

Архітектура виявлення

Збір на боці клієнта

Браузерний агент збирає низку специфічних для ботів та крос-валідаційних сигналів, які живлять рішення на боці сервера. Наведені нижче ID сигналів є ілюстративними — внутрішні ID не є стабільним публічним контрактом:

Аналіз на боці сервера

Сервер запускає набір детекторів, чиї зважені результати комбінуються у bot-score. Score зіставляється з вердиктом через порогові значення — bot, коли він ≥ 0,70, suspicious, коли ≥ 0,30, інакше human — а hard-fail-сигнал (наприклад, navigator.webdriver) одразу примусово встановлює вердикт bot. Вердикти bot несуть довільну мітку bot_type.

Репрезентативні детектори та їхній ефект:

Тариф і доступність. Виявлення DevTools працює на Business та Enterprise; виявлення VM — Enterprise; виявлення емулятора працює на всіх планах. Усе це працює у веб-агенті. Виявлення root, jailbreak, клонованих/dual-app, Frida та скидання до заводських налаштувань залежить від нативних мобільних сигналів і не є ефективним у веб-розгортанні (у розробці). Покладайтеся на вердикти щодо автоматизації, headless, ШІ-агентів, antidetect, VM/емулятора та поведінки, які повністю активні у веб.

Формат результату

Виявлення ботів записує поле bot_result у кожній події (та bot.result у payload вебхука).

Значення результату

bot_result — одне з трьох канонічних значень:

Це зіставляється з бізнес-полем decision (real, fake або suspicious), що використовується у всьому dashboard, і з bot.result у payload вебхука.

Типи ботів (коли результат "bot")

bot_type — довільний рядок. Наведені нижче значення є ілюстративними прикладами того, що видають детектори, а не вичерпним enum:

Пояснення методів виявлення

1. Прапорець Webdriver

Найпряміше виявлення. Усі основні фреймворки автоматизації встановлюють navigator.webdriver = true згідно зі специфікацією WebDriver. Це перевіряється як у головному фреймі (s300), так і в прихованому iframe (s158), щоб виявити інструменти, які патчать лише головний фрейм.

2. Сканування фреймворків автоматизації

Комплексне сканування властивостей window та document на специфічні для фреймворків артефакти:

Сканування також використовує regex-патерн /^([a-z]){3}_.*_(Array|Promise|Symbol)$/ для виявлення впроваджених Selenium допоміжних глобальних об'єктів.

3. Виявлення headless-браузера

Оцінюється 11 маркерів, з порогом 2 або більше для класифікації:

4. Верифікація хороших ботів

Відомі хороші боти розпізнаються за патерном User-Agent. Кожен верифікується через reverse DNS, щоб запобігти spoofing:

1. Reverse-DNS-запит на IP підключення для отримання hostname
2. Перевірка суфікса hostname за дозволеними доменами (наприклад, .googlebot.com)
3. Forward-DNS-запит на hostname для перевірки збігу IP

Якщо запит стверджує, що він Googlebot, але reverse DNS його IP розв'язується у сторонній домен (підтверджена невідповідність PTR, а не просто відсутній/протермінований запит), він класифікується як bot (тип spoofed:google).

5. Поведінковий аналіз

Виявлення на основі rate з entropy-scoring:

Додаткове правило: відсутність подій миші/клавіатури після 30+ секунд тривалості сесії класифікує візит як bot з типом noInteraction.

6. Аналіз eval-length

eval.toString().length дає узгоджені значення для кожного engine:

• 33: Chrome, Edge (V8)
• 37: Firefox (SpiderMonkey), Safari (JavaScriptCore)

Будь-яке інше значення вказує на те, що функцію eval перехопив фреймворк автоматизації, що класифікує візит як bot з типом unknown.

Приклади інтеграції

Блокування ботів під час логіну (клієнт)

Клієнтський SDK надає зручний boolean, result.bot.detected:

const result = await tracio.getResult()

if (result.bot.detected) {
  // Log and block
  console.warn(`Bot detected (confidence ${result.bot.confidence})`)
  showCaptcha()
  return
}

// Proceed with login
await login(credentials)

Перевірка бота на боці сервера

На своєму сервері реагуйте на доставку вебхука. Виявлення ботів міститься в об'єкті bot — bot.result та bot.type:

// `event` is the webhook delivery body (/docs/webhooks)
app.post("/webhook/tracio", async (req, res) => {
  const event = req.body

  if (event.bot.result === "bot") {
    await db.blockedRequests.insert({
      visitorId: event.visitorId,
      botType: event.bot.type,
      ip: event.ip,
      timestamp: new Date(),
    })
  }

  res.status(200).send("OK")
})

Обробка хибних спрацювань

Виявлення ботів TRACIO спроєктоване для майже нульової кількості хибних спрацювань. Проте можливі граничні випадки:

Якщо ви натрапите на хибні спрацювання, перегляньте поле bot.type, щоб зрозуміти, який детектор спрацював, і відповідно скоригуйте свою політику.