Device fingerprinting doğruluk iddiaları nasıl değerlendirilir: bir alıcı çerçevesi

Her device intelligence sağlayıcısı ana sayfasına bir doğruluk sayısı koyar. Sayılar şüpheli biçimde birbirine yakındır — %99,5, %99,6, %99,9 — ve hiçbiri onları karşılaştırmanıza olanak verecek bağlamla gelmez. Payda, zaman ufku ve «doğru»nun tanımı olmayan bir yüzde bir ölçüm değildir. O bir slogandır.

Bu yazı, o sloganı yeniden doğrulayabileceğiniz bir şeye çevirmek için bir alıcı çerçevesidir. Satın almayı gerçekten savunmak zorunda olan kişiler için yazıldı: seçtikleri sistem ya dolandırıcılığı kaçırırsa ya da gerçek müşterileri engellerse suçlanacak olan mühendislik liderleri, dolandırıcılık analistleri ve ürün sahipleri. Amaç, size bilgilendirici yanıtlar üreten soruları ve bu yanıtları kendi trafiğinize karşı kontrol etmenizi sağlayan deneme tasarımını vermektir.

«Device fingerprinting doğruluğu» aslında neyi ölçer?

Device fingerprinting'de doğruluk neredeyse her zaman tek belirli bir şey anlamına gelir: daha önce gördüğünüz bir cihaz geri döndüğünde, sistem onu aynı cihaz olarak ne sıklıkla tanır ve aynı tanımlayıcıyı geri verir? Bu, geri dönen cihazlardaki eşleşme oranıdır ve sağlayıcıların alıntıladığı sayı budur.

Sorun şu ki bu tek sayı, tamamen farklı iki başarısızlık modunu gizler ve bunlar zıt yönlere çeker.

Bir false negative, aynı fiziksel cihaz geri döndüğünde sistemin onu tanımaması durumudur — daha önce gördüğü bir cihaz için yepyeni bir tanımlayıcı üretir. Dolandırıcılık terimleriyle, bu, çerezini temizleyen, bir ayarı değiştiren ve yeni bir ziyaretçi gibi muamele gören dolandırıcıdır. Yüksek false negative oranları, çoklu hesap açma, deneme istismarı ve tekrar suç işleyen tespitinizin sessizce sızması demektir.

Bir false positive, gerçekten farklı iki cihazın tek bir tanımlayıcıya çökertilmesi durumudur — benzer kurumsal dizüstülerdeki iki gerçek müşteriniz birleştirilir, böylece birinin eylemi diğerinden gelmiş gibi görünür. Yüksek false positive oranları, meşru kullanıcıları engellediğiniz veya zorladığınız ve destek talepleri ürettiğiniz anlamına gelir.

İşte sağlayıcıların gönüllü söylemediği kısım: tek bir düğmeyi çevirerek birini diğeriyle takas edebilirsiniz. Eşleşme eşiğini gevşetin, false negative'ler düşerken false positive'ler tırmanır. Sıkılaştırın, tersi olur. Herhangi bir sağlayıcı, diğerini feda ederek her iki metriğin de yalnızca birinde etkileyici bir sayıya ulaşabilir. Yalnızca eşleşme oranını tanımlayan bir başlık «%99,5 doğruluk», buna ulaşmak için kaç farklı cihazın yanlışlıkla birleştirildiği hakkında size hiçbir şey söylemez. Her zaman her iki sayıyı da isteyin. Eşiklerin ham sinyal mesafesini bir eşleşme kararına nasıl dönüştürdüğünün mekaniği doğrudan anlaşılmaya değer — bunları bulanık cihaz eşleştirmesinin matematiği yazısında ele alıyoruz.

Neden tek bir doğruluk sayısı her zaman eksiktir

Bir device fingerprint sabit bir değer değildir. Tarayıcı güncellendikçe, işletim sistemi yamalandıkça, bir monitör değiştirildikçe veya ağ yolu değiştikçe sürüklenen bir gözlem kümesidir. Bu, doğruluğun bir sabit değil, zamanın bir fonksiyonu olduğu anlamına gelir.

Birinci gün, geri dönen bir cihazı eşleştirmek kolaydır — onu en son gördüğünüzden bu yana hiçbir şey değişmemiştir. Otuz gün sonra, aynı cihaz iki tarayıcı güncellemesi ve bir işletim sistemi ara sürümünden geçmiş olabilir ve eşleştiğiniz sinyallerin bazıları kaymıştır. Yüz seksen gün sonra, sürüklenme önemlidir. Birinci günde %99,9 puan alan bir sistem, eşleştirme modeli sürüklenmeyi ele almazsa 90. günde rahatlıkla düşük 90'lara düşebilir ve sağlayıcı size yine de birinci gün sayısını alıntılayacaktır.

Yani belirlenmesi gereken ilk şey şudur: hangi pencere üzerinde %99,5? Metriğin dürüst biçimi bir eğridir — 1. gün, 30. gün, 90. gün ve 180. günde ölçülen eşleşme oranı — tek bir nokta değil. Mühendisliği yapmış bir sağlayıcı size o eğriyi gösterebilir ve neden o şekilde büküldüğünü açıklayabilir. Yalnızca bir pazarlama sayısı olan bir sağlayıcı konuyu değiştirir. Sürüklenmenin mekanizmasına tarayıcı güncellemeleri boyunca sinyal kararlılığı yazısında daha derinlemesine giriyoruz.

İkinci eksik parça paydadır. Hangi popülasyonun %99,5'i? Kuzey Amerika'da masaüstü Chrome'da ölçülen doğruluk, gizlilik açısından sertleştirilmiş Safari'de, eskiyen Android cihazlarda veya taşıyıcı düzeyi NAT arkasındaki trafikte ölçülen doğruluktan farklı bir sayıdır. Trafiğiniz zor durumlara doğru eğilimliyse, sağlayıcının harmanlanmış ortalaması sizin sayınız değildir.

Gerçekten önemli olan metrikler

Başlığın altında, dört ölçüm bir sistemin üretimde ne yapacağını size söyler. Her sağlayıcı görüşmesini bunların etrafında çerçeveleyin.

Zaman içinde eşleşme oranı. Doğru şekilde yeniden tanımlanan geri dönen cihazların yüzdesi, birden çok ufukta raporlanır. Bu, «cihazı tanıdık mı» sayısıdır ve pencere eklenmiş olarak gelmelidir.

Çakışma oranı (false positive oranı). Paylaşılan bir tanımlayıcıya yanlışlıkla birleştirilen farklı cihazların yüzdesi. Bu, gerçek bir müşteriye ne sıklıkla zarar vereceğinizi belirleyen sayıdır. Pazarlama materyallerinden en sık atlanan metriktir, çünkü tam da düşük tutulması pahalı olan odur.

Kararlı kimliğe kadar geçen süre. Bir tanımlayıcının yerleşmesi için sistemin kaç gözleme ihtiyaç duyduğu. Bazı sistemler ilk sayfa yüklemesinde güvenli bir kimlik atar; diğerleri tanımlayıcı çalkalanmayı durdurmadan önce iki veya üç etkileşime ihtiyaç duyar. Karar noktanız ilk isteğin ta kendisiyse — bir kayıt, bir misafir ödemesi — kararlılaşmak için üç gözleme ihtiyaç duyan bir sistem, kararını eksik bilgiyle veriyordur.

Kapsam. Sistemin fingerprint alabildiği trafiğin yüzdesi. Tanımlayabildiği trafiğin %80'inde harika puan alan ama kalan %20'de sessizce pes eden bir sistemde bir kapsam açığı vardır ve dolandırıcılık boşluklara akar. Sistemin fingerprint alamadığı trafiğe ne olduğunu ve bu başarısızlığın size görünür mü yoksa sessiz mi olduğunu sorun.

Herhangi bir tek doğruluk iddiası üzerinde yararlı bir mantık kontrolü:

Soru	Zayıf yanıt	Güçlü yanıt
Hangi pencere üzerinde?	«Testlerimizde.»	«1 / 30 / 90 / 180. gün eğrisi, işte burada.»
Çakışma oranı nedir?	«İhmal edilebilir.»	Aynı şekilde ölçülmüş belirli bir sayı.
Hangi popülasyonda?	«Genel olarak.»	Tarayıcı, işletim sistemi, bölge, ağa göre ayrılmış.
Bir eşleşme nasıl doğrulanır?	«Modelimiz halleder.»	Tarif edilmiş bir gerçek referans metodolojisi.

Bir doğruluk iddiasını kendi trafiğinizde nasıl doğrularsınız?

Bunu, gerçek referansı zaten bildiğiniz trafikten etiketli bir test kümesi oluşturup ardından sağlayıcıyı buna karşı ölçerek doğrularsınız. Sağlayıcının sayıları bir başlangıç hipotezidir; trafiğiniz deneydir. Hiçbir iddia iyi tasarlanmış bir denemeyle temastan sağ çıkmamalı ve hiçbir iddiaya böyle bir deneme olmadan güvenilmemelidir.

Temel zorluk gerçek referansı elde etmektir — hangi gözlemlerin gerçekten aynı cihazdan geldiğini bilmek. Nadiren kusursuz bir kâhine sahip olursunuz, ama iyi vekilleriniz vardır:

Kimliği doğrulanmış oturumlar. Bir kullanıcı giriş yaptığında, belirli bir hesabın belirli bir cihazı çalıştırdığına dair güçlü bir sinyaliniz olur. Aynı fiziksel cihazdaki aynı hesap için birçok kimliği doğrulanmış oturumda bir sağlayıcının atadığı cihaz tanımlayıcılarını izleyin. Tanımlayıcı geri dönen bir kullanıcının oturumları boyunca kararlı kalırsa, bu doğru bir eşleşmedir; çalkalanırsa, bu sayabileceğiniz bir false negative'dir.

Bilinen-farklı cihazlar. Fiziksel olarak kontrol ettiğiniz bir cihaz filosunu — farklı markalar, tarayıcılar, işletim sistemi sürümleri — kaydedin ve sistemin her birine farklı, kararlı bir tanımlayıcı atadığını doğrulayın. Bilinen-farklı cihazlarınızdan herhangi ikisi tek bir tanımlayıcıya çökerse, gerçek bir çakışma ölçmüş olursunuz.

Kasıtlı sürüklenme. Kontrollü cihazları alın ve tarayıcıyı güncelleyin, bir ekranı değiştirin, ağları değiştirin, ardından tanımlayıcının değişimden sağ çıktığını doğrulayın. Bu, birinci gün demosunun asla denemediği sürüklenme yönetimini ölçer.

Bunu en az 30 gün çalıştırın. Daha kısa herhangi bir şey kolay durumu ölçer ve tam olarak olgun bir eşleştirme modelini naif olandan ayıran bozulmayı kaçırır. Her iki hata türünü de ayrı ayrı ölçün — yalnızca eşleşme oranını sayan bir deneme, sistemin yarısını ölçüyordur.

Mühendisliği pazarlamadan ayıran sorular

Bir sağlayıcıyla aynı odadayken, bu sorular sayının arkasında gerçek iş olup olmadığını ortaya çıkarır.

• «Bana bir nokta değil, 180 günlük pencere boyunca doğruluk eğrisini gösterin.» Olgun bir eşleştirme modeline sahip bir sağlayıcı bunu elinde bulundurur ve sizi şekli boyunca gezdirir. Böyle bir modeli olmayan bir sağlayıcı tek bir sayı sunar ve zorlamamanızı umar.
• «O eşleşme oranını üreten eşikte çakışma oranınız nedir?» Bu, takasın her iki tarafını da açığa çıkarmaya zorlar. Yanıt, belirtilen bir popülasyonda ölçülmüş belirli bir sayı olmalıdır.
• «Model, tarayıcı değiştiren bir cihazla, benzer görünen gerçekten yeni bir cihazı nasıl ele alır?» Bu, temel zor problemdir. Yanıt, eşleştirmenin naif bir sinyal karşılaştırması mı yoksa gerçek sürüklenme üzerinde eğitilmiş bir model mi olduğunu ortaya koyar.
• «Trafiğimin hangi kısmının fingerprint'ini alamayacaksınız ve bunu görecek miyim?» Kapsam açıkları dolandırıcılığın yoğunlaştığı yerdir. Sessiz açıklar görünür olanlardan daha kötüdür.
• «Hangi sinyaller doğruluğunuzu taşır ve kolay olanlar taklit edildiğinde veya kısıtlandığında ne olur?» Tamamen tarayıcı katmanı sinyallerine yaslanan sistemler, anti-detect araçları veya gizlilik özellikleri bu sinyalleri kaldırdığında bozulur. Ağ ve davranışsal sinyalleri ağırlıklandıran çok katmanlı sistemler dayanır. Bir device fingerprint'in arkasındaki mühendislik yazısı katmanlı kapsamın neden önemli olduğunu ele alır.

Bir sağlayıcı bunların tümünü belirli ayrıntılarla yanıtlıyorsa, bir mühendislik ekibiyle konuşuyorsunuzdur. Yanıtlar ana sayfa sayısı düzeyinde kalıyorsa, bir pazarlama departmanıyla konuşuyorsunuzdur ve doğruluk iddiası, kendi denemeniz aksini söyleyene kadar doğrulanmamış olarak ele alınmalıdır.

Çerçeveyi işe koymak

Doğruluk kabul ettiğiniz bir sayı değildir. Ayrıştırdığınız bir iddiadır — eşleşme oranı ile çakışma oranına, bir zaman eğrisi boyunca, kendi popülasyonunuzda — ve ardından bağlanmadan önce etiketli bir denemeyle yeniden ürettiğiniz. Mühendisliği yapmış bir sağlayıcı bu incelemeyi memnuniyetle karşılar, çünkü sayıları buna dayanır. Yapmamış bir sağlayıcı sizi ana sayfadaki slogana geri yönlendirir.

Tracio, %99,5 doğruluğu 30 günlük bir ufuk boyunca eşleşme oranı olarak, yalnızca tarayıcı sondalarıyla değil çapraz katman sinyalleriyle ölçülmüş olarak yayımlar ve temeldeki sinyaller her kararla birlikte geri döner, böylece etikete güvenmek yerine eşleşmeyi kendiniz denetleyebilirsiniz. Tanımlama katmanı tam da bu şekilde değerlendirilmek üzere inşa edilmiştir — trafiğinizle, gerçek referansınızla ve her iki hata türü de ölçülerek.

Çerçeveyi gerçek trafiğe karşı çalıştırmak ister misiniz? Ücretsiz denemeye başlayın — 2.500 doğrulama ücretsiz, kredi kartı gerekmez — veya bir demo ayırtın ve size eşleşme oranını ve çakışma oranını kendi cihazlarınızda ölçen etiketli bir deneme tasarlamanıza yardım edelim.