云聯反欺詐技術一瞥

眾所周知，互聯網普遍存在的“非人類流量”（NHT， non-human-traffic）干擾廣告投放的現象，而公開交易市場又是一個通過實時競價(RTB)售賣的最低層媒體庫存的交易市場，它遍布中小媒體的海量庫存，因此實施監控相當困難。造成該問題的原因，一個是許多用戶計算機依然運行著老版本的Windows系統，這些系統感染了惡意軟件，只要打開計算機，機器人就會在后臺運行；另一個是Android手機，在用戶毫不知情的情況下，預裝或者安裝了各種各樣應用的情況比比皆是，被各種流氓軟件留些后門已是常態，順理成章地為黑色產業鏈做貢獻。

   云聯傳媒采用以下技術手段對作弊進行甄別。

   1、通過云聯自有IP庫以及第三方合作對來路進行區分，目前可以識別以下五種數據來源：1）數據中心（即IP地址屬于互聯網數據中心機房）。2）專用出口（即IP地址是中大型機構使用的固定IP互聯網接入專線）。3）骨干節點（即IP地址屬于運營商路由器節點IP）。4）普通寬帶（即IP地址是普通家庭或中小型機構、企業寬帶等情況）。5）移動寬帶（即IP地址是移動2G/3G/4G等情況）。前三種節點絕大部分都是不真實的流量，RTB參與競價時會過濾掉。

   2、運用機器學習算法和數據挖掘技術產生的IP真實度評分系統，能夠識別出人類正常形態的數據。評分體系如下：0~49分：此區段的IP，與人類正常形態差異較大，RTB競價時會下調或放棄出價；50~99分：此區段的IP，基本符合人類正常訪問形態，可視為正常訪問來源。

   3、對廣告投放按唯一用戶設置頻次控制，降低模擬器或程序自動刷流量的風險。

   4、運用數據挖掘技術建立云聯自己的反作弊庫，從海量日志識別具有欺詐行為的APP、IP，在競價時做過濾。主要從以下幾方面認定：

    1）廣告點擊率異常：指的是虛擬或惡意點擊，即Click/PV過高比例，或者起伏很大。

    2）訪問者指紋信息(瀏覽器，操作系統等)異常：例如同等條件下占較大比例的訪問都來自于同一版本的操作系統或瀏覽器；或者信息中帶有Robot/Spider等標識信息。

    3）IP分布異常：通過日志挖掘出某幾個IP產生大量的點擊或者曝光。

    4）廣告點擊沒有對應的曝光請求異常：如果廣告同時監測了曝光和點擊，廣告的點擊前都應該出現對應廣告的曝光，且絕大多數都應該出現在同時段的曝光日志中。

    5）廣告訪問時間分布異常/規律：某些IP/MZID每分鐘定時出現在點擊/曝光日志中，或者連續點擊/曝光的發生時間的間隔過于規律。

    6）廣告來源異常：點擊或者曝光的Referer可以標記點擊或曝光的來源頁面，如果大量來源集中在某一頁面，且不是廣告所在的Web頁面，可能存在媒體在其他流量大的地方(如BBS)設置隱藏頁面來充當曝光和點擊。