伴隨著海量數(shù)據(jù)的沖擊,數(shù)據(jù)處理分析能力在業(yè)務(wù)中的價值與日俱增,各行各業(yè)對于數(shù)據(jù)處理時效性的探索也在不斷深入,作為主打?qū)崟r計算的計算引擎 - Apache Flink 應(yīng)運而生。
為給行業(yè)帶來更多實時計算賦能實踐的思路,鼓勵廣大熱愛技術(shù)的開發(fā)者加深對 Flink 的掌握,Apache Flink 社區(qū)聯(lián)手阿里云、英特爾、阿里巴巴人工智能治理與可持續(xù)發(fā)展實驗室 (AAIG)、Occlum 聯(lián)合舉辦 "第三屆 Apache Flink 極客挑戰(zhàn)賽暨 AAIG CUP" 活動,即日起正式啟動。
劃重點:作為全球首個基于推薦系統(tǒng)的流量攻擊實時檢測比賽,我們首次公開了 100 萬流量作弊識別真實數(shù)據(jù)集!并應(yīng)用 Intel SGX 加密技術(shù)保障風(fēng)控模型數(shù)據(jù)安全。
過去兩年,阿里云和英特爾、Apache Flink 社區(qū)聯(lián)合舉辦了第一屆和第二屆 Flink 極客挑戰(zhàn)賽,運用 Flink,Analytics Zoo,Proxima 等平臺和技術(shù),引導(dǎo)選手在垃圾分類,實時疫情追蹤等熱點民生問題上進(jìn)行了思考和創(chuàng)新;阿里巴巴人工智能治理與可持續(xù)發(fā)展實驗室 (AAIG) 主辦了七期安全 AI 挑戰(zhàn)者計劃,如人臉識別對抗賽、辱罵文本對抗賽、防御模型白盒以及無限制對抗賽等,勇闖 AI 對抗無人區(qū),并發(fā)起 AI 治理多學(xué)科交叉結(jié)合的新項目 AAIG-CUP。
今年的第三屆 Flink 極客挑戰(zhàn)大賽暨 AAIG CUP,利用了第三代英特爾®至強(qiáng)®可擴(kuò)展處理器的 Intel® SGX 技術(shù),引導(dǎo)選手在隱私保護(hù)的機(jī)器學(xué)習(xí)方面進(jìn)行探索和開發(fā)。本屆比賽將繼續(xù)面向全社會開放,個人、高等院校、科研單位、企業(yè)、創(chuàng)客團(tuán)隊等人員均可報名參賽。
賽題背景
隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)購成為越來越多人的選擇,據(jù)阿里巴巴財報顯示,2020 財年阿里巴巴網(wǎng)站成交總額突破一萬億美元,全球年度活躍消費者達(dá) 9.60 億。
為了滿足不同用戶的個性化需求,電商平臺會根據(jù)用戶的興趣愛好推薦合適的商品,從而實現(xiàn)商品排序的千人千面需求。為了獲取更多的平臺流量曝光,將自己的商品展現(xiàn)在更多的消費者面前,部分商家通過 HACK 平臺的推薦機(jī)制從而增加商品的曝光機(jī)會。其中一種典型的手法為 "抱大腿" 攻擊,該方法通過雇傭一批惡意用戶協(xié)同點擊目標(biāo)商品和爆款商品,從而建立目標(biāo)商品與爆款商品之間的關(guān)聯(lián)關(guān)系,提升目標(biāo)商品與爆款商品之間的 I2I 關(guān)聯(lián)分。
商家通過這種方式誘導(dǎo)用戶以爆款的心理預(yù)期購買名不符實的商品,不僅損害了消費者的利益,降低其購物體驗,還影響了平臺和其他商家的信譽(yù),嚴(yán)重擾亂了平臺的公平性。實時攔截此類行為,有助于在保證推薦的時效性的同時,保護(hù)實時推薦系統(tǒng)不受惡意攻擊影響。
如何準(zhǔn)確、高效地識別這類型的惡意流量攻擊,實時過濾惡意的點擊數(shù)據(jù)是推薦系統(tǒng)中迫切需要解決的問題。
除此之外,此類實時風(fēng)控系統(tǒng)對數(shù)據(jù)安全的要求較高。如果系統(tǒng)的攔截算法意外泄漏,HACK 平臺將得以針對性地加強(qiáng)惡意流量的偽裝能力,增大平臺監(jiān)控惡意流量的難度。因此,此類系統(tǒng)有必要部署在加密的可信環(huán)境中。
本賽題要求選手基于 Flink,Analytics Zoo/BigDL 等組件,在 Occlum 環(huán)境中搭建保護(hù)數(shù)據(jù)安全的 PPML (Privacy Preserving Machine Learning) 應(yīng)用,實現(xiàn)對惡意流量的實時識別。
賽程安排
本次大賽分為初賽、復(fù)賽和決賽三個階段,時間安排如下:
初賽階段
參賽隊伍將采用 docker 鏡像的提交方式,由選手提交打包好的代碼鏡像來運行得出搭建結(jié)果;參賽隊伍通過天池平臺下載小型訓(xùn)練集和測試集,用于本地訓(xùn)練和調(diào)試算法;最終完成的代碼鏡像提交到天池平臺后,由評測系統(tǒng)在完整數(shù)據(jù)集上訓(xùn)練與預(yù)測。
復(fù)賽階段
進(jìn)入復(fù)賽后,將會進(jìn)一步要求選手在半監(jiān)督數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)模型,同時鼓勵選手在工程上做一些優(yōu)化與創(chuàng)新。
決賽階段
最終的決賽將以答辯會的形式進(jìn)行,晉級決賽團(tuán)隊需提前按照要求準(zhǔn)備答辯 PPT,而在場評委將根據(jù)選手的技術(shù)思路、理論深度現(xiàn)場表現(xiàn)進(jìn)行綜合評分。
活動激勵
據(jù)悉,本次大賽最終將產(chǎn)生:
· 冠軍隊伍 1 支,獎金 10 萬人民幣;
· 亞軍隊伍 2 支,獎金各 5 萬人民幣;
· 季軍隊伍 3 支,獎金各 2 萬人民幣;
· 優(yōu)勝獎隊伍 4 支,獎金 1 萬人民幣。
同時,本次大賽在報名階段還將延續(xù)上一屆的 "鼓勵師計劃" 玩法,成功邀請小伙伴參賽即可成為鼓勵師贏取豐厚的禮品!
彩蛋:本次比賽頒獎典禮預(yù)計將于 12 月 Flink Forward Asia 2021 (近期正式上線) 主論壇舉辦,活動信息獲取歡迎關(guān)注 “Flink 中文社區(qū)” 公眾號,更多參賽秘籍等你 Get～!
