近日，快手大數(shù)據(jù)團(tuán)隊(duì)聯(lián)合“快手中學(xué)”，舉辦“快手?jǐn)?shù)據(jù)管治技術(shù)交流會(huì)”，各行業(yè)數(shù)據(jù)相關(guān)開發(fā)者報(bào)名參與。快手是短視頻行業(yè)開創(chuàng)者與引領(lǐng)者，致力于成為全球最癡迷于為客戶創(chuàng)造價(jià)值的公司，幫助人們發(fā)現(xiàn)所需、發(fā)揮所長(zhǎng)，持續(xù)用有溫度的科技提升每個(gè)人獨(dú)特的幸福感。
在海量的 UGC 數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)背后，支撐快手?jǐn)?shù)據(jù)業(yè)務(wù)的快手大數(shù)據(jù)平臺(tái)，秉承“以領(lǐng)先的大數(shù)據(jù)技術(shù)，激活數(shù)據(jù)價(jià)值，賦能業(yè)務(wù)，打造快手核心競(jìng)爭(zhēng)力”的使命。
日處理數(shù)據(jù)集群規(guī)模超過 3W，數(shù)據(jù)量超過 3EB，日入數(shù)據(jù)量超 5PB，例行任務(wù)數(shù)超 30W。今年9月，快手曾圍繞“數(shù)據(jù)架構(gòu)”這一主題舉辦了“快手大數(shù)據(jù)平臺(tái)架構(gòu)技術(shù)交流會(huì)”。本次交流則聚焦“數(shù)據(jù)管治”主題，明年將繼續(xù)開展更多數(shù)據(jù)領(lǐng)域相關(guān)主題活動(dòng)，歡迎在快手APP搜索并關(guān)注“快手大數(shù)據(jù)”官方賬號(hào)獲取活動(dòng)資訊。
（▲出品人介紹）
（▲快手?jǐn)?shù)據(jù)工廠團(tuán)隊(duì)負(fù)責(zé)人 董西成）
首先由快手?jǐn)?shù)據(jù)工廠團(tuán)隊(duì)負(fù)責(zé)人董西成帶來開場(chǎng)致辭。他介紹，快手在數(shù)據(jù)管治領(lǐng)域涉及的方面非常廣泛，包括數(shù)據(jù)規(guī)范、資源控制、集成交換、數(shù)據(jù)建模等，為了推進(jìn)數(shù)據(jù)管治，需要在技術(shù)產(chǎn)品、規(guī)范流程、組織等方面進(jìn)行考慮。
（▲快手?jǐn)?shù)據(jù)管治體系）
本次交流從數(shù)據(jù)管治的標(biāo)準(zhǔn)規(guī)范、資源管控、數(shù)據(jù)質(zhì)量和數(shù)據(jù)服務(wù)四個(gè)方面展開分享，由來自快手的數(shù)據(jù)研發(fā)專家孫偉、程偉、楊釗、薛言、劉一凡分別帶來五個(gè)主題演講。
孫偉介紹了快手在數(shù)據(jù)中臺(tái)化過程中由于模型不規(guī)范帶來的數(shù)據(jù)孤島、指標(biāo)不一致、模型質(zhì)量差等一系列問題，并針對(duì)這些問題結(jié)合元數(shù)據(jù)驅(qū)動(dòng)的思路制定了治理方案，從元數(shù)據(jù)驅(qū)動(dòng)問題的發(fā)現(xiàn)再到治理優(yōu)化，最終實(shí)現(xiàn)數(shù)據(jù)模型的規(guī)范化。
從快手 EB 級(jí)數(shù)據(jù)量下對(duì)于存儲(chǔ)成本管理所遇到的涉及面廣、成本意識(shí)弱、缺乏有效方法等問題出發(fā)，程偉站在成本分析的角度，制定相應(yīng)的存儲(chǔ)成本控制策略，并以專項(xiàng)數(shù)據(jù)治理和自驅(qū)式數(shù)據(jù)管理相結(jié)合的方式去推進(jìn)落地，從而達(dá)到存儲(chǔ)成本管理的目的。
楊釗分享了快手的數(shù)據(jù)保障理念，并通過體系化的方式，保障數(shù)據(jù)完整、準(zhǔn)確、一致、及時(shí)。基于上述保障體系，詳細(xì)介紹了快手在直播場(chǎng)景通過需求流程管理、測(cè)試、質(zhì)檢、應(yīng)急方案等保障策略，以及這些保障策略在直播事前、事中、事后具體的執(zhí)行手段，如雙鏈路設(shè)計(jì)、壓力測(cè)試、應(yīng)急方案制定等，保障了在數(shù)據(jù)量巨大，指標(biāo)計(jì)算復(fù)雜等困難情況下，依然能夠保障整個(gè)數(shù)據(jù)產(chǎn)品的產(chǎn)出及時(shí)，數(shù)據(jù)準(zhǔn)確。
當(dāng)談到元數(shù)據(jù)平臺(tái)和相關(guān)應(yīng)用在快手的發(fā)展過程、現(xiàn)狀及當(dāng)前快手元數(shù)據(jù)平臺(tái)的架構(gòu)時(shí)，薛言分析了面對(duì)數(shù)十種的資產(chǎn)、過億的實(shí)體規(guī)模的異構(gòu)元數(shù)據(jù)，是如何進(jìn)行抽象及管理的。并通過找數(shù)、全鏈路血緣、數(shù)據(jù)治理平臺(tái)等幾個(gè)主要的應(yīng)用場(chǎng)景，展示了元數(shù)據(jù)在快手大數(shù)據(jù)平臺(tái)中發(fā)揮的作用和價(jià)值。
劉一凡介紹了快手在數(shù)據(jù)中臺(tái)化建設(shè)過程中，在指標(biāo)領(lǐng)域建設(shè)所面臨的缺乏流程、規(guī)范引起的口徑不一致、反復(fù)梳理重構(gòu)、缺乏統(tǒng)一服務(wù)引起的數(shù)據(jù)出口不一致等問題。并針對(duì)上述問題分享了流程、規(guī)范、組織以及系統(tǒng)方面的整體解決思路，重點(diǎn)闡述了 OneMetric 以及 OneService 兩個(gè)核心系統(tǒng)模塊的系統(tǒng)設(shè)計(jì)及其關(guān)鍵技術(shù)。
（▲演講嘉賓合影：從左至右，分別為孫偉、薛言、程偉、董西成、楊釗、劉一凡）
本次交流采取線下線上結(jié)合的參會(huì)方式。線下開放了部分參會(huì)名額，所有現(xiàn)場(chǎng)觀眾需佩戴口罩，確保測(cè)溫和健康寶狀態(tài)正常，在簽署健康聲明后方可入場(chǎng)，入會(huì)就座時(shí)也均保持了一定間隔。此外，交流全程還通過“快手 APP”直播，觀看總?cè)藬?shù)超3萬人。
（▲現(xiàn)場(chǎng)簽到）
快手以技術(shù)為核心競(jìng)爭(zhēng)力，十分重視技術(shù)創(chuàng)新和應(yīng)用，同時(shí)也希望通過更多更廣泛的技術(shù)交流，和業(yè)內(nèi)開發(fā)者分享經(jīng)驗(yàn)，碰撞出更多智慧火花，推動(dòng)技術(shù)不斷前進(jìn)。“快手中學(xué)”作為內(nèi)部專業(yè)人才培養(yǎng)平臺(tái)，旨在通過提供豐富多樣的專業(yè)課堂培訓(xùn)、比賽、技術(shù)交流，助力人才成長(zhǎng)，提升專業(yè)能力和專業(yè)影響力。
2020年“快手中學(xué)”聯(lián)合快手技術(shù)團(tuán)隊(duì)共舉辦了四場(chǎng)技術(shù)交流活動(dòng)，內(nèi)容涉及移動(dòng)端、前端、數(shù)據(jù)平臺(tái)架構(gòu)及數(shù)據(jù)管治。未來，由“快手中學(xué)”舉辦的技術(shù)交流還將以每季度一次的頻次長(zhǎng)期開展。
