11月20日,2020年“AWS CIO論壇”在深圳舉行,匯量科技(Mobvista)聯合創始人兼總裁曹曉歡應邀出席論壇并發表精彩演講。曹曉歡在演講中表示,“創新”與“節儉”不僅是Amazon文化的重要組成部分,其實也是匯量科技從創立以來一直堅持的理念,正是由于文化上的契合讓匯量科技與AWS攜手至今。多年的業務發展中,匯量科技一直在探索快速創新的同時如何盡可能降低成本,同樣也希望能幫助到更多企業更高效的使用云。面向未來,匯量科技將由技術創新者轉變為技術輸出者,為客戶創造更多的價值。
曹曉歡介紹,“性能”和“成本”是過去幾年困擾匯量科技業務增長的兩大挑戰。由于匯量科技在全球市場實現端到端毫秒級數據延遲的同時需嚴格控制每次請求處理的服務器成本, 因此“稍有不慎就會導致虧損”。為了解決這兩大難題,匯量科技始終堅持不斷創新,自研開發了大數據機器學習平臺MindAlpha與基于“云原生”的大型彈性集群管理平臺SpotMax。
大數據機器學習平臺成倍提升效率
如何通過端與端之間的超低延遲實現實時預測和個性化推薦,是匯量科技身處程序化廣告行業的第一個挑戰。程序化廣告要求每一個廣告請求背后均可實現復雜的算法預測,同時市場關注熱點的快速變化也要求系統有能力實時捕捉用戶的興趣變化,才能滿足廣告收益最大化的訴求。作為第三方平臺,匯量科技面臨著極大的數據稀疏性和維度復雜性的考驗。
為了能夠在算法性能的優化上具備追求極致的最大空間,匯量科技搭建了一套完善的一站式大數據機器學習平臺MindAlpha。這一平臺為匯量科技的算法工程師提供了端到端的自動化開發體驗,能完成日均超過兩萬個的數據分析和模型訓練作業,拓寬了產品運營的能力。同時,通過進行大規模自適應的在線學習,匯量科技能夠釋放出50%以上的人力投入到新的更有價值的工作中。曹曉歡強調“讓數據流轉起來,就能讓效率成倍提升。”
擁抱“云原生”,探索極致成本管理
效率成倍提升后,快速激增的“成本”成為了匯量科技面臨的又一挑戰。曹曉歡坦言,隨著廣告請求數量和可觸達獨立設備的增長,匯量科技的業務需要更多的服務器算力進行承載,原本按峰值需求采購服務器算力的模式,會導致峰值之外的大量算力被浪費;而在1000億次的日均廣告請求和10億級的設備覆蓋下,平臺仍需對單次廣告請求做出毫秒級的精準預估和出價回應,同樣需要昂貴的計算集群支撐。
如何根據應用的實際需求彈性盡可能使用便宜的算力資源,匯量科技選擇以“云原生”切入。根據云原生計算基金會的最新定義,云原生的目標即為構建和運行可彈性擴展的應用,這與匯量科技的彈性成本需求不謀而合。基于“云原生”,匯量科技進行了大量的創新,構建了云原生大型彈性集群管理平臺SpotMax。通過SpotMax,匯量科技的單位廣告請求成本大幅降低了65%。曹曉歡坦言“離開SpotMax,匯量科技會是一家巨額虧損的企業。”
由技術創新者成為技術輸出者
事實上,與彼時匯量科技一樣面臨成本困擾的企業并不在少數。專業咨詢機構RightScale的一份調研報告顯示,當下的企業級用戶在云計算支出一項的浪費高達30%-45%。
曹曉歡表示,如今大部分企業仍通過按需實例模式使用云端資源,一定程度上導致了用云成本過高。目前,云商有三種收費模式:按需實例、預留實例與Spot實例,三種模式的費用從高到低。 “SpotMax的最核心價值就是讓企業用戶更放心地使用費用最低的Spot實例降低成本,而無需擔心穩定性受影響。”
SpotMax可以根據用戶集群的特點,按照成本優先、可用性優先、平衡部署三種模式,自動化地在AWS全球各地的數據中心調度那些最便宜和最不可能被中斷的實例機型。SpotMax會統計過去中斷的歷史數據和實時分析目前的市場供需情況,來預測不穩定的Spot實例,做到對各個可用區中的各種類型的實例機型進行市場評分和中斷管理。如下圖顯示:綠色是評分高的可用區和實例,企業可大膽使用,紅色是評分低的可用區和實例,企業盡量不要使用。在中斷風險增大時或收到中斷通知時通過SpotMax可提前觸發Spot實例更換 ,并確保工作負載的連續可用性。
此前SpotMax已對外實現商業化,服務涉及不同領域,包含游戲發行、程序化廣告、實時分析引擎、游戲數據分析等平臺。經實踐,目前SpotMax可為企業客戶節省的單位成本平均在40%至65%。
曹曉歡強調,云原生是企業數字化轉型的必經之路,特別是在數據爆炸性增長、云端規模和復雜度不斷提升的今天,“低成本的數據處理已經成為了云原生的基本訴求。”因此,匯量科技下一階段的目標是“由技術的創新者成為技術的輸出者”,將從互聯網“技術外溢”效應的結果角度,通過技術開放,將多年來沉淀的技術能力形成面向企業需求的技術產品與解決方案,加速各行業在數字化時代的轉型,降低企業客戶轉型的復雜度。而SpotMax將是匯量科技 “技術外溢”的重要品牌。