12月13日,阿里云計算平臺負責人賈揚清在Flink Forward Asia 2020峰會上指出,擁抱“融合”是大數據演進的新方向,大數據和人工智能一體化是必然趨勢,而人工智能是大數據業務發展的終極出口。同時,他從不同角度討論了Flink的開源技術,以及云時代下開源技術的發展和未來思考。
Flink開源社區 “漸入佳境”
從一個普通開源技術愛好者視角,賈揚清將2020年Flink發展定義為“漸入佳境”,主要體現在三大方面:
● 技術。今年Flink在技術方面取得兩大新突破:一是Flink流批一體技術在阿里雙11核心數據業務場景規模化成功應用; 二是Flink實時計算峰值首次突破40億條/秒。同比去年,不增加集群規模情況下提升了一倍的計算性能。
● 應用。Flink不再是一個居廟堂之高的技術,而是成為開源流式處理的事實標準,飛入“尋常百姓家”。比如中國信通院使用了Flink作為技術藍本設計流式處理標準,云計算公司包括阿里云等均使用Flink作為流式處理的底層引擎。
● 社群。Flink開源社區高速增長,登頂Apache最活躍的郵件列表; Flink項目是Github提交次數最多的Apache頂級項目之一。去年Flink Forward Asia 參會人數達2000人,Flink 極客挑戰賽吸引了4000+開發者參與;今年大會切換到線上、線下同時舉辦,Flink 極客挑戰賽的頒獎更讓大家看到了越來越多開發者對于開源技術的熱情以及勇于挑戰的精神。
開源讓云更標準化
賈揚清認為:開源讓云更標準化。他提到,云計算越來越趨于標準化對其自身發展非常有利。云上大量的開發技術體系日趨一致,這意味著大量云計算開發者熟悉這套體系后更容易把自己的應用變成云的一部分。
開源有助于阿里云打破自有技術體系,在充分尊重用戶原有使用習慣基礎上,形成標準、開放、公共的技術體系。單靠一家公司去制定標準非常難。
阿里云對于開源意味著什么?賈揚清提到以下三點:
● 從組織來看,去年阿里巴巴集團成立開源技術委員會,從集團層面統一梳理和推進阿里巴巴開源技術戰略的執行。
● 從參與度來看,阿里巴巴集團一開始就廣泛采用開源技術構建自己的技術體系。以阿里云計算平臺事業部大數據產品為例,比如實時計算 Flink都在大量使用Hadoop/K8S生態的技術;機器學習PAI同樣使用TensorFlow等開源深度學習框架。
● 從貢獻度來看,阿里巴巴集團持續為開源社區貢獻力量。以Flink技術社區為例,僅去年一年阿里云就貢獻百萬行代碼給Apache Flink社區。當前,集團開源項目數已超過1000個,覆蓋大數據、AI、云原生、數據庫、中間件、硬件等多個領域,全世界有70多萬開發者為阿里點亮GitHub Star,成千上萬的愛好者參與到項目貢獻之中。
擁抱“融合”是大數據演進的新方向
賈揚清表示,云的三大發展趨勢主要是IT基礎設施的云化、核心技術的互聯網化、應用的數據化和智能化,這也是云的核心價值所在。
企業在IT上云和業務互聯網化之后,其應用必將從流程驅動變為數據智能驅動,實現數據化和智能化。云計算、底層IaaS技術在比拼基礎設施的成熟度、穩定性和價格,而上層PaaS技術要比的是數據能力、智能能力。
目前包括數據庫、IOT等泛大數據仍然處于大數據最基礎的使用方式,需要整合更多大數據和AI能力。
所以,擁抱“融合”是大數據演進的新方向,大數據+人工智能一體化是大數據發展的必然方向,而人工智能是大數據業務發展的終極出口 。
只有AI化,大數據才能發揮真正的業務價值。阿里云大數據之所以有核心競爭力,就是因為大數據是結合AI能力的大數據,是智能化升級的大數據。比如Flink+Alink,Flink不僅能夠提供流批一體的處理能力,還能借助已開源的Alink機器學習算法庫,實現Flink的大數據+人工智能一體化。
未來,社會經濟將與互聯網更加融合,企業機構的業務也將全面轉變為互聯網業務。一個企業僅僅有IT基礎設施并不夠,企業應用也將實現從流程驅動變為數據智能驅動,阿里云計算平臺將輸出全棧大數據技術能力,并提供全球頂尖的AI技術,一起實現數據化和智能化。
