數(shù)據(jù)中臺(tái)作為數(shù)字經(jīng)濟(jì)時(shí)代的新基建,能夠幫助企業(yè)搭建數(shù)據(jù)信息于一體、開(kāi)放共享、安全可靠的數(shù)據(jù)共享中心,最終實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的新模式。9月17日,行業(yè)領(lǐng)先的企業(yè)數(shù)字化基礎(chǔ)設(shè)施供應(yīng)商袋鼠云,聯(lián)合愛(ài)分析在杭州西溪賓館首次舉辦了2020DDIC數(shù)智+行業(yè)峰會(huì)暨數(shù)棧戰(zhàn)略發(fā)布會(huì)。本次峰會(huì)由浙江省工業(yè)和信息化研究院、長(zhǎng)三角數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)聯(lián)盟、浙江大學(xué)智云實(shí)驗(yàn)室、杭州數(shù)字經(jīng)濟(jì)聯(lián)合會(huì)、未來(lái)科技鯤鵬企業(yè)聯(lián)盟為指導(dǎo)單位,36氪、極客學(xué)院、雙態(tài)IT聯(lián)盟、B.P數(shù)字生態(tài)商學(xué)院協(xié)辦。規(guī)模宏大,話題前沿,從技術(shù)到方法論再到實(shí)踐,亮點(diǎn)頗多。其中,數(shù)棧DTinsight4.0:云原生數(shù)據(jù)中臺(tái)產(chǎn)品發(fā)布更是成為全場(chǎng)焦點(diǎn)之一。
累計(jì)數(shù)億元研發(fā)投入,近五年全身心迭代打磨數(shù)棧DTinsight4.0具備天生云原生、自研核心引擎、金融級(jí)安全三大特性,覆蓋數(shù)據(jù)源采集、離線計(jì)算、實(shí)時(shí)計(jì)算、數(shù)據(jù)挖掘、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)共享服務(wù)等整個(gè)數(shù)據(jù)中臺(tái)生命周期。袋鼠云數(shù)棧事業(yè)部總經(jīng)理閔佳在《數(shù)棧DTinsight4.0:云原生數(shù)據(jù)中臺(tái)產(chǎn)品發(fā)布》中表示:數(shù)棧DTinsight要成為中國(guó)企業(yè)數(shù)字化首選平臺(tái)。
采用微服務(wù)架構(gòu)的數(shù)棧DTinsight4.0滿足復(fù)雜性和多元性的環(huán)境
云原生
在考慮到客戶環(huán)境的復(fù)雜性和多元性后,數(shù)棧DTinsight4.0采用了微服務(wù)的架構(gòu),把各個(gè)子產(chǎn)品之間解耦化,每個(gè)產(chǎn)品內(nèi)部服務(wù)也會(huì)按照一定邏輯進(jìn)行拆開(kāi),從而采用標(biāo)準(zhǔn)化的容器方式進(jìn)行產(chǎn)品部署,可以實(shí)現(xiàn)30分鐘完成產(chǎn)品的交付。實(shí)現(xiàn)彈性擴(kuò)容則是天生云原生的特點(diǎn)之二,可以根據(jù)不同時(shí)間點(diǎn),計(jì)算集群的負(fù)載情況,自動(dòng)擴(kuò)容,這樣就可以很好地提升資源利用率。天生云原生的特點(diǎn)之三,是存儲(chǔ)計(jì)算分離,可以有效解決很多場(chǎng)景下對(duì)于計(jì)算資源和存儲(chǔ)資源要求不匹配,以及資源利用不均衡的弊端。同時(shí)數(shù)棧DTinsight4.0也實(shí)現(xiàn)了調(diào)度的統(tǒng)一化,幾大開(kāi)發(fā)平臺(tái)全部采用容器化方式做調(diào)度,能夠保證不同任務(wù)之間的隔離性和安全性。服務(wù)API化是天生云原生的第四大特點(diǎn),數(shù)棧DTinsight4.0中采用了聲明式API方式,執(zhí)行效率更高,可為后續(xù)的持續(xù)產(chǎn)品迭代留非常大的升級(jí)空間。
袋鼠云數(shù)棧事業(yè)部總經(jīng)理 閔佳發(fā)布數(shù)棧DTinsight4.0
自研核心引擎
自研核心引擎包括FlinkX、DAGSchedulerX和EasyManager。引擎FlinkX實(shí)現(xiàn)了分布式同步,一種框架可以去支持實(shí)時(shí)采集和離線采集兩種場(chǎng)景要求,可以實(shí)現(xiàn)100%以上的開(kāi)發(fā)和管理效率的提升。DAGSchedulerX在單臺(tái)兩核CPU 8G內(nèi)存的配置下,可以實(shí)現(xiàn)百萬(wàn)級(jí)任務(wù)的并發(fā)調(diào)度,并可支持幾十種任務(wù)在平臺(tái)上調(diào)度,保證任務(wù)的穩(wěn)定運(yùn)行。同時(shí)可以實(shí)現(xiàn)對(duì)新引擎、新版本的快速兼容,實(shí)現(xiàn)10倍以上兼容效率的提升。
金融級(jí)安全
金融級(jí)安全也是袋鼠云一直持續(xù)打造的產(chǎn)品核心能力。數(shù)棧DTinsight4.0通過(guò)多數(shù)據(jù)中心容災(zāi)的方式,可以實(shí)現(xiàn)零數(shù)據(jù)的丟失,并基于多集群、多租戶、多項(xiàng)目的管控方式,實(shí)現(xiàn)數(shù)據(jù)資源的隔離,保證數(shù)據(jù)安全。同時(shí),通過(guò)數(shù)據(jù)層加密、脫敏等手段,實(shí)現(xiàn)數(shù)據(jù)的可收、可管。另外,由于在很多場(chǎng)景下,當(dāng)面臨大規(guī)模任務(wù)調(diào)度時(shí),數(shù)棧DTinsight4.0可以自動(dòng)做到計(jì)算資源的彈性擴(kuò)展,這樣可以保證集群穩(wěn)定運(yùn)行的同時(shí),還可以讓任務(wù)及時(shí)獲取到足夠的資源,及時(shí)運(yùn)行出結(jié)果,支撐數(shù)據(jù)業(yè)務(wù)的發(fā)展。而對(duì)一些高危操作,比如刪表或者下線任務(wù),數(shù)棧DTinsight4.0后臺(tái)都會(huì)做到自動(dòng)預(yù)警,保證整個(gè)平臺(tái)的安全性。
歷經(jīng)5年,四次版本飛躍
袋鼠云成立至今一直在結(jié)合市場(chǎng)需求變化對(duì)數(shù)據(jù)中臺(tái)產(chǎn)品數(shù)棧DTinsight進(jìn)行打磨,近5年來(lái)數(shù)棧DTinsight經(jīng)歷了幾百次迭代、四次版本飛躍。
在產(chǎn)品研發(fā)和迭代過(guò)程當(dāng)中,袋鼠云除了做好產(chǎn)品本身的功能迭代和場(chǎng)景迭代之外,也非常重視和強(qiáng)化產(chǎn)品的基礎(chǔ)能力、技術(shù)能力。數(shù)棧從1.0到4.0逐步打造數(shù)據(jù)平臺(tái)化核心能力、數(shù)據(jù)資產(chǎn)化核心能力、數(shù)據(jù)服務(wù)化核心能力、算法智能核心能力,真正擁有自主可控的云原生數(shù)據(jù)中臺(tái)核心技術(shù)。
可應(yīng)用的數(shù)智場(chǎng)景可以布局到眾多行業(yè)生態(tài)中
致力于成為云原生數(shù)據(jù)中臺(tái)基礎(chǔ)設(shè)施的數(shù)棧DTinsight可以應(yīng)用到眾多數(shù)智場(chǎng)景,數(shù)據(jù)化運(yùn)營(yíng)、智能化應(yīng)用、可視化大屏、數(shù)據(jù)化運(yùn)維等,這些可應(yīng)用的數(shù)智場(chǎng)景可以布局到眾多行業(yè)生態(tài)中,金融、零售、政務(wù)、電力、工業(yè)、農(nóng)業(yè)、文旅、教育等。而在此次峰會(huì)中,就有來(lái)自各個(gè)行業(yè)的負(fù)責(zé)人分享了數(shù)棧應(yīng)用的實(shí)例。華夏銀行杭州分行信息科技部負(fù)責(zé)人朱蕭峰表示,銀行業(yè)目前都采用系統(tǒng)集中、數(shù)據(jù)集中的模式,對(duì)分行的管理存在“一收就死、一放就亂”的問(wèn)題。與袋鼠云共創(chuàng)的分行數(shù)據(jù)集市應(yīng)用云平臺(tái),具備完善的大數(shù)據(jù)工具鏈,采用總分2級(jí)架構(gòu)設(shè)計(jì),滿足總行管理+分行靈活的需求,在此基礎(chǔ)上,定制了一鍵數(shù)據(jù)下發(fā)、模型管理與OLAP加速、集成BI等功能。平臺(tái)上線后,徹底改變了總行數(shù)據(jù)下發(fā)的工作過(guò)程,真正做到了數(shù)據(jù)的集中存儲(chǔ)與管理,同時(shí)在集群運(yùn)維方面釋放了分行的精力,大幅提升了分行的數(shù)據(jù)應(yīng)用開(kāi)發(fā)效率。
招商證券相關(guān)負(fù)責(zé)人也表示:隨著證券交易數(shù)據(jù)越來(lái)越多,證券公司需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算和實(shí)時(shí)監(jiān)控,進(jìn)而快速處理問(wèn)題、響應(yīng)客戶。基于此,招商證券對(duì)于客戶統(tǒng)一識(shí)別、賬戶查詢、反洗錢、客戶運(yùn)營(yíng)等方面有了更高、更新的要求。袋鼠云基于數(shù)棧 DTinsight幫助客戶構(gòu)建實(shí)時(shí)數(shù)倉(cāng),實(shí)時(shí)匯聚證券交易、融資融券、個(gè)股期權(quán)等多個(gè)領(lǐng)域數(shù)據(jù)流,推進(jìn)企業(yè)UCM(統(tǒng)一客戶模型)體系構(gòu)建,解決超大規(guī)模數(shù)據(jù)計(jì)算問(wèn)題,滿足秒級(jí)響應(yīng)需求,快速響應(yīng)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)應(yīng)用需求。招商證券只需要關(guān)注業(yè)務(wù)邏輯及數(shù)據(jù)建模,通過(guò)SQL化開(kāi)發(fā),可快速響應(yīng)業(yè)務(wù)部門實(shí)時(shí)數(shù)據(jù)需求。基于數(shù)棧 DTinsight平臺(tái),招商證券進(jìn)行實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)的效率提升2倍以上,實(shí)時(shí)任務(wù)排錯(cuò)及解決時(shí)間減少了80%,實(shí)時(shí)業(yè)務(wù)消費(fèi)數(shù)據(jù)的時(shí)效從秒級(jí)提升到毫秒級(jí)。
數(shù)棧DTinsight4.0,賦能企業(yè)智能化轉(zhuǎn)型
數(shù)字正在積極改變?nèi)祟惿a(chǎn)生活方式,深刻改變社會(huì)治理能力,已經(jīng)成為中國(guó)新時(shí)代最鮮明的標(biāo)志。可以這樣說(shuō),以數(shù)字經(jīng)濟(jì)帶來(lái)產(chǎn)業(yè)變革,已經(jīng)成為中國(guó)經(jīng)濟(jì)從速度型向創(chuàng)新型跨越的重要?jiǎng)恿Α０l(fā)展數(shù)字經(jīng)濟(jì),已經(jīng)成為這個(gè)時(shí)代最大的共識(shí)。歷經(jīng)5年不斷的打磨和迭代,數(shù)棧DTinsight4.0的到來(lái),將會(huì)賦能數(shù)字經(jīng)濟(jì),加速企業(yè)數(shù)字化轉(zhuǎn)型,助力企業(yè)搶占新時(shí)代的至高點(diǎn)。
