5月27日,DataPipeline新品發(fā)布會(huì)在上海成功舉行。大會(huì)以“萬「向」更新”為主題,重磅推出DataPipeline企業(yè)級(jí)實(shí)時(shí)數(shù)據(jù)融合平臺(tái)V3.0里程碑版本。本次活動(dòng)匯聚了全國(guó)近百位領(lǐng)域?qū)<摇⑿袠I(yè)學(xué)者、合作伙伴、媒體和分析師現(xiàn)場(chǎng)參會(huì),分享對(duì)行業(yè)趨勢(shì)的洞察、行業(yè)場(chǎng)景中的解決方案實(shí)踐與探索,以“實(shí)時(shí)數(shù)據(jù)管理”激發(fā)產(chǎn)業(yè)創(chuàng)新澎湃新動(dòng)能。
當(dāng)前,隨著技術(shù)的推動(dòng)以及市場(chǎng)格局的快速變化,實(shí)時(shí)、精確地感知和洞察業(yè)務(wù)需求變得越發(fā)重要,實(shí)時(shí)數(shù)據(jù)管理已經(jīng)成為加速企業(yè)發(fā)展的新引擎。發(fā)布會(huì)現(xiàn)場(chǎng),DataPipeline創(chuàng)始人&CEO陳誠(chéng)表示:“DataPipeline作為實(shí)時(shí)數(shù)據(jù)管理領(lǐng)域最早批布局者,始終以‘穩(wěn)健的產(chǎn)品表現(xiàn)、引領(lǐng)性的技術(shù)實(shí)力、體系化的用戶服務(wù)’為追求,致力于成為企業(yè)數(shù)字化轉(zhuǎn)型過程中的優(yōu)質(zhì)和信任之選。”
DataPipeline新品發(fā)布會(huì)現(xiàn)場(chǎng)
01萬「向」更新
DataPipeline:連接一切數(shù)據(jù)、應(yīng)用和設(shè)備
DataPipeline創(chuàng)始人&CEO陳誠(chéng)
DataPipeline創(chuàng)始人&CEO陳誠(chéng)在致辭中對(duì)主題“萬「向」更新”中的「向」字進(jìn)行了層層遞進(jìn)的價(jià)值解讀——闡釋了由“發(fā)展方向、數(shù)據(jù)流向、創(chuàng)業(yè)者志向”構(gòu)成的三階理論,凸顯DataPipeline做深、做廣實(shí)時(shí)數(shù)據(jù)管理領(lǐng)域的意志和信心。
第一,發(fā)展方「向」。過去40年,中國(guó)經(jīng)濟(jì)發(fā)展取得的成就有目共睹,數(shù)據(jù)表示2020年中國(guó)世界五百?gòu)?qiáng)企業(yè)的數(shù)量已經(jīng)超過美國(guó),但盈利能力弱于后者。主要原因是美國(guó)企業(yè)在產(chǎn)業(yè)鏈布局更偏上游,也擁有更多“卡脖子”的技術(shù)。中國(guó)企業(yè)有待進(jìn)一步利用數(shù)據(jù)資產(chǎn)及數(shù)字化技術(shù),突破重圍,從而謀求管理方式升級(jí)、流程再造、文化改變等更大的發(fā)展。
第二,數(shù)據(jù)流「向」。在企業(yè)發(fā)展的過程中,數(shù)據(jù)賦能智慧營(yíng)銷、客戶服務(wù)、風(fēng)險(xiǎn)控制和經(jīng)營(yíng)分析管理已成為共識(shí)。因此,各種底層技術(shù)——存儲(chǔ)和計(jì)算引擎、數(shù)據(jù)中臺(tái)、數(shù)據(jù)湖、大數(shù)據(jù)平臺(tái)、時(shí)序數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。數(shù)據(jù)流動(dòng)性管理成為新挑戰(zhàn):越來越異構(gòu)的引擎,越來越快的時(shí)效性要求,越來越復(fù)雜的數(shù)據(jù)鏈路,越來越高的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。未來,誰能靈活掌控?cái)?shù)據(jù)的流動(dòng)性,誰就能在不斷的技術(shù)進(jìn)步中收獲更大的價(jià)值。
第三,創(chuàng)業(yè)者志「向」。過去的20年,中國(guó)的消費(fèi)互聯(lián)網(wǎng)企業(yè)從模仿到創(chuàng)新,通過廣闊的市場(chǎng)和資本加持的方式,成長(zhǎng)出了世界級(jí)的產(chǎn)品和公司。現(xiàn)在,時(shí)代洪流把企業(yè)級(jí)軟件領(lǐng)域推向制高點(diǎn)。在政策推動(dòng)、產(chǎn)業(yè)升級(jí)和數(shù)字化轉(zhuǎn)型的趨勢(shì)下,行業(yè)中一定會(huì)誕生同樣偉大的企業(yè)服務(wù)公司。DataPipeline的使命是“連接一切數(shù)據(jù)應(yīng)用和設(shè)備”,立志成為中國(guó)的世界級(jí)數(shù)據(jù)中間件廠商。公司堅(jiān)持技術(shù)驅(qū)動(dòng),深耕企業(yè)服務(wù),幫助用戶實(shí)現(xiàn)超越期待的企業(yè)級(jí)全域?qū)崟r(shí)數(shù)據(jù)的價(jià)值釋放。
02五年蓄力
DataPipeline實(shí)時(shí)數(shù)據(jù)融合平臺(tái)V3.0重磅發(fā)布
DataPipeline合伙人&CPO陳雷
DataPipeline合伙人&CPO陳雷在演講中表示:
“移動(dòng)互聯(lián)網(wǎng)的興起推動(dòng)大數(shù)據(jù)平臺(tái)建設(shè)只用了不到十年,對(duì)于金融行業(yè)甚至不到五年。金融、制造、零售、能源、地產(chǎn)等行業(yè),大量客戶都在從數(shù)字化轉(zhuǎn)型向數(shù)字化創(chuàng)新邁進(jìn),作為企業(yè)數(shù)字化創(chuàng)新基礎(chǔ)設(shè)施的數(shù)據(jù)管理技術(shù)也在不斷進(jìn)化,實(shí)時(shí)數(shù)據(jù)管理就在眼前。
實(shí)時(shí)風(fēng)險(xiǎn)控制、實(shí)時(shí)智能營(yíng)銷、實(shí)時(shí)運(yùn)營(yíng)管理等越來越多的業(yè)務(wù)場(chǎng)景和業(yè)務(wù)驅(qū)動(dòng)力對(duì)數(shù)據(jù)提出了‘更快、更準(zhǔn)、更全’的要求。對(duì)于實(shí)時(shí)數(shù)據(jù)管理,我們要把它提高到和數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖甚至交易系統(tǒng)相同的重視程度和高度去建設(shè),但其體系建設(shè)過程不是一蹴而就的,實(shí)時(shí)數(shù)據(jù)平臺(tái)建設(shè)是該過程的關(guān)鍵基石。”
會(huì)上,陳雷對(duì)DataPipeline企業(yè)級(jí)實(shí)時(shí)數(shù)據(jù)融合平臺(tái)V3.0這一里程碑版本的三大核心特性進(jìn)行了重點(diǎn)介紹:
對(duì)主流關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)平臺(tái)及國(guó)產(chǎn)數(shù)據(jù)庫(kù)支持的持續(xù)投入
采用基于日志的增量數(shù)據(jù)獲取技術(shù)(Log-based change data capture),為主數(shù)據(jù)管理、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)提供實(shí)時(shí)、準(zhǔn)確的數(shù)據(jù)變化,從而使得客戶可以根據(jù)最新數(shù)據(jù)進(jìn)行運(yùn)營(yíng)管理與決策制定。
配置式鏈路定義無代碼任務(wù)構(gòu)建提升實(shí)時(shí)數(shù)據(jù)敏捷性
在數(shù)據(jù)節(jié)點(diǎn)、數(shù)據(jù)鏈路、融合任務(wù)及系統(tǒng)資源四個(gè)基本邏輯概念中,用戶只需要通過二至三項(xiàng)簡(jiǎn)單配置就可以定義出可以執(zhí)行的融合任務(wù),系統(tǒng)提供基于最佳實(shí)踐的默認(rèn)選項(xiàng),實(shí)時(shí)數(shù)據(jù)需求的研發(fā)交付時(shí)間從2周減少為5分鐘。同時(shí),為應(yīng)對(duì)復(fù)雜的實(shí)時(shí)數(shù)據(jù)運(yùn)行時(shí)場(chǎng)景需求,系統(tǒng)提供限制配置與策略配置兩大類十余種高級(jí)配置。用戶可以通過這些配置對(duì)下游概念進(jìn)行限制與管理,亦可以通過這些配置來統(tǒng)一調(diào)整下游概念的執(zhí)行范圍與策略應(yīng)用范圍。
分布式引擎、組件級(jí)高可用保障實(shí)時(shí)鏈路穩(wěn)定高容錯(cuò)
平臺(tái)所有組件均支持高可用,容器化部署,平滑、靈活的動(dòng)態(tài)擴(kuò)縮容,允許將不同的計(jì)算任務(wù)重分布到不同的機(jī)器上去,而不妨礙其它部分的運(yùn)行。從工具向平臺(tái)的演化勢(shì)必關(guān)系到可用性、業(yè)務(wù)連續(xù)性要求的不斷提高,除了通過分布式引擎保障整個(gè)系統(tǒng)的可用性和數(shù)據(jù)完整性以外,產(chǎn)品也針對(duì)同城、異地災(zāi)備環(huán)境,數(shù)據(jù)容災(zāi)和應(yīng)用容災(zāi)的不同要求給出切實(shí)可行的方案。
面對(duì)未來的不確定性,DataPipeline要構(gòu)建確定的能力信仰:打破技術(shù)壁壘,讓客戶專注數(shù)據(jù)價(jià)值釋放。后續(xù),DataPipeline整體產(chǎn)品路線大概分為兩個(gè)層面六個(gè)部分,即著重夯實(shí):持續(xù)增強(qiáng)多元異構(gòu)、不懈追求極致性能、升級(jí)企業(yè)級(jí)管理性,持續(xù)探索:平臺(tái)全面云化探索、實(shí)時(shí)數(shù)據(jù)計(jì)算探索、實(shí)時(shí)數(shù)據(jù)治理探索。以上,皆旨在構(gòu)建起業(yè)內(nèi)最完善的實(shí)時(shí)數(shù)據(jù)管理產(chǎn)品矩陣,形成全鏈路實(shí)時(shí)數(shù)據(jù)資產(chǎn)管理業(yè)務(wù)體系。
03平滑演進(jìn)
DataPipeline實(shí)時(shí)數(shù)據(jù)融合 “進(jìn)化史”
DataPipeline CTO陳肅
回望成長(zhǎng)之路,DataPipeline作為一家企業(yè)級(jí)批流一體數(shù)據(jù)融合產(chǎn)品、解決方案及服務(wù)提供商,公司的技術(shù)隨著用戶需求驅(qū)動(dòng)、應(yīng)用場(chǎng)景錘煉,不斷創(chuàng)新。DataPipeline CTO陳肅表示:DataPipeline在發(fā)展過程中遵循的基本準(zhǔn)則之一是追求技術(shù)演進(jìn)的平滑性。我們堅(jiān)信一個(gè)樸素的真理——做企業(yè)級(jí)的軟件,不僅要知其然,而且要知其所以然,即對(duì)產(chǎn)品所有采用的基礎(chǔ)架構(gòu)底層原理和代碼非常了解并可以迅速幫客戶定位解決問題。
DataPipeline技術(shù)演進(jìn)之路主要分為以下三個(gè)階段:
? DataPipeline 1.0實(shí)時(shí)數(shù)據(jù)采集分發(fā)平臺(tái)
核心詞:流式處理、分布式、多源異構(gòu)
在公司成立伊始,我們就認(rèn)識(shí)到實(shí)時(shí)的流式處理代表了企業(yè)數(shù)據(jù)處理的未來,DataPipeline打造基于面向流式數(shù)據(jù)采集分發(fā)場(chǎng)景這樣的產(chǎn)品,流式成為我們剛開始定義產(chǎn)品應(yīng)用邊界的關(guān)鍵核心要素;實(shí)現(xiàn)分布式的處理平臺(tái),支持多節(jié)點(diǎn)部署,從而能夠根據(jù)業(yè)務(wù)需要?jiǎng)討B(tài)擴(kuò)展處理能力;支持各種異構(gòu)存儲(chǔ)之間的數(shù)據(jù)同步,當(dāng)上游結(jié)構(gòu)發(fā)生變化時(shí),下游能夠根據(jù)用戶設(shè)置的策略進(jìn)行應(yīng)對(duì),從而保證數(shù)據(jù)的完整性和任務(wù)的持續(xù)運(yùn)行。
? DataPipeline 2.0批流一體的數(shù)據(jù)集成平臺(tái)
核心詞:批處理、策略配置、可編程性
DataPipeline對(duì)底層的框架做了擴(kuò)展,通過引入批次控制消息實(shí)現(xiàn)了流處理框架下的批流一體處理,擴(kuò)展了我們整個(gè)產(chǎn)品可服務(wù)場(chǎng)景的邊界;將核心處理邏輯的控制參數(shù)進(jìn)行了全面的可配置化,用戶可以通過DataPipeline提供的配置模板分別定義每個(gè)任務(wù)的處理邏輯、參數(shù)調(diào)優(yōu),滿足特定場(chǎng)景下的性能優(yōu)化需求;引入了基于WebIDE完成的高級(jí)編程功能,用戶可以完成復(fù)雜的數(shù)據(jù)清洗、轉(zhuǎn)換和統(tǒng)計(jì)邏輯,并與外部系統(tǒng)進(jìn)行對(duì)接,一站式完成代碼編寫、試運(yùn)行、下發(fā),為用戶提供了極大的處理便捷性;推出了源端和目標(biāo)端連接器的開發(fā)者套件,基于此用戶和合作伙伴可以迅速為特定場(chǎng)景開發(fā)出包含定制化處理邏輯連接器。
基于以上,DataPipeline從單一的數(shù)據(jù)采集分發(fā)平臺(tái)進(jìn)化為批流一體的數(shù)據(jù)集成平臺(tái)。
? DataPipeline 3.0穩(wěn)定高可用的數(shù)據(jù)融合平臺(tái)
核心詞:高性能、高可用、可管理性
DataPipeline運(yùn)行著數(shù)以百計(jì)的任務(wù),3.0版本引入了基于內(nèi)存的數(shù)據(jù)交換方式,可以有效避免消息分區(qū)數(shù)量的膨脹帶來的性能下降,基于這一模式的端到端處理速度,比2.0版本提升超過1倍;進(jìn)一步將DataPipeline的所有平臺(tái)組件全面實(shí)現(xiàn)了高可用,用戶可以根據(jù)對(duì)可用性的要求,靈活進(jìn)行組件節(jié)點(diǎn)的部署,避免單點(diǎn)故障;根據(jù)企業(yè)分層管理的需求,將系統(tǒng)內(nèi)資源抽象為節(jié)點(diǎn)、鏈路、任務(wù),每一層都可以進(jìn)行獨(dú)立的管理和授權(quán)。用戶可以在鏈路上定義字段類型映射、限速、告警等策略,并應(yīng)用到任務(wù)層面,從而實(shí)現(xiàn)層級(jí)化的精細(xì)管理。與此同時(shí),DataPipeline內(nèi)部的所有重要事件、告警信息都能夠推送到用戶定義的郵箱、文件路徑或Webhook中,從而與企業(yè)既有的運(yùn)維監(jiān)控體系無縫集成。
至此,到3.0里程碑版本,DataPipeline構(gòu)建起較為完整的企業(yè)級(jí)數(shù)據(jù)融合平臺(tái)。
04實(shí)踐&洞察
金融行業(yè)數(shù)據(jù)管理應(yīng)用典范
發(fā)布會(huì)現(xiàn)場(chǎng),來自西安交通大學(xué)、財(cái)通證券、民生銀行的行業(yè)專家和客戶代表還帶來了各自關(guān)于金融行業(yè)數(shù)據(jù)管理應(yīng)用的洞察與實(shí)踐分享,從技術(shù)模式、規(guī)模化應(yīng)用等維度為企業(yè)實(shí)時(shí)數(shù)據(jù)管理提供了創(chuàng)新型啟示和參考。
西安交通大學(xué)電信學(xué)部客座教授 劉鐵博士
西安交通大學(xué)電信學(xué)部客座教授劉鐵博士講到:
“人工智能的創(chuàng)新融合正為金融場(chǎng)景打造出一個(gè)兼具決策分析與感官感知的‘智慧大腦‘,首要一點(diǎn),實(shí)時(shí)數(shù)據(jù)對(duì)金融行業(yè)是重要的生產(chǎn)力要素,數(shù)據(jù)要素流通和價(jià)值變現(xiàn)至關(guān)重要。實(shí)時(shí)數(shù)據(jù)加可靠算法可以幫助企業(yè)構(gòu)建金融科技的創(chuàng)新智能底座。”
財(cái)通證券數(shù)據(jù)平臺(tái)技術(shù)專家 鄭林峰
財(cái)通證券數(shù)據(jù)平臺(tái)技術(shù)專家鄭林峰表示:
“目前財(cái)通證券數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)了公司含核心系統(tǒng)在內(nèi)50+業(yè)務(wù)系統(tǒng)的數(shù)據(jù)交換,技術(shù)團(tuán)隊(duì)核心目標(biāo)是利用流程、結(jié)構(gòu)、技術(shù)的力量,建設(shè)一個(gè)符合金融行業(yè)數(shù)據(jù)流轉(zhuǎn)穩(wěn)定要求、操作簡(jiǎn)單、運(yùn)維壓力低、自定義能力強(qiáng)且對(duì)業(yè)務(wù)系統(tǒng)與業(yè)務(wù)人員更友好的系統(tǒng)。針對(duì)該目標(biāo),財(cái)通證券進(jìn)行了四個(gè)關(guān)鍵點(diǎn)的劃分,這與DataPipeline企業(yè)級(jí)實(shí)時(shí)數(shù)據(jù)融合平臺(tái)產(chǎn)品理念具有有高度重合性:分布式架構(gòu)、多元異構(gòu)、高度開放性、批流一體,所以雙方至今合作三年之久。”
民生銀行總行科技大數(shù)據(jù)管理部技術(shù)專家鐘行
民生銀行總行科技大數(shù)據(jù)管理部技術(shù)專家鐘行表示:
“2016年開始,民生銀行科技部大數(shù)據(jù)開發(fā)團(tuán)隊(duì)開始為部分業(yè)務(wù)部門提供實(shí)時(shí)數(shù)據(jù)加工支持,基于客戶的交易信息提取出各類實(shí)時(shí)事件,得益于時(shí)效性提升帶來的良好體驗(yàn),行內(nèi)業(yè)務(wù)部門不斷提出更復(fù)雜的實(shí)時(shí)數(shù)據(jù)加工需求,新需求的加工復(fù)雜度持續(xù)升高、使用場(chǎng)景持續(xù)擴(kuò)展、交付效率持續(xù)加快、運(yùn)營(yíng)質(zhì)量要求持續(xù)提升。為提升實(shí)時(shí)數(shù)據(jù)支撐能力,民生銀行開始從‘平臺(tái)、數(shù)據(jù)、應(yīng)用’三個(gè)方面進(jìn)行實(shí)時(shí)數(shù)據(jù)體系建設(shè)。通過對(duì)DataPipeline的調(diào)研和產(chǎn)品驗(yàn)證,其產(chǎn)品在異構(gòu)傳輸功能的豐富性、后續(xù)擴(kuò)展性、運(yùn)營(yíng)保障能力等方面滿足作為平臺(tái)實(shí)時(shí)數(shù)據(jù)傳輸組件的要求,雙方從2020年1月正式展開合作,克服了疫情帶來的影響,目前已完成一期項(xiàng)目大部分工作實(shí)施。”
人之有能有為,使羞其行,而邦其昌。
時(shí)代在變,需求在變,數(shù)字化的含義在變,但在DataPipeline成長(zhǎng)的道路上,價(jià)值的重要性不變,堅(jiān)持“以客戶為中心,以技術(shù)驅(qū)動(dòng)”為第一出發(fā)點(diǎn)不變。
DataPipeline部分用戶展示
上周,DataPipeline宣布完成B輪數(shù)千萬人民幣融資。陳誠(chéng)在發(fā)布會(huì)中談到:“不積跬步無以至千里。在DataPipeline發(fā)展過程中,感謝客戶的信任、包容和對(duì)我們的要求,客戶是我們前進(jìn)的動(dòng)力,也是我們靈感的來源,我們會(huì)持續(xù)以最大的資源和能量投入到對(duì)產(chǎn)品的研發(fā)和客戶服務(wù)中,來幫助我客戶管理好數(shù)據(jù)的流動(dòng)性。”
未來,DataPipeline將在這一賽道上持續(xù)深耕,加速推動(dòng)實(shí)時(shí)數(shù)據(jù)管理產(chǎn)品與方案在各行各業(yè)全面落地生花,加速企業(yè)業(yè)務(wù)創(chuàng)新和轉(zhuǎn)型升級(jí)。