7月29日,以“萬「向」更新”為主題,DataPipeline2021數(shù)據(jù)管理與創(chuàng)新大會在北京成功舉行!中國信通院云計算與大數(shù)據(jù)研究所副所長魏凱、中信銀行信息技術(shù)管理部架構(gòu)管理處處長衛(wèi)東、民生銀行總行科技大數(shù)據(jù)管理部技術(shù)專家鐘行、山東省城商行聯(lián)盟核心運維組技術(shù)專家倪俊甜、中國信息協(xié)會專家范克峰、華為計算產(chǎn)品線openGauss數(shù)據(jù)庫產(chǎn)品總經(jīng)理胡正策與DataPipeline數(shù)見科技管理層及來自該領(lǐng)域的專家學者、用戶代表、生態(tài)伙伴共聚一堂,共話產(chǎn)業(yè)機遇與挑戰(zhàn),共探數(shù)據(jù)管理與創(chuàng)新實踐新模式。以期通過“萬「向」匯聚,數(shù)據(jù)新生”的共識,創(chuàng)造行業(yè)新價值。
DataPipeline表示,數(shù)字化轉(zhuǎn)型被按下加速鍵,產(chǎn)業(yè)升級對實時數(shù)據(jù)管理能力提出前所未有的要求,所有數(shù)據(jù)都被要求相互連接并能隨時被看到、被感知、被調(diào)用。實時數(shù)據(jù)管理體系的建設既需要看透“前期實時數(shù)據(jù)平臺建設、中期深化實時數(shù)據(jù)價值釋放、遠期實時數(shù)據(jù)驅(qū)動業(yè)務發(fā)展”大周期的視角,也需要從平臺類基礎(chǔ)設施構(gòu)建出發(fā)、對“人員、流程、技術(shù)”持續(xù)精進的耐心。這種秉承長期主義的原則與DataPipeline數(shù)見科技的產(chǎn)品與技術(shù)發(fā)展理念不謀而合。
01數(shù)據(jù)要素化催生技術(shù)與管理變革
副標題:數(shù)據(jù)全生命周期管理與價值導向的運營管理成為發(fā)展方向
中國信通院云計算與大數(shù)據(jù)研究所副所長魏凱
隨著信息經(jīng)濟發(fā)展,數(shù)據(jù)早已和其它要素一起融入經(jīng)濟價值創(chuàng)造過程。中國信通院云計算與大數(shù)據(jù)研究所副所長魏凱表示:當前,我們處于迎接數(shù)據(jù)生產(chǎn)要素崛起的新時代。在數(shù)字化轉(zhuǎn)型過程中,數(shù)據(jù)作為生產(chǎn)要素,一方面在驅(qū)動產(chǎn)業(yè)智能化、催生新的生產(chǎn)組織形態(tài)方面的作用不斷顯現(xiàn),推動新型產(chǎn)品和服務的創(chuàng)造;另一方面,作為參與分配的要素,數(shù)據(jù)背后涉及經(jīng)濟結(jié)構(gòu)的變化。它對于我們數(shù)據(jù)的技術(shù)、底層基礎(chǔ)設施等有很大的需求,所以我們管理體系、理念、方法論也有很大創(chuàng)新的需求。這主要體現(xiàn)在:
第一. 數(shù)據(jù)要素化需要一場技術(shù)革命:
組織內(nèi)部從以前追求數(shù)據(jù)高效處理、追求更快更大,到今天更重視數(shù)據(jù)更加智能及良好的治理。數(shù)據(jù)不再是簡單地放在數(shù)據(jù)庫里就能產(chǎn)生價值,而是要高質(zhì)量的融合起來,真正讓它成為閉環(huán)里面一個不得不做的要素。在組織間,跨機構(gòu)的數(shù)據(jù)以前更多是要保護,隔離,鎖在保險柜里保密。今后為了做產(chǎn)業(yè)互聯(lián)網(wǎng),數(shù)據(jù)要實現(xiàn)上下游打通、政企打通、企業(yè)之間打通,所以其關(guān)鍵詞變成了開放、融合,從而又有了隱私計算、區(qū)塊鏈。我們發(fā)現(xiàn),組織內(nèi)及組織架構(gòu)的數(shù)據(jù)流動在變化,組織的技術(shù)重心也在變化。大數(shù)據(jù)產(chǎn)品技術(shù)越來越豐富,應用愈加廣泛,數(shù)據(jù)的一站式、全生命周期管理是我們看到的方向。
第二. 數(shù)據(jù)要素化也在推動管理的變革:
以數(shù)據(jù)治理為核心的數(shù)據(jù)資產(chǎn)管理體系逐步成熟,以數(shù)據(jù)運營為導向的數(shù)據(jù)資產(chǎn)管理體系處于萌芽。數(shù)據(jù)管理2.0數(shù)據(jù)開發(fā)運營一體化從管理本位的角度轉(zhuǎn)變到服務業(yè)務的角度,數(shù)據(jù)管理工作更多為了業(yè)務的創(chuàng)新、為了發(fā)展,這對平臺自動化、快速響應需求,多團隊協(xié)作、運營驅(qū)動管理提出更高要求。該趨勢下,很多企業(yè)開始做了DataOps的實踐。DataOps是一種協(xié)作式數(shù)據(jù)管理的實踐,致力于改善組織中數(shù)據(jù)管理者與使用者之間數(shù)據(jù)流的溝通,集成和自動化。其核心理念有:敏捷開發(fā)、治理閉環(huán)、安全可信、持續(xù)運營,這也確是數(shù)據(jù)管理的必然方向。
中國信息協(xié)會專家范克峰從數(shù)字化轉(zhuǎn)型角度談數(shù)據(jù)管理之變,也與以上觀點相契合。在數(shù)字化轉(zhuǎn)型的路徑考量上,產(chǎn)品選型和組織方式都是重要環(huán)節(jié)。針對前者,技術(shù)實現(xiàn)方式千差萬別,強調(diào)企業(yè)要根據(jù)自身發(fā)展情況和行業(yè)屬性選擇適合自己的數(shù)字化工具。針對后者,絕不可忽視“人”這一因素的重要作用,要重視管理層的支持和員工層的協(xié)作,提升企業(yè)整體數(shù)字能力。
中國信息協(xié)會專家范克峰
02 DataPipeline:聚焦數(shù)據(jù)價值釋放鏈路中最初一公里
副標題:DataOps是指導DataPipeline產(chǎn)品和服務發(fā)展的重要原則
在DataPipeline創(chuàng)始人 & CEO陳誠看來,“聚焦最初一公里”是DataPipeline為產(chǎn)業(yè)提供數(shù)字化轉(zhuǎn)型創(chuàng)新推動力的最佳注解。他指出,企業(yè)數(shù)字化轉(zhuǎn)型過程中,越來越多的數(shù)據(jù)應用被構(gòu)建出來、數(shù)據(jù)量大跨度增長,數(shù)據(jù)的復雜度越來越高,無論從需求側(cè)還是供給側(cè)看,數(shù)據(jù)的時效性要求都變得越來越強。和直接給客戶提供價值的場景應用 “最后一公里”相比,數(shù)據(jù)融合這“最初一公里”的重要性也愈發(fā)凸顯,并且具備豐富內(nèi)涵。
DataPipeline創(chuàng)始人 & CEO陳誠
在優(yōu)化數(shù)據(jù)科學和運營團隊之間協(xié)作的大量數(shù)據(jù)管理實踐中,DataPipeline逐步發(fā)現(xiàn)DataOps是跨越業(yè)務與技術(shù)、數(shù)據(jù)與場景、規(guī)模與質(zhì)量等數(shù)據(jù)驅(qū)動商業(yè)變革鴻溝的有效路徑。DataOps強調(diào)了對數(shù)據(jù)流向價值流轉(zhuǎn)變的數(shù)據(jù)旅程管理的理念,也是指導DataPipeline產(chǎn)品和服務發(fā)展的重要原則,其中最重要的三點:
第一. 擁抱變化。技術(shù)場景的快速分化產(chǎn)生大量不同類的存儲和計算引擎、信創(chuàng)大勢下優(yōu)秀國產(chǎn)數(shù)據(jù)庫涌現(xiàn)、業(yè)務導向下數(shù)據(jù)結(jié)構(gòu)等的快速迭代、網(wǎng)絡等的環(huán)境變化,以上多方面的變化使得數(shù)據(jù)調(diào)度及流轉(zhuǎn)變成極其重要的能力。“最初一公里”成為筑牢數(shù)據(jù)管理根基的關(guān)鍵,也是DataPipeline選擇該領(lǐng)域的初心。
第二. 組織協(xié)作。數(shù)據(jù)管理中的角色多樣,數(shù)據(jù)科學家、數(shù)據(jù)分析師、數(shù)據(jù)工程師、大數(shù)據(jù)平臺運維人員、DBA等,各類角色及其承載內(nèi)容變化量大、速度快,日常工作中缺少抓手協(xié)作配合。DataPipeline通過產(chǎn)品的四層抽象——系統(tǒng)資源管理、節(jié)點管理、鏈路管理和數(shù)據(jù)任務管理來幫助組織,給每一類角色提供相應的入口與易用可視化強的界面,從而形成清晰的工作邊界與良好的配合。
第三. 自動敏捷。該原則的底層邏輯即低代碼、無代碼勝過開發(fā),各類策略的配制勝過代碼調(diào)整。DataPipeline在每一個抽象層級上提供了幾十種策略的配制。細致程度可以達到寫入組件的沖突,數(shù)據(jù)結(jié)構(gòu)發(fā)生變化,有沒有錯誤隊列。客戶在應對新變化時,周期可以從以月計改為按小時甚至分鐘去計算,效率提升顯著。以上都源自DataPipeline過去5年對客戶場景抽絲剝繭地分析與理解,及技術(shù)功能上的細分。
03以用戶為中心,專注場景實踐 創(chuàng)造行業(yè)新價值
副標題:在對于安全、穩(wěn)定、性能都有著極高標準的金融行業(yè)扎根
DataPipeline堅持以用戶為中心,找到業(yè)務場景與實時數(shù)據(jù)管理技術(shù)的結(jié)合點,以場景化的創(chuàng)新解決方案實踐,加速行業(yè)數(shù)字化和智慧升級。
DataPipeline助力民生銀行構(gòu)建實時數(shù)據(jù)管理平臺,在異構(gòu)數(shù)據(jù)實時同步的準確性、系統(tǒng)的穩(wěn)定性、易用性、安全性等方面很好地滿足了需求,實現(xiàn)了民生銀行企業(yè)級實時數(shù)據(jù)的采集、同步與融合。基于DataPipeline進行數(shù)據(jù)標準化開發(fā)和數(shù)據(jù)傳輸,降低了民生銀行開發(fā)成本,加快了實時數(shù)據(jù)價值的釋放,為民生銀行數(shù)據(jù)中臺戰(zhàn)略奠定了堅實的基礎(chǔ)。
民生銀行總行科技大數(shù)據(jù)管理部技術(shù)專家鐘行
民生銀行總行科技大數(shù)據(jù)管理部技術(shù)專家鐘行表示,在實時數(shù)據(jù)預處理和應用層數(shù)據(jù)同步方面,選擇DataPipeline作為合作伙伴共同完成實時數(shù)據(jù)同步管道組件的實施,主要原因為:一是,目前金融行業(yè)進入了一個基礎(chǔ)設施快速迭代的時期,民生銀行也正在積極驗證引入各類開源和商業(yè)化基礎(chǔ)組件滿足數(shù)據(jù)方面需求,DataPipeline是一家專注于提供企業(yè)級異構(gòu)數(shù)據(jù)融合解決方案的公司,能夠持續(xù)跟進行業(yè)內(nèi)計算資源、操作系統(tǒng)、數(shù)據(jù)庫、中間件等方面的變化,持續(xù)對合作伙伴的需求進行支持;二是,DataPipeline企業(yè)級實時數(shù)據(jù)融合平臺的功能和性能,能夠很好地滿足民生銀行當前在實時數(shù)據(jù)預處理和同步方面需求,產(chǎn)品除了支持豐富的數(shù)據(jù)源,在任務的資源控制、狀態(tài)監(jiān)控、異常處理和恢復等方面設計合理,易于與行內(nèi)已有數(shù)據(jù)管理和集中監(jiān)控系統(tǒng)集成。以DataPipeline產(chǎn)品為基礎(chǔ),相對基于開源組件自研的方案可以加速項目實施、降低成本。
DataPipeline助力民生銀行構(gòu)建實時數(shù)據(jù)管理平臺架構(gòu)
山東省城商行聯(lián)盟核心運維組技術(shù)專家倪俊甜在演講中表示:DataPipeline助力山東省城商行聯(lián)盟構(gòu)建的企業(yè)級數(shù)據(jù)庫準實時數(shù)據(jù)采集系統(tǒng)對于推動其實現(xiàn)數(shù)字化轉(zhuǎn)型、數(shù)據(jù)規(guī)范化和集約化管理、賦能企業(yè)經(jīng)營及增強其持久核心競爭力具有重要意義。DataPipeline可實現(xiàn)數(shù)據(jù)的秒級實時采集,產(chǎn)品具備統(tǒng)一易用的人性化操作界面,豐富的配置策略可實現(xiàn)對資源的高效充分利用,產(chǎn)品同時具有標準化遵循與前瞻性判斷前提下的開放可擴展性,當然最重要的是其金融級的穩(wěn)定高容錯能力。
山東省城商行聯(lián)盟核心運維組技術(shù)專家倪俊甜
04升級數(shù)據(jù)技術(shù),提升企業(yè)數(shù)字化轉(zhuǎn)型驅(qū)動力
副標題:用戶需求牽引技術(shù)持續(xù)演進,構(gòu)建數(shù)字化創(chuàng)新基礎(chǔ)設施
技術(shù)已經(jīng)成為當前驅(qū)動產(chǎn)業(yè)變革的重要源動力。產(chǎn)業(yè)數(shù)智化的時代已然來臨,在未來十年,經(jīng)濟發(fā)展的新動能將源自技術(shù)與“千行百業(yè)”的深度融合,新科技產(chǎn)品、新效率以及全新業(yè)務形態(tài)都將由此融合而生。DataPipeline合伙人 & CTO陳肅表示:DataPipeline的技術(shù)架構(gòu)演進,本質(zhì)上是一個用戶需求驅(qū)動的過程。今天我們在3.0版本中看到的技術(shù)架構(gòu)形態(tài),是這些年不斷在客戶真實環(huán)境中不斷錘煉和演進的結(jié)果。
DataPipeline合伙人 & CTO陳肅
回顧過去40年技術(shù)發(fā)展的路線,DataPipeline認為技術(shù)架構(gòu)是不斷取長補短,不斷融合的過程,但是數(shù)據(jù)架構(gòu)的百花齊放、長期共存,是必然趨勢。企業(yè)數(shù)據(jù)基礎(chǔ)設施的建設,需要做好三件事:選擇、組合和連接。而連接是實現(xiàn)組合的關(guān)鍵。但構(gòu)建穩(wěn)定、高性能且能夠適應業(yè)務發(fā)展動態(tài)變化的實時數(shù)據(jù)管道,需要時間、金錢、人力上的昂貴投入且在落地上充滿挑戰(zhàn)。DataPipeline希望提供一個產(chǎn)品化的解決方案,為用戶把這紛繁的事務通過一體化的方式解決掉。以上就是DataPipeline基于對技術(shù)發(fā)展趨勢和產(chǎn)品商業(yè)價值的判斷而做出選擇的基本依據(jù)。
今年五月份,DataPipeline正式發(fā)布實時數(shù)據(jù)融合平臺V3.0里程碑版,是產(chǎn)品由工具型向企業(yè)級數(shù)據(jù)融合平臺進化的關(guān)鍵一步。V3.0版本在技術(shù)成熟度上有跨越式提升,主要表現(xiàn)在其高性能、高可用、可管理性。
第一. 高性能。在3.0版本中,DataPipeline引入了基于內(nèi)存的數(shù)據(jù)交換方式,可以有效避免消息分區(qū)數(shù)量的膨脹帶來的性能下降。同時,基于這一模式的端到端處理速度,比2.0版本提升超過2倍。
第二. 高可用。從1.0版本開始,DataPipeline的底層運行時環(huán)境就支持高可用。在3.0版本中,DataPipeline進一步將產(chǎn)品的所有平臺組件全面實現(xiàn)了高可用。用戶可以根據(jù)對可用性的要求,靈活進行組件節(jié)點的部署,避免單點故障。
第三. 可管理性。根據(jù)企業(yè)分層管理的需求,將系統(tǒng)內(nèi)資源抽象為節(jié)點、鏈路、任務。每一層都可以進行獨立的管理和授權(quán)。用戶可以在鏈路上定義字段類型映射、限速、告警等策略,并應用到任務層面,從而實現(xiàn)層級化的精細管理。與此同時,DataPipeline內(nèi)部的所有重要事件、告警信息都能夠推送到用戶定義的郵箱、文件路徑或Webhook中,從而與企業(yè)現(xiàn)有的運維監(jiān)控體系無縫集成。DataPipeline 3.0配備了容器、應用、線程、業(yè)務四級監(jiān)控體系,實現(xiàn)全方位的運維提升。
05凝心聚力,與產(chǎn)業(yè)各角色共生共贏
副標題:共赴實時數(shù)據(jù)管理的星辰大海
華為計算產(chǎn)品線openGauss數(shù)據(jù)庫產(chǎn)品總經(jīng)理胡正策
華為計算產(chǎn)品線openGauss數(shù)據(jù)庫產(chǎn)品總經(jīng)理胡正策高度評價了華為openGauss與DataPipeline的過往合作,并介紹了openGauss企業(yè)級開源數(shù)據(jù)庫“共建、共享、共治”的生態(tài)理念與成果。近日,DataPipeline與GaussDB(for openGauss)完成兼容性測試,并且簽署CLA(Contribution License Agreement, 貢獻許可協(xié)議),正式加入openGauss社區(qū)。未來,DataPipeline將充分發(fā)揮自主創(chuàng)新能力及產(chǎn)品優(yōu)勢,與華為云合力創(chuàng)造1+1大于2的效果,為推動金融等行業(yè)數(shù)據(jù)管理發(fā)展貢獻力量。
在大會圓桌論壇環(huán)節(jié),與會的各位專家共同就“信創(chuàng)產(chǎn)業(yè)發(fā)展的機遇與挑戰(zhàn)”、“金融行業(yè)對核心數(shù)據(jù)系統(tǒng)的訴求”等問題展開討論。其中,中信銀行信息技術(shù)管理部架構(gòu)管理處處長衛(wèi)東談到:信創(chuàng)是中國數(shù)字經(jīng)濟安全、健康發(fā)展的基石。我國的信創(chuàng)產(chǎn)業(yè)加速朝著好用和全面推廣方向發(fā)展,信創(chuàng)產(chǎn)業(yè)生態(tài)初具規(guī)模。面對數(shù)字經(jīng)濟的高速發(fā)展,信創(chuàng)將給千行百業(yè)帶來不可估量的價值。技術(shù)人員,要有開放的心態(tài),在全球范圍內(nèi)學習并借鑒。更重要的一點,需求市場拉動的同時,以基礎(chǔ)軟件為代表的IT產(chǎn)業(yè)領(lǐng)域也要堅持深化供給側(cè)結(jié)構(gòu)性改革。產(chǎn)品技術(shù)專家,要有在豐富場景下捕捉需求的能力,并且要前瞻性地從產(chǎn)品打造層面提出一些新的功能和特性。這對廠商非常重要,同時也提出了比較高的策略研究能力,包括聯(lián)合用戶方聯(lián)創(chuàng)等的高階能力。
圓桌對話
圓桌論壇現(xiàn)場,來自產(chǎn)業(yè)各領(lǐng)域的合作伙伴也帶來了針對數(shù)據(jù)管理行業(yè)洞察和期待。“勢、創(chuàng)新、專注、融合共建、繁榮生態(tài)、差異化亮點”——DataPipeline2021數(shù)據(jù)管理與創(chuàng)新大會在現(xiàn)場嘉賓對DataPipeline的寄語中圓滿閉幕。
實時數(shù)據(jù)管理平臺構(gòu)建只是開始,數(shù)據(jù)管理的產(chǎn)業(yè)發(fā)展長途漫漫。以“堅持技術(shù)驅(qū)動 深耕企業(yè)服務”為初心和錨點,DataPipeline將全力打通“實時數(shù)據(jù)融合-服務-質(zhì)量”全流程能力,形成全鏈路實時數(shù)據(jù)資產(chǎn)管理業(yè)務體系,與合作伙伴共生共贏,為全球行業(yè)用戶提供穩(wěn)定高效、安全可靠、開放兼容的數(shù)字化創(chuàng)新基礎(chǔ)設施,加速企業(yè)業(yè)務創(chuàng)新和轉(zhuǎn)型升級。
