數據開發工作是推動各領域大數據應用落地的必要環節,是將數據生產要素轉化成社會生產力的關鍵過程。
6月9日,由中國信息通信研究院、大數據技術標準推進委員會舉辦的“2021大數據前沿技術與產業論壇”在北京舉行,論壇聚焦集成化大數據平臺、流計算、數據開發平臺、數據可視化等爆點新概念,邀請業內知名專家學者共論大數據前沿技術發展方向,探尋技術產品在產業界的落地實踐。
云徙科技數據智能部總經理蒲繼強受邀參加論壇,發表“數據開發平臺發展趨勢與實踐案例”在線主題演講,與行業同仁共同溝通、交流大數據開發平臺在企業建設數據方面的一些思考。
以下為蒲繼強演講內容整理分享:
一、數字中臺:解決企業數據建設困局
大數據技術的推陳出新、演變非常快速,也給企業帶來了在建設數據方面的一些困局。
這些到底用什么樣的架構比較適合自身企業,并不是說最新的架構就一定是適合的,需要根據場景或者企業現有的人員去進行一個最優的組合。
我們認為數據中臺就是解決大數據技術以及大數據技術應用到數據場景的一攬子解決方案,它是數字化建設的一個基建工程。
數據中臺是從技術層面上去屏蔽大數據底下的技術能力。從業務上整合企業的全場景的數據,以數據能力形式統一為企業數字化的變革或者是創新提供服務,可以有效地去解決企業在大數據建設方面技術方面遇到的一些困境。
二、大數據研發平臺經歷的4個階段
大數據研發平臺是數據中臺的一個建設利器。在大數據研發平臺的發展過程當中,可以把它歸納為四個階段。
第一個階段是純編碼階段,大數據開發人員需要有一邊去理解大數據技術的能力,一邊要去做數據應用場景的開發。
第二個階段2012-2015,以互聯網為代表的企業,開始基于大數據技術封裝開發工具,但也僅僅實現了一些數據的ETL可視化開發。
第三個階段2015-2018,大數據研發平臺開始逐步產品化,基于企業數據中臺建設全場景實現了數據采、存、通、服的可視化開發,真正提升大數據建設生產力。
第四個階段,隨著數據種類的繁多、質量的低下,數據治理越來越受到重視,數據建設與數據治理并行解決也被提上了日程。
三、大數據研發平臺分享
在大數據研發平臺方面,云徙做了什么工作?簡單一句話,云徙的數據中臺,讓數據從DOS時代進了windows 時代。
整個數據中臺里的一個核心產品,就是大數據研發平臺,從數據的接入到最后的數據的運維,數據資產管理,都可以在這個平臺上進行一站式的開發。
具體層面上我們可以支持多種的異構數據源接入。比如說流數據,離線的結構化的數據,非結構化的數據,包括實時接入以及物聯網傳感器,智能化IDE編程環境,開發、生產環境的聯動可以一鍵發布等等。
四、大數據研發平臺實踐案例
在此分享一個醫藥行業醫藥集團公司成功案例,本案例中的醫藥集團覆蓋了醫藥制造、生產、研發、營銷、銷售,包括售后服務,整個全鏈路的業務。數據業務化,一直是企業里面的一個老大難的問題。
云徙在參與到此個醫藥集團數據中臺建設過程當中,利用云徙的大數據研發平臺,為它梳理并采集了包含IOT爬蟲數據,以及它自身內部的業務系統,多種數據源,實現包括集團的管理駕駛艙、營銷、商業、連鎖、醫生、終端、客戶、供應鏈等8個主題域的數據,形成了六大類的數據應用賦能到智慧研發、智慧生產、智慧供應鏈、智慧營銷和智慧管理。
在實施整個項目交付過程當中,利用云徙的研發平臺,大大提升了研發效率。僅僅是由1位技術經理+2位客戶研發人員+3位云徙研發人員+1位算法工程師,七個人的團隊就基本實現了一個數據中臺的建設。
在數據中臺把基礎搭好之后,云徙還幫其做了很多這種數據的智能應用,比如智能補貨,醫生的精準畫像,精準地圖等這些功能,為整個醫藥集團數據業務化打下了堅實的基礎。