2021 年 3 月 24 日，主題為《數(shù)據(jù)的世界，世界的數(shù)據(jù)》的星環(huán)科技 2021 春季新品發(fā)布會(huì)在星環(huán)上海總部舉行。會(huì)上，星環(huán)科技一站式數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái) Transwarp Data Studio（以下簡(jiǎn)稱(chēng) TDS )正式發(fā)布 2.2 版本，旨在通過(guò)數(shù)據(jù)的全生命周期管理能力，加速企業(yè)數(shù)字化建設(shè)進(jìn)程。
星環(huán)科技在多年助力企業(yè)數(shù)字化轉(zhuǎn)型的實(shí)踐中發(fā)現(xiàn)，企業(yè)數(shù)字化建設(shè)發(fā)展過(guò)程中有兩個(gè)重要的方向，一個(gè)是底層數(shù)據(jù)類(lèi)型、數(shù)據(jù)接入與計(jì)算方式要逐步多樣化，另一個(gè)則是數(shù)據(jù)應(yīng)用能夠逐漸繁榮，從而實(shí)現(xiàn)數(shù)據(jù)和應(yīng)用之間的正向反饋和相互促進(jìn)迭代。這個(gè)過(guò)程中，根據(jù)對(duì)星環(huán)科技的行業(yè)客戶(hù)的大量觀(guān)察，雖然各個(gè)企業(yè)有不同的數(shù)字化發(fā)展的策略，但是總體上有遵循著階段化循序演進(jìn)的規(guī)律，可以概括為數(shù)據(jù)統(tǒng)一化、數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)業(yè)務(wù)化和數(shù)據(jù)生態(tài)化四個(gè)階段，而發(fā)展到每個(gè)階段企業(yè)都需要不同的數(shù)據(jù)管理能力來(lái)完成階段性建設(shè)目標(biāo)。
在數(shù)據(jù)統(tǒng)一化階段，企業(yè)需要通過(guò)數(shù)據(jù)加載、同步、實(shí)時(shí)的數(shù)據(jù)接入、SQL 開(kāi)發(fā)以及任務(wù)調(diào)度管理等能力來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)湖；在數(shù)據(jù)資產(chǎn)化階段，企業(yè)需要構(gòu)建血緣、標(biāo)準(zhǔn)、質(zhì)量管理，以及數(shù)據(jù)資產(chǎn)目錄、模型管理等數(shù)據(jù)治理平臺(tái)，并能提供數(shù)據(jù)地圖的能力；在數(shù)據(jù)業(yè)務(wù)化階段，企業(yè)需要提供一套數(shù)據(jù)智能與分析的解決方案；在數(shù)據(jù)生態(tài)化階段，企業(yè)需要構(gòu)建數(shù)據(jù)交易共享平臺(tái)，其中包括數(shù)據(jù)共享交換、對(duì)數(shù)據(jù)安全的保護(hù)、隱私計(jì)算還有聯(lián)邦學(xué)習(xí)等能力。如果能結(jié)合以上四個(gè)階段，構(gòu)建企業(yè)大數(shù)據(jù)能力并建設(shè)所有系統(tǒng)，企業(yè)就完成了數(shù)據(jù)價(jià)值演進(jìn)的全過(guò)程。
隨著企業(yè)的數(shù)據(jù)類(lèi)型和數(shù)據(jù)應(yīng)用的增加，大量的數(shù)據(jù)會(huì)積累起來(lái)，因此數(shù)據(jù)資產(chǎn)化的工作就非常有挑戰(zhàn)性。未來(lái)更好的將數(shù)據(jù)升級(jí)為資產(chǎn)，企業(yè)一般需要開(kāi)展數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)治理工作，這是一個(gè)組織管理加技術(shù)落地的工作，需要在一體化的數(shù)據(jù)治理方法論的指導(dǎo)下來(lái)落實(shí)每個(gè)有效的數(shù)據(jù)的質(zhì)量提升、標(biāo)準(zhǔn)落地和業(yè)務(wù)級(jí)價(jià)值梳理。為了更好的幫助我們的企業(yè)用戶(hù)能夠更好的落地?cái)?shù)據(jù)治理工作，新發(fā)布的 TDS 2.2 能夠?qū)嵸|(zhì)性的幫助用戶(hù)提升效率。TDS是一個(gè)集開(kāi)發(fā)與治理為一體的一站式工具平臺(tái)，不僅在產(chǎn)品上實(shí)現(xiàn)了較為完整的覆蓋，更是將星環(huán)數(shù)據(jù)治理咨詢(xún)團(tuán)隊(duì)的行業(yè)經(jīng)驗(yàn)和方法論沉淀在工具中，此外還結(jié)合機(jī)器學(xué)習(xí)技術(shù)來(lái)輔助專(zhuān)業(yè)人員可以更快的將各種治理工作自動(dòng)化，因此TDS可以大幅度提升企業(yè)數(shù)據(jù)開(kāi)發(fā)和治理的效率，加速企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程。
TDS 提供了完整的數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)標(biāo)簽與服務(wù)、數(shù)據(jù)共享與交易等一系列數(shù)據(jù)全生命周期的處理工具，與 TDS 1.x 相比，新版本新增了兩個(gè)子產(chǎn)品，一個(gè)是數(shù)據(jù)質(zhì)量管理工具 Governor，用于管理數(shù)據(jù)從獲取到消亡每個(gè)階段里可能引發(fā)的數(shù)據(jù)質(zhì)量問(wèn)題；另一個(gè)是數(shù)據(jù)商城 Transwarp Foresight，它整合了 TDS 的數(shù)據(jù)服務(wù)開(kāi)發(fā)工具 Midgard 和標(biāo)簽開(kāi)發(fā)工具 StarViewer，為業(yè)務(wù)人員提供數(shù)據(jù)資產(chǎn)的檢索、下載、共享的能力，結(jié)合著數(shù)據(jù)血緣幫助數(shù)據(jù)使用者、開(kāi)發(fā)者和管理者做整體協(xié)同，構(gòu)建其數(shù)據(jù)運(yùn)營(yíng)能力。
除以上提到的四個(gè)工具之外，TDS 的子產(chǎn)品還包括：面向數(shù)據(jù)庫(kù) SQL 程序開(kāi)發(fā)者的桌面集成開(kāi)發(fā)環(huán)境 Waterdrop、網(wǎng)頁(yè)版的團(tuán)隊(duì)協(xié)作的 SQL 開(kāi)發(fā)環(huán)境 SQLBook、可視化的 ETL 開(kāi)發(fā)工具Transporter、數(shù)據(jù)計(jì)算任務(wù)的調(diào)度平臺(tái) Workflow、數(shù)據(jù)可視化工具 Pilot 、數(shù)據(jù) API 的開(kāi)發(fā)與管理工具 Midgard以及數(shù)據(jù)資產(chǎn)管理工具軟件 Catalog。
值得關(guān)注的是，TDS 不僅能夠支持基于星環(huán)平臺(tái)的大數(shù)據(jù)開(kāi)發(fā)與治理，同時(shí)也可以管理各種關(guān)系數(shù)據(jù)庫(kù)和主流大數(shù)據(jù)平臺(tái)，用于企業(yè)級(jí)的數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)平臺(tái)的建設(shè)。
今天，星環(huán)科技一站式數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái) TDS，迎來(lái)了全新的 2.2 版本。經(jīng)過(guò)多個(gè)版本的不斷迭代，TDS 以功能更全面、性能更出色的姿態(tài)與大家見(jiàn)面，在 TDS 的助力之下，企業(yè)數(shù)據(jù)平臺(tái)的建設(shè)效率將會(huì)大幅度提升，業(yè)務(wù)用戶(hù)與數(shù)據(jù)資產(chǎn)的打通也將更加徹底，最終實(shí)現(xiàn)數(shù)據(jù)與業(yè)務(wù)的結(jié)合。新版本的 TDS 具備以下四個(gè)核心能力：
核心能力一：數(shù)據(jù)聯(lián)邦
TDS 通過(guò)數(shù)據(jù)聯(lián)邦技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的統(tǒng)一管理和服務(wù)，實(shí)現(xiàn)了三個(gè)統(tǒng)一：
第一、統(tǒng)一的數(shù)據(jù)門(mén)戶(hù)，數(shù)據(jù)商城Transwarp Foresight 整合各平臺(tái)數(shù)據(jù)產(chǎn)品做對(duì)外的數(shù)據(jù)共享與交換；
第二、統(tǒng)一的數(shù)據(jù) API 服務(wù)能力，數(shù)據(jù)服務(wù)開(kāi)發(fā)工具M(jìn)idgard 產(chǎn)品能夠通過(guò)直連數(shù)據(jù)庫(kù)的方式，將數(shù)據(jù)庫(kù)的表或字段數(shù)據(jù)直接發(fā)布為服務(wù)API，并提供高并發(fā)的查詢(xún)能力；
第三、統(tǒng)一的技術(shù)元數(shù)據(jù)，數(shù)據(jù)資產(chǎn)目錄Catalog 通過(guò)數(shù)據(jù)庫(kù)直連獲取技術(shù)元數(shù)據(jù)，通過(guò)補(bǔ)充異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)血緣，展現(xiàn)完整的數(shù)據(jù)地圖和血緣分析。
與此同時(shí)，基于 Inceptor 的聯(lián)邦計(jì)算能力，TDS 可實(shí)現(xiàn)統(tǒng)一的 SQL 計(jì)算和統(tǒng)一的數(shù)據(jù)治理。Inceptor SQL 引擎能夠?qū)崿F(xiàn)跨異構(gòu)數(shù)據(jù)平臺(tái)的 SQL 計(jì)算，支持多種關(guān)系型數(shù)據(jù)庫(kù)、異構(gòu)大數(shù)據(jù)平臺(tái)以及 MPP 數(shù)據(jù)庫(kù) 。TDS SQL 開(kāi)發(fā)工具 SQL Book 可以充分利用 Inceptor 的聯(lián)邦計(jì)算能力，承擔(dān)企業(yè)統(tǒng)一數(shù)據(jù)開(kāi)發(fā)入口的角色：開(kāi)發(fā)者提交的 SQL 任務(wù)能夠通過(guò)Inceptor 的聯(lián)邦計(jì)算能力來(lái)統(tǒng)一處理，無(wú)需維護(hù)多個(gè)異構(gòu)數(shù)據(jù)平臺(tái)的開(kāi)發(fā)環(huán)境和開(kāi)發(fā)入口。
核心能力二：智能化數(shù)據(jù)治理能力
隨著當(dāng)今 ToB 市場(chǎng)數(shù)據(jù)治理需求的高速增長(zhǎng)，數(shù)據(jù)治理解決方案作為人力密集型項(xiàng)目的痛點(diǎn)也逐漸被放大。通過(guò)智能化手段來(lái)緩解甚至解決該痛點(diǎn)的趨勢(shì)也隨之到來(lái)。星環(huán) TDS 能夠提供結(jié)合專(zhuān)家規(guī)則與機(jī)器學(xué)習(xí)的智能化數(shù)據(jù)治理能力。TDS 首先自動(dòng)識(shí)別數(shù)據(jù)資產(chǎn)，然后對(duì)識(shí)別到的數(shù)據(jù)資產(chǎn)進(jìn)行自動(dòng)分類(lèi)，最后自動(dòng)監(jiān)控?cái)?shù)據(jù)資產(chǎn)動(dòng)態(tài)，實(shí)現(xiàn)了對(duì)數(shù)據(jù)資產(chǎn)的智能編目；同時(shí)專(zhuān)業(yè)咨詢(xún)團(tuán)隊(duì)構(gòu)建的行業(yè)知識(shí)庫(kù)，通過(guò)智能算法自動(dòng)提煉知識(shí)，形成行業(yè)智能模型，能夠向用戶(hù)智能的推薦數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)標(biāo)準(zhǔn)貫標(biāo)，有效解決人力瓶頸；最后還支持智能發(fā)現(xiàn)敏感數(shù)據(jù)，保護(hù)數(shù)據(jù)資產(chǎn)的合規(guī)性。
核心能力三：優(yōu)秀的團(tuán)隊(duì)協(xié)作能力
企業(yè)的大數(shù)據(jù)開(kāi)發(fā)普遍缺少軟件工程的整體管控流程，隨著業(yè)務(wù)復(fù)雜性提高、開(kāi)發(fā)團(tuán)隊(duì)越來(lái)越多、代碼與模型版本混亂，導(dǎo)致后期維護(hù)成本越來(lái)越高，而星環(huán) TDS 能夠幫助企業(yè)構(gòu)建大數(shù)據(jù)智能化開(kāi)發(fā)平臺(tái)，提供全程圖形化操作、知識(shí)規(guī)則庫(kù)、開(kāi)發(fā)協(xié)同、安全管控以及版本管理能力，實(shí)現(xiàn)大數(shù)據(jù)全流程開(kāi)發(fā)、測(cè)試、上下線(xiàn)的線(xiàn)上化，并完成全平臺(tái)的數(shù)據(jù)訂閱與跨平臺(tái)數(shù)據(jù)推送等數(shù)據(jù)中臺(tái)服務(wù)，構(gòu)建數(shù)據(jù)應(yīng)用的完整 DevOps 體系。
核心能力四：分布式架構(gòu)的設(shè)計(jì)，最大可支持 PB 級(jí)別的數(shù)據(jù)平臺(tái)建設(shè)工作
TDS 的調(diào)度工具 Workflow 利用分布式調(diào)度引擎，最大可支持百萬(wàn)級(jí)別任務(wù)調(diào)度的生產(chǎn)需求；TDS 的數(shù)據(jù)集成工具 Transporter 用 ELT 代替?zhèn)鹘y(tǒng)的 ETL，充分利用了星環(huán)底層大數(shù)據(jù)平臺(tái)的計(jì)算能力，能夠避免傳統(tǒng) ETL 工具本身的計(jì)算瓶頸；數(shù)據(jù)服務(wù)開(kāi)發(fā)工具 Midgard 通過(guò) Hyperbase 提供的高并發(fā) API，以及云操作系統(tǒng) TCOS Ingress 提供的高性能 API 網(wǎng)關(guān)，都可以達(dá)到單節(jié)點(diǎn) 2 萬(wàn) QPS 的優(yōu)秀性能表現(xiàn)；數(shù)據(jù)資產(chǎn)目錄 Catalog 基于分布式圖數(shù)據(jù)庫(kù)，支持百億級(jí)數(shù)據(jù)操作的存儲(chǔ)與分析。同時(shí)精確到字段級(jí)別的血緣分析能力，能夠?qū)崟r(shí)感知和追蹤平臺(tái)內(nèi)的數(shù)據(jù)變化。
目前，星環(huán)科技一站式數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái) Transwarp Data studio （TDS），通過(guò)數(shù)據(jù)的全生命周期管理、數(shù)據(jù)聯(lián)邦、智能化數(shù)據(jù)治理等能力，已經(jīng)為多個(gè)大型企業(yè)客戶(hù)數(shù)字化轉(zhuǎn)型提供落地方案，降低了企業(yè)大數(shù)據(jù)開(kāi)發(fā)的技術(shù)門(mén)檻，并提升了企業(yè)數(shù)據(jù)開(kāi)發(fā)效率。未來(lái)，星環(huán)將繼續(xù)通過(guò)大數(shù)據(jù)核心技術(shù)為企業(yè)賦能，助力企業(yè)加速數(shù)字化轉(zhuǎn)型。
