隨著企業(yè)數(shù)字化轉(zhuǎn)型的持續(xù)深入，數(shù)據(jù)分析呈現(xiàn)四大趨勢(shì)：第一，數(shù)據(jù)類型多元化，由以結(jié)構(gòu)化為主轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化、實(shí)時(shí)數(shù)據(jù)共存；第二，分析場(chǎng)景多樣化，由以統(tǒng)計(jì)分析為主轉(zhuǎn)變?yōu)榻y(tǒng)計(jì)分析、標(biāo)簽分析、全文檢索、 預(yù)測(cè)分析、推理分析共存；第三，分析時(shí)效實(shí)時(shí)化，由以離線分析為主轉(zhuǎn)變?yōu)閷?shí)時(shí)分析、交互分析、自助分析和智能分析；第四，數(shù)據(jù)管控統(tǒng)一化，由以弱管控轉(zhuǎn)變?yōu)閺?qiáng)管控，統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一存儲(chǔ)、統(tǒng)一治理、統(tǒng)一視圖。
數(shù)據(jù)平臺(tái)的演進(jìn)經(jīng)歷了如下幾個(gè)階段：
八十年代誕生的數(shù)據(jù)庫(kù)，解決了企業(yè)數(shù)據(jù)高效的事務(wù)性處理；
九十年代誕生的數(shù)據(jù)倉(cāng)庫(kù)，核心思路是把數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行一定格式轉(zhuǎn)換后，定時(shí)地復(fù)制至另一個(gè)庫(kù)里做列式存儲(chǔ)，從而滿足企業(yè)查詢和數(shù)據(jù)分析的訴求；
2000 年后，隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)量暴增，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，企業(yè)業(yè)務(wù)變化越來(lái)越快，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法適應(yīng)大數(shù)據(jù)以及現(xiàn)代化企業(yè)對(duì)于實(shí)時(shí)、交互式分析等方面的訴求。數(shù)據(jù)湖因此誕生，它選擇了“前松后緊”的設(shè)計(jì)思路，初始化階段放棄嚴(yán)格的模式，后置 schema，從而獲取更強(qiáng)的靈活性，同時(shí)通過(guò)統(tǒng)一存儲(chǔ)管理和計(jì)算優(yōu)化來(lái)保證數(shù)據(jù)的一致性和性能；
近年來(lái)出現(xiàn)的湖倉(cāng)一體架構(gòu)，解決了數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)體系的割裂，在架構(gòu)上把數(shù)據(jù)湖的靈活性、數(shù)據(jù)豐富性與數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)級(jí)戰(zhàn)略/戰(zhàn)術(shù)分析支持能力進(jìn)行融合，逐步演進(jìn)成為集多源異構(gòu)數(shù)據(jù)統(tǒng)一儲(chǔ)存、多模型計(jì)算分析及統(tǒng)一數(shù)據(jù)治理的大數(shù)據(jù)綜合解決方案；
解決客戶的多元化數(shù)據(jù)類型，多樣化分析，實(shí)時(shí)數(shù)據(jù)分析和統(tǒng)一數(shù)據(jù)管控，建設(shè)湖倉(cāng)一體平臺(tái)是現(xiàn)階段最優(yōu)解。
“湖+倉(cāng)” vs “湖倉(cāng)一體”
“湖倉(cāng)一體”時(shí)代，數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)通過(guò)ETL打通，架構(gòu)上仍各自獨(dú)立。數(shù)據(jù)湖從各類數(shù)據(jù)源接入原始數(shù)據(jù)，永久不刪，數(shù)據(jù)從數(shù)據(jù)湖遷移至數(shù)據(jù)倉(cāng)庫(kù)，支持分析場(chǎng)景。雖然這種方式可快速利用已有的數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)資產(chǎn)，但是湖和倉(cāng)仍然各自獨(dú)立，架構(gòu)復(fù)雜，數(shù)據(jù)存多份且實(shí)效性慢，資源成本和運(yùn)維成本依舊很高。
“湖倉(cāng)一體”時(shí)代，通過(guò)統(tǒng)一資源管控，統(tǒng)一分布式存儲(chǔ)管理來(lái)支持多種存儲(chǔ)模型，統(tǒng)一分布式計(jì)算引擎，統(tǒng)一數(shù)據(jù)接口，實(shí)現(xiàn)湖倉(cāng)一體架構(gòu)，在技術(shù)上，具備存算解耦、彈性擴(kuò)展、多租戶、多計(jì)算引擎、分級(jí)資源管理等能力；在功能上，兼具數(shù)倉(cāng)的標(biāo)準(zhǔn)SQL、ACID，數(shù)據(jù)湖的大規(guī)模異構(gòu)數(shù)據(jù)存儲(chǔ)等能力；對(duì)下，提供統(tǒng)多種數(shù)據(jù)接入形式，支持多云、混合云及跨云部署；對(duì)上，提供多種數(shù)據(jù)操作方式和接口，支持多種操作語(yǔ)言。
星環(huán)“湖倉(cāng)一體”的解決之道
星環(huán)科技（星環(huán)信息科技）的湖倉(cāng)一體解決方案，從下到上包含如下層次：1）信創(chuàng)自主可控硬件生態(tài)，支持多種國(guó)產(chǎn)CPU，服務(wù)器和操作系統(tǒng)；2）云原生底座，實(shí)現(xiàn)了基礎(chǔ)設(shè)施資源的統(tǒng)一管理；3）統(tǒng)一的分布式存儲(chǔ)管理，支持庫(kù)表存儲(chǔ)、文本存儲(chǔ)、對(duì)象存儲(chǔ)，鍵值存儲(chǔ)、時(shí)序存儲(chǔ)、事件存儲(chǔ)、時(shí)空存儲(chǔ)、圖存儲(chǔ)、全文引擎等多種模型存儲(chǔ)統(tǒng)一管理；4）統(tǒng)一分布式計(jì)算引擎，支持分析型處理、操作型處理及實(shí)時(shí)處理等多種計(jì)算類型；5）統(tǒng)一數(shù)據(jù)操作/數(shù)據(jù)接口，支持交互式報(bào)表分析、即席查詢、實(shí)時(shí)分析、圖像文本分析、預(yù)測(cè)性分析及多場(chǎng)景的數(shù)據(jù)探測(cè)分析，極大方便生態(tài)應(yīng)用；6）統(tǒng)一數(shù)據(jù)管理，實(shí)現(xiàn)了多模型數(shù)據(jù)和元數(shù)據(jù)的統(tǒng)一管理；7）統(tǒng)一多租戶管理，在資源層，應(yīng)用層和數(shù)據(jù)層實(shí)現(xiàn)了多租戶隔離。
星環(huán)“湖倉(cāng)一體”的邏輯架構(gòu)：星環(huán)的湖倉(cāng)一體 的邏輯架構(gòu)，實(shí)現(xiàn)了 N 數(shù)據(jù)源到 1 數(shù)據(jù)湖，到 N 數(shù)倉(cāng)和數(shù)集，到 1 數(shù)據(jù)接口，再到到 N 數(shù)據(jù)服務(wù)的總體邏輯架構(gòu)。
星環(huán)“湖倉(cāng)一體”的技術(shù)架構(gòu)：星環(huán)湖倉(cāng)一體的技術(shù)架構(gòu)，核心是星環(huán)科技多模數(shù)據(jù)統(tǒng)一架構(gòu)，它的核心價(jià)值是：1）將多個(gè)操作訪問(wèn)入口變?yōu)橐粋€(gè)入口；2）將多種數(shù)據(jù)庫(kù)語(yǔ)言變?yōu)橐环N語(yǔ)言；3）將多套計(jì)算引擎變?yōu)橐惶滓妫?）將多份計(jì)算資源變?yōu)橐环葙Y源；5）將分散存儲(chǔ)管理變?yōu)榻y(tǒng)一存儲(chǔ)管理；6）將多份數(shù)據(jù)資產(chǎn)變?yōu)橐环輸?shù)據(jù)資產(chǎn)。
