12月30日，華為云TechWave云原生2.0峰會(huì)在深圳順利舉行。在此次大會(huì)上，華為云FusionInsight首席架構(gòu)師徐禮鋒出席并做主題演講“華為云FusionInsight MRS云原生數(shù)據(jù)湖構(gòu)建一企一湖、一城一湖”。
華為云FusionInsight MRS云原生數(shù)據(jù)湖為政企客戶海量數(shù)據(jù)提供大數(shù)據(jù)解決方案，支持大數(shù)據(jù)實(shí)時(shí)分析、離線分析、交互查詢、實(shí)時(shí)檢索等應(yīng)用場(chǎng)景，助力政企釋放海量數(shù)據(jù)價(jià)值，實(shí)現(xiàn)一企一湖、一城一湖，業(yè)務(wù)洞見更準(zhǔn)，價(jià)值兌現(xiàn)更快！
HC2020由華為云CTO張宇昕在峰會(huì)上重磅發(fā)布了華為云FusionInsight新一代智能數(shù)據(jù)湖，原FusionInsight HD與華為云MRS強(qiáng)強(qiáng)結(jié)合，架構(gòu)、內(nèi)核歸一，全面升級(jí)到FusionInsight MRS云原生架構(gòu)，將為客戶提供以下更具競(jìng)爭(zhēng)力的云原生數(shù)據(jù)湖：
1.OBS大數(shù)據(jù)存算分離方案：首先，相較傳統(tǒng)大數(shù)據(jù)存算一體化方案，軟硬件解耦，提供更高性價(jià)比、更靈活的OBS大數(shù)據(jù)存算分離方案。OBS+大數(shù)據(jù)將計(jì)算與存儲(chǔ)資源按需靈活擴(kuò)容，避免資源浪費(fèi)，OBS采用企業(yè)級(jí)EC，傳統(tǒng)大數(shù)據(jù)需3副本，華為提供最低1.2副本的大數(shù)據(jù)存算分離解決方案，存儲(chǔ)利用率從33%提升至80%+，使得整體TCO降低60%+。其次，OBS大數(shù)據(jù)存算分離方案將數(shù)據(jù)統(tǒng)一存儲(chǔ)在OBS，數(shù)據(jù)在一個(gè)支持多協(xié)議共享，實(shí)現(xiàn)多引擎共享，數(shù)據(jù)免搬遷；同時(shí)，全局一套數(shù)據(jù)，統(tǒng)一數(shù)據(jù)管理，從而降低了運(yùn)維的難度。最后，在性能方面，OBS大數(shù)據(jù)存算分離方案通過算子下推、軟硬件調(diào)優(yōu)，與同等成本的集群相比，性能提升30%+。
2.Data Lake Catalog統(tǒng)一數(shù)據(jù)目錄：相較傳統(tǒng)數(shù)據(jù)孤島，DLC統(tǒng)一全局?jǐn)?shù)據(jù)視圖，讓元數(shù)據(jù)全局可見。DLC還兼容Hive MetaStore，性能超越其3~5倍，在保持高性能的前提下，實(shí)現(xiàn)數(shù)據(jù)的全局可視。
3.BMS裸金屬服務(wù)器：相較傳統(tǒng)虛擬機(jī)部署，性能零損耗。其兼具大數(shù)據(jù)所需資源彈性，更是做到分鐘級(jí)發(fā)放。同時(shí)，華為云大數(shù)據(jù)具備獨(dú)家的SDI技術(shù)，基于擎天加速卡，擁有超低時(shí)延，可做到100%釋放完整算力，讓大數(shù)據(jù)分析、計(jì)算等高CPU、高內(nèi)存、高IO等計(jì)算密集型場(chǎng)景如虎添翼。
新版本的FusionInsight MRS云原生數(shù)據(jù)湖除過以上云原生優(yōu)勢(shì)，還在以下5個(gè)方面持續(xù)發(fā)力：
1.快：基于MRS可構(gòu)建實(shí)時(shí)數(shù)據(jù)湖，湖內(nèi)建倉(cāng)，一份數(shù)據(jù)支持全場(chǎng)景，縮短分析鏈路，加速數(shù)據(jù)分析全過程。首先，在數(shù)據(jù)入湖方面，通過Hudi實(shí)現(xiàn)全量數(shù)據(jù)的T+0實(shí)時(shí)增量更新；其次，在數(shù)據(jù)集市構(gòu)建方面，通過ClickHouse實(shí)時(shí)OLAP能力構(gòu)建大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)湖，基于Kimball直面業(yè)務(wù)構(gòu)建主題數(shù)據(jù)，湖內(nèi)建倉(cāng)將數(shù)據(jù)的貼源加工、整合關(guān)聯(lián)、主題加工過程都在湖內(nèi)完成，一份數(shù)據(jù)支持?jǐn)?shù)據(jù)應(yīng)用全場(chǎng)景，縮短數(shù)據(jù)加工鏈路；通過HetuEngine實(shí)現(xiàn)數(shù)據(jù)虛擬化訪問，統(tǒng)一SQL接口，簡(jiǎn)化用數(shù)，全民BI！經(jīng)實(shí)測(cè)，在某客戶營(yíng)銷業(yè)務(wù)場(chǎng)景下（大表多表關(guān)聯(lián)場(chǎng)景）使用HetuEngine，較傳統(tǒng)大數(shù)據(jù)性能提升10倍！
2.融：助力客戶從孤島建設(shè)方式向云原生數(shù)據(jù)湖演進(jìn)，提供跨源、跨域、跨引擎融合分析，數(shù)據(jù)免搬遷。
3.大：支持最大2萬+節(jié)點(diǎn)大規(guī)模集群，可集群聯(lián)邦無限擴(kuò)容。
4.穩(wěn)：支持在線滾動(dòng)升級(jí)，無需拆集群、搬應(yīng)用，使客戶一個(gè)架構(gòu)持續(xù)演進(jìn)，十年無憂；支持資源隔離，業(yè)務(wù)互不影響；支持兩地三中心高可用災(zāi)備，確保業(yè)務(wù)連續(xù)性！
5.開放：華為云FusionInsight MRS積極擁抱開源，與世界同行，已獲專利500+；具有20+開源PMC&Committer，先后開放CarbonData和openLooKeng等組件。
同時(shí)，華為云FusionInsight MRS作為最懂行的大數(shù)據(jù)解決方案，擁有雄厚的技術(shù)研發(fā)實(shí)力，深入了解客戶場(chǎng)景痛點(diǎn)，為政企數(shù)字化轉(zhuǎn)型提供最堅(jiān)實(shí)的數(shù)據(jù)底座，連續(xù)多年獲得了客戶和權(quán)威機(jī)構(gòu)的認(rèn)可。在IDC MarketScape報(bào)告中，華為云位居領(lǐng)導(dǎo)者(Leaders)象限，并在市場(chǎng)份額和技術(shù)實(shí)力兩個(gè)維度雙領(lǐng)先！2020年，華為云FusionInsight已連續(xù)四年入選中國(guó)大數(shù)據(jù)企業(yè)50強(qiáng)，并榮獲金融行業(yè)大數(shù)據(jù)最佳解決方案獎(jiǎng)、中國(guó)信息通信大數(shù)據(jù)行業(yè)影響力獎(jiǎng)、中國(guó)大數(shù)據(jù)平臺(tái)類最佳解決方案獎(jiǎng)。
截止2020年11月，華為云FusionInsight MRS云原生數(shù)據(jù)湖已廣泛應(yīng)用于政府、金融、運(yùn)營(yíng)商、大企業(yè)、互聯(lián)網(wǎng)等行業(yè)，攜手800+合作伙伴，服務(wù)于全球60+國(guó)家和地區(qū)3000+政企客戶。
在金融領(lǐng)域，國(guó)內(nèi)50%的TOP20金融客戶(含銀行、證券、保險(xiǎn)等)均已使用華為云FusionInsight MRS構(gòu)建其大數(shù)據(jù)平臺(tái)。金融某大行之前使用傳統(tǒng)大數(shù)據(jù)的三副本存儲(chǔ)性價(jià)比低，往往10PB的存儲(chǔ)空間，有效容量?jī)H3PB；同時(shí)存在存儲(chǔ)、計(jì)算等資源不均衡，往往存儲(chǔ)利用率超過70%，但CPU利用率不足50%，擴(kuò)容時(shí)需要計(jì)算、存儲(chǔ)資源一起擴(kuò)容，存在資源浪費(fèi)現(xiàn)象；該金融客戶使用FusionInsight后，實(shí)現(xiàn)了大數(shù)據(jù)平臺(tái)與OBS對(duì)象存儲(chǔ)服務(wù)的對(duì)接，在保證性能的前提下，實(shí)現(xiàn)了計(jì)算與存儲(chǔ)獨(dú)立按需擴(kuò)容，提升整體資源利用率，TCO降低60%。
在運(yùn)營(yíng)商領(lǐng)域，國(guó)內(nèi)三大運(yùn)營(yíng)商均使用華為云FusionInsight MRS構(gòu)建其大數(shù)據(jù)平臺(tái)。廣東移動(dòng)大數(shù)據(jù)平臺(tái)的集群規(guī)模已超1500節(jié)點(diǎn)，日均處理作業(yè)21萬+，承載業(yè)務(wù)達(dá)200+，其中包括對(duì)內(nèi)精準(zhǔn)營(yíng)銷、收入稽核，對(duì)外廣告投放等關(guān)鍵業(yè)務(wù)，服務(wù)連續(xù)性需求較高。而大數(shù)據(jù)技術(shù)迭代快，傳統(tǒng)升級(jí)方式需斷電、重啟等操作，升級(jí)操作復(fù)雜，運(yùn)維繁瑣，影響現(xiàn)網(wǎng)業(yè)務(wù)運(yùn)行，且大集群升級(jí)耗時(shí)長(zhǎng)，突發(fā)故障易中斷升級(jí)動(dòng)作。為了保持業(yè)務(wù)的連續(xù)性和技術(shù)引領(lǐng)，廣東移動(dòng)通過華為云FusionInsight MRS滾動(dòng)升級(jí)能力，實(shí)現(xiàn)大集群分批次滾動(dòng)升級(jí)，業(yè)務(wù)0中斷；故障節(jié)點(diǎn)隔離功能確保升級(jí)動(dòng)作的穩(wěn)定運(yùn)行，實(shí)現(xiàn)7*24小時(shí)不間斷服務(wù)；1000+精細(xì)化運(yùn)維指標(biāo)及可視化操作簡(jiǎn)化運(yùn)維，實(shí)現(xiàn)一個(gè)架構(gòu)持續(xù)演進(jìn)。
在交通領(lǐng)域，深圳地鐵在6、10號(hào)線采用華為云FusionInsight MRS構(gòu)建大數(shù)據(jù)分析平臺(tái)，打造領(lǐng)先的5G+大數(shù)據(jù)方案，并構(gòu)建其數(shù)據(jù)資產(chǎn)中心和運(yùn)行監(jiān)控中心，承載地鐵各業(yè)務(wù)系統(tǒng)，支撐設(shè)備健康、能耗管理、客流統(tǒng)計(jì)、線路中心級(jí)監(jiān)控、應(yīng)急決策和圖像型火災(zāi)分析等線路級(jí)數(shù)據(jù)分析，數(shù)據(jù)分析效率從周級(jí)縮短至分鐘級(jí)，實(shí)現(xiàn)高效運(yùn)營(yíng)，推動(dòng)深圳步入更美好的全聯(lián)接數(shù)字化軌道交通新時(shí)代…
除過在以上各行業(yè)的應(yīng)用，在環(huán)境保護(hù)方面，青海綠能數(shù)據(jù)有限公司基于華為云FusionInsight MRS構(gòu)建了國(guó)內(nèi)首個(gè)能源大數(shù)據(jù)創(chuàng)新平臺(tái)，實(shí)現(xiàn)了規(guī)劃輔助決策、用氣象數(shù)據(jù)科學(xué)指導(dǎo)發(fā)電等創(chuàng)新業(yè)務(wù)，為上下游產(chǎn)業(yè)鏈企業(yè)提供25類47項(xiàng)數(shù)據(jù)服務(wù)，推動(dòng)28座新能源場(chǎng)站實(shí)現(xiàn)了“無人值班、少人值守”，并有效支撐了青海“綠電15日”，以大數(shù)據(jù)為基石，建設(shè)綠色新青海，守護(hù)高原和諧生態(tài)。
同時(shí)，華為堅(jiān)持“自己的降落傘自己先跳”，華為集團(tuán)IT通過FusionInsight MRS構(gòu)建OneData大數(shù)據(jù)集群，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)在大規(guī)模場(chǎng)景下的開拓，OneData集群其規(guī)模已至1萬+節(jié)點(diǎn)；同時(shí)，實(shí)現(xiàn)了統(tǒng)一的數(shù)據(jù)管理服務(wù)，在菩提海UniDB產(chǎn)品中，通過邏輯統(tǒng)一方式，把50+物理分散的計(jì)算集群(Hadoop)，基于五統(tǒng)一(數(shù)據(jù)安全，元數(shù)據(jù)目錄，數(shù)據(jù)集成，數(shù)據(jù)訪問，任務(wù)調(diào)度)，整合成湖倉(cāng)一體的架構(gòu)，支撐上千個(gè)企業(yè)租戶的PB級(jí)數(shù)據(jù)分析處理需求。一個(gè)基于FusionInsight MRS 的“+治理，+AI，+運(yùn)營(yíng)，+云”的融合數(shù)據(jù)底座(菩提海)已經(jīng)在華為集團(tuán)IT廣泛使用，未來可期。
以上只是“冰山的一角”，華為云FusionInsight MRS一方面不斷深入理解客戶不斷發(fā)展的業(yè)務(wù)訴求，另一方面，持續(xù)技術(shù)創(chuàng)新并引領(lǐng)行業(yè)發(fā)展，商業(yè)訴求+技術(shù)創(chuàng)新雙輪驅(qū)動(dòng)行業(yè)可持續(xù)、高質(zhì)量發(fā)展，“用數(shù)”助力客戶商業(yè)成功!上面的論述已經(jīng)充分證明，華為云是“懂行”的大數(shù)據(jù)領(lǐng)導(dǎo)者，真正讓客戶用好數(shù)、管好數(shù)、放心用，構(gòu)建數(shù)字世界黑土地！
