伴隨著全球數(shù)字經(jīng)濟(jì)快速發(fā)展，知名咨詢公司IDC預(yù)測，在2020年后的未來兩年中，企業(yè)數(shù)據(jù)將以每年42.2%的速度持續(xù)增長。大量數(shù)據(jù)匯聚后的數(shù)據(jù)管理與運(yùn)營分析，將使企業(yè)在客戶粘性、整體收入、利潤增長以及成本控制上得到更大收益，從而形成企業(yè)市場核心競爭力提升的關(guān)鍵。
隨著企業(yè)等各類型組織的業(yè)務(wù)增長，數(shù)據(jù)量持續(xù)增加，大量數(shù)據(jù)的實(shí)時(shí)與離線分析成為了新的訴求。以Hadoop為代表的大數(shù)據(jù)技術(shù)得到廣泛應(yīng)用與持續(xù)發(fā)展，然而大數(shù)據(jù)服務(wù)組件眾多、部署與使用過程的復(fù)雜性，使企業(yè)在數(shù)據(jù)運(yùn)營分析與開發(fā)管理中門檻重重。
優(yōu)刻得基于多年公有云大數(shù)據(jù)產(chǎn)品服務(wù)經(jīng)驗(yàn)的沉淀，結(jié)合客戶市場需求的深入解析。于近日正式推出了自主研發(fā)的“智能化、輕量級、一站式大數(shù)據(jù)服務(wù)組件管理平臺USDP”（以下簡稱USDP）。平臺支持對HDFS，Kudu，Elasticsearch等30余款，主流開源大數(shù)據(jù)服務(wù)組件進(jìn)行實(shí)施部署、配置管理、監(jiān)控告警、故障診斷等全方位協(xié)同管理。此外，還可適配專業(yè)用戶經(jīng)過自定義優(yōu)化的組件。 USDP還集成了自研的工作臺組件，囊括數(shù)據(jù)開發(fā)、任務(wù)管理、數(shù)據(jù)集成等功能，彌補(bǔ)開源組件短板。
在核心定位上，USDP著手于為用戶提供更加便捷、可視化的企業(yè)數(shù)據(jù)管理。一方面在用戶搭建過程中，全流程自動化貫穿部署服務(wù)與組件整個(gè)環(huán)節(jié)，并提供一站式集中組件生態(tài)管理；另一方面USDP集成的實(shí)時(shí)監(jiān)控視圖與告警策略，可協(xié)助運(yùn)維人員快速定位資源瓶頸，為資源優(yōu)化提供有力支撐。輕量化的易捷架構(gòu)、可視化的自動管理，將大大降低部署與平臺建設(shè)的成本消耗 。
擁抱開源、輕量智能、多云融合
全面支持主流開源大數(shù)據(jù)服務(wù)組件
1）全面兼容開源大數(shù)據(jù)生態(tài)
作為優(yōu)刻得自主研發(fā)的大數(shù)據(jù)管理平臺，USDP支持眾多（如 HDFS、YARN、Hive、HBase、Spark、Flink 等）主流開源大數(shù)據(jù)服務(wù)組件的安裝部署、運(yùn)行監(jiān)控與配置管理。其中USDP 提供的開源服務(wù)組件的部署和管理能力，本身不會對客戶的技術(shù)選型產(chǎn)生任何影響，也不會像其他廠商的自研服務(wù)對客戶形成技術(shù)上的綁定。2）支持豐富完整的服務(wù)組件
USDP完全中立、無捆綁原則，支持30余款主流服務(wù)組件協(xié)同工作。與其他同類型產(chǎn)品相比，USDP支持的服務(wù)組件數(shù)量更多，能夠覆蓋客戶需要用到的絕大部分服務(wù)組件，使得客戶可以通過一個(gè)平臺納管所有服務(wù)組件。同時(shí)，USDP產(chǎn)品中的服務(wù)完全基于Apache版本進(jìn)行集成，并進(jìn)行了大量兼容性測試與壓力測試。在確保各個(gè)服務(wù)穩(wěn)定運(yùn)行的同時(shí)，兼顧 Apache 官方頻繁的 BUG 修復(fù)，用戶無需承擔(dān)額外學(xué)習(xí)成本。
輕量級、智能化的操作體驗(yàn)：
USDP 從國內(nèi)客戶的操作和使用習(xí)慣出發(fā)，簡化和優(yōu)化客戶的操作流程，提供系統(tǒng)初始化工具，支持將相關(guān)的先驗(yàn)知識。如服務(wù)間的組合和依賴關(guān)系，啟動的先后順序等內(nèi)置在平臺系統(tǒng)當(dāng)中，對客戶屏蔽復(fù)雜的操作細(xì)節(jié)，做到一鍵式環(huán)境檢查和集群部署，從而大大降低了客戶的使用門檻。
得益于優(yōu)刻得在公有云為海量用戶提供大數(shù)據(jù)產(chǎn)品及服務(wù)的持續(xù)經(jīng)驗(yàn)積累。USDP為每一個(gè)支持的服務(wù)組件預(yù)置了一套完善的，服務(wù)監(jiān)控和告警配置模板。客戶無需任何先驗(yàn)知識，即可通過監(jiān)控模塊掌握集群和服務(wù)運(yùn)行狀況，并通過簡單配置對外發(fā)送預(yù)警信息，協(xié)助運(yùn)維人員及時(shí)介入排查問題。
對公有云、私有云環(huán)境的全面支持
USDP 脫胎于優(yōu)刻得公有云大數(shù)據(jù)服務(wù)之上，經(jīng)過公有云大數(shù)據(jù)產(chǎn)品運(yùn)營中的反復(fù)驗(yàn)證與打磨。在此基礎(chǔ)上，針對于私有云部署等應(yīng)用場景進(jìn)行了升級和優(yōu)化。一方面，USDP對各類型環(huán)境的部署具有良好的適配性，系統(tǒng)集成的服務(wù)組件經(jīng)過了充分的兼容與壓力性測試，能夠確保持續(xù)穩(wěn)定且高效運(yùn)行。另一方面，優(yōu)刻得將公有云上持續(xù)積累的大數(shù)據(jù)開發(fā)和運(yùn)維經(jīng)驗(yàn)，完整的融入到 USDP中。在用戶使用 USDP 構(gòu)建和管理大數(shù)據(jù)集群的過程中，如果遇到問題或故障，系統(tǒng)內(nèi)置的智能診斷模塊，結(jié)合技術(shù)專家的專業(yè)經(jīng)驗(yàn)，能夠快速幫助客戶識別問題并排除故障。
典型場景應(yīng)用介紹
場景一：數(shù)據(jù)倉庫
“維度數(shù)倉”是國內(nèi)最常用的數(shù)倉模型之一。“維度數(shù)倉”按照事實(shí)表、維度表來構(gòu)建數(shù)據(jù)倉庫、數(shù)據(jù)集市。在維度建模方法體系中，維度描述事實(shí)的角度，如日期、客戶、供應(yīng)商等。事實(shí)是要度量的指標(biāo)，如客戶數(shù)、銷售額等。通過 USDP 管理平臺，用戶可以部署構(gòu)建維度數(shù)倉所需的一切服務(wù)，快速構(gòu)建企業(yè)數(shù)據(jù)中臺。
場景二：機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)是一類算法的總稱，這些算法企圖從大量歷史數(shù)據(jù)中挖掘出其中隱含的規(guī)律，并用于預(yù)測或者分類。在機(jī)器學(xué)習(xí)領(lǐng)域，對運(yùn)算往往有大量需求，此時(shí)通過 USDP 部署 YARN 以及 Spark、Flink 等分布式運(yùn)算框架，搭配組件自有算法或企業(yè)自研算法，即可事半功倍的進(jìn)行機(jī)器學(xué)習(xí)開發(fā)。同時(shí)，在深度學(xué)習(xí)領(lǐng)域，建模所需的大量數(shù)據(jù)，也可以存儲于 HDFS，從而真正實(shí)現(xiàn)一站式開發(fā)。
場景三：業(yè)務(wù)信息檢索
USDP 中提供的數(shù)倉類服務(wù)套件，可以方便用戶快速針對 OLTP 系統(tǒng)進(jìn)行數(shù)據(jù)讀寫，也許并非會使用到所有服務(wù)，但 USDP 依然支持在成熟的部署方案中，選擇獨(dú)立的服務(wù)進(jìn)行部署。例如，業(yè)務(wù)系統(tǒng)需要使用 ES 存儲服務(wù)器日志，用戶只需要在 USDP 控制臺中選擇部署 ES 即可。
USDP可以部署在用戶私有數(shù)據(jù)中心，也可以與優(yōu)刻得的云上資源管理和運(yùn)維服務(wù)能力無縫結(jié)合，為用戶提供穩(wěn)定、一體化、高性價(jià)比的數(shù)據(jù)倉庫、離線批處理、實(shí)時(shí)流處理、即時(shí)查詢、數(shù)據(jù)挖掘等大數(shù)據(jù)解決方案。
