星環科技作為國內出色的基礎軟件廠商,致力于圍繞數據全生命周期為企業提供基礎軟件及支持。Transwarp Data Hub(后文統稱TDH)是星環科技自主研發的企業級一站式多模型數據管理平臺。
憑借星環科技創新的技術架構和深厚的產品研發能力,自誕生以來,TDH平臺幫助數千家企業實現了對海量數據的統一管理與集群服務的統一運維。通過構建業內極具特色的計算引擎與創新的系統架構持續為用戶智能化管理以及開發數據賦能,大幅降低了綜合成本,實現了智能運維、高效運維的生效目標。
基于星環極速大數據平臺構建核心商業系統,是企業實現一站式數字化轉型、加速業務創新的致勝關鍵。近期,星環科技發布了TDH8.1.0版本,相信很多企業級平臺的用戶對這款新產品非常感興趣。本文將從產品功能、特點以及最新版本的優化幾個方面幫助您快速了解TDH8.1.0版本。
業務痛點
隨著信息技術和人類生產生活深度融合,全球數據呈現爆發增長、海量集聚的特點。各自獨立的大數據和數據庫產品如同一個個數據孤島,成為不同場景、項目、業務、部門間數據互通的壁壘。為了應對業務部門的擴張以及不可預測的需求變化,企業在進行數據融合創新的時候,通常會針對不同的項目場景配備不同的數據模型。例如,時序數據、點邊圖數據、消息隊列等。
雖然引入不同的數據模型來解決不同場景的問題可以滿足大部分業務的需求,但是同時也會引發一系列的問題。例如,數據冗余、資源配置困難等。并且,引入多種數據模型的處理還意味著運維人員需要熟練掌握每一款大數據產品的相關知識,極大的增加了運維壓力與學習成本。
此外,針對數據平臺的運維通常會出現如下幾種情況:
1. 沒有統一運維入口,傳統的查詢運維難以完成指標數據的可視化,易缺乏或遺漏關鍵監測指標;
2. 由于日志格式非結構化,海量日志的處理十分復雜,急需強大的搜索能力和聚合能力;
3. 數據碎片化、監控對象顆粒度龐大的情況下,自動化監控實現渺茫,從而帶來故障發現的延時,實時性無法保障。
為什么選擇TDH
為了避免數據異構帶來的開發成本與運維成本的劇增,TDH采用原創的分層架構設計。其在多個模型基礎上使用統一的SQL引擎層、計算框架層、存儲管理層以及資源管理層,用戶無需訪問不同接口即可操作不同的數據模型。
原生支持多模型數據的計算框架加上全新開發的存算策略,TDH大數據管理平臺的多模數據方案可以有效的解決用戶因為場景切換、數據庫切換而導致的接口、開發語言切換的問題,大幅度減少了大數據企業運維團隊的人力投入以及總成本。此外,TDH完全打通所有服務的監控數據,使用統一的工具監控。其覆蓋了大數據集群資源監控、大數據組件監控、智能告警通知、監控儀表盤、自定義指標采集、日志生命周期管理、權限管控等重點功能,為企業運維團隊提供一套完整的云上智能化運維解決方案。
TDH極大程度的提升了業務部門、大數據開發部門、大數據運維部門、數據分析部門以及領導層的使用體驗。其支持數據湖、數據倉庫、實時流處理、綜合搜索、人工智能等主流場景的大數據應用開發,實現全場景覆蓋;并且,TDH是業界SQL支持十分完善的平臺,包括SQL 99/03、分布式事務、主流數據庫方言等等,充分實現傳統應用的平滑遷移。
TDH 8.1.0全新特性為用戶帶來極致體驗
一、全新重構的頁面布局讓組件部署與管理更便捷、更高效
為了簡化多模型機構的使用和運維,TDH 8.1.0 創建了一個新的統一界面,通過引入集群-產品-服務這3層布局的方式,更深入的體現出多模型數據庫的業務價值。為了方便用戶查看并更高效的進行組件部署,TDH8.1.0在較大集群中把同類型產品聚合展示,并圖形化展示多個組件之間的依賴關系,對集群運維人員更加友好。
通過全套圖形化工具覆蓋數據集成、轉換、治理、建模和展現等全部開發環節,極大程度地提升了大數據開發工程師的開發體驗。
二、不停服、不中斷業務的集群升級方案支持,整體升級更加流暢穩定
相比以往平臺升級期間需要關閉所有服務的要求,TDH 8.1.0 采用全新的系統架構,基于TCOS容器化集群操作系統,強化了用戶在不停服、不中斷業務的情況下完成平臺的升級操作。整個升級過程時間更短、影響更小,操作更簡單。
并且,平臺中的所有分布式集群均實現了數據與服務的高可用,確保平臺健康穩定運行。TDH8.1.0 利用分布式系統的特點,能夠在不中斷業務的基礎上平滑地完成系統服務升級以及實現了集群的動態擴容和縮容,即彈性擴展等操作。
除此之外,TDH 8.1.0還提供平臺補丁功能,相對于整體升級,做到了更輕量級、對業務無感知的在線維護。其提供平臺及產品升級維護統一操作入口,全流程一鍵完成。同時,完整記錄平臺版本維護操作記錄,方便事后審計回溯,更加安全可控。
圖:平臺補丁
三、全新自研的云原生操作系統支持更穩定、更高效的超大集群管理
TDH 8.1.0持續為上層大數據業務容器化運行以及應用云端化提供關鍵保障。作為一站式多模型大數據管理平臺,其采用全新自研的TCOS 2.1系統,支持靈活、按需的進行水平擴展,支持異構硬件(X86,ARM混合部署)、異構操作系統的水平擴展,支持單獨擴展計算或存儲資源的水平擴展。通過提供集群化部署管理功能,可以方便地安裝部署并管理規模高達數千節點的單個/多個大數據集群。
TDH8.1.0延續采用強大的存算解耦架構,結合多模型數據庫概念,使得業務的橫向擴展、縱向延伸更具備靈活性。與之前版本相比,TDH8.1.0具有更靈活的資源彈性,更簡潔的操作和運維,更低的總體擁有成本。
全面加強的產品核心功能
以下是TDH 8.1.0主要包含的核心功能與服務:
一、一站式集群部署與管理,充分提升用戶使用體驗
為了幫助用戶可以更加便捷地對大數據集群進行管理,TDH 提供可視化、一鍵自動部署的功能,極大的提升了用戶的使用體驗感。同時,通過添加、刪除節點、停止或啟動角色服務等操作線性提高系統的處理能力。
例:為已有服務添加角色
此外,TDH支持對平臺的所有組件和服務進行一站式以及可視化監控、管理和優化。TDH提供監控、度量、告警、健康檢測、磁盤管理、軟件升級、服務遷移等功能,實現一站式集群管理。
二、多模型靈活調用,滿足各種數據分析需求
TDH 8.1.0通過8款異構存儲引擎保障10種不同存儲模型的高性能,自動化對應多部門業務需求。用戶可以根據業務的需要,隨時增減不同的存儲引擎,做到資源按需分配。
TDH通過提供成套的產品組件與工具等來幫助企業對海量數據進行統一管理,用戶可以通過對多組件進行整合,實現對數據的快速集成。
三、全套智能運維組件開箱即用,讓運維穩定無憂
基于多年以來在大數據運維方面積累的豐富經驗,星環科技發布的全新Aquila 1.7智能運維分析工具支持Kerberos安全認證,具備高安全性、高易用性的特點,其解決了一些開源工具存在的潛在問題。例如,Ganglia的gmetad節點存在的High I/O問題可能導致業務性能受到影響。通過預置平臺豐富的運維資源,用戶可以根據自身運維場景來定制不同的運維模塊組合,從而對大數據產品、微服務以及云平臺的運維做到開箱即可用。同時,Aquila還預置了基礎監控、大數據監控、PaaS層監控等多維度的監控資源,實現了整個TDH平臺各個維度的一鍵運維,最大程度的提升用戶的使用體驗感。
此外,Aquila提供預置的54個儀表盤, 110條告警規則,以及50多條日志搜索規則。用戶可以通過通用告警模板迅速按需創建多條告警規則,極大地提升了告警功能的易用性。
圖1 規則定制
圖2 通知設置
TDH平臺對碎片化的運維數據進行收集整理并實現了對各種指標和系統運行情況進行全面監控。其整合了集群健康狀態檢查,服務可用性檢查等多種狀態檢查機制,能夠及時發現異常,并告知集群運維人員。此外,用戶還可以實時瀏覽各服務的狀態,并且在告警出現時采取恰當的措施以處理應對。服務的高可用方案可以避免業務出現中斷的情況。通過特色的預置儀表盤、靈活指標采集策略、多樣的告警通知功能達到對所采集的運維數據進行事前預警、事中告警、事后分析的全階段運維效果。
寫在最后
TDH8.1.0是星環科技自主研發的一站式多模型數據管理平臺,采用了創新的多模型技術架構和統一數據管理,可以構建服務于整個企業的統一數據資源庫,讓不同部門的數據間的隔閡徹底打破,使跨部門數據靈活調用擁有了技術支撐,有效的降低了用戶的開發成本以及總運維成本。通過8種異構存儲引擎支持業界完善的10種存儲模型,自動化應對多部門業務需求,能夠支撐用戶各種高階的數據分析場景,幫助用戶完成數據自動化管理,實現業務價值。
TDH 8.1.0充分利用極具特色的計算引擎與存儲模型,為用戶帶來計算與存儲的高度彈性的同時,實現了平臺一站式資源配置和安全管控。一方面平臺根據集群資源情況,統一進行各產品資源調度,總體提高集群的使用率;一方面平臺整體進行安全管控,做到多個產品安全的無縫集成,整個集群更加安全。
以上就是 TDH 8.1.0 的整體介紹,TDH致力于幫助用戶實現數據全生命周期的管理。