不久前，奇點云的數據云全系產品如期發布新一季商業化版本更新：
數據云平臺DataSimba：R4.9 LTS版發布，穩定性全面加固，功能上新；自R4系列起架構升級，封裝底層復雜性，支撐上層快速構建數據模型與應用。
數據存算引擎DataKun：R2.0發布，在安全穩定、智能運維、云原生、自主可控等層面均有優化。
數據安全引擎DataBlack：R2.0發布，支持全域數據安全，內置行業模型，開箱即用。
數據服務工具箱Simba Toolkits：SimbaTag（標簽工廠）、SimbaMetric（指標工廠）成為獨立版本，可搭載于企業現有數據平臺之上，為標簽管理、指標管理提效。
本文聚焦DataSimba，解讀穩定性加固、功能上新及架構升級。
穩定性加固，妥妥“企業級”
LTS，即Long Term Support，長期支持版。數據云DataSimba每個R系的最后一個版本，都作為LTS版發布。相較上一個LTS版（R3.8），DataSimba R4.9及DataKun R2.0進一步加固了穩定性，支持高可用、高并發、高效調度、高效運維。
“企業客戶使用DataSimba的深度和強度已不同以往。”奇點云合伙人、CTO地雷表示，“數據云必須具備足夠的穩定性，方能保障數據全鏈路日常高效運行，基于業務需求產出結果。即便遇到故障、超負荷、誤操作等情況，也能足夠皮實不崩潰，及時反饋并定位問題，甚至能提前智能化給出預警，規避對業務的影響。”
在“企業級”標準要求下，本次更新主要圍繞以下5項專題，開展穩定性優化：
1.調度更智能、更可靠
DataSimbaR4.9進一步優化了調度策略以及調度通訊框架，讓調度更智能，有效減少“塞車”，保障系統穩定運行。
具體而言，我們分離了業務調度和資源調度，讓彼此的職責更清晰、策略更易擴展，并結合實際業務場景，深層優化了通訊協議。優化項包括：
·業務調度：基于任務特點進行了隊列的拆分，在同一隊列下再結合優先級、項目、租戶、任務數、任務配置等進行綜合打分，從而判斷隊列分發的順序。
·資源調度：基于節點并發數及負載程度進行即時的精準調度，大大提升任務執行的效率，實現負載均衡。
·調度通訊框架：對通訊協議以及包的大小、發送、接收策略等多維度進行了深度優化，整體通訊性能提升了30%以上。
2.應用100%支持高可用
DataSimba R4.9內所有業務應用及中間件，均支持自動化的故障恢復與容錯實現。在出現故障、失效等問題時，系統將繼續正常運行并提供服務。
·所有的業務應用都基于Kubernetes管理，同時支持多實例集群部署。
·包括Redis、Kafka、K3s、Nacos等在內的所有中間件均支持高可用部署，業務代碼已全部適配完成。針對部分中間件，我們也已完成版本升級，來進一步提升組件的可靠性和安全性。
3.全方位監控告警
監控告警是穩定性重要的一環，方便事中事后快速發現與定位問題。DataSimba R4.9從業務、應用、中間件、服務器等多個維度，實現了監控告警全覆蓋。
·針對業務異常，依托自研的實時告警系統，基于業務指標采集和規則配置，可通過郵件、短信、釘釘等多渠道監控告警。
·針對運維異常，采用現有成熟的告警平臺，對Java虛擬機、線程池、內存、CPU、磁盤、網絡等多維度實現全方位的監控與告警。
4.引擎核心組件全量壓測
在DataSimba底層，數據存算引擎DataKun也要足夠穩定。
在本輪更新，數據存算引擎DataKun的核心組件完成全量壓測，包括YARN、HDFS、Hive、Spark等在內的所有核心組件穩定性及性能均得到了充分驗證。
壓測基于DataSimba標準版的配置進行（專業版、旗艦版性能比標準版更高）。我們采用單壓、混壓的方式對DataSimba做假設性壓測與功能驗證。并結合壓測結果數據，對組件進行配置調優，進一步提升集群的整體吞吐能力。
5.系統破壞性測試
為了保障系統在極端場景下的可用性，DataSimbaR4.9做了比R3時期更為嚴格的破壞性測試。
所謂破壞性測試，簡單來說就是當面對異常、組件不可用等情況時，系統能否“穩住”，給出正確反饋——事實上，破壞性測試不僅會考察系統的監控告警能力，更考察系統自愈的能力及數據狀態的一致性。
在完成應用破壞、中間件破壞、DataKun組件破壞等等多個場景的破壞性測試后，我們在本輪更新做了如下優化：
·優化監控告警機制，出現組件異常時立即觸發通知；
·優化前端提示，出現故障時直觀展現報錯，便于用戶定位問題；
·增加重試策略，當組件恢復后系統可以自愈運行，減少人工干預；
·迭代任務巡檢機制，在極端情況下也能保障任務狀態的一致性。
功能上新，從容應對復雜場景
相較于上一個LTS版本（R3.8），DataSimba R4.9 LTS共上新142項新功能，優化了113項功能，提供了32項問題的修復補丁，并基于用戶研究進一步迭代了交互設計。
篇幅所限，本文僅簡單介紹其中3項亮點功能，更詳盡的Release Notes可以向您的客戶成功經理、產品技術顧問了解。
支持多租戶，既安全又集約
DataSimba R4.9支持多租戶，用戶可以在DataSimba的一個工作空間（Workspace）里，為多個團隊開設租戶（Account），提供相互獨立的空間，實現資源隔離。
基于多租戶體系，企業的數據團隊將以“平臺”身份服務更多部門，合理優化資源利用，而不再出現多團隊互搶資源的情況，也免去了各團隊自行運管數據基礎設施的煩惱。
為匹配多租戶體系，我們采用了雙層身份認證、雙層權限校驗、雙層存儲加密，來保證租戶資源的強邏輯隔離與數據安全。同時，通過動態的權限管控，DataSimba R4.9支持租戶間數據安全共享，而無需數據遷移成本。
Task/Job雙層混合調度，提高執行效率及資源利用率
DataSimba R4.9采用Task/Job雙層混合調度，任務（Task）與作業（Job）級別調度互相配合，以完成任務調度及資源分配。
其中，任務（Task）負責決定任務在可用資源上的調度順序，控制任務的調度周期；作業（Job）則通過與Quota（空間域里的其中一個對象）配合，完成底層資源的調度與優化。
在雙層混合調度體系中，我們加入了“潮汐車道”等調度策略，可由企業用戶按需選擇。例如，可以周期性調整資源，來平衡高峰期、低峰期資源的分配利用，也可以預留一定資源，確保高優先級任務完成。
配置圖引擎，支持圖數據處理與圖算法優化
DataSimba R4.9配置了圖引擎（Graph Engine），支持用戶通過DataSimba存儲、管理、分析大規模的圖數據，開發交互式的圖計算作業，以及處理復雜的圖算法。
以OneID場景為例，基于奇點云自研的“大規模多引擎混合調度技術”，我們采用了“流批圖一體”架構——結合實時計算、離線計算、圖計算三種引擎的能力，批處理的圖計算結果對流計算的結果進行修正，再以API的方式對外（例如對分析云產品）提供服務。
業內獨家的技術架構讓奇點云全域OneID方案在計算性能、復雜場景計算及可解釋性上均具優勢。其中，圖計算的高效圖遍歷和關聯操作能力有效提高了海量多端用戶融合分析的準確性。
架構升級，讓數據模型與應用構建更簡單
DataSimba R4與R3系列在架構上有極大不同。DataSimba R4.9（包括自R4.0以來的所有產品版本）在架構上分為3層，自上而下分別為：
- Simba Toolkits（數據服務工具箱）：包含SimbaMetric（指標工廠）、SimbaTag（標簽工廠）等多種效率工具，內置科學的數據工程方法論，幫助數據工程師提升數據資產研發效率。
- Simba IDE（數據云集成開發環境）：提供離線同步、實時同步、監控告警、資產地圖等功能，滿足從數據集成到開發、運維及服務等全鏈路場景。
- Simba OS（云數倉內核）：根據“資源抽象，接口統一”的原則，將一系列復雜的業務對象抽象為7個域、32個對象，向上支持數據業務。例如，“分級多域”、“多租戶”業務數據邏輯隔離能力的實現，就得益于空間域中的工作空間對象、項目對象和項目成員對象；又如，要實現一個去中心化的DAG任務調度中間層及調度實例化，則需要利用任務域中的作業對象、任務對象和實例對象。
基于全新的架構，DataSimba以Simba OS為核心向下封裝多引擎、多依賴、多云、海量多源異構數據等帶來的復雜性，并基于統一的平臺，向上（應用層）以API的方式提供標準能力，幫助用戶簡化數據模型/應用的研發過程。
伴隨架構升級，整體后端服務資源消耗更少、分配更合理，一套新環境所需的最低服務資源也進一步得到削減。
為什么要升級架構？
越來越多企業客戶正在走向數字化深水區，數據模型、數據應用建設的需求也越來越高頻。DT部門需要從原本“接需求”的角色向“平臺”角色轉型，向各個組織單元提供數據能力，適應不同業務對數據使用的要求。
如果不解耦底層建設與數據業務、抽象底層能力，不僅難以快速響應高頻的需求，重復造輪子，出現煙囪式建設，數據系統也會伴隨企業使用而不斷“加重”，擴展能力和技術升級受限。
因此奇點云基于對數據全鏈路各環節的理解，及過去多年實踐的幾百個項目，抽象出了7個域共32個對象。詳盡準確的對象加上對象之間的關聯關系，構成了Simba OS。Simba OS以簡單、標準的RESTful API對外提供能力，從而解耦復雜的底層體系與多變的上層業務，來應對不同環境、不同數據業務場景的需求。
地雷介紹，對象的屬性和行為可以被繼承、更新、擴展及復用。每當需要支持一種新的數據業務場景，DataSimba的用戶都可以像拼樂高積木一樣，基于Simba OS快速搭建數據模型/應用，而規避底層重復建設、定義不一致、大數據引擎及IaaS對接難度高等問題。
“其實，我們的指標工廠SimbaMetric、標簽工廠SimbaTag、數據安全引擎DataBlack就是基于Simba OS‘搭建’出來的，與DataSimba體系天然打通，且能同步享受DataSimba底層所有的能力升級。”
目前，DataSimbaR4系列已在數十家企業級客戶得到使用，其中不乏客戶數據團隊基于Simba OS自建數據應用的案例。
期待成為您的理想選擇！
