譯者 | 布加迪
審校 | 重樓
“數據網格”正迎來重大時刻。通過谷歌新聞粗略地搜索一下,你會看到幾十個相關的結果,而且種類繁多。隨著眾多新技術不斷進步,這種情況正在發生。此外,連大有希望的學科也會迅速銷聲匿跡,一些學科在沒有達到最初效果的情況下卻存活下來。這是變化萬千的領域,迅速變化是一個永恒的主題。但即使有這些警告,數據網格這種不斷發展的架構可能也值得關注。
即使從數據驅動的業務實踐方面的正常變化來看,數據網格似乎也為重大變化提供了真正的潛力。我們不斷邁向真正以數據為中心的文化;在這種環境中,每一個戰略決策和業務運營都由可操作的情報作為指導,這些信息是通過實時分析海量原始數據獲取的,數據網格可能會成為重大的里程碑。
問題是,這樣一種關鍵的旅程由許多里程碑組成,正如沒有哪種單一的技術解決方案可以一應俱全。數據網格是堅實的基礎,但是如何將它與其他方法結合起來以提供更大的好處?如果數據網格這么好,數據網格2.0會是什么樣子呢?
先介紹一下背景。雖然數據網格常常與數據湖和數據倉庫歸為一類,但它實際上并不屬于這一類。數據湖和數據倉庫本質上是用來存儲或移動數據的技術;相反,數據網格直接關注數據本身。這種架構更容易使數據所有權能夠分布在多個以業務為中心的領域和相似的用戶群,而不是單一的集中式權限。這種民主化帶來了眾多相關的好處,從跨異構基礎設施的分析到根據業務需求進行擴展,不一而足。
在最好的情況下,這代表一種非凡的愿景。在數據網格中,數據不再由新一代的精英專家和管理員囤積;業務專業人員可以訪問它來幫助完成工作。本來就始終應該是這樣。
但最好的還在后頭。去中心化架構的廣闊前景遠未實現。當然,已經有了一些實施和項目,但它們的應用范圍比較有限。“數據網格成功案例”一欄幾乎空白。
我們可以做得更好,而這始于幾個核心原則。
首先,需要在完整的上下文中理解基于領域的數據所有權這一概念。這不僅僅是集中式權力結構的變化,還意味著數據不再屬于特定的應用程序或監督這些應用程序的技術人員,而是屬于業務本身。新興技術將數據與創建或存儲數據的應用程序分離開來,它們是做到這點的最佳方法——這些解決方案如今在市面上可以找到。這是具有重大影響的根本性變化,需要對由來已久的最佳實踐進行重大改變。
其次,企業需要具備能夠將數據作為產品來管理。這不再是復雜技術的附帶輸出——數據而是一種特定的、可識別的、離散的產品,可以由一個或多個業務領域單獨擁有和管理。更準確地說,我們談論的是數據產品,不是一個產品,而是多個產品,開發所有產品是為了支持分析系統和操作系統。這是革命性的,盡管它只是從另一個層面實現了我們長期以來的愿景,即數據作為一種企業資產,可以與其他更有形的資源共同占有一席之地。
接下來,想象一下自助式數據平臺的好處。這構成了元數據驅動的數據瀏覽器,業務用戶和技術人員都可以用它來進行協作,比如發現、訪問、改變、創建甚至生成數據,而無需生成新的孤島。毫無疑問,數據集成是數字時代的基礎:存儲在企業內部的海量數據被存放在(或者更確切地說被鎖放在)孤島中,數據在孤島中是安全的,卻是隔離的。整理來自不同孤島的相關數據無疑很痛苦。這非常基本,也非常普遍,所以這些數字仍會讓人感到驚訝,但是與集成相關的任務可能會消耗一半的IT預算。借下一代數據平臺推動的數據網格架構對于消除這個問題大有助益。
最后,還有聯合計算治理問題。在與安全和合規相關的一系列規定和法規要求更強的治理環境下,這種高瞻遠矚的解決方案提供了將來自數據產品和業務領域所有者的治理策略嵌入到數據本身中的能力。這帶來了巨大的操作優勢:無論最終用戶如何體驗數據——不管設備或其他接觸點如何,不管涉及什么應用程序,也不管來自任何位置,都能保證權限、控制、策略和隱私依然一致。
雖然這些原則不同于數據網格方法的核心,但它們完美互補。能夠實現真正數據民主化的去中心化架構具有不可抗拒的吸引力,現在業務用戶而不是IT部門決定購買什么硬件、使用什么軟件和下載哪些應用程序,業務部門和公司高管越來越有權力決定該分析什么數據,以及開發什么自定義數據產品以滿足業務優先級。
數據網格已經存在了很長時間,我們已經看到了它的好處,并意識到需要數據網格2.0。未來肯定會有更多的進步。但就目前而言,這種架構的下一次迭代將使我們比以往任何時候更深入地走向以數據為中心的環境。
原文標題:Data Mesh 2.0: Realizing the Promise of Decentralization,作者:Karanjot Jaswal