經(jīng)過一二十年的 IT 建設(shè)，很多企業(yè)已經(jīng)從“沒有數(shù)據(jù)”發(fā)展到了“數(shù)據(jù)太多”的階段。如今，各行各業(yè)正在由過去粗放式的增長向數(shù)據(jù)支撐的精細(xì)化運(yùn)營轉(zhuǎn)型，但隨之而來的是 ETL 任務(wù)的激劇膨脹，整個數(shù)倉可能充斥著幾百萬張表。無數(shù)個 ETL 任務(wù)的重復(fù)性工作，帶來的不僅是存儲問題，不斷被消耗的數(shù)據(jù)集群資源使大家面臨著更加嚴(yán)峻的挑戰(zhàn)，維持這些數(shù)據(jù)應(yīng)用模式，傳統(tǒng)方法已經(jīng)捉襟見肘。

為什么傳統(tǒng)方法過時了

自“數(shù)倉”在 1980 年開始被提出來到現(xiàn)在，數(shù)據(jù)基礎(chǔ)架構(gòu)已經(jīng)經(jīng)歷了不同的變化，從集中式向著分布式演進(jìn)。

（圖片來源：Kyligence）

集中式的基礎(chǔ)架構(gòu)演進(jìn)了幾輪，但都是把業(yè)務(wù)系統(tǒng)的數(shù)據(jù)從各個地方匯集過來，規(guī)整完成、標(biāo)準(zhǔn)化完成，再存起來放在一個地方。然而在過去的一到兩年，行業(yè)開始出現(xiàn)了一個更大的變化——尤其是去中心化，它已經(jīng)成為了當(dāng)下最熱且發(fā)展最快的基礎(chǔ)架構(gòu)變化，在整個數(shù)倉的方向上，去中心化是如今云和 SaaS 時代的未來。去中心化意味著不再按原來的數(shù)據(jù)倉庫的方式收集數(shù)據(jù)，而是能夠連接到不同的數(shù)據(jù)源，實(shí)時地把數(shù)據(jù)匯過來，去服務(wù)一定的數(shù)據(jù)服務(wù)的應(yīng)用。

（圖片來源：Kyligence）

在過去企業(yè)構(gòu)建 IT 基礎(chǔ)設(shè)施的過程中，逐漸形成了各種煙囪式的數(shù)據(jù)設(shè)施，也給大家?guī)砹藬?shù)據(jù)孤島的問題。數(shù)據(jù)上云、湖倉一體化都可以很好地解決了數(shù)據(jù)孤島的問題，讓企業(yè)內(nèi)部的指標(biāo)管理更統(tǒng)一，數(shù)據(jù)接口更標(biāo)準(zhǔn)，分析更自助。但一線業(yè)務(wù)和數(shù)據(jù)分析人員面臨著一些其它方面的挑戰(zhàn)：各企業(yè)的數(shù)字化建設(shè)在這一二十年里有了初步的成果，但是數(shù)據(jù)量巨大。在過去的幾年里面，企業(yè) CIO 們是非常焦慮的。很簡單，如果你使用了一個中等規(guī)模以上的比如說 BI 或者是數(shù)字倉庫的技術(shù)棧，你一定有幾百到幾千張的報(bào)表，每張報(bào)表如果有十個以上的指標(biāo)，那就意味著有幾萬甚至幾十萬的業(yè)務(wù)指標(biāo)，這些口徑是不是統(tǒng)一？這些數(shù)據(jù)是不是在被人使用？這些相應(yīng)的價(jià)值其實(shí)已經(jīng)非常復(fù)雜了。

（圖片來源：Kyligence）

更可怕的是整個的過程會讓 ETL 任務(wù)和中間進(jìn)行大量的膨脹。這不僅僅只是存儲的問題，它帶來更大的挑戰(zhàn)在于，它有無數(shù)的 ETL 的任務(wù)其實(shí)在不斷地做著重復(fù)性的工作，不斷地消耗整個數(shù)據(jù)集群的資源。另外還存在口徑不一致的問題，當(dāng)用這些數(shù)據(jù)做一個管理決策的時候，需要有數(shù)據(jù)來參考，但各部門數(shù)據(jù)來源又可能存在分歧，比如這個部門說自己是從 Power BI 里看到的，另外一個部門說是從數(shù)倉里面拿到的數(shù)據(jù)，這就不能幫助企業(yè)做出高效的決策。

而每一張報(bào)表背后每運(yùn)行一次，都可能涉及到幾百甚至幾千的費(fèi)用，這就需要用管理的方法把這些報(bào)表的數(shù)量控制下來。所以企業(yè)需要進(jìn)行數(shù)據(jù)治理，從幾十萬張報(bào)表中去掉重復(fù)、不準(zhǔn)確的部分，與企業(yè)業(yè)務(wù)目標(biāo)口徑不對齊的部分，將剩下的做一些高度的統(tǒng)一，甚至在部門的生產(chǎn)線上拉齊認(rèn)知。

這種轉(zhuǎn)變，在 Kyligence 春季論壇活動的采訪中，Kyligence CTO 李揚(yáng)說：“這有點(diǎn)像 20 年前，大家剛切換到 ERP 電子化，從一些手動的辦公能力上升到電子化的辦公能力。那個時候就有一個 Business Process Re-engineering（BPR，企業(yè)流程再造）的說法，就是說你要上這個系統(tǒng)先得梳理自己的業(yè)務(wù)流程。業(yè)務(wù)流程不梳理好這個系統(tǒng)上也上不去，也沒法提升管理能力。到現(xiàn)在，去中心化的發(fā)展后，一樣也需要先將企業(yè)的指標(biāo)，數(shù)字化運(yùn)營的思路理清楚。如果講不清業(yè)務(wù)目標(biāo)、過程指標(biāo)、結(jié)果指標(biāo)，那就不知道拿什么追蹤，拿什么來做數(shù)字化的管理。”

“這時發(fā)展指標(biāo)中臺就能幫助用戶解決這個問題，最終出口可能還是 BI，但可以精準(zhǔn)地以統(tǒng)一的口徑快速幫管理者做出決策。從我們的實(shí)踐來看，當(dāng)一個企業(yè)需要進(jìn)行管理改革或者業(yè)務(wù)變化的時候，指標(biāo)中臺就能反映出這個變化過程和結(jié)果，進(jìn)而驅(qū)動整個公司的業(yè)務(wù)發(fā)展。這也是我們說的一個趨勢點(diǎn)：以指標(biāo)為核心進(jìn)行公司的指標(biāo)變革。”

指標(biāo)中臺能改善什么

過去的幾年里，很多企業(yè)都在投入建設(shè)口徑統(tǒng)一、自上而下的新型指標(biāo)平臺，來有效衡量業(yè)務(wù)經(jīng)營和發(fā)展情況，真正實(shí)現(xiàn)數(shù)據(jù)賦能一線業(yè)務(wù)。Kyligence 在服務(wù)客戶的過程中發(fā)現(xiàn)，由于一些中小型企業(yè)的 IT 管理人員并非大數(shù)據(jù)專業(yè)出身，因此在維持大數(shù)據(jù)系統(tǒng)的時候，會逐漸發(fā)現(xiàn)難度越來越大。很多大的企業(yè)經(jīng)過一兩年的數(shù)據(jù)治理之后大概會到 Muddy DW（混亂的數(shù)據(jù)倉庫）這么一個階段，其數(shù)倉中有非常多的表，而且原始數(shù)據(jù)可能只有幾千張表，但各部門、各組織都非常有欲望地生產(chǎn)自己的數(shù)據(jù)指標(biāo)，就會形成幾百倍的放大。有的客戶原始表經(jīng)過寬表、聚合表，分析表等的加工處理以后甚至可以達(dá)到百萬級別的表。這不僅會造成了數(shù)字口徑不統(tǒng)一，拖慢了企業(yè)的決策，更是耗費(fèi)了大量的 IT 資源。

（圖片來源：Kyligence）

這種情況下，我們就需要改造它，在數(shù)據(jù)的入口保持不變的情況下，將提取指標(biāo)的過程標(biāo)準(zhǔn)化，到接近服務(wù)再給到一線業(yè)務(wù)自由度再放開，所以這個過程在數(shù)據(jù)處理的路徑上是收斂的，大家可以從面積上直觀感受到背后所節(jié)省掉的 IT 的資源是非常可觀的，從整個企業(yè)對數(shù)字指標(biāo)化運(yùn)營的統(tǒng)一邏輯來說也有一個很清晰的抓手。

（圖片來源：Kyligence）

另一方面，Kyligence 核心的能力是來自于多維數(shù)據(jù)庫乃至 OLAP 的能力，所以其本質(zhì)可以說是一個管理系統(tǒng)，即使客戶指標(biāo)完全存在一個數(shù)據(jù)集里面，包括度量和維度，再往上就是指標(biāo)的平臺本身，可實(shí)現(xiàn)自然的過渡。Kyligence 聯(lián)合創(chuàng)始人兼 CEO 韓卿表示指標(biāo)中臺有助于解決企業(yè)管理上的挑戰(zhàn)：“任何指標(biāo)平臺一定是一個管理系統(tǒng)，例如不同部門指標(biāo)不統(tǒng)一、指標(biāo)過時等等，都屬于管理問題。”

Kyligence 指標(biāo)中臺解決方案

在 Kyligence 解決方案中，提供了指標(biāo)管理引擎和指標(biāo)計(jì)算查詢引擎兩大核心組件，該方案可以部署在任何分布式存儲和計(jì)算環(huán)境下，比如像公有云環(huán)境、私有云、大數(shù)據(jù)平臺等等，并支持與底層各類數(shù)據(jù)源實(shí)現(xiàn)對接，從而以此助力企業(yè)以指標(biāo)為中心，構(gòu)建整個數(shù)字化體系建設(shè)的方法論，建立數(shù)據(jù)管理共識，最終服務(wù)于企業(yè)管理目標(biāo)。同時，企業(yè)在落地指標(biāo)中臺后，可以實(shí)現(xiàn)“邊使用，邊治理”，不斷挖掘數(shù)據(jù)的價(jià)值。

指標(biāo)中臺的實(shí)施效果

眾所周知，銀行業(yè)一直走在信息化、數(shù)字化的前沿。近年來眾多銀行都在大力投入建設(shè)新型指標(biāo)平臺來實(shí)現(xiàn)口徑統(tǒng)一的、自上而下的業(yè)務(wù)驅(qū)動的指標(biāo)體系，實(shí)現(xiàn)數(shù)據(jù)賦能一線業(yè)務(wù)，全面推動銀行數(shù)字化經(jīng)營。

韓卿認(rèn)為金融行業(yè)跟其他行業(yè)有一個不太一樣的地方，在于金融行業(yè)整個 IT 建設(shè)相對比較成熟，如果完全按照過去整套的數(shù)倉理論進(jìn)行構(gòu)建的話，例如從整個原始數(shù)據(jù)到 ODS 到 ETL ，到數(shù)據(jù)倉庫，到 BI 端等等，經(jīng)過發(fā)展論證，這將不可避免帶來數(shù)據(jù)沼澤或者說是混亂的狀態(tài)。也就是說，口徑不一致這方面的問題變得更加突出了。以前是沒數(shù)據(jù)，現(xiàn)在是數(shù)據(jù)太多，需要通過指標(biāo)的抓手去進(jìn)行底層的梳理和相應(yīng)的規(guī)整等，去做整個的數(shù)據(jù)治理來去降本增效。

例如自某股份制銀行推動集團(tuán)數(shù)字化戰(zhàn)略以來，每個 BU 都在搞自己的數(shù)字化經(jīng)營平臺，導(dǎo)致數(shù)據(jù)需求爆增。同時，煙囪式建設(shè)導(dǎo)致口徑不一，還帶來了數(shù)據(jù)治理和人力成本等等的痛點(diǎn)。當(dāng) BI 平臺報(bào)表就有 7000 多張，為了各類數(shù)據(jù)應(yīng)用手工開發(fā)的匯總表高達(dá) 1 萬多張的時候，隨著數(shù)據(jù)需求的爆發(fā)，這些數(shù)據(jù)表、ETL 作業(yè)、BI 報(bào)表的開發(fā)維護(hù)工作量非常巨大，傳統(tǒng)數(shù)據(jù)應(yīng)用模式根本就無法持續(xù)。

（圖片來源：Kyligence）

因此，經(jīng)過分析并結(jié)合業(yè)界的經(jīng)驗(yàn)教訓(xùn)，該銀行提出了指標(biāo)治理切入，通過指標(biāo)治理推動數(shù)據(jù)治理，降低用戶的用數(shù)門檻，從而賦能銀行的數(shù)字化經(jīng)營。在這次指標(biāo)治理的思路當(dāng)中，治理的重要抓手就是建設(shè)新型指標(biāo)平臺。在指標(biāo)管理系統(tǒng)當(dāng)中，基于維度模型，通過統(tǒng)一的指標(biāo)定義派生、衍生，并結(jié)合全行規(guī)范化的指標(biāo)需求管理，實(shí)現(xiàn)指標(biāo)口徑的統(tǒng)一。而指標(biāo)的加工、計(jì)算以及查詢，利用 Kyligence 的方案，基于 SQL 模版，自動進(jìn)行智能建模，并完成指標(biāo)的匯總、加工和計(jì)算。通過建設(shè)指標(biāo)平臺，將大量的指標(biāo)需求轉(zhuǎn)換為指標(biāo)及指標(biāo)看板的開發(fā)方式，降低業(yè)務(wù)用戶制作報(bào)表的門檻與難度。

據(jù)悉，目前該平臺的日均訪問用戶量已經(jīng)達(dá)到了 5000 以上，頁面查詢訪問量高達(dá) 20 萬以上，尤其是指標(biāo)數(shù)量，已經(jīng)高達(dá) 1.1 萬，其中大部分是用戶自己派生和衍生出來的自定義指標(biāo)。新的指標(biāo)應(yīng)用模式，使 50% 的報(bào)表需求可以基于指標(biāo)和指標(biāo)看板來支撐，同時還將 ETL 任務(wù)減少了 30% 以上。通過指標(biāo)平臺的建設(shè)，能夠幫助該銀行推動數(shù)據(jù)治理，基于指標(biāo)平臺將企業(yè)數(shù)據(jù)資產(chǎn)實(shí)現(xiàn)了廣泛的共享。