數字化時代,眾多企業以數據驅動業務為目標,從數據中發現價值,從而對業務決策帶來輔助支持,以數據為中心的企業管理正在成為常態。而BI(商業智能)作為企業發展過程中的數據工具,一直是受到眾多企業的青睞。
隨著技術的不斷演進,BI工具也在不斷變化,以滿足企業市場的不同需求。在BI發展幾十年中,BI工具也愈發成熟,從傳統BI走向敏捷BI,再加之AI的智能化能力,BI不再只是一個查看數據報表、優化業務流程的軟件工具,而是可以幫助企業提升創新能力,改變工作效率,成為增強核心競爭力的得力助手。
BI技術的快速發展
BI最早是出現在IBM計算機科學家Hans Peter Luhn在1958年撰寫的一篇文章中,其中描述了BI的價值和潛力,他將"智能"定義為"對事物相互關系的一種理解能力,并依靠這種能力去指導決策,以達到預期的目標。"
BI是一個將數據變為信息的過程,可以將來自企業中的各個業務系統中的數據,按照一定的規則進行抽取、清洗,然后加載到集中的數據庫中,進而完成數據分析和處理以及報表展現,而這些分析和展現的結果將能成為企業決策的重要數據支持。
過去,業務人員要想看到這些展現的數據,都是通過程序員或者DBA手工撰寫SQL語句來進行查詢,由于業務人員不能直接操作,因此報表數據的查看相當受限制。由此產生了很多報表工具,主要是解決了業務人員在周報、月報等方面的問題,方便業務人員進行查詢。但是,由于報表工具大多都是靜態的,而很多企業的報表分析都是需要交互分析,于是又出現了IBM Cognos、SAP BO等BI產品。
BI發展至今,已經出現了很多新一代敏捷的BI工具,例如Tableau、QlikView等,以更加易用的分析能力,賦能給業務人員。隨著人工智能的快速發展,BI+AI的組合也得到了業界的認可,BI的敏捷加上AI的智能,賦予了企業業務決策支持更多的可能性與準確性。
敏捷化與智能化的相輔相成
永洪科技副總裁&研發部總經理馬云在接受51CTO采訪時表示,BI的研發方向重點在敏捷和智能化兩方面,二者是相輔相成的,并且這一趨勢是不可逆轉的。馬云解釋道,過去我們都認為,報表工具是比較難用或者是相對比較專業的,需要有IT背景的人才能使用。但是從商業角度來看,大家需要解決的是商業或者業務問題,業務人員是希望可以降低IT門檻,更加便捷地使用BI工具,從而更快速地響應變化,提升業務價值。
馬云強調,敏捷需要做到六點,才能幫助業務人員更好的使用并且得到結果。這六點即:功能強大、簡單易用、計算性能高、彈性可擴展、移動端適配展現和自服務功能。過去,將制作報告的能力開放給業務人員后,BI就已經變得很敏捷,但是現在不同了,企業用戶還需要自服務查詢、自服務的數據準備,而這些敏捷的需求也都來自于客戶。于是,永洪科技也會在敏捷方面研發更加豐富的功能,讓業務人員都可以成為真正的數據公民。
敏捷BI-技術架構
智能化最理想的狀態,是企業提出一個業務問題,系統可以通過企業內部和外部數據的分析得出的結果,然后自動給出答案。馬云指出,提出問題的抽象化程度越高,智能化也就越高,而這對BI軟件提出了更高的要求。
具體的挑戰主要集中在兩大方面,一是數據,數據的質量以及數據的一致性尤為關鍵。由于數據來源于企業中的不同部門以及外部數據,數據的可靠性、可用性就需要得到保障,因為分析是以數據為基礎,數據質量差,得到的結果可想而知。二是分析模型本身,由于人提出的問題是抽象的,那就需要系統將抽象的問題翻譯成為可執行的計劃或者具體可操作的算法,從而才能得出最終的結果。
軟件功能與計算能力并重發展
過去用戶在做報表時,通常是打開不同的Excel表格,然后在輸入查詢語句后就等著Excel執行。好的情況是等十幾分鐘結果出來了,不好的情況通常是重新打開重新輸入。可見,報表的數據結果展現需要強大的后臺計算能力支持。而這也是馬云提到的計算性能高和彈性可擴展能力。
據了解,永洪科技在做研發時也是分為兩步走,一是專注于BI軟件,研發出BI工具的產品和平臺,讓企業的大數據分析更加敏捷、快速;另一方面是自研MPP數據集市,采用列存儲、分布式計算、內存計算、分布式處理等技術,滿足企業實時分析,快速響應業務需求。馬云表示,只有高性能計算才能支持用戶自助分析的需求和功能的擴展,從而支持BI的敏捷化。
據了解,很多從事BI領域的企業要么使用開源技術要么購買第三方軟件,但是永洪科技會選擇自研。馬云解釋道,越是通用化的軟件,對于小范圍的使用就很難優化,而軟件也會愈發笨重,因此永洪科技采用自研底層技術,可以對BI相關的功能開發做到極致地優化,從而幫助企業應對復雜的數據處理需求。
技術瓶頸的逐一突破
在技術的發展過程中,挑戰也是相對較大的。例如強大的功能要求和降低用戶使用難度其實是矛盾的,計算密集型的AI計算與實時要求較高的BI計算,怎樣互不干擾互不影響,同時又可以比較優雅地處理。馬云告訴51CTO,"沒有最好,只有更好!"這些看似不可能的矛盾體,永洪科技都在逐一突破。
永洪科技研發副總裁馬云
例如,在AI方面,永洪科技會內置常用的AI算子,覆蓋業界常用的數據處理、機器學習算法,用戶通過拖拉拽的方式可以直接進行調參和模型;其次,對于高級用戶,永洪科技提供類似R語言或者Python的接口,用戶可以直接撰寫腳本來運行,滿足定制化的需求;第三,結合AI能力,新增關鍵影響因素組件,助力用戶發現影響指標的主要因素,為BI場景賦能。
此外,在某種特定場景下,前端渲染會達到上百萬個點,如果使用基于開源架構來完成圖表繪制,就需要將上百萬的數據傳輸到前臺,由前臺進行渲染,但這個渲染過程通常會遇到瓶頸,甚至會拖垮前臺。而永洪科技會使用后端的引擎,利用分布式或Java服務器的計算能力,在后端直接將圖表繪制成功,然后在前臺進行展示。雖然圖表會有幾百萬的點,但是很多都是重疊,所以真正交互的點就可能降到幾千量級,從而降低了前臺渲染的瓶頸。
AI與BI的深度融合
在Gartner對未來3到5年BI產品發展趨勢做的預測中可以發現,增強技術、數據故事、機器學習等關鍵詞頻繁出現,而永洪科技也是在積極布局BI與AI的深度融合。馬云表示,永洪科技將用戶分為三類,一是可視化大屏的使用用戶;二是相對較重的業務系統,由IT人員制作報告從而提供給業務人員;第三是分析師,他們主要是面對發散性問題,用產品來探索分析結論,并將結論整理成故事和證據來講述給別人。
馬云表示,雖然分析師這類用戶還相對較少,但是在企業中會發揮更大的價值。因此,未來,永洪科技也會優化分析師的應用場景,以分布式平臺實現高性能計算,支持所有主流深度分析算法,將分析結果的全流程可視化,不斷深化AI與BI的融合。
(文章來源:51CTO,作者:鳶瑋)