在進軍物聯網時代的征途中,一個巨大的問題橫亙在所有解決方案面前:數據量正在井噴式的增長。萬物互聯與互聯網時代最直觀的區別之一,就是數據的產生和處理量級上有了本質的飛躍。
如一臺智能化新能源汽車,每秒鐘產生的數據量可達到1GB,一臺波音787每秒鐘產生的數據量高達5GB;在國家“信創”大背景下,更多國產智能設備注入各個領域,其產生的數據規模相當可觀。
如若不能妥善地存儲和處理這些數據,“萬物互聯”也只能是一句空談。數據庫自然是存儲海量數據進行加工使用的最終壁壘。時下,針對數據庫的革新與顛覆,對構建真正的物聯網世界而言即夯實地基,這也是整個信創領域的主旋律。
“半壁江山”關系型數據庫,或已不適配當前的時代
關系型 or NoSQL?對于正在加快物聯網化進程的企業來說,這是一道火燒眉毛的問題。
在20世紀70年代初,為了減少數據冗余、降低存儲費用,關系型數據庫應運而生。關系型數據庫最大的特征是遵循一定的范式,包括數據類型、數據間關系、ACID規范等。關系型數據庫的一個典型特征,不同的關系表之間進行計算后,其結果也依舊是關系型!這些特性讓關系型數據庫對數據的標準化擁有支撐。關系型數據庫從誕生之初到現在,走過了50年的風雨,衍生出Oracle、MySQL、Db2、SQL Server等一系列龐大的家族譜系。目前,市面上占據絕大多數份額的數據庫,都還是關系型數據庫。
關系型數據庫在數據標準化上有相當好的支持。隨著信息技術的發展,進入21世紀后,關系型數據庫顯示出那么一絲的力不從心,其不足也慢慢凸顯。關系型數據庫往往通過“強一致性”來避免數據庫應用中出現的寫入沖突和讀取沖突,如限制多端讀寫。當然,這也嚴重影響了數據的讀寫和存儲效率。進入21世紀,數據量的爆發式增長,以及數據類型的多樣化,對于僅支持垂直擴展(即只在硬件方面加強)的關系型數據庫,是一份來自時代的嚴峻挑戰。
在布局物聯網的進程中,不少企業已經開始擁抱NoSQL類型數據庫。
對數據讀寫性能的強需求,使NoSQL類型的數據庫在進入21世紀后,逐漸成為科技行業的新寵。NoSQL即Not Only SQL,泛指不使用關系模型、分布式的數據庫,由于其不要求“強一致性”,僅需保證數據的“最終一致性”,可以輕松實現大量數據的存儲和讀取。同時,NoSQL類型的數據庫通過分庫分表的方式,可實現水平擴展,而非像關系型數據庫僅支持垂直擴展,更適應多業務應用場景。
讀寫效率的提高,以及多場景的應用,讓NoSQL類型的數據庫看起來更像是為物聯網時代量身定制的“利器”。
綜合看來,關系型數據庫和NoSQL類型數據庫,在標準化和效率+擴展性方面各擅勝場。
物聯網時代智能硬件的爆發式增長改變了一切,網絡開始呈現出巨量數據、多種類數據的特征,這些都對數據的存儲和讀寫能力提出遠超當下水平的需求。對數據量、效率、擴展性等的多重高要求,甚至催生了“云計算”的優化算法“邊緣計算”,即數據不全部上云,而是分布處理、僅將結果匯總。
這也折射出一個現象:當下互聯網承載的數據量增速遠遠超出了網絡的升級速度,將數據進行分布式存儲與處理,減小信道擁堵和信息傳遞延時,是產業智能化的一種“因地制宜”。邊緣計算是應對海量數據的一劑良藥,然而邊緣計算對數據的讀寫性有著更高的要求。
信息技術的飛速發展,讓時代的天平慢慢倒向NoSQL類型的數據庫,因為它實在太適合工業物聯網這種海量數據的應用場景了。
“信創”大潮的掀起了硬件更新的革命;智能化設備蜂擁進入網絡,讓工業生產朝著低人工成本、智能化的方向邁進了一大步;邊緣計算中數據分布式存儲、運算的剛需,也讓關系型數據庫支持乏力的通病集中暴露。
所有工業生產領域,欲求實現真正意義上的互聯網,就必須對當前占據主流份額的關系型數據庫發起一場革命。
Big River超融合數據庫:為工業物聯網量身定制
無論在何種領域的工業生產中,設備巡檢、監控的智能化,是自動化生產最迫切、最重要的一環。
生產過程異常不僅影響良品率,嚴重的甚至會損壞生產線,釀成巨大經濟損失、重大安全事故。如何通過監控的構建完成一體化監管,也是構建工業物聯網的核心問題。在工業生產中,對數據監控的穩定運行要求更高、容錯率更低;不同設備產生的監控數據類型往往各異,在傳統數據庫中造成了讀寫困難,在“信創”浪潮下各種國產設備涌入工業網絡,更加劇了這一現象。
傳統關系型數據庫在這樣的場景下集中暴露的問題,最為凸出的有兩個:
首先是效率,“強一致性”的要求導致在高頻讀寫的時候性能出現瓶頸,造成信道堵塞;
其次是生態的橫向擴展,僅支持垂直擴展的結構特征對不同開發語言、不同數據類型的應用兼容不友好,嚴重限制了拓展性。
為工業生產賦能,美信科技打造了針對工業物聯網場景的殺手锏——Big River超融合數據庫。
Big River數據庫是一種基于key-value的高性能、分布式、易擴展的混合型數據庫,其根據海量數據特點彌補了關系型數據庫的不足,可較好地兼容多種數據庫類型,支持k-v數據庫,兼容關系型數據庫。其不僅具有NoSQL對海量數據的存儲管理、靈活擴展能力,還保持了傳統關系型數據庫支持事務等特性。
相較于市面上應用于工業場景的數據庫,Big river數據庫既擁有時序數據庫的快速讀寫、存儲優勢,又具備相較于關系型數據庫更為直觀、簡潔的特性。針對工業物聯網應用場景的特性,Big River數據庫在設計上,通過以下幾個技術特點來對目前工業物聯網的監控進行升級突破:
性能優化:
基于C語言優勢,將輪詢效率提到毫秒級:Big River數據庫采用C語言自主設計研發,針對實時數據特點,被檢測設備直接將數據發送到監控主機,并存儲在緩存中。業界普遍的監測頻率僅能達到分鐘級,Big River數據庫可以實現毫秒級快速輪詢。工業物聯網相較于IT領域,往往對輪詢頻率有更高的要求,這樣的高靈敏度有助于設備異常的排查。工業領域能在單位時間產生海量數據,數據庫的效率是第一要務。
可分布式集群部署,實現海量數據存儲:Big River數據庫支持分布式集群部署,其中每個節點擁有一個數據子集。數據查詢被分成查詢片段發送給自己所在的數據的節點上執行。這些數據庫可以通過添加額外的節點來線性擴展。分布式架構+非結構化存儲=水平擴張,分布式存儲與高并發訪問帶來性能的飛躍。另外,Big River數據庫基于閉樹算法也可根據數據的實際長度自動調節數據存儲占用的存儲空間,減少不必要的存儲空間的占用,達到優化數據存儲空間的目的。
高頻寫入操作優化:BigRiver數據庫相較于傳統關系型數據庫,基于其K-V特性可以更好地展現樹形結構數據間的邏輯關系;應用雙緩沖機制,實現高頻寫入優化,使其擁有了時序數據庫一樣的高頻讀寫、大容量存儲的特性。以監控應用為例,監控數據先寫入緩存,再定時寫入數據庫磁盤,大幅減少寫入壓力。基于64位緩存尋址,足以支撐單臺服務器監測上萬監測指標,記錄行數可達到百億級以上,訪問時間秒級以內。
應用場景應用優化:
支持事務功能:Big River數據庫保留了關系型數據庫支持事務功能的優勢,這是市場上同類型數據庫所不具備的。事務功能的核心要求是數據一致性,Big River數據庫在數據庫操作失敗或者系統出現崩潰時,系統能夠以事務為邊界進行恢復。當有多個用戶同時操作數據庫時,數據庫能夠以事務為單位進行并發控制,使多個用戶對數據庫的操作相互隔離。事務功能使系統能夠更方便的進行故障恢復以及并發控制,從而保證數據庫狀態的一致性。Big River數據庫支持事務的特性,保證了其應用于企事業單位中的可靠性。
靈活數據類型:不同于傳統關系型數據庫,Big River數據庫不需要了解鍵值對中值的數據是什么數據類型,可以是二進制、文本、Json、XML等。非結構化的特性帶來了極高的靈活性,保證了在數據庫中增刪數據的易用性和易操作性。
簡化數據模型設計:傳統的關系型數據庫中,樹形結構很難用表與表之間的關系來表示。而Big River數據庫的K-V特性可很好的展現樹形結構的數據之間的邏輯關系,可以很好的達到所見即所得的效果。
輕量級敏捷開發:Big River數據庫體量小,對環境的依賴程度小,部署靈活,易于維護,且數據易備份、易轉移。具有專用管理工具,通過所見即所得帶來開發的敏捷,開發運維成本降低。
Big River數據庫根據工業物聯網的特點,針對高頻讀寫和數據存儲進行優化,更適用于大數據量、高并發的數據存儲與處理工作;分布式部署的特性更是可以完美支持企業構建邊緣計算體系。時下,工業領域動輒幾千臺設備在工業生產中只是常態。傳統監控系統多應用關系型數據庫,單點在監測幾千臺設備的情況下就會出現性能下降,而應用了Big River的監控易單臺服務器可以輕松監控上萬個監測點,實現秒級輪詢的同時長時間保持穩定運行。
根據使用的側重點不同,Big River數據庫可為采集監控類應用(大數據量)、數據網關(高并發數據讀寫)、分布式檢測(分布式部署)等應用場景賦能。
Big River數據庫如何匯入信創時代大川
物聯網時代的到來,對大數據的存儲性和讀寫性要求達到了空前的高度;“信創”帶來的國產替代熱潮,也同時擴大了智能硬件進入的窗口。
這一切,都在倒逼數據庫市場成長。根據艾瑞咨詢發布的《中國數據庫行業研究報告(2021)》,2020年中國數據庫市場總規模達247.1億元,同比增長16.2%;政策對國產數據庫的扶植也達到空前規模,這使得國外數據庫廠商的份額下降至52.4%。
由于數據庫建設和企業基礎設施的滯后性,目前關系型數據庫占到市場份額的90%以上,尋求高性能的NoSQL類型的國產數據庫替代仍然有很大空間,類似于Big River這樣同時具備高頻讀寫、海量存儲、分布式部署等NoSQL特征和關系型數據庫的事務管理特性的混合型NewSQL類型數據庫,毫無意外地將會是新基建以及信創環境下國產替代的重要抓手。
目前,Big River數據庫已經廣泛應用于政府 、軍工 、醫療 、能源 、金融 、園區 、交通 等領域。相關領域共同面臨以下矛盾:
智能設備的大量接入、數字化運維的高要求,和數據庫日益跟不上性能要求的矛盾;
基礎設施的飛速擴張,和用地限制導致必須分布式部署的矛盾;
國產替代種類繁雜,和大規模運維生態難以兼容的矛盾。
Big River數據庫在設計之初就致力于消除上述宏觀矛盾。在長期的客戶服務中,逐步驗證了設計思路的成功。
如在某互聯網集團智慧園區的建設過程中,園區分布于全國,規模已經達到62萬平房千米并且每年以30萬千米體量快速增長;設備豐富,運維人員少。美信科技通過在園區內部署Big River數據庫,對園區內的網絡設備、服務器、閘機、儲物柜PAD、攝像頭、車位檢測器等終端設備采集數據,結合智能運維系統實現了五個園區的全部設備管理界面、視圖、報表統一管理,并實現了良好的水平擴展和垂直擴展。
某中央辦事機構管理設備規模數千臺,按照2分鐘輪詢頻率計算,一天需寫入5千萬條數據,應用的傳統關系型數據庫無法支持監控數據持續寫入,出現了頁面、報表打開緩慢、告警不及時等問題。美信科技通過為其部署Big River數據庫,成功承載包括服務器、操作系統、網絡設備、存儲、虛擬化設備等10000+設備的數據存儲,實現秒級監控預警,并保證了其數據和設備的擴展性。
某國有電力企業進行一體化運維指揮中心建設的時候,美信科技應用一體化運維解決方案協助其完善了調度云建設,將分屬市內三區的電力設施納入一體化監管平臺,協助其建立了視圖化的網絡和資產管理系統。該企業積極響應信創號召,引入大量國產替代設備,這些設備也在基于Big River數據庫的一體化監控運維平臺“監控易”中實現了整合。
縱觀Big River的應用案例,高性能、分布式、擴展性是始終繞不開的3個關鍵字。新基建和信創路線的提出,以及邊緣計算已然成為物聯網建設的必要解決方案,具備3個重要特性的Big River數據庫無疑將成為下一個時代重要基礎設施,執數據庫行業發展之牛耳。
信創藍海的百舸爭流,目前還處在各自為戰的狀態,各種技術標準和行業標準層出不窮,這是行業的生機蓬勃之相,卻也為處在基礎設施產業下游的生產企業建立工業物聯網體系制造了門檻。美信科技反其道而行,如Big River數據庫一般,產品打造遵循“被集成”思路,在做到比同類產品性能優越的基礎上,大幅降低了客戶企業進行基礎設施升級的邊際成本。這也是信創產業從最初的高速成長,逐漸步入標準化所催生的必然行業趨勢。