數(shù)字化時(shí)代,機(jī)器數(shù)據(jù)無處不在。
在今天的在線研討會(huì)上,愛數(shù)AnyRobot推出創(chuàng)新開放的Hub架構(gòu),統(tǒng)一納管多源機(jī)器數(shù)據(jù),助力IT運(yùn)營化解機(jī)器數(shù)據(jù)管理難題,賦能數(shù)據(jù)驅(qū)動(dòng)型組織業(yè)務(wù)創(chuàng)新發(fā)展。
愛數(shù)總裁賀鴻富直播演講
機(jī)器數(shù)據(jù)管理的挑戰(zhàn)
隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入,IT建設(shè)、業(yè)務(wù)應(yīng)用投入不斷增加,服務(wù)器、存儲(chǔ)、各類系統(tǒng)的設(shè)備或系統(tǒng)的運(yùn)轉(zhuǎn)產(chǎn)生了海量機(jī)器數(shù)據(jù)。機(jī)器數(shù)據(jù)來源復(fù)雜,種類、格式多樣,實(shí)時(shí)產(chǎn)生增長速度快,數(shù)據(jù)量大,并且現(xiàn)有技術(shù)難以從中挖掘出數(shù)據(jù)價(jià)值。
IT運(yùn)營的機(jī)器數(shù)據(jù)分析場景需求也更為多樣。合規(guī)留存、安全審計(jì)、智能運(yùn)維、業(yè)務(wù)運(yùn)營、安全態(tài)勢感知等都需要對海量機(jī)器數(shù)據(jù)進(jìn)行深度的挖掘和分析,從而驅(qū)動(dòng)企業(yè)IT運(yùn)營轉(zhuǎn)型變革。
目前,很多企業(yè)客戶,特別是金融企業(yè),已經(jīng)選擇開源或商業(yè)機(jī)器數(shù)據(jù)平臺(tái)。但,受限于產(chǎn)品本身的能力和安全合規(guī)的審計(jì)需求,無法全面滿足IT運(yùn)營的多樣化需求。
以開放思維走進(jìn)機(jī)器數(shù)據(jù)世界
AnyRobot Family 3,開放、高效、經(jīng)濟(jì)的機(jī)器數(shù)據(jù)分析平臺(tái),秉承愛數(shù)“平臺(tái)+商業(yè)”的戰(zhàn)略模式,創(chuàng)新推出開放的Hub架構(gòu),實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)、多機(jī)器數(shù)據(jù)平臺(tái)的統(tǒng)一納管,釋放海量機(jī)器數(shù)據(jù)的價(jià)值。
而,Splunk平臺(tái)作為機(jī)器數(shù)據(jù)分析平臺(tái)的領(lǐng)導(dǎo)者,采用大數(shù)據(jù)分布式存儲(chǔ)和計(jì)算架構(gòu),通過采集企業(yè)內(nèi)部日志數(shù)據(jù)(含核心應(yīng)用),利用數(shù)據(jù)建模、行為識(shí)別、關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)等技術(shù),對日志數(shù)據(jù)進(jìn)行集中管控,提供全量日志極速檢索和大數(shù)據(jù)日志分析功能。目前,超過300家中國知名企業(yè)在使用Splunk,但卻面臨Splunk缺乏本地化的服務(wù)支持,無法滿足國產(chǎn)化合規(guī)建設(shè),項(xiàng)目交付周期長,用戶難以獨(dú)立使用等問題。
在本次研討會(huì)中,以AnyRobot Hub架構(gòu)在某銀行處實(shí)踐為例,深度解讀AnyRobot Hub架構(gòu)的優(yōu)勢,以及如何實(shí)現(xiàn)納管Splunk平臺(tái),并在后期平滑切換至AnyRobot平臺(tái),保障原有數(shù)據(jù)分析和查詢服務(wù)的持續(xù)穩(wěn)定進(jìn)行。這其中AnyRobot的Hub架構(gòu)是實(shí)現(xiàn)平臺(tái)替換Splunk的不可替代的核心因素。
Splunk原有數(shù)據(jù)采集場景:
在現(xiàn)有Splunk平臺(tái)可繼續(xù)使用的情況下,保持Splunk UF采集數(shù)據(jù),然后將數(shù)據(jù)接入到AnyRobot的Collector Hub上,再令數(shù)據(jù)轉(zhuǎn)發(fā)到Splunk上,在數(shù)據(jù)流上增加一個(gè)格式處理器,以確保Splunk能識(shí)別到來自Hub的數(shù)據(jù)格式,同時(shí)引入Splunk的S2S協(xié)議,保障接入的數(shù)據(jù)host字段不變。其他數(shù)據(jù)的處理方式保持不變。
新增加數(shù)據(jù)管理場景:
部署AnyRobot Agent ,將Agent的數(shù)據(jù)流推送給Collector Hub,再傳輸?shù)紸nyRobot的Kafka,通過AnyRobot進(jìn)行數(shù)據(jù)清洗、存儲(chǔ)和分析處理。
Splunk原數(shù)據(jù)流量超出場景:
為避免數(shù)據(jù)流量超出導(dǎo)致Splunk的搜索功能無法使用,在Collector Hub上切換部分Splunk 的UF數(shù)據(jù)流到AnyRobot上,既保障原分析和查詢服務(wù)不中斷,又避免數(shù)據(jù)流量超出。
歷史數(shù)據(jù)查詢場景:
當(dāng)新的數(shù)據(jù)接入到AnyRobot后,完整的查詢中歷史數(shù)據(jù)的部分在Splunk上。使用Calculation Hub,將請求調(diào)度給Splunk,并把接收到的數(shù)據(jù)返回給AnyRobot做統(tǒng)一計(jì)算。這個(gè)過程就像Hadoop的MapReduce一樣,分布式請求,然后把結(jié)果再匯聚計(jì)算。
在本次研討會(huì)上,AnyRobot Family 3 ,展示了其對多源異構(gòu)數(shù)據(jù)的管理分析能力,賦能全行業(yè)客戶數(shù)字化轉(zhuǎn)型,深化數(shù)據(jù)驅(qū)動(dòng)型組織的運(yùn)營變革。