大促來襲，電商企業(yè)的運(yùn)營人員開始“暴風(fēng)工作”，各類查詢?nèi)蝿?wù)同時(shí)涌入系統(tǒng)，導(dǎo)致計(jì)算資源十分緊張;
娛樂八卦預(yù)告爆料，各路吃瓜平臺(tái)紛紛整裝待發(fā)，到頭來發(fā)現(xiàn)只是“零星小料”，沒有海量業(yè)務(wù)需求，計(jì)算資源又處于閑置狀態(tài)……
有沒有一種“彈性”的方式，既讓計(jì)算資源盡可能地被有效利用，又能讓計(jì)算資源發(fā)揮最大的價(jià)值？當(dāng)然!神策數(shù)據(jù)上線彈性計(jì)算與彈性存儲(chǔ)功能，讓企業(yè)無需為了一時(shí)的高峰計(jì)算需求而加大硬件投入，省錢省力就能“躺贏”業(yè)務(wù)需求!
關(guān)注“神策數(shù)據(jù)”公眾號，回復(fù)關(guān)鍵字“彈性”即可免費(fèi)體驗(yàn)!
一、什么是神策彈性計(jì)算與彈性存儲(chǔ)功能？
由于企業(yè)在分析計(jì)算資源的使用上存在明顯的周期性，集“采、治、存、查、智”為一體的神策數(shù)據(jù)根基平臺(tái)通過彈性化資源配置，可隨著實(shí)際業(yè)務(wù)需求的變化，隨時(shí)擴(kuò)大或減小計(jì)算能力，避免企業(yè)因業(yè)務(wù)需求的調(diào)整造成計(jì)算資源的浪費(fèi);而且，神策借用了傳統(tǒng)數(shù)據(jù)庫歸檔的概念，支持將數(shù)據(jù)倉庫中不經(jīng)常使用的數(shù)據(jù)遷移至低成本存儲(chǔ)系統(tǒng)上，在降低存儲(chǔ)成本的同時(shí)，保證用戶擁有更好的產(chǎn)品使用體驗(yàn)。
1.彈性計(jì)算：潮汐算力調(diào)度
通過構(gòu)建一個(gè)公共計(jì)算池，由其動(dòng)態(tài)調(diào)配計(jì)算能力。當(dāng)企業(yè)需要擴(kuò)容計(jì)算能力支撐其業(yè)務(wù)時(shí)，系統(tǒng)會(huì)向公共計(jì)算池申請額外的計(jì)算節(jié)點(diǎn)，與原有的節(jié)點(diǎn)共同組成一套新的計(jì)算集群，以匹配高峰期計(jì)算作業(yè)。高峰過后，額外的計(jì)算節(jié)點(diǎn)會(huì)被公共計(jì)算池回收，從而達(dá)到節(jié)省算力資源成本的目的。
技術(shù)原理如下：
首先，直接利用k8s管理計(jì)算池的彈性資源，在k8s中每個(gè)executor節(jié)點(diǎn)由svc-executor與pod-executor組成。
其中pod-executor通過svc-executor來對外暴露端口，原集群的statestored，catalogd和coordinator通過svc-executor暴露的端口與pod-executor通信。
k8s中的pod-executor通過coredns配置的原集群hosts來與statestored，catalogd，coordinator通信，從而實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)的動(dòng)態(tài)調(diào)配。
神策彈性計(jì)算技術(shù)原理圖
2.彈性存儲(chǔ)：“冷數(shù)據(jù)”歸檔，仍可被分析
對于一些不經(jīng)常使用的數(shù)據(jù)，其數(shù)據(jù)訪問頻次會(huì)不斷的減少，甚至只在偶爾盤點(diǎn)時(shí)的歷史對比分析中用到，這類數(shù)據(jù)被稱為“冷數(shù)據(jù)”。但隨著企業(yè)進(jìn)行數(shù)據(jù)分析的時(shí)間越來越長，對于集群存儲(chǔ)資源的需求和壓力會(huì)越來越大。神策支持將“冷數(shù)據(jù)”歸檔(轉(zhuǎn)儲(chǔ))到成本更低廉的存儲(chǔ)系統(tǒng)中，從而極大地節(jié)省企業(yè)的存儲(chǔ)成本。
值得注意的是，當(dāng)“冷數(shù)據(jù)”歸檔后，神策仍支持歸檔數(shù)據(jù)的可讀、可刪除、可分析。歸檔后的數(shù)據(jù)所在的存儲(chǔ)是整體系統(tǒng)存儲(chǔ)的一部分，無需對歸檔數(shù)據(jù)進(jìn)行解檔也能正常查詢。而業(yè)內(nèi)現(xiàn)狀下，歸檔后的數(shù)據(jù)大多不可再參與查詢，這是神策彈性存儲(chǔ)功能與傳統(tǒng)數(shù)據(jù)庫歸檔最重要的區(qū)別。
二、為大促活動(dòng)保駕護(hù)航，讓神策“兩朵云”火力全開
神策“兩朵云”指神策分析云、神策營銷云，在大促之際，某電商運(yùn)營團(tuán)隊(duì)通過神策分析云、神策營銷云“火力全開”，助力大促完美啟航，同時(shí)背靠神策彈性計(jì)算與彈性存儲(chǔ)功能，通過三步法，為大促活動(dòng)保駕護(hù)航。
第一步：大促前，歸檔冷數(shù)據(jù)
為了更好迎接大促，該電商運(yùn)營團(tuán)隊(duì)提前就對相關(guān)數(shù)據(jù)進(jìn)行歸檔，在不影響查詢的情況下，將不經(jīng)常使用的“冷數(shù)據(jù)”轉(zhuǎn)存至成本更低的存儲(chǔ)系統(tǒng)中。由于這部分“冷數(shù)據(jù)”依然可以在神策各大系統(tǒng)中進(jìn)行分析操作，該電商運(yùn)營團(tuán)隊(duì)也更加“大膽”地將不經(jīng)常使用的數(shù)據(jù)轉(zhuǎn)化成“冷數(shù)據(jù)”，為后續(xù)海量業(yè)務(wù)需求產(chǎn)生的分析數(shù)據(jù)“騰地方”，降低數(shù)據(jù)的存儲(chǔ)成本。
第二步：大促中，調(diào)整計(jì)算能力
由于該電商運(yùn)營團(tuán)隊(duì)日常就通過神策營銷云對百萬用戶的全生命周期進(jìn)行策略運(yùn)營，在近期更是不斷針對各用戶群體發(fā)放活動(dòng)優(yōu)惠券，所以從預(yù)售開始，蜂擁而來的用戶流量就帶來海量用戶行為數(shù)據(jù)和分析需求。從此時(shí)開始，該電商運(yùn)營團(tuán)隊(duì)全體成員就進(jìn)入“高速運(yùn)轉(zhuǎn)”狀態(tài)，他們一邊通過神策分析云實(shí)時(shí)洞察用戶各類狀態(tài)，一邊通過神策營銷云做貼合用戶畫像的策略與動(dòng)作，并將整個(gè)流程灌入神策推出的基于數(shù)據(jù)流的企業(yè)運(yùn)營框架SDAF中，通過感知(Sense)、決策(Decision)、行動(dòng)(Action)、反饋(Feedback)四個(gè)流程，打造運(yùn)營閉環(huán)，提高用戶在大促中的完美體驗(yàn)。
針對從預(yù)售開始時(shí)鋪面而來的業(yè)務(wù)需求，在現(xiàn)有計(jì)算資源的條件下，神策利用公共計(jì)算池動(dòng)態(tài)調(diào)整計(jì)算能力，充分保證大促時(shí)期的數(shù)據(jù)分析效率，為該電商運(yùn)營團(tuán)隊(duì)的營銷觸達(dá)提供核心支撐。
第三步：大促尾聲，避免浪費(fèi)
在緊張又刺激的活動(dòng)尾聲，該電商運(yùn)營團(tuán)隊(duì)的成員逐漸從激烈的工作狀態(tài)中回歸日常，成員們將更多的精力放在大促復(fù)盤，以及通過神策分析云中的各大功能組件洞察用戶需求，并通過神策營銷云進(jìn)行下階段的策略運(yùn)營中，由于計(jì)算和分析需求陸續(xù)變少，神策彈性計(jì)算功能將會(huì)使系統(tǒng)自動(dòng)回收部分計(jì)算能力，避免流量下降導(dǎo)致的計(jì)算資源浪費(fèi)。
以上為神策彈性計(jì)算與彈性存儲(chǔ)功能簡介，雖然各行業(yè)的具體業(yè)務(wù)場景不同，但神策彈性計(jì)算與彈性存儲(chǔ)功能可以在多種業(yè)務(wù)邏輯下發(fā)揮著其強(qiáng)大的技術(shù)能力，在節(jié)省企業(yè)硬件成本的同時(shí)，合理配置優(yōu)化企業(yè)計(jì)算資源，并為“冷數(shù)據(jù)”提供相關(guān)的分析能力，降低企業(yè)的運(yùn)營成本，更好助力企業(yè)業(yè)務(wù)目標(biāo)的實(shí)現(xiàn)。
