這是一段彼此成就，相互欣賞，最后雙向奔赴的故事。
再?zèng)]有比一段跨越時(shí)空，經(jīng)歷世事蹉跎，最后仍然覺(jué)得“有你真好”更刻骨銘心的了。
沒(méi)錯(cuò)，我們今天講述的就是騰訊云和樂(lè)元素之間的一段“十年感情史”。
云計(jì)算初體驗(yàn)
提到樂(lè)元素，聽(tīng)過(guò)的人可能不多，但是說(shuō)到開(kāi)心消消樂(lè)，估計(jì)無(wú)人不知無(wú)人不曉。作為一款深受玩家喜歡的國(guó)民游戲，開(kāi)心消消樂(lè)自2014年初上線移動(dòng)版至今，已經(jīng)多次獲得App Store及各大安卓平臺(tái)精選推薦，下載用戶量超8億，并始終穩(wěn)固在中國(guó)iOS游戲榜單TOP20內(nèi)。
樂(lè)元素作為其母公司，從2009年創(chuàng)立至今，在全球社交游戲圈已經(jīng)有了不小的名氣。在樂(lè)元素發(fā)展的過(guò)程中，從一開(kāi)始就與騰訊云結(jié)緣，并保持了長(zhǎng)期的合作伙伴關(guān)系。
那時(shí)騰訊云還不叫騰訊云，那時(shí)“初出茅廬”的騰訊云還叫騰訊開(kāi)放平臺(tái)。
“樂(lè)元素從PC到移動(dòng)互聯(lián)網(wǎng)時(shí)代的成長(zhǎng)與騰訊開(kāi)放平臺(tái)的幫助密不可分。騰訊開(kāi)放平臺(tái)擁有PC+移動(dòng)整體的服務(wù)體系，能夠幫助開(kāi)發(fā)者降低用戶獲取成本、運(yùn)營(yíng)成本，獲得盈利能力，因此騰訊開(kāi)放平臺(tái)是一個(gè)非常適合創(chuàng)業(yè)者成長(zhǎng)的地方。”業(yè)內(nèi)人士表示。
在合作的初期，主要還是以網(wǎng)頁(yè)游戲、社交游戲?yàn)橹?，其中《開(kāi)心泡泡貓》在PC平臺(tái)的最高峰值用戶數(shù)曾一度飆升至4700萬(wàn)。隨著移動(dòng)互聯(lián)網(wǎng)的浪潮，樂(lè)元素意識(shí)到移動(dòng)端的重要性，開(kāi)始嘗試頁(yè)游和手游的跨屏融合，《開(kāi)心消消樂(lè)》就是其中的典型代表。
雖然強(qiáng)大的社交關(guān)系鏈以及微下載能力，對(duì)于《開(kāi)心消消樂(lè)》的快速發(fā)展起到了重要的作用，但是，基于騰訊開(kāi)放平臺(tái)的低成本獲取用戶，降低用戶成本等方面也是功不可沒(méi)，而這恰恰是一款游戲早期爆發(fā)的關(guān)鍵。
在2014年那個(gè)移動(dòng)游戲大行其道的時(shí)代，無(wú)數(shù)一度聲名鵲起的手游都很快就被類(lèi)似的游戲所替代。但是《開(kāi)心消消樂(lè)》作為一款后勁十足的游戲，之所以能將用戶留住，并吸引大量新玩家加入，主要在于能從競(jìng)爭(zhēng)產(chǎn)品中脫穎而出的關(guān)卡設(shè)計(jì)、畫(huà)面特效，以及流暢的玩家體驗(yàn)。
其中流暢的用戶體驗(yàn)最為關(guān)鍵。
而為了讓游戲的體驗(yàn)更好，游戲廠商往往不會(huì)選擇從零開(kāi)始自己開(kāi)建各種加速節(jié)點(diǎn)，他們更傾向于選擇云廠商已經(jīng)建設(shè)好的“過(guò)山隧道”。因此高帶寬、多地多節(jié)點(diǎn)部署、可實(shí)現(xiàn)跨網(wǎng)絡(luò)的CDN就成了一款成功手游的標(biāo)配。
這一點(diǎn)，以《開(kāi)心消消樂(lè)》所采用的騰訊云CDN為例，依托QQ、微信、QQ空間、騰訊視頻等業(yè)務(wù)的積累，已陸續(xù)建成的分布各地的自建節(jié)點(diǎn)、支撐起上述業(yè)務(wù)每天超過(guò)十億級(jí)用戶的加速服務(wù)。
據(jù)透露，在早期，開(kāi)心消消樂(lè)在CDN上的壓縮后帶寬峰值依然近百G，與那時(shí)的QQ農(nóng)場(chǎng)數(shù)據(jù)頂峰相近，但經(jīng)過(guò)流量壓縮、靈活計(jì)費(fèi)，整體CDN費(fèi)用下降達(dá)80%。
嘗到甜頭的樂(lè)元素決定全面上云。從2015年2月開(kāi)始，從最初的單純使用云服務(wù)器，到現(xiàn)在數(shù)據(jù)庫(kù)、存儲(chǔ)、網(wǎng)絡(luò)、安全等，樂(lè)元素基本實(shí)現(xiàn)全云化服務(wù)。
關(guān)系升級(jí)
時(shí)間來(lái)到了2021年。
就這樣，一款在當(dāng)初被稱(chēng)為現(xiàn)象級(jí)的三消游戲，不知不覺(jué)已經(jīng)火了超過(guò)7年。
再先進(jìn)的技術(shù)架構(gòu)在時(shí)間面前也不值一提。
雖然《開(kāi)心消消樂(lè)》一開(kāi)始部署在騰訊云OPEN區(qū)（騰訊開(kāi)放平臺(tái)時(shí)的數(shù)據(jù)中心）的業(yè)務(wù)架構(gòu)為2015年最優(yōu)的技術(shù)架構(gòu)，但隨著技術(shù)發(fā)展該架構(gòu)出現(xiàn)大量維護(hù)難點(diǎn)，如：數(shù)據(jù)庫(kù)版本低、云服務(wù)器使用本地盤(pán)、支付業(yè)務(wù)因人員變動(dòng)無(wú)人了解業(yè)務(wù)接口情況等。
從業(yè)務(wù)的角度來(lái)說(shuō)，時(shí)移世易，現(xiàn)在的游戲用戶對(duì)體驗(yàn)，時(shí)延以及特效等的要求，已經(jīng)不是7年前可比，而這亟需對(duì)原來(lái)的老舊技術(shù)架構(gòu)做全面的升級(jí)。
業(yè)務(wù)的迫切需求倒逼騰訊云和樂(lè)元素技術(shù)團(tuán)隊(duì)一起在思考，如何用更好的技術(shù)架構(gòu)來(lái)服務(wù)開(kāi)心消消樂(lè)業(yè)務(wù)的繼續(xù)發(fā)展。
從騰訊云遷移到騰訊云成為當(dāng)時(shí)可行的選項(xiàng)，也就是從原來(lái)的老舊的OPEN區(qū)，遷移到擁有全新技術(shù)架構(gòu)的廣州七區(qū)。
不難理解，因?yàn)殚_(kāi)心消消樂(lè)在發(fā)展，騰訊云這些年也在發(fā)展，而且服務(wù)的客戶類(lèi)型也從最初的游戲發(fā)展到各行各業(yè)。經(jīng)過(guò)數(shù)以萬(wàn)計(jì)客戶的打磨，騰訊云在服務(wù)包括游戲行業(yè)在內(nèi)，已經(jīng)積累了廣泛的經(jīng)驗(yàn)，并在技術(shù)架構(gòu)層面，也做了全面的演進(jìn)，而廣州七區(qū)就是一個(gè)理想的選項(xiàng)。
但是，即便是同一個(gè)云內(nèi)的遷移，難度也不小。
首先，騰訊云OPEN區(qū)為業(yè)務(wù)發(fā)展前期獨(dú)立的地域，網(wǎng)絡(luò)架構(gòu)復(fù)雜，《開(kāi)心消消樂(lè)》在OPEN區(qū)基礎(chǔ)網(wǎng)絡(luò)內(nèi)，同騰訊云當(dāng)前廣州地域VPC內(nèi)機(jī)器內(nèi)網(wǎng)互通難度大。
其次，業(yè)務(wù)遷移需要不停服的情況下進(jìn)行，同時(shí)需要保證遷移過(guò)程中數(shù)據(jù)一致性、可用性等問(wèn)題，這些限制條件給遷移工作帶來(lái)極大的難度。
這其中，尤以數(shù)據(jù)庫(kù)的遷移難度最大。
據(jù)樂(lè)元素內(nèi)部人員介紹，消消樂(lè)項(xiàng)目早期用的是騰訊云自研Memcached數(shù)據(jù)庫(kù)作為主存儲(chǔ)，隨著數(shù)據(jù)量的爆發(fā)式增長(zhǎng)，內(nèi)存數(shù)據(jù)庫(kù)已無(wú)法完全滿足業(yè)務(wù)需求，在降成本和數(shù)據(jù)庫(kù)生態(tài)的多重考慮下，最終決定將消消樂(lè)項(xiàng)目遷移至云數(shù)據(jù)庫(kù)Tendis。Tendis是騰訊云自研、完全兼容Redis協(xié)議的高性能分布式數(shù)據(jù)庫(kù)，其中冷熱數(shù)據(jù)分級(jí)存儲(chǔ)功能，可完美平衡性能與成本的沖突。
盡管Tendis為客戶帶來(lái)了諸多收益，但還需面對(duì)異構(gòu)數(shù)據(jù)庫(kù)帶來(lái)的命令兼容性和冪等問(wèn)題，為了盡可能降低客戶的應(yīng)用改造成本，騰訊云數(shù)據(jù)庫(kù)團(tuán)隊(duì)派專(zhuān)人為樂(lè)元素提供命令兼容性的改寫(xiě)方案，并在遷移流程中規(guī)避數(shù)據(jù)寫(xiě)入的冪等問(wèn)題。最終協(xié)助客戶順利完成PC業(yè)務(wù)和應(yīng)用寶業(yè)務(wù)的數(shù)據(jù)遷移。
此外，還要考慮海量數(shù)據(jù)校驗(yàn)如何做到不影響客戶線上業(yè)務(wù)。
樂(lè)元素消消樂(lè)業(yè)務(wù)總共需要遷移30 TB+數(shù)據(jù)，并且是從Memcached協(xié)議遷移到兼容Redis協(xié)議的云數(shù)據(jù)庫(kù)Tendis，除開(kāi)異構(gòu)數(shù)據(jù)庫(kù)不停服的遷移挑戰(zhàn)外，還有就是接近4千億Key的數(shù)據(jù)校驗(yàn)難題。
頂著客戶業(yè)務(wù)可用性?xún)?yōu)先的壓力，在進(jìn)行海量數(shù)據(jù)一致性校驗(yàn)時(shí)，騰訊云專(zhuān)門(mén)為消消樂(lè)項(xiàng)目開(kāi)發(fā)了一套數(shù)據(jù)校驗(yàn)平臺(tái)，支持實(shí)時(shí)探測(cè)業(yè)務(wù)主庫(kù)的性能負(fù)載，并能精確的控制數(shù)據(jù)校驗(yàn)任務(wù)的性能消耗。一旦主庫(kù)性能超過(guò)恒定利用率的10%，數(shù)據(jù)校驗(yàn)平臺(tái)將動(dòng)態(tài)調(diào)整數(shù)據(jù)校驗(yàn)的并發(fā)數(shù)，最終在不影響業(yè)務(wù)性能的前提下，順利完成了海量數(shù)據(jù)的校驗(yàn)工作。
雙向奔赴
從騰訊開(kāi)放平臺(tái)到騰訊云，名字雖然有了變化，但不變的永遠(yuǎn)是對(duì)于用戶的重視。
從樂(lè)元素和騰訊云合作至今，已經(jīng)跨越十多年，當(dāng)初的騰訊云已經(jīng)成長(zhǎng)為國(guó)內(nèi)領(lǐng)先的云廠商，而樂(lè)元素也已經(jīng)從一個(gè)年輕的初創(chuàng)團(tuán)隊(duì)，成長(zhǎng)為一家知名的游戲公司。
但這段彼此成就，雙向奔赴，注重長(zhǎng)期主義的兩家公司，無(wú)疑在云計(jì)算領(lǐng)域成就一段佳話。
對(duì)于樂(lè)元素：通過(guò)使用云服務(wù)，不僅讓消消樂(lè)等游戲的獲取用戶成本大幅降低，同時(shí)，開(kāi)發(fā)運(yùn)營(yíng)等服務(wù)成本也全面下降。
比如，將原來(lái)的機(jī)型升級(jí) S1 機(jī)型升級(jí)為 SA2/SA3, 升級(jí)換代后的服務(wù)器性?xún)r(jià)比更高，單機(jī)能力和容量大幅提升, 機(jī)器成本也大幅降低，同時(shí)，機(jī)器隔離性和可靠性更高。
另外，將CMEM 遷移到 Tendis，存儲(chǔ)系統(tǒng)不僅穩(wěn)定性大幅提升, 運(yùn)維人力成本大幅降低, 去除了衰退期產(chǎn)品造成的系統(tǒng)風(fēng)險(xiǎn)，冷熱分離架構(gòu)，成本縮減 30% 以上。
對(duì)于騰訊云來(lái)說(shuō)，從2009年服務(wù)樂(lè)元素開(kāi)始，不僅從它身上了解到游戲行業(yè)的用戶訴求，還有效磨練了云計(jì)算產(chǎn)品和解決方案，為服務(wù)更多行業(yè)用戶提供極具價(jià)值的一線經(jīng)驗(yàn)。
有細(xì)心的同事做了統(tǒng)計(jì)，這個(gè)項(xiàng)目共歷時(shí)107天，騰訊云TAM團(tuán)隊(duì)共計(jì)溝通拜訪20+次，變更節(jié)點(diǎn)駐場(chǎng)保障4次，解決項(xiàng)目中問(wèn)題30+例，減少本地盤(pán)老機(jī)型機(jī)器129臺(tái)，占本地盤(pán)老機(jī)型機(jī)器總量的20%。
截至目前，開(kāi)心消消樂(lè)PC業(yè)務(wù)+手游聯(lián)運(yùn)業(yè)務(wù)已經(jīng)全量運(yùn)行在資源保障度較高的廣州七區(qū)。
數(shù)據(jù)不驚艷，甚至有些瑣碎，但正是這一串串微小的數(shù)據(jù)，讓持續(xù)了十年的“感情”更加真實(shí)，也讓每一次的云端遷移賦予了一個(gè)時(shí)代的烙印。
