隨著互聯(lián)網(wǎng)的發(fā)展,我們越來越多地使用網(wǎng)絡(luò)媒體觀看節(jié)目、接收資訊、傳播信息等。尤其是網(wǎng)絡(luò)視頻的出現(xiàn),為我們獲取外界信息提供了極大的便利。但是我們在收看互聯(lián)網(wǎng)視頻節(jié)目的過程中,或多或少地會(huì)遇到播放等待、視頻卡頓等現(xiàn)象,其根本是視頻內(nèi)容無法及時(shí)和完整下載至本地播放器所致,那么如何解決這一問題?
1
CDN是什么
CDN技術(shù)的存在極大程度地解決了上述問題。CDN為內(nèi)容分發(fā)網(wǎng)絡(luò),該技術(shù)本質(zhì)上是一種提升網(wǎng)絡(luò)訪問速度的技術(shù),能夠通過網(wǎng)絡(luò)流量特征和帶寬分布、復(fù)制內(nèi)容以及用戶的訪問特征等因素,對用戶的請求進(jìn)行數(shù)字化的定量分析,從而實(shí)現(xiàn)對于網(wǎng)絡(luò)內(nèi)容的全網(wǎng)高質(zhì)量分送,CDN主要通過4個(gè)網(wǎng)絡(luò)體系結(jié)構(gòu)進(jìn)行運(yùn)作。
(1)內(nèi)容緩存系統(tǒng)。系統(tǒng)分散與世界各地各個(gè)運(yùn)營商的IDC機(jī)房,主要負(fù)責(zé)緩存互聯(lián)網(wǎng)訪問內(nèi)容以及對用戶請求作出響應(yīng)。在CDN中也叫作服務(wù)節(jié)點(diǎn)。這些節(jié)點(diǎn)由服務(wù)器集群組成,通過設(shè)備負(fù)載均衡及應(yīng)用負(fù)載均衡保障單節(jié)點(diǎn)負(fù)載能力及可擴(kuò)展性,以滿足大規(guī)模用戶訪問的需求。這些節(jié)點(diǎn)往往非常靠近互聯(lián)網(wǎng)用戶,互聯(lián)網(wǎng)用戶在這些節(jié)點(diǎn)獲得請求響應(yīng),減少了回源訪問源站服務(wù)器的次數(shù),并避免遠(yuǎn)距離獲取數(shù)據(jù),從而降低源站負(fù)載,并縮短了網(wǎng)絡(luò)傳輸距離所需要的時(shí)間,從而提升了互聯(lián)網(wǎng)服務(wù)的響應(yīng)速度,并提升了源站的穩(wěn)定性及服務(wù)能力。
(2)日志系統(tǒng)。分布于各個(gè)節(jié)點(diǎn),并通過節(jié)點(diǎn)緩存軟件,將流量日志及訪問日志定時(shí)吐出,然后通過數(shù)據(jù)同步,將數(shù)據(jù)同步到中心的日志處理服務(wù)器,數(shù)據(jù)統(tǒng)計(jì)后用于CDN服務(wù)計(jì)費(fèi),并可以根據(jù)訪問日志排查故障、監(jiān)測服務(wù)質(zhì)量、預(yù)警服務(wù)故障。
(3)監(jiān)控系統(tǒng)。包括設(shè)備監(jiān)控、網(wǎng)絡(luò)監(jiān)控及應(yīng)用監(jiān)控,實(shí)時(shí)將監(jiān)控狀態(tài)匯總到中央監(jiān)控中心,并通過監(jiān)控中心設(shè)置的閾值發(fā)出告警。這些告警數(shù)據(jù),實(shí)時(shí)為CDN運(yùn)營提供支撐數(shù)據(jù),運(yùn)營人員根據(jù)告警數(shù)據(jù)及時(shí)排除故障,并將服務(wù)器切換到正常的服務(wù)器上去執(zhí)行。監(jiān)控中心的告警數(shù)據(jù)也作為調(diào)度中心的自動(dòng)調(diào)度依據(jù),以保障CDN服務(wù)的連續(xù)性。
(4)調(diào)度中心。主要是實(shí)現(xiàn)對于用戶訪問路徑的管理和實(shí)施。主要通過預(yù)設(shè)的節(jié)點(diǎn)覆蓋方案、故障調(diào)度方案以及路徑探測結(jié)果,根據(jù)用戶IP地址屬性等信息,將不同用戶請求分別導(dǎo)向不同的分支節(jié)點(diǎn),從而實(shí)現(xiàn)用戶就近訪問及最優(yōu)路徑訪問,縮短響應(yīng)時(shí)間。
2
CDN技術(shù)的應(yīng)用
針對于當(dāng)下互聯(lián)網(wǎng)環(huán)境,不同的應(yīng)用場景對于CDN又有不同的需求。單純只是提供流量的CDN已經(jīng)無法滿足用戶的需求,不同服務(wù)場景對于不同性能與不同適應(yīng)性的CDN的需求不同。CDN在當(dāng)下互聯(lián)網(wǎng)領(lǐng)域有諸多應(yīng)用場景,比如:
(1)圖文社群平臺(tái)網(wǎng)站
從門戶時(shí)代開始,圖文門戶就一直都是堅(jiān)守在互聯(lián)網(wǎng)一線的服務(wù)平臺(tái),新浪、網(wǎng)易、搜狐等平臺(tái)都會(huì)每日分發(fā)海量的圖片及文字信息給到廣大的互聯(lián)網(wǎng)用戶。從博客到論壇,再到貼吧,圖文網(wǎng)站作為最早的社群網(wǎng)媒平臺(tái),具有用戶數(shù)量龐大、粘性高、不易轉(zhuǎn)移等特點(diǎn)。所以,用戶對圖文網(wǎng)站平臺(tái)的訪問在近幾年依舊很高。
(2)在線視頻
在北京發(fā)布的《傳媒藍(lán)皮書:中國傳媒產(chǎn)業(yè)發(fā)展報(bào)告(2019)》中顯示,2018年中國在線視頻市場規(guī)模達(dá)到2016.8億元,同比增長39.1%。隨著5G正式商用,未來用戶對在線視頻的數(shù)量和質(zhì)量需求只會(huì)更大。如何在巨大流量的涌入下,保證視頻不卡頓,成為了CDN服務(wù)關(guān)鍵。
(3)短視頻平臺(tái)
2017年,短視頻平臺(tái)爆發(fā),為CDN行業(yè)帶來了巨大的紅利。至今,短視頻平臺(tái)的日活躍用戶已經(jīng)過億,人均每日刷視頻時(shí)間達(dá)到一個(gè)小時(shí)之久。隨著5G時(shí)代的到來,5G用戶勢必逐漸增加,將帶來更大的流量加持,用戶流量成本將持續(xù)下降,可以預(yù)見,短視頻的用戶會(huì)持續(xù)增加。訪問上,海量并發(fā)的訪問對源站造成巨大的壓力,進(jìn)而導(dǎo)致用戶打開視頻的耗時(shí)長,體驗(yàn)差;傳輸上,短視頻文件較大,在傳輸鏈路中,由于網(wǎng)絡(luò)鏈路抖動(dòng)造成用戶觀看卡頓等情況出現(xiàn),這是面向短視頻平臺(tái)的重要障礙之一。
(3)網(wǎng)游
從千禧年網(wǎng)游進(jìn)入中國開始,熱度就居高不下。5G高速、低時(shí)延的時(shí)代會(huì)讓游戲進(jìn)入爆發(fā)增長時(shí)代,5G大環(huán)境下,高并發(fā)、用戶分布廣、網(wǎng)絡(luò)環(huán)境復(fù)雜多樣等因素影響著用戶的游戲體驗(yàn)。
此外,游戲下載安裝包文件大、游戲場景內(nèi)容多讓用戶在下載或加載時(shí)限制更多。而網(wǎng)友對極致網(wǎng)速、逼真畫面的追求會(huì)越來越苛刻,尤其在MOBA類游戲盛行的當(dāng)下,游戲的低時(shí)延以及穩(wěn)定性完全決定了手游以及端游能否成功在這個(gè)分秒必爭的市場存活下來。這時(shí)候,CDN的加速效果就要求能保障游戲用戶優(yōu)質(zhì)穩(wěn)定的游戲體驗(yàn)。
(4)物聯(lián)網(wǎng)、AR等
如今,CDN技術(shù)已經(jīng)深入到用戶生活的方方面面,其能夠?yàn)橛脩籼峁└憬荨⒏匈|(zhì)量的生活方式。實(shí)際上,智慧城市、智慧家居、物流交通等等實(shí)際場景,都離不了CDN,尤其是一些在實(shí)時(shí)性要求比較高的,交通、路況、天氣等智慧應(yīng)用。
(5)電商平臺(tái)
電商平臺(tái)是CDN服務(wù)的老話題,今年雙11,各家電商平臺(tái)再一次紛紛刷新了自己的成交額記錄。巨額數(shù)字的背后意味著電商交易流量的高峰,要讓電商走得更遠(yuǎn)、更順暢,也少不了CDN技術(shù)的加持。
從以上實(shí)用場景中, CDN需要做到節(jié)點(diǎn)更多更邊緣,帶寬儲(chǔ)備更大,監(jiān)控更精密,安全防護(hù)要到位,端邊云協(xié)同,充分結(jié)合5G、區(qū)塊鏈、邊緣計(jì)算等高質(zhì)量科技,售后服務(wù)有保障,平臺(tái)要穩(wěn)定又安全。但是目前市場上的CDN存在以下痛點(diǎn):
(1)傳統(tǒng)CDN動(dòng)態(tài)加速效果不好。這就導(dǎo)致無法無卡頓播放4K視頻、大規(guī)模并發(fā)式視頻等。
(2)CDN受制于服務(wù)器等設(shè)備。云CDN需要添置大量的服務(wù)器、網(wǎng)絡(luò)設(shè)備及存儲(chǔ)設(shè)備。
(3)成本高。傳統(tǒng)CDN受制于電信運(yùn)營商帶寬租用費(fèi)用,帶寬成本是剛性的,不能形成價(jià)格優(yōu)勢。云CDN成本高則極大部分來自于設(shè)備成本。
如何解決上述問題,成為CDN廠商著重思考的問題。
3
內(nèi)容分發(fā)網(wǎng)絡(luò)的未來何在
借助內(nèi)容分發(fā)網(wǎng)絡(luò)CDN和基于對等網(wǎng)P2P技術(shù)是實(shí)現(xiàn)內(nèi)容數(shù)據(jù)的分發(fā)最具代表性的兩種技術(shù)方案。但由于用戶規(guī)模激增、用戶異構(gòu)性日益突出以及用戶對業(yè)務(wù)體驗(yàn)要求越來越高,上述兩項(xiàng)技術(shù)暴露出各自的技術(shù)局限。最近幾年云計(jì)算技術(shù)的快速興起及數(shù)據(jù)中心等云設(shè)施在全球范圍的廣泛部署為實(shí)現(xiàn)大規(guī)模互聯(lián)網(wǎng)應(yīng)用提供了新的技術(shù)途徑,但是云計(jì)算仍然需要大量的設(shè)備支撐,成本仍然較高。如果能夠?qū)鹘y(tǒng)CDN、P2P、云計(jì)算結(jié)合起來,取長補(bǔ)短,將極大程度推動(dòng)內(nèi)容分發(fā)行業(yè)的發(fā)展。現(xiàn)有的技術(shù)方案多為以下步驟:
第一步,CDN云化,同時(shí)承載視頻和云業(yè)務(wù),大幅提升資源利用率。其中 CDN云化有兩種資源利用方式:
1、云存儲(chǔ)方式:重點(diǎn)利用大量閑置的存儲(chǔ)資源,通過在服務(wù)器上部署云存儲(chǔ)系統(tǒng),將CDN上的剩余存儲(chǔ)組合起來,構(gòu)建成一個(gè)可管理的CDN云存儲(chǔ)。通過能力封裝,供第三方系統(tǒng)調(diào)用。該方法適合醫(yī)療影響等冷數(shù)據(jù)存儲(chǔ)場景。
2、云計(jì)算方式:同時(shí)利用閑置的存儲(chǔ)和計(jì)算資源,在CDN服務(wù)器上部署Docker虛擬化技術(shù),通過kubernetes管理, 實(shí)現(xiàn)分布式集群云計(jì)算。進(jìn)一步與云管理平臺(tái)對接,實(shí)現(xiàn)多個(gè)云節(jié)點(diǎn)的資源統(tǒng)一收集、分配、統(tǒng)計(jì)、管理等功能。該方案中云和視頻業(yè)務(wù)硬件資源共享,實(shí)現(xiàn)彈性分配。
第二步,CDN資源挖潛,節(jié)省CDN資源再服務(wù)于云業(yè)務(wù),資源利用率再提升。主要通過兩個(gè)手段實(shí)現(xiàn)資源挖潛:
1、利用CDN+P2P技術(shù),將熱點(diǎn)內(nèi)容存儲(chǔ)至機(jī)頂盒,以種子的形式服務(wù)于其他用戶,用戶獲取內(nèi)容不用再去訪問CDN,只要訪問相鄰的機(jī)頂盒即可,大幅降低CDN負(fù)荷;并且自主研發(fā)實(shí)現(xiàn)通過CDN系統(tǒng)控制用戶的P2P功能開關(guān), 提升掌控權(quán)和安全性。
2、持續(xù)不斷的提升CDN單機(jī)吞吐能力。通過四個(gè)方面不斷提升能力,挖潛資源。調(diào)度優(yōu)化,大幅度提高內(nèi)存命中率;存儲(chǔ)優(yōu)化,充分挖掘磁盤 I/O 能力;網(wǎng)絡(luò)優(yōu)化,合理分配集群網(wǎng)絡(luò)能力;業(yè)務(wù)優(yōu)化,點(diǎn)播、直播、下載分級(jí)保障。
4
CDN行業(yè)展望
以上簡單介紹了CDN、P2P與云計(jì)算技術(shù)的結(jié)合。該項(xiàng)技術(shù)究竟有多大市場?《中國內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)行業(yè)市場競爭與投資前景預(yù)測報(bào)告》統(tǒng)計(jì)數(shù)據(jù)顯示,2019年中國CDN行業(yè)市場規(guī)模將達(dá)到250億元左右,增長率保持在35%以上。根據(jù)國際電信聯(lián)盟公布數(shù)據(jù)顯示, 2012-2016年 CDN 承載流量在全球互聯(lián)網(wǎng)流量中的占比從 33.7%上升到 52.0%,到 2021 年,CDN承載流量將累積至 70%以上。
而隨著5G時(shí)代的到來,內(nèi)容視頻化+5G勢必會(huì)帶來互聯(lián)網(wǎng)流量的爆發(fā)式增長,進(jìn)而將驅(qū)動(dòng)CDN市場需求端快速增長。傳統(tǒng)CDN已無法滿足高并發(fā)、大流量的信息傳輸,廣闊的互聯(lián)網(wǎng)流量市場急需新型的CDN技術(shù)注入,上述CDN+P2P+云計(jì)算就是一條方向。不難看出,能夠同時(shí)實(shí)現(xiàn)優(yōu)秀的用戶體驗(yàn)和低廉的價(jià)格,將是迅速占領(lǐng)新型CDN市場的制勝法寶。
圖片來源及內(nèi)容參考:
[1]陳健法.CDN技術(shù)的主要機(jī)制和關(guān)鍵技術(shù)研究[J].無線互聯(lián)科技,2019,16(16):147-148.
[2]李俊杰.CDN技術(shù)應(yīng)用研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2017,(4):51,54. DOI:10.3969/j.issn.1009-6833.2017.04.035.
[3]蔣杰.CDN系統(tǒng)的關(guān)鍵技術(shù)[J].數(shù)字通信世界,2018,(8):12-13. DOI:10.3969/J.ISSN.1672-7274.2018.08.006.
[4]張鐵楠.云環(huán)境下融合P2P技術(shù)的群組視頻分發(fā)機(jī)制的研究[J].電腦知識(shí)與技術(shù),2019,15(25):11-12,17.
[5]王維.云網(wǎng)協(xié)同,運(yùn)營商CDN云化技術(shù)應(yīng)用[J].中國新通信,2017,19(6):126.
[6]公開網(wǎng)絡(luò)資源