您已經(jīng)完成了對相當(dāng)棘手的內(nèi)容的編碼，其中一些內(nèi)容比正常情況下涉及的質(zhì)量控制要多一些，并且可以將其發(fā)布以供外部使用。但是首先您需要將其顯示給管理層，因此您需要將流上傳到預(yù)發(fā)布的登臺服務(wù)器，并向老板發(fā)送URL文本。幾分鐘后，您會收到一條短信，詢問為什么視頻質(zhì)量如此差。

老板對視頻 看起來不好表示什么，以及如何解決該問題？是否存在特定場景的問題，媒體服務(wù)器中的故障，老板用來觀看視頻的移動設(shè)備上過時的播放器甚至公司VPN上的帶寬是否有問題？

歡迎來到我們稱為流媒體的錯綜復(fù)雜的世界。

在算法系列的上一篇文章中，我們研究了CDN背后的數(shù)學(xué)原理。好處是CDN可以準(zhǔn)確地提供它們所得到的，并且通常會做得很好。但是有時，獲取方（例如，對點播內(nèi)容進行編碼）會引入一個異常，該異常會通過CDN到達最終用戶，從而導(dǎo)致回放質(zhì)量不合格。

在我剛才提到的場景中，編碼，傳輸和回放的算法在最終用戶的播放器應(yīng)用程序中如何相交？這就是我們在本文中有關(guān)球員表現(xiàn)的內(nèi)容。

編碼和傳送

“編碼一次，到處交付”是我們在 流媒體歷史上一直聽到的口號，這是我們?nèi)〉貌煌晒λ降哪繕?biāo)。在早期，這意味著使用正確的編解碼器和播放器組合，因為編碼器，媒體服務(wù)器和最終用戶播放器都是同一生態(tài)系統(tǒng)的一部分，例如Adobe，Microsoft或Real提供的付費解決方案。

問題是“無處不在”僅意味著其中一種專有解決方案的圍墻花園。如果一家公司使用Microsoft，但其客戶使用Real，則每個流平臺必須對內(nèi)容進行一次編碼。

H.264（又稱高級視頻 編碼，AVC）的出現(xiàn)使編碼方面的情況變得更好了，H.264 通常以 MPEG-2或MPEG-4容器格式存儲。但是隨后，出現(xiàn)了各種不同的基于HTTP的交付方式，例如平滑流，Adobe HDS或Apple HTTP Live Streaming（HLS），它們至少需要以選定的比特率（稱為自適應(yīng)比特率或ABR）進行多種編碼）或多個細分步驟，以每個專有的HTTP細分大小和清單文件進行交付。

幸運的是，這些問題中的大多數(shù)已通過一些專有格式解決，這些專有格式構(gòu)成了行業(yè)標(biāo)準(zhǔn) MPEG-DASH方法的基礎(chǔ)。同時，我們已經(jīng) 看到Apple的HLS轉(zhuǎn)向了DASH使用的分段MP4（fMP4）方法。

因此，在編碼ABR內(nèi)容時無需擔(dān)心，因為所有內(nèi)容都將在任何給定時間基于適當(dāng)?shù)膸拏魉?，對嗎？是的，沒有。將ABR內(nèi)容傳送到支持ABR的播放器時，需要考慮以下三件事。

有多少帶寬可用？

這是ABR播放器性能正常的主要問題之一。這不僅是在任何特定時刻的問題，而且還是在特定時刻之前的問題，請記?。ㄕ绱蠖鄶?shù)股票經(jīng)紀(jì)人在向潛在客戶的推銷中所提到的那樣），過去的表現(xiàn)并不能保證未來的結(jié)果。 這是關(guān)鍵的原因是，當(dāng)涉及到清單或MPD文件中接下來要請求哪個比特率合適的ABR段時，很多研究都假定播放器具有最佳決策。

在PV '18上，Brightcove的Yuriy Reznik和其他同事在第23包視頻研討會上發(fā)表了題為“ ABR流的編碼配置文件的最佳設(shè)計 ”的論文。雖然它描述了建模網(wǎng)絡(luò)帶寬的方法以及選擇給定ABR流的可能性（稍后將對此進行更多介紹），但是值得考慮兩種不同的算法方法來解決調(diào)度問題。

第一個方法涉及引入平滑濾波器以估計帶寬，如“ 自適應(yīng)HTTP流的調(diào)度和速率自適應(yīng)算法的設(shè)計”中所述”，這是 斯蒂芬·黑塞（Stephan Hesse）在Fraunhofer / HHI工作時寫的，并且部分由歐盟框架計劃7（FP7）開放內(nèi)容感知網(wǎng)絡(luò)（OCEAN）項目資助（見圖1）。Reznik及其合著者在他們的論文中引用了它作為一種實用方式的示例，其中“ ABR流客戶端估算可用帶寬……然后決定接下來要提取的編碼流”以盡可能多地利用可用帶寬。

圖1

黑塞寫道：“ 我們發(fā)現(xiàn)適合我們目的的一種眾所周知的平滑濾波器是指數(shù)移動平均濾波器。” “使用該濾波器，獲得當(dāng)前的平滑帶寬估計 C k作為當(dāng)前帶寬測量值T k和先前的平滑估計C k-1的加權(quán)平均值，”得出以下公式：

C k =（1-α）T k +αCk -1

在該式（式3在文章中）， α ＆Element;（0,1），這意味著α之間的具體數(shù)量，但不包括0和1。因此，它是一個小數(shù)以上0.00但低于1.00，其形成什么黑森說是過濾器參數(shù)或“平滑因子”。

黑森繼續(xù)指出，此遞歸的擴展產(chǎn)生以下公式：

哪里

是有效權(quán)重 w ^ 我施加到先前的測量? K-1個。

實際上，這允許將權(quán)重分配給特定的測量，然后將其“針對參數(shù) α的幾個可能值”繪制出來，以最佳地可靠地估計帶寬。

黑塞寫道：“ 平滑因子α的值會影響帶寬估計值對過去測量的依賴程度。” “如果α接近0，則濾波器變?yōu)槿?，它只會忽略所有過去的測量。”

但是，如果 α增加，則對最新測量的依賴將減少，而對先前測量的依賴將增加。為什么會這樣呢？Hesse指出，客戶端緩沖區(qū)可能能夠吸收帶寬的某些間歇性，而不需要切換到不同的ABR段帶寬速率。

他寫道：“另一方面，如果傳輸速率測量結(jié)果表明信道帶寬發(fā)生永久性變化，我們還希望濾波器足夠快速地做出反應(yīng)。這對于允許量化單元切換速率（例如避免緩沖）非常重要。 -欠載……情況。”

如果我們（某種程度上）忽略帶寬怎么辦？

黑塞在其dispar.at博客中提到的第二種處理重新緩沖的方法是一種可能更好的方法，該方法是使用Lyapunov優(yōu)化技術(shù)，通過基于緩沖占用率的算法來“最小化重新緩沖并最大化視頻質(zhì)量”。寶拉 這種方法不測量帶寬，而是根據(jù)在任何給定點填充最終用戶視頻播放器緩沖區(qū)的分段的百分比來推斷帶寬可用性。

BOLA在2016年的一篇論文中被介紹由Kevin Spiteri（馬薩諸塞大學(xué)-阿默斯特大學(xué)），Rahul Urgaonkar（亞馬遜）和Ramesh K. Sitaraman（Akamai）撰寫。他們認為，具有臨時算法的現(xiàn)代視頻播放器了解甚少，因此在決定下一個HTTP傳遞的段的帶寬速率時，沒有得到適當(dāng)?shù)睦?。他們寫道?ldquo; [We]制定了比特率自適應(yīng)，這是一個效用最大化問題，其中包含了QoE的兩個關(guān)鍵要素：用戶體驗到的視頻的平均比特率和重新緩沖事件的持續(xù)時間。”

此外，他們引用Sitaraman在2013年所做的有關(guān)網(wǎng)絡(luò)性能及其對觀看者影響的研究，他們說：“我們考慮了影響 用戶總體QoE 的兩個主要性能指標(biāo)。” 第一個是“時間平均播放質(zhì)量，它是用戶觀看的塊的比特率的函數(shù)”，第二個是不重新緩沖所花費的總觀看時間的一部分。

他們認為，BOLA是一種限制整個緩沖區(qū)避免持續(xù)消耗（欠載）或填充的方法。（請參見下面的圖2。）緩沖區(qū)的大小是有限的，可以用隊列中可以播放的塊或段的數(shù)量來度量。如果緩沖區(qū)已滿，播放器將等待請求下一個塊；但是，如果可用帶寬下降到請求之間的間隔，則請求的塊（數(shù)據(jù)速率較高）下載時間可能更長。這可能會級聯(lián)成緩沖區(qū)欠載情況。作者認為這種重復(fù)循環(huán)（由于緩沖區(qū)已滿而導(dǎo)致欠載或下載暫停）是通常（但并非總是）由可用帶寬波動引起的振蕩。

圖2

但是，以免我們假設(shè)當(dāng)觀看者以恒定比特率消費內(nèi)容時不會發(fā)生帶寬選擇更改，BOLA的作者指出了一個問題，該問題早在 Burst Technologies時就令人困惑，并且 在windows Media中有些不適播放器9：穩(wěn)定帶寬緩沖選擇。他們寫道：“擁有穩(wěn)定的網(wǎng)絡(luò)帶寬和寬廣的閾值仍然無法避免所有比特率的切換。”

以觀看者為例，該觀眾具有恒定的2Mbps帶寬和兩個節(jié)目的ABR再現(xiàn)，一個為1.5Mbps，另一個為3Mbps，當(dāng)緩沖區(qū)填滿時，播放器的性能實際上可能是有害的：“播放器下載時緩沖區(qū)達到1.5Mbps時，緩沖區(qū)會繼續(xù)增長。當(dāng)緩沖區(qū)超過閾值時，播放器將切換到3Mbps，耗盡緩沖區(qū)。緩沖區(qū)被充分耗盡后，播放器將切換回1.5Mbps，并重復(fù)該循環(huán)。

如果最終觀看者想要保持恒定的質(zhì)量，則可以有兩種選擇：以較低質(zhì)量的1.5Mbps再現(xiàn)觀看整個節(jié)目，或者采用舊的Burst Technologies技巧，并以比用戶更高的帶寬觀看整個節(jié)目?？晒┧蛩褂?。BOLA的作者稱此選擇為“以更大的 振蕩成本來最大化效用并以3Mbps的更高比特率播放視頻的一部分”，但提供了針對振蕩（BOLA-O）或效用（BOLA）的解決方案。 -U）。有關(guān)BOLA算法如何響應(yīng)緩沖區(qū)級別的說明，請參見圖3。

圖3

該算法的最后一部分通過引入比特率上限來實現(xiàn)BOLA算法在可用內(nèi)容比特率之間進行切換時在較高或較低振蕩之間進行選擇的能力。我問Spiteri，將比特率上限描述為將MPD或清單文件中的再現(xiàn)選擇限制為比特率低于視頻播放器設(shè)備當(dāng)前可用帶寬的再現(xiàn)形式是否準(zhǔn)確。他確認 這是一個準(zhǔn)確的描述，而不是某些人試圖將比特率上限錯誤地等同于Net Neutrality第三軌術(shù)語“帶寬限制”的描述。

BOLA作者寫道：“ BOLA-O通過將較高的比特率與下載前一個塊時測得的帶寬進行比較，驗證了較高的比特率是可持續(xù)的。” “由于動機是為了限制振蕩而不是預(yù)測未來的帶寬，因此這種調(diào)整不會將比特率降低到比上一次下載時更低的水平”，以此來限制緩沖區(qū)的增長，就像降低緩沖區(qū)的大小一樣。 Mbps格式下載。

第二種選擇是使用BOLA故意選擇一個高于持續(xù)帶寬的內(nèi)容比特率，而BOLA-U遵循的原則是不要過多地填充緩沖區(qū)。作者寫道：“通過將比特率提高到比可持續(xù)帶寬高一個水平，可以避免緩沖區(qū)的過度增長。” “使用較小的緩沖區(qū)大小并增加BOOL-U的穩(wěn)定性會得到回報，并且BOLA-U的效用要大于BOLA-FINITE。…實際上，丟失的效用受到編碼比特率之間的距離的限制；如果下一個，較低的比特率水平離網(wǎng)絡(luò)帶寬不遠，那么實用程序?qū)G失。”

Spiteri向我詳細說明了這一點。他說：“ BOLA-U偶爾會使用比設(shè)備帶寬更高的比特率，從而獲得更高的平均比特率。” “當(dāng)然 必須是偶然的；始終以較高的比特率下載會導(dǎo)致重新緩沖。BOLA-U僅在緩沖區(qū)級別足夠高時才以如此高的比特率進行下載，因此不存在重新緩沖的風(fēng)險。”

Spiteri還表示，有經(jīng)驗證據(jù)表明，當(dāng)內(nèi)容以更高的比特率和分辨率呈現(xiàn)時，用戶會保持參與，并引用了ACM SIGCOMM 2011上發(fā)表的論文“了解視頻質(zhì)量對用戶參與的影響”。

因此，實際上，編碼比特率之間的距離是否會引起實際問題？2020年1月的論文《了解野外的視頻流算法》Melissa Licciardello，MaximilianGrüner和Ankit Singla撰寫的文章似乎表明，在使用更多可用帶寬以提高最終用戶觀看質(zhì)量方面，還有改進的余地。它可以衡量各種在線平臺上播放器對ABR視頻流算法的實際使用情況。

作者說：“我們……發(fā)現(xiàn)證據(jù)表明，大多數(shù)部署的算法都針對穩(wěn)定的行為進行了調(diào)整，而不是針對帶寬變化的快速適應(yīng)；有些算法針對了視覺感知指標(biāo)，而不是基于比特率的指標(biāo)進行了調(diào)整，其中許多算法出乎意料地 大量使用。未使用的可用帶寬。” 作者沒有解決BOLA最大效用方法帶來穩(wěn)定性的有意識選擇，但他們指出了另外一個難題：視覺感知指標(biāo)。

在某些方面，這可能是語義上的區(qū)別。例如，BOLA的作者討論了“經(jīng)驗證據(jù)，當(dāng)視頻以更高的比特率呈現(xiàn)時，用戶會更加投入并觀看更長的時間”，但是討論圍繞的是標(biāo)準(zhǔn)清晰度和高清內(nèi)容之間的差異，因此與內(nèi)容以更高帶寬呈現(xiàn)的事實相比，參與的可能性更大。

然而，使用視覺感知指標(biāo)來調(diào)整播放可能會充滿危險， 尤其是在早期的指標(biāo)（例如峰值信噪比（PSNR））方面，這是臭名昭著的例子，如果PSNR為唯一因素。（請參閱 這些 燈塔并排圖片 一個很好的視覺例子。）

下一步是什么？

在調(diào)整播放器性能方面還有更多的算法工作要做嗎？是。

Licciardello，Grüner和Singla最近撰寫了“重構(gòu)專有視頻流算法”，該論文詳細介紹了他們對包括BOLA在內(nèi)的許多專有調(diào)度算法進行反向工程的研究嘗試。他們計劃在7月的2020 USENIX年度技術(shù)會議上介紹它。

并不是說BOLA算法是靜止不動的。實際上，在2019年，BOLA原始論文的兩位作者（Spiteri和Sitaraman）以及他們在論文中感謝的同事Daniel Sparacio發(fā)表了“ 從理論到實踐：在DASH參考文獻中提高比特率適應(yīng)性”播放器”，這是基于以下事實的研究論文：許多針對ABR內(nèi)容的播放器調(diào)度算法通常分為兩類 ：基于吞吐量和基于緩沖區(qū)。他們認為，一種更好的模型是使用“吞吐量預(yù)測和嘗試利用兩者的優(yōu)勢。”

為了幫助推動混合方法的發(fā)展，三位作者對BOLA算法進行了更新，以包含一個稱為BOLA-E的增強版本。該版本引入了一些概念，例如不包含視頻數(shù)據(jù)且可用于更改緩沖區(qū)級別的“虛擬段”，以及“占位符算法”以更好地允許BOLA做出明智的比特率切換決策。更重要的是，BOLA現(xiàn)在已經(jīng)實現(xiàn)到Video.js中，該視頻是DASH行業(yè)論壇（DASH-IF）倡導(dǎo)的參考視頻播放器。

此外，作者開發(fā)的一種稱為快速切換的新算法已在DASH-IF參考播放器中實現(xiàn)。快速切換的概念非常新穎： 如果帶寬突然提高，并且有時間用這些更高質(zhì)量的片段重新填充緩沖區(qū)，則可以通過“用較高位的片段替換客戶端緩沖區(qū)中的較低位的片段”來提高視頻質(zhì)量。這有可能提高低延遲的吞吐量，同時又不會迫使觀看者在整個 內(nèi)容觀看體驗中忍受不確定的較低質(zhì)量的體驗。

最后，斯皮提里告訴我，2016年BOLA論文的更新版本已經(jīng) 發(fā)布，該論文討論了理論部分的更多詳細信息，并將BOLA與許多其他算法進行了比較。它還包括符號的更改。Spiteri說：“雖然原始版本使用比特率m = 1表示最高比特率，但是新版本使用比特率m = 1表示最低比特率，”他補充說，這種轉(zhuǎn)變“主要與dash.js播放器一致，其中較低的比特率具有較低的索引。”

結(jié)論

隨著2020年上半年流媒體的激增，包括鎖定期間在家觀看點播內(nèi)容以及越來越多地使用低延遲，多參與者網(wǎng)絡(luò)會議軟件，對播放器性能優(yōu)化的需求從未如此迫切。幸運的是，當(dāng)本文試圖用基本的術(shù)語進行解釋時，播放器性能魔力的背后的數(shù)學(xué)繼續(xù)建立在基本算法上，同時正在展示和調(diào)整新穎和增強的版本，以提供越來越好的最終用戶觀看體驗。