一、視頻播放器原理
音視頻技術主要包含以下幾點:封裝技術?、?視頻壓縮編碼技術? 以及 ?音頻壓縮編碼技術。
如果考慮到網絡傳輸的話,還包括流媒體協議技術。
簡要說明一下視頻播放器的原理。
視頻播放器播放一個互聯網上的視頻文件,需要經過以下幾個步驟:解協議,解封裝,解碼視音頻,視音頻同步。
如果播放本地文件則不需要解協議,為以下幾個步驟:解封裝,解碼視音頻,視音頻同步。
他們的過程如圖所示。
1.1 解協議
解協議的作用,就是將流媒體協議的數據,解析為標準的相應的封裝格式數據。
視音頻在網絡上傳播的時候,常常采用各種流媒體協議,例如HTTP,RTMP,或是MMS等等。
這些協議在傳輸視音頻數據的同時,也會傳輸一些信令數據。
這些信令數據包括對播放的控制(播放,暫停,停止),或者對網絡狀態的描述等。
解協議的過程中會去除掉信令數據而只保留視音頻數據。
例如,采用RTMP協議傳輸的數據,經過解協議操作后,輸出FLV格式的數據。
1.2 解封裝
解封裝的作用,就是將輸入的封裝格式的數據,分離成為音頻流壓縮編碼數據和視頻流壓縮編碼數據。
封裝格式種類很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等,它的作用就是將已經壓縮編碼的視頻數據和音頻數據按照一定的格式放到一起。
例如,FLV格式的數據,經過解封裝操作后,輸出H.264編碼的視頻碼流和AAC編碼的音頻碼流。
1.3 解碼
解碼的作用,就是將視頻/音頻壓縮編碼數據,解碼成為非壓縮的視頻/音頻原始數據。
音頻的壓縮編碼標準包含AAC,MP3,AC-3等等,視頻的壓縮編碼標準則包含H.264,MPEG2,VC-1等等。
解碼是整個系統中最重要也是最復雜的一個環節。
通過解碼,壓縮編碼的視頻數據輸出成為非壓縮的顏色數據,例如YUV420P,RGB等等;
壓縮編碼的音頻數據輸出成為非壓縮的音頻抽樣數據,例如PCM數據。
1.4 視音頻同步
視音頻同步的作用,就是根據解封裝模塊處理過程中獲取到的參數信息,同步解碼出來的視頻和音頻數據,并將視頻音頻數據送至系統的顯卡和聲卡播放出來。
領取音視頻開發學習資料:音視頻開發(資料文檔+視頻教程)(
FFmpegWebRTCRTMPRTSPHLSRTP)
二、流媒體協議
流媒體協議是服務器與客戶端之間通信遵循的規定。
當前網絡上主要的流媒體協議如表所示:
RTSP+RTP 經常用于IPTV領域 因為其采用UDP傳輸視音頻,支持組播,效率較高。但其缺點是網絡不好的情況下可能會丟包,影響視頻觀看質量。 因而圍繞IPTV的視頻質量的研究還是挺多的。
因為互聯網網絡環境的不穩定性,RTSP+RTP較少用于互聯網視音頻傳輸。
互聯網視頻服務通常采用TCP作為其流媒體的傳輸層協議,因而像RTMP,MMS,HTTP這類的協議廣泛用于互聯網視音頻服務之中。
這類協議不會發生丟包,因而保證了視頻的質量,但是傳輸的效率會相對低一些。
RTMFP是一種比較新的流媒體協議,特點是支持P2P
三、封裝格式
封裝格式的主要作用是把視頻碼流和音頻碼流按照一定的格式存儲在一個文件中。
現如今流行的封裝格式如下表所示:
由表可見,除了AVI之外,其他封裝格式都支持流媒體,即可以“邊下邊播”。
有些格式更“萬能”一些,支持的視音頻編碼標準多一些,比如MKV。而有些格式則支持的相對比較少,比如說RMVB。
這些封裝格式都有相關的文檔,在這里就不一一例舉了。
四、封裝格式
視頻編碼的主要作用是將視頻像素數據(RGB,YUV等)壓縮成為視頻碼流,從而降低視頻的數據量。
如果視頻不經過壓縮編碼的話,體積通常是非常大的,一部電影可能就要上百G的空間。
視頻編碼是視音頻技術中最重要的技術之一。
視頻碼流的數據量占了視音頻總數據量的絕大部分。高效率的視頻編碼在同等的碼率下,可以獲得更高的視頻質量。
主要視頻編碼一覽:
4.1 主流編碼標準
H.264僅僅是一個編碼標準,而不是一個具體的編碼器,H.264只是給編碼器的實現提供參照用的。
基于H.264標準的編碼器還是很多的,究竟孰優孰劣?
在學習視頻編碼的時候,可能會用到各種編碼器(實際上就是一個exe文件),
實際中使用最多的就是x264了,性能強悍(超過了很多商業編碼器),而且開源。
其基本教程網上極多,不再贅述。
編碼時候可參考:《x264編碼指南——碼率控制》
編碼后統計值的含義:《X264 輸出的統計值的含義(X264 Stats Output)》
google推出的VP8屬于和H.264同一時代的標準。
總體而言,VP8比H.264要稍微差一點。
有一篇寫的很好的VP8的介紹文章:《深入了解 VP8》
除了在技術領域,VP8和H.264在專利等方面也是打的不可開交,可參考文章:《WebM(VP8) vs H.264》
此外,我國還推出了自己的國產標準AVS,性能也不錯,但目前比H.264還是要稍微遜色一點。
不過感覺我國在視頻編解碼領域還算比較先進的,可參考:《視頻編碼國家標準AVS與H.264的比較(節選)》
近期又推出了AVS新一代的版本AVS+,具體的性能測試還沒看過。不過據說AVS+得到了國家政策上非常強力的支持。
4.2 下一代編碼標準
下一代的編解碼標準就要數HEVC和VP9了。
VP9是Google繼VP8之后推出的新一代標準。VP9和HEVC相比,要稍微遜色一些。
它們的對比可參考:(1)《HEVC與VP9編碼效率對比?》 (2)《HEVC,VP9,x264性能對比》
HEVC在未來擁有很多大的優勢,可參考:《HEVC將會取代H.264的原因》
學習HEVC最標準的源代碼,就是其官方標準HM了。
其速度比H.264的官方標準代碼又慢了一大截,使用可參考:《HEVC學習—— HM的使用》
未來實際使用的HEVC開源編碼器很有可能是x265,目前該項目還處于發展階段,可參考:
《x265(HEVC編碼器,基于x264)介紹》
x265的使用可以參考:《HEVC(H.265)標準的編碼器(x265,DivX265)試用》
主流以及下一代編碼標準之間的比較可以參考文章:《視頻編碼方案之間的比較(HEVC,H.264,MPEG2等)》
此外,在碼率一定的情況下,幾種編碼標準的比較可參考:《限制碼率的視頻編碼標準比較(包括MPEG-2,H.263, MPEG-4,以及 H.264)》
結果大致是這樣的:
HEVC > VP9 > H.264> VP8 > MPEG4 > H.263 > MPEG2。
截了一些圖,可以比較直觀的了解各種編碼標準:
HEVC碼流簡析:《HEVC碼流簡單分析》
H.264碼流簡析:《H.264簡單碼流分析》
MPEG2碼流簡析:《MPEG2簡單碼流分析》
以上簡析使用的工具:《視頻碼流分析工具》
我自己做的小工具: 《H.264碼流分析器》
五、音頻編碼
音頻編碼的主要作用是將音頻采樣數據(PCM等)壓縮成為音頻碼流,從而降低音頻的數據量。
音頻編碼也是互聯網視音頻技術中一個重要的技術。
但是一般情況下音頻的數據量要遠小于視頻的數據量,因而即使使用稍微落后的音頻編碼標準,而導致音頻數據量有所增加,也不會對視音頻的總數據量產生太大的影響。
高效率的音頻編碼在同等的碼率下,可以獲得更高的音質。
音頻編碼的簡單原理可以參考:《視頻壓縮編碼和音頻壓縮編碼的基本原理》
主要音頻編碼一覽:
由表可見,近年來并未推出全新的音頻編碼方案,可見音頻編碼技術已經基本可以滿足人們的需要。
音頻編碼技術近期絕大部分的改動都是在MP3的繼任者——AAC的基礎上完成的。
這些編碼標準之間的比較可以參考文章:《音頻編碼方案之間音質比較(AAC,MP3,WMA等)》
結果大致是這樣的:
AAC+ > MP3PRO > AAC > RealAudio > WMA > MP3
AAC格式的介紹:《AAC格式簡介》
AAC幾種不同版本之間的對比:《AAC規格(LC,HE,HEv2)及性能對比》
AAC專利方面的介紹:《AAC專利介紹》
此外杜比數字的編碼標準也比較流行,但是貌似比最新的AAC稍為遜色:《AC-3技術綜述》
六、現有網絡視音頻平臺對比
現有的網絡視音頻服務主要包括兩種方式:點播和直播。
點播意即根據用戶的需要播放相應的視頻節目,這是互聯網視音頻服務最主要的方式。絕大部分視頻網站都提供了點播服務。
直播意即互聯網視音頻平臺直接將視頻內容實時發送給用戶,目前還處于發展階段。直播在網絡電視臺,社交視頻網站較為常見。
6.1 直播平臺參數對比
主流互聯網視音頻平臺直播服務的參數對比如表所示:
可以看出,直播服務普遍采用了RTMP作為流媒體協議,FLV作為封裝格式,H.264作為視頻編碼格式,AAC作為音頻編碼格式。采用RTMP作為直播協議的好處在于其被Flash播放器支持。而Flash播放器如今已經安裝在全球99%的電腦上,并且與瀏覽器結合的很好。因此這種流媒體直播平臺可以實現“無插件直播”,極大的簡化了客戶端的操作。封裝格式,視頻編碼,音頻編碼方面,無一例外的使用了FLV + H.264 + AAC的組合。FLV是RTMP使用的封裝格式,H.264是當今實際應用中編碼效率最高的視頻編碼標準,AAC則是當今實際應用中編碼效率最高的音頻編碼標準。視頻播放器方面,都使用了Flash播放器。
6.2 點播平臺參數對比
主流網絡視音頻平臺點播服務的參數對比如表所示:
現有互聯網視音頻平臺參數對比
可以看出,點播服務普遍采用了HTTP作為流媒體協議,H.264作為視頻編碼格式,AAC作為音頻編碼格式。
領取音視頻開發學習資料:音視頻開發(資料文檔+視頻教程)(
FFmpegWebRTCRTMPRTSPHLSRTP)
采用HTTP作為點播協議有以下兩點優勢:
一方面,HTTP是基于TCP協議的應用層協議,媒體傳輸過程中不會出現丟包等現象,從而保證了視頻的質量;
另一方面,HTTP被絕大部分的Web服務器支持,因而流媒體服務機構不必投資購買額外的流媒體服務器,從而節約了開支。
點播服務采用的封裝格式有多種:MP4,FLV,F4V等,它們之間的區別不是很大。
視頻編碼標準和音頻編碼標準是H.264和AAC。
這兩種標準分別是當今實際應用中編碼效率最高的視頻標準和音頻標準。視頻播放器方面,無一例外的都使用了Flash播放器。
《[總結]視音頻編解碼技術零基礎學習方法》
《[總結]FFMPEG視音頻編解碼零基礎學習方法》
《視音頻數據處理入門:RGB、YUV像素數據處理》
《視頻壓縮編碼和音頻壓縮編碼的基本原理》