1、內容點評
本文以輕松幽默的語氣，講解了視頻編解碼的一些基本常識，并以愛奇藝為例，講述了視頻編解碼技術在國內的發展以及未來的一些展望。
▼ 閱讀本文需要有一些音視頻編解碼技術的基礎，否則請先閱讀以下文章：
《即時通訊音視頻開發（一）：視頻編解碼之理論概述》
《即時通訊音視頻開發（二）：視頻編解碼之數字視頻介紹》
《即時通訊音視頻開發（三）：視頻編解碼之編碼基礎》
《即時通訊音視頻開發（十九）：零基礎，史上最通俗視頻編碼技術入門》
本文并未就具體的視頻編解碼概念進行深入的討論，目的是盡可能以淺顯易懂的方式讓讀者輕松了解本文標題想呈現的內容。如果您想深入了解視頻編解碼技術，可繼續閱讀以下文章。
▼ 以下是比較深入的視頻編解碼相關文章：
《即時通訊音視頻開發（四）：視頻編解碼之預測技術介紹》
《即時通訊音視頻開發（五）：認識主流視頻編碼技術H.264》
《即時通訊音視頻開發（十三）：實時視頻編碼H.264的特點與優勢》
《即時通訊音視頻開發（十七）：視頻編碼H.264、VP8的前世今生》
《即時通訊音視頻開發（十八）：詳解音頻編解碼的原理、演進和應用選型》
《移動端實時音視頻直播技術詳解（四）：編碼和封裝》
《[觀點] WebRTC應該選擇H.264視頻編碼的四大理由》
▼ 愛奇藝技術產品團隊還分享了其它兩篇文章，有興趣也可以讀一讀：
《愛奇藝移動端網絡優化實踐分享：網絡請求成功率優化篇》
《愛奇藝技術分享：愛奇藝Android客戶端啟動速度優化實踐總結》
歡迎關注“即時通訊技術圈”，更多好文會同步發布在公眾號：
（本文同步發布于：http://www.52im.net/thread-3028-1-1.html）
2、正文引言
初夏最火的造型是什么？不少人可能會脫口而出——“淡黃的長裙，蓬松的頭發。。。”
就連我這個上古時期的老年人，都開始每周四和周六準時點開愛奇藝首頁，吸一口青春美少女們。原因無他，后疫情灰色時期，還有什么能比漂亮小姐姐的燦爛笑容更能讓人感覺到人間值得呢？而我上一次真情實感追完的的女團選秀，可能要追溯到……《超級女聲》。
不管自己pick的姐姐妹妹能不能順利出道，至少今天在屏幕上欣賞她們的顏，絕對是一件超幸福的事兒。既不用忍受電視的“馬賽克畫質”，還能隨時隨地掏出手機來欣賞妹妹們今日份的可愛。
不知道大家有沒有同一種快樂，那就是用4G網絡看藍光1080P，已經沒有“流量焦慮”了，出現緩沖旋轉“小菊花”的情況的幾率也在悄然減少。這種觀看體驗的優化，除了通信網絡環境的改變之外，締造這種視覺快樂的一項關鍵技術——視頻編碼，就像是宇宙中的暗物質——鮮為人知，但十分重要。
簡單來說：視頻編碼技術的升級，能夠讓你用更少的流量、更低的帶寬、更快的速度，看更高清晰度的視頻畫面。比如《青春有你2》溢出屏幕的元氣少女感，是不是比2005年的朦朧美更令人心動呢？
習慣了1080P高清的用戶，絕對不愿意再回到480P的自動馬賽克時代了。那么，視頻編碼到底在高清視頻的烹制中，發揮了怎樣神奇的化學反應？搞秀之余，不妨來了解一下視頻編碼的前世今生，看看無數科技巨頭如何圍繞它撕得花紅柳綠。
3、曾今的視頻編碼標準，是IT巨頭們“跑馬圈地”的游戲
曾今的視頻編碼標準，巨頭們爭相“入股”，視頻編碼標準有何誘人之處？
思科、微軟、蘋果、谷歌、奈飛等這些大名鼎鼎的巨頭，為什么都覺得視頻編碼技術這波“入股不虧”，非要pick助其出道？
回答這個問題之前，有必要先簡單解釋一下，視頻編碼技術究竟是干什么的？
簡單來說：就是將視頻壓縮成一定的格式，去除掉其中的空間冗余和時間冗余，形成更適合存儲和傳輸的碼流。之所以需要被編碼壓縮，最主要原因就是原始視頻的數據量過于龐大。高清視頻文件往往高達1G以上，如果本地播放也就算了，一旦需要將其上傳、分享給他人，傳輸網絡和存儲設備都扛不住那么巨大的數據量。
所以視頻平臺就需要對所播放的文件進行重構：
- 1）通過壓縮編碼將數據量變小，以方便傳輸；
- 2）再依靠解壓縮在用戶端解碼，將視頻圖像還原出來。
簡單總結就是：編碼效率決定了你的手機能下載多少部高清視頻。
如果你經歷過一晚上不關機終于下好一部2G大小的視頻，卻發現播放器彈出一行大字——“該視頻無法播放”的絕望，那一定會鼓掌歡迎編解碼技術的更新。
當然，一些“有流量任性”的小伙伴也會選擇直接用4G網絡在線觀看視頻，這時候視頻大小可就沒什么影響了吧？
這么想可就太天真了。視頻編碼技術越強，傳輸需要占用的帶寬也就更小，就像堤壩沒有加固，但沖擊河道的流水變小了，自然也就不會出現出水口淤塞的問題，看視頻卡頓、掉幀的事故也就不會上演了。
比如此次疫情期間，網絡流量比例不斷增加，為互聯網服務商帶來極大的挑戰，傳統的解決方案就是在網絡帶寬有限的前提下，降低視頻的清晰度。如，YouTube、亞馬遜旗下Prime Video、Netflix等一眾互聯網視頻提供商都在歐洲、印度、澳大利亞等國家降低了視頻畫質，用戶只能默認收看標清視頻。
可是，吃慣了高清這盤珍饈，哪個用戶還愿意忍受低畫質的粗茶淡飯呢？為了留住挑剔的內容食客們，平臺們不得不想盡辦法，提升對視頻的烹飪技藝。
那么，讓我們得以隨時隨地追劇追綜的視頻編解碼技術，到底有哪些呢？
目前，國際上主要有幾種主流的視頻編解碼標準（國際上音視頻編碼技術的標準化），包括VPx（VP8，VP9），H.26x（H.264，H.265），AVS（AVS1，AVS2），AVx（AV1）等等。視頻平臺們用某一種通用編碼格式標準，自己開發編碼器，就可以用更厲害的標準批量生產視頻了。
可詳讀以下相關文章：
《即時通訊音視頻開發（五）：認識主流視頻編碼技術H.264》
《即時通訊音視頻開發（十三）：實時視頻編碼H.264的特點與優勢》
《即時通訊音視頻開發（十七）：視頻編碼H.264、VP8的前世今生》
《[觀點] WebRTC應該選擇H.264視頻編碼的四大理由》
這些標準都是什么？到底哪個更厲害？為什么每個字符我都認識但完全不知道是干什么的？甚至還有種被張含韻張韶涵張涵予張予曦張馨予等支配的恐懼，傻傻分不清楚……別急，其實就算是流媒體從業者，也很少有人將它們搞清楚。其實吧，只需要了解三個關鍵點，你就能輕松變成“技術派”碾壓不少業內人士了。
簡單來說：不同的視頻編碼標準，就是圍繞三個要素所展開的“量子糾纏”的。
4、視頻編碼標準要素之一：高清
上世紀90年代，第一代視頻編碼標準H.261和MPEG-1就開始出現，其后幾乎每十年就有一次迭代更新。
啟動視頻編碼技術不斷演進的核心要素，還是人們對于高清、更高清的不斷追求。
視頻編碼技術每進化一代，視頻壓縮效率都至少提高了一倍。比如十幾年前第二代視頻編碼標準VP8 和 H.264，只能應用在低于HD的中小分辨率視頻上，稍微兼顧一點1080P分辨率。而2012年愛立信公司推出了首款H.265編解碼器，所引領的第三代視頻編碼HEVC標準就只需H.264一半帶寬，即可播放相同質量的視頻。
啥意思的？如果你是一個擁有過MP4設備的互聯網早期弄潮兒，同樣大的存儲空間，你可以多下載一倍大小的視頻，告別四處借硬盤的苦日子。
在線看視頻則更爽了，基于編解碼標準，智能手機、平板等移動設備也能夠直接在線播放 1080P 的全高清視頻，還支持4K 和 8K 超高清。也就是說，只要有內容方愿意生產8K視頻，平臺就能給你100%還原出畫面來，而不用受最高清晰度720P這樣的限制。
那么，為什么HEVC標準推出2年后，采用AV1格式的消費類設備又開始出現呢？因為移動互聯網的爆發，原有的編碼標準依然不能完全解決帶寬消耗的問題。所以更高效的視頻編碼標準如AVS3、H.266等，也都相繼被研發人員安排上了。
為什么視頻平臺關于編碼標準的“墻頭”這么多？
試想一下，如果你用的是一個高分辨率配置的智能手機，但視頻只能到480P的清晰度，為硬件高配置花的錢不就白瞎了嗎？有的用戶為了防止觀看卡頓或模糊，還得額外下一個完美解碼、格式工廠之類的第三方解碼器，將視頻轉化一下才能看。
而只要視頻平臺支持更高效率的編解碼標準，就能實現低帶寬下播放高清視頻不卡頓的效果。有現炒的熱菜，誰還愿意等打包的盒飯呢？所以細心的讀者會發現，編碼技術的不斷升級，開始讓第三方編碼工具悄悄退出了追劇黨的工具箱。
5、視頻編碼標準要素之二：專利
盡管用戶體驗是視頻編碼技術的首要進化原則，但專利所帶來的限制與成本，也成為產業風云迭起的重要誘因。
由GE、Technicolor、杜比，飛利浦和三菱等組建的H.265專利聯盟HEVC Advance，就向使用該標準的廠商收取專利費。
因此，不少開源標準逐漸崛起。其中谷歌打造的VP9標準就是最負盛名的一個。不僅在實際效率上與HEVC/H.265接近，大大優于H.264及它的前身VP8，而且可以對專利免費使用。很快，YouTube全面支持VP9超高清流媒體節目，Netflix、蘋果等也加入其中。
當年，愛奇藝的《破冰行動》無疑是熱度最高的"爆款劇"之一，一度引起風靡，高清流暢的畫面質感為其加分增色不少，就采用了基于VP9標準開發的全新編碼器，就采用了基于VP9標準開發的全新編碼器面部細節等方面畫面真實感尤為顯著。
而我國自主知識產權的第二代信源編碼標準AVS的出現，更與專利有著不解之緣。
大家的童年有沒有出現過DVD這種物件，租一部劇不用等更新一個周末看完的快樂，不亞于今天購買視頻平臺尊貴的“VIP中P”會員。但中國的DVD行業曾經也遇到過一次嚴重的專利危機。
2002年，一批出口的DVD產品因為技術專利費的繳納問題沒有解決而被扣押。于是同年6月，數字音視頻編解碼技術標準工作組成立，2006年，第一代視頻編碼標準AVS1推出，壓縮效率和H.264相當，并且每個編解碼器只象征性得收取1元專利費，對互聯網上的軟件服務更是免收專利費，從此擺脫了只能使用國際標準、被高額專利費卡脖子的窘境。
可以說，目前主流的兩大標準VP9和AVS，都是在專利的鎖鏈中生長出來的自由之翼。
6、視頻編碼標準要素之三：壟斷
既然VP9已經開源了，那就抱緊谷歌大腿等大佬迭代再應用不就好了嗎？一個國家的大部分視頻都坐落在某一個標準體系上，等于將標準的議價權交到了別人手中，面對這種“壟斷優勢”，谷歌表示，我瘋起來可能連自己都打，為了不作惡還是趕緊給自己培養個對手吧……
所以2015年，一個由谷歌倡議并參與，試圖替代VP9和HEVC/H.265的新標準組織成立了，那就是開放媒體聯盟Alliance for Open Media（AOM）。這個新的開源標準很快吸引了Adobe、亞馬遜、AMD、奈飛、Facebook、思科、蘋果、英特爾、英偉達等等巨頭的參與。中國的愛奇藝也率先加入了AOM聯盟。
這個由30多家領先的高科技公司組成的會員制聯盟，很快開發出了新一代開源的視頻編碼標準AV1（AOMedia Video Codec 1.0），也就是今天能讓我們看到高清版《青春有你2》，特別是選秀舞臺上的說唱、勁舞的畫面更加清晰平滑的“后臺”。
AV1之所以在產業端迅速上馬，成為包括奈飛、YouTube、BBC、愛奇藝等一眾平臺的推行目標，主要就是在用戶體驗上太能打了。
更高的編碼效率、更低的碼率，同等質量可以節省20%以上的帶寬。舉個例子，就是下載整期1080P版《青春有你2》，原本需要10G的手機存儲，而AV1標準下只需要8G就能搞定，剩下2G空間咱們存點PLMM（漂亮妹妹）的高清大圖舔顏它不香嗎？
在線觀看也很爽，不僅妹妹們的臉看起來會更清晰，而且高清播放所占的帶寬也更小，同時下載個東西、刷個微博啥的，也不會因為網絡擁擠而卡頓。
作為視頻觀眾，誰不愿意平臺默默地為我們殫精竭慮，周全每一點流量、帶寬和存儲卡呢？
不難看出，視頻編碼標準迭代，既是技術天花板的層層上探，也是整個視頻平臺必須攻占的體驗高地。
7、如今，國內的視頻平臺正在搶跑編碼標準“賽道”
具體到國內視頻平臺上，關于編碼標準目前競爭身位如何，未來還有哪些硬仗要打，都是值得我們重點關注的話題。我們不妨具體到某一個平臺的探索經歷之中，用歷史觀的視角來捋一捋，視頻編碼技術到底給中國這片土地的網民，帶來了哪些體驗上的蝶變。
比如：以愛奇藝為例，2016年愛奇藝在萬能播放器上線了AVS2格式，是當時國內唯一支持這一標準的平臺；也是國內第一個實現VP9標準、AV1標準并應用的視頻廠商。可以說在編碼標準領域，無論是技術領先度、布局完善度上，都能夠從一定程度代表中國流媒體產業的關鍵抉擇。
有了標準，是不是只需要拿來直接上手呢？答案顯然是否定的。
拿愛奇藝來說，我們的標準探索之旅，又是如何的呢？
我們就以當前效率最高的AV1標準為例，其算法運算復雜度高，所需要的編碼時間很長，這樣把平臺所有視頻都處理一遍，可能會等來用戶一句“奶奶你等的AV1格式上線了”！
所以，為了提高編碼效率，讓處理效果能夠快速細致，又不影響編碼質量，達到工業應用標準，標準編碼器就要靠各個平臺發揮自主能動性了。
以愛奇藝為例，對每一代開源技術都保持緊密跟進的同時，也會發揮自身的技術特長來進行針對性的迭代，讓同一標準在愛奇藝平臺上的應用有更優秀的表現。
比如VP9標準推出時，愛奇藝的技術團隊就根據開源的版本VP9編碼器進行了專門的算法優化，所開發的QVP9編碼器的速率是開源版本的5.4倍左右。作為國內首先支持VP9的視頻廠商，其畫面質量在快速鏡頭、輪廓邊緣、面部細節等方面真實感尤為顯著，壓縮效率比市面主流的標準更是提升了一倍。可能也是在不知不覺間，突然發現視頻中那些高速打斗的場面似乎更加細膩流暢了，人物的皮膚也變得更加立體和容易辨別，連女主角額頭的青春痘都是那么的昭然若揭……
而伴隨著用戶在移動場景下觀看視頻的訴求越來越高，比如我本人就喜歡在地鐵上刷短視頻，別問，問就是流量多有錢任性！這時候要保證流暢不卡頓，主打PC端的VP9可能就有點不夠了，所以對移動端設備更友好的AV1，在推出后也很快被安排的明明白白。
獨立研發的QAV1編碼器，不僅比H265減小將近一半的帶寬，節省40%以上碼率。而且速度比開源編碼器SVT-AV1還快出5倍左右。比如同樣是看《青春有你2》，用QAV1展示的畫面效果更棒、顏值更高，反而還更省帶寬，直接幫助我節省了不少流量，讓滿額限速來的更晚一些。
8、展望未來，5G讓視頻編解碼技術有了更多的想象空間
目前，首批應用 AV1 的電影已經在愛奇藝上線，用戶可以在電腦瀏覽器端和安卓移動端觀看。做到這一步，很難嗎？
答案是肯定的。舉個例子，終端硬件解碼芯片的成熟，與某項標準能否發揮價值有直接關系。比如H.265在硬件支持上比較廣泛，就與蘋果、高通、英特爾等的芯片都支持H.265的硬件解碼器有關。
所以編碼器往往需要結合具體的應用場景來進行改進和深度優化。
以AV1在愛奇藝的應用為例，為了更好地適應愛奇藝海量內容，QAV1通過對場景復雜度的預分析，實現了更加合理的碼率分配。對于簡單場景，QAV1可以自適應地降低碼率，在保證畫質的情況下節省用戶帶寬；同時對于復雜場景會適當提高碼率，給用戶帶來更高畫質的體驗。
目前，QAV1已經支持的功能包括多種速度檔次、多種碼率控制方式、8K視頻編碼等。這種與差異化環境相匹配的細節打磨，同時兼顧了網絡帶寬與用戶體驗。
萬眾期待的5G，自然也需要與之匹配的視頻編碼標準來呼應。以愛奇藝為例來說，AVS3應用已經在路上了，用移動智能手機看8K超高清視頻、瀏覽VR新聞資訊、與虛擬偶像互動……這些新娛樂體驗，或許都將借助視頻編碼的技術魔術，被呈現到我們眼前。
從愛奇藝的視頻編碼探索中，不難看到，技術的時代快車并不容易拿到船票的。唯有長期披荊斬棘，才能順利摘得王冠。
附錄：更多音視頻技術方面的資料
[1] 實時音視頻開發的精華資料：
《即時通訊音視頻開發（一）：視頻編解碼之理論概述》
《即時通訊音視頻開發（二）：視頻編解碼之數字視頻介紹》
《即時通訊音視頻開發（三）：視頻編解碼之編碼基礎》
《即時通訊音視頻開發（四）：視頻編解碼之預測技術介紹》
《即時通訊音視頻開發（五）：認識主流視頻編碼技術H.264》
《即時通訊音視頻開發（六）：如何開始音頻編解碼技術的學習》
《即時通訊音視頻開發（七）：音頻基礎及編碼原理入門》
《即時通訊音視頻開發（八）：常見的實時語音通訊編碼標準》
《即時通訊音視頻開發（九）：實時語音通訊的回音及回音消除概述》
《即時通訊音視頻開發（十）：實時語音通訊的回音消除技術詳解》
《即時通訊音視頻開發（十一）：實時語音通訊丟包補償技術詳解》
《即時通訊音視頻開發（十二）：多人實時音視頻聊天架構探討》
《即時通訊音視頻開發（十三）：實時視頻編碼H.264的特點與優勢》
《即時通訊音視頻開發（十四）：實時音視頻數據傳輸協議介紹》
《即時通訊音視頻開發（十五）：聊聊P2P與實時音視頻的應用情況》
《即時通訊音視頻開發（十六）：移動端實時音視頻開發的幾個建議》
《即時通訊音視頻開發（十七）：視頻編碼H.264、VP8的前世今生》
《即時通訊音視頻開發（十八）：詳解音頻編解碼的原理、演進和應用選型》
《即時通訊音視頻開發（十九）：零基礎，史上最通俗視頻編碼技術入門》
《實時語音聊天中的音頻處理與編碼壓縮技術簡述》
《網易視頻云技術分享：音頻處理與壓縮技術快速入門》
《學習RFC3550：RTP/RTCP實時傳輸協議基礎知識》
《基于RTMP數據傳輸協議的實時流媒體技術研究（論文全文）》
《聲網架構師談實時音視頻云的實現難點(視頻采訪)》
《淺談開發實時視頻直播平臺的技術要點》
《還在靠“喂喂喂”測試實時語音通話質量？本文教你科學的評測方法！》
《實現延遲低于500毫秒的1080P實時音視頻直播的實踐分享》
《移動端實時視頻直播技術實踐：如何做到實時秒開、流暢不卡》
《如何用最簡單的方法測試你的實時音視頻方案》
《技術揭秘：支持百萬級粉絲互動的Facebook實時視頻直播》
《簡述實時音視頻聊天中端到端加密（E2EE）的工作原理》
《移動端實時音視頻直播技術詳解（一）：開篇》
《移動端實時音視頻直播技術詳解（二）：采集》
《移動端實時音視頻直播技術詳解（三）：處理》
《移動端實時音視頻直播技術詳解（四）：編碼和封裝》
《移動端實時音視頻直播技術詳解（五）：推流和傳輸》
《移動端實時音視頻直播技術詳解（六）：延遲優化》
《理論聯系實際：實現一個簡單地基于HTML5的實時視頻直播》
《IM實時音視頻聊天時的回聲消除技術詳解》
《淺談實時音視頻直播中直接影響用戶體驗的幾項關鍵技術指標》
《如何優化傳輸機制來實現實時音視頻的超低延遲？》
《首次披露：快手是如何做到百萬觀眾同場看直播仍能秒開且不卡頓的？》
《Android直播入門實踐：動手搭建一套簡單的直播系統》
《網易云信實時視頻直播在TCP數據傳輸層的一些優化思路》
《實時音視頻聊天技術分享：面向不可靠網絡的抗丟包編解碼器》
《P2P技術如何將實時視頻直播帶寬降低75%？》
《專訪微信視頻技術負責人：微信實時視頻聊天技術的演進》
《騰訊音視頻實驗室：使用AI黑科技實現超低碼率的高清實時視頻聊天》
《微信團隊分享：微信每日億次實時音視頻聊天背后的技術解密》
《近期大熱的實時直播答題系統的實現思路與技術難點分享》
《福利貼：最全實時音視頻開發要用到的開源工程匯總》
《七牛云技術分享：使用QUIC協議實現實時視頻直播0卡頓！》
《實時音視頻聊天中超低延遲架構的思考與技術實踐》
《理解實時音視頻聊天中的延時問題一篇就夠》
《實時視頻直播客戶端技術盤點：Native、HTML5、WebRTC、微信小程序》
《寫給小白的實時音視頻技術入門提綱》
《微信多媒體團隊訪談：音視頻開發的學習、微信的音視頻技術和挑戰等》
《騰訊技術分享：微信小程序音視頻技術背后的故事》
《微信多媒體團隊梁俊斌訪談：聊一聊我所了解的音視頻技術》
《新浪微博技術分享：微博短視頻服務的優化實踐之路》
《實時音頻的混音在視頻直播應用中的技術原理和實踐總結》
《以網游服務端的網絡接入層設計為例，理解實時通信的技術挑戰》
《騰訊技術分享：微信小程序音視頻與WebRTC互通的技術思路和實踐》
《新浪微博技術分享：微博實時直播答題的百萬高并發架構實踐》
《技術干貨：實時視頻直播首屏耗時400ms內的優化實踐》
《愛奇藝技術分享：輕松詼諧，講解視頻編解碼技術的過去、現在和將來》
>> 更多同類文章 ……
[2] 開源實時音視頻技術WebRTC的文章：
《開源實時音視頻技術WebRTC的現狀》
《簡述開源實時音視頻技術WebRTC的優缺點》
《訪談WebRTC標準之父：WebRTC的過去、現在和未來》
《良心分享：WebRTC 零基礎開發者教程（中文）[附件下載]》
《WebRTC實時音視頻技術的整體架構介紹》
《新手入門：到底什么是WebRTC服務器，以及它是如何聯接通話的？》
《WebRTC實時音視頻技術基礎：基本架構和協議棧》
《淺談開發實時視頻直播平臺的技術要點》
《[觀點] WebRTC應該選擇H.264視頻編碼的四大理由》
《基于開源WebRTC開發實時音視頻靠譜嗎？第3方SDK有哪些？》
《開源實時音視頻技術WebRTC中RTP/RTCP數據傳輸協議的應用》
《簡述實時音視頻聊天中端到端加密（E2EE）的工作原理》
《實時通信RTC技術棧之：視頻編解碼》
《開源實時音視頻技術WebRTC在Windows下的簡明編譯教程》
《網頁端實時音視頻技術WebRTC：看起來很美，但離生產應用還有多少坑要填？》
《了不起的WebRTC：生態日趨完善，或將實時音視頻技術白菜化》
《騰訊技術分享：微信小程序音視頻與WebRTC互通的技術思路和實踐》
>> 更多同類文章 ……
（本文同步發布于：http://www.52im.net/thread-3028-1-1.html）