背景:
移動互聯網的普及和多媒體通信業務的發展帶來了多媒體數據的急劇增長,對于現有的移動網絡提出了嚴峻挑戰。其中,會話視頻業務能夠滿足用戶“不論身在何處,都能面對面交流”的需要,其應用日益廣泛。然而,移動網絡中的帶寬不確定性較大,使得現有的會話視頻業務的質量無法得到保證。面對有限的無線網絡通信資源與不斷增長的實時視頻會話業務需求,現有通用視頻編碼技術性能難以大幅度提升。
系統架構:
通過多媒體處理與無線網絡協同,利用網絡中可預先計算或存儲的先驗信息,將傳統面向模式識別的模型轉變為面向通信的人臉跟蹤擬合模型,僅傳輸少量未知、變化的模型參數,通過模型擬合和參數壓縮的方法,在低碼率情況下,大幅提升了視頻的重建質量。
MOBILE INTERNET
移動互聯網
關鍵技術:
提出了基于模型的低碼率會話視頻編碼方案,其中包括 “級聯回歸人臉關鍵點定位與正則魯棒跟蹤”、“基于率失真優化的幀內/幀間模型參數比特分配”、“模型+對象的混合會話視頻編碼”、“基于先驗信息的實際無損外觀子空間模型壓縮”等一系列關鍵技術,實現了高自然度與低碼率的有機結合。
應用案例:“有面兒”網絡視頻面試招聘平臺
完成了阿里、百度、騰訊等50家百強企業和40所高等院校的近百場網絡視頻招聘,得到權威部門、企業和應聘者的高度認可。實測結果表明,“能夠以5KBps 的碼率支持單路實時標清視頻通話,在同等用戶體驗質量的條件下,與傳統的騰訊視頻相比,可降低視頻傳輸的數據量10倍以上;在同等網絡條件下,支持的并發視頻通信業務對數達到業界典型規模的2.5倍,增強了視頻通信業務的服務能力與服務質量”。
基于模型的低碼率會話視頻編碼方案