自適應網絡編碼的可攜式視頻會議終端及實現方法
2023-10-10 18:20:44 2
專利名稱：自適應網絡編碼的可攜式視頻會議終端及實現方法
技術領域：
本發明涉及一種視頻會議終端及實現方法，特別是涉及一種自適應網絡編碼的可攜式視頻會議終端及實現方法。
背景技術：
目前，視頻會議系統主要分為軟體視頻會議和硬體視頻會議兩種。採用基於PC的純軟體解決方案雖然會議軟體本身費用並不高，但每個會議室還要配專用PC、單獨的視音頻採集設備(如USB攝像頭、耳麥)以及作業系統等相關基礎軟體，再加上安裝、維護等方面的開銷，綜合起來，其成本較高。而純硬體解決方案不僅可以實現高品質的會議效果，而且可以通過高集成度的一體化終端設備完成所有功能，無需另配其他硬體和軟體設施，即插即用、使用簡單、無需維護，因此其綜合成本反而比純軟體的便宜，但是由於其部署位置固定，需要參會人員達到指定的場所才能參與視頻會議。 隨著信息技術的發展和交通方式的日益便利，人們經常處於移動辦公狀態，這種必須要固定場所才能參與視頻會議的模式給人們的工作帶來許多不便，極大影響了工作效率。此外視頻會議系統技術目前發展中值得關注的一個趨勢是個人通信工具的快速發展，即不斷追求終端的小型化、簡易化和便攜化，以適應經常處於移動狀態的中小企業用戶和公務員的隨時隨地進行信息溝通的需求。利用個人計算設備實現移動視頻會議存在以下問題一、網絡下行速率相對較大，個人計算設備在接受下行視頻流時有足夠的軟解碼能力，而網絡上行速率相對小，視頻流的上傳是影響視頻會議質量的瓶頸；二、個人計算設備使用網絡環境複雜，存在信道帶寬有限且帶寬不穩定的特點；三、個人計算設備通常帶有視頻採集設備，但其視頻的編碼採用是軟體編碼的方式，滿足不了視頻會議實時編碼的要求；四、傳統視頻編碼標準的編碼器將視頻壓縮到一個固定碼率，使之具有固定的幀率、解析度和視頻質量，只有當傳輸網絡的帶寬足夠高，才能在接收端正常解碼和顯示。
發明內容
針對上述現有的視頻會議系統建設以及個人計算設備實現視頻會議的不足，滿足隨時隨地的加入視頻會議的需求，本發明的目的是提供一種自適應網絡編碼的可攜式視頻會議終端實現方法，該終端將輸入模塊、音視頻數字處理模塊、電源模塊等集成在一個便攜的終端盒裡，通過USB連接方式與個人電腦等個人計算設備相連，視頻會議終端客戶端軟體在個人計算設備上自動運行，個人計算設備只要能聯上網(有線網、3G網絡、WiFi無線網絡)就可以實現多方視頻會議。在嵌入式DSP晶片上實現了一個較低複雜度的提供「時間一空間一質量」三維可伸縮的編碼方案，根據服務質量QoS感知到網絡狀態信息控制音視頻數字處理模塊實現自適應網絡狀態的碼流輸出。為實現上述目的，本發明採取以下技術方案一種自適應網絡編碼的可攜式視頻會議終端實現方法，包括以下主要步驟
步驟一、採集本地視頻信號和音頻信號；步驟二、將採集到的本地音頻信號和視頻信號進行壓縮編碼，根據終端軟體感知到的網絡狀態，編碼控制器根據相應的網絡狀態來決策選擇對應的編碼方式，實現自適應的硬體快速編碼；步驟三、終端通過USB接口與個人計算設備連接，藉助個人計算設備的網絡通信功能將數據傳輸到視頻會議中心，會議中心將數據分發給會場其他終端視頻和音頻裝置播放，同時也接收會議中心轉發的其他終端的視頻數據，從而實現多方視頻會議之間通信。優選的，上述可攜式視頻會議終端包括採集模塊、音視頻數字處理模塊、外部通信設備接口模塊、電源模塊以及終端軟體模塊。優選的，上述採集模塊包括攝像頭和麥克風，用於接收本地的音視頻輸入信號；
上述音視頻數字處理模塊包括編碼控制器，可根據網絡的狀態選擇相應的編碼方式；音視頻數字處理器，採用基於小波的MCTF、DffT和SHIFT算法來實現對輸入的視頻信號進行壓縮編碼；上述外部通信設備接口模塊為USB接口模塊，以USB接口的形式與個人計算設備連接，利用個人計算設備的網絡通訊能力向會場傳輸數據；上述電源模塊為低功耗的電源系統，包括可充電電池、電源適配器，USB接口充電模塊，提供兩種供電方式通過電源適配器外接電源直接向終端供電；通過USB接口外接的個人計算設備向電池充電，由電池給終端供電；上述終端軟體模塊將客戶端軟體和驅動程序駐留在視頻會議終端中，在通過USB接口連接到個人計算設備時自動運行，無需安裝，即插即用。優選的，上述個人計算設備是指具有顯示、上網和一定計算能力的設備，如桌上型電腦、筆記本電腦、上網本等。優選的，上述採集模塊、音視頻數字處理模塊、外部通信設備接口模塊和供電模塊固定在同一底板上，集成在卡片式的機盒內，上述可攜式視頻會議終端還包括散熱系統，散熱系統由一塊散熱板和一排散熱孔組成。本發明由於採取以上技術方案，其具有以下優點I、終端通過感知網絡信道狀況進行可伸縮編碼，自適應多種個人計算設備所接入的網絡環境，可根據實時的網絡狀況動態調整視頻編碼策略，使接收側用戶能夠得到當前網絡狀態下儘可能好的實時視頻圖像質量。2、相比在個人計算設備上進行對音視頻信號進行軟體編碼的方式，終端中藉助高性能的嵌入式數位訊號處理系統實現的音視頻編碼硬體模塊實現了更高效率的編碼。3、該視頻會議終端將輸入模塊、電源模塊、音視頻數字處理模塊、傳輸模塊、電源模塊集成在一個便攜箱裡面，攜帶方便。另外，該終端底層驅動及客戶端軟體均安裝在視頻會議終端中，與個人計算設備連接後可自動運行，無需安裝，即插即用，操作簡單。4、傳輸方式方面，該終端通過USB接口方式可與任意個人計算設備連接，再通過個人計算設備所接入的網絡，實現數據交換和數據傳輸，建設靈活、可靠性高。視頻會議的實現不再囿於固定場地的設備。
圖I是視頻會議系統各個模塊連接圖。圖2是本發明可攜式視頻會議終端結構框圖。圖3是音視頻數字處理模塊的結構框圖。圖4是編碼策略坐標不意圖。圖5是網絡質量狀態分類示意圖。
具體實施例方式為了便於本領域普通技術人員理解和實施本發明，下面結合附圖及具體實施方式
對本發明作進一步的詳細描述。圖I為一套完整的視頻會議系統解決方案，由伺服器(包括網絡管理軟體(網守和 網關))、多點控制單元(MCU)、本發明設計的可攜式視頻會議終端、個人計算設備和傳輸網絡以及相關附件構成。各部分通過網際網路有序的連接來實現視頻會議。如圖2所示，本發明包括音視頻採集模塊、音視頻數字處理模塊、USB接口模塊、散熱系統、電源模塊和終端客戶端軟體模塊。音視頻採集模塊接收本地音視頻信號的輸入。它主要包括麥克風和攝像頭。麥克風接收本地音頻信號輸入，攝像頭接收本地視頻信號的輸入。音視頻數字處理模塊，該模塊連接到音視頻採集模塊和USB接口模塊。它從音視頻採集模塊接收本地音視頻信號，將信號壓縮成為符合國際標準的本地壓縮編碼，將本地壓縮編碼通過USB接口模塊傳輸給個人計算設備(如筆記本電腦，智慧型手機等)，然後再通過個人計算設備所連接的通信網絡，向外部傳輸編碼信號，此外，個人計算設備通過所連接通信網絡接收其他會場的遠程音視頻數據，利用視頻會議客戶端軟體進行解碼，還原遠程音視頻信號。電源模塊包括可充電電池、電源適配器，USB接口充電模塊，提供兩種供電方式通過電源適配器外接電源直接向視頻會議終端供電；通過USB接口外接通信設備向電池充電，由電池給視頻會議終端供電。通過圖2所示開關選擇供電模式。終端客戶端軟體模塊主要有以下三種功能對會議平臺進行簡單的操作(包括申請和拒絕會議以及其他操作)；對本地採集的音視頻信號和來自網絡音視頻信號進行播放；接收來自會議中心的QOS信息和音視頻信號；該終端客戶端軟體可在多個作業系統下運行。從圖3中可以看出，首先在信號傳輸過程中終端客戶端接收來自視頻會議中心QoS服務對網絡狀態的監控信息，將網絡狀態信息反饋給編碼控制器。圖3給出了音視頻數字處理模塊的工作原理。其核心思想是根據視頻會議中心的QOS監控器反饋過來的網絡狀態信息，來決定終端採集來的圖像採用何種策略和速率來傳輸，該模塊使用一種速率自適應的「時間一空間一質量」的分層視頻編碼方案。該方案原理如下在編碼控制器中，通過將接收到QOS的反饋的網絡狀態進行量化分析，得到當前編碼策略，採用多層MCTF (基於運動補償時域濾波算法)技術實現時間(幀速率)可伸縮性，採用DffT (離散小波變換算法)技術實現空間可伸縮性，採用SPIHT (多級樹集合分裂算法)技術來實現質量的可伸縮性，對經過MCTF、DffT和SPIHT算法處理後的分層數據流進行重組織，將得到的數據流及索引文件發送給接收端的解碼器重建圖像。以上算法在嵌入式DSP系統上實現。所謂確定編碼策略，就是在對反饋到編碼控制器的網絡狀態信息進行量化分析後，在圖4所示的三維空間坐標系中選擇一個坐標點(x，y，z)，對應的取值分別對應是時間、空間和質量可伸縮性編碼的控制參數，如取值(2，3，2)，其對應含義是MCTF做2層變換，做3級DWT分解，在實現SPIHT算法中進行二次逼近量化。具體描述如下在對輸入的視頻序列應用2層MCTF變換，形成兩層高通幀和低通幀序列，通過捨棄高通幀來減少幀數，實現幀速率減少到原來的1/4，保留第二層MCTF變換後的低通幀進行下一步操作；離散小波變換DWT是對上一步保留的幀進行，經過3級小波變換後每幀圖像得到10個子帶，捨棄所有的高頻子帶，只保留低頻子帶LL3做下一步處理，得到空間解析度是原來的1/8 ;最後由SPIHT算法決定將哪層數據發送到解碼端，對上一步保留幀最大的小波係數進行初始量化後，經過編碼得到第I層碼流，解碼時對應為第一重構圖像，質量最為粗糙，對餘下的係數進行二次量化下編碼形成第2層碼流，解碼質量優於第一重構圖像，編碼只輸出第1、2層碼流，不再進行新的量化了。可見，x，y和z的不同取值組合下代表了送到接收端解碼器的視 頻數據流在時間、空間和質量三方面信息量是不同的，且這三個方面的參數可獨立控制；X和I的取值越大，z的取值越小，對應的視頻壓縮比越大。在本發明中，規定x，y和z的取值範圍，即I彡X彡4，I彡y彡4，I彡z彡8。對網絡狀態進行量化分析方法如下描述。QOS的丟包率是影響視頻會議質量的關鍵指標，目前在視頻會議中可以容忍的最高網絡丟包率為20%，我們根據丟包率大小n將網絡質量狀態劃分為三種狀態最佳狀態，最差狀態和調整狀態，如圖5所示。最佳狀態當網絡丟包率n〈5%時認為網絡質量狀態處於最佳狀態，可在略低於當前網絡上行帶寬速度下選擇較高編碼策略，解碼器重構後得到高質量的視頻圖像，若測得當前上行網絡帶寬為700kbps左右，輸入視頻信號的空間解析度為640*480，視頻幀率為60fps時，可以確定編碼策略點為(1，1，8)，處於此種狀態時編碼策略不用隨時間調整。最差狀態當網絡丟包率n>20%時認為網絡質量狀態處於最差狀態,對視頻序列進行MCTF處理後得到的層集合中，選取最低級別的層做相應的DWT處理，最後進行質量編碼，重建出最低級別的質量、幀速率和空間解析度的圖像來滿足傳輸需求，保證在此網絡狀態下仍然能夠進行視頻會議，此時的編碼策略應選取X和y的最大值以及z的最小值，如取x=4, y=4和z=l。處於此種狀態時編碼策略不用隨時間調整。調整狀態當5%〈n〈20%時，編碼策略隨網絡質量狀態變化而調整的，當n接近5%時，選取的編碼策略(x，y, z)越接近最佳狀態下計算的(1，1，8)，此時的重建圖像質量越好；n接近於20%時，選取的編碼策略(X, Y，z)越接近(4,4,1),此時的重建圖像質量越差。調整方法描述如下按n的值大小劃分為4個狀態子區間，即5%-8%、8%-12%，12%-17%和17%-20%，每個子區間內對應一個固定編碼策略，這樣存在5個狀態調整臨界點，即n=5%、8%、12%、17%和20%。考慮到網絡傳輸中會出現一個較小的波動，不能僅根據一次丟包率的變化情況而進行編碼策略的調整。本發明中通過定時器連續測量記錄n在某一時間段的值，即對K時刻的記錄值與K-l、K-2、K-3、K-4時刻的記錄值進行統計計算，按公式
"=丄童計算出該段時間的平均丟包率，再按公式A= 4玄認-")2求出均方差，由
NjuV ^ ,=1
A的大小判斷一段時間網絡狀態的變化情況，如果A〈2%，認為屬於細微波動，保持前一編碼策略，無需進行策略調整；如果某個時刻丟包率n的值為調整臨界點的取值且AS 2%，則對編碼策略進行相應的調整。以上所述，僅是用以說明本發明的具體實施案例而已，並非用以限定本發明的可實施範圍，舉凡本領域熟練技術人員在未脫離本發明所指示的精神與原理下所完成的一切 等效改變或修飾，仍應由本發明權利要求的範圍所覆蓋。
權利要求
1.一種自適應網絡編碼的可攜式視頻會議終端實現方法，其特徵在於包括以下主要步驟 步驟一、採集本地視頻信號和音頻信號； 步驟二、將採集到的本地音頻信號和視頻信號進行壓縮編碼，根據終端軟體感知到的網絡狀態，編碼控制器根據相應的網絡狀態來決策選擇對應的編碼方式，實現自適應的硬體快速編碼。
步驟三、終端通過USB接口與個人計算設備連接，藉助個人計算設備的網絡通信功能將數據傳輸到視頻會議中心，會議中心將數據分發給會場其他終端視頻和音頻裝置播放，同時也接收會議中心轉發的其他終端的視頻數據，從而實現多方視頻會議之間通信。
2.如權利要求I所述的自適應網絡編碼的可攜式視頻會議終端實現方法，其特徵在 於所述可攜式視頻會議終端包括採集模塊、音視頻數字處理模塊、外部通信設備接口模塊、電源模塊以及終端軟體模塊； 所述採集模塊包括攝像頭和麥克風，用於接收本地的音視頻輸入信號； 所述音視頻數字處理模塊包括編碼控制器，根據網絡的狀態決策選擇適應網絡傳輸狀態的編碼方式；音視頻數字處理器，採用基於小波MCTF、DffT和SPIHT算法來實現對輸入的視頻信號進行壓縮編碼； 所述外部通信設備接口模塊為USB接口模塊，以USB接口的形式與個人計算設備連接，利用個人計算設備的網絡通訊能力向會場傳輸數據； 所述電源模塊為低功耗的電源系統，包括可充電電池、電源適配器，USB接口充電模塊，提供兩種供電方式通過電源適配器外接電源直接向終端供電；通過USB接口外接的個人計算設備向電池充電，由電池給終端供電； 所述終端軟體模塊將客戶端軟體和驅動程序駐留在視頻會議終端上，在通過USB接口連接到個人計算設備上時自動運行，無需安裝，即插即用。
3.如權利要求I或2所述的自適應網絡編碼的可攜式視頻會議終端實現方法，其特徵在於所述個人計算設備是指具有顯示、上網和一定計算能力的設備。
4.如權利要求3所述的自適應網絡編碼的可攜式視頻會議終端中的音視頻數字處理模塊，其特徵在於所述個人計算設備為桌上型電腦、筆記本電腦、平板電腦、上網本或智慧型手機。
5.如權利要求2所述的自適應網絡編碼的可攜式視頻會議終端中的音視頻數字處理模塊，其特徵在於，能根據視頻會議中心的QoS監控器反饋過來的網絡狀態信息，決定終端採集來的圖像以何種格式和何種幀率來傳輸，該模塊使用一種自適應網絡狀況的「時間一空間一質量」三維可伸縮視頻編碼方案。
全文摘要
本發明提供一種自適應網絡編碼的可攜式視頻會議終端及實現方法，該終端將音視頻採集模塊、音視頻數字處理模塊、電源模塊等集成在一個便攜終端盒裡，通過USB與個人計算設備相連，視頻會議終端客戶端軟體在個人計算設備上自動運行，個人計算設備只要能聯上網可加入多方視頻會議。該終端通過感知當前通信網絡狀態，編碼控制器自適應地選擇性編碼方式，根據實時網絡狀況動態調整視頻編碼策略，使接收側用戶能夠得到當前網絡狀態下儘可能好的實時視頻圖像；因該終端底層驅動及客戶端軟體均駐留在該終端中，與個人計算設備連接後自動運行，即插即用；該終端攜帶方便，操作簡單，建設靈活可靠性高，採用低功耗設計有較長待機時間，方便用戶隨時隨地使用。
文檔編號H04N7/14GK102724474SQ20121015304
公開日2012年10月10日 申請日期2012年5月17日 優先權日2012年5月17日
發明者孫凱, 張華 , 李成華, 楊輝, 江小平 申請人:中南民族大學