用於通信終端的視頻編碼/解碼裝置和方法
2023-10-08 08:58:49 2
專利名稱：用於通信終端的視頻編碼/解碼裝置和方法
技術領域：
本發明涉及一種多媒體通信終端，特別涉及一種用於多媒體通信終端的改進的視頻編碼/解碼裝置和方法。
在多路復用傳輸系統中，應該編碼音頻和視頻信息以保持音頻和視頻信息的平衡。然而，相對於音頻信息，視頻信息佔用被發送的整個數據組的很大部分。典型的，通過分離的信道分別編碼和發送音頻和視頻信息。此外，具有一種方法，對音頻和視頻信息使用一個傳輸信道。在此情況下，對於計算被用於同步音頻和視頻信息的視頻信息延遲時間來說，編解碼算法變得複雜。
通常，多媒體通信中視頻信息的端到端延遲是200～400ms(H.324和3G-324標準中可允許的總延遲是400ms)。該延遲時間引起視頻波浪起伏，並且大大多於30～60ms的音頻信息。視頻和音頻之間的延遲差會降低多媒體通信質量。因此，為了使視頻信息與音頻信息同步，應該把音頻信息延遲到音頻和視頻信息之間的延遲差那樣多。為了把音頻信息延遲到延遲差那樣多，需要用於暫時存儲音頻信息的存儲器緩衝器，並且延遲差越大，需要的存儲器緩衝器大小就越大。全部的延遲能被分成在編解碼上引起的傳播延遲和處理延遲。然而，由於由信道引起的延遲是相對固定的，因此減少編解碼上引起的處理延遲是關鍵的。
在現有技術的視頻編解器中，可以在硬體以及軟體中實現，視頻信息延遲包括大約200～400ms的處理延遲。儘管這些延遲等級符合H.321和3G-324標準建議，但是由延遲引起的動畫上的起伏移動使用戶感覺不舒服，嚴重地影響畫面質量。此外，由於視頻和音頻延遲之間的差是很大和變化的，這就難於精確的使音頻和視頻信息同步。
而且，在現有技術的編解碼器中，由於要存儲音頻信息以便與較多延遲的的視頻信息相同步，因此，需要附加的用於存儲音頻信息的存儲器資源，這是設計上所不可避免的。
本發明的另一個目的是提供一種視頻編碼/解碼裝置和方法，其通過減少多媒體通信終端中視頻和音頻信息之間的延遲差，能夠使存儲器使用和存儲器管理的複雜性最小化。
本發明的再一個目的是提供一種視頻編碼/解碼裝置和方法，其通過將視頻信息的延遲減小到等於或小於音頻信息延遲，能夠精確使音頻信息和視頻信息同步。
為實現上述目的，本發明的視頻編碼/解碼裝置包括編碼單元，其處理以時間片為單位發送的視頻數據；多路復用/去多路復用器，其多路復用來自編碼單元的視頻數據和去多路復用通過通信信道接收的視頻數據；解碼單元，其以時間片為單位來處理中多路復用/去多路復用的視頻數據。
編碼單元包括第一多個時間片存儲器，其暫時存儲從攝像機輸入的以時間片為單位的視頻數據；視頻編碼器，其以時間片為單位編碼來自各個第一時間片存儲器的視頻數據；量化器，其量化來自視頻編碼器的視頻數據；第一宏塊緩衝器，其在向多路復用/去多路復用發送視頻數據之前，以宏塊為單位暫時存儲來自量化器的視頻數據。
所述編碼單元進一步包括第一反向量化器，將第一宏塊緩衝器的輸出輸入到它，並將其輸出發送到視頻編碼器。
編碼單元進一步包括量化控制器，其根據宏塊緩衝器的輸出控制第一宏塊緩衝器的輸入。
量化控制器監控第一宏塊緩衝器的輸出，並確定輸出的傳輸比特是否是大於或小於預定值。
當第一宏塊緩衝器的輸出傳輸比特大於預定值時，以使量化器的輸出減少，和當第一宏塊緩衝器的輸出傳輸比特小於預定值時，量化控制器控制量化器，以使量化器的輸出增加。
當傳輸比特很小時，量化控制器控制量化器，以便將填充比特插入到第一宏塊緩衝器的輸出。
編碼單元包括第二宏塊緩衝器，其暫時存儲在多路復用器/去多路復用器上去多路復用的視頻數據；第二反向量化器，其根據第二宏塊緩衝進行反向的量化；視頻解碼器，其解碼來自反向量化器的視頻數據；和多個第二時間片存儲器，其暫時存儲來自視頻解碼器的視頻數據，並以時間片為單位將視頻數據發送到顯示器。
為實現上述目的，本發明的視頻編碼/解碼方法包括處理從攝像機輸入的以時間片為單位的視頻數據；通過通信信道，發送處理以時間片為單位的視頻數據；通過通信信道接收視頻數據；和處理所接收的以時間片為單位的視頻數據。
輸入視頻數據處理包括並行地暫時存儲輸入的以時間片為單位的視頻數據；以預定的順序並行地編碼存儲的視頻數據；量化編碼的視頻數據；暫時存儲量化的視頻數據；和連同音頻和控制信號宏塊為單位多路復用暫時存儲的視頻數據。
輸入視頻數據處理進一步包括反向量化以宏塊為單位存儲的視頻數據和把反向量化的視頻數據反射到視頻數據編碼。
輸入視頻數據處理進一步包括監控存儲的以宏塊為單位的視頻數據的比特數和根據比特數控制量化。
量化控制包括確定存儲的以宏塊為單位的視頻數據的比特數是否是大於或小於預定值，當存儲的以宏塊為單位的視頻數據的比特數大於預定值時，減少量化數量，和當以宏塊為單位存儲的視頻數據的比特數小於預定值時，增加量化數量。
量化控制進一步包括當以宏塊為單位存儲的視頻數據的比特數相對於預定值很小時，插入填充比特。
接收的視頻數據處理包括去多路復用接收的視頻數據，以宏塊為單位暫時的存儲視頻數據，反向量化以宏塊為單位存儲的視頻數據，以時間片為單位解碼反向量化的視頻數據，以時間片為單位暫時存儲並行解碼的視頻數據，和以預定的順序把視頻數據發送到顯示器。
在本發明的另一個實施例中，用於通信終端的視頻編碼/解碼裝置包括以時間片為單位處理數據的第一數據處理單元。第二數據處理單元，其多路復用來自第一數據處理單元的數據和去多路復用通過通信信道接收的數據。第三數據處理單元，其以時間片為單位處理來自第二處理單元的數據。
第一數據處理單元是編碼單元，第二數據處理單元是多路復用器/去多路復用器，和第三數據處理單元是解碼單元。第一，第二和第三數據處理單元駐留在至少一個處理器上，而且被處理的數據的一個類型是視頻數據。
下面的和部分的描述將使前述的本發明的特點更加顯而易見，根據下述內容，本領域普通技術人員將可以學習本發明的實踐。本發明的目的和優點將可以被實現和獲得，如所附權利要求所特別指出的那樣。
視頻編碼單元10包括彼此並行連接到攝像機(未示出)的多個第一時間片存儲器11a和11b。視頻編碼器12被連接到第一時間片存儲器11a和11b。第一幀存儲器13被連接到視頻編碼器12，其用於以幀為單位暫時存儲視頻編碼器12中處理的視頻數據。量化器14，其用於量化來自視頻編碼器12的視頻數據，第一宏塊緩衝器15，其用於以宏塊為單位存儲於量化器14上量化的視頻數據，量化控制器16，其用於控制量化器14，和第一反向量化器17，其用於接收第一宏塊緩衝器15的輸出和反向量化第一宏塊緩衝器15的輸出，以便向視頻編碼器12提供反向量化的數據。
在該示例的實施例中，由於第一時間片存儲器11a和11b並行地連接在攝像機和視頻編碼器12之間，因此，從攝像機輸出的視頻數據被分別地同時輸入到第一時間片存儲器11a和11b，並由視頻編碼器12以時間片為單位來處理。
第一反向量化器17接收和反向量化第一宏塊緩衝器15的輸出，以便把反向的視頻數據提供到視頻編碼器12。視頻編碼器12處理反向量化的視頻數據，然後，將其反射到第一幀存儲器13中存儲的視頻數據。
量化控制器16通過比較監控的輸出與每宏塊傳輸比特(M_bits)的平均數，來監控宏塊緩衝器15的輸出，以調整宏塊緩衝器15中存儲的數據量，其中根據多路復用器/去多路復用器50的傳輸信道速率來確定該傳輸比特。量化控制器16控制量化器14，以便如果宏塊緩衝器15的輸出比特大於傳輸比特(M_bits)的平均數，就減少宏塊緩衝器15的輸入數據，和如果宏塊緩衝器15的輸出比特小於傳輸比特(M_bits)的平均數，就增加宏塊緩衝器15的輸入數據。在宏塊緩衝器15的輸入比特少的情況下，量化控制器16控制量化器14，以便將填充比特插入到宏塊緩衝器15的輸出。
對從宏塊緩衝器15輸出的視頻數據與包括語音的音頻進行多路復用，H.245控制多路復用器/去多路復用器50上的信號，然後，通過物理信道發送和/或到解碼單元30，而不進行多路復用。
視頻解碼單元30包括第二宏塊緩衝器31，其用於存儲多路復用器/去多路復用器50上去多路復用的視頻數據。第二反向量化器32反向量化來自第二宏塊緩衝器31的視頻數據，視頻解碼器33解碼來自第二反向量化器32的視頻數據，第二幀存儲器34，其用於以幀為單位暫時存儲解碼的視頻數據，和多個第二時間片存儲器35a和35b，其用於存儲視頻解碼器33上解碼的視頻數據，和把視頻數據輸送到顯示單元(未示出)。
第二宏塊緩衝器31以與視頻編碼單元10相同的方式，以宏塊為單位暫時地存儲多路復用器/去多路復用器50上去多路復用的視頻數據，並將視頻數據提供到第二反向量化器32。
視頻解碼器33把第二反向量化器32上反向量化的視頻數據輸送到第二時間片存儲器35a和35b，以便在各個第二時間片存儲器35a和35b中存儲的視頻數據並行地被同時輸送到顯示器(未示出)。
此後將描述上述結構示例的視頻編碼/解碼裝置的操作。圖2是流程圖，示例了本發明的視頻數據編碼/解碼方法的視頻數據編碼過程。如圖2所示，在步驟S201，一旦從攝像機(未示出)輸入了視頻數據，在步驟S202，以時間片為單位在時間片存儲器11a和11b中存儲視頻數據，然後將其輸送到視頻編碼器12。在步驟S203，在視頻編碼器12上適當地處理視頻數據，然後將其傳送到量化器14，以便在步驟S204根據量化控制器16的控制將其量化。在步驟S205，在宏塊緩衝器15中暫時存儲量化的視頻數據，並以宏塊為單位將其傳送到多路復用器/去多路復用器50以及反向量化器17。
在步驟S206，對傳送到多路復用器/去多路復用器50的視頻數據連同包括語音的音頻和H.245控制信號一起進行多路復用，然後，在步驟S207，以比特流的格式通過物理信道將其發送。
此外，反向量化傳送到反向量化器17的視頻數據，然後，將其發送到視頻編碼器12，以便通過視頻編碼器12處理反向量化的視頻數據，然後將其反射到第一幀存儲器13中存儲的視頻數據。
圖3示流程圖，示例了本發明視頻編碼/解碼方法的視頻數據解碼的過程。如圖3所示，在步驟S301，如果通過物理信道接收了數據，則在步驟S302，通過多路復用器/去多路復用器50去多路復用數據，和在步驟S303從數據中提取視頻數據。在步驟S304，在第二宏塊緩衝器31中以宏塊為單位暫時存儲提取的數據，然後將其發送到第二反向量化器32，以便在步驟S305對其反向量化。將反向量化的視頻數據發送到視頻解碼器33，以便在步驟S306對其解碼，然後在步驟S307，在多個第二時間片存儲器35a和35b中，以時間片為單位暫時存儲解碼的視頻數據。結果，多個時間片存儲器35a和35b中存儲的視頻數據在步驟S308被並行地輸送到顯示器(未示出)。
如上所述，根據本發明優選實施例的視頻編碼/解碼裝置以時間片為單位處理視頻數據，以減少在編碼器和解碼器上引起的處理延遲。因而，即使當通過通信信道接收視頻數據時，視頻上的移動也是平滑的。
此外，由於在視頻編碼/解碼裝置中以時間片為單位處理視頻數據，因此，使用幾個時間片存儲器而不是較大的幀存儲器，能夠減少畫面幀所需的存儲器大小。而且，本發明視頻編碼/解碼裝置中，將視頻信息延遲減少到小於或等於音頻信息延遲，以使不需要用於使音頻信息和視頻信息同步的附加的存儲器。
前述的實施例和優點僅僅是示例性的而不會構成對本發明的限制。本發明的教導能容易的應用到其它類型的裝置。本發明的描述意在示例，而不會限制權利要求的範圍。對於本領域普通技術人員來說，許多替換，修改，和變化將是顯而易見的。在權利要求書中，裝置加功能語句意在覆蓋在此執行所述功能的所述的結構，並且不僅是結構等效也是等效的結構。
權利要求
1.一種用於通信終端的一種視頻編碼/解碼裝置，其包括編碼單元，其處理以時間片為單位被發送的視頻數據；多路復用器/去多路復用器，其多路復用來自編碼單元的數據和去多路復用通過通信信道接收的視頻數據；和解碼單元，其以時間片為單位處理來自多路復用器/去多路復用器的視頻數據。
2.根據權利要求1所述的視頻編碼/解碼裝置，其中所述編碼單元包括多個第一時間片存儲器，其以時間片為單位暫時存儲從圖像輸入設備輸入的視頻數據；視頻編碼器，其以時間片為單位編碼來自各個所述第一時間片存儲器的視頻數據；量化器，其量化來自所述視頻編碼器的視頻數據；和第一宏塊緩衝器，以宏塊為單位暫時存儲來自所述量化器的視頻數據。
3.根據權利要求2所述的視頻編碼/解碼裝置，其中所述圖像輸入設備是相機。
4.根據權利要求2所述的視頻編碼/解碼裝置，其中所述編碼單元進一步包括第一反向量化器，所述第一宏塊緩衝器的輸出被輸入到它，以及它的輸出被發送到所述視頻編碼器。
5.根據權利要求2所述的視頻編碼/解碼裝置，其中所述編碼單元進一步包括量化控制器，其控制量化器，以便根據宏塊緩衝器的輸出調整所述第一宏塊緩衝器的輸入。
6.根據權利要求5所述的視頻編碼/解碼裝置，其中所述量化控制器監控所述第一宏塊緩衝器的輸出，並確定輸出的比特是否是大於或小於預定值。
7.根據權利要求6所述的視頻編碼/解碼裝置，其中所述量化控制器控制量化器，以便當所述第一宏塊緩衝器的輸出比特大於預定值時，減少所述量化器的輸出。
8.根據權利要求6所述的視頻編碼/解碼裝置，其中所述量化控制器控制量化器，以便當所述第一宏塊緩衝器的輸出比特小於預定值時，增加量化器的輸出。
9.根據權利要求6所述的視頻編碼/解碼裝置，其中所述量化控制器控制量化器，以便當所述第一宏塊緩衝器的輸出比特很小時，插入填充比特到所述第一宏塊緩衝器的輸出。
10.根據權利要求1的視頻編碼/解碼裝置，其中所述解碼單元包括第二宏塊緩衝器，其暫時存儲多路復用器/去多路復用器上去多路復用的視頻數據；第二反向量化器，其反向量化來自所述第二宏塊緩衝器的視頻數據；視頻解碼器，其解碼來自所述反向量化器的視頻數據；和多個第二時間片存儲器，其暫時存儲來自所述視頻解碼器的視頻數據，並以時間片為單位把視頻數據發送到顯示器。
11.一種視頻編碼/解碼方法，該方法包括以時間片為單位處理從圖像輸入設備輸入的視頻數據；通過通信信道發送以時間片為單位處理的視頻數據；通過通信信道接收視頻數據；和處理以時間片單位接收的視頻數據。
12.根據權利要求11所述的視頻編碼/解碼方法，其中所述圖像輸入設備是相機。
13.根據權利要求11所述的視頻編碼/解碼方法，其中所述輸入視頻數據處理包括以時間片為單位並行地暫時存儲輸入的視頻數據；以預定的順序並行地編碼所存儲的視頻數據；量化編碼的視頻數據；暫時存儲量化的視頻數據；和以宏塊為單位多路復用暫時存儲的視頻數據、以及音頻和控制信號。
14.根據權利要求13所述的視頻編碼/解碼方法，其中所述輸入視頻數據處理進一步包括反向量化以宏塊為單位的所存儲的視頻數據；和把所述反向量化的視頻數據反射到視頻數據編碼。
15.根據權利要求14所述的視頻編碼/解碼方法，其中所述輸入視頻數據處理進一步包括監控以宏塊為單位所存儲的視頻數據的比特數；和根據所述比特數控制量化。
16.根據權利要求15所述的視頻編碼/解碼方法，其中所述量化控制包括確定是否以宏塊為單位存儲的視頻數據的比特數是大於或小於預定值；當以宏塊為單位存儲的視頻數據的比特數大於預定值時，減少量化數量；和當以宏塊為單位存儲的視頻數據的比特數小於預定值時，增加量化數量。
17.根據權利要求16所述的視頻編碼/解碼方法，其中所述量化控制進一步包括當以宏塊為單位存儲的視頻數據的比特數相對於預定值是很小時，插入填充比特。
18.根據權利要求11所述的視頻編碼/解碼方法，其中所述接收的視頻數據處理包括去多路復用接收的視頻數據；以宏塊為單位暫時存儲視頻數據；反向量化以宏塊為單位存儲的視頻數據；解碼以時間片為單位的反向量化的視頻數據；以時間片為單位並行的暫時存儲解碼的視頻數據；和以預定的順序發送視頻數據到顯示器。
19.一種用於通信終端的視頻編碼/解碼裝置，其包括第一數據處理單元，其以時間片為單位處理數據；第二數據處理單元，其多路復用來自所述第一數據處理單元的數據和去多路復用通過通信信道接收的的數據；第三數據處理單元，其以時間片為單位處理來自所述第二處理單元的數據。
20.根據權利要求19所述的視頻編碼/解碼裝置，其中所述第一數據處理單元是編碼單元。
21.根據權利要求19所述的視頻編碼/解碼裝置，其中所述第二數據處理單元是多路復用器/去多路復用器。
22.根據權利要求19所述的視頻編碼/解碼裝置，其中所述第三數據處理單元是解碼單元。
23.根據權利要求19所述的視頻編碼/解碼裝置，其中第一，第二和第三數據處理單元的至少其中之一駐留在至少一個處理器中。
24.根據權利要求19所述的視頻編碼/解碼裝置，其中所述處理的數據的一種類型是視頻數據。
全文摘要
一種視頻編碼/解碼裝置，包括編碼單元，其以時間片為單位處理被發送視頻數據，多路復用器/去多路復用器，其多路復用來自所述編碼單元的視頻數據，並去多路復用通過通信信道接收的視頻數據，解碼單元，其以時間片為單位處理來自多路復用器/去多路復用器的視頻數據。將視頻信息延遲減少到小於或等於音頻信息延遲，以便不需要為了與視頻信息同步來延遲音頻信息的附加的存儲器。
文檔編號G06T9/00GK1477876SQ0314534
公開日2004年2月25日 申請日期2003年7月4日 優先權日2002年7月4日
發明者徐裕錫 申請人:Lg電子株式會社