傳輸視頻數據的方法
2023-05-18 20:43:01 2
專利名稱：傳輸視頻數據的方法
技術領域：
本發明涉及一種傳輸視頻數據的方法、一種發送視頻處理設備、一種接收視頻處理設備、一種網絡和一種用於執行該方法的電腦程式產品。
背景技術：
目前，無線網絡上的多媒體流傳輸提供一種一般的用戶視頻質量。實際上，無線信道引起高比特誤差率，並且在所接收的壓縮視頻序列中殘餘比特誤差仍可能是嚴重的。當ARQ是有限的或甚至不可能時，例如在實時應用中，或者當與該信道狀態相比信道編碼不足夠好時，在所接收的要進行解碼的比特流中的誤差甚至更重要(ARQ＝自動重複請求)。
但是，目前設計用於儘量壓縮數據的源編碼器，假設了一種用於傳輸的可靠介質。因此，源解碼器被設計用於無誤差地處理圖像或視頻文件。另外，可能存在一種傳輸誤差的傳播，其會不利地影響接收端用戶質量。例如，在進行壓縮的所有情況，諸如在文本壓縮(WinZip、zip、tar、gz、......)、圖像壓縮(JPEG、......)、音頻壓縮和視頻壓縮(MPEG、H2x、......)(JPEG＝聯合圖像專家組；MPEG＝運動圖像專家組)中，使用已知對於誤差非常敏感的熵壓縮技術。
當使用傳統的基於熵壓縮技術的源編碼器時，單個比特誤差常常會引起序列同步的丟失。隨後的是誤差傳播——在圖像的情況下是空間上的，或者在視頻的情況下是空間和時間上的——並且數據的剩餘部分丟失。對於音頻流傳輸也發生相同的現象。
MPEG4-AVC，也稱為H.264，是一種用於用戶數字視頻的新一代壓縮算法，並且是一種極有前景的視頻編碼標準(AVC＝高級視頻編碼)。MPEG4-AVC設計覆蓋了視頻編碼層(＝VCL)，其有效地表示視頻內容，以及網絡抽象層(＝NAL)，其格式化視頻的VCL表示，並以適合由諸如IP/RTP的具體傳輸層傳送的方式或者以適合存儲介質的方式提供頭信息(IP＝網際網路協議，RTP＝實時傳輸協議)。
NAL包括一系列具有整數字節數目的數據分組，所謂的NAL單元包括一個字節頭和有效載荷(payload)數據。該頭表示NAL單元的類型、在NAL單元有效載荷中的比特誤差或語法違反的(潛在的)存在、以及關於NAL單元對於解碼處理的相對重要性的信息。一些系統要求將NAL單元作為有序的字節或比特流來傳遞，在其它系統中，例如，IP/RTP系統中，在由系統傳輸協議成幀的分組中承載所編碼的數據。
基本編碼畫面包括表示該畫面的採樣的NAL單元。還存在一種稱作冗餘編碼畫面的NAL類型，其包括基本編碼畫面的一些選擇的視頻宏塊的複製。在基本編碼畫面中的數據丟失或破壞期間，使用冗餘編碼畫面。然而，這種使用冗餘編碼畫面來校正錯誤的基本編碼畫面的方法提供一種極弱的誤差校正，並且所得到的數據尺寸——以及因此的帶寬成本——相當大。
發明內容
本發明的目的是改善視頻數據的傳輸。
本發明的目的通過一種從第一實體向第二實體傳輸視頻數據的方法來實現，其中該視頻數據包括信息比特，該方法包括以下步驟對視頻數據的信息比特應用系統的信道編碼，並獲得包括編碼信息比特和該信息比特的誤差校正比特的序列；產生包括視頻數據的編碼信息比特的基本編碼畫面NAL；將誤差校正比特插入冗餘編碼畫面NAL；從第一實體向第二實體傳送基本編碼畫面NAL和冗餘編碼畫面NAL；在第二實體處接收基本編碼畫面NAL和冗餘編碼畫面NAL；使用冗餘編碼畫面NAL中的誤差校正比特，來檢測和校正所接收的基本編碼畫面NAL中的誤差；以及執行所校正的基本編碼畫面NAL的視頻解碼。
本發明的目的進一步通過一種具有控制單元的視頻處理設備來實現，其中該控制單元適於對視頻數據的信息比特應用系統的信道編碼，並獲得包括編碼信息比特和該信息比特的誤差校正比特的序列；產生包括視頻數據的編碼信息比特的基本編碼畫面NAL；將誤差校正比特插入冗餘編碼畫面NAL；向另一實體傳送基本編碼畫面NAL和冗餘編碼畫面NAL，用於使用冗餘編碼畫面NAL中的誤差校正比特來檢測和校正所接收的基本編碼畫面NAL中的誤差，並用於在該另一實體處執行所校正的基本編碼畫面NAL的視頻解碼。
此外，本發明的目的通過一種具有控制單元的視頻處理設備來實現，其中該控制單元適於從另一實體接收包括視頻數據的編碼信息比特的基本編碼畫面NAL和包括信息比特的誤差校正比特的冗餘編碼畫面NAL，該編碼信息比特和誤差校正比特通過對視頻數據的信息比特應用系統的信道編碼而獲得；使用冗餘編碼畫面NAL中的誤差校正比特，來檢測和校正所接收的基本編碼畫面NAL中的誤差；以及執行所校正的基本編碼畫面NAL的視頻解碼。
並且，本發明的目的通過一種用於視頻數據的傳輸的電腦程式產品來實現，其中視頻數據包括信息比特，當由視頻處理單元執行時，該電腦程式產品執行以下步驟對視頻數據的信息比特應用系統的信道編碼，並獲得包括編碼信息比特和該信息比特的誤差校正比特的序列；產生包括視頻數據的編碼信息比特的基本編碼畫面NAL；將誤差校正比特插入冗餘編碼畫面NAL；向另一視頻處理單元傳送基本編碼畫面NAL和冗餘編碼畫面NAL；從該另一視頻處理單元接收基本編碼畫面NAL和冗餘編碼畫面NAL；使用冗餘編碼畫面NAL中的誤差校正比特，來檢測和校正所接收的基本編碼畫面NAL中的誤差；以及執行所校正的基本編碼畫面NAL的視頻解碼。
本發明提供了就誤差校正功率和帶寬而言比現有解決方案更有效的一種解決方案。對於相似的誤差校正功率，帶寬增益是2至4的因子。這意味著根據本發明的解決方案需要減小2倍至4倍的帶寬，或者可以存在2倍至4倍的更多用戶。
代替在冗餘編碼畫面NAL中包括編碼數據的簡單複製，本發明的基本思想是包括更多巧妙的具有較高誤差校正功率且具有較小尺寸的誤差校正數據。因此，本發明可以實現帶寬、用戶的數目和/或無線資源的數目的增加。
根據本發明的方法可以利用或獨立於標準而實施。
通過由所附的權利要求表示的本發明的實施例實現進一步的優點。
根據本發明的方法可以應用於具有NAL結構的任何視頻數據。優選地，視頻數據遵守MPEG4-AVC和/或H.264標準。
當在存在噪聲的信道上傳輸編碼時，將出現誤差。信道編碼的任務是以最小化解碼中的誤差概率的方式表示源信息。如果需要一次正確地傳輸信息，則加入冗餘校驗比特以確保誤差檢測和誤差校正。
根據本發明的優選實施例，所應用的系統的信道編碼是基於奇偶校驗碼，例如海明碼(Hamming code)或LDPC碼(LDPC＝低密度奇偶校驗)。根據本發明的另一優選實施例，所應用的系統的信道編碼是基於卷積碼。
用於從第一實體到第二實體的編碼視頻數據傳輸的傳輸介質可以是適於比特數據傳輸的任何傳輸介質，優選在IP/RTP協議之下。根據本發明的優選實施例，傳輸介質是無線網絡，尤其是移動通信網絡，或者IP網絡，尤其是網際網路。
通過閱讀以下結合附圖所作出的目前優選的示例性實施例的詳細描述，將更好地理解本發明的這些以及其他特徵和優點，在附圖中圖1是根據本發明的第一實施例的系統的框圖。
圖2是表示根據本發明的第一實施例在第一設備處的處理的操作步驟圖。
圖3是關於根據本發明第一實施例的訪問單元的結構的流程圖。
圖4是表示根據本發明的第一實施例在第二設備處的處理的操作步驟圖。
具體實施例方式
圖1表示用於發送視頻數據的第一實體10、用於接收視頻數據的第二實體20和用於視頻數據傳輸的傳輸介質30。例如，傳輸介質30可以是分組交換網絡，優選基於IP的網絡，即，具有公共層3IP層的通信網絡，例如網際網路。第一實體10和第二實體20可以是具有數據機的計算機，以向分組交換網絡發送和從分組交換網絡接收視頻數據。計算機10、20可以安裝適於處理視頻數據的軟體。
在另一個實施例中，傳輸介質30也可以是包括電路交換電話網絡和分組交換電話網絡的通信系統，並且第一實體10和第二實體20也可以是能夠發送/接收和重放視頻數據的移動通信終端，例如，蜂窩電話。電路交換網絡可以是例如PSTN、ISDN、GSM或UMTS網絡(PSTN＝公共交換電話網絡；ISDN＝綜合業務數字網絡；GSM＝全球移動通信系統；UMTS＝通用移動通信系統)。
發送和接收實體10、20是視頻處理設備，並且通常具有發送和接收視頻數據的能力。例如，在如圖1的示例性實施例中所示的特定情況下，實體10可以是發送實體且實體20可以是接收實體。在另一個通信事件中，角色可以改變，並且實體20可以是發送實體且實體10可以是接收實體。
在圖1的特定實施例中，發送實體10是包括發射機11、控制單元12和存儲器13的終端，而接收實體20是包括接收機21、控制單元22和存儲器23的終端。發送和接收實體10、20經由連接19、29連接到傳輸介質30。該連接19、29可以是有線連接或無線連接。
發送實體10可以由用戶手動觸發或由處理觸發信號自動觸發，以啟動具有NAL結構的視頻數據從發送實體10經由連接19、傳輸介質30和連接29到接收實體20的傳輸。該視頻數據可以從發送實體10的存儲器13獲取，在控制單元12中處理，並由發射機11傳送到傳輸介質30。接收介質20可以利用接收機21從傳輸介質30接收視頻數據，在控制單元22中對其處理，並且可將其存儲在存儲器23中。但也可以將所接收的視頻數據直接發送給接收實體20的重放單元，以在顯示器上呈現和顯示該視頻數據。
在圖1的另一實施例中，視頻數據存儲在傳輸介質30內所包括的或從傳輸介質30可訪問的視頻處理單元40上，例如視頻伺服器或視頻代理，該傳輸介質30優選為分組交換網絡，例如網際網路。視頻處理單元40可以包括控制單元42、存儲器單元或存儲介質43、以及用於在網絡30上發送和接收消息的收發器單元41。
接收實體20可以經由網絡30向視頻處理單元40的收發器單元41發送視頻請求。視頻處理單元40可以處理視頻請求，從存儲介質43或從網絡30的獨立存儲介質53獲取所請求的視頻數據，處理視頻數據和發起視頻數據到接收實體20的傳輸。
終端10、20和視頻處理單元40包括可具有用於無線通信的無線部分的電子電路、至少一個微處理器以及由該至少一個微處理器執行的應用程式。終端10、20還可以包括輸入和輸出裝置，例如鍵盤、麥克風、揚聲器和顯示器。終端10、20和視頻處理單元40的功能通過硬體和軟體組件的交互作用來執行。終端10、20和視頻處理單元40的存儲器單元13、23、43可以適於接收和存儲電腦程式產品，其中由終端10、20和視頻處理單元40執行電腦程式產品，這適於向終端10、20和視頻處理單元40提供額外功能。
網絡30的視頻處理單元40可以實施為具有點對點(peer to peer)和/或分層架構的一個或多個伺服器。此外，由終端10、20和可與存儲介質53相連接的視頻處理設備40所提供的視頻處理的功能可以作為分離的、獨立的單元實施，或者在分散結構中實施，其中所述功能由多個相互依賴的分散單元提供。
圖2表示在傳輸介質30上傳輸視頻數據之前，在發送實體10或視頻存儲和處理單元31中所執行的視頻數據的處理。
視頻數據可以作為信息比特201存在。利用模擬-數字轉換(A/D轉換)，通過將視頻信號轉換為數字比特流可以獲取這些信息比特201。A/D轉換分兩步進行，採樣來自視頻流的數據，以及將每一個所獲得的採樣量化為數字格式。
當將視頻數據數位化後，可以將其與誤差校正比特一起提交給系統的信道編碼202。系統的信道編碼202可以基於例如海明碼、LDPC碼或卷積碼。系統的信道編碼202的結果是包括編碼信息比特203和稱作誤差校正比特204的一些其他比特的序列。
將信息比特203放入「基本編碼畫面」NAL 205中。將來自系統的信道編碼202的誤差校正比特204放入「冗餘編碼畫面」NAL 206中。NAL單元205、206包括在用於傳輸的IP/RTP分組中。然後「基本編碼畫面」NAL 205和「冗餘編碼畫面」NAL 206二者都在從發送實體10經傳輸介質30到接收實體20的訪問單元框架內傳輸。
圖3是描述在訪問單元300的框架內產生基本編碼畫面和冗餘編碼畫面的流程圖。
訪問單元300表示一組VCL NAL單元，它們一起組成了基本編碼畫面。除了基本編碼畫面，訪問單元300還可以包含一個或多個冗餘編碼畫面，或者其它不包含編碼畫面的片段(slice)或片段數據劃分的NAL單元。訪問單元300的解碼總是產生解碼畫面。
在步驟301中，可以插入訪問單元定界符(delimiter)301，其可以用於訪問單元300之間的邊界的檢測，並且因此可以有助於新基本編碼畫面的開始的檢測。在步驟302中，包含關於畫面序列的所有信息的序列參數組，以及在步驟303中，包含關於屬於單個畫面的所有片段的所有信息的畫面參數組，可以放入訪問單元300中。
對於網關和接收機來說，接收層和子序列的特性以及子序列的從屬信息例如畫面定時信息，將會是有利的。因此，可以在步驟304中插入補充增強信息(＝SEI)的一個或多個塊。
在步驟305中，將基本編碼畫面放入訪問單元300中，包含由系統的信道編碼所獲得的信息比特。基本編碼畫面包括一組VCL NAL單元，其包含表示視頻畫面的採樣的片段或片段數據劃分。基本編碼畫面包括畫面的所有宏塊。
作為訪問單元300的隨後的塊，在步驟306中，可以將具有來自系統的信道編碼的誤差校正比特的冗餘編碼畫面插入訪問單元300中。通常，冗餘編碼畫面是畫面或部分畫面的編碼表示。冗餘編碼畫面的內容不應當由針對遵守H.264的比特流的解碼處理使用。冗餘編碼畫面的內容可以由針對包含誤差或損耗的比特流的解碼處理使用。根據本發明，將誤差校正比特插入冗餘編碼畫面中。
如果所編碼的畫面是編碼視頻序列的最後畫面，則在步驟307中可以給出序列NAL單元的末尾，以表示該序列的結束。最後，如果所編碼的畫面是在整個NAL單元流中的最後編碼的畫面，則可以給出流NAL單元的末尾308，以表示該流結束。
圖4表示在傳輸介質30上的視頻數據傳輸之後，由接收實體20所執行的視頻數據的處理。
「基本編碼畫面」NAL 401和「冗餘編碼畫面」NAL 402由接收實體20所接收，作為具有根據圖3的結構的訪問單元。與在第一實體10處的「基本編碼畫面」NAL 205和「冗餘編碼畫面」NAL 206相比較，在第二實體20處的「基本編碼畫面」NAL 401和「冗餘編碼畫面」NAL402可以包括一個或多個不同的信息比特。這些差別，即，由於傳輸所引起的比特誤差，其原因可能是傳輸介質30的較差的傳輸質量。這對於無線傳輸信道例如對於移動應用來說是尤其正確的。較差質量的傳輸信道可以引起信息比特從一個二進位狀態變為另一個二進位狀態，即，從0到1，或反之。
從冗餘編碼畫面NAL 402提取誤差校正比特403。之後，當針對誤差而檢查基本編碼畫面NAL 401時，在檢測步驟404中使用誤差校正比特403，以檢測在基本編碼畫面NAL 401中是否出現任何誤差，以及出現在哪裡。在校正步驟405中，利用誤差校正比特403來校正這樣檢測到的在基本編碼畫面NAL 401中的誤差。基本編碼畫面NAL 401的檢查、檢測和校正的結果是所校正的基本編碼畫面NAL 406。
在解碼處理407中，將所校正的基本編碼畫面NAL 406提交給視頻解碼，產生所校正的信息比特408。所校正的信息比特408承載視頻數據，該視頻數據現在可以在接收實體20或另一設備處理，用於顯示、傳送或存儲。
權利要求
1.一種從第一實體向第二實體傳輸視頻數據的方法，由此所述視頻數據包括信息比特，其中所述方法包括以下步驟對所述視頻數據的信息比特應用系統的信道編碼，並獲得包括編碼信息比特和所述信息比特的誤差校正比特的序列；產生包括所述視頻數據的所述編碼信息比特的基本編碼畫面網絡抽象層；將所述誤差校正比特插入冗餘編碼畫面網絡抽象層；從所述第一實體向所述第二實體傳送所述基本編碼畫面網絡抽象層和所述冗餘編碼畫面網絡抽象層；在所述第二實體處接收所述基本編碼畫面網絡抽象層和所述冗餘編碼畫面網絡抽象層；使用在所述冗餘編碼畫面網絡抽象層中的誤差校正比特，來檢測和校正所述接收的基本編碼畫面網絡抽象層中的誤差；以及執行所述校正的基本編碼畫面網絡抽象層的視頻解碼。
2.根據權利要求1的方法，包括以下步驟產生包括所述視頻數據的所述編碼信息比特的基本編碼畫面網絡抽象層，其中所述基本編碼畫面網絡抽象層符合MPEG4-AVC和/或H.264標準；將所述誤差校正比特插入冗餘編碼畫面網絡抽象層，其中所述冗餘編碼畫面網絡抽象層符合MPEG4-AVC和/或H.264標準。
3.根據權利要求1的方法，包括以下步驟應用基於海明碼的系統的信道編碼。
4.根據權利要求1的方法，包括以下步驟應用基於LDPC碼的系統的信道編碼。
5.根據權利要求1的方法，包括以下步驟應用基於卷積碼的系統的信道編碼。
6.根據權利要求1的方法，包括以下步驟在無線網絡尤其是移動通信網絡上或者在IP網絡尤其是網際網路上，從所述第一實體向所述第二實體傳送所述基本編碼畫面網絡抽象層和所述冗餘編碼畫面網絡抽象層。
7.一種具有控制單元的視頻處理設備，其中所述控制單元適於對視頻數據的信息比特應用系統的信道編碼，並獲得包括編碼信息比特和所述信息比特的誤差校正比特的序列；產生包括所述視頻數據的所述編碼信息比特的基本編碼畫面網絡抽象層；將所述誤差校正比特插入冗餘編碼畫面網絡抽象層；向另一實體傳送所述基本編碼畫面網絡抽象層和所述冗餘編碼畫面網絡抽象層，用於使用所述冗餘編碼畫面網絡抽象層中的所述誤差校正比特來檢測和校正所述接收的基本編碼畫面網絡抽象層中的誤差，並用於在所述另一實體處執行所述校正的基本編碼畫面網絡抽象層的視頻解碼。
8.一種具有控制單元的視頻處理設備，其中所述控制單元適於從另一實體接收包括視頻數據的編碼信息比特的基本編碼畫面網絡抽象層，和包括所述信息比特的誤差校正比特的冗餘編碼畫面網絡抽象層，所述編碼信息比特和誤差校正比特通過對所述視頻數據的信息比特應用系統的信道編碼而獲得；使用所述冗餘編碼畫面網絡抽象層中的所述誤差校正比特，來檢測和校正所述接收的基本編碼畫面網絡抽象層中的誤差；以及執行所述校正的基本解碼畫面網絡抽象層的視頻解碼。
9.根據權利要求7的具有控制單元的視頻處理設備，其中所述視頻處理設備是終端、視頻代理或視頻網關。
10.一種用於視頻數據的傳輸的電腦程式產品，其中所述視頻數據包括信息比特，其中當由視頻處理單元執行時，所述電腦程式產品執行以下步驟對所述視頻數據的所述信息比特應用系統的信道編碼，並獲得包括編碼信息比特和所述信息比特的誤差校正比特的序列；產生包括所述視頻數據的所述編碼信息比特的基本編碼畫面網絡抽象層；將所述誤差校正比特插入冗餘編碼畫面網絡抽象層；向另一視頻處理單元傳送所述基本編碼畫面網絡抽象層和所述冗餘編碼畫面網絡抽象層；從所述另一視頻處理單元接收所述基本編碼畫面網絡抽象層和所述冗餘編碼畫面網絡抽象層；使用所述冗餘編碼畫面網絡抽象層中的所述誤差校正比特，來檢測和校正所述接收的基本編碼畫面網絡抽象層中的誤差；以及執行所述校正的基本編碼畫面網絡抽象層的視頻解碼。
全文摘要
本發明涉及一種傳輸包括信息比特的視頻數據的方法、一種用於發送和/或接收這種視頻數據的具有控制單元的視頻處理單元以及一種用於執行所述方法的電腦程式產品。該方法包括對視頻數據的信息比特應用系統的信道編碼，並獲得包括編碼信息比特和該信息比特的誤差校正比特的序列。為了向另一視頻處理單元進行傳輸，將編碼信息比特和誤差校正比特分別插入基本編碼畫面網絡抽象層和冗餘編碼畫面網絡抽象層。在該另一視頻處理單元處，使用冗餘編碼畫面網絡抽象層中的誤差校正比特來檢測和校正所接收的基本編碼畫面網絡抽象層中的誤差，並且用於執行所校正的基本編碼畫面網絡抽象層的視頻編碼。
文檔編號H04N7/24GK1863311SQ20061008016
公開日2006年11月15日 申請日期2006年5月9日 優先權日2005年5月11日
發明者昂·恩居揚 申請人:阿爾卡特公司