用於改善的包損失彈性的h.26l的靈活數據分割和打包的製作方法
2023-06-09 20:35:06
專利名稱：用於改善的包損失彈性的h.26l的靈活數據分割和打包的製作方法
技術領域：
本發明總體涉及數據打包，更具體地涉及一種分割和打包方案，用於編碼視頻的傳輸、數據分割語法的改進、和相應的網絡適配層(NAL)打包處理，使得能夠在H.26L協議環境中靈活地進行數據分割。
具有每秒幾兆比特至每秒幾十兆比特的高帶寬能力的WLAN技術的出現，允許通過這種網絡的高質量視頻流。最近，802.11b成為流行的同時用於商務和家庭的基於標準的無線乙太網組網技術。6Mbps的有效載荷吞吐量，對於多數網絡應用(包括編碼視頻廣播)已足夠快。
但是，對於傳輸高質量無線視頻信號存在許多挑戰，主要歸因於與帶寬約束和高錯誤率有關的限制。因為無線網絡極易受在相同頻帶工作的其它設備的幹擾，因此經常發生包錯誤或丟失。在802.11b無線LAN環境中尤其如此，其中利用了被微波、無繩電話和/或其他802.11b網絡共享的2.4GHz ISM頻帶。對於經802.11b網絡傳輸視頻的另一個挑戰是802.11b媒體訪問(MAC)層要求丟棄所接收的帶有比特錯誤的包，因而限制了在接收機處校正錯誤的可能性。
但是MAC層和應用層能夠向某些包提供不相等的錯誤保護(UEP)來保證它們準時到達。例如，即使在降低信道吞吐量50％的共信道幹擾下，至少50％的包能夠幾乎不丟失地被傳送。可擴展或分層編碼和具有UEP的傳輸的組合能夠保證即使在信道幹擾下也能通過視頻的主要部分，而僅在信道具有足夠吞吐量時通過次要部分。為了獲得由數據分割和UEP提供的最大利益，如果丟失增強層包，則對於最佳視頻質量來說，約50％基本比50％增強的分割比可能是所希望的。過低的分割比會導致底層網絡的UEP能力利用不足。
最近，H.26L標準被用來實現增強的壓縮性能，同時提供用於「對話」(視頻電話)和「非對話」(存儲、廣播或流動)應用的「網絡友好」的視頻表示。H.26L標準包括視頻編碼層(VCL)(提供視頻圖像內容的核心高壓縮表示)和網絡適配層(NAL)(為經特定類型網絡的傳送打包該表示)。
不幸地是，目前的H.26L視頻編碼層(VCL)中的數據分割語法對分割比的選擇提供極小的靈活性。固定的分割不適於由不同網絡(例如802.11a和802.11b)提供的不同的不相等的錯誤保護能力。固定的分割也不允許基本層視頻質量的速率失真最優化。
目前的H.26L(或聯合視頻組或JVT或MPEG-4視頻部分10)規定了字節流(視頻基本流)中的數據分割語義，允許三個固定的分段類型分段A，包含編碼宏塊的報頭符號；分段B，包含幀內編碼塊的編碼塊模式和DCT數據；和分段C，包含幀間編碼塊的編碼塊模式和DCT數據。H.26L還規定了網絡適配層(NAL)中的打包處理，即將三個分段打包到三個包中。三個包具有不同的傳輸(例如RTP或實時傳輸協議)有效載荷類型，它們將通知應用層或底層網絡傳輸層以提供有區別的業務或不相等的錯誤保護。在接收機側，包含不同分段的包被解包和併入單個比特流(具有多個分段)來解碼。雖然該系統提供防止包丟失的某種級別的彈性(resilience)，但是它具有幾個缺點。
第一，固定分割和NAL打包處理不允許分割操作的任何速率失真最優化。與其中分割點和相應的基本對增強層包邊界能夠根據畫面特性被適配地改變的靈活數據分割相比，這會造成較低的視頻質量(在增強層數據丟失時)。
第二，固定分割和打包將基本和增強層的比限制在由報頭和運動矢量信息對DCT數據的量所確定的小範圍中。因為H.26L標準是為多種應用設計的(例如家庭影院和視頻流動)，應用或底層網絡將具有不同的不相等的錯誤保護的能力。基本和增強層分割的固定比將不允許其中不相等的錯誤保護可用的整個系統性能的最優化。
因此，需要進行改善，以便在H.26L環境中提供更大的數據分割靈活性，這對於支持經不同包丟失網絡的視頻通信應用是不可或缺的。
本發明致力於解決上述及其它問題，這是通過提供對VCL數據分割語義和相應的NAL打包處理的更改，使得能夠進行靈活的數據分割。在第一方面，本發明提供一種H.26L編碼系統，包括視頻編碼層(VCL)，具有分割視頻數據的第一分割模式和第二分割模式，其中第二分割模式分開地分割低頻和高頻DCT係數；和網絡適配層(NAL)，將數據打包到第一和第二包中，其中在由VCL實施第二分割模式時，第一包被配置為包含低頻DCT係數，第二包被配置為包含高頻DCT係數。
在第二方面，本發明提供一種在H.26L環境中分割和打包視頻數據的方法，包括提供視頻編碼層(VCL)，它具有分割視頻數據的第一分割模式和第二分割模式；在選擇第一分割模式時，將視頻數據分割為三個分段(A，B和C)；在選擇第二分割模式時，將視頻數據分割為第一分段(包含報頭信息和低頻DCT數據)和第二分段(高頻DCT數據)。
在第三方面，本發明提供一種存儲在可記錄介質上的、用於在H.26L環境中打包和分割視頻數據的程序產品，包括視頻編碼層(VCL)，它具有分割視頻數據的第一分割模式和第二分割模式；用於在選擇第一分割模式時將視頻數據分割為三個分段(A，B和C)的裝置；和用於在選擇第二分割模式時將視頻數據分割為第一分段(包含報頭信息和低頻DCT數據)和第二分段(高頻DCT數據)的裝置。
在第四方面，發明提供一種在H.26L環境中解碼視頻數據的解碼系統，其中視頻數據以兩種方案之一被打包，包括第一方案，其中報頭數據被打包為第一包類型，幀內編碼塊的編碼塊模式和DCT數據被打包為第二包類型，而幀間編碼塊的編碼塊模式和DCT數據被打包為第三包類型；第二方案，其中報頭數據和低頻DCT係數被打包為第一包類型，而高頻DCT係數被打包為第二包類型；並且其中解碼系統包括解包系統，用於確定所使用的是第一和第二方案中的哪一個並從包中解包視頻數據；和解碼器，用於解碼視頻數據。
本發明的這些和其它特徵從以下結合附圖的對本發明各方面的詳細說明將更易於理解，其中
圖1示出了按照本發明一個實施例的H.26L視頻傳輸系統。
圖2示出了按照本發明一個實施例的打包邊界指示(PBI)欄位。
參見圖1，其中示出了用於在H.26L編碼系統10和H.26L解碼系統18之間傳輸字節流的視頻傳輸網絡。H.26L編碼系統10包括視頻編碼層(VCL)12和網絡適配層(NAL)16。如本領域公知的，VCL12包括有效表示視頻數據內容的唯一語義，而NAL16被定義成格式化該數據並以適於由高層系統傳送的方式提供報頭信息。所述數據被組織為數據包，其中每個包含整數個字節。這些數據包然後以由NAL16定義的方式被傳輸。
數據分割以這樣一種方式重新安排符號屬於單個片段的一個數據類型(例如DC係數、宏塊報頭、運動矢量)的所有符號被收集在一個開始時字節對齊的VLC編碼比特流中。通過從正確的分段取回符號，解碼系統18能夠處理這樣被分割的數據流。
按照本發明，VCL12包括數據分割系統14，它能夠根據兩個模式(即模式一(M1)和模式二(M2))之一進行分割。包括報頭對DCT數據的模式一，由現有的H.26L規範在語義上定義，其中VCL中有如下八個語義單元類型0- TYPE_HEADER1- TYPE_MBHEADER2- TYPE_MVD3- TYPE_CBP4- TYPE_2x2DC5- TYPE_COEFF_Y6- TYPE_COEFF_C7- TYPE_EOS因為分割模式一對現有H.26L規範保持不變，所以保持向後兼容。加入提供DCT分割的模式二來提供增強的分割靈活性。如以下討論的，NAL打包方案按照在字節流中所使用的分割模式變化。
在分割模式二(即DCT分割)中，TYPE_COEFF_Y和TYPE_COEFF_C的每個進一步被劃分為表示高頻和低頻DCT係數的兩個新的分段。即，TYPE_COEFF_Y已被分為TYPE_COEFF_Y_L和TYPE_COEFF_Y_H；而TYPE_COEFF_C已被分為TYPE_COEFF_C_L和TYPE_COEFF_C_H。應當理解，對於這些新類型的命名習慣的選擇可以在不偏離本發明範圍的情況下進行改變。因此，對於模式二，數據分割系統提供如下10個語義單元類型0- TYPE_HEADER1- TYPE_MBHEADER2- TYPE_MVD3- TYPE_CBP4- TYPE_2x2DC5- TYPE_COEFF_Y_L
6- TYPE_COEFF_C_L7- TYPE_COEFF_Y_H8- TYPE_COEFF_C_H9- TYPE_EOS此外，新欄位打包邊界指示(PBI)已被添加入TYPE_HEADER的末尾。示例性的PBI欄位結構在圖2中示出。如所示，PBI欄位進一步被劃分為三個子欄位。第一子欄位是打包斷點(PBP)(2比特)，指示哪個分段打包應當斷開。即通過改變PBI，用戶能夠選擇哪個包應當包括TYPE_CBP和TYPE_2x2DC。第二子欄位是分段類型(PT)(1比特)，被設置為0，1被保留。第三子欄位是DCT斷點(DBP)(5比特)，指示TYPE_COEFF_X_H(X是Y或C)中的第一DCT遊程VCL對的索引的開始。因此，預先選定的PBI標識高頻和低頻DCT係數TYPE_COEFF_X_L和TYPE_COEFF_X_H之間的邊界。顯然，也能夠實施圖2所示以外的PBI結構來實現同樣的功能，這樣的其它結構落在該如上所指出的，NAL打包處理產生兩個包，其中每個包包括幾個不同類型的分割數據。按照本發明，根據VCL12實施的是哪個模式來選擇打包方案。因此，例如分割模式一導致打包方案一被實施，而分割模式二導致打包方案二被實施。NAL16能夠根據TYPE_HEADER分段是否以PBI欄位結束來確定使用哪個方案。
如果不包括PBI欄位，則使用打包方案一(P1)，它反映在當前H.26L規範中使用的方案。如所預期的，所有報頭和運動矢量信息被包含在包一中，所有幀內編碼塊模式和DCT數據信息被包含在包二中，而所有幀間編碼塊模式(CBP)和DCT信息被包含在包三中。
但是如果TYPE_HEADER分段以PBI欄位結束，則打包在方案二(P2)下操作。此時，最終所得包的內容將取決於PBI欄位中的值。以下是PBP值為2和PT值為0的例子。
包一TYPE_HEADER(帶有PBI欄位)TYPE_MBHEADERTYPE_MVDTYPE_CBP
TYPE_2x2DCTYPE_COEFF_Y_LTYPE_COEFF_C_L包二TYPE_COEFF_Y_HTYPE_COEFF_C_HTYPE_EOS在該方案二示例中，低頻DCT係數被打包在包一中，而高頻DCT係數被打包在包二中。因此，實現了靈活的打包。顯然，改變PBI欄位中的PBP值將改變方案二下的包的內容。因此，應當認識到，在方案二下能夠實現不同的變型。
在圖1中還示出了H.26L解碼系統18，包括解包系統20和解碼器22。在解碼之前，包被解包為8(打包方案一)或10(打包方案二)個分段來解碼。解碼器22從取決於實施哪個方案(方案一(S1)或方案二(S2))的正確的分段取回數據。
可以理解，在此所述的系統、功能、機制、方法、算法和模塊能夠在硬體、軟體或硬體和軟體的組合中實現。它們可以由任何類型的計算機系統或其它適於執行在此所述的方法的設備實施。硬體和軟體的典型組合可以是帶有電腦程式的通用計算機系統，在裝載和執行時，所述電腦程式控制計算機系統從而執行在此所述的方法。替換地，可以使用專用計算機，它包含執行本發明的一個或更多功能任務的專用硬體。本發明還能夠被嵌入電腦程式產品中，它包括所有允許實施在此所述的方法和功能的特徵，並且在裝載到計算機系統時，所述電腦程式產品能夠執行這些方法和功能。電腦程式、軟體程序、程序、程序產品或軟體在本文中是指用於使具有信息處理能力的系統直接或在以下任一或兩者之後執行特定功能的一組指令的以任何語言、代碼或符號的任何表達(a)轉換為另一種語言、代碼或符號；和/或(b)以不同實體形式再現。
已經為了示例和說明的目的提出了前面的對本發明優選實施例的描述。它們不是用於窮舉或將發明限制為所公開的精確形式，顯然，能夠根據以上教導進行許多更改和變化。這種對本領域技術人員顯而易見的更改和變化包括在如所附權利要求書所限定的本發明的範圍內。
權利要求
1.一種H.26L編碼系統[10]，包括視頻編碼層(VCL)[12]，具有用於分割視頻數據的第一分割模式和第二分割模式，其中第二分割模式分開地分割低頻和高頻DCT係數；和網絡適配層(NAL)[16]，用於將數據打包到第一和第二包中，其中在由VCL[12]實施第二分割模式時，第一包被配置為包含低頻DCT係數，第二包被配置為包含高頻DCT係數。
2.按照權利要求1的H.26L編碼系統[10]，其中第一分割模式包括第一分段，包含編碼宏塊的報頭符號；第二分段，包含幀內編碼塊的編碼塊模式和DCT數據；和第三分段，包含幀間編碼塊的編碼塊模式和DCT數據。
3.按照權利要求2的H.26L編碼系統[10]，其中第二分割模式包括TYPE_HEADER、TYPE_MBHEADER、TYPE_MVD、TYPE_CBP、TYPE_2x2DC、TYPE_EOS，並將TYPE_COEFF_Y和TYPE_COEFF_C的每一個劃分為高頻類型和低頻類型。
4.按照權利要求2的H.26L編碼系統[10]，其中第二分割模式包括TYPE_HEADER、TYPE_MBHEADER、TYPE_MVD、TYPE_CBP、TYPE_2x2DC、TYPE_EOS、TYPE_COEFF_Y_L、TYPE_COEFF_C_L、TYPE_COEFF_Y_H和TYPE_COEFF_C_H。
5.按照權利要求4的H.26L編碼系統[10]，其中在使用第一分割模式時，NAL[16]將TYPE_HEADER、TYPE_MBHEADER和TYPE_MVD打包為第一包，將TYPE_CBP、TYPE_2x2DC、TYPE_COEFF_Y、TYPE_COEFF_C和TYPE_EOS打包為第二包。
6.按照權利要求4的H.26L編碼系統[10]，其中在使用第二分割模式時，NAL[16]將TYPE_COEFF_Y_L和TYPE_COEFF_C_L打包為第一包，將TYPE_COEFF_Y_H和TYPE_COEFF_C_H打包為第二包。
7.按照權利要求4的H.26L編碼系統[10]，其中TYPE_HEADER包括一個具有決定高頻和低頻DCT係數之間斷點的打包邊界指示的欄位，並通知NAL[16]分割高頻和低頻DCT係數。
8.按照權利要求7的H.26L編碼系統[10]，其中打包邊界指示進一步確定哪個包應當包括TYPE_CBP、TYPE_2x2DC。
9.一種在H.26L環境中分割和打包視頻數據的方法，包括在選擇第一分割模式時，將報頭數據打包為第一包，將幀內編碼塊的編碼塊模式和DCT數據打包為第二包，並將幀間編碼塊的編碼塊模式和DCT數據打包為第三包；和在選擇第二分割模式時，將報頭數據和低頻DCT係數打包為第一包並將高頻DCT係數打包為第二包。
10.按照權利要求9的方法，進一步包括提供用於分割視頻數據的視頻編碼層(VCL)[12]；在使用第一模式時，將TYPE_HEADER、TYPE_MBHEADER和TYPE_MVD打包為第一包，將TYPE_CBP、TYPE_2x2DC、TYPE_COEFF_Y、TYPE_COEFF_C和TYPE_EOS打包為第二包；和在使用第二模式時，將TYPE_COEFF_Y_L和TYPE_COEFF_C_L打包為第一包，將TYPE_CORFF_Y_H和TYPE_COEFF_C_H打包為第二包。
11.按照權利要求10的方法，進一步包括步驟在高頻和低頻DCT係數之間設置斷點；和將斷點存儲在TYPE_HEADER中的邊界指示欄位中。
12.按照權利要求11的方法，其中在邊界指示欄位被包括在TYPE_HEADER中時，TYPE_COEFF_Y_L和TYPE_COEFF_C_L被打包為第一包，TYPE_COEFF_Y_H和TYPE_COEFF_C_H被打包為第二包。
13.按照權利要求11的方法，其中邊界指示欄位進一步確定哪個包應當包括TYPE_CBP和TYPE_2x2DC。
14.一種存儲在可記錄介質上的、用於在H.26L環境中打包和分割視頻數據的程序產品，包括一種裝置，用於在選擇第一分割模式時，將報頭數據打包為第一包，將幀內編碼塊的編碼塊模式和DCT數據打包為第二包，以及將幀間編碼塊的編碼塊模式和DCT數據打包為第三包；和一種裝置，用於在選擇第二分割模式時，將報頭數據和低頻DCT係數打包為第一包，而將高頻DCT係數打包為第二包。
15.一種在H.26L環境中解碼視頻數據的解碼系統[18]，其中視頻數據以兩種方案之一被打包，包括第一方案，其中報頭數據被打包為第一包類型，幀內編碼塊的編碼塊模式和DCT數據被打包為第二包類型，並且幀間編碼塊的編碼塊模式和DCT數據被打包為第三包類型；第二方案，其中報頭數據和低頻DCT係數被打包為第一包類型，並且高頻DCT係數被打包為第二包類型；和其中解碼系統包括解包系統[20]，用於確定所使用的是第一和第二方案中的哪一個並從包中解包視頻數據；和解碼器[22]，用於解碼視頻數據。
全文摘要
一種在H.26L環境中分割和打包視頻數據的方法和系統。公開了一種H.26L編碼系統10，包括視頻編碼層12(VCL)，具有分割視頻數據的第一分割模式和第二分割模式，其中第二分割模式分開地分割低頻和高頻DCT係數；和網絡適配層16(NAL)，用於將數據打包到第一和第二包中，其中在由VCL實施第二分割模式時，第一包被配置為包含所有低頻DCT係數，第二包被配置為包含所有高頻DCT係數。
文檔編號H04N7/30GK1650637SQ03809722
公開日2005年8月3日 申請日期2003年4月23日 優先權日2002年5月1日
發明者Y·陳, J·C·葉 申請人:皇家飛利浦電子股份有限公司