基於運動矢量特性的視頻非均勻差錯保護的製作方法

2023-06-01 15:10:41

專利名稱：基於運動矢量特性的視頻非均勻差錯保護的製作方法
計算機可以組織到一個網絡中，例如客戶機-伺服器網絡或是對等網絡。在這兩種類型的網絡中，計算機在物理和/或無線連接上與對方交換數據。與經由無線連接(例如通過無線電或紅外波)傳送的數據相比，經由物理連接(也就是通過互連銅線電纜或光纖電纜)傳送的數據具有較低的差錯率。例如，物理連接通常具有小於10-3的BER(誤比特率)，而無線連接則具有嚴格得多的條件，其BER的數量級為10-1到10-3。
多媒體是能夠經由網絡傳送的數據類型之一。多媒體指的是文本、圖形、語音或視頻。為了更有效地使用帶寬，在經由網絡傳送時將多媒體壓縮到一個比特流中。通常，視頻(它是一種多媒體類型)使用具有幀預測編碼以及可變長度碼字的壓縮算法。而這種操作則被用於獲取更高的壓縮度。然而，由於預測編碼會在時間上將那些在重建視頻過程中產生的差錯擴展到將來的視頻幀中，因此經過壓縮的視頻比特流很容易受到傳送差錯的影響。此外，在存在比特差錯的情況下，使用可變長度碼字可能導致解碼器與編碼器失步。為使比特流對於網絡上的傳送更為健壯，在視頻流的不同部分都添加了差錯保護。
一種傳送視頻的方法是藉助於MPEG(運動圖像專家組)。MPEG格式通過預測時間方向上的幀間運動而將視頻壓縮到由視頻分組構成的比特流中，然後使用DCT(離散餘弦變換)來組織空間方向上的任何冗餘量。所述視頻分組以一個報頭為開始，其後跟隨的是運動信息、紋理信息和填充比特。MPEG將視頻劃分成I、P或B幀(內部、預測或雙向幀)。
I幀是經過內部編碼的幀它們可以在不對其它幀進行任何參考的情況下得到重建。P幀則是從上一個I幀或P幀中前向預測的。B幀則是從上一個/下一個I幀或P幀中前向預測和反向預測的。I幀中存在的對象通過運動矢量而在一個P或B幀中得到預測的。在MPEG中，運動矢量具有水平和垂直分量，這些分量顯示了對象從I幀到P或B幀的運動的大小和方向。
為了使壓縮視頻流相對於傳送中出現的差錯而言更為健壯，目前使用了若干種糾錯工具，以便能夠檢測、遇制(containment)和隱藏差錯。這種工具包括再同步發生器，報頭擴展碼、數據劃分和可變長度編碼。在傳送過程中，通過將基於MPBG的視頻劃分成具有不同重要性的部分，例如報頭、運動矢量和DCT值，可以對所述視頻進行保護。此外也可以將諸如裡德-索羅門消除碼之類的糾錯碼或是基於反饋的保護方案(例如第一或第二類混合ARQ)添加到視頻部分中，以便改進健壯性。然而，由於差錯保護的力度僅僅基於數據劃分類型，因此這些差錯保護方法忽視了數據流中實際包含的數據。這導致對視頻流中非重要部分進行編碼的開銷增長。
在依照本發明的第一個實施例中提供了一種數據傳輸方法。其中多媒體流是經由一種電子介質接收的。在流的內部存在多個矢量。基於這些矢量向該多媒體流添加了多個差錯保護單元。
在依照本發明的第二個實施例中提供了一種數據傳輸方法。其中視頻流是經由一種電子介質接收的。所述流包含多個矢量。為這些矢量分配重要性參數。基於所述重要性參數而向該視頻流添加多個差錯保護單元。此外還基於重要性參數來劃分視頻流。
在依照本發明的第三個實施例中提供了一種數據傳輸方法。其中產生一個視頻傳送。所述視頻傳送轉換成一個包含了多個矢量的視頻流。並且為其中每一個矢量都分配一個重要性參數。基於重要性參數，將多個差錯保護單元分配給視頻流。此外，基於所述重要性參數而對視頻傳送進行劃分。
在本發明的第四個實施例中提供了一個系統。運動矢量提取器從視頻流中提取一個或多個運動矢量。分析軟體工具將重要性參數分配給其中每一個運動矢量。此外，分析軟體工具還對差錯保護控制器進行控制，以便依照分配的重要性參數來添加差錯保護，並且所述分析軟體工具對視頻流劃分器進行控制，以便依照分配的重要性參數來劃分視頻流。視頻流劃分器對視頻流進行劃分。差錯保護控制器將差錯保護添加到視頻流中。而發送機則將視頻流發送到某個設備。


圖1顯示的是本發明一個實施例的框圖。
圖2顯示的是各自包含了一個對象的MPEG視頻的I幀、P幀和B幀。
圖3顯示的是存在於P和B幀之中的第一和第二運動矢量。
在依照本發明的一個實施例中，視頻經過編碼或以一種編碼格式經由網絡到達。存在於已編碼視頻中的運動矢量則被消除。此外還對運動矢量進行分析。並且基於所述分析而將差錯保護添加給視頻流以及對視頻流進行劃分。
圖1顯示的是依照本發明一個實施例的系統1的框圖。視頻是由視頻編碼器100(例如實時影像)編碼或是作為存儲的視頻比特流(例如預壓縮視頻)到達的。在某些實施例中，存儲的視頻可以來自客戶機-伺服器網絡中的一臺伺服器，也可以來自對等網絡中的一個對等體。
已編碼視頻或已存儲的視頻流經過一個從視頻流中提取運動矢量(MV)的運動矢量提取器110。優選地，所述運動矢量提取器充當一個比特流分析器。運動矢量則在MPEG(例如MPEG-2和MPEG-4)中使用，以便當存在於I幀之中的一個對象在時間上擴展到P幀或B幀的時候顯示該對象的運動。在圖3中顯示了涉及I、P和B幀中的一個對象時的運動矢量。
然後則在一個分析軟體工具120中對運動矢量進行分析。較為優選的是，在這裡將包含了視頻流的某些幀或是某些幀的一部分標記為「重要」。例如，在這裡可以對某些幀的哪一部分最有可能丟失進行預測。然後可以將這些部分標記為「重要」。
已編碼視頻由一個視頻流劃分器130劃分。例如，可以將視頻流劃分成紋理數據、場景數據和/或運動數據。從分析軟體工具120中得到的結果可以用來控制劃分視頻流的類型。例如，分析軟體工具120可以檢測對象在幀的一個或多個特定部分(例如頂部)之中的移動。然後能對未來的幀進行劃分，所以未來幀中相同的一個或多個特定部分要比其它的一個或多個部分(例如幀的底部)受到更多的差錯保護。
差錯保護是由差錯保護控制器140基於分析軟體工具120所獲取的結果添加給視頻流的。實質上，差錯保護是根據序列內部的數據而被應用於整個視頻序列的。由此不會因為對不重要的視頻部分或類型應用差錯保護而浪費帶寬。而且，如果沒有差錯保護，帶寬也不會浪費到那些可以在接收機中隱藏的視頻部分或類型上。例如，在將視頻流分離成分組的時候，可以依照所述分析而將UEP(非均勻差錯保護)應用於數據。優選地，可以將更多的差錯保護添加給標記為「重要」的視頻流部分。例如，可以對處於「重要」區域的分組或MPEG視頻報頭可以通過採用更好的糾錯碼(例如裡德-索羅門碼)的形式，或者通過在視頻流的其它地方重複這部分數據(冗餘)的形式，而得到更多的保護。在本發明的另一個實施例中，分析軟體工具120可以檢測那些跨越了一系列幀進行線性移動的連續區域或「斑點(blob)」。那麼由於接收機(未顯示)能夠隱藏由於丟幀而在線性運動區域中出現的差錯，因此系統1可以降低傳送幀序列中所使用的提供給某些幀的錯誤保護等級或優先級。
在特定數據元素涉及運動矢量時，分析軟體工具120還可以對其進行計算。例如，可以計算總的能量(或方差)數據元素、均值或方差數據元素、全局方向測量元素、鄰近方向數據元素(例如幀的相似部分的顯示)或隨機噪聲數據元素。總能量數據元素可以用於顯示整個幀場中存在的純數據元素的總數。均值或方差數據元素可以用於測量特定對象的總的或定向運動。全局方向測量數據元素可以用於表示攝像機的移動鏡頭(panning)。鄰近方向數據元素則可以在整個幀具有多個在相同方向移動的數據元素的時候使用。隨機噪聲數據元素可以用於表明是否存在「不重要」的噪聲。結果，視頻流的差錯保護或劃分可以基於所獲取的數據元素。
發送機150將視頻流經由物理或無線介質發送到一個或多個設備(例如接收機)。優選地，所述設備處於一個網絡上。在本發明使用了反饋類型保護器的一個實施例中，可以使用運動矢量分析來對源自網絡的反饋進行處理。在這個實施例中，發送機150可以將視頻流回送到分析器軟體工具120。此外還可以使用反饋來影響給定的差錯保護類型。例如，如果接收機(未顯示)將那些表明沒有正確再現運動(例如由於差錯)的數據反饋給分析軟體工具120，則系統1可以根據來自接收機的反饋以及所述流中的運動矢量類型來增加或改變提供給視頻流的保護等級。此外還可以對系統1進行編程，以便忽略某種類型的反饋。例如，如果接收機(沒有顯示)檢測到一個分組丟失並向圖1的系統1發送了一個重傳請求，那麼可以通過對系統1進行編程而忽略所述請求。之所以能夠忽略所述請求則是因為接收機會在隱藏差錯中進行可接受的作業。因此系統1不會重傳所述分組。
圖2顯示了MPEG視頻的I幀310、P幀330和B幀320，其中每一個幀都包含了對象300。正如我們可以看到的，對象300正在貫穿所述幀而向右下方移動。
圖3顯示了存在於P和B幀330、320之中的第一和第二運動矢量400、410。第一運動矢量400具有正的水平幅度和負的垂直幅度。並且可以使用第一運動矢量400來預測對象300從I幀310到P幀330的運動。第二運動矢量410則具有負的水平幅度和正的垂直幅度。並且可以使用第二運動矢量410來預測對象300從I幀310到B幀320的運動。由於已經將對象300編碼成I幀，因此I幀310不包含運動矢量。
在幀中，通過識別相似的運動矢量，可以對具有「相似」運動矢量的某些區域進行識別，其中所述區域例如可以是一個對象或是感興趣的點。例如，在一個幀中可以包含一組具有相同幅度並且全都向上指向45度角的運動矢量，而這些運動矢量表示的則是所述方向移動的一個對象。然後則基於這組運動矢量向數據(例如運動矢量、報頭和紋理數據)中添加檢錯碼或糾錯碼，從而實施差錯保護。
在先前說明書中已經參考本發明具體的示例性實施例而對本發明進行了描述。然而顯而易見的是，在這裡可以對本發明進行各種修改和變化，而不脫離下列權利要求所闡述的本發明的更寬泛的精神和範圍。因此，說明書和附圖應當以一種示範性方式而不是限制意義來看待。
權利要求
1.一種數據傳輸方法，包括以下步驟通過電子介質來接收多媒體流，其中所述流包括多個矢量；以及基於這些矢量向該多媒體流中添加多個差錯保護單元。
2.如權利要求1所述的方法，還包括為每一個矢量分配一個重要性參數的步驟，其中所述添加步驟還包括根據所述重要性參數來添加差錯保護單元。
3.如權利要求1所述的方法，還包括經由電子介質來發送帶有所述差錯保護單元的多媒體流。
4.如權利要求1所述的方法，其中，所述多媒體流是視頻流。
5.如權利要求1所述的方法，其中，所述多媒體流採用MPEG格式。
6.如權利要求1所述的方法，其中，所述矢量被用於形成來自以下群組中的一個或多個數據元素，其中所述群組由總的能量(或方差)數據元素、均值或方差數據元素、全局方向測量數據元素以及多個小型隨機運動數據元素組成；其中所述差錯保護單元是基於該數據元素添加給所述多媒體流的。
7.如權利要求1所述的方法，還包括根據方向從所述矢量中選擇多個相似矢量並基於該相似矢量來添加所述差錯保護單元的步驟。
8.如權利要求1所述的方法，還包括根據所述矢量向所述多媒體流中添加UEP的步驟。
9.一種系統，包括運動矢量提取器，用於從視頻流中提取一個或多個運動矢量；視頻流劃分器，用於劃分視頻流；差錯保護控制器，用於向視頻流添加差錯保護；分析軟體工具，用於為每一個運動矢量分配一個重要性參數，控制該差錯保護控制器根據分配的重要性參數來添加差錯保護，以及控制該視頻流劃分器根據分配的重要性參數來劃分視頻流；以及發送機，用於向設備發送視頻流。
10.一種計算機可讀介質，其上保存了可用於對計算機進行控制的計算機可執行處理步驟，所述步驟包括通過電子介質來接收多媒體流，其中所述流包括多個矢量；以及基於這些矢量向多媒體流中添加多個差錯保護單元。
全文摘要
在根據本發明的第一個實施例中，提供了一種數據傳輸方法。其中經由一種電子介質來接收多媒體流。在所述流內部存在多個矢量。基於這些矢量，可以將多個差錯保護單元添加給該多媒體流。
文檔編號H04N7/50GK1633813SQ03803979
公開日2005年6月29日 申請日期2003年2月12日 優先權日2002年2月15日
發明者R·A·科亨 申請人:皇家飛利浦電子股份有限公司