媒體信號處理方法，相應系統及其在資源可擴縮運動估算器中的應用的製作方法

2023-10-10 13:48:19 4

專利名稱：媒體信號處理方法，相應系統及其在資源可擴縮運動估算器中的應用的製作方法
技術領域：
本發明涉及在媒體信號處理系統中處理以連續的媒體數據包組的形式可利用的媒體信號的方法，所述處理方法執行一個或多個功能，其中至少一個功能能夠利用導致不同的輸出質量和資源需求的不同級別的可擴縮性(scalability)來執行。
本發明還涉及允許執行所述方法的相應的處理設備，並且涉及所述處理方法的應用。
背景技術：
軟體算法完成媒體(特別地，視頻)處理正在可編程器件上日益增加地執行。這些算法通常具有數據相關的資源使用。由於難於預測最壞情況資源分配，而且對於有效的成本合算的實施來說也不期望這樣的資源分配，所以媒體處理算法通常得處理有限的資源，仍提供好的輸出質量，而又不犧牲穩定性和穩健性。可擴縮媒體算法非常適用於軟體算法實現，其允許輸出質量和資源使用之間的平衡。然而，數據相關的處理導致了不同的資源使用，並且資源波動可能大於系統所能夠接受的程度。
執行資源可擴縮算法的設備的第一實例例如是運動估算器，諸如由R.Braspenning、G.de Hann和C.Hentschel在International Conference on VisualCommunications and Image Processing(VCIP)，Proceedings，San Jose(USA)，2002年1月，第442-453頁上的「Complexity scalable motion estimation(複雜性可擴縮運動估算)」中所述的一個實例。在這樣的運動估算器中，依賴於瞬時活動性和空間內容特性，資源使用可能高度波動。為了保持在所提供的預算(或資源)範圍內，這個運動估算器包括調整器，其允許將負載保持為靠近特定的目標。
然而，利用這樣的調整器，調整參數是在幀的基礎上進行計算和調整的，並且閾值參數「資源/質量設置」對於整個幀是固定的，而因此對於這個幀中或多或少的活動區域來說，沒有區別是可能的。資源使用也是對於整個幀來確定和此後被使用的。這樣，在幀內沒有自適應是可能的，並且結果是在快速變化之後，使用比特定目標多得多的資源，調整經常失敗。最後，看來每幀的資源使用的波動對於穩健和穩定的應用來說仍太高。
在文獻WO03/050758(PHNL010900)中描述了允許執行資源可擴縮算法的解決方案的第二個實例。在所述文獻中所描述的方法能夠適應於媒體信號的不斷變化的要求(所述要求例如是對於質量等級的不可預測的要求，並因此需要更多的處理能力)，其包括的步驟為分配能夠在第一質量等級上操作的預算，確定所謂的進程和在操作期間使用的預算(由於實際的資源使用的測量)，以及為媒體信號處理設置第二質量等級(基於所述進程，所分配的預算和實際使用的預算)。
然而，可以注意到，並沒有提及該調整方法主要影響算法的質量等級，並且僅間接影響資源使用。質量等級和資源使用之間的相關性很弱或者是不適宜的，尤其對於與媒體信號相關的處理來說。此外，由於預算信息包括有關處理算法之外的參數的測量，例如CPU周期，所用的時間，停止周期，總線帶寬，存儲器存取等，因此在操作期間使用的預算是由處理算法之外的系統特性決定的。該調整因此也由處理硬體來決定，與處理算法具有繁重的交互作用，而且由於整個系統必須對於全部的特定應用被優化，所以在其它的平臺或配置上的再使用是成問題的。因為可編程器件上的某些系統特性難於測量或預測(例如總線帶寬，停止周期等)，這時常是不可能的。

發明內容
因此，看來需要為媒體(視頻)處理算法提供負載平衡調整，而不需要任何外部控制，以允許在其它的平臺或產品系列成員上容易的再使用，並將所述負載調整基於所指定的媒體處理特定的預算以及內部媒體處理特定的測量，忽略其它系統特定的參數。此外，所述負載調整優選地必須對於一組視頻數據包例如幀來進行，同時調整參數在幀內進行修改。還需要檢驗這些調整特性獨立於已處理的數據量以及接近於每幀的特定資源預算的所述調整獨立於輸入數據特性(可選地，該調整將必須對於小於一幀的並且具有任何規則的或不規則的形狀和大小的區域或段的個別預定的預算調整資源使用，仍提供對整個幀的全部預算的調整)。
因此，本發明的目的是建議一種處理方法，其中提供包括所述特徵和優點的負載調整。
為此，本發明涉及如在說明書的引言段中所定義的方法，而且其特徵在於，它包括以下步驟-請求資源，以提供多個系統輸出；-給該方法分配預定的預算，以允許在給定等級的可擴縮性上操作該方法；-測量考慮已處理的數據的所謂的進程；-測量在該方法的工作期間使用的至少一個媒體處理特定資源；-基於包括所述分配的預算和所述測量的調整參數，通過給媒體信號處理分配修改後的資源，執行負載調整。
所建議方法的優點如下(a)對於特定目標(指定的預算)的極佳的調整；(b)利用有限資源的可編程器件上的穩定和穩健的媒體處理；(c)該調整是媒體處理算法的一部分，並且不需要外部調整組件具有其調整的算法因此容易移植到其它平臺或產品系列成員上；(d)鑑於在給定資源上優化的可察覺到的圖像質量，幀中或多或少的活動區域的差異是可能的。
根據本發明的一個特定實施例，調整參數優選地在具有規則邊界的幀內進行修改，但是其也在規則格柵(grid)中被細分為段的幀中進行修改，單獨的預算隨後被分配給至少一個所述段，通常至少是第一個。然而，基於容量相關的段特性，單獨的預算還可以被分配給每個所述段。
在本發明的另一個實施例中，這些調整參數還可以在被細分為不規則部分的幀內進行改變，特定預算被分配給每個所述不規則部分。
本發明的另一個目的是建議一種媒體信號處理系統，允許執行根據本發明的處理方法。
因此，本發明涉及一種媒體信號處理系統，用於處理連續的視頻數據包組，並包括一個或多個功能電路，其中由所述電路完成的至少一個功能可以利用導致不同的輸出質量和資源要求的不同等級的可擴縮性來執行，所述系統包括調整設備，其包括反饋控制環路，用於動態改變系統的資源需求，作為所謂的偏差的函數(function)，所謂的偏差應用於所述可擴縮功能的至少一個可變參數，並在指定的周期期間通過計算在預期的和實際的使用之間的差異來計算。
本發明的還一個目的是將所述處理方法用於例如運動估算處理的應用中。
為此，本發明涉及媒體信號處理方法對於負載調整方法的應用，用於資源可擴縮運動估算器測試矢量候選者的目標數量，並包括用於由連續幀組成的輸入視頻數據流的負載平衡調整，連續幀包含連續的象素線並被細分為相連的塊，所述負載調整方法包括以下步驟-請求資源，從而以估算的運動矢量候選者的給定數量的形式提供多個系統輸出；-每幀分配預定的預算，以允許在限定的質量等級上操作；-測量考慮已處理的數據的所謂的進程；-測量在該方法的工作期間使用的資源；-基於包括所述分配的預算和所述測量的調整參數，通過向所述媒體信號處理分配修改的資源來執行負載調整。
本發明的還一個目的是在例如清晰度增強處理的應用中使用所建議的處理方法。
為此，本發明涉及在用於清晰度增強處理中的對於負載調整方法的媒體處理方法的應用，所述負載調整方法包括以下步驟-請求資源，從而以塊活動性和相關決定的給定數量的形式提供多個系統輸出；-每幀分配預定的預算，以允許操作在限定的質量等級上；-測量考慮已經處理的數據的所謂的進程；-測量在該方法操作期間使用的資源；-基於包括所述分配的預算和所述測量的調整參數，通過向所述媒體信號處理分配修改的資源來執行負載調整。


現在本發明將參照附圖通過示例來加以說明，其中-圖1示出了根據本發明的基於進程的媒體處理調整器；
-圖2和3示出了根據本發明的調整器的兩個應用；-圖4示出了根據本發明的更特定的基於進程的調整器；-圖5示出了在圖4中的調整器中提供的常規的低通濾波器的示例；-圖6相對於圖4示出了根據本發明的基於進程的調整器的另一個示例；-圖7示出了將圖像分割為段，並將所述段之一分割為調整部分和塊；-圖8示出了根據本發明的基於進程的調整器的進一步示例；-圖9是描述圖6的所述調整器如何工作的流程圖的一個示例。
具體實施例方式
根據所建議的方法，圖1示出了允許滿足上面列出的要求的一個基於進程的媒體處理調整器的一般結構。所示的調整器包括用於媒體處理的基礎級100。該級可以包括若干方塊，其數量對於下面將說明的本發明並不是實質性的。在並不是本發明限制的所示的示例中，所述級例如包括串聯的執行功能1(F1)的第一電路110和執行功能2(F2)的第二電路120。在所述級100中實施的基礎算法例如可以是運動估算，但原理可以更廣泛地應用於具有數據相關的資源使用的任何可擴縮算法(例如，另一個實施例是用於在個別圖像的最相關區域中清晰度增強的算法)。
在級100中，第一電路110接收輸入視頻信號(IVS)，而第二電路120傳遞輸出視頻信號(OVS)。調整環路130則與級100相關。在級100中，第三電路30(PM，用於進程測量)允許測量稱為進程的表達式，並事實上由輸入信號中被處理的數據的數量和將在指定周期(例如，幀周期)中處理的數據的總量之間的比率來確定。所述電路30例如可以是傳遞指示p。另外，在級100中，第四電路40(RM，用於資源測量)允許測量至少一個使用的媒體特定資源。所述電路40傳遞數值Rr，其是處理算法使用的資源的實際累計數值。電路30的輸出信號p被第五電路50(ERC，用於「預期資源使用」計算)接收，而電路40的輸出信號Rr被第六電路60(RDC，用於「資源偏差計算」)接收。電路30和40具有輸入RESET(復位)，用於在測量周期開始時使它們復位。
在電路30的輸出上可獲得的測量的進程p用於加權在電路50的輸入上可得到的目標Ra(或每個指定周期的預算)，並且在電路50的輸出上如此獲得的加權後的目標Re在電路60的第二輸入上被接收，電路60基於值Re和Rr來計算與加權後的目標的偏差Rd。這個偏差Rd是朝向電路120發送的資源/質量設定，以執行所請求的調整。在電路60的這個輸出Rd和電路120的輸入之間，可以提供低通濾波器70(LPF)和具有非線性功能的電路80(NLF)，這兩個電路中的每一個都是可選的(在圖1中，它們被示出)。
這些原理首先可以應用於具有規則邊界的幀，但這並不是唯一可能的實施例。例如，對於圖像的不同部分，諸如靜止圖像部分，移動區域，紋理區域，平坦區域，具有相同方向和速率的運動矢量區域等，媒體處理還可以要求不同的資源，以實現近似恆定的感覺質量。這些圖像部分可以再細分為段，這些段基於它們的內容本身可以在規則或不規則格柵中。在這樣的分段後，每一段可以依賴於重要的容量相關的段特性被分配優先權或相對預算。另外，不同的優先權可以被指定用於圖像的開始，為了更快的會聚。
這個通用的負載調整方法可以用於許多應用中，例如用於在已經引用的文獻「複雜性可擴縮運動估算」中所述類型的資源可擴縮運動估算器中。如在所述文獻中所解釋的，運動估算通常解決假定兩個亮度圖像f(x，t-1)和f(x，t)的問題，查找矢量場d(x，t)，以使f(x，t-1)＝f(x+d(x，t)，t) (1)實際上，為了得到穩定的解決方案，函數d(x，t)的估算不是對於每一個象素而是對於一組象素例如8×8的塊執行的。這引入了限制，使得d(x，t)＝d(x′，t)，x′∈B(x)， (2)其中B(x)是在位置x上的象素塊，即B(x)＝{x′|x′idivβi，i＝0，1} (3)βi是塊維數。為方便起見，定義組BC(用於「塊坐標」)，其包含在塊位置上的全部坐標，即BC＝{x|ximod βi，＝0i；i＝0，1}(4)
該估算算法隨後被定義如下。考慮在位置x∈BC上的塊。組PC(用於「先前計算的」)包括在當前時刻t已經被估算過的塊的位置。候選組CS被構建，即CS＝{ci|i＝0，......，|CS|-1}(5)候選矢量ci與塊位置xi相關，其通過掃描順序與當前位置x相關(利用單位矢量s0和s1表示，例如，s0＝(1，0)以及s1＝(0，1))。塊位置xi可以使用相對塊位置矢量δ來描述，即xi＝x+δ0β0s0+δ1β1s1(6)如果矢量δ滿足條件(δ1＜0)∨(δ1＝ 0∧δ0＜0)，則該塊位置是當前時刻t已經處理過的一個鄰近塊，即xi∈PC，並且可以將其輸出矢量作為候選者。對於每個候選矢量ci∈CS，匹配誤差ε如下計算(c,x,t)=xB(x)|f(x,t)-f(x-c,t-1)|---(7)]]>隨後，具有最低匹配誤差的候選矢量cmin被指定為輸出置換矢量，即cmin＝argmin(ε(c，x，t))(8)c∈Cs並因此x′∈B(x) d(x′，t)＝cmin(9)最後，位置x被加到組PC，即PC:＝PC∪{x}。
在給定的運動估算的實例中，所述的資源可擴縮運動估算器使用例如(儘管可以設計其它的機制來進行運動估算器可擴縮)稱為塊跳躍閾值的表達式來確定是否測試圖像內給定塊的另一個矢量候選者。塊跳躍是指一種技術，用於選擇最重要的塊來處理。根據所述技術，用於給定塊的運動矢量僅是從鄰近的塊中簡單拷貝，除非其導致高於可變閾值的一個匹配誤差。在當前情況下，可變閾值利用反饋環路來控制，其保持資源使用低於可編程的電平。這個塊跳躍機制要求至少計算一個SAD(絕對差之和)。由於每個塊的SAD計算的平均值從不會低於一，並且接近每個塊一個SAD的平均值很難利用可接受的質量來達到，需要另外的機制塊跳越(block skipping)，其允許防止將資源花費在候選選擇執行得很差的塊上(例如，沒有包含或包含非常低的對比度紋理的塊上)。
改變塊跳躍閾值因此影響被測試的候選者的數量，並結果影響運動估算器的負載。每次運動估算器處理水平行的塊(或塊線(block line))時，這個塊跳躍閾值利用負載平衡調整器來更新。在利用給定的塊跳躍閾值處理塊線之後，運動估算器為圖像中已處理的所有塊輸出候選者的實際平均數值。在相關的圖像結束時，所述候選者的平均數值應接近指定的候選者的目標平均數值，即誤差應接近0。實際上，給定剩餘誤差值，其是在指定的和實際的候選平均者數量之間所觀測到的差異，校正值必須被計算，並且這個校正必須被轉換為用於下一塊線的塊跳躍閾值的適當值，通常根據非線性轉換功能(但是這也可以通過與恆定因子相乘)來實現。
然而，可以觀察到，只有在圖像結束時與目標的偏差才是重要的，而不是單獨地對於每個塊線。而且，應避免在塊線之間大的負載差異，因為這些差異能導致它們之間顯著的質量差異。因此，建議在此處所述的運動估算器中考慮圖像中塊線的相對位置。這個相對位置稱為進程，其用於對於整個圖像加權候選者的目標數量，以便為所有已處理的塊線獲得加權後的候選者的目標數量。候選者的實際數量與加權後的目標數量的偏差則被用於導出塊跳躍閾值。利用進程的目標數量的加權使該調整器獨立於塊線位置。
在圖2中，圖1中示出的方案被應用於運動估算的基礎算法。根據圖2中示出的實施例，運動估算器200包括電路210和220，用於自身執行運動估算。調整環路230則與運動估算器200相關，並包括與電路50至80相似的電路51至81。在級200中，第三電路31(PM)傳遞指示p，允許測量進程，其由在輸入信號中已處理的數據量與必須在指定周期(如幀周期)中處理的數據總量之間的比率來決定。另外，在級200中，允許測量使用的資源的第四電路41(RM)傳遞數值Rr，其是由處理算法使用的資源的實際累計數值。電路31的輸出信號p由第五電路51接收，並且電路41的輸出信號Rr由第六電路61的第一輸入接收。在電路31的輸出上可得到的測量的進程p用於加權在電路51的輸入上接收的目標Ra(或每個指定周期的預算)，並且這樣獲得的加權後的目標數量Re在電路61的第二輸入上接收到，電路61在所述值Re和Rr的基礎上計算與加權後的目標的偏差Rd。這個偏差是朝向電路220發送的資源/質量設定，以執行所請求的調整。在電路61的輸出Rd和電路220的相應輸入之間，如圖1中可以提供低通濾波器71和具有非線性功能的電路81，這兩個電路中的每一個都是可選的(在圖2中，它們被示出)。
在圖3中，圖1的方案被用於另一情形中，用於執行清晰度增強的基礎算法。根據所示的實施例，基於進程的調整現在包括基礎級300，其本身包括第一電路310，用於塊活動性(例如，當其對應於具有高對比度的紋理時，活動性可以是高的，或對於中等對比度或低對比度紋理，可以是中等或低的，)的計算和有關處理的決定(例如，相應的決定可以是銳化(sharpening)，即增加局部對比度，或不動作(do nothing)，或平滑(smoothening)，即減小噪聲)，而第二電路320用於塊處理。在這個示例中，這些特性(對於清晰度增強算法)導致容量相關的資源使用對於局部調整，有可能使用兩個不同的閾值等級(在「不動作」和「銳化」之間，以及在「不動作」和「平滑」之間)，其可以被移位以減小或增加資源使用(「不動作」對應於最少的資源)。調整環路330隨後與運動估算器300相關，並包括與電路50至80相似的電路52至82。在級300中，傳遞指示p的第三電路32(PM)允許測量進程，其由在輸入信號中已處理的數據量與在指定周期(如幀周期)中必須處理的數據總量之間的比率來決定。另外，在級300中，允許測量使用的資源的第四電路42(RM)傳遞數值Rr，這是由處理算法使用的資源的實際累計數值。電路32的輸出信號p由第五電路52接收，而電路42的輸出信號Rr由第六電路62接收。在電路32的輸出上可得到的測量的進程用於加權在電路52的輸入上可得到的目標Ra(或每個指定周期的預算)，並且在電路62的第二輸入上接收如此得到的加權後的目標Re，電路62在所述值Re和Rr的基礎上，計算與加權後的目標的偏差Rd。這個偏差是朝向電路320發送的資源/質量設定，以完成所需要的調整。在電路62的輸出Rd和電路320的輸入之間，如圖1和2中可以提供低通濾波器72和具有非線性功能的電路82，這兩個電路中的每一個都是可選的(在圖3中，它們被示出)。
相對於圖2中所示的應用，圖4中描述了更特定的實施例，其示出了根據本發明的基於進程的調整器的一個特定示例。在所述圖4中，候選者的輸入目標數量TANC由乘法器411接收，其後串聯連接減法器412、低通濾波器414、限幅器415(即，具有非線性功能的電路)、轉換器416(T)和運動估算器417(EST)。濾波器414和限幅器415是可選的。在運動估算器417的輸出上，可得到兩個數據處理的塊線數量NBLP和候選的實際數量RNBC。具有增益為K的放大器413可以在減法器412和低通濾波器414之間被提供。在每個塊線調整的當前特定實施例中，通過在計算電路418中確定比率PROG＝NBLP/TNBL獲得進程，其在乘法器411的第二輸入上被接收，用於加權候選者的輸入目標數量TANC，其中TNBL是幀中塊線的總數。在乘法器411的輸出上可得到的加權後的候選者的目標數量WTANC在減法器412的第一輸入上接收，其負輸入接收候選者的實際數量RNBC。在WTANC和RNBC之間的差稱為偏差DEV，其在放大器413中被乘以增益係數K，並在濾波器414中進行低通濾波，而且在限幅器415中進行限幅(如果提供了這後兩個可選的電路)。在限幅器415的輸出上(或如果沒有提供濾波器414和限幅器415，則在放大器413的輸出上)可得到的校正值COR根據上述的線性或非線性的轉換功能被轉換為塊跳躍閾值BHT的值。在已完成的試驗中(但是這無論如何並不是本發明的限制)，這個閾值BHT利用下面的表達式給出BHT=3,3*(total number of blocks)-(target number of candidates)+correction-1,9*(total number of blocks)]]>這個功能優選地利用查詢表來完成。塊跳躍閾值BHT隨後由運動估算器417接收。對於低通濾波器，可以使用傳統的一階IIR低通濾波器，如圖5中所示的濾波器的實例。濾波器的延遲元件D和塊跳躍閾值在每個新圖像開始時被復位。
圖4的基於進程的調整器的可替換示意圖示在圖6中被提出，其中圖4的實施中已經存在的電路可以同樣地被參考。候選者的輸入目標平均數值TANC由減法器631接收，其後串聯跟隨著乘法器632、低通濾波器414、放大器413、限幅器415、轉換器416和運動估算器417，在其輸出上可得到兩個數據處理的塊線數量NBLP和候選者的實際平均數值RANC。與前面一樣在現在位於減法器631和低通濾波器414之間的計算電路418中計算的進程在乘法器632的第二輸入上被接收。運動估算器417的其它輸出即候選者的實際平均數值RANC由減法器631的負輸入接收。在候選者的輸入目標平均數值TANC和候選者的實際平均值RANC之間的差(也稱為偏差DEV)在乘法器632的第一輸入上接收，並被乘以先前在計算電路418中計算的進程，所述乘法器傳遞加權後的誤差WER，隨後如前在電路414，413，415，416和417中進行處理。
在圖像開始時的相對偏差將僅導致塊跳躍閾值的小變化，但這將影響圖像中的所有剩餘塊線。與此相反，接近圖像結束的相對偏差將導致閾值的較大變化，以滿足目標。總的來說，該調整與圖4中所示的具有絕對偏差的調整器相同或相當。
在上述實施例的情況中，可利用的資源平均分配在圖像中，即，圖像的每一部分都被給予和每個其它部分相同的資源平均數。然而，這並不總是導致最佳的輸出質量。於是，能夠建議基於進程的調整器的第三個實施方式，其中依賴於圖像內容，獨立的負載目標用於不同的圖像部分。根據這個第三實施方式，如圖7的左部所示，每個圖像被劃分為段(在當前情況中，被劃分為相等大小的矩形段)，其負載目標被確定(在圖7的示例中，包括3240個8×8象素的塊的圖像被劃分為3×6＝18個段，並且如圖7的右部所示，每個段包括12個調整部分和15×12＝180個塊，即，每個調整部分15個8×8象素的塊)。這些負載目標表示為每個塊的候選者平均數值，其通過這樣的方式來確定，以使其具有如下特性(a)所有圖像段的平均負載目標與整個圖像的特定負載目標相同；(b)由於運動估算器不能每個塊花費超過給定數量的候選者，所以最大負載目標不超過每個塊的所述候選者的給定數值；(c)類似地，由於運動估算器對於每個塊不能花費給定數值的候選者，所以最小負載目標不低於大約每個塊的所述候選者的給定數值。
對於不同圖像段使用單獨的負載目標數量的一個調整器的示意圖在圖8中示出。下一個段的所有處理的調整部分的候選者的輸入目標數量TNCPS在減法器851上接收，其後串聯跟隨著放大器853、轉換器856(TRANS)和運動估算器857(EST)，在其輸出上可得到下一個段的所有處理的調整部分的候選者的實際數值RNBC(RP)。用於調整器的目標是在給定段中所有已處理的調整器部分的候選者數量TNCPS(這個目標隨著處理的調整器部分的數量而呈線性增加)。這樣的使用基於段的負載目標的基於進程的調整器的流程圖描繪在圖9中。
最後必須指出，通過軟體或硬體方式或同時通過二者，具有多種執行功能的方式。在這一方面，這些附圖是非常概略的，每幅圖僅代表本發明的一個可能的實施例。因而，儘管附圖作為不同塊示出了不同的功能，但這決不排除單一硬體或軟體項執行若干功能。同樣也不排除硬體或軟體項或其二者的集合執行功能。
在此之前作出的注釋表明，參考附圖所作的詳細描述闡述了本發明，但並不限制本發明。具有落入所附的權利要求的範圍之內的許多替換。在任何權利要求中的任何參考標記不應解釋為對所述權利要求的限制。詞語「包括」並不排除在權利要求中所列出之外的其它元件或步驟的存在。在元件或步驟之前的詞語「一或一個」並不排除多個這樣的元件或步驟的存在。
權利要求
1.一種在媒體信號處理系統中處理以連續的媒體數據包組的形式可利用的媒體信號的方法，所述處理方法執行一個或多個功能，其中至少一個功能能夠利用導致不同的輸出質量和資源需求的不同等級的可擴縮性來完成，所述方法進一步包括以下步驟請求資源，以提供多個系統輸出；給該方法分配預定的預算，以允許在給定的可擴縮性等級上操作該方法；測量考慮已處理的數據的所謂的進程；測量在該方法的操作期間使用的至少一個媒體處理特定資源；基於包括所述分配的預算和所述測量的調整參數，通過為媒體信號處理分配修改的資源來執行負載調整。
2.根據權利要求1的方法，其中所述調整參數在具有規則邊界的幀內進行改變。
3.根據權利要求1的方法，其中所述調整參數在被細分為規則格柵中的段的幀內進行改變，單獨的預算被分配給至少一個所述段。
4.根據權利要求1的方法，其中所述調整參數在被細分為規則格柵中的段的幀中進行改變，基於內容相關的段特性，單獨的預算被分配給每個所述段。
5.根據權利要求1的方法，其中所述調整參數在被細分為不規則部分的幀中進行改變，特定的預算被分配給每個所述不規則部分。
6.一種媒體信號處理系統，用於處理連續的視頻數據包組，並包括一個或多個功能電路，其中利用所述電路執行的至少一個功能可以利用導致不同的輸出質量和資源需求的不同等級的可擴縮性來完成，所述系統包括調整設備，其包括反饋控制環路，用於動態改變系統的資源需要，作為應用於所述可擴縮功能的至少一個可變參數並在指定的周期期間利用預期的和實際的使用之間的差的計算來計算的所謂的偏差的函數。
7.權利要求1的媒體信號處理方法對於負載調整方法的一種應用，用於資源可擴縮運動估算器測試矢量候選者的目標數量，並包括用於由連續幀組成的輸入視頻數據流的負載平衡調整，其中連續幀包含連續的象素線並被細分為相連的塊，所述負載調整方法包括以下步驟-請求資源，從而以估算運動矢量候選者的給定數量的形式提供多個系統輸出；-每幀分配預定的預算，從而能夠操作在限定的質量等級上；-測量考慮已處理的數據的所謂的進程；-測量在該方法的操作期間使用的資源；-基於包括所述分配的預算和所述測量的調整參數，通過為所述媒體信號處理分配修改的資源來執行負載調整。
8.根據權利要求7的負載調整方法，用於資源可擴縮運動估算器測試矢量候選者的目標數量，並包括用於由連續幀組成的輸入視頻數據流的負載平衡調整，其中連續幀包含連續的象素線並被細分為相連的塊，所述負載調整方法包括以下步驟-估算所估算的運動矢量候選者的給定數量；-每幀分配預定的預算，以允許操作在限定的質量等級上；-測量考慮已處理的數據的所謂的進程；-利用所述進程，加權矢量候選者的目標數量；-確定在運動估算器的輸出上的矢量候選者的給定數量與矢量候選者的加權目標數量之間的差值；-基於所述差值和所述測量，執行所述運動估算器的負載的調整。
9.根據權利要求8的方法，其中所述進程由幀中處理的塊線的數量與塊線的總量之間的比率來決定。
10.根據權利要求9的方法，其中所述調整參數是塊跳躍閾值，其影響待測試的矢量候選者的數量。
11.一種計算機系統，用於執行根據權利要求8-10之中任一項權利要求的方法。
12.一種電腦程式產品，包括存儲在計算機可讀媒體上的程序代碼裝置，用於當該電腦程式在計算機上運行時執行根據權利要求8-10之中任一權利要求的方法。
13.一種資源可擴縮運動估算器，用於測試與視頻數據流相關的矢量候選者的目標數量，其中視頻數據流由包含連續的象素線並被細分為相連塊的幀組成，所述運動估算器包括-運動估算裝置，用於傳遞矢量候選者的給定數量；-分配裝置，用於限定每幀的預定預算，以允許操作在限定的質量等級上；-測量裝置，用於計算由幀中的處理塊線的數量與塊線的總量之間的比率決定的所謂的進程；-加權裝置，用於利用所述進程加權矢量候選者的目標數量；-計算裝置，用於確定在運動估算器的輸出上的矢量候選者的實際數量與加權後的矢量候選者的目標數量之間的差值；-控制裝置，用於基於所述差值改變運動估算器的負載的調整參數。
14.根據權利要求13的運動估算器，其中所述調整參數是塊跳躍閾值，其影響待測試的矢量候選者的數量。
15.權利要求1的媒體處理方法對於負載調整方法的一種應用，用於清晰度增強處理中，所述負載調整方法包括以下步驟-請求資源，從而以塊活動性和相關決定的給定數量的形式提供多個系統輸出；-每幀分配預定的預算，以允許操作在限定的質量等級上；-測量考慮已處理的數據的所謂的進程；-測量在該方法的操作期間使用的資源；-基於包括所述分配的預算和所述測量的調整參數，通過為所述媒體信號處理分配修改的資源來執行負載調整。
16.一種清晰度增強設備，用於執行根據權利要求15的方法。
全文摘要
本發明涉及在媒體信號處理系統中處理以連續的媒體數據包組的形式可利用的媒體信號的方法。該方法執行一個或多個功能，至少其中的一個功能能夠以不同的導致不同的輸出質量和資源要求的可擴縮性等級來執行，該方法包括以下步驟請求資源，以提供多個系統輸出；給該方法分配預定的預算，以允許在給定的可擴縮等級上操作該方法；測量考慮已處理的數據的稱為進程的表達式；測量在操作期間使用的至少一個媒體處理特定資源；基於包括所分配的預算和所述測量的調整參數，通過給媒體信號處理分配修改後的資源來執行負載調整。
文檔編號H04N7/26GK1934535SQ200580008497
公開日2007年3月21日 申請日期2005年3月15日 優先權日2004年3月19日
發明者C·亨特謝爾, R·武本 申請人:皇家飛利浦電子股份有限公司