具有預見的準恆定質量速率控制的製作方法

2023-10-29 07:22:32

專利名稱：具有預見的準恆定質量速率控制的製作方法
技術領域：
本發明一般而言涉及數字視頻，且更具體而言涉及視頻壓縮
背景技術：
由於網際網路及無線通信的爆炸性增長及巨大成功，以及對多媒體服務的日益增加 的需求，網際網路及移動/無線信道上的串流式媒體已引起人們極大的關注。在異質性因 特網協議(IP)網絡中，視頻是由伺服器提供且可由一個或一個以上客戶端串流化。
有線連接包含撥號、整合服務數字網絡(ISDN)、電纜、數字訂戶線路協議(統稱
為xDSL)、光纖、區域網(LAN)、廣域網(WAN)及其它網絡。傳輸模式可是單播 或多播。
類似於異質性IP網絡的是移動/無線通信。通過移動/無線信道運送多媒體內容極 具挑戰性，這是因為這些信道經常因多路徑衰落、遮蔽、符號間幹擾及噪聲擾動而受 到嚴重損害。諸如移動性及競爭業務等某些其它原因也可導致帶寬變化及損失。信道 噪聲及所服務的用戶數量決定信道環境的時變性質。
為有效地存儲及/或傳輸，通常對數字視頻進行壓縮。目前存在許多種視頻壓縮標準。
視頻壓縮的一個常見問題是帶寬(位/秒)與視覺質量之間的折衷。可使用各種度 量，例如峰值信號噪聲比(PSNR)來評定視覺質量。應了解，在幀速率恆定的情況下， 對視頻幀進行編碼所用的位將正比於位速率或視頻的帶寬，且所述術語(位和帶寬) 儘管在技術上有所不同，但在現有技術中通常可互換使用且可根據上下文來確定正確 的解釋。
為得到相對好的視覺質量所需的帶寬將隨正編碼的視頻的複雜度而異。例如，相 對呈靜態的鏡頭(例如，新聞廣播員的鏡頭)可用相對低的帶寬以相對高的視覺質量 來編碼。相反，相對呈動態的鏡頭(例如，在體育事件中搖拍運動員的鏡頭)為得到
相同的視覺質量可能會消耗相對大的帶寬量。
為獲得相對恆定的質量，期望使用一種稱作可變位速率(VBR)的技術來改變可
供用於對幀進行編碼的位數量。然而，所述VBR技術通常不適用於所傳輸視頻內的容 背景。數字視頻內容可通過各種各樣的媒體來傳輸，例如，通過光學網絡、有線網絡、 無線網絡、衛星及類似媒體。當進行廣播時，所述通信媒體的帶寬通常有限。相應地， 在傳輸或廣播環境中通常會見到恆定位速率(CBR)技術。
使用恆定位速率(CBR)技術的問題在於，視覺質量將根據正編碼的視頻的複雜 度而變化。當鏡頭相對呈靜態(例如，廣播員的鏡頭)時，則將消耗或"浪費"掉多 於為得到既定質量水平所需的位。而當鏡頭相對呈動態(例如，在體育運動中)時， 則質量可能會受害於CBR。當視覺質量受損時，視覺假象可能會變得明顯且可能會以 例如"方塊效應(blockiness)"形式觀察到。
因此，在現有技術中需要提供可將傳輸媒體的相對恆定位速率的有利屬性與供觀 看者欣賞的相對恆定視覺質量相組合的編碼技術。

發明內容
本文所揭示的系統及方法通過例如估計在預定時間窗口中一個或一個以上多媒 體數據的編碼複雜度、並使用所估計的編碼複雜度來確定編碼的位速率而滿足了上述需求。
一個方面是對所接收的視頻數據進行編碼的方法，其中所述方法包含確定所述
視頻數據的第一部分的第一編碼複雜度；及至少部分地根據所述第一編碼複雜度對視
頻的所述第一部分進行編碼。
一個方面是用於對所接收的視頻數據進行編碼的設備，其中所述設備包含確定
裝置，其用於確定所述視頻數據的第一部分的第一編碼複雜度；及編碼裝置，其用於
至少部分地根據所述第一編碼複雜度對視頻的所述第一部分進行編碼。
一個方面是對所接收的視頻數據進行編碼的設備，其中所述設備包含處理器， 其經配置以確定所述視頻數據的第一部分的第一編碼複雜度；及編碼器，其經配置以
至少部分地根據所述第一編碼複雜度對視頻數據的所述第一部分進行編碼。 一個方面是包含於有形媒體中的具有用於對所接收視頻數據進行編碼的指令的
電腦程式產品，其中所述電腦程式產品包含具有用於確定的指令的模塊，所述 指令用於確定所述視頻數據的第一部分的第一編碼複雜度；及具有用於編碼的指令的
模塊，所述指令用於至少部分地根據所述第一編碼複雜度對視頻的所述第一部分進行 編碼。
一個方面是一種用於對多媒體數據進行編碼的方法，其中所述方法包含對對應 於所選數據窗口的第一多媒體數據進行編碼；及對不同於所述第一多媒體數據的第二
多媒體數據進行編碼，在將所述第一多媒體數據重新編碼時，所述第二多媒體數據對 應於所述選擇的數據窗口。
一個方面是一種用於對多媒體數據進行編碼的設備，其中所述設備包含編碼裝 置，其用於對對應於所選數據窗口的第一多媒體數據及不同於所述第一多媒體數據的 第二多媒體數據進行編碼，所述第二多媒體數據對應於所述選擇的數據窗口；及重新 編碼裝置，其用於在所述編碼裝置對所述第二多媒體數據進行編碼時將所述第一多媒 體數據重新編碼。
一個方面是一種用於對多媒體數據進行編碼的設備，其中所述設備包含第一編 碼器，其經配置以對對應於所選數據窗口的第一多媒體數據進行編碼及對不同於所述 第一多媒體數據的第二多媒體數據進行編碼，所述第二多媒體數據對應於所述選擇的 數據窗口；及第二編碼器，其經配置以在所述第一編碼器正對所述第二多媒體數據進 行編碼時將所述第一多媒體數據重新編碼。
一個方面是一種對在傳輸時被一起多路復用及載送的多個視頻信道的視頻數據 進行編碼的方法，其中所述方法包含接收用於對所述多個視頻信道進行視頻編碼的 視頻幀；確定以約相同質量水平對所述多個信道進行編碼所需的相對數據量，其中將 用於所述經編碼部分的數據一起多路復用及運載；根據所確定的相對數據量來分配用 於所述已編碼部分的數據；根據所述分配的數據對視頻幀進行編碼；及對經編碼的視 頻幀進行多路復用以用於傳輸。
一個方面是一種對一起多路復用於頻帶受限傳輸媒體中的多個視頻信道進行編 碼的方法，其中所述方法包含從要編碼、多路復用且隨後一起傳輸的多個信道接收 多個視頻幀，其中所述多個視頻幀包含至少對應於每一信道的預定時間間隔的多個視 頻幀；在所述多個信道之間分配適用於所述多個信道的位，以使所述多個信道的視覺 質量處在約相同的水平而與編碼複雜度的差異無關；及根據所述分配的位進行編碼。
一個方面是一種在兩個或更多個要以壓縮方式編碼的視頻信道之間分配可用帶 寬的方法，所述兩個或兩個以上視頻信道包含至少第一視頻信道及第二視頻信道，其 中所述方法包含估計與所述第一視頻信道的預定時間周期的一組視頻幀相關聯的編 碼複雜度，其中所述預定時間周期小於視頻剪輯的持續時間，其中在將實際使用編碼 之前實施估計；及使用至少部分地基於所述組視頻幀的實際編碼的所估計編碼複雜度 的信息。
一個方面是一種在多個信道之間分配可用帶寬的方法，其中所述方法包含接收 關於所述多個信道每一者的一組視頻幀的編碼複雜度量度，其中以相同的時間周期多 路復用用於所述組視頻幀的數據以用於傳輸；及至少部分地根據每一信道的編碼複雜 度量度在所述經多路復用的信道之間分配可用於所述時間周期的位。
一個方面是用於視頻編碼的設備，其中所述設備包含第一處理元件，其經配置 以估計與一組對應於預定時間周期的視頻幀相關聯的編碼複雜度，所述預定時間周期 小於與視頻剪輯的長度相關聯的時間周期；及第二處理元件，其經配置以使用至少部 分地根據所述估計的編碼複雜度所選擇的位速率對所述組視頻幀進行編碼。
一個方面是一種用於在多個信道之間分配可用帶寬的設備，其中所述設備包含 分派電路，其經配置以接收用於所述多個信道每一者的一集合視頻幀的編碼複雜度量 度，其中以相同的時間周期多路復用用於所述集合視頻幀的數據；計算電路，其經配 置以至少部分地根據每一信道的編碼複雜度量度在所述多路復用信道之間分配針對所 述時間周期的可用位。
一個方面是一種包含於有形媒體中的具有用於對多媒體數據進行編碼的指令的 電腦程式產品，其中所述電腦程式產品包含具有用於編碼的指令的模塊，所述 指令用於對對應於所選數據窗口的第一多媒體數據進行編碼及對不同於所述第一多媒 體數據的第二多媒體數據進行編碼，所述第二多媒體數據對應於所述選擇的數據窗口； 及具有用於重新編碼的指令的模塊，所述指令用於在所述具有用於編碼的指令的模塊 正對所述第二多媒體數據進行編碼時將所述第一多媒體數據重新編碼。


圖1是圖解說明對多個多媒體數據信道的數據進行編碼的系統圖； 圖2是大體上圖解說明一種編碼過程的流程圖3是大體上圖解說明一種在根據多個多媒體信道的數據複雜度選擇位速率的同
時進行編碼的過程的流程圖4是圖解說明可與多路復用器交互作用的多遍式預見編碼器的實例的系統圖5是圖解說明可與多路復用器交互作用的單遍式預見編碼器的實例的系統圖6是圖解說明獨立的多遍式預見編碼器的實例的系統圖7A是圖解說明獨立的單遍式預見編碼器的實例的系統圖7B是圖解說明編碼複雜度確定裝置及編碼裝置的實例的系統圖8是圖解說明一種用於根據信道需求來分派多路復用系統可用帶寬的設備的實
例的系統圖9是所估計視覺質量函數V與編碼複雜度C及所分配位B的3-D圖； 圖IO圖解說明一種用於對多媒體數據進行編碼的方法的實例；及 圖11圖解說明一種用於對多媒體數據進行編碼的設備的實例。
具體實施例方式
在下文說明中，為提供對所述實施例的透徹理解而給出具體細節。然而，所屬領 域的技術人員應理解，所述實施例可在不具備這些具體細節的情況下實施。例如，電 組件可按方塊圖形式加以顯示，以免以不必要的細節形式使所述實施例變得難以理解。 在其它例示中，可詳細顯示此等組件、其它結構及技術以進一步解釋各實施例。所屬 領域的技術人員也應了解，可將顯示為獨立塊形式的電組件重新排列及/或組合成一個 組件。
也應注意，可將某些實施例描述為過程，所述過程被描繪為流程圖、工藝流程圖、 結構圖或方塊圖。儘管流程圖可將作業描述為順序性過程，然而也可平行或同時實施 所述作業中的許多作業並可重複所述過程。此外，可重新排列所述作業的次序。當其 作業完成時，過程即告結束。過程可對應於一種方法、功能、程序、次例程、子程序 等。當過程對應於一種功能時，其結束對應於所述功能返回到調用功能或主功能。
下文所述方法及設備有效地對例如實況視頻信道等多媒體數據進行編碼。在將使 用的實際編碼之前，估計所選窗口的編碼複雜度，其中所述窗口可基於時間或基於所 選數據量(例如，近似於l秒)或多媒體數據的一部分(例如，l秒)。這準許以預先 已知的複雜度估計值來實施實際編碼，從而準許在所選窗口內有效地分配為所述預定 時間間隔所分配的位(位速率)。
所述位速率可為來自根據帶寬或質量或二者來估計位速率的裝置的輸入。例如， 可構建多路復用器來提供位速率。所述質量可基於以複雜度為依據的內容分類。此分 類論述於名稱為"Content Class迅cation for Multimedia Processing"的第""號共同待 決專利申請案中。
此外，可將所估計複雜度提供給裝置(例如，多路復用器)，然後，可由所述裝 置根據經多路復用的多媒體信道(例如視頻信道)集合的預期編碼複雜度為那些多媒 體信道分配可用帶寬，由此準許即使所述經多路復用的信道集合的帶寬相對恆定時也 能夠使特定信道的質量保持相對恆定。這使信道集合內的信道具有可變的位速率及相 對恆定的視覺質量，而非相對恆定的位速率及可變的視覺質量。
圖1是圖解說明對多個多媒體數據102源(例如信道)進行編碼的系統圖。多媒 體數據102是由相應的編碼器104進行編碼，編碼器104與多路復用器(MUX) 106 進行通信，而多路復用器(MUX) 106又與傳輸媒體108進行通信。例如，多媒體數 據102可對應於各種內容信道，例如新聞信道、體育信道、電影信道及類似信道。編 碼器104將多媒體數據102編碼成為所述系統規定的編碼格式。儘管是以對視頻數據 進行編碼為背景來加以描述，然而所揭示技術的原理及優點廣泛地適用於多媒體數據， 包括例如可視數據及/或音頻數據。經編碼的多媒體數據提供給多路復用器106，由多 路復用器106對各種經編碼的多媒體數據加以組合併將經組合的數據發送到傳輸媒體 108以供傳輸。
傳輸媒體108可對應於各種各樣的媒體，例如但不限於，數字衛星通信，例如 DirecTV 、數字電纜、有線及無線網際網路通信、光學網絡、行動電話網絡及類似網絡。 倘若為無線通信系統，傳輸媒體108可包括例如碼分多址(CDMA或CDMA2000)通 信系統的一部分，或者另一選擇為，所述系統可是頻分多址(FDMA)系統、正交頻 分多址(OFDMA)系統、時分多址(TDMA)系統一例如用於服務行業的GSM/GPRS (通用分組無線電服務)/EDGE (增強數據GSM環境)或TETRA (地面中繼無線電) 行動電話技術、寬帶碼分多址(WCDMA)、高數據速率(lxEV-DO或lxEV-DO金牌 多播)系統、或者一般而言使用各技術的組合的任一無線通信系統。傳輸媒體108可
包含例如調製到射頻(RF)。通常，由於頻譜約束條件及類似約束條件，傳輸媒體具
有有限的帶寬且從多路復用器106到傳輸媒體的數據保持相對恆定的位速率(CBR)。 在常規系統中，在多路復用器106的輸出處使用恆定位速率(CBR)會要求被作 為輸入提供給多路復用器106的經編碼多媒體數據也為CBR。如在背景技術中所述， 在對視頻內容(例如)進行編碼時使用CBR可導致可變的視覺質量，而這通常並非所 期望的。
在所圖解說明的系統中，兩個或兩個以上編碼器104交流對輸入數據的預期編碼 複雜度。 一個或一個以上編碼器104可響應於此而從多路復用器106接收經修改的位 速率控制。這準許期望對相對複雜的多媒體進行編碼的編碼器104能夠以準可變位速 率方式為那些多媒體幀接收更高的位速率或更高的帶寬(每一幀更多個位)。這準許例 如在視覺背景中能夠以更恆定的視覺質量對多媒體數據102進行編碼。對相對複雜的 視頻進行編碼的特定編碼器104所用的額外帶寬來自於如果所述編碼器構建成以恆定 位速率運作原本將用於對其它多媒體數據102進行編碼的位。這使得多路復用器106 的輸出維持在恆定位速率(CBR)。
儘管個別多媒體數據102源可能相對為"突發性"，也就是說，在所用帶寬變化 時，多個多媒體數據源的累加和可具有較小的突發性。來自正對較不複雜多媒體迸行 編碼的信道的位速率可由例如多路復用器106重新分配給正對相對複雜的多媒體進行 編碼的信道，而這可增強例如組合多媒體數據的整體視覺質量。所揭示技術可用於自 適應性地分配帶寬，以便在多媒體數據帶寬設定中幾乎不需要或根本不需要用戶幹預。
在一個實例中，編碼器104為多路復用器106提供關於一組要一起編碼及多路復 用的多媒體數據(例如視頻幀)的複雜度的指示。例如，多路復用器106可每次多路 復用預定數據窗口，例如1秒長數據窗口的經編碼數據。在所述預定數據窗口中，多 路復用器106的輸出應提供不高於為傳輸媒體108所規定位速率的輸出。
例如，所述複雜度指示可對應於將用於以既定質量水平對所述數據窗口的多媒體 數據進行編碼的位數量的估計值。多路復用器106分析所述複雜度指示，並為各個編 碼器104提供所分配數量的位或帶寬，且編碼器104使用這個信息對所述組中的多媒 體數據進行編碼。造個準許一組多媒體數據個別地成為可變位速率、且仍能以群組形 式獲得恆定位速率。
圖2是大體上圖解說明一種編碼過程的流程圖。所屬領域的技術人員應了解，所 圖解說明的過程可按各種方式加以修改。例如，在另一實施例中，可對所圖解說明過 程的各個部分加以組合、以替代序列重新排列、予以去除等等。
下文將從編碼裝置(例如圖1中的編碼器104)的角度來描述所述過程的狀態210 及220，所述編碼器經由多路復用器與其它編碼器協同編碼以有效地使用可供所述群 組中其輸出正被多路復用的編碼器使用的帶寬。狀態320及330是從多路復用器或其 它帶寬分配裝置一如果與所述多路復用器相分離-的角度來寫入。
所圖解說明的過程在狀態210處估計預定時間周期或窗口內的編碼複雜度。這個預定時間周期或窗口可在相對寬廣的範圍內變化。例如，這個預定時間周期可介於約
500毫秒到約10000毫秒的範圍內。所述預定時間周期的相對良好的值為約1秒。應 注意，這個預定時間周期(稱作"超幀")並不對應於圖片群組(GOP，也就是說，與 內幀相關的圖片群組)的時間周期，除非所述圖片群組與所述預定時間周期碰巧匹配。 而是，超幀可是既定數量的連續圖片。應了解，在其中多路復用器或類似裝置在周期 性間隔(例如預定數量的幀)中收集各種多媒體數據以便以多路復用方式封裝的系統 中，所述預定時間周期應與多路復用器所用的周期性時間間隔匹配。例如，多路復用 器可使用約1秒的預定時間間隔，在所述預定時間間隔內給個別信道分配位或帶寬以 遵從對多路復用數據的帶寬限制。
一個估計編碼複雜度的實例是通過編碼過程，例如類似於兩遍式或多遍式編碼方 案中"第一遍"編碼過程的編碼。在第一遍編碼過程中，通常使用標準預設質量水平， 例如預設量化參數(QP)水平。另一種用於估計編碼複雜度的技術是帶寬比率量度， 其將在下文中加以描述。
在常規多遍式編碼方案中，首先在第一遍中對整個多媒體剪輯(例如2小時的電 影)進行編碼而不保存經編碼的視頻，並隨後再次對其進行編碼。然後，使用從第一 遍編碼中收集的量度或統計數據(例如，特定的一組幀多麼複雜或者具有多少運動畫
面)來調整在第二遍或隨後的編碼中所用的位速率。這會改進經編碼視頻的質量。
然而，儘管此等常規多遍式技術適用於對非實時數據進行編碼，例如對電影進行 編碼以便存儲於DVD上，然而對整個剪輯進行編碼時所存在的滯後通常不適合於在 廣播或其它將不能接受相對大延遲的分發環境中對數據進行編碼。通常，多媒體數據 可載送實況內容，例如新聞廣播或體育事件。此外，多媒體數據可載送處於分發所述 多媒體的實體的控制以外的內容，以便甚至當特定內容並非"實況"時也將其視為實 況的。
對於例如新聞及體育事件等實況多媒體數據，通常不能接受大的延遲(例如，持 續數個小時)。然而，在許多情形中，相對短的延遲卻可接受且不會引起注意。具有預 定時間周期或窗口的所揭示技術會引入相對短的延遲，例如處於數秒範圍內的延遲。 這些延遲通常不會令實況內容的觀看者生厭。
當已知預定時間周期內的編碼複雜度時，所述信息可用於有效地為所述過程的實 際編碼220分配位。例如，所述編碼複雜度信息可獨立於其它信道的編碼複雜度來使 用，且實際編碼220將仍具有顯著的優點。位速率的微小變化可通常由緩衝器來容納。 當與來自其它多媒體數據源的位速率分配相組合時，所述過程甚至可得到進一步改良。 此種變化闡述於圖3中。
圖3是大體上圖解說明一種在根據多個多媒體數據源的複雜度選擇位速率時進行 編碼的過程的流程圖。所屬領域的技術人員應了解，所圖解說明的過程可按各種方式 加以修改。例如，在另一實施例中，可對所圖解說明的過程的各個部分加以組合、以 另一序列重新排列、予以去除等等。
下文將從編碼裝置(例如圖1中的編碼器104)的角度來描述所述過程中的狀態
310及340，所述編碼器經由多路復用器與其它編碼器協同編碼以有效地利用可供所述 組中其輸出正被多路復用的編碼器使用的帶寬。狀態320及330是從多路復用裝置(例 如圖1中的多路復用器106)或其它帶寬分配裝置-如果與所述多路復用器相分離-的角 度來寫入。
所圖解說明的過程在狀態310處估計預定時間周期或窗口內的編碼複雜度。所述 估計動作310可與針對上文結合圖2所述過程中的估計動作210所述的相同。然而， 應注意，用於估計圖3中動作310的預定時間周期應與其中所述多路復用器分配位或 帶寬的時間周期或窗口相匹配。
所述過程在狀態320處繼續在相同的預定時間周期內從其它信道檢索編碼複雜 度。在特定時間周期內，來自各個經編碼信道的經編碼視頻將被多路復用且不應超過 分配給經多路復用通信信道的總帶寬。
所述過程在狀態330中繼續在各個信道之間分配位。例如，關於編碼複雜度的信 息可與為得到既定視覺質量而預計要消耗的位數量有關。可對所述位數量求和，且分 配給所述信道的位數量可取決於預計要消耗的相對位數量，例如，可根據信道的按比 例分配的預計位消耗為每一信道分派總可用帶寬的按比例分配部分。在另一實例中， 可給各信道指配各種預選定位速率，例如低帶寬、中等帶寬、或高帶寬中的一者，這 取決於預計要消耗的相對位數量。也應注意，每一系統均可具有對最大帶寬及對最小 帶寬的特定系統限值，且位分配不應超過這些限值。然後，將在所述預定周期(稱作 超幀)內分配給所述組幀的位提供給編碼器以便在超幀等級上實施位速率控制。
在狀態340處，所述編碼器然後根據所分配的位對所述超幀或預定周期中的幀進 行編碼。這準許個別信道或信道群組具有可變位速率(VBR)以獲得接近恆定的質量、 且仍為多路復用器的輸出提供多個信道以在輸出處維持恆定位速率(CBR)。
圖4是圖解說明可與多路復用器交互作用的多遍式預見編碼器的實例的系統圖。 所圖解說明的系統使用兩遍式架構，但應了解，也可使用多於兩遍。所述系統包含數 據存儲器402、可選預處理器404、第一遍編碼器406、第二遍編碼器408、多路復用 器106、及傳輸媒體108。所述系統可按各種各樣的方式來構建。例如，可選預處理器 404、第一遍編碼器406、及第二遍編碼器408中的一者或多者可組合、可分離及可由 共用控制器加以控制等等。
數據存儲器402存儲進入的多媒體數據。數據存儲器402可由各種各樣的裝置來 構建，例如固態存儲器(DRAM， SRAM)、硬磁碟驅動機等等。可選預處理器404可 計算帶寬比率量度以用於在編碼過程中在幀群組內分配位。將在隨後描述帶寬比率量 度。在所圖解說明的系統中，預處理器404獨立於超幀等級位速率控制來運作。可選 預處理器404將所述量度提供給第一遍編碼器406及第二遍編碼器408。
可選預處理器404、第一遍編碼器406、及第二遍編碼器408按管線式架構排列。 在此種管線式架構中，每一級的延遲均應相同，也就是說，每一級應處理相同的數據量。所述數據量對應於預定時間周期或窗口中的幀。所述幀稱作超幀。在第二遍編碼
器408正對一組幀進行編碼的同時，第一遍編碼器406正對下一組要由第二遍編碼器 408編碼的幀實施第一遍編碼，且可選預處理器404處理下一組要由第一遍編碼器406 進行第一遍編碼的幀。未經編碼視頻的原始數據可從數據存儲器402中檢索且對^f述 數據的參考可作為存儲器指針及類似物在所述模塊中傳遞。
第一遍編碼器406在預定時間周期內對多媒體數據幀進行編碼。然而，實際的經 編碼多媒體數據幀並非必定加以使用且通常被丟棄。將複雜度量度(例如用於以既定 質量水平對幀進行編碼的位數量)提供給多路復用器106。其它可再使用的數據，例 如運動向量(MV)的計算結果及絕對像素差(SAD)的和，可從第一遍編碼器406 提供給第二遍編碼器408。
所述複雜度量度由多路復用器106用來在各個信道之間分配可供用於經組合多路 復用數據的位。例如，多路復用器106可使用在前面結合圖3所述過程中的分配位狀 態330。然後，將所分配的位提供給第二遍編碼器408以用於對那些幀進行編碼。
然後，第二遍編碼器408對所述管線的下一循環中的幀進行編碼，且經編碼的幀 被提供給多路復用器106以用於與來自其它信道的數據多路復用並在所述管線的後續 循環中通過傳輸媒體傳輸。
圖5、 6及7圖解說明與圖4中所示類似的系統變化形式。所屬領域的技術人員 將易於確定出其它變化形式。例如，圖4中所圖解說明系統的一個變化形式是一種沒 有可選預處理器404的系統。去除預處理器404會消除管線中的一個級及所述級的延 遲。
在圖5的變化形式中，預處理器502—其實施不同於且不如第一遍編碼複雜的分 析一提供複雜度量度。這可適用於其中例如處理能力有限的系統。例如，可使用將在 下文中予以論述的帶寬比率量度來確定複雜度。
圖5中所圖解說明的變化形式包含數據存儲器402、預處理器502、編碼器504、
多路復用器106、及傳輸媒體108。多路復用器106可視來自預處理器502的複雜度估 計值來為編碼器504分配位速率。另一量度(例如來自預處理器502的帶寬比率)與 編碼器504的位速率控制之間的映射可為線性、非線性、經由査詢表在所選範圍內映 射等等。
圖6中所圖解說明的變化形式不與多路復用器交互作用。圖6的變化形式包含數 據存儲器402、可選預處理器404、第一遍編碼器602、及第二遍編碼器604。應了解， 多遍式編碼器的數量可變成並非兩個。而是，第一遍編碼器的結果由第二遍編碼器使 用而不依據來自其它信道的複雜度實施位速率分配。這可適用於其中因緩衝器而可容 忍一定程度的位速率變化但期望位速率編碼接近恆定的系統中。在所圖解說明的系統 中，第一遍編碼器602對預定時間內的幀(也稱作超幀)實施第一遍編碼，且使用復 雜度信息來設定第二遍604的編碼。圖6的變化形式與常規兩遍式系統之間的一個區 別在於，常規兩遍式系統每次對整個媒體剪輯實施一遍，這對於例如實況數據等某些
類型的數據而言是不切實際的。
圖7A中所圖解說明的變化形式也不與多路復用器交互作用。所述變化形式包含 數據存儲器402、預處理器702、及第一遍編碼器704。預處理器702給第一遍編碼器 704提供按時間窗口複雜度量度。第一遍編碼器704使用所述信息選擇位速率以用於 對應多媒體數據的編碼。
圖7B中所圖解說明的變化形式可能但未必必定與多路復用器交互作用。所述變 化形式包含用於給編碼裝置714提供複雜度指示的編碼複雜度確定裝置712。在一個 實例中，編碼複雜度確定裝置712可對應於預處理器502，且編碼裝置714可對應於 第一遍編碼器504。在另一實例中，編碼複雜度確定裝置712可對應於第一遍編碼器 602，且編碼裝置714可對應於第二遍編碼器604。在一個方面，編碼複雜度確定裝置 712為由編碼裝置714隨後編碼的時間窗口數據提供複雜度信息。在另一方面，所述 複雜度信息可提供給多路復用器或另一模塊，然後所述多路復用器或另一模塊可給編 碼裝置714提供經調整的位速率。
圖8是系統圖，其顯示用於根據各個多媒體數據源的需要或編碼複雜度來分配多 路復用系統的可用帶寬的處理器800的實例。舉例而言，此處理器可併入多路復用器 106內或者可獨立於多路復用器106。
圖8中所圖解說明的處理器800包含複雜度收集電路802及分派電路804。複雜 度收集電路802從例如多個第一遍編碼器中檢索複雜度估計值。收集所述複雜度估計 值。在對應多媒體數據之間分配總的位速率806 —其可是存儲於寄存器中的數據值。 例如，可存在為高複雜度、中等複雜度及低複雜度留出的各種位速率，且然後可至少 部分地根據所述相對複雜度估計值來選擇所述位速率並將其相應地提供給分派電路 804。然後所述分派電路與例如第二遍編碼器進行通信，由第二遍編碼器使用所分派的 位速率進行超幀等級的位速率控制。
現在將描述其它方面。可以多個等級實施速率控制。應注意，除了在幀內及在宏 塊內對圖片群組(GOP)實施速率控制外，也可是使用"超幀"等級下的速率控制， 也就是說對固定數量連續圖片或對數據窗口的速率控制。例如，可使用常規技術以及 本文所述技術在所述其它等級內實施速率控制。也應注意，視為超幀所選的內容及大 小而定，圖片群組的大小可大於或小於超幀的大小。
帶寬映射產生
人的視覺質量V可是編碼複雜度C與所分配位B (也稱作帶寬)二者的函數。 應注意，編碼複雜度量度C從人類視覺角度考慮了空間及時間頻率。對於人眼更
加敏感的失真而言，複雜度值會對應地更高。通常可假定V隨C單調減小、隨B單調
增大。這種3-D關係的實例繪示於圖9中。
為獲得恆定的視覺質量，為第i個要編碼的對象(幀或MB)指配帶寬(Bi)，所述
帶寬(Bi)滿足在方程式1及2中所表達的準則。formula see original document page 17)(方程式l)formula see original document page 17 (方程式2)
在方程式l及/或2中，Ci是第i個對象的編碼複雜度，B是總的可用帶寬，且V 是所述對象可獲得的視覺質量。人的視覺質量很難以方程式形式來公式化。因此，上 述方程組並非精確地界定。然而，如果假定所述3-D模型的所有變量均連續，則可將 帶寬比率(Bi/B)視為在(C、 V)對的鄰域內不變。帶寬比率Pi界定於方程式3中。
formula see original document page 17 (方程式3)
然後，可如在方程式4中所表達來界定位分配問題。
formula see original document page 17時(方程式4)
在上面的方程式4中，S指示"鄰域"。
編碼複雜度會受人類視覺靈敏度影響-就空間及時間兩方面而言。Girod的人類視 覺模型是一種可用於界定空間複雜度的模型。所述模型考慮了局部空間頻率及環境照 明。所得量度稱為D^t。在所述過程中的預處理點處，並不知曉圖片是否將受到內編 碼還是間編碼並產生二者的帶寬比率。對於內編碼圖片而言，帶寬比率表達為方程式
formula see original document page 17 (方程式5 )
在上面的方程式中，Y是MB的平均亮度分量，OCwTKA是亮度平方及其後的Dcsat
項的加權因數，卩,TOA是正規化因數以保證寧。例如，0dNTRA二4的值會獲得良 好的視覺質量。換算因數(3(HNTRA的值並不重要，只要根據不同視頻對象的PiNTRA之間 的比率來分配位即可。
為理解所述關係，應注意，是與編碼複雜度成對數關係來分配帶寬。亮.度平方項 反映了如下事實具有更大量值的係數使用更多的位來編碼。為防止對數變為負值，
給括號中的項加上l。也可使用具有其它底數的對數。
間編碼圖片的位分配需要考慮空間以及時間複雜度。這表達於以下方程式6中。
- A諷鵬lOg10 (l+",卿'S幼'D咖exp(-3/jM力+M^|f》(方程式6)
在方程式6中，MVP及MVN是當前MB的前向及後向運動向量。可注意到，INTRA 公式中的Y^皮SSD (其代表平方差的和)取代。
為理解lMVp+MVw『在方程式6中的作用，應注意，人視覺系統的以下特徵 經受平滑可預測運動(小的IMVP+MVN12)的區可吸引注意力且可由眼睛跟蹤而通常無 法容忍大於靜態區域的失真。然而，經受快速或不可預測的運動(大的llMVp+MVwl2) 的區卻無法跟蹤並可容忍顯著的量化。實驗表明，ocINTER=l、 y=0.001會獲得良好的
視覺質量。
可在為每一幀計算(3iNTRA及卩inter後實施幀類型決定。如果PintWPiNTOA^T，或
者如果檢測到景物改變，則將幀編碼成I幀；否則，則將其編碼成P幀或B幀。連續 B幀的數量是內容自適應性的。
GOP等級速率控制(RC)及幀等級RC
不同的圖片類型具有不同的編碼效率及不同的出錯健壯性。編碼器及解碼器各自
維持緩衝器。虛擬緩衝器大小確定可容忍多大的突發性。例如，如果虛擬緩衝器大小
設定成平均為八秒的多媒體數據的大小，則速率控制(RC)算法會在八秒的時幀內維
持平均位速率。瞬時位速率可能遠高於或低於所述平均位速率，但在任一為八秒的數
據中，位速率的平均值應保持緊密接近目標位速率。
編碼器緩衝器及解碼器緩衝器的緩衝器滿度互為對偶。解碼器緩衝器的溢出事件
對應於編碼器緩衝器的下溢事件。解碼器緩衝器的下溢事件則對應於解碼器緩衝器的 溢出事件。
I幀QP指配
在位流開始時，如方程式7所圖解說明，根據平均的每像素位數(b卯)值為第 一I幀計算量化參數(QP)。
formula see original document page 18(方程式7)
諷- 43xexp - 1.15x一x ff xF 所述方程式是取自聯合視頻組(JVT)規範。在以il方程式中，W及H分別是圖片
的寬度及高度。 nn|》 ，且簡單地滿足這個方程式中的參數。
編碼器記錄先前所編碼的P圖片的QP。通過方程式8獲得平滑的P圖片QP。
formula see original document page 18(方程式8 )
在上面的方程式中，oc是指數加權因數且QPp是最近所編碼P幀的QP。 可使用方程式9來計算GOP中第一 I幀的QP。
formula see original document page 18(方程式9)
P幀QP指配
如方程式10所表示，在圖片群組(GOP)開始時將幀大小的下界初始化。formula see original document page 18方程式10)
方程式10是取自JVT，其中B"力是在對第(i-l)個GOP進行編碼後的緩衝器佔
用度，且4"。,。^0以使緩衝器在開始時為空的，且"("w)是可用信道帶寬，而F是 預界定的幀速率。
I幀的編碼可佔用許多個位。如方程式ll所表示，在圖片群組(GOP)開始時將
幀大小的上界初始化。
formula see original document page 19(方程式ll)
上面的方程式ll取自JVT，其中b:是初始I幀上所耗用的最大數量的位，0J是對 緩衝器的溢流保護因數。
在對每一幀進行編碼後，可按方程式12及13所表達來更新下界及上界。
formula see original document page 19(方程式12)
formula see original document page 19(方程式13)
方程式12及13是取自JVT，其中""'，"是由第i個GOP中的第j個幀所產生的
昆 裡。
可按方程式14所表達來計算其餘預見的總位。
7X"w) =^xWKeDBilrtngL00fcAhead -/R—一 x醜K》(方程式14)
f A"rojectedBWSmoo胸sWin
在方禾呈式14中，Wteiraisi一okAtad是其餘予頁見幀的數量,Aamtai^UnAAbead是其餘預見
幀的對應帶寬量度，且^^**，5，《^^是所投影帶寬平滑窗口的帶寬量度。可以看
出，騰空所述緩衝器的任務分布於所述帶寬平滑窗口中，所述帶寬平滑窗口的大小可 由用戶加以規定。例如，為使每一八秒視頻維持平均位速率w，應將帶寬平滑窗口設 定為8倍幀速率(幀/秒)。
P幀的投影大小表達於方程式15中。
D-r("")Xw^4^ 、(方程式15) 乞D
在上面的方程式中，4"f」是第i個GOP中第j個幀的帶寬量度，且其可通過帶 寬量度(B)獲得。
為防止緩衝器佔用度的下溢及溢流，對^。、)應用方程式16及17的剪輯函數。
formula see original document page 19(方程式16)
formula see original document page 19(方程式17)
方程式16及17是取自JVT。可應用JVT中所述的二次方程式建模來計算Qstep 及qp，其中s是從運動估計所獲得的sad值。可使用線性回歸逐幀地更新所述二次 方程式模型中的參數。
從上文論述可見，INTER幀RC類似於JVT建議，具有以下改進的特徵；大的虛 擬緩衝器允許充足的位速率變化及準恆定質量；根據幀複雜度映射分配幀大小；使用 預見幀(超幀)來利用反因果統計數據。
B幀QP指配
這部分可與JVT建議相同。如果在I幀對或P幀對之間僅存在一個B幀，則可使 用方程式18。
沐.)=|,，2如果 2
1說十2 否則(方程式18)
上面的方程式18是取自JVT，其中QP,及QP2是所述I幀對或P幀對的量化參數。
如果I幀對或P幀對之間的B幀的數量是L(L>1)，則可使用方程式19。
gg = gg + of+臓(mk( (g，一 。$-1)， 2x(i-l)), —2x(i-l))
Z一1 (方程式19)
以上方程式是取自JVT，其中是第一個B幀的量化參數與Q&之間的差並由方程 式20a求出。
c^min(-3，max(2，2xi+2i12—Q屍H (方程式20a)
超幀等級速率控制(RC)
使用超幀等級速率控制以使超幀的大小不會超過最大規定值。在一個方面，如果 實施多遍編碼，則在第一遍中不實施超幀等級RC。
在對整個超幀進行編碼之後，編碼器驗證所述超幀的大小是否低於限值。如果不 低於所述限值，則可如方程式20b所描述按比例縮小當前超幀中各幀的帶寬映射。在 方程式20b中，P是介於0與1之間的保護因數。
= _J大，C—~"(方程式20b) 第一遍超幀大小
基本單元等級速率控制(RC)
基本單元可是一個或一個以上宏塊。 INTRA基本單元QP調整
方程式21中所表達的關係可用於Intra基本單元QP調整。
M=-Al^ (方程式21)
在方程式21中，A是通過實驗確定的非負參數，且^是視頻對象鄰域的平均帶 寬比率。值A-0.08會產生良好的視覺質量。QP的改變進一步受到規定限值的約束以 防止驟然變化。
INTER基本單元QP調整
INTER基本單元QP是根據如方程式22所示取自JVT的二次方程式模型來指配。
及-<| + |^ (方程式22)
自適應性基本單元大小
基本單元的大小確定可對QP實施調整的頻度。然而，過多的QP調整會增大開
銷。自適應性基本單元大小確定會將具有類似QP的宏塊(MB)劃歸於一起並為其指 配單個QP。
圖10圖解說明一種用於對多媒體數據進行編碼的方法的實例。所示方法包含-對對應於所選數據窗口的第一多媒體數據進行編碼1010;及對不同於第一多媒體數據 的第二多媒體數據進行編碼1020，在將所述第一多媒體數據重新編碼時，所述第二多 媒體數據對應於所述選擇的數據窗口。
圖11圖解說明一種用於對多媒體數據進行編碼的設備的實例。所示設備包含 編碼裝置1110，其用於對對應於所選數據窗口的第一多媒體數據及不同於所述第一多 媒體數據的第二多媒體數據進行編碼，所述第二多媒體數據對應於所述選擇的數據窗 口；及重新編碼裝置1120，其用於在編碼裝置1110對所述第二多媒體數據進行編碼 時將所述第一多媒體數據重新編碼。
所屬領域的技術人員應了解，可使用各種不同技術及技法的任一種來表示信息及 信號。例如，整個上述說明中可能提及的數據、指令、命令、信息、信號、位、符號 和碼片可由電壓、電流、電磁波、磁場或粒子、光場或粒子、或其任一組合來表示。
所屬領域的技術人員應進一步了解，結合本文所揭示實例描述的各種例示性邏輯 塊、模塊、及算法步驟可構建為電子硬體、固件、計算機軟體、中間件、微代碼、或 其組合。為清晰地圖解說明硬體與軟體的互換性，上文通常是基於功能性來描述各種 例示性組件、塊、模塊、電路、及步驟。此種功能性作為硬體還是軟體來實施取決於 特定應用及施加於整個系統的設計制約條件。所屬領域的技術人員可針對每一特定應 用以不同的方式構建所述功能性，但此種實施方案決定決不應視為背離所揭示方法的 範圍。
結合本文所揭示實施例描述的各種例示性邏輯塊、模塊及電路均可由下列裝置構 建或實施通用處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、場可編程 門陣列(FPGA)或其它可編程邏輯裝置、離散門或電晶體邏輯電路、離散硬體組件、 或其設計用於實施本文所述諸功能的任一組合。可在未顯示的處理器中實施所述系統
的某些部分或全部。通用處理器可為微處理器，但另一選擇為，處理器也可為任何常 規處理器、控制器、微控制器或狀態機。處理器也可構建為計算裝置的組合，例如， DSP與微處理器的組合、多個微處理器的組合、 一個或一個以上微處理器與DSP核心
的聯合，或任一其它此類配置。
結合本文所揭示實施例描述的方法或算法的步驟可直接包含於硬體中、包含於由
處理器執行的軟體模塊中、或包含於二者的組合中。軟體模塊可駐存於RAM存儲器、 快閃記憶體、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬磁碟、可 裝卸磁碟、CD-ROM、或現有技術中已知的任其它形式的存儲媒體內。實例性存儲媒 體耦合到所述處理器，以使所述處理器可從所述存儲媒體讀取信息及向所述存儲媒體 寫入信息。另一選擇為，所述存儲媒體可為處理機的組成部分。所述處理機及存儲媒 體可駐存於ASIC中。所述ASIC則可駐存於用戶終端機中。另一選擇為，所述處理器 及存儲媒體可作為離散組件駐存於用戶終端機中。
提供上文對所揭示實施例的說明旨在使所屬領域的技術人員能夠製作或使用本 發明。所屬領域的技術人員將易知所述實施例的各種修改形式，且本文所界定的一般 原理也可應用於其它實例並也可增加額外的元件。因此，本文並非意欲將本發明限定 於本文所示實施例，而是賦予其與本文所揭示原理及新穎特徵相一致的最寬廣範圍。
權利要求
1、一種對所接收視頻數據進行編碼的方法，所述方法包括確定所述視頻數據的第一部分的第一編碼複雜度；及至少部分地根據所述第一編碼複雜度對視頻數據的所述第一部分進行編碼。
2、 如權利要求1所述的方法，其進一步包括接收目標位速率，所述目標位速率是至少部分地根據所述第一編碼複雜度確定 的，其中編碼進一步包括對所述第一部分進行編碼以使得能夠以近似於所述目標位速 率的位速率傳輸所述經編碼的第一部分。
3、 如權利要求1所述的方法，其進一步包括-其中所述第一編碼複雜度是基於對所述第一部分的編碼；接收目標位速率，所述目標位速率是至少部分地根據所述第一編碼複雜度確定 的，其中編碼進一步包括將所述第一部分重新編碼以使得能夠以近似於所述目標位速 率的位速率傳輸所述經重新編碼的第一部分。
4、 如權利要求l所述的方法，其進一步包括-其中所述第一編碼複雜度不基於編碼過程；檢索所述視頻數據的第一部分的第二編碼複雜度，其中至少部分地根據所述第一 編碼複雜度及所述第二編碼複雜度確定目標位速率。
5、 如權利要求1所述的方法，其中所述第一部分對應於預定時間周期的視頻數 據，所述預定時間周期小於視頻剪輯的持續時間。
6、 如權利要求5所述的方法，其中所述預定時間周期約為l秒。
7、 如權利要求l所述的方法，其中所述第一部分對應於預定數量幀的視頻數據。
8、 如權利要求1所述的方法，其中所述第一編碼複雜度至少部分地基於對象的 量度的對數，所述量度是基於局部空間頻率與環境光的組合。
9、 如權利要求8所述的方法，其中所述對象為宏塊或幀。
10、 一種用於對所接收視頻數據進行編碼的設備，所述設備包括 確定裝置，其用於確定所述視頻數據的第一部分的第一編碼複雜度；及 編碼裝置，其用於至少部分地根據所述第一編碼複雜度對視頻數據的所述第一部分進行編碼。
11、 如權利要求10所述的設備，其進一步包括用於接收目標位速率的裝置，所 述目標位速率是至少部分地根據所述第一編碼複雜度確定的，其中編碼進一步包括對 所述第一部分進行編碼以使得能夠以近似於所述目標位速率的位速率傳輸所述經編碼 的第一部分。
12、 如權利要求10所述的設備，其中所述第一編碼複雜度是基於對所述第一部 分的編碼，其進一步包括用於接收目標位速率的裝置，所述目標位速率是至少部分地根據所述第一編碼複雜度確定的，其中所述編碼裝置進一步包括用於對所述第一部分 進行重新編碼的裝置以使得能夠以近似於所述目標位速率的位速率傳輸所述經重新編 碼的第一部分。
13、 如權利要求10所述的設備，其進一步包括 其中所述第一編碼複雜度不基於編碼過程；檢索裝置，其用於檢索所述視頻數據的第一部分的第二編碼複雜度，其中至少部 分地根據所述第一編碼複雜度及所述第二編碼複雜度確定目標位速率。
14、 如權利要求10所述的設備，其中所述第一部分對應於預定時間周期的視頻 數據，所述預定時間周期小於視頻剪輯的持續時間。
15、 如權利要求14所述的設備，其中所述預定時間周期約為l秒。
16、 如權利要求10所述的設備，其中所述第一部分對應於預定數量幀的視頻數據。
17、 如權利要求10所述的設備，其中所述第一編碼複雜度至少部分地基於對象 的量度的對數，所述量度是基於局部空間頻率與環境光的組合。
18、 如權利要求18所述的設備，其中所述對象是宏塊或幀。
19、 一種對所接收的視頻數據進行編碼的設備，所述設備包括 處理器，其經配置以確定所述視頻數據的第一部分的第一編碼複雜度；及 編碼器，其經配置以至少部分地根據所述第一編碼複雜度對視頻數據的所述第一部分進行編碼。
20、 如權利要求19所述的設備，其中所述編碼器進一步經配置以接收目標位速 率，所述目標位速率是至少部分地根據所述第一編碼複雜度確定的，其中所述編碼器 進一步經配置以對所述第一部分進行編碼以使得能夠以近似於所述目標位速率的位速 率傳輸所述經編碼的第一部分。
21、 如權利要求19所述的設備，其中所述第一編碼複雜度是基於對所述第一部 分的編碼，其中所述編碼器經配置以接收目標位速率，所述目標位速率是至少部分地 根據所述第一編碼複雜度確定的，其中所述編碼器進一步經配置以對所述第一部分進 行重新編碼以使得能夠以近似於所述目標位速率的位速率傳輸所述經重新編碼的第一 部分。
22、 如權利要求19所述的設備，其中所述第一編碼複雜度不基於編碼過程，其 中所述編碼器進一步經配置以檢索所述視頻數據的第一部分的第二編碼複雜度，其中 至少部分地根據所述第一編碼複雜度及所述第二編碼複雜度確定目標位速率。
23、 如權利要求19所述所述的設備，其中所述第一部分對應於預定時間周期的 視頻數據，所述預定時間周期小於視頻剪輯的持續時間。
24、 如權利要求23所述的設備，其中所述預定時間周期約為l秒。
25、 如權利要求19所述的設備，其中所述第一部分對應於預定數量幀的視頻數據。
26、 如權利要求19所述的設備，其中所述第一編碼複雜度至少部分地基於對象 的量度的對數，所述量度是基於局部空間頻率與環境光的組合。
27、 如權利要求26所述的設備，其中所述對象為宏塊或幀。
28、 如權利要求26所述的設備，其進一步包括多路復用器，其中所述多路復用 器經配置以至少部分地根據編碼複雜度為所述編碼器提供目標位速率。
29、 一種電腦程式產品，其包含於有形媒體中且具有用於對所接收視頻數據進 行編碼的指令，所述電腦程式產品包括具有用於確定的指令的模塊，所述指令用於確定所述視頻數據的第一部分的第一 編碼複雜度；及具有用於編碼的指令的模塊，所述指令用於至少部分地根據所述第一編碼複雜度 對視頻數據的所述第一部分進行編碼。
30、 如權利要求29所述的電腦程式產品，其進一步包括-具有用於接收目標位速率的指令的模塊，所述目標位速率是至少部分地根據所述 第一編碼複雜度確定的，其中所述具有用於編碼的指令的模塊進一步包括用於對所述 第一部分進行編碼的指令以使得能夠以近似於所述目標位速率的位速率傳輸所述經編 碼的第一部分。
31、 如權利要求29所述的電腦程式產品，其進一步包括 其中所述第一編碼複雜度是基於對所述第一部分的編碼；具有用於接收目標位速率的指令的模塊，所述目標位速率是至少部分地根據所述 第一編碼複雜度確定的，其中所述具有用於編碼的指令的模塊進一步包括用於對所述 第一部分進行重新編碼的指令以使得能夠以近似於所述目標位速率的位速率傳輸所述 經重新編碼的第一部分。
32、 如權利要求29所述的電腦程式產品，其進一步包括 其中所述第一編碼複雜度不基於編碼過程；具有用於檢索的指令的模塊，所述指令用於檢索所述視頻數據的第一部分的第二 編碼複雜度，其中至少部分地根據所述第一編碼複雜度及所述第二編碼複雜度確定目 標位速率。
33、 如權利要求29所述的電腦程式產品，其中所述第一部分對應於預定時間 周期的視頻數據，所述預定時間周期小於視頻剪輯的持續時間。
34、 如權利要求34所述的電腦程式產品，其中所述預定時間周期約為l秒。
35、 如權利要求29所述的電腦程式產品，其中所述第一部分對應於預定數量 幀的視頻數據。
36、 如權利要求29所述的電腦程式產品，其中所述第一編碼複雜度至少部分 地基於對象的量度的對數，所述量度是基於局部空間頻率與環境光的組合。
37、 如權利要求36所述的電腦程式產品，其中所述對象為宏塊或幀。
38、 一種用於對多媒體數據進行編碼的方法，其包括 對第一多媒體數據進行編碼，所述第一多媒體數據對應於所選定的數據窗口；及 對不同於所述第一多媒體數據的第二多媒體數據進行編碼，在對所述第一多媒體 數據進行重新編碼時，所述第二多媒體數據對應於所述選定的數據窗口 。
39、 如權利要求38所述的方法，其中所述選定的數據窗口對應於約l秒的數據。
40、 如權利要求38所述的方法，其中所述第一多媒體數據包括視頻數據且對所 述第一多媒體數據的編碼包括-確定所述視頻數據的編碼複雜度；及 對所述視頻數據進行編碼。
41、 如權利要求38所述的方法，其中對所述第一多媒體數據進行重新編碼使用 來自對所述第一多媒體數據進行編碼的編碼統計數據。
42、 一種用於對多媒體數據進行編碼的設備，其包括編碼裝置，其用於對對應於選定的數據窗口的第一多媒體數據及不同於所述第一 多媒體數據的第二多媒體數據進行編碼，所述第二多媒體數據對應於所述選定的數據 窗口；及重新編碼裝置，其用於在所述編碼裝置對所述第二多媒體數據進行編碼時對所述 第一多媒體數據進行重新編碼。
43、 如權利要求42所述的方法，其中所述選定的數據窗口對應於約l秒的數據。
44、 如權利要求42所述的方法，其中所述第一多媒體數據包括視頻數據且所述 編碼裝置包括確定裝置，其用於確定所述視頻數據的編碼複雜度；及 編碼裝置，其用於對所述視頻數據進行編碼。
45、 如權利要求42所述的方法，其中所述重新編碼裝置使用來自所述編碼裝置 的編碼統計數據對所述第一多媒體數據進行重新編碼。
46、 一種用於對多媒體數據進行編碼的設備，其包括-第一編碼器，其經配置以對對應於選定的數據窗口的第一多媒體數據進行編碼及 對不同於所述第一多媒體數據的第二多媒體數據進行編碼，所述第二多媒體數據對應 於所述選定的數據窗口；及第二編碼器，其經配置以在所述第一編碼器正對所述第二多媒體數據進行編碼時對所述第一多媒體數據進行重新編碼。
47、 如權利要求46所述的設備，其中所述選定的數據窗口對應於約l秒的數據。
48、 如權利要求46所述的設備，其中所述第一多媒體數據包括視頻數據且所述 第一編碼器包括處理器，其經配置以確定所述視頻數據的編碼複雜度；及 編碼器，其經配置以對所述視頻數據進行編碼。
49、 如權利要求46所述的設備，其中所述第二編碼器經配置以從所述第一編碼 器接收編碼統計數據以對所述第一多媒體數據進行重新編碼。
50、 一種電腦程式產品，其包含於有形媒體中且具有用於對多媒體數據進行編 碼的指令，所述電腦程式產品包括-具有用於編碼的指令的模塊，所述指令用於對對應於選定的數據窗口的第一多媒 體數據進行編碼及對不同於所述第一多媒體數據的第二多媒體數據進行編碼，所述第 二多媒體數據對應於所述選定的數據窗口；及具有用於重新編碼的指令的模塊，所述指令用於在所述具有用於編碼的指令的模 塊正對所述第二多媒體數據進行編碼時對所述第一多媒體數據進行重新編碼。
51、 如權利要求50所述的電腦程式產品，其中所述選定的數據窗口對應於約1 秒的數據。
52、 如權利要求50所述的電腦程式產品，其中所述第一多媒體數據包括視頻 數據且所述具有用於對所述第一多媒體數據進行編碼的指令的模塊包括具有用於確定所述視頻數據的編碼複雜度的指令的模塊；及 具有用於對所述視頻數據進行編碼的指令的模塊。
53、 如權利要求50所述的電腦程式產品，其中所述具有用於對所述第一多媒 體數據進行重新編碼的指令的模塊包括用於使用編碼統計數據的指令，所述編碼統計 數據是從所述具有用於對所述第一多媒體數據進行編碼的指令的模塊接收到的。
全文摘要
本發明揭示用於有效地對例如實況視頻流等多媒體數據進行編碼的方法及設備。在將使用的實際編碼之前，估計預定時間間隔(例如，1秒)的編碼複雜度。這準許以預先已知的複雜度估計值來實施實際編碼，從而準許在所述預定時間間隔內有效地分配為所述預定時間間隔所分配的位(位速率)。此外，可將所估計複雜度提供到裝置，例如，多路復用器，然後可由所述裝置根據多路復用視頻信道集合的預計編碼複雜度為那些視頻信道分配可用帶寬，從而準許甚至當所述多路復用視頻信道集合的帶寬相對恆定時也能夠使特定信道的質量保持相對恆定。
文檔編號H04N7/26GK101185337SQ200680015179
公開日2008年5月21日 申請日期2006年3月10日 優先權日2005年3月10日
發明者濤 田, 陳培松 申請人:高通股份有限公司