有助於視頻流的成本效率和低等待時間編碼的機構的製作方法

2023-05-18 19:30:26

有助於視頻流的成本效率和低等待時間編碼的機構的製作方法
【專利摘要】描述了一種針對有限信道帶寬的助益成本效率和低等待時間視頻流編碼的機構。在一個實施方案中，設備包括具有編碼邏輯的源設備。所述編碼邏輯可包含第一邏輯，用於接收具有多個視頻幀的視頻流。所述視頻流被逐幀接收。所述編碼邏輯還可包括第二邏輯，用於確定與在編碼機構處接收的多個視頻幀的第一當前視頻幀相關的輸入數據率；以及第三邏輯，用於基於輸入數據率生成一個或者多個零-Δ幀，並將一個或者多個零-Δ幀分配給多個視頻幀中在第一當前視頻幀之後的一個或者多個第一視頻幀。
【專利說明】有助於視頻流的成本效率和低等待時間編碼的機構

【技術領域】
[0001] 本發明的實施方案一般地涉及運動畫面的編碼，更具體地，涉及有助於視頻流的 成本效率（cost-efficient)和低等待時間編碼的機構。
[0002] 背景
[0003] 視頻流編碼（例如運動畫面）是一種用於從視頻流中空間和時間域消除冗餘的已 知技術。例如，通過降低視頻流的給定畫面的空間冗餘來獲得視頻流的I-畫面，同時通過 消除存在於視頻流的當前幀與先前編碼（參考）幀或畫面之間的時間冗餘來生成P-畫面。 傳統系統試圖通過分析多個參考幀來確定視頻流中的冗餘部分以試圖降低空間和時間冗 餘；因此，這些系統需要大量處理時間和額外的硬體資源，同時不可避免地導致高等待時間 且需要大量的存儲器。過多的硬體成本使得傳統系統使用起來非常昂貴，同時相關的高等 待時間使得這些傳統系統的效率低下而且不適合於某些等待時間敏感的應用，例如視頻會 議應用和遊戲等等。
[0004] 附圖1示出了現有技術的視頻流編碼技術。如上所述，傳統地，視頻流的先前編碼 幀被用作接下來的幀或者傳入幀的幀間預測的參考幀。例如，如示出的，附圖1示出了示例 性的具有20個幀的輸入視頻流102。使用傳統的編碼技術，首先生成I-畫面114,其後跟 隨著一組固定或者可變數量的P-畫面118,包括巾貞2到10。最初的一組P-畫面118後跟 隨著另一個1_畫面116。在I-畫面116之後，多個參考巾貞隨後被用於生成另一組P-畫面 120 (包括幀12到20)以最大化壓縮率。此外，使用這一傳統的率控制系統--在此在現 有技術附圖1中示出的，對大量幀執行該率控制，從而能夠收集關於針對前導的I-幀114、 116以及跟隨在其後的相應組的P-幀118、120累積了多少數據的信息，這自然地導致對信 道狀態的緩慢響應。
[0005] 概述
[0006] 描述了一種針對有限信道帶寬助益成本效率和低等待時間的視頻流編碼的機構。
[0007] 在一個實施方案中，一種設備包括具有編碼邏輯的源設備。該編碼邏輯包括第一 邏輯，用於接收具有多個視頻幀的視頻流。該視頻流被逐幀接收。該編碼邏輯還可包括第二 邏輯，用於確定與在編碼機構處接收的多個視頻幀的第一當前視頻幀相關的輸入數據率， 以及第三邏輯，用於基於該輸入數據率生成一個或者多個零-△幀，並將該一個或者多個 零-△幀分配給多個視頻幀中跟隨在第一當前視頻幀之後的一個或者多個第一視頻幀。
[0008] 在一個實施方案中，一種系統包括源設備，該源設備具有耦合到存儲器設備的處 理器的，並且還具有編碼機構。該編碼機構用於接收具有多個視頻幀的視頻流。該視頻流 被逐幀接收。該編碼機構還用於確定與在編碼機構處接收的多個視頻幀的第一當前視頻幀 相關的輸入數據率，基於該輸入數據率生成一個或者多個零_ △幀，以及將一個或者多個 零-△幀分配給多個視頻幀中跟隨在第一當前視頻幀之後的一個或者多個第一視頻幀。
[0009] 在一個實施方案中，一種方法可包括接收具有多個視頻幀的視頻流。該視頻流被 逐幀地接收。該方法還可包括確定與在編碼機構處接收的多個視頻幀的第一當前視頻幀 相關的輸入數據率，基於該輸入數據率生成一個或者多個零_ △幀，以及將一個或者多個 零-△幀分配給多個視頻幀中跟隨在第一當前視頻幀之後的一個或者多個第一視頻幀。
[0010] 附圖簡述
[0011] 通過例子而非限制的方式示出本發明的實施方案，附圖的圖中相同參考數值表示 相似的單元：
[0012] 附圖1示出了現有技術的視頻流編碼技術；
[0013] 附圖2示出了根據一個實施方案的使用成本效率、低等待時間動態編碼機構的源 設備；
[0014] 附圖3示出了根據一個實施方案的動態編碼機構；
[0015] 附圖4A、4B和4C示出了根據一個實施方案的視頻流的零-A(delta)-預測基於 幀的動態編碼；
[0016]附圖5A、5B和5C示出了根據一個實施方案的視頻流的基於零-A-預測宏塊的動 態編碼的處理；以及
[0017] 附圖6示出了根據本發明的一個實施方案的計算系統。
[0018] 詳細描述
[0019]本發明的實施方案旨在針對受限制的帶寬的有助於成本效率和低等待時間的視 頻流編碼。在一個實施方案中，這種新方案逐幀地使用率控制，以使得如果單個幀消耗了過 多的帶寬，則可通過提高量化參數（QP)值來控制接下來（後續）幀的質量，同時，可通過具 有一個或者多個零-A預測（ZDP)幀（ZDPF)或者零-A宏塊（ZDP-MB)來跳過一個或者多 個中貞。這種新技術，例如，不同於並且優於傳統的率控制系統，在傳統系統中，要對大量巾貞執 行率控制以使得能夠獲得關於針對前導I幀和跟隨其後的相應P幀組累積了多少數據的信 息，這自然導致了對信道狀態的緩慢響應。
[0020] P-幀或者預測幀可被認為是通過對先前幀（例如通過預測）進行一些修改（例如 A)而構建的幀。為了計算△部分，編碼器可能需要很大的存儲器來存儲一個或者多個全 幀（fullframe)。ZDPF是指具有零-A的P-幀。由於其A部分是零，因此ZDFT可與預 測幀相同並且沒有任何的幀存儲需求。ZDP-MB包括可包含幀的4X4或者16X16像素塊 的ZDP-MB。通常，I-幀由所有I-MB組成，而P幀可由I-MB和P-MB組成。P-MB是指由預 測和A組成的宏塊，而ZDP-MB是指具有零A的P-MB。儘管使用ZDP-MB的某些優點與使 用ZDP-幀的相同；然而使用ZDP-MB可提供關於選擇I幀或者ZDPF的更好的細粒度MB方 面（MBiise)控制。例如，在一個實施方案中，判決邏輯連同數據率測量模塊的散列存儲器 可被用於決定是發送I-MB還是ZDP-MB。
[0021] 附圖2示出了根據一個實施方案的使用成本效率、低等待時間動態編碼機構的通 信設備。通信設備200包括源設備（還被稱為傳送器或者傳送設備），用於通過通信網絡將 數據（例如，音頻和/或視頻流）傳輸給阱設備（還被稱為接收器或者接收設備）。通信設 備200可包括對於阱設備或者任何此類設備公共的任意數量的組件和/或模塊；但是，為了 簡潔、清楚和易於理解，貫穿全文並且尤其是在附圖2中，該通信設備200被稱為源設備。源 設備200的例子可包括計算設備、數據終端、機器（例如傳真機、電話等）、視頻相機、廣播站 (例如電視或者無線電站）、有線廣播頭端、機頂盒、衛星等等。源設備200的其它例子還可 包括消費電子設備，例如個人電腦（PC)、移動計算設備（例如平板電腦、智慧型電話等）、MP3 播放器、音頻裝備、電視、無線電、全球定位系統（GPS)或者導航設備、數字相機、音頻/視頻 記錄器、藍光播放器、數字通用盤OVD)播放器、光碟（CD)播放器、視頻錄像機（VCR)、便攜 攝像機等等。阱設備（未示出）可包括一個或者多個與源設備200的那些相同的例子。
[0022] 在一個實施方案中，源設備200使用動態編碼機構（編碼機構）210來動態成本效 率和低等待時間地逐幀編碼視頻流（例如運動畫面）的。源設備200可包括用作源設備 200的硬體或者物理資源與阱設備或者用戶之間的接口的作業系統206。源設備200還可 包括一個或者多個處理器202、存儲器設備204、網絡設備、驅動器或者類似的，以及輸入/ 輸出（I/O)源208,例如觸控螢幕、觸摸面板、觸控板、虛擬或者常規的鍵盤、虛擬或者常規鼠 標等等。類似"幀（frame)"和"畫面（picture)"的術語在全文中被可互換地使用。
[0023] 附圖3示出了根據一個實施方案的動態編碼機構。在示出的實施方案中，編碼機 構210包括幀內預測模塊302、轉換模塊304,量化模塊306、熵編碼模塊308、數據率測量模 塊310、以及具有ZDPF生成器314和ZDP-MB生成器316的零-A-預測單元312。在一個實 施方案中，數據率測量模塊310包括判決邏輯18連同散列存儲器320。ZDPF和ZDP-MB是 用於視頻數據流的視頻幀的△編碼或者視頻壓縮方法中的△幀的例子。如參考附圖4A、 4B、4C、5A、5B和5C將要詳細描述的，編碼機構210的各種組件302-312被用於編碼視頻流 (例如運動畫面）使得編碼在成本和等待時間上很低。在一個實施方案中，此成本效率、低 等待時間編碼通過使ZDP單元312生成ZDPF和/或ZDP-MB(例如，ZDP-MB可等於具有全 部或者部分I-畫面和全部或者部分ZDPF的幀，例如I-畫面/ZDPF)以及將它們放置於輸 入視頻流的任何數量的幀內來執行。
[0024] 附圖4A、4B和4C示出了根據一個實施方案的基於ZDPF的視頻流動態編碼。附 圖4A示出了要編碼的視頻流（例如，運動畫面視頻流）的當前幀422在源設備的編碼機構 210處被接收。在一個實施方案中，當前幀422,類似於視頻流的其它幀，通過各種編碼過程 402-414以便作為I-畫面424或ZDPF426被傳輸到阱設備處的解碼器。該阱設備可通過 通信網絡與源設備耦合。例如，如示出的，當前幀422經過附圖3的幀內預測模塊302執行 的幀內預測402的過程。幀內預測過程402通過搜索與當前幀422相關的最佳預測來降 低當前幀422中的任何空間冗餘以便於是否可生成I畫面424。幀內預測過程402提供的 任意預測數據在被從原始數據中減去時，會導致殘餘（residue)，該殘餘隨後由附圖3所示 的轉換模塊304執行的轉換過程404來處理。該轉換過程404主要涉及基於幀內預測過程 402作出的預測進行當前幀422的域改變，例如改變頻域。例如，在當前幀422的數據率測 量410可執行之前，預測的畫面和當前幀422之間確定的任意差異或者殘餘可經歷畫面壓 縮過程，該過程包括執行多個過程，例如轉換404、量化406以及熵編碼408等等。在一個實 施方案中，附圖2和3的動態編碼機構210的量化模塊306、熵編碼模塊308和數據率測量 模塊310分別執行量化過程406、熵編碼過程408和數據率測量過程410。
[0025] 在一個實施方案中，使用數據率測量過程410來計算當前幀422的數據率。例如， 在一個實施方案中，數據率測量過程410可被用於執行若干個任務並且其結果可被用於檢 查以確定將當前幀422發送或者傳輸到阱設備所需的帶寬數量。可以預期，數據率測量過 程410可通過犧牲與當前幀422相關的畫面的質量來控制QP值以滿足需要的信道帶寬；但 是，即使採用顯著降低的圖像質量（例如即使當實際上達到最小圖像質量時），當前幀422 需要的帶寬可能無法實現。在一個實施方案中，為了解決這一問題，可生成ZDPF426並將 其插入到在當前幀422之後或者跟隨當前幀422的一個或者多個幀中，以贏得當前幀422 所需的附加帶寬。與可用信道帶寬相比，ZDPF 426的數量或者表示ZDPF 426的後續幀的 數量可基於當前幀422所需的額外帶寬的數量。數據率測量過程410可被用於計算QP值， 該值隨後被應用於接下來的輸入視頻幀。此外，使用數據率測量過程410,還可做出對使用 ZDPF的決定。但是，計算QP值和決定使用ZDPF的兩個過程被認為是在數據率測量過程410 中執行的兩個分離和獨立的任務。例如，在一個實施方案中，根據從數據率測量過程410獲 得的輸入數據率（不是QP值）來做出使用ZDPF的決定。
[0026] 在一個實施方案中，使用附圖3的ZDPF生成器314來執行ZDPF生成414,從而生 成ZDPF426,其隨後通過跟隨當前幀422的任意數量的幀提供以幫助確保足夠的帶寬，以便 於將與當前幀422相關的壓縮或者編碼數據（例如，圖像）傳輸到具有用於解壓縮或者解 碼接收的數據的解碼器的阱設備。在一個實施方案中，通過在表示為在前I-畫面的當前幀 422與同視頻流的對應幀相關聯的後續I-畫面之間的一個或者多個相應幀，來提供一個或 者多個ZDPF 426,以降低等待時間。QP值被確定得越高，如被數據率測量過程410使用的， 則當前幀數據壓縮就需要得越多，反之亦然。如果，例如，當前幀422需要與典型地傳輸幀 給阱設備所需要的正常信道帶寬相同或者更少的帶寬，則通過熵編碼過程408(使用附圖3 的熵編碼模塊308)，在視頻流中無須具有任何ZDPF的情況下，將當前幀數據壓縮/編碼並 標記為I-畫面424,並傳遞其以在阱設備處被解壓縮/解碼。
[0027] 現在參考附圖4B，其示出了輸入視頻流430以及通過使用附圖4A的動態編碼 機構210的各種過程生成的編碼視頻流440。在一個實施方案中，如所示，當用於傳輸各 個I-幀的所需帶寬數據率大於信道帶寬時，執行視頻流編碼以插入ZDPF444、448-450和 454-456。儘管簡單的生成I-幀還可以降低運動畫面中的空間冗餘，但是，這一類壓縮在傳 輸具有複雜畫面的幀到或者通過限制帶寬信道時做的不好。如果當前幀的所需帶寬被確定 為大於一個幀時間的正常信道帶寬，則可利用一個或者多個ZDPF444、448-450和454-456 通過多個幀時間來傳輸當前幀數據，例如幀442、446和452,從而佔用編碼視頻流440中的 一個或者多個後續幀以便於彌補經延遲的幀。ZDPF444、448-450和454-456可表示一類 P-畫面，該畫面包括的內容與P-畫面沒有不同，因此，需要或者要求很少量的帶寬來傳輸， 並且留下了其餘的以用於傳輸包括在當前幀442、446和452中需要額外帶寬的數據。
[0028] 在一個實施方案中，當阱設備的解碼器接收到ZDPF444、448-450和454-456時， 該解碼器會簡單地重複先前解碼的畫面或者幀442、446和452,其示出了相同的效果但是 採用動態幀率控制。例如，當在解碼器處接收到ZDPF444 (表示編碼視頻流440的幀6) 時，解碼器簡單地重複先前的幀5 442,直到其到達後續的幀7,類似的，當幀10 446時，從 基於ZDPF的幀448-450開始重複，直到它們的後續幀13到達等等。為了進一步解釋，我們 假設，巾貞5 442 (或者第五個輸入巾貞）是複雜巾貞，其需要1.5倍的單巾貞（singleframe)時間 的帶寬。為了處理這一情況，在一個實施方案中，編碼機構210在等於1. 5倍所需帶寬中的 1. 〇倍的第五幀時間中生成並發送幀5 442的壓縮的數據，並且進一步地將ZDPF插入到幀 6 444並在第六幀時間中發送它，該第六幀時間用以表示等於單幀時間的1.5倍帶寬中的 0.5倍的剩餘帶寬。換句話說，在第五幀時間中，編碼機構210發送幀5 442的數據，而在第 六幀時間內，編碼機構210將幀5 442的剩餘數據和ZDPF放入到幀6 444中以使其在阱設 備的解碼器中被接收。
[0029] 類似地，我們假設如果幀10 446比幀5 442更為複雜，且需要單幀時間的帶寬的 2. 5倍。在這種情況下，編碼機構210分別使用幀11 448、幀12 450來通過第十幀時間以及 第i^一幀時間和第十二幀時間來發送幀10 446的壓縮數據。附圖4A的ZDPF生成過程414 將ZDPF插入到幀11 448和幀12 450的每一個中，從而表示剩餘部分的畫面或者第十二幀 時間的剩餘部分。換句話說，ZDPF被用於趕上由於先前數據溢出而造成的經延遲的幀。示 出的幀17 452、18 454和19 456類似於幀10 445、11 448和12 450,因此，為了簡潔起見， 在此不做討論。可以預期的是，幀不被在此示出的帶寬的數量限制，單幀可能需要任意數量 的帶寬，並且被多個後面具有ZDPF的幀以及超過單幀時間需要的信道帶寬的帶寬的部分 表不。
[0030] 附圖4C示出了根據一個實施方案的視頻流的基於ZDPF的動態編碼的過程。方法 450可以通過處理邏輯來執行，該電路包括硬體（例如電路、專用電路、可編程邏輯、微代碼 等等）、軟體（例如在處理設備上運行的指令）、或者它們的組合，例如硬體設備中的固件或 者功能電路。在一個實施方案中，方法450通過附圖2的動態編碼機構210來執行。
[0031] 方法450從框452開始，在通過通信網絡與阱設備耦合的源設備處使用的動態編 碼機構處接收輸入視頻流的當前幀。在框454,對當前幀執行多個編碼過程（例如幀內預 測、轉換、量化、熵編碼等等），如參考附圖4A所述。在框456,利用附圖4A的數據率測量過 程通過熵編碼和量化過程來計算QP值。計算的QP值隨後被應用於接下來的輸入視頻幀。 此外，利用數據率測量過程410來做出使用ZDPF的決定。但是，計算QP值和決定使用ZDPF 的兩個過程在數據率測量過程410中被作為兩個分離且獨立的任務來執行。例如，在一個 實施方案中，決定使用ZDPF是根據從數據率測量過程410獲取的輸入數據率（而不是QP 值）做出的。該單幀時間涉及壓縮和傳輸與單幀相關的數據所需的可用信道帶寬的量，使 得該數據能夠在阱設備處被正確地接收（例如，沒有任何畫面偽像或惡化），並且在該阱設 備處，其能夠被解碼器解碼並且被顯示設備顯示。
[0032] 在框458,如果帶寬小於或者等於單幀時間的信道帶寬，則當前幀數據被壓縮，且 當前幀被標記為I-畫面並傳輸到阱設備從而被其解碼器處理。在框460,如果帶寬被確定 為大於單幀時間的信道帶寬，則當前幀數據被壓縮以通過多個幀傳輸。換句話說，在一個實 施方案中，當前幀被標記為I-畫面，而跟隨當前幀的一個或者多個幀被指派ZDPF以攜帶剩 餘壓縮數據的負載和/或提供當前幀所需的附加帶寬。當前幀（如I-畫面）和一個或者 多個後續幀（如ZDPF)被傳輸到阱設備從而被解碼和顯示。如之前所述，被稱為ZDPF的幀 的數量會依賴於當前幀的複雜度，例如壓縮當前幀數據和將當前幀傳輸到阱設備所需的正 常信道帶寬之外或者以外的總帶寬。
[0033] 附圖5A、5B和5C示出了根據一個實施方案的視頻流的基於ZDP-MB的動態編碼的 處理。為了簡明和易於理解，前面關於附圖4A、4B和4C提及的各種過程和組件在此不再重 復。在一個實施方案中，如在附圖5A中所示，在極大程度上，當前幀522經歷與附圖4A的 當前幀422類似的過程，除了這裡，當前幀522的數據被壓縮和處理以使得為傳到與使用編 碼結構210的源設備通信的阱設備處的解碼器的視頻流帶來逐步的圖像改善。例如，當前 幀522可能太複雜而不能被合適地渲染，例如其僅能夠被渲染為失真或者不自然的圖像。
[0034] 在實施方案中，如參考附圖4A、4B和4C所述的，任意數量的ZDPF可以被引入到 視頻流來降低或者消除當前幀522的複雜度。在另一個例子中，如在此所示，任意數量的 ZDP-MB526與視頻流的對應數量的幀相關，從而消除與當前幀相關的任意複雜度，並允許 觀眾觀看與視頻流相關的圖像而沒有圖像對象的任何不自然的運動。在視頻流的多個幀中ZDP-MB526的使用通過引入視頻流的圖像的逐步更新來降低甚至消除任意複雜度。
[0035] 此外，數據率測量過程410可被用於計算隨後應用於接下來的輸入視頻幀的QP 值。此外，使用數據率測量過程410,還可做出使用ZDP-MB526的決定。但是，計算QP值和 決定使用ZDP-MB526的兩個過程被當做是在數據率測量過程410中兩個分離且獨立執行的 兩個任務。例如，在一個實施方案中，根據從數據率測量過程410獲得的輸入數據率（而不 是QP值）來做出使用ZDP-MB526的決定。QP值被確定為越大，並且被數據率測量過程410 使用，就需要越多的當前幀數據壓縮，反之亦然。通常，I-幀是由全部I-MB424組成的，而 P-幀可由I-MB424和P-MB組成。P-MB是指一個由預測和A組成的宏塊，而ZDP-MB526 是指具有零A的P-MB。儘管使用ZDP-MB526的某些優點與使用附圖4A的ZDPF相同；然 而，使用ZDP-MB526能夠在選擇I-幀或者ZDPF上提供更好的細粒度MB方面的控制。例 如，在一個實施方案中，數據率測量過程410使用附圖3的數據率測量模塊310的判決邏輯 318連同散列存儲器320 -起決定是否在一個或者多個數據流的幀中發送或者使用I-MB 424 或ZDP-MB526。
[0036] 換句話說，作為如參考先前實施方案所述的在具有與包括在先前幀中的無差別的 信息的幀中發送ZDPF的替代，在這一實施方案中，多個I-塊被分布到多個P-畫面上。例 如，如附圖5B所示，如果幀10 546 (通過輸入視頻流530接收）被確定為複雜幀，則用於該 第十幀546的I-塊可通過三個畫面時間幀（例如幀10 546、幀11 548和幀12 550)發送， 通過熵編碼過程408被指派I-塊424,且進一步地通過附圖5A的編碼機構210的ZDP-MB 生成過程514被指派ZDP-MB526。繼續這一例子，幀10 546表示I-塊（還稱為"I-畫 面"或"I-MB"或者簡稱"I"），而幀11 548和12 550的ZDP-MB可表示I-MB/ZDP-MB組合。 換句話說，三個幀的具有I-塊的第一個，例如幀10 546,可被認為是I-畫面或者I-MB，其 首次傳輸滿足等待時間和帶寬需求的合理圖像質量，其隨後跟隨著三個幀中的具有ZDP-MB 的最後兩個，例如幀11 548和12 550,可以被認為是具有部分I-塊以幫助改善在多個幀上 的圖像質量的P-畫面。這樣，由幀10 546傳輸的圖像質量在多個後續幀11 548和12 550 上被逐步改善。分別使用它們的後續幀6 544以及幀19 554和20 542將類似技術應用到 其他複雜幀5 542和18 552。這種新技術對於傳輸某些靜止畫面是非常有用的，例如那些 涉及計算呈現相關的應用（例如，Microsoft?PowerPoint?、Apple?Keynote?等）。
[0037] 附圖5C示出了根據一個實施方案的視頻流的基於ZDP-MB的動態編碼過程。方法 550可以通過處理邏輯來執行，該電路可包括硬體（例如電路、專用電路、可編程邏輯、微代 碼等等）、軟體（例如在處理設備上運行的指令）、或者它們的組合，例如硬體設備中的固件 或者功能電路。在一個實施方案中，方法550通過附圖2的動態編碼機構210來執行。
[0038] 方法550從框552開始，在通過通信網絡與阱設備耦合的源設備處的動態編碼機 構處接收輸入視頻流的當前幀。在框554,對當前幀執行多個編碼過程（例如幀內預測、轉 換、量化、熵編碼等等），如參考附圖5A所述的。在框556,通過使用通過熵編碼和量化過程 計算的QP值，確定數據率測量是否已經發現當前幀過於複雜而不能夠通過阱設備處的顯 示設備向觀眾遞送正確的圖像（例如沒有任何畫面損壞或者惡化）。例如，視頻流的多個幀 可能需要比正常信道帶寬更多的帶寬，其將導致與這些幀相關的圖像的惡化（例如緩慢運 動）渲染。
[0039] 在框558,如果當前幀不是非常複雜和/或其需要的帶寬小於或者等於單幀時間 的信道帶寬，則當前幀數據被壓縮，且當前幀被標記為I-畫面並傳輸到阱設備從而被其解 碼器處理。在框560,如果當前巾貞被確定為過於複雜和/或如果帶寬被確定為大於單巾貞時間 的信道帶寬，則當前幀數據被壓縮以通過多個幀遞送。換句話說，在一個實施方案中，當前 幀數據被壓縮並且將通過多個幀遞送。當前幀被標記為I-畫面，而一個或者多個ZDP-MB 與跟隨著當前幀的一個或者多個後續幀相關聯。當前幀和後續基於ZDP-MB的幀被傳輸到 阱設備從而在由阱設備使用的解碼器處被解碼，隨後，在顯示設備上顯示為圖像。
[0040]附圖6示出了使用本發明的實施方案的網絡計算機設備605的組件。在該示例中， 網絡設備605可以是網絡中的任何設備，包括但不限於，計算設備、網絡計算系統、電視機、 纜線機頂盒、無線電、藍光播放器、DVD播放器、CD播放器、放大器、音頻/視頻接收器、智能 電話、個人數字助理（PDA)、存儲單元、遊戲控制臺、或者其他媒體設備。在某些實施例中，網 絡設備605包括提供網絡功能的網絡單元610。網絡功能包括但不限於生成、傳送、存儲、和 接收媒體內容流。網絡單元610可被實現為單個片上系統（SoC)或被實現為多個組件。
[0041] 在某些實施例中，網絡單元610包括用於處理數據的處理器。對數據的處理可包 括生成媒體數據流，操縱數據流來傳送或存儲，以及解密和解碼數據流來使用。網絡設備還 可包括支持網絡操作的存儲器，如動態隨機存取存儲器ORAM)620或其他類似存儲器和閃 存625或其他非易失性存儲器。網絡設備605還可包括只讀存儲器（ROM)或其它靜態儲存 裝置，用於存儲處理器615使用的靜態信息和指令。
[0042] 諸如磁碟或光碟等數據存儲裝置及其相應的驅動器也可耦合至網絡設備605以 存儲信息和指令。計算機系統605還可經由I/O接口耦合至輸入/輸出（I/O)總線。多個 I/O設備可耦合至I/O總線，包括顯示設備、輸入設備（例如，字母數字輸入設備和/或光標 控制裝置）。網絡設備605可包括或者被耦合到通信設備，用於經由外部數據網絡訪問其它 計算機（伺服器或者客戶端）。通信裝置可包括數據機、網絡接口卡或其它公知的接口 設備，諸如用於耦合至乙太網、令牌環或其它類型網絡的設備。
[0043] 網絡設備605還可包括經由一個或多個網絡接口 655分別用於在網絡上發送數據 或從網絡接收數據的發送器630和/或接收器640。網絡設備605可與採用附圖2的成本 效率、低等待時間的動態編碼機構210的通信設備200相同。發送器630或接收器640可 以連接到有線傳輸電纜（包括例如乙太網電纜650、同軸電纜）或連接到無線單元。發送 器630或接收器640可以用一條或多條線，如用於數據發送的線635和用於數據接收的線 645,耦合到網絡單元610來用於數據傳輸和控制信號。還可以存在附加連接。網絡設備 605還可包括用於該設備的媒體操作的多個組件，它們在此未示出。
[0044] 網絡設備605還可被內置到客戶端/伺服器網絡系統或者通信介質網絡（例如衛 星或者纜線廣播）。網絡可包括通信網絡、電信網絡、區域網（LAN)、廣域網（WAN)、城域網 (MAN)、個域網（PAN)、內部網、網際網路，等等。可構想，可以存在經由該網絡連接的任意數量 的設備。經由多種標準或非標準協議，設備可將數據流傳輸（諸如流送媒體數據）至網絡 系統中的其它設備。
[0045] 在以上描述中，出於說明目的闡述了眾多具體細節以便提供對本發明的全面理 解。然而，對本領域技術人員將顯而易見的是，沒有這些具體細節中的一些也可實踐本發 明。在其他情況下，公知結構和設備以框圖的形式示出。在所示組件之間可能存在中間結 構。本文描述或示出的組件可具有未示出或描述的附加輸入或輸出。
[0046] 本發明的各種實施例可包括各種過程。這些過程可由硬體組件來執行或可以用計 算機程序或機器可執行指令來實現，這可用於使得通用或專用處理器或邏輯電路經用這些 指令編碼來執行這些過程。或者，這些過程可由硬體和軟體的組合來執行。
[0047] 本文檔通篇中描述的一個或多個模塊、組件或要素，諸如在DRAM增強機構的實施 例中示出或的與其關聯的模塊、組件或要素，可包括硬體、軟體和/或硬體和軟體的組合。 在模塊包括軟體的情況下，軟體數據、指令和/或配置可經由製品通過機器/電子設備/硬 件來提供。製品可包括具有提供指令、數據等內容的機器可存取/可讀介質。
[0048]本發明的各實施例的各部分可以作為電腦程式產品來提供，電腦程式產品可 包括其上存儲有電腦程式指令的計算機可讀介質，電腦程式指令可被用來對計算機 (或其他電子設備）進行編程來執行根據本發明的實施例的過程。機器可讀介質可包括，但 不限於，軟盤、光碟、壓縮盤只讀存儲器（CD-ROM)、以及磁光碟、只讀存儲器（ROM)、隨機存 取存儲器（RAM)、可擦除可編程只讀存儲器（EPROM)、EEPR0M、磁卡或光卡、快閃記憶體、或適於存 儲電子指令的其它類型的介質/機器可讀介質。此外，本發明還可作為電腦程式產品來 下載，其中該程序可以從遠程計算機傳送到作出請求的計算機。
[0049] 許多方法是以其最基本的形式來描述的，但可以向這些方法中的任一個添加或從 中刪除過程，並且可以向所描述的消息中的任一個添加或從中減去信息，而不背離本發明 的基本範圍。對本領域技術人員而言顯而易見的是，還可以作出許多修改和改編。各具體 實施例不是為了限制本發明而是為了說明本發明來提供的。本發明的實施例的範圍不是由 以上提供的各具體示例來確定的，而是僅由所附權利要求書來確定的。
[0050] 當描述元件"A"耦合至元件或"A"與"B"耦合時，元件A可直接耦合至元件B，或 通過例如元件C間接耦合。當說明書或權利要求書聲明組件、特徵、結構、過程、或特性A"引 起"組件、特徵、結構、過程或特性B時，它意味著"A"至少是"B"的部分起因，但還可能有幫 助引起"B的至少一個其它組件、特徵、結構、過程或特性。"如果說明書指示部件、特徵、結 構、過程或特性可能摂、也許摂或可摂被包括，則並非要求該部件、特徵、結構、過程或特性 被包括。如果說明書或權利要求述及"一個（a，英文中的不定冠詞）"或"一個（an，英文中 的不定冠詞）元件，則這不意味著僅有單個所描述的元件。"
[0051] 實施例是本發明的實現或示例。說明書中對"實施例"、"一個實施例"、"某些實施 例"或"其它實施例"的引用表示結合實施例所描述的特定特徵、結構或特性包括在至少某 些實施例中，但不一定包括在所有實施例中。"實施例"、"一個實施例"或"某些實施例"的多 次出現不一定都指示同樣的實施例。應當理解，在對本發明的示例性實施例的以上描述中， 出於流水線化本發明以及幫助理解各發明性方面中的一個或多個的目的，本發明的各個特 徵有時被一起分組在單個實施例、附圖、或對實施例或附圖的描述中。然而，本公開的方法 不應被解讀為反映所要求保護的發明需要比在每一權利要求中明確表述的特徵更多的特 徵的意圖。相反，如所附權利要求書所反映的，各發明性方面在於比以上公開的單個實施例 的所有特徵要少的特徵。因此，權利要求書在此明確地合併到本說明書中，且每一權利要求 都獨立作為本發明的一單獨實施例。
【權利要求】
1. 一種裝置，包括： 具有編碼邏輯的源設備，所述編碼邏輯具有 第一邏輯，用於接收具有多個視頻幀的視頻流，其中所述視頻流被逐幀接收； 第二邏輯，用於確定與在編碼機構處接收的多個視頻幀的第一當前視頻幀相關的輸入 數據率；以及 第三邏輯，用於基於所述輸入數據率生成一個或者多個零-△幀，並且將一個或者多 個零-△幀分配給多個視頻幀中在第一當前視頻幀之後的一個或者多個第一視頻幀。
2. 根據權利要求1所述的裝置，其特徵在於，所述第三邏輯還用於計算量化參數（QP) 值，並將所計算的量化參數值應用於接下來的輸入視頻幀。
3. 根據權利要求1所述的裝置，其特徵在於，所述編碼邏輯還包括第四邏輯，當第一當 前視頻幀消耗被確定為大於傳輸視頻流的單個幀所需的正常帶寬量的帶寬量時，所述第四 邏輯用於在管理視頻流的逐幀傳輸的同時將視頻流傳輸到與源設備耦合的阱設備。
4. 根據權利要求3所述的裝置，其特徵在於，管理逐幀傳輸是通過提高接下來的輸入 視頻幀的QP值並同時跳過被分配一個或者多個零-△幀的一個或者多個第一視頻幀來執 行的。
5. 根據權利要求1所述的裝置，其特徵在於，所述第三邏輯還用於基於輸入數據率生 成一個或者多個零-△幀宏塊，並將一個或者多個零-△幀宏塊分配給所述多個視頻幀中 在第二當前幀之後的一個或者多個第二視頻幀，其中所述第二當前幀具有被確定為大於以 正常質量遞送和顯示視頻流所需的正常複雜度水平的複雜度水平。
6. 根據權利要求5所述的裝置，其特徵在於，所述第四邏輯還用於在維持視頻流的逐 幀質量的同時將視頻流傳輸給與源設備耦合的阱設備，其中維持逐幀質量是通過提高接下 來的輸入視頻幀的QP值並同時跳過被分配一個或者多個零-△幀宏塊的一個或者多個第 二視頻幀來執行的。
7. 根據權利要求5所述的裝置，其特徵在於，正常複雜度水平是第二當前視頻幀以不 惡化與第二當前視頻幀相關聯的圖像而傳輸到阱設備並被顯示在阱設備上所需要的。
8. 一種系統，包括： 源設備，具有與存儲設備耦合的處理器並且還具有編碼機構，其中所述編碼機構進一 步用於 接收具有多個視頻幀的視頻流，其中所述視頻流被逐幀接收； 確定與在編碼機構處接收的多個視頻幀的第一當前視頻幀相關的輸入數據率；以及 基於所述輸入數據率生成一個或者多個零_ △幀，並且將一個或者多個零-△幀分配 給所述多個視頻幀中在第一當前視頻幀之後的一個或者多個第一視頻幀。
9. 根據權利要求8所述的系統，其特徵在於，所述編碼機構還用於計算量化參數（QP) 值，並將所計算的量化參數值應用於接下來的輸入視頻幀。
10. 根據權利要求8所述的系統，其特徵在於，當第一當前視頻幀消耗被確定為大於傳 輸視頻流的單個幀所需的正常帶寬量的帶寬量時，所述編碼機構還用於在管理視頻流的逐 幀傳輸的同時將視頻流傳輸到與源設備耦合的阱設備。
11. 根據權利要求10所述的系統，其特徵在於，管理逐幀傳輸是通過提高接下來的輸 入視頻幀的QP值並同時跳過被分配一個或者多個零-△幀的一個或者多個第一視頻幀來 執行的。
12. 根據權利要求8所述的系統，其特徵在於，編碼機構還基於所述輸入數據率生成一 個或者多個零_ △幀宏塊，並將一個或者多個零-△幀宏塊分配給所述多個視頻幀中在第 二當前幀之後的一個或者多個第二視頻幀，其中所述第二當前幀具有被確定為大於以正常 質量遞送和顯示視頻流所需的正常複雜度水平的複雜度水平。
13. 根據權利要求12所述的系統，其特徵在於，所述編碼機構還用於在維持視頻流的 逐幀質量的同時將視頻流傳輸給與源設備耦合的阱設備，其中維持逐幀質量是通過提高接 下來的輸入視頻幀的QP值並同時跳過被分配一個或者多個零-△幀宏塊的一個或者多個 第二視頻幀來執行的。
14. 根據權利要求12所述的系統，其特徵在於，正常複雜度水平是第二當前視頻幀以 不惡化與第二當前視頻幀相關聯的圖像而傳輸到阱設備並被顯示在阱設備上所需要的。
15. -種方法，包括： 接收具有多個視頻幀的視頻流，其中所述視頻流被逐幀接收； 確定與在編碼機構處接收的多個視頻幀的第一當前視頻幀相關的輸入數據率；以及 基於輸入數據率生成一個或者多個零-△幀，並且將一個或者多個零-△幀分配給所 述多個視頻幀中在第一當前視頻幀之後的一個或者多個第一視頻幀。
16. 根據權利要求15所述的方法，其特徵在於，還包括計算量化參數（QP)值，並將所計 算的量化參數值應用於接下來的輸入視頻幀。
17. 根據權利要求15所述的方法，其特徵在於，還包括當第一當前視頻幀消耗被確定 為大於傳輸視頻流的單個幀所需的正常帶寬量的帶寬量時，在管理視頻流的逐幀傳輸的同 時將視頻流傳輸到與源設備耦合的阱設備。
18. 根據權利要求17所述的方法，其特徵在於，管理逐幀傳輸是通過提高接下來的輸 入視頻幀的QP值並同時跳過被分配一個或者多個零-△幀的一個或者多個第一視頻幀來 執行的。
19. 根據權利要求18所述的方法，其特徵在於，還包括基於輸入數據率生成一個或者 多個零-△幀宏塊，並將一個或者多個零-△幀宏塊分配給所述多個視頻幀中在第二當前 幀之後的一個或者多個第二視頻幀，其中第二當前幀具有被確定為大於以正常質量遞送和 顯示視頻流所需的正常複雜度水平的複雜度水平。
20. 根據權利要求18所述的方法，其特徵在於，還包括在維持視頻流的逐幀質量的同 時將視頻流傳輸給與源設備耦合的阱設備，其中維持逐幀質量是通過提高接下來的輸入視 頻幀的QP值並同時跳過被分配一個或者多個零-△幀宏塊的一個或者多個第二視頻幀來 執行的。
【文檔編號】H04N19/154GK104412590SQ201380022502
【公開日】2015年3月11日 申請日期:2013年3月20日 優先權日:2012年4月30日
【發明者】梁又升, J·H·李, 金榮一, 崔薰 申請人:晶像股份有限公司