用於動態適配視頻編碼器參數的方法和設備的製作方法

2023-06-20 01:16:51

用於動態適配視頻編碼器參數的方法和設備的製作方法
【專利摘要】一種用於適配至少一個視頻編碼參數的方法，所述至少一個視頻編碼參數被用於對從伺服器(S)傳輸至客戶端(C)的視頻進行編碼，該方法包括確定所述視頻的先前被編碼和傳輸的幀中的連續幀上的感興趣區域的移動速度是否超過預定閾值的步驟，以及在所述預定閾值被超過的情況下適配所述至少一個視頻編碼參數的步驟。
【專利說明】用於動態適配視頻編碼器參數的方法和設備
[0001]本發明涉及一種用於適配(adapt)視頻編碼器參數的方法和設備。
[0002]高解析度視頻(也稱為超高清視頻)正變得越來越普遍。這種類型的內容從每幀1920x1080像素的高清(下面簡寫為HD)視頻到更高解析度的視頻，該更高解析度的視頻或者直接使用高級光學器件獲得，或者從多個攝像機的拼接視圖獲得。由於帶寬限制，通常不可能直接將這種類型的內容整個都傳送給終端用戶。
[0003]一種可能的解決方案是在傳輸之前對完整的內容進行下採樣，但是這導致低品質的圖像，這是不可取的。
[0004]在另一種解決方案中，終端用戶首先操作感興趣區域，在本文的剩餘部分該感興趣區域簡寫為R0I。與超高清(UHD)輸入視頻相比，該ROI通常要小得多，可以適配用戶設備的原生視頻解析度。響應於終端用戶指令，在編碼和傳輸之前，圖像將在伺服器側被裁剪為所需的R0I。這種解決方案以每用戶編碼為代價提供了較好的圖像。但是，這種系統可能無法擴展以滿足大量用戶，但是非常適用於-舉例來說-監視應用。為了改善可擴展性，該系統可以分布在多個代理伺服器上，每個代理伺服器負責服務預定數量鄰近的用戶。
[0005]當終端用戶開始將他/她的ROI導航(例如，交互式地位移)到他/她的顯示器上的整個可用的空間內容中時，這種交互式ROI編碼會產生問題。取決於編碼器配置，現有技術的解決方案可以產生如下兩種觀察結果:
[0006]a/恆定質量編碼(固定量化)導致帶寬急劇增加。
[0007]b/恆定比特率編碼保持帶寬受控，但是質量受損，即使在靜態ROI的情況下也是如此。
[0008]因此，本發明的實施方式的一個目的是提供一種已知類型的方法，但是該方法不存在上述缺點。
[0009]根據本發明的實施方式，該目的通過一種用於適配至少一個視頻編碼參數的方法實現，所述至少一個視頻編碼參數被用於對從伺服器傳輸至客戶端的視頻進行編碼，該方法包括確定所述視頻的先前被編碼和傳輸的幀中的連續幀上的感興趣區域的移動速度是否超過預定閾值的步驟，以及在所述預定閾值被超過的情況下適配所述至少一個視頻編碼參數的步驟。
[0010]這樣，通過基於ROI移動速度自身來適配編碼器參數，在檢測到快速ROI移動的情況下防止帶寬峰值。此外，可以降低對視頻質量的影響。
[0011]在一個實施方式中，通過監控所述客戶端對所述感興趣區域發出的命令，確定所述感興趣區域的所述移動速度。
[0012]這允許使用來自用戶導航命令的直接輸入。
[0013]在另一個實施方式中，通過監控對先前的幀進行編碼的過程中使用的先前確定的編碼決定，確定所述感興趣區域的所述移動速度。
[0014]在這種情況下，基於編碼器所做的先前編碼決定來間接地確定ROI移動。
[0015]將被適配的至少一個編碼參數可以是量化參數，該量化參數可以被適配為根據所述感興趣區域的增加的移動速度增加。
[0016]可替換地，所述至少一個編碼參數可以與從幀間編碼到幀內編碼的改變相關，由此，在所述感興趣區域的所述移動速度超過所述預定閾值的情況下，將強制執行宏塊的幀內編碼。
[0017]在另一個變型實施方式中，至少一個編碼參數可以與解塊(deblock)濾波器的使用相關，在所述感興趣區域的所述移動速度超過所述預定閾值的情況下，將強制使用該解塊濾波器。
[0018]本發明還涉及用於執行上述方法的視頻伺服器的實施方式。
[0019]本發明還涉及包括軟體的電腦程式產品，所述軟體適於在數據處理設備上運行時執行如權利要求1至6中任意一項所述的方法步驟。
[0020]需要注意的是，權利要求中使用的術語「耦合」不應該解釋成限制為僅指直接連接。因此，表達「連接至設備B的設備A」的範圍不應限制為這樣的設備或系統:設備A的輸出直接連接至設備B的輸入。它的意思是A的輸出和B的輸入之間存在路徑,該路徑可能包括其他設備或裝置。
[0021]需要注意的是，權利要求中使用的術語「包括」不應該解釋成限制為它後面列出的裝置。因此，表達「包括裝置A和B的設備」的範圍不應限制為僅由組件A和B構成的設備。它的意思是相對於本發明，設備的唯一相關的組件是A和B。
[0022]通過參考附圖對實施方式的描述，本發明的上述和其他目的和特徵會更加清晰，能夠以最佳方式理解本發明，在這些附圖中:
[0023]圖la-b概略地顯示了客戶端/伺服器系統的典型現有技術配置，
[0024]圖2描繪了測量ROI移動速度的可能手段，
[0025]圖3a_b顯示了根據本發明的客戶端/伺服器配置的實施方式，
[0026]圖4顯示了所述方法的一個實施方式。
[0027]本領域技術人員可以理解，本文中的任何框圖代表體現本發明原理的說明性電路的概念視圖。類似地，應該理解的是，任何流程圖，流程圖表，狀態轉換圖，虛擬碼等均代表各種程序，這些程序隨後可以被呈現在計算機可讀的介質中，並由計算機或處理器執行，而不管該計算機或處理器是否被明確地示出。
[0028]圖la-b描述了現有技術的系統，舉例來說，所述系統可以基於具有可變比特率(VBR)輸出的H.264編碼器。在如圖1a所示的典型配置中，能夠存儲大量視頻文件的視頻存儲設備VS是用於將這些視頻文件提供給客戶端設備C的伺服器S的一部分。在替代實施方式中，該視頻存儲設備可以是連接至伺服器S的單獨實體。考慮到存儲設備的存儲能力，視頻文件通常存儲以壓縮模式存儲，所述存儲設備可以由任何類型的存儲器組成，例如硬碟驅動器，電子可擦寫或非易失存儲器，或者任意其他類型的能夠存儲數字數據的存儲器。在這些情況下，如圖1a所示，解碼器DS可以設置在視頻存儲器和伺服器之間，或者可以作為伺服器自身的一部分，從而對存儲的壓縮視頻文件進行解壓縮，以將它們恢復至原始未壓縮格式。或者，如圖1b所示，伺服器還可以連接至採集系統AS，該採集系統AS包括一個或多個可以輸出未壓縮的視頻的攝像機，並且直接連接至伺服器的ROI裁剪設備CR。
[0029]在這兩種配置中，原始視頻文件由所述ROI裁剪設備CR接收，該ROI裁剪設備還適於從客戶端設備C接收關於裁剪的指令。客戶端設備自身大體上包括用於顯示從伺服器傳輸至客戶端的視頻的顯示器(圖la-b中未顯示)以及用於從用戶接收裁剪指令的用戶界面。這些指令可以由用戶U通過任意類型的用戶界面(圖la-b中未顯示)輸入，以接收與ROI的位置或用戶想將顯示的圖像裁剪到什麼尺寸相關的信息，舉例來說，所述用戶界面包括觸摸界面，鍵盤，滑鼠，或任何其他類型的手勢檢測界面。這些指令通常表示為ROI導航命令，例如平移/傾斜命令，所述命令一般假設ROI的尺寸最初等於終端用戶的設備的解析度。還可以輸入改變ROI尺寸的縮放命令。該用戶界面耦合至用戶命令處理器UCP，該UCP適於將這些從用戶界面接收的指令轉化為可以由伺服器中的ROI剪切設備CR理解的合適命令。
[0030]在另一種配置中，用戶命令處理器考慮到客戶端設備顯示器的尺寸限制而自主提供裁剪指令，因此不需要來自人類用戶的任何輸入。例如，如果伺服器中的圖像的原始尺寸包括8000x4000像素，顯示器只適合顯示1880x800像素，則用戶命令處理器可以對ROI裁剪設備自主生成裁剪命令，以選擇1880x800的感興趣區域(例如，圖像的左上角，或者8Kx4K圖像的中心)。
[0031]接收到這些裁剪指令之後，ROI裁剪設備將對大圖像進行裁剪，由此從大圖像中切出所指示的(選擇的或預定義的)區域，滿足所需的減小的尺寸，並將該區域提供給編碼器以對選擇的ROI進行編碼，然後將該編碼的ROI傳輸給客戶端。客戶端接收到之後，客戶端的解碼器設備DC隨後對接收到的裁剪圖像進行解碼，並將其提供給顯示器設備(圖la-b中未顯示)以由用戶U查看。原始圖像被選擇裁剪的部分被稱為ROI圖像。如圖la-b所示，伺服器編碼器E接收裁剪的ROI圖像。
[0032]當用戶開始(舉例來說，通過客戶端用戶界面提供平移/傾斜輸入命令)ROI導航時，用戶命令處理器UCP將這些指令轉化為可由ROI裁剪設備理解的命令。如前所述，當終端用戶開始將他/她的ROI導航(即，交互式地地位移)到在整個可用的空間內容時可能會產生問題。取決於編碼器配置，現有技術的解決方案可以產生如下兩種觀察結果:
[0033]a/恆定質量編碼(固定量化)導致帶寬急劇增加。確實，針對快速ROI移動，很少有機會，甚至不可能進行運動補償(參考幀不會與當前ROI位置充分重疊)，實際上導致可與只使用幀內編碼相比的帶寬。試驗顯示，帶寬可能以6或更大的係數增長。對於IMbps的視頻流(平均)，觀察到帶寬增加到6Mbps，甚至更多。
[0034]b/恆定比特率編碼保持帶寬受控，但是質量受損，即使在靜態ROI的情況下也是如此。
[0035]為解決這些現有技術問題，伺服器S包括附加功能，以基於用戶輸入的ROI移動的速度來動態適配編碼器參數。當檢測到超出預定閾值的ROI移動時，更新編碼參數，從而防止帶寬峰值和/或對視頻質量產生太強的影響。
[0036]該閾值可以表達為每幀的絕對數量像素偏移，例如，每幀32像素。也可以表達為每幀的絕對數量宏塊偏移，例如，2個宏塊(針對H.264編碼，其對應於32像素，因為I個宏塊對應於16x16像素)。在另一個實施方式中，閾值可以變化，並且是基於編碼器性能自身的統計測量。在本文的下面段落中將對這些和其他實施例進行更詳細的解釋。
[0037]在一個實施方式中，在伺服器的一個單獨模塊中進行移動檢測和確定如何更新編碼器參數。這在圖3a_b中顯示，其中伺服器配置有速率控制器模塊RCM。為了不使附圖過大，圖3a_b中未顯示視頻存儲器，解碼器，採集系統和用戶，因為它們不是本發明的真是貢獻元素。
[0038]此外還需要注意，在其他實施方式中，伺服器不需要包含單獨模塊RCM以實現所述附加功能，所有的伺服器功能可以由一個處理器設備執行，該處理器設備可以從一個或多個電腦程式接收指令，所述程序可以編碼在諸如光碟這樣的載體上，或存儲在其他類型的可以附加或結合到伺服器中的固定或移動存儲器中，或者從存儲伺服器下載到視頻伺服器中。
[0039]在基於用戶輸入命令檢測ROI移動速度的一個實施方式中，速率控制器模塊RCM的功能意味著相對於ROI或者所顯示的圖像的用戶導航命令也被接收和分析。這在圖3a中由箭頭Ia顯示，表明該速率控制器模塊攔截和接收用戶命令cmd。此外，速率控制器功能意味著重新技術將由伺服器編碼器E使用的編碼參數，並將這些可能的適配的參數提供給編碼器。這由箭頭2顯示。舉例來說，能夠被影響的編碼參數是它必須要使用的量化參數QP等。
[0040]在圖3b所示的替代實施方式中，通過監控伺服器編碼器移動估計性能而直接檢測ROI的移動。該監控由從伺服器編碼器E到速率控制器模塊RCM的箭頭2a顯示。
[0041]下面將對兩種實施方式進行更詳細的解釋。為了進一步解釋，假設使用I和P幀的簡單序列以與顯示順序相同的順序對幀進行編碼。在顯示順序和編碼順序不同的情況下，編碼器也可以就編碼幀順序對速率控制器發出指令。這允許速率控制器相對於編碼當前幀(其顯示順序可能不同於先前的幀)所用的參考幀測量ROI移動。
[0042]在圖3a所示的實施方式中，來自用戶導航命令的直接輸入被提供給速率控制器。在變型實施方式中，所述導航命令中的連續導航命令被速率控制器檢測到，該速率控制器適於對它們進行分析，並從它們獲得兩個連續幀之間的2D平移矢量，該2D平移矢量表達為像素。基於該信息，速率控制器可以方便地獲得ROI速度，該ROI速度表達為以像素/幀表達的平移矢量的長度。
[0043]接下來將ROI移動與預定閾值比較，當計算出的速度高出該給定閾值-舉例來說-高出5個像素/幀時，ROI移動被認為是快速的。在一些實施方式中，可以預先以實際經驗為根據確定出最優閾值。
[0044]在另一個實施方式中，可以為確定ROI移動而計算其他度量。一個例子是計算當前ROI和編碼當前ROI所用的可用參考幀之間的重疊面積的百分比。這在圖2中顯示，圖2以實線示出了當前幀f，以及用於編碼當前幀f的兩個參考幀f Jrf和4%。如果用於編碼ROI的重疊面積結合A小於閾值T，則認為ROI移動是快速的並超過閾值，從而實現編碼參數的適配。如果該面積小於預定閾值，則ROI移動仍然被認為是慢速的，仍然使用實時移動估計預測，意味著不會適配編碼參數。在該實施例中，可以通過從ROI的整個面積中減去兩行乘兩列的宏塊得到閾值。這能夠相對於編碼器使用的任意選定數量的參考幀覆蓋任意2D的ROI移動。
[0045]在另一種變型實施方式中，取決於交互模式，還可以通過其他形式表達用戶的導航輸入:例如，縮放係數，3D旋轉矩陣等。還可以從這些數據獲得度量，並將這些度量與它們的預定閾值比較。
[0046]在圖3b所示的實施方式中，還可以通過獲得關於編碼器E相對於移動估計表現如何的反饋來檢測ROI移動。因此，基於編碼器所做編碼決定的一些統計數據間接地檢測ROI移動，例如:
[0047]-幀間預測的幀中的幀內編碼的宏塊的數量是否超出預定閾值
[0048]-殘餘信號中的平均能量是否超出平均閾值
[0049]-最終的比特率的峰值是否超出預定目標比特率和界限
[0050]這些測量可以由速率控制器實時使用以更新編碼參數，或者以離線方式使用以學習如何定義根據圖3a的實施方式的最佳閾值。
[0051]對於參考圖3a_b描述的所有實施方式，目的是在檢測到高速ROI移動時向編碼器指示合適的適配的編碼參數。這樣能夠避免比特率峰值，防止可見偽影，降低處理複雜度。
[0052]在一個實施方式中，對編碼參數進行修改以防止比特率峰值，因為編碼器沒有進行合適移動估計的能力通常會產生大量幀內編碼的信息。降低比特率的基本槓桿是根據關於ROI移動的信息修改量化參數QP。速率控制器RCM可以如下方式使用該信息改變編碼器的QP:在ROI速度低於閾值的情況下，速率控制器輸出低QP (導致高品質圖像)。在一個實施方式中，舉例來說，可以選擇小於等於16的QP值。當ROI速度增加時，輸出QP也增加。一般而言，速率控制器實施函數QP = f(R0I_速度)，其中該函數可以是線性的，步進式的等。可以利用試驗確定最佳匹配函數。舉例來說，一種非常簡單的步進式函數表示如下:
[0053]-低速移動的默認值:QP= 16
[0054]-高速移動:QP= 32
[0055]在另一種實施方式中，可以將編碼參數適配為限制用戶感知的對質量的影響。就其本性而言，當ROI移動速度高時，用戶對像素精確性的敏感度較低。但是，在高QP時，靜態宏塊-網格可能變得明顯(塊偽影)。在這種情況下，可以開啟或增強編碼器的環內解塊濾波器。在H.264標準中，定義了環內解塊濾波器。它的參數可以從比特流中的其他編碼參數(特別是從量化參數)推斷出來，或者當標記deblocking_filter_control_present_flag被設置為I時在片頭中明確告知。編碼器接下來可以通過將disable_deblocking_filter設置為O用信號通知強制使用解塊濾波器,並利用disable_deblocking_filter和slice_beta_offset_div2控制解塊濾波器的強度是如何被QP影響的。兩個參數的值越高，在塊邊界(針對給定QP值)應用解塊濾波器就越頻繁。
[0056]速率控制器可以如下方式使用ROI速度來控制這些參數。當如上所述那樣檢測到快速ROI移動時可以強制使用濾波器，可能具有根據試驗確定為過濾控制而優化的閾值。在這種情況下，slice_alpha_c0_offset_div2 和 slice_beta_offset_div2 被定義為 ROI 速度的遞增函數。可以根據經驗確定產生最佳視覺效果的函數。
[0057]在第三實施方式中，當檢測到高速ROI移動時，編碼器可以決定以幀內模式對宏塊進行編碼。為了節省一些運算周期，當檢測到快速ROI移動時，速率控制器可以對宏塊強制執行幀內編碼(可能具有為處理複雜度控制優化的閾值)。這允許編碼器跳過移動估計的處理步驟。
[0058]很明顯，在其他實施方式中，上述對編碼參數的適配可以任何順序組合。圖4對此進行顯示，給出了流程圖實施方式，該流程圖顯示了方法的不同步驟。在第一步驟100中，舉例來說，跳過前述方法檢測ROI移動。在步驟200中，通過合適度量表達的該ROI移動(在不同實施方式中可能變化)與預定合適的閾值進行比較。當超過該閾值時，可以適配一個或多個編碼參數。在步驟310至330中提到了一系列的三種適配方式，但是它們可以按照任何順序組合，或者被分別選擇以只在選擇的一個編碼參數300的適配中實施。當未超過閾值時，如步驟400表示，編碼不改變，使用正常編碼。
[0059]雖然根據特定設備描述了本發明的原理，但是應該清晰地理解，該描述只是舉例，不對本發明的範圍構成限制，本發明的範圍在權利要求中限定。在權利要求中，表達為執行特定功能的元件應該理解為包括執行該功能的任何方式。舉例來說，這可以包括以任意方式執行該功能或軟體的電器或機械元件的組合，包括固件，微碼等，它們與合適的電路組合以運行該軟體，從而執行功能，以及連接至軟體控制電路的機械元件(如果有的話)。權利要求所限定的本發明基於這樣一個事實:由各種所提到的設備提供的功能以權利要求所要求保護的方式組合在一起，除非特別限定，任何物理結構對本發明的新穎性的重要程度都很低，或不具有重要性。因此， 申請人:考慮能夠提供與這裡顯示的功能等同的功能的任何設備。
【權利要求】
1.一種用於適配至少一個視頻編碼參數的方法，所述至少一個視頻編碼參數被用於對從伺服器(S)傳輸至客戶端(C)的視頻進行編碼，所述方法包括確定所述視頻的先前被編碼和傳輸的幀中的連續幀上的感興趣區域的移動速度是否超過預定閾值的步驟，以及在所述預定閾值被超過的情況下適配所述至少一個視頻編碼參數的步驟。
2.如權利要求1所述的方法，其中通過監控所述客戶端對所述感興趣區域發出的命令來確定所述感興趣區域的所述移動速度。
3.如權利要求1所述的方法，其中通過監控對先前的幀進行編碼的過程中使用的先前確定的編碼決定來確定所述感興趣區域的所述移動速度。
4.如權利要求1至3中任意一項所述的方法，其中所述至少一個編碼參數是量化參數，並且其中所述量化參數被適配為根據所述感興趣區域的增加的移動速度而增加。
5.如權利要求1至4中任意一項所述的方法，其中所述至少一個編碼參數與從幀間編碼到幀內編碼的改變相關，由此在所述感興趣區域的所述移動速度超過所述預定閾值的情況下，將強制執行宏塊的幀內編碼。
6.如權利要求1至5中任意一項所述的方法，其中所述至少一個編碼參數與解塊濾波器的使用相關，在所述感興趣區域的所述移動速度超過所述預定閾值的情況下，該解塊濾波器被強制使用。
7.一種用於對視頻進行編碼的視頻伺服器(S)，所述視頻隨後將被傳輸至耦合到所述視頻伺服器(S)的客戶端(C)，所述視頻伺服器(S)適於確定所述視頻的先前被編碼和傳輸的幀中的連續幀上的感興趣區域的移動速度是否超過預定閾值，以及在所述預定閾值被超過的情況下適配所述至少一個視頻編碼參數。
8.如權利要求7所述的視頻伺服器(S)，所述視頻伺服器(S)進一步適於通過監控所述客戶端對所述感興趣區域發出的命令來確定所述感興趣區域的所述移動速度。
9.如權利要求7所述的視頻伺服器(S)，所述視頻伺服器(S)進一步適於通過監控對先前的幀進行編碼的過程中使用的先前確定的編碼決定來確定所述感興趣區域的所述移動速度。
10.如權利要求7至9中任意一項所述的視頻伺服器(S)，其中所述至少一個編碼參數是量化參數，並且其中所述視頻伺服器能夠將所述量化參數適配為根據所述感興趣區域的增加的移動速度而增加。
11.如權利要求7至10中任意一項所述的視頻伺服器(S)，其中所述至少一個編碼參數與從幀間編碼到幀內編碼的改變相關，由此在所述感興趣區域的所述移動速度超過所述預定閾值的情況下，將強制執行宏塊的幀內編碼。
12.如權利要求7至11中任意一項所述的視頻伺服器(S)，其中所述至少一個編碼參數與解塊濾波器的使用相關，在所述感興趣區域的所述移動速度超過所述預定閾值的情況下，該解塊濾波器被強制使用。
13.—種包括軟體的電腦程式產品，該軟體適於在數據處理設備上運行時執行如權利要求I至6中任意一項所述的方法步驟。
【文檔編號】H04N19/162GK104412594SQ201380033980
【公開日】2015年3月11日 申請日期:2013年6月24日 優先權日:2012年6月28日
【發明者】N·韋爾齊普, J-F·麥克, P·龍當阿爾法塞 申請人:阿爾卡特朗訊公司