使用區域自適應平滑的360度視頻的編碼的製作方法

2023-06-01 22:21:11 2

本申請通常涉及生成視頻數據，並且更具體地涉及使用區域自適應平滑的360度視頻的編碼。

背景技術：

360度視頻是使用諸如gearvr之類的設備體驗沉浸式視頻的新方式。通過捕獲世界的360度視圖，360度視頻使得消費者能夠沉浸式「現實生活」、「在線(beingthere)」體驗。用戶可以改變他們的視點，並且動態地查看他們期望的捕獲的場景的任何部分。由於支持更寬的視野所需的增大的視頻解析度(4k及更高)，所以360度視頻要求比常規視頻高的比特率。比特率增加是向消費者提供高質量360度沉浸式視頻查看體驗的限制因素。

因此，比特率要求也更高，迫使需要有效率的壓縮。360度視頻具有可以被利用來改善壓縮效率的獨特特性。由於視頻中存在翹曲(warping)，視頻中的運動經常是非平移的(non-translational)。

技術實現要素：

解決方案

本公開的實施例提供使用用於360度視頻的區域自適應平滑以及運動估計和補償的360度視頻的編碼。

在一個實施例中，提供一種能夠進行區域自適應平滑的視頻處理單元。圖像處理單元包括存儲器和一個或多個處理器。一個或多個處理器可操作地連接到存儲器，並且被配置成將多個視頻幀一起縫合成視頻的多個等矩形映射幀。一個或多個處理器被配置成：為視頻的等矩形映射幀中的每一個定義頂部區域和底部區域；對視頻的等矩形映射幀中的每一個的頂部區域和底部區域執行平滑處理；並且編碼視頻的經平滑的等矩形映射幀。

在另一個實施例中，提供一種能夠進行區域自適應平滑的視頻處理單元。圖像處理單元包括接收器和一個或多個處理器。接收器被配置成接收視頻的平滑的等矩形映射幀和元數據。一個或多個處理器被配置成：沿著視頻的平滑的等矩形映射幀的外部邊界解碼跨平滑區域平滑的視頻的平滑的等矩形映射幀；在平滑區域上執行增強技術，並且將視頻的等矩形映射幀中的每一個再現成球體形狀。

在又一個實施例中，提供一種用於區域自適應平滑的方法。該方法包括：分別將多個視頻幀縫合成視頻的等矩形映射幀；為視頻的等矩形映射幀中的每一個定義頂部區域和底部區域；對視頻的等矩形映射幀中的每一個的頂部區域和底部區域執行平滑處理；並且編碼視頻的經平滑的等矩形映射幀。

在進行下面的詳細描述之前，闡述在整個本專利文件中使用的某些單詞和短語的定義可能是有利的。術語「耦合」及其派生詞是指在兩個或更多個元件之間的任何直接或間接通信，不管這些元件是否彼此物理接觸。術語「發送」、「接收」和「通信」以及其派生詞包括直接和間接通信兩者。術語「包括」和「包含」以及其派生詞意為包括而沒有限制。術語「或」是包含性的，意為和/或。短語「與……相關聯」以及其派生詞意為包括、被包括在……內、與……互聯、包含、被包含在……內、連接到……或與……連接、耦合到……或與……耦合、可與……通信、與……合作、交織、並列、接近……、被綁定到……或與……綁定、具有、具有……的屬性、和或與……具有關係等等。術語「控制器」意為控制至少一個操作的任何設備、系統或其部件，這樣的設備可以硬體或者硬體和軟體和/或固件的組合來實現。與任何特定控制器相關聯的功能性可以是集中的或分布式的，不管是本地還是遠程。當與項目列表一起使用時，短語「……中的至少一個」意為可使用列出的項目中的一個或多個的不同組合，並且可需要列表中的僅僅一個項目。例如，「a、b和c中的至少一個」包括以下任何組合：a、b、c，a和b，a和c，b和c，以及a和b和c。

附圖說明

為了更全面地理解本公開及其優點，現在參考下面結合附圖進行的描述，其中相同的附圖標記表示相同的部件：

圖1圖示根據本公開的各種實施例的示例性計算系統；

圖2和圖3圖示根據本公開的各種實施例的在計算系統中的示例性設備；

圖4圖示根據本公開的各種實施例的360度視頻處理鏈；

圖5a、5b、5c和5d圖示根據本公開的各種實施例的縫合和等矩形映射的示例；

圖6圖示根據本公開的各種實施例的在矩形平地(plain)與翹曲平地之間的等距離映射；

圖7a圖示根據本公開的各種實施例的在映射之後的翹曲的效果；

圖7b圖示根據本公開的各種實施例的在映射之前的翹曲的效果；

圖8a圖示根據本公開的各種實施例的運動估計；

圖8b圖示根據本公開的各種實施例的翹曲運動估計；

圖9a圖示根據本公開的各種實施例的由幀fj中的像素920插值900映射像素915；

圖9b圖示根據本公開的各種實施例的插值技術；

圖9c圖示根據本公開的各種實施例的運動矢量預測器補償(mvpc)；

圖10圖示根據本公開的各種實施例的rdo搜索中的附加翹曲模式；

圖11圖示根據本公開的各種實施例的具有這樣的區域自適應平滑的360度視頻處理過程；

圖12a圖示根據本公開的各種實施例的具有半徑為1的歸一化的球體，該球體用於導出用於計算作為圖像行號y的函數的高斯平滑濾波器的方差的啟發法；

圖12b圖示根據本公開的實施例的對於等於3的k，σ2如何隨歸一化的圖像行號(歸一化為在是圖像底部的-1到是圖像頂部的+1之間)變化；

圖13圖示根據本公開的各種實施例的用於使用區域自適應平滑的360度視頻的編碼的過程；

圖14圖示根據本公開的各種實施例的用於使用用於區域自適應平滑的強度的行位置的360度視頻的編碼的過程；

圖15圖示根據本公開的各種實施例的360度視頻處理鏈；

圖16a和16b圖示根據本公開的各種實施例的替代平滑區域；以及

圖17圖示根據本公開的各種實施例的擠壓等矩形映射幀的頂部區域和底部區域。

具體實施方式

以下討論的圖1至17以及用於描述本專利文檔中的本公開的原理的各種實施例僅僅通過說明的方式，並且不應當以任何方式解釋為限制該公開的範圍。本領域技術人員將理解：可以任何適當布置的系統實現本公開的原理。

以下文檔和標準描述由此被併入到本公開中，如同本文中完全闡述的：

[1]m.narroschke和r.swoboda，「extendinghevcbyanaffinemotionmodel」，321-324頁，ieeepicturecodingsymposium，2013。

[2]j.zheng等人，「adaptiveselectionofmotionmodelsforpanoramicvideo」，1319-1322頁，ieeeinternationalconferenceonmultimediaandexpo，2007。

可以使用諸如[1]和[2]之類的使用複雜運動模型來編碼視頻的在先技術。然而，這些技術的缺點是：它們需要對視頻解碼架構進行修改，並且因此在現有設備上不能得到支持。

通過翹曲和縫合來自覆蓋360度世界的多個相機的圖像來創建360度視頻。然後將縫合的圖像等矩形地(equirectangularly)映射成二維(2d)矩形圖像，該二維矩形圖像然後使用諸如h.264/avc和hevc/h.265之類的標準視頻編解碼器來編碼。在重放期間，可以流式傳輸或下載和解碼壓縮的視頻。在解碼之後，視頻是映射到3d圖形環境中的虛擬球體上的紋理，同時觀眾位於虛擬球體的中心。觀眾可以在虛擬球體內部導航，以查看他/她期望的360度世界的視圖，並且從而體驗沉浸式體驗。等矩形映射的特性是：當與虛擬球體上的實際區域比較時，頂部和底部視圖佔據2d縫合的圖像中的較大數量的像素。該公開利用等矩形映射的這個特性來提供比特率節省。本公開在編碼之前平滑視頻的頂部和底部區域。由於縫合的圖片的頂部和底部部分中的像素具有比感知顯著高的解析度，因此平滑不會導致感知質量降級。然而，由於平滑區域要求較少的待發送的變換係數，其導致比特率節省。本公開中的平滑可以是固定的或變化的，這取決於2d圖像的區域。本公開的方法可以實現高達20％的節省。平滑是編碼側的預處理步驟，並且不取決於編解碼器的類型；因此其可以使用現有的編解碼器來容易地得到支持。

本公開還涉及新類型的視頻序列，即對於其翹曲和縫合全景場景的多個視圖的360度視頻序列。360度視頻序列在虛擬實境(vr)設備中有許多應用。為了有效率地發送360視頻序列，不單獨發送多視圖序列。相反，存儲由矩形幀組成的翹曲和縫合版本。諸如hevc和h.264/avc之類的最新水平的視頻編碼技術可以沒有完全利用翹曲圖像空間的特性。特別地，在常規視頻序列中，運動估計在視頻編解碼器中提供顯著的壓縮增益。然而，在翹曲空間中，待運動估計的對象，例如像素的塊將變形。因而，應當重新設計運動估計技術以符合翹曲空間。

在高效率視頻編碼(hevc)標準中，在幀間預測過程中存在三個模式。在跳過模式中，不發送變換係數，並且將編碼單元(cu)表示為預測單元(pu)，並且通過合併模式獲得參數。在合併模式中，從相鄰的pu推斷當前pu參數。並且正常的幀間預測模式，其中運動參數被計算和發信號通知。

在運動矢量預測中，空間和時間相鄰的pu運動矢量用於預測當前pu運動矢量。

圖1圖示根據本公開的示例性計算系統100。圖1中所示的計算系統100的實施例僅僅用於說明。可使用計算系統100的其它實施例而不會脫離本公開的範圍。

如圖1中所示，系統100包括有助於系統100中的各種組件之間的通信的網絡102。例如，網絡102可在網絡地址之間傳送網際網路協議(ip)分組、幀中繼幀、異步傳輸模式(atm)單元或者其它信息。網絡102可包括一個或多個區域網(lan)、城域網(man)、廣域網(wan)、諸如網際網路之類的全球網絡的全部或一部分、或者在一個或多個位置處的一個或多個任何其它通信系統。

網絡102有助於至少一個伺服器104與各種客戶端設備106-114之間的通信。每個伺服器104包括可以為一個或多個客戶端設備提供計算服務的任何合適的計算或處理設備。例如，每個伺服器104可能包括一個或多個處理設備、存儲指令和數據的一個或多個存儲器以及促進通過網絡102的通信的一個或多個網絡接口。

每個客戶端設備106-114表示通過網絡102與至少一個伺服器或一個或多個其它計算設備交互的任何合適的計算或處理設備。在該示例中，客戶端設備106-114包括桌上型電腦106、行動電話機或智慧型手機108、個人數字助理(pda)110、膝上型電腦112和平板電腦114。然而，可在計算系統100中使用任何其它或附加的客戶端設備。

在該示例中，一些客戶端設備108-114與網絡102間接通信。例如，客戶端設備108-110經由諸如蜂窩基站或enb之類的一個或多個基站116通信。此外，客戶端設備112-114經由諸如ieee802.11無線接入點之類的一個或多個無線接入點118通信。注意：這些僅僅用於說明，並且每個客戶端設備可與網絡102直接通信或經由一個或多個任何合適的中間設備或一個或多個網絡與網絡102間接通信。

在該說明性實施例中，計算系統100使用用於360度視頻的區域自適應平滑以及運動估計和補償來提供對360度視頻的編碼，如將在下面更詳細討論的。例如，伺服器104可使用用於360度視頻的區域自適應平滑以及運動估計和補償來提供對360度視頻的編碼。類似地，客戶端設備108-114可通過網絡102從伺服器104接收編碼的圖像或視頻，並使用用於360度視頻的區域自適應平滑以及運動估計和補償來解碼360度視頻。

雖然圖1圖示計算系統100的一個示例，但是可對圖1進行各種改變。例如，系統100可包括任何合適布置中的任何數量的每個組件。通常，計算和通信系統具有各種各樣的配置，並且圖1不將本公開的範圍限制成任何特定的配置。雖然圖1圖示其中可以使用在該專利文檔中公開的各種特徵的一個操作環境，但是這些特徵可用於任何其它合適的系統中。

圖2和圖3圖示根據本公開的在計算系統中的示例性設備。特別地，圖2圖示示例性伺服器200，並且圖3圖示示例性客戶端設備300。伺服器200可表示圖1中的伺服器104，並且客戶端設備300可表示圖1中的客戶端設備106-114中的一個或多個。

如圖2中所示，伺服器200包括總線系統205，該總線系統205支持在一個或多個處理器210、至少一個存儲設備215、至少一個通信單元220和至少一個輸入/輸出(i/o)單元225之間的通信。

一個或多個處理器210執行可被加載到存儲器230中的指令。一個或多個處理器210可包括任何合適布置的任何適當的一個或多個數量和一個或多個類型的處理器或其它設備。一個或多個處理器210的示例性類型包括微處理器、微控制器、數位訊號處理器、現場可編程門陣列、專用集成電路和分立線路。一個或多個處理器210被配置成執行用認證的可穿戴設備解鎖電子設備的操作。

存儲器230和持久存儲器235是存儲設備215的示例，該示例表示能夠存儲和有助於信息(諸如數據、程序代碼和/或在臨時或永久基礎上的其它合適的信息)的檢索的任何一個或多個結構。存儲器230可表示隨機存取存儲器或任何其它合適的一個或多個易失性或非易失性存儲設備。持久存儲器235可包含支持長期數據存儲的一個或多個組件或設備，諸如只讀存儲器、硬碟驅動器、閃速存儲器或光碟。

通信單元220支持與其它系統或設備的通信。例如，通信單元220可包括有助於通過網絡102通信的網絡接口卡或無線收發器。通信單元220可支持通過任何合適的一個或多個物理或無線通信鏈路的通信。

i/o單元225允許數據的輸入和輸出。例如，i/o單元225可通過鍵盤、滑鼠、小鍵盤、觸控螢幕或其它合適的輸入設備來為用戶輸入提供連接。i/o單元225還可向顯示器、印表機或其它合適的輸出設備發送輸出。

在該說明性實施例中，伺服器200可實現圖像處理單元，該圖像處理單元使用用於360度視頻的區域自適應平滑以及運動估計和補償來提供對360度視頻的編碼，如下面將更詳細地討論的。注意：雖然將圖2被描述為表示圖1的伺服器104，但是可能在客戶端設備106-114中的一個或多個中使用相同或相似的結構。例如，膝上型電腦或桌上型電腦可具有與圖2中所示的相同或相似的結構。

如圖3中所示，客戶端設備300包括天線305、射頻(rf)收發器310、發送(tx)處理線路315、麥克風320和接收(rx)處理線路325。客戶端設備300還包括揚聲器330、一個或多個處理器340、輸入/輸出(i/o)接口(if)345、觸控螢幕350、顯示器355和存儲器360。存儲器360包括基本作業系統(os)程序361和一個或多個應用程式362。

rf收發器310從天線305接收由系統中的另一個組件發送的傳入的rf信號。rf收發器310下變頻傳入的rf信號以生成中頻(if)或基帶信號。if或基帶信號被發送到rx處理線路325，rx處理線路325通過濾波、解碼和/或數位化基帶或if信號來生成處理的基帶信號。rx處理線路325將處理的基帶信號發送給揚聲器330(諸如用於語音數據)或給一個或多個處理器340以用於進一步處理(諸如用於web瀏覽數據)。

tx處理線路315從麥克風320接收模擬或數字語音數據，或從一個或多個處理器340接收其它傳出的基帶數據(諸如web數據、電子郵件或交互式視頻遊戲數據)。tx處理線路315編碼、復用和/或數位化傳出的基帶數據以生成處理的基帶或if信號。rf收發器310從tx處理線路315接收傳出的處理的基帶或if信號，並將基帶或if信號上變頻為經由天線305發送的rf信號。

一個或多個處理器340可以包括一個或多個處理器或其它處理設備，並且執行存儲在存儲器360中的基本os程序361以便控制客戶端設備300的整體操作。例如，一個或多個處理器340可根據公知原理控制通過rf收發器310、rx處理線路325和tx處理線路315的前向信道信號的接收和反向信道信號的發送。在一些實施例中，一個或多個處理器340包括至少一個微處理器或微控制器。

一個或多個處理器340還能夠執行駐留在存儲器360中的其它進程和程序，諸如用於用認證的可穿戴設備解鎖電子設備的操作。一個或多個處理器340可以按照執行過程要求將數據移入到存儲器360中或從存儲器360移出。在一些實施例中，一個或多個處理器340被配置成基於os程序361或響應於從外部設備或操作者接收的信號來執行應用程式362。一個或多個處理器340還耦合到i/o接口345，該i/o接口345向客戶端設備300提供連接到諸如膝上型電腦和手持式計算機之類的其它設備的能力。i/o接口345是這些附件與一個或多個處理器340之間的通信路徑。

一個或多個處理器340還耦合到觸控螢幕350和顯示單元355。客戶端設備300的操作者可以使用觸控螢幕350來將數據輸入到客戶端設備300中。顯示器355可以是液晶顯示器或能夠再現諸如來自網站的文本和/或至少有限的圖形的其它顯示器。

存儲器360耦合到一個或多個處理器340。存儲器360的部分可包括隨機存取存儲器(ram)，並且存儲器360的另一個部分可包括閃速存儲器或其它只讀存儲器(rom)。

如下面將更詳細地討論的，在該說明性實施例中，客戶端設備300實現圖像處理單元，該圖像處理單元通過網絡102從伺服器104接收編碼的圖像或視頻並使用用於360度視頻的區域自適應平滑以及運動估計和補償來解碼360度視頻。雖然圖2和圖3圖示計算系統中的設備的示例，但是可對圖2和圖3進行各種改變。例如，可能組合、進一步細分或省略圖2和圖3中的各種組件，並且可能根據具體需要添加附加組件。作為特定示例，一個或多個處理器340可能被劃分為多個處理器，諸如一個或多個中央處理單元(cpu)和一個或多個圖形處理單元(gpu)。此外，雖然圖3圖示被配置為行動電話機或智慧型手機的客戶端設備300，但是客戶端設備可被配置成作為其它類型的移動或靜止設備操作。另外，與計算和通信網絡一樣，客戶端設備和伺服器可具有各種各樣的配置，並且圖2和3不將本公開限制成任何特定的客戶端設備或伺服器。

圖4圖示從捕獲405到圖像縫合和等矩形映射410、到視頻編碼415、到視頻解碼420以及再現425的360度視頻處理鏈400。世界的360度視圖一般通過使用多個相機來捕獲。圖4的捕獲405示出其中使用七個相機的示例。五個相機覆蓋前面、後面和側面，一個相機在頂部，並且一個相機在底部。來自多個相機的圖像被對齊、縫合在一起，並且被等矩形地映射410到單個圖像中。

圖5a-5d圖示縫合和等矩形映射510的示例。圖5a圖示來自七個相機的饋送到縫合處理的七個圖像500。這些輸入通過使用具有122.6度的水平視野和94.4度的垂直視野的寬眼鏡頭來模擬對棋盤圖像的捕獲而生成。圖5b圖示對應的縫合的圖像505。頂部和底部棋盤圖案分別來自頂部和底部相機。圖5a中的七個圖像中的每一個的尺寸是1920×1440。圖5b中的縫合的圖像505的尺寸是4096×2048。

通過使用諸如h.264/avc和hevc/h.265之類的標準視頻編解碼器，縫合處理的輸出處的360度視頻被編碼為常規的2d視頻。在重放期間，可以流式傳輸或下載和解碼壓縮的視頻。在解碼之後，視頻是下述紋理，該紋理被映射到3d圖形環境中的虛擬球510上，如圖5c中所圖示，同時觀眾位於虛擬球510的中心。當圖5b中的視頻用360度視頻觀眾查看時，用戶得到站立在具有五堵牆以及天花板和地板的房間中的感知。圖5d是已經被包括在圖中以幫助理解該感知的360度視頻觀眾的輸出515的屏幕捕獲。

另一個觀察是：當與前、後和側視圖相比時，頂部和底部視圖在360度縫合的圖像中佔據較大數量的像素。比較圖5b和圖5c是顯然的，其中所有的視圖覆蓋球體上大致相等的區域。該觀察是等矩形映射的特性，並且還存在於將地球(球體)的表面映射到2d表面(地圖)的世界地圖。在世界地圖中，極地附近的大陸塊看起來比赤道附近的大陸塊大得多。本公開利用等矩形映射的該特性來提供比特率節省，在編碼之前平滑視頻的頂部和底部區域。由於縫合的圖片的頂部和底部部分中的像素具有比感知顯著的大的解析度，所以平滑不會導致感知質量降級。然而，平滑導致比特率節省，這是由於平滑區域要求發送較少的變換係數。

圖6圖示在矩形平地605與翹曲平地610之間的等距離映射600。矩形平地605以x和y為單位。翹曲平地610以u和v為單位。

魚眼透鏡中的翹曲是從矩形平面到翹曲平面610的非線性映射。存在表示映射的各種模型，並且在那些之中，等距離映射是最常見的。

r＝fθ，(等式1)

而如在圖1中舉例說明的，θ是矩形平面605中的點s(x,y)到平面中心615(x0,y0)的角度。映射結果r是翹曲平面p中的映射點p(u,v)到翹曲平面中心615(u0,v0)之間的距離。

映射過程被描述如下。假設d是s到(x0,y0)之間的距離：角度將是θ＝arctan(d/f)。翹曲距離則是r＝farctan(d/f)。假設s中的(x,y)到p中的(u,v)之間的同類關係：

映射被寫為：

和

從翹曲平面615，p到矩形平面610，s的逆映射可以被類似地導出(x,y)＝it(u,v)：

和

圖7a圖示在映射之後翹曲的效果700，並且圖7b圖示在映射之前翹曲的效果705。映射的特性：應用翹曲越多，點離中心越遠。

圖8a圖示翹曲運動估計800，其中當前幀815fi中的pu810正在從具有與當前pu810相同形狀的先前編碼和重構的幀825fj尋找預測候選塊820。參考幀索引j和運動矢量δ將被編碼為運動估計參數。

圖8b圖示翹曲運動估計805。在矩形空間中，像素p1移動到p2的位置，則pu中的所有其它像素將用相同的mv移動，即：

δ＝s2–s1＝s4–s3(等式9)

然而，在翹曲平面中將不維持相同的運動關係。如果翹曲平面中的矩形塊用不等於零的運動矢量δ移動，則矩形塊內的像素的位置將不再維持與其它像素相同的相對位置。如圖8b中所舉例說明的，如果p1移動到p2的位置，則其中p3移動到的位置將不是p3+p2-p1。然而，應當在未翹曲平面中維持相同的運動關係。結果，應當進行中間映射和插值。

翹曲運動估計問題是：假設幀fi中的由翹曲視頻序列中的左上像素p1指示的pu，如果p1移動到其它幀fj中p2的位置，則pu中的另一個像素p3將移動到什麼位置(即，p4的位置是什麼)？

通過在未翹曲平面中假設相同的運動關係，中間映射830用於計算矩形平面中的p4的位置並將其映射回到翹曲平面。從矩形平面s到翹曲平面p的映射由p＝t(s)表示，並且逆映射由s＝t(p)表示：

s1＝it(p1)，s2＝it(p2)，s3＝it(p3)(等式10)

δ＝s2–s1(等式11)

s4＝s3+δ(等式12)

p4＝t(s1)＝t(s3+δ)＝t(it(p3)+it(p1+δ)-it(p1))(等式13)

圖9a圖示由幀fj925中的像素920插值900映射像素915。一旦使用中間映射獲得在運動之後的所有像素位置，在那些位置處的像素的值應當由插值技術來確定。

本發明中可能的實施例使用用於luma分量的雙線性插值和色度分量的最近鄰插值。原型實驗示出在luma分量中使用雙線性插值比使用最近鄰插值更先進。參考圖9b，兩種插值技術被描述如下：

通過中間映射找到的像素位置(x,y)必須駐留在像素網格上的4個相鄰像素之間的單元中。假設和分別是(x,y)的整數部分。t2＝x-xi和t1＝y-yi是坐標差。最近鄰插值通過i(x,y)＝i(網格上的最近點到x,y)找到(x,y)的值，而雙線性插值通過以下找到(x,y)的值：

i(x,y)＝(1-t1)i(x,yi)+t1i(x,yi+1)(等式14)

i(x,yi)＝(1-t2)i(xi,yi)+t2i(xi+1,yi)(等式15)

i(x,yi+1)＝(1-t2)i(xi,yi+1)+t2i(xi+1,yi+1)(等式16)

在插值之後，插值像素值是當前pu的預測。

圖9c圖示根據本公開的各種實施例的運動矢量預測器補償(mvpc)910。在幀間預測技術中，重新使用和編碼當前pu運動矢量到相鄰pu的運動矢量之一之間的差的運動矢量預測對於利用空間相干性具有大的優勢。然而，在翹曲平面中，由於pu位置的差，不應當直接使用相鄰pu的運動矢量，而是添加補償。

如圖9c中所圖示，mvpc要求當前pu2知道參考pu1的偏移τ以及pu1的運動矢量δ2。因而運動矢量預測為δ2加mvpcγ，其中未翹曲平面中的相同運動關係被再訪問。

s1＝it(p1)，s2＝it(p2)(等式17)

p2＝p1+τ(等式18)

p4＝p2+δ2，δ2＝p4–p2(等式19)

δ2＝s4–s2＝it(p4)-it(p2)(等式20)

s3＝s1+δ2＝s1+it(p2+δ2)-it(p2)(等式21)

δ1＝p3–p1＝t(it(p1)+it(p2+δ2)-it(p2))-p1(等式22)

γ＝δ1–δ2＝t(it(p1)+it(p2+δ2)-it(p2))-p1–p4+p2

＝t(it(p1)+it(p1+τ+δ2)-it(p1+τ))-p1–δ2(等式23)

圖10圖示根據本公開的各種實施例的rdo搜索1005中的附加翹曲模式1000。在某些實施例中，在傳統的幀間預測技術上添加翹曲運動估計模式(包括mvpc)。

在這種情況下，必須編碼附加開銷以指示額外翹曲模式。兩個編碼方案被示在表1中。

表1：開銷編碼

查找表用於減少計算表。顯著地影響翹曲的複雜性的兩個方面是映射函數和距離計算。平地中心與網格上的像素之間的距離對於所有幀可不改變，因此距離被預先計算並存儲到與視頻幀相同尺寸的2d陣列。

在映射函數中，最昂貴的計算是得到tan和arctan的值。在某些實施例中，用有限的精度量化和存儲這些值。例如，兩個鄰近像素之間的距離是一(歸一化)。因而兩個距離之間的最小非零差是：

其中是對角像素的距離，1是鄰近像素的距離，f是以像素為單位的焦距，而4表示運動估計中的最小分數1/4。前向映射的量化值為：

tan(x)，其中

並且逆映射的值為：

arctan(x)，其中x＝0，λ，2λ，…，π(等式26)

表2：在hm14(具有禁用的分數運動估計)到作為額外模式(提出的)的翹曲運動估計之間的低延遲p配置中的bd速率比較。負值意為增益。前7行是在編碼之前被下採樣和翹曲的自然序列。最後3行是模擬的全局運動(具有n像素/幀的運動速度)並且被翹曲。

圖11圖示根據本公開的各種實施例的用這樣的區域自適應平滑1115的360度視頻處理過程1100。

捕獲1105獲取來自七個不同相機的圖像。來自七個相機的圖像1110以2d圖案來排序。圖像縫合和等矩形映射1110獲取圖像並將它們組合成等矩形地圖1120。

區域自適應平滑1125是在編碼側的預處理步驟，並且不取決於編解碼器的類型，因此其可以使用現有的編解碼器來容易地得到支持。

為了測試平滑的影響，7×7高斯濾波器(具有方差5)用於平滑表3中列出的11個不同的360度視頻。使用x264(具有qp＝27的隨機存取設置)平滑和編碼頂部和底部psmooth(平滑的圖像的頂部區域1130和底部區域1135的百分比)、視頻序列中所有圖像的百分比以確定比特率節省。還使用gearvr正式地查看對應於subway、zoo和dragonride2的具有和不具有平滑的比特流，以確定感知質量降級開始變得可見的psmooth值。subway和zoo序列是自然序列，而dragonride2是計算機生成的動畫。對於自然視頻序列，感知質量降級在等於20％的psmooth時開始變得稍微值得注意，而對於計算機生成的動畫，感知質量降級在等於15％的psmooth時開始變得稍微值得注意。對於非正式查看的其它視頻序列，該觀察概略地保持。以下表3示出psmooth的比特率節省等於25％和15％。可以看到：用本區域自適應平滑技術實現在4％到22％範圍中的比特率節省。

表3：

一旦等矩形映射圖像1115被平滑，等矩形映射圖像1115就被編碼1140以用於傳輸。等矩形映射圖像1115被解碼器接收並被解碼1145。一旦等矩形映射圖像1115被解碼，圖像處理單元就將等矩形映射圖像1115再現成球體1155。球體1155然後被觀眾1160使用以看到3d圖像或視頻1165。

從圖5b的另一個觀察是：朝著圖像的頂部和底部將圖像伸展得更大，允許在圖像的頂部和底部的平滑程度增加，而不增加感知損失。通過增加靠近圖像的頂部和底部的高斯平滑濾波器的方差來控制平滑程度。圖12a圖示具有半徑為1的歸一化的球體，該球體用於導出用於計算作為圖像行號y的函數的高斯平滑濾波器的方差的啟發法。在圖像行號y處，球體上圖像的固有解析度與x成正比，即隨著y增加到頂極，x保持降低(類似地，隨著y降低到底極，x保持降低)。然而，等矩形映射仍然使用圖像的完整寬度來表示該解析度。因此，與成反比例的下列等式用於確定高斯平滑濾波器的方差σ2。

隨著y從零(圖像中心)進行到一(圖像頂部)，σ2從零進行到較大的值，即沒有平滑到非常強的平滑。圖12b圖示對於等於3的k，σ2如何隨歸一化的圖像行號(歸一化為在是圖像底部的-1到是圖像頂部的+1之間)變化。可變平滑用x264來實現。表4示出比表3的對應比特率節省高的對應比特率節省。通過增加k，我們發現由於圖像的中心區域被稍微平滑以實現附加比特率節省，所以可變平滑在低比特率下尤其有用，同時使得能夠進行速率控制。

表4：

圖13圖示根據本公開的各種實施例的用於使用區域自適應平滑的對360度視頻的編碼的過程。例如，圖13中圖示的過程可由圖2中的伺服器200執行。

步驟1305，圖像處理單元定義等矩形映射圖像的頂部區域和底部區域或者視頻的等矩形映射幀中的每一個。頂部區域和底部區域可以是預定義的或者基於諸如區域中的信息量之類的函數。

在步驟1310，圖像處理單元選擇行並確定是否該行在頂部區域或底部區域中。在步驟1315，當行在頂部區域或底部區域中時，圖像處理單元對像素的行執行平滑處理。在步驟1320中，圖像處理單元確定在等矩形映射圖像或者視頻的等矩形映射幀的每一個中是否存在任何剩餘的行。

圖14圖示根據本公開的各種實施例的用於使用用於區域自適應平滑的強度的行位置的對360度視頻的編碼的過程。例如，圖14中圖示的過程可由圖2中的伺服器200執行。

在步驟1405，圖像處理單元定義等矩形映射圖像的頂部區域和底部區域或者視頻的等矩形映射幀中的每一個。頂部區域和底部區域可以是預定義的或者基於諸如區域中的信息量之類的函數。在步驟1410，圖像處理單元選擇行並確定該行是否在頂部區域或底部區域中。

在步驟1415，圖像處理單元取決於行位置確定使用的平滑的強度。在等矩形映射圖像的頂部和底部的行具有與地圖中其它行相同的像素數量，但是表示球體上少得多的數量的像素。因此，當再現球體時，北極和南極包括比實際捕獲的多的信息。由於等矩形映射的這種效果，平滑的強度隨著行接近等矩形映射圖像的頂部和底部而增加。可以基於行中的像素數量與在虛擬球體的對應部分或緯度線中的像素數量之間的比率來確定平滑的強度。

在步驟1420，當行在頂部區域或底部區域中時，圖像處理單元對像素的行執行平滑處理。在步驟1420，圖像處理單元確定在等矩形映射圖像或者視頻的等矩形映射幀的每一個中是否存在任何剩餘的行。

圖15圖示根據本公開的各種實施例的360度視頻處理鏈。除了圖11中的處理之外，編碼器還向解碼器發送平滑元數據1505以用於額外細節增強1510。平滑元數據包括：包含邊界框坐標的平滑區域信息以及包含濾波類型、濾波強度的平滑濾波信息以及是使用固定還是可變平滑。發送平滑元數據允許在等矩形映射圖像中的更大平滑。細節增強包括諸如邊緣增強和反向濾波之類的方法。

圖16a和16b圖示根據本公開的各種實施例的替代平滑區域。連同平滑頂部區域1600和底部區域1605，還可以平滑左邊區域1610和右邊區域1615。不同的區域可以是不對稱的，如在不對稱的頂部區域1625和不對稱的底部區域1630中。在某些實施例中，以角度平滑角落。替代平滑區域的目的是增加轉移的比特率，同時最小化感知損失。

圖17圖示根據本公開的各種實施例的擠壓等矩形映射幀1700的頂部區域1705和底部區域1710。

因為等矩形映射幀的頂部區域1705和底部區域1710包含比感知顯著的高的解析度，所以可以在編碼之前擠壓這些區域以減少待發送的變換係數的數量，導致比特率節省。經擠壓的等矩形映射幀1715的經擠壓的頂部區域1720和經擠壓的底部區域1725在被查看時不導致感知質量降級。擠壓可以均勻跨頂部區域1705或底部區域1710。例如，圖像的前20％的下採樣比可以是均勻的2。擠壓也可以是自適應的，這取決於頂部區域1705或底部區域1710的解析度。例如，如果等矩形幀的前10％包含比等矩形幀1700的10％到20％低的解析度，前10％可能具有為4的下採樣比率，而頂部區域1705的較高解析度部分可能具有為2的下採樣比率2。

雖然已經用示範性實施例描述了本公開，但是可向本領域技術人員建議各種改變和修改。意圖是本公開包括落在所附權利要求的範圍內的這樣的改變和修改。