一種全景視頻六角形採樣方法及裝置與流程
2023-07-10 04:48:06
本發明涉及視頻編碼技術，特別是涉及一種全景視頻六角形採樣方法及裝置。
背景技術：
全景視頻是指空間中一個觀察點四周所有的場景，由這個觀察點所能接收到的所有光線構成。全景視頻可以抽象成一個以觀察點為中心的球面。
在用計算機處理全景視頻的時候，不可避免地要對全景視頻進行離散化空間採樣。在對全景視頻進行離散化空間採樣的時候，需要保證一定的空間採樣密度，以達到所需的清晰度。同時，又要考慮到計算機的存儲器不適合存儲球面結構的數據，需要以某種方式把採樣點排列到平面上。
現有的球面採樣方法，通常將球面採樣過程分為三步：第一步，映射，把球面映射為平面上的一個區域；第二步，平面採樣，以映射後的平面區域為基礎設計採樣點的分布方式；第三步，排列，把採樣點排列為一個矩形。
在第一步映射的過程中，經常不是等面積映射，而且球面的不同區域在映射前後面積的比例也是不同的。第二步平面採樣的過程中，經常是把採樣點設計成在映射後的平面區域中均勻分布。第一步和第二步結合起來，就會造成採樣點在球面上的分布不均勻。理論上，球面赤道附近的採樣點數應該比兩極附近採樣點數多。第三步在排列時，往往不能做到內容的完整相鄰，給視頻編碼壓縮帶來不利。
目前，有三種常用的球面採樣方法：經緯圖採樣，六面體採樣以及稜錐採樣。
經緯圖採樣如圖1所示，球面上任意一個點可以用所處的經度θ和緯度描述，θ∈[0,2π)，於是可以將球面映射到坐標系下一個寬高比為2:1的矩形。對這個矩形進行均勻採樣。經緯圖採樣方法雖然具有完整相鄰性，但在球面的兩極附近採樣密度過高，會產生很大的冗餘。
六面體採樣如圖2所示，首先將球面映射為其外切正六面體的六個面，從而得到六個平面正方形，再對六個平面正方形進行均勻採樣，最終用某種方式把六個正方形拼成一個矩形。六面體採樣的採樣點在球面上的分布也是不均勻的，依然存在較大的冗餘，並且矩形的內容也不具有完整相鄰性。
稜錐採樣如圖3所示，首先將球面映射為一個外切正四稜錐，再將該正四稜錐的每個側面(等腰三角形)沿底邊垂線的方向進行壓縮，直到頂角變成直角。這樣底面和四個經過二次映射的側面正好可以拼成一個正方形。最後對這個正方形進行均勻採樣。稜錐採樣的採樣點在球面上的分布也是不均勻的，矩形的內容也不具有完整相鄰性。其不均勻程度介於經緯圖採樣和六面體採樣之間，冗餘程度也介於經緯圖採樣和六面體採樣之間。
綜上所述，已有的全景視頻採樣方法的主要缺點是存在較大的採樣結構冗餘和最終形成的矩形不具有內容完整相鄰性。採樣點在球面上不均勻分布，不僅會帶來採樣冗餘，還給視頻質量評價帶來不便，因為最終的採樣點對應的球面面積是不同的，因此每個採樣點的失真對視頻質量的影響也是不同的，在計算全景視頻經過某種處理，例如壓縮解壓縮後的質量損失時，必須考慮到每個採樣點的重要性是不同的。矩形視頻在內容上的不相鄰性也不利於視頻編碼的壓縮編碼。
技術實現要素：
為克服上述現有技術存在的不足，本發明之目的在於提供一種全景視頻六角形採樣方法及裝置，其可以使採樣點在球面上的分布滿足赤道附近採樣點數多，兩極附近採樣點數很少，從而避免了採樣結構冗餘，使得在達到相同的空間清晰度的條件下，採樣點數減少，而且，拼成的矩形具有良好的內容相鄰性，能提高編碼壓縮效率。
為達上述及其它目的，本發明提供一種全景視頻六角形採樣方法，包括如下步驟：
步驟一，用等間隔的緯線將球面分成n＝6k個環形曲面，其中k為正整數；將得到的環形曲面依次記為oi，i＝0,1,...n-1，從球心的角度觀察，將oi按照從上到下的順序排列；。
步驟二，用等間隔的經線將環形曲面oi均勻地分成ti個區域，其中，當0<＝i<k時，ti＝8i+4，當k<＝i<3k時，ti＝10k，當3k<＝i<n時，ti＝tn-1-i，其中一條經線為0°經線；將得到的區域依次記為ai,j，j＝0,1,...ti-1，從球心的角度觀察，ai,j按照東經度數增加或西經度數減少的順序排列，其中ai,0和ai,ti-1相鄰且分割線為0°經線；
步驟三，計算步驟二得到的球面上的每一個區域ai,j內的光線的平均值，作為該區域對應的採樣點的採樣值si,j；
步驟四，將採樣值si,j排列成一個矩陣，用x表示si,j所處的列，y表示si,j所處的行，令di＝i-5k,h＝k-di-1,則
當0≤i<k,0≤j<2i+1時，y＝i+k，x＝11k-i+j-1；
當0≤i<k,2i+1≤j<4i+2時，y＝3i+k-j+1，x＝11k+i；
當0≤i<k,4i+2≤j<6i+3時，y＝k-i-1，x＝11k+5i-j+2；
當0≤i<k,6i+3≤j<8i+4時，y＝k+j-7i-4，x＝11k-i-1；
當k≤i<5k時，y＝i-k，x＝j；
當0≤di<k,0≤j<2h+1時，y＝di+2k，x＝11k-h+j-1；
當0≤di<k,2h+1≤j<4h+2時，y＝j-3h-2+3k，x＝12k-di-1；
當0≤di<k,4h+2≤j<6h+3時，y＝4k-di-1，x＝11k+5h-j+2；
當0≤di<k,6h+3≤j<8h+4時，y＝3k-j+7h+3，x＝10k+di；
到一個12k列×4k行的矩陣，或者將上述矩陣轉置，得到一個4k列×12k行的矩陣。
進一步的，在所述的一種全景視頻六角形採樣方法中：於步驟一中，n為8的倍數，或n為16的倍數。
相應的，本發明還提供一種全景視頻六角形採樣裝置，包括：
球面分割單元，用等間隔的緯線將球面分成n＝6k個環形曲面，k為正整數；將得到的環形曲面依次記為oi，i＝0,1,...,n-1，從球心的角度觀察，oi按照從上到下的順序排列；
環形曲面分割單元，用等間隔的經線將環形曲面oi均勻地分成ti個區域，其中，當0<＝i<k時，ti＝8i+4，當k<＝i<3k時，ti＝10k，當3k<＝i<n時，ti＝tn-1-i，其中一條經線為0°經線；將得到的區域依次記為ai,j，j＝0,1,...ti-1，從球心的角度觀察，ai,j按照東經度數增加或西經度數減少的順序排列，其中ai,0和ai,ti-1相鄰且分割線為0°經線；
採樣值計算單元，計算得到的球面上的每一個區域ai,j內的光線的平均值，作為該區域對應的採樣點的採樣值si,j；
排列單元，將採樣值si,j排列成一個矩陣，用x表示si,j所處的列，y表示si,j所處的行，令di＝i-5k,h＝k-di-1,則
當0≤i<k,0≤j<2i+1時，y＝i+k，x＝11k-i+j-1；
當0≤i<k,2i+1≤j<4i+2時，y＝3i+k-j+1，x＝11k+i；
當0≤i<k,4i+2≤j<6i+3時，y＝k-i-1，x＝11k+5i-j+2；
當0≤i<k,6i+3≤j<8i+4時，y＝k+j-7i-4，x＝11k-i-1；
當k≤i<5k時，y＝i-k，x＝j；
當0≤di<k,0≤j<2h+1時，y＝di+2k，x＝11k-h+j-1；
當0≤di<k,2h+1≤j<4h+2時，y＝j-3h-2+3k，x＝12k-di-1；
當0≤di<k,4h+2≤j<6h+3時，y＝4k-di-1，x＝11k+5h-j+2；
當0≤di<k,6h+3≤j<8h+4時，y＝3k-j+7h+3，x＝10k+di；
到一個12k列×4k行的矩陣，或者將上述矩陣轉置，得到一個4k列×12k行的矩陣。
與現有技術相比，本發明一種全景視頻六角形採樣方法及裝置採樣點在球面上的分布滿足赤道附近採樣點數多，兩極附近採樣點數很少，從而減少了採樣結構冗餘，使得在達到相同的空間清晰度的條件下，採樣點數減少，而且，拼成的矩形具有良好的內容相鄰性，能提高編碼壓縮效率。
附圖說明
圖1為現有技術球面採樣方法中經緯圖採樣的示意圖；
圖2為現有技術球面採樣方法中六面體採樣的示意圖；
圖3為現有技術球面採樣方法中稜錐採樣的實驗圖；
圖4為本發明一種全景視頻六角形採樣方法的步驟流程圖；
圖5為本發明一種全景視頻六角形採樣裝置的系統架構圖；
圖6所示為一個用解析度為4096×2048的經緯圖表示的全景視頻的其中一幅圖像；
圖7所示為採用本發明後所得的顯示圖像。
圖8所示為採用本發明後所得的編碼圖像。
圖9所示為採用本發明後所得的編碼圖像。
具體實施方式
以下通過特定的具體實例並結合附圖說明本發明的實施方式，本領域技術人員可由本說明書所揭示的內容輕易地了解本發明的其它優點與功效。本發明亦可通過其它不同的具體實例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不背離本發明的精神下進行各種修飾與變更。
圖4為本發明一種全景視頻六角形採樣方法的步驟流程圖。如圖4所示，本發明一種全景視頻六角形採樣方法，包括如下步驟：
第一步，根據空間清晰度要求，用等間隔的緯線將球面分成n＝6k個環形曲面，其中k為正整數，在本發明優選的實施例中，n為8的倍數，或n為16的倍數；將得到的環形曲面依次記為oi，i＝0,1,...n-1，從球心的角度觀察，將oi按照從上到下的順序排列；
第二步，用等間隔的經線將環形曲面oi均勻地分成ti個區域，其中，當0<＝i<k時，ti＝8i+4，當k<＝i<3k時，ti＝10k，當3k<＝i<n時，ti＝tn-1-i，其中一條經線為0°經線；將得到的區域依次記為ai,j，j＝0,1,...ti-1，從球心的角度觀察，ai,j按照東經度數增加或西經度數減少的順序排列，其中ai,0和ai,ti-1相鄰且分割線為0°經線；
第三步，計算步驟二得到的球面上的每一個區域ai,j內的光線的平均值，作為該區域對應的採樣點的採樣值si,j。
第四步，將採樣值si,j排列成一個矩陣，用x表示si,j所處的列，y表示si,j所處的行，令di＝i-5k,h＝k-di-1,則
當0≤i<k,0≤j<2i+1時，y＝i+k，x＝11k-i+j-1；
當0≤i<k,2i+1≤j<4i+2時，y＝3i+k-j+1，x＝11k+i；
當0≤i<k,4i+2≤j<6i+3時，y＝k-i-1，x＝11k+5i-j+2；
當0≤i<k,6i+3≤j<8i+4時，y＝k+j-7i-4，x＝11k-i-1；
當k≤i<5k時，y＝i-k，x＝j；
當0≤di<k,0≤j<2h+1時，y＝di+2k，x＝11k-h+j-1；
當0≤di<k,2h+1≤j<4h+2時，y＝j-3h-2+3k，x＝12k-di-1；
當0≤di<k,4h+2≤j<6h+3時，y＝4k-di-1，x＝11k+5h-j+2；
當0≤di<k,6h+3≤j<8h+4時，y＝3k-j+7h+3，x＝10k+di；
到一個12k列×4k行的矩陣，或者將上述矩陣轉置，得到一個4k列×12k行的矩陣。
圖5為本發明一種全景視頻六角形採樣裝置的系統架構圖。如圖5所示，本發明一種全景視頻六角形採樣裝置，包括：球面分割單元、環形曲面分割單元、採樣值計算單元以及排列單元。
所述球面分割單元，用等間隔的緯線將球面分成n＝6k個環形曲面，k為正整數；將得到的環形曲面依次記為oi，i＝0,1,...,n-1，從球心的角度觀察，oi按照從上到下的順序排列；
所述環形曲面分割單元，用等間隔的經線將環形曲面oi均勻地分成ti個區域，其中，當0<＝i<k時，ti＝8i+4，當k<＝i<3k時，ti＝10k，當3k<＝i<n時，ti＝tn-1-i，其中一條經線為0°經線；將得到的區域依次記為ai,j，j＝0,1,...ti-1，從球心的角度觀察，ai,j按照東經度數增加或西經度數減少的順序排列，其中ai,0和ai,ti-1相鄰且分割線為0°經線；
所述採樣值計算單元，計算得到的球面上的每一個區域ai,j內的光線的平均值，作為該區域對應的採樣點的採樣值si,j；
所述排列單元，將採樣值si,j排列成一個矩陣，用x表示si,j所處的列，y表示si,j所處的行，令di＝i-5k,h＝k-di-1,則
當0≤i<k,0≤j<2i+1時，y＝i+k，x＝11k-i+j-1；
當0≤i<k,2i+1≤j<4i+2時，y＝3i+k-j+1，x＝11k+i；
當0≤i<k,4i+2≤j<6i+3時，y＝k-i-1，x＝11k+5i-j+2；
當0≤i<k,6i+3≤j<8i+4時，y＝k+j-7i-4，x＝11k-i-1；
當k≤i<5k時，y＝i-k，x＝j；
當0≤di<k,0≤j<2h+1時，y＝di+2k，x＝11k-h+j-1；
當0≤di<k,2h+1≤j<4h+2時，y＝j-3h-2+3k，x＝12k-di-1；
當0≤di<k,4h+2≤j<6h+3時，y＝4k-di-1，x＝11k+5h-j+2；
當0≤di<k,6h+3≤j<8h+4時，y＝3k-j+7h+3，x＝10k+di；
到一個12k列×4k行的矩陣，或者將上述矩陣轉置，得到一個4k列×12k行的矩陣。
以下將通過具體實施例來進一步說明本發明：
實施舉例
如圖6所示為一個用解析度為4096×2048的經緯圖表示的全景視頻的其中一幅圖像，在本發明具體實施例中，該全景視頻為彩色視頻，具有三個分量。假設所採用的顏色分量是rgb，採樣後仍然用rgb表示每個採樣點的顏色。假設空間清晰度的要求對三個分量是相同的，都是n＝1536，k＝256，量化精度要求對每個分量也是相同的，都是量化為256級。則對每個分量，重複如下步驟一到步驟四：
第一步，用等間隔的緯線將球面分成1536＝6*256個環形曲面。將得到的環形曲面依次記為oi，i＝0,1,...,1535，從球心的角度觀察，oi按照從上到下的順序排列；
第二步，用等間隔的經線將環形曲面oi均勻地分成ti個區域，其中，當0<＝i<256時，ti＝8i+4，當256<＝i<768時，ti＝2560，當768<＝i<1536時，ti＝t1535-i，其中一條經線為0°經線。將得到的區域依次記為ai,j，j＝0,1,...ti-1，從球心的角度觀察，ai,j按照東經度數增加或西經度數減少的順序排列，其中ai,0和ai,ti-1相鄰且分割線為0°經線；
第三步，計算步驟二得到的球面上的每一個區域ai,j內的光線的平均值，並進行256級量化，得到一個0到255之間的整數值，作為該區域對應的採樣點的採樣值，記為si,j。
第四步，將採樣值排列成一個矩陣，用x表示si,j所處的列，y表示si,j所處的行，令di＝i-1280,h＝255-di,則
當0≤i<256,0≤j<2i+1時，y＝i+256，x＝2816-i+j-1；
當0≤i<256,2i+1≤j<4i+2時，y＝3i+256-j+1，x＝2816+i；
當0≤i<256,4i+2≤j<6i+3時，y＝256-i-1，x＝2816+5i-j+2；
當0≤i<256,6i+3≤j<8i+4時，y＝256+j-7i-4，x＝2816-i-1；
當256≤i<1280時，y＝i-256，x＝j；
當1280≤i<1536,0≤j<2h+1時，y＝di+512，x＝2816-h+j-1；
當1280≤i<1536,2h+1≤j<4h+2時，y＝j-3h-2+768，x＝3072-di-1；
當1280≤i<1536,4h+2≤j<6h+3時，y＝1024-di-1，x＝2816+5h-j+2；
當1280≤i<1536,6h+3≤j<8h+4時，y＝768-j+7h+3，x＝2560+di；
到一個3072列×1024行的矩陣，如圖8所示；或者將上述矩陣轉置，得到一個1024列×3072行的矩陣，如圖9所示。
也可以將所得的採樣點排列在一個1536行、3072列的矩形區域內，並將每一行編號為(i,0)的數據放在每一行的第1536個位置，編號為(i,k),k＝1..ti/2,的採樣點的數據放在第i行第1536+k個位置，編號為(i,ti-k),k＝1..ti/2-1,的採樣點的數據放在第i行第1536-k個位置。矩形區域內沒有填滿的部分用255填充，所得圖像如圖7所示。
綜上所述，本發明一種全景視頻六角形採樣方法及裝置採樣點在球面上的分布滿足赤道附近採樣點數多，兩極附近採樣點數很少，從而避免了採樣結構冗餘，使得在達到相同的空間清晰度的條件下，採樣點數減少，而且，拼成的矩形具有良好的內容相鄰性，能提高編碼壓縮效率。
上述實施例僅例示性說明本發明的原理及其功效，而非用於限制本發明。任何本領域技術人員均可在不違背本發明的精神及範疇下，對上述實施例進行修飾與改變。因此，本發明的權利保護範圍，應如權利要求書所列。