全景視頻改進雙環帶採樣方法及裝置與流程
2023-07-20 15:56:46 2
本發明涉及一種全景視頻改進雙環帶採樣方法及裝置。
背景技術：
全景視頻是指空間中一個觀察點四周所有的場景，由這個觀察點所能接收到的所有光線構成。全景視頻可以抽象成一個以觀察點為中心的球面。
在用計算機處理全景視頻的時候，不可避免地要對全景視頻進行離散化空間採樣。在對全景視頻進行離散化空間採樣的時候，需要保證一定的空間採樣密度，以達到所需的清晰度。同時，又要考慮到計算機的存儲器不適合存儲球面結構的數據，需要以某種方式把採樣點排列到平面上。
現有的球面採樣方法，通常將球面採樣過程分為三步：第一步，映射，把球面映射為平面上的一個區域；第二步，平面採樣，以映射後的平面區域為基礎設計採樣點的分布方式；第三步，排列，把採樣點排列為一個矩形。
在第一步映射的過程中，球面的不同區域在映射前後面積的比例是不同的。第二步平面採樣的過程中，經常是把採樣點設計成在映射後的平面區域中均勻分布。第一步和第二步結合起來，就會造成採樣點在球面上的分布不均勻。有些區域採樣點比較密，有些區域採樣點比較稀。最終採樣達到的空間清晰度，是以球面上採樣點最稀疏的區域為準。因此，在給定空間清晰度的條件下，採樣點在球面上的不均勻分布，會帶來冗餘。而在第三步中，為了排列成矩形，採樣點的位置分布情況發生了改變，這就丟失了採樣點在球面上的相鄰關係，不利於後續的預測編碼。
目前，有三種常用的球面採樣方法：經緯圖採樣，六面體採樣以及稜錐採樣。
經緯圖採樣如圖1所示，球面上任意一個點可以用所處的經度θ和緯度描述，θ∈[0,2π)，於是可以將球面映射到坐標系下一個寬高比為2:1的矩形。對這個矩形進行均勻採樣。經緯圖採樣方法在球面的兩極附近採樣密度過高，會產生很大的冗餘。
六面體採樣如圖2所示，首先將球面映射為其外切正六面體的六個面，從而得到六個平面正方形，再對六個平面正方形進行均勻採樣，最終用某種方式把六個正方形拼成一個矩形。六面體採樣的採樣點在球面上的分布也是不均勻的，依然存在較大的冗餘。
稜錐採樣如圖3所示，首先將球面映射為一個外切正四稜錐，再將該正四稜錐的每個側面(等腰三角形)沿底邊垂線的方向進行壓縮，直到頂角變成直角。這樣底面和四個經過二次映射的側面正好可以拼成一個正方形。最後對這個正方形進行均勻採樣。稜錐採樣的採樣點在球面上的分布也是不均勻的，其不均勻程度介於經緯圖採樣和六面體採樣之間，冗餘程度也介於經緯圖採樣和六面體採樣之間。
綜上所述，已有的全景視頻採樣方法的主要缺點是存在較大的採樣結構冗餘。採樣點在球面上不均勻分布，不僅會帶來採樣冗餘，還給視頻質量評價帶來不便，因為最終的採樣點對應的球面面積是不同的，因此每個採樣點的失真對視頻質量的影響也是不同的，在計算全景視頻經過某種處理，例如壓縮解壓縮後的質量損失時，必須考慮到每個採樣點的重要性是不同的。
技術實現要素：
本發明的目的在於提供一種全景視頻改進雙環帶採樣方法及裝置，能夠降低採樣結構冗餘，使得在達到相同的空間清晰度的條件下，採樣點數少，採樣後的數據量小，而且，便於保留相鄰關係，可以有效提高後續預測編碼的壓縮效率。
為解決上述問題，本發明提供一種全景視頻改進雙環帶採樣方法，包括：
步驟一，用兩條緯度分別為W1、W2的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」；
步驟二，用等間隔的6條經線沿赤道方向將所述「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；
步驟三，在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；
步驟四，經過P1、P2、P3和P4作圓，所述P1、P2、P3和P4這四點在同一個圓上，只保留P1和P4之間的劣弧，記為NE0，P2和P3之間的劣弧，記為SE0，取緯度W1緯線上P1和P4之間的劣弧，記為NE1，緯度W2緯線上P2和P3之間的劣弧，記為SE1，NE0和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11，在西半球，得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13；
步驟五，用東經90度經線和西經90度經線構成的圓，將所述「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9，至此，將球面分成了14塊；
步驟六，根據空間清晰度要求，對包括Oi，i＝0,1,…,12,13的每個部分進行採樣，採樣後都是矩形。
進一步的，在上述方法中，所述步驟一中，從球心的角度觀察，所述「頂部」、「水平環」、「底部」按照從上至下的順序排列。
進一步的，在上述方法中，所述步驟二中，6條經線的經度分別為東經30度，東經90度，東經150度和西經30度，西經90度，西經150度，O0和O5應該是相鄰的，O0和O5的分隔線為西經30度經線，從球心的角度觀察，Oi在Oi+1的左邊。
進一步的，在上述方法中，步驟三中，點P1是東經30度線和緯度為W1的緯線的交點；點P2是東經30度線和緯度為W2的緯線的交點；點P3是東經150度線和緯度為W1的緯線的交點；點P4是東經150度線和緯度為W2的緯線的交點；點P5是西經30度線和緯度為W1的緯線的交點；點P6是西經30度線和緯度為W2的緯線的交點；點P7是西經150度線和緯度為W2的緯線的交點；點P8是西經150度線和緯度為W1的緯線的交點。
進一步的，在上述方法中，所述步驟四中，O11與O1、O2相鄰；O10與O4、O5相鄰；O12與O4、O5相鄰；O13與O1、O2相鄰。
進一步的，在上述方法中，所述步驟五中，O6與O0、O7、O10、O11相鄰；O7與O3、O6、O10、O11相鄰；O8與O0、O9、O12、O13相鄰；O9與O3、O8、O12、O13相鄰。
進一步的，在上述方法中，所述步驟六中，處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和為M；O0與O6、O7、O8、O9共5個區域縱向採樣點之和為N。
進一步的，在上述方法中，該方法還包括：根據空間清晰度要求，在存儲時，首先記錄N和M；M為處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和；N為O0與O6、O7、O8、O9共5個區域縱向採樣點之和，然後將所得的所有採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
進一步的，在上述方法中，該方法還包括：
該方法還包括：在平面顯示器上顯示時，將所得的採樣點數據排列在一個N行、M列的矩形區域內，並將每一行編號為(i,0)的數據對齊，其他數據依次排列，矩形區域內沒有填滿的部分用任意數據填充。
根據本發明的另一面，提供一種全景視頻改進雙環帶採樣裝置，包括：
球面分割單元，用於用兩條緯度分別為W1、W2的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」；
水平環分割單元，用於用等間隔的6條經線沿赤道方向將所述「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；
標記單元，用於在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；
其他環形曲面分割單元，用於經過P1、P2、P3和P4作圓，所述P1、P2、P3和P4這四點在同一個圓上，只保留P1和P4之間的劣弧，記為NE0，P2和P3之間的劣弧，記為SE0，取緯度W1緯線上P1和P4之間的劣弧，記為NE1，緯度W2緯線上P2和P3之間的劣弧，記為SE1，NE0和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11，類似地，在西半球，可以得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13；在此，通過球面上的8個經線和緯線的交點作2個圓，分割「底部」和「頂部」得到O10、O11、O12、O13；
剩餘部分分割單元，用於用東經90度經線和西經90度經線構成的圓，將所述「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9，至此，將球面分成了14塊，
採樣值計算單元，用於根據空間清晰度要求，對包括Oi，i＝0,1,…,12,13的每個部分進行採樣，採樣後都是矩形。
進一步的，在上述裝置中，所述球面分割單元，用於從球心的角度觀察，將所述「頂部」、「水平環」、「底部」按照從上至下的順序排列。
進一步的，在上述裝置中，所述水平環分割單元，用於將6條經線的經度分別確定為東經30度，東經90度，東經150度和西經30度，西經90度，西經150度，O0和O5應該是相鄰的，O0和O5的分隔線為西經30度經線，從球心的角度觀察，Oi在Oi+1的左邊。
進一步的，在上述裝置中，所述標記單元，用於確定點P1是東經30度線和緯度為W1的緯線的交點；點P2是東經30度線和緯度為W2的緯線的交點；點P3是東經150度線和緯度為W1的緯線的交點；點P4是東經150度線和緯度為W2的緯線的交點；點P5是西經30度線和緯度為W1的緯線的交點；點P6是西經30度線和緯度為W2的緯線的交點；點P7是西經150度線和緯度為W2的緯線的交點；點P8是西經150度線和緯度為W1的緯線的交點。
進一步的，在上述裝置中，所述其他環形曲面分割單元，用於確定O11與O1、O2相鄰；O10與O4、O5相鄰；O12與O4、O5相鄰；O13與O1、O2相鄰。
進一步的，在上述裝置中，所述剩餘部分分割單元，用於確定O6與O0、O7、O10、O11相鄰；O7與O3、O6、O10、O11相鄰；O8與O0、O9、O12、O13相鄰；O9與O3、O8、O12、O13相鄰。
進一步的，在上述裝置中，所述採樣值計算單元，用於確定處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和為M；O0與O6、O7、O8、O9共5個區域縱向採樣點之和為N。
進一步的，在上述裝置中，還包括，存儲模塊，用於根據空間清晰度要求，在存儲時，首先記錄N和M；M為處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和；N為O0與O6、O7、O8、O9共5個區域縱向採樣點之和，然後將所得的所有採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
進一步的，在上述裝置中，還包括顯示模塊，用於在平面顯示器上顯示時，將所得的採樣點數據排列在一個N行、M列的矩形區域內，並將每一行編號為(i,0)的數據對齊，其他數據依次排列，矩形區域內沒有填滿的部分用任意數據填充。
與現有技術相比，本發明通過用兩條緯度分別為W1、W2的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」；用等間隔的6條經線沿赤道方向將所述「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；經過P1、P2、P3和P4作圓，所述P1、P2、P3和P4這四點在同一個圓上，只保留P1和P4之間的劣弧，記為NE0，P2和P3之間的劣弧，記為SE0，取緯度W1緯線上P1和P4之間的劣弧，記為NE1，緯度W2緯線上P2和P3之間的劣弧，記為SE1，NE0和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11，在西半球，得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13；用東經90度經線和西經90度經線構成的圓，將所述「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9，至此，將球面分成了14塊；根據空間清晰度要求，對包括Oi，i＝0,1,…,12,13的每個部分進行採樣，採樣後都是矩形，本發明減少了採樣結構冗餘，保持了採樣點在球面上的相鄰關係，使得在達到相同的空間清晰度的條件下，採用點數少，採用後的數據量小，壓縮效率高。
附圖說明
圖1為現有的球面採樣方法中經緯圖採樣的示意圖；
圖2為現有的球面採樣方法中六面體採樣的示意圖；
圖3為現有的球面採樣方法中稜錐採樣的實驗圖；
圖4為本發明一實施例的全景視頻改進雙環帶採樣方法的球面分割示意圖；
圖5為本發明一實施例的全景視頻改進雙環帶採樣方法的序號示意圖；
圖6為本發明一實施例的全景視頻改進雙環帶採樣方法的步驟流程圖；
圖7為本發明一實施例的全景視頻改進雙環帶採樣裝置的系統架構圖；
圖8所示為一個用解析度為4096×2048的經緯圖表示的全景視頻的其中一幅圖像；
圖9所示為採用本發明一實施例後所得的圖像。
具體實施方式
為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本發明作進一步詳細的說明。
如圖1所示，本發明提供一種全景視頻改進雙環帶採樣方法，包括：
步驟一，用兩條緯度分別為W1、W2的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」；
步驟二，用等間隔的6條經線沿赤道方向將所述「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；
步驟三，在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；
步驟四，經過P1、P2、P3和P4作圓，所述P1、P2、P3和P4這四點在同一個圓上，只保留P1和P4之間的劣弧，記為NE0，P2和P3之間的劣弧，記為SE0，取緯度W1緯線上P1和P4之間的劣弧，記為NE1，緯度W2緯線上P2和P3之間的劣弧，記為SE1，NE0和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11，類似地，在西半球，可以得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13；
步驟五，用東經90度經線和西經90度經線構成的圓，將所述「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9，至此，將球面分成了14塊，如圖4、圖5所示；
步驟六，根據空間清晰度要求，對包括Oi，i＝0,1,…,12,13的每個部分進行採樣，採樣後都是矩形。
本發明一實施例中，於所述步驟一中，從球心的角度觀察，所述「頂部」、「水平環」、「底部」按照從上至下的順序排列。
本發明一實施例中，於所述步驟二中，6條經線的經度分別為東經30度，東經90度，東經150度和西經30度，西經90度，西經150度，O0和O5應該是相鄰的，O0和O5的分隔線為西經30度經線，從球心的角度觀察，Oi在Oi+1的左邊。
本發明一實施例中，於步驟三中，點P1是東經30度線和緯度為W1的緯線的交點；點P2是東經30度線和緯度為W2的緯線的交點；點P3是東經150度線和緯度為W1的緯線的交點；點P4是東經150度線和緯度為W2的緯線的交點；點P5是西經30度線和緯度為W1的緯線的交點；點P6是西經30度線和緯度為W2的緯線的交點；點P7是西經150度線和緯度為W2的緯線的交點；點P8是西經150度線和緯度為W1的緯線的交點。
本發明一實施例中，於步驟四中，O11與O1、O2相鄰；O10與O4、O5相鄰；O12與O4、O5相鄰；O13與O1、O2相鄰。
本發明一實施例中，於步驟五中，O6與O0、O7、O10、O11相鄰；O7與O3、O6、O10、O11相鄰；O8與O0、O9、O12、O13相鄰；O9與O3、O8、O12、O13相鄰。
本發明一實施例中，於步驟六中，處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和為M；O0與O6、O7、O8、O9共5個區域縱向採樣點之和為N。
本發明一實施例中，該方法還包括：根據空間清晰度要求，在存儲時，首先記錄N和M；M為處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和；N為O0與O6、O7、O8、O9共5個區域縱向採樣點之和，然後將所得的所有採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
本發明一實施例中，該方法還包括：在平面顯示器上顯示時，將所得的採樣點數據排列在一個N行、M列的矩形區域內，並將每一行編號為(i,0)的數據對齊，其他數據依次排列，矩形區域內沒有填滿的部分用任意數據填充。
為達到上述目的，本發明還提供一種全景視頻改進雙環帶採樣裝置，包括：
球面分割單元，用於用兩條緯度分別為W1、W2的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」；在此，用兩條緯線以及赤道將球面分成3個環形曲面，將這些環形曲面依次記為「頂部」、「水平環」、「底部」；
水平環分割單元，用於用等間隔的6條經線沿赤道方向將所述「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；在此，用6條等間隔的經線將「水平環」沿赤道方向均勻分成6個區域，將這些區域依次記為Oi，i＝0,1,...,5；
標記單元，用於在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；
其他環形曲面分割單元，用於經過P1、P2、P3和P4作圓，所述P1、P2、P3和P4這四點在同一個圓上，只保留P1和P4之間的劣弧，記為NE0，P2和P3之間的劣弧，記為SE0，取緯度W1緯線上P1和P4之間的劣弧，記為NE1，緯度W2緯線上P2和P3之間的劣弧，記為SE1，NE0和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11，類似地，在西半球，可以得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13；在此，通過球面上的8個經線和緯線的交點作2個圓，分割「底部」和「頂部」得到O10、O11、O12、O13；
剩餘部分分割單元，用於用東經90度經線和西經90度經線構成的圓，將所述「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9，至此，將球面分成了14塊，如圖4、圖5所示；
採樣值計算單元，用於根據空間清晰度要求，對包括Oi，i＝0,1,…,12,13的每個部分進行採樣，採樣後都是矩形。在此，計算該水平環分割單元，該其他環形曲面分割單元和該剩餘部分分割單元得到的球面上的每一個區域內的光線的平均值，作為該區域對應的採樣點的採樣值。
本發明一實施例中，球面分割單元，用於從球心的角度觀察，將所述「頂部」、「水平環」、「底部」按照從上至下的順序排列。
本發明一實施例中，水平環分割單元，用於將6條經線的經度分別確定為東經30度，東經90度，東經150度和西經30度，西經90度，西經150度，O0和O5應該是相鄰的，O0和O5的分隔線為西經30度經線，從球心的角度觀察，Oi在Oi+1的左邊。
本發明一實施例中，標記單元，用於確定點P1是東經30度線和緯度為W1的緯線的交點；點P2是東經30度線和緯度為W2的緯線的交點；點P3是東經150度線和緯度為W1的緯線的交點；點P4是東經150度線和緯度為W2的緯線的交點；點P5是西經30度線和緯度為W1的緯線的交點；點P6是西經30度線和緯度為W2的緯線的交點；點P7是西經150度線和緯度為W2的緯線的交點；點P8是西經150度線和緯度為W1的緯線的交點。
本發明一實施例中，所述其他環形曲面分割單元，用於確定O11與O1、O2相鄰；O10與O4、O5相鄰；O12與O4、O5相鄰；O13與O1、O2相鄰。
本發明一實施例中，所述剩餘部分分割單元，用於確定O6與O0、O7、O10、O11相鄰；O7與O3、O6、O10、O11相鄰；O8與O0、O9、O12、O13相鄰；O9與O3、O8、O12、O13相鄰。
本發明一實施例中，所述採樣值計算單元，用於確定處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和為M；O0與O6、O7、O8、O9共5個區域縱向採樣點之和為N。
本發明一實施例中，還包括，存儲模塊，用於根據空間清晰度要求，在存儲時，首先記錄N和M；M為處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和；N為O0與O6、O7、O8、O9共5個區域縱向採樣點之和，然後將所得的所有採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
本發明一實施例中，還包括顯示模塊，用於在平面顯示器上顯示時，將所得的採樣點數據排列在一個N行、M列的矩形區域內，並將每一行編號為(i,0)的數據對齊，其他數據依次排列，矩形區域內沒有填滿的部分用任意數據填充。
與現有技術相比，本發明一種全景視頻改進雙環帶採樣方法及裝置，減少了採樣結構冗餘，保持了採樣點在球面上的相鄰關係，使得在達到相同的空間清晰度的條件下，採用點數少，採用後的數據量小，壓縮效率高。
圖6為本發明一種全景視頻改進雙環帶採樣方法的步驟流程圖。如圖6所示，本發明一種全景視頻改進雙環帶採樣方法，包括如下步驟：
步驟S201，用兩條緯度分別為W1、W2的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」；
步驟S202，用等間隔的6條經線沿赤道方向將「頂部」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；
步驟S203，通過球面上的8個經線和緯線的交點作2個圓，分割「底部」和「頂部」得到O10、O11、O12、O13；
步驟S204，用東經90度經線和西經90度經線構成的圓，將「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9。至此，將球面分成了14塊，如圖4、圖5所示。
步驟S205，計算步驟S202、步驟S203、步驟S204得到的球面上的每一個區域內的光線值，通過某種插值方法得到該區域內各個採樣點的採樣值。
根據空間清晰度要求，在存儲時，首先記錄N和M；M為處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和；N為O0與O6、O7、O8、O9共5個區域縱向採樣點之和，然後將所得的所有採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面顯示器上顯示時，可以將所得的採樣點數據排列在一個N行、M列的矩形區域內，並將每一行編號為(i,0)的數據對齊，其他數據依次排列。矩形區域內沒有填滿的部分可以用任意數據填充。在進行壓縮編碼的時候，也可以參照在平面顯示器上顯示時的排列方式。
圖7為本發明一種全景視頻改進雙環帶採樣裝置的系統架構圖。如圖7所示，本發明一種全景視頻改進雙環帶採樣裝置，包括：球面分割單元501、水平環分割單元502、其他環形曲面分割單元503、剩餘部分分割單元504以及採樣值計算單元505。
其中，球面分割單元501用兩條緯線以及赤道將球面分成3個環形曲面，將這些環形曲面依次記為「頂部」、「水平環」、「底部」。
水平環分割單元502用6條等間隔的經線將「水平環」沿赤道方向均勻分成6個區域，將這些區域依次記為Oi，i＝0,1,...,5；從球心的角度觀察，Oi在Oi+1的左邊。
其他環形曲面分割單元503通過球面上的8個經線和緯線的交點作2個圓，分割「底部」和「頂部」得到O10、O11、O12、O13；其中，O11與O1、O2相鄰；O10與O4、O5相鄰；O12與O4、O5相鄰；O13與O1、O2相鄰。
剩餘部分分割單元504用東經90度經線和西經90度經線構成的圓，將「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9。至此，將球面分成了14塊；其中，O6與O0、O7、O10、O11相鄰；O7與O3、O6、O10、O11相鄰；O8與O0、O9、O12、O13相鄰；O9與O3、O8、O12、O13相鄰。
採樣值計算單元505，計算水平環分割單元502、其他面積環形曲面分割單元503和剩餘部分分割單元504得到的球面上的每一個區域內的光線值，通過某種插值方法得到該區域內各個採樣點的採樣值。
根據清晰度要求，本發明在存儲時，首先記錄N和M；M為處於水平環的6個區域Oi，i＝0,1,2,3,4,5橫向採樣點之和；N為O0與O6、O7、O8、O9共5個區域縱向採樣點之和，然後將所得的所有採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面顯示器上顯示時，可以將所得的採樣點數據排列在一個N行、M列的矩形區域內，並將每一行編號為(i,0)的數據對齊，其他數據依次排列。矩形區域內沒有填滿的部分可以用任意數據填充。在進行壓縮編碼的時候，也可以參照在平面顯示器上顯示時的排列方式。
以下將通過具體實施例來進一步說明本發明：
實施例一
如圖8所示為一個用解析度為4096×2048的經緯圖表示的全景視頻的其中一幅圖像，在本發明具體實施例中，該全景視頻為彩色視頻，具有三個分量。假設所採用的顏色分量是RGB，採樣後仍然用RGB表示每個採樣點的顏色。假設空間清晰度的要求對三個分量是相同的，都是N＝1252，M＝2304，量化精度要求對每個分量也是相同的，都是量化為256級。則對每個分量，重複如下步驟一到步驟六：
步驟一，用兩條緯度分別為北緯30度和南緯30度的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」。
步驟二，用等間隔的6條經線沿赤道方向將「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；這6條經線的經度分別為東經30度，東經90度，東經150度，西經30度，西經90度，西經150度。採樣點的編號為(768,0),(768,1)...,(768,2303)。其中編號為(768,0)的採樣點對應的區域和編號為(768,2303)的採樣點對應的區域是相鄰的，它們的分割線是西經160度經線。從球心的角度觀察，編號為(768,k)的採樣點對應的區域在編號為(768,k+1)的採樣點對應的區域的左側。
步驟三，在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；其中點P1是東經30度線和北緯30度線的交點；點P2是東經30度線和南緯30度線的交點；點P3是東經150度線和緯度為南緯30度線的交點；點P4是東經150度線和北緯30度線的交點；點P5是西經30度線和北緯30度線的交點；點P6是西經30度線和南緯30度線的交點；點P7是西經150度線和南緯30度線的交點；點P8是西經150度線和北緯30度線的交點。
步驟四，經過P1/P2/P3/P4作圓(顯然這四點在同一個圓上)，只保留P1和P4之間的劣弧(記為NE0)、P2和P3之間的劣弧(記為SE0)。取緯度W1緯線上P1和P4之間的劣弧(記為NE1)，緯度W2緯線上P2和P3之間的劣弧(記為SE1)。那麼，NE0和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11。類似地，在西半球，可以得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13。
步驟五，用東經90度經線和西經90度經線構成的圓，將「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9。至此，將球面分成了14塊，如圖4、圖5所示。
步驟六，根據空間清晰度要求，對每個部分(Oi，i＝0,1,…,12,13)進行採樣，採樣後都是矩形。由於N＝1152，M＝2304，令每個區域的採樣點相同，即需要2304/6＝384個橫向採樣點，共1152/3＝384行。計算步驟二、步驟三、步驟四和步驟五得到的球面上的每一個區域內所有的光線值，並進行256級量化，得到若干個0到255之間的整數值，通過雙線性插值的方法，得到384x384＝147456個採樣點，作為該區域對應的採樣點的採樣值。
在存儲時，首先記錄每個分量採樣的行數1152和每行最大的採樣點數2304。然後將所得的所有採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1151,0),(1151,1),...,(1151,M1151-1)。同一個採樣點的三個分量按照B,G,R的順序排列。
在平面顯示器上顯示時，可以將所得的採樣點排列在一個1152行、2304列的矩形區域內。同時，對於原本屬於O7和O9的採樣點，將每一行編號為(i,0)的數據放在每一行的第384x2+1＝769個位置，編號為(i,k),k＝1...Mi的採樣點的數據放在第i行第384x2+1+k個位置；對於原本屬於O6、O8、O10、O11、O12和O13的採樣點，將每一行編號為(i,0)的數據放在每一行的第384+1＝385個位置，編號為(i,k),k＝1...Mi的採樣點的數據放在第i行第384+1+k個位置；對於原本屬於O0、O1、O2、O3、O4和O5的採樣點，將每一行編號為(i,0)的數據放在每一行的第1個位置。對於其它矩形區域裡沒有填滿的部分，用255填充，所得圖像如圖9所示。
實施例二
如圖8所示為一個用解析度為4096×2048的經緯圖表示的全景視頻的其中一幅圖像，在本發明具體實施例中，該全景視頻為彩色視頻，具有三個分量。假設所採用的顏色分量是YcbCr，採樣比例是4:4:4，採樣後仍然用YCbCr表示每個採樣點的顏色。假設空間清晰度的要求對Y分量是N＝1152，M＝2304，對Cb和Cr分量是N＝576，M＝1152，量化精度要求對每個分量是相同的，都是量化為256級。
則對Y分量，進行如下步驟：
步驟一，用兩條緯度分別為北緯30度和南緯30度的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」。
步驟二，用等間隔的6條經線沿赤道方向將「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；這6條經線的經度分別為東經30度，東經90度，東經150度，西經30度，西經90度，西經150度。採樣點的編號為(768,0),(768,1)...,(768,2303)。其中編號為(768,0)的採樣點對應的區域和編號為(768,2303)的採樣點對應的區域是相鄰的，它們的分割線是西經160度經線。從球心的角度觀察，編號為(768,k)的採樣點對應的區域在編號為(768,k+1)的採樣點對應的區域的左側。
步驟三，在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；其中點P1是東經30度線和北緯30度線的交點；點P2是東經30度線和南緯30度線的交點；點P3是東經150度線和緯度為南緯30度線的交點；點P4是東經150度線和北緯30度線的交點；點P5是西經30度線和北緯30度線的交點；點P6是西經30度線和南緯30度線的交點；點P7是西經150度線和南緯30度線的交點；點P8是西經150度線和北緯30度線的交點。
步驟四，經過P1/P2/P3/P4作圓(顯然這四點在同一個圓上)，只保留P1和P4之間的劣弧(記為NE0)、P2和P3之間的劣弧(記為SE0)。取緯度W1緯線上P1和P4之間的劣弧(記為NE1)，緯度W2緯線上P2和P3之間的劣弧(記為SE1)。那麼，NE0和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11。類似地，在西半球，可以得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13。
步驟五，用東經90度經線和西經90度經線構成的圓，將「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9。至此，將球面分成了14塊，如圖4、圖5所示。
步驟六，根據空間清晰度要求，對每個部分(Oi，i＝0,1,…,12,13)進行採樣，採樣後都是矩形。由於N＝1152，M＝2304，令每個區域的採樣點相同，即需要2304/6＝384個橫向採樣點，共1152/3＝384行。計算步驟二、步驟三、步驟四和步驟五得到的球面上的每一個區域內所有的光線值，並進行256級量化，得到若干個0到255之間的整數值，通過雙線性插值的方法，得到384x384＝147456個採樣點，作為該區域對應的採樣點的採樣值。
則對Cb和Cr分量，分別進行如下步驟：
步驟一，用兩條緯度分別為北緯30度和南緯30度的緯線以及赤道將球面分成3個環形曲面，將這些環形曲面按由北至南的方向依次記為「頂部」、「水平環」、「底部」。
步驟二，用等間隔的6條經線沿赤道方向將「水平環」分成6個區域，依次記為Oi，i＝0,1,2,3,4,5；這6條經線的經度分別為東經30度，東經90度，東經150度，西經30度，西經90度，西經150度。採樣點的編號為(384,0),(384,1)...,(384,1151)。其中編號為(384,0)的採樣點對應的區域和編號為(384,1151)的採樣點對應的區域是相鄰的，它們的分割線是西經160度經線。從球心的角度觀察，編號為(384,k)的採樣點對應的區域在編號為(384,k+1)的採樣點對應的區域的左側。
步驟三，在球面上標記出8個點，依次記為Pi，i＝1,2,...,8；其中點P1是東經30度線和北緯30度線的交點；點P2是東經30度線和南緯30度線的交點；點P3是東經150度線和緯度為南緯30度線的交點；點P4是東經150度線和北緯30度線的交點；點P5是西經30度線和北緯30度線的交點；點P6是西經30度線和南緯30度線的交點；點P7是西經150度線和南緯30度線的交點；點P8是西經150度線和北緯30度線的交點。
步驟四，經過P1/P2/P3/P4作圓(顯然這四點在同一個圓上)，只保留P1和P4之間的劣弧(記為NE0)、P2和P3之間的劣弧(記為SE0)。取緯度W1緯線上P1和P4之間的劣弧(記為NE1)，緯度W2緯線上P2和P3之間的劣弧(記為SE1)。那麼，NE0
和NE1圍成一個封閉的區域，記為O10；SE0和SE1圍成一個封閉的區域，記為O11。類似地，在西半球，可以得到NW0和NW1圍成一個封閉的區域，記為O12；SE0和SE1圍成一個封閉的區域，記為O13。
步驟五，用東經90度經線和西經90度經線構成的圓，將「頂部」和「底部」的剩餘部分等分，得到形狀、大小完全一致的四個部分，分別記為O6，O7，O8，O9。至此，將球面分成了14塊，如圖4、圖5所示。
步驟六，根據空間清晰度要求，對每個部分(Oi，i＝0,1,…,12,13)進行採樣，採樣後都是矩形。由於N＝576，M＝1152，令每個區域的採樣點相同，即需要1152/6＝192個橫向採樣點，共576/3＝192行。計算步驟二、步驟三、步驟四和步驟五得到的球面上的每一個區域內所有的光線值，並進行256級量化，得到若干個0到255之間的整數值，通過雙線性插值的方法，得到192x192＝36864個採樣點，作為該區域對應的採樣點的採樣值。
在存儲時，首先記錄Y分量採樣的行數1152和每行最大的採樣點數2304，Cb分量採樣的行數576和每行最大的採樣點數1152。Cr分量採樣的行數576和每行最大的採樣點數1152。然後將所得的Y分量採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1151,0),(1151,1),...,(1151,M1151-1)。在Y分量採樣點的數據後面將所得的Cb分量採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(575,0),(575,1),...,(575,M575-1)。在Cb分量採樣點的數據後面將所得的Cr分量採樣點的數據按照以下順序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(575,0),(575,1),...,(575,M575-1)。
綜上所述，本發明一種全景視頻等密度採樣方法及裝置減少了採樣結構冗餘，保持了採樣點在球面上的相鄰關係，使得在達到相同的空間清晰度的條件下，採用點數少，採用後的數據量小，壓縮效率高。
本說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。
專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、計算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
顯然，本領域的技術人員可以對發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包括這些改動和變型在內。