三維全景圖像的建立方法和系統與流程
2023-06-15 11:10:16 2
本發明涉及虛擬實境技術領域，尤其涉及一種三維全景圖像的建立方法和系統。
背景技術：
三維全景圖像是通過相機捕捉整個環境場景的圖像信息，使用軟體進行圖像的拼接整合，將平面圖像進行處理得到三維全景圖像。三維全景圖像能夠實現把二維的平面圖像模擬成真實的三維空間，達到模擬和再現真實環境場景的效果。
隨著計算機軟硬體技術的發展，智能可穿戴設備的日漸普及，頭戴式虛擬實境設備通過圖像顯示屏將虛擬的環境圖像展現在觀察者眼前，為觀察者營造一種置身於虛擬環境中的體驗。
然而，目前用於頭戴式虛擬實境設備中的三維全景圖像的視角都是觀察者的位置不動，以觀察者所在位置為中心，原地旋轉360°向外觀察，同時頭部可以仰視和俯視觀察。這種觀察視角下所呈現的場景使得觀察者可活動的區域非常局限，體驗效果較差。
技術實現要素：
為了解決上述問題，本發明提供一種三維全景圖像的建立方法和系統，可以擴大觀察視角，增加用戶的沉浸感。
本發明提供一種三維全景圖像的建立方法，包括：
多個拍照裝置，彼此成球面位置關係對稱均勻布置在半球面上，同時朝向半球形的中心方向進行拍照，其中，空間位置相鄰的各個拍照裝置拍攝的圖像彼此部分重疊；
圖像拼接裝置，分別與多個拍照裝置連接，接收多個拍照裝置發送的圖像，並將多個拍照裝置發送的圖像拼接成全景圖，所述全景圖為半球形的中心方向的全景圖；
虛擬實境設備，與圖像拼接裝置連接，接收圖像拼接裝置拼接處理後的全景圖，將全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示，所述虛擬半球面模型與半球面對應。
可選地，半球面由球面維度線和球面經度線劃分為多個部分，每個部分由相鄰的經度線和維度線相交得到至少3個交點，所述多個拍照裝置包括設於每個交點處的廣角攝像機。
可選地，所述的系統還包括：
圖像壓縮裝置，將圖像拼接裝置拼接處理後的全景圖進行壓縮處理，所述圖像壓縮裝置布置在圖像拼接裝置中，或外置於圖像拼接裝置且與圖像拼接裝置連接；
圖像解壓裝置，對圖像壓縮裝置壓縮處理後的全景圖進行解壓處理，並將解壓處理後的全景圖發送給虛擬實境設備進行貼圖顯示，所述圖像解壓裝置可以布置在虛擬實境設備中。
可選地，圖像拼接裝置，採用平面投影之間的單應性變換，將多個拍照裝置發送的不同投影平面下的圖像轉換到同一個平面下，對投影平面一致化後的每個圖像進行特徵點監測提取，對於有重疊區域的兩個圖像進行特徵點的匹配篩選，建立有重疊區域的兩個圖像之間的匹配點對，對特徵點匹配後的圖像進行圖像配準和融合、曝光補償和去鬼影處理，將多個拍照裝置拍攝的圖像拼接成全景圖。
可選地，虛擬實境設備，在用戶圍繞半球形的中心方向環行時，獲取用戶的位置和視角信息，根據用戶的位置和視角信息將對應位置和視角下的半球面模型上的圖像進行三維圖像顯示；當觸發視點高度調整指令時，升高對應的視點高度位置，將對應的視點高度、水平定位以及視角方向下的半球面模型上的圖像進行三維圖像顯示；當用戶向半球形的中心方向靠近時，將顯示的三維圖像的解析度提升預設的倍數，保證顯示的三維圖像清晰不失真。
本發明還提供一種三維全景圖像的建立方法，包括：
獲取多個拍照裝置朝向半球形的中心方向同時拍攝的圖像，其中，所述多個拍照裝置彼此成球面位置關係對稱均勻布置在半球面上，空間位置相鄰的各個拍照裝置拍攝的圖像彼此部分重疊；
將多個拍照裝置拍攝的圖像拼接成全景圖，所述全景圖為半球形的中心方向的全景圖；
將拼接處理後的全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示，所述虛擬半球面模型與半球面對應。
可選地，半球面由球面維度線和球面經度線劃分為多個部分，每個部分由相鄰的經度線和維度線相交得到至少3個交點，所述多個拍照裝置包括設於每個交點處的廣角攝像機。
可選地，所述的方法還包括：
採用平面投影之間的單應性變換，將多個拍照裝置發送的不同投影平面下的圖像轉換到同一個平面下；
對投影平面一致化後的每個圖像進行特徵點監測提取，對於有重疊區域的兩個圖像進行特徵點的匹配篩選，建立有重疊區域的兩個圖像之間的匹配點對；
對特徵點匹配後的圖像進行圖像配準和融合、曝光補償和去鬼影處理，將多個圖像拼接成全景圖。
可選地，所述的方法還包括：
在用戶圍繞半球形的中心方向環行時，獲取用戶的位置和視角信息，根據用戶的位置和視角信息將對應位置和視角下的半球面模型上的圖像進行三維圖像顯示；
當觸發視點高度調整指令時，升高對應的視點高度位置，將對應的視點高度、水平定位以及視角方向下的半球面模型上的圖像進行三維圖像顯示；
當用戶向半球形的中心方向靠近時，將顯示的三維圖像的解析度提升預設的倍數，保證顯示的三維圖像清晰不失真。
可選地，所述的方法還包括：
當監測到位於虛擬實境設備上觸發視點高度調整指令的按鈕被觸發時，觸發視點高度調整指令；或者
當監測到佩戴虛擬實境設備的用戶連續蹦跳觸發視點高度調整指令的預設次數時，觸發視點高度調整指令。
本發明實施例通過由彼此成球面位置關係對稱均勻布置在半球面上的多個拍照裝置同時對半球形的中心方向進行拍照，將多個拍照裝置拍攝的圖像拼接成全景圖並發送給虛擬實境設備將全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示。由於每個拍照裝置拍攝的圖像彼此部分重疊(局部重疊度高)，圖像覆蓋的密集度較高，能夠實現全角度的全景圖像覆蓋，使得局部重疊的圖像拼接為三維全景圖像時，效果更圓滑，更接近真實場景。進一步地，由於每個拍照裝置由外向內從不同角度同時對半球形的中心方向(場景)進行拍攝，因此，可以實現用戶圍繞半球形的中心方向環行時實時顯示用戶觀察角度對應的三維全景視圖，這樣用戶可以隨意改變觀察位置，大大增大了用戶的觀察活動區域的範圍，提高用戶體驗度。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明一實施例提供的三維全景圖像的建立系統架構圖；
圖2為本發明實施例提供的一種拍照裝置布置示意圖；
圖3為本發明一實施例提供的三維全景圖像的建立方法流程示意圖。
具體實施方式
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
在本發明實施例中使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本發明。在本發明實施例和所附權利要求書中所使用的單數形式的「一種」、「所述」和「該」也旨在包括多數形式，除非上下文清楚地表示其他含義，「多種」一般包含至少兩種，但是不排除包含至少一種的情況。
應當理解，本文中使用的術語「和/或」僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，a和/或b，可以表示：單獨存在a，同時存在a和b，單獨存在b這三種情況。另外，本文中字符「/」，一般表示前後關聯對象是一種「或」的關係。
應當理解，儘管在本發明實施例中可能採用術語第一、第二、第三等來描述xxx，但這些xxx不應限於這些術語。這些術語僅用來將xxx彼此區分開。例如，在不脫離本發明實施例範圍的情況下，第一xxx也可以被稱為第二xxx，類似地，第二xxx也可以被稱為第一xxx。
還需要說明的是，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的商品或者系統不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種商品或者系統所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的商品或者系統中還存在另外的相同要素。
本發明通過多個拍照裝置從不同角度同時拍攝同一場景，實時獲取重疊覆蓋整個場景的多個圖像，獲得更加密集的圖像覆蓋度，使得能夠根據實時用戶朝向要求來向該用戶提供對應的圖像，使得用戶獲取實時立體視覺效果體驗。
圖1為本發明一實施例提供的三維全景圖像的建立系統架構圖，如圖1所示，本發明實施例提供的系統包括：
n個拍照裝置，彼此成球面位置關係對稱均勻布置在半球面上，同時對半球形的中心方向進行拍照，其中，空間位置相鄰的各個拍照裝置拍攝的圖像彼此部分重疊；其中，n大於3。
本實施例中，半球面由球面維度線和球面經度線劃分為多個部分，每個部分由相鄰的經度線和維度線相交得到至少3個交點，所述多個拍照裝置包括設於每個交點處的廣角攝像機。在一種可選的實現方式中，可以用球面維度線沿著球半徑中心點將半球面劃分2份，用球面經度線將半球面劃分4份，有相鄰兩條經度線和相鄰兩條維度線相交得到八個交點，在八個交點處各布置有廣角攝像機，有相鄰兩條經度線在球面北極相交的交點處布置有廣角攝像機。
圖2為本發明實施例提供的一種拍照裝置布置示意圖，如圖2所示，使用9個廣角攝像機對稱均勻布置在半球面上，該9個廣角攝像機均朝向半球形的中心方向拍攝，也就是說，每個廣角攝像機由外向內從不同角度同時對半球形的中心方向進行拍攝，相鄰的廣角攝像機拍攝的圖像彼此部分重疊(局部重疊度高)，圖像覆蓋的密集度較高，能夠實現全角度的全景圖像覆蓋，使得局部重疊的圖像拼接為三維全景圖像時，效果更圓滑，更接近真實場景。
本實施例的系統還包括：圖像拼接裝置，分別與多個拍照裝置連接，接收多個拍照裝置發送的圖像，並將多個拍照裝置發送的圖像拼接成全景圖，所述全景圖為球中心位置處的物體的全景圖；
圖像拼接裝置在具體實現圖像拼接時，可以採用平面投影之間的單應性變換，將多個拍照裝置發送的不同投影平面下的圖像轉換到同一個平面下，對投影平面一致化後的每個圖像進行特徵點監測提取，對於有重疊區域的兩個圖像進行特徵點的匹配篩選，建立有重疊區域的兩個圖像之間的匹配點對，對特徵點匹配後的圖像進行圖像配準和融合、曝光補償和去鬼影處理，將多個拍照裝置拍攝的圖像拼接成全景圖。
本實施例的系統還包括：虛擬實境設備，與圖像拼接裝置連接，接收圖像拼接裝置拼接處理後的全景圖，將全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示，所述虛擬半球面模型與半球面對應。
具體地，虛擬實境設備在進行三維全景圖時，當監測到用戶圍繞半球形的中心方向環行時，獲取用戶的位置和視角信息，根據用戶的位置和視角信息將對應位置和視角下的半球面模型上的圖像進行三維圖像顯示；當觸發視點高度調整指令時，升高對應的視點高度位置，將對應的視點高度、水平定位以及視角方向下的半球面模型上的圖像進行三維圖像顯示；當監測到用戶向半球形的中心方向靠近時，將顯示的三維圖像的解析度提升預設的倍數，保證顯示的三維圖像清晰且不失真。
為此，虛擬實境設備上設置有傳感器，可以監測用戶的位置和視角的變換。
在一種可選的實現方式中，本實施例的系統還包括：
圖像壓縮裝置，將圖像拼接裝置拼接處理後的全景圖進行壓縮處理，所述圖像壓縮裝置布置在圖像拼接裝置中，或外置於圖像拼接裝置且與圖像拼接裝置連接；
圖像解壓裝置，對圖像壓縮裝置壓縮處理後的全景圖進行解壓處理，並將解壓處理後的全景圖發送給虛擬實境設備進行貼圖顯示，所述圖像解壓裝置可以布置在虛擬實境設備中。
本發明實施例通過由彼此成球面位置關係對稱均勻布置在半球面上的多個拍照裝置同時對半球形的中心方向進行拍照，將多個拍照裝置拍攝的圖像拼接成全景圖並發送給虛擬實境設備將全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示。由於每個拍照裝置拍攝的圖像彼此部分重疊(局部重疊度高)，圖像覆蓋的密集度較高，能夠實現全角度的全景圖像覆蓋，使得局部重疊的圖像拼接為三維全景圖像時，效果更圓滑，更接近真實場景。進一步地，由於每個拍照裝置由外向內從不同角度同時對半球形的中心方向進行拍攝，因此，可以實現用戶圍繞半球形的中心方向環行時實時顯示用戶觀察角度對應的三維全景視圖，這樣用戶可以隨意改變觀察位置，大大增大了用戶的觀察活動區域的範圍，提高用戶體驗度。
基於圖1所示的系統架構圖，圖3為本發明一實施例提供的三維全景圖像的建立方法流程示意圖，如圖3所示，包括：
101、獲取彼此成球面位置關係對稱均勻布置在半球面上的多個拍照裝置針對半球形的中心方向同時拍攝的圖像。
其中，所述多個拍照裝置彼此成球面位置關係對稱均勻布置在半球面上，空間位置相鄰的各個拍照裝置拍攝的圖像彼此部分重疊；
其中，多個拍照裝置在半球面的具體布置包括：半球面由球面維度線和球面經度線劃分為多個部分，每個部分由相鄰的經度線和維度線相交得到至少3個交點，所述多個拍照裝置包括設於每個交點處的廣角攝像機。如圖2所示，使用9個廣角攝像機對稱均勻布置在半球面上，該9個廣角攝像機均朝向半球形的中心方向拍攝，也就是說，每個廣角攝像機由外向內從不同角度同時對半球形的中心方向進行拍攝，這樣，相鄰的廣角攝像機拍攝的圖像彼此部分重疊(局部重疊度高)，圖像覆蓋的密集度較高，能夠實現全角度的全景圖像覆蓋，使得局部重疊的圖像拼接為三維全景圖像時，效果更圓滑，更接近真實場景。
本發明實施例中，每個拍照裝置與圖像拼接裝置連接，可以將拍攝到的圖片發送給圖像拼接裝置。
102、將多個拍照裝置拍攝的圖像拼接成全景圖。
具體地，圖像拼接裝置接收到每個拍照裝置傳來的圖像之後，需要對圖像進行如下處理：投影平面一致化，特徵提取，特徵匹配，圖像配準和融合，曝光補償，去鬼影，最終得到一個能夠覆蓋一個半球面模型外表面的全景圖貼圖。
其中，投影平面一致化處理包括：採用平面投影之間的單應性變換，將每個拍照裝置拍攝的不同投影平面下的圖像轉換到同一個平面下。
其中，特徵提取包括：對每個圖像進行特徵點檢測提取，例如可以採用尺度不變特徵轉換(scale-invariantfeaturetransform，sift)方法提取每個圖像的sift特徵點，對每個圖像進行若干次連續濾波得到第一尺度組圖像，把原始圖像寬高縮小一半，再進行若干次連續濾波得到第二尺度組圖像，不斷重複該過程，直至圖像寬高小於等於設定的閾值為止；對每個尺度中的高斯圖像進行差分，形成高斯差分尺度組圖像；求解計算這些高斯差分尺度組圖像的局部極值點，即為sift特徵點。其中，sift特徵點是圖像的局部特徵，對平移、旋轉、尺度縮放、亮度變化、遮擋和噪聲等具有良好的不變性，對視覺變化、仿射變換也保持一定程度的穩定性。
特徵匹配包括：由於相鄰的廣角攝像機拍攝的圖像彼此部分重疊(局部重疊度高)，因此對於有重疊區域的兩個圖像，先使用ransac(randomsampleconsensus的縮寫，它是根據一組包含異常數據的樣本數據集，計算出數據的數學模型參數，得到有效樣本數據的算法)算法對特徵點篩選，再使用sift/kd-tree(k-dimensional樹的簡稱，是一種分割k維數據空間的數據結構)建立兩個圖像之間匹配的特徵點對。
圖像配準和融合包括：圖像配準是通過匹配的特徵點對得到圖像空間坐標變換參數；最後由坐標變換參數進行圖像配準；圖像融合可使用非多解析度技術或多解析度技術來提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升圖像的空間解析度和光譜解析度。
曝光補償和去鬼影包括：根據光學透視幾何原理，兩個不同拍照裝置拍攝的圖像，總會存在一定的視差，例如重影、鬼影，最終會導致拼接的圖像在視覺上出現難以接受的瑕疵，因此需要對圖像進行去鬼影處理；另外，由於攝像頭具有不同的拍攝角度，例如有的位於向光面，有的位於背光面，從而導致所拍攝的圖像出現曝光程度不一致的情況。所以本發明實施例中需要對每個圖像進行曝光補償和去鬼影處理，其中，曝光補償可以根據目標直方圖曲線對圖像進行曝光調整。
圖像拼接裝置重複以上步驟將每個拍攝裝置拍攝的圖像拼接成全景圖。
103、將拼接處理後的全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示。
本發明實施例中的虛擬半球面模型是虛擬實境設備通過科學技術模擬仿真現實中的半球面後再疊加到虛擬實境世界被用戶所感知的模型，是將虛擬化技術加到使用者感官上再來觀察世界的方式。因此，虛擬半球面模型與半球面之間存在位置映射關係。
本發明實施例中，為了提高傳輸效率，減少網絡傳輸資源，圖像拼接裝置將每個拍攝裝置拍攝的圖像拼接成全景圖之後，可以對拼接成的全景圖進行輕量級的無損壓縮再通過網絡傳輸給虛擬實境設備。
虛擬實境設備首先對接收到的全景圖進行解壓，然後將解壓後的全景圖對應貼圖到虛擬半球面模型的外表面上，形成基於虛擬實境的三維全景圖。
本發明實施例中，由於每個拍照裝置是由外向內從不同角度同時對半球形的中心方向進行拍攝，因此，可以實現用戶圍繞半球形的中心方向環行時實時顯示用戶觀察角度對應的三維全景視圖，這樣用戶可以隨意改變觀察位置，大大增大了用戶的觀察活動區域的範圍，提高用戶體驗度。
具體地，在用戶圍繞半球形的中心方向環行時，獲取用戶的位置和視角信息，根據用戶的位置和視角信息將對應位置和視角下的半球面模型上的圖像進行三維圖像顯示。
當觸發視點高度調整指令時，升高對應的視點高度位置，將對應的視點高度、水平定位以及視角方向下的半球面模型上的圖像進行三維圖像顯示；其中，視點高度調整指令的觸發情況包括但不限於如下舉例：當監測到位於虛擬實境設備上觸發視點高度調整指令的按鈕被觸發時，觸發視點高度調整指令；或者當監測到佩戴虛擬實境設備的用戶連續蹦跳觸發視點高度調整指令的預設次數時，觸發視點高度調整指令。
當用戶向半球形的中心方向靠近時，將顯示的三維圖像的解析度提升預設的倍數，保證顯示的三維圖像清晰不失真。如圖2所示，當用戶沿著半徑走近場景中心點時，為了在不同的景深下讓虛擬實境設備中能夠以高解析度清晰細緻的顯示虛擬實境的三維圖像，在用戶視點針對場景中心點距離拉近時將1080p的解析度進行升高解析度處理，例如通過神經網絡將解析度提升指定的倍數，指定的倍數一般設置為2-4倍，視點距離場景中心點越近，設置倍數越高，以此保證圖像的清晰和不失真。
需要說明的是，本發明實施例中，虛擬實境設備中設置有傳感器，用於對用戶頭部追蹤以確定用戶頭部在現實世界中的位置和姿態，從而可以確定虛擬世界的觀察視角。
本發明實施例通過由彼此成球面位置關係對稱均勻布置在半球面上的多個拍照裝置同時對半球形的中心方向進行拍照，將多個拍照裝置拍攝的圖像拼接成全景圖並發送給虛擬實境設備將全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示。由於每個拍照裝置拍攝的圖像彼此部分重疊(局部重疊度高)，圖像覆蓋的密集度較高，能夠實現全角度的全景圖像覆蓋，使得局部重疊的圖像拼接為三維全景圖像時，效果更圓滑，更接近真實場景。進一步地，由於每個拍照裝置由外向內從不同角度同時對半球形的中心方向進行拍攝，因此，可以實現用戶圍繞半球形的中心方向環行時實時顯示用戶觀察角度對應的三維全景視圖，這樣用戶可以隨意改變觀察位置，大大增大了用戶的觀察活動區域的範圍，提高用戶體驗度。
最後應說明的是：以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。