全景環視圖像的顯示方法及裝置與流程

2023-05-05 03:58:26

本發明實施例涉及車載環視領域，尤其涉及一種全景環視圖像的顯示方法和裝置。

背景技術：

隨著人們生活水平的提高，交通業越來越發達，汽車已經成為人們出行不可或缺的交通工具。然而隨著用地資源的日益緊張。道路、停車場等場所的停車位大小有限，對駕駛員的泊車技術要求越來越高。

現有技術中，駕駛員進行泊車時，通常通過後視鏡、倒車雷達、倒車攝像頭綜合查看道路或停車場的情況進行泊車。這種泊車方式由於在汽車兩邊和四個角落存在視覺盲區，駕駛員無法看到汽車周圍的停車位的實際情況，很容易導致刮擦現象或造成交通事故。

技術實現要素：

本發明實施例提供一種全景環視圖像的顯示方法及裝置，實現了對全景環視圖像的顯示，使駕駛員能夠清楚的看到車輛周圍的道路的實際情況，避免造成刮擦現象或造成交通事故。

本發明實施例提供一種全景環視圖像的顯示方法，包括：

採集車身前後左右四面的四幅魚眼視野圖像；

對所述四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像；

根據所述魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，確定所述屏幕上每個像素點對應的像素值；

根據所述像素值在所述顯示屏屏幕上顯示世界坐標系下的全景環視圖像。

本發明實施例提供一種全景環視圖像的顯示裝置，包括：

採集模塊，用於採集車身前後左右四面的四幅魚眼視野圖像；

融合拼接模塊，用於對所述四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像；

確定模塊，用於根據所述魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，確定所述顯示屏幕上每個像素點對應的像素值；

顯示模塊，用於根據所述像素值在所述顯示屏幕上顯示世界坐標系下的全景環視圖像。

本發明實施例提供一種全景環視圖像的顯示方法和裝置，該方法包括：採集車身前後左右四面的四幅魚眼視野圖像；對四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像；根據魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，確定顯示屏幕上每個像素點對應的像素值；根據像素值在顯示屏幕上顯示世界坐標系下的全景環視圖像。該方法實現了對全景環視圖像的顯示，使駕駛員能夠清楚的看到車輛周圍道路的實際情況，避免造成刮擦現象或造成交通事故。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明全景環視圖像的顯示方法實施例一的流程圖；

圖2為本發明全景環視圖像的顯示方法實施例二的流程圖；

圖3為本發明全景環視圖像的顯示裝置實施例一的結構示意圖；

圖4為本發明全景環視圖像的顯示裝置實施例二的結構示意圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

圖1為本發明全景環視圖像的顯示方法實施例一的流程圖，如圖1所示，本實施例的執行主體為計算機，具體為計算機中的gpu處理器。則本實施例提供的全景環視圖像的顯示方法包括：

步驟101，採集車身前後左右四面的四幅魚眼視野圖像。

本實施例中，在車身的前後左右四側分別安裝魚眼攝像頭，每個魚眼攝像頭分別用於採集對應方位上的魚眼視野圖像。採集到的魚眼視覺圖像上的像素點坐標表示為(u,v)，在每個像素點都對應一個像素值，該像素值表示對應像素點的顏色。

步驟102，對四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像。

本實施例中，由於魚眼攝像頭拍攝的魚眼視覺圖像有重疊部分，所以對四幅魚眼視野圖像的重疊部分進行融合和拼接處理，形成魚眼全景環視圖像。

其中，對四幅魚眼視野圖像的重疊部分進行融合處理時，可採用alpha圖像融合方法進行融合處理。

本實施例中，在對四幅魚眼視野圖像的重疊部分進行融合拼接時，記錄融合拼接部分的像素點坐標及像素點對應的像素值。

步驟103，根據魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，確定屏幕上每個像素點對應的像素值。

本實施例中，由於魚眼攝像頭的坐標系與世界坐標系也不同，所以魚眼攝像頭拍攝的魚眼視野圖像與普通的攝像頭拍攝的視野圖像不同，並且在魚眼視野圖像進行融合拼接後，形成的魚眼全景環視圖像與顯示屏幕的大小也不同，所以需要確定魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，在確定魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係後，確定屏幕上每個像素點對應的像素值。

本實施例中，顯示屏幕上的像素點為世界坐標系下的像素點。

本實施例中，可先確定顯示屏幕上像素點與世界坐標系下的網格坐標數據的對應關係，再確定世界坐標系下的網格坐標數據與魚眼全景環視圖像像素點的對應關係，以達到確定顯示屏幕上每個像素點與魚眼全景環視圖像像素點的對應關係的目的。

步驟104，根據像素值在顯示屏屏幕上顯示世界坐標系下的全景環視圖像。

本實施例中，在將顯示屏幕上的每個像素點以對應的魚眼全景環視圖像像素點的像素值進行顯示，以顯示世界坐標系下的全景環視圖像。

本實施例中，在步驟101中，魚眼攝像頭採集的魚眼視野圖像是實時採集的，所以在顯示屏幕上顯示世界坐標系下的全景環視圖像也是不斷變化的。

本實施例提供的全景環視圖像的顯示方法，包括：採集車身前後左右四面的四幅魚眼視野圖像；對四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像；根據魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，確定顯示屏幕上每個像素點對應的像素值；根據像素值在顯示屏幕上顯示世界坐標系下的全景環視圖像。該方法實現了對全景環視圖像的顯示，使駕駛員能夠清楚的看到車輛周圍道路的實際情況，避免造成刮擦現象或造成交通事故。

圖2為本發明全景環視圖像的顯示方法實施例二的流程圖，如圖2所示，本實施例的執行主體為計算機，具體為計算機中的gpu處理器。則本實施例提供的全景環視圖像的顯示方法包括：

步驟201，採集車身前後左右四面的四幅魚眼視野圖像。

本實施例中，在通過車身的前後左右四側的魚眼攝像頭採集車身前後左右四面的四幅魚眼視野圖像之前，準備幀緩存區域，以存儲採集到的四幅魚眼視野圖像。

本實施例中，在採集車身前後左右四面的四幅魚眼視野圖像後，對圖像進行進一步處理，如抗抖動處理等，以使後續進行融合拼接的魚眼全景環視圖像更準確。

步驟202，對四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像。

本實施例中，可採用alpha圖像融合方法進行融合處理。

形成的魚眼全景環視圖像所展示的場景的大小，在長度上可以為：車身長度尺寸+車身前方距離景物的距離+車身後方距離景物的距離，寬度上可以為：車身寬度尺寸+車身左方距離景物的距離+車身右方距離景物的距離。

在形成的魚眼全景環視圖像中，魚眼全景環視圖像的像素點坐標表示為(u,v)，在每個像素點都對應一個像素值，該像素值表示對應像素點的顏色，如可採用0-255中的某個值表示像素點的顏色。

本實施例中，對魚眼全景環視圖像中每個像素點所屬的魚眼視覺圖像進行記錄，以便在後續根據魚眼攝像頭成像模型確定有效網格坐標數據對應的有效魚眼全景環視圖像像素點時，找到對應的魚眼攝像頭成像模型。

步驟203，獲取車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離。

本實施例中，獲取的車身前後左右方向距離景物的距離可以為魚眼攝像頭所能拍攝到的車身前後左右方向距離最遠景物的距離，也可以為車身前後左右方向距離景物的預設距離，本實施例中不做限定。

本實施例中，獲取車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離後，車周圍實際場景的長度為：車身長度尺寸+車身前方距離景物的距離+車身後方距離景物的距離，車周圍實際場景的寬度為：車身寬度尺寸+車身左方距離景物的距離+車身右方距離景物的距離。

本實施例中，車周圍實際場景的大小與魚眼全景環視圖像所展示場景的大小相同。

步驟204，根據車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離，按照預設採集間隔，生成在世界坐標系下的所有網格坐標數據。

本實施例中，根據車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離確定車周圍實際場景的大小，如車周圍實際場景的大小為6m*6m，採樣間隔預先設定，如可以為5cm，也可以為其他數值，本實施例中不做限定。

本實施例中，在車周圍實際場景中按照預設採樣間隔進行採樣，生成在世界坐標系下的所有網格坐標數據。如在上述舉例中，車周圍實際場景的大小為6m*6m，採樣間隔為5cm，則生成的世界坐標系下的所有網格坐標數據有120*120個坐標點。

本實施例中，可在執行完步驟201-步驟202後執行步驟203-步驟204，也可在執行步驟203-步驟204後執行步驟201-步驟202，本實施例中不做限定。

步驟205，根據投影矩陣確定顯示屏幕上每個像素點對應的有效網格坐標數據。

本實施例中，可將世界坐標系下的所有網格坐標數據x,y,z三個方向上都映射到[-1，1]中。由於本實施例中的世界坐標系下的所有網格坐標數據在y方向上的坐標數據都為零，所以在將世界坐標系下的所有網格坐標數據x,y,z三個方向上都映射到[-1，1]中後，進行透視除法，生成平面圖，然後根據顯示屏幕的大小和網格坐標數據所包含的車周圍實際場景範圍確定顯示屏幕和網格坐標數據之間的投影矩陣。

本實施例中，在確定完顯示屏幕和網格坐標數據之間的投影矩陣後，根據投影矩陣確定顯示屏幕上每個像素點對應的有效網格坐標數據。其中，有效網格坐標數據為與顯示屏幕上的像素點有對應關係的網格坐標數據。

步驟206，對魚眼攝像頭成像模型中的內參和外參進行標定。

本實施例中，對每個魚眼攝像頭的成像模型中的內參和外參進行標定。

具體地，魚眼攝像頭成像模型表示為如下大括號中所示：

其中，(xw,yw,zw)表示世界坐標系下的一個有效網格坐標數據，(xc,yc,zc)表示對應的魚眼攝像頭坐標系下的坐標，r表示旋轉矩陣，t表示平移向量，(fx,fy)為焦距，(cx,cy)為魚眼攝像頭中心，k1.k2.k3,k4為徑向畸變係數，(u,v)為所述魚眼全景環視圖像像素點的坐標。

在魚眼攝像頭成像模型中，徑向畸變係數k1.k2.k3,k4，焦距(fx,fy)和魚眼攝像頭中心坐標(cx,cy)為內參，旋轉矩陣r和平移向量t為外參。

本實施例中，有效網格坐標數據可以為二維坐標數據，在有效網格坐標數據為二維坐標數據時，yw取值為零。

本實施例中，對魚眼成像模型的內參和外參進行標定的方法與現有技術相同，在此不再一一贅述。

步驟207，根據魚眼攝像頭成像模型確定有效網格坐標數據對應的有效全景環視圖像像素點。

本實施例中，以有效網格坐標數據為輸入，輸入到魚眼攝像頭成像模型中，輸出的(u,v)，即為與有效網格坐標數據對應的魚眼全景環視圖像像素點坐標。

本實施例中，與有效網格坐標數據有對應關係的魚眼全景環視圖像像素點為有效魚眼全景環視圖像像素點。

步驟208，將有效魚眼全景環視圖像像素點對應的像素值賦值給顯示屏幕上對應的像素點，根據像素值在顯示屏幕上顯示世界坐標系下的全景環視圖像。

本實施例中，由於預先存儲了魚眼全景環視圖像每個像素點坐標及像素值。則在確定顯示屏幕上每個像素點對應的魚眼全景環視圖像的像素點之後，將有效魚眼全景環視圖像像素點對應的像素值賦值給顯示屏幕上對應的像素點，根據像素值在顯示屏幕上顯示世界坐標系下的全景環視圖像。

本實施例提供的全景環視圖像的顯示方法，獲取車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離，根據車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離，按照預設採集間隔，生成在世界坐標系下的所有網格坐標數據，根據投影矩陣確定顯示屏幕上每個像素點對應的有效網格坐標數據，並根據魚眼攝像頭成像模型確定有效網格坐標數據對應的有效全景環視圖像像素點，將有效魚眼全景環視圖像像素點對應的像素值賦值給顯示屏幕上對應的像素點，根據像素值在顯示屏幕上顯示世界坐標系下的全景環視圖像，不僅使駕駛員能夠清楚的看到車輛周圍的停車位的實際情況，避免造成刮擦現象或造成交通事故，而且由於全景環視圖像的拼接顯示過程都是在gpu處理器的作用下完成的，避免了通過dsp晶片中進行全景環視圖像拼接，再將拼接後的圖像傳輸給gpu進行顯示使拼接顯示效率低的缺點，提高了全景環視圖像的顯示速度。

圖3為本發明全景環視圖像的顯示裝置實施例一的結構示意圖，如圖3所示，本實施例提供的全景環視圖像的顯示裝置包括：採集模塊301，融合拼接模塊302，確定模塊303和顯示模塊304。

其中，採集模塊301，用於採集車身前後左右四面的四幅魚眼視野圖像。融合拼接模塊302，用於對四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像。確定模塊303，用於根據魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，確定顯示屏幕上每個像素點對應的像素值。顯示模塊304，用於根據像素值在顯示屏幕上顯示世界坐標系下的全景環視圖像。

本實施例提供的全景環視圖像的顯示裝置可以執行圖1所示方法實施例的技術方案，其實現原理和技術效果類似，此處不再贅述。

圖4為本發明全景環視圖像的顯示裝置實施例二的結構示意圖；如圖4所示，本實施例提供的全景環視圖像的顯示裝置包括：採集模塊401，融合拼接模塊402，確定模塊403，顯示模塊404，獲取模塊405，生成模塊406,和標定模塊407。

其中，採集模塊401，用於採集車身前後左右四面的四幅魚眼視野圖像。融合拼接模塊402，用於對四幅魚眼視野圖像的重疊部分進行融合拼接，形成魚眼全景環視圖像。確定模塊403，用於根據魚眼全景環視圖像像素點與顯示屏幕像素點之間的對應關係，確定顯示屏幕上每個像素點對應的像素值。顯示模塊404，用於根據像素值在顯示屏幕上顯示世界坐標系下的全景環視圖像。

進一步地，確定模塊403具體用於：根據投影矩陣確定顯示屏幕上每個像素點對應的有效網格坐標數據；根據魚眼攝像頭成像模型確定有效網格坐標數據對應的有效魚眼全景環視圖像像素點；將有效魚眼全景環視圖像像素點對應的像素值賦值給顯示屏幕上對應的像素點。

進一步地，獲取模塊405，用於獲取車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離。生成模塊406，用於根據車身長度尺寸和寬度尺寸，以及車身前後左右方向距離景物的距離，按照預設採樣間隔，生成在世界坐標系下的所有網格坐標數據。

進一步地，本實施例提供的全景環視圖像的顯示裝置中，魚眼攝像頭成像模型具體表示為：

其中，(xw,yw,zw)表示世界坐標系下的一個有效網格坐標數據，(xc,yc,zc)表示對應的魚眼攝像頭坐標系下的坐標數據，r表示旋轉矩陣，t表示平移向量，(fx,fy)為焦距，(cx,cy)為魚眼攝像頭中心坐標，k1.k2.k3,k4為徑向畸變係數，(u,v)為魚眼全景環視圖像像素點的坐標。

進一步地，標定模塊407，用於對魚眼攝像頭成像模型中的內參和外參進行標定；其中，徑向畸變k1.k2.k3,k4，焦距(fx,fy)和魚眼攝像頭中心坐標(cx,cy)為內參，旋轉矩陣r和平移向量t為外參。

本實施例提供的全景環視圖像的顯示裝置可以執行圖2所示方法實施例的技術方案，其實現原理和技術效果類似，此處不再贅述。

本領域普通技術人員可以理解：實現上述各方法實施例的全部或部分步驟可以通過程序指令相關的硬體來完成。前述的程序可以存儲於一計算機可讀取存儲介質中。該程序在執行時，執行包括上述各方法實施例的步驟；而前述的存儲介質包括：rom、ram、磁碟或者光碟等各種可以存儲程序代碼的介質。

最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。