圖像處理方法、裝置和增強現實設備與流程

2023-09-10 19:18:40

本發明涉及圖像處理技術領域，尤其涉及一種圖像處理方法、裝置和增強現實設備。

背景技術：

增強現實(augmentedreality，簡稱ar)技術是一種實時的計算攝像頭攝像的位置和角度，結合圖像處理技術將虛擬世界的場景疊加到現實世界的場景中並顯示給用戶。ar技術具有實時交互性、真實世界和虛擬世界的信息集成以及在三維尺度空間中增加定位虛擬物體的特點，為人們帶來新的視覺體驗。

ar場景中的現實場景是由攝像頭拍得的。一般地，會在ar設備中設置某種類型的攝像頭，以用於採集現實場景圖像，比如通常設置電荷耦合元件(chargecoupleddevice，簡稱ccd)攝像頭。但是，如果拍攝現實場景的實際環境是處於較暗的低照度環境中，此時拍得的圖像的清晰度往往會很不理想，使得用戶最終看到的圖像質量不佳，影響用戶體驗。

技術實現要素：

有鑑於此，本發明實施例提供一種圖像處理方法、裝置和增強現實設備，通過對同一場景的非同源圖像進行圖像融合處理，提高圖像質量。

第一方面，本發明實施例提供一種圖像處理方法，包括：

接收第一圖像和第二圖像，所述第一圖像和所述第二圖像是分別通過第一攝像頭和第二攝像頭拍攝同一場景獲得的非同源圖像；

獲取與所述第一圖像對應的坐標變換矩陣，所述坐標變換矩陣以所述第二圖像為基準圖像；

採用所述坐標變換矩陣對所述第一圖像進行坐標變換；

對坐標變換後的第一圖像與所述第二圖像進行圖像融合處理。

第二方面，本發明實施例提供一種圖像處理裝置，包括：

接收模塊，用於接收第一圖像和第二圖像，所述第一圖像和所述第二圖像是分別通過第一攝像頭和第二攝像頭拍攝同一場景獲得的非同源圖像；

獲取模塊，用於獲取與所述第一圖像對應的坐標變換矩陣，所述坐標變換矩陣以所述第二圖像為基準圖像；

變換模塊，用於採用所述坐標變換矩陣對所述第一圖像進行坐標變換；

融合模塊，用於對坐標變換後的第一圖像與所述第二圖像進行圖像融合處理。

第三方面，本發明實施例提供一種增強現實設備，包括：

第一攝像頭、第二攝像頭、存儲器和處理器；其中，

所述存儲器用於存儲一條或多條計算機指令，其中，所述一條或多條計算機指令被所述處理器執行時實現如上所述的圖像處理方法。

第四方面，本發明實施例提供另一種增強現實設備，包括：

第一攝像頭、第二攝像頭、fpga組件；其中，

所述fpga組件中包含有實現如上所述的圖像處理方法的功能邏輯。

本發明實施例提供的圖像處理方法和裝置，在ar設備中設置兩種不同類型的攝像頭即第一攝像頭和第二攝像頭，通過第一攝像頭和第二攝像頭同時拍攝同一場景來獲得非同源的第一圖像和第二圖像；以第二圖像為基準圖像，獲取與第一圖像對應的坐標變換矩陣，以採用該坐標變換矩陣對第一圖像進行坐標變換，以使得變換後的第一圖像與第二圖像中的各像素點對應；進而，對坐標變換後的第一圖像與第二圖像進行圖像融合處理。由於第一圖像和第二圖像是非同源圖像，兩者的優勢特徵不同，通過對兩者進行融合，有利於融合兩者的優勢特徵，增強融合後的圖像質量。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例提供的圖像處理方法實施例一的流程圖；

圖2為本發明實施例提供的圖像處理方法實施例二的流程圖；

圖3為本發明實施例提供的圖像處理方法實施例三的流程圖；

圖4為本發明實施例提供的圖像處理裝置實施例一的結構示意圖；

圖5為本發明實施例提供的圖像處理裝置實施例二的結構示意圖；

圖6為本發明實施例提供的圖像處理裝置實施例三的結構示意圖；

圖7為本發明實施例提供的增強現實設備實施例一的結構示意圖；

圖8為本發明實施例提供的增強現實設備實施例二的結構示意圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

在本發明實施例中使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本發明。在本發明實施例和所附權利要求書中所使用的單數形式的「一種」、「所述」和「該」也旨在包括多數形式，除非上下文清楚地表示其他含義，「多種」一般包含至少兩種，但是不排除包含至少一種的情況。

應當理解，本文中使用的術語「和/或」僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，a和/或b，可以表示：單獨存在a，同時存在a和b，單獨存在b這三種情況。另外，本文中字符「/」，一般表示前後關聯對象是一種「或」的關係。

應當理解，儘管在本發明實施例中可能採用術語第一、第二、第三等來描述xxx，但這些xxx不應限於這些術語。這些術語僅用來將xxx區分開。例如，在不脫離本發明實施例範圍的情況下，第一xxx也可以被稱為第二xxx，類似地，第二xxx也可以被稱為第一xxx。

取決於語境，如在此所使用的詞語「如果」、「若」可以被解釋成為「在……時」或「當……時」或「響應於確定」或「響應於檢測」。類似地，取決於語境，短語「如果確定」或「如果檢測(陳述的條件或事件)」可以被解釋成為「當確定時」或「響應於確定」或「當檢測(陳述的條件或事件)時」或「響應於檢測(陳述的條件或事件)」。

還需要說明的是，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的商品或者系統不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種商品或者系統所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的商品或者系統中還存在另外的相同要素。

進一步值得說明的是，本發明各實施例中各步驟之間的順序是可以調整的，不是必須按照以下舉例的順序執行。

圖1為本發明實施例提供的圖像處理方法實施例一的流程圖，本實施例提供的該圖像處理方法可以由一圖像處理裝置來執行，該圖像處理裝置可以實現為現場可編程門陣列(field-programmablegatearray，簡稱fpga)組件中的部分硬體器件的組合，該fpga組件可以集成設置在ar設備中。如圖1所示，該方法包括如下步驟：

101、接收第一圖像和第二圖像，第一圖像和第二圖像是分別通過第一攝像頭和第二攝像頭拍攝同一場景獲得的非同源圖像。

102、獲取與第一圖像對應的坐標變換矩陣，坐標變換矩陣以第二圖像為基準圖像。

103、採用坐標變換矩陣對第一圖像進行坐標變換。

104、對坐標變換後的第一圖像與第二圖像進行圖像融合處理。

本發明實施例中，在同一ar設備中可以設置不同類型的攝像頭，比如上述第一攝像頭和第二攝像頭，用於對同一場景進行拍攝。其中，第一攝像頭和第二攝像頭在ar設備中的設置可以是：在一水平面上，左右分別設置第一攝像頭和第二攝像頭。

可選地，第一攝像頭可以是紅外攝像頭，第二攝像頭可以是ccd攝像頭。相應地，第一攝像頭拍得的第一圖像為紅外圖像，第二攝像頭拍得的第二圖像為可見光圖像。

下面結合紅外攝像頭和ccd攝像頭來說明本發明實施例考慮採用不同類型的攝像頭進行同一場景的圖像採集以及圖像融合的初衷：採用紅外攝像頭和ccd攝像頭同時對同一場景進行拍照，並將獲取的紅外圖像和可見光圖像的優勢特徵信息進行融合，最終可以得到特徵點明顯，信息量豐富的融合圖像。

具體來說，自然界中溫度高於絕對零度時，物體就會產生紅外輻射，紅外成像就是利用紅外攝像頭將不可見的紅外輻射轉換成可見的溫度分布圖像。紅外圖像不易受環境影響，在雨雪、煙霧以及黑暗的環境下，都可以獲取物體的溫度分布圖。但紅外攝像頭的解析度往往較低，使得獲得的紅外圖像的清晰度差、場景細節信息不明顯並且所成的圖像不符合人的視覺習慣。反之，ccd攝像頭獲取的圖像是根據物體反射光的能量來實現的，這種圖像能夠較好的刻畫場景的細節信息，解析度高，更是符合人的視覺系統的要求。但ccd攝像頭同時也存在著一些不足之處：在惡劣天氣下，圖像的捕捉能力差，丟失有用信息，不能獲取描述場景中全面細緻的圖像信息。由此可見，紅外圖像和可見光圖像各有優點和缺點，因此，如果能夠採用融合算法將紅外圖像和可見光圖像的優勢特徵融合，使融合後的圖像含有豐富的特徵點信息，適合人眼視覺系統，將大大提高用戶觀看的視覺體驗。

另外，本發明實施例提供的圖像處理方法可以基於fpga組件這一硬體平臺實現，即基於fpga實現多源圖像的融合。相比於單純的軟體處理方法，fpga的存儲資源等資源豐富，運算速度更快。當在視頻圖像採集與展示的場景中，會使得融合後的視頻流暢度更高，能夠實時輸出融合後的圖像，達到更好的視覺體驗效果。

在某些情景中，集成上述第一攝像頭和第二攝像頭的ar設備往往用於採集現實場景的視頻圖像。可以理解的是，由於第一攝像頭和第二攝像頭用於對同一場景進行拍攝，因此，需要保證兩者的時鐘同步，即在同一時刻，這兩個攝像頭是對場景中的同一對象進行拍攝。但是，由於這兩個攝像頭的拍攝位置、拍攝角度等拍攝參數會有所差異，即使是對同一對象進行拍攝，拍得的圖像也往往會有所不同。

在上述情景中，第一攝像頭和第二攝像頭將拍得的視頻圖像通過fpga組件的視頻接口同時輸入到fpga組件，經過fpga組件的視頻解碼晶片後，解碼為比如bt.656格式的ycbcr視頻圖像。此情景中，本發明實施例提供的圖像處理方法是對各時刻分別對應的兩幅圖像進行融合處理。為便於描述，僅以任一時刻對應的上述第一圖像和第二圖像為例進行圖像融合過程的說明。

由於第一圖像和第二圖像在解析度、拍攝角度等拍攝參數方面存在差異，因此，要實現第一圖像和第二圖像的圖像融合，首先需要對第一圖像和第二圖像進行圖像配準處理，以建立第一圖像和第二圖像中各像素點的對應關係，從而，才能基於像素點的對應關係進行第一圖像和第二圖像的融合。

以第一圖像為紅外圖像、第二圖像為可見光圖像為例進行圖像配準處理過程的說明。

圖像配準處理包括了圖像的縮放、旋轉和平移操作。由於相比於紅外圖像來說，可見光圖像具有更高的解析度，更符合人眼視覺習慣，因此，本實施例中，以可見光圖像為基準圖像，紅外圖像作為待配準圖像，針對紅外圖像進行縮放、旋轉和平移操作。而對紅外圖像進行縮放、旋轉和平移操作是基於獲得的坐標變換矩陣進行的，也就是說，該坐標變換矩陣中包含了進行縮放操作所需的縮放參數，進行旋轉操作所需的旋轉參數，以及進行平移操作所需的平移參數。而這些縮放參數、旋轉參數和平移參數可以是預先獲得的，從而，基於預先獲得的這些參數可以生成得到坐標變換矩陣。

值得說明的是，本實施例中，之所以採用坐標變換矩陣的方式對紅外圖像進行變換，是因為相比於對紅外圖像依次分別進行三種變換的方式，這樣變換的效率更高，因為只需用一個矩陣就可以對紅外圖像中的各像素點一次進行了三種變換。

在獲得上述坐標變換矩陣之後，可以基於紅外圖像與該坐標變換矩陣的矩陣乘法運算，得到坐標變換後的紅外圖像。由於上述坐標變換矩陣中的變換參數是以可見光圖像為基準的，因此，基於該變換，可以得到坐標變換後的紅外圖像中的像素點與可見光圖像中的像素點間的對應關係。從而，基於該對應關係，可以對坐標變換後的紅外圖像和可見光圖像進行圖像融合。

在fpga硬體平臺實施圖像的融合，要考慮到的硬體平臺的資源，存儲空間和處理速度等問題。為了得到較好的融合效果並充分利用fpga的資源，本實施例中選擇採用基於像素級的融合方法：灰度值加權平均的方法，即通過對應像素點的灰度值的加權平均計算，實現兩幅圖像的融合。

綜上，本實施例中，在ar設備中設置兩種不同類型的攝像頭即第一攝像頭和第二攝像頭，通過第一攝像頭和第二攝像頭同時拍攝同一場景來獲得非同源的第一圖像和第二圖像；以第二圖像為基準圖像，獲取與第一圖像對應的坐標變換矩陣，以採用該坐標變換矩陣對第一圖像進行坐標變換，以使得變換後的第一圖像與第二圖像中的各像素點對應；進而，對坐標變換後的第一圖像與第二圖像進行圖像融合處理。由於第一圖像和第二圖像是非同源圖像，兩者的優勢特徵不同，通過對兩者進行融合，有利於融合兩者的優勢特徵，增強融合後的圖像質量。

圖2為本發明實施例提供的圖像處理方法實施例二的流程圖，如圖2所示，在圖1所示實施例基礎上，步驟103之後，還可以包括如下步驟：

201、接收第一圖像和第二圖像，第一圖像和第二圖像是分別通過第一攝像頭和第二攝像頭拍攝同一場景獲得的非同源圖像。

202、對第一圖像和第二圖像進行預處理，預處理包括：對第一圖像進行灰度值取逆處理，對第二圖像進行圖像增強處理。

203、根據本地存儲的旋轉參數和縮放參數，分別生成旋轉矩陣b和縮放矩陣c。

204、將預處理後的第一圖像、預處理後的第二圖像以及旋轉參數和縮放參數發送至圖像配準處理組件，以使圖像配準處理組件以預處理後的第二圖像為基準圖像，結合旋轉參數和縮放參數對預處理後的第一圖像進行配準處理，以獲得平移參數。

205、根據圖像配準處理組件反饋的平移參數，生成平移矩陣a。206、確定與第一圖像對應的坐標變換矩陣t為：平移矩陣a、旋轉矩陣b和縮放矩陣c依次相乘的結果。

207、採用坐標變換矩陣對第一圖像進行坐標變換。

208、對坐標變換後的第一圖像與第二圖像進行圖像融合處理。

本實施例中，為了保證後續的融合圖像的質量，可選地，可以對接收到的第一圖像和第二圖像進行一定的預處理。

以第一圖像為紅外圖像、第二圖像為可見光圖像為例。

由於紅外圖像根據物體的熱輻射成像的，亮度太高，不適合人的視覺系統。本實施例中，通過對第一圖像進行灰度值取逆處理來降低紅外圖像的亮度，突出特徵點。

具體地，假設紅外圖像simage1的大小為m*n，每個像素點的灰度值是8bits，即灰度等級劃分為28即256個灰度級，構造m*n的單位矩陣e，取逆後的紅外圖像為simage2，則根據如下公式確定取逆後的紅外圖像：simage2＝256*e-simage1。

可見光圖像是根據能量的反射原理所成的像，由於是在低照度的惡劣環境下獲取的可見光圖像，畫面比較暗，突出的特徵點少，因此，需要對可見光圖像進行圖像增強處理。具體地，可以對可見光圖像的像素點的灰度值進行閾值劃分，採用傳統的三段式圖像增強的方法，對不同閾值範圍內的像素點通過拉伸變換係數的方法，實現圖像畫面的增強。

在對紅外圖像和可見光圖像進行預處理之後，可以以預處理後的紅外圖像和可見光圖像為基礎，獲取與預處理後的紅外圖像對應的坐標變換矩陣。

具體地，該坐標變換矩陣可以根據平移矩陣a、旋轉矩陣b和縮放矩陣c獲得，其中，平移矩陣a、旋轉矩陣b和縮放矩陣c分別是用於表現平移參數、旋轉參數和縮放參數的。因此，需要先根據平移參數、旋轉參數和縮放參數分別生成對應的平移矩陣a、旋轉矩陣b和縮放矩陣c，進而，可以確定與預處理後的紅外圖像對應的坐標變換矩陣t為：平移矩陣a、旋轉矩陣b和縮放矩陣c依次進行矩陣相乘的結果：t＝abc。

針對縮放參數來說，圖像的縮放變換操作主要是針對不同解析度的圖像進行的。由於紅外圖像與可見光圖像的解析度不同，因此，需要以預處理後的可見光圖像為基準，對預處理後的紅外圖像進行縮放操作，以使得其解析度與預處理後的可見光圖像的解析度一致。

假設像素點p(x,y)為預處理後的紅外圖像中的任一像素點，在x軸方向的縮放係數為tx，y軸方向的縮放係數為ty，經過縮放變換後得到對應像素點為p'(x',y')，則有：x'＝x*tx；y'＝y*ty。若用矩陣表示，則為：

從而，縮放矩陣

由此可知，若要生成上述縮放矩陣c，需要獲得縮放參數tx和ty。而縮放參數tx和ty可以根據紅外攝像頭和ccd攝像頭的解析度確定，即兩者x軸解析度的比值即可確定tx，兩者y軸解析度的比值即可確定ty。因此，當ar設備中的紅外攝像頭和ccd攝像頭設定後，即可確定出縮放參數tx和ty，該縮放參數tx和ty可以被預先存儲在fpga組件的存儲空間中。

針對旋轉參數來說，圖像的旋轉變換操作主要由於拍攝紅外圖像和可見光圖像時，由於人為因素使得紅外圖像和可見光圖像之間存在角度的偏移，為了使兩幅圖像中對應的特徵點能夠準確的匹配，需要以預處理後的可見光圖像為基準，對預處理後的紅外圖像在二維空間內做圖像的旋轉變換。

假設像素點p(x,y)為預處理後的紅外圖像中的任一像素點，經過旋轉變換後得到對應像素點為p'(x',y')，若用矩陣表示p'(x',y')與p(x,y)的旋轉關係，則為：

其中，以預處理後的紅外圖像中的原點為中心，建立直角坐標系。假設p(x,y)與原點的連接與x軸的夾角為第一角度；p'(x',y')與原點的連接與x軸的夾角為第二角度，則第二角度與第一角度的差值即為θ，代表的含義是：p'(x',y')與p(x,y)之間的偏轉角度。

從而，旋轉矩陣

由此可知，若要生成上述旋轉矩陣b，需要獲得旋轉參數θ。而旋轉參數θ可以根據紅外攝像頭和ccd攝像頭的在ar設備中的設置情況確定，具體來說，可以測量紅外攝像頭的鏡頭中心與水平面表面的夾角，以及ccd攝像頭的鏡頭中心與水平面表面的夾角，兩個夾角的角度差即為旋轉參數θ。因此，當ar設備中的紅外攝像頭和ccd攝像頭設定後，即可確定出旋轉參數θ，該旋轉參數θ可以被預先存儲在fpga組件的存儲空間中。

針對平移參數來說，與上述旋轉參數、縮放參數不同，當需要對紅外圖像進行平移變換操作時，平移參數需要基於當前的紅外圖像和可見光圖像計算獲得。也就是說，旋轉參數和縮放參數可以認為是與當前拍得的圖像無關的，不需依賴於當前拍得的圖像確定，但是，平移參數是與當前拍得的圖像有關的，需要依賴於當前拍得的圖像確定。

平移參數的確定需要涉及到負責的計算過程，由於本發明實施例提供的圖像處理方法是可基於fpga組件這一硬體平臺來實現的，若用fpga組件來計算該平移參數，則比較受限，因此，可選地，可以基於圖像配準處理組件來計算該平移參數，該圖像配準處理組件可以實現為軟體程序，經過該圖像配準處理組件的計算處理，得到平移參數，反饋至fpga組件，以便fpga組件生成對應的平移矩陣a。

而圖像配準處理組件主要是以預處理後的可見光圖像為基準圖像，以預處理後的紅外圖像為待配準圖像，對預處理後的紅外圖像進行圖像配準處理後得到平移參數。而該圖像配準處理過程中，也會涉及到對預處理後的紅外圖像的縮放、旋轉變換操作，因此，fpga可以將預處理後的紅外圖像、預處理後的可見光圖像以及本地存儲的旋轉參數和縮放參數發送至圖像配準處理組件，以使圖像配準處理組件以預處理後的可見光圖像為基準圖像，結合該旋轉參數和縮放參數對預處理後的紅外圖像進行圖像配準處理，以獲得平移參數。

簡單來說明下圖像配準處理組件的圖像配準過程：

首先，基於縮放參數和旋轉參數，分別對預處理後的紅外圖像進行縮放變換和旋轉變換；其次，識別變換後的紅外圖像和預處理後的可見光圖像的公共區域，識別公共區域的特徵點；之後，建立變換後的紅外圖像和預處理後的可見光圖像之間公共區域特徵點的對應關係，以基於該對應關係確定出平移參數。

其中，對公共區域的識別可以通過比如感興趣區域提取(roi)算法進行識別，主要思路為：把像素點在顏色、亮度、方向等方面與背景的對比定義為該像素點的顯著值(saliency)，對比越強，該像素點的顯著值就越大。所有像素點的顯著值構成一張顯著圖。這裡顯著圖是一副表明圖像各像素點顯著性的灰度圖像，越亮表明該像素點的顯著度越大。基於該顯著圖可以獲得圖像的感興趣區域。兩幅圖像各自的感興趣區域可以認為是公共區域。

對於特徵點來說，可以採用差分的高斯金字塔算法進行特徵點的檢測。

在得到兩幅圖像中的特徵點之後，建立兩幅圖像中的特徵點之間的對應關係。舉例來說，假設變換後的紅外圖像中任意一特徵點的坐標為(x,y),預處理後的可見光圖像上所有檢測出的特徵點的坐標為(x1,y1)、(x2,y2)…(xn,yn),確定(x,y)分別與(x1,y1)、(x2,y2)…(xn,yn)之間的餘弦的最小值：即min(arctan(x-x1,y-y1),arctan(x-x2,y-y2)......arctan(x-xn,y-yn))，(x1,y1)、(x2,y2)…(xn,yn)中對應於該最小值的特徵點即為與(x,y)對應的特徵點，假設對應於該最小值的特徵點為(x1,y1)。則(x,y)相對於(x1,y1)在x軸方向的偏移量δx可以根據x與x1的坐標差確定，在y軸方向的偏移量δy可以根據y與y1的坐標差確定。最後，對於所有特徵點對，可以求取所述特徵點對的偏移量的均值，以得到平移參數(dx,dy)。

從而，fpga基於該平移參數可以生成如下的平移矩陣a：

平移矩陣

從而，在fpga中，假設像素點p(x,y)為預處理後的紅外圖像中的任一像素點，經過平移變換後得到對應像素點為p'(x',y')，則有：

fpga在生成平移矩陣a、旋轉矩陣b和縮放矩陣c，可以計算獲得坐標變換矩陣t。

在基於前述過程得到坐標變換矩陣t後，fpga組件可以將預處理後的紅外圖像與該矩陣t相乘，得到坐標變換後的紅外圖像，進而，將坐標變換後的紅外圖像與預處理後的可見光圖像進行圖像融合處理。

具體地，該圖像融合處理過程可以包括：

根據如下公式對坐標變換後的紅外圖像與預處理後的可見光圖像進行灰度融合處理，以獲得融合後的灰度圖像：

g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)為坐標變換後的紅外圖像中的任一像素點(x,y)的灰度值，f2(x,y)為預處理後的可見光圖像中的對應像素點的灰度值,g(x,y)為灰度圖像中對應像素點的灰度值；w1(x,y)和w2(x,y)為加權係數，w1(x,y)+w2(x,y)＝1；

進而，以預處理後的可見光圖像中各像素點的色度值渲染灰度圖像中的對應像素點，以獲得最終的融合後圖像。由於該融合後的圖像相當於是紅外圖像和可見光圖像的優勢特徵的互補融合結果，圖像質量較佳。

圖3為本發明實施例提供的圖像處理方法實施例三的流程圖，如圖3所示，在圖1所示實施例基礎上，步驟101之前，還可以包括如下步驟：

301、接收第二攝像頭拍得的第三圖像。

302、根據第三圖像的平均灰度值與預設灰度閾值的比較結果，確定是否觸發第一攝像頭和第二攝像頭同時工作，若是，則執行步驟101-104。

由於在實際應用中，包含了不同類型的第一攝像頭和第二攝像頭的ar設備不光僅用於惡劣環境中，比如光線較暗的環境中，還會被用於正常的環境中。而在正常的環境中，如果ar設備中的第一攝像頭和第二攝像頭都同時工作，可能是沒有必要的。

因此，本實施例還提供了基於當前環境的不同，控制第一攝像頭和第二攝像頭是否工作的方案。

以第一攝像頭為紅外攝像頭、第二攝像頭為ccd攝像頭為例。在正常環境中，可以僅讓ccd攝像頭工作，而在某些惡劣環境中，可以讓紅外攝像頭和ccd攝像頭同時工作。

本實施例中，對於當前的環境是正常環境還是惡劣環境的識別，可以通過識別ccd攝像頭拍得的圖像的像素灰度值的情況來判定。

具體來說，當ar設備被啟動時，可以先控制ccd攝像頭隨機拍得一幅圖像，即上述第三圖像。通過對該第三圖像中全部或部分像素的灰度值進行求平均運算，得到平均灰度值。進而，將該平均灰度值與某預設的灰度閾值進行比較，如果大於該灰度閾值，說明此時ccd攝像頭拍得的圖像解析度即可滿足觀看需求，當前的環境屬於正常環境，此時控制ccd攝像頭單獨工作即可。相反地，如果小於該灰度閾值，說明此時ccd攝像頭拍得的圖像解析度不足以滿足觀看需求，當前的環境屬於惡劣環境，此時需控制紅外攝像頭和ccd攝像頭同時工作。

本實施例中，通過對當前環境是正常環境還是異常的惡劣環境的識別，對ar設備中設置的不同攝像頭進行工作與否的控制，提高ar設備的智能化。

以下將詳細描述本發明的一個或多個實施例的圖像處理裝置。本領域技術人員可以理解，這些圖像處理裝置均可使用市售的硬體組件通過本方案所教導的步驟進行配置來構成。

圖4為本發明實施例提供的圖像處理裝置實施例一的結構示意圖，如圖5所示，該裝置包括：接收模塊11、獲取模塊12、變換模塊13、融合模塊14。

接收模塊11，用於接收第一圖像和第二圖像，所述第一圖像和所述第二圖像是分別通過第一攝像頭和第二攝像頭拍攝同一場景獲得的非同源圖像。

獲取模塊12，用於獲取與所述第一圖像對應的坐標變換矩陣，所述坐標變換矩陣以所述第二圖像為基準圖像。

變換模塊13，用於採用所述坐標變換矩陣對所述第一圖像進行坐標變換。

融合模塊14，用於對坐標變換後的第一圖像與所述第二圖像進行圖像融合處理。

圖4所示裝置可以執行圖1所示實施例的方法，本實施例未詳細描述的部分，可參考對圖1所示實施例的相關說明。該技術方案的執行過程和技術效果參見圖1所示實施例中的描述，在此不再贅述。

圖5為本發明實施例提供的圖像處理裝置實施例二的結構示意圖，如圖5所示，在圖4所示實施例基礎上，還包括：預處理模塊21。

預處理模塊21，用於對所述第一圖像和所述第二圖像進行預處理，所述預處理包括：對所述第一圖像進行灰度值取逆處理，對所述第二圖像進行圖像增強處理。

可選地，所述獲取模塊12包括：生成單元121、確定單元122。

生成單元121，用於分別生成平移矩陣a、旋轉矩陣b和縮放矩陣c。

確定單元122，用於確定與所述第一圖像對應的坐標變換矩陣t為：所述平移矩陣a、所述旋轉矩陣b和所述縮放矩陣c依次相乘的結果。

可選地，所述生成單元121具體用於：

根據本地存儲的旋轉參數和縮放參數，分別生成所述旋轉矩陣b和所述縮放矩陣c；

將所述第一圖像、所述第二圖像以及所述旋轉參數和所述縮放參數發送至圖像配準處理組件，以使所述圖像配準處理組件以所述第二圖像為基準圖像，結合所述旋轉參數和所述縮放參數對所述第一圖像進行配準處理，以獲得平移參數；

根據所述圖像配準處理組件反饋的所述平移參數，生成所述平移矩陣a。

可選地，所述融合模塊14包括：灰度融合單元141、色度渲染單元142。

灰度融合單元141，用於根據如下公式對所述坐標變換後的第一圖像與所述第二圖像進行灰度融合處理，以獲得融合後的灰度圖像：

g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)為所述坐標變換後的第一圖像中的任一像素點(x,y)的灰度值，f2(x,y)為所述第二圖像中的對應像素點的灰度值,g(x,y)為灰度圖像中對應像素點的灰度值；w1(x,y)和w2(x,y)為加權係數，w1(x,y)+w2(x,y)＝1；

色度渲染單元142，用於以所述第二圖像中各像素點的色度值渲染所述灰度圖像中的對應像素點。

圖5所示裝置可以執行圖2所示實施例的方法，本實施例未詳細描述的部分，可參考對圖2所示實施例的相關說明。該技術方案的執行過程和技術效果參見圖2所示實施例中的描述，在此不再贅述。

圖6為本發明實施例提供的圖像處理裝置實施例三的結構示意圖，如圖6所示，在前述實施例基礎上，所述接收模塊11，還用於接收所述第二攝像頭拍得的第三圖像。

該裝置還可以包括：確定模塊31。

確定模塊31，用於根據所述第三圖像的平均灰度值與預設灰度閾值的比較結果，確定是否觸發所述第一攝像頭和所述第二攝像頭同時工作。

圖6所示裝置可以執行圖3所示實施例的方法，本實施例未詳細描述的部分，可參考對圖3所示實施例的相關說明。該技術方案的執行過程和技術效果參見圖3所示實施例中的描述，在此不再贅述。

以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞動的情況下，即可以理解並實施。

圖7為本發明實施例提供的增強現實設備實施例一的結構示意圖，如圖7所示，該ar設備可以包括：第一攝像頭41、第二攝像頭42、存儲器43和處理器44；其中，

所述存儲器43用於存儲一條或多條計算機指令，其中，所述一條或多條計算機指令被所述處理器44執行時實現如圖1至圖3所示實施例提供的圖像處理方法。

第一攝像頭41和第二攝像頭42在ar設備中的設置可以是：在一水平面上，左右分別設置第一攝像頭41和第二攝像頭42，即第一攝像頭和第二攝像頭距離用戶ar設備的顯示屏的垂直距離相等。

可選地，所述第一攝像頭41為紅外攝像頭，所述第二攝像頭42為ccd攝像頭。

圖8為本發明實施例提供的增強現實設備實施例二的結構示意圖，如圖8所示，該ar設備中包括：

第一攝像頭51、第二攝像頭52、fpga組件53；其中，

所述fpga組件53中包含有實現如圖1至圖3所示實施例提供的圖像處理方法的功能邏輯。fpga組件可以設置在ar設備的主板上。

基於fpga組件這一平臺實現多源圖像的融合，由於fpga的存儲資源等資源豐富，運算速度會更快。在視頻圖像採集與展示的場景中，會使得融合後的視頻流暢度更高，能夠實時輸出融合後的圖像，達到更好的視覺體驗效果。

最後應說明的是：以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。