全景視頻的質量診斷方法及裝置與流程
2023-10-23 13:26:12 1
本發明涉及全景攝像機參數處理技術領域，尤其涉及一種全景視頻的質量診斷方法及裝置。
背景技術：
視頻質量的可靠可用性是視頻監控領域對視頻最基本的要求。視頻質量診斷在類型上可分為主觀視頻質量診斷和客觀視頻質量診斷。主觀視頻質量診斷方法結果準確性較高，但容易受實驗環境制約、可操作性差、成本過高等。客觀視頻質量診斷方法雖然與人眼的主觀評價仍有一定的距離，但其可重複性好、計算速度快、評價成本低、可移植性高等。
但是，目前的視頻質量診斷僅局限於單攝像頭的視頻質量診斷，並非應用於全景視頻的質量診斷。
技術實現要素：
本發明的主要目的在於提供一種全景視頻的質量診斷方法及裝置，旨在提高對全景視頻圖像進行質量診斷的便捷性。
為實現上述目的，本發明提供了一種全景視頻的質量診斷方法，包括：
通過全景攝像機預置的多攝像頭獲取多路視頻圖像；
建立視頻圖像質量診斷的數學模型，根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果；
將所述每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果。
優選地，所述將所述每個攝像頭視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果包括：
對所述每個攝像頭的視頻圖像分別對應設定一個權值；
將每個攝像頭的視頻圖像的診斷結果分別與對應設定的權值進行運算，得到每個攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻值；
將每個攝像機的視頻圖像的診斷貢獻值進行累加，得到所述全景視頻圖像的質量診斷結果。
優選地，所述建立視頻圖像質量診斷的數學模型，根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果包括：
確定視頻圖像質量診斷功能；
根據所確定的圖像質量診斷功能，設定對應的視頻圖像質量評價函數，根據所述視頻圖像質量評價函數建立視頻圖像質量診斷的數學模型；
根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果。
優選地，所述圖像質量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結檢測、視頻丟失檢測和視頻拼接效果檢測。
優選地，所述將所述每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果之後包括：
建立投影模型，根據所述投影模型對所述每個攝像頭的視頻圖像進行投影；
提取投影后的所述每個攝像頭的視頻圖像的特徵信息；
根據所述特徵信息，對存在相交區域的每兩個視頻圖像進行特徵匹配；
根據特徵匹配結果對所述每個攝像頭的視頻圖像進行視頻圖像融合，根據視頻圖像融合結果生成全景視頻圖像。
此外，為實現上述目的，本發明還提供了一種全景視頻的質量診斷裝置，包括：
獲取模塊，用於通過全景攝像機預置的多攝像頭獲取多路視頻圖像；
診斷模塊，用於建立視頻圖像質量診斷的數學模型，根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果；
融合模塊，用於將所述每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果。
優選地，所述融合模塊還用於，對所述每個攝像頭的視頻圖像分別對應設定一個權值；
將每個攝像頭的視頻圖像的診斷結果分別與對應設定的權值進行運算，得到每個攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻值；
將每個攝像機的視頻圖像的診斷貢獻值進行累加，得到所述全景視頻圖像的質量診斷結果。
優選地，所述診斷模塊還用於，確定視頻圖像質量診斷功能；
根據所確定的圖像質量診斷功能，設定對應的視頻圖像質量評價函數，根據所述視頻圖像質量評價函數建立視頻圖像質量診斷的數學模型；
根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果。
優選地，所述圖像質量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結檢測、視頻丟失檢測和視頻拼接效果檢測。
優選地，所述全景視頻的質量診斷裝置還包括：
投影模塊，用於建立投影模型，根據所述投影模型對所述每個攝像頭的視頻圖像進行投影；
提取模塊，用於提取投影后的所述每個攝像頭的視頻圖像的特徵信息；
匹配模塊，用於根據所述特徵信息，對存在相交區域的每兩個視頻圖像進行特徵匹配；
生成模塊，用於根據特徵匹配結果對所述每個攝像頭的視頻圖像進行視頻圖像融合，根據視頻圖像融合結果生成全景視頻圖像。
本發明實施例通過全景攝像機預置的多攝像頭獲取多路視頻圖像，並建立視頻圖像質量診斷的數學模型對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果。然後將每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果。實現了對全景視頻圖像進行質量診斷，提高了對全景視頻圖像進行質量診斷的便捷性，以保證全景視頻圖像的質量。
附圖說明
圖1為本發明全景視頻的質量診斷方法第一實施例的流程示意圖；
圖2為本發明在全景攝像機坐標系中視平面的位置關係的示意圖；
圖3為本發明在全景攝像機坐標系中圓柱圖像投影的示意圖；
圖4為本發明全景視頻的質量診斷裝置第一實施例的功能模塊示意圖。
本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施方式
應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
如圖1所示，示出了本發明一種全景視頻的質量診斷方法第一實施例。該實施例的全景視頻的質量診斷方法包括：
步驟S10、通過全景攝像機預置的多攝像頭獲取多路視頻圖像；
本實施例中，全景視頻的質量診斷方法應用於全景攝像機對採集到的全景視頻圖像進行質量診斷，該全景攝像機可包括多個攝像頭，在對全景視頻進行質量診斷之前，首先需要通過全景攝像機預置的多攝像頭獲取多路視頻圖像，以分別對多路視頻圖像進行質量診斷。
步驟S20、建立視頻圖像質量診斷的數學模型，根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果；
在得到多路視頻圖像後，建立視頻圖像質量診斷的數學模型，將該數學模型應用於每個攝像頭採集的視頻圖像進行質量診斷。
優選地，上述步驟S20包括：確定視頻圖像質量診斷功能；
根據所確定的圖像質量診斷功能，設定對應的視頻圖像質量評價函數，根據所述視頻圖像質量評價函數建立視頻圖像質量診斷的數學模型；
根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果。
具體地，首先確定圖像質量診斷功能，該圖像質量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結檢測、視頻丟失檢測和視頻拼接效果檢測等。
然後根據所選擇的圖像質量診斷功能選擇一個合適的視頻圖像質量評價函數，該評價函數和所確定的圖像質量診斷功能相關，不同的圖像質量診斷功能需要建立相應的評價函數，從而建立該診斷功能的數學模型。
將該數學模型應用於每個攝像頭採集的視頻圖像進行質量診斷，得到每個視頻圖像的質量診斷結果，假設N個攝像頭的視頻圖像對應的診斷值為αi(i∈[1,N])。
現以清晰度檢測為例進行舉例說明，當待檢測的視頻圖像是彩色時，先將其進行灰度化，然後採用Tenengrad函數作為清晰度評價函數。
Tenengrad函數是使用Sobel算子來提取水平和垂直方向的梯度值。梯度檢測中，使用高斯函數的一階微分形式對圖像進行濾波，得到以下公式(1)：
梯度為矢量，函數的梯度方向給出了方向導數取最大值的方向，如以下公式(2)所示：
而這個方向的方向導數等於梯度的模，如以下公式(3)所示：
對於數字圖像公式式(1)的導數可用差分來近似，最簡單的梯度表達式為：
評價函數f(I)定義為梯度的平方和，梯度G(x,y)要高於一個閾值T，即
式中是在點(x,y)上Sobel算子的卷積，T為經驗值，從而實現了根據建立的數學模型對每個視頻圖像進行清晰度檢測的質量診斷。
步驟S30、將所述每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果。
在根據數學模型對每個攝像頭採集到的視頻圖像進行質量診斷後，將每個視頻圖像的診斷結果進行加權融合，生成全景視頻圖像診斷結果。融合方法包括直接平均融合、中值濾波、羽化、加權/線性融合、多頻帶融合或金字塔融合等。例如，先對每個視頻圖像分布一個權值，然後將每個視頻圖像的診斷結果與該視頻圖像分布的權值做數學運算，得到該視頻圖像在全景視頻圖像的診斷貢獻值，再將每個視頻圖像的診斷貢獻值進行累加得到全景視頻圖像的質量診斷結果，最後輸出全景視頻圖像的質量診斷結果。以下實施例將進行詳細說明。
本發明實施例通過全景攝像機預置的多攝像頭獲取多路視頻圖像，並建立視頻圖像質量診斷的數學模型對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果。然後將每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果。實現了對全景視頻圖像進行質量診斷，提高了對全景視頻圖像進行質量診斷的便捷性，以保證全景視頻圖像的質量。
進一步地，基於上述全景視頻的質量診斷方法第一實施例，提出了本發明全景視頻的質量診斷方法第二實施例，該實施例中上述步驟S30包括：
對所述每個攝像頭的視頻圖像分別對應設定一個權值；
將每個攝像頭的視頻圖像的診斷結果分別與對應設定的權值進行運算，得到每個攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻值；
將每個攝像機的視頻圖像的診斷貢獻值進行累加，得到所述全景視頻圖像的質量診斷結果。
本實施例中，首先對全景攝像機中的對每個攝像頭採集的的視頻圖像分布一個權值，假設N個攝像機的權值分別為ω1,ω2,…,ωN，其中，ωi取值可以根據攝像頭個數進行簡單的取值為這樣設置權重無需考慮到區域大小的貢獻率。ωi取值也可以根據每個攝像頭的視頻圖像的像素佔所有攝像頭的視頻圖像的像素的比值來作為權重值，假設N個攝像頭總像素為Np，每個攝像頭的視頻圖像包含像素數為Mi(i＝1,2,…,N)，則
將每個攝像頭的視頻圖像的質量診斷結果對應與該攝像頭的視頻圖像分布的權值做數學運算，得到該攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻值，每個攝像頭視頻圖像質量診斷的貢獻值xi(i∈[1,N])，計算方式可以採用如下方式但不限於該方式：xi＝αi·ωi(i∈[1,N])。
所有攝像頭的視頻圖像的診斷貢獻值進行累加得到全景視頻圖像的質量診斷結果，該質量診斷結果令其為y，y計算方式為
本實施例通過對每個攝像頭的視頻圖像分別對應設定一個權值，並結合每個攝像頭的視頻圖像的診斷結果進行運算，得到每個攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻值，將各診斷貢獻值進行累加得到全景視頻圖像的質量診斷結果，提高了對全景視頻圖像進行質量診斷的可靠性及靈活性。
進一步地，基於上述全景視頻的質量診斷方法第一或第二實施例，提出了本發明全景視頻的質量診斷方法第三實施例，該實施例中上述步驟S30之後包括：
建立投影模型，根據所述投影模型對所述每個攝像頭的視頻圖像進行投影；
提取投影后的所述每個攝像頭的視頻圖像的特徵信息；
根據所述特徵信息，對存在相交區域的每兩個視頻圖像進行特徵匹配；
根據特徵匹配結果對所述每個攝像頭的視頻圖像進行視頻圖像融合，根據視頻圖像融合結果生成全景視頻圖像。
本實施例中，在對每個攝像頭採集的視頻圖像分別進行質量診斷，並將每個視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果後，可以將多路視頻圖像拼接成一路全景視頻圖像。
首先建立投影模型，該投影模型包括平面、圓柱面、球面或多面體等。然後將各路視頻圖像根據投影模型進行投影，包括：通過建立投影模型，將多路視頻圖像繪製在投影模型上，可根據匹配特徵點之間的映射關係來表現視頻圖像之間的投影位置，從而將待拼接視頻圖像映射到指定坐標空間。
將各路投影后的視頻圖像進行圖像特徵的提取，得到視頻圖像的特徵信息，例如，通過特徵檢測算子和描述符提取圖像的特徵信息。該特徵信息包括視頻圖像的物理特徵、視頻圖像的內容描述特徵等，例如，Harris算子、Sift特徵等。
提取視頻圖像的特徵信息後，將每兩路存在相交區域的視頻圖像進行特徵匹配，包括：通過分別提取兩個或多個圖像的特徵(點、線、面等特徵)，生成特徵描述符，然後通過特徵描述符進行匹配。該特徵匹配方法包括基於流的特徵匹配方法、基於相位的特徵匹配方法或基於特徵的特徵匹配方法等。
然後根據特徵匹配結果進行視頻圖像融合，包括：對各攝像頭的視頻圖像進行拼接，並對拼接的邊界進行平滑處理，讓縫隙自然過渡。視頻圖像特徵的融合方法還包括直接平均融合、中值濾波、羽化、加權/線性融合、多頻帶融合或金字塔融合等。根據視頻圖像融合結果生成全景視頻。
下面以柱面投影為例進行舉例說明：
假設全景攝像機中相機的坐標係為OXYZ，視平面的位置關係如圖2所示，其中，Z＝-f為視平面，則實景圖像上任意一點在Z軸坐標值為-f，假設相機的鏡頭中心沒有任何的偏差，則實景圖像的中心就是相機的光軸(相機坐標系中的Z軸)與視覺平面的交點。在相機坐標系下，X軸與Y軸分別平行於圖像坐標系的橫軸和縱軸，因此實景圖像上的任意一個像素點(x,y)在相機坐標系OXYZ下的像素坐標為(x-W/2,y-H,-f)，其中，W,H分別代表實景圖像的寬度和高度。
如圖3所示，J為相機拍攝的一張實景圖像，P(x,y)為實景圖像J上的一個像素點，則該像素點在相機坐標系下的坐標可表示為：
其中，W,H為實景圖像的寬度和高度，相機坐標系中的原點O為圓柱的中心，圓柱的半徑為相機的焦距f，柱面投影的目標就是求出實景圖像J中的任意一像素點P(x,y)在圓柱面上的投影點Q(x',y')。
相機坐標系中的原點O與像素點P的直線方程可用參數方程的形式來表示，如以下公式(11)所示：
其中t表示參數，則圓柱的方程可表示為：
u2+v2＝f2 (12)
聯立公式(11)、公式(12)可得：
其中(u,v,w)是P(x,y)在圓柱面上的投影后的坐標，可用公式(14)實現將三維的參數坐標轉換為二維的圖像坐標：
其中，hfov是相機的水平視角。
聯立公式(13)和公式(14)就可得到實景圖像J上的任意一點P(x,y)投影到柱面坐標系上的對應點Q(x',y')的投影變換公式：
其中相機焦距f＝W/(2tan(hfov/2))，hfov為相機的水平視角。
相應的，由柱面投影公式(15)可得柱面反投影公式：
在對多路視頻圖像進行投影后可提取特徵信息，並進行特徵匹配，根據匹配結果將多路視頻圖像融合生成全景視頻圖像。
本實施例通過建立投影模型對多路視頻圖像進行投影，並對投影后的視頻圖像進行特徵信息及特徵匹配，根據特徵匹配結果將多路視頻圖像融合生成全景視頻圖像，提高了對全景視頻圖像融合的準確性及便捷性。
對應地，如圖4所示，提出本發明一種全景視頻的質量診斷裝置第一實施例。該實施例的全景視頻的質量診斷裝置包括：
獲取模塊100，用於通過全景攝像機預置的多攝像頭獲取多路視頻圖像；
本實施例中，全景視頻的質量診斷裝置應用於全景攝像機對採集到的全景視頻圖像進行質量診斷，該全景攝像機可包括多個攝像頭，在對全景視頻進行質量診斷之前，首先獲取模塊100需要通過全景攝像機預置的多攝像頭獲取多路視頻圖像，以分別對多路視頻圖像進行質量診斷。
診斷模塊200，用於建立視頻圖像質量診斷的數學模型，根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果；
在得到多路視頻圖像後，診斷模塊200建立視頻圖像質量診斷的數學模型，將該數學模型應用於每個攝像頭採集的視頻圖像進行質量診斷。
優選地，上述診斷模塊200還用於，確定視頻圖像質量診斷功能；
根據所確定的圖像質量診斷功能，設定對應的視頻圖像質量評價函數，根據所述視頻圖像質量評價函數建立視頻圖像質量診斷的數學模型；
根據所述數學模型分別對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果。
具體地，首先確定圖像質量診斷功能，該圖像質量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結檢測、視頻丟失檢測和視頻拼接效果檢測等。
然後根據所選擇的圖像質量診斷功能選擇一個合適的視頻圖像質量評價函數，該評價函數和所確定的圖像質量診斷功能相關，不同的圖像質量診斷功能需要建立相應的評價函數，從而建立該診斷功能的數學模型。
將該數學模型應用於每個攝像頭採集的視頻圖像進行質量診斷，得到每個視頻圖像的質量診斷結果，假設N個攝像頭的視頻圖像對應的診斷值為αi(i∈[1,N])。
現以清晰度檢測為例進行舉例說明，當待檢測的視頻圖像是彩色時，先將其進行灰度化，然後採用Tenengrad函數作為清晰度評價函數。
Tenengrad函數是使用Sobel算子來提取水平和垂直方向的梯度值。梯度檢測中，使用高斯函數的一階微分形式對圖像進行濾波，得到以下公式(10)：
梯度為矢量，函數的梯度方向給出了方向導數取最大值的方向，如以下公式(20)所示：
而這個方向的方向導數等於梯度的模，如以下公式(30)所示：
對於數字圖像公式式(1)的導數可用差分來近似，最簡單的梯度表達式為：
評價函數f(I)定義為梯度的平方和，梯度G(x,y)要高於一個閾值T，即
式中是在點(x,y)上Sobel算子的卷積，T為經驗值，從而實現了根據建立的數學模型對每個視頻圖像進行清晰度檢測的質量診斷。
融合模塊300，用於將所述每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果。
在根據數學模型對每個攝像頭採集到的視頻圖像進行質量診斷後，融合模塊300將每個視頻圖像的診斷結果進行加權融合，生成全景視頻圖像診斷結果。融合方法包括直接平均融合、中值濾波、羽化、加權/線性融合、多頻帶融合或金字塔融合等。例如，先對每個視頻圖像分布一個權值，然後將每個視頻圖像的診斷結果與該視頻圖像分布的權值做數學運算，得到該視頻圖像在全景視頻圖像的診斷貢獻值，再將每個視頻圖像的診斷貢獻值進行累加得到全景視頻圖像的質量診斷結果，最後輸出全景視頻圖像的質量診斷結果。以下實施例將進行詳細說明。
本發明實施例通過全景攝像機預置的多攝像頭獲取多路視頻圖像，並建立視頻圖像質量診斷的數學模型對每個攝像頭獲取到的視頻圖像進行質量診斷，得到每個攝像頭的視頻圖像的質量診斷結果。然後將每個攝像頭的視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果。實現了對全景視頻圖像進行質量診斷，提高了對全景視頻圖像進行質量診斷的便捷性，以保證全景視頻圖像的質量。
進一步地，基於上述全景視頻的質量診斷裝置第一實施例，提出了本發明全景視頻的質量診斷裝置第二實施例，該實施例中上述融合模塊300還用於，對所述每個攝像頭的視頻圖像分別對應設定一個權值；
將每個攝像頭的視頻圖像的診斷結果分別與對應設定的權值進行運算，得到每個攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻值；
將每個攝像機的視頻圖像的診斷貢獻值進行累加，得到所述全景視頻圖像的質量診斷結果。
本實施例中，融合模塊300首先對全景攝像機中的對每個攝像頭採集的的視頻圖像分布一個權值，假設N個攝像機的權值分別為ω1,ω2,…,ωN，其中，ωi取值可以根據攝像頭個數進行簡單的取值為這樣設置權重無需考慮到區域大小的貢獻率。ωi取值也可以根據每個攝像頭的視頻圖像的像素佔所有攝像頭的視頻圖像的像素的比值來作為權重值，假設N個攝像頭總像素為Np，每個攝像頭的視頻圖像包含像素數為Mi(i＝1,2,…,N)，則
將每個攝像頭的視頻圖像的質量診斷結果對應與該攝像頭的視頻圖像分布的權值做數學運算，得到該攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻值，每個攝像頭視頻圖像質量診斷的貢獻值xi(i∈[1,N])，計算方式可以採用如下方式但不限於該方式：xi＝αi·ωi(i∈[1,N])。
所有攝像頭的視頻圖像的診斷貢獻值進行累加得到全景視頻圖像的質量診斷結果，該質量診斷結果令其為y，y計算方式為
本實施例通過對每個攝像頭的視頻圖像分別對應設定一個權值，並結合每個攝像頭的視頻圖像的診斷結果進行運算，得到每個攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻值，將各診斷貢獻值進行累加得到全景視頻圖像的質量診斷結果，提高了對全景視頻圖像進行質量診斷的可靠性及靈活性。
進一步地，基於上述全景視頻的質量診斷裝置第一或第二實施例，提出了本發明全景視頻的質量診斷裝置第三實施例，該實施例中上述全景視頻的質量診斷裝置還包括：
投影模塊，用於建立投影模型，根據所述投影模型對所述每個攝像頭的視頻圖像進行投影；
提取模塊，用於提取投影后的所述每個攝像頭的視頻圖像的特徵信息；
匹配模塊，用於根據所述特徵信息，對存在相交區域的每兩個視頻圖像進行特徵匹配；
生成模塊，用於根據特徵匹配結果對所述每個攝像頭的視頻圖像進行視頻圖像融合，根據視頻圖像融合結果生成全景視頻圖像。
本實施例中，在對每個攝像頭採集的視頻圖像分別進行質量診斷，並將每個視頻圖像的質量診斷結果進行融合，得到全景視頻圖像質量診斷結果後，可以將多路視頻圖像拼接成一路全景視頻圖像。
首先由投影模塊建立投影模型，該投影模型包括平面、圓柱面、球面或多面體等。然後將各路視頻圖像根據投影模型進行投影，包括：通過建立投影模型，將多路視頻圖像繪製在投影模型上，可根據匹配特徵點之間的映射關係來表現視頻圖像之間的投影位置，從而將待拼接視頻圖像映射到指定坐標空間。
提取模塊將各路投影后的視頻圖像進行圖像特徵的提取，得到視頻圖像的特徵信息，例如，通過特徵檢測算子和描述符提取圖像的特徵信息。該特徵信息包括視頻圖像的物理特徵、視頻圖像的內容描述特徵等，例如，Harris算子、Sift特徵等。
提取視頻圖像的特徵信息後，匹配模塊將每兩路存在相交區域的視頻圖像進行特徵匹配，包括：通過分別提取兩個或多個圖像的特徵(點、線、面等特徵)，生成特徵描述符，然後通過特徵描述符進行匹配。該特徵匹配方法包括基於流的特徵匹配方法、基於相位的特徵匹配方法或基於特徵的特徵匹配方法等。
然後生成模塊根據特徵匹配結果進行視頻圖像融合，包括：對各攝像頭的視頻圖像進行拼接，並對拼接的邊界進行平滑處理，讓縫隙自然過渡。視頻圖像特徵的融合方法還包括直接平均融合、中值濾波、羽化、加權/線性融合、多頻帶融合或金字塔融合等，根據視頻圖像融合結果生成全景視頻。
下面以柱面投影為例進行舉例說明：
假設全景攝像機中相機的坐標係為OXYZ，視平面的位置關係如圖2所示，其中，Z＝-f為視平面，則實景圖像上任意一點在Z軸坐標值為-f，假設相機的鏡頭中心沒有任何的偏差，則實景圖像的中心就是相機的光軸(相機坐標系中的Z軸)與視覺平面的交點。在相機坐標系下，X軸與Y軸分別平行於圖像坐標系的橫軸和縱軸，因此實景圖像上的任意一個像素點(x,y)在相機坐標系OXYZ下的像素坐標為(x-W/2,y-H,-f)，其中，W,H分別代表實景圖像的寬度和高度。
如圖3所示，J為相機拍攝的一張實景圖像，P(x,y)為實景圖像J上的一個像素點，則該像素點在相機坐標系下的坐標可表示為：
其中，W,H為實景圖像的寬度和高度，相機坐標系中的原點O為圓柱的中心，圓柱的半徑為相機的焦距f，柱面投影的目標就是求出實景圖像J中的任意一像素點P(x,y)在圓柱面上的投影點Q(x',y')。
相機坐標系中的原點O與像素點P的直線方程可用參數方程的形式來表示，如以下公式(110)所示：
其中t表示參數，則圓柱的方程可表示為：
u2+v2＝f2 (120)
聯立公式(110)、公式(120)可得：
其中(u,v,w)是P(x,y)在圓柱面上的投影后的坐標，可用公式(140)實現將三維的參數坐標轉換為二維的圖像坐標：
其中，hfov是相機的水平視角。
聯立公式(130)和公式(140)就可得到實景圖像J上的任意一點P(x,y)投影到柱面坐標系上的對應點Q(x',y')的投影變換公式：
其中相機焦距f＝W/(2tan(hfov/2))，hfov為相機的水平視角。
相應的，由柱面投影公式(150)可得柱面反投影公式：
在對多路視頻圖像進行投影后可提取特徵信息，並進行特徵匹配，根據匹配結果將多路視頻圖像融合生成全景視頻圖像。
本實施例通過建立投影模型對多路視頻圖像進行投影，並對投影后的視頻圖像進行特徵信息及特徵匹配，根據特徵匹配結果將多路視頻圖像融合生成全景視頻圖像，提高了對全景視頻圖像融合的準確性及便捷性。
以上僅為本發明的優選實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍內。