一種視頻拼接的方法與裝置與流程

2023-06-01 22:53:16 2

本發明涉及視頻處理技術領域，特別是涉及一種視頻拼接的方法與裝置。

背景技術：

單個或固定攝像頭的視野範圍有限，為了獲取單幀圖像中更廣闊的視覺效果，需要使用視頻拼接技術，即將多個固定攝像頭或單個移動攝像頭的內容進行拼接組合形成解析度更高，內容更豐富的圖像或視頻。

目前的拼接技術主要應用在交通行業的視頻實時監控領域，研究也主要集中在對攝像機位置相對固定的交通監控視頻的拼接上。算法相對比較成熟的是對靜態圖像的拼接，視頻拼接技術主要利用視頻圖像幀之間的相關性，拼接過程中涉及到大量的計算，這就需要在保證畫面質量的前提下，選取一種快速的匹配算法，以減少整個視頻拼接的計算量，提高視頻拼接速度。關於視頻拼接原理和方法國內外已有不少的研究成果，但是現在還沒有通用的能夠達到實時處理速度的視頻拼接方式。

可見，如何滿足視頻拼接對實時處理速度的要求，是本領域技術人員亟待解決的問題。

技術實現要素：

本發明實施例的目的是提供一種視頻拼接的方法與裝置，可以滿足視頻拼接對實時處理速度的要求。

為解決上述技術問題，本發明實施例提供一種視頻拼接的方法，包括：

s10：判斷待處理視頻幀是否為特定視頻幀；若是，則執行s11；

s11：將所述待處理視頻幀和所述待處理視頻幀對應的相鄰視頻幀之間的圖像重疊區域作為roi視頻圖像；其中，所述待處理視頻幀和所述相鄰視頻幀由相鄰的兩臺攝像機採集；

s12：對所述roi視頻圖像進行顯著性區域檢測，獲得所述roi視頻圖像對應的顯著性區域；

s13：利用surf算法對所述顯著性區域進行特徵點檢測，獲取到所述顯著性區域的特徵點；

s14：利用最近鄰與次近鄰比算法對所述特徵點進行粗匹配；

s15：利用ransac算法對粗匹配後的特徵點進行提純，計算出所述特徵點對應的投影變換矩陣；

s16：利用所述投影變換矩陣對所述待處理視頻幀以及所述相鄰視頻幀進行融合、拼接，得到目標視頻幀。

可選的，在所述s10中包括：

判斷待處理視頻幀是否為首幀；若是，則執行所述s11；

若否，則判斷所述待處理視頻幀是否為關鍵幀；

若所述待處理視頻幀為所述關鍵幀，則執行所述s11。

可選的，在所述判斷所述待處理視頻幀是否為關鍵幀之前還包括：

計算各路視頻對應的間隔幀數；

每隔所述間隔幀數選取一幀圖像作為關鍵幀。

可選的，所述計算各路視頻對應的間隔幀數包括：

計算第一路視頻中的第一視頻幀分別與所述第一視頻幀相鄰的前三個視頻幀之間的相關係數；所述第一路視頻為各路視頻中的任意一路視頻；

計算所述相關係數的平均值

根據公式

確定出所述第一路視頻的間隔幀數；

其中，fps表示採集所述視頻幀的幀率，所述間隔幀數取δn的整數部分。

可選的，在所述s12中包括：

計算所述roi視頻圖像的對數譜l(i)；

根據公式a(i)＝l(i)×h(i)，計算出所述roi視頻圖像的平均譜a(i)，

其中，

利用公式r(i)＝l(i)-a(i)，計算出所述roi視頻圖像的頻域殘差r(i)；

根據公式s(i)＝ifft[exp(r(i)+p(i))]2，計算出所述roi視頻圖像的空間域殘差s(i)，

其中，p(i)表示相位角；

依據所述空間域殘差s(i)，對所述roi視頻圖像進行二值化處理，獲得所述roi視頻圖像對應的顯著性區域，所述顯著性區域的公式如下所示，

其中，theshold表示的是殘差圖分割的閾值，otherwise表示的是s(i)≤theshold的數值。

可選的，在所述s13中包括：

從所述顯著性區域中選取檢測surf特徵的目標區域；

利用尺度空間極值檢測，確定出所述目標區域的初始特徵點的位置和所在尺度，構建尺度空間的圖像金字塔；

根據公式δ(h)＝dxxdyy-(0.9dxy)2，計算出對應的局部極值，並對所述局部極值進行非極大值抑制，確定出候選點，

其中，δ(h)是矩陣是判別式，dxx指的是採用盒子濾波器對圖像進行x方向濾波後得到的結果，dyy指的是採用盒子濾波器對圖像進行y方向濾波後得到的結果，dxy指的是採用盒子濾波器對圖像進行xy方向濾波後得到的結果；

對所述初始特徵點和所述候選點進行harr小波響應計算，確定出特徵點主方向；

依據所述特徵點主方向，計算所述顯著性區域的harr小波響應，生成特徵點的描述子。

可選的，還包括：

判斷所述視頻幀是否為末幀；

若否，則重新計算各路視頻對應的間隔幀數，並返回所述s10。

本發明實施例還提供了一種視頻拼接的裝置，包括判斷單元、處理單元、檢測單元、匹配單元、計算單元和拼接單元，

所述判斷單元，用於判斷待處理視頻幀是否為特定視頻幀；

若所述待處理視頻幀是特定視頻幀，則觸發所述處理單元，所述處理單元，用於將所述待處理視頻幀和所述待處理視頻幀對應的相鄰視頻幀之間的圖像重疊區域作為roi視頻圖像；其中，所述待處理視頻幀和所述相鄰視頻幀由相鄰的兩臺攝像機採集；

所述檢測單元，用於對所述roi視頻圖像進行顯著性區域檢測，獲得所述roi視頻圖像對應的顯著性區域；

所述檢測單元還用於利用surf算法對所述顯著性區域進行特徵點檢測，獲取到所述顯著性區域的特徵點；

所述匹配單元，用於利用最近鄰與次近鄰比算法對所述特徵點進行粗匹配；

所述計算單元，用於利用ransac算法對粗匹配後的特徵點進行提純，計算出所述特徵點對應的投影變換矩陣；

所述拼接單元，用於利用所述投影變換矩陣對所述待處理視頻幀以及所述相鄰視頻幀進行融合、拼接，得到目標視頻幀。

可選的，所述判斷單元具體用於判斷待處理視頻幀是否為首幀；若是，則觸發所述處理單元；

若否，則判斷所述待處理視頻幀是否為關鍵幀；

若所述待處理視頻幀為所述關鍵幀，則觸發所述處理單元。

可選的，還包括選取單元，

所述計算單元還用於計算各路視頻對應的間隔幀數；

所述選取單元，用於每隔所述間隔幀數選取一幀圖像作為關鍵幀。

可選的，所述計算單元包括相關係數計算子單元、平均值計算子單元和間隔幀數確定子單元，

所述相關係數計算子單元，用於用於計算第一路視頻中的第一視頻幀分別與所述第一視頻幀相鄰的前三個視頻幀之間的相關係數；所述第一路視頻為各路視頻中的任意一路視頻；

所述平均值計算子單元，用於計算所述相關係數的平均值

所述間隔幀數確定子單元，用於

根據公式

確定出所述第一路視頻的間隔幀數；

其中，fps表示採集所述視頻幀的幀率，所述間隔幀數取δn的整數部分。

可選的，所述檢測單元包括對數譜計算子單元、平均譜計算子單元、頻域殘差計算子單元、空間域殘差計算子單元和二值化處理子單元，

所述對數譜計算子單元，用於計算所述roi視頻圖像的對數譜l(i)；

所述平均譜計算子單元，用於根據公式a(i)＝l(i)×h(i)，計算出所述roi視頻圖像的平均譜a(i)，

其中，

所述頻域殘差計算子單元，用於利用公式r(i)＝l(i)-a(i)，計算出所述roi視頻圖像的頻域殘差r(i)；

所述空間域殘差計算子單元，用於根據公式s(i)＝ifft[exp(r(i)+p(i))]2，計算出所述roi視頻圖像的空間域殘差s(i)，

其中，p(i)表示相位角；

所述二值化處理子單元，用於依據所述空間域殘差s(i)，對所述roi視頻圖像進行二值化處理，獲得所述roi視頻圖像對應的顯著性區域，所述顯著性區域的公式如下所示，

其中，theshold表示的是殘差圖分割的閾值，otherwise表示的是s(i)≤theshold的數值。

可選的，所述檢測單元包括選取子單元、確定子單元和計算子單元，

所述選取子單元，用於從所述顯著性區域中選取檢測surf特徵的目標區域；

所述確定子單元，用於利用尺度空間極值檢測，確定出所述目標區域的初始特徵點的位置和所在尺度，構建尺度空間的圖像金字塔；

所述確定子單元還用於根據公式δ(h)＝dxxdyy-(0.9dxy)2，計算出對應的局部極值，並對所述局部極值進行非極大值抑制，確定出候選點，

其中，δ(h)是矩陣是判別式，dxx指的是採用盒子濾波器對圖像進行x方向濾波後得到的結果，dyy指的是採用盒子濾波器對圖像進行y方向濾波後得到的結果，dxy指的是採用盒子濾波器對圖像進行xy方向濾波後得到的結果；

所述計算子單元，用於對所述初始特徵點和所述候選點進行harr小波響應計算，確定出特徵點主方向；

所述計算子單元還用於依據所述特徵點主方向，計算所述顯著性區域的harr小波響應，生成特徵點的描述子。

可選的，還包括第二判斷單元，

所述第二判斷單元，用於判斷所述視頻幀是否為末幀；

所述計算單元還用於當所述視頻幀不是末幀時，則重新計算各路視頻對應的間隔幀數，並觸發所述判斷單元。

由上述技術方案可以看出，當待處理視頻幀為特定視頻幀時，則將所述待處理視頻幀和所述待處理視頻幀對應的相鄰視頻幀之間的圖像重疊區域作為roi視頻圖像；對該roi視頻圖像進行顯著性區域檢測，並利用surf算法對所述顯著性區域進行特徵點檢測，利用最近鄰與次近鄰比算法對所述特徵點進行粗匹配；利用ransac算法對粗匹配後的特徵點進行提純，計算出所述特徵點對應的投影變換矩陣；從而利用所述投影變換矩陣對所述待處理視頻幀以及所述相鄰視頻幀進行融合、拼接，得到目標視頻幀。按照上述操作方式，提高了視頻幀特徵點檢測的效率以及匹配的準確率，滿足了視頻拼接對實時處理速度的要求。

附圖說明

為了更清楚地說明本發明實施例，下面將對實施例中所需要使用的附圖做簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例提供的一種視頻拼接的方法的流程圖；

圖2為本發明實施例提供的一種對roi視頻圖像進行顯著性區域檢測的方法的流程圖；

圖3a為本發明實施例提供的一臺攝像機拍攝的某一幀圖像的示意圖；

圖3b為本發明實施例提供的與圖3a對應的顯著性區域檢測圖的示意圖；

圖3c為本發明實施例提供的與圖3a相鄰的攝像機拍攝的某一幀圖像的示意圖；

圖3d為本發明實施例提供的與圖3c對應的顯著性區域檢測圖的示意圖；

圖3e為本發明實施例提供的一種將圖3a和圖3c視頻幀拼接後的目標視頻幀的示意圖；

圖4為本發明實施例提供的一種利用surf算法對顯著性區域進行特徵點檢測的方法的流程圖；

圖5為本發明實施例提供的一種視頻拼接的裝置的結構示意圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下，所獲得的所有其他實施例，都屬於本發明保護範圍。

為了使本技術領域的人員更好地理解本發明方案，下面結合附圖和具體實施方式對本發明作進一步的詳細說明。

接下來，詳細介紹本發明實施例所提供的一種視頻拼接的方法。圖1為本發明實施例提供的一種視頻拼接的方法的流程圖，該方法包括：

s10：判斷待處理視頻幀是否為特定視頻幀。

本發明實施例中可以通過多臺攝像機採集視頻數據，每臺攝像機採集的視頻數據可以稱之為一路視頻，在該路視頻中可以包含有多個視頻幀。對多路視頻進行拼接，即將多路視頻數據中包含的視頻幀進行拼接處理。

攝像機在採集視頻數據時，每秒鐘可以採集多個視頻幀。特定視頻幀可以是需要進行拼接的視頻幀。可以從每路視頻中選取包含較大數據量的視頻幀作為特定視頻幀，在本發明實施例中可以選取首幀和關鍵幀作為特定視頻幀。

以每秒鐘採集的視頻幀為例，在該時間內採集的第一張圖像即為該路視頻的首幀。關鍵幀可以是該路視頻中具有顯著特徵的視頻幀。

以一路視頻為例，待處理視頻幀可以是該路視頻中的任意一個視頻幀。通過判斷待處理視頻幀是否為特定視頻幀，來決定是否對該待處理視頻幀進行後續拼接處理。

具體的，可以先判斷待處理視頻幀是否為首幀；

當該待處理視頻幀是首幀時，則進入s11；當該待處理視頻幀不是首幀時，則可以進一步判斷所述待處理視頻幀是否為關鍵幀。當所述待處理視頻幀為關鍵幀時，則進入s11。

s11：將所述待處理視頻幀和所述待處理視頻幀對應的相鄰視頻幀之間的圖像重疊區域作為roi視頻圖像。

其中，所述待處理視頻幀和所述相鄰視頻幀可以由相鄰的兩臺攝像機採集，即待處理視頻幀可以由攝像機1採集，相鄰視頻幀由攝像機2採集，攝像機1和攝像機2為相鄰的兩臺攝像機。

在本發明實施例中，當待處理視頻幀為特定視頻幀時，可以通過獲取相鄰攝像機採集的視頻幀，對這兩路視頻進行surf特徵點檢測、配準，求出待處理視頻幀和相鄰視頻幀之間的圖像重疊區域。

s12：對所述roi視頻圖像進行顯著性區域檢測，獲得所述roi視頻圖像對應的顯著性區域。

對於roi視頻圖像進行顯著性區域的檢測，可以實現圖像顯著性信息的提取，從而可以更加準確的進行後續視頻幀的拼接。

在本發明實施例中，可以通過計算對數殘差譜的方式來求得顯著性區域。具體的，可以按照圖2所示的方法，該方法包括：

s201：計算所述roi視頻圖像的對數譜l(i)。

s202：根據公式a(i)＝l(i)×h(i)，計算出所述roi視頻圖像的平均譜a(i)。

其中，h(i)的具體形式如下，

s203：利用公式r(i)＝l(i)-a(i)，計算出所述roi視頻圖像的頻域殘差r(i)。

s204：根據公式s(i)＝ifft[exp(r(i)+p(i))]2，計算出所述roi視頻圖像的空間域殘差s(i)。

對所述頻域殘差做相應的快速傅立葉逆變換可以得到對應的空間域殘差s(i)，roi視頻圖像的空間域殘差

s(i)＝ifft[exp(r(i)+p(i))]2

其中，p(i)為相位角。

s205：依據所述空間域殘差s(i)，對所述roi視頻圖像進行二值化處理，獲得所述roi視頻圖像對應的顯著性區域。

獲得的顯著性區域的公式如下所示，

其中，o(i)表示獲得的顯著性區域，theshold表示的是殘差圖分割的閾值，otherwise表示的是s(i)≤theshold的數值。

對於theshold的取值，可以按照如下方式計算。

求出該殘差圖的灰度分布直方圖。在本發明實施例中，為了使灰度直方圖分布相對集中，可以採用每5度劃分為一組。

假設該殘差圖的灰度分布直方圖的峰值為h，取所有大於10％×h的灰度值以及每一組灰度值在殘差圖中的個數組成新的灰度直方圖c。求解出灰度分布直方圖c後的期望a1以及方差a2。theshold的取值可以是a1+5a2。

s13：利用surf算法對所述顯著性區域進行特徵點檢測，獲取到所述顯著性區域的特徵點。

特徵點能夠反映顯著性區域的本質特徵，特徵點的獲取是進行視頻幀拼接的重要步驟。

特徵點提取算法有sift算法、surf算法等，在本發明實施例中，可以採用surf算法對顯著性區域進行特徵點的檢測。

s14：利用最近鄰與次近鄰比算法對所述特徵點進行粗匹配。

對s13中獲取的特徵點可以採用最近鄰與次近鄰比進行特徵點的粗匹配。

s15：利用ransac算法對粗匹配後的特徵點進行提純，計算出所述特徵點對應的投影變換矩陣。

為了進一步提高特徵點匹配準確度，可以對粗匹配後的特徵點進行提純。

由於每幅圖像是攝像機在不同角度下拍攝得到的，所以它們並不在同一投影面上，如果對重疊的圖像直接進行拼接，會破壞實際景物的視覺一致性，所以需要先對圖像進行投影變換，再進行拼接。

s16：利用所述投影變換矩陣對所述待處理視頻幀以及所述相鄰視頻幀進行融合、拼接，得到目標視頻幀。

如圖3a為一臺攝像機拍攝的某一幀圖像(視頻幀)，參照s12中的操作，可以獲取到該視頻幀進行顯著性區域檢測後的圖像如圖3b所示；圖3c為與圖3a中攝像機相鄰的另一臺攝像機拍攝的某一幀圖像，參照s12中的操作，可以獲取到該視頻幀進行顯著性區域檢測後的圖像如圖3d所示；參照上述步驟，將圖3a和圖3c這兩個視頻幀進行融合、拼接後的目標視頻幀的圖像如圖3e所示。其中，對於圖3e圖像中黑色邊框，是由於攝像機在固定時，攝像機的光軸不一定的水平平行的，可能會出現y方向的平移，或者其他方向上的旋轉等。為了最終拼接看起來仍然是一個矩形，所以對拼接後在原圖中不存在的像素點採用黑色像素點填充，也就是黑色的邊框，圖中實際的拼接圖像是中間像素點組成。

在s13中進行特徵點檢測，下面將對利用surf算法對顯著性區域進行特徵點檢測的具體操作展開介紹，如圖4所示該步驟包括：

s401：從所述顯著性區域中選取檢測surf特徵的目標區域。

s402：利用尺度空間極值檢測，確定出所述目標區域的初始特徵點的位置和所在尺度，構建尺度空間的圖像金字塔。

具體的，在s401選擇的區域中，可以通過擴大方框的大小形成不同尺度的圖像金字塔，構造盒式濾波模板。

s403：根據公式δ(h)＝dxxdyy-(0.9dxy)2，計算出對應的局部極值，並對所述局部極值進行非極大值抑制，確定出候選點。

候選點可以是除初始特徵點之外的剩餘的特徵點。

在構建完尺度金字塔後，使用δ(h)逼近來求取det(h)，det(h)是hessian矩陣的行列式的值。通過判斷判別式的結果為正，即可判定該點為極大值或者極小值。判別式表達式如下所示，

δ(h)＝dxxdyy-(0.9dxy)2

其中，δ(h)是矩陣是判別式，dxx指的是採用盒子濾波器對圖像進行x方向濾波後得到的結果，dyy指的是採用盒子濾波器對圖像進行y方向濾波後得到的結果，dxy指的是採用盒子濾波器對圖像進行xy方向濾波後得到的結果。

對該初始特徵點的3×3×3鄰域內進行非極大值抑制，將符合條件的點記下作為候選點，同時記錄下候選點的位置以及尺度。

s404：對所述初始特徵點和所述候選點進行harr小波響應計算，確定出特徵點主方向。

以一個特徵點為例，在surf算法中，以該特徵點為中心，以6s(s為特徵點的尺度單位)為半徑的圓內對顯著性區域進行harr小波響應計算。在特徵點周圍60°的圓形範圍內，計算尺寸為4σ的harr小波響應(σ代表的是特徵點所在的尺度)。然後對響應以dx和dy建立坐標系，將各個特徵點的響應值映射到該坐標系，分別累加各方向60°範圍內小波響應值，把最大響應的方向定為主方向。

s405：依據所述特徵點主方向，計算所述顯著性區域的harr小波響應，生成特徵點的描述子。

描述子是特徵點的一種數學表達形式。

首先將坐標系旋轉到以特徵點為中心的主方向，然後沿著主方向將20s×20s的圖像劃分為4×4的子塊；對於每個5σ×5σ的子塊採用尺寸為2s的harr模板進行水平方向以及垂直方向的小波響應，得到小波響應的值為dx,dy。接著對響應值進行統計求和得到∑dx、∑|dx|，∑dy，∑|dy|形成特徵矢量，然後以特徵點為中心，對dx，dy進行高斯加權，其中σ＝3.3s。對所有的子塊的響應值進行統計後的每個子塊的矢量是：

v＝(∑dx∑|dx|∑dy∑|dy|)

在本發明實施例中，對於每路視頻中的關鍵幀可以通過計算的方式選取出。具體的，可以計算各路視頻對應的間隔幀數；每隔所述間隔幀數選取一幀圖像作為關鍵幀。

對於間隔幀數的計算，可以如下方式計算。

可以先計算出第一路視頻中的第一視頻幀分別與所述第一視頻幀相鄰的前三個視頻幀之間的相關係數。

多臺攝像機可以採集到多路視頻，以多路視頻中的任意一路視頻即第一路視頻為例，第一視頻幀可以是第一路視頻中的其中一個視頻幀。

相關係數可以用於表示視頻幀之間的關聯程度，可以通過對視頻幀的灰度值的匹配分析，計算出兩個視頻幀之間的相關係數。

計算出的三個相關係數，可以用ρi(i＝1,2,3)表示，可以按如下公式將這三個相關係數取平均值即計算出相關係數的平均值，可以用表示。

根據公式

可以確定出所述第一路視頻的間隔幀數。

攝像頭採集視頻數據的幀率可以用fps表示其中，間隔幀數取值為整數，即間隔幀數取δn的整數部分。

例如，當計算出的數值為小數是時，則可以取該數值的整數部分作為間隔幀數。

由上述技術方案可以看出，當待處理視頻幀為特定視頻幀時，則將所述待處理視頻幀和所述待處理視頻幀對應的相鄰視頻幀之間的圖像重疊區域作為roi視頻圖像；對該roi視頻圖像進行顯著性區域檢測，並利用surf算法對所述顯著性區域進行特徵點檢測，利用最近鄰與次近鄰比算法對所述特徵點進行粗匹配；利用ransac算法對粗匹配後的特徵點進行提純，計算出所述特徵點對應的投影變換矩陣；從而利用所述投影變換矩陣對所述待處理視頻幀以及所述相鄰視頻幀進行融合、拼接，得到目標視頻幀。按照上述操作方式，提高了視頻幀特徵點檢測的效率以及匹配的準確率，滿足了視頻拼接對實時處理速度的要求。

按照上述方式，可以實現視頻幀的拼接，當視頻幀是最後一幀即末幀時，則可以結束操作，當該視頻幀不是最後一幀時，則可以重新計算各路視頻對應的間隔幀數，並返回所述s10，即重複執行上述操作，直至完成各路視頻的拼接。

圖5為本發明實施例提供的一種視頻拼接的裝置的結構示意圖，包括判斷單元51、處理單元52、檢測單元53、匹配單元54、計算單元55和拼接單元56，

所述判斷單元51，用於判斷待處理視頻幀是否為特定視頻幀；

若所述待處理視頻幀是特定視頻幀，則觸發所述處理單元52，所述處理單元52，用於將所述待處理視頻幀和所述待處理視頻幀對應的相鄰視頻幀之間的圖像重疊區域作為roi視頻圖像；其中，所述待處理視頻幀和所述相鄰視頻幀由相鄰的兩臺攝像機採集；

所述檢測單元53，用於對所述roi視頻圖像進行顯著性區域檢測，獲得所述roi視頻圖像對應的顯著性區域；

所述檢測單元53還用於利用surf算法對所述顯著性區域進行特徵點檢測，獲取到所述顯著性區域的特徵點；

所述匹配單元54，用於利用最近鄰與次近鄰比算法對所述特徵點進行粗匹配；

所述計算單元55，用於利用ransac算法對粗匹配後的特徵點進行提純，計算出所述特徵點對應的投影變換矩陣；

所述拼接單元56，用於利用所述投影變換矩陣對所述待處理視頻幀以及所述相鄰視頻幀進行融合、拼接，得到目標視頻幀。

可選的，所述判斷單元具體用於判斷待處理視頻幀是否為首幀；若是，則觸發所述處理單元；

若否，則判斷所述待處理視頻幀是否為關鍵幀；

若所述待處理視頻幀為所述關鍵幀，則觸發所述處理單元。

可選的，還包括選取單元，

所述計算單元還用於計算各路視頻對應的間隔幀數；

所述選取單元，用於每隔所述間隔幀數選取一幀圖像作為關鍵幀。

可選的，所述計算單元包括相關係數計算子單元、平均值計算子單元和間隔幀數確定子單元，

所述相關係數計算子單元，用於用於計算第一路視頻中的第一視頻幀分別與所述第一視頻幀相鄰的前三個視頻幀之間的相關係數；所述第一路視頻為各路視頻中的任意一路視頻；

所述平均值計算子單元，用於計算所述相關係數的平均值

所述間隔幀數確定子單元，用於

根據公式

確定出所述第一路視頻的間隔幀數；

其中，fps表示採集所述視頻幀的幀率，所述間隔幀數取δn的整數部分。

可選的，所述檢測單元包括對數譜計算子單元、平均譜計算子單元、頻域殘差計算子單元、空間域殘差計算子單元和二值化處理子單元，

所述對數譜計算子單元，用於計算所述roi視頻圖像的對數譜l(i)；

所述平均譜計算子單元，用於根據公式a(i)＝l(i)×h(i)，計算出所述roi視頻圖像的平均譜a(i)，

其中，

所述頻域殘差計算子單元，用於利用公式r(i)＝l(i)-a(i)，計算出所述roi視頻圖像的頻域殘差r(i)；

所述空間域殘差計算子單元，用於根據公式s(i)＝ifft[exp(r(i)+p(i))]2，計算出所述roi視頻圖像的空間域殘差s(i)，

其中，p(i)表示相位角；

所述二值化處理子單元，用於依據所述空間域殘差s(i)，對所述roi視頻圖像進行二值化處理，獲得所述roi視頻圖像對應的顯著性區域，所述顯著性區域的公式如下所示，

其中，theshold表示的是殘差圖分割的閾值，otherwise表示的是s(i)≤theshold的數值。

可選的，所述檢測單元包括選取子單元、確定子單元和計算子單元，

所述選取子單元，用於從所述顯著性區域中選取檢測surf特徵的目標區域；

所述確定子單元，用於利用尺度空間極值檢測，確定出所述目標區域的初始特徵點的位置和所在尺度，構建尺度空間的圖像金字塔；

所述確定子單元還用於根據公式δ(h)＝dxxdyy-(0.9dxy)2，計算出對應的局部極值，並對所述局部極值進行非極大值抑制，確定出候選點，

其中，δ(h)是矩陣是判別式，dxx指的是採用盒子濾波器對圖像進行x方向濾波後得到的結果，dyy指的是採用盒子濾波器對圖像進行y方向濾波後得到的結果，dxy指的是採用盒子濾波器對圖像進行xy方向濾波後得到的結果；

所述計算子單元，用於對所述初始特徵點和所述候選點進行harr小波響應計算，確定出特徵點主方向；

所述計算子單元還用於依據所述特徵點主方向，計算所述顯著性區域的harr小波響應，生成特徵點的描述子。

可選的，還包括第二判斷單元，

所述第二判斷單元，用於判斷所述視頻幀是否為末幀；

所述計算單元還用於當所述視頻幀不是末幀時，則重新計算各路視頻對應的間隔幀數，並觸發所述判斷單元。

由上述技術方案可以看出，當待處理視頻幀為特定視頻幀時，則將所述待處理視頻幀和所述待處理視頻幀對應的相鄰視頻幀之間的圖像重疊區域作為roi視頻圖像；對該roi視頻圖像進行顯著性區域檢測，並利用surf算法對所述顯著性區域進行特徵點檢測，利用最近鄰與次近鄰比算法對所述特徵點進行粗匹配；利用ransac算法對粗匹配後的特徵點進行提純，計算出所述特徵點對應的投影變換矩陣；從而利用所述投影變換矩陣對所述待處理視頻幀以及所述相鄰視頻幀進行融合、拼接，得到目標視頻幀。按照上述操作方式，提高了視頻幀特徵點檢測的效率以及匹配的準確率，滿足了視頻拼接對實時處理速度的要求。

圖5所對應實施例中特徵的說明可以參見圖1、圖2和圖4所對應實施例的相關說明，這裡不再一一贅述。

以上對本發明實施例所提供的一種視頻拼接的方法與裝置進行了詳細介紹。說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例公開的裝置而言，由於其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以對本發明進行若干改進和修飾，這些改進和修飾也落入本發明權利要求的保護範圍內。

專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、計算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。

結合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬體、處理器執行的軟體模塊，或者二者的結合來實施。軟體模塊可以置於隨機存儲器(ram)、內存、只讀存儲器(rom)、電可編程rom、電可擦除可編程rom、寄存器、硬碟、可移動磁碟、cd-rom、或技術領域內所公知的任意其它形式的存儲介質中。