全景拼接攝像機和球機聯動控制方法及裝置製造方法
2023-09-21 09:06:40
全景拼接攝像機和球機聯動控制方法及裝置製造方法
【專利摘要】全景拼接攝像機和球機聯動控制方法及裝置。本發明提供了一種本發明的有益效果在於首先通過全景拼接獲取一幅大視野的全景畫面，而後調整視野、建立球機與全景拼接攝像機的位置映射關係後對全景畫面中使用設備獲取目標區域根據映射關係實現聯動，從而避免遠距離情況下看不清全景畫面中的運動目標（人臉、車牌等），減少了監控人員的工作量，可手動選擇全景畫面中感興趣區域實現球機聯動，給操控者提供了一個完整的、大視野、高解析度的連續畫面，更接近人眼觀察的視角，避免監控時各畫面間來回切換。
【專利說明】全景拼接攝像機和球機聯動控制方法及裝置
【技術領域】
[0001]本發明涉及視頻處理【技術領域】，尤其是指一種全景拼接攝像機和球機聯動控制方法及裝置。
【背景技術】
[0002]在監控系統快速發展的今天，系統規模越來越大，監控點越來越多，工作人員面對越來越多的監控圖像已無暇顧及，隨著監控範圍的不斷擴大，需要對整座橋梁、機場，很長一段公路或者高層建築進行監控，大多數攝像機的視場達不到這樣大的監控範圍，因此對大視場視頻監控的要求逐漸增多，逐漸形成了一種高端需求。視頻全景拼接作為一種解決方案，也得到了越來越多的關注。隨之而來的視頻監控系統將扮演著重要的角色。
[0003]到目前為止，常見的監控設備有2種，第一種是槍機，採用槍機對準某個場景進行監控，不足之處是當監控場景較多時，需要在各場景間來回切換，當視頻路數較多、切換頻繁時，監控人員容易疲倦，且人的注意力只能集中在部分畫面上；第二種是球機，球機監控通過轉動球機對周圍區域監控，但缺點是球機視野有限，同一時間只能監控一個場景，這樣仍然會漏掉部分重要信息。
[0004]在目標跟蹤環節，若單是依靠球機，不論是通過手動控球或自動跟蹤目標方式其跟蹤效果受很多因素影響，容易發生跟蹤失敗或目標切換，且跟蹤過程中，監控畫面視野集中在跟蹤目標附近，容易漏掉其它重要信息。若是依靠槍機，目標容易出現在多個畫面中，畫面間切換影響監控人員對視頻信息的捕捉，而且槍機安裝方向固定，監控場景不會隨著目標而改變，較容易丟失跟蹤目標。且在視頻監控中，經常由於目標距離較遠，導致目標(人臉、車牌等)的檢測識別正確率較低。
【發明內容】
[0005]本發明的目的在於克服了上述缺陷，提供一種全景拼接攝像機和球機聯動控制方法及裝置，
[0006]本發明的目的是這樣實現的:一種全景拼接攝像機和球機聯動控制方法，它包括步驟，
[0007]A)、在監控點設置球機與全景拼接攝像機，設置過程中全景拼接攝像機採用水平/垂直/水平垂直拼接方式，通過調整各路視頻的攝像頭方向進行全景畫面拼接；
[0008]B)、調整全景拼接攝像機的視野，使之全景拼接畫面中視野覆蓋設置的球機視野；
[0009]C)、標定球機與全景拼接攝像機,建立球機與全景拼接攝像機的位置映射關係；
[0010]D)、獲取輸入設備於全景拼接畫面中標定的目標區域，對應目標區域分配矩形框；
[0011]E)、根據位置映射關係聯動對應球機調整、聚焦獲取該目標區域圖像；
[0012]上述方法中，所述步驟C具體包括，[0013]Cl)、播放全景拼接攝像機的未拼接原始視頻和球機視頻；
[0014]C2)、不重複的選擇全景拼接攝像機的一個未拼接原始視頻；
[0015]C3)、通過輸入設備在選擇的未拼接原始視頻中不重複的選擇一個特徵點，記錄該特徵點的坐標；
[0016]C4)、標出球機視頻中畫面的中心，通過操控使球機畫面中心落到步驟C2所選擇的特徵點上，將此時的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應特徵點的坐標分組記錄；
[0017]C5)、重複步驟C3、C4至少6次；
[0018]C6 )、對每組記錄中的球機水平傾角值、球機垂直傾角值及匹配點坐標採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同步驟C2中選擇的拼接原始視頻的標識符及步驟C4中?呆控的球機的標識符對應保存完成映射關係建立；
[0019]C7)、重複步驟C2-C6，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立;
[0020]上述方法中，所述步驟C具體包括，
[0021]Cl)、操控使球機畫面與全景拼接攝像機的各未拼接原始視頻中心一致；
[0022]C2)、提取各未拼接原始視頻的一幀圖像,對該圖像提取sift/surf/harris特徵點，然後特徵匹配、匹配對採用最小二乘法計算出透視變換矩陣；
[0023]C3)、通過透視變換矩陣對各未拼接原始視頻估計其4個邊緣角點的球機水平傾角值及球機垂直傾角值；`
[0024]C4)、不重複的選擇全景拼接攝像機的一個未拼接原始視頻，將其坐標變化範圍等分成多份，分別根據每份的球機水平傾角值及球機垂直傾角值控制球機到達相應位置；
[0025]C5)、球機每到達一個位置，對此時的未拼接原始視頻和球機畫面進行特徵提取並匹配，若匹配點滿足閾值則保存相應坐標和球機此時的球機水平傾角值及球機垂直傾角值；
[0026]C6)、重複步驟C4-C5，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立；
[0027]上述方法中，所述步驟C5後還包括手動修正的步驟，包括:
[0028]查看自動標定的匹配對，若存在誤差則參考步驟C4、C5手動控球調整球機，獲取至少6個匹配點，將匹配點的坐標及球機的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應分組記錄，對每組記錄中的球機水平傾角值、球機垂直傾角值及匹配點坐標採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇的拼接原始視頻的標識符及操控的球機的標識符對應保存完成映射關係建立；
[0029]上述方法中，所述步驟E中的聯動具體包括步驟，
[0030]E1)、根據矩形框信息，計算矩形框的中心點坐標；
[0031]E2)、根據矩形框中心點坐標值定位其在全景拼接畫面中所屬的區域；
[0032]E3)、判斷上述區域是否位於全景拼接攝像機中的重疊區域，否則獲取區域的信息而後執行步驟E4，是則執行步驟E5 ；
[0033]E4)、根據區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置；[0034]E5)、比較矩形框中心點坐標值與重疊的兩個未拼接原始視頻的中心點的距離，根據距離最近的區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置；
[0035]E6)、根據矩形框中心點所在未拼接原始視頻的映射關係，以矩形框中心點的坐標位置獲取對應的球機水平傾角值及球機垂直傾角值；
[0036]E7 )、根據球機水平傾角值及球機垂直傾角值驅動球機調整。
[0037]本發明還涉及一種全景拼接攝像機和球機聯動控制裝置，它包括，
[0038]拼接設置模塊，用於在監控點設置球機與全景拼接攝像機，設置過程中全景拼接攝像機採用水平/垂直/水平垂直拼接方式，通過調整各鏡頭方向實現全景畫面拼接，而後轉到調整模塊；
[0039]調整模塊，用於調整全景拼接攝像機的視野，使之全景拼接畫面中視野覆蓋設置的球機視野，而後轉到標定模塊；
[0040]標定模塊，用於標定球機與全景拼接攝像機，建立球機與全景拼接攝像機的位置映射關係，而後轉到目標區域獲取模塊；
[0041]目標區域獲取模塊，獲取輸入設備於全景拼接畫面中標定的目標區域，對應目標區域分配矩形框，而後轉到球機聯動模塊；
[0042]球機聯動模塊，用於根據位置映射關係聯動對應球機調整、聚焦獲取該目標區域圖像；
[0043]上述中,所述標定模塊具體包括，
[0044]播放單元，用於播放全景拼接攝像機的未拼接原始視頻和球機視頻，而後轉到選擇原始視頻單兀；
[0045]選擇原始視頻單元，用於不重複的選擇全景拼接攝像機的一個未拼接原始視頻而後轉到特徵點選擇單元；
[0046]特徵點選擇單元，用於通過輸入設備在選擇的未拼接原始視頻中不重複的選擇一個特徵點，記錄該特徵點的坐標轉到分組記錄單元；
[0047]分組記錄單元，用於標出球機視頻中畫面的中心，通過操控使球機畫面中心落到選擇原始視頻單元所選擇的特徵點上，將此時的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應特徵點的坐標分組記錄，轉到重複單元；
[0048]重複單元，用於重複步驟特徵點選擇單元、標定記錄單元至少6次而後轉到標定單元；
[0049]標定單元，用於對每組記錄中的球機水平傾角值、球機垂直傾角值及匹配點坐標採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇原始視頻單元中選擇的拼接原始視頻的標識符及分組記錄單元中操控的球機的標識符對應保存完成映射關係建立，而後轉到全景重複單元；
[0050]全景重複單元，用於重複步驟選擇原始視頻單元、特徵點選擇單元、分組記錄單元、重複單元及標定單元，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立；
[0051]上述中，所述標定模塊具體包括，
[0052]操控單元，用於操控使球機畫面與全景拼接攝像機的各未拼接原始視頻中心一致而後轉到特徵提取單元；
[0053]特徵提取單元，用於提取各未拼接原始視頻的一幀圖像，對該圖像提取sift/surf/harris特徵點，然後特徵匹配、匹配對採用最小二乘法計算出透視變換矩陣而後轉到邊緣估計單元；
[0054]邊緣估計單元，用於通過透視變換矩陣對各未拼接原始視頻估計其4個邊緣角點的球機水平傾角值及球機垂直傾角值而後轉到球機對位單元；
[0055]球機對位單元，用於不重複的選擇全景拼接攝像機的一個未拼接原始視頻，將其坐標變化範圍等分成多份，分別根據每份的球機水平傾角值及球機垂直傾角值控制球機到達相應位置而後轉到匹配單元；
[0056]匹配單元，用於球機每到達一個位置，對此時的未拼接原始視頻和球機畫面進行特徵提取並匹配，若匹配點滿足閾值則保存相應坐標和球機此時的球機水平傾角值及球機垂直傾角值而後轉到標定單元；
[0057]標定單元，用於重複球機對位單元、匹配單元，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立；
[0058]上述中，所述標定單元轉到手動修正單元,所述手動修正單元用於查看自動標定的匹配對，若存在誤差則參考球機對位單元、匹配單元手動控球調整球機，獲取至少6個匹配點，將匹配點的坐標及球機的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應分組記錄，對每組記錄中的球機水平傾角值、球機垂直傾角值及匹配點坐標採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇的拼接原始視頻的標識符及?呆控的球機的標識符對應保存完成映射關係建立;
[0059]上述中，所述運動 檢測模塊的聯動具體有下述單元實現，
[0060]矩形框中心點計算單元，用於根據矩形框信息，計算矩形框的中心點坐標而後轉到全景區域定位單元；
[0061]全景區域定位單元，用於根據矩形框中心點坐標值定位其在全景拼接畫面中所屬的區域而後轉到區域判斷單元；
[0062]區域判斷單元，用於判斷上述區域是否位於全景拼接攝像機中的重疊區域，否則獲取區域的信息而後執行坐標計算單元，是則執行比較坐標計算單元；
[0063]坐標計算單元，用於根據區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置，而後轉到球機聯動單元；
[0064]比較坐標計算單元，用於比較矩形框中心點坐標值與重疊的兩個未拼接原始視頻的中心點的距離，根據距離最近的區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置，而後轉到球機聯動單元；
[0065]球機聯動單元，用於根據矩形框中心點所在未拼接原始視頻的映射關係，以矩形框中心點的坐標位置獲取對應的球機水平傾角值及球機垂直傾角值而後轉到球機執行單元;
[0066]球機執行單元，根據球機水平傾角值及球機垂直傾角值驅動球機調整。
[0067]本發明的有益效果在於首先通過全景拼接獲取一幅大視野的全景畫面，而後調整視野、建立球機與全景拼接攝像機的位置映射關係後對全景畫面中使用設備獲取目標區域根據映射關係實現聯動，從而避免遠距離情況下看不清全景畫面中的運動目標(人臉、車牌等)，減少了監控人員的工作量，可手動選擇全景畫面中感興趣區域實現球機聯動，給操控者提供了一個完整的、大視野、高解析度的連續畫面，更接近人眼觀察的視角，避免監控時各畫面間來回切換。
【專利附圖】
【附圖說明】
[0068]下面結合附圖詳述本發明的具體結構
[0069]圖1為本發明的聯動拼接示意圖；
[0070]圖2為本發明的水平拼接全景畫面示意圖；
[0071]圖3為本發明的第一實施例方法流程圖；
[0072]圖4為本發明的垂直拼接全景畫面示意圖；
[0073]圖5為本發明的第二實施例方法流程圖；
[0074]圖6為本發明的水平垂直拼接全景畫面示意圖；
[0075]圖7為本發明的第三實施例方法流程圖。
【具體實施方式】
[0076]為詳細說明本發明的技術內容、構造特徵、所實現目的及效果，以下結合實施方式並配合附圖詳予說明。
[0077]本發明提供了一種全景拼接攝像機和球機聯動控制方法，它包括步驟，
[0078]A)、在監控點設置球機與全景拼接攝像機，設置過程中全景拼接攝像機採用水平或垂直或水平垂直拼接方式，通過調整各鏡頭方向實現全景畫面拼接；
[0079]B)、調整全景拼接攝像機的視野，使之全景拼接畫面中視野覆蓋設置的球機視野；
[0080]C)、標定球機與全景拼接攝像機,建立球機與全景拼接攝像機的位置映射關係；
[0081]D)、獲取輸入設備於全景拼接畫面中標定的目標區域，對應目標區域分配矩形框；
[0082]E)、根據位置映射關係聯動對應球機調整、聚焦獲取該目標區域圖像。
[0083]本方法首先將相互間存在重疊部分的視頻序列進行空間匹配對準結合曝光融合後形成一幅包含各視頻序列信息的大視角高解析度的連續圖像，而後建立球機和全景拼接攝像機之間映射關係，從而當操作人員直接在全景拼接畫面中點擊或框選區域後，全景攝像機和球機之間可實現聯動，即根據映射關係控制相應位置的球機調整、聚焦至該定位區域。進一步的，操作人員還可在全景拼接畫面中標定的目標區域，一旦拼接畫面中的目標區域出現運動如車輛、行人等目標時，系統就會聯動的控制球機快速聚焦定位該目標，從而使得操作人員可看清全景拼接畫面中看不清的部分(人臉、車牌等)，有利於捕捉更多細節信息。由此整個監控方法藉由全景拼接畫面聯動個體球機的方式，給操控者提供了一個完整的、大視野、高解析度的連續畫面，更接近人眼觀察的視角，避免監控時各畫面間來回切換。同時使用球機配合，在全景畫面當獲取到輸入設備輸入的目標區域時，調用球機快速聚焦定位該目標。解決了原有方法中多視頻畫面間頻繁切換，導致監控人員注意力分散，且長時間查看多路視頻易疲倦，同時在全景畫面中目標所佔像素較少，導致看不清目標(人臉、車牌等)的關鍵信息的缺陷。[0084]作為一實施例,上述步驟C具體包括，[0085]Cl)、播放全景拼接攝像機的未拼接原始視頻和球機視頻；
[0086]C2)、不重複的選擇全景拼接攝像機的一個未拼接原始視頻；
[0087]C3)、通過滑鼠或觸摸等輸入設備在選擇的未拼接原始視頻中不重複的選擇一個特徵點i，記錄該特徵點在畫面中的x/y軸坐標Pt.x[i], pt.y[i]；
[0088]C4)、標出球機視頻中畫面的中心，通過操控使球機畫面中心落到步驟C2所選擇的特徵點上，將此時的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應特徵點的坐標分組記錄；
[0089]上述操控一般為手動操控，而球機水平傾角值、球機垂直傾角值及球機縮放倍率值則在球機內分別對應有球機水平傾角函數pan[i]、球機的垂直傾角函數tilt[i]、縮放倍率函數zoom[i]，當調整到位後，讀取上述函數的值即可。
[0090]C5 )、重複步驟C3、C4至少6次；
[0091]即從全景拼接攝像機的未拼接原始視頻中選擇不重複的選擇6個特徵點並對每
個特徵點操控球機視頻的畫面的中心對準特徵點記錄--對應的球機水平傾角值、球機垂
直傾角值及球機縮放倍率值。
[0092]C6)、對每組記錄中的球機水平傾角值、球機垂直傾角值(即至少6組的pan_a[i]、tilt_a[i], i>=6)採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同步驟C2中選擇的拼接原始視頻的標識符及步驟C4中操控的球機的標識符對應保存完成標定。
[0093]此處，全景拼接攝像機的各未拼接原始視頻來自於獨立的槍機，而I個槍機通常有一個Mac地址，因此標識符可直接採用其Mac地址，而球機(全景半球)通常只有一個MAC地址，因此為了區分，可採用MAC+通道作為標識符，對應保存後即完成對本次選定的未拼接原始視頻和球機的標定工作(即建立映射關係)。
[0094]C7)、重複步驟C2-C6，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關
系建立。
[0095]通過上述技術方案的介紹可看出，本實施例提供的是一種適用於手動標定的方案。該方案的優點在於選點的精度較高，但缺點則是使用起來較為不方便，且選點較麻煩。
[0096]為了克服上實施例手動標定的缺陷，本專利提供一種自動標定的實施例，同樣是對應步驟C具體包括步驟:
[0097]Cl)、操控使球機畫面與全景拼接攝像機的各未拼接原始視頻中心一致；
[0098]本步驟的操控通常是通過手動控球使各球機畫面與對應全景拼接攝像機的各未拼接原始視頻中心一致，即未拼接畫面中心參照物在球機畫面中心。
[0099]C2)、提取各未拼接原始視頻的一幀圖像,對該圖像提取sift/surf/harris特徵點，然後特徵匹配、匹配對採用最小二乘法計算出透視變換矩陣；
[0100]C3)、通過透視變換矩陣對各未拼接原始視頻估計其4個邊緣角點的球機水平傾角值及球機垂直傾角值；
[0101]C4)、根據未拼接原始視頻PT坐標的變化範圍等分成多份(一般至少20份以上)，分別根據每份的球機水平傾角值及球機垂直傾角值控制球機到達相應位置；
[0102]C5)、球機每到達一個位置，對此時的未拼接原始視頻和球機畫面進行特徵提取並匹配，若匹配點滿足閾值則保存相應坐標和球機此時的球機水平傾角值及球機垂直傾角值；
[0103]C6)、重複步驟C4-C5，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關
系建立。
[0104]本實施例的優點在於操作簡便，缺點則精度相對手動要低，且使用時，球機畫面要和未拼接趣面中心一致。在自動標定中添加手動修正後可達較聞精度。
[0105]為了解決上述精度不足的問題，進一步的，在一實施例中，上述自動標定方法中步驟C5後還包括手動修正的步驟,包括:
[0106]查看自動標定的匹配對，若存在誤差則參考步驟C4、C5手動控球調整球機，獲取至少6個匹配點，將匹配點的坐標及球機的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應分組記錄，對每組記錄中的球機水平傾角值、球機垂直傾角值採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇的拼接原始視頻的標識符及操控的球機的標識符對應保存完成映射關係建立。
[0107]在一實施例中，所述步驟E中的聯動具體包括步驟，
[0108]E1)、根據矩形框信息，計算矩形框的中心點坐標；
[0109]E2)、根據矩形框中心點坐標值定位其在全景拼接畫面中所屬的區域；
[0110]E3)、判斷上述區域是否位於全景拼接攝像機中的重疊區域，否則獲取區域的信息而後執行步驟E4，是則執行步驟E5 ；
[0111]E4)、根據區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置；
[0112]E5)、比較矩形框中心點坐標值與重疊的兩個未拼接原始視頻的中心點的距離，根據距離最近的區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置；
[0113]E6 )、根據矩形框中心點所在未拼接原始視頻的映射關係，以矩形框中心點的坐標位置獲取對應的球機水平傾角值及球機垂直傾角值。
[0114]E7 )、根據球機水平傾角值及球機垂直傾角值驅動球機調整。
[0115]以圖1為例，它包含4副原始圖像，圖中Al、A2、A3、A4是非重疊區域，B1、B2、B3是重疊區域，通過一定的融合規則，消除拼接接縫，在計算拼接參數的時候，每個區域在全景圖中的坐標是已知的。
[0116]假定通過上述步驟El後，計算矩形框的中心點坐標為(Pt.x,pt.y)。
[0117]在後續判斷時，如果坐標(pt.x，pt.y)屬於Al區域，通過對應Al的投影逆變換法貝U，按照拼接的逆過程執行，如果(Pt.X, Pt.y)屬於A2、A3、A4區域，執行對應序號的逆變換，計算出原始圖像中的坐標位置(mpt.χ, mpt.y)；
[0118]而如果坐標(pt.x,pt.y)屬於BI區域，那麼需判定該點到原始圖像I中心點的距離dl、原始圖像2中心點的距離d2，距離哪個近，就採用對應序號的投影逆變換法則，計算出原始圖像中的坐標位置(mpt.χ, mpt.y)；
[0119]最後,根據前面標定保存的結果,讀取對應標識符的pan_a[6]和tilt_a[6],
[0120]然後根據公式:
[0121]PAN (需要調整的球機水平傾角值)=pan_a[l]*X~2+pan_a[2]*XY (此處XY為跟蹤目標框的中心位置)+pan_a [3] Y"2+pan_a [4] *X+pan_a [5] *Y+pan_a [6]
[0122]同理使用tilt_a[6]計算TILT (需要調整的球機垂直傾角值)。
[0123]作為一實施例，上述步驟C後還包括判斷是否標定成功，是則繼續，否則調整球機的畫面使之與全景拼接攝像機未拼接前的各原始畫面中心對齊後轉回步驟C的步驟。
[0124]本實施例中的判斷標定是否成功很重要，通過增加這個過程，使得後續在操作全景畫面時確保了球機可以完成槍球聯動的效果。
[0125]而本步驟中的標定是否成功的判斷，最簡單的方式是依靠人工判斷，通過標定過程中球機與拼接前單畫面逐一標定，每標定完一個單畫面，可通過點擊單畫面場景A，查看球機是否能響應到A，以此判斷標定成功和標定的精度。
[0126]作為一實施例，上述步驟E中，矩形框參數包括矩形框大小、矩形框位置信息。
[0127]現有視頻監控中的目標框多為矩形，因此，對應分析一般獲取矩形框大小、矩形框位置信息，這兩個信息可通過矩形的左上、右下點特徵來描述。而參數的獲取方式分為手動和自動，手動方式比如滑鼠在拼接全景畫面中畫矩形，自動獲取則是通過在拼接全景畫面中增加運動目標檢測，運動目標檢測常見的方法有幀間差法、背景差法、光流法等，矩形框的參數主要依賴於運動目標的位置和大小。
[0128]而矩形框大小、矩形框位置信息的作用主要是供後續計算球機響應pan(水平視場角)、tilt (垂直視場角)、zoom (縮放倍數)這3個指令參數。
[0129]作為一實施例,上述步驟E後還包括步驟F,
[0130]F)、對球機圖像進行特徵檢測並提取特徵而後識別。
[0131]通過增加這個步驟，當獲取到目標區域並通過球機聚焦定位後抓拍運動目標獲取圖像後，系統進一步會自動根據特徵對圖像進行檢測以提取特徵，進一步的進行後期對應識別。由於特徵的提取是根據設定的特徵而啟動的，因此識別可以更有針對性，從而有效提高識別率。
[0132]較佳的，上述的特徵檢測包括人臉、車牌特徵檢測。其中人臉是針對監控中人物身份的最有效信息，而車牌則是區分車輛的有效信息，因此這兩種特徵可分別獲取人物、車輛的信息，以便後續識別。
[0133]較佳的，上述步驟中識別通過將提取的特徵與資料庫中數據對比進行識別。採用與資料庫比對的方式可最快的確保識別比對的時間和準確度。
[0134]具體實施例一:
[0135]本實施例方法如圖3所示。
[0136]在攝像機安裝過程中，全景拼接攝像機採用水平拼接方式(如圖2所示)，各畫面間有部分重疊區域，若拼接不成功，可調整各鏡頭方向，增大重疊部分；
[0137]調整全景拼接攝像機的視野，使全景拼接畫面中的大部分視野球機都能覆蓋；
[0138]攝像機標定，建立球機和全景拼接攝像機的位置間的映射關係，若標定失敗，可調整球機，使球機和槍機的畫面中心基本一致；
[0139]通過輸入設備點擊或者框選全景拼接畫面中的區域A，球機定位聚焦區域A ;
[0140]對球機抓拍保存的圖片可以通過人臉、車輛檢測、提取出人臉、車牌等，然後通過識別技術與人臉、車牌庫對比，識別可疑目標。
[0141]具體實施例二:[0142]本實施例方法如圖5所示。
[0143]在攝像機安裝過程中，全景拼接攝像機採用垂直拼接方式(如圖4所示)，各畫面間有部分重疊區域，若拼接不成功，可調整各鏡頭方向，增大重疊部分；
[0144]調整全景拼接攝像機的視野，使全景拼接畫面中的大部分視野球機都能覆蓋；
[0145]攝像機標定，建立球機和全景拼接攝像機的位置間的映射關係，若標定失敗，可調整球機，使球機和槍機的畫面中心基本一致；
[0146]通過輸入設備點擊或者框選全景拼接畫面中的區域A，球機定位聚焦區域A ;
[0147]對球機抓拍保存的圖片可以通過人臉、車輛檢測、提取出人臉、車牌等，然後通過識別技術與人臉、車牌庫對比，識別可疑目標；
[0148]在攝像機安裝過程中，全景拼接攝像機採用水平垂直拼接方式，各畫面間有部分重疊區域，若拼接不成功，可調整各鏡頭方向，增大重疊部分；
[0149]具體實施例三:
[0150]本實施例方法如圖7所示。
[0151]在攝像機安裝過程中，全景拼接攝像機採用水平垂直拼接方式，各畫面間有部分重疊區域(如圖6所示)，若拼接不成功，可調整各鏡頭方向，增大重疊部分；
[0152]調整全景拼接攝像機的視野，使全景拼接畫面的大部分視野球機都能覆蓋；
[0153]攝像機標定，建立球機和全景拼接攝像機的位置間的映射關係，若標定失敗，可調整球機，使球機和槍機的畫面中心基本一致；
[0154]通過輸入設備點擊或者框選全景拼接畫面中的區域A，球機定位聚焦區域A ;
[0155]對球機抓拍保存的圖片可以通過人臉、車輛檢測、提取出人臉、車牌等，然後通過識別技術與人臉、車牌庫對比，識別可疑目標。
[0156]本發明還涉及一種全景拼接攝像機和球機聯動控制裝置，它包括:
[0157]拼接設置模塊，用於在監控點設置球機與全景拼接攝像機，設置過程中全景拼接攝像機採用水平/垂直/水平垂直拼接方式，通過調整各鏡頭方向實現全景畫面拼接，而後轉到調整模塊；
[0158]調整模塊，用於調整全景拼接攝像機的視野，使之全景拼接畫面中視野覆蓋設置的球機視野，而後轉到標定模塊；
[0159]標定模塊，用於標定球機與全景拼接攝像機，建立球機與全景拼接攝像機的位置映射關係，而後轉到目標區域獲取模塊；
[0160]目標區域獲取模塊，獲取輸入設備於全景拼接畫面中標定的目標區域，對應目標區域分配矩形框，而後轉到球機聯動模塊；
[0161]球機聯動模塊，用於根據位置映射關係聯動對應球機調整、聚焦獲取該目標區域圖像。
[0162]作為一實施例,上述中,所述標定模塊具體包括，
[0163]播放單元，用於播放全景拼接攝像機的未拼接原始視頻和球機視頻，而後轉到選擇原始視頻單兀；
[0164]選擇原始視頻單元，用於不重複的選擇全景拼接攝像機的一個未拼接原始視頻而後轉到特徵點選擇單元；
[0165]特徵點選擇單元，用於通過輸入設備在選擇的未拼接原始視頻中不重複的選擇一個特徵點，記錄該特徵點的坐標轉到分組記錄單元；
[0166]分組記錄單元，用於標出球機視頻中畫面的中心，通過操控使球機畫面中心落到選擇原始視頻單元所選擇的特徵點上，將此時的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應特徵點的坐標分組記錄，轉到重複單元；
[0167]重複單元，用於重複步驟特徵點選擇單元、標定記錄單元至少6次而後轉到標定單元；
[0168]標定單元，用於對每組記錄中的球機水平傾角值、球機垂直傾角值採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇原始視頻單元中選擇的拼接原始視頻的標識符及分組記錄單元中操控的球機的標識符對應保存完成映射關係建立，而後轉到全景重複單元；
[0169]全景重複單元，用於重複步驟選擇原始視頻單元、特徵點選擇單元、分組記錄單元、重複單元及標定單元，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立。
[0170]作為一實施例,上述中,所述標定模塊具體包括，
[0171]操控單元，用於操控使球機畫面與全景拼接攝像機的各未拼接原始視頻中心一致而後轉到特徵提取單元；
[0172]特徵提取單元，用於提取各未拼接原始視頻的一幀圖像，對該圖像提取sift/surf/harris特徵點，然後特徵匹配、匹配對採用最小二乘法計算出透視變換矩陣而後轉到邊緣估計單元；
[0173]邊緣估計單元，`用於通過透視變換矩陣對各未拼接原始視頻估計其4個邊緣角點的球機水平傾角值及球機垂直傾角值而後轉到球機對位單元；
[0174]球機對位單元，用於不重複的選擇全景拼接攝像機的一個未拼接原始視頻，將其坐標變化範圍等分成多份，分別根據每份的球機水平傾角值及球機垂直傾角值控制球機到達相應位置而後轉到匹配單元；
[0175]匹配單元，用於球機每到達一個位置，對此時的未拼接原始視頻和球機畫面進行特徵提取並匹配，若匹配點滿足閾值則保存相應坐標和球機此時的球機水平傾角值及球機垂直傾角值而後轉到標定單元；
[0176]標定單元，用於重複球機對位單元、匹配單元，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立。
[0177]作為一實施例,上述中，所述標定單元轉到手動修正單元,所述手動修正單元用於查看自動標定的匹配對，若存在誤差則參考球機對位單元、匹配單元手動控球調整球機，獲取至少6個匹配點，將匹配點的坐標及球機的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應分組記錄，對每組記錄中的球機水平傾角值、球機垂直傾角值採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇的拼接原始視頻的標識符及?呆控的球機的標識符對應保存完成映射關係建立。
[0178]作為一實施例，上述中，所述運動檢測模塊的聯動具體有下述單元實現，
[0179]矩形框中心點計算單元，用於根據矩形框信息，計算矩形框的中心點坐標而後轉到全景區域定位單元；
[0180]全景區域定位單元，用於根據矩形框中心點坐標值定位其在全景拼接畫面中所屬的區域而後轉到區域判斷單元；
[0181]區域判斷單元，用於判斷上述區域是否位於全景拼接攝像機中的重疊區域，否則獲取區域的信息而後執行坐標計算單元，是則執行比較坐標計算單元；
[0182]坐標計算單元，用於根據區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置，而後轉到球機聯動單元；
[0183]比較坐標計算單元，用於比較矩形框中心點坐標值與重疊的兩個未拼接原始視頻的中心點的距離，根據距離最近的區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置，而後轉到球機聯動單元；
[0184]球機聯動單元，用於根據矩形框中心點所在未拼接原始視頻的映射關係，以矩形框中心點的坐標位置獲取對應的球機水平傾角值及球機垂直傾角值而後轉到球機執行單元;
[0185]球機執行單元，根據球機水平傾角值及球機垂直傾角值驅動球機調整。
[0186]作為一實施例，上述標定模塊通過判斷模塊轉到定位模塊，所述判斷模塊，用於判斷是否標定成功，是則轉到設置模塊，否則調整球機的畫面使之與全景拼接攝像機的畫面中心對齊後轉回標定|吳塊。
[0187]作為一實施例，上述運動檢測模塊拍攝跟蹤目標圖像後轉到識別模塊，識別模塊用於對球機圖像進行特徵檢測並提取特徵而後識別。
[0188]需要說明的是，如前述3種拼接方式如圖2、圖4、圖6，目前常見的是水平拼接方式，主要用於監控高速公路、廣場、倉庫等，垂直拼接方式可用於樓宇、橋梁等監控場景，當監控場景是飛機場等特別大的地方時，單獨的水平和垂直拼接方式都滿足不了需求，此時就要考慮採用水平垂直拼接方式。
[0189]以上所述僅為本發明的實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其它相關的【技術領域】，均同理包括在本發明的專利保護範圍內。
【權利要求】
1.一種全景拼接攝像機和球機聯動控制方法，其特徵在於:它包括步驟， A)、在監控點設置球機與全景拼接攝像機，設置過程中全景拼接攝像機採用水平/垂直/水平垂直拼接方式，通過調整各路視頻的攝像頭方向進行全景畫面拼接； B)、調整全景拼接攝像機的視野，使之全景拼接畫面中視野覆蓋設置的球機視野； C)、標定球機與全景拼接攝像機，建立球機與全景拼接攝像機的位置映射關係； D)、獲取輸入設備於全景拼接畫面中標定的目標區域，對應目標區域分配矩形框； E)、根據位置映射關係聯動對應球機調整、聚焦獲取該目標區域圖像。
2.如權利要求1所述的全景拼接攝像機和球機聯動控制方法，其特徵在於:所述步驟C具體包括， Cl)、播放全景拼接攝像機的未拼接原始視頻和球機視頻； C2)、不重複的選擇全景拼接攝像機的一個未拼接原始視頻； C3)、通過輸入設備在選擇的未拼接原始視頻中不重複的選擇一個特徵點，記錄該特徵點的坐標； C4)、標出球機視頻中畫面的中心，通過操控使球機畫面中心落到步驟C2所選擇的特徵點上，將此時的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應特徵點的坐標分組記錄； C5)、重複步驟C3、C4至少6次； C6)、對每組記錄中的球機水平傾角值、球機垂直傾角值採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同步驟C2中選擇的拼接原始視頻的標識符及步驟C4中操控的球機的標識符對應保存完成映射關係建立； C7)、重複步驟C2-C6，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立。
3.如權利要求1所述的全景拼接攝像機和球機聯動控制方法，其特徵在於:所述步驟C具體包括， Cl)、操控使球機畫面與全景拼接攝像機的各未拼接原始視頻中心一致； C2)、提取各未拼接原始視頻的一幀圖像,對該圖像提取sift/surf/harris特徵點,然後特徵匹配、匹配對採用最小二乘法計算出透視變換矩陣； C3)、通過透視變換矩陣對各未拼接原始視頻估計其4個邊緣角點的球機水平傾角值及球機垂直傾角值； C4)、不重複的選擇全景拼接攝像機的一個未拼接原始視頻，將其坐標變化範圍等分成多份，分別根據每份的球機水平傾角值及球機垂直傾角值控制球機到達相應位置；C5)、球機每到達一個位置，對此時的未拼接原始視頻和球機畫面進行特徵提取並匹配，若匹配點滿足閾值則保存相應坐標和球機此時的球機水平傾角值及球機垂直傾角值；C6)、重複步驟C4-C5，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立。
4.如權利要求3所述的全景拼接攝像機和球機聯動控制方法，其特徵在於:所述步驟C5後還包括手動修正的步驟,包括: 查看自動標定的匹配對，若存在誤差則參考步驟C4、C5手動控球調整球機，獲取至少6個匹配點，將匹配點的坐標及球機的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應分組記錄，對每組記錄中的球機水平傾角值、球機垂直傾角值採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇的拼接原始視頻的標識符及操控的球機的標識符對應保存完成映射關係建立。
5.如權利要求1所述的全景拼接攝像機和球機聯動控制方法，其特徵在於:所述步驟E中的聯動具體包括步驟， E1)、根據矩形框信息，計算矩形框的中心點坐標； E2)、根據矩形框中心點坐標值定位其在全景拼接畫面中所屬的區域； E3)、判斷上述區域是否位於全景拼接攝像機中的重疊區域，否則獲取區域的信息而後執行步驟E4，是則執行步驟E5 ； E4)、根據區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置； E5)、比較矩形框中心點坐標值與重疊的兩個未拼接原始視頻的中心點的距離，根據距離最近的區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置； E6)、根據矩形框中心點所在未拼接原始視頻的映射關係，以矩形框中心點的坐標位置獲取對應的球機水平傾角值及球機垂直傾角值； E7)、根據球機水平傾角值及球機垂直傾角值驅動球機調整。
6.一種全景拼接攝像機和球機聯動控制裝置，其特徵在於:它包括， 拼接設置模塊，用於在監控點設置球機與全景拼接攝像機，設置過程中全景拼接攝像機採用水平/垂直/水平垂直拼接方式，通過調整各鏡頭方向實現全景畫面拼接，而後轉到調整模塊； 調整模塊，用於調整全景拼接攝像機的視野，使之全景拼接畫面中視野覆蓋設置的球機視野，而後轉到標定模塊； 標定模塊，用於標定球機與全景拼接攝像機，建立球機與全景拼接攝像機的位置映射關係，而後轉到目標區域獲取模塊； 目標區域獲取模塊，獲取輸入設備於全景拼接畫面中標定的目標區域，對應目標區域分配矩形框，而後轉到球機聯動模塊； 球機聯動模塊，用於根據位置映射關係聯動對應球機調整、聚焦獲取該目標區域圖像。
7.如權利要求6所述的全景拼接攝像機和球機聯動控制裝置，其特徵在於:所述標定模塊具體包括， 播放單元，用於播放全景拼接攝像機的未拼接原始視頻和球機視頻，而後轉到選擇原始視頻單元； 選擇原始視頻單元，用於不重複的選擇全景拼接攝像機的一個未拼接原始視頻而後轉到特徵點選擇單元； 特徵點選擇單元，用於通過輸入設備在選擇的未拼接原始視頻中不重複的選擇一個特徵點，記錄該特徵點的坐標轉到分組記錄單元； 分組記錄單元，用於標出球機視頻中畫面的中心，通過操控使球機畫面中心落到選擇原始視頻單元所選擇的特徵點上，將此時的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應特徵點的坐標分組記錄，轉到重複單元；重複單元，用於重複步驟特徵點選擇單元、標定記錄單元至少6次而後轉到標定單元； 標定單元，用於對每組記錄中的球機水平傾角值、球機垂直傾角值採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇原始視頻單元中選擇的拼接原始視頻的標識符及分組記錄單元中操控的球機的標識符對應保存完成映射關係建立，而後轉到全景重複單元； 全景重複單元，用於重複步驟選擇原始視頻單元、特徵點選擇單元、分組記錄單元、重複單元及標定單元，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立。
8.如權利要求6所述的全景拼接攝像機和球機聯動控制裝置，其特徵在於:所述標定模塊具體包括， 操控單元，用於操控使球機畫面與全景拼接攝像機的各未拼接原始視頻中心一致而後轉到特徵提取單元； 特徵提取單元，用於提取各未拼接原始視頻的一幀圖像，對該圖像提取sift/surf/harris特徵點，然後特徵匹配、匹配對採用最小二乘法計算出透視變換矩陣而後轉到邊緣估計單元； 邊緣估計單元，用於通過透視變換矩陣對各未拼接原始視頻估計其4個邊緣角點的球機水平傾角值及球機垂直傾角值而後轉到球機對位單元； 球機對位單元，用於不重複的選擇全景拼接攝像機的一個未拼接原始視頻，將其坐標變化範圍等分成多份，分別根據每份的球機水平傾角值及球機垂直傾角值控制球機到達相應位置而後轉到匹配單元； 匹配單元，用於球機每到達一個位置，對此時的未拼接原始視頻和球機畫面進行特徵提取並匹配，若匹配點滿足閾值則保存相應坐標和球機此時的球機水平傾角值及球機垂直傾角值而後轉到標定單元；· 標定單元，用於重複球機對位單元、匹配單元，直至完成全景拼接攝像機的所有未拼接原始視頻的映射關係建立。
9.如權利要求8所述的全景拼接攝像機和球機聯動控制裝置，其特徵在於:所述標定單元轉到手動修正單元，所述手動修正單元用於查看自動標定的匹配對，若存在誤差則參考球機對位單元、匹配單元手動控球調整球機，獲取至少6個匹配點，將匹配點的坐標及球機的球機水平傾角值、球機垂直傾角值及球機縮放倍率值對應分組記錄，對每組記錄中的球機水平傾角值、球機垂直傾角值採用最小二乘法擬合出二次曲面係數，將該二次曲面係數作為標定係數連同選擇的拼接原始視頻的標識符及操控的球機的標識符對應保存完成映射關係建立。
10.如權利要求6所述的全景拼接攝像機和球機聯動控制裝置，其特徵在於:所述運動檢測模塊的聯動具體有下述單元實現， 矩形框中心點計算單元，用於根據矩形框信息，計算矩形框的中心點坐標而後轉到全景區域定位單元； 全景區域定位單元，用於根據矩形框中心點坐標值定位其在全景拼接畫面中所屬的區域而後轉到區域判斷單元； 區域判斷單元，用於判斷上述區域是否位於全景拼接攝像機中的重疊區域，否則獲取區域的信息而後執行坐標計算單元，是則執行比較坐標計算單元；坐標計算單元，用於根據區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置，而後轉到球機聯動單元； 比較坐標計算單元，用於比較矩形框中心點坐標值與重疊的兩個未拼接原始視頻的中心點的距離，根據距離最近的區域對應序號的拼接逆變換計算得到矩形框中心點所在未拼接原始視頻中的坐標位置，而後轉到球機聯動單元； 球機聯動單元，用於根據矩形框中心點所在未拼接原始視頻的映射關係，以矩形框中心點的坐標位置獲取對應的球機水平傾角值及球機垂直傾角值而後轉到球機執行單元；球機執行單元，根據球機水平傾角值及球`機垂直傾角值驅動球機調整。
【文檔編號】H04N7/18GK103716595SQ201410008603
【公開日】2014年4月9日 申請日期:2014年1月8日 優先權日:2014年1月8日
【發明者】魏園波, 彭俊, 林小暉, 周玉龍 申請人:深圳英飛拓科技股份有限公司