多攝影機的整合處理系統及其方法
2023-10-09 20:56:49 1
多攝影機的整合處理系統及其方法
【專利摘要】一種多攝影機的整合處理系統及其方法，該整合處理系統包括第一攝影機、第二攝影機與控制模塊。第一攝影機拍攝第一影像；第二攝影機拍攝第二影像；控制模塊連接於第一攝影機與第二攝影機，並接收第一影像與第二影像；控制模塊從第一影像與第二影像中分別選取至少三個相應位置的參考點；控制模塊從第一影像中選取觀看目標，控制模塊根據參考點計算一組座標轉換參數，控制模塊根據座標數轉換參數計算觀看目標在第二影像中的位置，控制模塊調整第二攝影機的拍攝視野，使第二攝影機拍攝觀看目標。
【專利說明】多攝影機的整合處理系統及其方法
【技術領域】
[0001]本發明涉及一種多臺電子設備的整合系統與方法，特別涉及一種多攝影機的整合處理系統及其方法。
【背景技術】
[0002]隨著監控設備的普及化，越來越多人會裝設監控設備來保障自身的財產與人身安全。為能無死角的監控，因此有廠商提出可全景(panorama)拍攝的攝影機。而全景攝影機的實現方式可以由多組鏡頭所接合而成，也可以利用以單一個魚眼鏡頭(fisheye lens)而實現。全景拍攝的優點在於可以全方位且無死角的方式觀看所拍攝的數字影像。
[0003]雖然全景攝影機具有廣角度拍攝的優點，但由於全景攝影機無法進行光學變焦的處理。所以觀看者無法從全景影像中的任一觀看目標進行影像的縮放處理。雖然全景攝影機可以通過數字變焦的方式，對觀看目標進行影像的縮放。但這樣的處理方式僅是利用像素的插補處理，所以經過數字變焦後的影像解析度會大幅下降，使得數字影像會有成像品質不佳的問題。若是在離全景攝影機較遠的地方發生事故時，觀看者較難從全景影像中觀看到清晰的觀看目標。
[0004]相較於全景攝影機而言，迴轉變焦攝影機(pan-tilt-zoom, PTZ)可以進行光學變焦的處理。因此迴轉變焦攝影機可以拉近(zoom in)拍攝視野，使得遠處的觀看目標可以被放大。但迴轉變焦攝影機的拍攝視野則小於全景攝影機的拍攝視野。所以US7，990，422與US7，479，979提出利用一臺全景攝影機搭配另一臺迴轉變焦攝影機拍攝相同場景。
[0005]但是由於不同位置的攝影機的視角不可能完全一致，若以環境中某一全景攝影機的觀點驅動該環境中另一迴轉變焦攝影機時，視野會出現誤差。故現有的攝影機架設方式，需要將兩臺攝影機以儘量靠近彼此的方式進行架設來緩和上述問題。
【發明內容】
[0006]鑑於以上的問題，本發明的目的在於提供一種多攝影機的整合處理系統，將不同拍攝視野的攝影機整合，對相同觀看目標做連動處理。
[0007]本發明所揭露的多攝影機的整合處理系統包括第一攝影機、第二攝影機與控制模塊。第一攝影機拍攝第一影像；第二攝影機拍攝第二影像，第一影像的拍攝範圍至少部分涵蓋第二影像的拍攝範圍；第二攝影機對不同視角下的第二影像進行全景接圖，並得到全景影像；控制模塊接收第一影像與全景影像；控制模塊從第一影像與全景影像中分別選取至少三個相應位置的參考點；控制模塊從第一影像中選取觀看目標；控制模塊選取鄰近觀看目標的三個參考點進行第一影像對第二影像的仿射轉換參數計算運算並得到轉換參數；控制模塊根據轉換參數進行仿射轉換處理計算觀看目標於全景影像中的位置；控制模塊調整第二攝影機所拍攝範圍，使第二攝影機拍攝觀看目標。
[0008]本發明還提出一種整合多攝影機的處理方法包括以下步驟:分別由第一攝影機拍攝第一影像，第二攝影機拍攝第二影像，且第一影像的拍攝視野至少部分涵蓋第二影像的拍攝視野；對不同視角下的第二影像進行全景接圖，並得到全景影像；從第一影像與全景影像中分別選取至少三個相應位置的參考點；從第一影像中選取觀看目標；選取鄰近觀看目標的三個參考點進行第一影像對第二影像的仿射轉換參數計算運算並得到轉換參數；根據轉換參數進行仿射轉換處理計算觀看目標於全景影像中的位置；調整第二攝影機所拍攝視野，使第二攝影機拍攝觀看目標。
[0009]本發明所提出的多攝影機的整合處理系統及其方法系應用在多臺不同拍攝視野的攝影機，使得多臺攝影機可以同步的對同一觀看目標連動的拍攝。
[0010]以下結合附圖和具體實施例對本發明進行詳細描述，但不作為對本發明的限定。
【專利附圖】
【附圖說明】
[0011]圖1為本發明的架構示意圖；
[0012]圖2A為本發明的第一影像的畫面示意圖；
[0013]圖2B為本發明的第二影像的畫面示意圖；
[0014]圖2C為本發明的第二影像的接圖結果示意圖；
[0015]圖2D為本發明的第一攝影機與第二攝影機的架設示意圖；
[0016]圖2E為本發明的第一攝影機與第二攝影機的另一種架設示意圖；
[0017]圖3A為本發明的運作流程示意圖；
[0018]圖3B為本發明的第二影像的部分的接圖過程示意圖；
[0019]圖3C為本發明的第二影像的部分的接圖結果示意圖；
[0020]圖3D為本發明的第二影像的部分的接圖結果示意圖；
[0021]圖3E為本發明的第二影像的接圖結果示意圖；
[0022]圖4為本發明的第一影像與第二影像的參考點選擇示意圖。
[0023]其特徵在於，，附圖標記
[0024]第一攝影機110
[0025]第一影像111
[0026]第二攝影機120
[0027]第二影像121
[0028]全景影像122
[0029]控制模塊130
[0030]處理單元I3I
[0031]儲存單元132
[0032]第一信號輸入單兀133
[0033]第二信號輸入單元134
[0034]信號輸出單元135
[0035]顯示單元136
[0036]仿射轉換處理程序141
[0037]連動整合程序142
[0038]第一組參考點410
[0039]第二組參考點420【具體實施方式】
[0040]下面結合附圖對本發明的結構原理和工作原理作具體的描述:
[0041]請參考圖1所示，其為本發明的架構示意圖。本發明的多攝影機的整合處理系統包括:第一攝影機110、第二攝影機120與控制模塊130。第一攝影機110拍攝第一影像111，第二攝影機120拍攝第二影像121。第一攝影機110的種類是為魚眼攝影機或全景攝影機或廣角攝影機，本實施例以魚眼攝影機為例，因此第一影像111是為全景影像(或稱為魚眼影像，請參考圖2A)。一般而言，全景影像可以涵蓋360度的拍攝視野。第二攝影機120是為迴轉變焦攝影機或具有數字迴轉變焦的攝影機，且第二攝影機120拍攝第二影像121。而第二影像121的成像請參考圖2B。第二攝影機120可進行光學變焦(或數字變焦)與調整拍攝視野的處理。利用現有的演算法(如全景接圖panorama stitching)可以將不同視野下的第二影像121接圖成為全景影像122，如圖2C所示。基本上，第一影像111的拍攝視野至少涵蓋部分全景影像122的拍攝視野。對於第一影像111的拍攝視野沒有涵蓋全景影像122的拍攝視野的情況，在本發明中則不進行相應的處理。
[0042]第一攝影機110與第二攝影機120的架設方式除了可以將兩臺攝影機設置於相鄰的位置，也可以將第一攝影機110與第二攝影機120以相隔一定距離的方式架設。其特徵在於，，第一攝影機110所拍攝的視野至少需涵蓋第二攝影機120所拍攝的部分視野。以在同一房間中為例，第一攝影機110可與第二攝影機120並列的設置於相鄰位置，如圖2D所示。此外，也可以將第一攝影機110與第二攝影機120設置於房間中的不同位置，如圖2E所示。
[0043]控制模塊130可以通過個人計算機、網絡影像記錄器(network video recorder,DVR)、嵌入式系統(embedded system)或具有計算能力的電子裝置所實現。控制模塊130具有處理單兀131、儲存單兀132、第一信號輸入單兀133、第二信號輸入單兀134、信號輸出單元135與顯示單元136。
[0044]處理單元131連接於儲存單元132、第一信號輸入單元133、第二信號輸入單元134、信號輸出單元135與顯示單元136。儲存單元132記錄第一影像111、第二影像121、全景影像122、仿射轉換處理程序141與連動整合程序142，此外儲存單元132也可以選擇性的儲存移動檢測(motion detection)處理程序或物體檢測(object detection)程序。第一信號輸入單元133連接於第一攝影機110與第二攝影機120，用以接收第一影像111、第二影像121與全景影像122。第一信號輸入單元133的連接端子數量並無限定，在圖1中僅以單一個表示並非其數量限制。
[0045]第二信號輸入單元134接收一操作指令，用以選擇一觀看目標。在本發明中為明確定義所進行拍攝的對象，所以將其定義為觀看目標。該操作指令是由使用者手動下達或由控制模塊本身依移動檢測或物體檢測的結果自動下達或由其他外部電子計算裝置下達。信號輸出單元135連接於第二攝影機120，信號輸出單元135向第二攝影機120發出調整拍攝視野的驅動指令。雖然本發明中是將信號輸出單元135與第一信號輸入單元133劃分為兩個獨立元件，但對於本領域者可以根據本發明所述內容將其結合。類似地，雖然本發明中是將信號輸出單元135與第二信號輸入單元134劃分為兩個獨立元件，但對於本領域者可以根據本發明所述內容將其結合。顯示單元136用以播放第一影像111與第二影像121，藉以提供使用者觀看。
[0046]在第一攝影機110與第二攝影機120連接於控制模塊130後，處理單元131將根據第一影像111與第二影像121執行攝影機的連動整合程序142。請參考圖3A所示，其是為本發明的運作流程示意圖。本發明的多攝影機的連動整合程序包括以下步驟:
[0047]步驟S310:分別由第一攝影機拍攝第一影像，第二攝影機拍攝第二影像；
[0048]步驟S320:對不同視角的第二影像進行全景接圖，並得到全景影像；
[0049]步驟S330:從第一影像與全景影像中分別選取至少三個相應位置的參考點；
[0050]步驟S340:再從第一影像中選取觀看目標；
[0051]步驟S350:選取最接近觀看目標的三個參考點進行第一影像對第二影像的仿射轉換參數計算運算並得到轉換參數；
[0052]步驟S360:根據轉換參數進行仿射轉換處理計算觀看目標於全景影像中的位置；以及
[0053]步驟S370:調整第二攝影機所拍攝視野，使第二攝影機拍攝觀看目標。
[0054]首先，分別由第一攝影機110拍攝第一影像111，第二攝影機120拍攝第二影像121。第二攝影機120運用現有的演算法(如全景接圖panorama stitching)對不同視角下的第二影像121進行全景接圖，以得到全景影像122，請參考圖3B、圖3C與圖3D所示，其為本發明的部分的影像接合示意圖。在圖3B與圖3C中分別拍攝了不同視角的第二影像121，而這些第二影像121所涵蓋的視角均為相鄰的背景。為凸顯所拍攝的多張第二影像121是相鄰的背景，因此在第二影像121中會有部分的區域是重疊的。在圖3B與圖3C中的左邊是所拍攝的第二影像121，意即未經過變形處理的影像。圖3B與圖3C中的右邊是經過扭曲處理的影像。第一影像111是由魚眼鏡頭或廣角鏡所拍攝的影像，因此第二影像121需要進行扭曲處理才能進行全景接圖的處理。
[0055]全景接圖(Panorama)用以將第二攝影機120所拍攝的多張第二影像121進行拼接。一般而言，全景接圖的方式可以根據多張第二影像121中的多組特徵點(feature)進行接合，兩第二影像121可以在合併時可以場景或對象來進行對接的依據。第二影像121經過扭曲後會進行拼接的處理，如圖3D所示。經過前述的拼接處理後，可以得到部分的全景接圖。同理，對於第一影像111中的其他區域，第二攝影機120可以進行拍攝並進行相應的處理。最後，將其他第二影像121也進行前述的拼接處理後可以得到圖3E的全景影像122。
[0056]控制模塊130接收第一影像111與全景影像122。在第一影像111與全景影像122中找出相同位置的參考點。而選取參考點的方式除了可以由使用者自行選擇外，也可以通過特徵點抽取與辨識比對技術(feature point extraction and matching)找出第一影像111與全景影像122中相同的對應點位置，請參考圖4所示。因此本發明的第一影像111的拍攝視野需涵蓋至少部分的全景影像122的拍攝視野。接下來，本發明可以由使用者從兩影像對於同時涵蓋的區域中選取多個參考點。一般而言，本發明對於參考點的數量需要至少三個以上。
[0057]為清楚說明在不同影像中所選出的參考點，因此對第一影像111中所選出的參考點的集合定義為第一組參考點410 ;而全景影像122中所選出的參考點的集合為第二組參考點420。而第一組參考點410的數量等同於第二組參考點420的數量。
[0058]接下來，從第一影像中選取觀看目標。系統可通過移動檢測等方式自動選取觀看目標或由使用者手動選取。處理單元131根據第一組參考點410與第二組參考點420進行仿射轉換處理程序141，用以計算第一影像111與第二影像121間的座標轉換參數。本發明的仿射轉換處理是根據下式進行運算:
【權利要求】
1.一種多攝影機的整合處理系統，其特徵在於，包括: 一第一攝影機，用以拍攝一第一影像； 一第二攝影機，用以拍攝一第二影像，該第一攝影機電性連接於該第二攝影機，該第一影像的拍攝視野至少部分涵蓋該第二影像的拍攝視野；以及 一控制模塊，該控制模塊接收該第一影像與該第二影像，該控制模塊從該第一影像與該第二影像中分別選取至少三個相應位置的一參考點，該控制模塊從該第一影像中選取一觀看目標，該控制模塊根據該觀看目標與多個該參考點計算一組座標轉換參數，根據該組座標轉換參數進行一座標轉換並計算該觀看目標於該第二影像中的位置，該控制模塊調整該第二攝影機所拍攝視野用以拍攝該觀看目標。
2.根據權利要求1所述的多攝影機的整合處理系統，其特徵在於，該座標轉換為仿射轉換，根據下式進行運算:
3.根據權利要求1所述的多攝影機的整合處理系統，其特徵在於，該第一攝影機為魚眼攝影機或全景攝影機或廣角攝影機。
4.根據權利要求1所述的多攝影機的整合處理系統，其特徵在於，該第二攝影機為迴轉變焦攝影機或具有數字迴轉變焦功能的攝影機。
5.根據權利要求1所述的多攝影機的整合處理系統，其特徵在於，該第二攝影機將多個不同拍攝視野的該第二影像進行全景接圖，並產生一全景影像，並以該全景影像輸出為該第二影像。
6.根據權利要求1所述的多攝影機的整合處理系統，其特徵在於，該控制模塊依據移動檢測處理的結果、對象檢測處理的結果或由使用者決定該觀看目標。
7.根據權利要求1所述的多攝影機的整合處理系統，其特徵在於，多個該參考點是與該觀看目標距離最短的三個該些參考點。
8.一種多攝影機的整合處理方法，其特徵在於，包括以下步驟: 分別由一第一攝影機拍攝一第一影像，一第二攝影機拍攝一第二影像，且該第一影像的拍攝視野至少部分涵蓋該第二影像的拍攝視野； 從該第一影像與該第二影像中分別選取至少三個相應位置的一參考點； 從該第一影像中選取一觀看目標； 選取多個該參考點計算一組座標轉換參數； 根據該組座標轉換參數進行一座標轉換處理計算該觀看目標於該第二影像中的位置；以及 調整該第二攝影機所拍攝視野，使該第二攝影機用以拍攝該觀看目標。
9.根據權利要求8所述的多攝影機的整合處理方法，其特徵在於，在拍攝該第二影像的步驟中包括:該第二攝影機將多個不同拍攝視野的該些第二影像進行全景接圖，產生一全景影像，並以該全景影像輸出為該第二影像。
10.根據權利要求8所述的多攝影機的整合處理方法，其特徵在於，該座標轉換是為仿射轉換，根據下式進行運算:
11.根據權利要求8所述的多攝影機的整合處理方法，其特徵在於，選取的多個該參考點是與該觀看目標距離最短的三個該些參考點。
【文檔編號】H04N5/232GK103780829SQ201210404469
【公開日】2014年5月7日 申請日期:2012年10月22日 優先權日:2012年10月17日
【發明者】陳志強 申請人:晶睿通訊股份有限公司