攝影機再校正系統及其方法
2023-05-08 06:22:11 1
專利名稱：攝影機再校正系統及其方法
技術領域：
本發明關於一種攝影機的校正技術，特別是指一種攝影機的再校正系統、再校正方法。
背景技術：
隨著社會的都市化，治安或保全的問題使得政府、民間企業及私人居家大量的使用以攝影機為基礎的監視系統。附掛於路旁的燈杆或支架上的攝影機，其角度或位置常因為自然或人為的因素造成偏移，而影響此類攝影機的功能或其原先的預定任務。監視系統雖大都配有感測裝置，但通常只能檢測電源與信號線的斷訊與否、或機械硬體的問題，並無法告知攝影機角度是否偏移或畫面是否被遮蔽。目前一般的做法是當異常發現後才進行調整，如此將使得被發現前的一段時間內，由於該攝影機的取像角度不正確，無法提供所需的影像，尤其是在智能影像分析的相關應用。因此，有必要發展攝影機的再校正技術，以自動的方式，透過指示信息告知維護或操作人員如何將攝影機回復至原先的裝設狀態，以加速安全監視系統建置的設定，減少系統維護的人工負擔。
發明內容
本發明的第一實施例提供一種攝影機再校正系統，包含一待再校正攝影機，用以擷取影像；一影像處理裝置；及一顯示裝置，用以顯示一校正信息。其中，該影像處理裝置又包括一儲存單元，用以儲存一第一影像及一第二影像，而該第二影像擷取自該攝影機； 及一計算單元，用以計算該第二影像相對於該第一影像的一偏移信息，及對應於該偏移信息的該校正信息。本發明的第二實施例提供一種攝影機再校正的方法，其包含下列的步驟提供一第一影像；以一待再校正攝影機擷取一第二影像；計算該第二影像相對於該第一影像的一偏移信息，及對應於該偏移信息的一校正信息；及顯示相對應於該偏移信息的該校正信息於該第二影像上。本發明範例實施例提出一種電腦程式產品，其包括至少一程序指令，且程序指令用以被加載至計算機系統以執行上述攝影機再校正的方法。本發明範例實施例提出一種內儲程序的計算機可讀取記錄媒體，當此程序被加載至計算機系統並執行後，此程序執行上述攝影機再校正的方法。
圖1為根據本發明第一實施例的攝影機再校正系統的方塊圖；圖2A為線性箭號的提示符號的示意圖；圖2B為弧形箭號的提示符號的示意圖；圖2C為縮放指示符號的提示符號的示意圖3A、3B為根據本發明第二實施例的攝影機再校正方法的流程示意圖；圖4為二張影像上選取向量的示意圖；圖5為根據本實施例的的影像坐標轉換流程示意圖。其中，附圖標記100再校正系統110攝影機120影像處理裝置122儲存單元124計算單元130顯示裝置140中央控制系統200再校正方法步驟210/220/230/232/234/236/238/239/240步驟250/260/270/305300影像坐標轉換步驟305/310/312/314/316/318/320
具體實施例方式以下將參照隨附的附圖詳細描述及說明本發明的特徵、目的、功能，及其達成所使用的技術手段；但所列舉的實施例僅為輔助說明，以利對本發明有更進一步的認知與了解， 並不因此限制本發明的範圍及技術手段。請參照圖1，為根據本發明第一實施例的攝影機再校正系統的方塊圖，本實施例的再校正系統100包含一待再校正攝影機110、一包含儲存單元122及計算單元124的影像處理裝置120及一顯示裝置130。其中，該攝影機110為本實施例系統所待再校正的攝影機， 並用以擷取外界的影像。擷取外界一第一影像的攝影機稱為原攝影機，擷取外界一第二影像的攝影機為該待再校正的攝影機。而再校正即指調整偏移的原攝影機或使用另一攝影機取代原攝影機，將該待再校正攝影機回復至原攝影機的初始拍攝畫面、位置或視野的動作。 該儲存單元122儲存至少二影像，其中一影像(即為該第一影像)是該攝影機110當初裝設完成時所擷取的影像、其它的攝影機裝設完成時所擷取的影像、或是任一攝影機所擷取任何指定位置的影像其中之一，以作為進行再校正的參考影像；另一影像(即為該第二影像) 則為擷取自該攝影機110的影像；該計算單元IM抽取該第一及第二影像的局部特徵點，產生該第一及第二影像配對的特徵點。使用該第一影像中任兩個已配對的特徵點的向量，與相對應的該第二影像中兩個特徵點的向量，來計算該第二影像相對於該第一影像的旋轉偏移信息與放大/縮小倍率；及將該第一影像依據該第二影像的旋轉角度偏移信息旋轉及縮放比率縮放而形成一第三影像，再使用該第二及第三影像的多組配對特徵點來計算水平及垂直偏移信息；其中該垂直與水平偏移信息的計算，亦可藉由該第二影像依據該第一影像的旋轉角度偏移信息旋轉及縮放比率縮放而形成一第四影像，再使用該第一及第四影像的多組配對特徵點來計算水平及垂直偏移信息；該計算單元更進一步提供對應於該偏移信息的一校正信息。其中該偏移信息包括偏移量與偏移方向，該校正信息包括與偏移量相等的校正量，與偏移方向相反的校正方向，及提供調整的符號、音響、頻率的提示等；該顯示裝置 130則可顯示該校正信息予操作人員，且在一實際的實施案例中，該顯示裝置130亦實時顯示該攝影機110所擷取的實時影像，並將該校正信息同步顯示於該第二影像上。此外，該影像處理裝置120及該顯示裝置130可使用個人數字助理(Personal Digital Assistant, PDA)、行動網路裝置(Mobile Internet Device, MID)、智慧型電話(Smart phone)、筆記型計算機、或手持多媒體裝置來實現；但並不以此為限，其亦可為其它有顯示屏幕的計算機或處理器。對於作為再校正參考基礎的該第一影像及該攝影機110所擷取的該第二影像的相對偏移，本實施例系統100將針對水平與垂直方向、旋轉角度(包含順時針與逆時針方向)、及縮放比率(包含放大與縮小)計算偏移信息。其中，該旋轉角度偏移信息為多個配對特徵點的向量角度偏移信息集合的集中量數；其中，該等配對特徵點指該第一及第二影像上對應的特徵點，並任選其中多組的二個特徵點以分別在該第一及第二影像上形成多個第一及第二向量，而配對的該第一及第二向量角度偏移信息所形成的集合即為該向量角度偏移信息集合。而集中量數則包括中位數、平均數、眾數、直方圖統計等，其中直方圖統計為依量的大小分成多個群，再針對各群進行直方圖的統計分布，最後以分布量最高的群及其左右各至少一個直方的群的平均量為該統計量。同樣的，該縮放比率為多個配對特徵點的向量長度比率集合的集中量數；其中，該等配對特徵點指該第一及第二影像上對應的特徵點， 並任選其中多組的二個特徵點以分別在該第一及第二影像上形成多個第一及第二向量，而配對的該第一及第二向量長度比率所形成的集合即為該向量長度比率集合。而該水平及垂直方向偏移信息則由該第一影像依據該第二影像的旋轉角度偏移信息旋轉及依據該第二影像的縮放比率縮放而形成一第三影像，再使用該第二及第三影像多組配對的特徵點的位置分別在水平和垂直方向偏移信息集合，來計算集中量數。同樣的，該第二影像亦能依據該第一影像的旋轉角度偏移信息旋轉及依據第一影像的縮放比率縮放而形成一第四影像，該水平及垂直方向偏移信息為該第一及第四影像多組配對的特徵點的位置分別在水平及垂直方向的偏移信息集合的集中量數。本實施例系統主要是當一攝影機因自然或人為的因素造成偏移、遮蔽或破壞時， 可提供操作或維護人員警告及校正信息，通知人員前往調整及校正該攝影機的位置、角度與姿態等狀態，或將輕微偏移的攝影機畫面自動調整恢復至原本的拍攝畫面、位置或視野； 因此，該計算單元IM依據所計算的影像相對偏移信息，提供對應的校正信息給操作人員。 該校正信息除了校正量、校正方向外，尚包括提示符號、提示音響、或提示頻率等提示方式； 其中，校正量與偏移量相等，但校正方向則為偏移方向的相反方向。針對提示音響及頻率， 可設定調整其聲音的大小或其頻率的高低；而針對提示符號，如圖2所示舉例如下圖2A 為線性箭號，其長度表示偏移量且箭頭表示校正方向；圖2B為弧形箭號，其長度表示偏移量且箭頭表示校正方向；圖2C為縮放指示符號，可以類似放大鏡的圖樣符號呈現，該符號內可以「 + 」號表示校正的放大倍率(zoom化)，或「-」號表示縮小倍率(zoom out)。此外， 為能在攝影機受到偏移時提供自動通告功能，本實施例系統100更包括一中央控制系統 140，其連接至該影像處理裝置120，使得當所計算出的偏移信息符合預先設定的條件，如偏移方向往某一特定方向偏移或偏移量超過一預定的閥值，該中央控制系統140發出警示信號的通告。又當該偏移信息未符合該預先設定的條件，而使用者將系統設定為自動調整時，則該中央控制系統能提供坐標轉換矩陣，自動的將待校正攝影機的影像轉換回原始的影像坐標，以減少攝影機人為調整維護的次數。系統針對該待校正攝影機自動調整的方法，是由該第一及第二影像上取出所有兩組配對特徵點的向量信息，計算旋轉角度偏移信息、縮放比率、及水平與垂直方向偏移信息，然後再轉移特徵點坐標。該轉移特徵點坐標的方法有二 一是藉由該偏移信息，將該第二影像的特徵點位置轉換至該第一影像對應的特徵點的位置；再由該轉換後的第二影像特徵點及該第一影像的同一組特徵點，計算該組特徵點在該第一影像上的空間距離，若該空間距離超過一預設閥值，則視為欲移除的錯誤配對特徵點。另一方法是藉由該偏移信息，將該第一影像的特徵點位置轉換至該第二影像對應的特徵點的位置；再由該轉換後的第一影像特徵點及該第二影像的同一組特徵點，計算該組特徵點在該第二影像上的空間距離，若該空間距離超過該預設閥值，則視為欲移除的錯誤配對特徵點。系統計算完影像所有對應的多組特徵點，移除錯誤的配對特徵點後，其餘差距小於預設閥值的配對特徵點則保留下來用以計算轉換矩陣。系統利用4點以上的正確配對特徵點來計算轉換矩陣，而轉換矩陣的計算可使用RANSAC、BruteForce, SVD或一般用於計算轉換矩陣的方法來實現。以下的實施例說明本發明的攝影機再校正方法。請參照圖3包括3A及;3B，其為根據本發明第二實施例的再校正方法的流程示意圖。請同時參照圖1，本實施例的再校正方法 200包含下列步驟步驟210，提供一第一影像；步驟220，以一待再校正攝影機擷取一第二影像；步驟230，計算偏移信息，該步驟計算該第二影像相對於該第一影像的偏移量與偏移方向，及對應於該偏移量而與該偏移方向相反的一校正信息；及步驟270，顯示相對應於該偏移量及偏移方向的校正信息於該第二影像上。步驟210中的該第一影像可以是該攝影機110裝設完成時所擷取的影像、其它的攝影機裝設完成時所擷取的影像、或是任一攝影機所擷取任何指定位置的影像的其中之一，以作為進行再校正的參考影像，其中再校正的說明已於上述第一實施例中描述，在此不再贅述。步驟220是以該待再校正攝影機110擷取第二影像。部份的說明已於上述第一實施例中描述，在此亦不再贅述。本實施例步驟230對於該第二影像相對於該第一影像的偏移信息的計算方法，可以分成下列的次步驟步驟232，由該第一及第二影像抽取多個局部特徵點；步驟234，進行該第一及第二影像的該等特徵點的配對；步驟236，由該等配對的特徵點中，任選二個特徵點以分別在該第一及第二影像上形成一第一及一第二向量；重複此步驟多次，以取出一第一及一第二向量集合；步驟238，由該第一及第二向量集合，計算一旋轉角度偏移信息及一縮放比率；及步驟239，計算水平及垂直方向偏移信息。關於影像局部特徵點的決定，已有多種現有技術(例如SIFT、SURF、LBP, MSER等方法)提出，皆可應用於本實施例，但因非屬本發明的技術特徵，在此不再贅述。局部特徵點取出後，將進行比對以得出該第一及第二影像的配對特徵點，而用以估算該攝影機110 的各種偏移信息。該旋轉角度偏移信息為多個配對特徵點的向量角度偏移信息集合的集中量數；其中，該等配對特徵點指該第一及第二影像上對應的特徵點，並任選其中多組的二個特徵點以分別在該第一及第二影像上形成多個第一及第二向量，而配對的該第一及第二向量角度偏移信息所形成的集合即為該向量角度偏移信息集合。其中集中量數則包括中位數、平均數、眾數、直方圖統計等。當計算旋轉角度的偏移信息時，如集中量數採用直方圖統計的方法為之，則先將該配對特徵點的向量角度偏移信息，依量的大小分成多個群；再針對各群進行直方圖的統計分布；最後以分布量最高的群及其左右各至少一個直方的群的平均角度偏移信息作為該旋轉角度的偏移信息。而該縮放比率為該第一及第二向量集合的配對的該第一及第二向量長度比率集合的集中量數，其中集中量數則包括中位數、平均數、眾數、直方圖統計等。當計算縮放比率時，如集中量數採用直方圖統計的方法為之，則先將該配對特徵點的向量長度比率，依量的大小分成多個群；再針對該群進行直方圖的分布；最後以分布量最高的群及其左右各至少一個直方的群的平均比率為該縮放比率。對於水平及垂直方向偏移信息的計算，則進一步該第一影像依據該第二影像的旋轉角度偏移信息，旋轉及依據該第二影像的縮放比率縮放而形成的一第三影像；對應於該第一及第二向量集合形成所選用的配對特徵點，在該第三影像上取出相對應的配對特徵點；及由該第二及第三影像上該等配對特徵點的位置，分別計算在水平及垂直方向偏移信息集合的集中量數，以作為其水平及垂直方向的偏移信息。另外，水平及垂直方向偏移信息的計算亦可由該第二影像依據該第一影像的旋轉角度偏移信息旋轉，及依據該第一影像的縮放比率縮放而形成的一第四影像；對應於該第一及第二向量集合形成所選用的配對特徵點，在該第四影像上取出相對應的配對特徵點；及由該第一及第四影像上該等配對特徵點的位置，分別計算在水平及垂直方向偏移信息集合的集中量數，以作為其水平及垂直方向的偏移信息。當計算方向偏移信息時，如集中量數採直方圖統計的方法為之，則先將該配對特徵點的偏移信息集合，依量的大小分成多個群；再針對該群進行直方圖的分布；最後以分布量最高的群及其左右各至少一個直方的群的平均偏移信息為該方向偏移信息。實際的實施案例請參考圖4所示，在二張影像(該第一及第二影像)上任意選取η個向量(如圖4中標示的ν21、ν43、ν56)，其由同一張影像上任兩個已配對的特徵點(如圖4中標示的P1 ρ6)聯接形成，對於第一及第二影像可分別表示為
權利要求
1.一種攝影機再校正系統，其特徵在於，包括一待再校正攝影機，用以擷取影像；一影像處理裝置，包括一儲存單元及一計算單元該儲存單元用以儲存一第一影像及一第二影像，其中該第二影像擷取自該攝影機；及該計算單元，用以計算該第二影像相對於該第一影像的一偏移信息，及對應於該偏移信息的一校正信息；及一顯示裝置，用以顯示該校正信息。
2.如權利要求1所述的攝影機再校正系統，其特徵在於，該影像處理裝置及該顯示裝置選自個人數字助理、行動網路裝置、智慧型電話、筆記型計算機、及手持多媒體裝置的其中一者來實現。
3.如權利要求1所述的攝影機再校正系統，其特徵在於，該校正信息顯示於該第二影像上。
4.如權利要求1所述的攝影機再校正系統，其特徵在於，該第一影像選自該攝影機裝設完成時所擷取的影像、另一攝影機裝設完成時所擷取的影像及一指定位置的影像的其中「"者 ο
5.如權利要求1所述的攝影機再校正系統，其特徵在於，該顯示裝置進一步顯示該攝影機所擷取的實時影像。
6.如權利要求1所述的攝影機再校正系統，其特徵在於，該偏移信息包括一旋轉角度偏移信息、一縮放比率、一水平及一垂直方向偏移信息，或上述組合中的至少一者。
7.如權利要求6所述的攝影機再校正系統，其特徵在於，該旋轉角度偏移信息為多個配對特徵點的向量角度偏移信息集合的集中量數；其中，該等配對特徵點指該第一及第二影像上對應的特徵點，並任選其中多組的二個特徵點以分別在該第一及第二影像上形成多個第一及第二向量，而配對的該第一及第二向量角度偏移信息所形成的集合即為該向量角度偏移信息集合。
8.如權利要求6所述的攝影機再校正系統，其特徵在於，該縮放比率為多個配對特徵點的向量長度比率集合的集中量數；其中，該等配對特徵點指該第一及第二影像上對應的特徵點，並任選其中多組的二個特徵點以分別在該第一及第二影像上形成多個第一及第二向量，而配對的該第一及第二向量長度比率所形成的集合即為該向量長度比率集合。
9.如權利要求6所述的攝影機再校正系統，其特徵在於，該水平及垂直方向偏移信息系該第一影像依據該第二影像的旋轉角度偏移信息旋轉及依據該第二影像的縮放比率縮放而形成的一第三影像，而該水平及垂直方向偏移信息為該第二及第三影像上多組配對特徵點的位置分別在水平及垂直方向偏移信息集合的集中量數。
10.如權利要求6所述的攝影機再校正系統，其特徵在於，該水平及垂直方向偏移信息系該第二影像依據該第一影像的旋轉角度偏移信息旋轉及依據該第一影像的縮放比率縮放而形成的一第四影像，而該水平及垂直方向偏移信息為該第一及第四影像上多組配對特徵點的位置分別在水平及垂直方向偏移信息集合的集中量數。
11.如權利要求1所述的攝影機再校正系統，其特徵在於，該校正信息至少包括一提示符號、一提示音響或一頻率。
12.如權利要求11所述的攝影機再校正系統，其特徵在於，該提示符號包括一線性的第一箭號，其中該第一箭號的長度表示校正量，該第一箭號的箭頭表示校正方向。
13.如權利要求11所述的攝影機再校正系統，其特徵在於，該提示符號包括一弧形的第二箭號，其中該第二箭號的長度表示校正量，該第二箭號的箭頭表示校正方向。
14.如權利要求11所述的攝影機再校正系統，其特徵在於，該提示符號包括一縮放指示符號，其中該縮放指示符號內+號表示校正放大倍率，-號表示校正縮小倍率。
15.如權利要求1所述的攝影機再校正系統，其特徵在於，還包括一中央控制系統，其連接至該影像處理裝置，當該偏移信息大於一預先設定的條件時， 該中央控制系統發出一警示信號。
16.如權利要求15所述的攝影機再校正系統，其特徵在於，該中央控制系統還具有影像坐標轉換的功能；當該中央控制系統設定為自動調整，且該偏移信息未符合該預先設定的條件時，該中央控制系統轉換該第二影像為該第一影像的坐標。
17.—種攝影機再校正的方法，其特徵在於，包括下列的步驟 提供一第一影像；以一待再校正攝影機擷取一第二影像；計算該第二影像相對於該第一影像的一偏移信息，及對應於該偏移信息的一校正信息；及顯示對應於該偏移信息的該校正信息於該第二影像上。
18.如權利要求17所述的攝影機再校正的方法，其特徵在於，該第一影像選自該攝影機裝設完成時所擷取的影像、另一攝影機裝設完成時所擷取的影像及一指定位置的影像的其中一者。
19.如權利要求17所述的攝影機再校正的方法，其特徵在於，還包括 顯示該攝影機所擷取的實時影像。
20.如權利要求17所述的攝影機再校正的方法，其特徵在於，該偏移信息的計算包括 抽取該第一及第二影像的多個局部特徵點；進行該第一及第二影像的該等特徵點的配對；由該等配對的特徵點中，任選二個特徵點以分別在該第一及第二影像上形成一第一及一第二向量；重複此步驟多次，以取出一第一及一第二向量集合；及由該第一及第二向量集合，計算一旋轉角度偏移信息及一縮放比率。
21.如權利要求20所述的攝影機再校正的方法，其特徵在於，該旋轉角度偏移信息為該第一及第二向量集合的配對的該第一及第二向量角度偏移信息集合的集中量數。
22.如權利要求20所述的攝影機再校正的方法，其特徵在於，該縮放比率為該第一及第二向量集合的配對的該第一及第二向量長度比率集合的集中量數。
23.如權利要求20所述的攝影機再校正的方法，其特徵在於，該偏移信息的計算還包括該第一影像依據該第二影像的旋轉角度偏移信息旋轉及依據該第二影像的縮放比率縮放而形成的一第三影像；對應於該第一及第二向量集合形成所選用的配對特徵點，在該第三影像上取出相對應的配對特徵點；及由該第二及第三影像上該等配對特徵點的位置，分別計算在水平及垂直方向偏移信息集合的集中量數，以作為其水平及垂直方向的偏移信息。
24.如權利要求20所述的攝影機再校正的方法，其特徵在於，該偏移信息的計算還包括該第二影像依據該第一影像的旋轉角度偏移信息旋轉及依據該第一影像的縮放比率縮放而形成的一第四影像；對應於該第一及第二向量集合形成所選用的配對特徵點，在該第四影像上取出相對應的配對特徵點；及由該第一及第四影像上該等配對特徵點的位置，分別計算在水平及垂直方向偏移信息集合的集中量數，以作為其水平及垂直方向的偏移信息。
25.如權利要求17所述的攝影機再校正的方法，其特徵在於，該校正信息至少包括一提示符號、一提示音響或一頻率。
26.如權利要求25所述的攝影機再校正的方法，其特徵在於，該提示符號包括一線性的第一箭號，其中該第一箭號的長度表示校正量，該第一箭號的箭頭表示校正方向。
27.如權利要求25所述的攝影機再校正的方法，其特徵在於，該提示符號包括一弧形的第二箭號，其中該第二箭號的長度表示校正量，該第二箭號的箭頭表示校正方向。
28.如權利要求25所述的攝影機再校正的方法，其特徵在於，該提示符號包括一縮放指示符號，其中該縮放指示符號內+號表示校正放大倍率，-號表示校正縮小倍率。
29.如權利要求17所述的攝影機再校正的方法，其特徵在於，還包括 當該偏移信息符合一預設的條件時，發出警示信號。
30.如權利要求17所述的攝影機再校正的方法，其特徵在於，當該偏移信息未符合一預設的條件時，還包括一影像坐標轉換的步驟抽取該第一及第二影像的局部特徵點，並進行特徵點的配對； 藉由該偏移信息，將該第一影像的特徵點位置轉換至該第二影像上的位置，以進行特徵點坐標轉換；對於該轉換後的第一影像的特徵點及該第二影像上的相對應的特徵點，計算其於第二影像上的一空間距離；若該空間距離超過一默認值，則視為錯誤的配對特徵點而移除之；及利用4點以上的正確配對特徵點計算轉換矩陣。
31.如權利要求17所述的攝影機再校正的方法，其特徵在於，當該偏移信息未符合一預設的條件時，還包括一影像坐標轉換的步驟抽取該第一及第二影像的局部特徵點，並進行特徵點的配對； 藉由該偏移信息，將該第二影像的特徵點位置轉換至該第一影像上的位置，以進行特徵點坐標轉換；對於該轉換後的第二影像的特徵點及該第一影像上的相對應的特徵點，計算其於第一影像上的一空間距離；若該空間距離超過一默認值，則視為錯誤的配對特徵點而移除之；及利用4點以上的正確配對特徵點計算轉換矩陣。
全文摘要
本發明公開一種攝影機再校正系統及其方法，該系統包含一待再校正攝影機，用以擷取影像；一影像處理裝置；及一顯示裝置，用以顯示一校正信息。其中，該影像處理裝置又包括一儲存單元，用以儲存一第一影像及一第二影像，而該第二影像系擷取自該攝影機；及一計算單元，用以計算該第二影像相對於該第一影像的偏移信息，及對應於該偏移信息的該校正信息。
文檔編號G06T7/00GK102572255SQ20111004407
公開日2012年7月11日 申請日期2011年2月22日 優先權日2010年12月17日
發明者康仲嘉, 曾和枝, 陳建任, 駱易非, 黎和欣 申請人:財團法人工業技術研究院