廣角傳感器陣列模塊及其圖像校正方法、操作方法與應用的製作方法
2023-10-08 04:27:34
專利名稱：廣角傳感器陣列模塊及其圖像校正方法、操作方法與應用的製作方法
廣角傳感器陣列模塊及其圖像校正方法、操作方法與應用 發明領域
本發明系關於一種圖像傳感器，特別是關於一種具有多傳感器的廣角傳 感器陣列模塊及其圖像校正方法、操作方法與應用。
背景技術：
現有技術中，可通過採用廣角鏡頭或魚眼鏡頭以增加圖像傳感器的視角 範圍，然而此類鏡頭通常具有較高的成本。因此，本領域提出了通過利用多 個一般的圖像傳感器以組成較寬廣的視野並降低成本的方法。例如美國專利
公開第2005/0025313號公開了一種"利用多個窄視角圖像以形成廣視角圖像 的數字圖像系統(Digital imaging system for creating a wide-angle image from multiple narrow angle images)",其包括多個圖像裝置。每個圖像裝置具有預 設視角以及於選定時間採集圖像的機制。所述圖像裝置中每個圖像裝置的視 角被設置為與其相鄰圖像裝置的視角相重疊。所述數字圖像系統還包括控制 模塊控制所述圖像裝置於同一時間各自採集圖像，且每個圖像裝置所採集的 圖像將被合成為廣視角圖像。
因此，如何合成多個獨立圖像以形成廣視角圖像即成為一個重要的課 題。本發明提供一種利用轉換矩陣合成多個圖像的廣角傳感器陣列模塊，所 述轉換矩陣系表示各獨立圖像裝置間的相對空間關係並預先存儲於所述廣 角傳感器陣列模塊中。此外，若圖像裝置間的相對空間關係可預先得知，則 每個圖像裝置的視角不需與相鄰圖像裝置的視角相重疊，可進一步增加廣角 傳感器陣列模塊的組合視角範圍
發明內容
本發明的一個目的在於提供一種廣角傳感器陣列模塊，其利用至少兩個 一般的圖像傳感器以增加傳感器陣列模塊的視角範圍，因而所述廣角傳感器 陣列模塊中不需採用高價格的特殊鏡頭，可有效降低模塊成本。
本發明另一個目的在於提供一種廣角傳感器陣列模塊的圖像校正方法， 其預先根據至少兩個圖像傳感器彼此間的相對空間關係以計算出至少一個 轉換矩陣。此外，當圖像傳感器彼此間的相對空間關已預先得知，則每個圖 像裝置的視角不需與相鄰圖像裝置的視角相重疊，可進而增加整體視角範 圍。
本發明再一個目的在於提供一種廣角傳感器陣列模塊的圖像操作方法， 其利用預先存儲於所述廣角傳感器陣列模塊中的轉換矩陣正確地完成多個 圖像的合成，從而形成廣視角圖像。
本發明再一個目的在於提供一種廣角傳感器陣列模塊的應用，其中所述 廣角傳感器陣列模塊應用於指向定位系統，可有效增加所述指向定位系統的 視角範圍並降低系統成本。
為達上述目的，本發明提供一種用於產生一組合圖像的廣角傳感器陣列 模塊，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器、存 儲單元及處理器。所述第一圖像傳感器用於採集第一圖像。所述第二圖像傳 感器用於採集第二圖像，且所述第二圖像傳感器與所述第一圖像傳感器具有 相對空間關係。所述存儲單元存儲至少一個轉換矩陣，其中該轉換矩陣根據 所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關系所求得。所 述處理器利用所述轉換矩陣組合所述第一圖像及所述第二圖像為組合圖像。
根據本發明的另一特點，本發明還提供一種廣角傳感器陣列模塊的圖像 校正方法，所述廣角傳感器陣列模塊包括第一圖像傳感器和第二圖像傳感 器，所述圖像校正方法包括下列步驟提供至少三個校正點，其中所述校正 點形成參考空間坐標軸且所述校正點具有參考空間坐標；用所述第一圖像傳 感器採集包括前述校正點中至少三個校正點以形成第一圖像，其中所述第一圖像形成第一圖像坐標軸且所述第一圖像中的校正點具有第一圖像坐標；根 據所述參考空間坐標和所述第一圖像坐標求得第一轉換矩陣；用所述第二圖 像傳感器採集包括前述校正點中至少三個校正點以形成第二圖像，其中所述 第二圖像形成第二圖像坐標軸且所述第二圖像中的校正點具有第二圖像坐 標；根據所述參考空間坐標和所述第二圖像坐標求得第二轉換矩陣；以及利 用所述第一轉換矩陣和/或所述第二轉換矩陣將所述第一圖像和/或所述第二 圖像轉換到虛擬平面。
根據本發明的另一特點，本發明再提供一種廣角傳感器陣列模塊的圖像 校正方法，所述廣角傳感器陣列模塊包括第一圖像傳感器和第二圖像傳感 器，所述圖像校正方法包括下列步驟決定所述第一圖像傳感器與所述第二 圖像傳感器的相對空間關係；根據所述相對空間關係求得至少一個轉換矩 陣；以及利用所述轉換矩陣將所述第一圖像傳感器所採集的圖像和/或所述第 二圖像傳感器所採集的圖像轉換到虛擬平面。
根據本發明的另一特點，本發明再提供一種廣角傳感器陣列模塊的操作 方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器和存 儲單元存儲有至少一個轉換矩陣，該轉換矩陣是根據所述第一圖像傳感器與 所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步驟 以所述第一圖像傳感器採集第三圖像；以所述第二圖像傳感器採集第四圖 像；利用所述轉換矩陣將所述第三圖像和/或所述第四圖像轉換到虛擬平面； 決定所述虛擬平面中所採集物體圖像的至少一個特徵參數；及傳輸所述特徵 參數到圖像顯示裝置或存儲裝置。
根據本發明的另一特點，本發明再提供一種廣角傳感器陣列模塊的操作 方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器及存 儲有至少一個轉換矩陣的存儲單元，所述轉換矩陣是根據所述第一圖像傳感 器與所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步 驟以所述第一圖像傳感器採集第三圖像；採集所述第三圖像中的物體圖像的第一特徵參數；以所述第二圖像傳感器採集第四圖像；採集所述第四圖像 中的物體圖像的第二特徵參數；利用所述轉換矩陣將所述第一特徵參數和所 述第二特徵參數轉換到虛擬平面；以及傳輸所述特徵參數到圖像顯示裝置或 存儲裝置。根據本發明的另一特點，本發明再提供一種指向定位系統，包括廣角傳 感器陣列模塊、至少一個光源及圖像顯示裝置。所述廣角傳感器陣列模塊用 於產生組合圖像並具有組合視角，所述廣角傳感器陣列包括第一圖像傳感 器用於採集第一圖像；第二圖像傳感器用於採集第二圖像，所述第二圖像傳 感器與所述第一圖像傳感器具有相對空間關係；及圖像處理單元，存儲有轉 換矩陣並利用該轉換矩陣組合所述第一圖像及所述第二圖像為組合圖像，其 中所述轉換矩陣是根據所述第一圖像傳感器與所述第二圖像傳感器的相對 空間關系所求得。所述光源位於所述組合視角內。所述圖像顯示裝置耦合連 接所述廣角傳感器陣列模塊，用於將所述光源的圖像結合於所述組合圖像並 顯示所述組合圖像及所述光源圖像。本發明的廣角傳感器陣列模塊及其操作方法與應用，利用於校正模式中 預先求得的至少一個轉換矩陣進行多個圖像的合成，可有效增加所述廣角傳 感器陣列模塊的整體視角，以增加其實用性。此外，由於所述廣角傳感器陣列模塊中不需使用特殊鏡頭，可有效降低成本。
圖la是本發明實施例的廣角傳感器陣列模塊的示意圖；圖lb是本發明實施例的廣角傳感器陣列模塊的另一示意圖；圖2是本發明實施例的廣角傳感器陣列模塊的操作方法的流程圖；圖3是本發明實施例的廣角傳感器陣列模塊的校正模式的流程圖；圖4a是本發明實施例的廣角傳感器陣列模塊的校正模式的操作示意圖；圖4b是圖4a的廣角傳感器陣列模塊的校正模式的操作示意圖的上視圖；圖5a顯示了以定位點的參考空間坐標軸為基準的定位點圖像的示意圖； 圖5b顯示了以第一圖像傳感器的第一圖像坐標軸為基準所採集的定位 點圖像的示意圖；圖5c顯示了以第二圖像傳感器的第二圖像坐標軸為基準所採集的定位點圖像的示意圖；圖5d顯示了不同坐標軸間定位點圖像的坐標轉換的示意圖；圖6a是本發明實施例的廣角傳感器陣列模塊的校正模式的另一操作示意圖，其中使用6個定位點進行校正；圖6b顯示了圖6a中不同坐標軸間定位點圖像的坐標轉換的示意圖； 圖7a是本發明實施例的廣角傳感器陣列模塊的校正模式的另一操作示意圖，其中使用8個定位點進行校正；圖7b顯示了圖7a中不同坐標軸間定位點圖像的坐標轉換的示意圖； 圖8a是本發明實施例的廣角傳感器陣列模塊的校正模式的另一操作示意圖；圖8b是圖8a的廣角傳感器陣列模塊的校正模式的操作示意圖的上視圖；圖9a顯示了圖8a中以定位點的參考空間坐標軸為基準的定位點圖像的 示意圖；圖9b顯示了圖8a中以第一圖像傳感器的第一圖像坐標軸為基準所採集 的定位點圖像的示意圖；圖9c顯示了圖8a中以第二圖像傳感器的第二圖像坐標軸為基準所採集 的定位點圖像的示意圖；圖10a是本發明實施例的廣角傳感器陣列模塊的操作模式的流程圖；圖10b是本發明實施例的廣角傳感器陣列模塊的操作模式的另一流程圖；12圖lla是本發明實施例的廣角傳感器陣列模塊的操作模式的應用示意圖；圖llb顯示了圖lla的廣角傳感器陣列模塊的第一圖像傳感器所採集的圖像;圖llc顯示了圖lla的廣角傳感器陣列模塊的第二圖像傳感器所採集的圖像;圖lld顯示了圖lla的廣角傳感器陣列模塊所採集的組合圖像。主要元件符號說明 1,1'廣角傳感器陣列模塊 21 處理器 23 傳輸接口單元 Sj第一圖像傳感器 VAt第一視角P。P4定位點pr，~p4"定位點圖像n,第一圖像傳感器的中央法線2圖像處理單元 22存儲單元 VA,VA' 組合視角 S2第二圖像傳感器 VA2 第二視角P,' P4'定位點圖像n組合視角的中央法線H2第二圖像傳感器的中央法線e,，-o組合視角的中央法線與ni間的橫向角度差 02，① 組合視角的中央法線與n2間的橫向角度差e定位點空間坐標z軸的圖像坐標z軸間的縱向角度差31~32步驟 310 313步驟3211-3215步驟 3221-3226步驟T3，T4光源 I3第三圖像I4 第四圖像 CI組合圖像 Hl5H2 轉換矩陣1具體實施方式
為了讓本發明的上述和其他目的、特徵及優點能更明顯，下文特舉本發 明實施例，並配合所附圖示，作詳細說明如下。在本說明書的說明內容中， 類似的元件是以相同的編號表示。請參照圖la及lb所示，其顯示了根據本發明實施例的廣角傳感器陣列模塊i及r的示意圖。所述廣角傳感器陣列模塊i及r包括第一圖像傳感器S,、第二圖像傳感器S2以及圖像處理單元2，其包括處理器21、存儲單元 22和傳輸接口單元23。此外，所述廣角傳感器陣列模塊1及l'還可以包括設置於所述第一圖像傳感器S,和所述第二圖像傳感器S2前方的多個透鏡或透鏡組(未圖示)，用於提高所述圖像傳感器的感光效率；所述圖像處理單元2還可以包括用於提供所述廣角傳感器陣列模塊i及r操作時所需的電力的電力供應單元(未圖示)。所述第一和第二圖像傳感器Si及S2例如可為CCD圖像傳感器或CMOS 圖像傳感器，但並不限於此。所述第一圖像傳感器S,用於採集圖像，並具有 第一視角VA1;所述第二圖像傳感器S2用於採集圖像，並具有第二視角VA2;所述廣角傳感器陣列模塊i及r則用於釆集組合圖像，並分別具有組合視角VA及VA'，該組合視角VA及VA'由所述第一視角VA,和所述第二視角VA2 組合而成，因此VA(VA，VAi且VA(VA')〉VA2。此外，此實施例中雖僅以兩 個圖像傳感器做說明，然而在實際上根據不同的應用，所述廣角傳感器陣列模塊i及r可以具有兩個以上圖像傳感器。請再參照圖la所示，所述廣角傳感器陣列模塊1中，所述第一圖像傳 感器S,和所述第二圖像傳感器S2平行地設置，也就是說所述第一圖像傳感 器Si的第一視角VA,的中央法線m、所述第二圖像傳感器S2的第二視角VA2 的中央法線ri2與所述組合視角VA的中央法線間不具有角度差。所述第一圖 像傳感器S,和所述第二圖像傳感器S2耦合連接所述圖像處理單元2。所述圖像處理單元2的處理器21用於處理所述第一圖像傳感器S,和所述第二圖 像傳感器S2所採集的圖像，例如圖像校正、圖像合成、特徵採集及失真補償 等。所述存儲單元22用於存儲所述第一圖像傳感器S,和所述第二圖像傳感 器S2所採集的圖像和/或所述處理器21所處理過的圖像，並存儲多個參數以 供所述處理器21處理所述第一圖像傳感器S!和所述第二圖像傳感器S2所採 集的圖像，例如所述第一圖像傳感器S!和所述第二圖像傳感器S2間的空間 距離和所述中央法線n!、化及n間的夾角e(圖la中0=0° )。所述傳輸接口 單元23用於將所述廣角傳感器陣列模塊1及r所採集的圖像傳輸到例如圖 像顯示器(未圖示)進行顯示或記憶裝置進行存儲。本發明利用所述圖像處理 單元2處理併合成所述第一圖像傳感器S!和所述第二圖像傳感器S2所採集 的圖像，以使所述廣角傳感器陣列模塊1可具有較寬廣組合視角VA。請再參照圖lb所示，所述廣角傳感器陣列模塊l'為所述廣角傳感器陣 列模塊1的替代實施例，其中所述第一圖像傳感器Si和所述第二圖像傳感器S2彼此間具有角度差e-e,+02，亦即所述第一視角va,的中央法線ni與所述組合視角va的中央法線間具有第一角度差e1;所述第二視角VA2的中央法 線n2與所述組合視角VA的中央法線間具有第二角度差e2，其中所述第一角度差"可等於或不等於所述第二角度差e2。在此實施例中，所述存儲單元22中存儲有所述第一圖像傳感器S,和所述第二圖像傳感器S2間的相對空間關係的各種參數，例如空間距離、所述第一角度差e,、所述第二角度差e2以及根據所述參數所求得圖像間的轉換矩陣；所述處理器21則利用所述轉 換矩陣形成虛擬平面。在此替代實施例中，所述圖像處理單元2同樣處理並 合成所述第一圖像傳感器S,和所述第二圖像傳感器S2所採集的圖像，以使所述廣角傳感器陣列模塊r具有較寬廣的組合視角VA'，其中VA'〉VA。此 外，本發明的廣角傳感器陣列模塊i及r可應用於指向定位系統，例如光槍遊戲的光槍指向定位或指向器(pointer)的指向定位，以減少指向定位系統的 使用視角限制。請參照圖2所示，其顯示了本發明實施例的廣角傳感器陣列模塊i及r
的操作方法的流程圖，其包括校正模式31和操作模式32。所述校正模式31
在所述廣角傳感器陣列模塊i及r出廠前或在第一次使用前所執行，用於獲
得所述第一圖像傳感器S,和所述第二圖像傳感器S2間的相對空間關係的各
種參數，並據以求得兩圖像間的轉換矩陣以形成虛擬平面；所述操作模式32
包括將所述第一圖像傳感器Si和所述第二圖像傳感器S2所採集的圖像合成
到所述虛擬平面以及採集圖像中的物體特徵等步驟。所述校正模式31和所 述操作模式32的詳細執行方式將於下面的段落中說明。
請參照圖3所示，其顯示了本發明實施例的校正模式31的流程圖，包 括下列步驟提供至少三個校正點於第一圖像傳感器和第二圖像傳感器的視 角內，其中所述校正點具有參考空間坐標軸(步驟310);以所述第一圖像傳
感器採集第一圖像，其具有第一圖像坐標軸(步驟3111);求得所述第一圖像 中所述校正點的圖像坐標(步驟3112);根據所述參考空間坐標軸和所述第一 圖像坐標軸的相對空間關係求得第一轉換矩陣(步驟3113);以所述第二圖像 傳感器採集第二圖像，其具有第二圖像坐標軸(步驟3121);求得所述第二圖
像中所述校正點的圖像坐標(步驟3122);根據所述參考空間坐標軸和所述第 二圖像坐標軸的相對空間關係求得第二轉換矩陣(步驟3123);以及利用所述
第一轉換矩陣將所述第一圖像轉換到虛擬平面和/或利用所述第二轉換矩陣
將所述第二圖像轉換到所述虛擬平面(步驟313)。
請參照圖4a及4b所示，圖4a顯示本發明實施例的校正模式31的一種 實施方式，圖4b則為圖4a的上視圖。在此實施方式中，利用所述廣角傳感 器陣列模塊l'採集空間中4定位點P廣P4的圖像以作為校正參數，其中所述
定位點P廣P4例如可為紅外光發光二極體或紅外光鐳射二極體，且所述定位
點Pi P4位於所述第一視角VAi與所述第二視角VA2的重疊區域(步驟310)。 所述定位點PrP4具有(x,y,4軸的參考空間坐標軸；所述廣角傳感器陣列模 塊l，基於(X,Y,Z)軸的空間坐標軸採集圖像，且所述第一和第二圖像傳感器
16擁有各自的圖像坐標軸，例如所述第一圖像傳感器具有(X,，Y,Z^軸的第一圖 像坐標軸；所述第二圖像傳感器具有(X2,Y，Z^軸的第二圖像坐標軸。於此實 施方式中，所述第一圖像傳感器Si和所述第二圖像傳感器S2間具有橫向角 度差而不具有縱向角度差，例如所述第一圖像傳感器S,的中央法線 mPd,O，Z,)與所述定位點P廣P4的參考空間坐標軸的z軸間具有第一角度差 e產-(D;所述第二圖像傳感器S2的中央法線ri2(X2，0，Z2)與所述定位點PHP4 的參考空間坐標軸的z軸間具有第二角度差02=。(圖4b)。
圖5a顯示以所述定位點P廣P4的參考空間坐標軸為基準的定位點圖像。 圖5b顯示所述第一圖像傳感器S,所釆集的定位點圖像Pr P4'(第一圖像)， 其以所述第一圖像坐標軸為基準(步驟3111)，並可計算出所述第一圖像中各 定位點的圖像坐標(步驟3112)。通過坐標變換則可求得所述參考空間坐標軸 與所述第一圖像坐標軸間的轉換矩陣H,如式(l)(步驟3113):
仏=
cos(-O) 0 - sin(-O). 0 1 0
sin(—①)0 cos(_0)
(1)
也就是說，若以所述定位點P廣P4的參考空間坐標軸為基準的定位點
P廣P4圖像坐標已知為(x，y，z)，則可通過所述轉換矩陣&將圖像坐標(x,y，z) 轉換為以所述第一圖像傳感器S,的第一圖像坐標軸為基準的圖像坐標如式 (2)，
formula see original document page 17同理，圖5c顯示所述第二圖像傳感器S2所採集的定位點圖像Pr' P4"(第
二圖像)，其以所述第二圖像坐標軸為基準(步驟3121)，並可計算出所述第二 圖像中各定位點的圖像坐標(步驟3122)。同理，通過坐標變換則可求得所述 參考空間坐標軸與所述第二圖像坐標軸間的轉換矩陣H2如式(3)(步驟 3123):formula see original document page 18
(3)
也就是說，若以所述定位點P,~P4的參考空間坐標軸為基準的定位點
P, P4圖像坐標已知為(x,y,z)，則可通過所述轉換矩陣H2將圖像坐標(x,y,z) 轉換為以所述第二圖像傳感器S2的第二圖像坐標軸為基準的圖像坐標如式 (4)，
formula see original document page 18
上述求得的轉換矩陣H,及H2表示所述第一圖像傳感器S,與所述第二圖 像傳感器S2相對的空間關係，最後利用所述第一轉換矩陣H,將所述第一圖
像轉換到虛擬平面和/或利用所述第二轉換矩陣H2將所述第二圖像轉換到所
述虛擬平面(步驟313)，其中所述虛擬平面可以以所述定位點P, P4的參考空 間坐標軸為基準(即所述第一圖像和所述第二圖像分別通過轉換矩陣轉換到 所述參考空間坐標軸)、以所述第一圖像傳感器S,的第一圖像坐標軸為基準 (即所述第二圖像通過轉換矩陣轉換到所述第一圖像坐標軸)或以所述第二圖 像傳感器S2的第二圖像坐標軸為基準(即所述第一圖像通過轉換矩陣轉換到 所述第二圖像坐標軸)。
此外，當圖像傳感器間的相對空間關係為未知時，利用所述第一圖像傳 感器S,所採集的定位點圖像Pr P4'的坐標和預先設定的所述定位點P廣P4 的圖像坐標，例如(x，y,z)，即可根據式(2沐得第一轉換矩陣Hn同理，禾擁 所述第二圖像傳感器S2所採集的定位點圖像Pr' P4"的坐標和預先設定的所 述定位點P,~P4的圖像坐標，即可根據式(4)求得第二轉換矩陣H2。
請參照圖5d所示，其顯示將所述第一圖像和所述第二圖像通過轉換矩 陣轉換到所述虛擬平面的實施例。例如當以所述定位點P, P4的參考空間坐 標軸為基準時，所述定位點的坐標為P產(-U)、 P2=(l,l)、 PH-1,-1)及 P4=(l，-1)。若己知圖像傳感器間的相對空間關係(即已知轉換矩陣)，則可透
18過所述轉換矩陣Hi轉換為以所述第一圖像坐標軸為基準的圖像坐標(圖5d
的左下圖)或透過所述轉換矩陣H2轉換為以所述第二圖像坐標軸為基準的圖
像坐標(圖5d的右下圖)。此外，若以所述第一圖像坐標為基準，所述定位點
P," P4"經過兩次轉換矩陣則可轉換到以所述第一圖像坐標軸為基準的虛擬
平面上，並分別相應對於定位點P,' P4，；同理，若以所述第二圖像坐標軸為
基準，所述定位點Pf P4'經過兩次轉換矩陣則可轉換到以所述第二圖像坐標 軸為基準的虛擬平面上，並分別相應對於定位點P, P4"。
可以了解的是，定位點的數目並不限於4個。由於至少需要3個定位點 才能形成參考空間坐標軸，因此在本發明中，所述第一視角VA,和所述第二 視角VA2的視角區域內分別至少需設置3定位點。圖6a及6b則顯示本發明 的校正模式31中利用6個定位點的實施方式；圖7a及7b則顯示本發明的 校正模式31中利用8個定位點的實施方式，因其轉換矩陣的計算方式類似 於使用4個定位點的實施方式，於此不再贅述。
請參照圖8a及8b所示，圖8a顯示本發明實施例的校正模式31的替代 實施例，圖8b則為圖8a的上視圖。在此替代實施例中，所述廣角傳感器陣 列模塊l'同樣採集空間中4個定位點P廣P4的圖像以作為校正參數，其中所 述定位點P。P4位於所述第一視角VA,與所述第二視角VA2的重疊區域(步驟 310)。所述定位點P廣P4具有(x，y,z)軸的參考空間坐標軸；所述廣角傳感器 陣列模塊l，基於(X,Y，Z)軸的空間坐標軸採集圖像，且所述第一和第二圖像 傳感器擁有各自的圖像坐標軸，例如所述第一圖像傳感器具有(Xi,Y，Z^軸的 第一圖像坐標軸；所述第二圖像傳感器具有(X2,Y，Z2)軸的第二圖像坐標軸。 在替代實施例中，所述第一圖像傳感器S,和所述第二圖像傳感器S2間具有 橫向角度差以及縱向角度差，例如所述第一圖像傳感器S,的中央法線 m(XhO，Z,)與所述定位點Pr^4的參考空間坐標軸的z軸間具有橫向第一角度
差e產-o以及縱向角度差e;所述第二圖像傳感器S2的中央法線n2(x2，o,z2) 與所述定位點Pi P4的參考空間坐標軸的z軸間具有橫向第二角度差e^①以及縱向角度差e，其中所述第一圖像傳感器s！的中央法線ni與所述定位點
Pr^P4的參考空間坐標軸的z軸間的縱向角度差也可不等於所述第二圖像傳 感器S2的中央法線n2與所述定位點Pi P4的參考空間坐標軸的z軸間的縱向 角度差。
請參照圖9a至9c所示，圖9a顯示以所述定位點Pr^4的參考空間坐標 軸為基準的定位點圖像。圖9b顯示所述第一圖像傳感器S,所採集的定位點 圖像P,， P4'，其以所述第一圖像坐標軸為基準(步驟3111)，並可求得各定位 點圖像坐標(步驟3112)。通過坐標變換則可求得所述參考空間坐標軸與所述 第一圖像坐標軸間的x軸方向轉換矩陣H^如式(5)以及y軸方向轉換矩陣 H,y如式(6)(步驟3113):
formula see original document page 20接著可求得所述參考空間坐標軸與所述第一圖像坐標軸間的轉換矩陣 H,如式(7):
formula see original document page 20(7)
也就是說，若以所述定位點Pr^P4的參考空間坐標軸為基準的定位點 P廣P4圖像坐標已知為(x,y,z)，則可通過所述轉換矩陣&將圖像坐標為(x，y，z) 轉換為以所述第一圖像傳感器Si的第一圖像坐標軸為基準的圖像坐標如式 (8)，
formula see original document page 20
同理，圖9C顯示所述第二圖像傳感器S2所採集的定位點圖像Pr' P4其以所述第二圖像坐標為基準(步驟3121)，同樣可求得各定位點的坐標(步驟
3122) 。通過坐標變換則可求得所述參考空間坐標軸與所述第二圖像坐標軸 間的x軸方向轉換矩陣H^如式(9)及y軸方向轉換矩陣H2y如式(10)(步驟
3123) :
仏，=
co< (D」 0 - w'w「 , 0 1 0
O J 0 cos/<D
10 0 .
0 譜W — 0 ^力W
(9)
(10)
接著可求得所述參考空間坐標軸與所述第二圖像坐標軸間的轉換矩陣 H2如式(ll):
//2 = 7/2;^//^ =
cos(①)-sin(O) sin(0) - sin(O) cos(0)' 0 cos(60 -sin(S)
sin(O)cos(O)sin(0) cos(O)cos(S)
也就是說，若以所述定位點Pi P4的參考空間坐標軸為基準的定位點
P廣P4圖像坐標己知為(x，y，z)，則可通過所述轉換矩陣H2將圖像坐標為(x，y，z) 轉換為以所述第二圖像傳感器S2的第二圖像坐標軸為基準的圖像坐標如式 (12)，
jc cos(O) - O sin(0) + z cos(。) sin(O)
仏x少=ycos(6) —zsin(0)(12)
x sin(O) + O sin(。 + z cos(0)) cos(O)
此外，當圖像傳感器間的相對空間關係為未知時，利用所述第一圖像傳
感器s!所採集的定位點圖像pr P4'的坐標和預先設定的所述定位點P,~P4
的圖像坐標，例如(x，y,z)，即可根據式(8)求得第一轉換矩陣H,;同理，利用
所述第二圖像傳感器S2所採集的定位點圖像P, P4"的坐標和預先設定的所
述定位點Pi P4的圖像坐標，即可根據式(12)求得第二轉換矩陣H2。
執行所述校正模式31後所求得的所述轉換矩陣(&、 H2)以及虛擬平面， 將預先被存儲於所述圖像處理單元2的存儲單元22以供所述處理器21在操
21作模式32中使用。
在另一替代實施例中，所述第一圖像傳感器S,和所述第二圖像傳感器 S2可設置於預製框架(未圖示)上，且當所述第一圖像傳感器S,和所述第二圖 像傳感器S2設置於所述框架時，圖像傳感器彼此間的相對空間關係已預先得 知。例如己預先知道所述第一圖像傳感器S,的中央法線與所述第二圖像傳感
器S2的中央法線間所具有的橫向角度差和/或縱向角度差。因此在此替代實
施例的校正模式31中，則不須分別設置至少三個定位點於所述第一圖像傳 感器S,和所述第二圖像傳感器S2的視角區域內，可直接利用圖像傳感器彼 此間的相對空間關係以計算轉換矩陣，並利用所述轉換矩陣求得虛擬平面， 最後將所述轉換矩陣和虛擬平面存儲於所述存儲單元22內。此時，所述虛 擬平面可以以所述第一圖像傳感器S,的第一圖像坐標軸為基準(即所述第二 圖像傳感器S2所採集的圖像可通過所述轉換矩陣轉換到所述第一圖像坐標
軸)或以所述第二圖像傳感器S2的第二圖像坐標軸為基準(即所述第一圖像傳
感器S,所採集的圖像可通過所述轉換矩陣轉換到所述第二圖像坐標軸)。
請再參照圖2所示，如前所述，所述校正模式31為所述廣角傳感器陣 列模塊1及l'出廠前或使用前所執行的初始校正程序，在實際使用階段(操 作模式32)則不需重複進行所述校正模式31。以下接著說明操作模式32。
請參照圖10a所示，其顯示本發明實施例的廣角傳感器陣列模塊1及r 的操作模式32的流程圖，其包括用第一圖像傳感器採集第三圖像(步驟 3211);用第二圖像傳感器採集第四圖像(步驟3212);利用所述轉換矩陣將所 述第三圖像和所述第四圖像合成到虛擬平面(步驟3213);釆集所述組合圖像 中的物體特徵(步驟3214)以及傳送所述物體特徵參數(步驟3215)。
請參照圖10a及lla至lld所示，以下利用應用實施例來說明所述廣角 傳感器陣列模塊1及l'的操作模式32。此時，所述廣角傳感器陣列模塊r 應用於指向定位系統，且所述第一圖像傳感器Si的第一視角VA!和所述第 二圖像傳感器S2的第二視角VA2內分別具有例如光槍的瞄準器或指向器(pointer)的光源丁3及T4。首先用所述第一圖像傳感器S,採集第三圖像13涉 驟3211)並用所述第二圖像傳感器S2採集第四圖像14(步驟3212);接著所述 處理單元21利用預先存儲於所述存儲單元22的轉換矩陣，例如校正模式31 所求得的轉換矩陣H,及H2，將所述第三圖像13和所述第四圖像14合成到虛 擬平面上以形成組合圖像CI，其具有組合視角VA。如前所述，所述虛擬平 面可以以所述第三圖像13或所述第四圖像14的圖像坐標軸為基準；接著所述 處理器21採集所述組合圖像CI中物體圖像的特徵參數，例如物體的坐標、 面積、色彩、方向性、邊界、端點數以及長寬比等參數(步驟3214);最後通 過所述傳輸接口單元23將所述物體參數傳送至圖像顯示器或存儲裝置(未圖 示)，其中所述圖像顯示器例如可以是電視屏幕、投影幕、遊戲機屏幕或電 腦屏幕，其可將所述光源T3及T4的圖像坐標結合於所述組合圖像CI並顯示 所述光源T3及丁4及所述組合圖像CI的圖像。
請參照圖10b及lla至lld所示，接著說明本發明實施例的廣角傳感器 陣列模塊1及l'的操作模式32的另一替代實施例，包括下列步驟以第一 圖像傳感器採集第三圖像(步驟3221);採集第三圖像的物體特徵(步驟3222); 以第二圖像傳感器採集第四圖像(步驟3223);採集第四圖像的物體特徵(步驟 3224);利用所述轉換矩陣將所述第一和所述第二特徵參數合成到虛擬平面 (步驟3226);以及傳送所述物體特徵參數(步驟3215)。本替代實施例與圖10a 的差異在於，所述第三及第四圖像被採集後，所述處理器11則分別先採集 圖像中物體的特徵參數，再利用存儲於所述存儲單元22中的轉換矩陣將所 述物體參數合成到所述虛擬平面。最後同樣經過所述傳輸接口單元23將所 述物體參數傳送到圖像顯示器或存儲裝置。由此，本發明通過設置至少兩個 圖像傳感器於廣角傳感器陣列模塊1及l'中，可有效增加指向定位系統的視 角範圍(如圖lld)。
綜上所述，由於可通過使用多個圖像傳感器以增加圖像感測模塊的視角 範圍，因此如何正確合成多個圖像成為一個重要的課題。有鑑於此，本發明提出一種廣角傳感器陣列模塊及其圖像校正方法及操作方法，透過預先存儲 至少一個轉換矩陣於所述廣角傳感器陣列模塊中，並在操作時利用所述轉換 矩陣正確地組合圖像。此外，本發明的廣角傳感器陣列模塊可應用於指向定 位系統，例如槍擊遊戲，可有效增加指向定位系統的操作視角範圍，並降低 系統成本。
雖然本發明已以上述優選實施例公開，然其並非用於限定本發明，任何 本發明所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內， 可以作各種變化與修改。因此本發明的保護範圍當根據附加的權利要求書所 要求的範圍為準。
權利要求
1、一種廣角傳感器陣列模塊，用於產生組合圖像，該廣角傳感器陣列模塊包括第一圖像傳感器，用於採集第一圖像；第二圖像傳感器，用於採集第二圖像，且該第二圖像傳感器與所述第一圖像傳感器具有相對空間關係；存儲單元，存儲至少一個轉換矩陣，其中該轉換矩陣是根據所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關系所求得；以及處理器，利用所述轉換矩陣將所述第一圖像和所述第二圖像組合為組合圖像。
2、根據權利要求1所述的廣角傳感器陣列模塊，其中所述相對空間關 係為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角。
3、根據權利要求2所述的廣角傳感器陣列模塊，其中所述橫向方向夾 角為2(D，所述轉換矩陣為cos(—(1)) 0 - sin(—(D) 0 1 0sin(-(D) 0 cos(—和/或cos(O) 0 _ sin(①)-0 1 0sin(O)) 0 cos(<D)
4、根據權利要求1所述的廣角傳感器陣列模塊，其中所述相對空間關 係為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和縱向 方向夾角。
5、根據權利要求4所述的廣角傳感器陣列模塊，其中所述橫向方向夾 角為20)，所述縱向方向夾角為仏所述轉換矩陣為formula see original document page 3禾口/或formula see original document page 3
6、 根據權利要求1所述的廣角傳感器陣列模塊，還包括用於設置所述 第一圖像傳感器和所述第二圖像傳感器的框架，以使所述第一圖像傳感器與 所述第二圖像傳感器間具有所述相對空間關係。
7、 一種廣角傳感器陣列模塊的圖像校正方法，所述廣角傳感器陣列模 塊包括第一圖像傳感器和第二圖像傳感器，所述圖像校正方法包括下列步驟提供至少三個校正點，其中所述校正點形成參考空間坐標軸且所述校正點具有參考空間坐標；用所述第一圖像傳感器採集包括前述校正點中至少三個校正點以形成第一圖像，其中所述第一圖像形成第一圖像坐標軸且所述第一圖像中的校正點具有第一圖像坐標；根據所述參考空間坐標和所述第一圖像坐標求得第一轉換矩陣； 用所述第二圖像傳感器採集包括所述校正點中至少三個校正點以形成第二圖像，其中所述第二圖像形成第二圖像坐標軸且所述第二圖像中的校正點具有第二圖像坐標；根據所述參考空間坐標和所述第二圖像坐標求得第二轉換矩陣；以及 利用所述第一轉換矩陣和/或所述第二轉換矩陣將所述第一圖像和/或所述第二圖像轉換到虛擬平面。
8、 根據權利要求7所述的圖像校正方法，其中所述參考空間坐標軸、所述第一圖像坐標軸和所述第二圖像坐標軸為三維直角坐標系統。
9、 根據權利要求7所述的圖像校正方法，其中所述虛擬平面是基於所述參考空間坐標軸、所述第一圖像坐標軸和所述第二圖像坐標軸其中之一。
10、 根據權利要求9所述的圖像校正方法，其中當虛擬平面基於所述參考空間坐標軸時，利用所述第一轉換矩陣將所述第一圖像轉換到所述虛擬平面和利用所述第二轉換矩陣將所述第二圖像轉換到所述虛擬平面。
11、 根據權利要求9所述的圖像校正方法，其中當虛擬平面基於所述第一圖像坐標軸時，利用所述第一和第二轉換矩陣將所述第二圖像轉換到所述虛擬平面。
12、 根據權利要求9所述的圖像校正方法，其中當虛擬平面基於所述第二圖像坐標軸時，利用所述第一和第二轉換矩陣將所述第一圖像轉換到所述虛擬平面。
13、 一種廣角傳感器陣列模塊的圖像校正方法，所述廣角傳感器陣列模塊包括第一圖像傳感器和第二圖像傳感器，所述圖像校正方法包括下列步驟決定所述第一圖像傳感器與所述第二圖像傳感器的相對空間關係；根據所述相對空間關係求得至少一個轉換矩陣；以及利用所述轉換矩陣將所述第一圖像傳感器所採集的圖像和/或所述第二圖像傳感器所採集的圖像轉換到虛擬平面。
14、 根據權利要求13所述的圖像校正方法，其中所述相對空間關係為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和/或縱向方向夾角。
15、 根據權利要求13所述的圖像校正方法，其中所述虛擬平面是基於所述第一圖像傳感器的坐標軸或所述第二圖像傳感器的坐標軸。
16、 根據權利要求13所述的圖像校正方法，其中所述第一圖像傳感器和第二圖像傳感器的視角可重疊或不重疊。
17、 一種廣角傳感器陣列模塊的操作方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器和存儲有至少一個轉換矩陣的存儲單元，該轉換矩陣是根據所述第一圖像傳感器與所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步驟用所述第一圖像傳感器採集第三圖像；用所述第二圖像傳感器採集第四圖像；利用所述轉換矩陣將所述第三圖像和/或所述第四圖像轉換到虛擬平面；以及採集所述虛擬平面中所採集物體圖像的至少一個特徵參數。
18、 根據權利要求17所述的操作方法，其中所述特徵參數是選自物體的坐標、面積、色彩、方向性、邊界、端點數以及長寬比構成的組中的一種或幾種的組合。
19、 根據權利要求17所述的操作方法，其中所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關係為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和/或縱向方向夾角。
20、 一種廣角傳感器陣列模塊的操作方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器和存儲有至少一個轉換矩陣的存儲單元，該轉換矩陣是根據所述第一圖像傳感器與所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步驟用所述第一圖像傳感器採集第三圖像；採集所述第三圖像中的物體圖像的第一特徵參數；用所述第二圖像傳感器採集第四圖像；採集所述第四圖像中的物體圖像的第二特徵參數；以及利用所述轉換矩陣將所述第一特徵參數和所述第二特徵參數轉換到虛擬平面。
21、 根據權利要求20所述的操作方法，其中所述第一和第二特徵參數是選自物體的坐標、面積、色彩、方向性、邊界、端點數以及長寬比構成的組中的一種或幾種的組合。
22、 根據權利要求20所述的操作方法，其中所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關係為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和/或縱向方向夾角。
23、 一種指向定位系統，包括廣角傳感器陣列模塊，用於產生組合圖像並具有組合視角，所述廣角傳感器陣列包括第一圖像傳感器，用於採集第一圖像；第二圖像傳感器，用於釆集第二圖像，該第二圖像傳感器與所述第一圖像傳感器具有相對空間關係；以及圖像處理單元，存儲有轉換矩陣並利用該轉換矩陣將所述第一圖像和所述第二圖像組合為組合圖像，其中所述轉換矩陣是根據所述第一圖像傳感器與所述第二圖像傳感器的相對空間關系所求得；至少一個光源，位於所述組合視角內；以及圖像顯示裝置，耦合連接所述廣角傳感器陣列模塊，用於將所述光源的圖像坐標與所述組合圖像結合併顯示所述組合圖像和所述光源圖像。
24、根據權利要求23所述的指向定位系統，其中所述光源為光槍的瞄準器或指向器。
全文摘要
一種用於產生組合圖像的廣角傳感器陣列模塊，該廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器、存儲單元及處理器。該第一圖像傳感器用於採集一第一圖像。該第二圖像傳感器用於採集一第二圖像並與該第一圖像傳感器具有相對空間關係。該存儲單元存儲至少一個轉換矩陣，該轉換矩陣是根據該第一圖像傳感器與該第二圖像傳感器的相對空間關系所求得。所述處理器利用所述轉換矩陣組合所述第一圖像及所述第二圖像為組合圖像。本發明另提供一種廣角傳感器陣列模塊的圖像校正方法、操作方法與應用。
文檔編號H04N5/335GK101656840SQ20081014579
公開日2010年2月24日 申請日期2008年8月22日 優先權日2008年8月22日
發明者古人豪, 林志新, 蔡彰哲, 趙子毅, 陳信嘉 申請人:原相科技股份有限公司