多鏡頭相機系統的先進的動態接圖方法
2023-07-03 00:48:51 2
專利名稱：多鏡頭相機系統的先進的動態接圖方法
技術領域：
本發明涉及一種多重鏡頭相機系統。更具體來說，本發明涉及一種針對
視差(parallax)現象的多鏡頭相機系統的先進的動態接圖方法。
背景技術：
已知技術中，例如美國專利公開第US2004/0201769 Al號申請，為了抑 制相機系統所拾取的圖像中的視差現象，其公開的多重鏡頭相機系統，即使 用光學方法來抑制視差現象。在光學方法中，鏡頭組必須置於準確的位置， 否則，圖像間會出現視差。因此，還是有必要實施視頻接圖引擎中的快速接 圖點(stitching point)搜尋引擎，動態地調整由於物體距離改變所造成的接 圖點位置改變。
發明內容
因此，本發明提供一種快速且有效的搜尋引擎，以動態方式更新接圖點， 使得視差現象得以補償。
本發明提供一種多重鏡頭相機系統，其由數個面向不同方向的單一鏡頭 相機所組成。為能得到廣角圖像，接圖(stitching)技術是必需的。但是， 大部分這種多鏡頭系統都會有視差現象，即當物體由近到遠移動時，接圖點 會移動。本發明即在於提供一種動態改變接圖點而使圖像無縫(seamless) 的方法，該方法可與傳統的接圖技術搭配應用任何種類的多重鏡頭相機系 統。
圖1是根據本發明的動態接圖系統的方塊圖2是顯示相機陣列的圖3是顯示動態接圖引擎的方塊圖4是顯示特徵檢測器視窗、邊緣檢測器視窗、以及區塊比較視窗的方塊圖；以及
圖5是顯示沒有邊緣檢測器的動態接圖引擎的方塊圖。
主要元件的符號說明
1:動態接圖系統
10:動態接圖引擎
20:相機陣列
101:動態接圖處理器
102:傳統接圖處理器
103:具動態接圖點的接像
104:中心輸入圖像
105左或右輸入圖像
106特徵檢測參數
107特徵檢測器
函邊緣檢測器
109區塊比較處理器
110:轉換處理器
111:側邊邊緣檢測器120轉換參數
121邊緣檢測參數
122接圖點
123修剪
具體實施例方式
現在，將參照附圖針對本發明優選實施例給予更詳細說明。
圖1是說明本發明的動態接圖系統1的方塊圖。該動態接圖引擎10接 收來自相機陣列20的圖像或視頻流。倘若物體的距離改變，則該輸入的數 據被送到該動態接圖處理器101以更新接圖點122。傳統接圖處理器102根 據經更新的接圖點122將輸入圖像轉換並將其接圖成一個圖像。最後，經接 圖的圖像在更新的接圖點122上以混合(blending)技術處理以得到無縫的 廣角圖像。
圖2顯示來自該相機陣列20的輸入圖像。陰影區域是來自側邊相機的
側邊圖像與來自中間相機的中間圖像間的重迭區域。重迭區域用於動態接圖
引擎10中的特徵檢測視窗。在該重迭區域中的特徵與該二圖像中的是相同 的。因此，動態接圖引擎10中的特徵檢測視窗界定在該區域中。
圖3說明動態接圖引擎10的方塊圖。中間輸入圖像104首先被送到中 心特徵4企測器107及中心邊緣^r測器108。中心特徵鬥企測器107讀取特徵鬥全 測參數106以尋找特徵點的位置，並輸出特徵相對座標到該中心邊緣檢測器 ]08。而且，特徵檢測器107還能輸出各特徵的權重(W,至W,，)到區塊比 較處理器109以便更精確地得到接圖點122。只要該中心圖像104的邊緣檢 測器108接收到來自該特徵檢測器107的特徵相對座標，則檢測特徵周圍的 邊緣，.並將圖像雙色調處理(bi-tone)成黑白圖像。邊緣檢測器108的方塊 能根據系統準確度要求及可用的運算能力予以參數化。
就側(左或右)邊輸入圖像而言，來自側(左或右).邊相機的圖像被轉 換處理器110轉換到中心輸入圖像的相同平面。之後，側邊邊緣檢測器lll 接收來自中心特徵檢測器107的中心圖像的特徵點相對座標。側邊邊緣檢測 器111將該等相對座標轉換至其自己的座標空間。根據該座標空間的座標， 側邊邊緣檢測器lll界定各特徵點的區塊比較視窗，各特徵點在特徵檢測器 107中界定。區塊比較視窗也稱為移動視窗，其在特徵點附近且大於中心邊 緣衝全測視窗。
圖4說明特徵檢測視窗、邊緣檢測視窗、以及區塊比較視窗。在邊緣檢 測器108及111之後，區塊比較處理器109對來自中心及側邊相機的圖像進 行區塊比較。此外，也可將來自該中心特徵檢測器107的各特徵的加權考慮 在內。在區塊比較處理器109中，計算SAD ( Sum of Absolute Difference, 差異絕對值總和)且最後找出給傳統接圖引擎的新的接圖點122。
圖5顯示沒有邊緣檢測器108的動態接圖引擎10的方塊圖。加入邊緣 檢測器108就是為避免由視頻雜訊所造成的不準確。至於沒有邊緣檢測器 ]08的動態接圖引擎10會損失某程度的準確度，但仍能被低成本的系統接 受。因此，針對仍然具有限的運算能力的低成本的系統，可省略邊緣檢測器 〗08。
雖然本發明已經以優選實施例的方式加以描述，應了解到本發明可以多 種其它特定形式實施，而不背離本發明的精神與範圍。本發明示範例也可被 視為說明而非限制，且本發明並不受限於本文所給的細節，但可在權利要求 書以及等同物的全部範圍內加以修飾。
權利要求
1. 一種多重鏡頭相機系統，包含相機陣列，用以捕捉圖像；以及動態接圖引擎，具有動態接圖處理器與傳統接圖處理器，用以接收來自相機陣列的輸入圖像，其中該動態接圖處理器接收來自相機陣列的輸入並更新接圖點，以及該傳統接圖處理器根據經更新的接圖點將輸入圖像轉換並將其接圖成一個圖像。
2. 如權利要求1所述的系統，其中該相機陣列捕捉的圖像在相鄰相機中 間具有圖像重迭區域。
3. 如權利要求l所述的系統，還包括特徵檢測器，讀取特徵檢測參數以尋找特徵點的位置並輸出特徵相關座 標及各特徵的權重；邊緣檢測器，讀取邊緣檢測參數以尋找圖像邊緣的位置，並輸出僅含輸 入圖像邊緣的圖像；轉換處理器，將來自側邊相機的圖像轉換成中心輸入圖像的相同平面；以及區塊比較處理器，接收來自該特徵檢測器輸出的各該特徵的權重，並輸 出經該邊緣檢測器輸出的中心與兩側圖像的相對應權重特徵點的差異絕對 值總和。
4. 如權利要求3所述的系統，其中該相機陣列捕捉的圖像在相鄰相機中 間具有圖像重迭區域，且該特徵檢測器檢測在該重迭區域中的多重特徵點。
5. 如權利要求2所述的系統，其中在該重迭區域中界定出多重區塊比較視窗。
6. 如權利要求5所述的系統，其中該區塊比較視窗的尺寸可根據視差加 以調整。
7. 如權利要求5所述的系統，其中該區塊比較視窗被置於該特徵點的中心。
8. —種多鏡頭相機系統的先進的動態接圖方法，該方法使用如權利要求 1至7中任何一項所述的系統。
全文摘要
本發明提供一種多鏡頭相機系統的先進的動態接圖方法，其目的在於針對存在於多重鏡頭相機系統中的視差(parallax)現象。由於視差現象，接圖點隨著物體距離而變化。在視頻接圖系統中，需要提供一種快速的搜尋引擎來動態更新接圖點。本發明提供一種先進的方法以降低傳統找尋接圖點的區塊比較方法所需要的高運算能力，因此，依據本發明的方法，可動態地調整接圖點。
文檔編號H04N5/225GK101388961SQ20071015372
公開日2009年3月18日 申請日期2007年9月14日 優先權日2007年9月14日
發明者潘積桂 申請人:臺灣新力國際股份有限公司