成像設備、成像方法和程序的製作方法

2023-07-28 17:36:01 2

專利名稱：成像設備、成像方法和程序的製作方法
技術領域：
本發明涉及具有將多個圖像組合在一起的功能的成像設備、及其成像方法和程序。
背景技術：
在使用攝像放像機(內建在VTR中的相機)、數字相機等的全景攝影中，當在停止 每一階段的相機的掃描(swe印)運動或具有連續掃描運動的同時、拍攝全景圖像時，必須 低速掃描相機，以便防止結果圖像的模糊。
在後一情況下，拍攝可需要高速快門。 關於此，日本專利第3928222號(專利文獻l)提出了一種在維持圖像解析度的同 時使能相機的快速掃描的拍攝方法。 該拍攝方法中使用的技術是這樣的技術，其通過檢測相機的掃描方向和掃描角速 度、並沿著掃描的相反方向以相同角速度改變光軸，使得相機能夠如同其正聚焦於一點那 樣拍攝圖像，由此否定(negating) 了結果圖像的改變。 儘管必須使用加速度傳感器或角加速度傳感器以便實現該控制方法，但是日本專 利第3925299號(專利文獻2)提出了即使當沒有提供傳感器和用於控制它們的反饋電路 時仍使得能夠適當控制光軸的方法。 在該情況下，該方法被用作監視系統，其中對施加到用於控制拍攝方向的步進馬 達的脈衝數目進行計數，並根據計數值執行光軸控制。

發明內容
在通過將相機設置為望遠鏡模式以創建廣角高清晰度圖像、而從一點沿不同方向 進行多次拍攝的方法中，一般使用在固定到三腳架的有源可轉動機座上安裝的相機來執行 拍攝；然而，這樣的拍攝也可由手持相機執行。 所以，必須在用手掃描相機的同時執行拍攝，但是難以獲得足夠好的圖像，除非掃 描速度維持適當值。 然而，由於現有相機不能管理(監視)掃描速度，所以實際上不可能確定緊靠拍攝 之後的重新拍攝是否是必要的。 由此，期望提供一種易於使用、並能夠監視掃描速度、並使得能夠確定緊靠拍攝之 後的重新拍攝是否必要的成像設備、及其成像方法和程序。 根據本發明的第一實施例，提供了一種成像設備，包括成像裝置，用於通過光學 系統成像對象圖像；圖像信號處理部分，具有將多個成像圖像組合為一幅組合圖像的功能， 所述成像圖像是在掃描成像設備的同時獲得的；位置傳感器，能夠獲得該成像設備的位置 信息；和控制器，用於處理該位置傳感器的信息，其中該控制器基於該位置傳感器的檢測信 息來發送掃描角速度的適當值的通知，並且當掃描角速度超出適當範圍時，輸出警告信號。
優選地，該成像設備還包括顯示單元，並且該控制器在該顯示單元上連同該適當
3範圍一起顯示時間和該掃描角速度之間的關係。 優選地，該成像設備還包括揚聲器單元，並且當該掃描角速度超出該適當範圍時， 該控制器經由該揚聲器單元輸出警告聲音。 優選地，基於通過水平視角、水平像素計數、和快門速度確定的最大掃描角速度， 來設置該適當範圍。 根據本發明的第二實施例，提供了一種成像方法，包括步驟在掃描該成像設備
的同時、通過具有能夠改變其光軸的光軸改變元件的光學系統使用成像裝置來成像對象圖
像；經由位置傳感器獲得該成像設備的位置信息；基於該位置傳感器的檢測信息來發送掃
描角速度的適當值的通知；和當該掃描角速度超出適當範圍時，輸出警告信號。 根據本發明的第三實施例，提供了一種用於執行成像處理的程序，該程序促使計
算機執行以下處理在掃描該成像設備的同時、通過具有能夠改變其光軸的光軸改變元件
的光學系統使用成像裝置來成像對象圖像；經由位置傳感器獲得該成像設備的位置信息；
基於該位置傳感器的檢測信息來發送掃描角速度的適當值的通知；和當該掃描角速度超出
適當範圍時，輸出警告信號。 根據本發明的實施例，將在移動成像設備的同時獲得的多個成像圖像輸入到圖像 信號處理部分。 此外，將位置傳感器所檢測的成像設備的位置信息輸入到該控制器。 該控制器基於該位置傳感器的檢測信息而發送該掃描角速度的適當值的通知。此
外，當該掃描角速度超出該適當範圍時，輸出該警告信號。 所以，根據本發明的實施例，可能監視掃描速度，使得能夠確定在緊靠拍攝之後的 重新拍攝是否必要，並改善用戶友好性。


圖1是示出了根據本發明實施例的採用圖像處理設備的相機設備的配置的示例 的框圖； 圖2是概念性地示出了根據該實施例的相機設備執行廣角成像的情況的圖；
圖3是精確組合處理單元的框圖； 圖4是用圖形示出了位置傳感器的輸出(掃描角速度)的圖； 圖5A和5B是用於解釋根據本實施例第一配置的成像模式的圖； 圖6是示出了 CMOS圖像傳感器的曝光周期、存儲電荷的讀出周期、和光軸控制周
期之間的關係的圖； 圖7A和7B是示出了在使用互功率譜(CPS)的轉換中的拼接圖像的圖； 圖8是用於解釋通過塊匹配(BM)提取參數的處理的圖，特別示出了用於選擇好條
件的四個圖像的處理； 圖9是用於解釋通過BM提取參數的處理的圖，特別示出了用於在邊界的三個位置 處執行BM的示例； 圖IO是用於解釋通過BM提取參數的處理的圖，特別示出了鏡頭失真的存在導致 BM的拱形(arched)結果; 圖11是用於解釋通過BM提取參數的處理的圖，特別示出了不合適的傾斜角導致左右誤差的情況； 圖12是用於解釋通過BM提取參數的處理的圖，特別示出了右和左邊界中的垂直 擴展和收縮的存在生成了橫向偏差的情況； 圖13是用於解釋通過塊匹配(BM)處理提取參數的處理的圖，特別示出了在圖像 的旋轉中生成的誤差的示例； 圖14A和14B是用於解釋在執行了通過BM提取參數的處理之後、可通過將BM擴 展為很多幅並執行轉換而使得誤差最小化的處理的圖； 圖15是示出了基於連續成像的圖像和傳感器信息的空間排列的方法的功能性框 圖； 圖16是示出了用於通過使得連續成像的圖像和傳感器信息相關而實現高精度的 方法的功能性框圖，特別示出了靜止狀態(static-state)傳感器值的零點校正；
圖17是示出了用於通過使得連續成像的圖像和傳感器信息相關而實現高精度的 方法的功能性框圖，特別示出了用於經由移位信息的協作(collaboration)實現高精度的 方法； 圖18是角速度傳感器的零點校正處理的流程圖；
圖19是角速度傳感器的移位量校正處理的流程圖；
圖20是移位量獲取方法的流程圖； 圖21是從成像的圖像分配空間座標的方法的流程圖；禾口 圖22A到22D是用於解釋用於計算掃描速度的處理的示例的圖。
具體實施例方式
將參考附圖來描述本發明的實施例。 圖1是示出了根據本發明實施例的作為成像設備的相機設備的配置的示例的框 圖。 如圖2中所示，本實施例的相機設備IO被配置為通過從一點沿不同方向自動或手 動成像多次而獲得大量圖像(圖2中的16X8 = 128幅)。 相機設備10被配置為沒有皺紋地精確組合大量(幾千個)圖像，以形成所謂全景 圖像。 S卩，相機設備10具有從數字相機所成像的圖像來創建全景圖像的功能，該數字相 機上安裝有例如CMOS圖像傳感器(CIS)的固態成像裝置，並且高速地垂直或水平掃描。
根據本實施例的相機設備10具有下面的第一到第五特性配置和功能。
將描述第一配置。 當通過在移動相機設備10的同時成像多個圖像並然後將成像的圖像組合在一 起、而生成全景圖像時，控制聚焦圖像的鏡頭(移位鏡頭)的光軸，使得否定相機的移動方 向及其角速度。 按照這種方式，正移動的相機可如同它正聚焦於一點一樣拍攝圖像。 在該配置中，將CIS (CMOS圖像傳感器)用作固態成像裝置，並通過對於沿著CIS
的中心方向的部分線執行上述操作，而成像圖像。 S卩，在與該部分線的曝光周期和讀出周期之和對應的周期期間執行光軸控制，而在除了所述對應周期之外的周期期間，控制光軸返回到中心附近。這時的相機拍攝方向與 CIS的線正交。 相機設備10將CIS的一部分分段為條紋形狀，並對於條紋形狀部分執行光軸控
制，由此即使當高速移動相機時，也以高幀頻生成全景圖像，而不降低解析度。 將描述第二配置。 相機設備10採用使用經由圖像識別技術獲得的幀移位信息和從位置傳感器獲得 的移位信息來部分地排列連續成像的圖像的技術。 其中通過該圖像識別不能獲得該信息的部分被替換為位置傳感器信息，並且將位 置傳感器信息用作確認圖像識別成功或當圖像識別已失敗時要使用的輔助座標。將空間排 列的圖像組合為一個全景圖像。 在該情況下，相機設備10被配置為通過從大約一點沿不同方向成像多次、而在主 要手持的狀態下成像多個圖像的相機。 相機設備10包括位置傳感器，該位置傳感器具有三軸(或兩軸)加速度傳感器以 及三(或兩軸)角速度傳感器中的兩者或任一個。 相機設備10具有以下功能與成像同時地記錄關於其中成像相應圖像的拍攝方 向的位置信息，並將所述多個成像圖像組合為原處的一幅圖像。 相機設備10在例如塊匹配的圖像識別功能的幫助下使用圖像的重疊區域來計算
圖像的相對位置關係，並基於各種位置傳感器數據來計算圖像的位置關係。 然後，相機設備10經由所計算的圖像的相對位置關係和位置關係的選擇性協作，
而計算圖像的更精確的相對位置關係。 其後，相機設備10指定與相應圖像的中心的方位(orientations)相關的相應圖 像的絕對位置關係(例如圍繞光軸的搖攝(pa皿ing)角(經度)、傾斜角(緯度)、和滾動 (rolling)角(傾度))，並使用它們作為初始值來執行精確的自動化組合。
將描述第三配置。 相機設備10採用通過使得經由圖像識別技術獲得的幀移位信息和從位置傳感器 獲得的移位信息彼此相關、來記錄連續成像的圖像的技術。 相機設備10計算以下本身不確定的信息，例如圖像的像素視角、位置傳感器的靜 止狀態值、和位置傳感器值的對應像素視角。相機設備10具有例如偏移和增益的參數，並 由此能夠通過改變這些參數而使得信息與實際方向基本相同。 相機設備10通過三軸(或兩軸)加速度傳感器相對於地心引力方向的角度，而靜 態地檢測靜止狀態位置數據，並將該位置數據用作位置信息的初始值。 相機設備10主要通過例如三軸角速度傳感器的時間積分值，來計算沿著相機的
垂直和水平方向的旋轉移動，並將該旋轉移動用作當成像相應圖像時的方向數據。 相機設備10在例如塊匹配的圖像識別功能的幫助下，使用圖像的重疊區域，來計
算圖像的相對位置關係。相機設備10同時確定計算結果是否正確，並計算圖像的位置關係。 當計算結果正確時，相機設備10基於位置關係的該信息來校正參數。 當計算結果不正確時，相機設備10使用基於已經校正的參數而獲得的位置傳感
器值來排列圖像。
將描述第四配置。 相機設備10具有一旦檢測到移動對象的影響就輸出提示用戶重新拍攝的警告信 號的功能。 關於移動對象的檢測，相機設備10具有以下功能確保對象的任何部分將出現在 具有重疊率50%或更高的至少兩幅圖像中，以在相鄰圖像之間的運動矢量的相似度匹配的 幫助下，檢測視差(parallax)的影響或對象。 S卩，相機設備10 —旦檢測到移動對象或視差的影響，就輸出提示用戶重新拍攝的
警告信號。 在利用單一掃描來成像寬範圍對象的多個條紋形狀圖像並將它們組合為一個圖 像的相機設備10中，檢測近距範圍中的對象正接收到多少視差的影響，並且基於檢測結果 提示用戶重新拍攝該相機的視點周圍的對象。
將描述第五配置。 相機設備10通過向用戶通知掃描角速度(用戶掃描相機的速度)的適當值並且 如果掃描過快則輸出警告信號，而提示用戶重新拍攝。 相機設備10通過圖形分別在例如LCD的顯示單元18的屏幕的水平和垂直軸上顯 示時間和位置傳感器(陀螺儀傳感器)的輸出(掃描角速度)。由於當設置水平視角、水 平像素數目、和快門速度時確定了最大掃描角速度，所以在圖表上顯示最大掃描角速度的 60%到80%作為適當範圍。 下面將描述具有上述特徵的相機設備10的更詳細的配置和功能。
相機設備10被配置為包括光學系統11、成像裝置12、模擬前端(AFE)電路13、位 置傳感器單元14、驅動器15、系統控制器16、存儲器17、顯示單元18、操作單元19、和揚聲 器單元20。 光學系統11將對象圖像聚焦在成像裝置12的成像面上。 光學系統11被配置為包括標準鏡頭111、作為光軸改變元件的移位鏡頭112、和機 械快門113。 移位鏡頭112除了聚焦圖像的功能之外具有通過驅動器15的驅動來改變光軸方 向的功能。 通過例如CMOS (互補金屬氧化物半導體)器件或CCD (電荷耦合器件)來配置成 像裝置112。 在本實施例中，將描述CMOS圖像傳感器作為示例。在上述第一配置中，將CMOS圖 像傳感器用作固態成像裝置。 成像裝置12藉助於在半導體襯底上按照矩陣排列的光學傳感器來檢測該光學系 統11所獲得的對象圖像，以生成信號電荷，通過垂直信號線和水平信號線讀取信號電荷， 並然後輸出對象的圖像信號。 當成像裝置12由CMOS圖像傳感器形成時，通過全局快門和作為電子快門的滾動 快門來執行曝光控制。通過系統控制器16來執行曝光控制。 AFE電路13去除例如來自成像裝置12的圖像信號中包括的固定圖案噪聲，通過自 動增益控制的操作來使得信號電平穩定，並將得到的圖像信號輸出到系統控制器16。
位置傳感器14檢測相機設備10的位置，以將檢測結果供應到系統控制器16。
7
位置傳感器14由例如三軸加速度傳感器141和三軸角速度傳感器142配置。
加速度傳感器141能夠靜態地知道其相對於地心引力方向的角度，並由此檢測傾 斜角和滾動角。然而，加速度傳感器141不能檢測搖攝角。 所以，角速度傳感器142用於獲得移位角。角速度傳感器142還被稱為陀螺儀傳 感器，並能夠檢測旋轉期間的角速度作為電壓信號，並通過對電壓信號進行積分來計算角 度。此外，由於角速度傳感器142被配置為三軸傳感器，所以其可檢測搖攝角、傾斜角和滾 動角。 驅動器15在系統控制器16的控制下改變光學系統11的移位鏡頭112的光軸。
系統控制器16是用於對於來自AFE電路13的輸出信號執行顏色校正處理、多個 圖像的組合處理、自動化曝光控制和自動白平衡控制等的電路。 系統控制器16被配置為包括圖像信號處理部分161和作為控制器的微計算機 (ii -CON) 162。 圖像信號處理部分161具有精確組合處理單元，其被配置為使得能夠沒有皺紋地 精確組合從一點沿不同方向拍攝多次的大量圖像。 如圖3中所示，精確組合處理單元1611包括第一顏色校正功能單元16111、組合功 能單元16112、和第二顏色校正功能單元16113。 圖像信號處理部分161將多個成像圖像組合在一起，所述圖像是在移動相機設備 10以生成全景圖像的同時獲得的。 微計算機162控制聚焦圖像的鏡頭(移位鏡頭)的光軸，以便根據位置傳感器14 的檢測結果來否定相機的移動方向和角速度。 當將CMOS圖像傳感器用作固態成像裝置時，微計算機162控制驅動器15，以在與 CMOS圖像傳感器的部分線的曝光周期和讀出周期之和對應的周期期間執行上述光軸控制， 並在除了所述對應周期之外的周期期間將光軸返回到中心附近。那時相機的拍攝方向與 CMOS圖像傳感器的線正交。 微計算機162將CMOS圖像傳感器的部分分段為條紋形狀並對於這些條紋形狀部 分執行光軸控制，使得即使當高速移動相機時，也按照高幀頻生成全景圖像，而不降低解析度。 微計算機162對角速度傳感器142的檢測信號進行積分，以計算相機設備10的旋 轉角度，並根據計算的旋轉角度來控制移位鏡頭112的光軸的改變量。
作為選擇，圖像信號處理部分161可檢測相鄰成像圖像的運動分量，並且微計算 機162可根據檢測的運動分量來控制光軸的改變量。 作為選擇，微計算機162可基於計算的旋轉角度和運動分量來控制光軸的改變 微計算機162在存儲器17中記錄關於其中成像相應成像圖像的拍攝方向的位置 信息。 圖像信號處理部分161和微計算機162在例如塊匹配的圖像識別功能的幫助下使 用圖像的重疊區域來計算相應圖像的相對位置關係，並基於各種位置傳感器數據來計算圖 像的位置關係。 然後，微計算機162經由所計算的圖像的相對位置關係和位置關係的選擇性協作，來計算圖像的更精確的相對位置關係。 其後，微計算機162指定與相應圖像的中心的方位相關的相應圖像的絕對位置關
系，例如光軸周圍的搖攝角(經度)、傾斜角(緯度)、和滾動角(傾角)。 圖像信號處理部分161使用它們作為初始值來執行精確自動化組合。 微計算機162計算本身不確定的信息，例如圖像的像素視角、位置傳感器的靜止
狀態值、和位置傳感器值的對應像素視角。微計算機162具有例如偏移和增益的參數，並由
此能夠通過改變這些參數使得信息與實際方向基本上相同。 微計算機162通過三軸(或兩軸)加速度傳感器相對於地心引力方向的角度來靜
態地檢測靜止狀態位置數據，並將該位置數據用作位置信息的初始值。 微計算機162主要通過例如三軸角速度傳感器142的時間積分值來計算相機的垂
直和水平方向的旋轉移動，並將該旋轉移動用作在成像相應圖像的時間處的方向數據。 微計算機162在例如塊匹配的圖像識別功能的幫助下使用圖像的重疊區域來計
算圖像的相對位置關係，並還在計算圖像的位置關係時同時作出關於計算結果是否正確的確定。 當計算結果正確時，微計算機162基於該位置關係的信息來校正這些參數。
當計算結果不正確時，微計算機162使用基於已經校正的參數獲得的位置傳感器 值來排列圖像。 微計算機162通過藉助於顯示單元18和/或揚聲器單元20顯示指示和/或輸出
警告聲音而輸出警告信號，以一旦檢測到移動對象的影響就提示用戶重新拍攝。 關於移動對象的檢測，微計算機162確保對象的任何部分將出現在具有重疊率
50%或更多的至少兩幅圖像中，以在相鄰圖像之間的運動矢量的相似度匹配的幫助下，檢
測視差的影響或對象。 S卩，微計算機162輸出警告信號，以一旦檢測到對象或視差的影響就提示用戶重 新拍攝。 微計算機162檢測近距範圍中的對象正接收到多少視差的影響，以基於檢測結果 提示用戶重新拍攝該相機的視點周圍的對象。 微計算機162通過向用戶通知掃描角速度(用戶掃描相機的速率)的適當值、並 且如果掃描過快則通過藉助於顯示單元18和/或揚聲器單元20顯示指示和/或輸出警告 聲音而輸出警告信號，來提示用戶重新拍攝。 微計算機162通過圖形分別在例如LCD的顯示單元18的屏幕的水平和垂直軸上 顯示時間和位置傳感器(陀螺儀傳感器)的輸出(掃描角速度)。由於當設置水平視角、水 平像素數目、和快門速度時確定了最大掃描角速度，所以在圖表上顯示最大掃描角速度的 60%到80%作為適當範圍RNG，如圖4中所示。 操作過程的概況如下。[1]通過按下操作單元19的開始按鈕而掃描相機，並然後 釋放該開始按鈕。[2]在圖4中圖示的顯示單元18的屏幕上顯示在開始按鈕的按下狀態期 間的掃描角速度。 [3]當掃描角速度低於適當範圍RNG時，不輸出警告信號，但是當掃描角速度高於
適當範圍時，將輸出警告信號。 其後，將詳細描述上述第一到第五配置。
系統控制器16主要執行第一到第五配置中的控制。
[第一配置] 在第一配置中，由於將CM0S圖像傳感器用作固態成像裝置，所以不存在例如幀/
場的概念，並且採用其中順序讀出所有線的累進(progressive)方法。 圖5A和5B是用於解釋根據本發明第一配置的成像模式的圖。 作為移動相機設備10的方法，假設基本上沿著圖5A中示出的垂直方向或圖5B中
示出的水平方向來掃描相機。即，沿著與CM0S圖像傳感器的讀出線正交的方向來移動相機。 如圖5A和5B中的黑色條紋形狀部分30所描繪的，在本實施例中，微計算機162 對於從CMOS圖像傳感器的成像範圍的中心部分分段的條紋形狀部分執行光軸控制。
這樣的條紋成像給出以下優點。
(a)更窄的條紋給出對於視差的更有利影響。 (b)更窄的條紋給出對於CMOS圖像傳感器的異步讀出的更有利影響。
(c)更窄的條紋給出對於環境光減少的更有利影響。
(d)更窄的條紋給出對於鏡頭失真的更有利影響。 微計算機162控制聚焦圖像的鏡頭(移位鏡頭)的光軸，以根據位置傳感器14的 檢測結果來否定相機的移動方向和角速度。 當將CMOS圖像傳感器用作固態成像裝置時，微計算機162控制驅動器15以在與 CMOS圖像傳感器的部分線的曝光周期和讀出周期之和對應的周期期間執行上述光軸控制， 並在除了所述對應周期之外的周期期間將光軸返回到中心附近。 S卩，在圖5A和5B中示出的條紋形狀部分30正被曝光的周期期間，需要執行光軸 控制。 圖6是示出了 CMOS圖像傳感器的曝光周期、存儲電荷的讀出周期、和光軸控制周 期之間的關係的圖。 在曝光之後讀出CMOS圖像傳感器的相應線的電荷，並且在完成某一線的電荷讀 出之後，對於隨後線執行曝光和電荷讀出。在反覆執行該操作的周期期間執行光軸控制，使 得對於所有條紋形狀部分執行電荷讀出處理。 例如，當使用每一線的讀出周期為7. 8微秒/線的CMOS圖像傳感器、快門速度是 1/1000秒(S卩，曝光周期是1毫秒)、並且條紋寬度是200線時，圖6中的總讀出周期成為 1. 56毫秒而光軸控制周期成為2. 56毫秒。這對應於圖22A到22D中的條件[3]，其中當 給出各種參數時，計算模糊像素計數或幀頻。另外，當成像的幀頻為60fps (大約每一圖像 16. 66毫秒)時，通過應用專利文獻1的圖3中的對應數值，Son成為2. 56毫秒而Soff成 為14. 1毫秒(=16. 66-2. 56)。 儘管光軸控制的許可界限角在專利文獻l中公開的技術中處於士1.2度的範圍 內，但是許可界限角在士0.5度的範圍內可變，並且使用在0到0.3度的範圍內的值。這對 應於最大可變範圍的大約60 % 。 按照這樣的方式通過成像獲得的條紋形狀的圖像由圖3中的精確組合處理單元 1611組合在一起，由此生成全景圖像。其後，將描述精確組合處理單元1611的圖像組合處理。
由此，根據本實施例的系統控制器16具有這樣的功能(例如軟體)，用於通過校正
顏色非均勻性將從一點沿不同方向拍攝多次的圖像精確組合為一幅圖像。 下面將詳細描述本實施例的精確組合的特徵功能。 第一顏色校正功能單元16111在提取例如鏡頭失真校正係數的參數時對於每一 邊界執行至少三個塊匹配(BM)處理，並對於至少四幅中的邊界執行組合，由此確定鏡頭失 真校正係數，以允許精確組合。 換言之，第一顏色校正功能單元16111從原始圖像中提取例如鏡頭失真校正係數 的參數。 隨後，第一顏色校正功能單元16111對於所有部分圖像均勻地執行環境光減少校 正、對比度增強、飽和度增強和伽馬校正。 在第一顏色校正功能單元16111確定例如鏡頭失真校正係數的參數並執行環境 光減少校正、對比度增強、飽和度增強和伽馬校正之後，組合功能單元16112對於所有邊界 中的每一個執行BM至少一次(例如三次)。 然後，組合功能單元16112通過同時評估所有邊界的BM的結果，並更新光軸方向 而執行多個圖像的精確組合，以便降低所有邊界中的誤差。 第二顏色校正功能部分16113執行顏色(顏色非均勻性)校正，這對於每一部分 圖像獨立執行，以便減少該組合功能單元16112所精確組合的多個圖像中的相鄰圖像之間 的色差。 第二顏色校正功能部分16113還執行用於將相鄰圖像之間的顏色不連續性降低 到檢測界限之下的顏色校正。 下面將描述精確組合處理單元1611中的精確組合處理的理論概念。 本實施例基本上採用了基於傅立葉分析的相位相關技術。
艮P，採用的技術基於傅立葉移位定理，其中僅在譜域中的相位中改變空間函數的
移位。








特別是，兩個函數^和f2應滿足以下關係。 [等式l]
f2(x， y) = f\(x+xt， y+yt) 此外存在以下譜特徵。 [等式2]
F2 (u， v) = F工(u， v) exp (_2 jt i (uxt+vyt)) 可通過使用互功率譜(CPS)來等效書寫以上等式，如下。 [等式3]
1v , , 2、 ' lexp(2—x,
《(w，v)《(w,v)

互功率譜
在該等式中，F2*是複函數F2的共軛函數。
事實上，圖像是例如兩個圖像的互功率譜的比特噪聲，如圖7A和7B中所示' 所以，可期望尋找CPS的峰值，並從該峰值導出轉換參數(xt， yt)。
11
圖7A和7B是示出了在使用互功率譜(CPS)的轉換中的拼接圖像的圖。 圖7A示出了兩個圖像的拼接的結果。可通過檢測CPS的峰值來獲得兩維轉換，如
圖7B中所示。這裡，如果CPS是可讀的，則完全匹配了這些圖像。 由於難以在具有許多噪聲的圖像中檢測最大峰值，所以可選擇一些峰值。 接下來，將參考圖8到14來描述通過使用塊匹配(BM)處理的參數提取原理。 BM包括導出上述互功率譜(CPS)的峰值的函數。 現在參考圖8，選擇好條件的四個圖像IM0、 IM1、 M2和IM3。 例如假設在左下角排列的圖像是第零圖像IMO，其右邊的圖像是第一圖像IM1、最
左邊的圖像是第二圖像頂2、而其右邊的圖像是第三圖像IM3。排列這些圖像M0到IM3，以
包括在相鄰圖像之間的邊界中的重疊部分。 在圖8中，在邊界區域中安排的矩形是塊BLK。 由此，在上述排列條件下執行BM。然後，從下、左、右和上區域中的四個邊界BDR01、BDR02、BDR13和BDR23中分別獲
得鏡頭失真、視角、和傾斜角的信息。 將進一步描述BM (塊匹配)。 對於邊界中的三個位置執行BM，如圖9中所示。 鏡頭失真的存在導致BM的拱形結果，如圖10中所示。 任何不合適的傾斜角導致BM結果中的橫向傾斜誤差，如圖11中所示。 當鏡頭失真的中心在垂直方向上偏離時，在上和下邊界中發生橫向擴展和收縮，
如圖12中所示。右和左邊界中的垂直擴展和收縮是由於鏡頭失真的中心的橫向偏離而引起的。 當圖像在向上的同時旋轉時，如圖13中所示發生垂直傾斜誤差。S卩，圖13示出了
當相機沒有定位在機械傾斜軸的前面時的結果。 確定各種參數來使得這些誤差最小化。 這使得即使將任何四幅連接在一起，也能夠降低誤差。 例如，應用快速相位相關匹配，來執行圖像中的對應BM。可通過獲得矢量移位
(Xij，yij)，並然後分析這三塊的移位的行為，而量化(quantified)相應參數。 在執行上述四幅的BM之後，如圖14A和14B中所示，將BM擴展為很多幅，並同時
對於所有邊界評估BM的結果。通過更新光軸方向來執行多個圖像的精確組合，以便降低所
有邊界中的誤差。 在該情況下，確定一幅參考圖像，並對其他圖像進行平移，以便會聚在使得誤差最 小化的位置處。 基本上根據以下處理來執行精確組合處理，這在下面逐條記載。 通過轉換發現用於移位的最佳位置。 在該情況下，旋轉環路。 將指明總移位量的參數fxy設置為0. 0。 對所有上、下、右和左(垂直和橫向)圖像進行處理。 參考圖像保持不移動。 從BM的結果中發現與相鄰圖像的位置關係。基於此，計算移位量。
其方法如下。添加直接靠上的圖像及其右鄰，並減去直接靠下的圖像及其左鄰，以
獲得平均值，這被表達為f [y] [x]. x、 f [y] [x]. y。 其80%被添加到當前圖像的中心位置，並被看作新圖像的中心位置。 所有圖像的移位量的絕對值的總和被鍵入到fxy中。 進行計算以確認上述移位如何改善垂直和橫向位置關係。 fxy具有其通過重複上述移位而變小的性質(本性)。 換言之，將fxy會聚到不再能執行移位的狀態。
當fxy足夠小時，終止該處理。 將對甚至當連接幾千幅時、也沒有皺紋的圖像組合的特定處理的示範實施例進行 描述。 現在考慮四幅圖像的情況。 如圖8中所示，假設左下角的圖像是第零圖像IM0、其右鄰是第一圖像IM1，左上圖 像是第二圖像IM2，並且其右鄰是第三圖像IM3。 第零圖像MO保持不移動。即，將第零圖像MO用作參考圖像。 將BM的結果的橫向分量表達為bxl
、bxl[l]、bx2
和bx2[1]。
還獨立處理垂直分量；然而，為了描述的目的，下面將僅描述橫向分量的處理。 bxl表示右和左，而bx2表示上和下。"[]"中的數字O意味著下或左。 當右或上圖像相對於參考圖像MO位於右邊或上邊時，BM結果是正值。 作為極端示例，假設僅存在一個異常值，並且bxl[O] = 10、bxl[l] =0、bx2
=
0禾口 bx2[1] = 0。 認為在第一行中存在橫向10像素偏差，並且其他三個邊界不具有偏差。
如果通過第零圖像MO和第一圖像Ml的BM結果確定第一圖像Ml的位置，則通 過第一圖像頂l和第三圖像頂3的BM結果確定第三圖像M3的位置。此外，通過第二圖像 M2和第三圖像M3的BM結果確定第二圖像M2的位置，在第零圖像MO和第二圖像M2 之間的位置關係中，可發生io像素的大值作為皺紋。 本實施例的系統指示異常值"10"的影響被分散(dispersed) 2. 5。根據程序執行 該處理，其部分將稍後描述。 通過xypos2從與相鄰圖像的位置關係得到要平移的量。 第一次，計算第一圖像Ml應被移位_5像素。 第一圖像被平移move。 實際移位量是其80%，即4像素。 除了第零圖像MO之外的圖像Ml、 IM2和IM3的移位量分別是formula see original document page 13
從此，BM結果bxl
從10改變為6。
結果，bx2 [1]從0改變為4。
第二次，計算第一圖像IM1應被移位-1像素。
計算第三圖像M3應被移位-2像素。
當添加其80% (即0. 8)時，pox[l] = 4. 8。 隨後，從第三次到第32次繼續類似計算。在第32次，移位量fxy的總和在0. 001像素之下，並且終止該處理。 這時，要平移的像素數目是7.5、2.5和5.0。相應圖像的位置關係如下改變。艮P， bxl
= 10改變為bxl
= 2. 5， bxl [1] =0改變為bxl [1] = -2. 5， bx2
= 0改變 為bx2
=-2. 5，而bx2[1] 二0改變為bx2[1] =2.5。可以看出誤差被分散。
下面列出了當ii = 32、fxy = 0.00083 (即，fxy不大於0.001)時的次數及其值。
11ixfx[n]fy[n]
000.000000o細ooo
12-0.000244o細ooo
22-0.0002440.000000
2-0.000344o扁ooo
npox[n]poy[n]fz[n]
00.000.00
17.500.00
22.500.00
35.000.00
要平移的像素數目
下面是程序的示例的一部分。
一一程序的一部分(從這裡開始)-------
clrpos 0
and rolla[]中 鍵入O。
move ;//平移c0.

fzx[]


發現要平移的
量。

}
fprintf (inf， " ii = 1230484， fxy
the value thereof when fxy is not more
than 0. 001\n"，
ii， fxy); xypos
發現平移量。 move ;/ dsppos angle
qq[n] 、pp [n]。 dsppos dsperr
差中具有超過1的值
的那些值。
在要平移的量[pixel]pox[]，
for(ii = 0 ;ii < 1000 ;ii++) {
xypos2;〃從與相鄰圖像的位置關係中
f (fxy < 0. 001) {break ;)
the number of times and
//從與相鄰圖像的位置關係中 平移。
〃顯示校正量。 /將校正量轉換為角度，並更新
〃顯示校正量。
〃顯示在一對小圖像之間的誤
14
st印;〃 從qq [n]、卯[n]創建步進角。一程序的一部分(到這裡為止)------------------下面是主例程。一主例程----------------------------void xypos2 { 〃從與相鄰圖像的位置關係發現平移量
fx[n]、fy[n]，〃發現不能平移的標誌fz [n]。(Delete fprintf)int m， n， m2， n2， h， v， ix ;double cx， cy ;//fprintf (inf， ，，n ix fx [n] fy [n] \n，，)；fxy = 0 ;for(v = 0 ;v < ny ;v++) {〃關於所有圖像for(h = 0 ;h < nx ;h++) {m = (nx-l)承v+h ;〃右禾口左邊界n = nx氺v+h ;〃上和下邊界ix = 0 ;if ((0 < skip[h] [v]) I I ((v == (ny_l)/2)&&(h == (nx_l)/2))) {〃中心圖像和確定的標誌圖像保持不移動。fx[n] = 0 ;fy[n] = 0 ;fz[n] = 4 ;〃fz[n]是不能平移的標誌。if(skip[h] [v] == 2) (fz[n] = 2 ;}〃確定的標誌圖像是2。}else{CX = 0 ;Cy = 0 ;if(v ! =0){ 〃當不是最低行時n2 = n_nx ; 〃直接靠下if(0 < fok2[n2]) {ix++ ;cx- = bx2[n2];〃減去直接靠下的行cy- = by2[n2];if (v !=町-D {//當不是頂端行時if(0 < fok2[n]) {ix++ ;cx+ = bx2[n];〃添加其自己cy+ = by2[n2];if(h ! =0){〃當不是最左端時m2 = m_l ;〃左令卩 if(0 < fokl[m2]){ ix++ ;
cx- = bxl[m2];〃減去左鄰 cy_ = byl [m2];
14/27頁
Lf (h ! = nx-l) {//當不是最右端時
Lf(0 < fokl[m]){ ix++ ;
cx+ = bxl [m] ;/ cy+ = byl [m];
添加其自己
if (ix == 0) {
fx[n] = 0 ;fy[n] }else {
fx [n] = cx/ix ;
fy [n] = cy/ix ;
f z [n] = 0 ;
0 ;fz[n]
fxy+ = fabs(fx[n])+fabs(fy[n]);
void move 0 {//平移。 int m， n， h， v ;
for (v = 0 ;v < ny ;v++) {〃圖像(像素)的中心位置 for(h = 0 ;h < nx ;h++) { n = nx氺v+h 5
if (fz[n] ==0) {//當沒有與環境隔離時 pox[n]+ = -fx[n]承O. 8 ; poy[n]+ = -fy[n]承O. 8 ;
for(v = 0 ;v < ny ;v++) {〃橫向位置關係
for(h = 0 ;h < nx_l ;h++) { m = nx氺v+h ; n = (nx_l)*v+h ; bxl [n] + = - (fx [m] -fx [m+1]) *0. 8 ; byl [n] + = - (fy [m] -fy [m+1]) *0. 8 ; } } for (v = 0 ;v < ny_l ;v++) {〃垂直位置關係
for (h = 0 ;h < nx ;h++) { n = nx*v+h ; bx2 [n] + = - (fx [n] -fx [n+nx]) *0. 8 ; by2 [n] + = - (fy [n] -fy [n+nx]) *0. 8 ; }
}
} 如上所述，根據本實施例的第一配置，即使當使用其上安裝了 CMOS圖像傳感器的 數字相機時，也可能在不降低解析度的情況下以高幀頻成像圖像，由此降低視差的影響、環 境光降低、和鏡頭失真。此外，可能創建高質量全景圖像。 這使能精確組合併還抑制顏色不均勻性的出現，而與要組合的圖像的數目無關。
可從實際成像的圖像中提取鏡頭失真校正係數。這消除了複雜校準操作的必要 性，顯著改善了精度。 利用即使當連接幾千幅時也不引起皺紋的方法，可按照必要解析度取得必要範
圍，而無需注意快門數目。 接下來，將描述第二配置。[第二配置] 將描述連續成像的圖像的空間位置的記錄。
〈概況> 基於連續成像的圖像的全景攝影術是劃分空間以將圖像組合為一幅圖像的操作。 當從這些圖像創建全景圖像時，可通過在成像時使用空間信息執行逆運算，而獲得高精度 全景圖像。 在本實施例中，在成像圖像時從傳感器和圖像計算有關其中執行成像的成像空間 的信息，並將該信息分配給每幅圖像，使得該信息可用於生成全景圖像。
〈分配有關成像空間的信息> 例如，當執行全景攝影時，通過具有固定在一點的視點的馬達來取得鏡頭，並改變 拍攝方向。 在該條件下成像的圖像中，相機設備10的位置(即焦點位置)固定，並且僅拍攝 方向不同。所以，在該示例中，描述將限於其中圖像是通過成像具有從某一點的固定視角的 對象的環境而獲得的圖像的情況。
17
在這樣的成像方法中，將存在兩類有關成像空間的信息，如下。 S卩，其中一種是關於成像正瞄準(targeting)的點的信息(視點矢量)，而另一種
是有關視點矢量周圍的旋轉角(滾動角)的信息。〈投影球體和空間的定義> 將空間的圖像投影在一片平面上。 為了當對空間的全景圖像進行成像時處置所有方位，從簡單圖像處理的角度出 發，假設存在攝影師周圍的球體並將全景圖像投影在球體上將是有用的。當通過使用球體 來定義視點矢量時，也確定座標空間。 利用用作相機設備10位於的焦點位置的原點(O，O，O)來定義具有半徑1的投影 球體。 假設水平狀態的向前方向被定義為位於z軸上的距離1的座標f (O，O， 1)，則可將 視點矢量表達為從原點(O，O，O)指向點f(O，O，l)的矢量。 視點矢量成為具有長度1的單位矢量，並且在任何方位中長度將為1。 由於不能僅利用視點矢量vl來記錄幀的滾動信息，所以不得不記錄另一滾動矢
量v2。這是代表圖像的向上方向的信息，並且這些矢量的相減v2-vl成為代表圖像的向上
方向的矢量。 這使得能夠用兩個矢量(投影球體上的兩點)表達圖像的拍攝方向，並定位所有
方位上的任何點，而不產生任何密度差異。〈相對移位和絕對座標> 有關成像空間的信息包括兩類信息，即相對信息和絕對信息。 從創建全景圖像的角度出發，儘管具有有關其中成像圖像的方位的絕對位置信息 是好的，但是由於難於獲得準確的絕對信息，所以從相對信息來求位置信息的積分或使用 粗略(rough)絕對信息來校正位置信息。 在鏡頭驅動的全景相機中，儘管移動鏡頭的場景(scenario)是絕對信息，但是由 於向其添加了例如成像時的搖晃、驅動鏡頭時的誤差合併、位置傳感器的精度變化的相對 信息，所以通過計算獲得精確絕對值。
〈相對移位的空間擴展〉 現在，將假設在圖像識別和位置傳感器的幫助下獲得準確相對信息。
噹噹前圖像幀fl從先前圖像幀f2移位位置(dx，dy)並且幀滾動了量rz時，可從 視角計算x和y軸周圍的旋轉量作為rx和ry。這是，幀fl的視點矢量vl成為將幀f2的 視點矢量v2旋轉量(rx， ry， rz)的結果。 儘管可基於該信息計算有關投影球體的絕對位置，但是通過從矢量v2的位置旋 轉量(rx，ry，rz)而計算絕對位置的計算有一點複雜。 所以，最新圖像fl被固定在前平面矢量vl (O，O， 1)，並且包括先前圖像f2並比先 前圖像f2更遲的在投影球體上排列的圖像對於每一球體被旋轉了量(-rx，-ry，-rz)。艮卩， 其他圖像相對於最新圖像fl移位。 通過重複該操作，最新圖像的位置將在座標(O，O，l)上，並且將獲得所有剩餘圖 像的絕對座標。 通過視點矢量和滾動矢量兩個矢量來表達滾動信息的原因在於，因為易於執行相對旋轉(旋轉球體自身)。〈相對移位積分值和絕對信息之間的偏差> 儘管僅將相對信息用於圖像的空間排列，但是事實上可能從位置傳感器14等獲 得例如滾動信息或垂直斜度的絕對信息。然而，可從位置傳感器14獲得的絕對信息與生成 全景圖像所必需的精度相比太粗略，並由此難以原樣使用這些值。 另一方面，儘管由於通過圖像識別獲得相對信息使得相對信息具有高精度，但是 這裡仍合併有誤差。當對相對信息進行積分時，可出現小誤差，並由於積分誤差而引起大誤差。 所以，從位置傳感器14獲得的絕對信息用於確認是否已發生了積分誤差。
在相對移位的空間擴展處理期間，按照某間隔，將相對信息與位置傳感器的絕對 值進行比較。如果相對移位與位置傳感器的絕對值相差太遠，則使用位置傳感器的絕對值 來校正相對移位。此外，移位量從該位置被相對積分。 圖15是示出了基於連續成像的圖像和傳感器信息的空間排列的方法的功能性框 圖。 在圖15中，功能框41設置對於角速度傳感器142的檢測信號的零參考值，並且移 位量積分部分42對移位量進行積分。 此外，檢測部分43將通過成像裝置12成像的幀間圖像進行彼此比較，並檢測移位 協作校正邏輯44基於移位量積分部分42和檢測部分43的輸出來執行協作校正，
並且相對位置積分部分45對相對位置進行積分以獲得絕對位置信息。 此外，基於加速度傳感器141的檢測結果，絕對位置校正部分46校正絕對位置信
息，而排列部分47確定幀的空間位置並排列這些幀。〈空間座標信息和全景圖像〉 在成像過程中執行上述計算，並同時記錄空間座標信息(即拍攝方向)作為元數 據。 儘管可僅利用元數據生成全景圖像，但是在後處理中，當執行精確調整和創作 (authoring)時，可使用空間座標信息作為基本數據。 由於已不存在代表空間中的拍攝方向的元數據，所以不可能獲得更精確的全景圖 像。然而，在本實施例中，在成像時分配座標信息，以便解決該問題。 如上所述，在第二配置中，使用經由圖像識別技術獲得的幀移位信息和從位置傳
感器獲得的移位信息，來對連續成像的圖像進行空間排列。不可通過圖像識別獲得信息的
部分由位置傳感器信息替換，並且將位置傳感器信息用作用於確認圖像識別成功或當圖像
識別已失敗時所要使用的輔助座標。將空間排列的圖像組合為一個全景圖像。 該方法使得能夠不僅正確表達前方附近的圖像而且正確表達直接靠上和直接靠
下的圖像，並符合所有方位中的成像或天球的成像。 可能沒有誤差地渲染前方附近的更寬場面(scene)。 不必說，可能符合手持成像並獲得高精度圖像。 接下來，將描述第三配置。[第三配置]
19
將描述基於連續成像的圖像的位置識別的校正。
〈概況> 為了將拍攝位置信息給予連續成像的圖像，本配置使用作為合併位置傳感器和圖
像識別的方法的所謂動態校準。〈連續成像和拍攝位置信息> 當使用連續成像的圖像組合全景圖像時，存在這樣的情況，在圖像中不包括高頻 分量，並且不能從圖像指定連續性。 在這樣的場面中，不能獲得關於連續幀移位多少的信息，使得不能生成整個全景 圖像。 為了使得能夠從這樣的場景獲得位置信息，在位置傳感器14的幫助下，連同成像
時的圖像一起記錄移位信息和位置信息。〈位置傳感器的使用> 位置傳感器14按照同時並行的方式使用三軸加速度傳感器141和三軸角速度傳 感器142。 角速度傳感器142檢測相機的旋轉速度，而加速度傳感器141檢測水平加速度。
儘管儘可能遠地從成像圖像中獲得移位信息，但是在由於圖像條件而不能執行圖 像識別的場面的情況下，從位置傳感器14獲得與先前幀的移位量。 通過比較位置傳感器14的檢測結果的改變總量和經由圖像識別獲得的移位量，
可獲得更精確的位置信息。〈使用位置傳感器的問題> 然而，取決於預期的全景攝影術，圖像的精度高於位置傳感器14的精度。所以，當 僅將位置傳感器14的信息用作位置信息時，該信息對其來說變得太不精確而不能用於創 建全景圖像。 所以，當確實難以獲得位置信息但是不期望高精度時，將位置傳感器信息用作輔 助信息。 與一般物理傳感器類似，位置傳感器的輸出也正在波動，而不維持穩定輸出。
此外，靜止狀態的零位置取決於情況而改變，必須通過在成像前建立靜態條件來 測量零位置處的值。在測量該值之後，通過與零點值的偏差來測量移位量。
〈圖像識別及其校正〉 在本配置中，在連續成像全景圖像的同時，將位置傳感器信息記錄為元數據。
在該方法中，由於位置傳感器14的輸出波動太大，所以存在的問題在於，元數據 信息難以在組合為全景圖像時使用。 所以，在成像時校正和記錄通過圖像識別獲得的元數據。 當記錄元數據時，關於相機的方位的空間信息被保存其中並更新；然而，元數據值 的精度由於各種原因而惡化。 所以，在本實施例中，基於來自圖像識別和位置傳感器的信息來實時校正和更新 其中保存的空間信息；該處理是動態校準。 當成像連續全景圖像時，可考慮兩種情況一種情況是已存在將通過馬達的驅動 來移動相機的移動場景，而另一情況是因為通過手掃描相機所以不存在移動場景。
20
在存在由馬達驅動引起的移動場景的情況下，儘管可預先檢測粗略拍攝位置，但 是難以考慮成像期間的搖晃或移位。位置傳感器14用於檢測成像期間的這樣的改變。
當通過位置傳感器14檢測到拍攝期間的改變時，通過圖像識別進行關於檢測結 果與實際移動場景的偏差的精密檢查。當將位置傳感器14的移位量用作精密檢查的基礎 時，圖像識別可變得容易。 當可能計算與預期移動場景的偏差時，將偏差添加到移動場景的值，並將實際拍 攝位置的信息記錄為成像圖像的元數據。 由於當通過手掃描相機時移動場景不可用，所以只要對幀進行成像，就通過比較 當前幀和先前幀的圖像識別來計算移位量。 在該情況下，由於難以知道移位量，所以從位置傳感器14的信息獲得粗略移位 量，並基於移位量執行圖像識別，由此可能計算高精度的移位量。 如果難以執行圖像識別，則從位置傳感器獲得的移位量被記錄並稍後與先前和隨 後幀的位置關係對照(collated)，由此確定座標。 圖16是示出了用於通過使得連續成像的圖像和傳感器信息相關而實現高精度的 方法的功能性框圖，特別示出了靜止狀態傳感器值的零點校正。 在圖16中，檢測部分51對通過成像裝置12成像的幀間圖像進行彼此比較，並檢 測移位量。 靜止狀態檢測部分52基於角速度傳感器142的檢測信號、加速度傳感器141的檢 測信號、和檢測部分51的檢測信號來執行靜止狀態檢測，由此獲得靜止狀態的角速度傳感 器的參考值。 然後，記錄部分53確定參考值，並在存儲器17中記錄參考值。 圖17是示出了用於通過使得連續成像的圖像和傳感器信息相關而實現高精度的
方法的功能性框圖，特別示出了用於經由移位信息的協作實現高精度的方法。 在圖17中，功能塊54對於角速度傳感器142的檢測信號設置零參考值，並且移位
量積分部分55對移位量進行積分。 此外，檢測部分51對通過成像裝置12成像的幀間圖像進行彼此比較，並檢測移位 協作校正邏輯56基於移位量積分部分55和檢測部分51的輸出來執行協作校正， 以獲得高精度相對移位信息。 如上所述，在第三配置中，當記錄連續成像的圖像時，經由圖像識別技術獲得的幀
移位信息和從位置傳感器獲得的移位信息相關。此外，計算以下本身不確定的信息，例如圖
像的像素視角、位置傳感器的靜止狀態值、和位置傳感器值的對應像素視角。 所以，通過協作用於經由圖像識別獲得移位信息的方法和用於從位置傳感器檢測
移位信息的方法(不能自己提供期望精度的方法)的技術，可能顯著改善精度和穩定性。 將與圖18到21相關地進一步描述上述第二和第三配置。〈成像圖像和攝影者的旋轉移動> 當拍攝位置在成像全景圖像的時候改變時，由於視差可發生不連續性。 由於視差導致的不連續性不能在成像之後通過圖像處理來校正。 所以，當成像全景圖像時，攝影者和相機固定在某一位置，並且攝影者在該地點旋
21轉的同時取得圖像，使得相機正聚焦於一點。 在該情況下，從兩個不同的成像圖像看到的視點的移動距離與拍攝期間的旋轉量 成比例。如果圖像是數字圖像並且其尺寸可通過像素計數來表達，則可從拍攝期間的旋轉 移動的距離來反演計算兩幅圖像之間移位的像素；在該情況下，將視角用作反演計算所必 需的參數。 視角是在拍攝空間中的角度範圍方面代表圖像中成像的場面的水平或垂直寬度 的數值。 視角是在拍攝前通過測量給出的並在拍攝期間不改變的參數。 當水平視角是30度而成像的數字圖像的水平像素計數是1000時，每一像素的拍
攝空間角將是0. 03度。S卩，當識別到兩幅圖像之間的像素移位量是800像素時，可計算出
相機的實際旋轉(掃描)角是24度。 每一像素的視角被用作最重要的初始值。 每一像素的視角=(幀視角)/ (幀像素計數) 每兩個截圖(shots)圖像的旋轉量=(兩個圖像之間的像素移位量)*(每一像素 的視角) 通過測量將每一像素的實際視角預先保存為初始值。
〈角速度傳感器和旋轉量〉
角速度傳感器輸出當前角速度。 由於輸出值隨時間變化，所以可檢測角速度的變化；然而，該值不直接代表旋轉 量。為了從角速度傳感器獲得旋轉角，必須定義積分值的單位。 按照預定時間間隔利用角速度傳感器來執行測量，並且測量間隔被固定為重要參數。 在時間方面對測量的角速度進行積分；並且其間，實際旋轉量需要通過測量從外
部獲得。將積分的角速度除以實際旋轉量，以計算每一度的角速度積分值。 其後，可通過將角速度積分值除以每一度的角速度積分值，來成比例地計算旋轉
移位量。 通過測量預先保存實際的每一度的角速度積分值作為初始值。
〈動態校準> 儘管角速度傳感器的輸出是相對角速度，但是除非角速度傳感器極好，輸出可取 決於環境而改變。由於改變對實際測量具有影響，所以輸出的每一測量需要校正。
專用於全景攝影以根據來自成像的全景圖像的反饋信息來自動校正輸出的處理 將被稱為動態校準。 角速度傳感器具有取決於環境而改變的兩個輸出值；一個是靜止狀態零點位置， 而另一個是每一度的角速度積分值。另一項是與相對移位累加的積分誤差；所以，校正這三 項。〈角速度傳感器和零點校正> 圖18是角速度傳感器的零點校正處理的流程圖。 在角速度傳感器142的零點校正處理中，執行圖18中的步驟ST1到ST16的操作。
如果不知道角速度傳感器142的靜止狀態中的準確輸出值，則不可能檢測角速度。此外，該靜止狀態中的零點將取決於例如溫度的環境而改變。 基於圖像匹配的結果來校正該零點漂移，由此在拍攝時計算準確零點。將預先設 置的初始值用作在開始時間處的角速度傳感器142的零點輸出值。 執行兩幀之間的圖像匹配(ST1到ST3)。如果匹配結果是包括高頻分量的可靠結 果並示出了在X、 Y和Z軸方向上沒有移位，則將角速度傳感器的X、 Y和Z軸分量的輸出值 採樣為零點值。 這時，使用採樣為零點值的值來執行校正(ST4到ST15)。 當在任何軸方向上檢測到移位時，由於其不是零點，所以不執行採樣或零點校正。
當執行採樣時，在遞增樣本計數的同時校正零點值。 通過計算將當前零點值和採樣值之間的差除以樣本計數所得到的計算結果的平 均值，來執行校正。 校正後的零點值=(零點值)+ (採樣值) (零點值) (樣本計數)
〈角速度傳感器的移位量校正> 圖19是角速度傳感器的移位量校正處理的流程圖。 在角速度傳感器的移位量校正處理中，執行圖19中的步驟ST1到ST26的操作。
每一度的角速度積分值是用於從角速度傳感器的角速度積分值計算旋轉角的參 數，並且該參數將取決於例如溫度的環境而改變。 執行圖像匹配(ST21到ST23)以基於匹配結果來校正和更新每一度的角速度積分 值，由此計算拍攝期間的準確值(ST24到ST26)。 如果兩幀之間的圖像匹配結果是包括高頻分量的可靠結果，則從通過圖像匹配獲 得的X、Y和Z軸方向上的移位量以及那時的角速度積分值，來計算每一度的角速度積分值。
每一度的角速度積分值=(角速度積分值)/(每一像素的視角)WX軸周圍的像 素移位量) 校正後的每一度的角速度積分值=(每一度的角速度積分值)+ (採樣值) (每
一度的角速度積分值)/ (樣本計數)〈由加速度傳感器協助的角速度傳感器〉 角速度傳感器輸出相對角移位量。 通過對迄今為止獲得的相對值進行積分，來計算關於當前位置的絕對位置信息。
當相對值包括小偏差或噪聲時，隨著積分時間的增加，可發生大偏差。
儘管角速度傳感器能夠通過檢測重力加速度來獲得Y軸旋轉(傾斜)和Z軸 旋轉(滾動)的絕對值，但是角速度傳感器僅能夠在成像全景圖像的情況下檢測其集總 (lumped)值，並由此角速度傳感器在可用性方面比加速度傳感器差。 然而，由於角速度傳感器具有其能夠輸出絕對值的優點，所以可通過將它們與相 對移位距離的積分值進行周期性比較，來校正積分值和絕對值。 當相機被移動可由加速度傳感器充分檢測的絕對量時，如果必要，則通過將其與 基於那時的相對移位距離的積分值而計算的絕對位置進行比較，來校正絕對量。
〈從圖像和傳感器獲得的移位信息>
圖20是移位量獲取方法的流程圖。 在移位量獲取方法中，執行圖20中的步驟ST31到ST35的操作。
當比較角速度傳感器142的解析度與通過圖像匹配獲得的移位量的解析度時，圖 像匹配提供更高精度值。所以，只要可能，就將從圖像匹配計算的移位量用作相對移位距離 (ST33和ST34)。 由於沒有在圖像(例如不包括高頻分量的相同顏色的天空的圖像)之間實現匹 配，所以在該情況下，通過使用角速度傳感器142的輸出值來計算相對移位量(ST33和 ST35)。〈從成像的圖像分配空間座標的方法> 圖21是從成像的圖像分配空間座標的方法的流程圖。 在從成像的圖像分配空間座標的方法中，執行圖21中的步驟ST41到ST47的操作。 對於按照上述方式成像的所有全景圖像，可計算通過圖像匹配和角速度傳感器獲 得的與先前幀的相對旋轉移位量(ST41到ST43)。 為了創建全景圖像，必須向這些相對旋轉移位量分配絕對空間座標。 由於成像的圖像具有相同視角，所以可分配具有在成像圖像的中心點處的焦點的
座標，即相機的方位矢量。 可在相對於先前幀的視點矢量的、相機的方位方向(即拍攝視點矢量)的角度方 面，表達與先前幀的相對旋轉移位量。 當該排列僅由視點矢量簡化時，難以表達幀的Z軸方向周圍的旋轉，即滾動。
所以，將通過在該幀的正上方的Y軸上移置的另一矢量來表達幀的滾動。
這兩個矢量表達相機的拍攝方向和Z軸周圍的滾動，並且即使在旋轉座標之後， 仍連續保存幀的信息。 當在空間中排列圖像時，新幀將總是位於空間前方位置a(O，O， 1. 0)。 當相對旋轉移位量可用時，所有先前幀按照反方向旋轉該量，並然後，排列空間前
方位置a(O，O， 1. 0) (ST44到ST46)。 按照這樣的方式處置相對旋轉移位量，使得不通過從先前幀到當前幀的差、而是 通過從當前幀到較老幀的差來計算這些量。 當前成像的幀將被標註為A，而先前成像的幀將被標註為B。
通過從幀A到幀B的差來計算相對旋轉移位量(ST43)。 當從當前幀A的相機位置到先前幀B計算時的計算結果示出了相機在X、Y和Z軸
周圍旋轉移位rx、ry和rz時，將rx、ry和rz的旋轉施加到除了幀A之外的所有較老圖像
幀的拍攝方向矢量和滾動索引矢量。 旋轉矩陣可以是典型三維空間。 Z軸方向上的旋轉 x2 = x氺cos(rx)—y氺sin (rx) y2 = y氺sin (rx)+z*cos (rx) z2 = z Y軸方向上的旋轉 x2 = x氺cos (ry)—z氺sin (ry) y2 = y
z2 = x氺sin (ry)+z*cos (ry)
X軸方向上的旋轉
x2 = x y2 = y氺cos(rz)—z氺sin (rz)
z2 = ，sin (rz)+2化08 (rz) 當按照這樣的方式旋轉全體幀使得新幀被安排在固定位置(即，前方位置)時，相 對旋轉移位量可被轉移為絕對空間座標。
當處理了所有幀時，全體幀將具有合適的絕對座標。 然而，由於將最後幀用作參考點，所以可存在任意幀不得不相對移位到參考點的 情況。 接下來，將描述第四配置。 [O526][第四配置] 在第四配置中，當檢測到視差的影響或移動對象時，經由顯示單元18或揚聲器單 元20輸出警告信號，由此提示用戶重新拍攝。 關於移動對象的檢測，在第四配置中，確保在具有50%或更多重疊率的至少兩幅 圖像中將出現對象的任何部分，以在相鄰圖像之間的運動矢量的相似度匹配的幫助下檢測 視差的影響或對象。 在利用單一掃描來成像寬範圍圖像的多個條紋形狀圖像並將它們組合為一幅圖 像的相機設備10中，檢測近距範圍中的對象正接收到多少視差的影響，並且基於檢測結果 提示用戶重新拍攝該相機的視點周圍的對象。 由於典型廣角相機具有正好在其鏡頭之後的其視點，所以理想的是，用戶用手持 有相機，以在用戶的手腕周圍旋轉相機。 當在相機的視點周圍成像圖像時，即使當圖像中包括近距範圍內的對象時，仍可 將圖像組合為一個圖像。 由於根據本實施例的相機設備10成像多個條紋形狀圖像，所以相機設備10具有 以下優點，即使當在從相機視點稍微移置的位置周圍成像圖像時，其影響仍不可能出現。
然而，當利用由手持有並在肩膀周圍旋轉的相機成像圖像時，相機將在從相機視 點向後很遠的位置周圍旋轉，並由此，視差可強烈影響得到的圖像。 儘管當場面具有位於遠距範圍內的所有對象時基本上不存在問題，但是如果場面 中包括近距範圍內的對象，則與相鄰圖像的位置關係不能被正確組合，這與遠距範圍中的 對象不同。 所以，在第四配置中，當檢測到由於視差影響不能正確組合圖像時，通過命令用戶 在相機視點周圍旋轉相機，而提示用戶重新拍攝。 [owe][視差檢測方法]
將描述視差檢測方法。 在時間相鄰的兩幅圖像的重疊範圍內執行多次塊匹配，以計算得到的運動矢量。 —般來說，如果正確掃描相機，則BM結果將產生大致相同的矢量。 當相機在肩膀周圍旋轉並且在遠距範圍內的場面中包括近距範圍內的對象時，得
到的矢量將具有不同值。
25
由於圖像中的改變在近距範圍內的對象和遠距範圍內的對象的邊界處嚴重，所以 難以獲得正確BM結果。通過該方法檢測視差。
下面將描述視差檢測的特定處理示例。 以下處理由系統控制器16的微計算機162和圖像信號處理部分161按照協作方 式來執行。〈視差檢測方法> [O545][粗略組合] 相機設備10從左到右旋轉，並且成像與大約120度的範圍對應的幾十幅圖像。 確保存在其中在相鄰圖像中存在同一對象的充足區域(重疊區域)。 相機設備10在拍攝期間的運動由位置傳感器14檢領U，並按照非常小的時間間隔記錄。 由於與成像圖像同步地記錄傳感器數據，所以可能知道相應圖像的拍攝方向；然 而數據的精度不高。 基於該信息在經度_緯度平面上排列相應圖像。 在該狀態下，相鄰圖像的每一重疊區域包括大約IOO像素，並被排列在大致正確 的位置。 根據這一點，執行精確自動化組合例程的處理。 [O553][精確自動化組合] 在重疊區域內的多個區中執行運動檢測(ME ;運動搜索或運動估計)。 在運動檢測ME中，使用基於FFT的僅相位校正方法。作為選擇，可使用特徵點提
取方法或其他方法。 在僅存在一種轉換的情況下，僅一個ME區將是足夠的。
兩個ME區可給出交互傾斜信息。
三個ME區可給出鏡頭失真係數。 如果在重疊區域中不存在移動對象並且在背景中沒有檢測到手搖晃的影響，則ME 區的數目可小。 然而，如果ME區的數目太小，則難以應付在重疊區域中包括移動對象或在近距範 圍中檢測到視差影響的情況。 所以，在重疊區域中儘可能多的區中執行ME。 當作為ME的結果獲得的許多運動矢量具有基本相同的值時，可通過相對於其他 圖像轉換圖像之一，而組合圖像。 儘管運動矢量不具有基本相同的值，但是如果這些值從上一個到下一個均勻地改 變，則可通過相對於其他圖像傾斜圖像之一，而組合圖像。 然而，當從重疊區域獲得不同ME結果時，實際上不可能將圖像組合在一起。
這是因為存在移動對象、或因為利用由於近距或遠距範圍中的對象共存而移位的 視點來成像圖像。
[ME的方法] 首先，通過縮小經受ME的圖像，來粗略執行ME。 縮小比率逐漸減小，並最終，利用實際尺寸的圖像來執行ME。
改變ME的塊尺寸或減小塊的中心到中心的距離，使得可獲取更詳細的運動矢量。 [O570] [ME結果的評估] 基於關於是否能正確執行拼接的ME的許多結果，來進行確定，並且如果確定不可 能，則顯示這樣的確定結果，以提示用戶重新拍攝。 如果確定可能，則執行拼接，並顯示組合結果並將其記錄在記錄介質(存儲器) 中。[移動對象的行為] 接下來，將描述移動對象的行為。 在時間相鄰的兩幅圖像的重疊範圍內執行多次塊匹配(BM)，以計算得到的運動矢
該矢量對應於移動方向，並由此可與固定部分分離。 由於圖像中的改變在移動對象和固定對象的邊界處嚴重，所以難以獲得正確BM 結果。當沿著水平方向掃描相機時，難以區分由於在近距範圍中存在固定對象而發生視差 的情況以及存在沿著水平方向移動的對象的情況。 所以，在這樣的情況下，輸出警告信號，而不區分視差和移動對象。 當在圖像中檢測到視差或移動對象時，現有技術實際上不可能在不產生對於用戶
的任何不便之處的情況下拼接圖像。 所以，在本實施例中，輸出警告信號，以提示用戶"重新拍攝"或"利用改變的拍攝 方法重新拍攝"。 例如，輸出例如"在對象中出現視差的影響或移動對象。請利用降低的旋轉半徑來 重新拍攝。"的警告信號。 如上所述，在第四配置中，由於可正好在拍攝之後檢測移動對象的存在，所以可能 進行重新拍攝。 結果，由於可正好在拍攝之後檢測視差的影響，所以可能進行重新拍攝。
接下來，將描述第五配置。
[第五配置] 在第五配置中，向用戶通知掃描角速度(用戶掃描相機的速度)的適當值，並且如 果掃描太快，則輸出警告信號，由此提示用戶重新拍攝。 如上所述，微計算機162通過圖形在例如LCD的顯示單元18的屏幕的水平和垂直
軸上分別顯示時間和位置傳感器(陀螺儀傳感器)的輸出(掃描角速度)。 由於當設置水平視角、水平像素數目和快門速度時確定了最大掃描角速度，所以
作為圖4中示出的適當範圍RNG在表上顯示了最大掃描角速度的60到80% 。 操作過程的概況如下。[1]利用操作單元19的按壓的開始按鈕來掃描相機，並然
後釋放開始按鈕。[2]在圖4中圖示的顯示單元18的屏幕上顯示在開始按鈕的按壓狀態期
間的掃描角速度。 [3]當掃描角速度低於適當範圍RNG時，不輸出警告信號，但是當掃描角速度高於 適當範圍時，將輸出警告信號。 如上所述，在第五配置中，由於向用戶通知適當速度，所以可能消除例如太快掃描 導致沒有重疊區域以及太慢掃描導致窄場面的成像的不便之處。
將參考圖22A到22D來描述用於計算掃描速度的處理的示例。
〈掃描速度的計算〉 將描述用於計算以下這樣的掃描速度的方法，當確定曝光周期、像素計數、每一線
的讀出周期、視角、重疊率、和幀頻時，消除了模糊角、模糊像素計數中的任何問題。 可從三個公式獲得的掃描速度的最低值是該條件下的最大角速度。 圖22A到22D中示出的表示出了當給出例如視角和掃描速度的各種參數時的模糊
像素計數和幀頻的計算結果。 在不同條件[1]到[6]下獲得計算結果。 下面將描述圖22A到22D中的條件[1]下的計算結果。 使用掃描速度vp、視角th、水平像素計數H、和重疊率k，從圖22A到22D中的表的
右邊的計算公式來如下計算模糊角ab2、模糊像素計數nb2、和幀頻f。 ab2 = vp (ts+n rs) 1000 nb2 = vp (ts+n rs) H/th f = 100/(100-k) H vp/n/th 根據這些等式，掃描速度vp成為如下。 vp = 1000 ab2/(ts+n rs) [deg]…(1) vp = nb2 th/H/(ts+n rs) [deg/sec]…(2) vp = (100-k)/100 n th f/H…(3) 這裡，當模糊角ab2是0. 28度、曝光周期是1毫秒、較短側像素計數n是400像素、 而每一線的讀出周期rs是7. 8微秒時，掃描速度vp成為68度/秒。 此外，當模糊像素計數nb2是19. 9像素、較長側視角th是50度、而水平像素計數 H是3560像素時，掃描速度vp成為68度/秒。 此外，當重疊率k是20X而幀頻f是15. 13時，掃描速度vp成為68度/秒。
所以，當改變公式(1)、 (2)和(3)右邊的參數時，掃描速度將受到這些公式的限 制。 當比通過公式(1)獲得的掃描速度vp更快地掃描相機時，其可超出光學圖像穩定 元件的工作限制。 當比通過公式(2)獲得的掃描速度vp更快地掃描相機時，模糊量可超出許可限 制。 當比通過公式(3)獲得的掃描速度vp更快地掃描相機時，重疊範圍將降低，並且 在一些情況下甚至將消失。 上面詳細描述的第一到第五配置可單獨或全部在相機設備10中採用，並可適當 地組合在一起以便在其中採用。 上面詳細描述的方法可實現為要由例如CPU的計算機執行的與上述過程對應的 程序。 這樣的程序可經由例如半導體存儲器、磁碟、光碟或軟(註冊商標)盤的記錄介質 或通過其中設置有這樣的記錄介質的計算機而訪問，由此執行程序。 本申請包括與2008年12月8日向日本專利局提交的日本優先權專利申請 JP2008-312674中公開的內容相關的主題，由此通過引用合併其全部內容。
本領域技術人員應理解，可取決於設計需求和其他因素而發生各種修改、組合、子 組合和替換，只要它們在所附權利要求或其等效的範圍之內即可。
權利要求
一種成像設備，包括成像裝置，用於通過光學系統成像對象圖像；圖像信號處理部分，具有將多個成像圖像組合為一幅組合圖像的功能，所述成像圖像是在掃描該成像設備的同時獲得的；位置傳感器，能夠獲得該成像設備的位置信息；和控制器，用於處理該位置傳感器的信息，其中該控制器基於該位置傳感器的檢測信息來發送掃描角速度的適當值的通知，並且當掃描角速度超出適當範圍時，輸出警告信號。
2. 根據權利要求1的成像設備，還包括顯示單元，其中該控制器在該顯示單元上連同該適當範圍一起顯示時間和該掃描角速度之間的關係。
3. 根據權利要求2的成像設備，還包括揚聲器單元，其中當該掃描角速度超出該適當範圍時，該控制器經由該揚聲器單元輸出警告聲音。
4. 根據權利要求1到3中的任一個的成像設備，其中基於通過水平視角、水平像素計數、和快門速度確定的最大掃描角速度，來設置該適當範圍。
5. —種成像方法，包括步驟在掃描成像設備的同時、通過具有能夠改變其光軸的光軸改變元件的光學系統使用成像裝置來成像對象圖像；經由位置傳感器獲得該成像設備的位置信息；基於該位置傳感器的檢測信息來發送掃描角速度的適當值的通知；禾口當該掃描角速度超出適當範圍時，輸出警告信號。
6. 根據權利要求5的成像方法，其中在該顯示單元上連同該適當範圍一起顯示時間和該掃描角速度之間的關係。
7. 根據權利要求6的成像方法，其中當該掃描角速度超出該適當範圍時，經由該揚聲器單元輸出警告聲音。
8. 根據權利要求5到7中的任一個的成像方法，其中基於通過水平視角、水平像素計數、和快門速度確定的最大掃描角速度，來設置該適當範圍。
9. 一種用於執行成像處理的程序，該程序促使計算機執行以下處理在掃描成像設備的同時、通過具有能夠改變其光軸的光軸改變元件的光學系統使用成像裝置來成像對象圖像；經由位置傳感器獲得該成像設備的位置信息；基於該位置傳感器的檢測信息來發送掃描角速度的適當值的通知；禾口當該掃描角速度超出適當範圍時，輸出警告信號。
全文摘要
一種成像設備包括成像裝置，用於通過光學系統成像對象圖像；圖像信號處理部分，具有將多個成像圖像組合為一幅組合圖像的功能，所述成像圖像是在掃描成像設備的同時獲得的；位置傳感器，能夠獲得該成像設備的位置信息；和控制器，用於處理該位置傳感器的信息，其中該控制器基於該位置傳感器的檢測信息來發送掃描角速度的適當值的通知，並且當掃描角速度超出適當範圍時，輸出警告信號。
文檔編號H04N5/225GK101753818SQ20091025380
公開日2010年6月23日 申請日期2009年12月8日 優先權日2008年12月8日
發明者山下紀之, 藤田俊史 申請人:索尼株式會社