複眼攝像裝置、測距裝置、視差算出方法以及測距方法

2023-06-28 05:19:06 1

專利名稱：複眼攝像裝置、測距裝置、視差算出方法以及測距方法
技術領域：
本發明涉及具有多個攝像光學系統的、算出攝像光學系統之間產生的 視差的複眼攝像裝置等。
背景技術：
近些年，對測定從規定的位置到對象物為止的距離、或對象物的三維 位置(形狀)的需求越來越提高。例如，對於汽車的視角補助提出了以下的方 法，即，不僅顯示利用安裝在汽車的小型照相機而拍攝的周圍的物體的影 像，而同時顯示利用測距裝置而測定的物體與汽車之間的正確的距離信息， 從而準確地避免與周圍的物體碰撞。並且，在行動電話或電視機等中，為 了更忠實地再現影像的臨場感而需要立體影像的輸出入裝置。需要這些用 途的測距裝置的高精度化以及小型化。
自從以前採用了利用三角測定原理的立體測距方法，以作為測定到對 象物為止的距離、或對象物的三維位置的方法。在立體測距方法中，根據 多個照相機之間產生的視差算出到對象物為止的距離。
圖30是利用照相機a和照相機b這兩個照相機時的、通過立體測距方 法算出到對象物為止的距離的例子的說明圖。對象物100的光線101a、 101b，經由照相機a的透鏡102a以及照相機b的透鏡102b的各個光學中 心105a、 105b成像在攝像區域104a、 104b。光軸103a以及光軸103b 表示各個照相機的光軸。此時，例如，在對象物100針對照相機a成像在 從攝像區域104a和光軸103a的交點106a遠離了 Pa的位置107a、且對 象物100針對照相機b成像在從攝像區域104b上的攝像區域104b和光軸 103b的交點106b遠離了 Pb的位置107b的情況下，在照相機a與照相機 b之間產生視差P(二Pb—Pa)。該視差P按照測距裝置與對象物距離之間 的距離D發生變化。若照相機a的光軸103a和照相機b的光軸103b為平 行、其間隔為基線長度B、照相機a以及照相機b的焦距為f，則以(式l)來表示到對象物為止的距離D。因此，若因預先進行校準(calibration)處理 等而已經知道基線長度B以及焦距f，則通過求出視差P能夠算出到對象 物100為止的距離D。公式1
formula see original document page 8
而且，在實際環境下，照相機a和照相機b的光軸不是平行的情況多。 於是，進行例如非專利文獻1所示的平行化處理。周知的是，其結果為制 作光軸為平行的圖像，從而能夠使用利用了所述(式l)的運算來算出距離D。
通常，攝像區域104a以及攝像區域104b由CCD(Charge Coupled Device :電荷耦合器件)或CMOS (Complementary Metal Oxide Semiconductor :互補金屬氧化半導體)等的攝像元件構成。據此，由於利 用在二維平面上被離散化的對象物像的亮度信號算出視差P，因此，通常 其視差檢測解析度為1像素。通過(式l)的關係，根據視差檢測解析度決定 測距解析度(以後，記載為測距精度)。
並且，通過利用例如圖31 圖33而以下說明的方法，能夠算出對象 物的三維位置。
圖31是表示測距裝置與對象物之間的位置關係的圖。在圖31中將世 界坐標的原點Mw(O、 0、 0)作為照相機a的光學中心105a。如圖示出，若 將對象物110的一點111的三維位置坐標作為Mw(Xwl、 Ywl、 Zwl)，則 求出Zwl為利用圖30說明的(式l)而算出的距離D。
圖32是從Yw軸的負的一側看圖31的照相機a和對象物110的一點 lll時的圖。如圖示出，若將交點106a作為攝像區域104a的二維坐標系 的原點ms(O、 0)，則利用成像位置107a的坐標ms(xsl、 ysl)、且以(式 2)來表示Xwl。公式2
formula see original document page 8…(式2)
圖33是從Xw軸的正的一側看圖31的照相機a和對象物110的一點 111時的圖。與圖32相同，若將交點106a作為攝像區域104a的二維坐標系的原點ms(O、 0)，則利用成像位置107a的坐標ms(xsl、 ysl)、且以(式 3)來表示Ywl。 formula see original document page 9與所述的測距精度相同，三維位置的測定精度也是根據視差檢測分辨 率決定的。
其次，說明視差P的檢測方法的具體例子。對於視差P，算出在照相 機a的攝像區域104a取得的圖像a、和在照相機b的攝像區域104b取得 的圖像b這各個圖像的每個小區域的相關值，即算出SAD(Sum of Absolute Difference::絕對差總和)，並利用算出的相關值，從而算出圖像a與圖像 b之間的每個小區域的偏移，即算出視差P。而且，SAD是相關值的一個 例子，也可以利用一般所周知的SSD(Sum of Squared Difference :平方 差總和)或NCC(Normalized Cross—Correlation :歸一化互相關)等以作 為相關值。
以下，參照圖34 圖36說明利用代表性的相關值即SAD的、視差的 算出。
圖34是圖像中的各個像素的亮度的表達方法的說明圖。如圖示出，0 為黑，15為白，並以線的密度來表達各個亮度的階度。亮度有時成為小數 點以下的值。
圖35A是示出從對象物的一側看映射的對象物的紋理(texture)時的、 圖像a的一部分的圖。圖35B是示出從對象物的一側看映射的對象物的紋 理時的、圖像b的一部分的圖。
在對象物位於無窮遠時，在圖35B中的用粗線包圍的圖像塊b映射與 圖35A中的用粗線包圍的圖像塊a相同的圖像。在對象物位於有限的距離 的情況下，由於產生圖35A以及圖35B所示的視差，因此，針對圖35A 的圖像，圖35B的圖像被映射在右邊。在此，說明圖35A和圖35B具有 3.6像素的實際視差的情況。為了搜索與圖像塊a相關度最高的圖像區域， 而按每一個像素，將圖像塊b從圖35B的粗線的位置向右方向逐漸偏移， 從而按每個偏移量、且根據(式4)算出SAD。公式4
SAD = Z|la(i,j) —Ib(i，j〗 …(式4)
在此，Ia、 Ib表示各個圖像塊內的亮度值，i、 j表示各個圖像塊內的 局部地址。圖像塊a和圖像塊b的圖像尺寸相同，按每個偏移量算出圖像 塊兩者的相同地址的亮度差分的絕對值的塊內總和。對於圖像塊的形狀， 雖然可以是長方形或對應於紋理的特徵的形狀，但是，在此，以正方形的 圖像塊來進行說明。
圖36是示出按每一個像素將圖像塊b移動時的SAD的推移的圖。在 偏移量為4像素的情況下，由於SAD為最小，因此可以認為圖像塊a和圖 像塊b的相關度最高。因此，算出圖像塊a中的照相機a與照相機b之間 的視差為4像素，算出的視差乘以像素間距尺寸來求出(式1)的視差P，從 而能夠算出到對象物為止的距離D。在此情況下，能夠求出接近實際的視 差3.6像素的視差，但是，由於視差的檢測精度為1像素，因此，不能以 小數點以下的像素的精度來求出視差(以後，稱為子像素視差)。
對於測距精度即視差檢測解析度不是1像素單位而是更高的精度的求 出方法，提出了子像素級視差的推測方法(例如專利文獻l)。例如，對於所 謂等角直線擬合的子像素視差推測方法，通過假定如圖37示出以實際視差 為基準而SAD的推移的左右的傾斜度e相同，從而通過一次線性插值能夠 推測子像素級的實際視差。以(式5)來示出等角直線擬合的子像素視差算出 式即插值式。公式5
P二屍min+d …(式5) '在<辨-l)的情況下
"O (l)卡l) 卿-A(-l)
-在其它的情況下
卿-i (l)
在此假設，P為子像素視差，Pmin為SAD成為最小的偏移量(整數視差)，R(O)為SAD成為最小的偏移量中的相關值(SAD)，其相鄰的偏移量中 的SAD為R(—1)、 R(l)。
並且，除此以外，還提出了以下的方法，即，假定SAD等的相關值的 每個偏移量的推移以實際視差為基準成為對稱的推移，從而通過二次函數 等高次的線性函數或非線性函數對實際視差進行插值運算。在如圖35A以 及圖35B示出發生亮度的一次函數性變化的對象物的情況下，如圖36示 出SAD的推移以實際視差為基準成為對稱，並且，SAD —次直線性地推 移。因此，若利用等角直線擬合進行子像素視差推測，則能夠正確地求出 視差3.6像素。
專利文獻1 :日本特開2000-283753號公報
非專利文獻1 :徐剛，辻三郎著 "3次元匕'- s ^(三維視覺)"共立 出版pp96—99 2002年9月25日出版
如上所述，在圖35A、圖35B以及圖36中，以亮度的分布在視差的 搜索方向一次函數性且同樣地發生變化的對象物為例子進行了說明。在這 些情況下，相關值的推移以實際視差為基準成為對稱，因此通過等角直線 擬合能夠正確地進行子像素視差推測。但是，對於實際的對象物，表面的 花樣(紋理)同樣地發生變化的情況少，而例如圖38A以及圖38B示出亮度 的分布不同樣地發生變化的情況多。
圖38A是示出從對象物的一側看的圖像a的一部分的圖。圖38B是示 出從對象物的一側看的圖像b的一部分的圖。在對象物位於無窮遠時，在 圖38B中的用粗線包圍的圖像塊b映射與圖38A中的用粗線包圍的圖像塊 a相同的圖像。在對象物位於有限的距離的情況下，由於產生圖30所示的 視差，因此，針對圖38A的圖像，圖38B的圖像向右邊移動。在此，與圖 35A以及圖35B相同，說明圖38A和圖38B具有3.6像素的實際視差的 情況。
圖39是在圖38A以及圖38B的圖像的情況下的SAD的推移、和此 時的通過所述等角直線擬合的子像素視差推測的說明圖。如圖示出，由於 SAD的推移以實際視差為基準不成為對稱，因此子像素視差推測結果偏離 實際視差。具體而言，推測子像素視差為3.2像素左右。其結果為，在推測 視差與實際視差之間產生0.4像素左右的誤差。如此，以往的立體測距方法中使用的進行子像素視差推測的插值式， 假定相關值的推移以實際視差為基準成為對稱的情況。因此，存在的問題 是，對於相關值的推移以實際視差為基準不成為對稱的對象物，產生視差
的推測誤差。並且，例如圖40A以及圖40B示出的利用三個以上的光學系 統的多眼立體相機也同樣，存在的問題是，對於相關值的推移以實際視差 為基準不成為對稱的對象物，產生視差的推測誤差。

發明內容
為了解決所述問題，本發明的目的在於提供一種複眼攝像裝置或測距 裝置，相關值的推移與對象物的亮度的分布無關而以實際視差為基準成為 對稱，並且，即使利用如上所述的通過以往的插值的子像素視差推測方法， 也能夠高精度地推測子像素視差。
為了實現所述目的本發明涉及的的複眼攝像裝置，算出拍攝同一對象
物的多個攝像光學系統中產生的視差，其中，至少包括基準攝像光學系
統，通過拍攝所述對象物，從而生成包含基準圖像的圖像；兩個以上的偶
數的參考攝像光學系統，通過拍攝所述對象物，從而生成包含參考圖像的 圖像，所述兩個以上的偶數的參考攝像光學系統的各個光學中心被配置為，
對所述基準攝像光學系統的光學中心大致成為點對稱；相關值算出單元， 針對所述兩個以上的偶數的參考攝像光學系統的每一個，按每個偏移量算 出表示所述基準圖像和所述參考圖像的相似度的相關值，所述偏移量是在 將搜索位置沿著與基線平行的方向逐漸偏移的情況下的偏移量，所述搜索 位置是為了搜索與所述基準圖像相似的所述參考圖像的圖像位置而由所述 參考攝像光學系統生成的圖像中的所述參考圖像的位置，所述基線是連接 所述基準攝像光學系統的光學中心和所述參考攝像光學系統的光學中心的 直線；相關值加法單元，通過按每個對應的偏移量，對針對所述兩個以上 的偶數的參考攝像光學系統的每一個算出的相關值進行加法運算，從而算 出合成相關值；以及視差算出單元，根據所述合成相關值，以子像素級來 算出作為所述基準圖像和所述參考圖像的相似度成為最大的偏移量的視 差。
據此，按每個對應的偏移量，對針對被配置為對基準攝像光學系統的大致成為點對稱的兩個以上的參考攝像光學系統的每一個算出的相關值進 行加法運算，因此，相關值的推移與被攝體無關而以實際視差為基準成為 對稱，從而能夠高精度地推測子像素視差。
在此，大致成為點對稱是指，在由兩個參考攝像光學系統構成的情況 下，兩個參考攝像光學系統的光學中心和基準攝像光學系統的光學中心大 致被配置在一條直線上，兩個參考攝像光學系統和基準攝像光學系統的基 線長度大致相同。並且，在由四個參考攝像光學系統構成的情況下，增加 的兩個參考攝像光學系統的光學中心和基準攝像光學系統的光學中心大致 被配置在一條直線上，增加的兩個參考攝像光學系統和基準攝像光學系統 的基線長度大致相同。進而，在由多數參考攝像光學系統構成的情況下， 增加的兩個參考攝像光學系統的光學中心為一組的各個組和基準攝像光學 系統的光學中心大致被配置在一條直線上，增加的兩個參考攝像光學系統 為一組的各個組和基準攝像光學系統的基線長度大致相同。
並且，優選的是，所述視差算出單元，通過使用利用了對稱性的插值 式，對由所述相關值加法單元進行加法運算後的每個偏移量的相關值進行 插值，從而算出子像素級的視差。
據此，即使利用通過以對稱性為前提的以往的插值的子像素視差推測 方法，也能夠高精度地推測子像素視差。
並且，優選的是，所述複眼攝像裝置包括四個以上的參考攝像光學系 統，所述四個以上的參考攝像光學系統被配置為， 一對第一參考攝像光學 系統涉及的基線的方向、和一對第二參考攝像光學系統涉及的基線的方向 以規定的角度傾斜，所述一對第一參考攝像光學系統被配置為對所述基準 攝像光學系統的光學中心大致成為點對稱，所述一對第二參考攝像光學系 統也被配置為對所述基準攝像光學系統的光學中心大致成為點對稱，且所 述一對第二參考攝像光學系統的光學中心與第一參考攝像光學系統的光學 中心不同。
據此，與利用兩個參考攝像光學系統的情況相比，參考攝像光學系統 即參考圖像增加，因此，信息量增加，且相關值的推移的直線性提高。並 且，作為連接被配置為對基準攝像光學系統大致成為點對稱的一對參考攝 像光學系統和基準攝像光學系統的光學中心的直線的基線的方向、和另一對參考攝像光學系統和基準攝像光學系統的基線的方向以規定的角度傾 斜，從而被拍攝的對象物的信息量更增加，且相關值的推移的直線性提高。 其結果為，子像素視差的推測精度更提高。
並且，優選的是，所述四個以上的參考攝像光學系統被配置為，第一 基線長度和第二基線長度不同，所述第一基線長度是所述第一參考攝像光 學系統和所述基準攝像光學系統的基線的長度，所述第二基線長度是所述
第二參考攝像光學系統和所述基準攝像光學系統的基線的長度；所述相關 值算出單元，在算出所述第二參考攝像光學系統所生成的參考圖像的相關
值時，按每個第二偏移量算出所述相關值，所述第二偏移量是所述第二基 線長度除以所述第一基線長度而得到的值再乘以第一偏移量而得到的值， 所述第一偏移量是在算出由所述第一參考攝像光學系統生成的參考圖像的 相關值時利用了的偏移量。
據此，在被配置為對基準攝像光學系統的光學中心大致成為點對稱的 一對參考攝像光學系統和基準攝像光學系統的基線的長度、另一對參考攝 像光學系統和基準攝像光學系統的基線的長度不同的情況下，也能夠提高 相關值的推移的對稱性。其結果為，參考攝像光學系統的配置的自由度增 大，並且，能夠提高子像素視差的推測精度。
並且，優選的是，基準攝像光學系統以及所述四個以上的參考攝像光 學系統被配置為，與所述基準攝像光學系統具有的構成攝像裝置的像素的 位置關係相同。
據此，在進行塊匹配運算時，對應於偏移量的塊的邊界和像素的邊界 一致，因此不需要由雙線性插值等的圖像處理。其結果為，能夠縮短塊匹 配運算的運算時間。
並且，優選的是，對於被配置為對所述基準攝像光學系統的光學中心 大致成為點對稱的成對的每一對參考攝像光學系統，在D為到對象物為止 的距離、pitch為像素間距、f為焦距的情況下，滿足光學中心位置誤差《 D pitch 0.15 / f，所述光學中心位置誤差是連接一對參考攝像光學系統 中的一方的參考攝像光學系統的光學中心和所述基準攝像光學系統的光學 中心的直線、和一對參考攝像光學系統中的另一方的參考攝像光學系統的 光學中心之間的距離。據此，相關值的推移與被攝體無關而以實際視差為基準十分成為點對 稱，因此，比以前更能夠高精度地推測子像素視差。
並且，優選的是，對於被配置為對所述基準攝像光學系統的光學中心
大致成為點對稱的成對的每一對參考攝像光學系統，在D為到對象物為止 的距離、pitch為像素間距、f為焦距的情況下，滿足基線長度誤差《 D pitch 0.2 / f，所述基線長度誤差是第一基線長度和第二基線長度的長 度的差，所述第一基線長度是一對參考攝像光學系統中的一方的參考攝像 光學系統的光學中心和所述基準攝像光學系統的光學中心之間的間隔，所 述第二基線長度是一對參考攝像光學系統中的另一方的參考攝像光學系統 的光學中心和所述基準攝像光學系統的光學中心之間的間隔。
據此，相關值的推移與被攝體無關而以實際視差為基準十分成為點對 稱，因此，比以前更能夠高精度地推測子像素視差。
並且，優選的是，所述複眼攝像裝置還包括預處理單元，對所述基準 圖像以及所述參考圖像執行平滑濾波處理；所述相關值算出單元，根據執 行所述平滑濾波處理後的基準圖像以及參考圖像算出所述相關值。
據此，與對象物的亮度分布無關而能夠減少因噪聲的影響而引起的精 度降低，且能夠使對象物的亮度的變動更平滑，因此，在例如利用所述SAD 和等角直線擬合的情況下，在保持相關值的推移的對稱性的狀態下，SAD 的推移的直線性提高，子像素視差測定精度更提高。
並且，為了實現所述目的本發明涉及的的測距像裝置，通過算出拍攝 同一對象物的多個攝像光學系統中產生的視差，從而算出到所述對象物為 止的距離或所述對象物的三維位置，其中，包括基準攝像光學系統，通 過拍攝所述對象物，從而生成包含基準圖像的圖像；兩個以上的偶數的參 考攝像光學系統，通過拍攝所述對象物，從而生成包含參考圖像的圖像， 所述兩個以上的偶數的參考攝像光學系統的各個光學中心被配置為，對所 述基準攝像光學系統的光學中心大致成為點對稱；相關值算出單元，針對 所述兩個以上的偶數的參考攝像光學系統的每一個，按每個偏移量算出表 示所述基準圖像和所述參考圖像的相似度的相關值，所述偏移量是在將搜 索位置沿著與基線平行的方向逐漸偏移的情況下的偏移量，所述搜索位置 是為了搜索與所述基準圖像相似的所述參考圖像的圖像位置而由所述參考攝像光學系統生成的圖像中的所述參考圖像的位置，所述基線是連接所述 基準攝像光學系統的光學中心和所述參考攝像光學系統的光學中心的直
線；相關值加法單元，通過按每個對應的偏移量，對針對所述兩個以上的 偶數的參考攝像光學系統的每一個算出的相關值進行加法運算，從而算出 合成相關值；視差算出單元，根據所述合成相關值，以子像素級來算出作 為所述基準圖像和所述參考圖像的相似度成為最大的偏移量的視差；以及 距離算出單元，根據被算出的視差、所述基準攝像光學系統的焦距和所述 基線的長度，算出從所述測距裝置到所述對象物為止的距離或所述對象物 的三維位置。
據此，按每個對應的偏移量，對針對兩個以上的參考攝像光學系統的 每一個算出的相關值進行加法運算，從而相關值的推移與被攝體無關而以 實際視差為基準成為對稱，能夠高精度地推測子像素視差。其結果為，能 夠高精度地推測到成為被攝體的對象物為止的距離。
並且，本發明涉及的視差算出方法，算出拍攝同一對象物的多個攝像 光學系統中產生的視差，其中，所述多個攝像光學系統包括基準攝像光 學系統，通過拍攝所述對象物，從而生成包含基準圖像的圖像；兩個以上 的偶數的參考攝像光學系統，通過拍攝所述對象物，從而生成包含參考圖 像的圖像，所述兩個以上的偶數的參考攝像光學系統的各個光學中心被配 置為，對所述基準攝像光學系統的光學中心大致成為點對稱；所述視差算 出方法包括相關值算出步驟，針對所述兩個以上的偶數的參考攝像光學 系統的每一個，按每個偏移量算出表示所述基準圖像和所述參考圖像的相 似度的相關值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏 移的情況下的偏移量，所述搜索位置是為了搜索與所述基準圖像相似的所 述參考圖像的圖像位置而由所述參考攝像光學系統生成的圖像中的所述參 考圖像的位置，所述基線是連接所述基準攝像光學系統的光學中心和所述 參考攝像光學系統的光學中心的直線；相關值加法步驟，通過按每個對應 的偏移量，對針對所述兩個以上的偶數的參考攝像光學系統的每一個算出 的相關值進行加法運算，從而算出合成相關值；以及視差算出步驟，根據 所述合成相關值，以子像素級來算出作為所述基準圖像和所述參考圖像的 相似度成為最大的偏移量的視差。據此，能夠得到與所述複眼攝像裝置相同的效果。
並且，本發明涉及的測距方法，通過算出拍攝同一對象物的多個攝像 光學系統中產生的視差，從而算出到所述對象物為止的距離或所述對象物
的三維位置，其中，所述多個攝像光學系統包括基準攝像光學系統，通
過拍攝所述對象物，從而生成包含基準圖像的圖像；兩個以上的偶數的參
考攝像光學系統，通過拍攝所述對象物，從而生成包含參考圖像的圖像， 所述兩個以上的偶數的參考攝像光學系統的各個光學中心被配置為，對所
述基準攝像光學系統的光學中心大致成為點對稱，所述測距方法包括相
關值算出步驟，針對所述兩個以上的偶數的參考攝像光學系統的每一個，
按每個偏移量算出表示所述基準圖像和所述參考圖像的相似度的相關值，
所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況下的偏
移量，所述搜索位置是為了搜索與所述基準圖像相似的所述參考圖像的圖
像位置而由所述參考攝像光學系統生成的圖像中的所述參考圖像的位置，
所述基線是連接所述基準攝像光學系統的光學中心和所述參考攝像光學系
統的光學中心的直線；相關值加法步驟，通過按每個對應的偏移量，對針
對所述兩個以上的偶數的參考攝像光學系統的每一個算出的相關值進行加
法運算，從而算出合成相關值；視差算出步驟，根據所述合成相關值，以 子像素級來算出作為所述基準圖像和所述參考圖像的相似度成為最大的偏 移量的視差；以及距離算出步驟，根據被算出的視差、所述基準攝像光學 系統的焦距和所述基線的長度，算出從所述測距裝置到所述對象物為止的 距離或所述對象物的三維位置。
據此，能夠得到與所述測距裝置相同的效果。
而且，也可以以使計算機執行這些視差算出方法或測距方法包括的步 驟的程序來實現本發明。並且，也可以通過CD—ROM(Compact Disc— Read Only Memory :光碟只讀存儲器)等的記錄介質或網際網路等的通信網 絡分發這些程序。
根據本發明能夠提供一種複眼攝像裝置或測距裝置，相關值的推移與 對象物的亮度的分布無關而以實際視差為基準成為對稱，並且，即使利用 如上所述的通過以往的插值的子像素視差推測方法，也能夠高精度地推測 子像素視差。


圖1是示出本發明的實施例1涉及的測距裝置的結構的圖。
圖2是示出本發明的實施例1涉及的測距裝置和對象物的位置關係的圖。
圖3是示出本發明的實施例1涉及的與測距裝置的對象物的三維位置 或距離的算出有關的處理的過程的流程圖。
圖4是示出本發明的實施例1涉及的通過基準攝像光學系統拍攝對象 物的表面上的點13的周邊的紋理時從對象物的一側看的圖像的一部分的 圖。
圖5A是示出本發明的實施例1涉及的通過攝像光學系統拍攝的圖像的 一部分的圖。
圖5B是示出本發明的實施例1涉及的通過攝像光學系統拍攝的圖像的 一部分的圖。
圖5C是示出本發明的實施例l涉及的通過攝像光學系統拍攝的圖像的 一部分的圖。
圖6A是示出本發明的實施例1涉及的SAD的推移的圖。 圖6B是示出本發明的實施例1涉及的SAD的推移的圖。 圖7是示出本發明的實施例1涉及的合成SAD的推移的圖。 圖8是示出在本發明的實施例1涉及的被映射圖像的對象物的一點的 周邊的紋理的圖。
圖9A是示出本發明的實施例1涉及的SAD的推移的圖。 圖9B是示出本發明的實施例1涉及的SAD的推移的圖。 圖10是示出本發明的實施例2涉及的測距裝置的結構的圖。 圖IIA是示出本發明的實施例2涉及的SAD的推移的圖。 圖11B是示出本發明的實施例2涉及的SAD的推移的圖。 圖12是示出本發明的實施例2涉及的SAD的推移的圖。 圖13是示出本發明的實施例3涉及的測距裝置的結構的圖。 圖14是本發明的實施例3涉及的測距裝置的工作的說明圖。 圖15是本發明的實施例3涉及的測距裝置的工作的說明圖。圖16是本發明的實施例3涉及的測距裝置的性能的說明圖。
圖17是本發明的實施例3涉及的測距裝置的工作的說明圖。
圖18A是示出本發明的實施例3涉及的SAD的推移的圖。
圖18B是示出本發明的實施例3涉及的SAD的推移的圖。
圖19是示出本發明的實施例3涉及的合成SAD的推移的圖。
圖20是本發明的實施例3涉及的測距裝置的性能的說明圖。
圖21是示出本發明的實施例4涉及的測距裝置的結構的圖。
圖22是示出本發明的實施例4涉及的測距裝置和對象物的位置關係的圖。
圖23是示出本發明的實施例4涉及的與測距裝置的對象物的三維位置
或距離的算出有關的處理的過程的流程圖。
圖24A是示出本發明的實施方式涉及的測距裝置的結構的圖。 圖24B是示出本發明的實施方式涉及的測距裝置的結構的圖。 圖24C是示出本發明的實施方式涉及的測距裝置的結構的圖。 圖24D是示出本發明的實施方式涉及的測距裝置的結構的圖。 圖24E是示出本發明的實施方式涉及的測距裝置的結構的圖。 圖24F是示出本發明的實施方式涉及的測距裝置的結構的圖。 圖25A是示出本發明的實施方式涉及的用於測距裝置進行性能評價的
圖像的圖。
圖25B是示出通過本發明的實施方式涉及的用於測距裝置進行性能評 價的圖像的圖。
圖25C是示出本發明的實施方式涉及的用於測距裝置進行性能評價的 圖像的圖。
圖25D是示出本發明的實施方式涉及的用於測距裝置進行性能評價的 圖像的圖。
圖26A是示出本發明的實施方式涉及的測距裝置的性能評價的圖。 圖26B是示出本發明的實施方式涉及的測距裝置的性能評價的圖。 圖26C是示出本發明的實施方式涉及的測距裝置的性能評價的圖。 圖26D是示出本發明的實施方式涉及的測距裝置的性能評價的圖。 圖27A是示出本發明的變形例涉及的攝像光學系統的配置的圖。圖27B是示出本發明的變形例涉及的攝像光學系統的配置的圖。 圖28A是示出本發明涉及的攝像光學系統的配置的說明圖。 圖28B是示出本發明涉及的攝像光學系統的配置的說明圖。 圖28C是示出本發明涉及的攝像光學系統的配置的說明圖。 圖29A是示出本發明涉及的攝像光學系統的配置的說明圖。 圖29B是示出本發明涉及的攝像光學系統的配置的說明圖。 圖30是通過立體測距方法算出到對象物為止的距離的例子的說明圖。 圖31是表示以往的技術的說明中的測距裝置與對象物之間的位置關係 的圖。
圖32是以往的技術的說明中的從Yw軸的負的一側看的照相機和對象 物的一點時的圖。
圖33是以往的技術的說明中的從Xw軸的正的一側看的照相機和對象
物的一點時的圖。
圖34是圖像中的各個像素的亮度的表達方法的說明圖。
圖35A是示出以往的技術的說明中的從對象物的一側看的映射的對象
物的紋理時的圖像的一部分的圖。
圖35B是示出以往的技術的說明中的從對象物的一側看的映射的對象
物的紋理時的圖像的一部分的圖。
圖36是示出以往的技術的說明中的SAD的推移的圖。 圖37是示出以往的技術的說明中的SAD的推移的圖。 圖38A是示出以往的技術的說明中的從對象物的一側看的圖像的一部
分的圖。
圖38B是示出以往的技術的說明中的從對象物的一側看的圖像的一部 分的圖。
圖39是通過以往的技術的說明中的等角直線擬合的子像素視差推測的 說明圖。
圖40A是示出以往的技術的說明中的其它的結構的測距裝置的圖。 圖40B是示出以往的技術的說明中的其它的結構的測距裝置的圖。
符號說明說明書第15/43頁
ls、 la、 lb照相機
2s、 2a、 2b、 21a、 21b、 21c、 21d、 21e、 21f、 21g、 21h透鏡
3s、 3a、 3b、 22a、 22b、 22c、 22d、 22e、 22f、 22g、 22h攝像區域
4模數轉換部
5預處理部
6相關值算出部
7相關值加法部
8視差算出部
9後處理部
10s、 10a、 10b光學中心 lls、 lla、 lib光軸 12對象物
13對象物的表面上的點
14s、 14a、 14b、 15s、 15a、 15b塊
16a、 16b、 17a、 17b箭頭線
20複眼照相機
23平滑濾波部
24視差換算部
25s光學中心
50、 60、 70、 80測距裝置
具體實施例方式
以下，參照

本發明的實施例。 (實施例1)
圖1是示出本實施例涉及的測距裝置50的結構的圖。該測距裝置50
包括三個照相機1S、 la、 lb;模數轉換部4;預處理部5;相關值算出 部6;相關值加法部7;視差算出部8;以及後處理部9。
三個照相機ls、 la、 lb分別具有同樣的結構。也就是，照相機ls包 括透鏡2s以及攝像區域3s，照相機la包括透鏡2a以及攝像區域3a，照 相機lb包括透鏡2b以及攝像區域3b。在此，將照相機ls稱為基準攝像光學系統s，將照相機la稱為參考攝像光學系統a，將照相機lb稱為參考 攝像光學系統b。
攝像區域3s、 3a、 3b，例如被構成在CCD或CMOS等的固體攝像元 件上，根據通過透鏡2s、 2a、 2b的對象物的光生成圖像。
在此，本實施例涉及的基準攝像光學系統s、參考攝像光學系統a以及 參考攝像光學系統b具有以下示出的特徵。首先，各個攝像光學系統的光 軸為平行。而且，各個攝像光學系統的光學中心的光軸被配置在一條直線 上，且該直線與光軸垂直。並且，各個攝像光學系統的攝像區域(二維平面) 與光軸被配置為垂直，所有的攝像光學系統的焦距(從攝像區域到光學中心 為止的距離)相同。進而，連接各個攝像光學系統的光學中心的線、即核線 (epipolarline)，與各個攝像區域的水平方向的像素排列平行，在各個攝像 區域的像素排列的水平方向產生各個攝像光學系統之間的視差。
而且，在本發明中，不需要嚴格滿足與所述的本實施例涉及的基準攝 像光學系統s、參考攝像光學系統a、參考攝像光學系統b、光學中心、攝 像區域以及焦距等有關的特徵。例如，若通過校準處理等能夠校正，則也 可以不需要嚴格使光軸相互平行。並且，若可以忽視與光軸、光學中心、 攝像區域以及焦距等有關的特徵的誤差程度，則沒有問題。
並且，基準攝像光學系統s被配置在三個攝像光學系統的正中間，基 準攝像光學系統s的光學中心與參考攝像光學系統a的光學中心之間的距 離(以後，稱為基線長度)Ba、和基準攝像光學系統s的光學中心與參考攝 像光學系統b的光學中心之間的距離(基線長度)Bb相同。也就是，參考攝 像光學系統a以及參考攝像光學系統b被配置為，對基準攝像光學系統s 成為點對稱。
模數轉換部4，將從構成攝像區域3s、 3a、 3b的攝像元件傳輸的亮度 信息，從模擬值轉換為數字值(量化)。在此假設，由模數轉換部4將攝像區 域3s的像量化而得到的圖像作為圖像s，由模數轉換部4將攝像區域3a 的像量化而得到的圖像作為圖像a，由模數轉換部4將攝像區域3b的像量 化而得到的圖像作為圖像b。可以針對照相機ls、 la、 lb的各自個別構成 模數轉換部4，也可以針對照相機ls、 la、 lb共同地構成模數轉換部4， 還可以只針對任一個照相機個別構成模數轉換部4。預處理部5，針對轉換為數字值的各個攝像區域的亮度信息，進行校準、 亮度的明暗校正、光學系統之間的光度的差的降低校正等的、用於高精度 地進行圖像的相關運算的圖像的校正處理。例如，進行一般所周知的透鏡 變形校正或立體圖像的平行化等的校準處理。通過進行該校準處理，從而 能夠得到校正安裝誤差後的圖像。而且，在本實施例中說明預處理部5進 行校準處理等的圖像校正的情況，但是，適用本發明的測距裝置不僅限於 這些測距裝置。例如，也可以是沒有校準處理的測距裝置。
雖然在後面進行詳細說明，不過，相關值算出部6，針對參考攝像光學 系統a以及參考攝像光學系統b的每一個，按每個偏移量算出表示基準圖 像和參考圖像的相似度的相關值，該偏移量為沿著作為連接基準攝像光學 系統s的光學中心和參考攝像光學系統a或b的光學中心的直線的基線的 方向，針對圖像s中包含的基準圖像將圖像a或b中包含的參考圖像的圖 像位置(圖像坐標)逐漸偏移來對圖像進行比較的情況下的偏移量(塊匹配運 算)。在此，針對基準圖像將參考圖像的一方的圖像位置逐漸偏移是指，選 擇基準攝像光學系統以及參考攝像光學系統生成的圖像的一部分的區域， 以分別作為基準圖像以及參考圖像，針對基準圖像將參考圖像的選擇位置 (搜索位置)逐漸偏移。
雖然在後面進行詳細說明，不過，相關值加法部7，按每個對應的偏移 量，對在相關值算出部6按每個攝像光學系統的組合算出的相關值進行加 法運算，從而算出以實際視差為基準成為對稱的分布的合成相關值。
視差算出部8，使用利用了對稱性的插值式，對在相關值加法部7進行 加法運算後的、以實際視差為基準成為對稱的分布的合成相關值進行插值， 從而推測基準圖像以及參考圖像中的子像素級的視差。在此，子像素級是 指，小數點以下的像素的精度。
後處理部9，通過進行根據在視差算出部8算出的子像素級的視差算出 對象物的三維位置(或，從測距裝置到對象物為止的距離)的處理、推測的三 維形狀的濾波處理、或製作推測的對象物的紋理的處理等，從而製作對應 於每個應用程式的輸出的數據。而且，在本實施例中說明後處理部9算出 對象物的三維位置或距離的情況，但是，適用本發明的測距裝置不僅限於 這些測距裝置。例如，也可以是後處理部9將在視差算出部8算出的視差輸出到其它的裝置的裝置。在此情況下，由於不測定到對象物為止的距離， 因此將算出視差的裝置稱為複眼攝像裝置。
圖2是示出圖1示出的測距裝置50和對象物12的位置關係的圖。光 學中心10s是基準攝像光學系統s的光學中心，光學中心10a是參考攝像 光學系統a的光學中心，光學中心10b是參考攝像光學系統b的光學中心。 在此，將基準攝像光學系統s的光學中心10s作為三維的世界坐標系的原 點Mw(O、 0、 0)。
光軸lis是基準攝像光學系統s的光軸，光軸lla是參考攝像光學系 統a的光軸，光軸lib是參考攝像光學系統b的光軸。
對象物12是測定三維位置或距離的對象物。
對象物的表面上的點13是對象物12的表面上的一點，在此，點13 的周邊的區域被設置為與攝像區域平行。並且，點13的世界坐標為 Mw(Xwl、 Ywl、 Zwl)。
其次，說明如上構成的本實施例中的測距裝置50的基本工作。
圖3是示出與測距裝置50的對象物12的三維位置或距離的算出有關 的處理的過程的流程圖。
首先，模數轉換部4，將從構成攝像區域3s、 3a、 3b的攝像元件傳輸 的亮度信息，從模擬值轉換為數字值(SIOI)。
其次，預處理部5，針對轉換為數字值的各個攝像區域的亮度信息，進 行校準、亮度的明暗校正、光學系統之間的光度的差的降低校正等的、用 於高精度地進行圖像的相關運算的圖像的校正處理(S102)。
接著，相關值算出部6，將在S102進行校正處理後的圖像分割為規定 的小區域(以下，稱為塊)(S103)。而且，相關值算出部6，選擇與成為算出 三維位置或距離的對象的對象物12的表面上的點13相對應的圖像s的塊， 以作為基準圖像。(S104)。而且，相關值算出部6，若能夠取得還沒有進行 以下所述的步驟S106 S109的處理的、參考攝像光學系統所生成的圖像a 或圖像b，則開始循環1(S105)。進而，相關值算出部6，若能夠取得偏移 量，則開始循環2(S106)。
而且，相關值算出部6，從在步驟Sl05取得的圖像a或圖像b中選擇 與在步驟S106取得的偏移量相對應的塊，以作為參考圖像(S107)。接著，算出表示作為在步驟S104選擇的圖像s的塊的基準圖像、和作為在步驟 S107選擇的圖像a或圖像b的塊的參考圖像的相似度的相關值，例如算出 SAD(S108)。
如此，相關值算出部6，從預先規定的最小偏移量開始依次使偏移量變 大，從而算出每個偏移量的相關值(S106 S109)。在此，在偏移量達到預 先規定的最大偏移量的情況下，相關值算出部6，結束循環2(S106 S109)。
並且，若結束循環2(S106 S109)，即結束算出每個偏移量的相關值， 相關值算出部6，則取得還沒有進行關於相關值的算出的處理的、參考攝像 光學系統所生成的圖像，反覆進行循環2(S106 S109)的處理(S105 SllO)。在此，在沒有還沒有進行關於相關值的算出的處理的、參考攝像光 學系統所生成的圖像的情況下，即在結束圖像a以及圖像b這兩者的處理 的情況下，相關值算出部6，結束循環1(S105 S110)。
接著，相關值加法部7，按每個對應的偏移量，對通過所述處理算出的 基準圖像和各個參考圖像的相關值進行加法運算，從而算出合成相關值 (Slll)。通過該處理得到的合成相關值，以實際視差為基準形成對稱的分布。
而且，視差算出部8，使用利用了對稱性的插值式，對在步驟S111進 行加法運算後的、每個偏移量的相關值進行插值(S112)。在此使用的插值 式是，例如以等角直線擬合或拋物線擬合(由二次函數的擬合)等的、在相關 值以實際視差為基準形成對稱的分布的前提下的子像素視差推測方法來利 用的插值式。而且，視差算出部8，利用插值後的相關值，算出相關值為最 大或最小(類似度最高)的偏移量即子像素視差(S113)。具體而言，在利用作 為相關值的SAD的情況下，視差算出部8，算出SAD為最小的偏移量， 以作為子像素視差。
利用如此得到的視差，後處理部9，算出對象物的三維位置或距離 (S114)。
而且，在所述處理中，測距裝置50，針對圖像s的選擇的一個塊，求 出子像素視差來算出對象物的三維位置或距離，但也可以是，反覆選擇圖 像s的塊，針對圖像s的所有的塊，求出子像素視差來算出對象物的三維 位置或距離。
其次，參照圖4 圖7說明測距裝置50的對象物12的三維位置的算出，以作為圖3中說明了的處理的具體例子。
圖4是示出通過基準攝像光學系統s拍攝圖2的對象物12的表面上的 點13的周邊的紋理時從對象物的一側看的圖像的一部分的圖。與背景技術 的說明相同，各個四角形表示像素，各個像素中的線的密度表示亮度值。 如圖示出假設，在圖像s上，點13與以黑圈點示出的位置相對應。
在此情況下，如圖3的步驟S103示出，相關值算出部6，將從各個攝 像光學系統得到的圖像分割為規定的小區域(塊)，按每個塊算出三維位置。
在基準攝像光學系統s的塊尺寸為水平方向4像素、垂直方向4像素 的4X4像素的情況下，如圖3的步驟S104示出，對於圖像s，選擇包含 成為測定對象的對象物12的表面上的點13的、塊14s的位置的塊，以作 為基準圖像。而且，對於圖像s中的基準圖像的選擇，只要包含成為測定 對象的對象物12的表面上的點13，就可以進行任何選擇，例如，也可以 選擇從圖4示出的位置向左偏移1像素的位置的塊，以作為基準圖像。
而且，由於基準攝像光學系統s與參考攝像光學系統a之間的基線長 度Ba、和基準攝像光學系統s與參考攝像光學系統b之間的基線長度Bb 相同，因此，針對圖像s在圖像a以及圖像b產生反方向、且大小相同的 視差。在此，在圖像a以及圖像b產生的實際視差，均為3.6像素。
如此，在實際視差為3.6像素的情況下，在與圖像s的塊14s相同的 圖像a的圖像坐標，映出圖4示出的塊14a的位置的圖像。並且，在與圖 像s的塊14s相同的圖像b的圖像坐標，映出圖4示出的塊14b的位置的 圖像。也就是，在圖像s、圖像a、圖像b的同一圖像坐標的對象物12的 圖像成為像圖5A 圖5C那樣。在此，圖像坐標是指，表示以各個攝像光 學系統的光軸和攝像面的交點為原點時的像素的位置的坐標。而且，在對 象物位於相當於無窮遠的位置情況下，對於圖像s、圖像a、圖像b，對象 物的像成像在同一圖像坐標。
圖5A是示出通過基準攝像光學系統s拍攝的圖像s的一部分的圖。圖 5B是示出通過參考攝像光學系統a拍攝的圖像a的一部分的圖。圖5C是 示出通過參考攝像光學系統b拍攝的圖像b的一部分的圖。
在圖5A 圖5c中，各個圖像中的用粗線包圍的塊4X4像素的塊，與 圖4示出的塊14s、 14a、 14b相對應，且表示同一圖像坐標。以下，示出利用作為圖像s、和圖像a或圖像b的相關值的通過(式4)求出的SAD時 的相關值的算出方法。
首先，如圖2的步驟S105 S110示出，相關值算出部6，取得參考 攝像光學系統拍攝的圖像中的圖像a，即取得圖5B的圖像。而且，相關值 算出部6，將已經選擇的作為基準圖像的圖像s的塊、和作為圖像a的塊的 參考圖像作為對象，即將圖5A的用粗線包圍的塊、和作為圖像a的塊的參 考圖像作為對象，從而算出SAD。此時，相關值算出部6，從與作為最小 偏移量的0像素相對應的圖5B的用粗線包圍的塊、到與作為最大偏移量的 7像素相對應的塊為止，向產生視差的方向，即向圖5B示出的作為箭頭線 的方向的圖像水平方向的右邊，按每一個像素將塊偏移，從而選擇作為參 考圖像的±央。其結果為，算出按每個偏移量的SAD。在圖6A示出如此算 出的SAD。
其次，相關值算出部6，選擇還沒有算出相關值的圖像b，即選擇圖 5C的圖像。而且，相關值算出部6，與圖像a的情況相同，算出基準圖像 和參考圖像的SAD。此時，相關值算出部6，從與作為最小偏移量的0像 素相對應的圖5C的用粗線包圍的塊、與作為最大偏移量的7像素相對應的 塊為止，向產生視差的方向，即向圖5C示出的作為箭頭線的方向的圖像水 平方向的左邊，按每一個像素將塊偏移，從而選擇作為參考圖像的塊。其 結果為，算出按每個偏移量的SAD。在圖6B示出如此算出的SAD。
圖6A是表示圖像s和圖像a的SAD的推移的圖，圖6B是表示圖像 s和圖像b的SAD的推移的圖。由於圖示出的SAD的推移，都以實際視 差為基準成為左右非對稱，因此，在通過等角直線擬合測定子像素視差的 情況下，針對作為實際視差的3.6像素，對於圖像a在負的一側產生0.4 像素左右的誤差(圖6A)，對於圖像b在正的一側產生0.5像素左右的誤差(圖 6B)。
於是，如圖2的步驟S111示出，相關值加法部7，按每個對應的偏移 量對SAD進行加法運算，來算出合成相關值，以使SAD的推移以實際視 差為基準成為左右對稱。
圖7是示出合成SAD的推移的圖，該合成SAD是按每個偏移量對圖 6A和圖6B示出的SAD進行加法運算時的合成相關值。如圖示出，進行加法運算後的SAD的推移，以實際視差為基準成為對稱。在此，若圖6A 的SAD的推移為Sa(i)、圖6B的SAD的推移為Sb(i)，則通過(式6)能夠 算出相關值加法部7算出的合成SAD的推移S一sum(i)。formula see original document page 28(i =最小偏移量,最小偏移量+1 ，最小偏移量+ 2，…最大偏移量)
如此，由於合成SAD的推移以實際視差為基準成為對稱，因此，在如 圖2的步驟S112示出、通過使用利用了對稱性的插值式的所述等角直線擬 合來測定子像素視差的情況下，如圖7示出，視差算出部8，能夠以不足 0.1像素的誤差算出視差。因此，與SAD的推移成為左右非對稱的情況相 比，能夠大幅度地提高子像素視差測定精度。也就是，對於等角直線擬合， 在SAD的推移以實際視差為基準成為對稱、且SAD的推移成直線的情況 下，能夠進行沒有誤差的子像素視差測定。特別是，如圖7示出，由於SAD 的推移不是直線，因此雖然產生視差的測定誤差，但是，通過相關值(SAD) 的加法運算能夠使SAD的推移以實際視差為基準成為對稱，從而能夠使視 差的測定誤差變得非常小。
根據視差算出部8如此算出的子像素級的視差，如圖3的步驟S114 示出，後處理部9，將視差轉換為對應於輸出的形式，從而輸出數據。例如， 在輸出對象物的三維位置的情況下，將m(usl、 vsl)轉換為ms(xsl、 ysl)， 與背景技術的說明相同，利用(式l)、(式2)、(式3)能夠求出對應於圖像s 的各個塊的三維位置，所述m(usl、 vsl)是圖像s的二維圖像坐標系，所 述ms(xsl、 ysl)是將圖2的光軸10s和攝像區域3s的交點作為原點的二 維圖像坐標系。在此，通過算出的子像素視差乘以像素間距，從而能夠求 出(式1)的視差P。並且，在只算出從測距裝置到對象物為止的距離的情況 下，與背景技術的說明相同，利用(式l)能夠求出距離。
其次，利用圖8、圖9A以及圖9B，說明在本實施例中如圖7示出、 合成相關值(在此，合成SAD)的推移對實際視差成為對稱的原理。
圖8是示出從對象物12的一側看的、被映射在圖像s的對象物12的 表面上的點13的周邊的紋理的圖。並且，用粗線包圍的塊15s與圖5A示 出的用粗線包圍的塊相同。用虛線包圍的塊15a是，被映射在與圖像s的塊15s相同的圖像坐標 的圖像a的圖像區域。並且，用虛線包圍的塊15b是，被映射在與圖像s 的塊15s相同的圖像坐標的圖像b的圖像區域。在此，圖6A示出的SAD 的推移相當於，針對圖8的黑箭頭線16a以及白箭頭線17a的區域，將作 為參考圖像的圖像a的塊逐漸偏移來算出的SAD的推移。另一方面，圖 6B示出的SAD的推移相當於，針對圖8的白箭頭線16b以及黑箭頭線17b 的區域，將作為參考圖像的圖像b的塊逐漸偏移來算出的SAD的推移。
而且，通過運算只能以離散的點來算出SAD。於是，圖9A以及圖9B 示出，在假定算出SAD的間隔、即取樣間隔為無限小的情況下的SAD的 推移。
圖9A是示出與在取樣間隔為無限小的情況下的圖6A以及圖6B相對 應的SAD的推移的圖。並且，圖9B是示出在取樣間隔為無限小的情況下 的合成SAD的推移的圖。
在圖9A中，用實線示出的SAD的推移示出，與圖6A相對應的圖像 a的SAD的推移。在用實線示出的SAD的推移中，從偏移量0到實際視 差的偏移量為止的SAD的推移(實線18a)相當於，圖8示出的黑箭頭線16a 的區域中的SAD，從實際視差的偏移量到其以上的偏移量的SAD的推移 (實線19a)相當於，圖8示出的白箭頭線17a的區域中的SAD。而且，圖 9A的黑圈點是實際上的取樣點。
另一方面，用虛線示出的SAD的推移示出，與圖6B相對應的圖像b 的SAD的推移。在用虛線示出的SAD的推移中，從偏移量0到實際視差 的偏移量為止的SAD的推移(虛線18b)相當於，圖8示出的白箭頭線16b 的區域中的SAD，從實際視差的偏移量到其以上的偏移量的SAD(虛線19b) 相當於，圖8示出的黑箭頭線17b的區域中的SAD。而且，圖9A的白圈 點是實際上的取樣點。
在圖8中，在取樣間隔為無限小的情況下，對於黑箭頭線16a的SAD 的推移、即圖像a中的從偏移量0到實際視差為止的推移、和黑箭頭線17b 的SAD的推移、即圖像b中的從實際視差到其以上的偏移量的推移，以實 際視差的偏移量為基準算出SAD的基準圖像和參考圖像的組合相同。因此， 圖9A的以實線18a所示的SAD的推移和以虛線19b所示的SAD的推移，以實際視差的偏移量為基準成為對稱。
同樣，在圖8中，在取樣間隔為無限小的情況下，對於白箭頭線17a 的SAD的推移、即圖像a中的從實際視差到其以上的偏移量的推移、和白 箭頭線16b的SAD的推移、即圖像b中的從偏移量0到實際視差的推移， 以實際視差的偏移量為基準算出SAD的基準圖像和參考圖像的組合相同。 因此，圖9A的以實線16b所示的SAD的推移和以虛線17a所示的SAD 的推移，以實際視差的偏移量為基準成為對稱。
根據這些理由，對以各個偏移量的圖像s以及圖像a的塊之間的SAD、 和圖像s以及圖像b的塊之間的SAD進行加法運算的情況下，如圖9B示 出，合成SAD的推移以實際視差為基準成為對稱。而且，當然，即使取樣 間隔變大，所述的對稱性也不會被損失。因此，在本實施例中，如圖7示 出、合成相關值(在此，合成SAD)的推移以實際視差為基準成為對稱。
而且，在算出相關值時，即使不利用SAD而利用例如SSD或NCC 等其它的相關值，也起因於如上所述的不同攝像光學系統的基準圖像和參 考圖像的組合的同一性，合成相關值以實際視差為基準成為對稱。
並且，在本實施例中說明了圖像s中的一個塊，但是，通過對圖像s 中的所有的塊進行同樣的運算，從而能夠求出在圖像s映出的對象物的所 有的三維位置。
並且，在本實施例中，後處理部9，算出對象物12的三維位置或距離， 但也可以利用視差算出部8算出的視差合成多個圖像。
如上所述，根據本實施例，相關值的推移與對象物的亮度的分布無關 而以實際視差為基準成為對稱，因此，能夠提供與對象物無關而可以測定 子像素視差的複眼攝像裝置以及測距裝置。 (實施例2)
其次，說明本發明的實施例2涉及的測距裝置。
本實施例涉及的測距裝置60，與實施例1的測距裝置50不同，預處 理部5包括使圖像的高頻成分降低的平滑濾波部，但是，其它的構成部以 及功能等與實施例1的測距裝置50相同。因此，以本實施例的測距裝置的 特徵部分為中心進行說明。
圖10是示出本實施例涉及的測距裝置60的結構的圖。而且，對於與實施例l相同的構成部，以相同符號來示出，且省略說明。
如圖示出，本實施例涉及的測距裝置60包括的預處理部5具有平滑濾 波部23，該平滑濾波部23，除了進行用於高精度地進行與實施例l相同的 圖像的相關運算的圖像的校正處理以外，還進行例如像高斯(Gaussian)濾 波、平均濾波或加權平均濾波那樣的使圖像的高頻成分降低的處理。
相關值算出部6，若利用如此使高頻成分降低後的圖像，通過與實施例 1示出的處理相同的處理來算出相關值的推移，相關值的推移的直線性則若 幹被改進。
圖IIA以及圖IIB是在對圖4示出的圖像s、圖像a、圖像b執行o =1的高斯濾波的情況下得到的SAD的推移的圖。
在圖11A以及圖11B中，由於圖像的高頻成分的亮度分布被降低，因 此，與實施例1的圖6A以及圖6B示出的SAD的推移相比，SAD的推移 的直線性若干被改進。然而，以實際視差為基準的SAD的推移的對稱性幾 乎不被改進。因此，即使對圖11A以及圖11B示出的各個SAD的推移， 進行所述的等角直線擬合的子像素視差推測，也不能期待視差推測精度大 幅度地被改進。於是，與實施例l相同需要，相關值加法部7，通過按每個 偏移量對SAD進行加法運算，從而提高SAD的推移的對稱性。
圖12是示出圖IIA以及圖IIB示出的按每個偏移量對SAD進行加法 運算時的合成SAD的推移的圖。
視差算出部8，若對合成SAD的推移進行等角直線擬合的子像素視差 推測，則比實施例1的情況更能夠降低誤差。這是因為，除了如上所述合 成SAD的推移以實際視差為基準成為對稱的緣故以外，還通過平滑濾波部 23降低亮度分布的高頻成分，從而SAD的推移的直線性提高了的緣故。 也就是，在SAD的推移以實際視差為基準不成為對稱的被攝體的情況下， 平滑濾波部23隻除去圖像的高頻成分，就不能使等角直線擬合的子像素視 差推測的精度大幅度地提高。然而，像本實施例那樣，在相關值加法部7 對SAD進行加法運算來合成SAD的推移以實際視差為基準成為對稱的情 況下，能夠與被攝體無關而使等角直線擬合的子像素視差推測的精度大幅 度地提高。
如上所述，根據本實施例，通過平滑濾波部23除去圖像的高頻成分，從而使相關值(在此，SAD)的推移的直線性提高。其結果為，在使用低次的 插值式對相關值的推移進行插值的情況下，測距裝置能夠更高精度地測定 子像素視差。 (實施例3)
其次，說明本發明的實施例3涉及的測距裝置。
圖13是示出本實施例涉及的測距裝置70的結構的圖。如圖13示出， 參考攝像光學系統b的光學中心19b，針對連接基準攝像光學系統s的光 學中心19s、和參考攝像光學系統a的光學中心19a的直線(圖13的虛線 18)，在虛線18的垂直方向以距離Error—v隔離。也就是，測距裝置70具 有光學中心位置誤差(以下稱為，基線垂直方向誤差)Error—v。並且，作為 光學中心19s和光學中心19a的距離的基線長度Ba、與光學中心19s和光 學中心19b的距離的基線長度Bb(與虛線18平行方向的距離)，具有 Error一h的差異。也就是，測距裝置70具有基線長度誤差(以下稱為，基線 方向誤差)ErrorJi。其它的構成部以及功能等與圖10的實施例2的測距裝 置60相同。因此，以本實施例的測距裝置的特徵部分為中心進行說明。
通過如圖10的實施例2、將參考攝像光學系統的光學中心配置為對基 準攝像光學系統的光學中心成為點對稱，從而能夠實現具有高精度的視差 檢測精度的測距裝置，但是，實際上存在以下的情況，gP，因照相機的安 裝誤差或透鏡成型誤差等的原因，而產生如圖13示出的基線垂直方向誤差 Error一v或基線方向誤差Error—h。這些誤差越大，實施例2的圖12示出 的相關值的推移以實際視差為基準就越不成為左右對稱。因此，在本實施 例中說明這些誤差帶給相關值的推移的影響、和其允許範圍。而且，在此 假定，基準攝像光學系統s、和參考攝像光學系統a以及參考攝像光學系統 b的光軸為平行，基準攝像光學系統的光軸位於攝像區域3s的區域中心， 並且，參考攝像光學系統a以及參考攝像光學系統b的光軸位於攝像區域 3a以及攝像區域3b的區域中心。進而假定，在攝像區域3s、攝像區域3a 和攝像區域3b中，縱橫的像素排列分別為平行。而且，可以實現為，即使 不滿足所述假定，也通過依據預處理部5的校準處理等的校正來成立所述 假定。
首先，說明有基線垂直方向誤差Error—v的情況。在此假設，沒有基線方向誤差ErrorJi。在有基線垂直方向誤差Error一v的情況下，如圖14 示出，在圖像a中，搜索相似於基準圖像的參考圖像的圖像坐標的搜索方 向、和視差的產生方向一致。然而，在圖像b中，基線垂直方向誤差Error_v 越大，搜索相似於基準圖像的參考圖像的圖像坐標的搜索方向、和視差的 產生方向就越不同。在圖14中，以虛線來示出視差的產生方向，以實線來 示出搜索方向。在圖14中，為了更直感地示出說明，而與實際相比使視差 的產生方向與搜索方向大不同。根據圖14可知，由於被攝體距離越近，視 差就越大，因此，視差的產生位置和搜索位置的垂直方向的隔離越大，從 而不成立圖12示出的以實際視差為基準成為左右對稱的相關值的推移。例 如，對於照相機ls、照相機la和照相機lb假設，焦距f二5mm，基線長 度Ba二20mm，基線長度Bb-20mm，像素間距pitch=0.002mm，基線 垂直方向誤差Error—v=0.5mm。在被攝體距離D = 2000mm的情況下， 若根據(式l)計算視差P，則產生圖15示出的25像素的視差。此時，對於 圖像a中包含的被攝體，如圖14說明，在視差的搜索方向產生25像素的 視差，即在與基線水平的方向產生25像素的視差，另一方面，對於圖像b 中包含的被攝體，在圖14的虛線方向產生25像素的視差。此時，圖像b 中包含的被攝體，根據基線垂直方向誤差ErroLv的影響，與圖像s相比， 在視差搜索方向的垂直方向偏移0.62像素左右而被映射。在視差搜索方向 的平行方向的視差為24.99像素左右，對25像素的差異為0.01像素以下， 因此可以忽視的該視差。據此，在此情況下，在圖像s和圖像a中的SAD 的推移、和在圖像s和圖像b中的SAD的推移，在視差搜索方向的垂直方 向偏移0.62像素左右，因此，嚴格而言，以實際視差為基準不成為左右對 稱。在被攝體距離更近的情況下，由於圖像b在視差搜索方向的垂直方向 的映射的偏移變大，因此SAD的推移的左右對稱性更降低。
圖16示出在使用圖13示出的具有基線垂直方向誤差Error—v的測距 裝置來拍攝某個被攝體的情況下的測距精度的降低(視差檢測誤差的增加) 的模擬驗證結果的圖表。由於測距精度的降低起因於視差搜索方向的垂直 方向的映射的偏移量，因此，將圖16的橫軸作為對視差搜索方向的垂直方 向的映射的偏移量。若圖16的橫軸的圖像偏移量為P一v，則能夠以(式7) 來換算Error一v。公式7
Error 一 v = D P廿，P — v …(式7)
在此，D為被攝體距離，pitch為像素間距，f為焦距。在圖16中可知， 圖像偏移P一v越大，視差檢測誤差就越大。圖16的虛線的基準測距精度是 指，以模擬來求出在利用同一被攝體的情況下的圖40A的以往的立體相機 (3目艮)的測距精度(視差檢測誤差)的結果。將以往的立體相機的焦距、像素 間距、被攝體距離設定為相同，圖40A的基準攝像光學系統s和參考攝像 光學系統a的基線長度、以及基準攝像光學系統s和參考攝像光學系統b 的基線長度，都與圖13的本實施例的基線長度Ba相同。由於對該以往的 立體相機(3眼)的模擬結果沒有給予相當於基線垂直方向誤差Error—v的安 裝誤差(因為，通過以往的校準方法等能夠校正)，因此基準測距精度為一定 值。根據圖16可知，若圖像偏移P一v在0.15像素以內，則比以往的立體 相機更能夠進行高精度的測距(視差檢測)。因此，對於本實施例的測距裝置 70，構成測距裝置70，使得(式7)中P_v=0.15，來將基線垂直方向誤差 Erroi^v為(式8)，據此，測距裝置70，比以往的立體相機更能夠進行高精 度的測距(視差檢測)。公式8
E證—WD"'0.15 …(式8)
例如，在(最小)被攝體距離D-500mm、像素間距pitch=0.002mm、 焦距5mm的情況下，通過將垂直方向誤差Error一v製作為0.03mm以內， 從而比以往的立體相機更能夠進行高精度的測距(視差檢測)。因此，高精度 地安裝圖13的各個照相機的光學中心的相對位置，以使安裝時滿足(式8) 即可。例如，通過以一體成型來製作透鏡2s、 2a、 2b，從而能夠較容易地 實現。並且，當然，也可以以晶圓級相機(Wafer Level Camera)(參照，日 經MICRODEVICES 2008年7月號)等的採用了照相機的大量生產技術的 立體相機來實現，該晶圓級相機是以MEMS(Micro Electro Mechanical Systems :微電子機械系統)技術等來實現的。並且，本實施例中對3眼進 行了說明，但是，當然5眼、7眼、9眼等多數光學系統也能夠適用。而且，從圖16示出的圖表中得到的P_v=0.15不是，只在拍攝特定的被攝體的情 況下得到的值。即使變更被攝體，也能夠得到同樣的傾向，P_v=0.15為 不依賴於被攝體的值。
其次，說明有基線方向誤差ErrorJi的情況。在此假設，沒有基線垂 直方向誤差Error一v。在有基線方向誤差Error—h的情況下，由於如圖13 示出基線長度Ba和基線長度Bb不同，因此如圖17示出對同一被攝體的 圖像a產生的視差Pa、和圖像b產生的視差Pb不同。因此，如圖18A以 及圖18B示出，圖像s和圖像a的SAD的推移(圖18A)、和圖像s和圖像 b的SAD的推移(圖18B的黑圓點)的對實際視差的對稱性變壞。在此，實 際視差是指，圖像s和圖像a的實際視差。基線方向誤差ErrorJi越大， 對實際視差的對稱性就越壞。這是因為，例如，在基線方向誤差ErrorJi 為正的情況下，如圖18B示出，圖像s和圖像b的SAD的推移在偏移量 變大的方向平行移動的緣故。基線方向誤差Error—h越大，所述平行移動 的量就越多，從而對稱性變壞。在圖18B中白圈點的SAD的推移是，在 圖10的實施例2中的圖像s和圖像b的SAD的推移(g卩，Error_h=0)。 圖19示出按每個偏移量對圖18A和圖18B的SAD進行加法運算而得到 的合成SAD的推移的圖。根據圖19可知，由於以實際視差為基準的SAD 的推移的對稱性變壞，因此可知測定視差從實際視差偏移了。
圖20示出在使用圖13示出的具有基線方向誤差ErrorJi的測距裝置 來拍攝某個被攝體的情況下的測距精度的降低(視差檢測誤差的增加)的模 擬驗證結果的圖表。由於視差檢測誤差起因於視差搜索方向的映射的偏移 量，因此，將圖20的橫軸作為對視差搜索方向的映射的偏移量。若圖20 的橫軸的圖像偏移量為P一h，則能夠以(式9)來換算Error一h。公式9
E麗一h:D'PitCfh'P-h …(式9)
在此，D為被攝體距離，pitch為像素間距，f為焦距。在圖20中可知， 圖像偏移P一h越大，視差檢測誤差就越大。圖20的實線的基準測距精度是 指，以模擬來求出在利用同一被攝體的情況下的圖40A的以往的立體相機 (3目艮)的測距精度(視差檢測誤差)的結果。將以往的立體相機的焦距、像素間距、被攝體距離設定為相同，圖40A的基準攝像光學系統s和參考攝像 光學系統a的基線長度、以及基準攝像光學系統s和參考攝像光學系統b 的基線長度，都與圖13的本實施例的基線長度Ba相同。由於對該以往的 立體相機(3眼)的模擬結果沒有給予相當於基線方向誤差ErrorJi的安裝誤 差(因為，通過以往的校準方法等能夠校正)，因此基準測距精度為一定值。 根據圖20可知，若圖像偏移PJi在0.2像素以內，則比以往的立體相機更 能夠進行高精度的測距(視差檢測)。因此，對於本實施例的測距裝置70， 構成測距裝置70，使得(式9)中PJi-0.2，來將基線方向誤差EirorJi為 (式10)，據此，測距裝置70，比以往的立體相機更能夠進行高精度的測距(視 差檢測)。
formula see original document page 36
例如，在(最小)被攝體距離D二500mm、像素間距pitch=0.002mm、 焦距5mm的情況下，通過將垂直方向誤差Error—v製作為0.04mm以內， 從而比以往的立體相機更能夠進行高精度的測距(視差檢測)。因此，高精度 地安裝圖13的各個照相機的光學中心的相對位置，以使安裝時滿足(式10) 即可。例如，通過以一體成型來製作透鏡2s、 2a、 2b，從而能夠較容易地 實現所述內容。並且，當然，也可以以晶圓級相機(參照，日經 MICRODEVICES 2008年7月號)等的採用了照相機的大量生產技術的立 體相機來實現，該晶圓級相機是以MEMS技術等來實現的。並且，本實施 例中對3眼進行了說明，但是，當然5眼、7眼、9眼等多數光學系統也能 夠適用。而且，與P—v-0.15相同，從圖20示出的圖表中得到的P—h=0.2 不是，只在拍攝特定的被攝體的情況下得到的值。即使變更被攝體，也能 夠得到同樣的傾向，P—h=0.2為不依賴於被攝體的值。
根據上述，本實施例涉及的測距裝置70，若構成為滿足(式8)、(式10)， 則比以往的立體相機更能夠進行高精度的測距(視差檢測)。 (實施例4)
其次，說明本發明的實施例4涉及的測距裝置。
本實施例涉及的測距裝置80，與實施例2的測距裝置60不同，包括八個參考攝像光學系統，並且，相關值算出部6包括換算參考攝像光學系 統之間的視差的差異的視差換算部，但是，其它的構成部以及功能等與實 施例2的測距裝置60相同。因此，以本實施例的測距裝置的特徵部分為中 心進行說明。
圖21是示出本實施例涉及的測距裝置80的結構的圖。而且，對於與 實施例2相同的構成部，以相同符號來示出，且省略說明。
如圖21示出，測距裝置80包括複眼照相機20。複眼照相機20由一 體成型的九個透鏡矩陣(Lens array)、和具有九個不同相同的攝像區域的單 一的CCD或CMOS等的的固體攝像元件構成。在此，光波段分離濾波或 光圈等，由於不是本發明的主要部分，因此圖中沒有示出。複眼照相機20， 由於透鏡直徑比普通的照相機小，因此能夠設計為透鏡的焦距短，且能夠 構成為光學系統整體的厚度非常薄。並且，通過由透鏡陣列一體成型，從 而也能夠高精度地製作陣列中包含的各個光學系統的光軸之間的相對位置 關係(例如，誤差不足5um)。
而且，在本實施例中說明各個攝像光學系統為透鏡陣列的情況，但是， 適用本發明的測距裝置，不僅限於這些測距裝置。例如，也可以由個別的 攝像光學系統構成測距裝置。也可以利用多個攝像元件。
基準攝像光學系統s，在結構上包括透鏡21s以及攝像區域22s，且被 配置在固體攝像元件的中心附近。參考攝像光學系統a h，在結構上分別 包括透鏡21a h以及攝像區域22a h。
在此，與實施例2的測距裝置60相同，基準攝像光學系統s、參考攝 像光學系統a h具有以下示出的特徵。首先，各個攝像光學系統的光軸為 平行。而且，各個攝像光學系統的光學中心被配置在同一平面上，且該平 面與光軸垂直。並且，各個攝像光學系統的攝像區域(二維平面)被配置為與 光軸垂直，所有的攝像光學系統的焦距(從攝像區域到光學中心為止的距離) 相同。
並且，基準攝像光學系統s、參考攝像光學系統a和參考攝像光學系統 b的光學中心，被配置在同一條直線上。而且，參考攝像光學系統a的光學 中心和參考攝像光學系統b的光學中心，被配置在以基準攝像光學系統s 為基準的點對稱的位置。並且，基準攝像光學系統s、參考攝像光學系統c和參考攝像光學系統d的光學中心，被配置在同一條直線上。而且，參考 攝像光學系統c的光學中心和參考攝像光學系統d的光學中心，被配置在 以基準攝像光學系統s為基準的點對稱的位置。並且，基準攝像光學系統s、 參考攝像光學系統e和參考攝像光學系統f的光學中心，被配置在同一條直 線上。而且，參考攝像光學系統e的光學中心和參考攝像光學系統f的光學 中心，被配置在以基準攝像光學系統s為基準的點對稱的位置。並且，基 準攝像光學系統s、參考攝像光學系統g和參考攝像光學系統h的光學中心， 被配置在同一條直線上。而且，參考攝像光學系統g的光學中心和參考攝 像光學系統h的光學中心，被配置在以基準攝像光學系統s為基準的點對 稱的位置。
並且，為了便於說明而假定，連接基準攝像光學系統s、參考攝像光學 系統a和參考攝像光學系統b的光學中心的所述直線，平行於攝像區域22s 的水平方向像素排列。因此，在各個攝像區域的像素排列的水平方向產生， 基準攝像光學系統s與參考攝像光學系統a之間產生的視差、以及基準攝 像光學系統s與參考攝像光學系統b之間產生的視差。
根據上述，基準攝像光學系統s和參考攝像光學系統a的基線長度Ba、 與基準攝像光學系統s和參考攝像光學系統b的基線長度Bb相同。並且， 基準攝像光學系統s和參考攝像光學系統c的基線長度Bc、與基準攝像光 學系統s和參考攝像光學系統d的基線長度Bd相同。並且，基準攝像光學 系統s和參考攝像光學系統e的基線長度Be、與基準攝像光學系統s和參 考攝像光學系統f的基線長度Bf相同。並且，基準攝像光學系統s和參考 攝像光學系統g的基線長度Bg、與基準攝像光學系統s和參考攝像光學系 統h的基線長度Bh相同。
相關值算出部6，進行實施例1中說明的算出相關值的處理，另外具有 進行視差的換算處理的視差換算部24。雖然在後面進行詳細說明，不過， 視差換算部24，在算出被配置為基線長度不同的、參考攝像光學系統的相 關值時，將塊的偏移量變換為相關值加法部7能夠進行加法運算的偏移量。 例如，視差換算部24，在算出被配置為基線長度和參考攝像光學系統a不 同的參考攝像光學系統e的相關值時，通過在算出參考攝像光學系統a所 生成的參考圖像的相關值時利用了的塊的偏移量乘以Le *Me(=Ke)，從而變換為相關值加法部7能夠進行加法運算的偏移量，該Le .Me(二Ke)為值 Le和值Me的乘積，該值Le是基線長度Be除以基線長度Ba而得到的值， 該值Me是與基線長度Ba平行的方向的像素間距pitch_a除以與基線長度 Be平行的方向的像素間距pitch一e而得到的值。在此，與基線長度平行的 方向的像素間距是指，在攝像光學系統所拍攝的圖像中，在與基線平行的 同一條直線上出現與像素的中心相對應的點的最短周期。
而且，在本實施例中，偏移量的單位是表示基線方向的像素間距的"像 素"。因此，在對因基線方向而像素間距不同的攝像光學系統之間的相關值 進行加法運算時，視差換算部24需要進行單位的變換。也就是，需要對成 為基準的偏移量，除了乘以基線長度的比率以外，還乘以作為像素間距的 比率的Me，從而進行視差的換算。但是，在偏移量的單位是不依賴於基線 方向的單位的情況下，例如，在偏移量的單位是亳米等的單位的情況下， 不需進行單位的變換。也就是，視差換算部24，不利用作為像素間距的比 率的Me,而作為基線長度的比率的Le乘以成為基準的偏移量，從而能夠 換算偏移量。
相關值加法部7，與實施例2相同，對於在相關值計算部6按每個光 學系統的組合算出的相關值，根據視差換算部24所變換的偏移量，對每個 對應的偏移量的所有的相關值進行加法運算。其結果為，相關值加法部7， 算出以實際視差為基準成為對稱的推移的合成相關值。
圖22是示出圖21示出的測距裝置80和對象物12的位置關係的圖。
如圖示出，與實施例2相同，將基準攝像光學系統s的光學中心25s 作為世界坐標的原點Mw(O、 0、 0)，將作為對象物12的表面上的1點的 點13的世界坐標作為Mw(Xwl、 Ywl、 Zwl)。
而且，如上所述，對於參考攝像光學系統c和參考攝像光學系統d，與 參考攝像光學系統a和參考攝像光學系統b相同，攝像光學系統的光學中 心被配置為對基準攝像光學系統s的光學中心成為點對稱，且各個光學中 心被配置在同一條直線上。因此，若對基準攝像光學系統s和參考攝像光 學系統c、以及基準攝像光學系統s和參考攝像光學系統d的通過塊匹配運 算得到的每個偏移量的SAD進行加法運算，則得到以實際視差為基準成為 對稱的SAD的推移。但是，在基準攝像光學系統s和參考攝像光學系統a系統S和參考攝像 光學系統C以及參考攝像光學系統d的基線長度不同的情況下，實際視差
不同。因此，相關值加法部7，即使按每個相同的偏移量將SAD的推移合 成(進行加法運算)，也不能得到以實際視差為基準成為對稱的SAD的推移。 於是，視差換算部24需要，按照基線長度的長度和像素間距來變更算出 SAD時的偏移量。
其次，說明如上構成的實施例中的測距裝置80的基本工作。
圖23是示出與測距裝置80的對象物12的三維位置或距離的算出有關 的處理的過程的流程圖。
步驟S201 S204的處理，由於與實施例1的圖3中示出的步驟S101 S104的處理相同，因此省略說明。
在步驟S204的處理結束的情況下，相關值算出部6，若能夠取得還沒 有進行以下所述的步驟S206 S212的處理的、參考攝像光學系統所生成 的圖像a h中的任一個，則開始循環1(S205)。
其次，相關值算出部6包括的視差換算部24，例如，若以基準攝像光 學系統s和參考攝像光學系統a以及參考攝像光學系統b為基準，則取得 參考攝像光學系統a和基準攝像光學系統s的基線長度(成為基準的基線長 度)、和像素間距(S206)。而且，視差換算部24，取得生成了在步驟S205 所選擇的圖像的參考攝像光學系統和基準攝像光學系統s的基線長度、和 像素間距(S207)。接著，視差換算部24，根據在步驟S206取得的成為基 準的基線長度、和在步驟S207取得的基線長度以及像素間距，算出新的偏 移量(S208)。
而且，相關值算出部6，若能取得如上算出的新的偏移量，則幵始循環 2(S209)。
進而，相關值算出部6，從在步驟S205取得的圖像a h中的任一個 圖像中選擇與在步驟S209取得的偏移量相對應的塊，以作為參考圖像 (S210)。接著，算出表示作為在步驟S204選擇的圖像s的塊的基準圖像、 和作為在步驟S209選擇的圖像a h中的任一個圖像的塊的參考圖像的相 似度的相關值，例如算出SAD(S211)。
如此，相關值算出部6，算出按每個在步驟S208算出的新的偏移量的相關值(S212、 S209)。在此，在偏移量達到預先規定的最大偏移量的情況 下，相關值算出部6，結束循環2(S209、 S212)。
並且，若結束循環2(S209、 S212)，即結束算出每個偏移量的相關值， 相關值算出部6，則取得還沒有進行關於相關值的算出的處理的、參考攝像 光學系統所生成的圖像，反覆進行循環2(S209、S212)的處理(S213、S205)。 在此，在沒有還沒有進行關於相關值的算出的處理的、參考攝像光學系統 所生成的圖像的情況下，即在結束圖像a以及圖像b這兩者的處理的情況 下，相關值算出部6，結束循環1(S205、 S213)。
接著，相關值加法部7，按每個對應的偏移量，對通過所述處理算出的 基準圖像和各個參考圖像的相關值進行加法運算(S214)。在此，不僅對配 置為對稱的參考攝像光學系統的相關值進行加法運算，而對所有的參考攝 像光學系統的相關值進行加法運算。通過該處理得到的合成相關值，以實 際視差為基準形成對稱的分布。在此，所謂實際視差是指，作為基準的基 線長度和像素間距中的視差量。
以下的步驟S215 S217的處理，由於與實施例1的圖3中示出的步 驟S112 S114的處理相同，因此省略說明。
其次，進行圖23說明的處理的詳細說明。在圖23的步驟S208中， 視差換算部24，根據基線長度以及像素間距的比率來算出新的偏移量。具 體而言，在相關值計算部6算出參考攝像光學系統c生成的圖像c的相關 值的情況下，若將成為基準的基線長度作為參考攝像光學系統a的基線長 度、將成為基準的像素間距作為與基線長度Ba平行的方向的像素間距 pitch_a，視差換算部24，則通過(式ll)，根據基線長度的比率，能夠算出 在算出SAD的推移時的偏移量的增加量Kc(單位像素)。而且，算出圖像 a的相關值時的偏移量的增加量為1像素。公式11
formula see original document page 41
在此，Bc為基準準攝像光學系統s和參考攝像光學系統c之間的基線 長度，pitch—c為與基線長度Bc平行的方向的像素間距。而且，如上所述， 基線長度Ba和基線長度Bb相同，基線長度Bc和基線長度Bd也相 同。因此，視差換算部24，根據所述增加量Kc能夠算出在算出基準攝像光學 系統s和參考攝像光學系統c、以及基準攝像光學系統s和參考攝像光學系 統d的SAD的推移時的偏移量。也就是，在最小偏移量為0像素的情況下， 新的偏移量為0像素、Kc像素、2.Kc像素、3.Kc像素、 。假如，在 最小偏移量為一2像素素的情況下，偏移量為一2'Kc像素、一Kc像素、0 像素、Kc像素、2'Kc像素、3'Kc像素、 。而且，根據所述的增加量 Kc的值，有可能成為子像素單位的偏移量。在此情況下，在相關值算出部 6選擇參考圖像時，通過雙線性插值等的處理來抽出參考圖像，從而能夠算 出相關值。
同樣，在基準攝像光學系統s、參考攝像光學系統e和參考攝像光學系 統f的組合的情況下，視差換算部24，也算出在算出SAD時的新的偏移量。 通過(式12)，能夠求出在視差換算部24算出新的偏移量時利用的增加量。公式12
Ke = g^ pitch —a (式12) Ba pitch — e
在此，Be為基準準攝像光學系統s和參考攝像光學系統e之間的基線 長度，pitch—e為與基線長度Be平行的方向的像素間距。而且，如上所述， 基線長度Be和基線長度Bf相同。因此，視差換算部24，根據所述增加量 Kc能夠算出在算出基準攝像光學系統s和參考攝像光學系統e、以及基準 攝像光學系統s和參考攝像光學系統f的SAD的推移時的偏移量。也就是， 在最小偏移量為0像素的情況下，新的偏移量為0像素、Ke像素、2 Ke 像素、3'Ke像素、 。
同樣，在基準攝像光學系統s、參考攝像光學系統g和參考攝像光學系 統h的組合的情況下，視差換算部24，也算出在算出SAD時的新的偏移 量。通過(式13)，能夠求出在視差換算部24算出新的偏移量時利用的增加
公式13
(式13)
Ba pitch —g長度，pitch—g為與基線長度Bg平行的方向的像素間距。而且，如上所述， 基線長度Bg和基線長度Bh相同。因此，視差換算部24，根據所述增加 量Kc能夠算出在算出基準攝像光學系統s和參考攝像光學系統g、以及基 準攝像光學系統s和參考攝像光學系統h的SAD的推移時的偏移量。也就 是，成為O像素、Kg像素、2'Kg像素、3'Kg像素、""的偏移方法。
在此，存儲基準攝像光學系統s和參考攝像光學系統a h的SAD的 推移的變量分別作為Sa(i)、 Sb(i)、 Sc(i)、 Sd(i)、 Se(i)、 Sf(i)、 Sg(i)、 Sh(i)。 在此情況下，如圖23的步驟S214示出，相關值加法部7，通過(式14)將 SAD的推移合成(進行加法運算)。用於該SAD的推移的合成的偏移量是， 視差換算部24算出的新的偏移量。公式14
S一麵(/) = + ,) + &(,) + ,) + Se(/) +柳+ Sg(O +幼(,).. (式14) (i =最小偏移量,最小偏移量+1 ，最小偏移量+ 2,…最大偏移量)
如此，與實施例l相同，相關值加法部7合成的SAD的推移也，以實 際視差為基準成為對稱。並且，與實施例1相比，由於對基準攝像光學系 統s成為對稱的兩個參考攝像光學系統的組合的數量增加，因此，因平滑 效果而SAD的推移的變動變小，且SAD的推移的直線性更提高。
與實施例2相同，根據相關值加法部7合成的相關值8_811111，視差算 出部8，如圖23的步驟S215以及S216示出，算出子像素級的視差。此 時，由於SAD的推移的直線性提高了，因此，在使用低次的插值式的情況 下，與對象物的亮度分布無關而能夠高精度地測定子像素視差。
並且，根據視差算出部8算出的子像素級的視差，如圖23的步驟S217 示出，將視差變換為對應於後處理部9的輸出的形態，從而輸出數據。例 如，在輸出對象物的三維位置的情況下，將m(usl、 vsl)轉換為ms(xsl、 ysl)，與背景技術的說明相同，利用(式l)、(式2)、(式3)能夠求出對應於 圖像s的各個塊的三維位置，所述m(usl、 vsl)是圖像s的二維圖像坐標 系，所述ms(xsl、 ysl)是將圖22的攝像光學系統s的光軸和攝像區域22s 的交點作為原點的二維圖像坐標系。使用基線長度Ba(基準攝像光學系統s 和參考攝像光學系統a之間的基線長度)，以作為此時使用的基線長度的參數。而且，通過由所述處理算出的子像素視差乘以像素間距，從而能夠求 出(式l)的視差P。
如上所述，根據本實施例，由於與對象物的亮度分布無關而相關值的 推移以實際視差為基準成為對稱，因此，能夠提供與對象物無關而能夠高 精度地測定子像素視差的測距裝置。而且，通過使對基準攝像光學系統S 成為對稱的兩個參考攝像光學系統的組合的數量增加，從而因平滑效果而
SAD的推移的變動變小，並且，使用低次的插值式來能夠提供可以更高精 度地測定子像素視差的測距裝置。 (實施方式)
本實施方式中示出，以往的立體相機和本發明涉及的測距裝置的測距 精度(視差檢測精度)的比較模擬結果的例子。圖24A 圖24C示出以往的 立體相機的結構。圖24D 圖24F示出本發明涉及的測距裝置的結構，即， 將兩個參考光學系統的光學中心配置為對基準攝像光學系統的光學中心成 為點對稱，並構成一個以上的該兩個參考光學系統的對，從而與對象物的 亮度分布無關而合成相關值以實際視差為基準成為左右對稱。在圖24A 圖24F中，對於所有的光學系統，焦距、水平以及垂直方向像素間距、被 攝體距離都相同。假設，對於與各個參考圖像的基準攝像光學系統相對應 的基線長度，在水平以及垂直方向產生基線的情況下均為相同，在斜方向 產生基線的情況下為水平方向的基線長度的sqrt(2)倍。在此，不包含實施 例3中說明的基線垂直方向誤差或基線方向誤差。圖25A 圖25D是示出 用於測距精度的比較的被攝體的圖。對於圖25A 圖25D的各個被攝體， 按照各個光學系統，適當且理想地、且按每個0.1像素來製作10.0 11.0 像素的偏移圖像(視差圖像)，從而用於比較模擬。對圖像施加實際上像素元 件中觀測到的程度的白噪聲。圖26A 圖26D是示出與圖25A 圖25D 的各個被攝體相對應的比較模擬結果的圖表。圖26A 圖26D的各個圖的 橫軸示出進行視差運算時的運算塊尺寸(正方形運算塊的一邊的像素)，縱軸 示出與各自相對應的視差檢測誤差。各個運算塊的視差檢測誤差的算出方
法示出以下的值，即，以該運算塊尺寸來對圖25A 圖25D的各個被攝體 進行區域分割，並以被攝體區域整體來將各個運算塊的視差檢測誤差平均 化的值。並且，對於各個運算塊的視差檢測誤差，對按每個O.l像素製作的10.0 11.0像素的偏移圖像(視差圖像)的所有的偏移量(視差圖像)，算出視 差檢測誤差的平均值(g卩，驗證了小數點以下為按每個0.1像素0.0 0.9的 所有的視差量)。
根據圖26A 圖26D的比較模擬結果可知，對於任何被攝體，本發明 涉及的測距裝置與以往的立體相機相比，視差檢測誤差大幅度地降低了(視 差檢測精度提高了)。 (變形例1)
所述各個實施例中的測距裝置是用於說明本發明的一個例子，例如， 也可以構成為如圖27A示出的測距裝置。
圖27A是示出本變形例涉及的測距裝置的攝像光學系統的結構的圖。 如圖示出，本變形例涉及的測距裝置包括兩個紋理攝像光學系統，該紋理 攝像光學系統用於將高解析度的彩色的紋理映射到基準攝像光學系統s以 及參考攝像光學系統a f、和由基準攝像光學系統s以及參考攝像光學系 統a f所算出的對象物的三維位置(形狀)。也可以在任意的位置配置紋理 用攝像光學系統，以及，也可以配置任意的數量的紋理用攝像光學系統。 另外，為了追加附加性功能，而可以向變形例涉及的測距裝置追加新的攝 像光學系統。
(變形例2)
所述各個實施例中的測距裝置包括了四個或八個參考攝像光學系統， 但是，當然可以包括六個參考攝像光學系統。
圖27B是示出本變形例涉及的測距裝置的攝像光學系統的結構的圖。 如圖示出，本變形例涉及的測距裝置包括七個攝像光學系統。並且，在本 變形例涉及的測距裝置中參考攝像光學系統a的光學中心和參考攝像光 學系統b的光學中心，大致被配置在一條直線上，且以基準攝像光學系統s 的光學中心為基準成為點對稱；參考攝像光學系統c的光學中心和參考攝 像光學系統d的光學中心，大致被配置在一條直線上，且以基準攝像光學 系統s的光學中心為基準成為點對稱；參考攝像光學系統e的光學中心和 參考攝像光學系統f的光學中心，大致被配置在一條直線上，且以基準攝像 光學系統s的光學中心為基準成為點對稱。
如本變形例涉及的測距裝置，本發明涉及的測距裝置的結構為，具有大致被配置在一條直線上的、以基準攝像光學系統為基準大致成為對稱的
參考攝像光學系統的多個對即可。進而，包括多個(例如，10個、12個等) 參考攝像光學系統的測距裝置，也可以得到本發明的效果。
而且，像所述的實施例4、變形例1以及變形例2涉及的測距裝置那 樣，在包括四個以上的參考攝像光學系統的情況下，根據參考攝像光學系 統的配置，有可能塊匹配運算時的偏移量成為子像素單位，從而塊匹配運 算的時間增大。於是，對於塊匹配運算時的偏移量不成為子像素單位的攝 像光學系統的配置，即對於塊匹配運算的運算時間變短的攝像光學系統的 配置，利用圖28A 圖28C進行說明。
圖28A 圖28C是表示攝像光學系統的配置的圖。在圖28A 圖28C 示出的各個攝像光學系統中，構成所有的攝像光學系統的攝像區域的像素 的水平方向的排列為平行，並且，構成所有的攝像光學系統的攝像區域的 像素的垂直方向的排列為平行。在此，將兩個參考攝像光學系統作為攝像 光學系統群1,該兩個參考攝像光學系大致被配置在與像素的排列方向(水 平或垂直)平行的一條直線上，且光學中心以基準攝像光學系統為基準大致 成為點對稱。並且，將其它的兩個參考攝像光學系統作為攝像光學系統群2， 該其它的兩個參考攝像光學系大致被配置在與像素的排列方向(水平或垂直) 平行的一條直線上，且光學中心以基準攝像光學系統為基準大致成為點對 稱。此時，在攝像光學系統群1以及2中，基準攝像光學系統s和兩個各 參考攝像光學系統的基線長度，分別為B1以及B2。並且，攝像光學系統 群1以及2的塊匹配運算時的塊的偏移方向、即與各個基線長度平行的方 向的像素間距，分別為pl以及p2。
在此，在Bl / pl和B2 / p2處於整數倍的關係的情況下，在選擇與塊 匹配運算時的偏移量相對應的塊以作為參考圖像時，塊的邊界和像素的邊 界一致(總是參考圖像的剪取坐標成為整數)。其結果為，在相關值算出部6 選擇參考圖像時，不需要進行雙線性插值等的插值運算，因此，能夠大幅 度地減少運算時間。
在圖28A示出的攝像光學系統中，攝像光學系統群1為參考攝像光學 系統a以及參考攝像光學系統b，攝像光學系統群2為參考攝像光學系統c 以及參考攝像光學系統d。在此，垂直方向的像素間距和水平方向的像素間距為相同的pl(pl=p2)。基準攝像光學系統s和參考攝像光學系統a的基 線長度Ba、基準攝像光學系統s和參考攝像光學系統c的基線長度Be的 基線長度B為相同。據此，由於成立Ba/pl二Bc/p2，因此，塊匹配運 算時的每個偏移量的塊的邊界和像素的邊界一致。其結果為，能夠大幅度 地減少塊匹配運算的運算時間。
在圖28B示出的攝像光學系統中，除了圖28A的攝像光學系統的配置 以外，還參考攝像光學系統e、 f、 g、 h分別被配置在對象素排列斜45度 方向的、sqrt(2)倍的基線長度的長度的位置。此時，與基準攝像光學系統s 和參考攝像光學系統e、 f、 g、 h的基線長度平行的方向的像素間距p2，都 成為水平(垂直)方向的像素間距的sqrt(2)倍(p2二sqrt(2) pl)。因此，若 假定參考攝像光學系統e為攝像光學系統群2來說明以代表，還考慮Be = sqrt(2) Ba，則成立Ba / pl = Be / p2。 Be為基準攝像光學系統s和參考 攝像光學系統e的基線長度。在此情況下，在選擇與塊匹配運算時的偏移 量相對應的塊以作為參考圖像時，塊的邊界和像素的邊界一致(總是參考圖 像的剪取坐標成為整數)。其結果為，能夠大幅度地減少塊匹配運算的運算 時間。
在圖28C示出的攝像光學系統中，與圖28A以及圖28B不同，作為 水平方向的像素間距的pl比作為垂直方向的像素間距的p2長。於是，為 了對應於水平方向以及垂直方向的像素間距的比率，而基準攝像光學系統s 和參考攝像光學系統a以及b的基線長度Ba、比基準攝像光學系統s和參 考攝像光學系統c以及d的基線長度Bc長。也就是，為了成立Ba/pl二 Bc/p2,而配置各個攝像光學系統。其結果為，與圖28A以及圖28B相 同，能夠大幅度地減少塊匹配運算的運算時間。
如上所述，按照構成作為各個攝像光學系統的攝像裝置的攝像區域的 像素的位置關係配置各個攝像光學系統，從而能夠大幅度地減少塊匹配運 算的運算時間。也就是，各個攝像光學系統被配置為，構成各個攝像光學 系統的攝像區域的像素的排列方向以及距離、和各個攝像光學系統的基線 的方向以及長度相似，從而能夠大幅度地減少運算時間。 (變形例3)
所述的各個實施例涉及的測距裝置，如圖29A以及圖29B示出，各個參考圖像的光學中心對基準攝像光學系統S的光學中心大致成為點對稱即
可。圖29A以及圖29B是本發明涉及的從測距裝置的上面看測距裝置的、 裝置的其它的例子的圖。省略了透鏡以及攝像元件以外的結構。如圖29A 示出，也可以連接各個光學系統的光學中心的基線與各個光學系統的光軸 不垂直。在此情況下，利用視差搜索時按每個偏移量使塊尺寸可變的、以 往的視差搜索方法，導出對各個參考攝像光學系統的相關值即可，由於合 成的相關值的推移的、對實際視差的對稱特性不被損壞，因此能夠得到本 發明的效果。或者，也可以通過利用仿射變換的校準(視點變換)使光軸與基 線方向垂直，從而進行演算。並且，如圖29B示出，不一定需要各個光學 系統的光軸為平行。這是因為，通過利用仿射變換的校準(視點變換)能夠校 正光軸的方向的緣故。
以上，說明了本發明的實施例以及變形例涉及的測距裝置，但是，本 發明的具體結構不僅限於所述的各個實施例以及各個變形例。並且，也可 以組合相互不同的實施例以及變形例中的構成部。若不脫離發明目的的範 圍，則能夠進行各種變更以及修正。
例如，也可以是所述的各個實施例以及各個變形例涉及的攝像光學系
統，包括拜爾(Bayer)排列等的彩色攝像元件的情況。在此情況下，禾擁通
過一般周知的去馬賽克(demosaic)處理等而高解析度化後的彩色圖像，與
所述的各個實施例以及各個變形例相同，能夠高精度地算出視差。
並且，在所述的各個實施例以及各個變形例中，基準攝像光學系統的 光學中心和其它的兩個參考攝像光學系統的光學中心被配置在一條直線
上，且以基準攝像光學系統的光學中心為基準成為點對稱，但也可以，基 準攝像光學系統的光學中心和其它的兩個參考攝像光學系統的光學中心大 致被配置在一條直線上，且以基準攝像光學系統的光學中心為基準大致成 為點對稱。
在此所述的大致被配置在一條直線上、以及大致成為點對稱是指，滿 足在實施例3說明的(式8)、(式10)的條件的範圍。
並且，在所述的各個實施例中利用了 SAD以作為算出相關值的函數， 但也可以利用例如ZNCC(互相關係數)。在利用ZNCC的情況下，相關最 高時相關值為l，相關低時相關值不足l。如此，在相關值的推移成為最大的偏移量作為視差、且以子像素級來求出的情況下，也可以適用本發明。 也就是，根據本發明，由於相關值的推移以實際視差為基準成為對稱，因 此，與相關值的推移的極值的最大、最小無關，而能夠高精度地求出子像 素視差。
並且，所述的各個實施例以及變形例涉及的測距裝置中，可以不算出 對象物的三維位置或距離。在此情況下，測距裝置被稱為複眼攝像裝置。 複眼攝像裝置與測距裝置相同，成為例如圖1示出的結構。但是，與測距 裝置不同，複眼攝像裝置不包括算出對象物的三維位置或距離的後處理部9。
並且，本發明，除了可以作為如上所述的測距裝置來實現以外，也可 以作為將這些測距裝置具有的特徵構成部作為步驟的測距方法或視差算出 方法來實現，還可以作為使計算機執行這些步驟的程序來實現。並且，當 然也可以通過CD—ROM等存儲介質或網際網路等傳輸介質分發這些程序。
並且，本發明，也可以作為實現所述的測距裝置的構成部具有的功能 的一部分的、半導體集成電路(LSI)來實現。
本發明涉及能夠算出在拍攝同一對象物的多個攝像光學系統產生的視 差的複眼攝像裝置，以及涉及能夠求出從裝置到對象物為止的距離、或對 象物的三維位置或形狀的測距裝置，並且有用於車載、監視、醫療、機器 人、電子遊戲、CG(計算機圖形)圖像製作、立體圖像輸入、數位照相機或 數字攝像機的自動變焦等的用途。
權利要求
1、一種複眼攝像裝置，算出拍攝同一對象物的多個攝像光學系統中產生的視差，其特徵在於，至少包括基準攝像光學系統，通過拍攝所述對象物，從而生成包含基準圖像的圖像；兩個以上的偶數的參考攝像光學系統，通過拍攝所述對象物，從而生成包含參考圖像的圖像，所述兩個以上的偶數的參考攝像光學系統的各個光學中心被配置為，對所述基準攝像光學系統的光學中心大致成為點對稱；相關值算出單元，針對所述兩個以上的偶數的參考攝像光學系統的每一個，按每個偏移量算出表示所述基準圖像和所述參考圖像的相似度的相關值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況下的偏移量，所述搜索位置是為了搜索與所述基準圖像相似的所述參考圖像的圖像位置而由所述參考攝像光學系統生成的圖像中的所述參考圖像的位置，所述基線是連接所述基準攝像光學系統的光學中心和所述參考攝像光學系統的光學中心的直線；相關值加法單元，通過按每個對應的偏移量，對針對所述兩個以上的偶數的參考攝像光學系統的每一個算出的相關值進行加法運算，從而算出合成相關值；以及視差算出單元，根據所述合成相關值，以子像素級來算出作為所述基準圖像和所述參考圖像的相似度成為最大的偏移量的視差。
2、 如權利要求1所述的複眼攝像裝置，其特徵在於， 所述視差算出單元，通過使用利用了對稱性的插值式，對由所述相關值加法單元進行加法運算後的每個偏移量的相關值進行插值，從而算出子 像素級的視差。
3、 如權利要求l所述的複眼攝像裝置，其特徵在於， 所述複眼攝像裝置包括四個以上的參考攝像光學系統， 所述四個以上的參考攝像光學系統的光學中心被配置為， 一對第一參考攝像光學系統涉及的基線的方向、和一對第二參考攝像光學系統涉及的 基線的方向以規定的角度傾斜，所述一對第一參考攝像光學系統的光學中心被配置為對所述基準攝像光學系統的光學中心大致成為點對稱，所述一 對第二參考攝像光學系統的光學中心也被配置為對所述基準攝像光學系統 的光學中心大致成為點對稱，且所述一對第二參考攝像光學系統的光學中 心與第一參考攝像光學系統的光學中心不同。
4、 如權利要求3所述的複眼攝像裝置，其特徵在於， 所述四個以上的參考攝像光學系統被配置為，第一基線長度和第二基線長度不同，所述第一基線長度是所述第一參考攝像光學系統和所述基準 攝像光學系統的基線的長度，所述第二基線長度是所述第二參考攝像光學 系統和所述基準攝像光學系統的基線的長度，所述相關值算出單元，在算出所述第二參考攝像光學系統所生成的參 考圖像的相關值時，按每個第二偏移量算出所述相關值，所述第二偏移量 是所述第二基線長度除以所述第一基線長度而得到的值再乘以第一偏移量 而得到的值，所述第一偏移量是在算出由所述第一參考攝像光學系統生成 的參考圖像的相關值時利用了的偏移量。
5、 如權利要求3所述的複眼攝像裝置，其特徵在於， 基準攝像光學系統以及所述四個以上的參考攝像光學系統被配置為，與所述基準攝像光學系統具有的構成攝像裝置的像素的位置關係相同。
6、 如權利要求l所述的複眼攝像裝置，其特徵在於， 對於被配置為對所述基準攝像光學系統的光學中心大致成為點對稱的成對的每一對參考攝像光學系統，在D為到對象物為止的距離、pitch為像 素間距、f為焦距的情況下，滿足光學中心位置誤差《D'pitch'0.15/f, 所述光學中心位置誤差是連接一對參考攝像光學系統中的一方的參考攝像 光學系統的光學中心和所述基準攝像光學系統的光學中心的直線、和一對 參考攝像光學系統中的另一方的參考攝像光學系統的光學中心之間的距 離。
7、 如權利要求1所述的複眼攝像裝置，其特徵在於， 對於被配置為對所述基準攝像光學系統的光學中心大致成為點對稱的成對的每一對參考攝像光學系統，在D為到對象物為止的距離、pitch為像 素間距、f為焦距的情況下，滿足基線長度誤差《D pitch 0.2 / f，所述基線長度誤差是第一基線長度和第二基線長度的長度的差，所述第一基線長度是一對參考攝像光學系統中的一方的參考攝像光學系統的光學中心 和所述基準攝像光學系統的光學中心之間的間隔，所述第二基線長度是一 對參考攝像光學系統中的另一方的參考攝像光學系統的光學中心和所述基 準攝像光學系統的光學中心之間的間隔。
8、 如權利要求l所述的複眼攝像裝置，其特徵在於， 所述複眼攝像裝置還包括預處理單元，對所述基準圖像以及所述參考圖像執行平滑濾波處理，所述相關值算出單元，根據執行所述平滑濾波處理後的基準圖像以及 參考圖像算出所述相關值。
9、 一種測距裝置，通過算出拍攝同一對象物的多個攝像光學系統中產 生的視差，從而算出到所述對象物為止的距離或所述對象物的三維位置，其特徵在於，包括基準攝像光學系統，通過拍攝所述對象物，從而生成包含基準圖像的圖像；兩個以上的偶數的參考攝像光學系統，通過拍攝所述對象物，從而生 成包含參考圖像的圖像，所述兩個以上的偶數的參考攝像光學系統的各個 光學中心被配置為，對所述基準攝像光學系統的光學中心大致成為點對稱；相關值算出單元，針對所述兩個以上的偶數的參考攝像光學系統的每 一個，按每個偏移量算出表示所述基準圖像和所述參考圖像的相似度的相 關值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況 下的偏移量，所述搜索位置是為了搜索與所述基準圖像相似的所述參考圖 像的圖像位置而由所述參考攝像光學系統生成的圖像中的所述參考圖像的 位置，所述基線是連接所述基準攝像光學系統的光學中心和所述參考攝像 光學系統的光學中心的直線；相關值加法單元，通過按每個對應的偏移量，對針對所述兩個以上的 偶數的參考攝像光學系統的每一個算出的相關值進行加法運算，從而算出 合成相關值；視差算出單元，根據所述合成相關值，以子像素級來算出作為所述基 準圖像和所述參考圖像的相似度成為最大的偏移量的視差；以及距離算出單元，根據被算出的視差、所述基準攝像光學系統的焦距和所述基線的長度，算出從所述測距裝置到所述對象物為止的距離或所述對 象物的三維位置。
10、 一種視差算出方法，算出拍攝同一對象物的多個攝像光學系統中產生的視差，其特徵在於，所述多個攝像光學系統包括基準攝像光學系統，通過拍攝所述對象物，從而生成包含基準圖像的圖像；以及兩個以上的偶數的參考攝像光學系統，通過拍攝所述對象物，從而生 成包含參考圖像的圖像，所述兩個以上的偶數的參考攝像光學系統的各個 光學中心被配置為，對所述基準攝像光學系統的光學中心大致成為點對稱，所述視差算出方法包括相關值算出步驟，針對所述兩個以上的偶數的參考攝像光學系統的每 一個，按每個偏移量算出表示所述基準圖像和所述參考圖像的相似度的相 關值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況 下的偏移量，所述搜索位置是為了搜索與所述基準圖像相似的所述參考圖 像的圖像位置而由所述參考攝像光學系統生成的圖像中的所述參考圖像的 位置，所述基線是連接所述基準攝像光學系統的光學中心和所述參考攝像光學系統的光學中心的直線；相關值加法步驟，通過按每個對應的偏移量，對針對所述兩個以上的 偶數的參考攝像光學系統的每一個算出的相關值進行加法運算，從而算出合成相關值；以及視差算出步驟，根據所述合成相關值，以子像素級來算出作為所述基 準圖像和所述參考圖像的相似度成為最大的偏移量的視差。
11、 一種測距方法，通過算出拍攝同一對象物的多個攝像光學系統中 產生的視差，從而算出到所述對象物為止的距離或所述對象物的三維位置， 其特徵在於，所述多個攝像光學系統包括基準攝像光學系統，通過拍攝所述對象物，從而生成包含基準圖像的圖像；以及兩個以上的偶數的參考攝像光學系統，通過拍攝所述對象物，從而生成包含參考圖像的圖像，所述兩個以上的偶數的參考攝像光學系統的各個 光學中心被配置為，對所述基準攝像光學系統的光學中心大致成為點對稱，所述測距方法包括相關值算出步驟，針對所述兩個以上的偶數的參考攝像光學系統的每 一個，按每個偏移量算出表示所述基準圖像和所述參考圖像的相似度的相 關值，所述偏移量是在將搜索位置沿著與基線平行的方向逐漸偏移的情況 下的偏移量，所述搜索位置是為了搜索與所述基準圖像相似的所述參考圖 像的圖像位置而由所述參考攝像光學系統生成的圖像中的所述參考圖像的 位置，所述基線是連接所述基準攝像光學系統的光學中心和所述參考攝像光學系統的光學中心的直線；相關值加法步驟，通過按每個對應的偏移量，對針對所述兩個以上的 偶數的參考攝像光學系統的每一個算出的相關值進行加法運算，從而算出合成相關值；視差算出步驟，根據所述合成相關值，以子像素級來算出作為所述基 準圖像和所述參考圖像的相似度成為最大的偏移量的視差；以及距離算出步驟，根據被算出的視差、所述基準攝像光學系統的焦距和 所述基線的長度，算出從所述測距裝置到所述對象物為止的距離或所述對 象物的三維位置。
全文摘要
提供與對象物表面的亮度的分布無關而能夠高精度地測定子像素視差的複眼攝像裝置。包括基準攝像光學系統，生成包含基準圖像的圖像；兩個以上的偶數的參考攝像光學系統，生成包含參考圖像的圖像，所述兩個以上的偶數的參考攝像光學系統被配置為，對基準攝像光學系統大致成為點對稱；相關值算出部(6)，針對兩個以上的偶數的參考攝像光學系統的每一個，按每個偏移量算出相關值，所述偏移量是針對基準圖像將參考圖像的一方沿著與基線平行的方向逐漸偏移時的偏移量；相關值加法部(7)，通過按每個對應的偏移量，對針對兩個以上的偶數的參考攝像光學系統的每一個算出的相關值進行加法運算，從而算出合成相關值；以及視差算出部(8)，根據合成相關值，以子像素級來算出作為基準圖像和參考圖像的相似度成為最大的偏移量的視差。
文檔編號G06T1/00GK101680756SQ200980000225
公開日2010年3月24日 申請日期2009年2月10日 優先權日2008年2月12日
發明者大山一朗 申請人:松下電器產業株式會社