自身位置計算裝置以及自身位置計算方法與流程

2023-05-05 05:26:41

本發明涉及自身位置計算裝置以及自身位置計算方法。

背景技術：

以往，已知通過在車輛上安裝的攝像機拍攝並獲取車輛近旁的圖像，根據該圖像的變化求車輛的移動量的技術(例如，參照專利文獻1)。在專利文獻1中，從圖像中檢測特徵點，求該特徵點的位置，從特徵點的移動方向以及移動距離(移動量)求車輛的移動量，使得即使在車輛低速且輕微地移動了的情況下可以高精度地求移動量。

而且，已知使用投光格子圖案(圖案光)的雷射投光器進行三維測量的技術(例如，參照專利文獻2)。在專利文獻2中，用攝像機拍攝圖案光的投光區域，從拍攝的圖像檢測圖案光，從圖案光的位置求車輛的行為。

現有技術文獻

專利文獻

專利文獻1:日本專利特開2008－175717號公報

專利文獻2:日本專利特開2007－278951號公報

技術實現要素：

但是，在屋外環境中，如專利文獻2中記載的那樣在路面投光了圖案光時，因為受周圍光的影響，難以檢測在路面上投光的圖案光。

本發明鑑於上述課題而完成，其目的是提供可以高精度地檢測在路面上投光的圖案光、可以高精度地計算車輛的自身位置的自身位置計算裝置以及自身位置計算方法。

本發明的一個方式的自身位置計算裝置，其特徵在於，從投光器對車輛周圍的路面投光圖案光，通過攝像單元拍攝包含被投光了圖案光的區域的車輛周圍的路面，獲取圖像，從攝像單元獲取的圖像提取圖案光的位置，從提取的圖案光的位置，計算車輛相對路面的姿態角，根據攝像單元獲取的圖像中的路面上的多個特徵點的時間變化，計算車輛的姿態變化量，通過對車輛的初始位置以及姿態角逐漸加上姿態變化量，計算車輛的當前位置以及姿態角。然後，在提取圖案光的位置時，在圖案光的檢測狀態為閾值以上的情況下，使攝像單元獲取的幀間的圖像重合，生成重疊圖像，從重疊圖像提取圖案光的位置。

附圖說明

圖1是表示第1實施方式的自身位置計算裝置的整體結構的方框圖。

圖2是表示在車輛10上的投光器11以及攝像機12的安裝例的外觀圖。

圖3(a)是表示從投光器11和攝像機12之間的基線長Lb和各亮點光在圖像上的坐標(Uj，Vj)，計算被照射了各亮點光在的路面31上的位置的狀況的圖，圖3(b)是表示從與照射了圖案光32a的區域不同的其它區域33檢測的特徵點的時間變化，求攝像機12的移動方向34的狀況的示意圖。

圖4(a)以及圖4(b)是表示對攝像機12獲取的圖像實施了二值化處理的圖案光32a的圖像的圖，圖4(a)表示圖案光32a整體，圖4(b)將一個亮點光Sp擴大表示，圖4(c)是表示由圖案光提取單元21提取的各亮點光Sp的重心的位置He的圖。

圖5是用於說明計算距離以及姿態角的變化量的方法的示意圖。

圖6(a)表示在時刻t獲取的第1幀(圖像)38的一例。圖6(b)表示在從時刻t經過了時間Δt後的時刻(t+Δt)獲取的第2幀38』。

圖7(a)表示在外部環境明亮的情況下生成重疊圖像時的車輛的移動量。圖7(b)表示在外部環境明亮的情況下生成重疊圖像的狀況。

圖8(a)表示在外部環境明亮的情況下生成重疊圖像時的車輛的移動量。圖8(b)表示在外部環境明亮的情況下生成重疊圖像的狀況。

圖9(a)～圖9(d)是表示第1實施方式的自身位置計算裝置的重置標記、重疊的圖像數、特徵點檢測狀態、以及相對應的特徵點數的變化的定時圖。

圖10是表示使用了圖1的自身位置計算裝置的自身位置計算方法的一例的流程圖。

圖11是表示圖10的步驟S18的詳細的步驟的流程圖。

圖12是表示第2實施方式的自身位置計算裝置的整體結構的方框圖。

圖13是用於說明從第2實施方式的圖案光的位置估計路面的高度的變化量的方法的圖。

圖14(a)～圖14(e)是表示第2實施方式的自身位置計算裝置的重置標記、重疊的圖像數，路面狀態的好壞、以及路面的高度差(凹凸)的大小的變化的定時圖。

圖15是表示第2實施方式的自身位置計算裝置的自身位置計算處理的處理步驟的流程圖。

圖16是表示第2實施方式的自身位置計算裝置的圖15的步驟S28的詳細的處理步驟的流程圖。

圖17是表示第2實施方式的自身位置計算裝置的整體結構的方框圖。

圖18(a)以及圖18(b)是表示第3實施方式的自身位置計算裝置的亮度變化以及特徵點檢測標記的變化的定時圖。

圖19(a)～圖19(c)是表示第3實施方式的自身位置計算裝置的圖案光和特徵點的說明圖。

圖20(a)～圖20(d)是表示第3實施方式的自身位置計算裝置的重置標記、各周期結束的定時、重疊的周期數、以及投光功率的變化的定時圖。

圖21是表示第3實施方式的自身位置計算裝置的處理步驟的流程圖。

具體實施方式

參照附圖，說明第1～第3實施方式。對於附圖的記載中同一部分附加同一標號，省略說明。

(第1實施方式)

[硬體結構]

首先，參照圖1，說明第1實施方式的自身位置計算裝置的硬體結構。自身位置計算裝置包括：投光器11、攝像機12和發動機控制單元(ECU)13。投光器11被安裝在車輛上，在車輛周圍的路面上投光圖案光。攝像機12被安裝在車輛上，是拍攝包含被投光了圖案光的區域的車輛周圍的路面，獲取圖像的攝像單元的一個例子。ECU13是執行控制投光器11，並且從攝像機12獲取的圖像估計車輛的移動量的一連串的信息處理循環的控制單元的一個例子。

攝像機12是使用了固體攝像元件，例如CCD以及CMOS的數字攝像機，獲取可進行圖像處理的數字圖像。攝像機12的攝像對象是車輛周圍的路面，在車輛周圍的路面中，包含車輛的前部、後部、側部、車輛底部的路面。例如，如圖2所示，攝像機12可以安裝在車輛10的前部，具體地說可以安裝在前保險槓上。

調整設置攝像機12的高度以及朝向，並且自動調整攝像機12具有的鏡頭的焦點和光圈,以便可以拍攝車輛10的前方的路面31上的特徵點(網紋)以及由投光器11投光的圖案光32b。攝像機12每隔規定的時間間隔反覆進行拍攝，獲取一連串的圖像(幀)群。由攝像機12獲取的圖像數據被轉發至ECU13，存儲在ECU13具有的存儲器中。

如圖2所示，投光器11朝向攝像機12的攝像範圍內的路面31，投光包含具有正方形和長方形的格子像的規定形狀的圖案光32b。攝像機12拍攝通過路面31被照射的圖案光。投光器11例如具有雷射指示器以及衍射光柵。通過用衍射光柵衍射從雷射指示器射出的雷射，如圖2～圖4所示，投光器11生成被排列為格子像、或者矩陣狀的多個亮點光Sp構成的圖案光(32b、32a)。在圖3以及圖4所示的例子中，生成5×7的亮點光Sp構成的圖案光32a。

返回圖1，ECU13由具有CPU、存儲器、以及輸入輸出單元的微控制器構成，通過執行預先安裝的電腦程式，構成自身位置計算裝置具有的多個信息處理單元。ECU13對於每個圖像(幀)反覆執行從攝像機12獲取的圖像計算車輛的當前位置的一連串的信息處理循環。ECU13也可以與和車輛10有關的其它控制中使用的ECU兼用。

在多個信息處理單元中包含圖案光提取單元(重疊圖像生成單元)21、姿態角計算單元22、特徵點檢測單元23、姿態變化量計算單元24、亮度判斷單元(圖案光檢測狀態判斷單元)25、自身位置計算單元26、圖案光控制單元27、檢測狀態判斷單元28以及計算狀態判斷單元29。特徵點檢測單元23也可以包含在姿態變化量計算單元24中。

圖案光提取單元21從存儲器讀入由攝像機12獲取的圖像，從圖像提取圖案光的位置。如圖3(a)所示，例如，投光器11將排列為矩陣狀的多個亮點光構成的圖案光32a向路面31投光，通過攝像機12檢測被路面31反射的圖案光32a。圖案光提取單元21通過對攝像機12獲取的圖像實施二值化處理，如圖4(a)以及圖4(b)所示，僅提取亮點光Sp的圖像。如圖4(c)所示，圖案光提取單元21通過計算各亮點光Sp的重心的位置He，即亮點光Sp在圖像上的坐標(Uj，Vj)，提取圖案光32a的位置。坐標將攝像機12的攝像元件的像素作為單位，在5×7的亮點光Sp的情況下，「j」是1以上35以下的自然數。亮點光Sp的圖像上的坐標(Uj，Vj)作為表示圖案光32a的位置的數據存儲在存儲器中。

姿態角計算單元22從存儲器讀入表示圖案光32a的位置的數據，從攝像機12獲取的圖像中的圖案光32a的位置計算車輛10相對路面31的距離以及姿態角。例如，如圖3(a)所示，使用三角測量的原理，從投光器11和攝像機12之間的基線長Lb、各亮點光在圖像上的坐標(Uj，Vj)，計算各亮點光在被照射了各亮點光的路面31上的位置，作為相對攝像機12的相對位置。然後，姿態角計算單元22從各亮點光相對攝像機12的相對位置，計算被投光了圖案光32a的路面31的平面式，即，攝像機12相對路面31的距離以及姿態角(法線向量)。而且，因為攝像機12相對車輛10的安裝位置以及攝像方向已知，所以在本實施方式中，計算攝像機12相對路面31的距離以及姿態角，作為車輛10相對路面31的距離以及姿態角的一例。以後，將攝像機12相對路面31的距離以及姿態角簡稱為「距離以及姿態角」。由姿態角計算單元22算出的距離以及姿態角被存儲在存儲器中。

具體地說，因為攝像機12以及投光器11被分別固定在車輛10上，所以圖案光32a的照射方向、攝像機12和投光器11的距離(基線長Lb)已知。因此，姿態角計算單元22可以使用三角測量的原理，從各亮點光在圖像上的坐標(Uj，Vj)求出各亮點光在被照射的路面31上的位置，作為對於攝像機12的相對位置(Xj，Yj，Zj)。

而且，各亮點光相對攝像機12的相對位置(Xj，Yj，Zj)不存在於同一平面上的情況較多。這是因為，各亮點光的相對位置與路面31上表露出的瀝青的凹凸相應地變化。因此，也可以使用最小二乘法，求出與各亮點光的距離誤差的平方和為最小的平面式。

特徵點檢測單元23從存儲器讀入由攝像機12獲取的圖像，從由存儲器讀入的圖像，檢測路面31上的特徵點。特徵點檢測單元23為了檢測路面31上的特徵點，例如可以使用「D.G.Lowe，「Distinctive Image Features from Scale-Invariant Keypoints,」Int.J.Comput.Vis.,vol.60,no.2,pp.91-110,Nov.200」，或者，「金澤靖,金谷健一,「コンピュータビジョンのための畫像の特徴點抽出,」信學誌,vol.87,no.12,pp.1043-1048,Dec.2004」中記載的方法。

具體地說，特徵點檢測單元23例如使用哈裡斯(Harris)算子或者SUSAN算子，檢測物體的頂點那樣亮度值比周圍較大地變化的點作為特徵點。或者，特徵點檢測單元23也可以使用SIFT(Scale-Invariant Feature Transform，尺度不變特徵變換)特徵量，在其周圍檢測亮度值按照某個規律性進行變化的點作為特徵點。然後，特徵點檢測單元23對從一個圖像檢測出的特徵點的總數N進行計數，對各特徵點附加識別號(i(1≦i≦N))。各特徵點的圖像上的位置(Ui，Vi)被存儲在ECU13內的存儲器中。圖6(a)以及圖6(b)表示從攝像機12獲取的圖像檢測到的特徵點Te的例子。各特徵點的圖像上的位置(Ui，Vi)被存儲在存儲器中。

而且，本實施方式中，路面31上的特徵點主要設想大小為1cm以上2cm以下的瀝青混合物的顆粒。為了檢測該特徵點，攝像機12的解析度為VGA(約30萬像素)。而且，攝像機12相對路面31的距離約為70cm。而且，使攝像機12的攝像方向從水平面向路面31傾斜約45度。而且，將由攝像機12獲取的圖像轉發至ECU13時的亮度值在0～255(0：最暗，255：最亮)的範圍內。

姿態變化量計算單元24從存儲器讀入每固定的信息處理循環所拍攝的幀中、前次幀中包含的多個特徵點在圖像上的位置(Ui，Vi)，進而，從存儲器讀入本次幀中包含的多個特徵點的圖像上的位置(Ui，Vi)。然後，根據多個特徵點在圖像上的位置變化，求出車輛的姿態變化量。這裡，所謂「車輛的姿態變化量」，包含相對路面31的「距離以及姿態角」的變化量，以及路面上的「車輛(攝像機12)的移動量」雙方。以下，對距離以及姿態角的變化量以及車輛的移動量的計算方法進行說明。

圖6(a)是表示在時刻t獲取的第1幀(圖像)38的一例。如圖5或者圖6(a)所示，考慮在第1幀38中，分別計算例如三個特徵點Te1、Te2、Te3的相對位置(Xi，Yi，Zi)的情況。在該情況下，可以將由特徵點Te1、Te2、Te3確定的平面G視為路面。由此，姿態變化量計算單元24可以從相對位置(Xi，Yi，Zi)求出攝像機12相對路面(平面G)的距離以及姿態角(法線向量)。進而，姿態變化量計算單元24通過已知的攝像機模型，求出各特徵點Te1、Te2、Te3之間的距離(l1，l2，l3)以及連接各個特徵點Te1、Te2、Te3的直線構成的角度。圖5的攝像機12表示第1幀中的攝像機的位置。

而且，作為表示相對攝像機12的相對位置的3維坐標(Xi，Yi，Zi)，將攝像機12的攝像方向設定為Z軸，將攝像方向設為法線，並且在包含攝像機12的平面內，設定相互正交的X軸以及Y軸。另一方面，作為圖像38上的坐標，將水平方向以及垂直方向分別設定為V軸以及U軸。

圖6(b)表示在從時刻t經過了時間Δt的時刻(t+Δt)獲取的第2幀。圖5的攝像機12』表示拍攝了第2幀38』時的攝像機的位置。如圖5或者圖6(b)所示，在第2幀38』中，攝像機12』拍攝特徵點Te1、Te2、Te3，並且特徵點檢測單元23檢測特徵點Te1、Te2、Te3。在該情況下，姿態變化量計算單元24由時刻t中的各特徵點Te1、Te2、Te3的相對位置(Xi，Yi，Zi)、各特徵點的第2幀38』上的位置P1(Ui，Vi)、以及攝像機12的攝像機模型，不僅可以計算時間Δt的攝像機12的移動量(ΔL)，還可以計算距離以及姿態角的變化量。例如，通過解以下的(1)～(4)式構成的聯立方程式，姿態變化量計算單元24可以計算攝像機12(車輛)的移動量(ΔL)、以及距離以及姿態角的變化量。而且，(1)式是攝像機12作為沒有失真和光軸偏差的理想的針孔攝像機而模型化的算式，λi是常數，f是焦點距離。攝像機模型的參數只要進行預先校準即可。

(x1-x2)2+(y1-y2)2+(z1-z2)2＝l12···(2)

(x3-x2)2+(y3-y2)2+(z3-z2)2＝l22···(3)

(x1-x3)2+(y1-y3)2+(z1-z3)2＝l32···(4)

圖3(b)示意地表示從攝像機12的攝像範圍中，從與照射了圖案光32a的區域不同的其它區域33檢測到的特徵點的時間變化，求攝像機12的移動方向34的狀況。而且，在圖6(a)以及圖6(b)中，將表示各特徵點Te的位置的變化方向以及變化量的向量Dte重疊在圖像上表示。姿態變化量計算單元24不僅可以計算時間Δt中的攝像機12的移動量(ΔL)，還可以同時計算距離以及姿態角的變化量。因此，姿態變化量計算單元24可以考慮距離以及姿態角的變化量，高精度地計算6自由度的移動量(ΔL)。即，即使距離或姿態角由於車輛10的轉彎或加減速導致的搖擺運動或者俯仰運動而變化，也可以抑制移動量(ΔL)的估計誤差。

而且，姿態變化量計算單元24不僅可以使用算出了相對位置的全部特徵點，也可以根據特徵點之間的位置關係選定最佳的特徵點。作為選定方法，例如，可以使用對極幾何(對極極線幾何，R.I.Hartley:「A linear method for reconstruction from lines and points,」Proc.5th International Conference on Computer Vision,Cambridge,Massachusetts,pp.882-887(1995))。

為了在前後幀之間將特徵點相對應，例如，只要將檢測到的特徵點的周邊的小區域的圖像記錄在存儲器中，從亮度或顏色信息的類似度進行判斷即可。具體地說，ECU13將以檢測到的特徵點為中心的5×5(水平×垂直)像素分的圖像記錄在存儲器中。例如，只要亮度信息在20像素以上收斂在誤差1％以下，姿態變化量計算單元24判斷為在前後幀之間取得對應關係的特徵點。

這樣，在以後的定時從獲取的圖像38』中也檢測到算出了相對位置(Xi，Yi，Zi)的特徵點Te1、Te2、Te3的情況下，姿態變化量計算單元24可以根據路面上的多個特徵點的時間變化，計算「車輛的姿態變化量」。

自身位置計算單元26從姿態變化量計算單元24算出的「距離以及姿態角的變化量」計算距離以及姿態角。進而，從姿態變化量計算單元24中算出的「車輛的移動量」計算車輛的當前位置。

具體地說，在姿態角計算單元22(參照圖1)中算出的距離以及姿態角被設定作為起點的情況下，對於該起點(距離以及姿態角)，通過將姿態變化量計算單元24中算出的各幀的每一幀的距離以及姿態角的變化量逐次相加(進行積分運算)，將距離以及姿態角更新為最新的數值。而且，將在姿態角計算單元22中算出距離以及姿態角時的車輛位置設定作為起點(車輛的初始位置)，通過從該初始位置將車輛的移動量逐次相加(進行積分運算)，計算車輛的當前位置。例如，通過設定與地圖上的位置對照的起點(車輛的初始位置)，可以逐次計算地圖上的車輛的當前位置。

這樣，只要可以持續檢測在前後幀之間取得對應關係的3點以上的特徵點，則通過持續進行將距離以及姿態角的變化量相加的處理(積分運算)，可以不使用圖案光32a，將距離或姿態角持續更新為最新的數值。其中，最初的信息處理循環中，也可以利用使用圖案光32a算出的距離以及姿態角、或者規定的初始距離以及初始姿態角。即，成為積分運算的起點的距離以及姿態角可以使用圖案光32a計算，或者，也可以使用規定的初始值。規定的初始距離以及初始姿態角希望是至少考慮了至車輛10的乘員以及安裝物的距離以及姿態角。例如，在車輛10的點火開關為接通狀態，並且換擋位從泊車移動至其他檔位時，投光圖案光32a，使用從圖案光32a算出的距離以及姿態角作為規定的初始距離以及初始姿態角即可。由此，可以求出在未發生車輛10的轉彎或加減速造成的搖擺運動或者俯仰運動時的距離或姿態角。

而且，在本實施方式中，通過計算距離以及姿態角的變化量，將距離以及姿態角的變化量逐次相加，將距離以及姿態角更新為最新的數值。但是，也可以僅將攝像機12相對路面31的姿態角作為該變化量的計算以及更新的對象。在該情況下，只要將攝像機12相對路面31的距離假定為固定即可。由此，可以考慮姿態角的變化量，抑制移動量(ΔL)的估計誤差，並且減輕ECU13的運算負擔，並且提高運算速度。

檢測狀態判斷單元28判斷特徵點檢測單元23的特徵點Te的檢測狀態是否不滿足第1基準，為較差的狀態。例如，在如隧道內的混凝土路面那樣，在路面上瀝青混合物的顆粒等的圖案或凹凸少的情況下，可從圖像檢測的特徵點變少。在該情況下，在前後幀之間取得對應關係的特徵點的持續檢測變得困難，距離以及姿態角的更新精度降低。

因此，例如，在算出了相對攝像機12的相對位置的特徵點中，在之後的信息處理循環中獲取的圖像中也可以檢測的特徵點的數為規定的閾值(例如，三個)以下的情況下，檢測狀態判斷單元28判斷為特徵點的檢測狀態不滿足第1基準，為較差的狀態。即，在不能檢測在前後幀之間取得對應的4點以上的特徵點的情況下，檢測狀態判斷單元28判斷為特徵點Te的檢測狀態不滿足第1基準，為較差的狀態。而且，為了求出距離和姿態角的變化量，需要在前後幀之間取得對應的至少三個特徵點。這是因為，為了確定平面G需要三個特徵點。為了提高估計精度，需要更多的特徵點，所以希望規定的閾值為4或者5以上。

在檢測狀態判斷單元28判斷為特徵點的檢測狀態滿足第1基準的情況下，自身位置計算單元26維持積分運算的起點。另一方面，在檢測狀態判斷單元28判斷為特徵點的檢測狀態不滿足第1基準，為較差的狀態的情況下，自身位置計算單元26在相同的信息處理循環中，將姿態角計算單元22(參照圖1)算出的距離以及姿態角、以及此時的車輛位置設定為新的起點(車輛的姿態角以及初始位置)，從該起點開始車輛的姿態變化量的相加。

而且，在第1實施方式中，檢測狀態判斷單元28根據在前後幀之間取得對應關係的特徵點的數，判斷了特徵點的檢測狀態，但是也可以根據從一個圖像檢測的特徵點的總數N，判斷特徵點的檢測狀態。即，可以在特徵點的總數N為規定的閾值(例如9)以下的情況下，判斷為特徵點的檢測狀態不滿足第1基準，作為較差的狀態。考慮被檢測出的特徵點中存在未關聯對應的特徵點，將規定的閾值(3)的3倍的數(9)設定為閾值即可。

計算狀態判斷單元29判斷姿態角計算單元22的距離以及姿態角的計算狀態是否不滿足第2基準，為較差的狀態。例如，在路面31上的高低處照射了圖案光的情況下，路面31上的高低比瀝青的凹凸大，所以距離以及姿態角的計算精度極端地降低。在特徵點的檢測狀態比第1基準還差，並且距離以及姿態角的計算狀態不滿足第2基準，在較差的狀態的情況下，沒有高精度地檢測距離以及姿態角、及其變化量的手段。

因此，計算狀態判斷單元29例如在由姿態角計算單元22算出的距離以及姿態角的標準偏差大於規定的閾值的情況下，判斷為姿態角計算單元22的距離以及姿態角的計算狀態不滿足第2基準，為較差的狀態。而且，在35個亮點光中可檢測的亮點光的數不足3點的情況下，從原理上不能求出路面31的平面式，所以判斷為姿態角計算單元22的距離以及姿態角的計算狀態不滿足第2基準，為較差的狀態。在使用最小二乘法求平面式的情況下，在與各亮點光的距離誤差的最大值的絕對值為某個閾值(例如0.05m)以上的情況下，也可以判斷為姿態角計算單元22的距離以及姿態角的計算狀態不滿足第2基準，為較差的狀態。

在檢測狀態判斷單元28判斷為特徵點的檢測狀態不滿足第1基準，為較差的狀態、並且計算狀態判斷單元29判斷為姿態角計算單元22的距離以及姿態角的計算狀態不滿足第2基準，為較差的狀態的情況下，自身位置計算單元26使用之前的信息處理循環中的距離以及姿態角、以及車輛的當前位置作為積分運算的起點。由此，可以抑制車輛的移動量的計算誤差。

圖案光控制單元27控制投光器11的圖案光32a的投光。例如，與車輛10的點火開關為接通狀態，自身位置計算裝置起動的同時，圖案光控制單元27開始圖案光32a的投光。之後，圖案光控制單元27連續投光圖案光32a，直至自身位置計算裝置停止。或者，也可以隔開規定的時間間隔，反覆進行投光的接通/關斷。或者，也可以僅限於檢測狀態判斷單元28判斷為特徵點Te的檢測狀態不滿足第1基準，為較差的狀態的情況，暫時地投光圖案光32a。

亮度判斷單元(圖案光檢測狀態判斷單元)25判定由攝像機12獲取的圖案光的檢測狀態是否為規定的閾值以上。例如，亮度判斷單元25判斷由攝像機12獲取的圖像的亮度平均值(圖案光的檢測狀態)是否為路面亮度閾值Bth(規定的閾值)以上。而且，亮度判斷單元25也可以判斷由攝像機12獲取的圖像的照度是否為閾值以上。而且，也可以取代亮度判斷單元25，將照度傳感器安裝在車輛上。

例如可以通過以下的步驟預先求出路面亮度閾值Bth。首先，在車輛上沒有搭乘人、貨物、燃料等的空載狀態中，通過攝像機12拍攝將圖案光投光在瀝青路面時的圖像。這時，圖像上的瀝青路面的亮度大致相同。例如，調整光環境進行拍攝，使得未映照圖案光的部分的像素的95％收斂在離亮度平均值±20以內。而且，由攝像機12獲取的圖像的亮度值在0～255(0：最暗，255：最亮)的範圍內。進而，在獲得的圖像中，比較照射了圖案光的像素的亮度平均值Bp和除此以外的映照瀝青路面的像素的亮度平均值Ba。一邊將映照瀝青路面的部分的亮度平均值Ba從0至10級增大，一邊反覆進行這一連串的處理，將成為Bp×0.7＜Ba時的亮度平均值Ba設為路面亮度閾值Bth。即，將瀝青路面的亮度成為圖案光的亮度的約30％的亮度值設為路面亮度閾值Bth。

在由亮度判斷單元25判定為圖案光的檢測狀態為規定的閾值以上的情況下，圖案光提取單元21使由攝像機12獲得的前後幀間的圖像重合規定的張數。而且，作為重合的圖像，說明使用從現在起已過去了的存儲器中蓄積的前後幀間的圖像的情況。而且，作為重合的圖像，也可以包含從現在起將來由攝像機12獲取的圖像。圖案光提取單元21進而從生成的重疊圖像提取圖案光的位置。姿態角計算單元22可以從由重疊圖像提取的圖案光的位置，計算相對路面的車輛的姿態角。而且，自身位置計算單元26可以將這時的車輛的當前位置以及由重疊圖像算出的姿態角設定為車輛的初始位置以及姿態角(起點)，開始姿態變化量的相加。

這裡，圖案光提取單元21根據攝像機12中獲取的圖像中的圖案光的檢測狀態設定規定的圖像的數。圖案光的檢測狀態例如是圖案光相對周圍光的亮度值的亮度值的比(S/N比)。S/N比越小(外部環境越亮)，圖案光提取單元21越增多重合的圖像數。

如圖7(a)所示，在外部環境相對明亮的情況下，需要的圖像數相對較多，所以用於獲取圖像群的車輛100的移動量相對較大。而且，如圖7(b)所示，使相對較多數的圖像I1重合，生成重疊圖像I2。另一方面，如圖8(a)所示，在外部環境相對較暗的情況下，需要的圖像數相對較少，所以用於獲取圖像群的車輛100的移動量相對較小。而且，如圖8(b)所示，使相對較少數的圖像I1重合，生成重疊圖像I2。

應由圖案光提取單元21重合的圖案光提取所需要的圖像的數，例如可以通過以下的步驟設定。首先，與求出路面亮度閾值Bth時相同，將映照瀝青路面的部分的亮度平均值Ba從0至10級增大，通過預先實驗等求出各亮度平均值Ba中的、照射了圖案光的像素的亮度平均值Bp的比Rap＝Ba/Bp，存儲在ECU的存儲器中。然後，在進行實際地控制的情況下，參照將攝像機12獲取的圖像的亮度平均值的個位四捨五入時的S/N比Rap，將通過以下的式(5)求出的Sn的小數點第一位進位後的張數，設定為圖案光提取所需要的圖像的數。

Sn＝max{(0.5÷(1－Rap)2)，50}···(5)

即，如果瀝青路面的亮度平均值Ba為圖案光的亮度平均值Bp的約29％以下則設為1張，如果為75％則設為8張，如果為90％以上則設為50張。而且，由於照射了圖案光的部分與圖像整體相比十分小，所以也可以從圖像整體計算亮度平均值。而且，在實際地將亮度平均值Ba從0至10級增大，求各Rap的實驗中，也可以實際地重疊，進行提取亮點光的提取，設定為圖案光的各亮點光的提取的成功率為95％以上的張數。

而且，如在以下說明的那樣，在不能通過圖案光提取單元21生成重疊圖像(或者難以生成)的情況下，將前次的信息處理循環中採用的距離以及姿態角(以下，簡單稱為「前次值」。)，或者上述的車輛的規定的初始距離以及初始姿態角(簡單稱為「初始值」。)用作起點。

首先，存在S/N比過小(過亮)，積分時間過長的情況。例如，參照由攝像機12獲取的圖像的亮度平均值的個位四捨五入時的比Rap，如果比Rap為0.95以上，即，瀝青路面的亮度平均為圖案光的亮度平均的90％以上，在重疊圖像作成上過多花費時間，在此期間的路面變化小的假定不成立，或者原理上判斷圖案光的提取本身困難，將前次值或者初始值用作起點。

而且，有車輛行為過大(車速過高)的情況。例如，在拍攝被設定的重疊圖像的張數期間，車輛的行進距離超過0.2[m]的情況下，判斷為路面變化小的假定不成立，判斷為不能生成重疊圖像。這裡，如果使用1000fps的攝像機，則在瀝青路面的亮度平均為圖案光的亮度平均的75％的情況下，重疊圖像需要8張。由此，如以下的式(6)那樣，在90km/h以上中，將前次值或者初始值用作起點。

0.2[m]÷(8[張]÷1000[fps])

＝25[m/s]

＝90[km/h]···(6)

而且，有路面變化(高低或凹凸)過大的情況。例如，在拍攝被設定的重疊圖像的張數期間，判定車輛周圍的路面狀態是否變化了閾值以上。然後，在車輛周圍的路面狀態成為變化了閾值以上的狀態的圖像數超過了5％的情況下，判斷為路面變化小的假定不成立，將前次值或者初始值用作起點。而且，在第2實施方式中說明路面狀態的變化的判定的細節。

圖9(a)～圖9(d)表示第1實施方式的自身位置計算裝置的重置標記、重疊的圖像數、特徵點檢測狀態、以及相對應的特徵點數的變化。例如，在時刻t11、t12的信息處理循環中，如圖9(d)所示，相對應的特徵點數不足3點，如圖9(c)所示，判斷為特徵點檢測狀態較差。與其相伴，如圖9(a)所示，重置標記被設定為「1」。

其中，在時刻t11的信息處理循環中，如圖9(b)所示，圖案光提取單元21由攝像機12的圖像的平均亮度值，將重疊的圖像數設定為1張(即，不重疊)。然後，圖案光提取單元21從當前的時刻t11的信息處理循環中獲取的1張圖像中提取圖案光。

另一方面，在時刻t12的信息處理循環中，如圖9(a)所示，圖案光提取單元21從攝像機12的圖像的平均亮度值，將重疊的圖像數設定為2張。進而，圖案光提取單元21使時刻t12中由攝像機12獲取的圖像、和前次的信息處理循環中由攝像機12獲取的圖像的2張重合(合併計算亮度值)，生成重疊圖像。然後，圖案光提取單元21從重疊圖像提取圖案光。

[信息處理循環]

接著，作為從攝像機12獲取的圖像38估計車輛10的移動量的自身位置計算方法的一例，參照圖10以及圖11，說明由ECU13反覆執行的信息處理循環。圖10的流程圖所示的信息處理循環，與車輛10的點火開關成為導通狀態，自身位置計算裝置起動的同時開始，直至自身位置計算裝置停止，被反覆執行。

在圖10的步驟S10中，圖案光控制單元27控制投光器11，在車輛周圍的路面31投光圖案光32a。在圖10的流程圖中，說明連續投光圖案光32a的例子。

進至步驟S11，ECU13控制攝像機12，拍攝包含了投光圖案光32a的區域的車輛周圍的路面31，獲取圖像38。ECU13將由攝像機12獲取的圖像數據存儲在存儲器中。而且，ECU13可以自動控制攝像機12的光圈。也可以由在之前的信息處理循環中獲取的圖像38的平均亮度，反饋控制攝像機12的光圈，使得成為亮度值的最大值和最小值的中間值。而且，因為投光圖案光32a的區域的亮度值高，所以也可以從去除提取了圖案光32a的部分後的區域，求平均亮度值。

進至步驟S12，亮度判斷單元25從存儲器讀入由攝像機12獲取的圖像38，判斷圖像的平均亮度是否為路面亮度閾值Bth以上。在判斷為圖像的平均亮度不足路面亮度閾值Bth的情況下，進至步驟S15。

進至步驟S15，首先，圖案光提取單元21從存儲器讀入由攝像機12獲取的圖像38，如圖4(c)所示，從圖像38提取圖案光32a的位置。圖案光提取單元21將作為表示圖案光32a的位置的數據算出的亮點光Sp在圖像上的坐標(Uj，Vj)存儲在存儲器中。

另一方面，在步驟S12中，在判斷為圖像的平均亮度為路面亮度閾值Bth以上的情況下，進至步驟S13。在步驟S13中，圖案光提取單元21從攝像機12獲取的圖像的平均亮度，設定圖案光提取所需要的圖像數(幀數)。

在步驟S14中，圖案光提取單元21從存儲器讀入由攝像機12獲取的圖像38，通過使設定的圖像數的前後幀的圖像重合(合計亮度值)，生成重疊圖像。進而，圖案光提取單元21從生成的重疊圖像提取圖案光32a的位置。圖案光提取單元21將作為表示圖案光32a的位置的數據而算出的亮點光Sp在圖像上的坐標(Uj，Vj)存儲在存儲器中。

在步驟S16中，姿態角計算單元22從存儲器讀入表示在步驟S14或者步驟S15中提取的圖案光32a的位置的數據，從圖案光32a的位置計算距離以及姿態角，存儲在存儲器中。

進至步驟S17，ECU13從圖像38檢測特徵點，提取在前後的信息處理循環之間取得對應關係的特徵點，從特徵點的圖像上的位置(Ui，Vi)，計算距離以及姿態角的變化量、以及車輛的移動量。

具體地說，首先，特徵點檢測單元23從存儲器讀入由攝像機12獲取的圖像38，從圖像38檢測路面31上的特徵點，將各特徵點的圖像上的位置(Ui，Vi)存儲在存儲器中。姿態變化量計算單元24從存儲器讀入各特徵點的圖像上的位置(Ui，Vi)，從距離以及姿態角、和特徵點的圖像上的位置(Ui，Vi)，計算特徵點相對攝像機12的相對位置(Xi，Yi，Zi)。而且，姿態變化量計算單元24使用在之前的信息處理循環的步驟S16中設定的距離以及姿態角。姿態變化量計算單元24將特徵點相對攝像機12的相對位置(Xi，Yi，Zi)存儲在存儲器中。

然後，姿態變化量計算單元24從存儲器讀入特徵點的圖像上的位置(Ui，Vi)、和在之前的信息處理循環的步驟S17中算出的特徵點的相對位置(Xi，Yi，Zi)。姿態變化量計算單元24使用在前後的信息處理循環之間取得對應關係的特徵點的相對位置(Xi，Yi，Zi)以及圖像上的位置(Ui，Vi)，計算距離以及姿態角的變化量。進而，從前次的信息處理循環中的特徵點的相對位置(Xi，Yi，Zi)和本次的信息處理循環中的特徵點的相對位置(Xi，Yi，Zi)，計算車輛的移動量。在步驟S17中算出的「距離以及姿態角的變化量」以及「車輛的移動量」，在步驟S19的處理中被使用。

進至步驟S18，ECU13根據特徵點的檢測狀態、以及基於圖案光的距離以及姿態角的計算狀態，設定積分運算的起點。細節參照圖11，在後敘述。

進至步驟S19，自身位置計算單元26從在步驟S18的處理中設定的積分運算的起點、以及在步驟S17的處理中算出的車輛的移動量，計算車輛的當前位置。

這樣，本實施方式的自身位置計算裝置通過反覆執行上述的一連串的信息處理循環，將車輛10的移動量合計，可以計算車輛10的當前位置。

參照圖11的流程圖，說明圖10的步驟S18的詳細的步驟。在步驟S100中，ECU13判斷本次的信息處理循環是否為初次。然後，在為初次的情況下，即，沒有前次的信息處理循環的數據的情況下進至步驟S104，在不是初次的情況下進至步驟S101。

在步驟S101中，檢測狀態判斷單元28判斷特徵點檢測單元23的特徵點Te的檢測狀態是否不滿足第1基準，為較差的狀態。在判斷為較差的情況下(步驟S101中為「是」)，進至步驟S102，在判斷為不變差的情況下(步驟S101中為「否」)，進至步驟S106。在步驟S106中，ECU13維持當前被設定的積分運算的起點。

在步驟S102中，ECU13判斷是否可以生成重疊圖像。作為不能生成重疊圖像的情況，例如，舉出為了還包含將來獲取的圖像，為獲取規定張數的圖像而花費時間，正在生成重疊圖像中的情況，或者原理上不可能或者難以生成重疊圖像的情況。在判斷為不能生成重疊圖像的情況下(步驟S102中為「是」)，進至步驟S103，在判斷為可以生成重疊圖像的情況下(步驟S102中為「否」)，進至步驟S104。

在步驟S103中，計算狀態判斷單元29判斷姿態角計算單元22的距離以及姿態角的計算狀態是否不滿足第2基準，為較差的狀態。例如，判斷在距離以及姿態角的計算上是否成功。在判斷為成功的情況下(步驟S103中為「是」)，進至步驟S104，在判斷為不成功的情況下(步驟S103中為「否」)，進至步驟S105。

在步驟S104中，ECU13設定車輛的當前位置作為起點，進而，將在相同的信息處理循環的步驟S16中算出的距離以及姿態角設定作為積分運算的起點。將該距離以及姿態角作為起點開始新的積分運算。而且，將車輛的當前位置作為起點重新開始車輛的移動量的積分運算。

在步驟S105中，ECU13設定車輛的當前位置作為起點，進而，設定在前次的信息處理循環中採用的距離以及姿態角作為積分運算的起點。將該距離以及姿態角作為起點開始新的積分運算。而且，將車輛的當前位置作為起點重新開始車輛的移動量的積分運算。之後，進至圖10的步驟S19。

[第1實施方式的效果]

如以上說明的那樣，按照第1實施方式，亮度判斷單元25判斷圖案光的檢測狀態，在圖案光的檢測狀態為閾值以上的情況下，圖案光提取單元21通過使前後幀間的圖像重合而生成重疊圖像，從重疊圖像提取圖案光，即使在外部環境明亮的情況下，也可以高精度地檢測在路面上投光的圖案光，可以高精度地計算車輛的自身位置。

而且，通過根據由攝像機12獲取的圖像的平均亮度等圖案檢測狀態，設定圖案光提取單元21為了生成重疊圖像所需要的圖像數，可以根據外部環境的亮度調整檢測的圖案光的亮度值，可以高精度地檢測圖案光。

而且，在圖11的步驟S102那樣重疊圖像的生成中，通過使用前次的信息處理循環中採用的距離以及姿態角、或者規定的初始距離以及初始姿態角作為起點，可以抑制在計算自身位置時的誤差。

而且，在圖11的步驟S105中，ECU13也可以設定規定的初始距離以及初始姿態角作為積分運算的起點，取代在前次的信息處理循環中採用的距離以及姿態角。詳細地說，在檢測狀態判斷單元28判斷特徵點的檢測狀態不滿足第1基準，為較差的狀態時，並且計算狀態判斷單元29判斷出姿態角計算單元22的距離以及姿態角的計算狀態不滿足第2基準，為較差的狀態的情況下，自身位置計算單元26也可以設定至少考慮了在車輛10上的乘員以及安裝物的規定的初始距離以及初始姿態角，作為積分運算的起點。例如，可以使用將自身位置計算裝置起動緊接之後的信息處理循環的步驟S15中算出的距離以及姿態角。由此，可以將沒有發生車輛10的轉彎或加減速導致的搖擺運動或者俯仰運動時的距離或姿態角作為起點，計算距離以及姿態角的更新以及移動量的計算。

(第2實施方式)

[硬體結構]

作為本發明的第2實施方式，說明根據車輛周圍的路面狀態的變化計算自身位置的情況。如圖12所示，本發明的第2實施方式的自身位置計算裝置取代檢測狀態判斷單元28以及計算狀態判斷單元29而具有路面狀態判定單元30這一點，與第1實施方式不同。其它的結構與第1實施方式相同，所以省略說明。

路面狀態判定單元30檢測車輛周圍的路面狀態的變化，判定路面狀態是否變化了閾值以上。然後，在判定為路面狀態變化了閾值以上的情況下，自身位置計算單元26固定為在前次的信息處理循環中算出的車輛10的當前位置、對於路面的距離以及姿態角。由此，姿態角計算單元22停止車輛10相對路面的距離以及姿態角的計算。而且，自身位置計算單元26對在前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角加上姿態變化量，計算當前的車輛的當前位置、相對路面的距離以及姿態角。

這裡，說明判定路面狀態的變化的方法。在本實施方式中，在路面上投影35(5×7)個圖案光32a的亮點光。因此，例如，在35個亮點光中，在攝像機12的圖像中僅檢測出80％以下，即28個以下的情況下，路面狀態判定單元30判定為路面的高度差或凹凸劇烈，路面狀態變化了閾值以上。

這時，也可以由路面的高度的變化量估計路面狀態的變化。路面的高度的變化量可以由安裝在車輛的各車輪的懸掛裝置上的行程傳感器的檢測值的振動來檢測。例如，行程傳感器的檢測值的振動為1Hz以上的情況下，路面狀態判定單元30估計為路面的高度差或凹凸劇烈，判定為路面狀態變化了閾值以上。而且，在將測量垂直方向的加速度的加速度傳感器的檢測值積分來計算垂直方向的速度，該速度的朝向的變化為1Hz以上的情況下，路面狀態判定單元30也可以判定為路面的高度差或凹凸劇烈，路面狀態變化了閾值以上。

進而，路面的高度的變化量也可以由攝像機12拍攝的圖像中的圖案光32a的位置來估計。在本實施方式中，如圖13所示的圖案光32a被投影在路面31上。因此，拉出將圖案光32a的亮點光在X方向連結的線段71、和在Y方向連結的線段73。然後，如點75所示，在這些線段的斜率在中途變化了15deg以上的情況下，路面狀態判定單元30估計為路面的高度差或凹凸變得劇烈，判定為路面狀態變化了閾值以上。而且，如圖13所示，在相鄰的亮點光的間隔d1、d2的差變化了50％以上的情況下，路面狀態判定單元30也可以判定為路面狀態變化了閾值以上。

在這樣判定為路面狀態變化了閾值以上時，自身位置計算單元26固定為在前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角。因此，姿態角計算單元22停止車輛10相對路面的距離以及姿態角的計算，自身位置計算單元26對在前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角加上姿態變化量，計算當前的車輛10的當前位置、相對路面的距離以及姿態角。

例如，如圖14(e)所示，路面狀態判定單元30監視被檢測出的亮點光的數，將閾值設定為相當於35個亮點光的80％的28個。在該情況下，在可檢測出多於28個亮點光期間，路面狀態判定單元30將姿態角計算標記設定為「1」。由此，姿態角計算單元22進行車輛10相對路面的距離以及姿態角的計算，自身位置計算單元26使用在姿態角計算單元22中算出的車輛的距離以及姿態角計算當前的距離以及姿態角，通過在前次的信息處理循環中算出的車輛10的當前位置上加上車輛的移動量(持續積分運算)，計算當前的車輛的自身位置。

但是，在時刻t21中，在亮點光的檢測個數低於閾值時，自身位置計算單元26將姿態角計算標記切換為「0」。由此，車輛10的當前位置、相對路面的距離以及姿態角被固定為在前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角，姿態角計算單元22停止車輛10的距離以及姿態角的計算。因此，自身位置計算單元26對前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角加上姿態變化量，計算當前的車輛的當前位置、相對路面的距離以及姿態角。

之後，在時刻t22中亮點光的檢測個數再次超過閾值時，姿態角計算標記被設定為「1」，姿態角計算單元22再次開始車輛10的距離以及姿態角的計算。然後，自身位置計算單元26使用在姿態角計算單元22中算出的車輛10的距離以及姿態角計算車輛10的當前的距離以及姿態角。這樣，本實施方式的自身位置計算裝置在路面狀態較大地變化了的情況下，由於使用在前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角，所以即使路面狀態較大地變化，也可以高精度地、並且穩定地計算車輛10的自身位置。

與第1實施方式同樣，在圖案光的檢測狀態為規定的閾值以上的情況下，圖案光提取單元21使規定的張數的圖像重合而生成重疊圖像。圖案光提取單元21從生成的重疊圖像提取圖案光。

而且，在因為路面變化大而不能生成重疊圖像的情況下，將前次值或者初始值用作起點。例如，在拍攝設定的重疊圖像的張數期間，路面狀態判定單元30判定車輛周圍的路面狀態是否變化閾值以上。在判定為變化了的圖像數超過了5％的情況下，判斷為路面變化小的假定不成立，將前次值或者初始值用作起點。

圖14(a)～圖14(e)表示第2實施方式的自身位置計算裝置的重置標記、重疊的圖像數、路面狀態的好壞、以及路面的高度差或凹凸的大小的變化。如圖14(b)所示，判斷是否以規定的周期重置。這裡，將規定的周期設為10幀，但是例如也可以將規定的周期設定為10秒。

如圖14(e)所示，在時刻t21～t22、時刻t24～t25中，路面的高度差或凹凸為閾值以下，如圖14(d)所示，判斷為路面狀態較差。由此，如圖14(b)所示，即使是規定的周期的重置的定時，如圖14(a)所示，重置標記仍為「0」，也不生成重疊圖像。

另一方面，在時刻t23中，如圖14(b)所示，是規定的周期的重置定時，如圖14(d)所示，由於被判斷為路面狀態良好，所以如圖14(a)所示，重置標記被設定為「1」。如圖14(c)所示，圖案光提取單元21由攝像機12的圖像的平均亮度值，將重疊的圖像數設定為3張。進而，圖案光提取單元21使時刻t23中由攝像機12獲取的1張的圖像、和前一幀以及再前一幀中由攝像機12獲取的2張的圖像重合，生成重疊圖像。然後，圖案光提取單元21從生成的重疊圖像提取圖案光。

[信息處理循環]

接著，使用圖15以及圖16，說明本發明的第2實施方式的自身位置計算方法。如圖15所示的步驟S20～S27、S29的步驟與圖10所示的步驟S10～S17、S19的步驟相同，所以省略說明。

在步驟S28中，ECU13根據車輛周圍的路面狀態的變化，設定用於計算自身位置的積分運算的起點。參照圖16的流程圖，說明圖15的步驟S28的詳細的步驟。

如圖16所示，在步驟S201中，路面狀態判定單元30判定是否已經過了規定的周期。規定的周期，例如設定為可以足夠獲取圖案光提取單元21的重疊圖像的生成所需要的數的圖像的間隔即可。如在圖14中說明的那樣，路面狀態判定單元30監視是否在發生周期計數脈衝，在發生的情況下判定為經過了規定的周期，進至步驟S202。另一方面，在未發生周期計數脈衝的情況下，判定為未經過規定的周期，進至步驟S205。

在步驟S202中，路面狀態判定單元30檢測車輛周圍的路面狀態的變化。具體地說，路面狀態判定單元30一邊檢測圖案光32a的亮點光的數，一邊檢測在各車輪中安裝的行程傳感器的檢測值的振動。而且，路面狀態判定單元30也可以一邊將可計測車輛的垂直方向的加速度的加速度傳感器的檢測值進行積分，計算垂直方向的速度，一邊檢測圖案光32a的位置。

接著，在步驟S203中，路面狀態判定單元30判定車輛周圍的路面狀態是否變化了閾值以上。例如，在檢測圖案光32a的亮點光的數的情況下，在從35個亮點光中在攝像機的圖像中只能檢測28個以下的情況下，路面狀態判定單元30判定為路面的高度差或凹凸劇烈，路面狀態變化了閾值以上。

而且，在使用行程傳感器的情況下，在檢測值的振動為1Hz以上的情況下，路面狀態判定單元30判定為路面狀態變化了閾值以上。進而，在使用加速度傳感器的情況下，將加速度傳感器的檢測值積分，計算垂直方向的速度，在該速度的朝向的變化為1Hz以上的情況下，路面狀態判定單元30判定為路面狀態變化了閾值以上。

而且，在使用圖案光32a的位置的情況下，在連接亮點光的線段的斜率在中途變化了15deg以上的情況下，路面狀態判定單元30判定為路面狀態變化了閾值以上。或者，在相鄰的亮點光的間隔的差變化了50％以上的情況下，路面狀態判定單元30也可以判定為路面狀態變化了閾值以上。

這樣，進行車輛周圍的路面狀態是否變化了閾值以上的判定，在路面狀態判定單元30判定為變化了閾值以上的情況下(步驟S203中為「是」)進至步驟S204。另一方面，在路面狀態判定單元30判定為未變化閾值以上的情況下(步驟S203中為「否」)進至步驟S205。

在步驟S204中，自身位置計算單元26將車輛10的當前位置、相對路面的距離以及姿態角固定為前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角。即，自身位置計算單元26設定前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角作為積分運算的起點。

由此，姿態角計算單元22停止計算車輛10相對路面的距離以及姿態角，自身位置計算單元26對前次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角加上姿態變化量，計算當前的車輛10的當前位置、相對路面的距離以及姿態角。

另一方面，在步驟S205中，自身位置計算單元26設定在本次的信息處理循環的步驟S15中算出的車輛10的當前位置、相對路面的距離以及姿態角作為積分運算的起點。由此，自身位置計算單元26對本次的信息處理循環中算出的車輛10的當前位置、相對路面的距離以及姿態角加上姿態變化量，計算車輛10的當前位置、相對路面的距離以及姿態角。

這樣，在設定用於計算當前的車輛10的當前位置、相對路面的距離以及姿態角的積分運算的起點時，步驟S28的處理結束，進至圖15的步驟S29。

[第2實施方式的效果]

如以上說明的那樣，按照第2實施方式，亮度判斷單元25判斷圖案光的檢測狀態，在圖案光的檢測狀態為閾值以上的情況下，圖案光提取單元21通過使幀間的圖像重合，生成重疊圖像，即使在外部環境明亮的情況下也可以高精度地檢測對路面投光的圖案光，可以高精度地計算車輛的自身位置。

而且，通過根據由攝像機12獲取的圖像的平均亮度等圖案檢測狀態，設定為了圖案光提取單元21生成重疊圖像所需要的圖像數，可以根據外部環境的亮度調整檢測的圖案光的亮度值，可以高精度地檢測圖案光。

(第3實施方式)

[硬體結構]

作為本發明的第3實施方式，說明使通過同步檢波獲得的圖像重合相當於規定周期，生成重疊圖像的情況。如圖17所示，本發明的第3實施方式的自身位置計算裝置在沒有檢測狀態判斷單元28以及計算狀態判斷單元29這一點，與第1實施方式不同。其它的結構與第1實施方式相同，使用省略說明。

圖案光控制單元27開始投光亮度周期性地變化的圖案光32a。之後，圖案光控制單元27連續投光圖案光32a，直至自身位置計算裝置停止。或者，也可以根據需要投光圖案光32a。在本實施方式中，作為亮度變化的一例，控制對投光器11供給的電力，使得投光圖案的亮度變化為規定頻率的正弦波狀。

圖案光提取單元21從存儲器讀入由攝像機12獲取的圖像，進而，通過按照前述的規定頻率實施同步檢波處理，提取圖像中包含的圖案光32a。

接著，說明同步檢波處理。在將攝像機12中拍攝的圖像中包含的測量信號設為sin(ω0+α)時，除了投光圖案以外，在該測量信號中包含各種頻率成分的太陽光或人工光。因此，如果將頻率為調製頻率ωr的參照信號sin(ωr+β)乘以測量信號sin(ω0+α)，則其結果為cos(ω0－ωr+α－β)/2－cos(ω0+ωr+α+β)/2。

在將該測量信號通過低通濾波器時，ω0≠ωr的信號，即，頻率不是ωr的投光圖案以外的太陽光或人工光被除去。另一方面，ω0＝ωr的信號，即，頻率為ωr的投光圖案成為，cos(α－β)/2而可以提取。這樣，通過使用同步檢波處理，可以從包含各種頻率成分的測量信號中，得到僅提取了投光圖案的圖像。

即，在本實施方式中，圖案光控制單元27按照預先設定的規定的調製頻率ωr對圖案光32a進行亮度調製。因此，在路面上投光以頻率ωr進行了亮度調製的投光圖案。然後，姿態角計算單元22通過對攝像機12拍攝的圖像(測量信號)乘以調製頻率ωr，可以僅提取投光圖案。

圖18(a)表示由投光器11投光的圖案光32a的亮度變化的特性圖，圖18(b)是表示特徵點檢測標記的變化的特性圖。例如，圖18(a)所示，進行控制，使得亮度變化為正弦波狀。

這裡，說明圖案光32a的亮度的設定。在本實施方式中，設定該圖案光32a的最大亮度(圖18(a)所示的亮度B1上的峰值)，以便即使在接近日照量最多的夏至(6月)的晴天中也可以檢測圖案光32a。而且，設定圖案光的最小亮度(圖18(a)所示的亮度B1下的峰值)，使得即使在圖案光的影響最大的夜間，也可以以99％以上的概率不誤檢測投光圖案和路面的特徵點。

圖案光的亮度調製的頻率例如設為200[Hz]，將攝像機12的幀率(1秒間的拍攝數)設為2400[fps]。這是因為，在本實施方式中，在設想了車輛的最高速度72Km/h(≒20m/s)的情況中，為了將1周期中的移動量抑制為0.1m以下。這是因為，希望本實施方式的原理上被投光圖案光32a的區域、與檢測特徵點的區域儘可能接近，或者相同。而且，從同步檢波的原理上，在1周期之間的移動量變大，路面狀態變化時，投光圖案以外的太陽光或人工光變化，有同步檢波的前提被破壞的可能性，通過將1周期中的移動量抑制得小，可以避免這種情況。因此，使用更高速的攝像機，將該一定周期進一步縮短時，可以期待性能進一步提高。

特徵點檢測單元23判斷由投光器11投光的圖案光32a的亮度是否為預先設定的閾值亮度Bth以下。在大於閾值亮度Bth的情況下，圖案光提取單元21通過上述的同步檢波處理提取圖案光32a。例如，如圖19(a)，(c)所示，從在圖18(b)所示的時刻t1或者時刻t3(亮度B1大於閾值亮度Bth的時刻)拍攝的圖像，通過同步檢波處理提取圖案光32a。

另一方面，在為閾值亮度Bth以下的情況下，特徵點檢測單元23檢測路面31上存在的特徵點。具體地說，在圖案光32a的亮度B1如圖18(a)所示變化為正弦波狀的情況下，在亮度B1為閾值亮度Bth以下的時間段檢測特徵點。即，如圖18(b)所示，在亮度B1為閾值亮度Bth以下的時間段將特徵點檢測標記設為「1」，在該時間段檢測特徵點。例如，如圖19(b)所示，從在圖8所示的時刻t2(亮度B1為閾值亮度Bth以下的時刻)拍攝的圖像檢測特徵點。進而，姿態變化量計算單元24根據特徵點檢測單元23中檢測的特徵點在圖像上的位置，計算特徵點相對攝像機12的變化量。這時，檢測特徵點的區域設為與投光圖案光32a的區域全部或者一部分重合的區域。

在本實施方式中，在通過亮度判斷單元25判斷出圖案檢測狀態為規定的閾值以上的情況下，圖案光提取單元21使以規定的調製頻率對攝像機12拍攝的圖像進行了同步檢波的同步圖像重合相當於規定周期(合計亮度值)，生成重疊圖像。僅提取了投光圖案的圖像從參照信號1周期中拍攝的圖像被求出。在進行2周期以上的情況下，對於在各個周期中提取的圖像的各像素合計亮度值，使其重合。而且，在從重合的圖像提取亮點光的情況下，也可以將各像素的亮度值除以重合的圖像的張數，進行歸一化後，通過二值化處理提取。

接著，說明重疊的規定周期的設定方法的一個例子。首先，參照將由攝像機12獲取的圖像的亮度平均值個位四捨五入時的比Rap，將通過以下的式(7)求出的Fn的小數點第一位進位後的周期設為規定的周期的數。即，如果瀝青路面的亮度平均不足圖案光的亮度平均的50％，則設為1周期，如果為75％則設為2周期，如果為90％以上則設為5周期。

Fn＝max{(0.5÷(1－Rap))，10}···(7)

而且，在實際地將亮度平均值Ba從0至10級增大，求出各Rap的實驗中，也可以實際地進行基於同步檢波的提取，設定為圖案光的各亮點光的提取的成功率為95％以上的周期。

這裡，在車速過高而不能生成重疊圖像的情況下，將前次值或者初始值用作起點。例如，瀝青路面的亮度平均為圖案光的亮度平均的75％的情況下，同步檢波的周期需要2周期。而且，在將每同步檢波的1周期的圖像數設為4張時，如以下的式(8)那樣，在90km/h以上，將前次值或者初始值用作起點。

0.2[m]÷{(4[張]×2[周期])÷1000[fps]}

＝25[m/s]

＝90[km/h]···(8)

而且，在路面變化大，不能生成重疊圖像的情況下，將前次值或者初始值用作起點。在設定的同步檢波的周期中，判定車輛周圍的路面狀態是否變化了閾值以上，在成為所謂變化了的狀態的圖像數超過了5％的情況下，判定為所謂路面變化小的假定不成立，將前次值或者初始值用作起點。在使用同步檢波的情況下，可以使用利用行程傳感器進行判定的方法。

圖20(a)～圖20(d)表示第3實施方式的自身位置計算裝置的重置標記、各周期結束的定時、重疊的周期數、以及投光電力的變化。如圖20(b)所示，時刻t31、t32、t33是參照信號的投光結束了1周期的定時，如圖20(d)所示，投光電力周期性地變小，如圖20(a)所示，重置標記被設定為「1」。

在時刻t31、t33中，如圖20(c)所示，重疊的周期數被設定為1周期。圖案光提取單元21使時刻t31、t33以前的1周期的圖像重合，生成重疊圖像。

另一方面，在時刻t32中，如圖20(c)所示，重疊的周期數被設定為2周期。圖案光提取單元21使時刻t32以前的相當於2周期T1、T2的圖像重合，生成重疊圖像。

[信息處理循環]

接著，作為從攝像機12獲取的圖像38(參照圖5)估計車輛10的移動量的自身位置計算方法的一個例子，參照圖21所示的流程圖說明由ECU13反覆執行的信息處理循環。

圖21所示的信息處理循環在車輛10的點火開關成為導通狀態，自身位置計算裝置100起動的同時開始，直至該自身位置計算裝置100停止，被反覆執行。

首先，在圖21的步驟S31中，圖案光控制單元27控制投光器11，向車輛周圍的路面31投光圖案光。這時，如圖18(a)所示，圖案光控制單元27控制投光電力，使得圖案光的亮度B1變化為規定周期的正弦波狀。例如，將正弦波的頻率設為200[Hz]。其結果，亮度B1伴隨時間經過變化為正弦波狀的圖案光被投光在路面31上。

在步驟S32中，攝像機12拍攝包含投光圖案光的區域的路面31，獲取圖像。

在步驟S33中，ECU1判斷同步檢波的參照信號的投光是否完成了1周期。在判斷為同步檢波的參照信號的投光完成了1周期的情況下進至步驟S35，在判斷為未完成的情況下進至步驟S34。

在步驟S34中，特徵點檢測單元23從圖像38檢測特徵點(例如，瀝青上存在的凹凸部位)，提取在前次的信息處理循環和本次的信息處理循環之間取得對應關係的特徵點，從特徵點在圖像上的位置(Ui，Vi)，更新距離以及姿態角。

具體地說，在特徵點檢測標記為「1」時，特徵點檢測單元23從存儲器讀入由攝像機12獲取的圖像38，從圖像38檢測路面31上的特徵點，將各特徵點的圖像上的位置(Ui，Vi)存儲在存儲器中。姿態變化量計算單元24從存儲器讀入各特徵點在圖像上的位置(Ui，Vi)，從距離以及姿態角、特徵點在圖像上的位置(Ui，Vi)，計算特徵點相對攝像機12的相對位置(Xi，Yi，Zi)。姿態變化量計算單元24將特徵點相對攝像機12的相對位置(Xi，Yi，Zi)存儲在存儲器中。

然後，姿態變化量計算單元24從存儲器讀入特徵點在圖像上的位置(Ui，Vi)、和在前次的信息處理循環的步驟S31中算出的特徵點的相對位置(Xi，Yi，Zi)。姿態變化量計算單元24使用在本次的信息處理循環和本次的信息處理循環之間取得對應關係的特徵點的相對位置(Xi，Yi，Zi)以及圖像上的位置(Ui，Vi)，計算距離以及姿態角的變化量。姿態變化量計算單元24通過對在前次的信息處理循環中求出的距離以及姿態角加上上述的距離以及姿態角的變化量，更新距離以及姿態角。然後，將更新後的距離以及姿態角存儲在存儲器中。即，通過對前次的循環的步驟S34或者步驟S37(後述)的處理中設定的距離以及姿態角，將本次的信息處理循環的每一個的距離以及姿態角的變化量進行積分運算，執行更新距離以及姿態角的處理。之後，進至步驟S38。

另一方面，在步驟S35中，圖案光提取單元21從攝像機12獲取的圖像的亮度平均，設定圖案光提取所需要的同步檢波的頻率。

在步驟S36中，圖案光提取單元21從通過同步檢波以當前的參照信號的周期獲取的圖像群中提取圖案光。

在步驟S37中，圖案光提取單元21使在過去的周期中使用同步檢波提取的圖案光的圖像，追溯步驟S35中設定的周期數進行重合，生成重疊圖像。圖案光提取單元21進而從生成的重疊圖像提取圖案光的位置。姿態角計算單元22根據該圖案光的位置計算距離以及姿態角。

在步驟S38中，ECU13選擇積分運算的起點。在該處理中，在最初的信息處理循環中，選擇由圖案光算出的距離以及姿態角進行設定。進而，在預先設定的條件成立的情況下，例如，在特徵點檢測單元23中的特徵點的檢測狀態降低，對特徵點在標記成為「1」的定時不能檢測多個特徵點的情況下，移動量計算的起點重置為通過圖案光計算的距離以及姿態角，即在步驟S37的處理中算出的距離以及姿態角。另一方面，在特徵點檢測單元23中正常地檢測特徵點的情況下，根據該特徵點的位置更新距離以及姿態角。

即，在通過特徵點檢測單元23，特徵點不被正常地檢測的情況下，不能高精度地設定攝像機12的距離以及姿態角，如果採用該精度低的距離以及姿態角計算車輛的移動量，則不能高精度地檢測車輛的移動量。因此，在這樣的情況下，將移動量計算的起點重置為從圖案光的位置求出的距離以及姿態角。這樣，防止在距離以及姿態角中產生大幅度的誤差。

接著，在步驟S39中，自身位置計算單元26從步驟S34或者S37的處理中求出的距離以及姿態角、積分運算的起點，以及特徵點在圖像上的位置(Ui，Vi)的變化量，計算攝像機12相對路面31的移動量(ΔL)，即車輛10的移動量。

這樣，在第3實施方式的自身位置計算裝置中，通過反覆執行上述的一連串的信息處理循環，計算車輛10的移動量，可以計算車輛10的位置。

[第3實施方式的效果]

如以上說明的那樣，按照第3實施方式，亮度判斷單元25判斷圖案光的檢測狀態，在圖案光的檢測狀態為閾值以上的情況下，通過圖案光提取單元21使幀間的圖像重合相當於規定的周期，生成重疊圖像，即使在外部環境明亮的情況下，也可以高精度地檢測對路面投光的圖案光，可以高精度地計算車輛的自身位置。

而且，通過根據由攝像機12獲取的圖像的平均亮度等的圖案檢測狀態，設定圖案光提取單元21為了生成重疊圖像所需要的周期數，可以根據外部環境的亮度，調整進行檢測的圖案光的亮度值，可以高精度地檢測圖案光。

(其它的實施方式)

如上述那樣記載了本發明的第1～第3實施方式，但是成為本公開的一部分的論述以及附圖不應被理解為限定本發明。對於本領域的技術人員來說，應該可以從本公開明白各種代替實施方式、實施例以及運用技術。

在本發明的第1～第3實施方式中，主要說明了從過去在現在中使由攝像機12獲取的圖像重合，生成重疊圖像的情況，但是也可以將包含一張以上由攝像機12在將來獲取的圖像而使其重合，生成重疊圖像。作為包含將來獲取的圖像的情況，例如，設想圖案光不始終點亮，而是間歇地點亮的情況等。在該情況下，圖案光提取單元21在獲取了圖案光提取所需要的張數的時刻，生成重疊圖像。直至獲取圖案光提取所需要的張數為止的期間(重疊圖像生成中)，自身位置計算單元也可以將前次值或者初始值作為起點，開始積分運算。

而且，在圖2中，示出了將攝像機12和投光器11安裝在車輛10的前面的例子，但是也可以朝向車輛10的側方、後方、正下方設置。而且，在本實施方式中，作為車輛10的一例，在圖2中示出了四輪的乘用汽車，但也可以適用於摩託車、貨車、或者例如搬運建築機械的特殊車輛等，能夠拍攝道路的路面或者牆面上的特徵點的全部移動體(車輛)。

標號說明

1 ECU

10 車輛

11 投光器

12 攝像機(攝像單元)

21 圖案光提取單元(重疊圖像生成單元)

22 姿態角計算單元

23 特徵點檢測單元

24 姿態變化量計算單元

25 亮度判斷單元(圖案光檢測狀態判斷單元)

26 自身位置計算單元

28 檢測狀態判斷單元

29 計算狀態判斷單元

30 路面狀態判定單元

31 路面

32a，32b 圖案光

36 平面計算單元

Te 特徵點