車載攝像頭位置變化量檢測裝置的製作方法

2023-07-15 20:11:01 2

專利名稱：車載攝像頭位置變化量檢測裝置的製作方法
技術領域：
本發明涉及一種利用車載攝像頭拍到的拍攝圖像來檢測該車載攝像頭位置變化
量的裝置。
背景技術：
作為檢測車載攝像頭位置變化量的方法之一，例如有人提出如下一種方法:為了修正因攝像頭搖動而產生的畫面的錯位，在車載攝像頭拍到的拍攝圖像中設定錯位檢測區域，檢測按照時間序列拍到的各拍攝圖像中的錯位檢測區域的亮度的重心位置，根據該重心位置的變化情況來計算因搖動而產生的攝像頭位置變化量(例如參照專利文獻I)。專利文獻1:日本發明專利公開公報特開平4-287579號由上述專利文獻I記載的方法可知，在檢測車載攝像頭位置變化量時，在車輛行駛時，尤其是受到車輛的縱搖(縱向搖動)的影響時，利用攝像頭按照時間序列拍到的各拍攝圖像中的錯位檢測區域內的拍攝對象會有不同。而且在此時，若各拍攝圖像中的錯位檢測區域的亮度的重心位置對應的是不同物體的拍攝部分，會出現無法精準地檢測出攝像頭位置變化量的問題。

發明內容
鑑於上述情況，本發明的目的在於提供如下一種車載攝像頭位置變化量檢測裝置:其能利用車載攝像頭拍到的拍攝圖像來精準地檢測出攝像頭位置變化量。為實現上述目的，本發明所述的車載攝像頭位置變化量檢測裝置具有:參照值求出部，對由車載攝像頭所拍到的拍攝圖像，將規定的測定用區域劃分為多個測定單位區域，並將各測定單位區域內的像素的灰度值或色飽和度值的總和或平均值作為各測定單位區域的參照值，其中，該測定單位區域是在與實際空間中的鉛垂方向相當的特定方向上，以規定像素數為寬度將車載攝像頭所拍到的拍攝圖像劃分而成的區域；攝像頭位置變化量求出部，由上述攝像頭所拍到的第I圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態為第I分布狀態，以及由上述攝像頭在不同於上述第I圖像的拍攝時刻時所拍到的第2圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態為第2分布狀態，所述攝像頭位置變化量求出部將該第I分布狀態或該第2分布狀態在上述特定方向上進行移動，而求出兩者的相關度，並且根據相關度最大時的移動量來求出從上述第I圖像的拍攝時刻到第2圖像的拍攝時刻的上述攝像頭位置變化量(技術方案I)。由技術方案I可知，對由上述攝像頭所拍到的拍攝圖像，能夠由上述參照值求出部求出上述測定用區域中，各上述測定單位區域的參照值。該參照值表示各測定單位區域的灰度或色飽和度的整體變化傾向，由於各測定單位區域是在特定方向上，以上述寬度將上述測定用區域劃分而得的，所以各參照值在上述特定方向上的分布狀態表示上述測定用區域中，在上述特定方向上的灰度或色飽和度的整體分布狀態。另外，對由不同時刻所拍到的上述第I圖像和上述第2圖像，根據上述第I圖像中的上述第I分布狀態以及上述第2圖像中的上述第2分布狀態，由上述攝像頭位置變化量求出部將上述第I分布狀態或上述第2分布狀態在上述特定方向上進行移動，求出兩者的相關度。還有，上述攝像頭位置變化量求出部根據相關度最大時兩者的移動量來求出上述攝像頭位置變化量。此時，上述第I分布狀態和上述第2分布狀態可以是表示上述測定用區域中整體的灰度或色飽和度的分布狀態。因此，上述攝像頭位置變化量求出部能夠通過降低由於上述攝像頭位置變化而產生的、在上述第I圖像和上述第2圖像中，因上述測定用區域中的拍攝對象的改變而帶來的影響，求出上述測定區域中的被拍攝物在上述特定方向上的移動量。另外，因上述特定方向相當於實際空間中的鉛垂方向，所以上述攝像頭位置變化量求出部能根據該移動量精準地求出上述攝像頭在鉛垂方向上的位置變化量。另外，在技術方案I的基礎上，上述攝像頭的拍攝範圍包括搭載有該攝像頭的車輛前方的道路，根據由上述攝像頭拍到的拍攝圖像中道路的圖像部分的位置來設定上述測定用區域(技術方案2)。由技術方案2可知，通過設定上述測定用區域，能提高由上述攝像頭位置變化量求出部所求出的上述攝像頭位置變化量精度，其中，所述測定用區域包括灰度或色飽和度的分布狀態平穩的道路的圖像部分。另外，在技術方案2的基礎上，還具有測定用區域變更部，其根據由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置，或道路周圍的所在物的位置來變更上述測定用區域(技術方案3)。由技術方案3可知，由上述測定用區域變更部根據由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置，或道路周圍的所在物的位置來變更上述測定用區域，變更結果為或加大上述測定用區域內的道路的圖像部分所佔的比例，或去除其他車輛的圖像部分。這樣通過變更上述測定用區域，可以防止因道路的圖像部分以外的圖像部分的影響而減少由上述攝像頭位置變化量求出部求出的上述攝像頭位置變化量精度的情況出現。


圖1是用於說明攝像頭和車輛行駛輔助裝置安裝在車輛上的方式的圖。圖2是表示車輛行駛輔助裝置的構成的圖。圖3是由車輛行駛輔助裝置求出垂直灰度矢量的處理流程圖。圖4是用於說明垂直灰度矢量的圖。圖5是用於說明根據時序圖像中的垂直灰度矢量的相關度來求出攝像頭位置變化量的圖。圖6是用於說明變更測定用區域的例子的圖。
具體實施例方式下面，參照圖1 圖5說明本發明的實施方式。參照圖1可知，在本實施方式中，由本發明的車載攝像頭位置變化量檢測裝置構成車輛行駛輔助裝置10的一部分，該車輛行駛輔助裝置10搭載在車輛I (自己車輛)上。在車輛I上搭載有攝像頭20 (車載攝像頭)和車輛行駛輔助裝置10。
攝像頭20安裝在車內，能透過前擋風玻璃來拍攝車輛I的前方，實際空間中的坐標系是這樣定義的:以攝像頭20的安裝部位原點，以車輛I左右方向(車寬方向)為X軸、上下方向(鉛垂方向)為Y軸、前後方向(行進方向)為Z軸。參照圖2可知，車輛I除了車輛行駛輔助裝置10以外，還具有速度傳感器21、加速度傳感器22、橫向角速度傳感器23、轉向裝置30和制動裝置31。由速度傳感器21來輸出車輛I的速度檢測信號，由加速度傳感器22來輸出車輛I的加速度檢測信號，由橫向角速度傳感器23來輸出車輛I的橫向角速度檢測信號。車輛行駛輔助裝置10是由CPU、存儲器等構成的電子單元，來自攝像頭20的影像信號和各傳感器21、22、23的檢測信號輸入其中。由車輛行駛輔助裝置10來檢測出攝像頭20因車輛I在上下方向上的搖動而在Y軸方向上的位置變化量，並由車輛行駛輔助裝置10修正(差值修正)由攝像頭20拍到的拍攝圖像的錯位，用於檢測該位置變化量的裝置相當於本發明的車載攝像頭位置變化量檢測裝置。車輛行駛輔助裝置10中，用於對差值進行修正的、測定用區域變更部11、參照值求出部12、攝像頭位置變化量求出部13和差值修正部14的功能，通過使CPU中運行存儲在存儲器中的車輛行駛輔助用控制程序來實現。由車輛行駛輔助裝置10對由攝像頭20拍到的拍攝圖像進行差值修正，再從經過差值修正之後的拍攝圖像中檢測出設在道路上的行車道標記以感知車輛I的行車道位置。車輛I上還搭載有轉向裝置30和制動裝置31，由車輛行駛輔助裝置10來控制轉向裝置30和制動裝置31之一或兩者的工作狀況時，就能進行駛輔助控制而不會使車輛I偏離行車道。下面根據圖3所示的流程來說明由參照值求出部12完成的處理。在STEP(步驟、下同)10中，由攝像頭20拍到的圖像(彩色圖像)輸入車輛行駛輔助裝置10，此時在STEP20中，對由攝像頭20輸出的像素進行圖像重組處理(demosaicing)(亦稱逆馬賽克變換處理)以求出各像素的RGB顏色數據。還有，由於本實施方式中的攝像頭20採用拜耳(Bayer)排列的單片感光元件，因此在STEP20中進行了圖像重組處理，如果使用三片獨立型RGB感光元件，則無需進行圖像重組處理。STEP30 STEP50是由參照值求出部12進行的處理。如圖4所示，由攝像頭20拍到的圖像是垂直坐標(y坐標)為O N(像素)、水平坐標(X坐標)為O M(像素)的(N+l) X (M+1)像素的圖像Im。另外，y軸方向相當於實際空間中的鉛垂方向，該實際空間中的鉛垂方向又相當於本發明中的特定方向。由參照值求出部12執行STEP30中的循環程序1，在STEP31中，將圖像Im的各坐
標(x、y) (x = 0、1、2.....M,y = 0、1、2.....N)的像素的R、G、B數據變換為灰度值，得到
各像素的灰度值I (x、y、t) (t為拍攝時刻)。還有，也可選擇各像素的R、G、B數據中的一個以得到各像素的灰度值。在接下來的STEP40的循環程序中，由參照值求出部12將圖像Im劃分為y坐標相同X坐標為O M的、具有IX (M+1)像素的N+1個測定單位區域。還有，測定單位區域在I軸方向上的寬度也可以不是I個像素(I條線)而是多個像素。接下來，由參照值求出部12按照下式(I)求出各測定單位區域的像素的灰度值的平均值，將其作為各測定單位區域的參照值re (y、t) (y = 0、1、2.....N, t為圖像Im的拍攝時刻)。[式I]
權利要求
1.一種車載攝像頭位置變化量檢測裝置，其特徵在於，具有: 參照值求出部，對由車載攝像頭所拍到的拍攝圖像，將規定的測定用區域劃分為多個測定單位區域，並將各測定單位區域內的像素的灰度值或色飽和度值的總和或平均值作為各測定單位區域的參照值，其中，所述測定單位區域是在與實際空間中的鉛垂方向相當的特定方向上，以規定像素數為寬度將車載攝像頭所拍到的拍攝圖像劃分而成的區域； 攝像頭位置變化量求出部，由上述攝像頭拍到的第I圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態為第I分布狀態，以及由上述攝像頭在不同於上述第I圖像的拍攝時刻時所拍到的第2圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態為第2分布狀態，所述攝像頭位置變化量求出部將該第I分布狀態或者該第2分布狀態在上述特定方向上進行移動，求出兩者的相關度，根據相關度最大時的移動量來求出從上述第I圖像的拍攝時刻到第2圖像的拍攝時刻的上述攝像頭位置變化量。
2.根據權利要求1所述的車載攝像頭位置變化量檢測裝置，其特徵在於， 上述攝像頭的拍攝範圍包括搭載有該攝像頭的車輛前方的道路， 根據由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置來設定上述測定用區域。
3.根據權利要求2所述的車載攝像頭位置變化量檢測裝置，其特徵在於， 還具有測定用區域變更部，其根據由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置，或道路周圍的所在物的位置來變更上述測定用區域。
全文摘要
本發明提供一種車載攝像頭位置變化量檢測裝置，具有參照值求出部(12)，對由車載攝像頭(20)所拍到的拍攝圖像，將測定用區域(Ea)劃為多個測定單位區域(D0～DN)，並將各測定單位區域內的像素的灰度值的平均值作為各測定單位區域的參照值re(0、t)、re(1、t)、...、re(N、1)，且設定表示各參照值在垂直方向上的分布狀態的垂直灰度矢量VEC(t)；攝像頭位置變化量求出部(13)，將t2時刻的拍攝圖像的垂直灰度矢量VEC(t2)在垂直方向(y方向)上移動以求出t1時刻的拍攝圖像的垂直灰度矢量VEC(t1)和該t2時刻的拍攝圖像的垂直灰度矢量VEC(t2)之間的相關度，根據相關度最大時的移動量求出t1～t2的攝像頭(20)的位置變化量。
文檔編號H04N5/225GK103109522SQ20118004400
公開日2013年5月15日 申請日期2011年11月9日 優先權日2010年11月16日
發明者森直樹 申請人:本田技研工業株式會社