操縱支援裝置的製作方法

2024-01-21 08:02:15 3

專利名稱：操縱支援裝置的製作方法
技術領域：
本發明涉及操縱支援裝置，尤其涉及設置在機動車那樣的移動體上來檢測周邊的障礙物的操縱支援裝置。
背景技術：
例如，在專利文獻1中公開此種裝置的一例。根據該背景技術，投光裝置朝向車輛後方的路面以彼此不同的多個投射角度投射點光束。通過攝像頭捕捉包含投射的點光束的亮點的車輛後方的影像。控制單元從由攝像頭捕捉的影像檢測亮點，基於檢測結果而算出車輛後方的路面狀況。控制單元還參照算出的路面狀況來確定車輛的通過存在問題的範圍，將表示確定的範圍的圖像顯示在顯示器上。專利文獻1 日本特開2002-36987號公報然而，根據背景技術，為了算出路面狀況，需要連續地變更點光束的投射角度。換言之，為了基於這樣投射的點光束算出路面狀況，需要複雜的處理。

發明內容
本發明的操縱支援裝置具備發射機構其設置於移動體上且向斜下方發射光線；攝像機構，其設置於移動體上，具有與發射機構的發射方向對應的視野；判別機構，其基於攝像機構的輸出，判別由發射機構發射出的光線的反射位置的變化量是否超過基準; 變更機構，其在判別機構的判別結果從否定的結果更新為肯定的結果時，變更發射機構的發射方向；檢測機構，其基於與變更機構的變更處理並行的攝像機構的輸出，來檢測由發射機構發射出的光線的反射位置的變化的方式；以及報告機構，其向移動體的操縱者輸出根據檢測機構的檢測結果而不同的報告。優選發射機構發射沿攝像機構的視野的左右方向延伸的線狀的光線，變更機構向上方變更發射方向。優選檢測機構包括第一報告機構，其在檢測機構的檢測結果表示反射的光線消失時以第一方式輸出報告；第二報告機構，其在檢測機構的檢測結果表示檢測出反射的光線的至少一部分時以第二方式輸出報告。優選操縱支援裝置還具備基於攝像機構的輸出而製成鳥瞰像的製成機構，判別機構及檢測機構分別參照通過製成機構製成的鳥瞰像來執行判別處理及檢測處理。優選攝像機構包括在移動體的周邊設置的多個攝像頭，發射機構包括分別分配給多個攝像頭的多個雷射照射器，操縱支援裝置還具備反覆更新為了判別機構的判別處理而關注的攝像頭以及雷射照射器的更新機構。優選操縱支援裝置還具備設定機構，該設定機構將所述更新機構的更新方式設定為根據所述移動體的移動速度及所述移動體的移動方向中至少一方而不同的方式。優選操縱支援裝置還具備調整機構，其參照移動體的移動速度及移動體的移動方向的至少一方，調整攝像機構的攝像方向及發射機構的發射方向，變更機構以通過調整機構調整的發射方向作為基準，執行發射方向變更處理。本發明的操縱支援程序產品由操縱支援裝置的處理器執行，操縱支援裝置具備設置在移動體且向斜下方發射光線的發射機構和設置於移動體且具有與發射機構的發射方向對應的視野的攝像機構，所述操縱支援程序產品包括基於攝像機構的輸出，判別由發射機構發射出的光線的反射位置的變化量是否超過基準的判別步驟；在判別步驟的判別結果從否定的結果更新為肯定的結果時，變更發射機構的發射方向的變更步驟；基於與變更步驟的變更處理並行的攝像機構的輸出，檢測由發射機構發射出的光線的反射位置的變化的方式的檢測步驟；以及向移動體的操縱者輸出根據檢測步驟的檢測結果而不同的報告的報告步驟。本發明的操縱支援方法由操縱支援裝置執行，操縱支援裝置具備設置在移動體且向斜下方發射光線的發射機構和設置於移動體且具有與發射機構的發射方向對應的視野的攝像機構，所述操縱支援方法包括基於攝像機構的輸出，判別由發射機構發射出的光線的反射位置的變化量是否超過基準的判別步驟；在判別步驟的判別結果從否定的結果更新為肯定的結果時，變更發射機構的發射方向的變更步驟；基於與變更步驟的變更處理並行的攝像機構的輸出，檢測由發射機構發射出的光線的反射位置的變化的方式的檢測步驟； 以及向移動體的操縱者輸出根據檢測步驟的檢測結果而不同的報告的報告步驟。本發明的上述的目的、其它目的、特徵及優點根據參照附圖進行的以下的實施例的詳細說明會變得更加清楚。


圖1是表示本發明的一實施例的構成的框圖。圖2(A)是表示觀察機動車的正面的狀態的圖解圖，(B)是表示觀察機動車的右側面的狀態的圖解圖，(C)是表示觀察機動車的背面的狀態的圖解圖，(D)是表示觀察機動車的左側面的狀態的圖解圖。圖3是表示由安裝在機動車上的多個雷射照射器照射的雷射的亮線及由安裝在機動車上的多個攝像頭捕捉的視野的一例的圖解圖。圖4(A)是表示基於前攝像頭的輸出的鳥瞰像的一例的圖解圖，(B)是表示基於右攝像頭的輸出的鳥瞰像的一例的圖解圖，(C)是表示基於左攝像頭的輸出的鳥瞰像的一例的圖解圖，(D)是表示基於後攝像頭的輸出的鳥瞰像的一例的圖解圖。圖5是表示基於圖4(A) 圖4(D)所示的鳥瞰像的全周鳥瞰像的一例的圖解圖。圖6是表示通過顯示裝置顯示的操縱支援圖像的一例的圖解圖。圖7是表示安裝在車輛上的攝像頭的角度的圖解圖。圖8是表示攝像頭坐標系、攝像面的坐標系、世界坐標系的關係的圖解圖。圖9(A)是表示從側面觀察朝向障礙物後退的機動車的狀態的一例的圖解圖，(B) 是表示從上面觀察朝向障礙物後退的機動車的狀態的一例的圖解圖。圖10(A)是表示從側面觀察朝向障礙物後退的機動車的狀態的另一例的圖解圖， (B)是表示從上面觀察朝向障礙物後退的機動車的狀態的另一例的圖解圖。圖11㈧是表示從側面觀察朝向障礙物後退的機動車的狀態的又一例的圖解圖，(B)是表示從上面觀察朝向障礙物後退的機動車的狀態的又一例的圖解圖。圖12(A)是表示從側面觀察朝向另一障礙物後退的機動車的狀態的一例的圖解圖，(B)是表示從上面觀察朝向另一障礙物後退的機動車的狀態的一例的圖解圖。圖13(A)是表示從側面觀察朝向另一障礙物後退的機動車的狀態的另一例的圖解圖，(B)是表示從上面觀察朝向另一障礙物後退的機動車的狀態的另一例的圖解圖。圖14(A)是表示從側面觀察朝向另一障礙物後退的機動車的狀態的又一例的圖解圖，(B)是表示從上面觀察朝向另一障礙物後退的機動車的狀態的又一例的圖解圖。圖15是表示適用於圖1實施例的CPU的動作的一部分的流程圖。圖16是表示適用於圖1實施例的CPU的動作的另一部分的流程圖。圖17是表示適用於圖1實施例的CPU的動作的又一部分的流程圖。圖18是表示另一實施例的構成的框圖。圖19是表示適用於圖18實施例的CPU的動作的一部分的流程圖。圖20是表示適用於圖18實施例的CPU的動作的另一部分的流程圖。圖21是表示適用於圖18實施例的CPU的動作的又一部分的流程圖。圖22是表示適用於圖18實施例的CPU的動作的再一部分的流程圖。
具體實施例方式圖1所示的本實施例的操縱支援裝置10包括四個雷射照射器L_1 L_4和四個攝像頭C_1 C_4。雷射照射器L_1 L_4分別產生具有屬於近紅外區域的波長且沿水平方向線狀地延伸的雷射。另外，攝像頭C_1 C_4分別響應共用的垂直同步信號Vsync而每隔1/30秒輸出拍攝景像P_1 P_4。輸出的拍攝景像P_1 P_4由圖像處理電路12取入。參照圖2㈧ 圖2(D)，操縱支援裝置10搭載於在地面行駛的機動車100上。具體而言，雷射照射器L_1以朝向機動車100的前斜下方的姿態設置在機動車100的前部的寬度方向中央且高度方向下側。攝像頭c_l以朝向機動車100的前斜下方的姿態設置在機動車100的前部的大致中央。雷射照射器L_2以朝向機動車100的右斜下方的姿態設置在機動車100的右側的大致中央。攝像頭C_2以朝向機動車100的右斜下方的姿態設置在機動車100的右側的寬度方向大致中央且高度方向上側。雷射照射器L_3以朝向機動車100的後斜下方的姿態設置在機動車100的後部的大致中央。攝像頭C_3以朝向機動車100的後斜下方的姿態設置在機動車100的後部的寬度方向大致中央且高度方向上側。雷射照射器L_4以朝向機動車100的左斜下方的姿態設置在機動車100的左側的大致中央。攝像頭C_4以朝向機動車100的左斜下方的姿態設置在機動車100的左側的寬度方向大致中央且高度方向上側。圖3中表示俯視機動車100和不存在障礙物的機動車100的周邊的地面的狀態。 根據圖3，從雷射照射器L_1發射出的雷射在機動車100的前方的地面上描繪沿左右延伸的亮線G_l。從雷射照射器L_2發射出的雷射在機動車100的右側的地面上描繪沿前後延伸的亮線G_2。從雷射照射器L_3發射出的雷射在機動車100的後方的地面上描繪沿左右延伸的亮線G_3。從雷射照射器L_4發射出的雷射在機動車100的左側的地面上描繪沿前後延伸的亮線G_4。攝像頭C_1具有捕捉機動車100的前方的視野VW_1，攝像頭C_2具有捕捉機動車 100的右方的視野VW_2，攝像頭C_3具有捕捉機動車100的後方的視野VW_3，並且攝像頭 C_4具有捕捉機動車100的左方的視野VW_4。另外，視野VW_1與VW_2具有共同視野VW_12， 視野VW_2與VW_3具有共同視野VW_23，視野VW_3與VW_4具有共同視野VW_34，並且，視野 Vff_4與VW_1具有共同視野VW_41。S卩，在機動車100的周圍不存在障礙物的狀態下，亮線G_1 G_4都直線狀延伸， 並且亮線G_1 G_4被攝像頭C_1 C_4分別捕捉。返回圖1，在圖像處理電路12中設置的CPU12p基於從攝像頭C_1輸出的拍攝景像 P_l，生成圖4 (A)所示的鳥瞰像BEV_1，基於從攝像頭C_2輸出的拍攝景像P_2，生成圖 4(B)所示的鳥瞰像BEV_2。CPU12p還基於從攝像頭(_3輸出的拍攝景像？_3，生成圖 4(C)所示的鳥瞰像BEV_3，基於從攝像頭C_4輸出的拍攝景像？_4，生成圖4(D)所示的鳥瞰像BEV_4。鳥瞰像BEV_1相當於由沿鉛垂方向俯視視野VW_1的虛擬攝像頭捕捉的圖像， 鳥瞰像BEV_2相當於由沿鉛垂方向俯視視野VW_2的虛擬攝像頭捕捉的圖像。另外，鳥瞰像BEV_3相當於由沿鉛垂方向俯視視野VW_3的虛擬攝像頭捕捉的圖像，鳥瞰像 BEV_4相當於由沿鉛垂方向俯視視野VW_4的虛擬攝像頭捕捉的圖像。根據圖4㈧ 圖4(D)，鳥瞰像BEV_1具有鳥瞰圖坐標系Xl ·Υ1，鳥瞰像 BEV_2具有鳥瞰圖坐標系X2 · Y2，鳥瞰像BEV_3具有鳥瞰圖坐標系X3 · Y3，並且，鳥瞰像BEV_4具有鳥瞰圖坐標系X4 ·Υ4。這樣的鳥瞰像BEV_1 BEV_4保持於存儲器 12m的工作區域Wl。CPU12p接著通過坐標轉換將鳥瞰像BEV_1 BEV_4互相結合。鳥瞰像 BEV_2 BEV_4以鳥瞰像BEV_1為基準進行旋轉及/或移動，其結果是，在存儲器I^ii 的工作區域W2內得到圖5所示的全周鳥瞰像。在圖5中，重複區域0L_12相當於再現共同視野VW_12的區域，重複區域0L_23相當於再現共同視野VW_23的區域。另外，重複區域0L_34相當於再現共同視野VW_34的區域，並且，重複區域0L_41相當於再現共同視野VW_41的區域。設置在機動車100的駕駛員座的顯示裝置16從工作區域W2上的全周鳥瞰像抽出重複區域0L_12 0L_41位於四角的一部分的圖像D1，將模仿機動車100上部的車輛圖像D2粘貼在抽出的圖像Dl的中央。其結果是，在監視畫面上顯示圖6所示的操縱支援圖像。接著，說明鳥瞰像BEV_1 BEV_4的製成要領。其中，鳥瞰像BEV_1 BEV_4都利用相同的要領製成，以鳥瞰像BEV_1 BEV_4為代表，說明鳥瞰像BEV3 的製成要領。參照圖7，攝像頭C_3在機動車100的後部朝向後斜下方配置。當攝像頭C_3的俯角為「 θ d」時，圖7所示的角度相當於「180° - θ d」。另外，角度θ被在90° < θ <180° 的範圍內定義。圖8表示攝像頭坐標系X · Y · Ζ、攝像頭C_3的攝像面S的坐標系Xp · Yp、世界坐標系Xw · Yw · Zw的關係。攝像頭坐標系X · Y · Z是以X軸、Y軸及Z軸為坐標軸的三維坐標系。坐標系Xp · Yp是以Xp軸及Yp軸為坐標軸的二維坐標系。世界坐標系Xw · Yw · Zw 是以Xw軸、Yw軸及Zw軸為坐標軸的三維坐標系。在攝像頭坐標系X ·Υ ·Ζ中，以攝像頭C3的光學的中心為原點0，將Z軸定義為光軸方向，將X軸定義為與Z軸正交且平行於地面的方向，並且，將Y軸定義為與Z軸及X軸正交的方向。在攝像面S的坐標系Xp -Yp中，以攝像面S的中心為原點，將Xp軸定義為攝像面S的橫向，將Yp軸定義為攝像面S的縱向。在世界坐標系Xw · Yw · Zw中，將通過攝像頭坐標系XYZ的原點0的鉛垂線與地面的交點作為原點0w，將Yw軸定義為與地面垂直的方向，將Xw軸定義為與攝像頭坐標系 X · Y · Z的X軸平行的方向，並且，將Zw軸定義為與Xw軸及Yw軸正交的方向。另外，從Xw 軸到X軸的距離為「h」，由Zw軸及Z軸形成的鈍角相當於上述的角度θ。在將攝像頭坐標系Χ· Y· Z中的坐標記作(x, y, ζ)時，「χ」、「y」及「ζ」分別表示攝像頭坐標系X ·Υ ·Ζ中的X軸分量、Y軸分量及Z軸分量。在將攝像面S的坐標系Xp -Yp 中的坐標記作(xp, yp)時，「χρ」及「yp」分別表示攝像面S的坐標系Χρ·Υρ中的Xp軸分量及Yp軸分量。在將世界坐標系XwYwZw中的坐標記作(xw，yw，zw)時，「題」、「—」及 "zw"分別表示世界坐標系Xw · Yw · Zw中的Xw軸分量、Yw軸分量及Zw軸分量。攝像頭坐標系X · Y · Z的坐標(X，y，ζ)與世界坐標系Xw · Yw · Zw的坐標(xw，yw, zw)之間的轉換式由式1表示。[式1]
權利要求
1.一種操縱支援裝置，其為根據本發明的操縱支援裝置，其具備 發射機構其設置於移動體上且向斜下方發射光線；攝像機構，其設置於所述移動體上，具有與所述發射機構的發射方向對應的視野； 判別機構，其基於所述攝像機構的輸出，判別由所述發射機構發射出的光線的反射位置的變化量是否超過基準；變更機構，其在所述判別機構的判別結果從否定的結果更新為肯定的結果時變更所述發射機構的發射方向；檢測機構，其基於與所述變更機構的變更處理並行的所述攝像機構的輸出，來檢測由所述發射機構發射出的光線的反射位置的變化的方式；和報告機構，其向所述移動體的操縱者輸出與所述檢測機構的檢測結果對應而不同的報告O
2.根據權利要求1所述的操縱支援裝置，其中，所述發射機構發射沿所述攝像機構的視野的左右方向延伸的線狀的光線， 所述變更機構向上方變更所述發射方向。
3.根據權利要求1所述的操縱支援裝置，其中， 所述檢測機構包括第一報告機構，其在所述檢測機構的檢測結果表示反射的光線消失時，以第一方式輸出所述報告；和第二報告機構，其在所述檢測機構的檢測結果表示檢測出反射的光線的至少一部分時，以第二方式輸出所述報告。
4.根據權利要求1所述的操縱支援裝置，其中，還具備基於所述攝像機構的輸出而製成鳥瞰像的製成機構， 所述判別機構及所述檢測機構分別參照由所述製成機構製成的鳥瞰像來執行判別處理及檢測處理。
5.根據權利要求1所述的操縱支援裝置，其中，所述攝像機構包括在所述移動體的周邊設置的多個攝像頭， 所述發射機構包括分別分配給所述多個攝像頭的多個雷射照射器， 所述操縱支援裝置還具備更新機構，該更新機構反覆更新為了所述判別機構的判別處理而關注的攝像頭及雷射照射器。
6.根據權利要求1所述的操縱支援裝置，其中，還具備設定機構，該設定機構將所述更新機構的更新方式設定為與所述移動體的移動速度及所述移動體的移動方向中至少一方對應而不同的方式。
全文摘要
本發明涉及操縱支援裝置，其中，雷射照射器(L_N(N1～4))設置於機動車上且向斜下方發射雷射，攝像頭(C_N)分別設置於機動車並具有與雷射(L_N)的發射方向對應的視野(VW_N)，CPU基於攝像頭(C_N)的輸出判別由雷射照射器(L_N)發射出雷射的反射位置的變化量是否超過基準，在判別結果從否定的結果更新為肯定的結果時，通過CPU變更雷射照射器(L_N)的發射方向，基於與發射方向的變更處理並行的攝像頭(C_N)的輸出，通過CPU檢測由雷射照射器(L_N)發射出的雷射的反射位置的變化的方式，CPU向機動車的駕駛員輸出對應該檢測結果而不同的報告。
文檔編號H04N5/225GK102165503SQ20098013794
公開日2011年8月24日 申請日期2009年9月7日 優先權日2008年9月25日
發明者本鄉仁志 申請人:三洋電機株式會社