物體檢測裝置以及信息取得裝置的製作方法

2023-08-08 04:46:31

專利名稱：物體檢測裝置以及信息取得裝置的製作方法
技術領域：
本發明涉及基於將光投射到目標區域時的反射光的狀態來檢測目標區域內的物體的物體檢測裝置以及優選在該物體檢測裝置中使用的信息取得裝置。
背景技術：
現有技術中，在各種領域都開發了使用光的物體檢測裝置。在所謂的使用了距離圖像傳感器的物體檢測裝置中，不僅能檢測二維平面上的平面的圖像，還能檢測檢測對象物體的縱深方向的形狀或運動。在該物體檢測裝置中，從雷射光源或LED (發光二極體)向目標區域投射預先確定的波長帶的光，並通過CMOS圖像傳感器等受光元件來接受其反射 光。距離圖像傳感器已知有各種類型。在將具有規定的點圖案的雷射照射到目標區域這一類型的距離圖像傳感器中，用圖像傳感器來接受從目標區域反射回的點圖案，並基於圖像傳感器上的點圖案的受光位置，使用三角測量法來檢測至檢測對象物體的各部為止的距離(例如非專利文獻I)。在這種方式中，例如，在距雷射的照射部規定距離的位置上配置有反射平面的狀態下，出射具有點圖案的雷射，並將此時照射到圖像傳感器上的雷射的點圖案作為模板進行保持。然後，將實測時照射到圖像傳感器上的雷射的點圖案與保持在模板中的點圖案進行比對，來檢測模板上的點圖案的片段區域移動到實測時的點圖案上的哪個位置。基於該移動量來算出至與各片段區域對應的目標區域的各部為止的距離。先行技術文獻非專利文獻非專利文獻I :第19次日本機器人學會學術演講會(2001年9月18-20日)預稿集，P1279-1280發明的概要發明要解決的課題在上述構成的物體檢測裝置中，在實測時，點圖案以外的光(例如室內照明或太陽光等)有可能會入射至圖像傳感器。在此情況下，在圖像傳感器的輸出中重疊有點圖案以外的光來作為背景光，因此無法正確進行與保持在模板中的點圖案之間的比對，會產生至檢測對象物的各部為止的距離的檢測精度劣化這樣的問題。

發明內容
本發明為了消除這樣的問題而提出，目的在於提供即使在背景光入射的情況下也能精度良好地取得目標區域的信息的信息取得裝置以及搭載該信息取得裝置的物體檢測
>J-U ρ α裝直。用於解決課題的手段本發明的第I形態涉及使用光來取得目標區域的信息的信息取得裝置。本形態所涉及的信息取得裝置具備投射光學系統，其以規定的點圖案向所述目標區域投射雷射；受光光學系統，其按照與所述投射光學系統離開規定的距離而排列的方式配置，具有對所述目標區域進行拍攝的攝像元件；校正部，其將在實際測量時由所述攝像元件對所述目標區域進行拍攝時的攝像圖像劃分為多個校正區域，通過所述校正區域內的各像素的像素值中的最小的像素值來校正該校正區域內的像素的像素值，從而生成校正圖像；以及信息取得部，其基於由所述校正部生成的校正圖像來取得存在於所述目標區域中的物體的三維信肩、O本發明的第2形態涉及物體檢測裝置。本形態所涉及的物體檢測裝置具有上述第I形態所涉及的信息取得裝置。發明效果根據本發明，能提供即使在入射了背景光的情況下也能精度良好地取得目標區域的信息的信息取得裝置以及搭載該信息取得裝置的物體檢測裝置。本發明的效果乃至意義通過以下所示的實施方式的說明而變得更加明確。但以下 所示的實施方式終歸只是實施本發明時的一個例示而異，本發明並不局限於以下的實施方式。


圖I是表示實施方式所涉及的物體檢測裝置的構成的圖。圖2是表示實施方式所涉及的信息取得裝置和信息處理裝置的構成的圖。圖3是表示實施方式所涉及的雷射對目標區域的照射狀態和圖像傳感器上的雷射的受光狀態的圖。圖4是說明實施方式所涉及的基準模板的設定方法的圖。圖5是說明實施方式所涉及的距離檢測方法的圖。圖6是表示入射了實施方式所涉及的背景光時的攝像圖像以及匹配結果的圖。圖7是表示實施方式所涉及的攝像圖像的校正處理的流程圖。圖8是表示實施方式所涉及的攝像圖像的校正處理的圖。圖9是表示變更例所涉及的校正區域的分割例的圖。圖10是表示實施方式所涉及的攝像圖像的校正後的圖像以及匹配結果的圖。
具體實施例方式下面，參照附圖來說明本發明的實施方式。在本實施方式中，例示了將具有規定的點圖案的雷射照射到目標區域這一類型的信息取得裝置。首先，在圖I中示出了本實施方式所涉及的物體檢測裝置的概略構成。如圖所示，物體檢測裝置具備信息取得裝置I和信息處理裝置2。通過來自信息處理裝置2的信號來控制電視機3。信息取得裝置I將紅外光投射到目標區域整體，用CMOS圖像傳感器來接受其反射光，由此取得位於目標區域的物體各部的距離(下面稱作「三維距離信息」)。將取得的三維距離信息經由線纜4發往信息處理裝置2。信息處理裝置2例如是電視機控制用的控制器或遊戲機、個人計算機等。信息處理裝置2基於從信息取得裝置I接收到的三維距離信息來檢測目標區域中的物體，並基於檢測結果來控制電視機3。例如，信息處理裝置2基於接收到的三維距離信息來檢測人，並根據三維距離信息的變化來檢測此人的運動。例如，在信息處理裝置2是電視機控制用的控制器的情況下，在信息處理裝置2中安裝有如下應用程式根據接收到的三維距離信息來檢測此人的手勢，並按照手勢來對電視機3輸出控制信號。在此情況下，用戶能通過一邊看著電視機3 —邊作出規定的手勢，來使電視機3執行頻道切換、音量的增大/減小等規定的功能。另外，例如在信息處理裝置2是遊戲機的情況下，在信息處理裝置2中安裝有如下應用程式根據接收到的三維距離信息來檢測此人的運動，並按照檢測到的運動來使電視機畫面上的角色動作，由此來使遊戲的對戰狀況變化。在此情況下，用戶能通過一邊看著電視機3 —邊進行規定的運動，來體驗將自身作為電視機畫面上的角色進行遊戲對戰的臨場感。圖2是表示信息取得裝置I和信息處理裝置2的構成的圖。信息取得裝置I具備投射光學系統11和受光光學系統12來作為光學系統。投射光學系統11和受光光學系統12按照在X軸方向上並排的方式被配置於信息取得裝置I中。投射光學系統11具備雷射光源111、準直透鏡112、光圈113、以及衍射光學元件(DOE Diffractive Optical Element) 1140另外，受光光學系統12具備濾光器121、光圈122、以及CMOS圖像傳感器124。此外，信息取得裝置I具備CPU(中央處理單元)21、雷射驅動電路22、攝像信號處理電路23、輸入輸出電路24和存儲器25來作為電路部的構成。雷射光源111輸出波長830nm程度的窄波長帶的雷射。準直透鏡112將從雷射光源111出射的雷射變換成僅比平行光稍微擴散的光(下面僅稱作「平行光」)。光圈113將雷射的光束截面調整為規定的形狀。DOEl 14在入射面具有衍射圖案。通過該衍射圖案的衍射效應，入射到D0E114的雷射被變換為點圖案的雷射，並被照射到目標區域。衍射圖案例如構造為以規定的圖案來形成臺階型的衍射全息圖。衍射全息圖按照將通過準直透鏡112而成為平行光的雷射變換為點圖案的雷射的方式，來調整圖案和間距。DOEl 14使從準直透鏡112入射的雷射成為輻射狀地擴散的大致3萬個點圖案的雷射來照射到目標區域。點圖案的各點的大小與入射到DOEl 14時的雷射的光束尺寸相應。未被DOEl 14衍射的雷射(O次光)透過DOEl 14而直接直線前進。從目標區域反射回的雷射經由濾光器121和光圈122入射到攝像透鏡123。濾光器121是使包含雷射光源111的出射波長(830nm程度)的波長帶的光透過、並使可見光的波長帶截止的帶通濾光器。濾光器121不是由僅使830nm附近的波長帶透過的窄帶的濾光器構成，而是由能使包含830nm在內的較寬的波長帶的光透過的廉價的濾光器構成。按照光圈122與攝像透鏡123的F數一致的方式，對來自外部的光施加光圈限制。攝像透鏡123將經由光圈122而入射的光會聚到CMOS圖像傳感器124上。CMOS圖像傳感器124接受會聚在攝像透鏡123上的光，並按每個像素將與受光量相應的信號(電荷)輸出到攝像信號處理電路23。在此，CMOS圖像傳感器124按照能從各像素中的受光起以高響應將其像素的信號(電荷)輸出到攝像信號處理電路23的方式來使信號的輸出速度高速化。CMOS圖像傳感器124的解析度與VGA (Video Graphics Array,視頻圖形陣列)對應，有效像素數為680X480像素。CPU21依照容納於存儲器25中的控制程序來控制各部。通過相應的控制程序，對CPU21賦予了用於控制雷射光源111的雷射控制部21a、從由攝像信號處理電路23得到的攝像圖像中去除背景光的攝像圖像校正部21b、以及用於生成三維距離信息的距離運算部21c的功能。雷射驅動電路22依照來自CPU21的控制信號來驅動雷射光源111。攝像信號處理電路23對CMOS圖像傳感器124進行控制，來按每條線依次取入在CMOS圖像傳感器124中所生成的各像素的信號(電荷)。 然後，將取入的信號依次輸出給CPU21。CPU21以從攝像信號處理電路23提供的信號(攝像信號)為基礎，通過由攝像圖像校正部21b執行的處理來生成去除了背景光後的校正圖像。之後，以校正圖像為基礎，通過由距離運算部21c執行的處理來算出從信息取得裝置I起到檢測對象物的各部為止的距離。輸入輸出電路24控制與信息處理裝置2之間的數據通信。信息處理裝置2具備CPU31、輸入輸出電路32、存儲器33。另外，信息處理裝置2除了圖2所示的構成以外，還配有用於與電視機3進行通信的構成、用於讀取容納在CD-ROM等外部存儲器中的信息並安裝到存儲器33中的驅動器裝置等，為了方便，省略了這些周邊電路的構成的圖示。CPU31依照容納於存儲器33中的控制程序(應用程式)來對各部進行控制。通過相應的控制程序，對CPU31賦予了用於檢測圖像中的物體的物體檢測部31a的功能。相應的控制程序例如通過未圖示的驅動裝置從CD-ROM讀取並安裝在存儲器33中。例如，在控制程序是遊戲程序的情況下，物體檢測部31a根據從信息取得裝置I提供的三維距離信息來檢測圖像中的人及其運動。然後，通過控制程序來執行用於依照所檢測出的運動來使電視機畫面上的角色動作的處理。另外，在控制程序是用於控制電視機3的功能的程序的情況下，物體檢測部31a根據從信息取得裝置I提供的三維距離信息來檢測圖像中的人及其運動(手勢)。然後，通過控制程序來執行用於根據檢測出的運動(手勢)來控制電視機3的功能(頻道切換、音量調整等)的處理。輸入輸出電路32控制與信息取得裝置I之間的數據通信。圖3(a)是示意性地表示雷射對目標區域的照射狀態的圖，圖3(b)是示意性地表示CMOS圖像傳感器124中的雷射的受光狀態的圖。另外，在圖3(b)上，為了方便，示出了在目標區域存在平坦的面(屏幕)時的受光狀態。從投射光學系統11向目標區域照射具有點圖案的雷射(下面，將具有該圖案的雷射整體稱作「DP光」。在圖3(a)中，DP光的光束區域由實線的框示出。在DP光的光束中，通過D0E114的衍射效應而提高了雷射的強度後的點區域(下面僅稱作「點」)依照基於DOEl 14的衍射效應的點圖案而散布。另外，在圖3(a)中，為了方便，將DP光的光束劃分為陣列狀地排列的多個片段區域。在各片段區域中，點以固有的圖案而散布。一個片段區域中的點的散布圖案與其它的全部片段區域中的點的散布圖案均不同。由此，能以點的散布圖案來將各片段區域與其它的全部片段區域區別開。若在目標區域存在平坦的面(屏幕)，則被其反射回的DP光的各片段區域如圖3(b)所示，在CMOS圖像傳感器124上呈陣列狀分布。例如，如圖3(a)所示的目標區域上的片段區域SO的光在CMOS圖像傳感器124上入射到圖3(b)所示的片段區域Sp。另外，在圖3(b)中，也是由實線的框來表示DP光的光束區域，為了方便，將DP光的光束劃分為陣列狀地排列的多個片段區域。在上述距離運算部21c中，檢測CMOS圖像傳感器124上的各片段區域的位置，並根據檢測出的各片段區域的位置，基於三角測量法來檢測至檢測對象物體的與各片段區域對應的位置為止的距離。相關的檢測手法的細節例如在上述非專利文獻I (第19次日本機器人學會學術演講會(2001年9月18-20日)預稿集，P1279-1280)中示出。圖4是示意性地表示在上述距離檢測中所使用的基準模板的生成方法的圖。如圖4(a)所示，在基準模板的生成時，在距投射光學系統11規定距離Ls的位置上配置有與Z軸方向垂直的平坦的反射平面RS。在此狀態下，從投射光學系統11持續規定時間Te出射DP光。所出射的DP光被反射平面RS反射，然後入射至受光光學系統12的 CMOS圖像傳感器124。由此，從CMOS圖像傳感器124輸出每個像素的電信號。所輸出的每個像素的電信號的值(像素值)在圖2的存儲器25上被展開。另外，以下為了方便，取代在存儲器25上所展開的像素值，而以照射到CMOS圖像傳感器124上的DP光的照射狀態為基礎來進行說明。如此，如圖4(b)所示，基於在存儲器25上所展開的像素值來設定用於對CMOS圖像傳感器124上的DP光的照射區域進行規定的基準圖案區域。進而，對該基準圖案區域進行縱橫劃分來設定片段區域。如上所述，在各片段區域中，點依照固有的圖案而散布。由此，片段區域的像素值的圖案在每個片段區域中都不同。另外，各片段區域與其它的全部片段區域具有相同的尺寸。基準模板按照將如此設定於CMOS圖像傳感器124上的各片段區域與包含在該片段區域中的各像素的像素值建立對應的方式被構成。具體而言，基準模板包含與CMOS圖像傳感器124上的基準圖案區域的位置相關的信息、包含在基準圖案區域中的全部像素的像素值、以及用於將基準圖案區域分割為片段區域的信息。包含在基準圖案區域中的全部像素的像素值與包含在基準圖案區域中的DP光的點圖案相應。另外，通過將包含在基準圖案區域中的全部像素的像素值的匹配區域劃分為片段區域，能取得包含在各片段區域中的像素的像素值。另外，基準模板還可以在每個片段區域中保持包含於各片段區域中的像素的像素值。如此構成的基準模板以不可刪除的狀態被保持在圖2的存儲器25中。且在計算從投射光學系統11起到檢測對象物體的各部為止的距離時參照保持在存儲器25中的基準模板。例如，如圖4(a)所示，在比距離Ls近的位置存在物體的情況下，與基準圖案上的規定的片段區域Sn對應的DP光(DPn)被物體反射，而入射到與片段區域Sn不同的區域Sn'。由於投射光學系統11和受光光學系統12在X軸方向上相鄰，因此區域Sn'相對於片段區域Sn的移位方向與X軸平行。在圖4(a)的情況下，由於物體位於比距離Ls近的位置，因此區域Sn'相對於片段區域Sn在X軸正方向上移位。若物體位於比距離Ls遠的位置，則區域Sn,相對於片段區域Sn在X軸負方向上移位。以區域Sn'相對於片段區域Sn的移位方向和移位量為基礎，使用距離Ls並基於三角測量法來計算從投射光學系統11起至照射到DP光(DPn)的物體的部分為止的距離Lr。針對與其它的片段區域對應的物體的部分也是同樣地計算離投射光學系統11的距離。在相關的距離計算中，需要檢測出基準模板的片段區域Sn在實際測量中移位到了哪個位置。該檢測通過將照射到CMOS圖像傳感器124上的DP光的點圖案與包含在片段區域Sn中的點圖案進行比對來進行。
圖5是說明相關的檢測的手法的圖。圖5(a)是表示CMOS圖像傳感器124上的基準圖案區域的設定狀態的圖，圖5(b)是表示實際測量時的片段區域的搜索方法的圖，圖5(c)是表示實際測量出的DP光的點圖案與包含在基準模板的片段區域中的點圖案之間的比對方法的圖。另外，在此，片段區域由縱9像素X橫9像素構成。例如，在對圖5(a)的片段區域SI的實際測量時的移位位置進行搜索的情況下，如圖5(b)所示，片段區域SI在範圍Pl P2中，在X軸方向上一個個像素地挪動，在各挪動位置上，求取片段區域SI的點圖案與實際測量出的DP光的點圖案的匹配程度。在此情況下，僅在經過基準圖案區域的最上段的片段區域群的行LI上沿X軸方向挪動片段區域SI。這在於，如上所述，通常，各片段區域在實際測量時從基準圖案區域上的位置起僅在X軸方向上移位。即，片段區域SI能認為位於最上段的行LI上。如此，通過僅在X軸方向上進行搜索，能減輕用於搜索的處理負擔。另外，在實際測量時，根據檢測對象物體的位置不同，有可能會發生片段區域在X軸方向上超出了基準圖案區域的範圍的情況。故而，將範圍Pl P2設定得比基準圖案區域的X軸方向的寬度要寬。在上述匹配程度的檢測時，在行LI上設定與片段區域SI相同尺寸的區域(比較區域)，來求取該比較區域與片段區域SI之間的相似度。即，求取片段區域SI的各像素的像素值、與比較區域的相應的像素的像素值之間的差分。然後，獲取針對比較區域的全部像素相加該求得的差分而得到的值Rsad，來作為表示相似度的值。例如，如圖5(c)所示，在一個片段區域中包含m列Xn行的像素的情況下，求取片段區域的第i列第j行的像素的像素值T (i，j)與比較區域的第i列第j行的像素的像素值I(i，j)之間的差分。然後，針對片段區域的全部像素求取差分，並根據該差分的總和來求取值Rsad。S卩，值Rsad通過下面的式子而算出。[數I]
JlIRscid — ΣΣΙ"。)
J=I =1值Rsad越小，片段區域與比較區域之間的相似度就越高。在搜索時，在行LI上一個個像素地錯開來依次設定比較區域。然後，針對行LI上的全部比較區域來求取值Rsad。從求出的值Rsad中提取小於閾值的值Rsad。若沒有小於閾值的值Rsad，則認定片段區域SI的搜索錯誤。然後，將與提取出的Rsad中值最小的Rsad對應的比較區域判定為片段區域SI的移動區域。行LI上的除片段區域SI以外的片段區域也進行與上述同樣的搜索。其他行上的片段區域也與上述同樣地，在該行上設定比較區域來進行搜索。若像這樣從實際測量時取得的DP光的點圖案中搜索到各片段區域的移位位置，則如上所述，基於該移位位置，通過三角測量法來求取至與各片段區域對應的檢測對象物體的部位為止的距離。在相關的距離檢測中，需要準確地檢測CMOS圖像傳感器124上的DP光(各點位置的光)的分布狀態。但在實際測量時，有可能會發生DP光以外的光、例如室內照明或太陽光等入射至CMOS圖像傳感器124的情況。在此情況下，點圖案以外的光作為背景光被寫入至CMOS圖像傳感器124的攝像圖像，由此，有可能無法準確地檢測DP光的分布狀態。圖6是表示背景光入射至CMOS圖像傳感器124時的距離的測量例的圖。圖6(a)是表示點圖案以外的光作為背景光被寫入後的攝像圖像的圖。圖中，越接近白色，亮度(像素值)越高，越接近黑色，亮度越低。攝像圖像中央的黑色物體是黑色的試驗紙片的圖像。在目標區域除了黑色的試驗紙片以外，不存在物體。在黑色的試驗紙片的背後的規定的距離的位置上配置有平坦的屏幕。
在圖6 (a)中，還包含因背景光而無法識別的區域，用微小的白點來表示大致3萬個點。在圖中的左中央部分入射有非常明亮的背景光，呈現出白色的圓形。該區域中，CMOS圖像傳感器124飽和(像素的亮度最大)，無法識別基於點的微小的白點。另外，本圖像中，隨著距離入射的背景光的中心變遠，背景光的強度變弱，黑色逐漸變深。圖6(b)是示意性地表示圖6(a)所示的攝像圖像中的以虛線包圍的Ma的區域中的比較區域的示例的圖。圖6(b)中，I個網格表示攝像圖像中的I個像素，另外，黑圓表示DP光的點。網格的顏色越深，背景光的強度越大。另外，與各比較區域匹配的基準模板的片段區域是預先在沒有圖6(a)的背景光的狀態下僅拍攝點圖案而得到的。圖6(b)中，比較區域Ta表示圖6(a)的Ma區域中的左端的背景光較強入射的部分的一個區域。在比較區域T a中，較強地入射背景光，包括點所入射的位置在內，全部像素的亮度值變高。因此，比較區域Ta與基準模板的片段區域之間的差分的總和Rsad成為非常大的值，無法期待準確的匹配判定。比較區域Tb表示圖6 (a)中的Ma區域中的背景光逐漸變暗的部分的一個區域。在比較區域Tb中包含背景光的強度強的區域和弱的區域。在此情況下，背景光強的區域的像素的亮度高，背景光弱的區域的像素的亮度低。在此情況下，比較區域Tb與基準模板的片段區域之間的差分的總和Rsad也成為非常大的值，無法期待準確的匹配判定。比較區域Tc表示圖6(a)的Ma的區域中強度弱的背景光均勻入射的部分的一個區域。在比較區域Tc中，由於均勻入射強度弱的背景光，因此在全部像素中亮度均有若干的提升。在比較區域Tc的情況下，雖然與基準模板的片段區域之間的I個像素單位的差分小，但片段區域內的全部像素的差分的總和Rsad也大到一定程度。因此，在此情況下也難以進行準確的匹配判定。比較區域Td表示圖6(a)的Ma的區域中未受到背景光的影響的右端部分的一個區域。比較區域Td由於未受到背景光的影響，因此與基準模板的比較區域之間的差分的總和Rsad小，能進行準確的匹配判定。圖6(c)表示使用上述檢測手法(圖5)對圖6(a)所示的攝像圖像進行匹配處理來測量距離時的測量結果的圖。另外，在該測量中，在上述的匹配處理中，上述的差分的總和值Rsad針對全部的比較區域都超過閾值而成為錯誤的情況下，將其中的值Rsad最小的比較區域作為片段區域的移動位置來求取距離。在圖6(c)中，在與各片段區域對應的位置上示出了測量出的距離越遠則越接近黑色、測量出的距離越近則越接近白色的顏色。如上所述，在本測量中，在目標區域中包含黑色試驗紙片，並配置有平坦的屏幕。因此，在適當地進行了匹配的情況下，由於將屏幕全體判斷為等距離，因此，測量結果成為均勻地接近於黑色的顏色。與此相對，在圖6(c)所示的測量結果中，入射了強背景光的區域及其周圍區域成為接近於白色的顏色，會進行錯誤匹配，從而誤測量距離。在圖6(c)中，以虛線包圍的Da區域是圖6(a)中的Ma區域中的匹配結果，可知越靠向左部，越無法取匹配，越靠向右部，越能取匹配。尤其可知，不僅是背景光較強入射的左端的部分(比較區域Ta)，而且直到背景光較強地入射的位置的周圍的區域(比較區域Tb、Tc)為止，在較寬的範圍中都無法取匹配。
如此，若入射了較強的背景光，則不僅在CMOS圖像傳感器124飽和的區域中，而且在其周圍區域中，匹配率顯著減少。因此，在本實施方式中，通過攝像圖像校正部21b來進行用於抑制背景光的影響以使匹配率上升的攝像圖像的校正處理。圖7至圖9是說明攝像圖像的校正處理的圖。圖7(a)是從CPU21中的攝像處理起到距離運算為止的處理的流程圖。CPU21通過圖2所示的雷射驅動電路22來發出雷射，並通過攝像信號處理電路23基於從CMOS圖像傳感器124輸出的各像素的信號來生成攝像圖像(S101)。之後，通過攝像圖像校正部21b來進行用於從攝像圖像中去除背景光的校正處理(S102)。之後，通過距離運算部21c，使用校正後的攝像圖像來算出從信息取得裝置I起到檢測對象物的各部為止的距離(S103)。圖7(b)是表示圖7(a)中的S102的攝像圖像校正處理的流程圖。攝像圖像校正部21b讀取由攝像信號處理電路23生成的攝像圖像(S201)，並將攝像圖像分割成規定的像素數X像素數的校正區域(S202)。圖8(a)、(b)是表示由CMOS圖像傳感器124實際測量出的攝像圖像、以及校正區域的設定狀態的圖。圖8(b)是表示圖6的比較區域Tb的位置上的校正區域的分割例的圖。如圖8 (a)所示，示出了點圖案的攝像圖像由640X480像素構成，通過攝像圖像校正部21b分割為規定的像素數X像素數的校正區域C。在此，由D0E114創建的點的數量大致為3萬，攝像圖像的總像素數大致為30萬。即，相對於拍攝圖像的每10個像素，大約包含I個點。因此，若設校正區域C為3像素X3像素(總像素數9)的大小，則在校正區域C中至少包含I個以上的不受點的影響的像素的可能性高。據此，在本實施方式中，如圖8(b)所示，將攝像圖像分割為各個3像素X 3像素(總像素數9)的校正區域C。返回圖7(b)，在將攝像圖像分割成校正區域後，算出各校正區域內的像素的最小亮度值(S203)，從該校正區域內的全部像素的亮度值中減去算出的最小亮度值(S204)。圖8(c)至圖8(e)是說明圖8(b)所示的校正區域Cl至C3中的校正處理的圖。圖8(c)至圖8(e)中，左邊的圖是以明暗來表示校正區域的亮度值的圖，陰影濃度越淡，則表示亮度值越高。圖中的圈表示點的照射區域。中央的圖是以數值來表示校正區域的各像素位置的亮度值的圖，亮度值越高則數值越大。右邊的圖是以數值表示校正後的亮度值的圖。參照圖8(c)的左邊的圖，由於在圖8(b)中的校正區域Cl中均勻地入射強度稍強的背景光，因此全體像素的亮度稍稍變高，點所入射的像素和與該像素相鄰的像素的亮度
值進一步變高。參照圖8(c)的中央的圖，在校正區域Cl中，點未入射到亮度值最小(亮度值=80)的像素上，該像素不與點相鄰。若從校正區域Cl內的各像素的亮度值中減去校正區域Cl中的各像素的亮度值中最小的亮度值80，則如圖8(c)的右邊的圖所示，點所入射的像素和與該像素相鄰的像素以外的像素的亮度值成為O。由此去除了背景光對校正區域Cl內的各像素的亮度值的影響。參照圖8(d)的左邊的圖，在圖8(b)的校正區域C2入射強度稍強的背景光和強度弱的背景光，點所入射的像素的亮度值最高，與該像素相鄰的像素的亮度、與背景光為稍強 的部分的像素的亮度成為相同程度。參照圖8(d)的中央的圖，在校正區域C2中，點未入射到亮度值最小(亮度值=40)的像素，該像素不與點相鄰。若從校正區域C2內的各像素的亮度值中減去校正區域C2中的各像素的亮度值中的最小亮度值40，則如圖8(d)的右邊的圖所示，背景光弱的部分的像素的亮度值成為0，去除了背景光對這些像素的亮度值的影響。另外，在這些像素以外的像素中，在點所入射的像素以外的像素中，亮度值降低，抑制了背景光的影響。另外，即使在點所入射的像素中，也去除了背景光的影響。參照圖8(e)的左邊的圖，由於在圖8(b)的校正區域C3均勻地入射強度弱的背景光，因此全體的像素的亮度值稍微提高，點所入射的像素和與該像素相鄰的像素的亮度進
一步提聞。參照圖8(e)的中央的圖，在校正區域C3中，點未入射到亮度值最小(亮度值=40)的像素，該像素不與點相鄰。若從校正區域C3內的各像素的亮度值中減去校正區域C3中的各像素的亮度值中的最小亮度值40，則如圖8(e)的右邊的圖那樣，點所入射的像素和與該像素相鄰的像素以外的像素的亮度值成為0，去除了背景光對這些像素的亮度值的影響。如參照圖8(c) (e)所說明那樣，通過從各像素的亮度值減去校正區域內的像素的亮度值中的最小的亮度值，能去除背景光對各像素的亮度值的影響。因此，若使用進行了這樣的校正處理後的像素值來進行上述的匹配處理，則差分的總和值Rsad中就不再包含背景光的亮度值，值Rsad會變小這部分的量。例如，在圖8(c)的中央的圖中，亮度值為80的像素若不入射背景光，則亮度值是零。因此，本來情況下，該像素與片段區域的對應的像素之間的亮度值的差分必須為零。但是，在圖8(c)的中央的圖中，因背景光，該像素的差分成為80。若就這樣將錯誤的差分與全部的像素相加，則差分的總和值Rsad較之於未入射背景光的情況會變大好幾級。其結果是，片段區域的匹配出錯。與此相對，在圖8(c)的右邊的圖中，本來亮度值應該為零的6個像素的亮度值全部被校正為零。另外，亮度值40的像素與圖8(c)的中央的情況相比，亮度值也得到了抑制。因而，差分的總和值Rsad與圖8(c)的中央的情況相比降低，接近於本來的值。其結果是，能正確地進行片段區域的匹配。
另外，如圖8(d)的情況那樣，在校正區域內背景光的強度變化的情況下，無法從入射了強度強的背景光的像素的亮度值中完全去除該背景光的影響。但是，由於在這種情況下也從該像素的亮度值中減去強度弱的背景光下的亮度值，因此能一定程度地去除背景光對該像素的亮度值的影響。因而，能提高片段區域的匹配精度。但是，例如如圖6 (d)的比較區域Td那樣，未在校正區域C入射背景光的情況下，由於最小的亮度值為0，因此即使經過校正，全部的像素的亮度值也不會變化。因而，即使對這樣的比較區域Td進行上述那樣的校正處理，也不會影響到片段區域的匹配處理。另外，如圖6 (b)的比較區域Ta那樣，在校正區域C均勻地入射了 CMOS圖像傳感器124飽和那種程度的強度的背景光的情況下，全部的像素的亮度值成為最大級別(255)，通過校正，全部的像素的亮度值成為O。因此，在像這樣將光強度的背景光入射至CMOS圖像傳感器124的情況下，即使進行上述校正處理，也無法取匹配。如此，通過在將攝像圖像分割為規定的像素數X像素數的校正區域C後，從校正 區域C內的全部像素減去校正區域C內的最小亮度值，能有效果地去除背景光。因此，即使攝像圖像中入射了背景光的區域和未入射背景光的區域混在一起，也能以同一閾值來與在沒有背景光的環境下所創建的片段區域匹配。另外，儘管在本實施方式中將分割攝像圖像的校正區域C的尺寸設為了 3像素X 3像素，但校正區域C的尺寸還能設為其它的尺寸。圖9是表示校正區域的其它的分割例的圖。圖9(a)是表示在將攝像圖像分割為了 4像素X4像素的校正區域C的情況下的校正處理的圖。在此情況下，入射了強度弱的背景光的像素僅有I個像素包含在校正區域Cal內，該像素的亮度值成為校正區域Cal內的最小值40。因此，對於該I個像素以外的像素，無法完全去除背景光，與片段區域的對應的像素之間的差分變大。如此，若將校正區域C設定得較大，則強度不同的背景光容易被含在同一校正區域C內，從而無法完全去除背景光影響的像素容易增加。圖9(b)是表示在將攝像圖像分割為了 2像素X2像素的校正區域C的情況下的校正處理的圖。在此情況下，由於校正區域Cb小，因此背景光在校正區域Cb內變化的概率變低。故而，在校正區域中易於均勻地入射背景光，針對校正區域內的全部像素能完全去除背景光的概率得以提高。在圖9(b)的示例中，校正後的全部像素的亮度值成為O。但若將校正區域設得較小，則因點的密度不同，有可能會出現多個點被包含在一個校正區域中的情況。例如，如圖9(c)所示，若點的密度變高，則在2像素X2像素這樣的小的校正區域Ce中，可能會出現每一個像素均受點的影響的情況。在此情況下，成為從校正區域Ce內的全部像素的亮度值中減去受到了點的影響的像素的非常高的亮度值的情況，從而無法正確地僅對背景光進行去除。如此，校正區域C的尺寸儘可能小有利於背景光的去除，但在校正區域C內需要包含至少I個不受DP光的點的影響的像素。即，根據入射到校正區域C內的DP光的點的密度來決定校正區域C的尺寸。如本實施方式那樣，攝像圖像的總像素數大致為30萬，在通過D0E114創建的點數大致為3萬的情況下，期望以3像素X 3像素程度來設定校正區域C。
返回圖7(b)，如以上那樣，在全部的校正區域中完成了攝像圖像的校正處理後，將校正圖像保存在存儲器25中(S205)。由此，完成了攝像圖像的校正處理。通過圖7(b)的處理，即使在攝像圖像中重疊有背景光的情況下，也能創建去除了背景光後的校正圖像。而且，通過使用該校正圖像來進行匹配處理和距離測量，能精度良好地檢測至檢測對象物體為止的距離。圖10是表示在使用由攝像圖像校正部21b校正攝像圖像而得到的校正圖像來進行距離檢測的情況下的測量例的圖。圖10(a)是通過圖7、圖8所示的處理來對圖6(a)的攝像圖像進行校正而得到的校正圖像。圖中，越接近於白色，像素的亮度越高，越接近於黑色，像素的亮度越低。與圖6(a)的攝像圖像比較，在校正圖像中，強度高的背景光下的白色的區域(亮度最大)通過校正而變黑(亮度為O)。為了方便，在圖6(a)中用單點劃線表示強度高的 背景光的區域。另外，在圖6(a)的攝像圖像中，隨著遠離強度高的背景光，背景光的強度減小，逐漸接近於淡黑色，但在校正圖像中，去除了背景光，整體上均勻地變黑。圖10(b)中是示意性地表示圖10(a)所示的校正圖像中的以虛線包圍的Mb的區域中的比較區域的示例的圖。在圖10(b)中，I個網格表示校正圖像中的I個像素，另外，黑圓表示DP光的點，網格的顏色越深，表示背景光越強地入射。校正圖像Mb的區域相當於圖6 (a)的攝像圖像Ma的區域。比較區域Ta與圖6(b)的情況比較，雖然去除了強度強的背景光，但由於CMOS圖像傳感器124處於飽和，因此無法掌握DP光的點的位置，在全部像素中，亮度值都成為了 O。因此，無法用上述的檢測手法檢測比較區域Ta的準確的移動位置。比較區域Tb與圖6(b)的情況比較，能去除大部分背景光，剩餘的背景光也較弱。因此，基準模板的片段區域與比較區域Tb之間的差分的總和Rsad小到一定程度。因此，與圖6(b)的情況相比，易於用上述的檢測手法將對應的片段區域與比較區域Tb正常地匹配，從而能測量出準確的距離。比較區域Tc與圖6(b)比較，去除了均勻地入射的強度弱的背景光。因此，基準模板的片段區域與比較區域Tc的差分的總和Rsad變小，能用上述檢測手法將對應的片段區域與比較區域Tc正常地匹配，從而能測量出準確的距離。進而，比較區域Td不受背景光的影響，即使進行校正，也不會有亮度值的變化。因此，與圖6 (b)相同，基準模板的片段區域與比較區域Td的差分的總和Rsad變小，能用上述檢測手法將對應的片段區域與比較區域Td正常地匹配，從而能測量出準確的距離。圖10(c)是使用上述檢測手法對圖10(a)所示的校正圖像進行匹配時的距離的測量結果。圖10(c)與圖6(c)對應。參照圖10(c)可知，誤檢測了距離的區域被限制在照射了強背景光的區域，在除此此外的區域中正確地測量了距離。另外，針對中央的黑色的試驗紙片也獲得了距離。圖10(c)中，以虛線包圍的Db區域是圖10(a)中的Mb區域中的匹配結果，可知除了圖10(a)中的被全塗黑的區域(圓形的單點劃線)以外，幾乎都取得了匹配。如此，在圖10(c)的測量結果中，CMOS圖像傳感器124飽和的區域以外的區域大致均勻地變黑，與圖6(c)比較，顯著改善了匹配率。以上，根據本實施方式，由於通過攝像圖像校正部21b從攝像圖像中去除了背景光，因此即使在背景光入射至CMOS圖像傳感器124的情況下，也能精度良好地檢測距離。另外，根據本實施方式，由於按照在校正區域內至少包含I個以上的不受DP光的點的影響的像素的方式來將校正區域的尺寸設定為3像素X 3像素，因此，能精度良好地校正攝像圖像。另外，根據本實施方式，由於校正區域被設定得小到3像素X 3像素，因此，在校正區域內包含強度不同的背景光的可能性低，能精度良好地對攝像圖像進行校正。另外，根據本實施方式，即使入射了背景光的區域和未入射背景光的區域混在一起，也能如圖7、圖8所示那樣，通過對攝像圖像進行校正而從像素的亮度值中去除背景光的成分，不管是否入射了背景光，都能對值Rsad使用相同的閾值來進行距離檢測的匹配處理。另外，根據本實施方式，由於能通過攝像圖像的校正來去除背景光，因此即使使用使較寬的透過波長帶的光透過的廉價的濾光器，也能精度良好地進行距離檢測。儘管以上說明了本發明的實施方式，但本發明並不受到上述實施方式的任何限制，另外，本發明的實施方式除了上述以外還能進行各種變更。例如，儘管在上述實施方式中，為了說明的方便，DP光的I個點的直徑的大小使用了攝像圖像的I像素程度的大小，但是DP光的點的直徑既可以大於攝像圖像的I個像素，也可以小於I個像素。另外，在DP光的點的直徑大於I個像素的情況下，需要按照包含I個以上的不受DP光的點影響的像素的方式來設定校正區域的大小。即，校正區域的尺寸除了根據CMOS圖像傳感器124的總像素數以及由D0E114創建的點數量以外，還根據DP光的點直徑與攝像圖像的I個像素的尺寸的比率來決定。根據這些參數，按照包含I個以上的不受DP光的點的影響的像素的方式來設定校正區域。由此，與上述實施方式相同，能精度良好地從攝像圖像中去除背景光。另外，儘管在上述實施方式中使用了使點相對於目標區域大致均勻地分布那樣的DOEl 14，但是，例如也可以使用對僅周邊部的點的密度變大那樣的不均勻的分布的點圖案進行生成的D0E。在此情況下，既可以根據點密度最高的區域來設定校正區域的尺寸，也可以在點密度高的區域和點密度低的區域中設定不同尺寸的校正區域。例如，在點密度高的區域中設定大的校正區域，在點密度低的區域中設定小的校正區域。由此，與上述實施方式相同，能精度良好地從攝像圖像中去除背景光。另外，儘管在上述實施方式中將校正區域的尺寸設為了 3像素X3像素，但只要不受DP光的點的影響的像素為I個以上，則校正區域的尺寸也可以是其它的尺寸。另外，儘管期望校正區域儘可能小而如上述實施方式那樣期望校正區域的形狀是正方形，但也可以是長方形等其它形狀。另外，儘管在上述實施方式中通過從校正區域內的全部亮度值(像素值)中減去該校正區域中的像素的亮度值(像素值)中的最小的亮度值(像素值)來生成了校正圖像，但也可以從校正區域內的亮度值(像素值)中減去對最小的亮度值(像素值)乘以規定的係數而得到的值等、以基於最小的亮度值(像素值)的值來對校正區域內的亮度值(像素值)進行校正。另外，儘管在上述實施方式中CMOS圖像傳感器124使用了與解析度VGA (640 X 480)對應的圖像傳感器，但也可以使用與XGA (1024X 768)、SXGA (1280 X 1024)等其它解析度對應的圖像傳感器。另外，儘管在上述實施方式中使用了生成大致3萬個點數的DP光的D0E114，但由DOE創建的點的數量也可以是其它的數量。另外，儘管在上述實施方式中按照相鄰的片段區域彼此不重疊的方式來設定了片段區域，但也可以按照左右相鄰的片段區域彼此重疊的方式來設定片段區域，另外，也可以按照上下相鄰的片段區域彼此重疊的方式來設定片段區域。另外，儘管在上述實施方式中使用了 CMOS圖像傳感器124來作為受光元件，但還能代替其而使用CCD圖像傳感器。進而，受光光學系統12的構成也能酌情變更。另外，既可以將信息取得裝置I與信息處理裝置2 —體化，也可以將信息取得裝置I及信息處理裝置2與電視機、遊戲機、個人計算機一體化。本發明的實施方式能在權利要求的範圍所示的技術思想的範圍內酌情進行各種·變更。符號的說明I信息取得裝置11投射光學系統12受光光學系統111雷射光源112準直透鏡114D0E (衍射光學元件)124CM0S圖像傳感器(攝像元件)21b攝像圖像校正部(校正部)21c距離運算部(信息取得部)
權利要求
1.一種信息取得裝置，使用光來取得目標區域的信息，其特徵在於，具備 投射光學系統，其以規定的點圖案向所述目標區域投射雷射； 受光光學系統，其按照與所述投射光學系統離開規定的距離而排列的方式配置，具有對所述目標區域進行拍攝的攝像元件； 校正部，其將在實際測量時由所述攝像元件對所述目標區域進行拍攝時的攝像圖像劃分為多個校正區域，通過所述校正區域內的各像素的像素值中的最小的像素值來校正該校正區域內的像素的像素值，從而生成校正圖像；和 信息取得部，其基於由所述校正部生成的校正圖像來取得存在於所述目標區域中的物體的三維信息。
2.根據權利要求I所述的信息取得裝置，其特徵在於， 所述信息取得部在包含對基準面照射所述點圖案時由攝像元件拍攝的基準點圖案在內的攝像圖像中設定多個片段區域，從所述校正圖像中搜索與所述片段區域對應的對應區域，並基於搜索到的所述對應區域的位置來取得存在於所述目標區域中的物體的三維信肩、O
3.根據權利要求I或2所述的信息取得裝置，其特徵在於， 所述校正部包括從所述校正區域內的全部的像素的像素值中減去該校正區域內的各像素的像素值中的最小的像素值的處理。
4.根據權利要求I 3中任一項所述的信息取得裝置，其特徵在於， 所述校正區域被設定為包含I個以上的未入射所述點圖案的點的像素那樣的大小。
5.根據權利要求I 4中任一項所述的信息取得裝置，其特徵在於， 所述投射光學系統具備 雷射光源； 準直透鏡，其將從所述雷射光源出射的雷射變換成平行光；和衍射光學元件，其通過衍射將由所述準直透鏡變換成平行光後的所述雷射變換成點圖案的光。
6.一種物體檢測裝置，其特徵在於，具有權利要求I 5中任一項所述的信息取得裝置。
全文摘要
本發明提供即使在入射了背景光的情況下也能精度良好地取得目標區域的信息的信息取得裝置以及搭載其的物體檢測裝置。信息取得裝置(1)具備投射光學系統(11)；受光光學系統(12)，其具有CMOS圖像傳感器(124)；攝像圖像校正部(21b)，其將在實際測量時由CMOS圖像傳感器(124)拍攝目標區域時的攝像圖像劃分為多個校正區域，通過校正區域內的各像素的像素值中的最小的像素值來校正該校正區域內的像素的像素值，從而生成校正圖像；和距離運算部(21c)，其基於校正圖像來取得存在於目標區域中的物體的三維信息。通過攝像圖像校正部(21b)從攝像圖像中去除背景光，即使在背景光入射至CMOS圖像傳感器(124)的情況下，也能精度良好地檢測距離。
文檔編號G01S17/48GK102859321SQ201280000828
公開日2013年1月2日 申請日期2012年4月6日 優先權日2011年4月25日
發明者山口淳, 武藤裕之 申請人:三洋電機株式會社