圖像處理裝置、圖像處理方法以及記錄介質與流程

2023-05-24 10:51:41

本公開涉及圖像處理裝置、圖像處理方法、記錄介質以及程序。

背景技術：

生成表現到三維對象物為止的距離的距離圖像的技術已被提出。例如，存在使用tof(time-of-flight，飛行時間)方式的測距裝置來生成距離圖像的技術。tof方式的測距裝置使用紅外光等光源，利用光源發光時的相位與從對象物反射的反射光的相位之間的偏離，測定從光源到對象物的距離。

現有技術文獻

專利文獻1：日本特開2012-225807號公報

技術實現要素：

發明要解決的技術問題

然而，在上述技術中，需要進一步的改善。

用於解決問題的技術方案

本公開的一個技術方案所涉及的圖像處理裝置，圖像處理裝置，具備：

發光部，其對位於所述圖像處理裝置的拍攝視角內的對象物，在不同的定時發出第1光和第2光，所述第1光被以第1發光量發出，所述第2光被以第2發光量發出；受光傳感器，其接受所述第1光被所述對象物反射後的第1反射光和所述第2光被所述對象物反射後的第2反射光，所述第1反射光被以第1曝光時間來接受，所述第2反射光被以第2曝光時間來接受，所述第1發光量與所述第2發光量和所述第1曝光時間與所述第2曝光時間的至少某一方不同；以及處理器，所述處理器，算出表示所述第1光與所述第1反射光的相位差的第1相位差，使用所述第1相位差來生成第1距離圖像，所述第1距離圖像表現從所述圖像處理裝置到所述對象物的距離，生成第1強度圖像，所述第1強度圖像按所述第1距離圖像的每個像素表現所述受光傳感器接受到所述第1反射光時的受光強度，算出表示所述第2光與所述第2反射光的相位差的第2相位差，使用所述第2相位差來生成第2距離圖像，所述第2距離圖像表現從所述圖像處理裝置到所述對象物的距離，生成第2強度圖像，所述第2強度圖像按所述第2距離圖像的每個像素表現所述受光傳感器接受到所述第2反射光時的受光強度，對與所述第1強度圖像的各像素對應的各受光強度和與所述第2強度圖像的各像素對應的各受光強度進行比較，基於所述比較結果，選擇所述第1距離圖像的各像素和對應的所述第2距離圖像的各像素的某一方，使用各選擇出的像素來生成合成距離圖像。

此外，這些總括性或具體的技術方案既可以通過系統、方法、集成電路、電腦程式或者計算機可讀取的cd-rom等記錄介質來實現，也可以通過系統、方法、集成電路、電腦程式和記錄介質的任意組合來實現。

發明的效果

根據本公開的圖像處理裝置等，能夠實現距離精度穩定的距離圖像的生成。

附圖說明

圖1是表示實施方式涉及的距離圖像生成裝置的構成的框圖。

圖2是由實施方式涉及的距離圖像生成裝置進行的距離圖像生成處理的流程圖。

圖3是表示圖2的距離圖像生成處理中的圖像取得處理的詳細情況的流程圖。

圖4是表示圖2的距離圖像生成處理中的距離值的有效判定處理的詳細情況的流程圖。

圖5是表示圖2的距離圖像生成處理中的距離值的選擇處理的詳細情況的流程圖。

圖6是表示由實施方式涉及的距離圖像生成裝置取得的距離圖像以及強度圖像的一例的概略圖。

圖7是表示按每個拍攝幀一邊使發光量或者曝光時間發生變化一邊拍攝到的距離圖像的距離值的有效區域的一例的概略圖。

圖8是表示由實施方式涉及的距離圖像生成裝置取得的距離圖像的數據構造的一例的圖。

圖9是表示由實施方式涉及的距離圖像生成裝置取得的強度圖像的數據構造的一例的圖。

圖10是表示由實施方式涉及的距離圖像生成裝置取得的距離圖像以及強度圖像的數據構造的一例的圖。

圖11是表示由實施方式涉及的距離圖像生成裝置生成的合成距離圖像的數據構造的一例的圖。

標號說明

100移動體

101移動體控制部

102驅動部

110距離圖像生成裝置

111發光部

112受光傳感器

113運算部

114存儲器

115控制部

具體實施方式

(成為本公開的基礎的見解)

採用了tof方式的測距裝置，利用光源的投射光與投射光被對象物反射而接受到的反射光之間的相位偏離，測定從光源到對象物的距離。例如，在投射光的光量足夠大的情況下，能夠對從光源到遠處的對象物的距離高精度地進行測距，但對於距光源近處的對象物，反射光的受光量會飽和，難以準確地測定距離。另一方面，如果減少投射光的光量，雖然能夠測定從光源到近處的對象物的距離，但對於遠處的對象物卻從反射光得不到足夠測距的光量，會導致算出的距離值的精度差。另外，如果光源的光量減少到無法接受反射光的程度，則測距變得不可能。如此，由於由光源的光量限定了能夠測定從光源到對象物的距離的範圍，因此正在研究對從光源到遠處的對象物的距離和從光源到近處的對象物的距離分別高精度地進行測距。

例如，專利文獻1所公開的距離圖像攝像頭一邊變更曝光設定，一邊投射紅外光並由圖像傳感器接受紅外光的反射光，由此拍攝距離圖像。距離圖像攝像頭對各曝光設定的距離圖像，保存距離圖像的每個像素的距離數據以及受光等級數據。在距離圖像攝像頭中，對各曝光設定的距離圖像的各像素，一邊使成為對象的像素位置依次移動、一邊進行掃描，算出加權係數。進而，使用所算出的加權係數，對各像素的距離數據進行加權相加。因此，可獲得對於所有的像素位置而將加權平均值作為各像素的距離數據的距離圖像。由此，距離圖像攝像頭獲得遍及距離圖像的大致整體的距離測定結果。

專利文獻1所公開的技術中，對於在多個定時取得的距離圖像，通過對各像素進行加權平均處理，實現到存在於拍攝視角內的對象物為止的距離測定精度的穩定化，由此，在拍攝視角內的整個廣大範圍中取得距離值。然而，在多個定時之間圖像傳感器的位置發生了變化以及存在於拍攝視角內的對象物發生移動等情況下，專利文獻1所公開的技術存在會輸出含有抖動的距離圖像這一問題。因此，本公開的發明人為了提高距離圖像生成功能而研究了以下的改善措施。

(1)本公開的一個技術方案涉及的圖像處理裝置是如下圖像處理裝置，具備：發光部，其對位於所述圖像處理裝置的拍攝視角內的對象物，在不同的定時發出第1光和第2光，所述第1光被以第1發光量發出，所述第2光被以第2發光量發出；受光傳感器，其接受所述第1光被所述對象物反射後的第1反射光和所述第2光被所述對象物反射後的第2反射光，所述第1反射光被以第1曝光時間來接受，所述第2反射光被以第2曝光時間來接受，所述第1發光量與所述第2發光量和所述第1曝光時間與所述第2曝光時間的至少某一方不同；以及處理器，所述處理器，算出表示所述第1光與所述第1反射光的相位差的第1相位差，使用所述第1相位差來生成第1距離圖像，所述第1距離圖像表現從所述圖像處理裝置到所述對象物的距離，生成第1強度圖像，所述第1強度圖像按所述第1距離圖像的每個像素表現所述受光傳感器接受到所述第1反射光時的受光強度，算出表示所述第2光與所述第2反射光的相位差的第2相位差，使用所述第2相位差來生成第2距離圖像，所述第2距離圖像表現從所述圖像處理裝置到所述對象物的距離，生成第2強度圖像，所述第2強度圖像按所述第2距離圖像的每個像素表現所述受光傳感器接受到所述第2反射光時的受光強度，對與所述第1強度圖像的各像素對應的各受光強度和與所述第2強度圖像的各像素對應的各受光強度進行比較，基於所述比較結果，選擇所述第1距離圖像的各像素和對應的所述第2距離圖像的各像素的某一方，使用各選擇出的像素來生成合成距離圖像。

根據上述技術方案，從發光量和曝光時間的至少一方不同的第1以及第2距離圖像中，基於距離圖像中的各像素的受光強度的值，提取受光強度較大的像素，使用所提取出的像素來生成合成距離圖像。例如，在距離圖像內存在移動物體的情況下、或者在距離圖像生成裝置自身一邊進行移動一邊取得距離圖像的情況下，對象物的位置在第1距離圖像和第2距離圖像之間發生移動。然而，對於受光強度更大的像素，由於像素的距離值的精度變高，因此能夠抑制在使用第1距離圖像和第2距離圖像的對應的像素中的受光強度較大的距離圖像的像素而合成的合成距離圖像中含有抖動等不清晰的部分。由此，在合成距離圖像中，能得到穩定的距離精度。

(2)在上述技術方案中，也可以：所述處理器，從所述第1距離圖像中提取與所述第1強度圖像中的表示預定範圍的受光強度的各像素對應的各第1像素，從所述第2距離圖像中提取與所述第2強度圖像中的表示所述預定範圍的受光強度的各像素對應的各第2像素，對與所述各第1像素對應的受光強度和與所述各第2像素對應的受光強度進行比較，基於所述比較結果，在所述各第1像素和所述各第2像素都是有效像素的情況下，選擇所述各第1像素和所述各第2像素中的對應的受光強度較大的一方，使用各選擇出的像素來生成所述合成距離圖像。

根據上述技術方案，能抑制使用反射光的受光強度對於距離圖像的距離值的算出而言不適當的像素生成合成距離圖像。

(3)在上述技術方案中，也可以：所述處理器，基於所述比較結果，在所述各第1像素和所述各第2像素中僅某一方是有效像素的情況下，使用作為有效像素的所述各第1像素和所述各第2像素的某一方來生成所述合成距離圖像。

根據上述技術方案，由於在第1距離圖像和第2距離圖像之間只有一個有效像素，因此無法進行受光強度的比較。該情況下，如果不將有效像素適用於合成距離圖像，則有可能會導致合成距離圖像中的像素的缺損增多。通過將該一個有效像素用於合成距離圖像，能抑制因像素的缺損而導致合成距離圖像不清晰。

(4)在上述技術方案中，所述預定範圍也可以為第1閾值以上。

根據上述技術方案，有效像素與作為下限值的第1閾值以上的受光強度的像素對應。通過將下限值設定為例如無法穩定取得距離值那樣小的受光強度等，能抑制合成距離圖像的像素具有不準確的距離。

(5)在上述技術方案中，所述預定範圍也可以為第2閾值以下。

根據上述技術方案，有效像素與作為上限值的第2閾值以下的受光強度的像素對應。通過將上限值設定為例如反射光閃白那樣的飽和的受光強度等，能抑制合成距離圖像的像素具有不準確的距離。

(6)在上述技術方案中，所述預定範圍也可以為第1閾值以上且第2閾值以下。

根據上述技術方案，有效像素與作為下限值的第1閾值以上且作為上限值的第2閾值以下的受光強度的像素對應。由此，能抑制合成距離圖像的像素具有不準確的距離。

(7)本公開的一個技術方案涉及的圖像處理方法，包括：對位於拍攝視角內的對象物，在不同的定時發出第1光和第2光，所述第1光被以第1發光量發出，所述第2光被以第2發光量發出；接受所述第1光被所述對象物反射後的第1反射光和所述第2光被所述對象物反射後的第2反射光，所述第1反射光被以第1曝光時間來接受，所述第2反射光被以第2曝光時間來接受，所述第1發光量與所述第2發光量和所述第1曝光時間與所述第2曝光時間的至少某一方不同；算出表示所述第1光與所述第1反射光的相位差的第1相位差；使用所述第1相位差來生成第1距離圖像，所述第1距離圖像表現到所述對象物的距離；生成第1強度圖像，所述第1強度圖像按所述第1距離圖像的每個像素表現接受到所述第1反射光時的受光強度；算出表示所述第2光與所述第2反射光的相位差的第2相位差；使用所述第2相位差來生成第2距離圖像，所述第2距離圖像表現從所述圖像處理裝置到所述對象物的距離；生成第2強度圖像，所述第2強度圖像按所述第2距離圖像的每個像素表現接受到所述第2反射光時的受光強度；對與所述第1強度圖像的各像素對應的各受光強度和與所述第2強度圖像的各像素對應的各受光強度進行比較；基於所述比較結果，選擇所述第1距離圖像的各像素和對應的所述第2距離圖像的各像素的某一方；使用各選擇出的像素來生成合成距離圖像。

(8)一種記錄介質，是存儲有處理圖像的程序的非瞬時性的記錄介質，所述程序使處理器進行如下處理：對位於拍攝視角內的對象物，在不同的定時發出第1光和第2光，所述第1光被以第1發光量發出，所述第2光被以第2發光量發出；接受所述第1光被所述對象物反射後的第1反射光和所述第2光被所述對象物反射後的第2反射光，所述第1反射光被以第1曝光時間來接受，所述第2反射光被以第2曝光時間來接受，所述第1發光量與所述第2發光量和所述第1曝光時間與所述第2曝光時間的至少某一方不同；算出表示所述第1光與所述第1反射光的相位差的第1相位差；使用所述第1相位差來生成第1距離圖像，所述第1距離圖像表現到所述對象物的距離；生成第1強度圖像，所述第1強度圖像按所述第1距離圖像的每個像素表現接受到所述第1反射光時的受光強度；算出表示所述第2光與所述第2反射光的相位差的第2相位差；使用所述第2相位差來生成第2距離圖像，所述第2距離圖像表現從所述圖像處理裝置到所述對象物的距離；生成第2強度圖像，所述第2強度圖像按所述第2距離圖像的每個像素表現接受到所述第2反射光時的受光強度；對與所述第1強度圖像的各像素對應的各受光強度和與所述第2強度圖像的各像素對應的各受光強度進行比較；基於所述比較結果，選擇所述第1距離圖像的各像素和對應的所述第2距離圖像的各像素的某一方；使用各選擇出的像素來生成合成距離圖像。

此外，這些總括性或具體的技術方案既可以通過系統、方法、集成電路、電腦程式或者計算機可讀取的cd-rom等記錄介質來實現，也可以通過系統、方法、集成電路、電腦程式和記錄介質的任意組合來實現。

以下，參照附圖對實施方式進行說明。此外，以下說明的實施方式均表示一個具體例子。以下的實施方式中示出的數值、形狀、材料、構成要素、構成要素的配置位置以及連接形式、步驟以及步驟的順序等是一例，並非限定權利要求的意思。另外，關於以下的實施方式中的構成要素中的未記載在表示最上位概念的獨立權利要求中的構成要素，作為任意的構成要素進行說明。

(實施方式1)

參照圖1，說明本公開的實施方式涉及的距離圖像生成裝置110的構成。圖1是表示實施方式涉及的距離圖像生成裝置110的構成的框圖。距離圖像生成裝置110對到拍攝視角內的對象物為止的距離進行計測，生成反映了該計測結果的距離圖像。在本實施方式中，距離圖像生成裝置110例如搭載於移動體100。距離圖像生成裝置110既可以作為獨立的裝置搭載於移動體100並經由接口等連接於移動體100，也可以構成移動體100的一部分。移動體100既可以是機器人等自主進行動作的裝置，也可以是根據操作者的操縱、操作等進行動作的車輛等裝置。

移動體100具備距離圖像生成裝置110、移動體控制部101以及驅動部102。距離圖像生成裝置110具備發光部111、受光傳感器112、運算部113、存儲器114以及控制部115。在本實施方式中，距離圖像生成裝置110構成被組裝在移動體100中的tof攝像頭模塊。此外，tof攝像頭模塊既可以由發光部111、受光傳感器112、運算部113、存儲器114以及控制部115的全部來構成，也可以由發光部111、受光傳感器112、運算部113、存儲器114和控制部115的一部分來構成。

移動體100的移動體控制部101通過控制驅動部102，控制移動量、移動速度以及移動方向等移動體100的移動。移動體控制部101將與移動體100的移動量、移動速度以及移動方向等有關的移動信息發送給距離圖像生成裝置110的控制部115。移動體控制部101構成為從距離圖像生成裝置110接收距離圖像。移動體控制部101既可以基於所接收到的距離圖像來控制移動體100的移動，例如也可以基於距離圖像和移動體100的移動信息來檢測移動體100向周圍物體的接近，避免移動體100與物體發生碰撞。移動體100的移動信息既可以是為了控制驅動部102而由移動體控制部101算出的信息，也可以是由配置於移動體100的未圖示的檢測器檢測出的信息。

驅動部102基於從移動體控制部101接收到的移動量、移動速度以及移動方向等的指示，使移動體100進行移動。例如，在移動體100具備車輪的情況下，驅動部102按照所指示的移動量、移動速度以及移動方向等對車輪進行旋轉驅動，使移動體100進行移動。驅動部102例如也可以具備電動馬達或電動致動器等動力裝置。

距離圖像生成裝置110的發光部111是通過自身的發光來向拍攝對象空間照射投射光的光源。發光部111例如投射脈衝光等帶有相位的光。作為發光部111，例如可以採用發出紅外線的發光二極體(led：lightemittingdiode)、雷射二極體(ld：laserdiode)等，但不限於此，只要是發出可見光線、紫外線等光的器件，可以使用任何器件。為了確保距離圖像的拍攝範圍，發光部111所生成的光也可以具有漫射性。發光部111根據控制部115的控制進行工作。

受光傳感器112與發光部111的發光定時相匹配地進行受光。受光傳感器112在受光時，基於受光傳感器112具有的受光元件所檢測到的受光強度來生成強度圖像，一併以像素為單位算出強度圖像。受光傳感器112例如也可以是圖像傳感器。圖像傳感器的例子是cmos(complementarymetal-oxidesemiconductor，互補金屬氧化物半導體)圖像傳感器或者ccd(chargecoupleddevice，電荷耦合元件)圖像傳感器。受光傳感器112根據控制部115的控制進行工作。

運算部113根據發光部111的投射光的信息和受光傳感器112的受光結果，以像素為單位算出距離值，生成距離圖像。運算部113根據受光傳感器112的受光結果，也生成強度圖像。運算部113也可以從發光部111或者控制部115等取得投射光的信息，並從受光傳感器112取得受光結果。另外，運算部113使用距離圖像與強度圖像的多個對，進行合成距離圖像的合成處理。合成距離圖像將對多個距離圖像之間對應的像素的多個距離值進行合成而得到的距離值作為合成距離圖像的像素的距離。運算部113也可以根據控制部115的控制進行工作。

存儲器114存儲並保管與指定幀相當的量的由受光傳感器112算出的距離圖像與強度圖像的多個對。保管在存儲器114內的距離圖像與強度圖像的多個對，在運算部113進行的合成距離圖像的合成處理中被加以使用。存儲器114構成為從發光部111、受光傳感器112、運算部113、控制部115等接收信息並存儲，所存儲的信息被運算部113、控制部115等取出。存儲器114例如可以通過半導體存儲器或者硬碟驅動器等來實現。存儲器114既可以是易失性存儲器也可以是非易失性存儲器。

控制部115控制距離圖像生成裝置110整體的工作。控制部115除了進行發光部111的發光量以及受光傳感器112的曝光時間的控制之外，還進行發光部111及受光傳感器112的發光及受光的定時的控制。例如，控制部115也可以基於從移動體控制部101接收的移動體100的移動信息，控制發光部111的發光量、受光傳感器112的曝光時間、和發光及受光的定時。控制部115也可以將運算部113生成的合成距離圖像發送給移動體控制部101。另外，控制部115也可以基於合成距離圖像和移動體100的移動信息，檢測移動體100向周圍物體的接近，將檢測信息發送給移動體控制部101。在本實施方式中，控制部115與移動體控制部101分體地設置，但也可以是移動體控制部101兼有控制部115的功能。

移動體控制部101、運算部113以及控制部115等構成要素可以通過包括cpu(centralprocessingunit，中央處理單元)、ram(randomaccessmemory，隨機存取存儲器)、rom(read-onlymemory，只讀存儲器)等的計算機系統(未圖示)來構成。各構成要素的一部分或者全部的功能可以通過cpu將ram用作工作用存儲器並執行rom所記錄的程序來實現。另外，各構成要素的一部分或者全部的功能也可以通過專用的硬體電路來實現。此外，各構成要素既可以由進行集中控制的單個要素構成，也可以由相互協作來進行分散控制的多個要素構成。程序可以作為應用通過經由網際網路等通信網絡的通信、基於移動通信標準的通信等來提供。

接著，參照圖1以及圖2來說明實施方式涉及的距離圖像生成裝置110的工作。圖2是表示由實施方式涉及的距離圖像生成裝置110進行的距離圖像生成處理的流程的流程圖。

距離圖像生成裝置110的控制部115按照按每個拍攝幀而變化的拍攝條件，控制發光部111以及受光傳感器112，進行圖像取得處理(s201)。控制部115跨多個拍攝幀來進行圖像取得處理。拍攝條件由發光部111的發光量、受光傳感器112的曝光時間和移動體100的驅動部102的移動量、移動速度以及移動方向等移動信息等構成。控制部115基於驅動部102的移動信息等，設定發光部111的發光量以及受光傳感器112的曝光時間。該情況下，控制部115按照拍攝條件，變更發光部111的發光量和受光傳感器112的曝光時間的至少一方。

距離圖像生成裝置110通過圖像取得處理，取得與多個拍攝幀相當的量的距離圖像與強度圖像的對。距離圖像與強度圖像的對的數量對應於拍攝幀的數量。在此，距離圖像表示按每個像素記錄有從距離圖像生成裝置110到位於距離圖像生成裝置110的拍攝視角內的對象物為止的距離的信息的圖像。拍攝視角例如是發光部111投射光的投射範圍。另外，強度圖像是與所述距離圖像的各像素對應地按強度圖像的各像素記錄有所接受的反射光的強度信息的圖像。強度圖像在距離圖像算出時被使用。因此，強度圖像優選具有與距離圖像相同的像素數以及像素配置。後面敘述步驟s201中的處理的詳細情況。

距離圖像生成裝置110針對所取得的多個距離圖像的各距離圖像，選擇成為處理對象的一個對象像素(s202)。具體而言，選擇距離圖像上的對象像素的坐標。從多個距離圖像中選擇的對象像素是在多個距離圖像之間對應的像素。例如，多個距離圖像的對應的對象像素可以具有相同的坐標。或者，在移動體100正在移動的情況下，也可以考慮距離圖像之間的移動體100的移動量，為了使對應的各對象像素在各距離圖像中表示同等的對象，選擇在距離圖像之間坐標被挪動了與該移動量相當的量後的對象像素。後面敘述步驟s202中的處理的詳細情況。此外，步驟s202以及後述的步驟s203～s207中的處理可以通過運算部113來進行。

距離圖像生成裝置110在與各距離圖像對應的各強度圖像中，參照具有與對象像素的坐標相同坐標的像素所表示的光的強度值，判定各距離圖像的對象像素所表示的距離值是否有效。也就是說，距離圖像生成裝置110進行各對象像素的距離值的有效判定處理(s203)。

在距離值的有效判定處理中，基於反射光飽和的可能性的判斷、反射光的強度判斷、反射光的s/n的閾值判定等，判定對象像素的距離值的有效性。在距離值不是有效、即無效的情況下，對對象像素設定無效值。在距離值有效的情況下，該對象像素的距離值被決定為是有效距離值。此外，反射光的s/n表示反射光中的信號(s)與噪聲(n)的比例。例如，在對象像素中，在存在反射光飽和的可能性、反射光的強度為強度閾值以下而過弱、或者反射光的s/n為閾值以下而噪聲過多的情況下，判定為對象像素的距離值無效。

距離圖像生成裝置110通過針對多個對象像素的距離值的有效判定處理，判定是否獲得了多個有效距離值(s204)。在獲得了多個有效距離值的情況下(s204：是)，距離圖像生成裝置110進行從多個有效距離值中選擇最佳的距離值的距離值選擇處理(s205)。然後，距離圖像生成裝置110將所選擇出的最佳的距離值適用於合成距離圖像的對象像素的距離值。後面敘述距離值選擇處理的詳細情況。

另一方面，在未獲得多個有效距離值的情況下(s204：否)，即，在僅從多個距離圖像中的一個距離圖像獲得了對象像素的有效距離值、或者多個距離圖像全部都是對象像素的距離值無效的情況下，距離圖像生成裝置110唯一地確定對象像素的距離值(s206)。具體而言，在僅從多個距離圖像中的一個距離圖像獲得了對象像素的有效距離值的情況下，距離圖像生成裝置110將該有效距離值決定為對象圖像的距離值。所決定的對象圖像的距離值被適用於後述的通過使用了距離圖像以及強度圖像的圖像合成而輸出的合成距離圖像中的對象像素的距離值。另外，在從多個距離圖像都未獲得對象像素的有效距離值、全部是無效值的情況下，距離圖像生成裝置110將對象像素的距離值決定為無效值。所決定的對象像素的無效值作為無效值而適用於合成距離圖像的對象像素的距離值。

從步驟s202到s205/s206為止的一系列處理，以多個距離圖像中的全部像素為對象來執行。因此，在接著步驟s205以及s206的步驟s207中，距離圖像生成裝置110判定是否對多個距離圖像中的全部像素進行了從步驟s202到s205/s206為止的處理。如果對全部像素都完成了上述處理(s207：是)，則距離圖像生成裝置110結束距離圖像生成處理。如果存在未進行上述處理的像素(s207：否)，則距離圖像生成裝置110進入步驟s202，對未處理的像素進行從步驟s202到s205/s206為止的處理。如此，距離圖像生成裝置110依次變更對象像素並反覆執行上述的一系列處理，直到對多個距離圖像的全部像素完成一系列處理。然後，完成對多個距離圖像的全部像素的一系列處理而得到的各像素的距離值被適用於合成距離圖像的各像素的距離值，其結果是，形成了合成距離圖像的全部像素。

進一步，參照圖3，說明圖2的距離圖像生成處理中的圖像取得處理(s201)的詳細內容。圖3是表示圖2的距離圖像生成處理中的圖像取得處理的詳細流程的流程圖。首先，距離圖像生成裝置110的控制部115對已經設定的距離圖像的拍攝條件進行變更(s301)。在此，拍攝條件是指發光部111的發光量、受光傳感器112的曝光時間等。例如，控制部115可以基於移動體100的驅動部102的移動信息、移動體100周圍的亮度等來變更拍攝條件。

接著，距離圖像生成裝置110的運算部113取得通過發光部111的發光而產生的投射光的相位的信息和投射光被對象物反射而由受光傳感器112接受的反射光的相位的信息，使用所取得的投射光與反射光的相位差來算出距離圖像(s302)。也就是說，運算部113通過tof方式來測定距離圖像。在本例中，運算部113從發光部111接收投射光的相位的信息，從受光傳感器112接收反射光的相位的信息。

進一步，運算部113將所算出的距離圖像和與距離圖像同時取得的強度圖像保存於存儲器114(s303)。與距離圖像同時取得的強度圖像表示強度圖像的各像素的受光量的強度，各像素的受光量的強度是在距離圖像的計算中使用了相位的反射光的強度。

接著，控制部115判定是否取得了預先設定的幀數、即預先設定的張數的距離圖像(s304)。控制部115如果未完成預先設定的張數的距離圖像的拍攝(s304：否)，則進入步驟s301，將拍攝條件變更為下一拍攝條件，取得距離圖像以及強度圖像。控制部115如果完成了預先設定的張數的距離圖像的拍攝(s304：是)，則進入步驟s202。如此，控制部115反覆測定距離圖像，直到距離圖像以及強度圖像的數量達到預先設定的張數。

接著，參照圖4來說明圖2的距離圖像生成處理中的距離值的有效判定處理(s203)的詳細內容。圖4是表示圖2的距離圖像生成處理中的距離值的有效判定處理(s203)的詳細流程的流程圖。

距離圖像生成裝置110的運算部113從保存在存儲器114中的距離圖像與強度圖像的對中選出一個對，讀取在步驟s202中選擇出的對象像素的距離值以及強度值(s401)。在此，在強度圖像的像素所表示的強度值比一定的值大的情況下，存在受光量飽和的可能性。即，與該像素對應的距離圖像的像素所表示的距離值有可能是無法信賴的值。另外，在強度圖像的像素所表示的強度值比一定的值小的情況下，使用過低的受光量的光而取得的距離值有可能會不穩定。

因此，運算部113判定強度圖像的對象像素所表示的強度值是否為預定範圍內的值(s402)。在對象像素的強度值不是預定範圍內的值的情況下(s402：否)，運算部113決定為在距離圖像中對應的對象像素的距離值不是有效的，將該距離值替換成無效值(s404)，進入步驟s405。在對象像素的強度值是預定範圍內的值的情況下(s402：是)，運算部113決定為對象像素的距離值有效(s403)，進入步驟s405。然後，運算部113對預先設定的張數的距離圖像以及強度圖像，判定是否完成了從步驟s401到s404的處理(s405)。運算部113如果完成了對距離圖像以及強度圖像各自的處理(s405：是)，則進入步驟s204，在未完成的情況下(s405：否)，進入步驟s401。然後，運算部113對未處理的距離圖像以及強度圖像進行從步驟s401到s404的處理。如此，運算部113反覆進行對對象像素的上述一系列處理，直到對拍攝的設定張數的距離圖像以及強度圖像執行了上述一系列處理為止。

接著，參照圖5來說明圖2的距離圖像生成處理中的距離值的選擇處理(s205)的詳細內容。圖5是表示圖2的距離圖像生成處理中的距離值的選擇處理(s205)的詳細流程的流程圖。距離圖像生成裝置110的運算部113在對於通過步驟s202選擇出的對象像素通過前述的有效判定處理(s203)從多個距離圖像中獲得了有效距離值的情況下，執行後述的處理。

首先，運算部113從距離圖像與強度圖像的多個對中選擇第一個對(s501)。接著，運算部113從所選擇出的距離圖像中讀取對象像素的距離值dn1，從所選擇出的強度圖像中讀取與對象像素對應的像素的強度值in1(s502)。進一步，運算部113使用這些讀取的距離值dn1和強度值in1，判定距離值dn1是否為有效值(s503)。運算部113在距離值是有效值的情況下(s503：是)，進入步驟s504，在距離值不是有效值的情況下(s503：否)，進入步驟s501，選擇其他的距離圖像與強度圖像的對。

接著，運算部113使用距離值dn1和強度值in1，進行輸出距離值d以及最大強度值imax的初始化(s504)。也就是說，運算部113將所讀取的距離值dn1以及強度值in1分別決定為輸出距離值d以及最大強度值imax的初始值。

接著，運算部113選擇距離圖像與強度圖像的另一個對(s505)。進一步，運算部113從所選擇出的距離圖像中讀取對象像素的距離值dnk，從強度圖像中讀取對應的像素的強度值ink(s506)。

進一步，運算部113判定所讀取的距離值dnk是否為有效值(s507)。運算部113在距離值dnk是有效值的情況下(s507：是)，進入步驟s508，在距離值dnk不是有效值的情況下(s507：否)，進入步驟s510。

在步驟s508中，運算部113對當前設定的最大強度值imax與新取得的強度值ink進行比較。在強度值ink比最大強度值imax大的情況下(s508：是)，運算部113將輸出距離值d以及最大強度值imax分別更新為新取得的距離值dnk以及強度值ink(s509)。在強度值ink為最大強度值imax以下的情況下(s508：否)，運算部113進入步驟s510。

在步驟s510中，運算部113對預先設定的張數的距離圖像以及強度圖像，判定是否完成了從步驟s505到s509的處理(s510)。運算部113如果完成了對距離圖像以及強度圖像各自的處理(s510：是)，則進入步驟s511，將當前設定的輸出距離值d設定為對象像素的最佳的距離值(s511)。運算部113在未完成對距離圖像以及強度圖像各自的處理的情況下(s510：否)，進入步驟s505，對未處理的距離圖像以及強度圖像進行從步驟s505到s509的處理。運算部113反覆進行上述那樣的對對象像素的一系列處理，直到對設定張數的距離圖像以及強度圖像執行了該一系列處理為止。然後，在完成了設定張數的處理之後，運算部113如步驟s511那樣，輸出當前設定的輸出距離值d來作為要輸出的距離圖像的對象像素的最佳距離值。

接著，說明實施方式涉及的距離圖像生成裝置110取得的距離圖像、強度圖像及合成距離圖像的例子、和距離圖像生成裝置110根據距離圖像以及強度圖像取得合成距離圖像的例子。圖6是表示由實施方式涉及的距離圖像生成裝置110取得的距離圖像以及強度圖像的一例的概略圖。

圖6的(a-1)是在發光部的發光量或者受光傳感器的曝光時間比預定的值小的拍攝條件下測定到的距離圖像的一例。在本例中，對象物離受光傳感器越遠，則以明亮度越低的顏色來表現。圖6的(a-2)是在發光部的發光量或者受光傳感器的曝光時間比預定的值小的拍攝條件下測定到的強度圖像的一例。在本例中，受光量即強度越大的地方，以明亮度越高的顏色來表現。圖6的(a-3)表示通過拍攝來取得圖6的(a-1)以及(a-2)的圖像時的拍攝環境的俯視圖。圖中的黑點表示受光傳感器的位置，從受光傳感器擴展的扇形區域表示受光傳感器的拍攝視角，位於扇形區域內的四邊形區域表示對象物。另外，表示拍攝視角的扇形區域內的無色區域示出獲得成為有效值的距離值的有效區域，扇形區域內的著色區域示出距離值為無效值的無效區域。

圖6的(b-1)是在發光部的發光量或者受光傳感器的曝光時間比預定的值大的拍攝條件下測定到的距離圖像的一例。在本例中，對象物離受光傳感器越遠，則以明亮度越低的顏色來表現。圖6的(b-2)是在發光部的發光量或者受光傳感器的曝光時間比預定的值大的拍攝條件下測定到的強度圖像的一例。在本例中，受光量越大的地方，以明亮度越高的顏色來表現。圖6的(b-3)表示通過拍攝來取得圖6的(b-1)以及(b-2)的圖像時的拍攝環境的俯視圖。圖中的黑點表示受光傳感器的位置，從受光傳感器擴展的扇形區域表示受光傳感器的拍攝視角，位於扇形區域內的四邊形區域表示對象物。另外，表示拍攝視角的扇形區域內的無色區域示出距離值的有效區域，著色區域示出距離值的無效區域。

如圖6所示，根據發光部的發光量的不同，在距離圖像中，能夠取得距離值的有效值的區域發生變化。

圖7是針對按每個拍攝幀一邊使發光部的發光量或者受光傳感器的曝光時間變化一邊拍攝到的距離圖像，以與圖6的(a-3)以及(b-3)同樣的方式來表現距離值的有效區域的變化的概略圖。

通過發光量或者曝光時間等拍攝條件按每個拍攝幀發生變化，從距離圖像獲得距離值的有效值的區域發生變化。本例以按每個拍攝幀使發光部的發光量和受光傳感器的曝光時間的某一方的拍攝條件改變來進行拍攝作為前提。本例示出通過改變了拍攝條件的幀a和幀b的共2次拍攝來進行距離測定的情形。此外，在本例中，為了簡單起見，將拍攝幀數設為2個來進行說明，但拍攝幀數不限於2個，可以設定為任意的數量。另外，圖7所示的例子對於幀a和幀b的拍攝條件的組合，示出3種類型的組合(a)、(b)以及(c)。

圖7所示的各圖是與圖6的(a-3)以及(b-3)所示的圖同樣的圖，黑點、扇形區域以及扇形區域內的四邊形區域分別表示受光傳感器、拍攝視角以及對象物。扇形區域內部的無色區域表示距離值的有效區域，著色區域表示距離值的無效區域。另外，扇形區域內部的無色區域與著色區域的邊界的虛線表示距離值的有效區域與無效區域的邊界。

圖7的(a)是表示距離值的有效區域與無效區域的邊界對於幀a和幀b而言一致的情況的圖。此時，在幀a和幀b的各像素中，具有有效值的像素只存在於一方的幀，因此合成距離值後的合成距離圖像的各像素的距離值由具有有效值的幀所表示的距離值來唯一決定。

圖7的(b)是表示在幀a和幀b之間沒有重疊的距離值的有效區域但卻存在重疊的距離值的無效區域的情況的圖。重疊的無效區域存在於幀a的有效區域與無效區域的邊界線和幀b的有效區域與無效區域的邊界線之間。某個幀中的具有距離值的有效值的像素，在合成距離圖像中也具有有效值，而無論在哪個幀中距離值都為無效值的像素在合成距離圖像中也具有無效值。

圖7的(c)是表示在幀a和幀b之間存在重疊的距離值的有效區域的情況的圖。關於某一方的幀中的距離值為無效值的像素，在合成距離圖像中適用具有有效值的幀的距離值。關於無論在哪個幀中都具有有效值的像素，在合成距離圖像中合成距離值。具體而言，選擇各幀的強度圖像中的對應像素中的強度值高的一方的像素，適用與所選擇出的像素對應的距離圖像的像素的距離值。

圖8是表示由實施方式涉及的距離圖像生成裝置110取得的距離圖像的數據構造的一例的圖。本例以按每個拍攝幀使發光部的發光量和受光傳感器的曝光時間的某一方的拍攝條件改變來進行拍攝作為前提。本例示出通過改變了拍攝條件的幀a和幀b的共2次拍攝來進行距離測定的情形。對於幀a，在發光量比預定的值大的狀態下進行拍攝，對於幀b，在發光量比預定的值小的狀態下進行拍攝。

圖8的(a-1)表示幀a的距離圖像例，圖8的(b-1)表示幀b的距離圖像例。圖8的(a-2)和(b-2)分別是將在幀a和b的距離圖像中互相對應的同像素區域從各距離圖像中切取並放大顯示的圖。所切取出的像素區域，在被設定為距離圖像的像素且基於像素數的xy坐標系中相當於坐標(x，y)從(m，n)到(m+4，n+3)的像素區域。此外，x坐標以及y坐標是整數。

圖8的(a-3)和(b-3)分別是表示圖8的(a-2)和(b-2)的像素區域內的各像素所包含的距離值的表。此外，距離值的單位是米。進而，表中的距離值「nan」表示像素的距離值為無效值。

圖8的(a-4)和(b-4)分別表示圖8的(a-3)和(b-3)的各像素所包含的距離值的存儲圖。如這些存儲圖所示，像素的坐標值和各坐標所保存的距離值以成對的方式進行組合，例如保存於圖1所示的距離圖像生成裝置的存儲器。

圖9是表示由實施方式涉及的距離圖像生成裝置110取得的強度圖像的數據構造的一例的圖。本例以按每個拍攝幀使發光部的發光量和受光傳感器的曝光時間的某一方的拍攝條件改變來進行拍攝作為前提。本例示出通過改變了拍攝條件的幀a和幀b的共2次拍攝來進行距離測定的情形。對於幀a，在發光量比預定的值大的狀態下進行拍攝，對於幀b，在發光量比預定的值小的狀態下進行拍攝。

圖9的(a-1)表示幀a的強度圖像例，圖9的(b-1)表示幀b的強度圖像例。另外，這些強度圖像可以在取得圖8的距離圖像時同時獲得。

圖9的(a-2)和(b-2)分別是將在幀a和b的強度圖像中互相對應的同像素區域從各強度圖像中切取並放大顯示的圖。所切取出的像素區域，在被設定為強度圖像中的像素且基於像素數的xy坐標系中相當於坐標(x，y)從(m，n)到(m+4，n+3)的像素區域。此外，強度圖像的坐標系與距離圖像的坐標系相同，強度圖像的x坐標以及y坐標也是整數。

圖9的(a-3)和(b-3)分別是表示圖9的(a-2)和(b-2)的像素區域內的各像素所包含的強度值的表。此外，強度值的單位是百分率，強度值表示所接受的反射光相對於投射光的比例，也稱為反射強度值。

圖9的(a-4)和(b-4)分別表示圖9的(a-3)和(b-3)的各像素所包含的強度值的存儲圖。如這些存儲圖所示，像素的坐標值和各坐標所保存的強度值以成對的方式進行組合，例如保存於圖1所示的距離圖像生成裝置的存儲器。

圖10是表示由實施方式涉及的距離圖像生成裝置110取得的距離圖像以及強度圖像的數據構造的存儲圖。圖10是對圖8的結果和圖9的結果進行匯總而得到的。如這些存儲圖所示，按每個拍攝幀，對距離圖像和強度圖像的各像素所包含的值進行組合，例如保存於圖1所示的距離圖像生成裝置的存儲器。各幀的各像素與其距離值以及反射強度值這兩個值相關聯。例如，距離圖像生成裝置110在用於生成合成距離圖像的幀a和幀b的合成時，按2個幀間對應的每個像素，向存儲器查詢距離值以及反射強度值。

圖11是由實施方式涉及的距離圖像生成裝置110取得的合成距離圖像的數據構造的存儲圖。本例示出對圖10中的幀a和幀b的距離圖像進行了合成的結果的存儲圖。如該存儲圖所示，對像素的坐標值與該像素中的幀a和幀b的距離值的合成距離值進行組合，例如保存於圖1所示的距離圖像生成裝置的存儲器。在合成距離圖像生成時，根據圖10所示的幀a和幀b之間的各像素的反射強度值的強弱，選擇將哪個幀的距離值反映於合成距離圖像的各像素。例如，對於本例所示的坐標(m+2，n+2)的像素，距離值在幀a和幀b之間不同。該情況下，採用反射強度強的幀a的距離值，並反映於合成距離圖像的合成距離值。另外，對於坐標(m+3，n+3)的像素，幀a的反射強度值為100％，呈現已飽和的狀態，將距離值作為「nan」而設定為無效值。因此，採用幀b的距離值，並反映於合成距離圖像的合成距離值。如此，在生成合成距離圖像時，在所拍攝到的多個幀間，以各像素的反射強度的值為線索，從單個幀的距離圖像中選擇距離值。針對所拍攝到的幀的全部像素，通過進行所述步驟而獲得合成距離圖像。

如上所述，根據實施方式涉及的距離圖像生成裝置110，從發光量和曝光時間的至少一方不同的多個距離圖像中，基於距離圖像中的各像素的受光強度的值，提取受光強度更大的像素，使用所提取出的像素生成合成距離圖像。例如，在距離圖像內存在移動物體的情況下、或者在距離圖像生成裝置110自身一邊移動一邊取得距離圖像的情況下，對象物的位置在多個距離圖像間發生移動。然而，對於受光強度較大的像素，由於像素的距離值的精度變高，因此，在使用多個距離圖像的對應的像素中的受光強度更大的距離圖像的像素而合成的合成距離圖像中，能抑制抖動等不清晰部分的生成。由此，對於距離圖像生成裝置110生成的合成距離圖像，能獲得穩定的距離精度。

另外，根據實施方式涉及的距離圖像生成裝置110，從距離圖像的像素中，提取基於受光強度的有效像素，所提取出的有效像素被用於合成距離圖像的生成。並且，有效像素與預定範圍內的受光強度的像素對應。例如，預定的範圍既可以是第1閾值以上的受光強度的範圍，也可以是第2閾值以下的受光強度的範圍，還可以是第1閾值以上且第2閾值以下的受光強度的範圍。由此，能抑制使用對於距離圖像的距離值的計算而言反射光的受光強度不適當的像素生成合成距離圖像。例如，通過將第1閾值設定為無法穩定取得距離值那樣小的受光強度等，能抑制合成距離圖像的像素具有不準確的距離。通過將第2閾值設定為例如反射光閃白那樣的飽和的受光強度等，能抑制合成距離圖像的像素具有不準確的距離。

另外，根據實施方式涉及的距離圖像生成裝置110，在多個距離圖像之間的對應的像素的組合中僅包含一個有效像素的情況下，與受光強度無關地將該一個有效像素用於合成距離圖像。例如，在多個距離圖像之間僅有一個有效像素的情況下，由於無法進行受光強度的比較，如果不將有效像素適用於合成距離圖像，則有可能會導致合成距離圖像中的像素的缺損增多。然而，通過將該一個有效像素用於合成距離圖像，能抑制因像素的缺損而導致合成距離圖像不清晰。

(其他實施方式)

以上，基於實施方式對一個或多個技術方案涉及的距離圖像生成裝置進行了說明，但本公開並不限定於該實施方式。在不脫離本公開的主旨的範圍內，在本實施方式中實施本領域技術人員能想到的各種變形而得到的方案、或組合不同實施方式中的構成要素而構成的方案，也可以包含在一個或多個技術方案的範圍內。

本公開的總括性或具體的技術方案既可以通過裝置、方法、集成電路、電腦程式或計算機可讀取的cd-rom等記錄介質來實現，也可以通過裝置、方法、集成電路、電腦程式和記錄介質的任意組合來實現。

例如，本公開涉及的距離圖像生成裝置的各構成要素也可以由專用的硬體構成、或通過執行適於各構成要素的軟體程序來實現。各構成要素也可以通過cpu或處理器等程序執行部將記錄在硬碟或半導體存儲器等記錄介質中的軟體程序讀出並執行來實現。此外，各構成要素既可以由進行集中控制的單獨的要素來構成，也可以由相互合作進行分散控制的多個要素來構成。

另外，距離圖像生成裝置的各構成要素也可以是lsi(largescaleintegration：大規模集成電路)、系統lsi等電路。多個構成要素既可以作為整體而構成一個電路，也可以分別構成不同的電路。另外，電路分別既可以通用的電路，也可以是專用的電路。

系統lsi是將多個構成部集成在一個晶片上而製造出的超多功能lsi，具體而言，是包括微處理器、rom、ram等而構成的計算機系統。在ram中存儲有電腦程式。通過微處理器按照電腦程式進行工作，系統lsi實現其功能。系統lsi以及lsi既可以是能夠在lsi製造後進行編程的fpga(fieldprogrammablegatearray，現場可編程門陣列)，也可以是能夠對lsi內部的電路單元的連接以及設定進行重構的可重構處理器(reconfigurableprocessor)。

另外，距離圖像生成裝置的各構成要素的一部分或者全部也可以由能夠裝卸的ic卡或者單個模塊來構成。ic卡或模塊是由微處理器、rom、ram等構成的計算機系統。ic卡或模塊也可以包括上述的lsi或者系統lsi。通過微處理器按照電腦程式進行工作，ic卡或模塊實現其功能。這些ic卡以及模塊也可以具有抗篡改性。

另外，本公開涉及的距離圖像生成方法也可以通過mpu、cpu、處理器、lsi等電路、ic卡或單個模塊等來實現。在此，上述距離圖像生成方法如下。

即，距離圖像生成方法是生成表示與對象物的距離的距離圖像的距離圖像生成方法，包括：(a1)對位於拍攝視角內的對象物，在不同的定時發出發光量和曝光時間的至少一方互不相同的第1光和第2光，(a2)接受所述第1光被所述對象物反射後的第1反射光和所述第2光被所述對象物反射後的第2反射光，(a3)算出所述第1光與所述第1反射光的相位差，生成表現到所述對象物的距離的第1距離圖像，(a4)生成按所述第1距離圖像的每個像素表現所述第1反射光的受光強度的第1受光強度圖像，(a5)算出所述第2光與所述第2反射光的相位差，生成表現到所述對象物的距離的第2距離圖像，(a6)生成按所述第2距離圖像的每個像素表現所述第2反射光的受光強度的第2受光強度圖像，(a7)使用所述第1受光強度圖像以及所述第2受光強度圖像，對所述第1距離圖像和所述第2距離圖像進行合成，生成合成距離圖像，在所述合成距離圖像的生成中，從所述第1距離圖像以及所述第2距離圖像中提取與所述第1受光強度圖像和所述第2受光強度圖像之間的對應的像素中的表示較大的受光強度的像素對應的所述距離圖像的像素，將所提取出的像素用於所述合成距離圖像。

另外，本公開涉及的距離圖像生成裝置以及距離圖像生成方法中的處理也可以通過軟體程序或者由軟體程序形成的數位訊號來實現。此外，上述程序以及由上述程序形成的數位訊號也可以記錄於計算機可讀取的記錄介質、例如軟盤、硬碟、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(註冊商標)disc)、半導體存儲器等。另外，上述程序以及由上述程序形成的數位訊號也可以經由電通信線路、無線或有線通信線路、以網際網路為代表的網絡、數據播放等進行傳輸。另外，上述程序以及由上述程序形成的數位訊號也可以通過記錄在記錄介質中進行移送、或者通過經由網絡等進行移送，由此通過獨立的其他計算機系統來實施。在此，上述軟體是如下的程序。

即，該程序是使計算機執行的程序，(b1)取得在不同的定時對位於拍攝視角內的對象物發出的第1光以及第2光的信息，在此，對於所述第1光和所述第2光，發光量和曝光時間的至少一方互不相同，(b2)取得所述第1光被所述對象物反射後的第1反射光的受光信息和所述第2光被所述對象物反射後的第2反射光的受光信息，(b3)算出所述第1光與所述第1反射光的相位差，生成表現到所述對象物的距離的第1距離圖像，(b4)生成按所述第1距離圖像的每個像素表現所述第1反射光的受光強度的第1受光強度圖像，(b5)算出所述第2光與所述第2反射光的相位差，生成表現到所述對象物的距離的第2距離圖像，(b6)生成按所述第2距離圖像的每個像素表現所述第2反射光的受光強度的第2受光強度圖像，(b7)使用所述第1受光強度圖像以及所述第2受光強度圖像，對所述第1距離圖像和所述第2距離圖像進行合成，生成合成距離圖像，在所述合成距離圖像的生成中，從所述第1距離圖像以及所述第2距離圖像中提取與所述第1受光強度圖像和所述第2受光強度圖像之間的對應的像素中的表示較大的受光強度的像素對應的距離圖像的像素，將所提取出的像素用於所述合成距離圖像。