特許 7262064 測距撮像システム、測距撮像方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-13

(45)【発行日】2023-04-21

(54)【発明の名称】測距撮像システム、測距撮像方法、及びプログラム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20230414BHJP

   G01S 17/86 20200101ALI20230414BHJP

【ＦＩ】

G01S17/89

G01S17/86

【請求項の数】 15

(21)【出願番号】P 2021508967

(86)(22)【出願日】2020-03-09

(86)【国際出願番号】 JP2020010092

(87)【国際公開番号】W WO2020195755

(87)【国際公開日】2020-10-01

【審査請求日】2021-09-15

(31)【優先権主張番号】P 2019059472

(32)【優先日】2019-03-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】薄田 学

(72)【発明者】

【氏名】香山 信三

(72)【発明者】

【氏名】小田川 明弘

【審査官】佐藤 宙子

(56)【参考文献】

【文献】特表２０１８－５０６７００（ＪＰ，Ａ）

【文献】特開２００８－００８６８７（ＪＰ，Ａ）

【文献】特開平０４－１６９８０５（ＪＰ，Ａ）

【文献】特開２０１９－０１２９１５（ＪＰ，Ａ）

【文献】特開２０１６－０９１５１６（ＪＰ，Ａ）

【文献】特開２０１８－０４４９４２（ＪＰ，Ａ）

【文献】米国特許第９２１５３８２（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１８／０２４９１４３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－ ７／５１

Ｇ０１Ｓ １３／００－１３／９５

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０１Ｃ ３／００－ ３／３２

Ｇ０６Ｔ １／００－ ５／５０

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

対象空間の第１の２次元画像を取得する撮像部から、前記第１の２次元画像を示す第１の２次元データを取得する第１取得部と、
前記対象空間の第１の３次元画像を取得する測距部から、前記第１の３次元画像を示す第１の３次元データを取得する第２取得部と、
同軸光学系で、前記対象空間の第２の２次元画像と第２の３次元画像とを取得する検出部から、前記第２の２次元画像を示す第２の２次元データと前記第２の３次元画像を示す第２の３次元データとを取得する第３取得部と、
前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の３次元データと前記第２の３次元データとを対応付ける第２対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第３対応付け処理と、を実行する演算処理部と、
を備え、
前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第２対応付け処理は、前記第１の３次元画像に含まれる対象物までの距離の情報及び前記第２の３次元画像に含まれる対象物までの距離の情報に基づいて、前記第１の３次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第３対応付け処理は、前記第１対応付け処理の結果、前記第２対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像システム。

【請求項2】

前記演算処理部は、
前記第１の２次元画像の各画素の画素値を、前記第２の２次元画像における対応する画素領域へ割り当て変換して演算２次元画像を生成する２次元画像変換部と、
前記第１の３次元画像の各画素の画素値を、前記第２の３次元画像における対応する画素領域へ割り当て変換して演算３次元画像を生成する３次元画像変換部と、
前記演算２次元画像と前記演算３次元画像とに基づき、前記第１の２次元データと前記第１の３次元データとを対応付けた融合データを生成する融合データ生成部と、
を備える、
請求項１に記載の測距撮像システム。

【請求項3】

前記検出部は、
前記対象空間を、前記検出部からの距離に基づいて複数の距離範囲に分割して、複数の距離範囲にそれぞれ対応する複数の２次元画像を生成し、
前記複数の２次元画像を、前記距離範囲を識別せず合成することによって、前記第２の２次元画像を生成し、
前記複数の２次元画像を、前記距離範囲を識別して合成することによって、前記第２の３次元画像を生成し、
前記第２の２次元画像に含まれる複数の画素と、前記第２の３次元画像に含まれる複数の画素とが、１対１で対応する、
請求項１又は２に記載の測距撮像システム。

【請求項4】

前記撮像部と前記検出部とは、互いに異なる光軸を有し、
前記測距部と前記検出部とは、互いに異なる光軸を有する、
請求項１～３のいずれか１項に記載の測距撮像システム。

【請求項5】

前記撮像部と前記検出部とは、互いに異なる空間分解能を有し、
前記測距部と前記検出部とは、互いに異なる距離分解能を有する、
請求項１～４のいずれか１項に記載の測距撮像システム。

【請求項6】

前記撮像部、前記測距部、及び前記検出部のうちの少なくとも一つを更に備える、
請求項１～５のいずれか１項に記載の測距撮像システム。

【請求項7】

対象空間の第１の２次元画像を取得する撮像部から、前記第１の２次元画像を示す第１の２次元データを取得する第１取得ステップと、
前記対象空間の第１の３次元画像を取得する測距部から、前記第１の３次元画像を示す第１の３次元データを取得する第２取得ステップと、
同軸光学系で、前記対象空間の第２の２次元画像と第２の３次元画像とを取得する検出部から、前記第２の２次元画像を示す第２の２次元データと前記第２の３次元画像を示す第２の３次元データとを取得する第３取得ステップと、
前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の３次元データと前記第２の３次元データとを対応付ける第２対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第３対応付け処理と、を実行する処理ステップと、
を含み、
前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第２対応付け処理は、前記第１の３次元画像に含まれる対象物までの距離の情報及び前記第２の３次元画像に含まれる対象物までの距離の情報に基づいて、前記第１の３次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第３対応付け処理は、前記第１対応付け処理の結果、前記第２対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像方法。

【請求項8】

１以上のプロセッサに、請求項７の測距撮像方法を実行させるための、
プログラム。

【請求項9】

第１の２次元画像を示す第１の２次元データを取得する第１取得部と、
同軸光学系で取得された第２の２次元画像を示す第２の２次元データと第１の３次元画像を示す第１の３次元データとを取得する第２取得部と、
前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第２対応付け処理と、を実行する演算処理部と、
を備え、
前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第２対応付け処理は、前記第１対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像システム。

【請求項10】

前記演算処理部は、
前記第１の２次元データの各画素の画素値を、前記第２の２次元データにおける対応する画素領域へ割り当て変換して演算２次元データを生成することで、前記第１の２次元データと前記第２の２次元データとを対応付ける処理を行う２次元データ変換部と、
前記演算２次元データと前記第１の３次元データとに基づき、前記第１の２次元データと前記第１の３次元データとを対応付けた融合データを生成する融合データ生成部と、
を備える、
請求項９に記載の測距撮像システム。

【請求項11】

前記第２の２次元データに含まれる複数の画素と、前記第１の３次元データに含まれる複数の画素とが、１対１で対応する、
請求項９又は１０に記載の測距撮像システム。

【請求項12】

前記第１取得部と前記第２取得部とは、互いに異なる光軸を有する、
請求項９～１１のいずれか１項に記載の測距撮像システム。

【請求項13】

前記第１取得部と前記第２取得部とは、互いに異なる空間分解能を有する、
請求項９～１２のいずれか１項に記載の測距撮像システム。

【請求項14】

第１の２次元画像を示す第１の２次元データを取得する第１取得ステップと、
同軸光学系で取得された第２の２次元画像を示す第２の２次元データ第１の３次元画像を示す第１の３次元データとを取得する第２取得ステップと、
前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第２対応付け処理と、を実行する処理ステップと、
を含み、
前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第２対応付け処理は、前記第１対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像方法。

【請求項15】

１以上のプロセッサに、請求項１４の測距撮像方法を実行させるための、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、測距撮像システム、測距撮像方法、及びプログラムに関し、より詳細には、対象空間の輝度情報と距離情報とを取得する測距撮像システム、測距撮像方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、画像対応付け方法が開示されている。

【0003】

この画像対応付け方法では、レーザースキャナによって計測対象の三次元点群データを得ると共に、計測対象を撮影して二次元カラー画像を取得する。次に、二次元カラー画像上において任意に３点以上を選択し、当該選択した各点に、三次元点群データに基づく三次元位置情報を与える。そして、選択点の三次元位置情報に基づいて、計測対象の撮影時におけるカメラとレーザースキャナとの相対的な位置関係を算出する。そして、算出した相対的な位置関係と、選択した点における三次元位置情報とに基づいて、点群データの各点のデータにカラー画像の画像データを対応させる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－７７３８５号公報

【発明の概要】

【0005】

別々に配置されているカメラの画像（輝度情報）とレーザースキャナのデータ（距離情報）とを対応付ける場合、これらの装置のデータの取得タイミング、視点、データ形式等が異なるため、データの対応付けが難しい。

【0006】

本開示は、輝度情報と距離情報とを対応付けたデータを得ることが可能な測距撮像システム、測距撮像方法、及びプログラムを提供することを目的とする。

【0007】

本開示の一態様に係る測距撮像システムは、第１取得部と、第２取得部と、第３取得部と、演算処理部と、を備える。前記第１取得部は、対象空間の第１の２次元画像を取得する撮像部から、前記第１の２次元画像を示す第１の２次元データを取得する。前記第２取得部は、前記対象空間の第１の３次元画像を取得する測距部から、前記第１の３次元画像を示す第１の３次元データを取得する。前記第３取得部は、同軸光学系で前記対象空間の第２の２次元画像と第２の３次元画像とを取得する検出部から、前記第２の２次元画像を示す第２の２次元データと前記第２の３次元画像を示す第２の３次元データとを取得する。前記演算処理部は、前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の３次元データと前記第２の３次元データとを対応付ける第２対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第３対応付け処理と、を実行する。前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。前記第２対応付け処理は、前記第１の３次元画像に含まれる対象物までの距離の情報及び前記第２の３次元画像に含まれる対象物までの距離の情報に基づいて、前記第１の３次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。前記第３対応付け処理は、前記第１対応付け処理の結果、前記第２対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。

【0008】

本開示の一態様に係る測距撮像方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、処理ステップと、を含む。前記第１取得ステップは、対象空間の第１の２次元画像を取得する撮像部から、前記第１の２次元画像を示す第１の２次元データを取得することを含む。前記第２取得ステップは、前記対象空間の第１の３次元画像を取得する測距部から、前記第１の３次元画像を示す第１の３次元データを取得することを含む。前記第３取得ステップは、同軸光学系で前記対象空間の第２の２次元画像と第２の３次元画像を取得する検出部から、前記第２の２次元画像を示す第２の２次元データと前記第２の３次元画像を示す第２の３次元データとを取得することを含む。前記処理ステップは、前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の３次元データと前記第２の３次元データとを対応付ける第２対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第３対応付け処理と、を実行することを含む。前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。前記第２対応付け処理は、前記第１の３次元画像に含まれる対象物までの距離の情報及び前記第２の３次元画像に含まれる対象物までの距離の情報に基づいて、前記第１の３次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。前記第３対応付け処理は、前記第１対応付け処理の結果、前記第２対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第２の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。

【0009】

本開示の一態様に係る測距撮像システムは、第１取得部と、第２取得部と、演算処理部と、を備える。前記第１取得部は、第１の２次元画像を示す第１の２次元データを取得する。前記第２取得部は、同軸光学系で取得された第２の２次元画像を示す第２の２次元データと第１の３次元画像を示す第１の３次元データとを取得する。前記演算処理部は、前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第２対応付け処理と、を実行する。前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。前記第２対応付け処理は、前記第１対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。

【0010】

本開示の一態様に係る測距撮像方法は、第１取得ステップと、第２取得ステップと、処理ステップと、を含む。前記第１取得ステップは、第１の２次元画像を示す第１の２次元データを取得することを含む。前記第２取得ステップは、同軸光学系で取得された第２の２次元画像を示す第２の２次元データと第１の３次元画像を示す第１の３次元データとを取得することを含む。前記処理ステップは、前記第１の２次元データと前記第２の２次元データとを対応付ける第１対応付け処理と、前記第１の２次元データと前記第１の３次元データとを対応付ける第２対応付け処理と、を実行することを含む。前記第１対応付け処理は、前記第１の２次元画像に含まれる対象物の特徴量及び前記第２の２次元画像に含まれる対象物の特徴量に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第２の２次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。前記第２対応付け処理は、前記第１対応付け処理の結果、及び１対１に対応する前記第２の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との対応関係に基づいて、前記第１の２次元画像に含まれる複数の画素と前記第１の３次元画像に含まれる複数の画素との間の対応付けを行う処理を含む。

【0011】

本開示の一態様に係るプログラムは、１以上のプロセッサに、上記の測距撮像方法を実行させるためのプログラムである。

【図面の簡単な説明】

【0012】

【図1】図１は、一実施形態の測距撮像システムのブロック図である。

【図2】図２は、同上の測距撮像システムにおける撮像部のブロック図である。

【図3】図３は、同上の測距撮像システムにおける測距部のブロック図である。

【図4】図４は、同上の測距撮像システムにおける検出部のブロック図である。

【図5】図５は、同上の測距部の動作説明図である。

【図6】図６は、同上の測距撮像システムにおける信号処理部のブロック図である。

【図7】図７Ａは、同上の撮像部で取得される第１輝度画像の一例を示す図である。図７Ｂは、図７ＡのＡ１部分の拡大図である。

【図8】図８Ａは、同上の測距部で取得される第１距離画像の一例を示す図である。図８Ｂは、図８ＡのＡ２部分の拡大図である。

【図9】図９Ａは、同上の検出部で取得される第２輝度画像の一例を示す図である。図９Ｂは、図９ＡのＡ３部分の拡大図である。

【図10】図１０Ａは、同上の検出部で取得される第２距離画像の一例を示す図である。図１０Ｂは、図１０ＡのＡ４部分の拡大図である。

【図11】図１１は、変形例１の測距撮像システムのブロック図である。

【図12】図１２は、同上の測距撮像システムにおける融合データの生成手順を説明する図である。

【発明を実施するための形態】

【0013】

以下、本開示の実施形態に係る測距撮像システム１について、図面を用いて説明する。ただし、下記の実施形態は、本開示の様々な実施形態の一部に過ぎない。下記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。

【0014】

（１）実施形態
（１．１）概要
図１に示すように、本実施形態の測距撮像システム１は、第１取得部２１と、第２取得部２２と、第３取得部２３と、演算処理部３と、を備えている。

【0015】

第１取得部２１は、通信インターフェースである。第１取得部２１は、演算処理部３に接続されている。第１取得部２１は、撮像部４に接続される。第１取得部２１は、撮像部４から、第１の２次元データを取得する。第１の２次元データは、例えば、対象空間Ｓ１の第１の２次元画像に関する情報である。第１の２次元画像は、撮像部４によって取得される。第１取得部２１は、例えば、撮像部４から、対象空間Ｓ１の第１の２次元画像に関する第１の２次元データを取得する。

【0016】

第２取得部２２は、通信インターフェースである。第２取得部２２は、演算処理部３に接続されている。第２取得部２２は、測距部５に接続される。第２取得部２２は、測距部５から、第１の３次元データを取得する。第１の３次元データは、例えば、対象空間Ｓ１の第１の３次元画像に関する情報である。第１の３次元画像は、測距部５によって取得される。第１の３次元画像は、例えば、対象空間Ｓ１に存在する対象物Ｏ１までの距離を示す画像である。第２取得部２２は、例えば、測距部５から、対象空間Ｓ１の第１の３次元画像に関する第１の３次元データを取得する。

【0017】

第３取得部２３は、通信インターフェースである。第３取得部２３は、演算処理部３に接続されている。第３取得部２３は、検出部６に接続される。第３取得部２３は、検出部６から、第２の２次元データと第２の３次元データとを取得する。第２の２次元データは、例えば、対象空間Ｓ１の第２の２次元画像に関する情報である。第２の２次元画像は、検出部６によって取得される。第２の３次元データは、例えば、対象空間Ｓ１の第２の３次元画像に関する情報である。第２の３次元画像は、検出部６によって取得される。第２の３次元画像は、例えば、対象空間Ｓ１に存在する対象物Ｏ１までの距離を示す画像である。検出部６は、第２の２次元画像と第２の３次元画像とを、同軸光学系で取得する。第３取得部２３は、例えば、検出部６から、対象空間Ｓ１の第２の２次元画像に関する第２の２次元データと、対象空間Ｓ１の第２の３次元画像に関する第２の３次元データと、を取得する。

【0018】

演算処理部３は、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の３次元データと第２の３次元データとを対応付ける処理と、を実行するよう構成されている。

【0019】

本実施形態の測距撮像システム１によれば、演算処理部３は、第１の２次元データと第２の２次元データとの対応付けを行い、第１の３次元データと第２の３次元データとの対応付けを行う。すなわち、検出部６が取得する第２の２次元データと第２の３次元データとを介して、第１の２次元データと第１の３次元データとが対応付けられる。そのため、２次元データ（第１の２次元画像）と３次元データ（第１の３次元画像）とを対応付けたデータを得ることが可能となる。

【0020】

（２）構成
本実施形態の測距撮像システム１について、図１～図１０Ｂを参照して、より詳細に説明する。本実施形態では、測距撮像システム１が自動車等の車両に搭載されて障害物を検知する物体認識システムとして用いられる場合を想定するが、測距撮像システム１の用途はこれに限られない。測距撮像システム１は、例えば、物体（人）等を検知する監視カメラ、セキュリティカメラ等にも利用することができる。

【0021】

本実施形態の測距撮像システム１は、図１に示すように、信号処理部１０と、撮像部４と、測距部５と、検出部６と、を備えている。信号処理部１０は、第１取得部２１～第３取得部２３及び演算処理部３を備えている。ここでは、撮像部４、測距部５、及び検出部６は互いに異なる受光部及び光学系を有しており、互いに異なる光軸を有している。ただし、撮像部４、測距部５、及び検出部６は、概ね光軸の向きが揃っており、同一の対象空間Ｓ１からの光を受光するように配置されている。

【0022】

撮像部４は、対象空間Ｓ１の第１の２次元画像を取得する。ここでは、撮像部４は、対象空間Ｓ１を撮像して、第１の２次元画像としての第１輝度画像１００（図７Ａ参照）を取得する。撮像部４は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の固体撮像デバイスを備えている。撮像部４は、外部光を受光する。外部光は、発光体（太陽、照明装置等）から放射される放射光、放射光が対象物Ｏ１により散乱された散乱光、等である。

【0023】

撮像部４は、図２に示すように、受光部（以下、「第１受光部」ともいう）４１と、制御部（以下、「第１制御部４２」ともいう）と、光学系（以下、「第１光学系」ともいう）４３と、を備える。

【0024】

第１受光部４１は、二次元アレイ状に配置された複数の画素セルを備えている。複数の画素セルの各々は、フォトダイオード等の受光素子を備える。受光素子は、光子を電荷に変換する光電変換部である。複数の画素セルの各々は、露光している間のみ、光を受光する。画素セルの露光タイミングは、第１制御部４２によって制御される。複数の画素セルの各々は、受光素子で受けた光に応じた電気信号を出力する。電気信号の信号レベルは、受光素子が受光した光の受光量に応じた値である。

【0025】

第１光学系４３は、例えば、外部光を第１受光部４１に集光するレンズを含む。第１光学系４３は、各画素セルに入射される光の波長を選択するカラーフィルタを備えていてもよい。

【0026】

第１制御部４２は、１以上のメモリ及び１以上のプロセッサを含むコンピュータシステムにより実現され得る。すなわち、コンピュータシステムの１以上のメモリに記録されたプログラムを、１以上のプロセッサが実行することにより、第１制御部４２の機能が実現される。プログラムはメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

【0027】

第１制御部４２は、第１受光部４１を制御する。第１制御部４２は、第１受光部４１の各画素セルから出力される電気信号に基づいて、２次元画像である第１輝度画像１００を生成する。第１制御部４２は、第１の２次元データを生成し、信号処理部１０へ出力する。第１の２次元データは、ここでは、生成した第１輝度画像１００を示す第１輝度情報である。第１制御部４２は、第１輝度情報を、第１の２次元データとして、信号処理部１０（第１取得部２１）へ出力する。

【0028】

測距部５は、対象空間Ｓ１の第１の３次元画像を取得する。第１の３次元画像は、ここでは、第１距離画像２００である。測距部５は、ここではTOF（Time Of Flight）法を利用して対象物Ｏ１までの距離を測定し、第１距離画像２００（図８Ａ参照）を取得する。測距部５は、図３に示すように、受光部（以下、「第２受光部」ともいう）５１と、制御部（以下、「第２制御部」ともいう）５２と、光学系（以下、「第２光学系」ともいう）５３と、発光部（以下、「第１発光部」ともいう）５４と、を備えている。

【0029】

なお、以下では測距部５としてＴＯＦ法を利用した方法を説明するが、これに限る必要は無く、例えば、レーザーパルス光を照射して被写体からの反射光を検出し、その反射時間から距離を算出するＬｉＤＡＲ法などを用いてもよい。

【0030】

第１発光部５４は、パルス状の光を出力する第１光源を備える。第１発光部５４から出力される光は、単色光であり、パルス幅が比較的短く、ピーク強度が比較的高いことが好ましい。第１発光部５４から出力される光の波長は、人間の視感度が低く、太陽光からの外乱光の影響を受けにくい近赤外帯の波長域であることが好ましい。本実施形態では、第１発光部５４は例えばレーザーダイオードを備え、パルスレーザーを出力する。第１発光部５４の発光タイミング、パルス幅、発光方向等は、第２制御部５２によって制御される。

【0031】

第２受光部５１は、固体撮像デバイスを備えている。第２受光部５１は、第１発光部５４から出力されて対象物Ｏ１で反射された反射光を、受光する。第２受光部５１は、二次元アレイ状に配置された複数の画素セルを備える。複数の画素セルの各々は、フォトダイオード等の受光素子を備える。受光素子は、アバランシェフォトダイオードであってもよい。複数の画素セルの各々は、露光している間のみ、光を受光する。画素セルの露光タイミングは、第２制御部５２によって制御される。複数の画素セルの各々は、受光素子で受けた光に応じた電気信号を出力する。電気信号の信号レベルは、受光素子が受光した光の受光量に応じた値である。

【0032】

第２光学系５３は、例えば、反射光を第２受光部５１に集光するレンズを含む。

【0033】

第２制御部５２は、１以上のメモリ及び１以上のプロセッサを含むコンピュータシステムにより実現され得る。すなわち、コンピュータシステムの１以上のメモリに記録されたプログラムを、１以上のプロセッサが実行することにより、第２制御部５２の機能が実現される。プログラムはメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

【0034】

第２制御部５２は、第１発光部５４及び第２受光部５１を制御する。第２制御部５２は、第１発光部５４の発光タイミング、パルス幅、発光方向等を制御する。また第２制御部５２は、第２受光部５１の露光タイミング、露光時間等を制御する。

【0035】

第２制御部５２は、対象空間Ｓ１の第１の３次元画像として、対象空間Ｓ１に存在する対象物Ｏ１までの距離を示す第１距離画像２００を生成する。第２制御部５２は、例えば以下のようにして、第１距離画像２００を取得する。

【0036】

第２制御部５２は、まず、第１発光部５４からのパルス光の発光方向を決める。発光方向が決まると、第２受光部５１の複数の画素セルのうちで、パルス光が対象物Ｏ１で反射された反射光を受光し得る画素セルも、決まる。第２制御部５２は、１回の距離測定において、この画素セルから電気信号を取得する。

【0037】

図５に示すように、第２制御部５２は、１回の距離測定に対応する期間（以降、「フレームＦ１」という）を、ｎ個（ｎは、２以上の整数）の測定期間が含まれるように分割する。つまり、第２制御部５２は、１つのフレームＦ１を、第１測定期間Ｔｍ１～第ｎ測定期間Ｔｍｎのｎ個の測定期間が含まれるように分割する。例えば、各測定期間の長さは等しく設定される。

【0038】

また、図５に示すように、第２制御部５２は、各測定期間を、ｎ個の分割期間に更に分割する。ここでは、第２制御部５２は、各測定期間を、第１分割期間Ｔｓ１～第ｎ分割期間Ｔｓｎのｎ個の分割期間に等分する。

【0039】

そして、第２制御部５２は、各測定期間の最初の分割期間（第１分割期間Ｔｓ１）で、第１発光部５４からパルス光を出力させる。

【0040】

第２制御部５２は、各測定期間において、第１分割期間Ｔｓ１～第ｎ分割期間Ｔｓｎのいずれかで、第２受光部５１の（全ての）画素セルを露光させる。第２制御部５２は、第１測定期間Ｔｍ１～第ｎ測定期間Ｔｍｎにおいて、画素セルを露光させるタイミングを、第１分割期間Ｔｓ１～第ｎ分割期間Ｔｓｎまで１つずつ順次ずらす。

【0041】

具体的には、第２制御部５２は、第１測定期間Ｔｍ１では第１分割期間Ｔｓ１で画素セルを露光させ、第２測定期間Ｔｍ２では第２分割期間Ｔｓ２で画素セルを露光させ、第ｎ測定期間Ｔｍｎでは第ｎ分割期間Ｔｓｎで画素セルを露光させるというように、画素セルの露光タイミングを制御する（図５参照）。そのため、１つのフレームＦ１で見ると、画素セルは、第１分割期間Ｔｓ１～第ｎ分割期間Ｔｓｎの全てが、いずれかの測定期間において露光されることとなる。

【0042】

第２受光部５１の画素セルは、露光している期間のみ、対象物Ｏ１で反射された反射光を検知することができる。第１発光部５４が発光してから第２受光部５１に反射光が到達するまでの時間は、測距部５から対象物Ｏ１までの距離に応じて変化する。測距部５から対象物Ｏ１までの距離をｄ、光の速度をｃとすると、第１発光部５４が発光してから時間ｔ＝２ｄ／ｃ後に、反射光が第２受光部５１に到達する。したがって、第２制御部５２は、いずれの分割期間で第２受光部５１の画素セルが反射光を受光したか、言い換えれば、いずれの測定期間で第２受光部５１の画素セルが反射光を受光したか、に基づいて、当該発光方向に存在する対象物Ｏ１までの距離を、算出することができる。

【0043】

例えば図５の例では、各測定期間において第２分割期間Ｔｓ２と第３分割期間Ｔｓ３とに跨がる時間に、対象物Ｏ１からの反射光が到達している。この場合、第１分割期間Ｔｓ１で画素セルが露光される第１測定期間Ｔｍ１では、第２受光部５１は反射光の存在を検知しない。そのため、画素セルから出力される電気信号の信号レベルは、予め設定された閾値レベルよりも低くなる。一方、第２分割期間Ｔｓ２で画素セルが露光される第２測定期間Ｔｍ２、及び第３分割期間Ｔｓ３で画素セルが露光される第３測定期間Ｔｍ３では、反射光が第２受光部５１に到達するタイミングで画素セルが露光されるので、第２受光部５１は反射光を検知する。そのため、画素セルから出力される電気信号の信号レベルは、閾値レベル以上となる。これにより、第２制御部５２は、第２分割期間Ｔｓ２に対応する距離範囲及び第３分割期間Ｔｓ３に対応する距離範囲に、対象物Ｏ１が存在する、と判定することができる。言い換えれば、第２制御部５２は、第１発光部５４が発光を開始してから第２分割期間Ｔｓ２が開始するまでの期間に相当する距離（ｃ×Ｔｓ／２）と、第１発光部５４が発光を開始してから第３分割期間Ｔｓ３が終了するまでの期間に相当する距離（３×ｃ×Ｔｓ／２）と、の間の距離範囲に、対象物Ｏ１が存在する、と判定することができる。ここで、上記の「Ｔｓ」は、各分割期間の長さを示す。

【0044】

上述の説明から明らかなように、測距部５の測定可能距離（測距部５が距離測定を可能な距離の上限）は、ｎ×Ｔｓ×ｃ／２で表される。また、測距部５による距離の分解能は、Ｔｓ×ｃ／２となる。

【0045】

第２制御部５２は、第１発光部５４の発光方向を（水平方向及び／又は鉛直方向で）変更し、変更した発光方向に対応する画素セルから電気信号を取得する。これにより、複数の画素セルの各々に対応する発光方向において、対象空間Ｓ１内の対象物Ｏ１までの距離が測定される。

【0046】

第２制御部５２は、第２受光部５１の各画素セルから出力される電気信号に基づいて、各画素の値が対象空間Ｓ１に存在する対象物Ｏ１までの距離に相当する画像である第１距離画像２００を生成する。

【0047】

見方を変えれば、測距部５は、測距部５からの距離に基づいて、測定可能距離を複数（ｎ個）の距離範囲に分割している、と言える。複数の距離範囲は、第１分割期間Ｔｓ１に対応する第１距離範囲（０～Ｔｓ×ｃ／２）、第２分割期間Ｔｓ２に対応する第２距離範囲（Ｔｓ×ｃ／２～２×Ｔｓ×ｃ／２）、・・・及び、第ｎ分割期間Ｔｓｎに対応する第ｎ距離範囲（（ｎ－１）×Ｔｓ×ｃ／２～ｎ×Ｔｓ×ｃ／２）を含む。そして、測距部５は、各距離範囲において、複数の画素セルの各々を単位画素とする２次元画像を生成している、と言える。ここで、各距離範囲に対して生成される２次元画像は、例えば、当該距離範囲に対応する測定期間において、対象物Ｏ１からの反射光を受光した画素セル（つまり、信号レベルが閾値レベル以上である画素セル）の画素値が「１」、受光しなかった画素セルの画素値が「０」となるような、２値の画像である。そして、第２制御部５２は、複数の距離範囲にそれぞれ対応する複数の２次元画像を、例えば距離範囲ごとに異なる色で色づけし、さらに、閾値レベルをどれだけ上回るかに応じた重み付けをして足し合わせることで、第１距離画像２００を生成する。

【0048】

第２制御部５２は、第１の３次元データを生成し、信号処理部１０へ出力する。第１の３次元データは、ここでは、生成した第１距離画像２００を示す第１距離情報である。第２制御部５２は、第１距離情報を、第１の３次元データとして、信号処理部１０（第２取得部２２）へ出力する。

【0049】

検出部６は、対象空間Ｓ１の第２の２次元画像を取得する。ここでは、検出部６は、第２の２次元画像として、対象空間Ｓ１の第２輝度画像３００（図９Ａ参照）を取得する。また、検出部６は、対象空間Ｓ１の第２の３次元画像を取得する。第２の３次元画像は、ここでは、第２距離画像４００である。検出部６は、TOF法（TOF: Time Of Flight）を利用して対象物Ｏ１までの距離を測定し、第２距離画像４００（図１０Ａ参照）を取得する。検出部６は、図４に示すように、受光部（以下、「第３受光部」ともいう）６１と、制御部（以下、「第３制御部」ともいう）６２と、光学系（以下、「第３光学系」ともいう）６３と、発光部（以下、「第２発光部６４」ともいう）と、を備えている。

【0050】

第２発光部６４は、第１発光部５４と同様に、パルス状の光を出力する光源（第２光源）を備える。第２発光部６４から出力される光は、単色光であり、パルス幅が比較的短く、ピーク強度が比較的高いことが好ましい。第２発光部６４から出力される光の波長は、人間の視感度が低く、太陽光からの外乱光の影響を受けにくい近赤外帯の波長域であることが好ましい。本実施形態では、第２発光部６４は例えばレーザーダイオードを備え、パルスレーザーを出力する。第２発光部６４の発光タイミング、パルス幅、発光方向等は、第３制御部６２によって制御される。

【0051】

第３受光部６１は、第２受光部５１と同様に、固体撮像デバイスを備えている。第３受光部６１は、第２発光部６４から出力されて対象物Ｏ１で反射された反射波を、受光する。第３受光部６１は、二次元アレイ状に配置された複数の画素セルを備える。例えば、第３受光部６１が備える画素セルの数は、第１受光部４１が備える画素セルの数よりも少なく、第２受光部５１が備える画素セルの数よりも少ない。複数の画素セルの各々は、フォトダイオード等の受光素子を備える。受光素子は、アバランシェフォトダイオードであってもよい。複数の画素セルの各々は、露光している間のみ、光を受光する。画素セルの露光タイミングは、第３制御部６２によって制御される。複数の画素セルの各々は、受光素子で受光した光に応じた電気信号を出力する。電気信号の信号レベルは、受光素子が受光した光の受光量に応じた値である。

【0052】

第３光学系６３は、例えば、外部光及び反射光を第３受光部６１に集光するレンズを含む。

【0053】

第３制御部６２は、１以上のメモリ及び１以上のプロセッサを含むコンピュータシステムにより実現され得る。すなわち、コンピュータシステムの１以上のメモリに記録されたプログラムを、１以上のプロセッサが実行することにより、第３制御部６２の機能が実現される。プログラムはメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

【0054】

第３制御部６２は、第２発光部６４及び第３受光部６１を制御する。第３制御部６２は、第２発光部６４の発光タイミング、パルス幅、発光方向等を制御する。また第３制御部６２は、第３受光部６１の露光タイミング、露光時間等を制御する。

【0055】

第３制御部６２は、第２発光部６４からのパルス光の発光方向を決め、第３受光部６１の複数の画素セルのうちで、このパルス光の反射光を受光し得る画素セルを特定する。第３制御部６２は、１回の距離測定において、この画素セルから電気信号を取得する。

【0056】

第３制御部６２は、１回の距離測定に対応する期間を、ｘ個（ｘは、２以上の整数）の測定期間が含まれるように分割し、各測定期間を、ｘ個の分割期間に更に分割する。第３制御部６２は、各測定期間の最初の分割期間で第２発光部６４からパルス光を出力させ、複数の測定期間において互いに異なる分割期間で、第３受光部６１の画素セルを露光させる。ここでは、検出部６が距離測定を行う際の分割期間の長さＴｔは、測距部５の分割期間の長さＴｓよりも長い。第３制御部６２は、測定期間ごとに、第３受光部６１においてこの発光方向に対応する画素セルから、電気信号を取得する。

【0057】

第３制御部６２は、第２発光部６４の発光方向及び第３受光部６１の複数の画素セルのうちで電気信号を取得する画素セルを変更して、複数の画素セルそれぞれについて上記の測定を行う。これにより、第３制御部６２は、複数の測定期間にそれぞれ対応して、複数の２次元画像を生成する。測距部５で説明したのと同様に、複数の測定期間は、検出部６からの距離に基づいて対象空間Ｓ１を分割した複数の距離範囲にそれぞれ対応している。また、各２次元画像の各画素セルの画素値は、対応する測定期間においてこの着目する画素セルで受光した受光量に、対応している。

【0058】

第３制御部６２は、複数の２次元画像（複数の距離範囲にそれぞれ対応している）の各画素セルの画素値を、画素セルごとに足し合わせることで、第２輝度画像３００を生成する。言い換えれば、検出部６は、複数の２次元画像を、距離範囲を識別せず合成することによって、第２輝度画像３００（第２の２次元画像）を生成する。

【0059】

一方、第３制御部６２は、複数の２次元画像の各々について、各画素セルの画素値を所定の閾値と比較することで、複数の２値画像を生成する。ここで言う複数の２値画像は、複数の２次元画像（つまり、複数の距離範囲）に１対１に対応しており、対応する２次元画像の画素セルの画素値が閾値以上であれば「１」、閾値よりも小さければ「０」となるような画像である。また、第３制御部６２は、各２値画像において「１」となる画素の画素値を、この２値画像に対応する距離範囲（測定期間）に応じた値に設定する。例えば、第３制御部６２は、検出部６から遠い距離範囲に対応する２値画像ほど画素値が大きくなるように、複数の２値画像の画素値を設定する。つまり、第３制御部６２は、複数の２値画像を、対応する距離範囲に応じて色付けする。そして、第３制御部６２は、得られた（画素値が設定し直された）複数の２値画像の各画素セルの画素値を、画素セルごとに閾値レベルをどれだけ上回るかに応じた重み付けをして足し合わせることで、第２距離画像４００を生成する。要するに、検出部６は、複数の２次元画像を、距離範囲を識別して合成することによって、第２距離画像４００（第２の３次元画像）を生成する。

【0060】

このように、検出部６は、同一の画素セルでの受光量に基づいて、第２輝度画像３００と第２距離画像４００とを生成する。更に、第２輝度画像３００と第２距離画像４００とは、同一の複数の２次元画像の組を元にして、生成されている。そのため、各画素に対応する対象空間Ｓ１上の位置は、第２輝度画像３００と第２距離画像４００とで１対１に対応することとなる。また、第２輝度画像３００（第２の２次元画像）に含まれる複数の画素と第２距離画像４００（第２の３次元画像）に含まれる複数の画素とは、１対１に対応することとなる。

【0061】

第３制御部６２は、第２の２次元データを生成し、信号処理部１０へ出力する。第２の２次元データは、ここでは、生成した第２輝度画像３００を示す第２輝度情報である。第３制御部６２は、第２輝度情報を、第２の２次元データとして、信号処理部１０（第３取得部２３）へ出力する。また、第３制御部６２は、第２の３次元データを生成し、信号処理部１０へ出力する。第２の３次元データは、ここでは、生成した第２距離画像４００を示す第２距離情報である。第３制御部６２は、第２距離情報を、第２の３次元データとして、信号処理部１０（第３取得部２３）へ出力する。

【0062】

信号処理部１０は、図６に示すように、第１取得部２１～第３取得部２３、及び演算処理部３を備えている。

【0063】

第１取得部２１は、撮像部４から、第１の２次元データを取得する。第１取得部２１はここでは、第１の２次元データとして、第１輝度画像１００を示す第１輝度情報を、撮像部４から取得する。第１輝度情報は、例えば、第１輝度画像１００の各画素の位置（座標）に対して、輝度の大きさを示す数値が画素値として割り当てられた情報である。

【0064】

第２取得部２２は、測距部５から、第１の３次元データを取得する。第２取得部２２はここでは、第１の３次元データとして、第１距離画像２００を示す第１距離情報を、測距部５から取得する。第１距離情報は、例えば、第１輝度画像１００の各画素の位置（座標）に対して、距離の大きさを示す数値が画素値として割り当てられた情報である。

【0065】

第３取得部２３は、検出部６から、第２の２次元データを取得する。第３取得部２３はここでは、第２の２次元データとして、第２輝度画像３００を示す第２輝度情報を、検出部６から取得する。第２輝度情報は、例えば、第２輝度画像３００の各画素の位置（座標）に対して、輝度の大きさを示す数値が画素値として割り当てられた情報である。また、第３取得部２３は、検出部６から、第２の３次元データを取得する。第３取得部２３はここでは、第２の３次元データとして、第２距離画像４００を示す第２距離情報を、検出部６から取得する。第２距離情報は、例えば、第２距離画像４００の各画素の位置（座標）に対して、距離の大きさを示す数値が画素値として割り当てられた情報である。

【0066】

図６に示すように、演算処理部３は、２次元画像変換部としての輝度画像変換部３１と、３次元画像変換部としての距離画像変換部３２と、融合データ生成部３３と、を備えている。演算処理部３は、１以上のメモリ及び１以上のプロセッサを含むコンピュータシステムにより実現され得る。すなわち、コンピュータシステムの１以上のメモリに記録されたプログラムを、１以上のプロセッサが実行することにより、演算処理部３の各部（輝度画像変換部３１、距離画像変換部３２、融合データ生成部３３）の機能が実現される。プログラムはメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

【0067】

輝度画像変換部３１は、第１輝度画像１００の各画素の画素値を、第２輝度画像３００における対応する画素領域へ割り当て変換して、演算輝度画像を生成する。すなわち、２次元画像変換部は、第１の２次元画像の各画素の画素値を、第２の２次元画像における対応する画素領域へ割り当て変換して、演算２次元画像を生成する。

【0068】

距離画像変換部３２は、第１距離画像２００の各画素の画素値を、第２距離画像４００における対応する画素領域へ割り当て変換して、演算距離画像を生成する。すなわち、３次元画像変換部は、第１の３次元画像の各画素の画素値を、第２の３次元画像における対応する画素領域へ割り当て変換して、演算３次元画像を生成する。

【0069】

融合データ生成部３３は、演算輝度画像と演算距離画像とに基づき、第１輝度情報と第１距離情報とを対応付けた融合データを生成する。すなわち、融合データ生成部３３は、演算２次元画像と演算３次元画像とに基づき、第１の２次元データと第１の３次元データとを対応付けた融合データを生成する。

【0070】

以下、演算処理部３の動作を、図７Ａ～図１０Ｂを参照しながら説明する。

【0071】

ここでは、測距撮像システム１（撮像部４、測距部５、検出部６、信号処理部１０を含む）が自動車に搭載されており、自動車の前方の対象空間Ｓ１に、対象物Ｏ１として人が存在しているものとする。

【0072】

撮像部４は、対象空間Ｓ１を撮像して、例えば図７Ａ、図７Ｂに示すような第１輝度画像１００を取得する。図７Ａ、図７Ｂに示すように、撮像部４は、第１受光部４１の画素数（画素セルの数）等に依存して決まる分解能で、対象物Ｏ１を含む第１輝度画像１００を生成する。ただし、第１輝度画像１００は、対象物Ｏ１までの距離の情報は有していない。

【0073】

測距部５は、第１発光部５４から対象空間Ｓ１に投射した光の反射光を第２受光部５１の複数の画素セルで受光し、受光した光を処理することで、図８Ａ、図８Ｂに示すような第１距離画像２００を生成する。第１距離画像２００では、測距部５の分割期間の長さＴｓ等に依存して決まる分解能で、対象物Ｏ１までの距離を識別可能である。例えば、分割期間の長さＴｓが２０ｎｓの場合、分解能は３ｍである。図８Ａでは、測距部５から第１距離画像２００内の各物体までの距離を、測距部５からの距離が遠くなるほど色が濃くなるような態様で示している。

【0074】

検出部６は、第２発光部６４から対象空間Ｓ１に投射した光の反射光を第３受光部６１で受光し、受光した光を処理することで、例えば図９Ａ、図９Ｂに示すような第２輝度画像３００、及び図１０Ａ、図１０Ｂに示すような第２距離画像４００を生成する。上述のように、第２輝度画像３００の各画素と第２距離画像４００の各画素とは、１対１に対応している。ここで、検出部６の第３受光部６１の画素数は、撮像部４の第１受光部４１の画素数よりも少ないため、第２輝度画像３００の分解能は第１輝度画像１００の分解能よりも小さい。すなわち、撮像部４と検出部６とは、互いに異なる空間分解能を有している（ここでは、撮像部４の方が高い空間分解能を有している）。また、検出部６が距離測定を行う際の分割期間の長さＴｔは、測距部５の分割期間の長さＴｓよりも長いため、第２距離画像４００の分解能（距離の分解能）は、第１距離画像２００の分解能よりも小さい。すなわち、測距部５と検出部６とは、互いに異なる距離分解能を有している（ここでは、測距部５の方が高い距離分解能を有している）。検出部６による分割期間の長さＴｔは、例えば１００ｎｓであり、距離の分解能は１５ｍである。

【0075】

輝度画像変換部３１は、例えば、第１輝度画像１００及び第２輝度画像３００それぞれから対象物Ｏ１の輪郭等の特徴量を抽出し、各輝度画像から抽出した特徴量についてマッチングを行うことで、第１輝度画像１００の複数の画素と第２輝度画像３００の複数の画素との間の対応付けを行う。例えば、輝度画像変換部３１は、抽出した特徴量に基づいて、図７Ｂの画素範囲Ａ１１が図９Ｂの画素範囲Ａ３１に対応すると判定して、第１輝度画像１００における画素範囲Ａ１１に対応する複数の画素と第２輝度画像３００における画素範囲Ａ３１に対応する複数の画素とを対応付ける。また、輝度画像変換部３１は、抽出した特徴量に基づいて、図７Ｂの画素範囲Ａ１２が図９Ｂの画素範囲Ａ３２に対応すると判定して、第１輝度画像１００における画素範囲Ａ１２に対応する複数の画素と第２輝度画像３００における画素範囲Ａ３２に対応する複数の画素とを対応付ける。このようにして、第１輝度画像１００を構成する複数の画素と、第２輝度画像３００を構成する複数の画素とが、対応付けされる。例えば、第１輝度画像１００の画素数と第２輝度画像３００の画素数とが同じであって、撮像部４と検出部６とが同一の対象空間Ｓ１を撮像している場合には、第１輝度画像１００に含まれる複数の画素と第２輝度画像３００に含まれる複数の画素とが、１対１に対応付けられ得る。例えば、第１輝度画像１００の縦方向及び横方向の画素数が、第２輝度画像３００のそれらの２倍ずつであって、撮像部４と検出部６とが同一の対象空間Ｓ１を撮像している場合には、第２輝度画像３００における１つの画素に対して、第１輝度画像１００における４つ（２×２）の画素が対応付けられ得る。

【0076】

対応付けができると、輝度画像変換部３１は、第１輝度画像１００の各画素の画素値を、第２輝度画像３００における対応する画素領域へ割り当て変換して、演算輝度画像を生成する。これにより、第２輝度画像３００における各画素の座標に対して第１輝度画像１００における画素の画素値が対応付けられた演算輝度画像が、生成され得る。すなわち、第２の２次元画像における各画素の座標に対して第１の２次元画像における画素の画素値が対応付けられた演算２次元画像が、生成され得る。

【0077】

つまり、生成される演算輝度画像（演算２次元画像）では、第２輝度画像３００（第２の２次元画像）における各画素領域に対して、第１輝度画像１００（第１の２次元画像）における画素の画素値が割り当てられている。

【0078】

距離画像変換部３２は、例えば、第１距離画像２００に含まれる対象物Ｏ１までの距離の情報と、第２距離画像４００に含まれる対象物Ｏ１までの距離の情報とを比較し、第１距離画像２００に含まれる対象物Ｏ１と第２距離画像４００に含まれる対象物Ｏ１との間の対応付けを行う。ここで、距離画像変換部３２は、第２距離画像４００において、同一の距離範囲において信号レベルが閾値レベルを超えている画素が複数つながっている場合は、これらつながった画素に対応する領域に、１つの対象物Ｏ１が存在している、と解釈する（図１０Ｂの対象物Ｏ１参照）。また、距離画像変換部３２は、第１距離画像２００に含まれる対象物Ｏ１までの距離と第２距離画像４００に含まれる対象物Ｏ１までの距離とのうちの一方が、他方に含まれている場合、これらの対象物Ｏ１が同じである可能性がある、と判定する。例えば、図８Ａに示す第１距離画像２００における領域Ａ２内において、２９４～２９７ｍの距離範囲に、対象物Ｏ１を示す画素が複数あるとする。また、図１０Ａに示す第２距離画像４００における領域Ａ４内において、２７０～３００ｍの距離範囲に、対象物Ｏ１を示す複数のつながった画素があるとする。この場合、距離画像変換部３２は、領域Ａ２内の対象物Ｏ１と領域Ａ４内の対象物Ｏ１とが、同じ対象物Ｏ１である可能性がある、と判定する。距離画像変換部３２は、例えば、この判定を複数の対象物Ｏ１に対して行い、第１距離画像２００に含まれる複数の対象物Ｏ１と第２距離画像４００に含まれる複数の対象物Ｏ１との間の位置関係を判定する。そして、距離画像変換部３２は、これら複数の対象物Ｏ１の間の位置関係に基づいて、第１距離画像２００に含まれる複数の画素と第２距離画像４００に含まれる複数の画素との間の対応付けを行い、距離精度の向上を行う。具体的には、図１０Ｂの対象物Ｏ１の距離範囲を、２７０～３００ｍから、２９４～２９７ｍに修正する。なお、演算輝度画像の場合と同様、第１距離画像２００の画素数と第２距離画像４００の画素数とが同じであって、測距部５と検出部６とが同一の対象空間Ｓ１からの反射光を受光している場合には、第１距離画像２００に含まれる複数の画素と第２距離画像４００に含まれる複数の画素とが、１対１に対応付けられ得る。また、第１距離画像２００の縦方向及び横方向の画素数が、第２距離画像４００のそれらの２倍ずつであって、測距部５と検出部６とが同一の対象空間Ｓ１からの反射光を受光している場合には、第２距離画像４００における１つの画素に対して、第１距離画像２００における４つの画素が対応付けられ得る。

【0079】

対応付けができると、距離画像変換部３２は、第１距離画像２００の各画素の画素値を、第２距離画像４００における対応する画素領域へ割り当て変換して、演算距離画像を生成する。これにより、第２距離画像４００における各画素の座標に対して第１距離画像２００における画素の画素値が対応付けられた演算距離画像が、生成され得る。すなわち、第２の３次元画像における各画素の座標に対して第１の３次元画像における画素の画素値が対応付けられた演算３次元画像が、生成され得る。

【0080】

つまり、生成される演算距離画像（演算３次元画像）では、第２距離画像４００（第２の３次元画像）における各画素領域に対して、第１距離画像２００（第１の３次元画像）における画素の画素値が優先的に割り当てられている。

【0081】

融合データ生成部３３は、演算輝度画像と演算距離画像とに基づき、第１輝度画像１００の情報と第１距離画像２００の情報とを対応付けた融合データを生成する。

【0082】

上述のように、第２輝度画像３００と第２距離画像４００とは画素数が同じであって、第２輝度画像３００に含まれる複数の画素と第２距離画像４００に含まれる複数の画素とは１対１に対応している。融合データ生成部３３は、第２輝度画像３００における所定の画素領域に対応付けられた第１輝度画像１００の画素の画素値と、第２距離画像４００においてこの（第２輝度画像３００の）画素領域に対応する画素領域に対応付けられた第１距離画像２００の画素の画素値とを、対応付ける。つまり、融合データ生成部３３は、検出部６で生成された第２輝度画像３００と第２距離画像４００とを仲介として、第１輝度画像１００の複数の画素と第１距離画像２００の複数の画素との間の対応付けを行っている。

【0083】

このようにして、融合データ生成部３３は、第１輝度情報と第１距離情報とを対応付けた融合データ（第１の２次元データと第１の３次元データとを対応付けた融合データ）を生成することができる。生成された融合データが示す情報は、例えば立体画像として表示されてもよい。

【0084】

このように、本実施形態の測距撮像システム１では、検出部６が取得する第２の２次元データと第２の３次元データとを介して、第１の２次元データと第１の３次元データとが対応付けられる。これにより、輝度情報（第１輝度情報）と距離情報（第１距離情報）とを対応付けたデータ（融合データ）、言い換えれば２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータ（融合データ）を、得ることが可能となる。

【0085】

また、第１輝度画像１００の画素数と第１距離画像２００の画素数とが異なっていても、第２輝度情報と第２距離情報とを介して、第１輝度画像１００と第２輝度画像３００とを対応付けることが可能となる。すなわち、第２の２次元データと第２の３次元データとを介して、第１の２次元画像と第２の３次元画像とを対応付けることが可能となる。

【0086】

（３）変形例
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。

【0087】

（３．１）変形例１
本変形例の測距撮像システム１Ａ及び測距撮像方法について、図１１を参照して説明する。

【0088】

図１１に示すように、本変形例の測距撮像システム１Ａは、信号処理部１０Ａを備えている。信号処理部１０Ａは、第１取得部２１Ａと、第２取得部２３Ａと、演算処理部３Ａと、を備えている。ここで、第２取得部２３Ａは、上記の実施形態の第３取得部２３に対応する。すなわち、本変形例の測距撮像システム１Ａは、実施形態の測距撮像システム１における第２取得部２２及び測距部５に相当する構成を、備えていない。本変形例の測距撮像システム１Ａにおいて、実施形態の測距撮像システム１と共通する構成については、符号の末尾に添字「Ａ」を付して適宜説明を省略する。

【0089】

第１取得部２１Ａは、第１の２次元データを取得する。第１取得部２１Ａは、例えば撮像部４Ａに接続される。第１取得部２１Ａは、例えば撮像部４Ａから、第１の２次元データを取得する。第１の２次元データは、例えば、対象空間Ｓ１の第１の２次元画像に関する情報である。第１の２次元画像は、例えば、対象空間Ｓ１の第１輝度画像１００Ａである。

【0090】

第２取得部２３Ａは、同軸光学系で第２の２次元データと第１の３次元データとを取得する。第２取得部２３Ａは、例えば検出部６Ａに接続される。第２取得部２３Ａは、例えば検出部６Ａから、同軸光学系で第２の２次元データと第１の３次元データとを取得する。第２の２次元データは、例えば、対象空間Ｓ１の第２の２次元画像に関する情報である。第２の２次元画像は、例えば、対象空間Ｓ１の第２輝度画像３００Ａである。第１の３次元データは、例えば、対象空間Ｓ１の第１の３次元画像に関する情報である。第１の３次元画像は、例えば、対象空間Ｓ１に存在する対象物Ｏ１までの距離を示す画像である。第１の３次元画像は、例えば、対象空間Ｓ１の第１距離画像４００Ａである。

【0091】

演算処理部３Ａは、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の２次元データと第１の３次元データとを対応付けする処理と、を実行するよう構成される。

【0092】

具体的には、演算処理部３Ａは、２次元データ変換部と、融合データ生成部と、を備えている。

【0093】

２次元データ変換部は、図１２に示すように、第１取得部２１Ａで取得された第１の２次元データと第２取得部２３Ａで取得された第２の２次元データとを対応付けて、演算２次元データを生成する。より詳細には、２次元データ変換部は、第１の２次元画像（第１輝度画像１００Ａ）の各画素の画素値を、第２の２次元画像（第２輝度画像３００Ａ）における対応する画素領域へ割り当て変換して演算２次元画像（演算輝度画像）を生成する。すなわち、２次元データ変換部は、第１の２次元データの各画素の画素値を、第２の２次元データにおける対応する画素領域へ割り当て変換して演算２次元データを生成することで、第１の２次元データと第２の２次元データとを対応付ける処理を行う。

【0094】

融合データ生成部は、図１２に示すように、演算２次元画像と第１の３次元画像（第１距離画像４００Ａ）に基づいて、第１の２次元データと第１の３次元データとを対応付けた融合データを生成する。すなわち、融合データ生成部は、演算２次元データと第１の３次元データとに基づいて、第１の２次元データと第１の３次元データとを対応付けた融合データを生成する。

【0095】

ここで、検出部６Ａは、検出部６と同様、同一の画素セルでの受光量に基づいて、第２輝度画像３００Ａと第１距離画像４００Ａとを生成している。更に、第２輝度画像３００Ａと第１距離画像４００Ａとは、同一の複数の２次元画像の組を元にして、生成されている。そのため、第２輝度画像３００Ａ（第２の２次元データ）に含まれる複数の画素と第１距離画像４００Ａ（第１の３次元データ）に含まれる複数の画素とは、１対１に対応することとなる。

【0096】

このように、本変形例の測距撮像システム１Ａでは、検出部６Ａが取得する第２の２次元データを介して、第１の２次元データと第１の３次元データとが対応付けられる。そのため、２次元データ（第１の２次元画像）と３次元データ（第１の３次元画像）とを対応付けたデータを得ることが可能となる。

【0097】

また、本変形例の測距撮像システム１Ａでは、第２取得部２３Ａにより第２の２次元データと第１の３次元データとが同軸光学系で１対１対応で取得できるため、複雑な機構は不要である。また、第１取得部２１Ａの第１の２次元データと第２取得部２３Ａの第２の２次元データとの間の対応付けは、例えば３次元データ同士の間の対応付けに比べて容易である。

【0098】

（３．２）その他の変形例
測距撮像システム１，１Ａの演算処理部３，３Ａと同様の機能は、測距撮像方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0099】

一態様に係る測距撮像方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、処理ステップと、を含む。第１取得ステップは、対象空間Ｓ１の第１の２次元画像を取得する撮像部４から、第１の２次元データを取得することを含む。第２取得ステップは、対象空間Ｓ１の第１の３次元画像を取得する測距部５から、第１の３次元データを取得することを含む。第３取得ステップは、同軸光学系で対象空間Ｓ１の第２の２次元画像と第２の３次元画像とを取得する検出部６から、第２の２次元データと第２の３次元データとを取得することを含む。処理ステップは、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の３次元データと第２の３次元データとを対応付ける処理と、を実行することを含む。

【0100】

一態様に係る測距撮像方法は、第１取得ステップと、第２取得ステップと、処理ステップと、を含む。第１取得ステップは、第１の２次元データを取得することを含む。第２取得ステップは、第２の２次元データと第１の３次元データとを取得することを含む。処理ステップは、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の２次元データと第１の３次元データとを対応付ける処理と、を実行することを含む。

【0101】

一態様に係るプログラムは、１以上のプロセッサに、上記の測距撮像方法を実行させるためのプログラムである。

【0102】

以下、その他の変形例を列挙する。以下では、実施形態の測距撮像システム１を主に例に挙げて説明するが、以下の変形例は、変形例１の測距撮像システム１Ａに適宜適用されてもよい。

【0103】

本開示における測距撮像システム１は、例えば、撮像部４の第１制御部４２、測距部５の第２制御部５２、検出部６の第３制御部６２、演算処理部３等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における第１制御部４２、第２制御部５２、第３制御部６２、演算処理部３としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

【0104】

また、測距撮像システム１における複数の機能が、１つの筐体に集約されていることは測距撮像システム１に必須の構成ではない。測距撮像システム１の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、演算処理部３等、測距撮像システム１の少なくとも一部の機能は、例えば、サーバ装置及びクラウド（クラウドコンピューティング）等によって実現されてもよい。反対に、上述の実施形態のように、測距撮像システム１の全ての機能が、１つの筐体に集約されていてもよい。

【0105】

第１取得部２１～第３取得部２３は、同一の通信インターフェースから構成されてもよいし、互いに異なる通信インターフェースから構成されてもよい。また、第３取得部２３は、第２輝度情報を取得する通信インターフェースと、第２距離情報を取得する通信インターフェースとが、異なっていてもよい。第１取得部２１～第３取得部２３は、通信インターフェースに限られず、単に、撮像部４、測距部５、及び検出部６と演算処理部３とをつなぐ電線等であってもよい。

【0106】

第１制御部４２は、必ずしも第１輝度画像１００（第１の２次元画像）を生成する必要はない。第１制御部４２は、第１輝度画像１００（第１の２次元画像）を生成可能な情報を、第１輝度情報（第１の２次元データ）として出力してもよい。同様に、第２制御部５２は、必ずしも第１距離画像２００（第１の３次元画像）を生成する必要はない。第２制御部５２は、第１距離画像２００（第１の３次元画像）を生成可能な情報を、第１距離情報（第１の３次元データ）として出力してもよい。第３制御部６２は、必ずしも第２輝度画像３００（第２の２次元画像）を生成する必要はない。第３制御部６２は、第２輝度画像３００（第２の２次元画像）を生成可能な情報を、第２輝度情報（第２の２次元データ）として出力してもよい。第３制御部６２は、必ずしも第２距離画像４００（第２の３次元画像）を生成する必要はない。第３制御部６２は、第２距離画像４００（第２の３次元画像）を生成可能な情報を、第２距離情報（第２の３次元データ）として出力してもよい。検出部６Ａの制御部は、必ずしも第１距離画像４００Ａ（第１の３次元画像）を生成する必要はない。検出部６Ａの制御部は、第１距離画像４００Ａ（第１の３次元画像）を生成可能な情報を、第１距離情報（第１の３次元データ）として出力してもよい。

【0107】

融合データは、第２輝度画像３００における各画素の画素値、第２距離画像４００における各画素の画素値等を、内部データとして有していてもよい。この場合、例えば、第１輝度画像１００におけるある画素の画素値が異常な値であった場合に、この画素の画素値を第２輝度画像３００の画素値で置き換える等の処置を行うことが可能となる。

【0108】

第１輝度画像１００の分解能（画素数）と第２輝度画像３００の分解能（画素数）とは、同じであってもよいし異なっていてもよい。第１距離画像２００の分解能（距離の分解能）と第２距離画像４００の分解能（距離の分解能）とは、同じであってもよいし異なっていてもよい。

【0109】

撮像部４の複数の画素セルと、検出部６の複数の画素セルとは、予め対応付けられていてもよい。そして、演算処理部３は、予め対応付けられた撮像部４の画素セルと検出部６の画素セルとの対応関係に基づいて、第１輝度画像１００と第２輝度画像とを対応付けてもよい。また、測距部５の複数の画素セルと、検出部６の複数の画素セルとは、予め対応付けられていてもよい。そして、演算処理部３は、予め対応付けられた測距部５の画素セルと検出部６の画素セルとの対応関係に基づいて、第１距離画像２００と第２距離画像４００とを対応付けてもよい。

【0110】

（４）まとめ
以上説明した実施形態及び変形例等から以下の態様が開示されている。

【0111】

第１の態様に係る測距撮像システム（１）は、第１取得部（２１）と、第２取得部（２２）と、第３取得部（２３）と、演算処理部（３）と、を備える。第１取得部（２１）は、撮像部（４）から、第１の２次元データを取得する。撮像部（４）は、対象空間（Ｓ１）の第１の２次元画像を取得する。第２取得部（２２）は、測距部（５）から、第１の３次元データを取得する。測距部（５）は、対象空間（Ｓ１）の第１の３次元画像を取得する。第３取得部（２３）は、検出部（６）から、第２の２次元データと第２の３次元データとを取得する。検出部（６）は、同軸光学系で、対象空間（Ｓ１）の第２の２次元画像と第２の３次元画像とを取得する。演算処理部（３）は、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の３次元データと第２の３次元データとを対応付ける処理と、を実行する。

【0112】

この態様によれば、検出部（６）が取得する第２の２次元データと第２の３次元データとを介して、第１の２次元データと第１の３次元データとが対応付けられる。これにより、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータを得ることが可能となる。

【0113】

第２の態様の測距撮像システム（１）では、第１の態様において、演算処理部（３）は、２次元画像変換部（輝度画像変換部３１）と、３次元画像変換部（距離画像変換部３２）と、融合データ生成部（３３）と、を備える。２次元画像変換部は、第１の２次元画像の各画素の画素値を、第２の２次元画像における対応する画素領域へ割り当て変換して演算２次元画像を生成する。３次元画像変換部は、第１の３次元画像の各画素の画素値を、第２の３次元画像における対応する画素領域へ割り当て変換して演算３次元画像を生成する。融合データ生成部（３３）は、演算２次元画像と演算３次元画像とに基づき、第１の２次元データと第１の３次元データとを対応付けた融合データを生成する。

【0114】

この態様によれば、第１の２次元データと第１の３次元データとを対応付けた融合データを得ることが可能となる。

【0115】

第３の態様の測距撮像システム（１）では、第１又は第２の態様において、検出部（６）は、対象空間（Ｓ１）を、検出部（６）からの距離に基づいて複数の距離範囲に分割して、複数の距離範囲にそれぞれ対応する複数の２次元画像を生成する。検出部（６）は、複数の２次元画像を、距離範囲を識別せず合成することによって、第２の２次元画像を生成する。検出部（６）は、複数の２次元画像を、距離範囲を識別して合成することによって、第２の３次元画像を生成する。第２の２次元画像に含まれる複数の画素と、第２の３次元画像に含まれる複数の画素とが、１対１で対応する。

【0116】

この態様によれば、同一の複数の２次元画像の組から、第２の２次元画像と第２の３次元画像とが生成されるので、第２の２次元画像と第２の３次元画像との対応付けが容易になる。

【0117】

第４の態様の測距撮像システム（１）では、第１～第３のいずれか１つの態様において、撮像部（４）と検出部（６）とは、互いに異なる光軸を有し、測距部（５）と検出部（６）とは、互いに異なる光軸を有する。

【0118】

この態様によれば、互いに異なる光軸を有する撮像部（４）、測距部（５）、検出部（６）によって、第１の２次元画像、第１の３次元画像、第２の２次元画像、第２の３次元画像が生成される場合であっても、２次元画像（第１の２次元画像）と３次元画像（第１の３次元画像）との間の対応付けを行うことが可能となる。

【0119】

第５の態様の測距撮像システム（１）では、第１～第４のいずれか１つの態様において、撮像部（４）と検出部（６）とは、互いに異なる空間分解能を有し、測距部（５）と検出部（６）とは、互いに異なる距離分解能を有する。

【0120】

この態様によれば、撮像部（４）と検出部（６）とが互いに異なる空間分解能を有し、測距部（５）と検出部（６）とが互いに異なる距離分解能を有する場合であっても、２次元画像（第１の２次元画像）と３次元画像（第１の３次元画像）との間の対応付けを行うことが可能となる。

【0121】

第６の態様の測距撮像システム（１）は、第１～第５のいずれか１つの態様において、撮像部（４）、測距部（５）、及び検出部（６）のうちの少なくとも一つを更に備える。

【0122】

この態様によれば、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータを得ることが可能となる。測距撮像システム（１）は、撮像部（４）、測距部（５）、及び検出部（６）のうちの２つを更に備えてもよいし、撮像部（４）、測距部（５）、及び検出部（６）の全てを更に備えてもよい。

【0123】

第７の態様に係る測距撮像方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、処理ステップと、を含む。第１取得ステップは、対象空間（Ｓ１）の第１の２次元画像を取得する撮像部（４）から、第１の２次元データを取得することを含む。第２取得ステップは、対象空間（Ｓ１）の第１の３次元画像を取得する測距部（５）から、第１の３次元データを取得することを含む。第３取得ステップは、検出部（６）から、第２の２次元データと第２の３次元データとを取得することを含む。検出部（６）は、同軸光学系で、対象空間（Ｓ１）の第２の２次元画像と第２の３次元画像とを取得する。処理ステップは、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の３次元データと第２の３次元データとを対応付ける処理と、を実行することを含む。

【0124】

この態様によれば、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータを得ることが可能となる。

【0125】

第８の態様に係るプログラムは、１以上のプロセッサに、第７の態様の測距撮像方法を実行させるためのプログラムである。

【0126】

この態様によれば、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータを得ることが可能となる。

【0127】

第９の態様の測距撮像システム（１Ａ）は、第１取得部（２１Ａ）と、第２取得部（２３Ａ）と、演算処理部（３Ａ）と、を備える。第１取得部（２１Ａ）は、第１の２次元データを取得する。第２取得部（２３Ａ）は、同軸光学系で第２の２次元データと第１の３次元データとを取得する。演算処理部（３Ａ）は、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の２次元データと第１の３次元データとを対応付けする処理と、を実行する。

【0128】

この態様によれば、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータを得ることが可能となる。

【0129】

第１０の態様の測距撮像システム（１Ａ）では、第９の態様において、演算処理部（３Ａ）は、２次元データ変換部と、融合データ生成部と、を備える。２次元データ変換部は、第１の２次元データの各画素の画素値を、第２の２次元データにおける対応する画素領域へ割り当て変換して演算２次元データを生成することで、第１の２次元データと第２の２次元データとを対応付ける処理を行う。融合データ生成部は、演算２次元データと第１の３次元データとに基づき、第１の２次元データと第１の３次元データとを対応付けた融合データを生成する。

【0130】

この態様によれば、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けた融合データを得ることが可能となる。

【0131】

第１１の態様の測距撮像システム（１Ａ）では、第９又は第１０の態様において、第２の２次元データに含まれる複数の画素と、第１の３次元データに含まれる複数の画素とが、１対１で対応する。

【0132】

この態様によれば、第２の２次元データと第２の３次元データとの対応付けが容易になる。

【0133】

第１２の態様の測距撮像システム（１Ａ）では、第９～第１１のいずれか１つの態様において、第１取得部（２１Ａ）と第２取得部（２３Ａ）とは、互いに異なる光軸を有する。

【0134】

第１３の態様の測距撮像システム（１Ａ）では、第９～第１２のいずれか１つの態様において、第１取得部（２１Ａ）と第２取得部（２３Ａ）とは、互いに異なる空間分解能を有する。

【0135】

第１４の態様の測距撮像方法は、第１取得ステップと、第２取得ステップと、処理ステップと、を備える。第１取得ステップは、第１の２次元データを取得することを含む。第２取得ステップは、同軸光学系で第２の２次元データと第１の３次元データとを取得することを含む。処理ステップは、第１の２次元データと第２の２次元データとを対応付ける処理と、第１の２次元データと第１の３次元データとを対応付けする処理と、を実行することを含む。

【0136】

この態様によれば、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータを得ることが可能となる。

【0137】

第１５の態様に係るプログラムは、１以上のプロセッサに、第１４の態様の測距撮像方法を実行させるためのプログラムである。

【0138】

この態様によれば、２次元データ（第１の２次元データ）と３次元データ（第１の３次元データ）とを対応付けたデータを得ることが可能となる。

【符号の説明】

【0139】

１，１Ａ 測距撮像システム
２１ 第１取得部
２２ 第２取得部
２３Ａ 第２取得部
２３ 第３取得部
３，３Ａ 演算処理部
３１ 輝度画像変換部
３２ 距離画像変換部
３３ 融合データ生成部
４，４Ａ 撮像部
５ 測距部
６，６Ａ 検出部
Ｓ１ 対象空間
Ｏ１ 対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】