特開 2024-98782 三次元情報取得装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098782

(43)【公開日】2024-07-24

(54)【発明の名称】三次元情報取得装置

(51)【国際特許分類】

   G01S 17/894 20200101AFI20240717BHJP

   G01S 7/487 20060101ALI20240717BHJP

   G01C 3/06 20060101ALI20240717BHJP

   G01B 11/00 20060101ALI20240717BHJP

   G01B 11/24 20060101ALI20240717BHJP

【ＦＩ】

G01S17/894

G01S7/487

G01C3/06 120Q

G01C3/06 140

G01B11/00 B

G01B11/24 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023002486

(22)【出願日】2023-01-11

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】吉川 浩

【テーマコード（参考）】

2F065

2F112

5J084

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA53

2F065BB05

2F065DD11

2F065FF11

2F065FF32

2F065FF41

2F065GG08

2F065GG21

2F065HH14

2F065JJ03

2F065JJ26

2F065LL20

2F065LL49

2F065MM11

2F065MM15

2F065PP22

2F065QQ24

2F065QQ25

2F065QQ31

2F065UU01

2F065UU05

2F112AD01

2F112BA20

2F112CA08

2F112DA04

2F112DA08

2F112DA15

2F112DA21

2F112DA25

2F112DA28

2F112EA05

2F112EA11

2F112FA35

2F112FA45

2F112GA01

2F112GA03

5J084AA05

5J084AA13

5J084AD01

5J084BA04

5J084BA05

5J084BA11

5J084BA18

5J084BA20

5J084BA36

5J084BA40

5J084BA47

5J084BA48

5J084BB02

5J084BB05

5J084CA03

5J084CA31

5J084CA65

5J084CA67

5J084DA01

5J084DA07

5J084EA40

(57)【要約】

【課題】マルチパスによる影響を低減し、対象物までの距離を測距する。
【解決手段】三次元情報取得装置は、光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像である第１距離画像を取得する第１距離画像取得部と、前記第１距離画像と同一の前記対象物の一部に対して光を照射することにより得られる前記距離画像であって、前記第１距離画像とは異なる照射角の光を照射することにより得られる前記距離画像であって、前記第１距離画像と同一の前記対象物の一部を光学部材により拡大することにより得られる前記距離画像である第２距離画像を取得する第２距離画像取得部と、前記第１距離画像と前記第２距離画像とに基づいて、光の反射に伴うマルチパスの影響を判定し、判定した結果に基づいて前記第１距離画像と前記第２距離画像とを合成した前記対象物の三次元情報を生成する生成部とを備える。
【選択図】図１３

【特許請求の範囲】

【請求項1】

光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像である第１距離画像を取得する第１距離画像取得部と、
前記第１距離画像と同一の前記対象物の一部に対して光を照射することにより得られる前記距離画像であって、前記第１距離画像とは異なる照射角の光を照射することにより得られる前記距離画像であって、前記第１距離画像と同一の前記対象物の一部を光学部材により拡大することにより得られる前記距離画像である第２距離画像を取得する第２距離画像取得部と、
前記第１距離画像と前記第２距離画像とに基づいて、光の反射に伴うマルチパスの影響を判定し、判定した結果に基づいて前記第１距離画像と前記第２距離画像とを合成した前記対象物の三次元情報を生成する生成部と
を備える三次元情報取得装置。

【請求項2】

前記第１距離画像及び前記第２距離画像は、光軸を固定したまま取得される
請求項１に記載の三次元情報取得装置。

【請求項3】

前記対象物を撮像した可視光画像を取得する可視光画像取得部を更に備え、
前記光学部材による拡大倍率は、前記可視光画像取得部により取得された可視光画像に基づく
請求項１又は請求項２に記載の三次元情報取得装置。

【請求項4】

前記可視光画像取得部は、前記第１距離画像と略同一の画角を有する可視光画像である第１可視光画像と、前記第２距離画像と略同一の画角を有する可視光画像である第２可視光画像とを取得し、
前記距離画像を取得するために照射される光の照射角は、可視光画像の画角に応じて決定される
請求項３に記載の三次元情報取得装置。

【請求項5】

取得した前記第１可視光画像と、前記第２可視光画像とに基づき前記対象物の三次元情報に付与する画素情報を生成する可視光画像生成部を更に備え、
前記可視光画像生成部は、前記第１可視光画像のうち、前記第２可視光画像より解像度が低い座標における画素値を所定の方法により補完する
請求項４に記載の三次元情報取得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元情報取得装置に関する。

【背景技術】

【0002】

従来、三次元的な形状の測定をする方法として、近赤外光を対象物に照射し、対象物から反射した光の飛行時間に基づいて対象物までの距離を測定する方法が知られている。このような測定方法を用いた装置として、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラが知られている。このＴｏＦカメラを用いた場合、センサにより受光する光には、対象物に直接反射した直接光と、対象物とは異なる物体（例えば対象物の背後に位置する壁等）に反射した間接光とが混在する。対象物の近傍に近赤外光反射率の高い物体が存在する場合、外乱反射（いわゆるマルチパス）の影響により、対象物までの距離に誤差が生じ、測定結果に基づき対象物の三次元的な形状を再現しようとした場合に歪みが発生する問題があった。このようなマルチパスによる影響を低減するため、鏡面反射体を用いた計測技術が提案されている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１５７０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述したような技術を用いる場合、対象物と背景の両方を測定したいような場合であっても、対象物の周囲に鏡面反射体を配置することを要する。鏡面反射体を配置することにより背景が隠れてしまうため、対象物と背景の両方の三次元的な形状の測定をする場合、上述したような技術を用いることはできなかった。更に、ＴｏＦカメラと、ＲＧＢカメラとを組み合わせて、対象物の色情報も含んだ点群データを取得するような場合には、背景画像が取得できないことは問題であった。

【0005】

本発明は、このような状況に鑑みてなされたものであって、マルチパスによる影響を低減可能な測距技術の提供を目的とする。

【課題を解決するための手段】

【0006】

［１］本発明の一態様は、光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像である第１距離画像を取得する第１距離画像取得部と、前記第１距離画像と同一の前記対象物の一部に対して光を照射することにより得られる前記距離画像であって、前記第１距離画像とは異なる照射角の光を照射することにより得られる前記距離画像であって、前記第１距離画像と同一の前記対象物の一部を光学部材により拡大することにより得られる前記距離画像である第２距離画像を取得する第２距離画像取得部と、前記第１距離画像と前記第２距離画像とに基づいて、光の反射に伴うマルチパスの影響を判定し、判定した結果に基づいて前記第１距離画像と前記第２距離画像とを合成した前記対象物の三次元情報を生成する生成部とを備える三次元情報取得装置である。

【0007】

［２］また、一態様は、上記［１］に記載の三次元情報取得装置において、前記第１距離画像及び前記第２距離画像は、光軸を固定したまま取得されるものである。

【0008】

［３］また、一態様は、上記［１］又は［２］に記載の三次元情報取得装置において、前記対象物を撮像した可視光画像を取得する可視光画像取得部を更に備え、前記光学部材による拡大倍率は、前記可視光画像取得部により取得された可視光画像に基づくものである。

【0009】

［４］また、一態様は、上記［３］に記載の三次元情報取得装置において、前記可視光画像取得部は、前記第１距離画像と略同一の画角を有する可視光画像である第１可視光画像と、前記第２距離画像と略同一の画角を有する可視光画像である第２可視光画像とを取得し、前記距離画像を取得するために照射される光の照射角は、可視光画像の画角に応じて決定されるものである。

【0010】

［５］また、一態様は、上記［４］に記載の三次元情報取得装置において、取得した前記第１可視光画像と、前記第２可視光画像とに基づき前記対象物の三次元情報に付与する画素情報を生成する可視光画像生成部を更に備え、前記可視光画像生成部は、前記第１可視光画像のうち、前記第２可視光画像より解像度が低い座標における画素値を所定の方法により補完するものである。

【0011】

また、参考態様は、次の通りである。

【0012】

［Ａ１］本発明の一つの参考態様は、光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像である第１距離画像を取得する第１距離画像取得部と、前記第１距離画像と同一の前記対象物に対して光を照射することにより得られる前記距離画像であって、前記第１距離画像とは異なる照射角の光を照射することにより得られる前記距離画像である第２距離画像を取得する第２距離画像取得部と、前記第１距離画像と前記第２距離画像とに基づいて、光の反射に伴うマルチパスの影響を判定し、判定した結果に基づいて前記第１距離画像と前記第２距離画像とを合成した前記対象物の三次元情報を生成する生成部とを備える三次元情報取得装置である。

【0013】

［Ａ２］また、本発明の一態様は、上記［Ａ１］に記載の三次元情報取得装置において、前記距離画像は、二次元座標系の各座標に応じた距離値を有し、前記生成部は、同一座標における前記第１距離画像に含まれる距離値と前記第２距離画像に含まれる距離値とを比較し、比較した結果に基づいて光の反射に伴うマルチパスの影響を判定するものである。

【0014】

［Ａ３］また、本発明の一態様は、上記［Ａ１］又は［Ａ２］に記載の三次元情報取得装置は、前記距離画像を取得するための光を照射する照射部を更に備え、前記照射部は、前記対象物の位置に応じて光を照射する方向を変えられるものである。

【0015】

［Ａ４］また、本発明の一態様は、上記［Ａ３］に記載の三次元情報取得装置は、前記対象物を撮像した可視光画像を取得する可視光画像取得部を更に備え、前記照射部は、前記可視光画像を解析したことにより得られた前記対象物の位置に応じて光を照射する方向を可変させられるものである。

【0016】

［Ａ５］また、本発明の一態様は、上記［Ａ１］から［Ａ４］のいずれかに記載の三次元情報取得装置は、前記距離画像を取得するための光を照射する照射部を更に備え、前記照射部は、光を発光する発光部と、前記発光部により発光された光を拡散する拡散部とを更に備え、前記発光部と前記拡散部との距離を可変することにより異なる照射角の光を照射するものである。

【0017】

［Ｂ１］本発明の一つの参考態様は、光を照射してから対象物及び背景に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像である第１距離画像を取得する第１距離画像取得部と、前記第１距離画像と同一の前記対象物に対して光を照射することにより得られる前記距離画像であって、前記第１距離画像における背景より近赤外線の反射率が低い背景を用いて得られる前記距離画像である第２距離画像を取得する第２距離画像取得部と、前記第１距離画像と前記第２距離画像とに基づいて、光の反射に伴うマルチパスの影響を判定し、判定した結果に基づいて前記第１距離画像と前記第２距離画像とを合成した前記対象物の三次元情報を生成する生成部とを備える三次元情報取得装置である。

【0018】

［Ｂ２］また、一態様は、上記［Ｂ１］に記載の三次元情報取得装置において、前記距離画像は、二次元座標系の各座標に応じた距離値を有し、前記生成部は、同一座標における前記第１距離画像に含まれる距離値と前記第２距離画像に含まれる距離値とを比較し、比較した結果に基づいて光の反射に伴うマルチパスの影響を判定するものである。

【0019】

［Ｂ３］また、一態様は、上記［Ｂ１］又は［Ｂ２］に記載の三次元情報取得装置において、前記第１距離画像に対応する前記対象物及び背景を撮像した可視光画像である第１可視光画像を取得する第１可視光画像取得部と、前記第２距離画像に対応する前記対象物及び背景を撮像した可視光画像である第２可視光画像を取得する第２可視光画像取得部とを更に備え、前記第１可視光画像と、前記第２可視光画像とは、可視光画像の明るさを決定するための撮像条件が異なるものである。

【0020】

［Ｂ４］また、一態様は、上記［Ｂ１］又は［Ｂ２］に記載の三次元情報取得装置において、前記第１距離画像に対応する前記対象物及び背景を撮像した可視光画像である第１可視光画像を取得する第１可視光画像取得部と、前記第２距離画像に対応する前記対象物及び背景を撮像した可視光画像である第２可視光画像を取得する第２可視光画像取得部と、取得した前記第１可視光画像と、前記第２可視光画像とに基づき前記対象物の三次元情報に付与する画素情報を生成する可視光画像生成部とを更に備え、前記可視光画像生成部は、取得した前記第１可視光画像の画素値と、前記第２可視光画像の画素値とを比較した結果に応じて、前記画素情報を生成するものである。

【0021】

［Ｂ５］また、一態様は、上記［Ｂ１］から［Ｂ５］のいずれかに記載の三次元情報取得装置と、前記第２距離画像を取得する際に用いられ、近赤外線の反射率が低い背景である赤外線吸収シートとを備える三次元情報取得システムである。

【発明の効果】

【0022】

本発明によれば、マルチパスによる影響を低減し、対象物までの距離を測距することができる。

【図面の簡単な説明】

【0023】

【図1】実施形態１に係る三次元情報取得装置の概略について説明するための図である。

【図2】実施形態１に係る三次元情報取得装置の機能構成の一例を示す機能構成図である。

【図3】実施形態１に係る三次元情報取得装置による第１の照射について説明するための図である。

【図4】実施形態１に係る三次元情報取得装置による第２の照射について説明するための図である。

【図5】実施形態１に係る三次元情報取得装置による第１の照射について説明するための第２の図である。

【図6】実施形態１に係る三次元情報取得装置による第２の照射について説明するための第２の図である。

【図7】実施形態１に係る三次元情報取得装置において、照射角の変更方法について説明するための図である。

【図8】実施形態２に係る三次元情報取得装置の機能構成の一例を示す機能構成図である。

【図9】実施形態２に係る三次元情報取得装置による第１の照射と第２の照射について説明するための図である。

【図10】実施形態２に係る三次元情報取得装置による第１の背景を用いた場合の可視光画像と第２の背景を用いた場合の可視光画像の一例を示す図である。

【図11】実施形態２に係る三次元情報取得装置による第１距離画像を用いた場合の点群データと第２距離画像を用いた場合の点群データの一例を示す図である。

【図12】実施形態３に係る三次元情報取得装置の断面の一例を示す模式図である。

【図13】実施形態３に係る三次元情報取得装置の機能構成の一例を示す機能構成図である。

【図14】実施形態３に係る三次元情報取得装置によるワイド端における距離画像と可視光画像とが合成された点群データの一例を示す図である。

【図15】実施形態３に係る三次元情報取得装置によるテレ端における距離画像と可視光画像とが合成された点群データの一例を示す図である。

【図16】実施形態３に係る三次元情報取得装置によりワイド端における距離画像及び可視光画像と、テレ端における距離画像及び可視光画像とが合成された点群データの一例を示す図である。

【図17】実施形態３に係る三次元情報取得装置による画素値の補完について説明するための図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態について、図面を参照しながら説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0025】

［実施形態１］
まず、図１から図７を参照しながら、実施形態１について説明する。

【0026】

図１は、実施形態１に係る三次元情報取得装置の概略について説明するための図である。同図を参照しながら、三次元情報取得装置１０の概略について説明する。三次元情報取得装置１０は、三次元空間上に存在する対象物Ｔの三次元的な情報を取得する。三次元情報取得装置１０により取得される三次元的な情報には、対象物Ｔの三次元的な形状についての情報が少なくとも含まれる。三次元情報取得装置１０は、三次元情報取得装置１０から対象物Ｔまでの距離Ｌ１を計測する。三次元情報取得装置１０は、二次元座標系の各座標において、対象物Ｔまでの距離Ｌ１をそれぞれ計測することにより、対象物Ｔの三次元的な形状を取得する。三次元情報取得装置１０が対象とする対象物Ｔには、動物や物体等の三次元的な情報の取得の対象となるあらゆるものが含まれる。対象物Ｔの背後には、背景ＢＧが存在する。背景ＢＧとは、例えば撮影用に用いられるグリーンバック等のスクリーンであってもよいし、単なる壁や床、建造物、自然物等、その他通常の撮像時に映り込む背景等であってもよい。三次元情報取得装置１０は、例えば屋内における撮影スタジオでプロのカメラマンにより使用されてもよいし、屋内外における通常の写真撮影と同様の状況において一般ユーザにより使用されてもよい。

【0027】

三次元情報取得装置１０は、受光部１１０と、照射部１２０と、制御部１３０とを備える。受光部１１０は、例えば、対物レンズ等の光学系レンズを含んで構成されてもよい。照射部１２０は、照射光を対象物Ｔに照射する。照射部１２０は、例えばレーザーダイオード等の光源であってもよい。より詳細には、照射部１２０は、垂直方向にレーザービームを放射可能なＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ、垂直共振器型面発光レーザー）等であってもよい。照射部１２０により照射された光（第１照射光ＢＭ１）は、対象物Ｔにより反射し、対象物Ｔにより反射した光（第２照射光ＢＭ２）は、受光部１１０に入射する。制御部１３０は、光を照射してから受光するまでの時間（飛行時間）に応じて、三次元情報取得装置１０から対象物Ｔまでの距離Ｌ１を測距する。受光部１１０は、二次元アレイ状に配置された複数の受光素子（不図示）を備える。制御部１３０は、複数の受光素子それぞれにおける測距情報に応じて、対象物Ｔの三次元的な形状を測定する。なお、図示する一例では、一対の受光部１１０及び照射部１２０が示されているが、１つの受光部１１０に対して複数の照射部１２０が備えられるような構成であってもよい。この場合、複数の照射部１２０は、受光部１１０を中心として、その近傍に備えられることが好適である。

【0028】

三次元情報取得装置１０は、不図示のイメージセンサを備えていてもよい。イメージセンサは、二次元アレイ状に配置された複数の画素を備え、イメージセンサが備える複数の画素は、受光部１１０が備える光学系レンズにより結像された可視光を受光し、受光した情報に基づき、可視光画像（ＲＧＢ画像）を生成する。可視光画像の方式としては、ＲＧＢ方式に限らず、ＹＣｂＣｒ方式やグレースケール（モノクロ）方式でもよい。照射部１２０により照射され対象物Ｔに反射した光（例えば近赤外光）と、可視光画像を生成するための可視光とは、同一光軸上を通り受光部１１０に入射してもよい。この場合、三次元情報取得装置１０は、不図示の可視光反射ダイクロイック膜等を備えることにより、可視光反射ダイクロイック膜を透過する近赤外光と、可視光反射ダイクロイック膜に反射する可視光の２つに分光してもよい。この場合、測距のための受光素子は可視光反射ダイクロイック膜を透過する光の光軸上に設けられ、可視光画像を生成するためのイメージセンサは可視光反射ダイクロイック膜に反射した光の光軸上に設けられる。

【0029】

図２は、実施形態１に係る三次元情報取得装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報取得装置１０の機能構成の一例について説明する。三次元情報取得装置１０は、受光部１１０と、照射部１２０と、制御部１３０とを含んで構成される。

【0030】

照射部１２０は、第１照射部１２１と、第２照射部１２２とを備える。第１照射部１２１と、第２照射部１２２とは、互いに異なる照射角の照射光を照射する。受光部１１０は、第１照射部１２１又は第２照射部１２２のいずれかにより照射された照射光が対象物Ｔ又は背景ＢＧに反射した反射光を受光する。ここで、第１照射部１２１の照射角と第２照射部１２２の照射角とは異なる。具体的には、第１照射部１２１の照射角は、第２照射部１２２の照射角より広角である。第１照射部１２１の照射角と、第２照射部１２２の照射角について、図３及び図４を参照しながら説明する。なお、以降の説明において「照射角」と記載した場合、「視野角（ＦｏＶ；Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）」と同義で用いる場合がある。

【0031】

図３は、実施形態１に係る三次元情報取得装置による第１の照射について説明するための図である。同図を参照しながら、第１照射部１２１により行われる第１の照射について説明する。同図は、図１における配置を真上から見た図である。同図に示す一例では、三次元情報取得装置１０が背景ＢＧの手前に存在する対象物Ｔの三次元的形状を測定する。三次元情報取得装置１０は、受光部１１０と、第１照射部１２１と、第２照射部１２２とを備える。三次元情報取得装置１０は、第１照射部１２１として、第１照射部１２１－１及び第１照射部１２１－２を備える。第１照射部１２１による照射角を角度αとして示す。例えば、第１照射部１２１により照射され対象物Ｔに反射した光（当該光の経路を照射光ＢＭ１－１と記載する。）は、マルチパスの影響を受けない。しかしながら、第１照射部１２１により照射され背景ＢＧに反射した光（当該光の経路を照射光ＢＭ１－２と記載する。）によっては、背景ＢＧからの反射光が対象物Ｔ等によって更に反射している場合があり、このような光はマルチパスの影響を与える。マルチパスの影響により、対象物Ｔの形状は、本来点線で示すような形状であるものの、実線で示すような形状として計測されてしまう。これは、マルチパスの影響を受けた場合、Ｄｅｐｔｈ値（三次元情報取得装置１０から対象物Ｔまでの距離を示す値）は、本来の値より大きく（遠く）測定されるためである。

【0032】

なお、本実施形態においては、便宜上、第１照射部１２１を第１照射部１２１－１と、第１照射部１２１－２とに分けて記載しているが、１つの第１照射部１２１により、角度αの照射角を有する光を照射してもよい。図示するように第１照射部１２１が２つ備えられる場合、２つの第１照射部１２１は、受光部１１０を中心として互いに対称な位置に備えられることが好適である。

【0033】

図４は、実施形態１に係る三次元情報取得装置による第２の照射について説明するための図である。同図を参照しながら、第２照射部１２２により行われる第２の照射について説明する。同図は、図１における配置を真上から見た図である。同図に示す一例では、三次元情報取得装置１０が背景ＢＧの手前に存在する対象物Ｔの三次元的形状を測定する。三次元情報取得装置１０は、受光部１１０と、第１照射部１２１と、第２照射部１２２とを備える。第２照射部１２２による照射角を角度βとして示す。角度βは、角度αより狭く、対象物Ｔがちょうど画角内に収まる程度の角度である。第２照射部１２２により照射され対象物Ｔに反射した光の経路を照射光ＢＭ１－３と記載する。角度βは角度αより狭く、対象物Ｔがちょうど画角内に収まる程度の角度であるため、背景ＢＧまで届く光が少なく、マルチパスを通って受光部１１０まで届く光が少ない。したがって、第２の照射によれば、マルチパスの影響を受けることを低減することができる。第２照射部１２２により照射される光に基づく対象物Ｔの形状測定では、マルチパスによる影響が低減されているため、本来対象物Ｔの形状は点線で示されるような形状であるところ、計測結果としても実線で示すような形状となる。このように、第２の照射によれば、対象物Ｔの形状を正確に測定することができる。なお、図示する一例では、真上から見た図であるため、１つの第２照射部１２２しか見えないが、受光部１１０を挟んで第２照射部１２２と対向する位置（受光部１１０の下側ということもできる）に、不図示の第２照射部１２２を備えていてもよい。換言すれば、第１照射部１２１は受光部１１０を挟んで左右方向に配置され、第２照射部１２２は受光部１１０を挟んで上下方向に配置されているということができる。

【0034】

なお、本実施形態においては、便宜上、異なる照射角の照射光を照射する照射部を、第１照射部１２１及び第２照射部１２２に分けて記載しているが、１つの照射部により異なる照射角の照射光を照射してもよい。すなわち、第１照射部１２１及び第２照射部１２２は、同一のものであってもよい。

【0035】

図２に戻り、制御部１３０の機能構成について説明する。制御部１３０は、照射部１２０による光の照射及び受光部１１０の露光を制御し、受光部１１０により受光した情報を取得する。制御部１３０は、光の照射と受光に関する情報に基づき、二次元座標系の各座標において対象物Ｔまでの距離を計測し、対象物Ｔの三次元的形状を取得する。

【0036】

制御部１３０は、ＴｏＦセンサ制御部１３１と、第１距離画像取得部１３２と、第２距離画像取得部１３３と、三次元情報生成部１３４とを含んで構成される。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、コンピュータおよびソフトウェアによって実現するようにしてもよい。

【0037】

ＴｏＦセンサ制御部１３１は、照射部１２０による光の照射を制御する。具体的には、ＴｏＦセンサ制御部１３１は、第１制御情報ＣＩ１を出力することにより第１照射部１２１による光の照射タイミングを制御し、第２制御情報ＣＩ２を出力することにより第２照射部１２２による光の照射タイミングを制御する。また、ＴｏＦセンサ制御部１３１は、第３制御情報ＣＩ３を出力することにより、照射部１２０が照射したときの反射光を受光部１１０が受光する際の露光を制御する。その結果、ＴｏＦセンサ制御部１３１は受光部１１０から受光情報ＲＩを取得することにより反射光についての情報を取得する。受光情報ＲＩには、二次元座標の各座標に応じて、反射光を取得した対象物Ｔまでの距離に関する情報が含まれていてもよい。受光情報ＲＩには、受光部１１０が露光して取得したそれぞれの情報が含まれていてもよいし、受光部１１０が複数回露光して取得した反射光に基づいて信号処理することによって取得した座標ごとの赤外光情報及び距離情報が含まれていてもよい。赤外光情報や距離情報は、ＴｏＦセンサ制御部１３１が受光部１１０から取得した反射光についての情報に基づいて信号処理することにより取得してもよい。

【0038】

ＴｏＦセンサ制御部１３１は、取得した受光情報ＲＩに基づき、距離画像を生成する。距離画像とは、光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含むものである。複数の距離値は、二次元座標系に応じたものである。距離画像は、ＴｏＦセンサにより得られるＤｅｐｔｈ画像ということもできる。具体的には、ＴｏＦセンサ制御部１３１は、第１制御情報ＣＩ１を出力することにより第１照射部１２１による照射を行った結果として得られた反射光に基づき、第１距離画像ＤＩ１を生成する。また、ＴｏＦセンサ制御部１３１は、第２制御情報ＣＩ２を出力することにより第２照射部１２２による照射を行った結果として得られた反射光に基づき、第２距離画像ＤＩ２を生成する。ここで、第１照射部１２１による照射と、第２照射部１２２による照射とは、同一の対象物Ｔに対して行われる。また、第１照射部１２１による照射の照射角と、第２照射部１２２による照射の照射角とは異なる。すなわち、第２距離画像ＤＩ２とは、第１距離画像ＤＩ１と同一の対象物Ｔに対して光を照射することにより得られる距離画像であって、第１距離画像ＤＩ１とは異なる照射角の光を照射することにより得られる距離画像であるということもできる。

【0039】

第１距離画像取得部１３２は、ＴｏＦセンサ制御部１３１により生成された第１距離画像ＤＩ１を取得する。第１距離画像取得部１３２は、取得した第１距離画像ＤＩ１を三次元情報生成部１３４に出力する。

【0040】

第２距離画像取得部１３３は、ＴｏＦセンサ制御部１３１により生成された第２距離画像ＤＩ２を取得する。第２距離画像取得部１３３は、取得した第２距離画像ＤＩ２を三次元情報生成部１３４に出力する。

【0041】

三次元情報生成部１３４は、第１距離画像取得部１３２から第１距離画像ＤＩ１を取得し、第２距離画像取得部１３３から第２距離画像ＤＩ２を取得する。三次元情報生成部１３４は、取得した第１距離画像ＤＩ１と第２距離画像ＤＩ２とに基づいて、対象物Ｔの三次元情報を生成する。ここで、第１距離画像ＤＩ１を得るために照射された光の照射角と、第２距離画像ＤＩ２を得るために照射された光の照射角とは異なり、具体的には、第１距離画像ＤＩ１を得るために照射された光の照射角はより広角である。第１距離画像ＤＩ１を得るために照射された光の照射角は広角のため、第１距離画像ＤＩ１はマルチパスの影響を受けたものであるということができる。一方、第２距離画像ＤＩ２を得るために照射された光の照射角は第１距離画像ＤＩ１の照射角より狭いため（理想的には、対象物Ｔの大きさ又は範囲にのみ照射される角度のため）、第２距離画像ＤＩ２はマルチパスの影響が軽減されたものである。しかしながら第２距離画像ＤＩ２によれば、対象物Ｔの外側の領域は、距離値（Ｄｅｐｔｈ値）がとれない（値が０である）。したがって第２距離画像ＤＩ２によって距離値が得られない領域が存在する。三次元情報生成部１３４は、第２距離画像ＤＩ２によって距離値が得られない領域については、第１距離画像ＤＩ１の距離値を用いて対象物Ｔの三次元情報を生成する。三次元情報生成部１３４により生成される対象物Ｔの三次元情報は、第１距離画像ＤＩ１と比べて、光の反射に伴うマルチパスの影響が軽減されたものである。また、三次元情報生成部１３４により生成される対象物Ｔの三次元情報には、第２距離画像ＤＩ２と比べて、対象物Ｔの周辺（例えば背景ＢＧ）についての情報も含まれる。なお、以下の説明において、三次元情報生成部１３４を単に生成部と記載する場合がある。

【0042】

三次元情報生成部１３４は、第１距離画像ＤＩ１及び第２距離画像ＤＩ２の両方から距離値を取得可能な場合、第１距離画像ＤＩ１の距離値と第２距離画像ＤＩ２の距離値とを比較した結果に応じて、いずれの距離値を採用するかを決定してもよい。つまり、第１距離画像ＤＩ１の距離値と第２距離画像ＤＩ２の距離値とを比較した結果に基づいて対象物Ｔの三次元情報に対するマルチパスの影響を判定し、判定した結果に応じていずれの距離値を採用するかを決定する。ここで、第１距離画像ＤＩ１及び第２距離画像ＤＩ２は、それぞれ二次元座標系の各座標に応じた距離値を有している。そこで、三次元情報生成部１３４は、同一座標における第１距離画像ＤＩ１に含まれる距離値と第２距離画像ＤＩ２に含まれる距離値とを比較し、比較した結果に応じて対象物Ｔの三次元情報を生成してもよい。

【0043】

「比較した結果に応じて」とは、距離値の差分が、センサのノイズ特性、Ｄｅｐｔｈ精度、個体差ばらつき、温度特性等で変動する量をある一定量以上超えた場合に、マルチパスの影響を受けていると判定することであってもよい。例えば、三次元情報生成部１３４は、Ｄｅｐｔｈ精度が±２％である場合、比較した結果が±５％又は±１０％であることを条件として、マルチパスの影響を受けていると判定してもよい。マルチパスの影響を受けていると判定された座標については、第２距離画像ＤＩ２の距離値を採用してもよい。

【0044】

三次元情報生成部１３４は、マルチパスによる物体の歪みが目に見えて不自然となるような場合に、マルチパスが発生していると判定して補正を行ってもよい。マルチパスによる物体の歪みが目に見えて不自然となるか否かの判定は、対象物Ｔの大きさに基づくものであってもよい。例えば対象物Ｔの大きさが直径１００［ｍｍ（ミリメートル）］の円形である場合、閾値が５％なら５［ｍｍ］、閾値が１０％なら１０［ｍｍ］、の歪みを許容することとなる。このように、許容可能な歪みに基づいて閾値が設定されてもよい。

【0045】

なお、上述したように、可視光反射ダイクロイック膜等を用いて更に可視光画像を取得可能とした構成の場合、更に可視光画像取得部（不図示）を備えることにより対象物Ｔの可視光画像を取得し、三次元情報生成部１３４は、取得した可視光画像に基づいて、第１距離画像ＤＩ１又は第２距離画像ＤＩ２のいずれの距離値を用いるかを決定してもよい。可視光画像を用いれば、画素値の微分や周波数解析等の画像解析を行うことにより対象物Ｔのエッジ（輪郭）を検出することが可能である。また、距離画像によれば、距離値に一定量の差が存在する位置を対象物Ｔのエッジとして検出することができる。したがって、可視光画像に基づくエッジと、距離画像に基づくエッジが異なる場合、マルチパスによる影響を受けていると判定することができる。このような場合、三次元情報生成部１３４は可視光画像による対象物Ｔのエッジに基づき、対象物Ｔのエッジより外側は第１距離画像ＤＩ１の距離値を用い、対象物Ｔのエッジより内側は第２距離画像ＤＩ２の距離値を用いることができる。

【0046】

上述した一例によれば、対象物Ｔが画角の中央に存在することが前提となっている。しかしながら、本実施形態は、対象物Ｔが画角の中央に存在しない場合についても適用可能である。次に、図５及び図６を参照しながら、対象物Ｔが画角の中央に存在しない場合の一例について説明する。

【0047】

図５は、実施形態１に係る三次元情報取得装置による第１の照射について説明するための第２の図である。同図を参照しながら、対象物Ｔが画角の中央に存在しない場合における三次元情報取得装置１０による第１の照射について説明する。同図は、図３における配置と比較して、対象物Ｔの位置が画角中央から左側に移動した状態における図である。この状態においても、対象物Ｔは、角度αの範囲内に存在している。図示する一例では、図３の状況と同様に、第１照射部１２１により照射され対象物Ｔに反射した光（当該光の経路を照射光ＢＭ１－１と記載する。）は、マルチパスの影響を受けない。しかしながら、第１照射部１２１により照射され背景ＢＧに反射した光（当該光の経路を照射光ＢＭ１－２と記載する。）によっては、背景ＢＧからの反射光が対象物Ｔ等によって更に反射している場合があり、このような光はマルチパスの影響を与える。

【0048】

図６は、実施形態１に係る三次元情報取得装置による第２の照射について説明するための第２の図である。同図を参照しながら、対象物Ｔが画角の中央に存在しない場合における三次元情報取得装置１０による第２の照射について説明する。同図は、図４における配置と比較して、対象物Ｔの位置が画角中央から左側に移動した状態における図である。この状態において、図４のように画角の中央に照射角の狭い光を照射すると、対象物Ｔが角度βの範囲内に収まらない。本実施形態によれば、照射部１２０が光を照射する角度を対象物Ｔに合わせて変更することにより、対象物Ｔを狭い画角内に収める。具体的には、第２照射部１２２が向く方向を可変にすることにより、照射部１２０は対象物Ｔの位置に応じて光を照射する方向を変えられる。

【0049】

なお、上述したように、可視光反射ダイクロイック膜等を用いて更に可視光画像を取得可能とした構成の場合、照射部１２０は、可視光画像に基づいて第２照射部１２２が向く方向を変えるようにしてもよい。この場合、三次元情報取得装置１０は、対象物Ｔを撮像した可視光画像を取得する可視光画像取得部を更に備え、照射部１２０は、取得した可視光画像を解析したことにより得られた対象物Ｔの位置に応じて光を照射する方向を変えられる。なお、照射部１２０により光の照射が行われる方向は、例えば取得した可視光画像につき物体検出処理を行い、物体が存在すると判定された範囲の中心点に基づき、照射方向角及び照射範囲角を制御することであってもよい。また、対象物Ｔが人物である場合、例えば可視光画像を画像処理することにより顔認識を行い、顔であると認識された範囲の中心点に基づき、照射方向角及び照射範囲角を制御してもよい。これにより、人物の顔についてマルチパスの影響が軽減された三次元情報を生成することができる。

【0050】

上述した一例によれば、照射部１２０は、予め照射角の広い第１照射部１２１と、照射角の狭い第２照射部１２２とを予め備え、いずれか一方から光を照射することにより、第１の照射と第２の照射とを切り替えていた。通常市販されているＶＣＳＥＬによれば、アイセーフの観点からディフューザの位置が固定されており、照射角を変えることは困難である。したがって、照射角を変更するためには予め異なる照射角のＶＣＳＥＬを用意する必要が生じ、上述したような実施形態をとることが考えられる。しかしながらディフューザとＶＣＳＥＬとの距離を可変にすることにより照射角を容易に変更することが可能となれば、１個のＶＣＳＥＬにより上述した実施形態と同様の構成を実現することが可能である。以下、図７を参照しながら、１個のＶＣＳＥＬにより上述した実施形態と同様の構成を実現する場合の一例について説明する。

【0051】

図７は、実施形態１に係る三次元情報取得装置において、照射角の変更方法について説明するための図である。同図を参照しながら、照射角の変更方法について説明する。図示する照射部１４０は、照射部１２０の変形例である。同図には、照射部１４０の内部構成の一例を示す。照射部１４０は、距離画像を取得するための光を照射するための部材である。照射部１４０は、発光部１４１と拡散部１４２とを含んで構成される。発光部１４１は、光を発光する部材であり、例えばＶＣＳＥＬであってもよい。拡散部１４２は、発光部１４１により発光された光を拡散する部材であり、例えばディフューザであってもよい。照射部１４０は、発光部１４１と拡散部１４２との距離を可変にすることにより異なる照射角の光を照射する。

【0052】

図７（Ａ）から図７（Ｃ）は、それぞれ発光部１４１と拡散部１４２との距離が異なっている。図７（Ａ）から図７（Ｃ）によれば、照射部１４０は、それぞれ異なる照射角の光を照射する。例えば固定された発光部１４１に対して、拡散部１４２が前後方向（図中に両向き矢印で示した上下方向）にシフトすることにより、発光部１４１と拡散部１４２との距離を可変にするよう構成されていてもよい。この場合、ＴｏＦセンサ制御部１３１による距離値の算出には、拡散部１４２のシフト量が用いられ、補正が行われてもよい。なお、当該補正は、光の速度で無視できる範囲であれば無視してもよい。拡散部１４２の前後位置シフト機構は、アイセーフの観点から、容易に外れないような構成とされることが好適である。図７（Ａ）に示す一例では、発光部１４１と拡散部１４２との距離が距離Ｌ４１であり、図示する中で最も短い。この場合の照射角は角度γ１であり、図示する中で最も広角に光を照射することができる。図７（Ｃ）に示す一例では、発光部１４１と拡散部１４２との距離が距離Ｌ４３であり、図示する中で最も長い。この場合の照射角は角度γ３であり、図示する中で最も狭角に光を照射することができる。図７（Ｂ）に示す一例では、発光部１４１と拡散部１４２との距離が距離Ｌ４２であり、図７（Ａ）に示す一例と図７（Ｃ）に示す一例との間の距離である。この場合の照射角は角度γ２であり、図７（Ａ）に示す一例と図７（Ｃ）に示す一例との間の照射角の光を照射することができる。

【0053】

［実施形態１のまとめ］
以上説明した実施形態によれば、三次元情報取得装置１０は、第１距離画像取得部１３２を備えることにより第１距離画像ＤＩ１を取得し、第２距離画像取得部１３３を備えることにより第２距離画像ＤＩ２を取得する。第１距離画像ＤＩ１及び第２距離画像ＤＩ２は、いずれも光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像（Ｄｅｐｔｈ画像）である。第１距離画像ＤＩ１及び第２距離画像ＤＩ２は、同一の対象物Ｔに対して光を照射することにより得られる距離画像であって、互いに異なる照射角の光を照射することにより得られる距離画像である。第１距離画像ＤＩ１は、広い照射角の光により対象物Ｔまでの距離を測距しているため、広い範囲について距離情報を有している。第２距離画像ＤＩ２は、狭い照射角の光により対象物Ｔまでの距離を測距しているため、マルチパスの影響が少ない。三次元情報取得装置１０は三次元情報生成部１３４を備えることにより、第１距離画像ＤＩ１と第２距離画像ＤＩ２とに基づいて、光の反射に伴うマルチパスの影響を軽減した対象物Ｔの三次元情報を生成する。したがって、本実施形態によれば、マルチパスによる影響を低減可能な測距技術を提供することができる。また、従来であればマルチパスの影響を受けやすい環境（例えば近赤外光反射率の高い背景等の周囲物）は除外しなければ、マルチパスの影響を低減することはできなかった。しかしながら本実施形態によれば、マルチパスの影響を受けやすい環境を除外することなくマルチパスによる影響を低減可能な測距技術を提供することができる。

【0054】

また、以上説明した実施形態によれば、第１距離画像ＤＩ１及び第２距離画像ＤＩ２は、いずれも二次元座標系の各座標に応じた距離値を有する。また、三次元情報生成部１３４は、同一座標における第１距離画像ＤＩ１に含まれる距離値と第２距離画像ＤＩ２に含まれる距離値とを比較し、比較した結果に応じて対象物の三次元情報を生成する。すなわち、三次元情報取得装置１０は、距離値の差に応じてどちらの距離値を採用するかを決定する。距離値の差が大きい座標は、照射角が広角である第１距離画像ＤＩ１においてマルチパスの影響を受けている可能性が高い。このような座標については、第２距離画像ＤＩ２の距離値を用いることにより、マルチパスによる影響を低減した三次元情報を生成することができる。したがって、本実施形態によれば、容易にマルチパスによる影響を低減可能な測距技術を提供することができる。

【0055】

また、以上説明した実施形態によれば、照射部１２０を備えることにより距離画像を取得するための光を照射する。照射部１２０は、対象物Ｔの位置に応じて光を照射する方向を変えられる。すなわち、三次元情報取得装置１０は、被写体の位置に応じて照射角を変えることができる。したがって本実施形態によれば、対象物Ｔが画角の中心に存在しない場合であっても、対象物Ｔのみに光を照射する第２の照射を行うことができる。したがって本実施形態によれば、対象物Ｔが画角の中心にない場合であっても、マルチパスによる影響を低減可能な測距技術を提供することができる。

【0056】

また、以上説明した実施形態によれば、三次元情報取得装置１０は可視光画像取得部を更に備えることにより、対象物Ｔを撮像した可視光画像を取得する。また、照射部１２０は、可視光画像を解析したことにより得られた対象物Ｔの位置や大きさに応じて光を照射する方向や照射角を変えられる。すなわち、照射部１２０は、可視光画像に基づいて対象物Ｔの位置や大きさを特定し、照射する方向や照射角を変えることができる。したがって、本実施形態によれば、対象物Ｔが画角の中心にない場合であっても、第２の照射を行う方向を自動的に判定し、第２の照射を行うことができる。したがって本実施形態によれば、対象物Ｔが画角の中心にない場合であっても、マルチパスによる影響を低減可能な測距技術を提供することができる。

【0057】

また、以上説明した実施形態によれば、三次元情報取得装置１０は照射部１４０を備えることにより距離画像を取得するための光を照射し、照射部１４０は、光を発光する発光部１４１と、発光部１４１により発光された光を拡散する拡散部１４２とを備える。また、照射部１４０は、発光部１４１と拡散部１４２との距離を可変にすることにより異なる照射角の光を照射する。すなわち、本実施形態によれば、複数の異なる照射角を有する照射部１２０を予め備えることを要せず、対象物Ｔの位置や大きさに応じて照射角を変えることができる。したがって本実施形態によれば、対象物Ｔの位置や大きさ位に応じて好適な照射角の光を照射することができ、精度よくマルチパスによる影響を低減可能な測距技術を提供することができる。

【0058】

上述した一例によれば、対象物Ｔが画角の中に１つだけ存在することが前提となっている。しかしながら、本実施形態はこの一例に限定されず、対象物Ｔが画角の中に複数存在する場合についても適用可能である。対象物Ｔが画角の中に複数存在する場合、例えば複数の対象物Ｔのうちメインの対象物Ｔに対して第２の照射を行い、複数の対象物Ｔのうちその他の対象物Ｔについては第２の照射を行わなくてもよい。また、他の実施形態としては、第１の照射に対応する第２の照射を対象物Ｔの数だけ行うことにより、マルチパスの影響が少ない第２距離画像ＤＩ２を複数取得してもよい。この場合、三次元情報生成部１３４は、１枚の第１距離画像ＤＩ１と、複数の第２距離画像ＤＩ２とにもとづいて、複数の対象物Ｔの三次元情報を生成してもよい。

【0059】

なお、上述した一例によれば、第２の照射では対象物Ｔの位置や大きさに合わせて照射角を狭めるが、照射角の調整に限度がある場合（すなわち、照射角を最も狭くした場合であっても、対象物Ｔの外側に光が照射されてしまう場合）には、対象物Ｔの位置がより光軸近くへ配置されるようにすることにより、（マルチパスの影響を完全になくすことはできないかもしれないが）マルチパスの影響を低減させることが可能である。第２照射部１２２により照射される光の光軸が対象物Ｔの中心を通るように第２照射部１２２が向く方向を調節することにより、マルチパスの影響を低減させるようにしてもよい。

【0060】

また、マルチパスの影響の大小は、対象物Ｔの形状や背景ＢＧによって決定される。対象物Ｔの形状や背景ＢＧによっては、マルチパスの影響が水平方向に多い場合もあるし、垂直方向に多い場合もある。そこで、三次元情報取得装置１０は、マルチパスの影響が水平方向に多いか、垂直方向に多いかに応じて、異なる制御を行ってもよい。マルチパスの影響が水平方向に多いか、垂直方向に多いかは、例えば可視光画像により判定されてもよい。水平方向からのマルチパスの影響が多い場合、第２照射部１２２は、受光部１１０を挟んで垂直方向上下に配置されていてもよい（すなわち図３に示した配置と同様である。）。また、垂直方向からのマルチパスの影響が多い場合、第２照射部１２２は、受光部１１０を挟んで水平方向上下に配置されていてもよい（すなわち図３に示した配置を９０度回転させた配置である。）。

【0061】

［実施形態２］
次に、図８から図１１を参照しながら、実施形態２について説明する。実施形態１では、照射角の異なる光（具体的には照射角の狭い光）を照射することにより第２距離画像ＤＩ２を取得する場合の一例について説明した。実施形態２は、照射角を固定したまま背景を異ならせることによりマルチパスを低減した第２距離画像ＤＩ２を取得する点において、実施形態１とは異なる。

【0062】

図８は、実施形態２に係る三次元情報取得装置の機能構成の一例を示す機能構成図である。同図を参照しながら、実施形態２に係る三次元情報取得装置１０Ａの機能構成の一例について説明する。三次元情報取得装置１０Ａの照射部１２０Ａは、互いに異なる照射角の光を照射する複数の照射部を備えない点において三次元情報取得装置１０とは異なる。具体的には、三次元情報取得装置１０Ａは、照射部１２０に代えて照射部１２０Ａを備える点において三次元情報取得装置１０とは異なる。また、三次元情報取得装置１０Ａは、更に背景情報取得部１５０を備える点において三次元情報取得装置１０とは異なる。また、三次元情報取得装置１０Ａは、制御部１３０に代えて制御部１３０Ａを備える点において三次元情報取得装置１０とは異なる。三次元情報取得装置１０Ａの説明において三次元情報取得装置１０と同様の構成については同様の符号を付すことにより説明を省略する場合がある。

【0063】

照射部１２０Ａは、ＴｏＦセンサ制御部１３１Ａからの制御情報ＣＩに基づき、距離画像を取得するための光を照射する。

【0064】

背景情報取得部１５０は、対象物Ｔの背景についての情報を取得する。背景情報取得部１５０は、取得した情報を背景情報ＢＧＩとしてＴｏＦセンサ制御部１３１Ａに出力する。背景情報取得部１５０は、例えばユーザからの操作により対象物Ｔの背景ＢＧについての情報を取得してもよい。また、他の一例として背景情報取得部１５０は、可視光画像を撮像し、撮像した可視光画像を画像解析することにより対象物Ｔの背景ＢＧについての情報を取得してもよい。背景情報ＢＧＩには、近赤外線の反射率が高い背景であるか、近赤外線の反射率が低い背景であるかについての情報が含まれていてもよい。背景情報取得部１５０が可視光画像を画像解析することにより対象物Ｔの背景ＢＧについての情報を取得する場合、例えば対象物Ｔのエッジを検出し、対象物Ｔの外側が白に近い場合には近赤外線の反射率が高い背景であるとし、対象物Ｔの外側が黒に近い場合には近赤外線の反射率が低い背景であるとしてもよい。

【0065】

制御部１３０Ａは、ＴｏＦセンサ制御部１３１に代えてＴｏＦセンサ制御部１３１Ａを、第１距離画像取得部１３２に代えて第１距離画像取得部１３２Ａを、第２距離画像取得部１３３に代えて第２距離画像取得部１３３Ａを、三次元情報生成部１３４に代えて三次元情報生成部１３４Ａを備える。制御部１３０Ａは、制御部１３０の変形例である。

【0066】

ＴｏＦセンサ制御部１３１Ａは、照射部１２０Ａによる光の照射を制御する。具体的には、ＴｏＦセンサ制御部１３１Ａは、制御情報ＣＩを出力することにより照射部１２０Ａによる光の照射タイミングを制御する。また、ＴｏＦセンサ制御部１３１Ａは、照射部１２０Ａによる照射の結果として受光した反射光についての情報を取得する。具体的には、ＴｏＦセンサ制御部１３１Ａは、受光部１１０から受光情報ＲＩを取得することにより、反射光についての情報を取得する。受光情報ＲＩには、二次元座標の各座標に応じて、反射光を取得したタイミングに関する情報が含まれていてもよい。ＴｏＦセンサ制御部１３１Ａは、取得した受光情報ＲＩに基づき、距離画像を生成する。ＴｏＦセンサ制御部１３１Ａは、対象物Ｔの背景が近赤外線の反射率が高い背景である第１背景ＢＧ１である場合に光が照射され（以下、第１の照射と記載する）、結果として得られた反射光に基づいて、第１距離画像ＤＩ１Ａを生成する。また、ＴｏＦセンサ制御部１３１Ａは、対象物Ｔの背景が近赤外線の反射率が第１背景ＢＧ１より低い背景である第２背景ＢＧ２である場合に光が照射され（以下、第２の照射と記載する）、結果として得られた反射光に基づいて、第２距離画像ＤＩ２Ａを生成する。ここで、第１の照射と、第２の照射とは、同一の対象物Ｔに対して行われるものである。

【0067】

第１距離画像取得部１３２Ａは、ＴｏＦセンサ制御部１３１Ａにより生成された第１距離画像ＤＩ１Ａを取得する。第１距離画像取得部１３２Ａは、取得した第１距離画像ＤＩ１Ａを三次元情報生成部１３４Ａに出力する。

【0068】

第２距離画像取得部１３３Ａは、ＴｏＦセンサ制御部１３１Ａにより生成された第２距離画像ＤＩ２Ａを取得する。第２距離画像取得部１３３Ａは、取得した第２距離画像ＤＩ２Ａを三次元情報生成部１３４Ａに出力する。

【0069】

三次元情報生成部１３４Ａは、第１距離画像取得部１３２Ａから第１距離画像ＤＩ１Ａを取得し、第２距離画像取得部１３３Ａから第２距離画像ＤＩ２Ａを取得する。三次元情報生成部１３４Ａは、取得した第１距離画像ＤＩ１Ａと第２距離画像ＤＩ２Ａとに基づいて、対象物Ｔの三次元情報を生成する。ここで、第２背景ＢＧ２を用いた場合は、第１背景ＢＧ１より近赤外線の反射率が低いため、第１背景ＢＧ１を用いた場合と比較して光の反射に伴うマルチパスによる影響を受けにくいということができる。したがって、第２距離画像ＤＩ２Ａは、第１距離画像ＤＩ１Ａと比較して、光の反射に伴うマルチパスによる影響を受けていないものということができる。したがって、三次元情報生成部１３４Ａは、第１距離画像ＤＩ１Ａと第２距離画像ＤＩ２Ａとに基づいて、光の反射に伴うマルチパスの影響を軽減した対象物Ｔの三次元情報を生成することができる。なお、以下の説明において三次元情報生成部１３４Ａを単に生成部と記載する場合がある。

【0070】

なお、三次元情報生成部１３４Ａは、第１距離画像ＤＩ１Ａ及び第２距離画像ＤＩ２Ａの両方から距離値を取得可能な場合、第１距離画像ＤＩ１Ａの距離値と第２距離画像ＤＩ２Ａの距離値とを比較した結果に応じて、いずれの距離値を採用するかを決定してもよい。ここで、第１距離画像ＤＩ１Ａ及び第２距離画像ＤＩ２Ａは、それぞれ二次元座標系の各座標に応じた距離値を有している。そこで、三次元情報生成部１３４Ａは、同一座標における第１距離画像ＤＩ１Ａに含まれる距離値と第２距離画像ＤＩ２Ａに含まれる距離値とを比較し、比較した結果に応じて対象物Ｔの三次元情報を生成してもよい。

【0071】

図９は、実施形態２に係る三次元情報取得装置による第１の照射と第２の照射について説明するための図である。同図を参照しながら、実施形態２に係る三次元情報取得装置１０Ａによる照射であって、第１背景ＢＧ１を用いた第１の照射と第２背景ＢＧ２を用いた第２の照射について説明する。同図に示す一例では、三次元情報取得装置１０Ａが背景の手前に存在する対象物Ｔの三次元的形状を測定する。三次元情報取得装置１０Ａは、受光部１１０と、照射部１２０Ａとを備える。三次元情報取得装置１０Ａは、照射部１２０Ａとして、照射部１２０Ａ－１及び照射部１２０Ａ－２を備える。図９（Ａ）は、第１の照射の一例を示したものであり、図９（Ｂ）は、第２の照射の一例を示したものである。図示する一例では、対象物Ｔとして円柱形のガムケースが用いられている。また、第１背景ＢＧ１として近赤外線の反射率が高い白い壁が用いられ、第２背景ＢＧ２として近赤外線の反射率が低い黒い壁が用いられている。

【0072】

図９（Ａ）に示すように、照射部１２０Ａにより照射され対象物Ｔに反射した光（当該光の経路を照射光ＢＭ２－１と記載する。）は、マルチパスの影響を受けない。しかしながら、照射部１２０Ａにより照射され第１背景ＢＧ１に反射した光（当該光の経路を照射光ＢＭ２－２と記載する。）によっては、第１背景ＢＧ１からの反射光が対象物Ｔ等によって更に反射している場合があり、このような光はマルチパスの影響を与える。マルチパスの影響により、対象物Ｔの形状は、本来点線で示すような形状であるものの、実線で示すような形状として計測されてしまう。これは、マルチパスの影響を受けた場合、Ｄｅｐｔｈ値（三次元情報取得装置１０Ａから対象物Ｔまでの距離を示す値）は、本来の値より大きく（遠く）測定されるためである。

【0073】

図９（Ｂ）に示すように、照射部１２０Ａにより照射され対象物Ｔに反射した光（当該光の経路を照射光ＢＭ２－１と記載する。）は、マルチパスの影響を受けない。また、照射部１２０Ａにより照射され第２背景ＢＧ２に反射した光（当該光の経路を照射光ＢＭ２－３と記載する。）によっては、第２背景ＢＧ２からの反射光が対象物Ｔ等によって更に反射している場合がある。しかしながら第２背景ＢＧ２は、近赤外線の反射率が低いため、反射光は減衰しており、このような光はマルチパスの影響を与えない（与えたとしてもその影響は軽微である）。したがって、第２背景ＢＧ２を用いた場合は、マルチパスの影響を受けない（または影響が軽微である）ため、本来対象物Ｔの形状は点線で示されるような形状であるところ、計測結果としても実線で示すような形状となる。このように、第２背景ＢＧ２を用いた第２の照射によれば、対象物Ｔの形状を正確に測定することができる。以下の説明において、三次元情報取得装置１０Ａと、第２背景ＢＧ２とを含む構成を三次元情報取得システムと記載する場合がある。

【0074】

なお、第２背景ＢＧ２は、第１背景ＢＧ１である白い壁等に黒い布（近赤外線の反射率が低い布）等を被せたものであってもよい。好適には、第２背景ＢＧ２としては、近赤外線の反射率が低い背景である赤外線吸収シート等が用いられてもよい。

【0075】

三次元情報生成部１３４Ａは、実施形態１において説明した方法と同様の方法により、第１距離画像ＤＩ１Ａと、第２距離画像ＤＩ２Ａとに基づき、光の反射に伴うマルチパスの影響を軽減した対象物Ｔの三次元情報を生成する。

【0076】

なお、上述したように、可視光反射ダイクロイック膜等を用いて更に可視光画像を取得可能とした構成の場合、背景の輝度に依存して、対象物Ｔを撮像した可視光画像の輝度が適正レベルから外れる場合が考えられる。したがって、このような場合、第１背景ＢＧ１を用いた場合の撮像条件（露出、電子増幅、シャッタースピード等）と、第２背景ＢＧ２を用いた場合の撮像条件とを異ならせて、レベル補正を行ってもよい。具体的には、三次元情報取得装置１０Ａは、第１可視光画像取得部（不図示）と、第２可視光画像取得部（不図示）とを備えることにより、このような機能を実現させてもよい。第１可視光画像取得部は、第１距離画像ＤＩ１Ａに対応する対象物Ｔ及び第１背景ＢＧ１を撮像した可視光画像である第１可視光画像を取得する。第２可視光画像取得部は、第２距離画像ＤＩ２Ａに対応する対象物Ｔ及び第２背景ＢＧ２を撮像した可視光画像である第２可視光画像を取得する。第１可視光画像と、第２可視光画像とは、可視光画像の明るさを決定するための撮像条件を互いに異ならせて撮像されたものである。

【0077】

また、上述したようなレベル補正は、撮像後に行われてもよい。この場合、三次元情報取得装置１０Ａは、可視光画像生成部（不図示）を更に備えることにより、撮像後にレベル補正を行ってもよい。可視光画像生成部は、取得した第１可視光画像と、第２可視光画像とに基づき対象物Ｔの三次元情報に付与する画素情報を生成する。また、可視光画像生成部は、取得した第１可視光画像の画素値と、第２可視光画像の画素値とを比較した結果に応じて、画素情報を生成する。可視光画像生成部は、近赤外線反射率が低い第２背景ＢＧ２の可視光画像レベルを基準とし、近赤外線反射率が高い第１背景ＢＧ１の可視光画像レベルとの差分が一定以上あると検出した場合に、適正レベルから外れたと判断し、露出、電子増幅、シャッタースピード等を変えてレベル補正を行ってもよい。

【0078】

次に、図１０及び図１１を参照しながら、第１背景ＢＧ１を用いた場合と、第２背景ＢＧ２を用いた場合のそれぞれについて、可視光画像と距離画像の一例を説明する。

【0079】

図１０は、実施形態２に係る三次元情報取得装置による第１の背景を用いた場合の可視光画像と第２の背景を用いた場合の可視光画像の一例を示す図である。同図を参照しながら、第１背景ＢＧ１を用いた場合と、第２背景ＢＧ２を用いた場合のそれぞれについて、可視光画像の一例を説明する。図１０（Ａ）は、一般的な壁を背景としてガムのボトル、及びその周囲に存在するブロック等を撮像したものである。この状態において、一般的な壁は、近赤外線の反射率が高い第１背景ＢＧ１であるということができる。したがって、この状態において距離画像を取得しようとした場合、マルチパスの影響を受けやすい。図１０（Ｂ）は、図１０（Ａ）と同一の被写体を撮像したものであるが、壁と対象物Ｔとの間に、黒色の布等が挿入されている。当該黒色の布等は、赤外線吸収シートが望ましい。当該黒色の布等は、近赤外線の反射率が低い第２背景ＢＧ２であるということができる。したがって、この状態において距離画像を取得しようとした場合、マルチパスの影響を受けにくい。

【0080】

図１１は、実施形態２に係る三次元情報取得装置による第１距離画像を用いた場合の点群データと第２距離画像を用いた場合の点群データの一例を示す図である。同図を参照しながら、第１背景ＢＧ１を用いた場合と、第２背景ＢＧ２を用いた場合のそれぞれについて、距離画像の一例を説明する。なお、図示する一例では、歪みが分かりやすいように斜め方向に回転させている。図１１（Ａ）は、図１０（Ａ）を撮像した条件において取得された距離画像である第１距離画像ＤＩ１Ａの一例である。図から分かるように、円柱形のガムのボトルが奥行き方向に長く歪んでいる。これは、マルチパスの影響により本来の距離値より奥行き方向に大きくなってしまったためである。図１１（Ｂ）は、図１０（Ｂ）を撮像した条件において取得された距離画像である第２距離画像ＤＩ２Ａの一例である。図から分かるように、奥行き方向の歪みは、図１１（Ａ）と比較して、少ない。これは、近赤外線の反射率が低い背景を用いたために、マルチパスの影響が低減されたためである。

【0081】

［実施形態２のまとめ］
以上説明した実施形態によれば、三次元情報取得装置１０Ａは、第１距離画像取得部１３２Ａを備えることにより第１距離画像ＤＩ１Ａを取得し、第２距離画像取得部１３３Ａを備えることにより第２距離画像ＤＩ２Ａを取得する。第１距離画像ＤＩ１Ａ及び第２距離画像ＤＩ２Ａは、いずれも光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像（Ｄｅｐｔｈ画像）である。第１距離画像ＤＩ１Ａ及び第２距離画像ＤＩ２Ａは、同一の対象物Ｔに対して光を照射することにより得られる距離画像であって、互いに異なる背景ＢＧを用いて得られる距離画像である。具体的には、第１距離画像ＤＩ１Ａは第１背景ＢＧ１を用いて得られる距離画像であって、第２距離画像ＤＩ２Ａは第２背景ＢＧ２を用いて得られる距離画像である。第２背景ＢＧ２は、第１背景ＢＧ１より近赤外線の反射率が低い。また、三次元情報取得装置１０Ａは、三次元情報生成部１３４Ａを備えることにより、第１距離画像ＤＩ１Ａと第２距離画像ＤＩ２Ａとに基づいて、光の反射に伴うマルチパスの影響を軽減した対象物Ｔの三次元情報を生成する。したがって、本実施形態によれば、マルチパスによる影響を低減可能な測距技術を提供することができる。また、従来であればマルチパスの影響を受けやすい環境（例えば近赤外光反射率の高い背景等の周囲物）は除外しなければ、マルチパスの影響を低減することはできなかった。しかしながら本実施形態によれば、マルチパスの影響を受けやすい環境を除外することなくマルチパスによる影響を低減可能な測距技術を提供することができる（すなわち対象物Ｔの背景についての情報を含む三次元情報を生成することができる。）。

【0082】

また、以上説明した実施形態によれば、第１距離画像ＤＩ１Ａ及び第２距離画像ＤＩ２Ａは、いずれも二次元座標系の各座標に応じた距離値を有する。また、三次元情報生成部１３４Ａは、同一座標における第１距離画像ＤＩ１Ａに含まれる距離値と第２距離画像ＤＩ２Ａに含まれる距離値とを比較し、比較した結果に応じて対象物の三次元情報を生成する。すなわち、三次元情報取得装置１０Ａは、距離値の差に応じてどちらの距離値を採用するかを決定する。距離値の差が大きい座標は、近赤外線の反射率が高い背景である第１背景ＢＧ１を用いた第１距離画像ＤＩ１Ａにおいてマルチパスの影響を受けている可能性が高い。このような座標については、第２距離画像ＤＩ２Ａの距離値を用いることにより、マルチパスによる影響を低減することができる。したがって、本実施形態によれば、容易にマルチパスによる影響を低減可能な測距技術を提供することができる。

【0083】

また、以上説明した実施形態によれば、三次元情報取得装置１０Ａは、第１可視光画像取得部と、第２可視光画像取得部とを更に備える。第１可視光画像取得部は、第１距離画像ＤＩ１Ａに対応する対象物Ｔ及び第１背景ＢＧ１を撮像した可視光画像である第１可視光画像を取得する。第２可視光画像取得部は、第２距離画像ＤＩ２Ａに対応する対象物Ｔ及び第２背景ＢＧ２を撮像した可視光画像である第２可視光画像を取得する。第１可視光画像と第２可視光画像とは、可視光画像の明るさを決定するための撮像条件が異なる。すなわち、三次元情報取得装置１０Ａによれば、第１背景ＢＧ１を用いた可視光画像の撮像と、第２背景ＢＧ２を用いた可視光画像の撮像とを、互いに異なる撮像条件（露出、電子増幅、シャッタースピード等）で撮像する。したがって、本実施形態によれば、画像の輝度レベルが好適となるような撮像条件で可視光画像を撮像することができる。

【0084】

また、以上説明した実施形態によれば、三次元情報取得装置１０Ａは、第１可視光画像取得部と、第２可視光画像取得部と、可視光画像生成部とを更に備える。第１可視光画像取得部は、第１距離画像ＤＩ１Ａに対応する対象物Ｔ及び第１背景ＢＧ１を撮像した可視光画像である第１可視光画像を取得する。第２可視光画像取得部は、第２距離画像ＤＩ２Ａに対応する対象物Ｔ及び第２背景ＢＧ２を撮像した可視光画像である第２可視光画像を取得する。可視光画像生成部は、取得した第１可視光画像と第２可視光画像とに基づき対象物Ｔの三次元情報に付与する画素情報を生成する。また、可視光画像生成部は、取得した第１可視光画像の画素値と、第２可視光画像の画素値とを比較した結果に応じて、対象物Ｔの三次元情報に付与する画素情報を生成する。すなわち、三次元情報取得装置１０Ａは、可視光画像の撮像後に補正を行ってもよい。したがって、本実施形態によれば、画像の輝度レベルが好適となるように可視光画像を補正することができる。

【0085】

また、以上説明した実施形態によれば、三次元情報取得システムは、上述したような三次元情報取得装置１０Ａと、第２背景ＢＧ２とを備える。第２背景ＢＧ２は、第２距離画像ＤＩ２Ａを取得する際に用いられ、近赤外線の反射率が低い背景である赤外線吸収シートである。したがって、本実施形態によれば、通常の壁や床、建造物、自然物等、その他通常の撮像時に映り込む背景を第１背景ＢＧ１とし、赤外線吸収シートを第２背景ＢＧ２とすることにより、第１距離画像ＤＩ１Ａと、第２距離画像ＤＩ２Ａとを取得することができる。第２距離画像ＤＩ２Ａは、マルチパスによる影響を低減した距離画像である。よって、本実施形態によれば、マルチパスによる影響を低減可能な測距技術を提供することができる。なお、第１背景ＢＧ１は通常の壁や床等の背景を用いる場合に限定されず、ホワイトチャート等の反射率が高い背景を第１背景ＢＧ１として用いてもよい。

【0086】

［実施形態３］
次に、図１２から図１７を参照しながら、実施形態３について説明する。実施形態３は、ズームレンズを用いて異なる画角の距離画像及び可視光画像を撮像する点において、実施形態１及び実施形態２とは異なる。

【0087】

図１２は、実施形態３に係る三次元情報取得装置の断面の一例を示す模式図である。同図を参照しながら、三次元情報取得装置１０Ｂの断面の一例について説明する。三次元情報取得装置１０Ｂは、レンズ１１１と、可視光反射ダイクロイック膜１１２と、イメージセンサ１１３と、センサ１１４とを備える。三次元情報取得装置１０Ｂは、ズームレンズとして機能するレンズ１１１を更に備える点において三次元情報取得装置１０や三次元情報取得装置１０Ａとは異なる。なお、三次元情報取得装置１０及び三次元情報取得装置１０Ａについても、レンズ１１１を除く構成については、三次元情報取得装置１０Ｂと同様であってもよい。

【0088】

三次元情報取得装置１０Ｂは、受光部１１０を挟んで互いに対称な位置に照射部１２０を複数備える。図示する一例では、三次元情報取得装置１０Ｂは、照射部１２０として照射部１２０Ｂ－１と、照射部１２０Ｂ－２とを受光部１１０の近傍に備える。照射部１２０Ｂ－１及び照射部１２０Ｂ－２は、受光部１１０を挟んで互いに対称な位置に配置される。照射部１２０Ｂ－１及び照射部１２０Ｂ－２は、対象物Ｔに光を照射する。対象物Ｔにより反射した光は、受光部１１０に入射する。同図には、入射した光の光軸を、光軸ＯＡとして記載する。受光部１１０に入射した光は、レンズ１１１を通り、可視光反射ダイクロイック膜１１２に入射する。

【0089】

レンズ１１１は、具体的にはズームレンズである。ズームレンズは複数のレンズ群の間隔を互いに変更することにより拡大倍率（ズーム倍率）を変更することができる。三次元情報取得装置１０Ｂは、複数のレンズ（不図示）を備えていてもよい。レンズ１１１は、光軸方向（図中左右方向）にスライドすることにより拡大倍率を変える。拡大倍率は、制御部（不図示）により制御される。

【0090】

可視光反射ダイクロイック膜１１２は、受光部１１０とセンサ１１４との間の光路上に設けられる。可視光反射ダイクロイック膜１１２は、入射する一部の光（具体的には近赤外光）を透過させ、その他の光（具体的には可視光）を反射する。可視光反射ダイクロイック膜１１２は、照射部１２０により照射された光が対象物Ｔに反射した光の一部を透過させることにより、光をセンサ１１４に導く。可視光反射ダイクロイック膜１１２が透過させる光を赤外光ＩＬと記載する。また、可視光反射ダイクロイック膜１１２が反射する光を可視光ＶＬとして記載する。可視光反射ダイクロイック膜１１２を通る前の赤外光ＩＬ及び可視光ＶＬは、受光部１１０と可視光反射ダイクロイック膜１１２との間で、略同一の光軸を通る。略同一の範囲とは、例えば共通のレンズにより、光路が形成される範囲であってもよい。

【0091】

可視光反射ダイクロイック膜１１２により二つの光路に分光された光は、それぞれの光路に配置されたセンサにより受光される。具体的には、可視光反射ダイクロイック膜１１２を透過した赤外光ＩＬはセンサ１１４により受光され、可視光反射ダイクロイック膜１１２により反射した光はイメージセンサ１１３により受光される。

【0092】

イメージセンサ１１３は、二次元配列された複数の画素を備える。イメージセンサ１１３は、ベイヤー配列により配置されたＲＧＢ各色の画素を備えていてもよい。

【0093】

センサ１１４は、二次元配列された複数の画素を備える。当該複数の画素は、それぞれ複数回ずつ赤外光ＩＬを受光し、距離換算に必要な情報を取得する。

【0094】

図１３は、実施形態３に係る三次元情報取得装置の機能構成の一例を示す機能構成図である。同図を参照しながら、実施形態３に係る三次元情報取得装置１０Ｂの機能構成の一例について説明する。三次元情報取得装置１０Ｂは、照射部１２０に代えて照射部１２０Ｂを、制御部１３０Ａに代えて制御部１３０Ｂを、背景情報取得部１５０に代えて拡大倍率情報取得部１６０を備える点において三次元情報取得装置１０又は三次元情報取得装置１０Ａとは異なる。三次元情報取得装置１０Ｂの説明において、三次元情報取得装置１０又は三次元情報取得装置１０Ａと同様の構成については同様の符号を付すことにより説明を省略する場合がある。

【0095】

拡大倍率情報取得部１６０は、拡大倍率に関する情報を取得する。拡大倍率に関する情報とは、例えばレンズ１１１が前後方向に動作することにより拡大倍率を変更したことに伴う情報であってもよい。拡大倍率情報取得部１６０は、取得した拡大倍率に関する情報を拡大倍率情報ＺＩとして制御部１３０Ｂに出力する。

【0096】

照射部１２０Ｂは、拡大倍率に応じた画角に応じた照射角の光を照射する。具体的には、照射部１２０Ｂは、拡大倍率情報取得部１６０から拡大倍率に関する情報を取得し、取得した拡大倍率に関する情報に基づいて、拡大倍率に応じた画角と略同様の照射角の光を照射する。

【0097】

制御部１３０Ｂは、ＴｏＦセンサ制御部１３１に代えてＴｏＦセンサ制御部１３１Ｂを、第１距離画像取得部１３２に代えて第１距離画像取得部１３２Ｂを、第２距離画像取得部１３３に代えて第２距離画像取得部１３３Ｂを、三次元情報生成部１３４に代えて三次元情報生成部１３４Ｂを備える。また、制御部１３０Ｂは、可視光画像取得部１３５を更に備える。制御部１３０Ｂは、制御部１３０の変形例である。

【0098】

ＴｏＦセンサ制御部１３１Ｂは、照射部１２０Ｂによる光の照射を制御する。具体的には、ＴｏＦセンサ制御部１３１は、第１制御情報ＣＩ１を出力することにより第１照射部１２１Ｂによる光の照射タイミングを制御し、第２制御情報ＣＩ２を出力することにより第２照射部１２２Ｂによる光の照射タイミングを制御する。また、ＴｏＦセンサ制御部１３１Ｂは、照射部１２０Ｂによる照射の結果として受光した反射光についての情報を取得する。具体的には、ＴｏＦセンサ制御部１３１Ｂは、受光部１１０から受光情報ＲＩを取得することにより、反射光についての情報を取得する。受光情報ＲＩには、二次元座標の各座標に応じて、反射光を取得したタイミングに関する情報が含まれていてもよい。ＴｏＦセンサ制御部１３１Ｂは、取得した受光情報ＲＩに基づき、距離画像を生成する。具体的には、ＴｏＦセンサ制御部１３１Ｂは、第１制御情報ＣＩ１を出力することにより第１照射部１２１Ｂによる照射（以下、第１の照射と記載する）を行った結果として得られた反射光に基づき、第１距離画像ＤＩ１Ｂを生成する。また、ＴｏＦセンサ制御部１３１Ｂは、第２制御情報ＣＩ２を出力することにより第２照射部１２２Ｂによる照射（以下、第１の照射と記載する）を行った結果として得られた反射光に基づき、第２距離画像ＤＩ２Ｂを生成する。ここで、第１の照射と、第２の照射とは、同一の対象物Ｔに対して行われる。また、第１の照射と、第２の照射とは、レンズ１１１の拡大倍率を異ならせて取得されたものである。第２の照射は、第１の照射に比べて拡大されたものである。換言すれば、第２距離画像ＤＩ２Ｂは、第１距離画像ＤＩ１Ｂと同一の対象物Ｔの一部を光学部材により拡大することにより得られる距離画像である。

【0099】

第１距離画像取得部１３２Ｂは、ＴｏＦセンサ制御部１３１Ｂにより生成された第１距離画像ＤＩ１Ｂを取得する。第１距離画像取得部１３２Ｂは、取得した第１距離画像ＤＩ１Ｂを三次元情報生成部１３４Ｂに出力する。

【0100】

第２距離画像取得部１３３Ｂは、ＴｏＦセンサ制御部１３１Ｂにより生成された第２距離画像ＤＩ２Ｂを取得する。第２距離画像取得部１３３Ｂは、取得した第２距離画像ＤＩ２Ｂを三次元情報生成部１３４Ｂに出力する。

【0101】

三次元情報生成部１３４Ｂは、第１距離画像取得部１３２Ｂから第１距離画像ＤＩ１Ｂを取得し、第２距離画像取得部１３３Ｂから第２距離画像ＤＩ２Ｂを取得する。三次元情報生成部１３４Ｂは、取得した第１距離画像ＤＩ１Ｂと第２距離画像ＤＩ２Ｂとに基づいて、対象物Ｔの三次元情報を生成する。ここで、拡大倍率が高い第２距離画像ＤＩ２Ｂは、背景への照射が第１距離画像ＤＩ１Ｂと比較して少ないため、光の反射に伴うマルチパスによる影響を受けにくいということができる。したがって、三次元情報生成部１３４Ｂは、第１距離画像ＤＩ１Ｂと第２距離画像ＤＩ２Ｂとに基づいて、光の反射に伴うマルチパスの影響を軽減した対象物Ｔの三次元情報を生成することができる。なお、以下の説明において三次元情報生成部１３４Ｂを単に生成部と記載する場合がある。

【0102】

ここで、第１距離画像ＤＩ１Ｂ及び第２距離画像ＤＩ２Ｂに基づき、マルチパスの影響が少ない三次元情報を生成しようとする場合、光軸がずれていると（不可能ではないものの）合成が困難である。したがって、第１距離画像ＤＩ１Ｂと第２距離画像ＤＩ２Ｂとは、光軸を固定したまま取得されることが好適である。なお、本実施形態はこの一例に限定されるものではなく、互いに光軸をずらして第１距離画像ＤＩ１Ｂ及び第２距離画像ＤＩ２Ｂを取得してもよい。この場合、マルチパスの影響が少ない三次元情報を生成しようとする場合に所定の演算を要する。

【0103】

可視光画像取得部１３５は、対象物Ｔを撮像した可視光画像をイメージセンサ１１３から取得する。可視光画像取得部１３５は、距離画像が取得される際の拡大倍率と同様の拡大倍率とする可視光画像を取得する。具体的には、可視光画像取得部１３５は、第１距離画像ＤＩ１Ｂと略同一の画角を有する可視光画像である第１可視光画像と、第２距離画像ＤＩ２Ｂと略同一の画角を有する可視光画像である第２可視光画像とを取得する。

【0104】

なお、第２可視光画像及び第２距離画像ＤＩ２Ｂが取得される際の拡大倍率は、第１可視光画像を解析した結果に基づいて決定されてもよい。例えば、第１可視光画像を解析することにより対象物Ｔのエッジ（輪郭）を検出し、当該エッジがちょうど収まる程度の拡大倍率としたうえで第２可視光画像及び第２距離画像ＤＩ２Ｂを取得してもよい。第１可視光画像の解析とは、画素値の微分や周波数解析等による物であってもよいし、顔認識等の機械学習アルゴリズム等が用いられてもよい。この場合、光学部材による拡大倍率は、可視光画像取得部１３５により取得された可視光画像に基づくということもできる。

【0105】

なお、本実施形態において距離画像と可視光画像は、いずれが先に取得されてもよい。例えば、可視光画像が先に取得され、その後に距離画像が取得される場合、照射部１２０Ｂは、拡大倍率情報取得部１６０により取得された拡大倍率に応じて照射角を決定してもよい。すなわち距離画像を取得するために照射される光の照射角は、可視光画像の画角に応じて決定されてもよい。

【0106】

次に、図１４から図１６を参照しながら、三次元情報取得装置１０Ｂにより生成される点群データの一例について説明する。

【0107】

図１４は、実施形態３に係る三次元情報取得装置によるワイド端における距離画像と可視光画像とが合成された点群データの一例を示す図である。同図を参照しながら、第１距離画像ＤＩ１Ｂと第１可視光画像とに基づき生成された点群データの一例について説明する。図示する一例において、第１距離画像ＤＩ１Ｂ及び第１可視光画像は、例えば焦点距離が４［ｍｍ（ミリメートル）］の場合に取得されたものである。ワイド端においては、広角な情報が得られる反面、点群の密度としては粗い。また、ワイド端においては、背景に反射した光によるマルチパスの影響を受けている状態でもある。また、ワイド端におけるある領域の可視光画像の画素密度は、テレ端において対応する領域の画素密度よりも低いということもできる。

【0108】

図１５は、実施形態３に係る三次元情報取得装置によるテレ端における距離画像と可視光画像とが合成された点群データの一例を示す図である。同図を参照しながら、第２距離画像ＤＩ２Ｂと第２可視光画像とに基づき生成された点群データの一例について説明する。図示する一例において、第２距離画像ＤＩ２Ｂ及び第２可視光画像は、例えば焦点距離が１３［ｍｍ］の場合に取得されたものである。テレ端においては、狭角な情報しか得られない反面、点群の密度としては密である。また、テレ端においては、対象物Ｔのみに光が照射しているため、背景には光が照射されず、反射光によるマルチパスの影響が低減された状態でもある。また、テレ端におけるある領域の可視光画像の画素密度は、ワイド端において対応する領域の画素密度よりも高いということもできる。

【0109】

図１６は、実施形態３に係る三次元情報取得装置によりワイド端における距離画像及び可視光画像と、テレ端における距離画像及び可視光画像とが合成された点群データの一例を示す図である。同図を参照しながら、ワイド端における距離画像及び可視光画像と、テレ端における距離画像及び可視光画像とを合成した場合の三次元情報の一例について説明する。同図に示す一例は、図１４に示したワイド端における点群データの一部について、図１５に示したテレ端における点群データを載せ替えたものである。当該一部は、レンズ１１１により拡大された領域である。この一例では、テレ端における点群データが存在する領域と、その他の領域において、点群データの密度と、可視光画像の解像度が異なる。図示するように、テレ端における点群データが存在する領域において、点群データの密度と、可視光画像の解像度が上がっている。しかしながら本実施形態はこの一例に限定されず、テレ端における点群データが存在しない領域については、点群データの密度及び可視光画像の解像度を補完することによりデータを補ってもよい。

【0110】

図１７は、実施形態３に係る三次元情報取得装置による画素値の補完について説明するための図である。同図を参照しながら、点群データの密度及び可視光画像の解像度の補完の一例について説明する。図１７（Ａ）は、ワイド端における三次元情報に、テレ端における三次元情報を単純に載せ替えた場合のイメージを示す。図中に示す１つの矩形を１つの画素に応じた情報とする。図示するように、図１７（Ａ）の中央部分では、画素密度が４倍になっている。図１７（Ｂ）は、補完のイメージについて示す図である。図示するように、図１７（Ｂ）においては、画素密度が同一である。換言すれば、中央部分の密度に合わせて、周縁部分の密度が補完されている。補完方法は既存技術を用いることができ、例えば線形補間等が用いられてもよい。

【0111】

具体的には、画素の補完は、可視光画像生成部により行われてもよい。可視光画像生成部は、可視光画像取得部１３５により取得された第１可視光画像及び第２可視光画像とに基づき、対象物Ｔの三次元情報に付与する画素情報を生成する。また、可視光画像生成部は、第１可視光画像のうち、第２可視光画像より解像度が低い座標（例えば図１７（Ａ）の周縁部分）における画素値を所定の方法により補完する。所定の方法とは、線形補間等であってもよい。

【0112】

［実施形態３のまとめ］
以上説明した実施形態によれば、三次元情報取得装置１０Ｂは、第１距離画像取得部１３２Ｂを備えることにより第１距離画像ＤＩ１Ｂを取得し、第２距離画像取得部１３３Ｂを備えることにより第２距離画像ＤＩ２Ｂを取得する。第１距離画像ＤＩ１Ｂ及び第２距離画像ＤＩ２Ｂは、いずれも光を照射してから対象物に反射した光を受光するまでの時間に応じて得られた複数の距離値を含む距離画像（Ｄｅｐｔｈ画像）である。第１距離画像ＤＩ１Ｂ及び第２距離画像ＤＩ２Ｂは、同一の対象物Ｔに対して光を照射することにより得られる距離画像であって、互いに異なる照射角の光を照射することにより得られる距離画像である。また、第２距離画像ＤＩ２Ｂは、第１距離画像ＤＩ１Ｂと同一の対象物Ｔの一部を光学部材により拡大することにより得られる距離画像である。第２距離画像ＤＩ２Ｂは、第１距離画像ＤＩ１Ｂの一部が拡大されているため、背景に反射する光が少なく、マルチパスの影響が低減されているということができる。また、三次元情報取得装置１０Ｂは、三次元情報生成部１３４Ｂを備えることにより、第１距離画像ＤＩ１Ｂと第２距離画像ＤＩ２Ｂとに基づいて、光の反射に伴うマルチパスの影響を軽減した対象物Ｔの三次元情報を生成する。したがって、本実施形態によれば、マルチパスによる影響を低減可能な測距技術を提供することができる。また、従来であればマルチパスの影響を受けやすい環境（例えば近赤外光反射率の高い背景等の周囲物）は除外しなければ、マルチパスの影響を低減することはできなかった。しかしながら本実施形態によれば、マルチパスの影響を受けやすい環境を除外することなくマルチパスによる影響を低減可能な測距技術を提供することができる。

【0113】

また、以上説明した実施形態によれば、第１距離画像ＤＩ１Ｂ及び第２距離画像ＤＩ２Ｂは、光軸を固定したまま取得される。したがって、三次元情報取得装置１０Ｂは、第１距離画像ＤＩ１Ｂの一部を第２距離画像ＤＩ２Ｂに置き換えることにより容易に合成することができる。したがって、本実施形態によれば、マルチパスによる影響が低減された三次元情報を容易に生成することができる。

【0114】

また、以上説明した実施形態によれば、三次元情報取得装置１０Ｂは、可視光画像取得部１３５を更に備えることにより対象物Ｔを撮像した可視光画像を取得する。また、光学部材による拡大倍率は、可視光画像取得部１３５により取得された可視光画像に基づく。例えば、三次元情報取得装置１０Ｂは、可視光画像に基づき、対象物Ｔが存在する位置とその大きさを検出し、対象物Ｔがちょうど収まる程度に拡大する。したがって、本実施形態によれば、対象物Ｔの外側に光を照射することがないため、マルチパスの影響を軽減することができ、対象物Ｔを拡大して距離画像を所得することにより、解像度の高い三次元情報を生成することができる。

【0115】

また、以上説明した実施形態によれば、可視光画像取得部１３５は、第１距離画像ＤＩ１Ｂと略同一の画角を有する可視光画像である第１可視光画像と、第２距離画像ＤＩ２Ｂと略同一の画角を有する可視光画像である第２可視光画像とを取得する。すなわち、距離画像の画角と、可視光画像の画角は略同一である。したがって、本実施形態によれば、三次元情報取得装置１０Ｂは、距離画像と、可視光画像とを容易に合成することができる。また、以上説明した実施形態によれば、第１距離画像ＤＩ１Ｂ及び第２距離画像ＤＩ２Ｂを取得するために照射される光の照射角は、可視光画像の画角に応じて決定される。すなわち、本実施形態によれば、可視光画像を撮像した画角において、当該画角に対応する照射角の光を照射する。したがって、本実施形態によれば、画角の外側に光を照射することなく、マルチパスの影響を軽減することができる。

【0116】

また、以上説明した実施形態によれば、三次元情報取得装置１０Ｂは、可視光画像生成部を更に備えることにより、取得した第１可視光画像と第２可視光画像とに基づき対象物Ｔの三次元情報に付与する画素情報を生成する。また、可視光画像生成部は、第１可視光画像のうち、第２可視光画像より解像度が低い座標における画素値を所定の方法により補完する。所定の方法とは、例えば線形補間等であってもよい。したがって、本実施形態によれば、容易に高解像度の三次元情報を生成することができる。

【0117】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能であり、また、上述した各実施形態を適宜組み合わせてもよい。

【符号の説明】

【0118】

１０…三次元情報取得装置、１０Ａ…三次元情報取得装置、１１０…受光部、１１１…レンズ、１１２…可視光反射ダイクロイック膜、１１３…イメージセンサ、１１４…センサ、１２０…照射部、１２１…第１照射部、１２２…第２照射部、１３０…制御部、１３１…ＴｏＦセンサ制御部、１３２…第１距離画像取得部、１３３…第２距離画像取得部、１３４…三次元情報生成部、１４０…照射部、１４１…発光部、１４２…拡散部、１５０…背景情報取得部、１６０…拡大倍率情報取得部、Ｔ…対象物、ＢＧ…背景、ＢＭ…照射光、ＤＩ１…第１距離画像、ＤＩ２…第２距離画像、ＢＧＩ…波形情報、ＺＩ…拡大倍率情報、ＶＬ…可視光、ＩＬ…赤外光、ＯＡ…光軸

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】