特開 2024-105147 撮像装置、測距装置、測距システムおよび測距方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024105147

(43)【公開日】2024-08-06

(54)【発明の名称】撮像装置、測距装置、測距システムおよび測距方法

(51)【国際特許分類】

   G01S 17/87 20200101AFI20240730BHJP

   G01S 7/4914 20200101ALI20240730BHJP

   G01C 3/06 20060101ALI20240730BHJP

   G01B 11/00 20060101ALI20240730BHJP

【ＦＩ】

G01S17/87

G01S7/4914

G01C3/06 120Q

G01C3/06 140

G01B11/00 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023009736

(22)【出願日】2023-01-25

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山田 佑

【テーマコード（参考）】

2F065

2F112

5J084

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA53

2F065CC14

2F065DD03

2F065FF11

2F065GG06

2F065GG07

2F065GG15

2F065HH02

2F065HH07

2F065HH13

2F065JJ03

2F065JJ26

2F065LL10

2F065LL42

2F065QQ03

2F112AD01

2F112BA01

2F112CA02

2F112CA12

2F112DA02

2F112DA04

2F112DA11

2F112DA25

2F112DA28

2F112EA03

2F112EA20

2F112FA07

2F112FA29

2F112FA35

2F112GA01

5J084AA04

5J084AA05

5J084AB17

5J084AC08

5J084AD02

5J084BA02

5J084BA04

5J084BA14

5J084BA16

5J084BA20

5J084BA34

5J084BA40

5J084BB01

5J084BB02

5J084BB04

5J084BB10

5J084BB40

5J084CA07

5J084CA10

5J084CA44

5J084CA49

5J084CA65

5J084CA67

5J084CA69

5J084CA70

5J084EA01

5J084EA04

5J084EA11

(57)【要約】

【課題】より精度の高い距離画像を生成可能とする。
【解決手段】拡散光を投光する第１投光部と、構造化光を投光する第２投光部と、前記拡散光および前記構造化光を受光する受光部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

拡散光を投光する第１投光部と、
構造化光を投光する第２投光部と、
前記拡散光および前記構造化光を受光する受光部と、
を備えることを特徴とする撮像装置。

【請求項2】

前記受光部は、
前記第１投光部から対象物へ照射された拡散光の第１の反射光を受光する第１受光部と、
前記第２投光部から対象物へ照射された構造化光の第２の反射光を受光する第２受光部と、
を備えることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記受光部は、前記第１投光部から対象物へ照射された拡散光の第１の反射光と、前記第２投光部から対象物へ照射された構造化光の第２の反射光と、を受光する、
ことを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記受光部は、当該撮像装置の周囲３６０度を撮像可能である、
ことを特徴とする請求項１に記載の撮像装置。

【請求項5】

ＴｏＦ（Time of Flight）方式で距離情報を検出する測距装置において、
請求項１ないし４の何れか一項に記載の撮像装置と、
前記第１投光部から対象物へ照射された拡散光の第１の反射光の検出信号と前記第２投光部から対象物へ照射された構造化光の第２の反射光の検出信号とに基づき距離情報を出力する制御部と、
を備えることを特徴とする測距装置。

【請求項6】

前記制御部は、複数の点の前記距離情報を出力し、
前記複数の点の数は、前記第２の反射光の検出信号より測距値が算出された点の数よりも大きい、
ことを特徴とする請求項５に記載の測距装置。

【請求項7】

前記制御部は、
前記第１の反射光の検出信号に基づいて、前記対象物までの間の距離を示す距離情報を計算する距離計算部と、
前記第１の反射光の検出信号より算出した距離画像と、前記第２の反射光の検出信号より算出した距離画像とを用いて、前記距離情報を補正する補正値を算出する補正値算出部と、
前記補正値算出部で算出された補正値を用い、前記第１の反射光の検出信号より算出した距離情報の補正を行う距離補正部と、
を備えることを特徴とする請求項５に記載の測距装置。

【請求項8】

前記制御部は、前記第２投光部から前記対象物へ照射された光の第２の反射光のみが得られている場合、前記第２の反射光の検出信号より算出した距離情報を用いて補間を行う、
ことを特徴とする請求項５に記載の測距装置。

【請求項9】

ＴｏＦ（Time of Flight）方式で距離情報を検出する測距システムにおいて、
対象物に向けて拡散光を投光する第１投光部と、
前記対象物に向けて前記第１投光部とは異なるタイミングで構造化光を投光する第２投光部と、
前記第１投光部から前記対象物へ照射された光の第１の反射光と、前記第２投光部から前記対象物へ照射された光の第２の反射光とを受光する受光部と、
前記第１の反射光の検出信号より算出した距離情報を、前記第２の反射光の検出信号によって補正する制御部と、
を備えることを特徴とする測距システム。

【請求項10】

ＴｏＦ（Time of Flight）方式で距離情報を検出する測距装置における測距方法であって、
対象物に向けて拡散光を投光する第１投光ステップと、
前記対象物に向けて前記第１投光ステップとは異なるタイミングで構造化光を投光する第２投光ステップと、
前記第１投光ステップで前記対象物へ照射された光の第１の反射光と、前記第２投光ステップで前記対象物へ照射された光の第２の反射光とを受光する受光ステップと、
前記第１の反射光の検出信号より算出した距離情報を、前記第２の反射光の検出信号によって補正する制御ステップと、
を含むことを特徴とする測距方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、測距装置、測距システムおよび測距方法に関する。

【背景技術】

【0002】

従来、対象物までの測距の手法の一つに、ＴｏＦ（Time of Flight）方式と呼ばれる手法が知られている。ＴｏＦ方式を用いた測距装置であるＴｏＦカメラは、所定の照射パターンにより強度変調された赤外光による測距光を対象物に向けて照射した後、対象物によって反射された測距光を赤外線用の撮像素子で受光する。そして、ＴｏＦカメラは、照射パターンにより照射から受光までの時間差を画素ごとに検出、距離を算出する。ＴｏＦカメラは、算出した距離値を画素ごとにビットマップ状に集めて、“距離画像”として保存する。

【0003】

特許文献１および特許文献２には、スポット状の光を投射するＴｏＦ方式を用いた測距装置が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のＴｏＦ方式を用いた測距装置によれば、照射した光が複数回の反射した光路でセンサに入ることでマルチパス干渉と呼ばれる距離が遠く計算されてしまう現象が起き、測距精度が低下する課題があった。

【0005】

本発明は、上記に鑑みてなされたものであって、より精度の高い距離画像を生成可能とすることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、拡散光を投光する第１投光部と、構造化光を投光する第２投光部と、前記拡散光および前記構造化光を受光する受光部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、より精度の高い距離画像を生成可能とすることができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施の形態にかかる測距装置のハードウェア構成を示すブロック図である。

【図2】図２は、スポット光を例示的に示す図である。

【図3】図３は、測距原理を説明するためのタイミングチャートである。

【図4】図４は、ＴｏＦカメラでマルチパス干渉によるノイズが発生する原理を示す図である。

【図5】図５は、測距制御部の機能構成を示す機能ブロック図である。

【図6】図６は、測距装置の投光系および受光系を示す図である。

【図7】図７は、測距装置の設置例を示す図である。

【図8】図８は、マルチパス干渉の影響を例示的に示す図である。

【図9】図９は、補正値算出の手法を例示的に示す図である。

【図10】図１０は、測距装置における測距処理の流れを示すフローチャートである。

【図11】図１１は、距離画像の例を示す図である。

【図12】図１２は、測距システムのシステム構成を示すブロック図である。

【図13】図１３は、第２の実施の形態にかかる測距装置のハードウェア構成を示すブロック図である。

【図14】図１４は、測距装置の投光系および受光系を示す図である。

【図15】図１５は、測距装置の各光学要素の他の配置例を示す図である。

【図16】図１６は、第３の実施の形態にかかる測距装置の投光系および受光系を示す図である。

【図17】図１７は、距離画像の例を示す図である。

【図18】図１８は、第４の実施の形態にかかるＴｏＦカメラでの飽和画素を例示的に示す図である。

【図19】図１９は、飽和画素を低減する撮影処理の流れを示すフローチャートである。

【図20】図２０は、拡散光結果でスポット光の制御を切り替えた際の取得画像例を示す図である。

【図21】図２１は、第５の実施の形態にかかる測距装置の構成を示す外観斜視図である。

【図22】図２２は、測距装置の概略構成の一例を示す図である。

【図23】図２３は、光学系の配置の一例を示す図である。

【図24】図２４は、全天球撮像装置を適用した場合に特有のマルチパス干渉を例示的に示す図である。

【図25】図２５は、全天球撮像装置を適用した場合にマルチパス干渉を低減する撮影シーケンスを示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、撮像装置、測距装置、測距システムおよび測距方法の実施の形態を詳細に説明する。

【0010】

（第１の実施の形態）
図１は、第１の実施の形態にかかる測距装置１００のハードウェア構成を示すブロック図である。撮像装置としても機能する測距装置１００は、測距装置１００から対象物までの測距を行う。測距装置１００は、光を照射してから反射光を受光するまでの時間に基づき対象物までの距離を算出するＴｏＦ（Time of Flight）カメラである。

【0011】

図１に示すように、測距装置１００は、２つの投光部１－１，１－２、２つの受光部２－１，２－２、２つのアナログ－デジタルコンバータ（ＡＤＣ）３－１，３－２、および制御部である測距制御部４を有している。

【0012】

第１投光部である投光部１－１としては、例えばＶＣＳＥＬ（垂直共振器型面発光レーザ：Vertical Cavity Surface Emitting LASER）等の光源１－１ａと、レンズ等の投光光学系１－１ｂと、を用いることができる。投光部１－１は、例えば広角レンズ又は魚眼レンズ等の投光光学系１－１ｂを介して広い範囲にＶＣＳＥＬ等の光源１－１ａからのレーザ光を投光する。なお、投光部１－１はレーザと広角レンズの組み合わせに限定するものではなく、対象物に投光することができればよく、光源１－１ａとしてはＬＥＤ（発光ダイオード）などを用いてもよいし投光光学系１－１ｂとしては回折光学素子（ＤＯＥ）や拡散板などを用いてもよい。投光部１－１は、投射範囲内で略均一な明るさになるように、光を拡散させるものとする。すなわち、投光部１－１が投光する光は、拡散光である。

【0013】

第２投光部である投光部１－２としては、例えばＶＣＳＥＬ等の光源１－２ａと、レンズや回折光学素子、コリメータ、ＭＬＡ（マイクロレンズアレイ）等の投光光学系１－２ｂと、を用いることができる。このような構成により、投光部１－２は、投光する光を点状にして複数投影する。すなわち、投光部１－２が投光する点状光は、構造化光の一例であるスポット光である。

【0014】

ここで、スポット光について説明する。スポット光は、実際にはある程度の光の広がりや少量のマルチパス干渉によって、受光部２－１，２－２で受光したスポット光の反射光の点とそれ以外の領域とのコントラスト差を必ずしも“１００：０”とするものではない。一般的な光のビーム径の決定方法の一つを例に、以下においてスポット光を定義する。

【0015】

図２は、スポット光を例示的に示す図である。図２（ａ）はスポット光の投光状態を示す図であり、図２（ｂ）は図２（ａ）に示すスポット光の一部の輝度値を示す図である。今日、ピークの輝度値の１／ｅ^２倍となる範囲を、光のビーム径とする考え方がある。ビーム領域とそれ以外とを分けるためには、図２（ａ）のａに示すスポット光の一部の断面の輝度値（図２（ｂ））に示すように、おおむねピークの輝度値に対して谷の輝度値が１／ｅ^２倍、つまり約１３．５％以下となるような投光にする。おおむねピークの輝度値に対して谷の輝度値が１／ｅ^２倍、つまり約１３．５％以下となれば、スポット光とそれ以外の領域とを明確に区別可能である。

【0016】

以上は、ビーム径決定方法を例にしたスポット光の定義であるが、数字自体に発明性の意味はなく、何らかの方法で点とそれ以外の領域が識別できる程度のコントラスト差が得られれば良い。なお、光源１－１ａ，１－２ａから射出される光の波長は、例えば８５０ｎｍや、９４０ｎｍである。光源１－１ａの波長と光源１－２ａの波長は、同一であってもよく、異なっていてもよい。

【0017】

なお、本実施形態では、投光する光を点状にして複数投影する投光部１－２を例に挙げてきたが、これに限るものではなく、不規則なドット配置によるランダムドットパターンやストライプパターンなどの任意のパターン化光を照射する投光部１－２であってもよい。

【0018】

受光部２－１，２－２としては、それぞれ、イメージセンサ２－１ａ，２－２ａと、レンズ等の受光光学系２－１ｂ，２－２ｂと、を用いることができる。イメージセンサ２－１ａ，２－２ａは、いわゆるＴｏＦセンサである。イメージセンサ２－１ａ，２－２ａは、光源１－１ａまたは光源１－２ａから対象物に照射され、物体等で反射された光を受光する。より詳細には、受光部２－１は、投光部１－１から対象物へ照射された拡散光の反射光を受光する第１受光部である。受光部２－２は、投光部１－２から対象物へ照射されたスポット光の反射光を受光する第２受光部である。詳しくは後述するが、イメージセンサ２－１ａ，２－２ａは、受光した反射光の強度に応じた電気信号を、複数の位相信号に分けて画素毎に取得する。

【0019】

ＡＤＣ３－１，３－２は、画素毎に取得した位相信号をアナログ信号からデジタルデータに変換して、測距制御部４に供給する。

【0020】

測距制御部４は、センサＩ／Ｆ（Interface）４１－１，４１－２、光源駆動回路４２－１，４２－２、入出力インタフェース（入出力Ｉ／Ｆ）４３、ＣＰＵ（Central Processing Unit）４４、ＲＯＭ（Read Only Memory）４５、ＲＡＭ（Random Access Memory）４６、ＳＳＤ（Solid State Drive）４７を有する。センサＩ／Ｆ４１－１，４１－２、光源駆動回路４２－１，４２－２、入出力Ｉ／Ｆ４３、ＣＰＵ４４、ＲＯＭ４５、ＲＡＭ４６及びＳＳＤ４７は、システムバス４８を介して相互に電気的に接続されている。

【0021】

センサＩ／Ｆ４１－１は、イメージセンサ２－１ａからの位相信号を取得するインタフェースである。センサＩ／Ｆ４１－２は、イメージセンサ２－２ａからの位相信号を取得するインタフェースである。

【0022】

入出力Ｉ／Ｆ４３は、メインコントローラ装置又はパーソナルコンピュータ装置等の外部機器と接続するためのインタフェースである。

【0023】

光源駆動回路４２－１は、ＣＰＵ４４から供給される制御信号に基づいて、投光部１－１に対して、所定の電圧波形、及び所定の発光周波数で駆動信号を供給して、投光部１－１による発光を時間変調（時間的制御）する。光源駆動回路４２－２は、ＣＰＵ４４から供給される制御信号に基づいて、光源１－２ａに対して、所定の電圧波形、及び所定の発光周波数で駆動信号を供給して、光源１－２ａによる発光を時間変調（時間的制御）する。なお、光源１－１ａ，１－２ａに供給する駆動信号としては、矩形波、正弦波又は所定の波形形状の電圧波形を用いることができる。光源駆動回路４２－１，４２－２は、電圧波形の周波数を変化させて、駆動信号の周波数を変調制御する。また、光源駆動回路４２－１，４２－２は、光源１－１ａ，１－２ａの複数の発光部のうち、一部の発光部を同時に発光制御し、又は、発光させる発光部を変化させることも可能である。

【0024】

ＲＯＭ４５は、電源を切ってもプログラム又はデータを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ４５には、ＣＰＵ４４の起動時に実行されるＢＩＯＳ（Basic Input／Output System）及びＯＳ（Operating System）設定等のプログラム又はデータが記憶されている。ＲＡＭ４６は、プログラム又はデータを一時的に保持する揮発性の半導体メモリ（記憶装置）である。

【0025】

ＳＳＤ４７は、測距制御部４による処理を実行するプログラム又は各種データが記憶された不揮発性メモリである。一例ではあるが、ＳＳＤ４７には、測距撮像プログラムが記憶されている。詳しくは、後述するが、ＣＰＵ４４は、この測距撮像プログラムを実行することで、受光した反射光の強度に応じた電気信号を、複数の位相信号に分けて画素毎に取得するように、イメージセンサ２－１ａ，２－２ａを制御する。なお、ＳＳＤ４７の代りに、ＨＤＤ（Hard Disk Drive）等の他の記憶装置を用いてもよい。

【0026】

ＣＰＵ４４は、ＲＯＭ４５又はＳＳＤ４７等の記憶装置からプログラム又はデータをＲＡＭ４６上に読み出し、処理を実行することで、測距制御部４全体の制御を行う。なお、ＣＰＵ４４の機能の一部又は全部を、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の電子回路で実現してもよい。

【0027】

ここで、一般的なＴｏＦカメラを用いた測距原理について説明する。

【0028】

（位相信号の取得動作）
イメージセンサ２－１ａ，２－２ａは、１つの受光素子に対して、例えば２つの電荷蓄積部（第１の電荷蓄積部及び第２の電荷蓄積部）を有しており、電荷を蓄積する電荷蓄積部を高速に切り替えることができる。このため、一つの矩形波に対して、真逆となる２つの位相信号を同時に検出できる。一例として、０度の位相信号及び１８０度の位相信号を同時に検出できる。また、９０度の位相信号及び２７０度の位相信号を同時に検出できる。これは、２回の投光受光プロセスにより、距離計測が可能であることを意味している。

【0029】

図３は、測距原理を説明するためのタイミングチャートである。このうち、図３（ａ）は投光のタイミングを示し、図３（ｂ）は、投光により得られる反射光のタイミングを示している。また、図３（ｃ）は、イメージセンサ２－１ａ，２－２ａが備える２つの電荷蓄積部のうち、第１の電荷蓄積部に０度の位相の位相信号が蓄積されるタイミングを示し、図３（ｄ）は、第２の電荷蓄積部に１８０度の位相の位相信号が蓄積されるタイミングを示している。また、図３（ｅ）は、イメージセンサ２－１ａ，２－２ａが備える２つの電荷蓄積部のうち、第１の電荷蓄積部に９０度の位相の位相信号が蓄積されるタイミングを示し、図３（ｆ）は、第２の電荷蓄積部に２７０度の位相の位相信号が蓄積されるタイミングを示している。

【0030】

図３（ｃ）～図３（ｆ）に斜線で示す間に、各位相の位相信号の電荷が第１の電荷蓄積部又は第２の電荷蓄積部に蓄積される。具体的には、０度の位相の位相信号の電荷としては、図３（ｃ）に示すように、投光終了のパルスエッジと、反射光の受光開始のパルスエッジの間の電荷が第１の電荷蓄積部に蓄積される。１８０度の位相の位相信号の電荷としては、図３（ｄ）に示すように、０度の位相の位相信号の電荷蓄積完了から、反射光の受光終了のパルスエッジの間の電荷が第２の電荷蓄積部に蓄積される。

【0031】

同様に、９０度の位相の位相信号の電荷としては、図３（ｅ）に示すように、反射光の受光開始のパルスエッジから、電荷蓄積制御を行うパルスの電荷蓄積終了のパルスエッジの間の電荷が第１の電荷蓄積部に蓄積される。２７０度の位相の位相信号の電荷としては、図３（ｆ）に示すように、９０度の位相の位相信号の電荷蓄積完了から、反射光の受光終了のパルスエッジの間の電荷が第２の電荷蓄積部に蓄積される。

【0032】

なお、実際には、蓄積される電荷量を増やすため、投光は１回の矩形波ではなく、矩形波の繰り返しパターンとされ、この繰り返しパターンの光を投光するタイミングに応じた第１及び第２の電荷蓄積部への切り替え制御も繰り返し行われる。

【0033】

（距離値の算出）
０度（Ａ０）、９０度（Ａ９０）、１８０度（Ａ１８０）及び２７０度（Ａ２７０）の４つの位相信号は、それぞれ投光される光（照射光）のパルス周期に対して、時間的に０度、９０度、１８０度及び２７０度の４つの位相に分割された位相信号である。このため、以下の数式を用いて、位相差角φを求めることができる。

【0034】

φ＝Ａｒｃｔａｎ｛（Ａ９０－Ａ２７０）／（Ａ０－Ａ１８０）｝

【0035】

また、この位相差角φから、以下の数式を用いて、遅延時間Ｔｄを求めることができる。

【0036】

Ｔｄ＝（φ／２π）×Ｔ（Ｔ＝２Ｔ０、Ｔ０：照射光のパルス幅）

【0037】

また、この遅延時間Ｔｄから、以下の数式を用いて、対象物までの距離値ｄを求めることができる。

【0038】

ｄ＝Ｔｄ×ｃ÷２（ｃ：光速）

【0039】

図３の例は、１回目の測定で０度と１８０度の位相信号を取得する例であるが、外光の影響がある場合、１回目の測定で取得された第１の電荷蓄積部の電荷量から第２の電荷蓄積部の電荷量を減算処理し、外光の影響を軽減した位相信号を生成する。このような測定では、１回の発光及び露光で１つの位相信号を取得する。このため、４位相分の位相信号を取得するには、４回の発光及び露光が必要となり、外光がない場合の撮影に比べて撮影時間が２倍となる。

【0040】

なお、以下の説明では、１回の発光と反射光の露光で得られる位相信号は、第１の電荷蓄積部及び第２の電荷蓄積部の電荷量から計算した外光の影響をなくした位相信号であるとする。

【0041】

続いて、一般的なＴｏＦカメラでマルチパス干渉によるノイズが発生する原理について説明する。

【0042】

図４は、ＴｏＦカメラでマルチパス干渉によるノイズが発生する原理を示す図である。図４に示すように、一回反射のτ_０光路に２回反射のτ_１が混じって受光される。実際には均一照明なので無数の複数回反射の光が本来受光したいτ_０の光路に交じって受光されてしまう。図４に示す点線の距離情報（測距値）に対して、実線の距離情報（測距値）が混じるので、実際の距離に対して遠い値が計算されてしまう。特に、部屋のカドのような複数光路の光が反射して受光されるシーンで発生しやすい。すなわち、拡散光は、高い空間解像度で深度値取得が可能であるが、マルチパス干渉による誤差が大きくなる。

【0043】

そこで、本実施形態の測距装置１００は、複数の異なる投光部１－１，１－２を使って得た測距結果を用いて距離補正を行うことで、マルチパス干渉による誤差を減らすようにしたものである。

【0044】

続いて、測距制御部４の機能について説明する。

【0045】

図５は、測距制御部４の機能構成を示す機能ブロック図である。図５に示すように、測距制御部４のＣＰＵ４４は、ＳＳＤ４７に記憶されている測距撮像プログラムを実行することで、撮像制御部４０１、画像保存部４０２、距離計算部４０３、補正値算出部４０４、距離補正部４０５及び出力部４０６の各機能を実現する。

【0046】

撮像制御部４０１は、複数の位相の位相画像を撮像し、各位相画像の電荷を、各位相画像用の電荷蓄積部に蓄積するようにイメージセンサ２－１ａ，２－２ａを制御する。撮像制御部４０１は、光源駆動回路４２－１を介して光源１－１ａを発光制御する。撮像制御部４０１は、光源駆動回路４２－２を介して光源１－２ａを発光制御する。

【0047】

画像保存部４０２は、ＡＤＣ３－１，３－２から出力されたイメージセンサ２－１ａ，２－２ａからの各位相の位相信号（位相画像）を、ＲＡＭ４６等の記憶部に保存し、又は、読み出し制御する。

【0048】

距離計算部４０３は、画像保存部４０２によって保存された複数枚の位相画像に基づいて、対象物までの間の距離を示す距離情報を計算する。

【0049】

補正値算出部４０４は、光源１－１ａを発光して距離計算部４０３で得られた距離画像と、光源１－２ａを発光して距離計算部４０３で得られた距離画像とを用いて、距離情報を補正する補正値を算出する。

【0050】

距離補正部４０５は、補正値算出部４０４で算出された補正値を用い、光源１－１ａを発光して得られた距離情報の補正を行う。

【0051】

出力部４０６は、距離補正部４０５で補正された対象物までの間の距離を示す距離情報を、入出力Ｉ／Ｆ４３を介して外部機器に出力する。

【0052】

なお、図５に示した撮像制御部４０１、画像保存部４０２、距離計算部４０３、補正値算出部４０４、距離補正部４０５及び出力部４０６の各機能は、それぞれ測距撮像プログラムにより、ソフトウェアで実現することとした。しかし、これらのうち全部又は一部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

【0053】

続いて、本実施形態の測距装置１００の特徴について説明する。

【0054】

図６は、測距装置１００の投光系および受光系を示す図である。図６に示すように、測距装置１００は、拡散光を投光する拡散照明である投光部１－１と、投光部１－１が投光した拡散光を受光する受光部２－１と、スポット光を投光するスポット照明である投光部１－２と、投光部１－２が投光したスポット光を受光する受光部２－２と、を備える。すなわち、測距装置１００は、投光部１－１，１－２ごとにＴｏＦセンサを備える受光部２－１，２－２を持つＴｏＦカメラである。投光部１－１，１－２の投光範囲は、測距装置１００における計測対象領域を包含するよう設定され、受光部２－１，２－２の受光範囲は、計測対象領域からの光を受光するよう設定される。いずれかの投光部のみにより投光される領域は、測距値を得られても補正値の算出が行えないため、投光部１－１の投光範囲と投光部１－２の投光範囲はほぼ重なるように設定されることが好ましい。

【0055】

図１１は、測距装置１００の設置例を示す図である。図７に示すように、測距装置１００の計測対象領域内には、部屋の角が含まれている。以降、測距装置１００で部屋の角を撮影した例で詳細を説明する。

【0056】

ここで、マルチパス干渉の影響について説明する。

【0057】

図８は、マルチパス干渉の影響を例示的に示す図である。部屋の角の測距値（測距点）を俯瞰で表すと図８に示すようになる。図８に示すように、拡散照明である投光部１－１で得られる拡散光の測距値は、原理的には全画素を測距点にできるため、高い空間分解能で連続的に取得できる。しかしながら、拡散照明である光源１－１ａで得られる拡散光の測距値は、マルチパス干渉の影響で誤差が大きくなる。具体的には、前述のとおり、拡散照明である光源１－１ａで得られる拡散光の測距値（測距点）は、距離が本来の位置より遠く算出される。一方、図８に示すように、スポット照明である光源１－２ａで得られるスポット光の測距値は、測距点が少ないため不連続ではあるが、比較的正確である。

【0058】

そこで、本実施形態の測距装置１００の補正値算出部４０４は、以下に示す手法によって、拡散照明である投光部１－１を発光して得られた距離情報の補正を行う。これにより、スポット照明を用いた測距値に基づく、より正確性の高い距離情報を、スポット照明を用いた測距点よりも多い点について出力することを可能とする。

【0059】

ここで、図９は補正値算出の手法を例示的に示す図である。図９に示すように、補正値算出部４０４は、補正値（補正量）を、拡散光の測距値からスポット光の測距値を減算することで算出する。加えて、上述の手法ではスポット間の画素に関して補正値が算出されないので、補正値算出部４０４は、スポット間の画素に関しては補間処理を行って、スポット光の距離画像で、測距結果である測距値（距離情報）が得られていない画素における補正値（補正量）を算出する。補正値算出部４０４による画像処理を利用した補正値（補正量）の算出について以下に説明する。

【0060】

例えば、拡散光の距離画像における測距値をｄ_diffusion、スポット光の距離画像における測距値をｄ_spotとする。

【0061】

補正値算出部４０４は、画像上の位置（ｘ，ｙ）の画素の補正値ｃ（ｘ，ｙ）を、下記式（１）により算出する。ただし、補正値算出部４０４は、式（１）のｘ，ｙについて、スポット光の測距値が得られている画素値のみで計算する。

【0062】

【数1】

【0063】

補正値算出部４０４は、スポット光の測距値が得られていない画素位置（ｘ’,ｙ’）における補正値を、下記式（２）により補間する。ｘ_Ｎ、ｙ_Ｎは、それぞれ（ｘ’,ｙ’）から最も近い補正値が計算できている画素の座標（スポット光の測距値が取得できている画素の座標）である。

【0064】

【数2】

【0065】

続いて、距離補正部４０５は、補正値算出部４０４で算出された補正値を用い、投光部１－１を発光して得られた測距値の補正を行う。具体的には、距離補正部４０５は、下記式（３）に示すように、拡散光の測距値ｄ_diffusionから補正値を引くことで補正後の距離値（距離情報）ｄ_correctionを計算する。補間処理によってスポット光の測距値が得られていない画素における補正値を補間しているため、距離補正部４０５は、式（３）のｘ，ｙについて、画像内のすべての画素位置に対して補正を実行することができる。

【0066】

【数3】

【0067】

なお、上述の補間方法は単純な最近傍補間であるが、補間方法自体は問わない。例えば、複数の補正値を使って間を線形補間する等であってもよい。

【0068】

なお、補正処理は、画像内のすべての画素に対して行ってもよいが、画像内の一部の画素に対して行うようにしてもよい。例えば、反射光強度が低いなどスポット光の測距値の信頼度が低い領域や、拡散光の測距値とスポット光の測距値に大きな違いがない領域では、補正を行わず、拡散光の測距値をそのまま採用してもよい。また、補正を行わない領域では、補間処理も省くことで処理を高速化してもよい。

【0069】

図１０は、測距装置１００における測距処理の流れを示すフローチャートである。図１０に示すように、まず、撮像制御部４０１は、光源１－１ａおよびイメージセンサ２－１ａを制御し、イメージセンサ２－１ａに拡散光を受光させて撮影を行う（ステップＳ１）。次に、画像保存部４０２は、イメージセンサ２－１ａからの各位相の位相信号（位相画像）を、ＲＡＭ４６等の記憶部に保存する（ステップＳ２）。

【0070】

続いて、距離計算部４０３は、画像保存部４０２によって保存された複数枚の位相画像に基づいて、対象物までの間の距離を示す距離情報を計算する（ステップＳ３）。

【0071】

加えて、撮像制御部４０１は、光源１－２ａおよびイメージセンサ２－２ａを制御し、イメージセンサ２－２ａにスポット光を受光させて撮影を行う（ステップＳ４）。次に、画像保存部４０２は、イメージセンサ２－２ａからの各位相の位相信号（位相画像）を、ＲＡＭ４６等の記憶部に保存する（ステップＳ５）。

【0072】

すなわち、測距装置１００は、拡散光とスポット光とを異なるタイミングで発光して撮影を行い、２枚の距離画像を取得する。

【0073】

なお、本実施形態においては、拡散光からスポット光の順に距離画像を取得するようにしたが、これに限るものではなく、撮影タイミングが異なっていれば順番は問わないものとする。

【0074】

続いて、距離計算部４０３は、画像保存部４０２によって保存された複数枚の位相画像に基づいて、対象物までの間の距離を示す距離情報を計算する（ステップＳ６）。

【0075】

ここで、図１１は距離画像の例を示す図である。図１１（ａ）は拡散光の発光により得られる距離画像の例、図１１（ｂ）はスポット光の発光により得られる距離画像の例である。図１１（ａ）に示すように、拡散光では画面全体に光が飛ぶので、光が返ってくる画素で画像がほぼ埋まることになる。一方、図１１（ｂ）に示すように、スポット光では光を絞っているので、光が当たっている位置のみ距離が計算できる。すなわち、図１１（ｂ）に示すように、スポット光では点の部分のみ距離画像が得られることになる。

【0076】

次に、補正値算出部４０４は、光源１－１ａを発光して得られた距離画像と、光源１－２ａを発光して得られた距離画像とを用いて、距離情報を補正する補正値を算出する（ステップＳ７）。具体的には、補正値算出部４０４は、光源１－２ａを発光して得られた距離画像においてスポットが得られた位置での残差（拡散光の測距値とスポット光の測距値との差）を補正値とし、スポットが得られない位置は一般的な画像処理で補間を行うことで、画像全体の補正値を計算する。

【0077】

なお、図６に示すように、本実施形態の測距装置１００における投光系および受光系は、受光部２－１と受光部２－２とは、離隔して配置される。受光部２－１と受光部２－２とが離隔して配置されると、どちらかの距離情報をあらかじめ取得された校正データをもとに位置合わせを行うことで、後述の数式（１）～式（３）と同様の処理で補正が可能になる。校正データとは、キャリブレーションチャートなどを用いて各受光部２－１，２－２のイメージセンサ２－１ａ，２－２ａのカメラパラメータ、イメージセンサ２－１ａ，２－２ａ間の回転並進量を事前に求めたものである。このような校正データを用いることにより、イメージセンサ２－１ａで映った測距点がイメージセンサ２－２ａでどこに映るかを計算できる。なお、校正データを用いることにより、イメージセンサ２－１ａで映った測距点がイメージセンサ２－２ａでどこに映るかも計算できる。

【0078】

次に、距離補正部４０５は、補正値算出部４０４で算出された補正値を用い、光源１－１ａを発光して得られた距離情報の補正を行う（ステップＳ８）。具体的には、距離補正部４０５は、補正値算出部４０４で算出された補正値を、光源１－１ａを発光して得られた拡散光の測距値から減算することで補正を行う。

【0079】

なお、距離補正部４０５は、補正値算出部４０４で算出された拡散光の測距値とスポット光の測距値との差や比が所定の範囲内の場合には、補正を実行しないようにしてもよい。

【0080】

最後に、出力部４０６は、距離補正部４０５で補正された対象物までの間の距離を示す距離情報を、入出力Ｉ／Ｆ４３を介して外部機器に出力する（ステップＳ９）。

【0081】

このように本実施形態によれば、複数の異なる投光部を使って得た測距結果を用いて距離補正を行うことでマルチパス干渉による誤差を減らすことができるので、より精度の高い距離画像を生成可能とすることができる。すなわち、本実施形態によれば、高空間分解能の画像のマルチパス誤差成分のみを除去することになるので、通常のＴｏＦ測距よりも高精度・高分解能の測距が可能となる。これにより、より精度の高い距離画像を生成可能な画像を撮像することができる撮像装置、測距装置、測距システムおよび測距方法を提供することができる。

【0082】

また、本実施形態によれば、スポット光を用いて測距を行うと、画素密度は低いが一般的なＴｏＦカメラと比較して正確な測距値を得ることができる。さらに、スポット位置で測距に必要な光量を発光した時、同じスポット位置で同一光量を得るように発光した場合の拡散照明よりも総光量が少なくて済む。さらにまた、一般的なＴｏＦカメラよりも発光している総光量が少ないので、マルチパス干渉の影響を減らすことができる。

【0083】

また、本実施形態によれば、拡散光を用いて得られた測距値とスポット光を用いて得られた測距値から算出された補正値に基づき、スポット光の測距値が得られていない画素における補正値を補間するので、より精度の高い補正を行うことができる。

【0084】

なお、本実施形態によれば、測距装置１００が、距離算出、補正等を行うようにしたが、これに限るものではない。ここで、図１２は測距装置（撮像装置）５００を含む測距システム３００のシステム構成を示すブロック図である。図１２に示すように、測距システム３００は、測距装置（撮像装置）５００を、ＰＣ（Personal Computer）またはクラウドなどの外部システム４００に接続するシステム構成である。図１２に示す測距システム３００によれば、測距装置（撮像装置）５００はＴｏＦ撮影を行う撮像装置とし、測距装置（撮像装置）５００の測距制御部４で行う距離算出、補正等の処理についてはＰＣまたはクラウドなどの外部システム４００で行うようにしてもよい。すなわち、外部システム４００は、第１投光部から対象物へ照射された光の第１の反射光の検出信号より算出した距離情報を、第２投光部から対象物へ照射された光の第２の反射光の検出信号によって補正する制御部として機能する。

【0085】

なお、本実施形態によれば、測距装置１００が、１つの拡散光投光部（投光部１－１）に対し１つのスポット光投光部（投光部１－２）を備えるように構成したが、スポット光投光部は１つに限定されず、複数であってもよい。つまり、同等の計測対象領域に向けてスポット光を投光するスポット光投光部が複数あってもよい。このとき、互いに異なる位置にスポット光が照射されるよう、複数のスポット光投光部のスポット位置をずらして配置してもよい。また、スポット光投光部を１つとして、光源の発光位置や投光光学系の位置を移動させることで、投光する際にスポット位置をずらすよう構成してもよい。

【0086】

（第２の実施の形態）
次に、第２の実施の形態について説明する。

【0087】

第２の実施の形態は、単一の受光部、単一のアナログ－デジタルコンバータ（ＡＤＣ）、単一のセンサＩ／Ｆを備える点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

【0088】

第１の実施の形態の測距装置１００においては、事前に校正データを求める必要がある。また、第１の実施の形態の測距装置１００においては、受光部２－１と受光部２－２との間が離れているため、位置合わせを行ってもオクルージョンの影響（どちらかのイメージセンサ２－１ａ，２－２ａでは見えているがもう片方では見えていない場合、位置合わせを行うと抜けや見えていない領域の距離が残る等の問題が発生）が残ってしまう。また、第１の実施の形態の測距装置１００においては、筐体も大きくなってしまう。

【0089】

図１３は第２の実施の形態にかかる測距装置１００のハードウェア構成を示すブロック図、図１４は測距装置１００の投光系および受光系を示す図である。図１３および図１４に示すように、本実施形態の測距装置１００は、単一の受光部２（イメージセンサ２ａ、受光光学系２ｂ）、単一のアナログ－デジタルコンバータ（ＡＤＣ）３、単一のセンサＩ／Ｆ４１を備える点で、第１の実施の形態にかかる測距装置１００とは異なっている。

【0090】

なお、第２の実施の形態の測距装置１００においても、第１の実施の形態と同様に、拡散照明である投光部１－１を発光して得られた距離情報の補正を行うことは言うまでもない。

【0091】

このように本実施形態の測距装置１００によれば、一つの受光部２と二つの異なる投光部１－１，１－２とを備え、それぞれ異なるタイミングで発光し測距する。２つの投光部１－１，１－２はそれぞれ拡散光とスポット光とを発光するため二つの異なる性質の距離画像が取得される。２種類の距離画像から拡散光の結果を補正する補正値を算出し、補正を行う。このように複数の異なる投光部１－１，１－２を使って得た測距結果を用いて距離補正を行うことにより、マルチパス干渉による誤差を減らすことができるので、より精度の高い距離画像を生成可能な画像を撮像することができる撮像装置、測距装置および測距方法を提供することができる。

【0092】

また、本実施形態の測距装置１００によれば、一つの受光部２が共通なので、距離が測定できた箇所の光学的差がないため、２種類の画像を処理する際、単純な画像処理で各画素の補正値を計算できる。

【0093】

さらに、本実施形態の測距装置１００によれば、ＴｏＦカメラを二つ並べるより筐体が小型で済むという効果がある。

【0094】

なお、本実施形態の測距装置１００は、装置全周の距離画像を得るために、図１４に示されるように、各光学要素（一つの受光部２、二つの異なる投光部１－１，１－２）を片面に固定的に設けるようにしたが、これに限るものではない。ここで、図１５は測距装置１００の各光学要素の他の配置例を示す図である。図１５に示すように測距装置１００は、支持部として機能する三脚などの器具２００と、器具２００の前段に例えば電動モータなどによって回転する回転テーブルである回転手段２２０とを設けるようにしてもよい。この場合、測距装置１００は、回転手段２２０によって装置自体を回転させて撮像方向を変更しながら全周の距離画像を取得する。

【0095】

測距装置１００の測距制御部４は、回転手段２２０を回転制御するに際して、所定の回転パターンを有している。例えば、測距装置１００の測距制御部４は、“所定の距離だけ回転”→“回転を停止して撮影”→“所定の距離だけ回転”→“回転を停止して撮影”という回転パターンで、制御する。

【0096】

（第３の実施の形態）
次に、第３の実施の形態について説明する。

【0097】

第３の実施の形態は、各投光部を、受光部を挟んで左右対称にそれぞれ設置する点が、第２の実施の形態と異なる。以下、第３の実施の形態の説明では、第２の実施の形態と同一部分の説明については省略し、第２の実施の形態と異なる箇所について説明する。

【0098】

ここで、図１６は第３の実施の形態にかかる測距装置１００の投光系および受光系を示す図である。図１６に示すように、本実施形態の測距装置１００においては、投光系としての各投光部１－１，１－２を、受光系としての受光部２を挟んで左右対称にそれぞれ設置する。

【0099】

図１７は、距離画像の例を示す図である。図１７（ａ）は拡散光の発光により得られる距離画像の例、図１７（ｂ）はスポット光の発光により得られる距離画像の例である。図１６に示す配置における拡散光での測距結果は、図１７（ａ）に示すように、光が当たっている面のみ得られる。一方、図１６に示す配置におけるスポット光の測距結果は、図１７（ｂ）に示すように、左右の面で得られる。

【0100】

上述のように、拡散光の結果とスポット光の結果とが両方得られている場合、第２の実施の形態で説明したマルチパス干渉の補正処理を行い、スポット光でのみ測距値が得られている箇所（図１７（ａ）に示す黒領域）はスポット光での測距結果のみを用いて画像処理で補間を行うことで、全画素分の測距値を得る。

【0101】

このように本実施形態の測距装置１００によれば、一つの受光部２と二つの異なる投光部１－１，１－２とを備え、それぞれ異なるタイミングで発光し測距する。２つの投光部１－１，１－２はそれぞれ拡散光とスポット光とを発光するため二つの異なる性質の距離画像が取得される。２種類の距離画像から拡散光の結果を補正する補正値を算出し、補正を行う。このように複数の異なる投光部１－１，１－２を使って得た測距結果を用いて距離補正を行うことにより、マルチパス干渉による誤差を減らすことができるので、より精度の高い距離画像を生成可能な画像を撮像することができる撮像装置、測距装置および測距方法を提供することができる。

【0102】

また、本実施形態の測距装置１００によれば、一つの受光部２が共通なので、距離が測定できた箇所の光学的差がないため、２種類の画像を処理する際、単純な画像処理で各画素の補正値を計算できる。

【0103】

さらに、本実施形態の測距装置１００によれば、ＴｏＦカメラを二つ並べるより筐体が小型で済むという効果がある。

【0104】

（第４の実施の形態）
次に、第４の実施の形態について説明する。

【0105】

第４の実施の形態は、拡散光での撮影結果をもとにスポット光での撮影の制御情報を変更する点が、第１の実施の形態ないし第３の実施の形態と異なる。以下、第４の実施の形態の説明では、第１の実施の形態ないし第３の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第３の実施の形態と異なる箇所について説明する。

【0106】

撮影時にイメージセンサの最大受光量を超えた場合、超えた画素は飽和画素となり、データが得られない。ＴｏＦカメラの場合、撮影対象までの距離が近い場合や投影する光量が多すぎる場合などで飽和画素が発生する。

【0107】

ここで、図１８は第４の実施の形態にかかるＴｏＦカメラでの飽和画素を例示的に示す図である。図１８（ａ）は拡散光の発光により得られる距離画像における飽和画素の例、図１８（ｂ）はスポット光の発光により得られる距離画像における飽和画素の例である。図１８（ａ）に示すように、ＴｏＦカメラが拡散光を受光した場合、飽和画素領域ｂが発生することがある。このように飽和画素領域ｂが発生すると、図１８（ｂ）に示すように、飽和画素領域ｂ内に含まれるスポット光の当たっている位置の結果が得られなくなる。そのため、飽和画素を低減する撮影方法が求められる。

【0108】

ここで、図１９は飽和画素を低減する撮影処理の流れを示すフローチャートである。なお、ここでは、測距装置１００は、一つの受光部２と二つの異なる投光部１－１，１－２とを備えるものとして説明する。

【0109】

図１９に示すように、測距装置１００の撮像制御部４０１は、まず拡散光で撮影する（ステップＳ１０１）。

【0110】

次に、測距装置１００の撮像制御部４０１は、最初の拡散光での撮影結果をもとに、受光部２の最大受光量を超えた画素（飽和画素）数をカウントする（ステップＳ１０２）。

【0111】

次に、測距装置１００の撮像制御部４０１は、カウントした飽和画素数が閾値よりも大きいかを判断する（ステップＳ１０３）。

【0112】

測距装置１００の撮像制御部４０１は、カウントした飽和画素数が閾値よりも大きいと判断した場合（ステップＳ１０３のＹｅｓ）、スポット光の撮影時の光量設定値を下げた後（ステップＳ１０４）、スポット光で撮影する（ステップＳ１０５）。

【0113】

一方、測距装置１００の撮像制御部４０１は、カウントした飽和画素数が閾値よりも大きくないと判断した場合（ステップＳ１０３のＮｏ）、そのままスポット光で撮影する（ステップＳ１０５）。

【0114】

上述したように、測距装置１００の撮像制御部４０１は、撮影順を固定し、最初の拡散光での撮影結果をもとにスポット光での撮影の制御情報を変更する。こうすることで拡散光では飽和するがＳｐｏｔの結果は得られるようになる。

【0115】

ここで、図２０は拡散光結果でスポット光の制御を切り替えた際の取得画像例を示す図である。図２０に示すように、拡散光およびスポット光の両方の結果が得られている領域では、前述したように数式１～３でマルチパス干渉の低減を行うことで、精度が高い距離値を取得できる。一方、図２０に示すように、飽和画素領域ｂが発生して拡散光で結果が得られなかった領域に関しては、スポット光の結果から画像上で補間を行うことで、抜けの少ない距離情報を取得することが可能である。

【0116】

なお、ステップＳ１０４においてスポット光の撮影時の光量設定値を下げるようにしたが、これに限るものではなく、受光部２の露光時間を短くするようにしてもよい。このように受光部２の露光時間を短くすることでも、同様の効果が得られる。

【0117】

このように本実施形態によれば、イメージセンサに飽和画素領域が発生した場合であっても、抜けの少ない距離情報を取得することが可能である。

【0118】

なお、測距装置１００は、一つの受光部２を備えるものとして説明したが、これに限るものではなく、二つの異なる投光部１－１，１－２に対応する二つの異なる受光部２－１，２－２を備えるものであってもよい。

【0119】

（第５の実施の形態）
次に、第５の実施の形態について説明する。

【0120】

第５の実施の形態は、測距装置１００として全天球撮像装置を適用する点が、第１の実施の形態ないし第４の実施の形態と異なる。以下、第５の実施の形態の説明では、第１の実施の形態ないし第４の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第４の実施の形態と異なる箇所について説明する。

【0121】

図２１は第５の実施の形態にかかる測距装置１００の構成を示す外観斜視図、図２２は測距装置１００の概略構成の一例を示す図、図２３は光学系の配置の一例を示す図である。本実施形態では、測距装置１００は、ＴоＦ（Time of Flight）方式の測距装置（ＴоＦカメラ）としての機能と、輝度カメラ（ＲＧＢカメラ）としての機能を有し、全天球を対象としてＴоＦカメラ及び輝度カメラにより撮像を行う。

【0122】

図２１ないし図２３に示すように、測距装置１００は、第１投光ユニット２０と、第２投光ユニット３０と、ＴоＦ受光ユニット６０と、輝度受光ユニット８０と、制御部１２０と、を備える。第１投光ユニット２０とＴоＦ受光ユニット６０、第２投光ユニット３０とＴоＦ受光ユニット６０、とがそれぞれＴоＦ方式の測距装置、つまりＴоＦカメラとして機能し、輝度受光ユニット８０が輝度カメラとしての機能を有する。

【0123】

第１投光ユニット２０及び第２投光ユニット３０はそれぞれ、計測対象領域に向けて測距光（赤外光等）を照射する。第１投光ユニット２０は、赤外光を放出する光源２１０と、発散角を広げる光学素子からなるＴоＦ投光系２１１（投光光学系）とを含み、光源２１０の光を広角に出射する。第２投光ユニット３０は、赤外光を放出する光源３１０と、発散角を広げる光学素子からなるＴоＦ投光系３１１（投光光学系）とを含み、光源３１０の光を広角に出射する。ＴоＦ投光系２１１、ＴоＦ投光系３１１の光学素子は、例えば、レンズやＤＯＥ（回折光学素子）、拡散板等を含む。光源２１０、光源３１０は、例えば、２次元アレイのＶＣＳＥＬである。本実施形態の測距装置１００では、２個の第１投光ユニット２０は互いに反対方向を向いて配置され、２個の第２投光ユニット３０は互いに反対方向を向いて配置されている。

【0124】

２個の第１投光ユニット２０は、構造化光の一例であるパターン化光（本実施形態ではドットパターン）を空間中に照射する構造化照明である。２個の第２投光ユニット３０は、均一照度の拡散光を空間中に照射する拡散照明である。

【0125】

第１投光ユニット２０及び第２投光ユニット３０から出射された測距光は、計測対象領域に存在する物体で反射される。ＴоＦ受光ユニット６０は、計測対象領域の物体からの反射光を受光する。ＴоＦ受光ユニット６０は、測距光に感度を有するＴоＦセンサ１１０と、入射光をＴоＦセンサ１１０へ導く光学素子からなるＴоＦ受光光学系１１２（第１受光光学系）とを含む。ＴоＦ受光光学系１１２の光学素子は、例えばレンズを含む。ＴоＦセンサ１１０は受光画素が二次元に配列した受光素子であり、各画素が計測対象領域内の各位置と対応しているため、ＴоＦ受光ユニット６０は、計測対象領域内の各位置からの光を個別に受光することができる。本実施形態の測距装置１００は、互いに異なる方向を向いて配置された４個のＴоＦ受光ユニット６０を有している。

【0126】

さらに、本実施形態の測距装置１００は、筐体１１の周囲全面に均一照度の拡散光を照射する互いに反対方向を向いて配置された２個の第２投光ユニット３０を備える。測距装置１００は、第２投光ユニット３０によって周囲全面に拡散光を照射するが、第２投光ユニット３０によって得られる距離画像では集光されている第１投光ユニット２０に対して照明の照度が低いため遠距離での測距精度が低下する。しかしながら、測距装置１００は、第２投光ユニット３０によって筐体１１の周囲全面に均一照度の拡散光を照射することによって、第１投光ユニット２０から照射されるドットパターン間のブランクになっている部位の距離・形状の情報を、補間する情報として使用することができる。

【0127】

輝度受光ユニット８０は、ＣＭＯＳセンサ３３により２次元画像を取得する。輝度受光ユニット８０は、輝度画像（ＲＧＢ画像）を撮影するためのＣＭＯＳセンサ３３と、入射光をＣＭＯＳセンサ３３へ導く光学素子からなる輝度受光光学系１１３（第２受光光学系）とを含む。輝度受光光学系１１３の光学素子は、例えばレンズを含む。

【0128】

本実施形態の測距装置１００は、輝度受光ユニット８０によって得た輝度画像（ＲＧＢ画像）を、距離画像から得られた座標点群に対してマッピングする。これにより、測距装置１００は、周囲空間の距離・形状情報を、色情報付きでデジタルデータ化することが可能になる。

【0129】

制御部１２０は、第１投光ユニット２０とＴоＦ受光ユニット６０と輝度受光ユニット８０と第２投光ユニット３０とを駆動または制御する。制御部１２０は、光源２１０、ＴоＦセンサ１１０、ＣＭＯＳセンサ３３、第２投光ユニット３０のそれぞれとケーブル、ＦＰＣ、ＦＦＣ等で接続される。

【0130】

ここで、第１投光ユニット２０は、スポット光（構造化光）を投光する第１投光部の一例である。ＴоＦ受光ユニット６０は、投光光を含む入射光が入射する受光部の一例である。輝度受光ユニット８０は、少なくとも輝度を含む情報を出力する。第２投光ユニット３０は、拡散光を投光する第２投光部の一例である。

【0131】

本実施形態では、図２１ないし図２３に示すように、測距装置１００はＺ軸方向に長い長手形状である。測距装置１００の最も＋Ｚ方向側の一段目には、各々の画角が１２０度以上の４つのＴоＦ受光光学系１１２が、ＸＹ平面内の３方向と＋Ｚ方向である１方向を向くよう配置されている。測距装置１００の一段目の－Ｚ方向側となる二段目には、各々の画角が１８０度以上の２つのＴоＦ投光系２１１と、各々の画角が１８０度の２つの輝度受光光学系１１３とが配置されている。２つのＴоＦ投光系２１１はそれぞれ反対方向（＋Ｘ方向と－Ｘ方向）を向き、２つの輝度受光光学系１１３もそれぞれ反対方向（＋Ｙ方向と－Ｙ方向）を向いている。測距装置１００の－Ｚ方向側の下段には、制御部１２０、バッテリー１３０が配置されている。これにより、全天球をカバーする光学系をコンパクトに配置し、測距装置を小型化することができる。

【0132】

制御部１２０は、第１投光ユニット（投光部）２０が投光するタイミングを制御するとともに、ＴоＦ受光ユニット（受光部）６０による受光を検出する。まず、制御部１２０は、光源２１０を駆動するタイミングを制御し、計測対象領域に向かって光を照射させる。さらに、制御部１２０は、ＴоＦセンサ１１０で受光した光を光電変換し、距離画像として出力する。同時に、制御部１２０は、ＣＭＯＳセンサ３３による撮像を行い、輝度画像を出力する。

【0133】

ここで、ＴоＦセンサ１１０として直接ＴоＦセンサを用いる場合、制御部１２０は、各画素での受光タイミングに基づく距離画像を出力する。一方、ＴоＦセンサ１１０として間接ＴоＦセンサを用いる場合、制御部１２０は、異なる４つの位相において各画素での受光量に基づく位相画像を出力する。制御部１２０は、４つの位相画像から距離画像を生成することができる。

【0134】

ところで、測距装置１００として全天球撮像装置を適用した場合、第２投光ユニット３０において拡散光を発光するとともに、第１投光ユニット２０に点灯させると撮影は短く済むが、第２投光ユニット３０の投光もＴоＦ受光ユニット６０にマルチパスとして入り込んでしまう。なお、スポット光の場合でも、複数の第１投光ユニット２０を同時発光した際は同様の問題が発生する。

【0135】

ここで、測距装置１００として全天球撮像装置を適用した場合に特有のマルチパス干渉について説明する。

【0136】

図２４は、全天球撮像装置を適用した場合に特有のマルチパス干渉を例示的に示す図である。図２４に示すように、ＴоＦ受光ユニット６０において、測距点に対しての直接反射を示す一点鎖線と、一の第１投光ユニット２０からのマルチパス（実線）と、他の第１投光ユニット２０からのマルチパス（点線）とが混じってしまう。そこで、本実施形態の測距装置１００においては、マルチパス干渉を低減する撮影シーケンスを実行するようにしたものである。

【0137】

ここで、図２５は全天球撮像装置を適用した場合にマルチパス干渉を低減する撮影シーケンスを示す図である。本実施形態の測距装置１００においては、図２５に示すように、第１投光ユニット２０およびＴоＦ受光ユニット６０ごとに発光と撮影を行い、撮影データを後処理で組み合わせ、ＴоＦ受光ユニット６０全域での測距値を得る。

【0138】

こうすることで一回当たりの撮影の投光量を減らせるので、マルチパス干渉による影響も複数光源を同時に点灯するよりは減少する。さらに、それぞれのＴоＦ受光ユニット６０で撮影された画像に対して式（１）～式（３）で処理を行うことで、測距装置１００として全天球撮像装置を適用した場合でもマルチパス干渉を低減することができる。

【0139】

なお、第１投光ユニット２０が増えた場合、第１投光ユニット２０が増えた分だけ撮影回数と組み合わせる画像の枚数が増えていく。また、ＴоＦ受光ユニット６０が増えた場合も、同様に、組み合わせる画像の枚数が増えることになる。

【0140】

このように本実施形態によれば、測距装置１００として全天球撮像装置を適用した場合でもマルチパス干渉を低減することができる。

【0141】

なお、本実施形態では、照射パターンとしてドットパターンを照射する第１投光ユニット２０を例に挙げてきたが、これに限るものではなく、不規則なドット配置によるランダムドットパターンやストライプパターンなどの任意のパターン化光を照射する第１投光ユニット２０であってもよい。

【0142】

以上、本発明に係る各実施形態を説明したが、上述の各実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらに、異なる実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0143】

１－１ 第１投光部
１－２ 第２投光部
２ 受光部
２－１ 受光部、第１受光部
２－２ 受光部、第２受光部
４ 制御部
２０ 第１投光部
３０ 第２投光部
６０ 受光部
１００ 撮像装置、測距装置
３００ 測距システム
４００ 制御部
４０３ 距離計算部
４０４ 補正値算出部
４０５ 距離補正部

【先行技術文献】

【特許文献】

【0144】

【特許文献1】特開２０２１－１１０６２６号公報

【特許文献2】特表２０１７－５１７７３７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】