特開 2022-165344 測距装置及び測距システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022165344

(43)【公開日】2022-10-31

(54)【発明の名称】測距装置及び測距システム

(51)【国際特許分類】

   G01S 17/894 20200101AFI20221024BHJP

   G01S 7/483 20060101ALI20221024BHJP

   G01C 3/06 20060101ALI20221024BHJP

【ＦＩ】

G01S17/894

G01S7/483

G01C3/06 110A

G01C3/06 120Q

G01C3/06 130

G01C3/06 140

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021070704

(22)【出願日】2021-04-19

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】増野 智経

(72)【発明者】

【氏名】光永 知生

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AA09

2F112AD01

2F112BA06

2F112CA12

2F112DA02

2F112DA04

2F112DA25

2F112DA28

2F112EA03

2F112FA03

2F112FA07

2F112FA21

2F112FA35

2F112FA41

2F112FA45

2F112GA01

2F112GA03

5J084AA04

5J084AA05

5J084AD02

5J084AD07

5J084BA03

5J084BA13

5J084BA36

5J084BA40

5J084BB02

5J084CA03

5J084CA10

5J084CA14

5J084CA20

5J084CA31

5J084CA45

5J084CA49

5J084CA65

5J084CA67

5J084CA74

5J084EA04

(57)【要約】

【課題】測距における誤差を低減する。
【解決手段】測距センサは、明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光に同期するそれぞれ異なる位相の受光期間に受光して複数の画像を生成する。明部領域検出部は、複数の画像におけるパターン光の明部に相当する反射光の受光により生成された領域である明部領域を検出する。第１の測距部は、照射されるパターン光と反射光との位相差を複数の画像において検出された明部領域により検出し、当該検出した位相差に基づいて物体までの距離である第１の測距値を算出する。明部領域選択部は、画像を構成する画像信号に基づいて複数の画像における明部領域の選択を行う。第２の測距部は、選択された明部領域の画像における位置を用いた三角測量により物体までの距離である第２の測距値を算出する。融合部は、第１の測距値及び第２の測距値の融合を行って融合測距値を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
照射された前記パターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
を有する測距装置。

【請求項2】

前記明部領域選択部は、前記検出された明部領域における前記画像信号と前記暗部に相当する領域における前記画像信号との差分に基づいて前記選択を行う
請求項１に記載の測距装置。

【請求項3】

前記明部領域選択部は、前記複数の画像において検出されたそれぞれの前記明部領域のうち自身の前記明部領域が含まれる前記画像における前記暗部に相当する領域との前記差分が最大となる前記明部領域を選択する請求項２に記載の測距装置。

【請求項4】

前記明部領域選択部は、自身の前記画像における前記暗部に相当する領域と前記明部領域との前記差分が最大となる前記画像に含まれる前記明部領域を選択する請求項２に記載の測距装置。

【請求項5】

前記明部領域選択部は、前記検出された明部領域における前記画像信号のノイズ成分に基づいて前記選択を行う
請求項１に記載の測距装置。

【請求項6】

前記パターン光は、複数のドットが配置されたドットパターンである
請求項１に記載の測距装置。

【請求項7】

前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の重み付け加算により前記融合を行う
請求項１に記載の測距装置。

【請求項8】

前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の差分に応じた重みに基づいて前記重み付け加算を行う
請求項７に記載の測距装置。

【請求項9】

明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光を照射する光源装置と、
前記照射されたパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
前記照射されたパターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
を有する測距システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、測距装置及び測距システムに関する。

【背景技術】

【0002】

物体に光を照射し、物体との間を光が往復する時間を測定することにより物体までの距離を測定する飛行時間（ＴｏＦ：Time of Flight）法による測距装置が使用されている。例えば、振幅変調された光を物体に対して出射する発光部と照射した光が物体により反射された反射光を受光する受光素子とを備える測距装置が使用されている。この受光素子には、反射光に基づいて画像信号を生成する撮像素子が使用される。この撮像素子は、振幅変調された出射光に同期する同期検波を受光した反射光に対して行って複数の画像信号を生成する。この生成された複数の画像信号の相互の演算により出射光及び反射光の位相差を検出することができ、検出した位相差に基づいて物体までの距離を算出することができる。このような測距方式は、タイマーを使用して上述の光の往復時間を直接計時する直接ＴｏＦ法に対して間接ＴｏＦ法と称される。

【0003】

この間接ＴｏＦ法においては、例えば、出射光に対して０度、９０度、１８０度及び２７０度の位相において撮像を行って４つの画像を生成する。この４つの画像に対して出射光に同相な成分（０度及び１８０度位相の画像）と出射光に対して直交する成分（９０度及び２７０度の位相）とにおいてそれぞれの差分を算出する。この差分をそれぞれＩ及びＱとすると、位相差θは、ａｒｃｔａｎ（Ｑ／Ｉ）により算出することができる。このような間接ＴｏＦ法は４相方式と称される。この４相方式では、上述の差分の算出の際にノイズ等を除去することができる。

【0004】

しかし、４相方式は４つの画像の生成が必要であるため、物体が移動する場合に誤差を生じるという問題がある。そこで、物体が移動したか否かの判定を行い、物体が移動していないと判定された期間に測距を行う測距モジュールが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－１５０８９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記の従来技術では、移動する物体の測距における誤差の低減が困難という問題がある。

【0007】

そこで、本開示では、移動する物体の測距における誤差を低減する測距装置及び測距システムを提案する。

【課題を解決するための手段】

【0008】

本開示の測距装置は、測距センサと、明部領域検出部と、第１の測距部と、第２の測距部と、明部領域選択部と、融合部とを含む。測距センサは、明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光が物体により反射された反射光を上記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する。明部領域検出部は、上記複数の画像における上記パターン光の上記明部に相当する上記反射光の受光により生成された領域である明部領域を検出する。第１の測距部は、照射される上記パターン光と上記反射光との位相差を上記複数の画像において検出された上記明部領域に基づいて検出し、当該検出した位相差に基づいて上記物体までの距離である第１の測距値を算出する。明部領域選択部は、上記画像を構成する画像信号に基づいて上記複数の画像において検出された上記明部領域の選択を行う。第２の測距部は、上記選択された明部領域の上記画像における位置を用いた三角測量により上記物体までの距離である第２の測距値を算出する。融合部は、上記算出された第１の測距値及び上記算出された第２の測距値の融合を行って融合測距値を生成する。

【図面の簡単な説明】

【0009】

【図1】本開示の実施形態に係る測距システムの構成例を示す図である。

【図2A】本開示の実施形態に係る発光パターンの一例を示す図である。

【図2B】本開示の実施形態に係る反射光の一例を示す図である。

【図3】本開示の実施形態に係る光源装置及び測距装置の構成例を示す図である。

【図4】本開示の実施形態に係る測距センサの構成例を示す図である。

【図5】本開示の実施形態に係る画素の構成例を示す図である。

【図6】本開示の実施形態に係る間接ＴｏＦ法における画像の生成例を示す図である。

【図7】本開示の実施形態に係る画像信号の生成の一例を示す図である。

【図8】本開示の実施形態に係る三角測量の一例を示す図である。

【図9】本開示の実施形態に係る明部領域の選択の一例を示す図である。

【図10】本開示の実施形態に係る測距処理の一例を示す図である。

【図11】本開示の実施形態に係る明部領域選択処理の一例を示す図である。

【図12】本開示の実施形態に係る輝度差検出処理の一例を示す図である。

【図13】本開示の実施形態に係る第２の測距値算出処理の一例を示す図である。

【図14】本開示の実施形態に係る融合処理の一例を示す図である。

【図15】本開示の第２の実施形態に係る明部領域選択処理の一例を示す図である。

【図16】本開示の第３の実施形態に係る融合処理の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態

【0011】

（１．第１の実施形態）
［測距システムの構成］
図１は、本開示の実施形態に係る測距システムの構成例を示す図である。同図は、測距システム１の構成例を表す図である。測距システム１は、対象物との距離を測定するシステムである。同図の測距システム１は、直方体形状の物体９との間の距離を測定する例を表したものである。測距システム１は、光源装置２０と、測距装置１０と、レンズ２及び３とを備える。なお、同図の矢印は、光源装置２０から出射されて物体９により反射され、測距装置１０に入射する光を表したものである。

【0012】

光源装置２０は、測距の対象物に光を照射するものである。この光源装置２０は、明部及び暗部の２種類の輝度のパターン光を照射する。また、このパターン光は、所定の周期において発光期間及び非発光期間を繰り返すパルス列状のパターン光を照射する。光源装置２０の構成の詳細については後述する。

【0013】

測距装置１０は、対象物までの距離を測定するものである。この測距装置１０は、光源装置２０から出射されたパターン光が対象物（物体９）により反射された反射光を受光する。この受光により光源装置２０の発光パターンの出射から反射光の到達までの時間を計時し、対象物までの距離を測定する。測距装置１０の構成の詳細については後述する。

【0014】

レンズ２は、測距装置１０に入射する光を集光するレンズである。レンズ３は、光源装置２０から出射される光を集光するレンズである。

【0015】

［発光パターン］
図２Ａは、本開示の実施形態に係るパターン光の一例を示す図である。同図は、光源装置２０が照射するパターン光の一例を表す図である。同図のパターン光３００は、明部３２０及び暗部３１０を含む。同図は、複数の点状の明部３２０が背景である暗部３１０に配置されたドットパターンにより構成されるパターン光３００の例を表したものである。

【0016】

図２Ｂは、本開示の実施形態に係る反射光の一例を示す図である。同図は、パターン光３００が図１における物体９等に反射された反射光３５０を表す図である。この反射光３５０は、測距装置１０に入射する反射光に相当する。反射光３５０は、パターン光３００の明部３２０及び暗部３１０にそれぞれ対応する明部領域３７０及び暗部領域３６０を含む。同図の複数の明部領域３７０は、対象物との距離に応じた形状に構成される。同図の点線は、物体９により反射された反射光３５１の領域を表す。比較的近距離の物体９により反射された反射光３５１の明部領域３７０は、他の明部領域３７０と比較して大きなドットに構成される。また、後述するように、明部領域３７０の位置は対象物との距離に応じて変化する。

【0017】

［光源装置及び測距装置の構成］
図３は、本開示の実施形態に係る光源装置及び測距装置の構成例を示す図である。同図は、測距システム１を構成する光源装置２０及び測距装置１０の構成例を表すブロック図である。

【0018】

光源装置２０は、光源部２１と、駆動部２２とを備える。

【0019】

光源部２１は、物体９に照射するパターン光を生成するものである。この光源部２１は、レーザ光を出射する光源により構成することができる。例えば、パターン光３００における明部３２０の部分に光源が配置され、暗部３１０に相当する部分には光源が配置されない構成を採ることができる。

【0020】

駆動部２２は、光源部２１を駆動するものである。この駆動部２２は、所定の周期において発光期間及び非発光期間を繰り返すパルス列状に発光させる駆動を行う。この所定の周期のパルス列の発光タイミングは、後述する測距装置１０の同期制御部１６０により制御される。

【0021】

測距装置１０は、測距センサ１００と、信号処理部１５０と、同期制御部１６０とを備える。

【0022】

測距センサ１００は、反射光３５０を受光して画像を生成するものである。この測距センサ１００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子により構成することができる。測距センサ１００は、パターン光３００の発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光を行い、それぞれの位相に応じた複数の画像を生成する。後述するように、測距センサ１００を構成する撮像素子は、入射光に応じた画像信号を生成する複数の画素を備える。これら複数の画素により生成される１画面分の画像信号により画像が構成される。測距センサ１００は、生成した画像を信号処理部１５０に対して出力する。

【0023】

信号処理部１５０は、測距センサ１００から出力された画像に基づいて対象物までの距離を測定する測距処理を行うものである。信号処理部１５０は、明部領域検出部１５１と、第１の測距部１５２と、明部領域選択部１５３と、第２の測距部１５４と、融合部１５５とを備える。

【0024】

明部領域検出部１５１は、反射光３５０の明部領域３７０を検出するものである。この明部領域検出部１５１は、測距センサ１００から出力された複数の画像のそれぞれについて明部領域３７０の位置を検出する。明部領域検出部１５１は、検出した明部領域３７０を第１の測距部１５２及び明部領域選択部１５３に対して出力する。

【0025】

第１の測距部１５２は、パターン光３００と反射光３５０との位相差に基づいて物体９までの距離を算出するものである。この第１の測距部１５２は、明部領域検出部１５１から出力された複数の画像の明部領域３７０に基づいてパターン光３００及び反射光３５０の位相差を検出し、検出した位相差に基づいて間接ＴｏＦ法による測距を行う。第１の測距部１５２により算出される距離を第１の測距値と称する。第１の測距部１５２は、算出した第１の測距値を融合部１５５に対して出力する。第１の測距部１５２における測距の詳細については後述する。

【0026】

明部領域選択部１５３は、明部領域検出部１５１から出力された明部領域３７０を選択するものである。この明部領域選択部１５３は、画像を構成する画像信号に基づいて明部領域３７０の選択を行う。明部領域選択部１５３は、例えば、複数の画像に含まれるそれぞれの明部領域３７０のうち暗部領域３６０との輝度差が最大となる明部領域３７０を選択することができる。明部領域選択部１５３は、選択した明部領域３７０を第２の測距部１５４に対して出力する。明部領域選択部１５３における明部領域３７０の選択の詳細については後述する。

【0027】

第２の測距部１５４は、明部領域３７０の画像における位置を用いた三角測量により物体９までの距離を算出するものである。この第２の測距部１５４は、明部領域選択部１５３により選択された明部領域３７０の画像における位置と当該明部領域３７０に対応するパターン光３００の明部の位置とに対して三角測量の原理に基づく測距を行う。第２の測距部１５４により算出される距離を第２の測距値と称する。第２の測距部１５４は、算出した第２の測距値を融合部１５５に対して出力する。第２の測距部１５４における測距の詳細については後述する。

【0028】

融合部１５５は、第１の測距部１５２により算出された第１の測距値及び第２の測距部１５４により算出された第２の測距値を融合して融合測距値を生成するものである。生成された融合測距値は、測距装置１０の検出測距値として出力される。融合部１５５における第１の測距値及び第２の測距値の融合の詳細については後述する。

【0029】

同期制御部１６０は、光源装置２０におけるパターン光３００の発光期間及び非発光期間と測距センサ１００における画像信号の生成のタイミングとを同期させるものである。この同期制御部１６０は、光源装置２０の駆動部２２及び測距センサ１００に対して制御信号を出力し、駆動部２２による光源部２１の駆動タイミングと測距センサ１００の画素（後述する画素２００）における画像信号の生成の際の後述する同期検波とを同期させる。

【0030】

［撮像素子の構成］
図４は、本開示の実施形態に係る測距センサの構成例を示す図である。同図は、測距センサ１００の構成例を表すブロック図である。測距センサ１００は、被写体の画像を生成する半導体素子である。測距センサ１００は、画素アレイ部１１０と、垂直駆動部１２０と、カラム信号処理部１３０と、制御部１４０とを備える。

【0031】

画素アレイ部１１０は、複数の画素２００が配置されて構成されたものである。同図の画素アレイ部１１０は、複数の画素２００が２次元行列の形状に配列される例を表したものである。ここで、画素２００は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素２００には、信号線１１及び１２が配線される。画素２００は、信号線１１により伝達される制御信号に制御されて画像信号を生成し、信号線１２を介して生成した画像信号を出力する。なお、信号線１１は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素２００に共通に配線される。信号線１２は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素２００に共通に配線される。

【0032】

垂直駆動部１２０は、上述の画素２００の制御信号を生成するものである。同図の垂直駆動部１２０は、画素アレイ部１１０の２次元行列の行毎に制御信号を生成し、信号線１１を介して順次出力する。

【0033】

カラム信号処理部１３０は、画素２００により生成された画像信号の処理を行うものである。同図のカラム信号処理部１３０は、信号線１２を介して伝達される画素アレイ部１１０の１行に配置された複数の画素２００からの画像信号の処理を同時に行う。この処理として、例えば、画素２００により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換や画像信号のオフセット誤差を除去する相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行うことができる。処理後の画像信号は、測距センサ１００の外部の回路等に対して出力される。

【0034】

制御部１４０は、垂直駆動部１２０及びカラム信号処理部１３０を制御するものである。同図の制御部１４０は、信号線１４１及び１４２を介して制御信号をそれぞれ出力して垂直駆動部１２０及びカラム信号処理部１３０を制御する。

【0035】

［画素の構成］
図５は、本開示の実施形態に係る画素の構成例を示す図である。同図は、測距センサ１００に配置される画素２００の構成例を表す回路図である。同図の画素２００は、光電変換部２０１と、電荷保持部２０２及び２０３と、転送部２０４及び２０５と、リセット部２０６及び２０７と、画像信号生成部２０８及び２０９とを備える。転送部２０４及び２０５並びにリセット部２０６及び２０７は、ＭＯＳトランジスタにより構成することができる。また、同図の画素２００には、電源線Ｖｄｄが配線される。この電源線Ｖｄｄは、画素２００に電源を供給する配線である。

【0036】

光電変換部２０１は、入射光の光電変換を行うものである。この光電変換部２０１は、フォトダイオードにより構成することができる。フォトダイオードは、光電変換により生成された電荷を外部の回路に供給する。このため、同図に表したように、光電変換部２０１を定電流回路により表すことができる。同図の光電変換部２０１は、一端が接地され、他端から入射光に応じたシンク電流を供給する。

【0037】

電荷保持部２０２及び２０３は、光電変換部２０１により生成された電荷を保持するものである。この電荷保持部２０２及び２０３は、それぞれ半導体基板に形成された拡散領域に電荷を保持する浮遊換算領域（ＦＤ：Floating Diffusion）により構成することができる。

【0038】

転送部２０４及び２０５は、光電変換部２０１により生成された電荷を電荷保持部２０２及び２０３にそれぞれ転送するものである。転送部２０４は、光電変換部２０１及び電荷保持部２０２の間を導通させることにより、光電変換部２０１の電荷を電荷保持部２０２に転送する。また、転送部２０５は、光電変換部２０１及び電荷保持部２０３の間を導通させることにより、光電変換部２０１の電荷を電荷保持部２０３に転送する。

【0039】

リセット部２０６及び２０７は、電荷保持部２０２及び３０３をリセットするものである。リセット部２０６は、電荷保持部２０２及び電源線Ｖｄｄの間を導通させて電荷保持部２０２の電荷を電源線Ｖｄｄに排出することにより、リセットを行う。同様に、リセット部２０７は、電荷保持部２０３及び電源線Ｖｄｄの間を導通させることにより電荷保持部２０３をリセットする。

【0040】

画像信号生成部２０８及び２０９は、電荷保持部２０２及び２０３に保持された電荷に基づいて画像信号を生成するものである。画像信号生成部２０８は、電荷保持部２０２に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。画像信号生成部２０８は、電荷保持部２０２に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。画像信号生成部２０９は、電荷保持部２０３に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。

【0041】

なお、転送部２０４及び２０５、リセット部２０６及び２０７及び画像信号生成部２０８及び２０９の制御信号は、不図示の信号線１１１により伝達される。

【0042】

同図の画素２００における画像信号の生成は、次のように行うことができる。まず、リセット部２０６及び２０７を導通させて電荷保持部２０２及び２０３をリセットする。このリセットの終了後に、転送部２０４及び２０５を導通させて光電変換部２０１により生成される電荷を電荷保持部２０２に転送して保持させる。この際、転送部２０４及び２０５は、交互に導通状態になり、光電変換部２０１により生成される電荷を電荷保持部２０２及び２０３に振り分ける。この電荷の振り分けを複数回行って、光電変換部２０１により生成される電荷を電荷保持部２０２及び２０３に蓄積させる。この電荷を蓄積する期間を蓄積期間と称する。

【0043】

所定の蓄積期間の経過後に転送部２０４及び２０５を非導通の状態にする。その後、画像信号生成部２０８及び２０９が電荷保持部２０２及び２０３に蓄積された電荷に基づいて画像信号を生成し、出力する。

【0044】

上述の蓄積期間において、転送部２０４及び２０５により光電変換部２０１の電荷が振り分けられて蓄積され、蓄積されたそれぞれの電荷に基づいて画像信号が生成される。この転送部２０４及び２０５の振り分けを図３において説明した光源装置２０のパターン光３００の発光期間及び非発光期間の周期に同期して行う。これにより、測距センサ１００に入射する反射光の同期検波を行うことができる。また、この同期検波を異なる位相により行って複数の画像信号を生成することにより、光源装置２０から物体９を介して測距センサ１００に至る時間を光源装置２０の発光及び非発光の周期に対する位相差として検出する間接ＴｏＦ法を実行することができる。なお、電荷保持部２０２に対応する画像信号及び電荷保持部２０３に対応する画像信号をそれぞれタップＡの画像信号及びタップＢの画像信号と称する。

【0045】

［間接ＴｏＦ法における画像の生成］
図６は、本開示の実施形態に係る間接ＴｏＦ法における画像の生成例を示す図である。同図は、画素２００における間接ＴｏＦ法に使用する画像の生成を表す図である。同図のフレーム４００は、間接ＴｏＦ法における画像を生成する期間を表す。同図に表したように、複数のフレーム４００が連続して実行され、間接ＴｏＦ法による測距が連続して実行される。

【0046】

それぞれのフレーム４００は、サブフレーム４１０、４２０、４３０及び４４０を備える。これらのサブフレーム４１０、４２０、４３０及び４４０においては、それぞれ異なる位相において上述の転送部２０４及び２０５による振り分けを行う。サブフレーム４１０、４２０、４３０及び４４０は、それぞれ０度、９０度、１８０度及び２７０度の位相において転送部２０４及び２０５による振り分けが行われ、画像が生成される。なお、フレーム４００には、待機期間が更に含まれる。この待機期間は、いわゆるデットタイムに相当する期間である。

【0047】

サブフレーム４１０等は、リセット４５１、蓄積４５２、読出し４５３の期間が含まれる。リセット４５１は、上述のリセット部２０６及び２０７によるリセットの期間である。蓄積４５２は、上述の蓄積期間に相当する期間である。読出し４５３は、画像信号生成部２０８及び２０９により生成された画像信号が読み出される期間である。なお、サブフレーム４１０等には待機期間が更に含まれる。

【0048】

［間接ＴｏＦ法における画像信号の生成］
図７は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、画素２００の間接ＴｏＦ法における画像信号の生成の一例を表すタイミング図である。同図において、測距部３３０は、４つの異なる位相において反射光４の振り分けを行い、画像信号を生成する制御を行う。

【0049】

同図の出射光は、略等しい期間の発光期間及び非発光期間を備える周期Ｔの出射光を採用する。同図の出射光の発光期間は、一定の輝度の矩形波となる。以下、この矩形波をパルス光４０１と称する。この出射光に応じて一定の輝度のパルス光４０２を備える反射光が画素２００に入射する。この反射光を出射光に同期するとともに０度、９０度、１８０度及び２７０度の４つの遅れ位相において電荷の振り分けを行い画像信号Ａ及びＢを生成する。

【0050】

同図の「０度」、「９０度」、「１８０度」及び「２７０度」は、０度、９０度、１８０度及び２７０度の４つの遅れ位相において電荷の振り分けを行う場合の波形をそれぞれ表したものである。これらの波形のそれぞれの上側の波形はタップＡを表し、下側の波形はタップＢを表す。また、同図の「０度」、「９０度」、「１８０度」及び「２７０度」における実線の波形は、それぞれの遅れ位相におけるそれぞれのタップの電荷の振り分け期間を表すガイド信号を表す。ガイド信号が値「１」の期間に自身のタップに電荷が振り分けられる。また、同図の「０度」、「９０度」、「１８０度」及び「２７０度」におけるハッチングを付した領域は、それぞれのタップの電荷保持部（電荷保持部２０２及び２０３）における電荷の蓄積を表す。

【0051】

同図の位相遅れ０度の場合を例に挙げて説明する。タップＡ（上側）において、反射光のパルス光４０２とガイド信号の値「１」の部分とが重なる期間において電荷が電荷保持部２０２に蓄積される。同図の「Ａ０」は、タップＡ側の電荷保持部２０２への蓄積電荷Ａ０を表す。また、タップＢ（下側）において、反射光のパルス光４０２とガイド信号の値「１」の部分とが重なる期間において電荷が電荷保持部２０３に蓄積される。同図の「Ｂ０」は、タップＢ側の電荷保持部２０３への蓄積電荷Ｂ０を表す。このようなタップＡ及びタップＢにおける電荷の蓄積が蓄積期間に繰り返される。

【0052】

遅れ位相９０度、１８０度及び２７０度においても同様に、タップＡ及びタップＢにおける電荷の蓄積が蓄積期間に繰り返される。そして、遅れ位相９０度、１８０度及び２７０度において、蓄積電荷Ａ９０及びＢ９０、蓄積電荷Ａ１８０及びＢ１８０並びに蓄積電荷Ａ２７０及びＢ２７０が生成される。

【0053】

次に、これら蓄積電荷Ａ０及びＢ０に基づいて０度におけるタップＡの画像信号Ａ０及びタップＢにおける画像信号Ｂ０を生成する。また、９０度におけるタップＡの画像信号Ａ９０及びタップＢにおける画像信号Ｂ９０を生成する。また、１８０度におけるタップＡの画像信号Ａ１８０及びタップＢにおける画像信号Ｂ１８０を生成する。また、２７０度におけるタップＡの画像信号Ａ２７０及びタップＢにおける画像信号Ｂ２７０を生成する。これら８つの信号により出射光及び反射光の位相差φを算出する。

【0054】

上述のタップＡ０等を使用して下記の演算を行い、Ｓｉｇｎａｌ０～Ｓｉｇｎａｌ３を算出する。
Ｓｉｇｎａｌ０＝タップＡ０－タップＢ０
Ｓｉｇｎａｌ１＝タップＡ９０－タップＢ９０
Ｓｉｇｎａｌ２＝タップＡ１８０－タップＢ１８０
Ｓｉｇｎａｌ３＝タップＡ２７０－タップＢ２７０
次に、Ｓｉｇｎａｌ０～Ｓｉｇｎａｌ３を使用して下記の演算を行い、Ｉ及びＱを算出する。
Ｉ＝（Ｓｉｇｎａｌ０－Ｓｉｇｎａｌ１）／２
Ｑ＝（Ｓｉｇｎａｌ２－Ｓｉｇｎａｌ３）／２
ここで、Ｉは、反射光の出射光に同相の成分に相当する信号である。また、Ｑは、反射光の出射光に対する直交する方向の成分に相当する信号である。このＩ、Ｑ及び出射光の周期Ｔに基づいて、次式により物体９までの距離ｄを算出することができる。
ｄ＝ｃ×Ｔ×ａｒｃｔａｎ（Ｑ／Ｉ）／４π 式（１）
ここで、ｃは、光速を表す。

【0055】

このように、間接ＴｏＦ法による測距を行うことができる。この間接ＴｏＦ法においては、４つの画像を生成する必要がある。この４つの画像を生成する期間に物体９が動く場合、算出した距離に誤差を生じることとなる。そこで、次に説明する三角測量による測距を更に行う。三角測量による測距においては、間接ＴｏＦ法により生成されたタップＡの４つの画像及びタップＢの４つの画像を使用することができる。

【0056】

［三角測量による測距］
図８は、本開示の実施形態に係る三角測量の一例を示す図である。同図は、三角測量の原理を説明する図である。同図において光源装置２０は位置５０１に配置され、測距センサ１００は位置５０２に配置される。位置５０１からレンズ３の焦点距離Ｆだけ離れた位置に仮想的な光源装置２０’が配置され、位置５０２からレンズ２の焦点距離Ｆだけ離れた位置に仮想的な測距センサ１００’が配置される。「ＢＬ」は光源装置２０及び測距センサ１００の距離を表し、「Ｄ」は物体９との距離を表す。また、同図の矢印は、光源装置２０から出射されるパターン光３００及び物体９により反射される反射光の軌跡を表す。

【0057】

同図において、光源装置２０’の点５０３の位置の明部３２０の光が物体９により反射されて測距センサ１００’の点５０４に明部領域３７０として検出される。この場合、光源装置２０及び測距センサ１００の間の距離ＢＬが既知であるため、パターン光３００における点５０３の位置及び測距センサ１００により生成される画像における点５０４の位置を検出することにより、三角測量の原理を用いて距離Ｄを算出することができる。

【0058】

［明部領域の選択］
図９は、本開示の実施形態に係る明部領域の選択の一例を示す図である。同図は、明部領域選択部１５３における明部領域３７０の選択を表す図である。同図の画像３５１乃至３５４は、測距センサ１００により生成されたタップＡ又はタップＢの４つの画像を表す。これらの画像のそれぞれに明部領域３７０が配置される。明部領域検出部１５１は、これらの画像から明部領域３７０を検出する。明部領域検出部１５１による明部領域３７０の検出は、例えば、ブロブ検知（Blob Detection）法により行うことができる。

【0059】

明部領域検出部１５１は、検出した明部領域３７０を画像番号及び位置番号により識別する。以下、検出された明部領域３７０をｂ（ｋ，ｎ）により表す。ここで、ｋは、４つの画像を識別する番号であり、画像３５１乃至３５４に対応する１乃至４の値となる。ｎは、画像３５１等における位置を表す番号であり、明部領域３７０毎に付与される番号である。ｎは、例えば、画像３５１等の左上から順に１、２、３等の数字を付与することができる。ｂ（ｋ，ｎ）は、明部領域３７０の範囲に含まれる画素の座標により構成することができる。なお、画像３５１乃至３５４において明部領域３７０は、重なる位置に配置されるものと想定する。これは、物体９の動きが間接ＴｏＦ法による測距の期間より十分短い場合を想定したものである。

【0060】

明部領域選択部１５３は、明部領域３７０と暗部領域３６０と輝度差に基づいて選択を行うことができる。例えば、明部領域選択部１５３は、画像３５１乃至３５４における同じ位置番号の明部領域３７０において最も輝度差が大きい明部領域３７０を選択することができる。

【0061】

明部領域選択部１５３は、例えば、明部領域３７０の周囲の領域である周辺領域３６１と明部領域３７０との輝度差を検出することができる。また、明部領域選択部１５３は、画像３５１等における暗部領域３６０の平均輝度と明部領域３７０の輝度差を検出することもできる。

【0062】

また、明部領域選択部１５３は、明部領域３７０のノイズに基づいて選択を行うこともできる。例えば、明部領域選択部１５３は、明部領域３７０の画像信号のノイズ成分が所定の閾値より小さい明部領域３７０を選択することができる。

【0063】

第２の測距部１５４は、明部領域選択部１５３により選択された明部領域３７０に対して三角測量による測距を行う。この際、第２の測距部１５４は、選択された明部領域３７０に対応するパターン光３００の明部３２０を選択する。また、第２の測距部１５４は、選択された明部３２０の中心位置と選択された明部領域３７０の中心位置とを算出し、三角測量を行う。なお、明部領域３７０の中心位置は、例えば、明部領域３７０における輝度が最大となる位置を適用することができる。この明部領域３７０における輝度が最大となる位置は、例えば、パラボラフィッティング等により検出することができる。なお、明部３２０の中心位置は、既定値を使用することができる。

【0064】

［融合処理］
融合部１５５は、前述のように、第１の測距値及び第２の測距値を融合する。この融合は、第１の測距値及び第２の測距値の重み付け加算により行うことができる。また、重みは、例えば、第１の測距値及び第２の測距値の差分に応じた重みを適用することができる。例えば、第１の測距値及び第２の測距値の差分が小さい場合には、第１の測距値及び第２の測距値に対して略同じ重みを設定することができる。そして、第１の測距値及び第２の測距値の差分が大きくなるに従って、第２の測距値の重みを大きく、第１の測距値の重みを小さく設定することができる。また、例えば、第２の測距値を真値とし、第１の測距値との差分に応じた正規分布曲線に基づく重みを設定することもできる。

【0065】

［測距処理］
図１０は、本開示の実施形態に係る測距処理の一例を示す図である。同図は、測距システム１における測距処理の一例を表す図である。まず、光源装置２０がパターン光を照射する（ステップＳ１００）。次に、測距センサ１００において反射光の画像を生成する（ステップＳ１０１）。次に、明部領域検出部１５１が明部領域を検出する（ステップＳ１０２）。この際、明部領域検出部１５１により、ｂ（ｋ，ｎ）が生成される。次に、第１の測距部１５２が間接ＴｏＦ法による第１の測距値を算出する（ステップＳ１１０）。この際、第１の測距部１５２は、明部領域３７０毎に第１の測距値を算出する。第１の測距部１５２は、位置番号により識別された第１の測距値Ｄ１（ｎ）を生成する。

【0066】

次に、明部領域選択部１５３が明部領域選択処理（ステップＳ１２０）を行う。次に、第２の測距部１５４が第２の測距値を算出する（ステップＳ１４０）。第２の測距部１５４は、位置番号により識別された第２の測距値Ｄ２（ｎ）を生成する。次に、融合部１５５が第１の測距値Ｄ１（ｎ）及び第２の測距値Ｄ２（ｎ）の融合処理（ステップＳ１５０）を行い、融合測距値を生成する。

【0067】

［明部領域選択処理］
図１１は、本開示の実施形態に係る明部領域選択処理の一例を示す図である。同図は、図１０における明部領域選択処理（ステップＳ１２０）の一例を表す図である。まず、明部領域選択部１５３は、全ての画像について明部領域３７０の輝度差の検出を行う。明部領域選択部１５３は、全ての画像を選択したか否かを判断し（ステップＳ１２１）、全ての画像を選択していない場合には（ステップＳ１２１，Ｎｏ）、未選択の画像を選択する（ステップＳ１２２）。この際、明部領域選択部１５３は、画像番号ｋを選択する。次に、明部領域選択部１５３は、選択した画像に対して輝度差検出処理（ステップＳ１３０）を行い、ステップＳ１２１の処理に戻る。

【0068】

一方、ステップＳ１２１において、全ての画像を選択した場合には（ステップＳ１２１，Ｙｅｓ）、ステップＳ１２３の処理に移行する。ステップＳ１２３において、明部領域選択部１５３は、全ての明部領域の位置を選択したか否かを判断し（ステップＳ１２３）、全ての明部領域の位置を選択していない場合には（ステップＳ１２３，Ｎｏ）、未選択の明部領域の位置を選択する（ステップＳ１２４）。この際、明部領域選択部１５３は、位置番号ｎとしてＮを選択する。次に、明部領域選択部１５３は、最大輝度差の明部領域を選択する（ステップＳ１２５）。この際、明部領域選択部１５３は、位置番号Ｎの明部領域３７０のうちの最大の輝度差（後述するｄｉｆｆ（ｋ，Ｎ））の明部領域３７０を選択する。

【0069】

次に、明部領域選択部１５３は、選択した明部領域３７０を測定用画像に格納する（ステップＳ１２６）。次に、明部領域選択部１５３は、ステップＳ１２３の処理に戻る。一方、ステップＳ１２３において、全ての明部領域を選択した場合には（ステップＳ１２３，Ｙｅｓ）、明部領域選択部１５３は、明部領域選択処理Ｓ１２０を終了する。

【0070】

［輝度差検出処理］
図１２は、本開示の実施形態に係る輝度差検出処理の一例を示す図である。同図は、図１１における輝度差検出処理（ステップＳ１３０）の一例を表す図である。まず、明部領域選択部１５３は、全ての明部領域を選択したか否かを判断し（ステップＳ１３１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１３２）。この際、明部領域選択部１５３は、明部領域３７０の位置番号ｎを選択する。次に、明部領域選択部１５３は、選択した明部領域の平均輝度を算出する（ステップＳ１３３）。この際、明部領域選択部１５３は、平均輝度ｂｍ（ｋ，ｎ）を算出する。次に、明部領域選択部１５３は、図９において説明した周辺領域の平均輝度を算出する（ステップＳ１３４）。この際、明部領域選択部１５３は、周辺領域の平均輝度ｄｍ（ｋ，ｎ）を算出する。

【0071】

次に、明部領域選択部１５３は、輝度の差分を算出する（ステップＳ１３５）。この際、明部領域選択部１５３は、ｂｍ（ｋ，ｎ）－ｄｍ（ｋ，ｎ）を算出し、ｄｉｆｆ（ｋ，ｎ）として出力する。次に、明部領域選択部１５３は、ステップＳ１３１の処理に戻る。一方、ステップＳ１３１の処理において、全ての明部領域を選択した場合には（ステップＳ１３１，Ｙｅｓ）、明部領域選択部１５３は、輝度差検出処理Ｓ１３０を修了する。

【0072】

［第２の測距値算出処理］
図１３は、本開示の実施形態に係る第２の測距値算出処理の一例を示す図である。同図は、図１１における第２の測距値算出処理（ステップＳ１４０）の一例を表す図である。まず、第２の測距部１５４は、全ての明部領域を選択したか否かを判断し（ステップＳ１４１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１４２）。この際、第２の測距部１５４は、明部領域３７０の位置番号ｎを選択する。次に、第２の測距部１５４は、選択した明部領域の中心位置を算出する（ステップＳ１４３）。次に、第２の測距部１５４は、三角測量による第２の測距値を算出する（ステップＳ１４４）。次に、第２の測距部１５４は、ステップＳ１４１の処理に戻る。一方、ステップＳ１４１の処理において、全ての明部領域を選択した場合には（ステップＳ１４１，Ｙｅｓ）、第２の測距部１５４は、第２の測距値算出処理Ｓ１４０を修了する。

【0073】

［融合処理］
図１４は、本開示の実施形態に係る融合処理の一例を示す図である。同図は、図１１における融合処理（ステップＳ１５０）の一例を表す図である。まず、融合部１５５は、全ての明部領域を選択したか否かを判断し（ステップＳ１５１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１５２）。この際、融合部１５５は、明部領域３７０の位置番号ｎを選択する。次に、融合部１５５は、選択した明部領域において重みを算出する（ステップＳ１４３）。次に、融合部１５５は、算出した重みを使用して第１の測距値及び第２の測距値を融合する（ステップＳ１５４）。次に、融合部１５５は、ステップＳ１５１の処理に戻る。一方、ステップＳ１５１の処理において、全ての明部領域を選択した場合には（ステップＳ１５１，Ｙｅｓ）、融合部１５５は、融合処理Ｓ１５０を修了する。

【0074】

このように、本開示の第１の実施形態の測距システム１は、間接ＴｏＦ法により算出された第１の測距値と三角測量により算出された第２の測距値とを融合して融合測距値を生成する。比較的短時間に測距を行う三角測量による測距値を間接ＴｏＦ法による測距値に融合させることにより、物体９が動く場合の誤差を低減することができる。また、三角測量による測距の際、明部領域３７０のうちの暗部領域３６０との輝度差が最も大きい明部領域３７０を選択することにより、三角測量による測距の精度を向上させることができる。

【0075】

（２．第２の実施形態）
上述の第１の実施形態の測距システム１は、４つの画像の明部領域３７０のうち最も輝度差が大きい明部領域３７０を選択していた。これに対し、本開示の第２の実施形態の測距システム１は、４つの画像のうちの最も輝度差が大きい画像を測定用画像として選択する点で、上述の第１の実施形態と異なる。

【0076】

［明部領域選択処理］
図１５は、本開示の第２の実施形態に係る明部領域選択処理の一例を示す図である。同図は、図１１と同様に、明部領域選択処理（ステップＳ１７０）の一例を表す図である。同図の処理は、４つの画像のうちの最も輝度差が大きい画像を測定用画像として選択する点で、図１１の処理と異なる。

【0077】

まず、明部領域選択部１５３は、全ての画像を選択したか否かを判断し（ステップＳ１７１）、全ての画像を選択していない場合には（ステップＳ１７１，Ｎｏ）、未選択の画像を選択する（ステップＳ１７２）。この際、明部領域選択部１５３は、画像番号ｋを選択する。次に、明部領域選択部１５３は、選択した画像に対して画像内の明部領域の平均輝度を算出する（ステップＳ１７３）。この際、明部領域選択部１５３は、平均輝度ｂｍ（ｋ）を算出する。

【0078】

次に、明部領域選択部１５３は、選択した画像に対して画像内の暗部領域の平均輝度を算出する（ステップＳ１７４）。この際、明部領域選択部１５３は、平均輝度ｄｍ（ｋ）を算出する。次に、明部領域選択部１５３は、輝度の差分を算出する（ステップＳ１７５）。この際、明部領域選択部１５３は、ｂｍ（ｋ）－ｄｍ（ｋ）を算出し、ｄｉｆｆ（ｋ）として出力する。次に、明部領域選択部１５３は、ステップＳ１７１の処理に戻る。

【0079】

一方、ステップＳ１７１において、全ての画像を選択した場合には（ステップＳ１７１，Ｙｅｓ）、ステップＳ１７６の処理に移行する。ステップＳ１７６において、明部領域選択部１５３は、輝度の差分が最大の画像を測定用画像として選択する（ステップＳ１７６）。その後、明部領域選択部１５３は、明部領域選択処理Ｓ１７０を終了する。

【0080】

これ以外の測距システム１の構成は本開示の第１の実施形態における測距システム１の構成と同様であるため、説明を省略する。

【0081】

このように、本開示の第２の実施形態の測距システム１は、間接ＴｏＦ法により生成された画像のうちの最も輝度差が大きい画像を測定用画像として選択する。これにより、物体９の動きの影響を更に低減することができる。

【0082】

（３．第３の実施形態）
上述の第１の実施形態の測距システム１は、第１の測距値及び第２の測距値を融合していた。これに対し、本開示の第３の実施形態の測距システム１は、画素毎の第２の測距値のばらつきに応じて融合を行う点で、上述の第１の実施形態と異なる。

【0083】

［融合処理］
図１６は、本開示の第３の実施形態に係る融合処理の一例を示す図である。同図は、図１１における融合処理Ｓ１５０に換えて行う処理である。まず、融合部１５５は、全ての明部領域を選択したか否かを判断し（ステップＳ１８１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１８２）。この際、融合部１５５は、明部領域３７０の位置番号ｎを選択する。次に、融合部１５５は、画像毎に第２の測距値を算出する（ステップＳ１８３）。この際、融合部１５５は、第２の測距値Ｄ２（１，ｎ）～Ｄ２（４，ｎ）を算出する。次に融合部１５５は、第２の測距値の中央値を算出する（ステップＳ１８４）。この際、融合部１５５は、中央値Ｄ２ｍｅｄを算出する。

【0084】

次に、融合部１５５は、中央値が所定の範囲内か否かを判断する（ステップＳ１８５）。その結果、中央値が所定の範囲内にない場合には（ステップＳ１８５，Ｎｏ）、融合部１５５は、第１の測距値を融合測距値として出力し（ステップＳ１８８）、ステップＳ１８１の処理に戻る。

【0085】

一方、ステップＳ１８５において、中央値が所定の範囲内の場合には（ステップＳ１８５，Ｙｅｓ）、融合部１５５は、重みを算出し（ステップＳ１８６）、第１の測距値及び第２の測距値を融合する（ステップＳ１８７）。次に、融合部１５５は、ステップＳ１８１の処理に戻る。

【0086】

ステップＳ１８１において、全ての明部領域を選択した場合には（ステップＳ１８１，Ｙｅｓ）、融合部１５５は、融合処理Ｓ１８０を修了する。

【0087】

これ以外の測距システム１の構成は本開示の第１の実施形態における測距システム１の構成と同様であるため、説明を省略する。

【0088】

このように、本開示の第３の測距システム１は、画像毎の第２の測距値のばらつきを算出し、第２の測距値のばらつきが所定の範囲内にない場合には、第１の測距値を融合測距値として出力する。三角測量による測距の誤差の混入を軽減することができ、測距の精度を向上させることができる。

【0089】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0090】

なお、本技術は以下のような構成も取ることができる。
（１）
明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
照射される前記パターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
を有する測距装置。
（２）
前記明部領域選択部は、前記検出された明部領域における前記画像信号と前記暗部に相当する領域における前記画像信号との差分に基づいて前記選択を行う
前記（１）に記載の測距装置。
（３）
前記明部領域選択部は、前記複数の画像において検出されたそれぞれの前記明部領域のうち自身の前記明部領域が含まれる前記画像における前記暗部に相当する領域との前記差分が最大となる前記明部領域を選択する前記（２）に記載の測距装置。
（４）
前記明部領域選択部は、自身の前記画像における前記暗部に相当する領域と前記明部領域との前記差分が最大となる前記画像に含まれる前記明部領域を選択する前記（２）に記載の測距装置。
（５）
前記明部領域選択部は、前記検出された明部領域における前記画像信号のノイズ成分に基づいて前記選択を行う
前記（１）から（４）のいずれかに記載の測距装置。
（６）
前記パターン光は、複数のドットが配置されたドットパターンである
前記（１）から（５）のいずれかに記載の測距装置。
（７）
前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の重み付け加算により前記融合を行う
前記（１）から（６）のいずれかに記載の測距装置。
（８）
前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の差分に応じた重みに基づいて前記重み付け加算を行う
前記（７）に記載の測距装置。
（９）
明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光を照射する光源装置と、
前記照射されたパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
前記照射されたパターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
を有する測距システム。

【符号の説明】

【0091】

１ 測距システム
１０ 測距装置
２０ 光源装置
２１ 光源部
２２ 駆動部
１００ 測距センサ
１１０ 画素アレイ部
１５１ 明部領域検出部
１５２ 第１の測距部
１５３ 明部領域選択部
１５４ 第２の測距部
１５５ 融合部
２００ 画素
３５１～３５４ 画像
３６０ 暗部領域
３６１ 周辺領域
３７０、３７１ 明部領域

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】