特開 2023-172742 距離画像撮像装置、及び距離画像撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172742

(43)【公開日】2023-12-06

(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法

(51)【国際特許分類】

   G01S 17/894 20200101AFI20231129BHJP

   G01C 3/06 20060101ALI20231129BHJP

【ＦＩ】

G01S17/894

G01C3/06 120Q

G01C3/06 140

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022084758

(22)【出願日】2022-05-24

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】山本 和人

(72)【発明者】

【氏名】赤堀 知行

(72)【発明者】

【氏名】中込 友洋

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA07

2F112CA12

2F112DA25

2F112DA28

2F112EA05

2F112FA33

2F112GA01

5J084AA05

5J084AD01

5J084BA04

5J084BA20

5J084BA36

5J084BA40

5J084BB04

5J084CA03

5J084CA20

5J084CA65

5J084EA01

(57)【要約】      （修正有）

【課題】マルチパス反射光ＲＬｍの影響を抑制する。
【解決手段】被写体ＯＢに光パルスＰＯを照射する光源部２と、二次元マトリクス状に複数配置された画素回路と画素駆動回路と電荷排出手段を有する受光部３と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体ＯＢまでの距離を算出する距離演算部４２と、を備え、光パルスＰＯは、複数のドット光により構成される構造化光であり、前記距離演算部４２は、直接反射光ＲＬｄを受光する第１画素回路にある前記電荷蓄積部に蓄積される第１電荷量から、前記第１画素回路の周辺に位置し前記直接反射光ＲＬｄを受光しない第２画素回路にある前記電荷蓄積部に蓄積される電荷量に基づく第２電荷量を減算した値を用いて、前記被写体ＯＢまでの距離を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積するＮ個（Ｎ≧３）の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、
前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
を備え、
前記光パルスは、複数のドット光により構成される構造化光であり、
前記距離演算部は、直接反射光を受光する第１画素回路にある前記電荷蓄積部に蓄積される第１電荷量から、前記第１画素回路の周辺に位置し前記直接反射光を受光しない第２画素回路にある前記電荷蓄積部に蓄積される電荷量に基づく第２電荷量を減算した値を用いて、前記被写体までの距離を算出する、
距離画像撮像装置。

【請求項2】

前記距離演算部は、複数の前記第２画素回路の各々にある前記電荷蓄積部に蓄積される電荷量を用いて前記第２電荷量を算出する、
請求項１に記載の距離画像撮像装置。

【請求項3】

前記距離演算部は、複数の前記第１画素回路にある前記電荷蓄積部に蓄積される電荷量のうち、最も電荷量が多い前記電荷蓄積部を有する前記第１画素回路の位置を基準として、前記基準とした位置から対角方向に１画素以上離れた箇所に位置する前記画素回路を前記第２画素回路として選択する、
請求項１又は請求項２に記載の距離画像撮像装置。

【請求項4】

前記距離演算部は、複数の前記第１画素回路にある前記電荷蓄積部に蓄積される電荷量のうち、最も電荷量が多い前記電荷蓄積部を有する前記第１画素回路の位置を基準として、
前記基準とした位置から垂直又は水平方向に１画素以上離れた箇所に位置する前記画素回路を前記第２画素回路として選択する、
請求項１又は請求項２に記載の距離画像撮像装置。

【請求項5】

前記距離演算部は、前記第２画素回路が配置されている位置に応じて前記第２画素回路にある前記電荷蓄積部に蓄積される電荷量を重みづけした値を用いて前記第２電荷量を算出する、
請求項１又は請求項２に記載の距離画像撮像装置。

【請求項6】

前記距離演算部は、複数の前記第２画素回路を用いる場合において、隣接する前記画素回路にある前記電荷蓄積部に蓄積される電荷量の差が閾値以上である場合、前記電荷蓄積部に蓄積される電荷量が多い前記画素回路を前記第２画素回路として選択しない、
請求項１又は請求項２に記載の距離画像撮像装置。

【請求項7】

被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積するＮ個（Ｎ≧３）の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
を備える距離画像撮像装置が行う距離画像撮像方法であって、
前記光パルスは、複数のドット光により構成される構造化光であり、
前記距離演算部は、直接反射光を受光する第１画素回路にある前記電荷蓄積部に蓄積される第１電荷量から、前記第１画素回路の周辺に位置し前記直接反射光を受光しない第２画素回路にある前記電荷蓄積部に蓄積される電荷量に基づく第２電荷量を減算した値を用いて、前記被写体までの距離を算出する、
距離画像撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。

【背景技術】

【0002】

光の速度が既知であることを利用し、空間（測定空間）における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置が実現されている（例えば、特許文献１参照）。このような距離画像撮像装置では、光パルスを照射した時点から被写体に反射した反射光が戻ってくるまでの遅延時間を、反射光を撮像素子に入射させて反射光の光量に応じた電荷を複数の電荷蓄積部に振り分けて蓄積させることによって求め、遅延時間と光速とを用いて被写体までの距離を計算する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４２３５７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮像素子には光源から被写体に反射して直接入射される光（直接反射光）だけでなく、床面や壁から被写体への反射を経て入射される光（マルチパス反射光）が含まれる。このマルチパス反射光は、床面や壁に反射した後に撮像素子に到達するため光路長が直接反射光より長く、直接反射光より遅れて撮像素子に入射される。そのため、撮像素子にマルチパス反射光が入射することにより、精度よく距離を演算することができなくなる恐れがある。しかも、撮像素子には、直接反射光とマルチパス反射光が混ざり合った光が入射される。このため、電荷蓄積部に蓄積された電荷量から直接反射光の成分のみを抽出することは困難である。特に、距離画像撮像装置から遠く離れた位置にある被写体（遠距離物体）までの距離を測定しようとした場合、光パルスが被写体に照射されるまでに拡散される傾向にあるため、近くにある被写体（近距離物体）までの距離を測定する場合よりマルチパス反射光の影響が大きくなるという問題があった。

【0005】

本発明は、上記の課題に基づいてなされたものであり、マルチパス反射光の影響を抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の距離画像撮像装置は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積するＮ個（Ｎ≧３）の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備え、前記光パルスは、複数のドット光により構成される構造化光であり、前記距離演算部は、直接反射光を受光する第１画素回路にある前記電荷蓄積部に蓄積される第１電荷量から、前記第１画素回路の周辺に位置し前記直接反射光を受光しない第２画素回路にある前記電荷蓄積部に蓄積される電荷量に基づく第２電荷量を減算した値を用いて、前記被写体までの距離を算出する。

【0007】

本発明の距離画像撮像装置では、前記距離演算部は、複数の前記第２画素回路の各々にある前記電荷蓄積部に蓄積される電荷量を用いて前記第２電荷量を算出する。

【0008】

本発明の距離画像撮像装置では、前記距離演算部は、複数の前記第１画素回路にある前記電荷蓄積部に蓄積される電荷量のうち、最も電荷量が多い前記電荷蓄積部を有する前記第１画素回路の位置を基準として、前記基準とした位置から対角方向に１画素以上離れた箇所に位置する前記画素回路を前記第２画素回路として選択する。

【0009】

本発明の距離画像撮像装置では、前記距離演算部は、複数の前記第１画素回路にある前記電荷蓄積部に蓄積される電荷量のうち、最も電荷量が多い前記電荷蓄積部を有する前記第１画素回路の位置を基準として、記基準とした位置から垂直又は水平方向に１画素以上離れた箇所に位置する前記画素回路を前記第２画素回路として選択する。

【0010】

本発明の距離画像撮像装置では、前記距離演算部は、前記第２画素回路が配置されている位置に応じて前記第２画素回路にある前記電荷蓄積部に蓄積される電荷量を重みづけした値を用いて前記第２電荷量を算出する。

【0011】

本発明の距離画像撮像装置では、前記距離演算部は、複数の前記第２画素回路を用いる場合において、隣接する前記画素回路にある前記電荷蓄積部に蓄積される電荷量の差が閾値以上である場合、前記電荷蓄積部に蓄積される電荷量が多い前記画素回路を前記第２画素回路として選択しない。

【0012】

本発明の距離画像撮像方法は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積するＮ個（Ｎ≧３）の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記光パルスは、複数のドット光により構成される構造化光であり、前記距離演算部は、直接反射光を受光する第１画素回路にある前記電荷蓄積部に蓄積される第１電荷量から、前記第１画素回路の周辺に位置し前記直接反射光を受光しない第２画素回路にある前記電荷蓄積部に蓄積される電荷量に基づく第２電荷量を減算した値を用いて、前記被写体までの距離を算出する。

【発明の効果】

【0013】

本発明によれば、マルチパス反射光の影響を抑制することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態の距離画像撮像装置１の概略構成を示すブロック図である。

【図2】実施形態の距離画像センサ３２の概略構成を示すブロック図である。

【図3】実施形態の画素３２１の構成の一例を示す回路図である。

【図4】実施形態の直接反射光ＲＬｄとマルチパス反射光ＲＬｍを説明する図である。

【図5】実施形態の受光領域３２０に受光される光の例を示す図である。

【図6A】実施形態の直接反射光ＲＬｄを受光した画素３２１の例を示す図である。

【図6B】実施形態の直接反射光ＲＬｄを受光しない画素３２１の例を示す図である。

【図7】実施形態の重み付け処理を説明する図である。

【図8A】実施形態の受光領域３２０に受光される光の例を示す図である。

【図8B】図８Ａにおける画素３２１ごとに受光される光量の変化を示す図である。

【図9】実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。

【0016】

図１は、実施形態の距離画像撮像装置の概略構成を示すブロック図である。距離画像撮像装置１は、例えば、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。

【0017】

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。

【0018】

光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。

【0019】

拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。

【0020】

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。

【0021】

レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。

【0022】

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。

【0023】

距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。

【0024】

距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を算出する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。

【0025】

タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分けて蓄積させる処理を繰返す回数である。この蓄積回数と、電荷を振り分けて蓄積させる処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間幅（蓄積時間幅）の積が露光時間となる。

【0026】

距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出する。距離演算部４２は、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。

【0027】

測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの蓄積回数及び蓄積時間幅を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。

【0028】

このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。

【0029】

なお、図１においては、距離画像処理部４を距離画像撮像装置１の内部に備える構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。

【0030】

ここで、図２を用いて、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示すブロック図である。

【0031】

図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。

【0032】

受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。

【0033】

垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分けて蓄積させる。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。

【0034】

画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。

【0035】

水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。

【0036】

以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。

【0037】

ここで、図３を用いて、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示す回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３個の画素信号読み出し部を備えた構成の一例である。

【0038】

画素３２１は、１個の光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３個の画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。

【0039】

なお、図３においては、３個の画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」、または「３」数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３個の画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。

【0040】

図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２～ＲＵ３も同様の構成である。

【0041】

光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。

【0042】

画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３個の電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。

【0043】

距離画像センサ３２に配置される画素の構成は、図３に示したような、３個の画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２個であってもよいし、４個以上であってもよい。

【0044】

また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。

【0045】

また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。

【0046】

図４は、実施形態の直接反射光ＲＬｄとマルチパス反射光ＲＬｍを説明する図である。図４には、距離画像撮像装置１が被写体ＯＢに光パルスＰＯを照射する様子が模式的に示されている。図４に示すように、距離画像撮像装置１に受光される反射はＲＬには、直接反射光ＲＬｄとマルチパス反射光ＲＬｍが含まれる。すなわち、距離画像撮像装置１が照射した光パルスＰＯの一部は被写体ＯＢに反射した反射光が距離画像撮像装置１に到達し、直接反射光ＲＬｄとして受光部３に受光される。一方、距離画像撮像装置１が照射した光パルスＰＯの他の一部は、床などに反射した後に被写体ＯＢに反射した反射光が距離画像撮像装置１に到達し、マルチパス反射光ＲＬｍとして受光部３に受光される。このようなマルチパス反射光ＲＬｍは、直接反射光ＲＬｄより受光部３に受光されるまでの光路が長く、直接反射光ＲＬｄより遅れて受光されるため、正しい距離演算ができなくなるという問題があった。

【0047】

この対策として、本実施形態では光源部２が照射する光源にドット光を用いるようにした。ドット光源は、複数のドット光により構成される構造化光である。ドット光源を用いることにより、被写体ＯＢに対し、均一でない局所的な光パルスＰＯが照射される。

【0048】

図５は実施形態の受光領域３２０に受光される光の例を示す図である。図５に示すように、ドット光源を用いることにより被写体ＯＢにはドット光が照射される領域と照射されない領域が存在し、受光部３の受光領域３２０には被写体ＯＢにおいてドット光が照射された領域から到来する光を受光する画素３２１Ａと、受光しない画素３２１Ｂの二種類の画素３２１が存在する。画素３２１Ａは「第１画素回路」の一例である。画素３２１Ｂは「第２画素回路」の一例である。

【0049】

ドット光源を用いた場合、画素３２１Ａには被写体ＯＢからの反射光が受光される。一方、画素３２１Ｂには被写体ＯＢからの反射光が受光されないとも考えられる。しかしながら、実際には床や壁面等に反射した後に被写体ＯＢに到達した光がマルチパス反射光ＲＬｍとして距離画像撮像装置１に受光され、このようなマルチパス反射光ＲＬｍが距離演算における誤差の要因の一つとなっている。

【0050】

マルチパス反射光ＲＬｍがある場合、ドット光源を用いていることによって画素３２１Ａには被写体ＯＢからの反射光とマルチパス反射光ＲＬｍが混在した光が受光され、画素３２１Ｂにはマルチパス反射光ＲＬｍのみが受光される。本実施形態ではこの性質を利用し、画素３２１Ａが受光した光量から画素３２１Ｂが受光した光量を減算することによってマルチパス反射光ＲＬｍの影響を抑えるようにした。

【0051】

より具体的には、距離演算部４２は、画素３２１Ａの電荷蓄積部ＣＳに蓄積された電荷量に相当する信号値から、画素３２１Ｂの電荷蓄積部ＣＳに蓄積された電荷量に相当する信号値を減算する。距離演算部４２は、減算後の値を用いて処理演算を行う。これにより、マルチパス反射光ＲＬｍを含まない直接反射光ＲＬｄのみに相当する信号を用いて距離演算を行うことができ、マルチパス反射光ＲＬｍの影響を抑えることが可能となる。

【0052】

図６（図６Ａ及び図６Ｂ）は、画素３２１のタイミングチャートが示されている。図６には照射光（光パルスＰＯ）が照射されるタイミング、直接反射光ＲＬｄ及びマルチパス反射光ＲＬｍが受光されるタイミング、及び画素３２１が駆動されるタイミングのそれぞれが示されている。画素３２１が駆動されるタイミングとして、画素３２１における読み出しゲートトランジスタＧ１を駆動させる駆動信号ＴＸ１を「Ｇ１」、読み出しゲートトランジスタＧ２を駆動させる駆動信号ＴＸ２を「Ｇ２」、読み出しゲートトランジスタＧ３を駆動させる駆動信号ＴＸ３を「Ｇ３」、ドレインゲートトランジスタＧＤを駆動させる駆動信号ＲＳＴＤを「ＧＤ」の項目にて示されている。

【0053】

図６には画素３２１Ａを駆動させるタイミングを示すタイミングチャートが示されている。
垂直走査回路３２３は、光パルスＰＯを照射させるタイミングと同じタイミングにて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間幅に相当する時間が経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間幅に相当する時間オン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間幅Ｔａに相当する時間が経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
そして、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。

【0054】

図６Ａに示すように、直接反射光ＲＬｄに対し、マルチパス反射光ＲＬｍは遅れて受光される。画素３２１ＡのゲートトランジスタＧ２がオン状態にされた期間において、直接反射光ＲＬｄ１（直接反射光ＲＬｄの一部）とマルチパス反射光ＲＬｍ１（マルチパス反射光ＲＬｍの一部）が受光され、受光された光量に応じた電荷が電荷蓄積部ＣＳ２に蓄積される。また、画素３２１ＡのゲートトランジスタＧ３がオン状態にされた期間において、直接反射光ＲＬｄ２（直接反射光ＲＬｄ２における残りの一部）とマルチパス反射光ＲＬｍ２（マルチパス反射光ＲＬｍにおける残りの一部）が受光され、受光された光量に応じた電荷が電荷蓄積部ＣＳ３に蓄積される。すなわち、直接反射光ＲＬｄ及びマルチパス反射光ＲＬｍが混在した光量に応じた電荷が、画素３２１Ａの電荷蓄積部ＣＳ２及びＣＳ３に振り分けられて蓄積される。

【0055】

図６Ｂに示すように、画素３２１Ｂには直接反射光ＲＬｄが受光されず、マルチパス反射光ＲＬｍのみが受光される。画素３２１ＢのゲートトランジスタＧ２がオン状態にされた期間において、マルチパス反射光ＲＬｍ１が受光され、受光された光量に応じた電荷が電荷蓄積部ＣＳ２に蓄積される。また、画素３２１ＢのゲートトランジスタＧ３がオン状態にされた期間において、マルチパス反射光ＲＬｍ２が受光され、受光された光量に応じた電荷が電荷蓄積部ＣＳ３に蓄積される。すなわち、マルチパス反射光ＲＬｍの光量に応じた電荷が、画素３２１Ｂの電荷蓄積部ＣＳ２及びＣＳ３に振り分けられて蓄積される。

【0056】

垂直走査回路３２３は、上述したような蓄積サイクルを所定の蓄積回数分繰り返し行う。垂直走査回路３２３は蓄積サイクルを所定の蓄積回数分繰り返し行った後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子Ｏ２、Ｏ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に相当する電圧信号が信号値として距離画像処理部４に出力される。

【0057】

距離画像処理部４の距離演算部４２は、垂直走査回路３２３から出力された信号値に基づいて、被写体ＯＢまでの距離を算出する。距離演算部４２は、反射光ＲＬに相当する電荷が振り分けて蓄積された複数の電荷蓄積部ＣＳを特定し、特定した複数の電荷蓄積部ＣＳに振り分けられた電荷量の配分（振り分け比率）に基づいて、被写体ＯＢまでの距離を算出する。

【0058】

距離演算部４２は、以下の（１）式を用いて、マルチパス反射光ＲＬｍの影響を取り除いた電荷量Ｑ２を算出する。また、（２）式を用いて、マルチパス反射光ＲＬｍの影響を取り除いた電荷量Ｑ３を算出する。

【0059】

Ｑ２＝Ｑ２Ａ－Ｑ２Ｂ …（１）
但し、Ｑ２は直接反射光ＲＬｄが振り分けられて電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ２Ａは画素３２１Ａの電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ２Ｂは画素３２１Ｂの電荷蓄積部ＣＳ２に蓄積された電荷量

【0060】

Ｑ３＝Ｑ３Ａ－Ｑ３Ｂ …（２）
但し、Ｑ３は直接反射光ＲＬｄが振り分けられて電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ３Ａは画素３２１Ａの電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ３Ｂは画素３２１Ｂの電荷蓄積部ＣＳ３に蓄積された電荷量

【0061】

距離演算部４２は、以下の（３）式により、遅延時間Ｔｄを算出する。

【0062】

Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１） …（３）
Ｑ１は画素３２１Ａ又は画素３２１Ｂの電荷蓄積部ＣＳ１に蓄積された電荷量である。
Ｑ２は（１）式により求めた電荷量である。
Ｑ３は（２）式により求めた電荷量である。

【0063】

距離演算部４２は、（３）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。

【0064】

以上説明したように、本実施形態では、（１）式及び（２）式により電荷蓄積部ＣＳ２及びＣＳ３に蓄積された電荷量からマルチパス反射光ＲＬｍに応じた電荷量を除いた電荷量、すなわち直接反射光ＲＬｄに応じた電荷量を算出することができる。したがって、マルチパス反射光ＲＬｍの影響を抑えて、精度よく距離を算出することが可能となる。

【0065】

ここで、受光領域３２０にある画素３２１のうち、何れの画素３２１を画素３２１Ａとし、何れの画素を画素３２１Ｂとするかは、画素３２１が配置された位置に応じて決定される。図２に示すように、受光領域３２０において画素３２１が二次元マトリクス状に複数配置される。例えば、距離演算部４２は、ドット光源におけるドットパターン及びドットの形状に応じて、受光領域３２０に配置された画素３２１を、ドット光に応じた直接反射光ＲＬｄを受光する画素３２１と、受光しない画素３２１に予め分類する。距離演算部４２は、ドット光に応じた直接反射光ＲＬｄを受光する画素３２１を、画素３２１Ａとする。画素３２１Ａの周辺に位置する画素３２１を、画素３２１Ｂとして用いる画素３２１とする。

【0066】

距離演算部４２は、複数の画素３２１を、画素３２１Ｂとして用いてもよい。この場合、距離演算部４２は、画素３２１Ａの周辺に位置する複数の画素３２１のそれぞれに蓄積された電荷量から得られる統計量、例えば、単純加算平均値、或いは中央値などを用いて、（１）式における電荷量Ｑ２Ｂ、及び（２）式における電荷量Ｑ３Ｂを算出する。複数の画素３２１それぞれに蓄積された電荷量から得られる統計量を用いることにより、画素３２１に蓄積されるノイズの影響を低減させることができる。

【0067】

また、距離演算部４２は、最も電荷量が多い電荷蓄積部ＣＳを有する画素３２１Ａの位置を基準として、その基準とした位置から対角方向に１画素以上離れた箇所に位置する画素３２１を、画素３２１Ｂとして選択する。ドット光の大きさ及び形状にもよるが、通常、ドット光に応じた直接反射光ＲＬｄは複数の画素３２１にまたがって受光される。この性質を利用し、ドット光に応じた直接反射光ＲＬｄを受光する複数の画素３２１のうち最も大きい光量に応じた電荷を蓄積した画素３２１が配置された位置を基準として設定する。例えば、距離演算部４２は、基準とした位置から、対角方向に、所定の画素数（例えば、１画素）離れた位置に配置された画素３２１を、画素３２１Ｂとして設定する。ドット光の形状は円形状となる場合が多い。対角方向に離れた位置に配置された画素３２１を画素３２１Ｂとして選択することにより、基準とする位置にもっと近い位置にある画素３２１であって、直接反射光ＲＬｄを受光しない画素３２１を、画素３２１Ｂとして選択することができる。なお、基準とする画素３２１が配置された位置から、対角方向に何画素以上離れた箇所に位置する画素３２１を選択するかについては、ドット光の大きさに応じて決定されてよい。

【0068】

或いは、距離演算部４２は、水平方向、又は垂直方向に、１画素以上離れた箇所に位置する画素３２１を、画素３２１Ｂとして選択するようにしてもよい。つまり、距離演算部４２は、最も電荷量が多い電荷蓄積部ＣＳを有する画素３２１Ａの位置を基準として、その基準とした位置から水平方向、又は垂直方向に、１画素以上離れた箇所に位置する画素３２１を、画素３２１Ｂとして選択するようにしてもよい。ドット光の形状が方形状であるなど、円形状でない場合であっても、水平方向又は垂直方向に離れた位置に配置された画素３２１を画素３２１Ｂとして選択することにより、基準とする位置にもっと近い位置にある画素３２１であって、直接反射光ＲＬｄを受光しない画素３２１を、画素３２１Ｂとして選択することができる。

【0069】

また、距離演算部４２は、画素３２１Ｂにある電荷蓄積部ＣＳに蓄積された電荷量（電荷量Ｑ２Ｂ、Ｑ３Ｂ）を、その画素３２１が配置された位置に応じて重みづけし、重みづけをした電荷量を距離演算に用いるようにしてもよい。例えば、受光領域３２０において下側に配置された画素３２１は、床に反射した後に到来するマルチパスの影響を大きく受けていることが予想される。このように、受光領域３２０において配置された位置に応じてマルチパスの影響を受ける度合が異なる場合において、位置に応じた重みづけを行うことによってマルチパスの影響を均一化することが可能となる。

【0070】

図７は実施形態の重み付け処理を説明する図である。図７に示すように、受光領域３２０において、下側にあるグループＧｒに属する画素３２１群が配置され、基準とした画素３２１－０が配置された位置から対角方向にある４つの画素３２１、つまり画素３２１－１～３２１－４を、画素３２１Ｂとして用いるとする。

【0071】

この場合において、グループＧｒに属する画素３２１のうち、上側にある画素３２１－１及び３２１－２よりも、下側にある画素３２１－３及び３２１－４が、マルチパスの影響をより大きく受けていることが予想される。このような場合、距離演算部４２は、例えば、以下の（４）式を用いて重みづけを行うことにより電荷量Ｑ２Ｂを算出する。また、以下の（５）式を用いて重みづけを行うことにより電荷量Ｑ３Ｂを算出する。

【0072】

Ｑ２Ｂ＝Ｑ２Ｂ１×α１
＋Ｑ２Ｂ２×α２
＋Ｑ２Ｂ３×α３
＋Ｑ２Ｂ４×α４ …（４）
但し、Ｑ２Ｂは重みづけにより求めた電荷蓄積部ＣＳ２に蓄積された電荷量である。
Ｑ２Ｂ１は画素３２１－１の電荷蓄積部ＣＳ２に蓄積された電荷量である。
Ｑ２Ｂ２は画素３２１－２の電荷蓄積部ＣＳ２に蓄積された電荷量である。
Ｑ２Ｂ３は画素３２１－３の電荷蓄積部ＣＳ２に蓄積された電荷量である。
Ｑ２Ｂ４は画素３２１－４の電荷蓄積部ＣＳ２に蓄積された電荷量である。
α１は電荷量Ｑ２Ｂ１に乗算される重み係数である。
α２は電荷量Ｑ２Ｂ２に乗算される重み係数である。
α３は電荷量Ｑ２Ｂ３に乗算される重み係数である。
α４は電荷量Ｑ２Ｂ４に乗算される重み係数である。

【0073】

ここで、係数α（係数α１～α４）の合計は、特定の値（例えば、１）となるように設定される。また、上側にある画素３２１に乗算される係数（係数α１及びα２）は、下側にある画素３２１に乗算される係数（係数α３及びα４）よりも小さい値に設定される。例えば、係数α１＝１／８、係数α２＝１／８、係数α３＝３／８、係数α４＝３／８に設定される。

【0074】

Ｑ３Ｂ＝Ｑ３Ｂ１×β１
＋Ｑ３Ｂ２×β２
＋Ｑ３Ｂ３×β３
＋Ｑ３Ｂ４×β４ …（５）
但し、Ｑ３Ｂは重みづけにより求めた電荷蓄積部ＣＳ３に蓄積された電荷量である。
Ｑ３Ｂ１は画素３２１－１の電荷蓄積部ＣＳ３に蓄積された電荷量である。
Ｑ３Ｂ２は画素３２１－２の電荷蓄積部ＣＳ３に蓄積された電荷量である。
Ｑ３Ｂ３は画素３２１－３の電荷蓄積部ＣＳ３に蓄積された電荷量である。
Ｑ３Ｂ４は画素３２１－４の電荷蓄積部ＣＳ３に蓄積された電荷量である。
β１は電荷量Ｑ２Ｂ１に乗算される重み係数である。
β２は電荷量Ｑ２Ｂ２に乗算される重み係数である。
β３は電荷量Ｑ２Ｂ３に乗算される重み係数である。
β４は電荷量Ｑ２Ｂ４に乗算される重み係数である。

【0075】

ここで、係数β（β１～β４）は係数αと同じ値であってもよいし、異なる値であってもよい。係数βの合計は、特定の値（例えば、１）となるように設定される。また、下側にある画素３２１に乗算される係数（係数β１及びβ２）は、下側にある画素３２１に乗算される係数（係数β３及びβ４）よりも小さい値に設定される。例えば、係数β１＝１／８、係数β２＝１／８、係数β３＝３／８、係数β４＝３／８に設定される。

【0076】

以上説明したように、実施形態の距離演算部４２では、複数の画素３２１Ｂ（画素３２１－１～３２１－４）を用いる場合において、それぞれの画素３２１Ｂ（画素３２１－１～３２１－４）が配置された位置に応じて、それぞれの画素３２１Ｂ（画素３２１－１～３２１－４）にある電荷蓄積部ＣＳに蓄積される電荷量を、式（４）及び式（５）を用いて重みづけする。距離演算部４２は、重みづけをした値を用いて電荷量Ｑ２Ｂ、及びＱ３Ｂを算出する。これにより、実施形態の距離演算部４２では、配置された位置に応じて画素３２１がマルチパスの影響を受ける度合が異なる場合であってもマルチパスの影響を均一化することが可能となる。

【0077】

ここで、受光領域３２０において、本来、ドット光に応じた直接反射光ＲＬｄを受光しないはずなのに、マルチパス反射光ＲＬｍよりもより多くの光量を受光する画素３２１が検出される現象が発生する場合がある。これは、本来、拡散された反射光ＲＬに由来するマルチパスが大多数を占めるはずのマルチパス反射光ＲＬｍの中に、ドット光に応じた直接反射光ＲＬｄに由来するマルチパスが混入したためと推測される。このような現象は、例えば鏡面反射をする床があるなどの理由で発生することが考えられる。

【0078】

図８（図８Ａ及び図８Ｂ）を用いて、直接反射光ＲＬｄに由来するマルチパスが混入する現象について説明する。図８Ａには受光領域３２０に受光される光の例が示されている。図８Ａに示すように、受光領域３２０における画素３２１Ｂ＃において、本来、ドット光に応じた直接反射光ＲＬｄが受光されないはずなのに、ドット光に応じた直接反射光ＲＬｄに由来するマルチパスが受光される場合がある。

【0079】

図８Ｂには、図８Ａにおける点線Ｌに示す列に配置された画素３２１ごとに受光される光量の変化を示す図である。図８Ｂの横軸は画素３２１、縦軸は光量を示す。図８Ｂに示すように、列の左端にある画素３２１Ｂ－Ｌｓから、列に沿って右方向に配置された５個の画素群Ｘ、６個目～１０個目の画素群Ｙ、１１個目から列の右端にある画素３２１Ｂ－Ｌｅまでの画素群Ｚのそれぞれにおいて蓄積された電荷量に大きな差が生じている。

【0080】

具体的に、画素群Ｘ及び画素群Ｚにある電荷蓄積部ＣＳに蓄積された電荷量はほぼ同量でありほとんど差がない。例えば、画素３２１Ｂ－Ｌ１と、その画素３２１Ｂ－Ｌ１に隣接する画素３２１Ｂ－Ｌ２のそれぞれに蓄積される電荷量の差Ｄ１は画素３２１Ｂ－Ｌ１に対して±１％以下の値となる。

【0081】

これに対し、画素群Ｙにある電荷蓄積部ＣＳに蓄積された電荷量は、画素群Ｘ及び画素群Ｚと比較して大きな値となっている。例えば、画素３２１Ｂ－Ｌ３と、その画素３２１Ｂ－Ｌ３に隣接する画素３２１Ｂ－Ｌ４のそれぞれに蓄積される電荷量の差Ｄ２は画素３２１Ｂ－Ｌ３に対して＋３％以上の値となる。これは、画素群Ｙが、直接反射光ＲＬｄに由来するマルチパスを受光したことに起因するものと考えられる。

【0082】

このような直接反射光ＲＬｄに由来するマルチパスは、本来想定されるマルチパス反射光ＲＬｍと同様に直接反射光ＲＬｄより遅れて受光され、かつ、図８Ｂに示すように、本来想定されるマルチパス反射光ＲＬｍよりも大きな光量である。このため、距離演算において大きな誤差を発生させる要因となり得る。

【0083】

この対策として、本実施形態では、直接反射光ＲＬｄに由来するマルチパスを受光した画素３２１を、画素３２１Ｂとして用いないようにする。具体的に、距離演算部４２は、隣接する複数の画素３２１Ｂのうち、電荷蓄積部ＣＳに蓄積される電荷量が、他の画素３２１よりも大きいものを、画素３２１Ｂとして用いないようにする。

【0084】

具体的に、距離演算部４２は、画素３２１Ｂとして用いる位置に配置される画素群について隣接する画素群ごと、例えば、列単位に、電荷蓄積部ＣＳに蓄積された電荷量のそれぞれに応じた信号値を取得する。距離演算部４２は、取得した信号値に応じて、画素群に含まれる画素３２１を、画素３２１Ｂとして用いるか否かを判定する。例えば、距離演算部４２は、取得した信号値を用いて、電荷蓄積部ＣＳ毎に、蓄積された電荷量の平均値（単純加算平均値）を算出する。距離演算部４２は、算出した平均値に基づいて、閾値、例えば、測定誤差として許容される最大のマージンである平均値の３％を、平均値に加算した値を設定する。距離演算部４２は、信号値を取得した画素群のうち、画素３２１にある電荷蓄積部ＣＳに蓄積された電荷量が閾値以上であるものを、画素３２１Ｂとして選択しない。つまり、距離演算部４２は、信号値を取得した画素群のうち、画素３２１にある電荷蓄積部ＣＳに蓄積された電荷量が閾値未満であるものを、画素３２１Ｂとして選択する。

【0085】

これにより、実施形態の距離画像撮像装置１では、直接反射光ＲＬｄに由来するマルチパスを受光した画素３２１を、画素３２１Ｂから除外することができる。したがって、鏡面反射をする床があるなど、直接反射光ＲＬｄに由来するマルチパスが発生するような状況にあっても、本来想定していたマルチパス反射光ＲＬｍを精度よく除外することができ、距離を精度よく算出することが可能となる。

【0086】

ここで、図９を用いて、距離画像撮像装置１が行う処理の流れを説明する。図９は、実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。

【0087】

ステップＳ１０：距離画像撮像装置１は画素３２１を駆動させる。例えば、距離画像撮像装置１は、反射光ＲＬを画素３２１にある複数の電荷蓄積部ＣＳ（図６における電荷蓄積部ＣＳ２及びＣＳ３）に振り分けて蓄積させる処理を、１フレームに相当する蓄積回数行うことにより、画素３２１を駆動させる。

【0088】

ステップＳ１１：距離画像撮像装置１は、画素３２１Ａ（画素Ａ）にある電荷蓄積部ＣＳに蓄積された電荷量（電荷量ＱＡ）に相当する信号値ＶＡを取得する。距離画像撮像装置１は、ステップＳ１において画素３２１を駆動した後に設定されている読出期間において、画素３２１Ａにある電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に対応する信号値が読み出すことにより信号値ＶＡを取得する。より具体的には距離画像撮像装置１は、画素３２１Ａにある電荷蓄積部ＣＳ１に蓄積された電荷量（電荷量ＱＡ１）に相当する信号値ＶＡ１を取得する。距離画像撮像装置１は、画素３２１Ａにある電荷蓄積部ＣＳ２に蓄積された電荷量（電荷量ＱＡ２）に相当する信号値ＶＡ２を取得する。距離画像撮像装置１は、画素３２１Ａにある電荷蓄積部ＣＳ３に蓄積された電荷量（電荷量ＱＡ３）に相当する信号値ＶＡ３を取得する。

【0089】

ステップＳ１２：距離画像撮像装置１は、画素３２１Ｂ（画素Ｂ）にある電荷蓄積部ＣＳに蓄積された電荷量（電荷量ＱＢ）に相当する信号値ＶＢを取得する。距離画像撮像装置１は、ステップＳ１において画素３２１を駆動した後に設定されている読出期間において、画素３２１Ｂにある電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に対応する信号値が読み出すことにより信号値ＶＡを取得する。より具体的には距離画像撮像装置１は、画素３２１Ｂにある電荷蓄積部ＣＳ１に蓄積された電荷量（電荷量ＱＢ１）に相当する信号値ＶＢ１を取得する。距離画像撮像装置１は、画素３２１Ｂにある電荷蓄積部ＣＳ２に蓄積された電荷量（電荷量ＱＢ２）に相当する信号値ＶＢ２を取得する。距離画像撮像装置１は、画素３２１Ｂにある電荷蓄積部ＣＳ３に蓄積された電荷量（電荷量ＱＢ３）に相当する信号値ＶＢ３を取得する。

【0090】

ステップＳ１３：距離画像撮像装置１は、信号値ＶＡから信号値ＶＢを減算した信号値Ｖを算出する。より具体的には距離画像撮像装置１は、信号値ＶＡ２から信号値ＶＢ２を減算した信号値Ｖ２を算出する。距離画像撮像装置１は、信号値ＶＡ３から信号値ＶＢ３を減算した信号値Ｖ３を算出する。

【0091】

ステップＳ１４：距離画像撮像装置１は、ステップＳ１３において算出した信号値Ｖ（信号値ＶＡ２及びＶ３）を用いて距離を算出する。例えば、距離画像撮像装置１は、（３）式を用いて距離を算出する。この場合、（３）式における電荷量Ｑに信号値Ｖを代入する。具体的には、（３）式における電荷量Ｑ１に信号値Ｖ１を代入する。信号値Ｖ１は画素３２１（画素３２１Ａでも３２１Ｂでもよい）にある電荷蓄積部ＣＳ１に蓄積された電荷量に対応する信号値である。また、（３）式における電荷量Ｑ２に信号値Ｖ２を代入する。（３）式における電荷量Ｑ３に信号値Ｖ３を代入する。距離画像撮像装置１は測定処理を終了させる。

【0092】

以上説明したように、実施形態の距離画像撮像装置１では、画素３２１は二次元マトリクス状に複数配置される。また、光パルスＰＯは、複数のドット光により構成される構造化光である。距離演算部４２は、電荷量ＱＡ（第１電荷量）から、電荷量ＱＢを減算した値を用いて、被写体ＯＢまでの距離を算出する。電荷量ＱＡは、直接反射光ＲＬｄを受光する画素３２１Ａ（第１画素回路）にある電荷蓄積部ＣＳのそれぞれに蓄積される電荷量である。電荷量ＱＢは、直接反射光ＲＬｄを受光しない画素３２１Ｂ（第２画素回路）にある電荷蓄積部ＣＳのそれぞれに蓄積される電荷量である。
これにより、実施形態の距離画像撮像装置１では、直接反射光ＲＬｄとマルチパス反射光ＲＬｍが混在した光量から、マルチパス反射光ＲＬｍに相当する光量を取り除くことができる。したがって、誤差の要因となるマルチパス反射光ＲＬｍの影響を抑制することができ、距離を精度よく算出することが可能となる。

【0093】

また、実施形態の距離画像撮像装置１では、複数の画素３２１Ｂ（第２画素回路）を用いて電荷量ＱＢ（第２電荷量）を算出するようにしてもよい。複数の画素３２１Ｂを用いることにより、電荷に含まれるノイズや受光量のばらつきを低減させることができる。

【0094】

また、実施形態の距離画像撮像装置１では、距離演算部４２は、基準とした位置から対角方向に１画素以上離れた箇所に位置する画素３２１（画素回路）を画素３２１Ｂ（第２画素回路）として選択するようにしてもよい。
また、実施形態の距離画像撮像装置１では、距離演算部４２は、基準とした位置から水平方向又は垂直方向に１画素以上離れた箇所に位置する画素３２１（画素回路）を画素３２１Ｂ（第２画素回路）として選択するようにしてもよい。
ここでの基準とした位置は、複数の画素３２１Ａ（第１画素回路）にある電荷蓄積部ＣＳの各々に蓄積される電荷量のうち、最も電荷量が多い電荷蓄積部ＣＳを有する画素３２１Ａ（第１画素回路）の位置である。
これにより、実施形態の距離画像撮像装置１では、画素３２１Ａが配置された位置に近い画素３２１を、画素３２１Ｂとして用いることができる。つまり、マルチパス反射光ＲＬｍの光量が同等であることが推定される画素３２１（画素３２１Ａ及び３２１Ｂ）を用いることができる。したがって、精度よくマルチパス反射光ＲＬｍの影響を排除することができ、距離を精度よく算出することが可能となる。

【0095】

また、実施形態の距離画像撮像装置１では、距離演算部４２は、画素３２１Ｂ（第２画素回路）が配置されている位置に応じて、画素３２１Ｂ（第２画素回路）にある電荷蓄積部ＣＳに蓄積される電荷量を重みづけした値を用いて、電荷量ＱＢ（第２電荷量）を算出する。これにより、実施形態の距離画像撮像装置１では、受光領域３２０における画素３２１が配置された位置に応じて光量が異なるマルチパス反射光ＲＬｍが受光される場合であっても、マルチパス反射光ＲＬｍの光量を均一化することが可能となる。したがって、例えば、床を経由したマルチパス反射光ＲＬｍ等によって、受光領域３２０の下側にある画素３２１（図７における画素３２１－３及び３２１－４）が、上側にある画素３２１（図７における画素３２１－１及び３２１－２）と比較してマルチパス反射光ＲＬｍの影響を大きく受けるような状況にあっても、その影響のばらつきを抑えることができる。

【0096】

また、実施形態の距離画像撮像装置１では、距離演算部４２は、複数の前記第２画素回路を用いる場合において、隣接する画素３２１にある電荷蓄積部ＣＳに蓄積される電荷量の差が閾値以上である場合、これらの隣接する画素３２１のうち電荷蓄積部ＣＳに蓄積される電荷量が多い画素３２１を、画素３２１Ｂ（第２画素回路）として選択しない。これにより、実施形態の距離画像撮像装置１では、本来想定したマルチパス反射光ＲＬｍとは異なるマルチパスを受光した画素３２１、例えば、図８Ａに示す画素３２１Ｂ＃が含まれる場合であっても、その本来想定したマルチパス反射光ＲＬｍとは異なるマルチパスの影響を受けないようにすることができる。したがって、本来想定したマルチパス反射光ＲＬｍとは異なるマルチパスを受光した場合であっても精度よく距離を算出することが可能となる。

【0097】

上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0098】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0099】

１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素（画素回路）
３２１Ａ…画素（第１画素回路）
３２１Ｂ…画素（第２画素回路）
４２…距離演算部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
ＲＬ…反射光
ＲＬｄ…直接反射光
ＲＬｍ…マルチパス反射光

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】