特開 2022-162392 距離画像撮像装置、及び距離画像撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022162392

(43)【公開日】2022-10-24

(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法

(51)【国際特許分類】

   G01S 7/497 20060101AFI20221017BHJP

   H04N 5/3745 20110101ALI20221017BHJP

   G01C 3/06 20060101ALI20221017BHJP

   G01S 17/08 20060101ALI20221017BHJP

【ＦＩ】

G01S7/497

H04N5/3745

G01C3/06 120Q

G01S17/08

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2021067216

(22)【出願日】2021-04-12

(71)【出願人】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】畠山 邦広

(72)【発明者】

【氏名】中込 友洋

(72)【発明者】

【氏名】高橋 聡

【テーマコード（参考）】

2F112

5C024

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA06

2F112CA12

2F112DA25

2F112DA28

2F112EA05

2F112FA03

2F112FA07

2F112FA21

2F112FA23

2F112FA45

5C024AX07

5C024CY17

5C024EX13

5C024GX02

5C024GX16

5C024GX18

5C024GY39

5C024GY41

5J084AA05

5J084AD01

5J084BA04

5J084BA40

5J084BA50

5J084BB01

5J084CA03

5J084CA04

5J084EA11

(57)【要約】

【課題】ＴｏＦ距離に対する距離ずれが不規則となる場合であっても、計算時間を増大させることなくＴｏＦ距離を補正することができる距離画像撮像装置、及び距離画像撮像方法を提供する。
【解決手段】光源部と、光電変換素子及び三つ以上の電荷蓄積部を具備する画素と、前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、電荷蓄積部のそれぞれに蓄積された電荷量を用いて、前記被写体までの測定距離を決定する距離画像処理部と、第１補正関数群と第２補正関数群を記憶する記憶部と、を備え、前記第１補正関数群は、前記ＴｏＦ距離と実際の距離との関係が線形となる線形領域に適用される補正関数の集合であり、前記第２補正関数群は、前記第１補正関数群よりも次数が大きい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が非線形となる非線形領域に適用される補正関数の集合である。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体が存在する測定空間に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、
前記光パルスの反射光に応じた電荷の振り分け比率を用いて算出されるＴｏＦ距離を補正する補正関数であって、前記ＴｏＦ距離が含まれる領域に応じて適用される少なくとも２つの第１補正関数群と第２補正関数群を記憶する記憶部と、
を備え、
前記第１補正関数群は、前記第２補正関数群よりも次数が小さい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が線形となる線形領域に適用される補正関数の集合であり、
前記第２補正関数群は、前記第１補正関数群よりも次数が大きい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が非線形となる非線形領域に適用される補正関数の集合であり、
前記距離画像処理部は、前記反射光に応じた電荷の振り分け値に基づいて、前記第１補正関数群又は前記第２補正関数群のいずれかに含まれる関数を、前記算出した前記ＴｏＦ距離に適用する補正関数として選択し、前記選択した補正関数を用いて補正した前記ＴｏＦ距離を、前記測定距離とする、
距離画像撮像装置。

【請求項2】

前記光電変換素子によって発生された電荷を排出する電荷排出部を更に備え、
前記光源部は、光パルスを断続的に照射し、
前記距離画像処理部は、１フレームの期間において、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を複数回繰り返すことによって前記電荷蓄積部のそれぞれに電荷を蓄積させ、前記単位蓄積処理において、前記電荷蓄積部のそれぞれに電荷を蓄積させる時間区間とは異なる時間区間では、前記電荷排出部によって前記光電変換素子によって発生された電荷が排出されるように制御する、
請求項１に記載の距離画像撮像装置。

【請求項3】

被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、前記光パルスの反射光に応じた電荷の振り分け比率を用いて算出されるＴｏＦ距離を入力変数として前記測定距離を算出する補正関数であって、前記ＴｏＦ距離が含まれる領域に応じて適用される少なくとも２つの第１補正関数群と第２補正関数群を記憶する記憶部と、を備える距離画像撮像装置による距離画像撮像方法であって、
前記第１補正関数群は、前記第２補正関数群よりも次数が小さい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が線形となる線形領域に適用される補正関数の集合であり、
前記第２補正関数群は、前記第１補正関数群よりも次数が大きい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が非線形となる非線形領域に適用される補正関数の集合であり、
前記距離画像処理部は、前記反射光に応じた電荷の振り分け値に基づいて、前記第１補正関数群又は前記第２補正関数群のいずれかに含まれる関数を、前記算出した前記ＴｏＦ距離に適用する補正関数として選択し、前記選択した補正関数を用いて補正した前記ＴｏＦ距離を、前記測定距離とする、
距離画像撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。

【背景技術】

【0002】

従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下、ＴｏＦという）と呼ばれる。ＴｏＦでは、光の速度が既知であることを利用し、物体に近赤外領域の光パルスを照射する。そして、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を受光した時刻との時間差を測定する。この時間差に基づいて物体との距離を算出する。フォトダイオード（光電変換素子）を用いて距離を測定するための光を検出する測距センサ（ＴｏＦセンサ）が実用化されている。

【0003】

そして、近年では、物体との距離のみではなく、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得ることができる測距センサが実用化されている。このような測距センサは、距離画像撮像装置ともいわれている。距離画像撮像装置では、フォトダイオードを含む画素がシリコン基板に二次元の行列状に複数配置され、この画素面で物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量（電荷）に基づいた光電変換信号を１つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得ることができる。例えば、特許文献１には、１つの画素に３つの電荷蓄積部が設けられ、順番に電荷を振り分けて距離を計算する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４２３５７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＴｏＦセンサにおいては、ＣＷ（Continuous Wave）法、及びＳＰ（Short Pulse）法の計算式を用いた距離（以下、ＴｏＦ距離という）を算出する。ＣＷ法はパルスを連続的に照射する方式である。ＳＰ法はパルスを断続的に照射する方式である。計算式は、反射光に応じた電荷の振り分け比率が、光パルスの照射時刻から反射光の受光時刻までの時間差と比例する関係にあることを利用して距離を算出する計算式である（下記の（１）式を参照）。

【0006】

一般的に、このような計算式を用いて算出されるＴｏＦ距離は、電荷転送の遅延や光源およびゲートパルス波形のなまりなどの要因によって、実際の距離（実距離）に対してずれ（距離ずれ）があることが知られている。また、ＴｏＦにおける距離ずれに関して、実距離に対して線形にずれる場合と非線形にずれる場合があることが知られている。特にＳＰ法では、電荷転送ゲートを順次開閉する蓄積期間の前後でドレインゲートをＯＮとする期間を設けており、転送ゲートとドレインゲートの開閉境界のタイミングで、信号が不連続に消失する。このため、非線形な距離ずれが表れやすい。そのような距離ずれを抑制する手法として、ＴｏＦ距離に対する距離ずれを、多項式で表される補正式を用いて補正する技術がある。

【0007】

しかしながら、距離ずれを１つの多項式で補正しようとした場合に問題が生じていた。具体的には、ＴｏＦ距離に対して距離ずれが一定でない不規則な領域があると、補正式に、高次（例えば、６次など）の多項式を用いなければならず、計算が複雑になって計算時間が増大するという問題があった。また、距離ずれが一定である領域に高次の多項式を用いて補正すると、補正値の振動等によって、かえって誤差が大きくなる場合もあった。一方、補正式に、低次（例えば、１次など）の関数を適用した場合、距離ずれが不規則な領域を補正しきれないため精度よく補正することができない、という問題があった。

【0008】

本発明は、上記の課題に基づいてなされたものであり、ＴｏＦ距離に対する距離ずれが不規則となる場合であっても、計算時間を増大させることなく、かつ、補正式に依存する補正誤差を抑制してＴｏＦ距離を補正することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の距離画像撮像装置は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、前記光パルスの反射光に応じた電荷の振り分け比率を用いて算出されるＴｏＦ距離を補正する補正関数であって、前記ＴｏＦ距離が含まれる領域に応じて適用される少なくとも２つの第１補正関数群と第２補正関数群を記憶する記憶部と、を備え、前記第１補正関数群は、前記第２補正関数群よりも次数が小さい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が線形となる線形領域に適用される補正関数の集合であり、前記第２補正関数群は、前記第１補正関数群よりも次数が大きい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が非線形となる非線形領域に適用される補正関数の集合であり、前記距離画像処理部は、前記反射光に応じた電荷の振り分け値に基づいて、前記第１補正関数群又は前記第２補正関数群のいずれかに含まれる関数を、前記算出した前記ＴｏＦ距離に適用する補正関数として選択し、前記選択した補正関数を用いて補正した前記ＴｏＦ距離を、前記測定距離とする。

【0010】

本発明の距離画像撮像装置では、前記光電変換素子によって発生された電荷を排出する電荷排出部を更に備え、前記光源部は、光パルスを断続的に照射し、前記距離画像処理部は、１フレームの期間において、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を複数回繰り返すことによって前記電荷蓄積部のそれぞれに電荷を蓄積させ、前記単位蓄積処理において、前記電荷蓄積部のそれぞれに電荷を蓄積させる時間区間とは異なる時間区間では、前記電荷排出部によって前記光電変換素子によって発生された電荷が排出されるように制御する。

【0011】

本発明の距離画像撮像方法は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、前記光パルスの反射光に応じた電荷の振り分け比率を用いて算出されるＴｏＦ距離を入力変数として前記測定距離を算出する補正関数であって、前記ＴｏＦ距離が含まれる領域に応じて適用される少なくとも２つの第１補正関数群と第２補正関数群を記憶する記憶部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記第１補正関数群は、前記第２補正関数群よりも次数が小さい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が線形となる線形領域に適用される補正関数の集合であり、前記第２補正関数群は、前記第１補正関数よりも次数が大きい補正関数の集合であって、前記ＴｏＦ距離と実際の距離との関係が非線形となる非線形領域に適用される補正関数の集合であり、前記距離画像処理部は、前記反射光に応じた電荷の振り分け値に基づいて、前記第１補正関数群又は前記第２補正関数群のいずれかに含まれる関数を、前記算出した前記ＴｏＦ距離に適用する補正関数として選択し、前記選択した補正関数を用いて補正した前記ＴｏＦ距離を、前記測定距離とする。

【発明の効果】

【0012】

本発明によれば、ＴｏＦ距離に対する距離ずれが不規則となる場合であっても、精度よくＴｏＦ距離を補正することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態の距離画像撮像装置１の概略構成を示したブロック図である。

【図2】実施形態の距離画像センサ３２の概略構成を示したブロック図である。

【図3】実施形態の画素３２１の構成の一例を示した回路図である。

【図4】実施形態の画素３２１を駆動するタイミングの例を示すタイミングチャートである。

【図5】実施形態の実距離とＴｏＦ距離との関係の例を示す図である。

【図6】実施形態のＴｏＦ距離と距離ずれとの関係の例を示す図である。

【図7】実施形態の補正情報４４０の構成の例を示す図である。

【図8】実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。

【0015】

＜実施形態＞
まず、実施形態について説明する。図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。

【0016】

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。

【0017】

光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。

【0018】

拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。

【0019】

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。

【0020】

レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。

【0021】

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。

【0022】

距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。

【0023】

距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３と、記憶部４４とを備える。なお、距離画像処理部４の機能部（タイミング制御部４１、距離演算部４２、測定制御部４３、及び記憶部４４）の一部が、距離画像センサ３２に組み込まれていてもよい。

【0024】

タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの振り分け回数（蓄積回数）を制御する信号などである。振り分け回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分ける処理を繰返す回数である。

【0025】

距離演算部４２は、距離画像センサ３２から出力された画素信号と、後述する（１）式を用いてＴｏＦ距離を算出する。距離演算部４２は、算出したＴｏＦ距離を、補正情報４４０を用いて補正し、補正したＴｏＦ距離を、被写体ＯＢまでの距離（測定距離）とする。補正情報４４０、及び、距離演算部４２が補正情報４４０を用いてＴｏＦ距離を補正する方法については、後で詳しく説明する。

【0026】

測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの振り分け回数、及び蓄積時間Ｔａ等を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。

【0027】

記憶部４４は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部４４は、例えば、補正情報４４０を記憶する。

【0028】

このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。

【0029】

なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。

【0030】

次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。

【0031】

図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。

【0032】

受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に応じた電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。

【0033】

垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。

【0034】

画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。

【0035】

水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。

【0036】

以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。

【0037】

ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。この図の例では、画素３２１が４つの画素信号読み出し部を備えた構成の一例である。

【0038】

図３に示すように、画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、４つの画素信号読み出し部ＲＵ（画素信号読み出し部ＲＵ１～ＲＵ４）とを備える。それぞれの画素信号読み出し部ＲＵは、出力端子Ｏから電圧信号を出力する。

【0039】

以下の説明においては、４つの画素信号読み出し部ＲＵ符号の後に、「１」、「２」、「３」または「４」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵ、を区別する。また、同様に、４つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの符号の後に数字を付与することによって、それぞれの構成要素を区別して表す。

【0040】

画素信号読み出し部ＲＵのそれぞれは、電荷振り分けゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。具体的には、画素信号読み出し部ＲＵ１は、電荷振り分けゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２～ＲＵ４も同様の構成である。なお、電荷振り分けゲートトランジスタＧの構成は、トランスファー方式に限定されず、フォトゲート方式の電荷振り分けであってもよい。

【0041】

光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。

【0042】

画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を４つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。

【0043】

距離画像センサ３２に配置される画素の構成は、図３に示したような、４つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、３つであってもよいし、５つ以上であってもよい。

【0044】

また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。

【0045】

また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、これに限定されない。例えば、電荷蓄積部ＣＳに蓄積されずに光電変換素子ＰＤに残っている電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。

【0046】

次に、画素３２１の駆動タイミングについて図４を用いて説明する。図４は、実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。

【0047】

図４では、１回の振り分け処理において、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるまでに要する時間を「単位蓄積時間ＵＴ」と表している。「単位蓄積時間ＵＴ」において行われる振り分け処理（単位蓄積処理）を１フレームに相当する蓄積回数だけ繰り返し行った後に、その間に蓄積された電荷量を読み出す処理が行われる。この蓄積された電荷量を読み出す処理が行われる時間を「読み出し期間」と表している。

【0048】

また、図４では、光パルスＰＯを照射するタイミングを「Ｌ」、反射光ＲＬが受光されるタイミングを「Ｒ」、電荷振り分けゲートトランジスタＧ１を駆動させるタイミングを「Ｇ１」、電荷振り分けゲートトランジスタＧ２を駆動させるタイミングを「Ｇ２」、電荷振り分けゲートトランジスタＧ３を駆動させるタイミングを「Ｇ３」、電荷振り分けゲートトランジスタＧ４を駆動させるタイミングを「Ｇ４」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。

【0049】

垂直走査回路３２３は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１～ＣＳ４に電荷を蓄積させる。図４の例では、光パルスＰＯを照射したタイミングと同じタイミングで電荷蓄積部ＣＳ１に電荷を蓄積させ、電荷蓄積部ＣＳ１に電荷を蓄積させた後、順次、電荷蓄積部ＣＳ２～ＣＳ４に電荷を蓄積させる。

【0050】

図４の例では、光パルスＰＯが照射された時刻から遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光される場合のタイミングチャートが示されている。遅延時間Ｔｄに応じて、反射光ＲＬに応じた電荷が電荷蓄積部ＣＳ１及びＣＳ２に振り分けて蓄積される。電荷蓄積部ＣＳ３及びＣＳ４が電荷を蓄積するタイミングでは、反射光ＲＬが受光されることはなく、背景光などの外光成分に応じた電荷が電荷蓄積部ＣＳ３及びＣＳ４に蓄積される。

【0051】

具体的に、まず、垂直走査回路３２３は、光パルスＰＯを照射させる。垂直走査回路３２３は照射のタイミングと同じタイミングでドレインゲートトランジスタＧＤをオフ状態にするとともに、電荷振り分けゲートトランジスタＧ１を蓄積時間Ｔａに渡りオン状態とする。垂直走査回路３２３は、電荷振り分けゲートトランジスタＧ１を蓄積時間Ｔａに渡りオン状態とした後に、電荷振り分けゲートトランジスタＧ１をオフ状態とする。これにより、電荷振り分けゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷が、電荷振り分けゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。

【0052】

次に、垂直走査回路３２３は、電荷振り分けゲートトランジスタＧ２をオフ状態としたタイミングで、電荷振り分けゲートトランジスタＧ２を蓄積時間Ｔａに渡りオン状態とする。垂直走査回路３２３は、電荷振り分けゲートトランジスタＧ２を蓄積時間Ｔａに渡りオン状態とした後に、電荷振り分けゲートトランジスタＧ２をオフ状態にする。これにより、電荷振り分けゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷が、電荷振り分けゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。

【0053】

次に、垂直走査回路３２３は、電荷振り分けゲートトランジスタＧ２をオフ状態としたタイミングで、電荷振り分けゲートトランジスタＧ３を蓄積時間Ｔａに渡りオン状態にする。垂直走査回路３２３は、電荷振り分けゲートトランジスタＧ３を蓄積時間Ｔａに渡りオン状態とした後に、電荷振り分けゲートトランジスタＧ３をオフ状態にする。これにより、電荷振り分けゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、電荷振り分けゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。

【0054】

次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、電荷振り分けゲートトランジスタＧ４を蓄積時間Ｔａに渡りオン状態にする。垂直走査回路３２３は、電荷振り分けゲートトランジスタＧ４を蓄積時間Ｔａに渡りオン状態とした後に、電荷振り分けゲートトランジスタＧ４をオフ状態とする。これにより、電荷振り分けゲートトランジスタＧ４がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、電荷振り分けゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。垂直走査回路３２３は、電荷振り分けゲートトランジスタＧ４をオフ状態としたタイミングでドレインゲートトランジスタＧＤをオン状態にする。ドレインゲートトランジスタＧＤがオン状態とされることにより、この間に光電変換素子ＰＤにより光電変換された電荷は、電荷蓄積部ＣＳに蓄積されることなく、ドレインゲートトランジスタＧＤを介して破棄される。

【0055】

このように、本実施形態では、単位蓄積時間ＵＴにおいて電荷蓄積部ＣＳに電荷を蓄積させる時間区間ＵＴ１以外のタイミングにて光電変換された電荷を蓄積することがないように制御する。すなわち、単位蓄積時間ＵＴにおいて、時間区間ＵＴ１ではドレインゲートトランジスタＧＤがオフ状態に制御され、時間区間ＵＴ１以外の時間区間ＵＴ２ではドレインゲートトランジスタＧＤがオン状態に制御される。これは、本実施形態が、光パルスＰＯを断続的に照射するＳＰ方式を採用しているためである。ＳＰ方式においては、単位蓄積時間ＵＴにおいて、反射光ＲＬを受光することが想定されていない時間区間ＵＴ２にはドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光パルスＰＯの反射光ＲＬを受光することが想定されていない時間区間ＵＴ２において、外光成分に応じた電荷が蓄積され続けることを回避する。

【0056】

一方、光パルスＰＯが連続的に照射される、ＣＷ方式では、単位蓄積時間ＵＴにおいて電荷を電荷蓄積部ＣＳに蓄積させる度に電荷の排出を行うことはない。これは、ＣＷ方式においては、常時、反射光ＲＬを受光していることから、反射光ＲＬを受光することが想定されていない時間区間が存在しないためである。ＣＷ方式においては、１フレームにおいて単位蓄積時間ＵＴを複数回繰り返す処理が実行されている時間区間においては、光電変換素子ＰＤに接続されたリセットゲートトランジスタなどの電荷排出部はオフ状態に制御され、電荷の排出を行わない。そして、１フレームにおいて読出時間ＲＤが到来すると、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量を読み出した後、リセットゲートトランジスタなどの電荷排出部がオン状態に制御され、電荷の排出が行われる。また、上記の説明では、光電変換素子ＰＤに電荷排出部が接続された機構を例に説明したがこれに限定されない。光電変換素子ＰＤに電荷排出部が存在せず、フローティングディフュージョンＦＤに電荷排出部が接続されたリセットゲートトランジスタを用いる機構などであってもよい。

【0057】

本実施形態では、単位蓄積時間ＵＴにおいて電荷蓄積部ＣＳに電荷を蓄積させる時間区間ＵＴ１とは異なる時間区間ＵＴ２に光電変換された電荷が、ドレインゲートトランジスタＧＤ（「電荷排出部」の一例）によって排出されるように制御する。ドレイン期間を設けることにより、蓄積期間外で発生した外光ノイズを除去しつつ、光パルス周期を調整できる。これにより、アイセーフを満たしつつ、発光回数を多くしたり、高いピークパワーで光照射したりすることが可能になる。

【0058】

垂直走査回路３２３は、上述したような駆動を、１フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに蓄積され電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に応じた電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２～ＳＬ４をオン状態とすることにより、電荷蓄積部ＣＳ２～ＣＳ４に蓄積された電荷量に応じた電圧信号を出力端子Ｏ２～Ｏ４から出力させる。これによって、電荷蓄積部ＣＳのそれぞれに蓄積された１フレーム分の電荷量に相当する電気信号が距離演算部４２に出力される。

【0059】

なお、上記では、光パルスＰＯが照射されたタイミングで、電荷振り分けゲートトランジスタＧ１をオン状態とする場合を例に説明した。しかしながらこれに限定されることはない。少なくとも反射光ＲＬに応じた電荷が複数の電荷蓄積部に振り分けて蓄積されるタイミングで光パルスＰＯが照射されればよい。

【0060】

図４では、光パルスＰＯを照射するタイミングと、反射光ＲＬが受光されるタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１及びＣＳ２に、反射光ＲＬに応じた電荷量が振り分けられて蓄積される。また、電荷蓄積部ＣＳ１～ＣＳ４に外光成分に応じた電荷量が蓄積される。

【0061】

電荷蓄積部ＣＳ１及びＣＳ２に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯの照射時刻から反射光ＲＬの受光時刻までの遅延時間Ｔｄに応じた比率となる。距離演算部４２は、この原理を利用して、以下の（１）式により、遅延時間Ｔｄを算出する。（１）式におけるＲは反射光ＲＬの振り分け比率を示す電荷比である。（１）式では、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された外光成分に応じた電荷量が同量であることを前提とする。

【0062】

Ｔｄ＝Ｔｏ×Ｒ …（１）
但し、 Ｒ＝（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－Ｑ３）
Ｔｏは光パルスＰＯが照射された時間間隔
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量

【0063】

距離演算部４２は、近距離受光画素においては、（１）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、ＴｏＦ距離を求める。

【0064】

ここで、（１）式を用いて算出される距離（ＴｏＦ距離）に誤差が生じる要因について説明する。

【0065】

誤差が生じる一因として、距離の測定に係る各種の信号処理に用いられる矩形信号において波形になまりが生じることが考えられる。実際の回路では配線抵抗や寄生容量などに起因して信号伝送時の高周波特性が劣化する。また、光電変換素子ＰＤにおける電荷転送効率に起因して電荷転送時に遅延が生じる。高周波特性が劣化したり、光電変換素子ＰＤにおける電荷転送効率したりすると、信号の立上りや立下り等、信号振幅が急峻に変化する時に遅延が発生し、波形になまりが生じる。その結果、矩形が崩れ、立上り遅延及び立下りが遅延した波形に変化する。

【0066】

距離を測定する様々な処理で用いられる矩形信号がなまると誤差が生じる原因となる。例えば、光パルスを照射するレーザダイオードを制御するドライバのタイミング信号がなまると光パルスを照射した後やや遅れて規定の光量に達し、照射を停止した後やや遅れて光パルスＰＯの光量が０（ゼロ）となる。このような波形のなまりが反射光ＲＬに影響するため、反射光ＲＬも裾引波形となって画素３２１に受光される。さらに、電荷振り分けゲートトランジスタＧのタイミング信号がなまると、電荷蓄積部ＣＳ１に蓄積されるはずの電荷量が電荷蓄積部ＣＳ２に蓄積されたり、電荷蓄積部ＣＳ２に蓄積されるはずの電荷量が電荷蓄積部ＣＳ３に蓄積されたりする。このように、本来蓄積されるべき電荷蓄積部ＣＳと異なる電荷蓄積部ＣＳに蓄積された電荷量を用いて、（１）式から算出される遅延時間Ｔｄは、本来の遅延時間Ｔｄとは異なる値と異なり、誤差を含む値となる。また、図４の時間区間ＵＴ２では、電荷振り分けゲートと、ドレインゲートの境界では信号が不連続に消失するため、ＴｏＦ距離における誤差が非線形になってしまう。すなわち、電荷転送等の遅延によるなまりを含んだ電子電流が時間区間ＵＴ１に入っていれば線形に近い距離ずれが生じる一方、上述したような、電荷転送等の遅延によるなまりを含んだ電子電流の一部が時間区間ＵＴ２に入っている場合は非線形な距離ずれとなる。

【0067】

この対策として、本実施形態では、ＴｏＦ距離を、補正情報４４０を用いて補正する。補正情報４４０は、ＴｏＦ距離を補正する補正関数を示す情報である。

【0068】

ここでＴｏＦ距離を補正する方法について、図５、図６を用いて具体的に説明する。図５は、実距離（実際の距離）とＴｏＦ距離との関係の例を示す図である。図６は、図５におけるＴｏＦ距離と距離ずれの関係を示す図である。

【0069】

図５の横軸には実距離、縦軸にはＴｏＦ距離が示されている。図５では、実距離に対するＴｏＦ距離の関係が実線で示されている。図５では、ＴｏＦ距離に距離ずれがない場合における実距離に対するＴｏＦ距離の関係が点線で示されている。図５における横軸（実距離）について、実線と点線との差分が、「距離ずれ」に相当する。

【0070】

図６の横軸にはＴｏＦ距離、縦軸には距離ずれが示されている。図６に示すように、距離ずれは、ＴｏＦ距離に対して一定の値とはならない。この図の例では、点Ｐ１～Ｐ３までの領域Ｅ１ではＴｏＦ距離と距離ずれとの関係が非線形となる。また、点Ｐ３～Ｐ１０までの領域Ｅ２ではＴｏＦ距離と距離ずれとの関係がほぼ線形となる。また、点Ｐ１０～Ｐ１４までの領域Ｅ３ではＴｏＦ距離と距離ずれとの関係が非線形となる。

【0071】

例えば、予め実距離が判っている被写体ＯＢに、光パルスＰＯを照射してＴｏＦ距離することによって、図５に示すような実距離に対するＴｏＦ距離の関係を求めることができる。実距離に対するＴｏＦ距離の関係を用いて、図６に示すような、ＴｏＦ距離と距離ずれとの関係を求めることができる。

【0072】

このようにして求めたＴｏＦ距離と距離ずれとの関係から、例えば、距離演算部４２は、ＴｏＦ距離と距離ずれとの関係が、ほぼ線形とみなすことができるような、より低次の補正関数を割り当てる「低次補正領域」（以下、「線形領域」ともいう）と、ＴｏＦ距離と距離ずれとの関係が非線形となるような、より高次の補正関数を割り当てる「高次補正領域」（以下、非線形領域ともいう）とを、予め抽出する。

【0073】

ここで、「線形領域」と「非線形領域」とを区分する方法について説明する。距離演算部４２は、複数の点Ｐ（点Ｐ１～Ｐ１４）のそれぞれにおける微分値を算出する。例えば、距離演算部４２は、複数の点Ｐ（点Ｐ１～Ｐ１４）のそれぞれの傾きＫ（傾きＫ１～Ｋ１４）を求める。具体的には、点Ｐ１における傾きＫ１は下記の（２）式により、点Ｐ２における傾きＫ２は下記の（３）式により、求められる。他の点Ｐ（点Ｐ３～Ｐ１４）の傾きＫ（傾きＫ３～Ｋ１４）についても同様な方法を用いて求めることができる。

【0074】

Ｋ１＝（ｙ２－ｙ１）／（ｘ２－ｘ１） …（２）
Ｋ２＝（ｙ３－ｙ２）／（ｘ３－ｘ２） …（３）
但し、点Ｐ１の座標値を（ｘ１、ｙ１）とする
点Ｐ２の座標値を（ｘ２、ｙ２）とする
点Ｐ３の座標値を（ｘ３、ｙ３）とする

【0075】

距離演算部４２は、傾きがほぼ一定とみなせる領域を「線形領域」とする。傾きがほぼ一定とみなせる領域とは、例えば、各点Ｐの傾きＫが、所定値Ｖ±αとなる領域である。ここで、所定値Ｖは予め任意に設定される値である。αは予め任意に設定されるマージン量である。

【0076】

一方、距離演算部４２は、傾きが一定とみなすことができない領域を「非線形領域」とする。傾きが一定とみなすことができない領域とは、例えば、各点Ｐの傾きＫが加速度的に大きくなる、或いは小さくなる等、各点Ｐにおける距離ずれが変化する領域である。

【0077】

距離演算部４２は、「線形領域」と「非線形領域」のそれぞれに適用する補正関数を決定する。補正関数は、ＴｏＦ距離を入力変数ｘ、補正後の距離（測定距離）を出力変数ｙとする場合に、ｙ＝ｆ（ｘ）として表される関数である。

【0078】

距離演算部４２は、「線形領域」に適用する補正関数（第１補正関数）を、「非線形領域」に適用する補正関数（第２補正関数）よりも次数が小さい補正関数とする。具体的に、距離演算部４２は、「線形領域」に適用する補正関数を一次関数とする。距離演算部４２は、例えば、「線形領域」に適用する補正関数を、ｙ＝Ｂｘ＋Ｃ（Ｂ、Ｃは実数値）とし、「線形領域」に含まれる点Ｐ（点Ｐ３～Ｐ１０）のそれぞれの座標値が、ｙ＝Ｂｘ＋Ｃの関係を満たすようなＢ、Ｃを、例えば最小二乗法などを用いて決定する。

【0079】

距離演算部４２は、「非線形領域」に適用する補正関数（第２補正関数）を、「線形領域」に適用する補正関数（第１補正関数）よりも次数が大きい補正関数とする。具体的に、距離演算部４２は、まず、「非線形領域」に適用する補正関数の次数を決定する。

【0080】

例えば、距離演算部４２は、「非線形領域」に適用する補正関数が二次関数であると仮定する。具体的に、距離演算部４２は、「非線形領域」に適用する補正関数を、ｙ＝Ａｘ^２＋Ｂｘ＋Ｃ（Ａ、Ｂ、Ｃは実数値）とし、「非線形領域」に含まれる点Ｐ（例えば、点Ｐ１～Ｐ３）のそれぞれの座標値が、ｙ＝Ａｘ^２＋Ｂｘ＋Ｃの関係を満たすようなＡ、Ｂ、Ｃを、例えば最小二乗法などを用いて決定する。距離演算部４２は、このようにして決定した二次の補正関数が、距離ずれを精度よく補正するか否かを判定する。例えば、距離演算部４２は、「非線形領域」の点Ｐ（例えば、点Ｐ１～Ｐ３）のそれぞれに補正関数を用いて算出した補正後の距離と、実距離との差分を算出する。距離演算部４２は、算出した差分の絶対値が、所定の閾値未満である場合、補正関数が、距離ずれを精度よく補正すると判定する。一方、距離演算部４２は、算出した差分の絶対値が、所定の閾値以上である場合、補正関数が、距離ずれを精度よく補正しないと判定する。

【0081】

距離演算部４２は、二次の補正関数が距離ずれを精度よく補正しないと判定した場合、「非線形領域」に適用する補正関数が三次関数であると仮定する。そして、距離演算部４２は、一次関数や二次関数の場合と同様に、最小二乗法などを用いて係数を決定する距離演算部４２は、二次の補正関数の場合と同様な方法にて、三次の補正関数が距離ずれを精度よく補正するか否かを判定する。以降も同様に、距離演算部４２は、補正関数の次数を順に大きくして、距離ずれを精度よく補正すると判定される補正関数を決定する。

【0082】

距離演算部４２は、非線形領域が複数存在する場合、それぞれの非線形領域に対応する補正関数を決定するようにしてもよい。また、距離演算部４２は、線形領域が複数存在する場合、それぞれの線形領域に対応する補正関数を決定するようにしてもよい。

【0083】

ここで補正情報４４０について、図７を用いて具体的に説明する。図７は、実施形態の補正情報４４０の例を示す図である。図７に示すように、補正情報４４０は、例えば、領域、ＴｏＦ距離、線形／非線形判定結果、及び補正関数などの項目を備える。領域は、線形或いは非線形の領域に対して一意に対応づけられた識別情報が示される。ＴｏＦ距離には、それぞれの領域に対応するＴｏＦ距離の範囲が示される。ＴｏＦ距離は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量を用いて（１）式により算出される距離値である。線形／非線形判定結果は、それぞれの領域が、線形領域と判定されたか、非線形領域と判定されたかを示す情報である。補正関数は、それぞれの領域を補正する補正関数を示す情報である。

【0084】

この図の例では、領域Ｅ１は、ＴｏＦ距離が０．１０～０．２５［ｍ］の範囲の非線形領域であり、補正関数がＡ_１ｘ^２＋Ｂ_１ｘ＋Ｃ_１であることが示されている。また、領域Ｅ２は、ＴｏＦ距離が０．２５～１．３５［ｍ］の範囲の線形領域であり、補正関数がＢ_２ｘ＋Ｃ_２であることが示されている。領域Ｅ３は、ＴｏＦ距離が１．３５～１．８０［ｍ］の範囲の線形領域であり、補正関数がＡ_３ｘ^２＋Ｂ_３ｘ＋Ｃ_３であることが示されている。

【0085】

図８は、実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量Ｑ１～Ｑ３を取得する（ステップＳ１０）。距離演算部４２は、取得した電荷量Ｑ１～Ｑ３に、ＴｏＦ距離を計算する計算式（例えば、（１）式）を適用することによって、ＴｏＦ距離を算出する（ステップＳ１１）。
なお、この図では、線形領域に一次関数を適用し、非線形領域に二次関数を適用する場合を例示して説明したが、これに限定されることはない。線形領域に適用する補正関数と比較して、少なくとも、非線形領域に適用する補正関数の方が、次数が大きい数であればよい。例えば、線形領域に二次関数を適用し、非線形領域に四次関数を適用してもよい。

【0086】

距離演算部４２は、ステップＳ１１で算出したＴｏＦ距離を補正する補正関数を選択する（ステップＳ１２）。距離演算部４２は、補正情報４４０を参照し、ステップＳ１１で算出したＴｏＦ距離が含まれる範囲に対応する補正関数を取得する。距離演算部４２は、取得した補正関数を、ステップＳ１１で算出したＴｏＦ距離を補正する補正関数として選択する。距離演算部４２は、ステップＳ１２で選択した補正関数を用いてＴｏＦ距離を補正する。（ステップＳ１３）。距離演算部４２は、補正後のＴｏＦ距離を、測定距離と決定する（ステップＳ１４）。
なお、述した実施形態では、補正関数を選択する選択基準として、例示的に、ＴｏＦ距離を用いたが、これに限定されない。選択基準として、電荷比及び電荷量等、線形/非線形の判別が可能なパラメータを用いることが可能である。
また、上述した実施形態では、線形領域／非線形領域の分類手法として、距離ずれ関数（ＴｏＦ距離と距離ずれとの関係を示す関数）の傾きを基準とする場合を例示したが、これに限定されない。線形領域に適用する補正関数（第１補正関数という）と、非線形領域に適用する補正関数（第２補正関数という）のそれぞれのフィッティングが最適になる任意の距離で、適用する補正関数を区分するようにしてもよい。
例えば、予め、第１補正関数と、第２補正関数のそれぞれの次数を決定し、最小二乗法で誤差を計算する。そして、第１補正関数、及び第２補正関数のそれぞれのフィッティング誤差が最小になるようなＴｏＦ距離、および電荷振り分け比率を、線形領域と非線形領域の区切り（境界）とする。ここでの電荷振り分け比率は、「電荷振り分け値」の一例である。また、この場合において、電荷振り分け比率の算出に用いられた電荷蓄積部ＣＳのそれぞれに蓄積された電荷量は、「電荷振り分け値」の一例である。

【0087】

以上説明したように、実施形態の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４と、記憶部４４と、を備える。光源部２は、被写体ＯＢが存在する測定空間に光パルスＰＯを照射する。受光部３は、画素３２１と、垂直走査回路３２３（駆動回路の一例）を備える。画素３２１は、光電変換素子ＰＤと、複数の電荷蓄積部ＣＳを具備する。垂直走査回路３２３は、光パルスＰＯの照射に同期させた所定のタイミングで画素３２１における電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量を用いて被写体ＯＢまでの測定距離を決定する。記憶部４４は、補正情報４４０を記憶する。補正情報４４０は、補正関数を示す情報である。補正関数は、反射光ＲＬに応じた電荷の振り分け値を用いて算出されるＴｏＦ距離を補正する関数である。補正関数は、ＴｏＦ距離が含まれる領域に応じて適用される少なくとも２つの第１補正関数群と第２補正関数群を含む。第１補正関数群は、第２補正関数群よりも次数が小さい補正関数の集合である。第１補正関数群は、ＴｏＦ距離と実距離（実際の距離）との関係が線形となる線形領域に適用される補正関数の集合である。第２補正関数群は、第１補正関数群よりも次数が大きい関数である。第２補正関数群は、ＴｏＦ距離と実距離との関係が非線形となる非線形領域に適用される補正関数の集合である。距離画像処理部４は、反射光ＲＬに応じた電荷の振り分け値を用いてＴｏＦ距離を算出する。距離画像処理部４は、算出したＴｏＦ距離に応じて、第１補正関数群又は第２補正関数群のいずれかに含まれる関数を、ＴｏＦ距離に適用する補正関数として選択する。距離画像処理部４は、選択した補正関数を用いて補正した前記ＴｏＦ距離を、測定距離とする。

【0088】

これにより、実施形態の距離画像撮像装置１は、計算式により求められるＴｏＦ距離の範囲に応じて適用する補正関数を、互いに異なる補正関数とすることができる。このため、線形領域には次数の低い補正関数を適用し、非線形領域には次数の高い補正関数を適用することが可能となる。したがって、少なくとも線形領域に次数の低い補正関数を適用することができ、ＴｏＦ距離の全範囲に一つの高次の補正関数を適用する場合と比較して、計算時間を削減することが可能である。すなわち、ＴｏＦ距離に対する距離ずれが不規則となる場合であっても、計算時間を増大させることなくＴｏＦ距離を補正することができる。また、高次の補正式による、補正値の振動誤差を抑制してＴｏＦ距離を補正することができる。

【0089】

また、実施形態の距離画像撮像装置１では、ドレインゲートトランジスタＧＤ（電荷排出部）を更に備える。この場合、光源部２は、光パルスＰＯを断続的に照射する。距離画像処理部４は、単位蓄積時間ＵＴを複数回繰り返すことによって、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる。距離画像処理部４は、単位蓄積時間ＵＴにおいて、時間区間ＵＴ２では、光電変換素子ＰＤによって発生された電荷が、ドレインゲートトランジスタＧＤによって排出されるように制御する。ドレイン期間を設けることにより、蓄積期間外で発生した外光ノイズを除去しつつ、光パルス周期を調整できる。これにより、アイセーフを満たしつつ、発光回数を多くしたり、高いピークパワーで光照射したりすることが可能になる。

【0090】

上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0091】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0092】

１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
４４…記憶部
４４０…補正情報
ＣＳ…電荷蓄積部
ＰＯ…光パルス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】