知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022109077
(43)【公開日】2022-07-27
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
G01S 7/4865 20200101AFI20220720BHJP
H04N 5/341 20110101ALI20220720BHJP
H04N 5/378 20110101ALI20220720BHJP
H04N 5/374 20110101ALI20220720BHJP
H04N 5/3745 20110101ALI20220720BHJP
H04N 5/353 20110101ALI20220720BHJP
G01C 3/06 20060101ALI20220720BHJP
【ＦＩ】
G01S7/4865
H04N5/341
H04N5/378
H04N5/374
H04N5/3745
H04N5/353
G01C3/06 120Q
G01C3/06 140
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021004414
(22)【出願日】2021-01-14
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】高橋 聡
(72)【発明者】
【氏名】中込 友洋
【テーマコード（参考）】
2F112
5C024
5J084
【Ｆターム（参考）】
2F112AD01
2F112BA03
2F112BA06
2F112BA07
2F112CA12
2F112DA19
2F112DA25
2F112DA28
2F112DA32
2F112EA07
2F112EA11
2F112FA03
2F112FA07
2F112FA29
2F112FA45
2F112GA01
5C024CX51
5C024CY17
5C024EX11
5C024GX03
5C024GY31
5C024HX03
5C024JX21
5C024JX41
5J084AA05
5J084BA04
5J084BA36
5J084BA40
5J084BB02
5J084CA03
5J084CA12
5J084CA20
5J084CA44
5J084CA49
5J084DA01
5J084DA07
5J084DA09
5J084EA01
5J084EA07
5J084FA01
(57)【要約】
【課題】画素が受光する反射光の強度に応じて、画素が備える複数の電荷蓄積部のそれぞれに互いに異なる時間で、反射光による電荷を蓄積させることができる距離画像撮像装置、及び距離画像撮像方法を提供する。
【解決手段】光源部と、光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、被写体までの距離を演算する距離画像処理部と、を備え、前記距離画像処理部は、二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する。
【選択図】図１
【解決手段】光源部と、光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、被写体までの距離を演算する距離画像処理部と、を備え、前記距離画像処理部は、二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
測定対象の空間である測定空間に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離画像処理部と、
を備え、
前記距離画像処理部は、二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する、
距離画像撮像装置。
入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離画像処理部と、
を備え、
前記距離画像処理部は、二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する、
距離画像撮像装置。
【請求項2】
距離画像処理部は、
前記振り分け処理において、前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記三つ以上の前記電荷蓄積部のうちの第１電荷蓄積部、及び前記第１電荷蓄積部とは異なる第２電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御し、
前記第１電荷蓄積部の露光時間が他の前記電荷蓄積部と比較して最も少ない露光時間となるように、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間、又は１フレーム期間に前記振り分け処理を行う回数を制御する、
請求項１に記載の距離画像撮像装置。
前記振り分け処理において、前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記三つ以上の前記電荷蓄積部のうちの第１電荷蓄積部、及び前記第１電荷蓄積部とは異なる第２電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御し、
前記第１電荷蓄積部の露光時間が他の前記電荷蓄積部と比較して最も少ない露光時間となるように、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間、又は１フレーム期間に前記振り分け処理を行う回数を制御する、
請求項１に記載の距離画像撮像装置。
【請求項3】
距離画像処理部は、
前記振り分け処理において、外光成分に対応する電荷のみが、前記三つ以上の前記電荷蓄積部のうちの第１電荷蓄積部に蓄積され、前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部とは異なる第２電荷蓄積部、及び前記第１電荷蓄積部と前記第２電荷蓄積部とは異なる第３電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御し、
前記第２電荷蓄積部の露光時間が他の前記電荷蓄積部と比較して最も少ない露光時間となるように、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間、又は１フレーム期間に前記振り分け処理を行う回数を制御する、
請求項１に記載の距離画像撮像装置。
前記振り分け処理において、外光成分に対応する電荷のみが、前記三つ以上の前記電荷蓄積部のうちの第１電荷蓄積部に蓄積され、前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部とは異なる第２電荷蓄積部、及び前記第１電荷蓄積部と前記第２電荷蓄積部とは異なる第３電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御し、
前記第２電荷蓄積部の露光時間が他の前記電荷蓄積部と比較して最も少ない露光時間となるように、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間、又は１フレーム期間に前記振り分け処理を行う回数を制御する、
請求項１に記載の距離画像撮像装置。
【請求項4】
前記距離画像処理部は、前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正した電荷量を用いて前記被写体までの距離を演算する、
請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
【請求項5】
前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、
前記距離画像処理部は、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
前記距離画像処理部は、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
【請求項6】
前記距離画像処理部は、
前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正後の前記第１電荷蓄積部に蓄積された電荷量と、補正後の前記第３電荷蓄積部の電荷量とを比較し、
補正後の前記第１電荷蓄積部に蓄積された電荷量が、補正後の前記第３電荷蓄積部の電荷量より大きい場合、前記画素が前記第１距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であると判定し、
補正後の前記第１電荷蓄積部に蓄積された電荷量が、補正後の前記第３電荷蓄積部の電荷量以下である場合、前記画素が前記第２距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であると判定する、
請求項５に記載の距離画像撮像装置。
前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正後の前記第１電荷蓄積部に蓄積された電荷量と、補正後の前記第３電荷蓄積部の電荷量とを比較し、
補正後の前記第１電荷蓄積部に蓄積された電荷量が、補正後の前記第３電荷蓄積部の電荷量より大きい場合、前記画素が前記第１距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であると判定し、
補正後の前記第１電荷蓄積部に蓄積された電荷量が、補正後の前記第３電荷蓄積部の電荷量以下である場合、前記画素が前記第２距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であると判定する、
請求項５に記載の距離画像撮像装置。
【請求項7】
前記距離画像処理部は、前記第１距離、及び前記第２距離の範囲として、前記光パルスの照射時間、及び、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間に応じた範囲を適用する、
請求項６に記載の距離画像撮像装置。
請求項６に記載の距離画像撮像装置。
【請求項8】
前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、
前記距離画像処理部は、
外光成分に対応する電荷のみが、前記第１電荷蓄積部に蓄積され、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部、及び前記第４電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
前記距離画像処理部は、
外光成分に対応する電荷のみが、前記第１電荷蓄積部に蓄積され、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部、及び前記第４電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
【請求項9】
前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、
前記距離画像処理部は、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、
外光成分に対応する電荷のみが、前記第４電荷蓄積部に蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
前記距離画像処理部は、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、
外光成分に対応する電荷のみが、前記第４電荷蓄積部に蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
【請求項10】
前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、
前記距離画像処理部は、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、
前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部、及び前記第４電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
前記距離画像処理部は、
第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、
前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、
前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部、及び前記第４電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する、
請求項１に記載の距離画像撮像装置。
【請求項11】
前記距離画像処理部は、
前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正後の前記第１電荷蓄積部に蓄積された電荷量と、補正後の前記第４電荷蓄積部の電荷量とを用いて、前記画素が前記第１距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であるか否かを判定する、
請求項８から請求項１０のいずれか一項に記載の距離画像撮像装置。
前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正後の前記第１電荷蓄積部に蓄積された電荷量と、補正後の前記第４電荷蓄積部の電荷量とを用いて、前記画素が前記第１距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であるか否かを判定する、
請求項８から請求項１０のいずれか一項に記載の距離画像撮像装置。
【請求項12】
前記距離画像処理部は、前記第１距離、及び前記第２距離の範囲として、前記光パルスの照射時間、及び、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間に応じた範囲を適用する、
請求項８から請求項１０のいずれか一項に記載の距離画像撮像装置。
請求項８から請求項１０のいずれか一項に記載の距離画像撮像装置。
【請求項13】
前記距離画像処理部は、１フレーム期間における前記電荷蓄積部のそれぞれの露光時間が等しく、且つ、１フレーム期間に実行する複数回の振り分け処理において、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積タイミングが異なるタイミングとなるように制御する、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項14】
前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、
前記距離画像処理部は、
１フレーム期間において、前記蓄積タイミングが第１タイミングである第１処理を第１回数、前記蓄積タイミングが第２タイミングである第２処理を第２回数、それぞれ実行し、
前記第１処理では、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部及び前記第２電荷蓄積部に、順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部及び前記第３電荷蓄積部に、順に振り分けて蓄積されるように制御し、
前記第２処理では、前記第２電荷蓄積部及び前記第３電荷蓄積部に電荷を蓄積させるタイミングが前記第１処理と同じタイミングであり、前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部及び前記第１電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項１３に記載の距離画像撮像装置。
前記距離画像処理部は、
１フレーム期間において、前記蓄積タイミングが第１タイミングである第１処理を第１回数、前記蓄積タイミングが第２タイミングである第２処理を第２回数、それぞれ実行し、
前記第１処理では、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部及び前記第２電荷蓄積部に、順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部及び前記第３電荷蓄積部に、順に振り分けて蓄積されるように制御し、
前記第２処理では、前記第２電荷蓄積部及び前記第３電荷蓄積部に電荷を蓄積させるタイミングが前記第１処理と同じタイミングであり、前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部及び前記第１電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項１３に記載の距離画像撮像装置。
【請求項15】
前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、
前記距離画像処理部は、
１フレーム期間において、前記蓄積タイミングが第１タイミングである第１処理を第１回数、前記蓄積タイミングが第２タイミングである第２処理を第２回数、それぞれ実行し、
前記第１処理では、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部及び前記第２電荷蓄積部に、順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部及び前記第３電荷蓄積部に、順に振り分けて蓄積され、前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部及び前記第４電荷蓄積部に、順に振り分けて蓄積されるように制御し、
前記第２処理では、前記第２電荷蓄積部、前記第３電荷蓄積部及び前記第４電荷蓄積部に電荷を蓄積させるタイミングが前記第１処理と同じタイミングであり、前記第３距離よりも大きい第４距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第４電荷蓄積部及び前記第１電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項１３に記載の距離画像撮像装置。
前記距離画像処理部は、
１フレーム期間において、前記蓄積タイミングが第１タイミングである第１処理を第１回数、前記蓄積タイミングが第２タイミングである第２処理を第２回数、それぞれ実行し、
前記第１処理では、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部及び前記第２電荷蓄積部に、順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部及び前記第３電荷蓄積部に、順に振り分けて蓄積され、前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部及び前記第４電荷蓄積部に、順に振り分けて蓄積されるように制御し、
前記第２処理では、前記第２電荷蓄積部、前記第３電荷蓄積部及び前記第４電荷蓄積部に電荷を蓄積させるタイミングが前記第１処理と同じタイミングであり、前記第３距離よりも大きい第４距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第４電荷蓄積部及び前記第１電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項１３に記載の距離画像撮像装置。
【請求項16】
前記距離画像処理部は、前記第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が予め設定された閾値より多く蓄積されるように前記第１回数を決定し、
前記閾値は、電荷蓄積部において許容される蓄積電荷量の上限に応じて決定された値である、
請求項１４又は請求項１５のいずれか一項に記載の距離画像撮像装置。
前記閾値は、電荷蓄積部において許容される蓄積電荷量の上限に応じて決定された値である、
請求項１４又は請求項１５のいずれか一項に記載の距離画像撮像装置。
【請求項17】
前記距離画像処理部は、１フレーム期間において、ランダムまたは疑似ランダムに、前記第１処理及び前記第２処理を実行する、
請求項１４から請求項１６のいずれか一項に記載の距離画像撮像装置。
請求項１４から請求項１６のいずれか一項に記載の距離画像撮像装置。
【請求項18】
前記距離画像処理部は、前記第１処理における前記第１電荷蓄積部が外光成分に対応する電荷のみが蓄積される前記電荷蓄積部である外光電荷蓄積部であり、前記第２処理における前記第１電荷蓄積部が前記被写体に反射した前記光パルスの反射光に対応する電荷が振り分けて蓄積される反射光電荷蓄積部である場合、又は前記第１処理における前記第１電荷蓄積部が前記反射光電荷蓄積部であり、前記第２処理における前記第１電荷蓄積部が前記外光電荷蓄積部である場合、前記第１電荷蓄積部に蓄積された電荷量を補正し、補正した電荷量を用いて前記被写体までの距離を演算する、
請求項１４から請求項１７のいずれか一項に記載の距離画像撮像装置。
請求項１４から請求項１７のいずれか一項に記載の距離画像撮像装置。
【請求項19】
測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、を備える距離画像撮像装置による距離画像撮像方法であって、
距離画像処理部が、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算し、
二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する、
距離画像撮像方法。
距離画像処理部が、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算し、
二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下、ＴＯＦという）と呼ばれる。ＴＯＦでは、光の速度が既知であることを利用し、物体に近赤外領域の光パルスを照射する。そして、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を受光した時刻との時間差を測定する。この時間差に基づいて物体との距離を算出する。フォトダイオード（光電変換素子）を用いて距離を測定するための光を検出する測距センサが実用化されている。
【0003】
そして、近年では、物体との距離のみではなく、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得ることができる測距センサが実用化されている。このような測距センサは、距離画像撮像装置ともいわれている。距離画像撮像装置では、フォトダイオードを含む画素がシリコン基板に二次元の行列状に複数配置され、この画素面で物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量（電荷）に基づいた光電変換信号を１つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得ることができる。例えば、特許文献１には、１つの画素に３個の電荷蓄積部が設けられ、順番に電荷を振り分けて距離を計算する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第４２３５７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような距離画像撮像装置では、それぞれの画素により多くの反射光を受光させることができれば、高精度に距離を計測することが可能となる。このため、距離画像撮像装置では、それぞれの画素が受光することができる露光時間（振り分ける積算回数、及び露光量）をより長くすることが求められる。
【0006】
一般的に、光の強度は距離の２乗で減衰することが知られている。このため、近距離にある物体からの反射光はほとんど強度が減衰することなく受光部に受光されるが、遠距離にある物体からの反射光は強度が減衰して受光部に受光される。特許文献１に記載の距離画像装置のように３個の電荷蓄積部に電荷を振り分けて蓄積させる場合、近距離からの反射光を受光する画素（以下、近距離受光画素という）には、比較的早く到達した反射光が振り分けられる第１電荷蓄積部と第２電荷蓄積部に電荷が蓄積される。遠距離からの反射光を受光する画素（以下、遠距離受光画素という）には、比較的遅く到達した反射光が振り分けられる第２電荷蓄積部と第３電荷蓄積部に電荷が蓄積される。
【0007】
この場合、近距離受光画素には、比較的強度が大きい反射光が受光される。このため、電荷蓄積部に多くの電荷を蓄積させることができ、高精度に距離を測定することが可能となる。しかし、電荷蓄積部に蓄積させることが可能な容量の上限を超過した場合（飽和した場合）、正確な距離を算出することができなくなる。このため、電荷蓄積部を飽和させないように露光時間の上限が設定される必要がある。つまり第１電荷蓄積部に蓄積される電荷量によって露光時間の上限が決まる。
【0008】
一方、遠距離受光画素には、比較的強度が小さい反射光が受光される。このため、近距離受光画素と同じ露光時間であれば、３個の電荷蓄積部が飽和することはない。しかし、この場合、近距離受光画素と比較して蓄積される電荷量が少ない。このため距離精度が低下してしまう。
【0009】
距離画像撮像装置では、距離の測定に用いられる全ての画素が同一のタイミングで駆動するように設計されるのが一般的である。ここでの距離の測定に用いられる画素とは、イメージセンサー等の距離画像撮像装置に用いられる画素のうち、ＰＤＡＦ（Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ Ａｕｔｏ Ｆｏｕｃｕｓ）や、オプティカルブラック等の特殊な用途に用いられる画素を含めない、蓄積された電荷量が距離の演算に用いられる画素のことである。すなわち、距離の測定に用いられる全ての画素に同一の露光時間が適用される。したがって、近距離にある物体と遠距離にある物体とが混在する空間を距離画像撮像装置で撮像する場合、露光時間は、近距離からの反射光の強度に応じて決定される。
【0010】
この場合、近距離受光画素の第１電荷蓄積部に飽和しない範囲で最大の電荷量が蓄積される。その他の電荷蓄積部には、近距離受光画素の第１電荷蓄積部よりも少量の電荷量が蓄積される。その他の電荷蓄積部とは、近距離受光画素の第２電荷蓄積部、第３電荷蓄積部、遠距離受光画素の第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部である。そして、この場合において、遠距離受光画素の第２電荷蓄積部、及び第３電荷蓄積部の露光時間を増やすことができれば、遠距離にある物体における距離精度の低下を防ぐことが可能である。すなわち、画素が受光する反射光の強度に応じて、画素が備える複数の電荷蓄積部のそれぞれに互いに異なる時間（後述する反射光蓄積時間）で反射光に応じた電荷を蓄積させることができれば、近距離にある物体と遠距離にある物体とを精度よく測定することが可能となる。なお、反射光の強度は、距離画像撮像装置から対象物までの距離に応じて変化することが当然に考えられるが、それだけではなく、照射光パルス自体の強度、及び対象物の反射率によっても変化する。以下では、このような、対象物までの距離、照射光パルスの強度、及び対象物の反射率などの要因に応じて変化する反射光の強度のことを、単に「反射光の強度」と記載する。
【0011】
本発明は、上記の課題に基づいてなされたものであり、画素が受光する反射光の強度に応じて、画素が備える複数の電荷蓄積部のそれぞれに、互いに異なる時間で反射光による電荷を蓄積させることができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離画像処理部と、を備え、前記距離画像処理部は、二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する。
【0013】
本発明の距離画像撮像装置では、距離画像処理部は、前記振り分け処理において、前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記三つ以上の前記電荷蓄積部のうちの第１電荷蓄積部、及び前記第１電荷蓄積部とは異なる第２電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御し、前記第１電荷蓄積部の露光時間が他の前記電荷蓄積部と比較して最も少ない露光時間となるように、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間、又は１フレーム期間に前記振り分け処理を行う回数を制御する。
【0014】
本発明の距離画像撮像装置では、距離画像処理部は、前記振り分け処理において、外光成分に対応する電荷のみが、前記三つ以上前記電荷蓄積部のうちの第１電荷蓄積部に蓄積され、前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部とは異なる第２電荷蓄積部、及び前記第１電荷蓄積部と前記第２電荷蓄積部とは異なる第３電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御し、前記第２電荷蓄積部の露光時間が他の前記電荷蓄積部と比較して最も少ない露光時間となるように、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間、又は１フレーム期間に前記振り分け処理を行う回数を制御する。
【0015】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正した電荷量を用いて前記被写体までの距離を演算する。
【0016】
本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する。
【0017】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正後の前記第１電荷蓄積部に蓄積された電荷量と、補正後の前記第３電荷蓄積部の電荷量とを比較し、補正後の前記第１電荷蓄積部に蓄積された電荷量が、補正後の前記第３電荷蓄積部の電荷量より大きい場合、前記画素が前記第１距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であると判定し、補正後の前記第１電荷蓄積部に蓄積された電荷量が、補正後の前記第３電荷蓄積部の電荷量以下である場合、前記画素が前記第２距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であると判定する。
【0018】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記第１距離、及び前記第２距離の範囲として、前記光パルスの照射時間、及び、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間に応じた範囲を適用する。
【0019】
本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、外光成分に対応する電荷のみが、前記第１電荷蓄積部に蓄積され、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部、及び前記第４電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する。
【0020】
本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、外光成分に対応する電荷のみが、前記第４電荷蓄積部に蓄積されるように前記画素駆動回路を制御する。
【0021】
本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部、及び前記第２電荷蓄積部に順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部、及び前記第３電荷蓄積部に順に振り分けて蓄積され、前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部、及び前記第４電荷蓄積部に順に振り分けて蓄積されるように前記画素駆動回路を制御する。
【0022】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記電荷蓄積部のそれぞれの露光時間に基づいて前記電荷蓄積部のそれぞれに蓄積された電荷量を補正し、補正後の前記第１電荷蓄積部に蓄積された電荷量と、補正後の前記第４電荷蓄積部の電荷量とを用いて、前記画素が前記第１距離にある前記被写体に反射した前記光パルスの反射光を受光した画素であるか否かを判定する。
【0023】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記第１距離、及び前記第２距離の範囲として、前記光パルスの照射時間、及び、１回の振り分け処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間に応じた範囲を適用する。
【0024】
本発明の距離画像撮像装置では、前記距離画像処理部は、１フレーム期間における前記電荷蓄積部のそれぞれの露光時間が等しく、且つ、１フレーム期間に実行する複数回の振り分け処理において、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積タイミングが異なるタイミングとなるように制御する。
【0025】
本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、１フレーム期間において、前記蓄積タイミングが第１タイミングである第１処理を第１回数、前記蓄積タイミングが第２タイミングである第２処理を第２回数、それぞれ実行し、前記第１処理では、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部及び前記第２電荷蓄積部に、順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部及び前記第３電荷蓄積部に、順に振り分けて蓄積されるように制御し、前記第２処理では、前記第２電荷蓄積部及び前記第３電荷蓄積部に電荷を蓄積させるタイミングが前記第１処理と同じタイミングであり、前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部及び前記第１電荷蓄積部に、順に振り分けて蓄積されるように制御する。
【0026】
本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、１フレーム期間において、前記蓄積タイミングが第１タイミングである第１処理を第１回数、前記蓄積タイミングが第２タイミングである第２処理を第２回数、それぞれ実行し、前記第１処理では、第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第１電荷蓄積部及び前記第２電荷蓄積部に、順に振り分けて蓄積され、前記第１距離よりも大きい第２距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第２電荷蓄積部及び前記第３電荷蓄積部に、順に振り分けて蓄積され、前記第２距離よりも大きい第３距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第３電荷蓄積部及び前記第４電荷蓄積部に、順に振り分けて蓄積されるように制御し、前記第２処理では、前記第２電荷蓄積部、前記第３電荷蓄積部及び前記第４電荷蓄積部に電荷を蓄積させるタイミングが前記第１処理と同じタイミングであり、前記第３距離よりも大きい第４距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が、前記第４電荷蓄積部及び前記第１電荷蓄積部に、順に振り分けて蓄積されるように制御する。
【0027】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記第１距離にある前記被写体に反射した前記光パルスの反射光に対応する電荷が予め設定された閾値より多く蓄積されるように前記第１回数を決定し、前記閾値は、電荷蓄積部において許容される蓄積電荷量の上限に応じて決定された値である。
【0028】
本発明の距離画像撮像装置では、前記距離画像処理部は、１フレーム期間において、ランダムまたは疑似ランダムに、前記第１処理及び前記第２処理を実行する。
【0029】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記第１処理における前記第１電荷蓄積部が外光成分に対応する電荷のみが蓄積される前記電荷蓄積部である外光電荷蓄積部であり、前記第２処理における前記第１電荷蓄積部が前記被写体に反射した前記光パルスの反射光に対応する電荷が振り分けて蓄積される反射光電荷蓄積部である場合、又は前記第１処理における前記第１電荷蓄積部が前記反射光電荷蓄積部であり、前記第２処理における前記第１電荷蓄積部が前記外光電荷蓄積部である場合、前記第１電荷蓄積部に蓄積された電荷量を補正し、補正した電荷量を用いて前記被写体までの距離を演算する。
【0030】
本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、を備える距離画像撮像装置による距離画像撮像方法であって、距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算し、二つの前記電荷蓄積部に前記被写体に反射した前記光パルスの反射光に応じた電荷を振り分けて蓄積させる場合において、前記反射光の強度に応じて、前記二つの前記電荷蓄積部に前記反射光の応じた電荷を蓄積させる反射光蓄積時間が、１フレーム期間において互いに異なる時間となるように制御する。
【発明の効果】
【0031】
本発明によれば、画素が受光する反射光の強度に応じて、画素が備える複数の電荷蓄積部のそれぞれに、互いに異なる時間で反射光による電荷を蓄積させることができる。
【図面の簡単な説明】
【0032】
【図1】第１の実施形態の距離画像撮像装置１の概略構成を示したブロック図である。
【図2】第１の実施形態の距離画像センサ３２の概略構成を示したブロック図である。
【図3】第１の実施形態の画素３２１の構成の一例を示した回路図である。
【図4A】従来の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図4B】従来の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図5A】第１の実施形態の測定モードＭ１における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図5B】第１の実施形態の測定モードＭ１における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図6】第１の実施形態の測定モードＭ１における距離画像撮像装置１が行う処理の流れを示すフローチャートである。
【図7】第１の実施形態の測定モードＭ２における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図8】第１の実施形態の測定モードＭ２における距離画像撮像装置１が行う処理の流れを示すフローチャートである。
【図9A】第２の実施形態の測定モードＭ３における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図9B】第２の実施形態の測定モードＭ３における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図10】第２の実施形態の測定モードＭ３における距離画像撮像装置１が行う処理の流れを示すフローチャートである。
【図11A】第２の実施形態の測定モードＭ４における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図11B】第２の実施形態の測定モードＭ４における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図12】第２の実施形態の測定モードＭ４における距離画像撮像装置１が行う処理の流れを示すフローチャートである。
【図13A】第３の実施形態の測定モードＭ５における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図13B】第３の実施形態の測定モードＭ５における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図13C】第３の実施形態の測定モードＭ５における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図14】第３の実施形態の測定モードＭ５における距離画像撮像装置１が行う処理の流れを示すフローチャートである。
【図15】実施形態の変形例における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図16】実施形態の変形例における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図17】第４の実施形態において電荷蓄積部を三つ備える構成における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図18A】第４の実施形態において電荷蓄積部を四つ備える構成における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図18B】第４の実施形態において電荷蓄積部を四つ備える構成における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図19】実施形態の効果を説明する図である。
【発明を実施するための形態】
【0033】
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
【0034】
＜第１の実施形態＞
まず、第１の実施形態について説明する。図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
まず、第１の実施形態について説明する。図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
【0035】
光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
【0036】
光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
【0037】
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
【0038】
受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
【0039】
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
【0040】
距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
【0041】
距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
【0042】
距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。
【0043】
タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分ける信号、１フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分ける処理を繰返す回数である。この電振り分け回数と、電荷を振り分ける処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間（後述する蓄積時間Ｔａ）の積が露光時間となる。
【0044】
距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄ（図４Ａ参照）を算出する。距離演算部４２は、算出した遅延時間Ｔｄに応じて被写体ＯＢまでの距離を演算する。
【0045】
距離演算部４２は、各画素における複数の電荷蓄積部に蓄積された電荷量に基づいて、各画素における被写体ＯＢまでの距離区分（例えば、近距離、遠距離などの区分）に分類する。そして、距離演算部４２は、分類結果に応じて、複数の電荷蓄積部から遅延時間Ｔｄを算出する電荷蓄積部を選択する。距離演算部４２は、選択した電荷蓄積部に応じた演算式を用いて被写体ＯＢまでの距離を算出する。距離演算部４２が、画素毎に距離区分を分類する方法、電荷蓄積部を選択する方法、及び距離を算出する方法については後で詳しく説明する。
【0046】
測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの振り分け回数及び蓄積時間Ｔａを設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
【0047】
本実施形態では、測定制御部４３は、同一の画素に設けられた複数の電荷蓄積部について、それぞれの露光時間が互いに異なる時間となるように設定する。すなわち、測定制御部４３は、同一画素に設けられた複数の電荷蓄積部のそれぞれの振り分け回数と蓄積時間Ｔａとの積が異なる値とする。測定制御部４３は、例えば、複数の電荷蓄積部に同一の蓄積時間Ｔａを適用する一方で、互いに異なる振り分け回数を適用することによって、それぞれの露光時間を互いに異なる時間に設定する。
【0048】
以下では、測定制御部４３が、１フレーム内に複数の測定ステップを設け、それぞれの測定ステップにおいて、各電荷蓄積部の振り分け回数が異なる回数となるように設定する場合を例に説明する。測定ステップの詳細については、後で詳しく説明する。
【0049】
しかしながらこの構成に限定されることはない。測定制御部４３は、少なくとも、同一の画素に設けられた複数の電荷蓄積部について、それぞれの露光時間が互いに異なる時間となるようにタイミング制御部４１を制御すればよい。例えば、測定制御部４３は、各電荷蓄積部について、振り分け回数を同一とするが蓄積時間Ｔａを異なる時間とすることによって、各電荷蓄積部の露光時間を異なる時間とするようにしてもよい。また、測定制御部４３は、１フレーム内に複数の測定ステップを設けることなく、各電荷蓄積部の振り分け回数、又は／及び蓄積時間Ｔａを異なる値とすることにより各電荷蓄積部の露光時間を異なる時間とするようにしてもよい。
【0050】
このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。
【0051】
なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
【0052】
次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、本発明の第１の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。
【0053】
図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
【0054】
受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
【0055】
垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
【0056】
画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
【0057】
水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
【0058】
以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
【0059】
ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、第１の実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。
【0060】
画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
【0061】
なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
【0062】
図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。
【0063】
光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
【0064】
画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
【0065】
距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、４つ以上であってもよい。
【0066】
また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
【0067】
また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
【0068】
次に、距離画像撮像装置１における、従来の画素３２１の駆動タイミングについて図４Ａ、図４Ｂを用いて説明する。図４Ａ、図４Ｂは、従来の画素３２１を駆動するタイミングを示すタイミングチャートである。図４Ａには、近距離からの反射光を受光する画素（近距離受光画素）のタイミングチャートが示されている。図４Ｂには、遠距離からの反射光を受光する画素（遠距離受光画素）のタイミングチャートが示されている。ここで、近距離は「第１距離」の一例である。遠距離は、「第２距離」の一例である。
【0069】
図４Ａ、図４Ｂでは、光パルスＰＯを照射するタイミングを「Ｌ」、反射光が受光されるタイミングを「Ｒ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２、ＴＸ３についても同様である。
【0070】
図４Ａ、図４Ｂに示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光されるとする。垂直走査回路３２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。図４Ａ、図４Ｂでは、１回の振り分け処理において、光パルスＰＯを照射して電荷蓄積部ＣＳに順に電荷を蓄積させるまでの時間を「単位蓄積時間」と表している。
【0071】
まず、図４Ａを用いて近距離にある物体からの反射光ＲＬを受光する場合について説明する。垂直走査回路３２３は、光パルスＰＯを照射させるタイミングに同期させて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
【0072】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
【0073】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
【0074】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0075】
垂直走査回路３２３は、上述したような駆動を、１フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子Ｏ２、Ｏ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号が距離演算部４２に出力される。
【0076】
なお、上記では、光源部２が読み出しゲートトランジスタＧ１がオン状態となったタイミングで、光パルスＰＯを照射する場合を例に説明した。しかしながらこれに限定されることはない。光源部２は、少なくとも近距離にある物体からの反射光ＲＬが電荷蓄積部ＣＳ１、ＣＳ２に跨って受光されるようなタイミングで照射されればよい。例えば、光源部２は、読み出しゲートトランジスタＧ１がオン状態となる手前のタイミングで照射されるようにしてもよい。また、上記では、光パルスＰＯを照射する照射時間Ｔｏが蓄積時間Ｔａと同じ長さである場合を例に説明した。しかしながらこれに限定されることはない。照射時間Ｔｏと蓄積時間Ｔａとが異なる時間間隔であってもよい。
【0077】
図４Ａに示すような近距離受光画素においては、光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１及びＣＳ２に、反射光ＲＬ及び外光成分に相当する電荷量が振り分けられて保持される。また、電荷蓄積部ＣＳ３には背景光などの外光成分に相当する電荷量が保持される。電荷蓄積部ＣＳ１及びＣＳ２に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体ＯＢに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
【0078】
距離演算部４２は、この原理を利用して、従来の近距離受光画素においては、以下の（１）式により、遅延時間Ｔｄを算出する。
【0079】
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－２×Ｑ３） …（１）
【0080】
ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。なお、（１）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。
【0081】
距離演算部４２は、近距離受光画素においては、（１）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0082】
次に、図４Ｂを用いて遠距離にある物体からの反射光ＲＬを受光する場合について説明する。垂直走査回路３２３が、光パルスＰＯを照射させるタイミング、読み出しゲートトランジスタＧ１～Ｇ３、及びドレインゲートトランジスタＧＤをオン状態とするタイミング等は、図４Ａと同様であるため、その説明を省略する。
【0083】
図４Ｂに示すような遠距離受光画素においては、図４Ａの近距離受光画素と比較して遅延時間Ｔｄが大きい。このため、電荷蓄積部ＣＳ１に外光成分に相当する電荷量が保持され、電荷蓄積部ＣＳ２及びＣＳ３に反射光ＲＬ及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部ＣＳ２及びＣＳ３に振り分けられる電荷量の配分（振り分け比率）は遅延時間Ｔｄに応じた比率となる。
【0084】
距離演算部４２は、従来の遠距離受光画素においては、以下の（２）式により、遅延時間Ｔｄを算出する。
【0085】
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１） …（２）
【0086】
ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。なお、（２）式では、電荷蓄積部ＣＳ２及びＣＳ３に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
【0087】
距離演算部４２は、遠距離受光画素においては、（２）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0088】
ここで、図４Ｂに示すような遠距離受光画素の場合、図４Ａのような近距離受光画素の場合と比較して、反射光ＲＬの光量が低下する。反射光ＲＬの光量が低下すると、測定する距離の精度が劣化する要因となる。このため、遠距離にある物体までの距離を測定する場合には、振り分け回数を増やす等して、露光時間を増加させ、測定の精度を向上させることが考えられる。
【0089】
しかし、一般的に、距離画像撮像装置１では、全ての画素において同一のタイミングで蓄積の動作が行われる。このため、特定の画素（ここでは、遠距離受光画素）だけを別のタイミングで駆動させて露光時間を増加させることは困難である。すなわち、近距離受光画素と、遠距離受光画素とは同じ露光時間に設定される。
【0090】
したがって、測定範囲に近距離にある物体と遠距離にある物体が混在している場合、近距離受光画素における電荷蓄積部ＣＳ１を飽和させない振り分け回数で電荷を蓄積させた場合には遠距離にある物体までの距離の精度が劣化する。一方、遠距離にある物体までの距離の精度が向上するように遠距離受光画素における電荷蓄積部ＣＳ２、ＣＳ３の露光時間を増加させた場合には、近距離受光画素における電荷蓄積部ＣＳ１が飽和してしまい近距離にある物体までの距離を正しく演算することができなくなる。つまり、近距離受光画素の電荷蓄積部ＣＳ１が受光する反射光ＲＬの強度によって、全ての画素における露光時間の上限が決まってしまう。このため、近距離にある物体と遠距離にある物体が混在している場合に、遠距離にある物体を精度よく測定することが困難となる。
【0091】
この対策として、本実施形態では、同一の画素に設けられた複数（本実施形態では三つ）の電荷蓄積部ＣＳの各々が異なる露光時間となるように、電荷蓄積部ＣＳの各々の振り分け回数を制御する。距離演算部４２が、電荷蓄積部ＣＳの各々の振り分け回数を制御する方法について、以下に詳しく説明する。
【0092】
（測定モードＭ１）
まず、測定モードＭ１について、図５Ａ、図５Ｂを用いて説明する。図５Ａ、図５Ｂは、第１の実施形態における画素３２１を駆動するタイミングの第１例を示すタイミングチャートである。図５Ａには、近距離からの反射光を受光する画素（近距離受光画素）のタイミングチャートが示されている。図５Ｂには、遠距離からの反射光を受光する画素（遠距離受光画素）のタイミングチャートが示されている。図５Ａ、図５Ｂにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
まず、測定モードＭ１について、図５Ａ、図５Ｂを用いて説明する。図５Ａ、図５Ｂは、第１の実施形態における画素３２１を駆動するタイミングの第１例を示すタイミングチャートである。図５Ａには、近距離からの反射光を受光する画素（近距離受光画素）のタイミングチャートが示されている。図５Ｂには、遠距離からの反射光を受光する画素（遠距離受光画素）のタイミングチャートが示されている。図５Ａ、図５Ｂにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
【0093】
図５Ａ、図５Ｂに示すように、本実施形態の測定モードＭ１では、１フレームに二つの測定ステップ（１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰ）が設けられる。１ｓｔＳＴＥＰでは、従来の駆動方法が適用される電荷の蓄積が行われる。従来の駆動タイミングとは、例えば、図４Ａ、図４Ｂのタイミングチャートに示されるような、光パルスＰＯの照射タイミングに同期させて、読み出しゲートトランジスタＧ１～Ｇ３に、順次、電荷を蓄積させる方法である。
【0094】
そして、２ｎｄＳＴＥＰでは、電荷蓄積部ＣＳ１には電荷が蓄積されず、電荷蓄積部ＣＳ２及びＣＳ３に電荷が蓄積されるように制御される。具体的に、図５Ａに示すように、垂直走査回路３２３は、２ｎｄＳＴＥＰでは読み出しゲートトランジスタＧ１をオン状態に制御しない。一方、垂直走査回路３２３は、１ｓｔＳＴＥＰと同様のタイミングで、読み出しゲートトランジスタＧ２、Ｇ３をオン状態とする。
【0095】
すなわち、垂直走査回路３２３は、光パルスＰＯの照射から蓄積時間Ｔａ遅れたタイミングで、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態とする。また、垂直走査回路３２３は、読み出しゲートトランジスタＧ２をオフ状態としたタイミングで読み出しゲートトランジスタＧ３を蓄積時間Ｔａオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオフ状態としたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。２ｎｄＳＴＥＰでは、ドレインゲートトランジスタＧＤがオフ状態となるのは、電荷蓄積部ＣＳ２及びＣＳ３に電荷を蓄積させる時間（２×Ｔａ）となる。
【0096】
このような構成とすることにより、図５Ａに示すような近距離受光画素の場合には電荷蓄積部ＣＳ１、ＣＳ２に電荷を振り分けて蓄積させ、図５Ｂに示すような遠距離受光画素の場合には電荷蓄積部ＣＳ２、ＣＳ３に電荷を振り分けて蓄積させることができる。しかも、本実施形態では、同一の画素に設けられた電荷蓄積部ＣＳ１と、ＣＳ２及びＣＳ３とで露光時間を異なる時間とすることができる。これにより、近距離受光画素の電荷蓄積部ＣＳ１が飽和しない範囲で電荷を蓄積させると共に、遠距離受光画素の電荷蓄積部ＣＳ２及びＣＳ３により多くの電荷を蓄積させることが可能となる。したがって、測定範囲に近距離にある物体と遠距離にある物体が混在している場合であっても、遠距離にある物体を精度よく測定することが可能となる。
【0097】
なお、本実施形態の測定モードＭ１における１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰの振り分け回数は、状況に応じて任意に設定されてよい。例えば、１ｓｔＳＴＥＰの振り分け回数は、近距離受光画素の電荷蓄積部ＣＳ１が飽和しない範囲を上限に設定される。また、２ｎｄＳＴＥＰの振り分け回数は、画素３２１（近距離受光画素、及び遠距離受光画素を含む）の電荷蓄積部ＣＳ２、ＣＳ３が飽和しない範囲で、且つ、遠距離受光画素の電荷蓄積部ＣＳ２、ＣＳ３に蓄積される電荷量が、精度よく距離を演算することができる程度に大きな値となるように設定される。
【0098】
ここで、本実施形態において図５Ａのタイミングチャートにしたがって画素３２１を駆動させた場合、距離演算部４２は、近距離にある物体までの距離を演算する過程において（１）式を適用することができない。電荷蓄積部ＣＳ１とＣＳ２とでは、１フレームにおいて反射光ＲＬを受光した時間（露光時間）が異なり、電荷蓄積部ＣＳ１とＣＳ３とでは１フレームにおいて外光を受光した時間（露光時間）が異なるためである。そこで、距離演算部４２は、電荷蓄積部ＣＳ１とＣＳ２の露光時間、及び電荷蓄積部ＣＳ１とＣＳ３の露光時間が同等の露光時間となるように補正する。
【0099】
例えば、距離演算部４２は、測定モードＭ１の近距離受光画素においては、以下の（３）式、及び（４）式を適用することにより、遅延時間Ｔｄを算出する。
【0100】
Ｑ１＃＝Ｑ１×｛（ｘ＋ｙ）／ｘ｝ …（３）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＃＋Ｑ２－２×Ｑ２） …（４）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＃＋Ｑ２－２×Ｑ２） …（４）
【0101】
ここで、（３）式におけるＱ１＃は電荷蓄積部ＣＳ１に蓄積された（補正後の）電荷量である。ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１の露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３の露光時間である。Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。また、（４）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１＃は電荷蓄積部ＣＳ１に蓄積された（補正後の）電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。また、（４）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する成分が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。
【0102】
距離演算部４２は、本実施形態の近距離受光画素においては、（４）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0103】
同様な考え方を適用し、距離演算部４２は、遠距離受光画素においては、以下の（５）式、及び（６）式を適用することにより、遅延時間Ｔｄを算出する。
【0104】
Ｑ１＃＝Ｑ１×｛（ｘ＋ｙ）／ｘ｝ …（５）
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１＃）／（Ｑ２＋Ｑ３－２×Ｑ１＃） …（６）
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１＃）／（Ｑ２＋Ｑ３－２×Ｑ１＃） …（６）
【0105】
ここで、（５）式におけるｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１の露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３の露光時間である。Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。また、（６）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１＃は補正後の電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。また、（６）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。
【0106】
距離演算部４２は、本実施形態の遠距離受光画素においては、（６）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0107】
このように、本実施形態では、二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を振り分けて蓄積させる場合において、反射光ＲＬの強度に応じて、当該二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を蓄積させる時間（「反射光蓄積時間」の一例）が、１フレーム期間において互いに異なる時間となるように制御する。上述したように、反射光ＲＬの強度は、距離画像撮像装置から対象物までの距離、照射光パルス自体の強度、及び対象物の反射率によって変化する。本実施形態では、例えば、反射光ＲＬの強度を、光パルスＰＯの強度、及び対象物体の反射率が一定であると仮定し、対象物体の距離に応じて反射光ＲＬの強度が変化することに着目する。具体的には、近距離に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合と、そうでない場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が異なる時間となるように制御する。
【0108】
図５Ａ、図５Ｂでは、図５Ａのように近距離に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合、図５Ｂのように遠距離にある物体に反射した反射光を受光する場合と比較して、反射光ＲＬの強度が大きい。図５Ａの場合と、図５Ｂの場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が同じ時間となるように制御した場合、図５Ａの場合には反射光ＲＬに応じた電荷量が飽和してしまい、図５Ｂの場合には反射光ＲＬに応じた電荷の蓄積量が少なくなってしまい、何れの場合においても距離精度が低下してしまう可能性がある。この対策として、距離画像処理部４は、強度が大きい反射光ＲＬを受光した場合には電荷蓄積部ＣＳを飽和させることなく、かつ強度が小さい反射光ＲＬ受光した場合には電荷蓄積部ＣＳに多くの電荷が蓄積されるように制御する。つまり、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。これにより、より強度が大きい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳ１を飽和させないようにしつつ、より強度が小さい反射光ＲＬに応じた電荷を蓄積する他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ２、ＣＳ３）に多くの電荷を蓄積させることが可能となる。ここで、図５Ａにおける電荷蓄積部ＣＳ１及びＣＳ２は「反射光ＲＬに応じた電荷を振り分けて蓄積させる二つの電荷蓄積部」の一例である。
【0109】
具体的に、図５Ａ、図５Ｂでは、１フレーム期間に、全ての電荷蓄積部ＣＳ１～ＣＳ３に電荷を蓄積させる１ｓｔＳＴＥＰと、光パルスＰＯの照射と電荷蓄積部ＣＳの蓄積との相対的なタイミングを１ｓｔＳＴＥＰと同様にして電荷蓄積部ＣＳ１には電荷を蓄積させずに電荷蓄積部ＣＳ２及びＣＳ３に電荷を蓄積させる２ｎｄＳＴＥＰと、が設けられる。これにより、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。より具体的には、距離画像処理部４は、電荷蓄積部ＣＳ１の反射光蓄積時間を（ｘ）とし、電荷蓄積部ＣＳ２の反射光蓄積時間を（ｘ＋ｙ）とする。ここで、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ３のそれぞれの露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２及びＣＳ３のそれぞれの露光時間である。
【0110】
距離演算部４２は、測定範囲に近距離にある物体と遠距離にある物体とが混在している場合、画素に応じて上記の（４）式、又は（６）式を適用することにより、遠距離にある物体の距離精度を向上させることができる。しかし、距離演算部４２は、画素３２１に上記の（４）式、又は（６）式の何れの式を適用させればよいかが、予め判らない。そこで、距離演算部４２は、距離を演算する過程において、補正後の電荷量Ｑ１（つまり、電荷量Ｑ１＃）と、電荷量Ｑ３とを比較することにより、画素３２１に（４）式、又は（６）式の何れの式を適用するか判定する。
【0111】
上述したように、画素３２１が近距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ１及びＣＳ２に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ３に受光される。この場合、電荷量Ｑ１＃は電荷量Ｑ３よりも大きい値となる。この性質を利用して、距離演算部４２は、電荷量Ｑ１＃＞電荷量Ｑ３である場合に、画素３２１が近距離受光画素であると判定し、距離の演算に（４）式を適用すると判定する。
【0112】
一方、画素３２１が遠距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ２及びＣＳ３に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１に受光される。この場合、電荷量Ｑ１＃は電荷量Ｑ３よりも小さい値となる。この性質を利用して、距離演算部４２は、電荷量Ｑ１＃≦電荷量Ｑ３である場合に、画素３２１が遠距離受光画素であると判定し、距離の演算に（６）式を適用すると判定する。
【0113】
ここで、第１の実施形態の測定モードＭ１における距離画像撮像装置１が行う処理の流れを、図６を用いて説明する。
【0114】
工程Ｓ１０：
距離画像撮像装置１は、まず、測定制御部４３によって、予め１ｓｔＳＴＥＰの露光時間ｘ、及び２ｎｄＳＴＥＰの露光時間ｙを設定する。
工程Ｓ１１：
距離画像撮像装置１は、動作を開始する。距離画像撮像装置１は、例えば、操作者により撮像ボタンが押下されるなどの操作をトリガとして距離測定のための動作を開始する。
工程Ｓ１２：
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ３に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ２、ＣＳ３に、さらに露光時間ｙに対応する電荷を蓄積させる。
工程Ｓ１３：
距離画像撮像装置１は、距離画像撮像装置１に設けられた複数の画素３２１の各々に１フレーム分の蓄積を行った後、距離を演算する画素３２１を選択する。
工程Ｓ１４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃が、電荷量Ｑ３より大きいか否かを判定する。距離画像撮像装置１は、（３）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃が電荷量Ｑ３より大きいか否かを判定する。
工程Ｓ１５：
距離画像撮像装置１は、電荷量Ｑ１＃が電荷量Ｑ３より大きい場合、測定モードＭ１における近距離受光画素に対応する演算式（上述した（４）式）を適用して測定距離を演算する。
工程Ｓ１６：
距離画像撮像装置１は、次の画素３２１に移行し、工程Ｓ１３に戻る。距離画像撮像装置１は、例えば、算出した距離を画素３２１の位置座標に対応づけて保持し、未だ距離を演算していない画素３２１の距離を算出する処理に移行する。
工程Ｓ１７：
一方、距離画像撮像装置１は、工程Ｓ１４において電荷量Ｑ１＃が電荷量Ｑ３以下である場合、測定モードＭ１における遠距離受光画素に対応する演算式（上述した（６）式）を適用して測定距離を演算する。距離画像撮像装置１は、演算後に工程Ｓ１６に進み次の画素３２１に移行する。
距離画像撮像装置１は、まず、測定制御部４３によって、予め１ｓｔＳＴＥＰの露光時間ｘ、及び２ｎｄＳＴＥＰの露光時間ｙを設定する。
工程Ｓ１１：
距離画像撮像装置１は、動作を開始する。距離画像撮像装置１は、例えば、操作者により撮像ボタンが押下されるなどの操作をトリガとして距離測定のための動作を開始する。
工程Ｓ１２：
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ３に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ２、ＣＳ３に、さらに露光時間ｙに対応する電荷を蓄積させる。
工程Ｓ１３：
距離画像撮像装置１は、距離画像撮像装置１に設けられた複数の画素３２１の各々に１フレーム分の蓄積を行った後、距離を演算する画素３２１を選択する。
工程Ｓ１４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃が、電荷量Ｑ３より大きいか否かを判定する。距離画像撮像装置１は、（３）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃が電荷量Ｑ３より大きいか否かを判定する。
工程Ｓ１５：
距離画像撮像装置１は、電荷量Ｑ１＃が電荷量Ｑ３より大きい場合、測定モードＭ１における近距離受光画素に対応する演算式（上述した（４）式）を適用して測定距離を演算する。
工程Ｓ１６：
距離画像撮像装置１は、次の画素３２１に移行し、工程Ｓ１３に戻る。距離画像撮像装置１は、例えば、算出した距離を画素３２１の位置座標に対応づけて保持し、未だ距離を演算していない画素３２１の距離を算出する処理に移行する。
工程Ｓ１７：
一方、距離画像撮像装置１は、工程Ｓ１４において電荷量Ｑ１＃が電荷量Ｑ３以下である場合、測定モードＭ１における遠距離受光画素に対応する演算式（上述した（６）式）を適用して測定距離を演算する。距離画像撮像装置１は、演算後に工程Ｓ１６に進み次の画素３２１に移行する。
【0115】
（測定モードＭ２）
次に、測定モードＭ２について、図７を用いて説明する。図７は、第１の実施形態における画素３２１を駆動するタイミングの第２例を示すタイミングチャートである。図７には、遠距離からの反射光を受光する画素（遠距離受光画素）のタイミングチャートが示されている。図７における「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
次に、測定モードＭ２について、図７を用いて説明する。図７は、第１の実施形態における画素３２１を駆動するタイミングの第２例を示すタイミングチャートである。図７には、遠距離からの反射光を受光する画素（遠距離受光画素）のタイミングチャートが示されている。図７における「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
【0116】
図７に示すように、本実施形態では、１フレームに三つの測定ステップ（１ｓｔＳＴＥＰ、２ｎｄＳＴＥＰ、及び３ｒｄＳＴＥＰ）を備える。測定制御部４３は、１ｓｔＳＴＥＰでは従来のタイミングを適用した電荷の蓄積を行う。測定制御部４３は、２ｎｄＳＴＥＰでは測定モードＭ１の２ｎｄＳＴＥＰと同様のタイミングを適用した電荷の蓄積を行う。
【0117】
そして、測定制御部４３は、３ｒｄＳＴＥＰでは、電荷蓄積部ＣＳ１及びＣＳ２に電荷を蓄積させず、電荷蓄積部ＣＳ３にのみ電荷が蓄積されるように制御する。具体的に、図５Ｃに示すように、垂直走査回路３２３は、３ｒｄＳＴＥＰでは読み出しゲートトランジスタＧ１及びＧ２をオン状態に制御しない。一方、垂直走査回路３２３は、読み出しゲートトランジスタＧ３を、１ｓｔＳＴＥＰと同様のタイミングでオン状態とする。
【0118】
すなわち、垂直走査回路３２３は、光パルスＰＯの照射から（蓄積時間Ｔａ）×３遅れたタイミングで、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ３をオン状態とする。また、垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオン状態としてから蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
【0119】
また、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。すなわち、３ｒｄＳＴＥＰでは、ドレインゲートトランジスタＧＤがオフ状態となるのは、電荷蓄積部ＣＳ３に電荷を蓄積させる時間（１×Ｔａ）となる。
【0120】
このような構成とすることにより、本実施形態では、同一の画素に設けられた電荷蓄積部ＣＳ１～ＣＳ３の各々の露光時間を異なる時間とすることができる。これにより、電荷蓄積部ＣＳ１～ＣＳ３の各々を飽和しない範囲で、より多くの電荷を蓄積させることが可能となる。
【0121】
例えば、測定範囲において、近距離、中距離、及び遠距離にある物体が混在している場合を考える。中距離にある物体とは、電荷蓄積部ＣＳ１及びＣＳ２に反射光ＲＬが振り分けて蓄積され、その際に電荷蓄積部ＣＳ２により大きい比率で電荷が蓄積されるような距離にある物体である。このような場合、２ｎｄＳＴＥＰで振り分け回数を増やすと、中距離受光画素（中距離にある物体からの反射光ＲＬを受光する画素３２１）の電荷蓄積部ＣＳ２を飽和させてしまう可能性がある。このような場合に、２ｎｄＳＴＥＰにおける振り分け回数を中距離受光画素の電荷蓄積部ＣＳ２を飽和させない範囲とし、３ｒｄＳＴＥＰにおいて、遠距離受光画素の電荷蓄積部ＣＳ３により多くの電荷を蓄積させることが可能となる。
【0122】
測定モードＭ２が適用された場合、距離演算部４２は、以下の（７）式～（１０）式を適用することにより、遅延時間Ｔｄを算出する。
【0123】
Ｑ１＃＃＝Ｑ１×｛（ｘ＋ｙ＋ｚ）／ｘ ｝ …（７）
Ｑ２＃ ＝Ｑ２×｛（ｘ＋ｙ＋ｚ）／（ｘ＋ｙ）｝ …（８）
Ｔｄ＝Ｔｏ×（Ｑ２＃－Ｑ３ ）／（Ｑ１＃＃＋Ｑ２－２×Ｑ３ ） …（９）
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１＃＃）／（Ｑ２＃ ＋Ｑ３－２×Ｑ１＃＃） …（１０）
Ｑ２＃ ＝Ｑ２×｛（ｘ＋ｙ＋ｚ）／（ｘ＋ｙ）｝ …（８）
Ｔｄ＝Ｔｏ×（Ｑ２＃－Ｑ３ ）／（Ｑ１＃＃＋Ｑ２－２×Ｑ３ ） …（９）
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１＃＃）／（Ｑ２＃ ＋Ｑ３－２×Ｑ１＃＃） …（１０）
【0124】
ここで、（７）式におけるＱ１＃＃は電荷蓄積部ＣＳ１に蓄積された（補正後の）電荷量である。ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１の露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３の露光時間である。ｚは３ｒｄＳＴＥＰにおける電荷蓄積部ＣＳ３の露光時間である。Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。また、（８）式におけるＱ２＃は電荷蓄積部ＣＳ２に蓄積された（補正後の）電荷量である。Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量である。また、（９）式のＴｄは、近距離受光画素における遅延時間である。また、（１０）式のＴｄは、遠距離受光画素における遅延時間である。（９）式、及び（１０）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１＃＃は電荷蓄積部ＣＳ１に蓄積された（補正後の）電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。また、（９）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。（１０）式では、電荷蓄積部ＣＳ２及びＣＳ３に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
【0125】
このように、本実施形態では、二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を振り分けて蓄積させる場合において、反射光ＲＬの強度に応じて、当該二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を蓄積させる時間（「反射光蓄積時間」の一例）が、１フレーム期間において互いに異なる時間となるように制御する。本実施形態では、例えば、反射光ＲＬの強度を、光パルスＰＯの強度、及び対象物体の反射率が一定であると仮定し、対象物体の距離に応じて反射光ＲＬの強度が変化することに着目する。
【0126】
図７のように中距離に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合、遠距離にある物体に反射した反射光を受光する場合と比較して、反射光ＲＬの強度が大きい。図７の場合と、遠距離にある物体に反射した反射光を受光する場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が同じ時間となるように制御した場合、図７の場合には反射光ＲＬに応じた電荷量が飽和してしまい、遠距離にある物体に反射した反射光を受光する場合には反射光ＲＬに応じた電荷の蓄積量が少なくなってしまい、何れの場合においても距離精度が低下してしまう可能性がある。この対策として、距離画像処理部４は、強度が大きい反射光ＲＬを受光した場合には電荷蓄積部ＣＳを飽和させることなく、かつ強度が小さい反射光ＲＬ受光した場合には多くの電荷が蓄積されるように制御する。つまり、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ２の反射光蓄積時間が、電荷蓄積部ＣＳ３の反射光蓄積時間よりも小さくなるように制御する。これにより、より強度が大きい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳ２を飽和させないようにしつつ、より強度が小さい反射光ＲＬに応じた電荷を蓄積する他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ３）に多くの電荷を蓄積させることができる。ここで、図７における電荷蓄積部ＣＳ２及びＣＳ３は「反射光ＲＬに応じた電荷を振り分けて蓄積させる二つの電荷蓄積部」の一例である。
【0127】
具体的に、図７では、１フレーム期間に、全ての電荷蓄積部ＣＳ１～ＣＳ３に電荷を蓄積させる１ｓｔＳＴＥＰと、光パルスＰＯの照射と電荷蓄積部ＣＳの蓄積との相対的なタイミングを１ｓｔＳＴＥＰと同様にして電荷蓄積部ＣＳ１には電荷を蓄積させずに電荷蓄積部ＣＳ２及びＣＳ３に電荷を蓄積させる２ｎｄＳＴＥＰと、電荷蓄積部ＣＳ１及びＣＳ２には電荷を蓄積させずに電荷蓄積部ＣＳ３のみに電荷を蓄積させる３ｒｄＳＴＥＰと、が設けられる。これにより、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ２の反射光蓄積時間が、電荷蓄積部ＣＳ３の反射光蓄積時間よりも小さくなるように制御する。より具体的には、距離画像処理部４は、電荷蓄積部ＣＳ２の反射光蓄積時間を（ｘ＋ｙ）とし、電荷蓄積部ＣＳ３の反射光蓄積時間を（ｘ＋ｙ＋ｚ）とする。ここで、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ３のそれぞれの露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２及びＣＳ３のそれぞれの露光時間である。ｚは３ｒｄＳＴＥＰにおける電荷蓄積部ＣＳ３の露光時間である。
【0128】
ここで、第１の実施形態の測定モードＭ２における距離画像撮像装置１における処理の流れを、図８を用いて説明する。図８に示すフローチャートにおける工程Ｓ２１、Ｓ２３、及びＳ２６は、図６の工程Ｓ１１、Ｓ１３、及びＳ１６と同様であるため、その説明を省略する。
【0129】
工程Ｓ２０：
距離画像撮像装置１は、まず、測定制御部４３によって、予め１ｓｔＳＴＥＰの露光時間ｘと、２ｎｄＳＴＥＰの露光時間ｙと、３ｒｄＳＴＥＰの露光時間ｚとを設定する。
工程Ｓ２２：
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙ、ｚで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ３に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ２、ＣＳ３に、さらに露光時間ｙに対応する電荷を蓄積させる。また、距離画像撮像装置１は、３ｒｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ３に、さらに露光時間ｚに対応する電荷を蓄積させる。
工程Ｓ２４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃＃が、電荷量Ｑ３より大きいか否かを判定する。距離画像撮像装置１は、（７）式に基づいて補正後の電荷量Ｑ１＃＃を算出し、算出した電荷量Ｑ１＃＃と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃＃が電荷量Ｑ３より大きいか否かを判定する。
工程Ｓ２５：
距離画像撮像装置１は、電荷量Ｑ１＃＃が電荷量Ｑ３より大きい場合、測定モードＭ２における近距離受光画素に対応する演算式（上述した（９）式）を適用して測定距離を演算する。距離画像撮像装置１は、（８）式に基づいて補正後の電荷量Ｑ２＃を算出し、算出した電荷量Ｑ２＃と、先に算出した電荷量Ｑ１＃＃、及び電荷量Ｑ３を（９）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（近距離受光画素）における測定距離を算出する。
工程Ｓ２７：
一方、距離画像撮像装置１は、工程Ｓ２４において電荷量Ｑ１＃＃が電荷量Ｑ３以下である場合、測定モードＭ２における遠距離受光画素に対応する演算式（上述した（１０）式）を適用して測定距離を演算する。距離画像撮像装置１は、（８）式に基づいて補正後の電荷量Ｑ２＃を算出し、算出した電荷量Ｑ２＃と、先に算出した電荷量Ｑ１＃＃、及び電荷量Ｑ３を（１０）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（遠距離受光画素）における測定距離を算出する。
距離画像撮像装置１は、まず、測定制御部４３によって、予め１ｓｔＳＴＥＰの露光時間ｘと、２ｎｄＳＴＥＰの露光時間ｙと、３ｒｄＳＴＥＰの露光時間ｚとを設定する。
工程Ｓ２２：
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙ、ｚで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ３に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ２、ＣＳ３に、さらに露光時間ｙに対応する電荷を蓄積させる。また、距離画像撮像装置１は、３ｒｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ３に、さらに露光時間ｚに対応する電荷を蓄積させる。
工程Ｓ２４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃＃が、電荷量Ｑ３より大きいか否かを判定する。距離画像撮像装置１は、（７）式に基づいて補正後の電荷量Ｑ１＃＃を算出し、算出した電荷量Ｑ１＃＃と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃＃が電荷量Ｑ３より大きいか否かを判定する。
工程Ｓ２５：
距離画像撮像装置１は、電荷量Ｑ１＃＃が電荷量Ｑ３より大きい場合、測定モードＭ２における近距離受光画素に対応する演算式（上述した（９）式）を適用して測定距離を演算する。距離画像撮像装置１は、（８）式に基づいて補正後の電荷量Ｑ２＃を算出し、算出した電荷量Ｑ２＃と、先に算出した電荷量Ｑ１＃＃、及び電荷量Ｑ３を（９）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（近距離受光画素）における測定距離を算出する。
工程Ｓ２７：
一方、距離画像撮像装置１は、工程Ｓ２４において電荷量Ｑ１＃＃が電荷量Ｑ３以下である場合、測定モードＭ２における遠距離受光画素に対応する演算式（上述した（１０）式）を適用して測定距離を演算する。距離画像撮像装置１は、（８）式に基づいて補正後の電荷量Ｑ２＃を算出し、算出した電荷量Ｑ２＃と、先に算出した電荷量Ｑ１＃＃、及び電荷量Ｑ３を（１０）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（遠距離受光画素）における測定距離を算出する。
【0130】
上記では、近距離、及び遠距離に物体がある場合を例示して説明した。この距離の範囲は、例えば、光パルスＰＯの照射時間Ｔｏ、及び電荷蓄積部ＣＳへの振り分け時間Ｔａで表される時間幅により決定される。光の速さは既知であり、１秒間に約３０万Ｋｍ進むことが知られている。その為、往復の行路で考えると、光は１ｎｓあたり１５ｃｍ進む。距離の範囲は、例えば、光パルスＰＯの照射時間Ｔｏが１０ｎｓである場合、近距離が取りうる範囲は概ね０～１５０ｃｍ、遠距離は概ね１５０ｃｍ～３００ｃｍとなる範囲である。
【0131】
測定が可能となる距離の範囲をさらに広げるために、光パルスの照射時間Ｔｏ、及び電荷蓄積部ＣＳへの蓄積時間Ｔａを長くする（時間幅を大きくする）ことが考えられる。しかし、光パルスＰＯを長く照射すると、距離の分解能が低下する。このため、測定範囲と分解能とのトレードオフを考慮して、所望の設定（照射時間Ｔｏ、及び蓄積時間Ｔａ）を選択する必要がある。
【0132】
また、分解能を維持したまま測定可能な距離を広げる方法として、電荷蓄積部ＣＳの数を増やす方法が考えられる。電荷蓄積部ＣＳの数を増やすことにより、被写体ＯＢまでの距離が大きくなり遅延時間Ｔｄが増加した場合であっても、被写体ＯＢからの反射光ＲＬを電荷蓄積部ＣＳで振り分けて受光することが可能となる。以下では、第２の実施形態として、電荷蓄積部ＣＳの数を四つに増やした場合について説明する。
【0133】
＜第２の実施形態＞
次に、第２の実施形態について説明する。本実施形態は、距離画像撮像装置１の画素３２１が四つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）を備え、外光成分のみが蓄積される電荷蓄積部ＣＳが予め決定されている（固定する）点において、上述した実施形態と相違する。第２の実施形態では、読み出しゲートトランジスタＧ１～Ｇ４の駆動タイミングが上述した実施形態と異なる。電荷蓄積部ＣＳ４は「第４電荷蓄積部」の一例である。
次に、第２の実施形態について説明する。本実施形態は、距離画像撮像装置１の画素３２１が四つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）を備え、外光成分のみが蓄積される電荷蓄積部ＣＳが予め決定されている（固定する）点において、上述した実施形態と相違する。第２の実施形態では、読み出しゲートトランジスタＧ１～Ｇ４の駆動タイミングが上述した実施形態と異なる。電荷蓄積部ＣＳ４は「第４電荷蓄積部」の一例である。
【0134】
（測定モードＭ３）
まず、本実施形態の測定モードＭ３について、図９Ａ、図９Ｂを用いて説明する。図９Ａ、図９Ｂは、第２の実施形態における画素３２１を駆動するタイミングの第１例を示すタイミングチャートである。図９Ａには、近距離受光画素のタイミングチャートが示されている。図９Ｂには、遠距離受光画素のタイミングチャートが示されている。図９Ａ、図９Ｂにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
まず、本実施形態の測定モードＭ３について、図９Ａ、図９Ｂを用いて説明する。図９Ａ、図９Ｂは、第２の実施形態における画素３２１を駆動するタイミングの第１例を示すタイミングチャートである。図９Ａには、近距離受光画素のタイミングチャートが示されている。図９Ｂには、遠距離受光画素のタイミングチャートが示されている。図９Ａ、図９Ｂにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
【0135】
測定モードＭ３では、電荷蓄積部ＣＳ１に外光成分のみが蓄積されるようにする。以下、測定モードＭ３では、電荷蓄積部ＣＳ１が蓄積時間Ｔａの間オン状態に制御された後に、オフ状態となるタイミングで光パルスＰＯが照射される場合を例に説明する。これによって、電荷蓄積部ＣＳ１に外光成分のみを蓄積させることができる。
【0136】
【0137】
測定モードＭ３における１ｓｔＳＴＥＰでは、従来の駆動方法が適用される電荷の蓄積が行われる。従来の駆動タイミングとは、例えば、図９Ａ、図９Ｂに示すように、光パルスＰＯの照射タイミングに同期させて、読み出しゲートトランジスタＧ１～Ｇ４に、順次、電荷を蓄積させる方法である。
【0138】
具体的に、図９Ａに示すように、垂直走査回路３２３は、１ｎｄＳＴＥＰでは、まず、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１を蓄積時間Ｔａオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態とする間、光パルスＰＯを照射させない。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に、外光成分に対応する電荷が、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
【0139】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、光パルスＰＯを照射時間Ｔｏ照射させると共に、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態とする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に、外光成分及び反射光ＲＬの一部に対応する電荷が、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
【0140】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ２をオフ状態としたタイミングで、読み出しゲートトランジスタＧ３を蓄積時間Ｔａオン状態とする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に、外光成分及び反射光ＲＬの残りの部分に対応する電荷が、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
【0141】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオフ状態としたタイミングで、読み出しゲートトランジスタＧ４を蓄積時間Ｔａオン状態とする。これにより、読み出しゲートトランジスタＧ４がオン状態に制御されている間に、外光成分に対応する電荷が、読み出しゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。
【0142】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ４をオフ状態としたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0143】
垂直走査回路３２３は、上述したような駆動を、１ｓｔＳＴＥＰに渡って所定の振り分け回数分繰り返し行う。この場合において、１ｓｔＳＴＥＰの振り分け回数は、近距離受光画素における電荷蓄積部ＣＳ２を飽和させない範囲に設定される。
【0144】
測定モードＭ３における２ｎｄＳＴＥＰでは、電荷蓄積部ＣＳ２に電荷が蓄積されず、電荷蓄積部ＣＳ１、ＣＳ３及びＣＳ４に電荷が蓄積されるように制御される。具体的に、図９Ａに示すように、垂直走査回路３２３は、２ｎｄＳＴＥＰでは読み出しゲートトランジスタＧ２をオン状態に制御しない。一方、垂直走査回路３２３は、１ｓｔＳＴＥＰと同様のタイミングで、読み出しゲートトランジスタＧ１、Ｇ３及びＧ４をオン状態とする。
【0145】
すなわち、垂直走査回路３２３は、まず、読み出しゲートトランジスタＧ１を蓄積時間Ｔａオン状態とする。読み出しゲートトランジスタＧ１をオフ状態としたタイミングで光パルスＰＯを照射時間Ｔｏ照射する。光パルスＰＯの照射を止めたタイミングで、読み出しゲートトランジスタＧ３を蓄積時間Ｔａオン状態とする。また、垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオフ状態としたタイミングで、読み出しゲートトランジスタＧ４を蓄積時間Ｔａオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ４をオフ状態としたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。測定モードＭ３における２ｎｄＳＴＥＰでは、ドレインゲートトランジスタＧＤがオフ状態となるのは、電荷蓄積部ＣＳ１に電荷を蓄積させる時間（蓄積時間Ｔａ）と、電荷蓄積部ＣＳ３及びＣＳ４に電荷を蓄積させる時間（２×Ｔａ）となる。
【0146】
垂直走査回路３２３は、上述したような駆動を、２ｎｄＳＴＥＰに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。垂直走査回路３２３は、電荷量に応じた電圧信号を出力する方法は、図４Ａと同様であるため、その説明を省略する。
【0147】
このような構成とすることにより、図９Ａに示すような近距離受光画素の場合には電荷蓄積部ＣＳ２、ＣＳ３に電荷を振り分けて蓄積させ、図９Ｂに示すような遠距離受光画素の場合には電荷蓄積部ＣＳ３、ＣＳ４に電荷を振り分けて蓄積させることができる。しかも、本実施形態では、同一の画素に設けられた電荷蓄積部ＣＳ２と、ＣＳ１、ＣＳ３及びＣＳ４とで露光時間を異なる時間とすることができる。これにより、近距離受光画素の電荷蓄積部ＣＳ２が飽和しない範囲で電荷を蓄積させると共に、遠距離受光画素の電荷蓄積部ＣＳ３及びＣＳ４により多くの電荷を蓄積させることが可能となる。したがって、測定範囲に近距離にある物体と遠距離にある物体が混在している場合であっても、遠距離にある物体を精度よく測定することが可能となる。
【0148】
なお、本実施形態の測定モードＭ３における１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰの振り分け回数は、状況に応じて任意に設定されてよい。例えば、１ｓｔＳＴＥＰの振り分け回数は、近距離受光画素の電荷蓄積部ＣＳ２が飽和しない範囲を上限に設定される。また、２ｎｄＳＴＥＰの振り分け回数は、画素３２１（近距離受光画素、及び遠距離受光画素を含む）の電荷蓄積部ＣＳ３、ＣＳ４が飽和しない範囲で、且つ、遠距離受光画素の電荷蓄積部ＣＳ３、ＣＳ４に蓄積される電荷量が、精度よく距離を演算することができる程度に大きな値となるように設定される。
【0149】
ここで、本実施形態において図９Ａのタイミングチャートにしたがって画素３２１を駆動させる場合、距離演算部４２は、電荷蓄積部ＣＳ２と、他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１、ＣＳ３及びＣＳ４）の露光時間が同等の露光時間となるように補正する。
【0150】
例えば、距離演算部４２は、測定モードＭ３の近距離受光画素においては、以下の（１１）式、及び（１２）式を適用することにより、遅延時間Ｔｄを算出する。
【0151】
Ｑ２＃＝Ｑ２×｛（ｘ＋ｙ）／ｘ｝ …（１１）
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＃＋Ｑ３－２×Ｑ１） …（１２）
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＃＋Ｑ３－２×Ｑ１） …（１２）
【0152】
ここで、（１１）式におけるｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ２の露光時間である。ｙは２ｎｄＳＴＥＰにおける他の電荷蓄積部ＣＳの露光時間である。Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量である。また、（１２）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ２＃は補正後の電荷量、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。また、（１２）式では、電荷蓄積部ＣＳ２及びＣＳ３に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
【0153】
また、例えば、距離演算部４２は、測定モードＭ３の遠距離受光画素においては、以下の（１３）式を適用することにより、遅延時間Ｔｄを算出する。
【0154】
Ｔｄ＝Ｔｏ×（Ｑ４－Ｑ１）／（Ｑ３＋Ｑ４－２×Ｑ１） …（１３）
【0155】
ここで、（１３）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量、を示す。また、（１３）式では、電荷蓄積部ＣＳ３及びＣＳ４に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
【0156】
距離演算部４２は、測定範囲に近距離にある物体と遠距離にある物体とが混在している場合、画素に応じて上記の（１２）式、又は（１３）式を適用することにより、遠距離にある物体の距離精度を向上させることができる。距離演算部４２は、距離を演算する過程において、補正後の電荷量Ｑ２（つまり、電荷量Ｑ２＃）と、電荷量Ｑ４とを比較することにより、画素３２１に（１２）式、又は（１３）式の何れの式を適用するか判定する。
【0157】
上述したように、画素３２１が近距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ２及びＣＳ３に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１、ＣＳ４に受光される。この場合、電荷量Ｑ２＃は電荷量Ｑ４よりも大きい値となる。この性質を利用して、距離演算部４２は、電荷量Ｑ２＃＞電荷量Ｑ４である場合に、画素３２１が近距離受光画素であると判定し、距離の演算に（１２）式を適用すると判定する。
【0158】
一方、画素３２１が遠距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ３及びＣＳ４に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１、ＣＳ２に受光される。この場合、電荷量Ｑ２＃は電荷量Ｑ４よりも小さい値となる。この性質を利用して、距離演算部４２は、電荷量Ｑ２＃≦電荷量Ｑ４である場合に、画素３２１が遠距離受光画素であると判定し、距離の演算に（１３）式を適用すると判定する。
【0159】
このように、本実施形態では、二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を振り分けて蓄積させる場合において、反射光ＲＬの強度に応じて、当該二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を蓄積させる時間（「反射光蓄積時間」の一例）が、１フレーム期間において互いに異なる時間となるように制御する。本実施形態では、例えば、反射光ＲＬの強度を、光パルスＰＯの強度、及び対象物体の反射率が一定であると仮定し、対象物体の距離に応じて反射光ＲＬの強度が変化することに着目する。
【0160】
図９Ａ、図９Ｂにおいて、図９Ａのように近距離に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合、図９Ｂのような遠距離にある物体に反射した反射光を受光する場合と比較して、反射光ＲＬの強度が大きい。図９Ａの場合と、図９Ｂの場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が同じ時間となるように制御した場合、図９Ａの場合には反射光ＲＬに応じた電荷量が飽和してしまい、図９Ｂの場合には反射光ＲＬに応じた電荷の蓄積量が少なくなってしまい、何れの場合においても距離精度が低下してしまう可能性がある。この対策として、距離画像処理部４は、強度が大きい反射光ＲＬを受光した場合には電荷蓄積部ＣＳを飽和させることなく、かつ強度が小さい反射光ＲＬ受光した場合には多くの電荷が蓄積されるように制御する。つまり、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ２の反射光蓄積時間が、電荷蓄積部ＣＳ３の反射光蓄積時間よりも小さくなるように制御する。これにより、より強度が大きい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳ２を飽和させないようにしつつ、より強度が小さい反射光ＲＬに応じた電荷を蓄積する他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ３、ＣＳ４）に多くの電荷を蓄積させることができる。ここで、図９Ａにおける電荷蓄積部ＣＳ２及びＣＳ３は「反射光ＲＬに応じた電荷を振り分けて蓄積させる二つの電荷蓄積部」の一例である。
【0161】
具体的に、図９Ａ、図９Ｂでは、１フレーム期間に、全ての電荷蓄積部ＣＳ１～ＣＳ４に電荷を蓄積させる１ｓｔＳＴＥＰと、光パルスＰＯの照射と電荷蓄積部ＣＳの蓄積との相対的なタイミングを１ｓｔＳＴＥＰと同様にして電荷蓄積部ＣＳ２には電荷を蓄積させずに電荷蓄積部ＣＳ１、ＣＳ３及びＣＳ４に電荷を蓄積させる２ｎｄＳＴＥＰと、が設けられる。これにより、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ２の反射光蓄積時間が、電荷蓄積部ＣＳ３の反射光蓄積時間よりも小さくなるように制御する。より具体的には、距離画像処理部４は、電荷蓄積部ＣＳ２の反射光蓄積時間を（ｘ）とし、電荷蓄積部ＣＳ３の反射光蓄積時間を（ｘ＋ｙ）とする。ここで、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ４のそれぞれの露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ３及びＣＳ４のそれぞれの露光時間である。
【0162】
ここで、第２の実施形態の測定モードＭ３における距離画像撮像装置１が行う処理の流れを、図１０を用いて説明する。図１０に示すフローチャートにおける工程Ｓ３０、Ｓ３１、Ｓ３３、及びＳ３６は、図６の工程Ｓ１０、Ｓ１１、Ｓ１３、及びＳ１６と同様であるため、その説明を省略する。
【0163】
工程Ｓ３２：
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙ、ｚで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ４に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１、ＣＳ３及びＣＳ４に、さらに露光時間ｙに対応する電荷を蓄積させる。
工程Ｓ３４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ２＃が、電荷量Ｑ４より大きいか否かを判定する。距離画像撮像装置１は、（１１）式に基づいて補正後の電荷量Ｑ２＃を算出し、算出した電荷量Ｑ２＃と電荷量Ｑ４とを比較することにより、電荷量Ｑ２＃が電荷量Ｑ４より大きいか否かを判定する。
工程Ｓ３５：
距離画像撮像装置１は、電荷量Ｑ２＃が電荷量Ｑ４より大きい場合、測定モードＭ３における近距離受光画素に対応する演算式（上述した（１２）式）を適用して測定距離を演算する。距離画像撮像装置１は、工程Ｓ３４で算出した電荷量Ｑ２＃、及び電荷量Ｑ１、Ｑ３を（１２）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（近距離受光画素）における測定距離を算出する。
工程Ｓ３７：
一方、距離画像撮像装置１は、工程Ｓ３４において電荷量Ｑ２＃が電荷量Ｑ４以下である場合、測定モードＭ３における遠距離受光画素に対応する演算式（上述した（１３）式）を適用して測定距離を演算する。距離画像撮像装置１は、電荷量Ｑ１、Ｑ３、Ｑ４を（１３）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（遠距離受光画素）における測定距離を算出する。
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙ、ｚで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ４に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１、ＣＳ３及びＣＳ４に、さらに露光時間ｙに対応する電荷を蓄積させる。
工程Ｓ３４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ２＃が、電荷量Ｑ４より大きいか否かを判定する。距離画像撮像装置１は、（１１）式に基づいて補正後の電荷量Ｑ２＃を算出し、算出した電荷量Ｑ２＃と電荷量Ｑ４とを比較することにより、電荷量Ｑ２＃が電荷量Ｑ４より大きいか否かを判定する。
工程Ｓ３５：
距離画像撮像装置１は、電荷量Ｑ２＃が電荷量Ｑ４より大きい場合、測定モードＭ３における近距離受光画素に対応する演算式（上述した（１２）式）を適用して測定距離を演算する。距離画像撮像装置１は、工程Ｓ３４で算出した電荷量Ｑ２＃、及び電荷量Ｑ１、Ｑ３を（１２）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（近距離受光画素）における測定距離を算出する。
工程Ｓ３７：
一方、距離画像撮像装置１は、工程Ｓ３４において電荷量Ｑ２＃が電荷量Ｑ４以下である場合、測定モードＭ３における遠距離受光画素に対応する演算式（上述した（１３）式）を適用して測定距離を演算する。距離画像撮像装置１は、電荷量Ｑ１、Ｑ３、Ｑ４を（１３）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（遠距離受光画素）における測定距離を算出する。
【0164】
（測定モードＭ４）
次に、本実施形態の測定モードＭ４について、図１１Ａ、図１１Ｂを用いて説明する。図１１Ａ、図１１Ｂは、第２の実施形態における画素３２１を駆動するタイミングの第２例を示すタイミングチャートである。図１１Ａには、近距離受光画素のタイミングチャートが示されている。図１１Ｂには、遠距離受光画素のタイミングチャートが示されている。図１１Ａ、図１１Ｂにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
次に、本実施形態の測定モードＭ４について、図１１Ａ、図１１Ｂを用いて説明する。図１１Ａ、図１１Ｂは、第２の実施形態における画素３２１を駆動するタイミングの第２例を示すタイミングチャートである。図１１Ａには、近距離受光画素のタイミングチャートが示されている。図１１Ｂには、遠距離受光画素のタイミングチャートが示されている。図１１Ａ、図１１Ｂにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。
【0165】
測定モードＭ４では、電荷蓄積部ＣＳ４に外光成分のみが蓄積されるようにする。以下、測定モードＭ４では、光パルスＰＯが照射された後、遠距離にある物体からの反射光ＲＬが受光されるまでの時間が十分経過した後に電荷蓄積部ＣＳ４を蓄積時間Ｔａの間オン状態とする場合を例に説明する。これによって、電荷蓄積部ＣＳ４に外光成分のみを蓄積させることができる。
【0166】
【0167】
測定モードＭ４における１ｓｔＳＴＥＰでは、従来の駆動方法が適用される電荷の蓄積が行われる。従来の駆動タイミングとは、例えば、図１１Ａ、図１１Ｂに示すように、光パルスＰＯの照射タイミングに同期させて、読み出しゲートトランジスタＧ１～Ｇ４に、順次、電荷を蓄積させる方法である。
【0168】
具体的に、図１１Ａに示すように、垂直走査回路３２３は、１ｎｄＳＴＥＰでは、まず、光パルスＰＯを照射時間Ｔｏ照射させる。垂直走査回路３２３は、光パルスＰＯを照射時間Ｔｏ照射させるタイミングで、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１を蓄積時間Ｔａオン状態とする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に、外光成分に対応する電荷が、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
【0169】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態とする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に、外光成分及び反射光ＲＬの残りの部分に対応する電荷が、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
【0170】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ２をオフ状態としたタイミングで、読み出しゲートトランジスタＧ３を蓄積時間Ｔａオン状態とする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に、外光成分に対応する電荷が、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
【0171】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオフ状態としたタイミングで、読み出しゲートトランジスタＧ４を蓄積時間Ｔａオン状態とする。これにより、読み出しゲートトランジスタＧ４がオン状態に制御されている間に、外光成分に対応する電荷が、読み出しゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。
【0172】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ４をオフ状態としたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0173】
垂直走査回路３２３は、上述したような駆動を、１ｓｔＳＴＥＰに渡って所定の振り分け回数分繰り返し行う。この場合において、１ｓｔＳＴＥＰの振り分け回数は、近距離受光画素における電荷蓄積部ＣＳ１を飽和させない範囲に設定される。
【0174】
測定モードＭ４における２ｎｄＳＴＥＰでは、電荷蓄積部ＣＳ１に電荷が蓄積されず、電荷蓄積部ＣＳ２～ＣＳ４に電荷が蓄積されるように制御される。具体的に、図１１Ａに示すように、垂直走査回路３２３は、２ｎｄＳＴＥＰでは読み出しゲートトランジスタＧ１をオン状態に制御しない。一方、垂直走査回路３２３は、１ｓｔＳＴＥＰと同様のタイミングで、読み出しゲートトランジスタＧ２～Ｇ４をオン状態とする。
【0175】
すなわち、垂直走査回路３２３は、まず、光パルスＰＯを照射時間Ｔｏ照射する。光パルスＰＯの照射を止めたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態とする。また、垂直走査回路３２３は、読み出しゲートトランジスタＧ２をオフ状態としたタイミングで、読み出しゲートトランジスタＧ３を蓄積時間Ｔａオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオフ状態としたタイミングで、読み出しゲートトランジスタＧ４を蓄積時間Ｔａオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ４をオフ状態としたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。測定モードＭ４における２ｎｄＳＴＥＰでは、ドレインゲートトランジスタＧＤがオフ状態となるのは、電荷蓄積部ＣＳ２～ＣＳ４に電荷を蓄積させる時間（３×Ｔａ）となる。
【0176】
垂直走査回路３２３は、上述したような駆動を、２ｎｄＳＴＥＰに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。垂直走査回路３２３は、電荷量に応じた電圧信号を出力する方法は、図４Ａと同様であるため、その説明を省略する。
【0177】
このような構成とすることにより、図１１Ａに示すような近距離受光画素の場合には電荷蓄積部ＣＳ１、ＣＳ２に電荷を振り分けて蓄積させ、図９Ｂに示すような遠距離受光画素の場合には電荷蓄積部ＣＳ２、ＣＳ３に電荷を振り分けて蓄積させることができる。しかも、本実施形態では、同一の画素に設けられた電荷蓄積部ＣＳ１と、ＣＳ２～ＣＳ４とで露光時間を異なる時間とすることができる。これにより、近距離受光画素の電荷蓄積部ＣＳ１が飽和しない範囲で電荷を蓄積させると共に、遠距離受光画素の電荷蓄積部ＣＳ２及びＣＳ３により多くの電荷を蓄積させることが可能となる。したがって、測定範囲に近距離にある物体と遠距離にある物体が混在している場合であっても、遠距離にある物体を精度よく測定することが可能となる。
【0178】
なお、本実施形態の測定モードＭ３における１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰの振り分け回数は、状況に応じて任意に設定されてよい。例えば、１ｓｔＳＴＥＰの振り分け回数は、近距離受光画素の電荷蓄積部ＣＳ１が飽和しない範囲を上限に設定される。また、２ｎｄＳＴＥＰの振り分け回数は、画素３２１（近距離受光画素、及び遠距離受光画素を含む）の電荷蓄積部ＣＳ２、ＣＳ３が飽和しない範囲で、且つ、遠距離受光画素の電荷蓄積部ＣＳ２、ＣＳ３に蓄積される電荷量が、精度よく距離を演算することができる程度に大きな値となるように設定される。
【0179】
ここで、本実施形態において図１１Ａのタイミングチャートにしたがって画素３２１を駆動させる場合、距離演算部４２は、電荷蓄積部ＣＳ１と、他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ２～ＣＳ４）の露光時間が同等の露光時間となるように補正する。
【0180】
例えば、距離演算部４２は、測定モードＭ４の近距離受光画素においては、以下の（１４）式、及び（１５）式を適用することにより、遅延時間Ｔｄを算出する。
【0181】
Ｑ１＃＝Ｑ１×｛（ｘ＋ｙ）／ｘ｝ …（１４）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ４）／（Ｑ１＃＋Ｑ２－２×Ｑ４） …（１５）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ４）／（Ｑ１＃＋Ｑ２－２×Ｑ４） …（１５）
【0182】
ここで、（１４）式におけるＱ１＃は補正後の電荷蓄積部ＣＳ１に蓄積された電荷量電荷量、Ｑ１は補正前の電荷蓄積部ＣＳ１に蓄積された電荷量、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ２の露光時間である。ｙは２ｎｄＳＴＥＰにおける他の電荷蓄積部ＣＳの露光時間である。また、（１５）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１＃は補正後の電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量を示す。また、（１５）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ４に蓄積された電荷量と同量であることを前提とする。
【0183】
また、例えば、距離演算部４２は、測定モードＭ４の遠距離受光画素においては、以下の（１６）式を適用することにより、遅延時間Ｔｄを算出する。
【0184】
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ４）／（Ｑ２＋Ｑ３－２×Ｑ４） …（１６）
【0185】
ここで、（１６）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量、を示す。また、（１６）式では、電荷蓄積部ＣＳ２及びＣＳ３に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ４に蓄積された電荷量と同量であることを前提とする。
【0186】
距離演算部４２は、測定範囲に近距離にある物体と遠距離にある物体とが混在している場合、画素に応じて上記の（１５）式、又は（１６）式を適用することにより、遠距離にある物体の距離精度を向上させることができる。距離演算部４２は、距離を演算する過程において、補正後の電荷量Ｑ１（つまり、電荷量Ｑ１＃）と、電荷量Ｑ３とを比較することにより、画素３２１に（１５）式、又は（１６）式の何れの式を適用するか判定する。
【0187】
上述したように、画素３２１が近距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ１及びＣＳ２に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ３、ＣＳ４に受光される。この場合、電荷量Ｑ１＃は電荷量Ｑ３よりも大きい値となる。この性質を利用して、距離演算部４２は、電荷量Ｑ１＃＞電荷量Ｑ３である場合に、画素３２１が近距離受光画素であると判定し、距離の演算に（１５）式を適用すると判定する。
【0188】
一方、画素３２１が遠距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ２及びＣＳ３に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１、ＣＳ４に受光される。この場合、電荷量Ｑ１＃は電荷量Ｑ３よりも小さい値となる。この性質を利用して、距離演算部４２は、電荷量Ｑ１＃≦電荷量Ｑ３である場合に、画素３２１が遠距離受光画素であると判定し、距離の演算に（１６）式を適用すると判定する。
【0189】
このように、本実施形態では、二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を振り分けて蓄積させる場合において、反射光ＲＬの強度に応じて、当該二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を蓄積させる時間（「反射光蓄積時間」の一例）が、１フレーム期間において互いに異なる時間となるように制御する。本実施形態では、例えば、反射光ＲＬの強度を、光パルスＰＯの強度、及び対象物体の反射率が一定であると仮定し、対象物体の距離に応じて反射光ＲＬの強度が変化することに着目する。
【0190】
図１１Ａ、図１１Ｂにおいて、図１１Ａのように近距離に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合、図１１Ｂのような遠距離にある物体に反射した反射光を受光する場合と比較して、反射光ＲＬの強度が大きい。図１１Ａの場合と、図１１Ｂの場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が同じ時間となるように制御した場合、図１１Ａの場合には反射光ＲＬに応じた電荷量が飽和してしまい、図１１Ｂの場合には反射光ＲＬに応じた電荷の蓄積量が少なくなってしまい、何れの場合においても距離精度が低下してしまう可能性がある。この対策として、距離画像処理部４は、強度が大きい反射光ＲＬを受光した場合には電荷蓄積部ＣＳを飽和させることなく、かつ強度が小さい反射光ＲＬ受光した場合には多くの電荷が蓄積されるように制御する。つまり、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。これにより、より強度が大きい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳ１を飽和させないようにしつつ、より強度が小さい反射光ＲＬに応じた電荷を蓄積する他の電荷蓄積部ＣＳに多くの電荷を蓄積させることができる。ここで、図１１Ａにおける電荷蓄積部ＣＳ１及びＣＳ２は「反射光ＲＬに応じた電荷を振り分けて蓄積させる二つの電荷蓄積部」の一例である。
【0191】
具体的に、図１１Ａ、図１１Ｂでは、１フレーム期間に、全ての電荷蓄積部ＣＳ１～ＣＳ４に電荷を蓄積させる１ｓｔＳＴＥＰと、光パルスＰＯの照射と電荷蓄積部ＣＳの蓄積との相対的なタイミングを１ｓｔＳＴＥＰと同様にして電荷蓄積部ＣＳ１には電荷を蓄積させずに電荷蓄積部ＣＳ２～ＣＳ４に電荷を蓄積させる２ｎｄＳＴＥＰと、が設けられる。これにより、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。より具体的には、距離画像処理部４は、電荷蓄積部ＣＳ１の反射光蓄積時間を（ｘ）とし、電荷蓄積部ＣＳ２の反射光蓄積時間を（ｘ＋ｙ）とする。ここで、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ４のそれぞれの露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２～ＣＳ４のそれぞれの露光時間である。
【0192】
ここで、第２の実施形態の測定モードＭ４における距離画像撮像装置１が行う処理の流れを、図１２を用いて説明する。図１２に示すフローチャートにおける工程Ｓ４０、Ｓ４１、Ｓ４３、及びＳ４６は、図６の工程Ｓ１０、Ｓ１１、Ｓ１３、及びＳ１６と同様であるため、その説明を省略する。
【0193】
工程Ｓ４２：
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ４に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ２～ＣＳ４に、さらに露光時間ｙに対応する電荷を蓄積させる。
工程Ｓ４４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃が、電荷量Ｑ３より大きいか否かを判定する。距離画像撮像装置１は、（１４）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃が電荷量Ｑ３より大きいか否かを判定する。
工程Ｓ４５：
距離画像撮像装置１は、電荷量Ｑ１＃が電荷量Ｑ３より大きい場合、測定モードＭ４における近距離受光画素に対応する演算式（上述した（１５）式）を適用して測定距離を演算する。距離画像撮像装置１は、工程Ｓ４４で算出した電荷量Ｑ１＃、及び電荷量Ｑ２～Ｑ４を（１５）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（近距離受光画素）における測定距離を算出する。
工程Ｓ４７：
一方、距離画像撮像装置１は、工程Ｓ４４において電荷量Ｑ１＃が電荷量Ｑ３以下である場合、測定モードＭ４における遠距離受光画素に対応する演算式（上述した（１６）式）を適用して測定距離を演算する。距離画像撮像装置１は、電荷量Ｑ２～Ｑ４を（１６）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（遠距離受光画素）における測定距離を算出する。
距離画像撮像装置１は、予め設定した露光時間ｘ、ｙで、電荷蓄積部ＣＳに電荷を蓄積させる。例えば、距離画像撮像装置１は、１ｓｔＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ１～ＣＳ４に露光時間ｘに対応する電荷を蓄積させる。また、距離画像撮像装置１は、２ｎｄＳＴＥＰのタイミングにしたがった動作を行うことによって電荷蓄積部ＣＳ２～ＣＳ４に、さらに露光時間ｙに対応する電荷を蓄積させる。
工程Ｓ４４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃が、電荷量Ｑ３より大きいか否かを判定する。距離画像撮像装置１は、（１４）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃が電荷量Ｑ３より大きいか否かを判定する。
工程Ｓ４５：
距離画像撮像装置１は、電荷量Ｑ１＃が電荷量Ｑ３より大きい場合、測定モードＭ４における近距離受光画素に対応する演算式（上述した（１５）式）を適用して測定距離を演算する。距離画像撮像装置１は、工程Ｓ４４で算出した電荷量Ｑ１＃、及び電荷量Ｑ２～Ｑ４を（１５）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（近距離受光画素）における測定距離を算出する。
工程Ｓ４７：
一方、距離画像撮像装置１は、工程Ｓ４４において電荷量Ｑ１＃が電荷量Ｑ３以下である場合、測定モードＭ４における遠距離受光画素に対応する演算式（上述した（１６）式）を適用して測定距離を演算する。距離画像撮像装置１は、電荷量Ｑ２～Ｑ４を（１６）式に適用することにより遅延時間Ｔｄを演算する。距離画像撮像装置１は、演算した遅延時間Ｔｄに基づいて、画素３２１（遠距離受光画素）における測定距離を算出する。
【0194】
上述した第２の実施形態では、外光成分を蓄積させる電荷蓄積部ＣＳを固定できることが大きな利点である。計測距離の演算を行う際に、外光成分のみを蓄積させる電荷蓄積部ＣＳが既知であれば、演算の負荷を低減させることが可能である。一方、外光成分を蓄積させる電荷蓄積部ＣＳを固定しないことにより、対象物の測定範囲を近距離、遠距離だけでなく、更に遠い距離（以下、超遠距離という）まで測定することが可能となる利点がある。以下では、第３の実施形態として、外光成分を蓄積させる電荷蓄積部ＣＳを固定しない場合について説明する。
【0195】
＜第３の実施形態＞
次に、第３の実施形態について説明する。本実施形態は、距離画像撮像装置１の画素３２１が四つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）を備え、外光成分のみが蓄積される電荷蓄積部ＣＳが予め決定されていない（固定されていない）点において、上述した実施形態と相違する。
次に、第３の実施形態について説明する。本実施形態は、距離画像撮像装置１の画素３２１が四つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）を備え、外光成分のみが蓄積される電荷蓄積部ＣＳが予め決定されていない（固定されていない）点において、上述した実施形態と相違する。
【0196】
（測定モードＭ５）
本実施形態の測定モードＭ５について、図１３Ａ、図１３Ｂ、及び図１３Ｃを用いて説明する。図１３Ａ、図１３Ｂ、及び図１３Ｃは、第３の実施形態における画素３２１を駆動するタイミングの例を示すタイミングチャートである。図１３Ａには、近距離受光画素のタイミングチャートが示されている。図１３Ｂには、遠距離受光画素のタイミングチャートが示されている。図１３Ｃには、超遠距離受光画素のタイミングチャートが示されている。超遠距離受光画素とは、超遠距離にある物体からの反射光ＲＬを受光する画素３２１である。図１３Ａ、図１３Ｂ、及び図１３Ｃにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。ここで、超遠距離は「第３距離」の一例である。
本実施形態の測定モードＭ５について、図１３Ａ、図１３Ｂ、及び図１３Ｃを用いて説明する。図１３Ａ、図１３Ｂ、及び図１３Ｃは、第３の実施形態における画素３２１を駆動するタイミングの例を示すタイミングチャートである。図１３Ａには、近距離受光画素のタイミングチャートが示されている。図１３Ｂには、遠距離受光画素のタイミングチャートが示されている。図１３Ｃには、超遠距離受光画素のタイミングチャートが示されている。超遠距離受光画素とは、超遠距離にある物体からの反射光ＲＬを受光する画素３２１である。図１３Ａ、図１３Ｂ、及び図１３Ｃにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。ここで、超遠距離は「第３距離」の一例である。
【0197】
測定モードＭ５では、外光成分のみが蓄積される電荷蓄積部ＣＳを固定しないにようにする。測定モードＭ５では、近距離にある物体からの反射光ＲＬに対応する電荷が電荷蓄積部ＣＳ１、ＣＳ２に振り分けて蓄積されるように制御する。この場合、電荷蓄積部ＣＳ３、ＣＳ４に外光成分に対応する電荷が蓄積される。測定モードＭ５では、遠距離にある物体からの反射光ＲＬに対応する電荷が電荷蓄積部ＣＳ２、ＣＳ３に振り分けて蓄積されるように制御する。この場合、電荷蓄積部ＣＳ１、ＣＳ４に外光成分に対応する電荷が蓄積される。測定モードＭ５では、超遠距離にある物体からの反射光ＲＬに対応する電荷が電荷蓄積部ＣＳ３、ＣＳ４に振り分けて蓄積されるように制御する。この場合、電荷蓄積部ＣＳ１、ＣＳ２に外光成分に対応する電荷が蓄積される。これによって、測定可能となる距離を広げることができる。
【0198】
【0199】
測定モードＭ５における１ｓｔＳＴＥＰでは、従来の駆動方法が適用される電荷の蓄積が行われる。垂直走査回路３２３は、例えば、図１１Ａ、図１１Ｂの１ｓｔＳＴＥＰ同様に、光パルスＰＯの照射タイミングに同期させて、読み出しゲートトランジスタＧ１～Ｇ４に、順次、電荷を蓄積させる。
【0200】
測定モードＭ５における２ｎｄＳＴＥＰでは、電荷蓄積部ＣＳ１に電荷が蓄積されず、電荷蓄積部ＣＳ２～ＣＳ４に電荷が蓄積されるように制御される。垂直走査回路３２３は、例えば、図１１Ａ、図１１Ｂの２ｎｄＳＴＥＰと同様に、２ｎｄＳＴＥＰでは読み出しゲートトランジスタＧ１をオン状態に制御しない。一方、垂直走査回路３２３は、１ｓｔＳＴＥＰと同様のタイミングで、読み出しゲートトランジスタＧ２～Ｇ４をオン状態とする。
【0201】
このような構成とすることにより、図１３Ａに示すような近距離受光画素の場合には電荷蓄積部ＣＳ１、ＣＳ２に電荷を振り分けて蓄積させることができる。また、図１３Ｂに示すような遠距離受光画素の場合には電荷蓄積部ＣＳ２、ＣＳ３に電荷を振り分けて蓄積させることができる。また、図１３Ｃに示すような超遠距離受光画素の場合には電荷蓄積部ＣＳ３、ＣＳ４に電荷を振り分けて蓄積させることができる。
【0202】
しかも、本実施形態の測定モードＭ５では、同一の画素に設けられた電荷蓄積部ＣＳ１と、ＣＳ２～ＣＳ４とで露光時間を異なる時間とすることができる。これにより、近距離受光画素の電荷蓄積部ＣＳ１が飽和しない範囲で電荷を蓄積させると共に、遠距離受光画素の電荷蓄積部ＣＳ２及びＣＳ３により多くの電荷を蓄積させることが可能となる。また、超遠距離受光画素の電荷蓄積部ＣＳ３及びＣＳ４により多くの電荷を蓄積させることが可能となる。したがって、測定範囲に、近距離にある物体と、遠距離にある物体と、超遠距離にある物体とが混在している場合であっても、遠距離にある物体や、超遠距離にある物体を、精度よく測定することが可能となる。
【0203】
なお、本実施形態の測定モードＭ５における１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰの振り分け回数は、状況に応じて任意に設定されてよい。例えば、１ｓｔＳＴＥＰの振り分け回数は、近距離受光画素の電荷蓄積部ＣＳ１が飽和しない範囲を上限に設定される。また、２ｎｄＳＴＥＰの振り分け回数は、画素３２１（近距離受光画素、及び遠距離受光画素を含む）の電荷蓄積部ＣＳ２～ＣＳ４が飽和しない範囲で、且つ、遠距離受光画素の電荷蓄積部ＣＳ２、ＣＳ３に蓄積される電荷量が、精度よく距離を演算することができる程度に大きな値となるように設定される。或いは、超遠距離受光画素の電荷蓄積部ＣＳ３、ＣＳ４に蓄積される電荷量が、精度よく距離を演算することができる程度に大きな値となるように設定される。
【0204】
ここで、本実施形態において図１３Ａのタイミングチャートにしたがって画素３２１を駆動させる場合、距離演算部４２は、電荷蓄積部ＣＳ１と、他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ２～ＣＳ４）の露光時間が同等の露光時間となるように補正する。
【0205】
例えば、距離演算部４２は、測定モードＭ５の近距離受光画素においては、上記の（１７）式、及び（１８）式を適用することにより、遅延時間Ｔｄを算出する。
【0206】
Ｑ１＃＝Ｑ１×｛（ｘ＋ｙ）／ｘ｝ …（１７）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ４）／（Ｑ１＃＋Ｑ２－２×Ｑ４） …（１８）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ４）／（Ｑ１＃＋Ｑ２－２×Ｑ４） …（１８）
【0207】
ここで、（１７）式におけるｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１の露光時間である。ｙは２ｎｄＳＴＥＰにおける他の電荷蓄積部ＣＳの露光時間である。Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。また、（１８）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１＃は補正後の電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量、を示す。また、（１８）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ４に蓄積された電荷量と同量であることを前提とする。
【0208】
また、例えば、距離演算部４２は、測定モードＭ５の遠距離受光画素においては、上記の（１９）式を適用することにより、遅延時間Ｔｄを算出する。
【0209】
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１＃）／（Ｑ２＋Ｑ３－２×Ｑ１＃） …（１９）
【0210】
ここで、（１９）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１＃は（１７）式に基づく補正後の電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。また、（１８）式では、電荷蓄積部ＣＳ２及びＣＳ３に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
【0211】
また、例えば、距離演算部４２は、測定モードＭ５の超遠距離受光画素においては、下記の（１７）式、（１８）式を適用することにより、遅延時間Ｔｄを算出する。
【0212】
Ｔｄ＝Ｔｏ×（Ｑ４－Ｑ１＃）／（Ｑ３＋Ｑ４－２×Ｑ１＃） …（２０）
【0213】
ここで、（２０）式におけるＴｏは光パルスＰＯが照射された期間、Ｑ１＃は（１７）式に基づく補正後の電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量、を示す。また、（１８）式では、電荷蓄積部ＣＳ３及びＣＳ４に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
【0214】
距離演算部４２は、測定範囲において、近距離と遠距離と超遠距離にある物体とが混在している場合、画素に応じて上記の（１８）式から（２０）式を適用することにより、遠距離にある物体の距離精度を向上させることができる。距離演算部４２は、距離を演算する過程において、補正後の電荷量Ｑ１（つまり、電荷量Ｑ１＃）、電荷量Ｑ２～Ｑ４の電荷量をそれぞれ比較することにより、上記の（１８）式から（２０）式の何れを適用するか判定する。
【0215】
上述したように、画素３２１が近距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ１及びＣＳ２に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ３、ＣＳ４に受光される。この場合、電荷量Ｑ４に最も少ない電荷量が蓄積される。或いは、電荷量Ｑ３、Ｑ４に最も少ない電荷量が蓄積される。この性質を利用して、距離演算部４２は、係る条件を充足する場合に、画素３２１が近距離受光画素であると判定し、距離の演算に（１８）式を適用すると判定する。
【0216】
また、画素３２１が遠距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ２及びＣＳ３に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１、ＣＳ４に受光される。この場合、電荷量Ｑ１＃が最も少ない電荷量となる。或いは、電荷量Ｑ１＃、Ｑ４が最も少ない電荷量となる。この性質を利用して、距離演算部４２は、係る条件を充足する場合に、画素３２１が遠距離受光画素であると判定し、距離の演算に（１９）式を適用すると判定する。
【0217】
また、画素３２１が超遠距離受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ３及びＣＳ４に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１、ＣＳ２に受光される。この場合、電荷量Ｑ１＃が最も少ない電荷量となる。或いは、電荷量Ｑ１＃、Ｑ２が最も少ない電荷量となる。この性質を利用して、距離演算部４２は、係る条件を充足する場合に、画素３２１が遠距離受光画素であると判定し、距離の演算に（２０）式を適用すると判定する。
【0218】
このように、本実施形態では、二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を振り分けて蓄積させる場合において、反射光ＲＬの強度に応じて、当該二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を蓄積させる時間（「反射光蓄積時間」の一例）が、１フレーム期間において互いに異なる時間となるように制御する。本実施形態では、例えば、反射光ＲＬの強度を、光パルスＰＯの強度、及び対象物体の反射率が一定であると仮定し、対象物体の距離に応じて反射光ＲＬの強度が変化することに着目する。
【0219】
図１３Ａ～図１３Ｃにおいて、図１３Ａのように近距離に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合、図１３Ｂのような遠距離や図１３Ｃのような超遠距離にある物体に反射した反射光を受光する場合と比較して、反射光ＲＬの強度が大きい。図１３Ａの場合と、図１３Ｂや図１３Ｃの場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が同じ時間となるように制御した場合、図１３Ａの場合には反射光ＲＬに応じた電荷量が飽和してしまい、図１３Ｂや図１３Ｃの場合には反射光ＲＬに応じた電荷の蓄積量が少なくなってしまい、何れの場合においても距離精度が低下してしまう可能性がある。この対策として、距離画像処理部４は、強度が大きい反射光ＲＬを受光した場合には電荷蓄積部ＣＳを飽和させることなく、かつ強度が小さい反射光ＲＬ受光した場合には多くの電荷が蓄積されるように制御する。つまり、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。これにより、より強度が大きい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳ１を飽和させないようにしつつ、より強度が小さい反射光ＲＬに応じた電荷を蓄積する他の電荷蓄積部ＣＳに多くの電荷を蓄積させることができる。ここで、図１３Ａにおける電荷蓄積部ＣＳ１及びＣＳ２は「反射光ＲＬに応じた電荷を振り分けて蓄積させる二つの電荷蓄積部」の一例である。
【0220】
具体的に、図１３Ａでは、１フレーム期間に、全ての電荷蓄積部ＣＳ１～ＣＳ４に電荷を蓄積させる１ｓｔＳＴＥＰと、光パルスＰＯの照射と電荷蓄積部ＣＳの蓄積との相対的なタイミングを１ｓｔＳＴＥＰと同様にして電荷蓄積部ＣＳ１には電荷を蓄積させずに電荷蓄積部ＣＳ２～ＣＳ４に電荷を蓄積させる２ｎｄＳＴＥＰと、が設けられる。これにより、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。より具体的には、距離画像処理部４は、電荷蓄積部ＣＳ１の反射光蓄積時間を（ｘ）とし、電荷蓄積部ＣＳ２の反射光蓄積時間を（ｘ＋ｙ）とする。ここで、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ４のそれぞれの露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２～ＣＳ４のそれぞれの露光時間である。
【0221】
ここで、第３の実施形態の測定モードＭ５における距離画像撮像装置１が行う処理の流れを、図１４を用いて説明する。図１４に示すフローチャートにおける工程Ｓ５０、Ｓ５１、Ｓ５３、及びＳ５６は、図６の工程Ｓ１０、Ｓ１１、Ｓ１３、及びＳ１６と同様であるため、その説明を省略する。また、図１４の工程Ｓ５２は、図１２の工程Ｓ４２と同様であるため、その説明を省略する。
【0222】
工程Ｓ５４：
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３より大きく、且つ、電荷量Ｑ３が電荷量Ｑ４以上である否かを判定する。距離画像撮像装置１は、（１７）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と、電荷量Ｑ２の各々と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３より大きいか否かを判定する。また、距離画像撮像装置１は、電荷量Ｑ３と電荷量Ｑ４とを比較することにより、電荷量Ｑ３が電荷量Ｑ４以上であるか否かを判定する。
工程Ｓ５５：
距離画像撮像装置１は、電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３より大きく、且つ、電荷量Ｑ３が電荷量Ｑ４以上である場合、測定モードＭ４における近距離受光画素に対応する演算式（上述した（１８）式）を適用して測定距離を演算する。
工程Ｓ５７：
一方、距離画像撮像装置１は、工程Ｓ５４において電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３以下である、又は電荷量Ｑ３が電荷量Ｑ４より大きい場合、電荷量Ｑ２、Ｑ３が電荷量Ｑ４より大きく、且つ、電荷量Ｑ４が電荷量Ｑ１＃以上である否かを判定する。距離画像撮像装置１は、電荷量Ｑ２、Ｑ３と電荷量Ｑ４とを比較することにより、電荷量Ｑ２、Ｑ３が電荷量Ｑ４より大きいか否かを判定する。また、距離画像撮像装置１は、（１７）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と電荷量Ｑ４とを比較することにより、電荷量Ｑ４が電荷量Ｑ１＃以上であるか否かを判定する。
工程Ｓ５８：
距離画像撮像装置１は、電荷量Ｑ２、Ｑ３が電荷量Ｑ４より大きく、且つ、電荷量Ｑ４が電荷量Ｑ１＃以上である場合、測定モードＭ５における遠距離受光画素に対応する演算式（上述した（１９）式）を適用して測定距離を演算する。
工程Ｓ５９：
距離画像撮像装置１は、電荷量Ｑ２、Ｑ３が電荷量Ｑ４以下である、又は、電荷量Ｑ４が電荷量Ｑ１＃より小さい場合、測定モードＭ５における超遠距離受光画素に対応する演算式（上述した（２０）式）を適用して測定距離を演算する。
距離画像撮像装置１は、選択した画素３２１における補正後の電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３より大きく、且つ、電荷量Ｑ３が電荷量Ｑ４以上である否かを判定する。距離画像撮像装置１は、（１７）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と、電荷量Ｑ２の各々と電荷量Ｑ３とを比較することにより、電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３より大きいか否かを判定する。また、距離画像撮像装置１は、電荷量Ｑ３と電荷量Ｑ４とを比較することにより、電荷量Ｑ３が電荷量Ｑ４以上であるか否かを判定する。
工程Ｓ５５：
距離画像撮像装置１は、電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３より大きく、且つ、電荷量Ｑ３が電荷量Ｑ４以上である場合、測定モードＭ４における近距離受光画素に対応する演算式（上述した（１８）式）を適用して測定距離を演算する。
工程Ｓ５７：
一方、距離画像撮像装置１は、工程Ｓ５４において電荷量Ｑ１＃、Ｑ２が電荷量Ｑ３以下である、又は電荷量Ｑ３が電荷量Ｑ４より大きい場合、電荷量Ｑ２、Ｑ３が電荷量Ｑ４より大きく、且つ、電荷量Ｑ４が電荷量Ｑ１＃以上である否かを判定する。距離画像撮像装置１は、電荷量Ｑ２、Ｑ３と電荷量Ｑ４とを比較することにより、電荷量Ｑ２、Ｑ３が電荷量Ｑ４より大きいか否かを判定する。また、距離画像撮像装置１は、（１７）式に基づいて補正後の電荷量Ｑ１＃を算出し、算出した電荷量Ｑ１＃と電荷量Ｑ４とを比較することにより、電荷量Ｑ４が電荷量Ｑ１＃以上であるか否かを判定する。
工程Ｓ５８：
距離画像撮像装置１は、電荷量Ｑ２、Ｑ３が電荷量Ｑ４より大きく、且つ、電荷量Ｑ４が電荷量Ｑ１＃以上である場合、測定モードＭ５における遠距離受光画素に対応する演算式（上述した（１９）式）を適用して測定距離を演算する。
工程Ｓ５９：
距離画像撮像装置１は、電荷量Ｑ２、Ｑ３が電荷量Ｑ４以下である、又は、電荷量Ｑ４が電荷量Ｑ１＃より小さい場合、測定モードＭ５における超遠距離受光画素に対応する演算式（上述した（２０）式）を適用して測定距離を演算する。
【0223】
上述した少なくとも１つの実施形態では、蓄積された電荷量に基づいて、一つの画素毎に距離を算出する場合を例に説明した。しかしながらこれに限定されることはない。例えば、画素毎に算出した距離値について、着目画素の周囲にある画素の距離値に基づく補正を行い、補正後の値を測定距離とするようにしてもよい。
【0224】
また、画素３２１が反射光ＲＬを受光する際、光電変換により電荷が発生するが、受光した光量の全てに対応する電荷が同時に発生するわけではない。例えば、受光した反射光ＲＬのうち、近赤外線の成分に対応する光は透過性が高いため、光電変換素子ＰＤの内部で電荷が発生すると考えられる。このような場合、振り分けられるはずの電荷の一部が遅れて発生することとなり、例えば、本来であれば第１電荷蓄積部に振り分けられるはずの電荷が、第２電荷蓄積部に蓄積されてしまうような、所謂遅延電荷が発生する可能性がある。
【0225】
このような遅延電荷が発生する要因として、光電変換素子ＰＤの構造に起因する電荷転送の遅れや、使用する光パルスＰＯの照射時間Ｔｏ、或いは電荷蓄積部ＣＳへの振り分け時間Ｔａ等が考えられる。これらの要因により大きな遅延電荷が発生した場合、外光成分のみを蓄積させる電荷蓄積部ＣＳに、外光成分だけでなく、反射光ＲＬの遅延電荷も蓄積されてしまう可能性がある。この場合、測定距離の精度が低下してしまう。
【0226】
この対策として、上述した第２の実施形態の測定モードＭ３のように、光パルスＰＯを照射する直前に外光成分を蓄積させる方法が考えられる。
【0227】
また、図１５における光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳ１に電荷を蓄積させるタイミングとの関係のように、光パルスＰＯを照射するタイミングと、外光成分を蓄積させるタイミングを十分に離す方法が考えられる。
【0228】
また、図１６における光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳ４に電荷を蓄積させるタイミングとの関係のように、光パルスＰＯを照射するタイミングと、外光成分を蓄積させるタイミングを十分に離す方法が考えられる。
【0229】
図１５、図１６は、実施形態の変形例を示す図である。図１５は、上述した第２の実施形態の測定モードＭ３において、光パルスＰＯを照射するタイミングより十分前のタイミングで、電荷蓄積部ＣＳ１に外光成分を蓄積させる動作を示している。図１６は、上述した第２の実施形態の測定モードＭ４において、光パルスＰＯを照射するタイミングより十分後のタイミングで、電荷蓄積部ＣＳ４に外光成分を蓄積させる動作を示している。
【0230】
＜第４の実施形態＞
次に、第４の実施形態について説明する。本実施形態は、１フレーム内において、電荷蓄積部ＣＳのそれぞれの露光時間が等しくなるように制御する一方で、反射光に応じた電荷を蓄積させる時間が電荷蓄積部ＣＳのそれぞれで異なるように制御する点において、上述した実施形態と相違する。また、本実施形態では、外光成分のみが蓄積される電荷蓄積部ＣＳが予め決定されていない（固定されていない）。
次に、第４の実施形態について説明する。本実施形態は、１フレーム内において、電荷蓄積部ＣＳのそれぞれの露光時間が等しくなるように制御する一方で、反射光に応じた電荷を蓄積させる時間が電荷蓄積部ＣＳのそれぞれで異なるように制御する点において、上述した実施形態と相違する。また、本実施形態では、外光成分のみが蓄積される電荷蓄積部ＣＳが予め決定されていない（固定されていない）。
【0231】
具体的に、本実施形態では、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングを、１フレームの途中で変更する。例えば、本実施形態では、１フレームにおいて複数の測定ステップが設けられる。それぞれの測定ステップにおいて、電荷蓄積部ＣＳに電荷を蓄積させるタイミングを、互いに異なるタイミングとする。
【0232】
以下では、複数の測定ステップとして、１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰを設ける場合を例に説明する。ここでの１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳに電荷を蓄積させるタイミングは「第１タイミング」の一例である。また、１ｓｔＳＴＥＰにおける蓄積処理は「第１処理」の一例である。また、１ｓｔＳＴＥＰにおいて蓄積処理を繰り返す回数は「第１回数」の一例である。また、２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳに電荷を蓄積させるタイミングは「第２タイミング」の一例である。また、２ｎｄＳＴＥＰにおける蓄積処理は「第２処理」の一例である。また、２ｎｄＳＴＥＰにおいて蓄積処理を繰り返す回数は「第２回数」の一例である。
【0233】
例えば、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ３）を備える場合、まず、１ｓｔＳＴＥＰにて光パルスＰＯの照射タイミングに同期させて電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３の順に電荷が蓄積されるように制御する。次に、２ｎｄＳＴＥＰにて電荷蓄積部ＣＳ２、ＣＳ３に電荷を蓄積させるタイミングを変更することなく、電荷蓄積部ＣＳ２、ＣＳ３、ＣＳ１の順に電荷が蓄積されるように制御する。
【0234】
本実施形態について、図１７、図１８Ａ、図１８Ｂを用いて説明する。図１７、図１８Ａ、図１８Ｂは、第４の実施形態における画素３２１を駆動するタイミングの例を示すタイミングチャートである。図１７には、画素３２１が三つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ３）を備える場合におけるタイミングチャートが示されている。図１８Ａ、図１８Ｂには、画素３２１が四つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）を備える場合におけるタイミングチャートが示されている。図１７、図１８Ａ、図１８Ｂにおける「Ｌ」、「Ｒ」、「Ｇ１」等の項目名は、図４Ａと同様である。図１７、図１８Ａ、図１８Ｂでは、光パルスＰＯが照射時間と、蓄積時間とが同じ時間間隔Ｔｏである場合の例を示している。
【0235】
以下の説明では、近距離に相当する距離範囲を「ゾーンＺ１」、遠距離に相当する距離範囲を「ゾーンＺ２」、超遠距離に相当する距離範囲を「ゾーンＺ３」、超遠距離よりも大きい距離を「ゾーンＺ４」とそれぞれ表記する。ゾーンＺ１は「第１距離」の一例である。ゾーンＺ２は「第２距離」の一例である。ゾーンＺ３は「第３距離」の一例である。ゾーンＺ４は「第４距離」の一例である。
【0236】
図１７には、一つの画素３２１が三つの電荷蓄積部ＣＳを備え、１フレームに二つの測定ステップ（１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰ）が設けられる場合のタイミングチャートが示されている。測定制御部４３は、１ｓｔＳＴＥＰでは従来のタイミングを適用して、読み出しゲートトランジスタＧ１～Ｇ３を、読み出しゲートトランジスタＧ１、Ｇ２、Ｇ３の順にオン状態とする。測定制御部４３は、２ｎｄＳＴＥＰでは、読み出しゲートトランジスタＧ２、Ｇ３をオン状態とするタイミングを１ｓｔＳＴＥＰと同様のタイミングとし、読み出しゲートトランジスタＧ１～Ｇ３を、読み出しゲートトランジスタＧ２、Ｇ３、Ｇ１の順にオン状態とする。
【0237】
すなわち、２ｎｄＳＴＥＰでは、垂直走査回路３２３は、光パルスＰＯの照射から蓄積時間Ｔｏ遅れたタイミングで、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ２を蓄積時間Ｔｏオン状態とする。また、垂直走査回路３２３は、読み出しゲートトランジスタＧ２をオフ状態としたタイミングで読み出しゲートトランジスタＧ３を蓄積時間Ｔｏオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオフ状態としたタイミングで読み出しゲートトランジスタＧ１を蓄積時間Ｔｏオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。２ｎｄＳＴＥＰでは、電荷蓄積部ＣＳ１～ＣＳ３に電荷を蓄積させる時間は１ｓｔＳＴＥＰと変わらないが、電荷を蓄積するタイミングを異なるタイミングとする。
【0238】
図１７に示すように、遅延時間Ｔｄが比較的小さく、ゾーンＺ１にある物体からの反射光ＲＬに対応する電荷が、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ２に振り分けて蓄積される場合を考える（第１例）。この場合、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ３、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ３に外光成分に対応する電荷が蓄積される。また、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ２、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２に、反射光に対応する電荷が蓄積される。ここでの１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１は「反射光電荷蓄積部」の一例である。また、２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ１「外光電荷蓄積部」の一例である。
【0239】
次に、遅延時間Ｔｄが、図１７に示す時間（第１例）よりも大きく、ゾーンＺ２にある物体からの反射光ＲＬに対応する電荷が、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３に振り分けて蓄積される場合を考える（第２例）。この場合、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ１に、外光成分に対応する電荷が蓄積される。また、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３に、反射光に対応する電荷が蓄積される。
【0240】
次に、遅延時間Ｔｄが、第１例、及び第２例よりも大きく、ゾーンＺ３にある物体からの反射光ＲＬに対応する電荷が、２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ３、ＣＳ１に振り分けて蓄積される場合を考える（第３例）。この場合、１ｓｔＳＴＥＰの電荷蓄積部ＣＳ１、ＣＳ２、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２に、外光成分に対応する電荷が蓄積される。また、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ３、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ３、ＣＳ１に、反射光に対応する電荷が蓄積される。ここでの１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１は「外光電荷蓄積部」の一例である。また、２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ１「反射光電荷蓄積部」の一例である。
【0241】
このように、本実施形態では、１ｓｔＳＴＥＰと２ｎｄＳＴＥＰで、電荷蓄積部ＣＳに電荷を蓄積させるタイミングを互いに異なるタイミングとする。これによって、一つの画素３２１に三つの電荷蓄積部ＣＳを備える構成であっても、測定可能となる距離を広げることができる。図１７に示す動作の場合、１フレームにおける電荷蓄積部ＣＳ１の露光時間は、１フレームにおける電荷蓄積部ＣＳ２及びＣＳ３と同一である。しかし、１フレームにおける電荷蓄積部ＣＳ１に蓄積される、反射光に応じた電荷の蓄積時間が異なる。そのため、反射光に応じた電荷の蓄積時間が同一となるように補正した上で、距離計算を実施する。補正の具体的な方法については後述する。
【0242】
このように、本実施形態では、二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を振り分けて蓄積させる場合において、反射光ＲＬの強度に応じて、当該二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を蓄積させる時間（「反射光蓄積時間」の一例）が、１フレーム期間において互いに異なる時間となるように制御する。本実施形態では、例えば、反射光ＲＬの強度を、光パルスＰＯの強度、及び対象物体の反射率が一定であると仮定し、対象物体の距離に応じて反射光ＲＬの強度が変化することに着目する。
【0243】
図１７のようゾーンＺ１に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合、ゾーンＺ２～Ｚ３にある物体に反射した反射光を受光する場合と比較して、反射光ＲＬの強度が大きい。図１７の場合とゾーンＺ２～Ｚ３にある物体に反射した反射光を受光する場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が同じ時間となるように制御した場合、図１７の場合には反射光ＲＬに応じた電荷量が飽和してしまい、ゾーンＺ２～Ｚ３にある物体に反射した反射光を受光した場合には反射光ＲＬに応じた電荷の蓄積量が少なくなってしまい、何れの場合においても距離精度が低下してしまう可能性がある。この対策として、距離画像処理部４は、強度が大きい反射光ＲＬを受光した場合には電荷蓄積部ＣＳを飽和させることなく、かつ強度が小さい反射光ＲＬ受光した場合には多くの電荷が蓄積されるようにして距離精度が向上させるように制御する。つまり、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。これにより、より強度が大きい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳ１を飽和させないようにしつつ、より強度が小さい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳに多くの電荷を蓄積させることができる。ここで、図１７における電荷蓄積部ＣＳ１及びＣＳ２は「反射光ＲＬに応じた電荷を振り分けて蓄積させる二つの電荷蓄積部」の一例である。
【0244】
具体的に、図１７では、１フレーム期間に、電荷蓄積部ＣＳ１～ＣＳ３に、順に、電荷を蓄積させる１ｓｔＳＴＥＰと、光パルスＰＯの照射と電荷蓄積部ＣＳの蓄積との相対的なタイミングを１ｓｔＳＴＥＰと同様にして電荷蓄積部ＣＳ２及びＣＳ３に電荷を蓄積させるタイミングを変更せずに電荷蓄積部ＣＳ１に電荷を蓄積させるタイミングを電荷蓄積部ＣＳ３の後に変更する２ｎｄＳＴＥＰと、が設けられる。これにより、距離画像処理部４は、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。より具体的には、距離画像処理部４は、電荷蓄積部ＣＳ１の反射光蓄積時間を（ｘ）とし、電荷蓄積部ＣＳ２の反射光蓄積時間を（ｘ＋ｙ）とする。ここで、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ３のそれぞれの露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２～ＣＳ３のそれぞれの露光時間である。
【0245】
図１８Ａ、図１８Ｂには、一つの画素３２１が四つの電荷蓄積部ＣＳを備え、１フレームに二つの測定ステップ（１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰ）が設けられる場合のタイミングチャートが示されている。測定制御部４３は、１ｓｔＳＴＥＰでは従来のタイミングを適用して、読み出しゲートトランジスタＧ１～Ｇ４を、読み出しゲートトランジスタＧ１、Ｇ２、Ｇ３、Ｇ４の順にオン状態とする。測定制御部４３は、２ｎｄＳＴＥＰでは、読み出しゲートトランジスタＧ２～Ｇ４をオン状態とするタイミングを１ｓｔＳＴＥＰと同様のタイミングとし、読み出しゲートトランジスタＧ１～Ｇ４を、読み出しゲートトランジスタＧ２、Ｇ３、Ｇ４、Ｇ１の順にオン状態とする。
【0246】
すなわち、２ｎｄＳＴＥＰでは、垂直走査回路３２３は、光パルスＰＯの照射から蓄積時間Ｔｏ遅れたタイミングで、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ２を蓄積時間Ｔｏオン状態とする。また、垂直走査回路３２３は、読み出しゲートトランジスタＧ２をオフ状態としたタイミングで読み出しゲートトランジスタＧ３を蓄積時間Ｔｏオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ３をオフ状態としたタイミングで読み出しゲートトランジスタＧ４を蓄積時間Ｔｏオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ４をオフ状態としたタイミングで読み出しゲートトランジスタＧ１を蓄積時間Ｔｏオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。２ｎｄＳＴＥＰでは、電荷蓄積部ＣＳ１～ＣＳ４に電荷を蓄積させる時間は１ｓｔＳＴＥＰと変わらないが、電荷を蓄積するタイミングを異なるタイミングとする。
【0247】
図１８Ａに示すように、遅延時間Ｔｄが比較的小さく、ゾーンＺ１にある物体からの反射光ＲＬに対応する電荷が、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ２に振り分けて蓄積される場合を考える。この場合、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ３、ＣＳ４、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３、ＣＳ１に外光成分に対応する電荷が蓄積される。また、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ２、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２に反射光に対応する電荷が蓄積される。ここでの１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１は「反射光電荷蓄積部」の一例である。また、２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ１「外光電荷蓄積部」の一例である。
【0248】
次に、遅延時間Ｔｄが、図１８Ａに示す時間よりも大きく、ゾーンＺ２にある物体からの反射光ＲＬに対応する電荷が、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３に振り分けて蓄積される場合を考える（第４例）。この場合、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ４、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ４、ＣＳ１に、外光成分に対応する電荷が蓄積される。また、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３に、反射光に対応する電荷が蓄積される。
【0249】
次に、遅延時間Ｔｄが、第４例よりも大きく、ゾーンＺに３ある物体からの反射光ＲＬに対応する電荷が、１ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ３、ＣＳ４に振り分けて蓄積される場合を考える（第５例）。この場合、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１、ＣＳ２、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ１に、外光成分に対応する電荷が蓄積される。また、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ３、ＣＳ４、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ３、ＣＳ４に、反射光に対応する電荷が蓄積される。
【0250】
そして、図１８Ｂに示すように、遅延時間Ｔｄが、第５例に示す時間よりも大きく、ゾーンＺ４にある物体からの反射光ＲＬに対応する電荷が、２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ４、ＣＳ１に振り分けて蓄積される場合を考える。この場合、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ３、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２、ＣＳ３に、外光成分に対応する電荷が蓄積される。また、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ４、及び２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ４、ＣＳ１に、反射光に対応する電荷が蓄積される。ここでの１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１は「外光電荷蓄積部」の一例である。また、２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ１「反射光電荷蓄積部」の一例である。
【0251】
このように、本実施形態では、１ｓｔＳＴＥＰと２ｎｄＳＴＥＰで、電荷蓄積部ＣＳに電荷を蓄積させるタイミングを互いに異なるタイミングとする。これによって、一つの画素３２１に四つの電荷蓄積部ＣＳを備える構成において、電荷蓄積部ＣＳに電荷を蓄積させるタイミングを固定した場合と比較して測定可能となる距離を広げることができる。図１８Ａ、図１８Ｂに示す動作の場合、１フレームにおける電荷蓄積部ＣＳ１の露光時間は、他の電荷蓄積部ＣＳ２～ＣＳ４と同一である。しかし、１フレームにおける電荷蓄積部ＣＳ１に蓄積される、反射光に応じた電荷の蓄積時間が異なる。そのため、反射光に応じた電荷の蓄積時間が同一となるように補正した上で、距離計算を実施する必要がある。
【0252】
ここで補正の具体的な方法について説明する。以下では、四つの電荷蓄積部ＣＳを備える画素３２１を、図１８Ａ（図１８Ｂ）のタイミングチャートにしたがって駆動させる場合を例に説明する。図１７のような三つの電荷蓄積部ＣＳを備える画素３２１を駆動させる場合についてもこの方法を適用することができる。距離演算部４２は、画素３２１が何れのゾーンＺからの反射光を受光したかを判定し、判定結果に応じて、画素３２１ごとに補正を行う。
【0253】
（ゾーンＺ１からの反射光を受光する場合）
距離演算部４２は、ゾーンＺ１からの反射光を受光する画素３２１においては、下記の（２１）式、及び（２２）式を適用することにより、遅延時間Ｔｄを算出する。
距離演算部４２は、ゾーンＺ１からの反射光を受光する画素３２１においては、下記の（２１）式、及び（２２）式を適用することにより、遅延時間Ｔｄを算出する。
【0254】
Ｑ１＃＃＃＝(Ｑ１－Ｑ４)×｛（ｘ＋ｙ）／ｘ｝＋Ｑ４ …（２１）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ４）／（Ｑ１＃＃＃＋Ｑ２－２×Ｑ４） …（２２）
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ４）／（Ｑ１＃＃＃＋Ｑ２－２×Ｑ４） …（２２）
【0255】
ここで、（２１）式、及び（２２）式におけるＱ１＃＃＃は、補正後の電荷蓄積部ＣＳ１に蓄積された電荷量を示す。また、（２１）式におけるｘは、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１の露光時間である。（２１）式におけるｙは、２ｎｄＳＴＥＰにおける他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ２）の露光時間である。
【0256】
ここで、電荷蓄積部ＣＳの露光時間は、単位蓄積時間における電荷蓄積部ＣＳの蓄積時間と、振り分け回数と、を乗算した値である。すなわち、電荷蓄積部ＣＳにおける振り分け回数と露光時間とは比例する関係にある。したがって、ｘは１ｓｔＳＴＥＰにおける振り分け回数、ｙは２ｎｄＳＴＥＰにおける振り分け回数であってもよい。
【0257】
また、（２１）式、及び（２２）式におけるＱ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量である。また、（２２）式におけるＴｄは遅延時間、Ｔｏは光パルスＰＯが照射された期間である。
【0258】
（２１）式、及び（２２）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ４に蓄積された電荷量と同量であることを前提とする。ここで、（２１）式、及び（２２）式では、外光成分のみが蓄積される電荷蓄積部ＣＳを、電荷蓄積部ＣＳ４とする場合を示した。ゾーンＺ１からの反射光を受光する場合においては、外光成分のみを蓄積する電荷蓄積部ＣＳは、電荷蓄積部ＣＳ３、ＣＳ４である。このため、（２１）式、及び（２２）式におけるＱ４を、Ｑ３としてもよい。Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量である。
【0259】
なお、外光成分のみを蓄積する電荷蓄積部ＣＳが複数ある場合、いずれの電荷蓄積部ＣＳに蓄積された電荷量を外光成分に相当する電荷量とするかは、任意に決定されてよい。例えば、外光成分のみを蓄積する電荷蓄積部ＣＳに蓄積された電荷量のうち、最も少ない電荷量を外光成分に相当する電荷量とするように決定する。
【0260】
（ゾーンＺ２、ゾーンＺ３からの反射光を受光する場合）
距離演算部４２は、ゾーンＺ２からの反射光を受光する画素３２１においては、下記の（２３）式を、適用することにより、遅延時間Ｔｄを算出する。また、距離演算部４２は、ゾーンＺ３からの反射光を受光する画素３２１においては、下記の（２４）式を適用することにより、遅延時間Ｔｄを算出する。
距離演算部４２は、ゾーンＺ２からの反射光を受光する画素３２１においては、下記の（２３）式を、適用することにより、遅延時間Ｔｄを算出する。また、距離演算部４２は、ゾーンＺ３からの反射光を受光する画素３２１においては、下記の（２４）式を適用することにより、遅延時間Ｔｄを算出する。
【0261】
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１） …（２３）
Ｔｄ＝Ｔｏ×（Ｑ４－Ｑ１）／（Ｑ３＋Ｑ４－２×Ｑ１） …（２４）
Ｔｄ＝Ｔｏ×（Ｑ４－Ｑ１）／（Ｑ３＋Ｑ４－２×Ｑ１） …（２４）
【0262】
ここで、（２３）式、及び（２４）式におけるＴｄは遅延時間、Ｔｏは光パルスＰＯが照射された期間である。（２３）式、及び（２４）式におけるＱ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量である。
【0263】
また、（２３）式では、電荷蓄積部ＣＳ２及びＣＳ３に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。（２４）式では、電荷蓄積部ＣＳ３及びＣＳ４に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。なお、（２３）式におけるＱ１を、Ｑ４としてもよい。また、（２４）式におけるＱ１を、Ｑ２としてもよい。
【0264】
（ゾーンＺ４からの反射光を受光する場合）
距離演算部４２は、ゾーンＺ４からの反射光を受光する画素３２１においては、下記の（２５）式、及び（２６）式を適用することにより、遅延時間Ｔｄを算出する。
距離演算部４２は、ゾーンＺ４からの反射光を受光する画素３２１においては、下記の（２５）式、及び（２６）式を適用することにより、遅延時間Ｔｄを算出する。
【0265】
Ｑ１＃＃＃＃＝(Ｑ１－Ｑ２)×｛（ｘ＋ｙ）／ｘ｝＋Ｑ２ …（２５）
Ｔｄ＝Ｔｏ×（Ｑ１＃＃＃＃－Ｑ２）／（Ｑ４＋Ｑ１＃＃＃＃－２×Ｑ２） …（２６）
Ｔｄ＝Ｔｏ×（Ｑ１＃＃＃＃－Ｑ２）／（Ｑ４＋Ｑ１＃＃＃＃－２×Ｑ２） …（２６）
【0266】
ここで、（２５）式、（２６）式におけるＱ１＃＃＃＃は、補正後の電荷蓄積部ＣＳ１に蓄積された電荷量を示す。また、（２５）式におけるｘは、１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１の反射光蓄積時間である。（２５）式におけるｙは、２ｎｄＳＴＥＰにおける他の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ４）の反射光蓄積時間である。
【0267】
また、（２５）式、及び（２６）式におけるＱ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量である。また、（２６）式におけるＴｄは遅延時間、Ｔｏは光パルスＰＯが照射された時間である。また、（２５）式、及び（２６）式では、電荷蓄積部ＣＳ４及びＣＳ１に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ２に蓄積された電荷量と同量であることを前提とする。なお、（２５）式、及び（２６）式おけるＱ２を、Ｑ３としてもよい。Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量である。
【0268】
距離演算部４２は、画素３２１のそれぞれが受光した反射光の状況に応じて、上記の式を適用する。距離演算部４２は、距離を演算する過程において、例えば、補正後の電荷量Ｑ１（つまり、電荷量Ｑ１＃＃＃～Ｑ１＃＃＃＃）、電荷量Ｑ２～Ｑ４の電荷量をそれぞれ比較することにより、画素３２１がゾーンＺ１～Ｚ４の何れにある物体からの反射光を受光したか判定し、判定結果におうじて、画素３２１に上記の式の何れを適用するか決定する。
【0269】
例えば、画素３２１がゾーンＺ１受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ１及びＣＳ２に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ３及びＣＳ４に受光される。この場合、電荷蓄積部ＣＳ３及びＣＳ４には、電荷蓄積部ＣＳ１及びＣＳ２と比較して少ない電荷量が蓄積される。この性質を利用して、距離演算部４２は、画素３２１がゾーンＺ１受光画素であるか否かを判定し、画素３２１がゾーンＺ１受光画素であると判定した場合、距離の演算に（２１）式、及び（２２）式を適用する。
【0270】
例えば、画素３２１がゾーンＺ２受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ２及びＣＳ３に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１及びＣＳ４に受光される。この場合、電荷蓄積部ＣＳ１及びＣＳ４には、電荷蓄積部ＣＳ２及びＣＳ３と比較して少ない電荷量が蓄積される。この性質を利用して、距離演算部４２は、画素３２１がゾーンＺ２受光画素であるか否かを判定し、画素３２１がゾーンＺ２受光画素であると判定した場合、距離の演算に（２３）式を適用する。
【0271】
例えば、画素３２１がゾーンＺ３受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ３及びＣＳ４に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ１及びＣＳ２に受光される。この場合、電荷蓄積部ＣＳ１及びＣＳ２には、電荷蓄積部ＣＳ３及びＣＳ４と比較して少ない電荷量が蓄積される。この性質を利用して、距離演算部４２は、画素３２１がゾーンＺ３受光画素であるか否かを判定し、画素３２１がゾーンＺ３受光画素であると判定した場合、距離の演算に（２４）式を適用する。
【0272】
例えば、画素３２１がゾーンＺ４受光画素である場合、被写体ＯＢからの反射光ＲＬは電荷蓄積部ＣＳ４及びＣＳ１に振り分けられて受光され、外光成分は電荷蓄積部ＣＳ２及びＣＳ３に受光される。この場合、電荷蓄積部ＣＳ２及びＣＳ３には、電荷蓄積部ＣＳ４及びＣＳ１と比較して少ない電荷量が蓄積される。この性質を利用して、距離演算部４２は、画素３２１がゾーンＺ４受光画素であるか否かを判定し、画素３２１がゾーンＺ４受光画素であると判定した場合、距離の演算に（２５）式、及び（２６）式を適用する。
【0273】
なお、上記では、１フレームを１ｓｔＳＴＥＰと２ｎｄＳＴＥＰの二つに分け、それぞれのＳＴＥＰにおいて、電荷蓄積部ＣＳ１に電荷を蓄積させるタイミングを変更した処理を繰り返し行う場合を例に説明した。しかしながらこれに限定されない。１フレームにおける一連の蓄積処理において、ランダムまたは疑似ランダム的に、１ｓｔＳＴＥＰと２ｎｄＳＴＥＰを切り変えるようにしてもよい。これにより、１フレームにおいて電荷蓄積部ＣＳ１に電荷を蓄積させるタイミングに偏りがなくなり、ノイズ等の外乱要因を減らすことが可能となる。
【0274】
また、上記では、電荷蓄積部ＣＳ１に電荷を蓄積させるタイミングを変更することによりゾーンＺ４まで測定可能とする場合を例に説明した。しかしながらこれに限定されない。例えば、２ｎｄＳＴＥＰにおいて、電荷蓄積部ＣＳ１だけでなく、電荷蓄積部ＣＳ２やＣＳ３に電荷を蓄積させるタイミングを変更してもよい。具体的に、２ｎｄＳＴＥＰにおいて、電荷蓄積部ＣＳ４に電荷を蓄積させるタイミングを１ｓｔＳＴＥＰと同じタイミングとし、電荷蓄積部ＣＳ４、ＣＳ１、ＣＳ２、ＣＳ３の順に電荷が蓄積されるように制御する。これにより、距離を測定することが可能な範囲を、ゾーンＺ４より大きいゾーンＺ５や、ゾーンＺ５より大きいゾーンＺ６に広げることが可能となる。この場合、外光成分に相当する電荷量は、電荷蓄積部ＣＳのそれぞれで変わることなく同じ電荷量となる。一方、反射光に応じた電荷を蓄積する電荷蓄積部ＣＳでは、電荷蓄積部ＣＳに反射光に応じた電荷を蓄積させる時間が異なる場合がある。この場合、一方の電荷蓄積部ＣＳに反射光に応じた電荷を蓄積させる時間が、他方と同等なるように補正する。補正では、前述した（２１）式や（２５）式と同様の考え方を適用することが可能である。
【0275】
なお、上記では、電荷蓄積部ＣＳに蓄積された電荷量、及び補正後の電荷量のそれぞれを比較することによって、外光成分のみが蓄積された電荷蓄積部ＣＳを決定し、いずれのゾーンＺからの反射光を受光した画素３２１であるかを判定する場合を例に説明した。しかしながら、このような判定方法に限定されることはない。例えば、特許文献ＷＯ２０１９／０３１５１０に記載されているように、反射光に応じた電荷量の合計値が所定の閾値を超えるか判定すること等により、計算式の変更や計測距離の有効性を判定して距離を決定する方法を用いてもよい。
【0276】
以上説明したように、本実施形態では、同一の画素３２１に設けられた複数の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１と、他の電荷蓄積部ＣＳ２～ＣＳ４）とにおいて、反射光による電荷の蓄積時間が、互いに異なる時間となるように制御する。これにより、ゾーンＺ１受光画素の電荷蓄積部ＣＳ１が飽和しない範囲で電荷を蓄積させると共に、ゾーンＺ２受光画素の電荷蓄積部ＣＳ２及びＣＳ３により多くの電荷を蓄積させることが可能となる。また、ゾーンＺ３受光画素の電荷蓄積部ＣＳ３及びＣＳ４により多くの電荷を蓄積させることが可能となる。また、ゾーンＺ４まで測定範囲を広げることができる。ここで、ゾーンＺ１受光画素とは、ゾーンＺ１からの反射光を受光する画素３２１である。ゾーンＺ２受光画素とは、ゾーンＺ２からの反射光を受光する画素３２１である。ゾーンＺ３受光画素とは、ゾーンＺ３からの反射光を受光する画素３２１である。したがって、測定範囲にゾーンＺ１にある物体と、ゾーンＺ２にある物体と、ゾーンＺ３にある物体と、ゾーンＺ４にある物体が混在している場合であっても、ゾーンＺ２にある物体や、ゾーンＺ３にある物体や、ゾーンＺ４にある物体を、精度よく測定することが可能となる。
【0277】
また、本実施形態では、電荷蓄積部ＣＳ１の１フレームにおける合計の露光時間が電荷蓄積部ＣＳ２からＣＳ４と同じ露光時間となる。このため、外光成分に応じた電荷量が、どの電荷蓄積部でも同じ電荷量になる。したがって、電荷蓄積部ＣＳが外光成分に応じた電荷量のみを蓄積する場合、距離を算出する際にその電荷蓄積部ＣＳにおける電荷蓄積量を補正する必要がない。すなわち、ノイズ等の外乱要因の低減効果を得ることができる。
【0278】
なお、本実施形態における１ｓｔＳＴＥＰ、及び２ｎｄＳＴＥＰの振り分け回数（露光時間）の内訳は、状況に応じて任意に設定されてよい。例えば、事前に決定された回数で動作するように制御してもよい。本実施形態における１ｓｔＳＴＥＰの振り分け回数は、ゾーンＺ１受光画素における電荷蓄積部ＣＳ１が飽和しない範囲を上限に設定されることが好ましい。具体的な閾値を設けて１ｓｔＳＴＥＰの振り分け回数を決定するようにしてもよい。例えば、距離０．５ｍの位置に反射率９０％の物体がある場合において、電荷蓄積部ＣＳ１の容量の８割程度の電荷量が蓄積されるように、１ｓｔＳＴＥＰの振り分け回数が決定されるようにしてもよい。
【0279】
本実施形態では、２ｎｄＳＴＥＰにおいて電荷蓄積部ＣＳ４の後で電荷蓄積部ＣＳ１をオン状態とすることによってゾーンＺ４からの反射光を受光できるようにしている。この場合、電荷蓄積部ＣＳ１に蓄積される電荷量が、電荷蓄積部ＣＳ４に蓄積される電荷量と比較して、非常に小さくなることが考えられる。一般に、電荷蓄積部ＣＳに蓄積される電荷量が大きい方が測定する距離の精度を向上させることができる。このため、ゾーンＺ１にある物体までの距離の精度を高くしたい場合、１ｓｔＳＴＥＰの振り分け回数を多くすることが考えられる。一方、ゾーンＺ４にある物体までの距離の精度を高くしたい場合は、１ｓｔＳＴＥＰを少なく、２ｎｄＳＴＥＰ振り分け回数を多くすることが望ましい。
【0280】
また、２ｎｄＳＴＥＰの振り分け回数は、何れのゾーンＺからの反射光を受光する画素３２１においても、電荷蓄積部ＣＳ２～ＣＳ４が飽和することなく、且つ、各ゾーンＺからの反射光を受光する電荷蓄積部ＣＳに蓄積される電荷量が、精度よく距離を演算することができる程度に大きな値となるように設定されることが望ましい。
【0281】
このように、本実施形態では、二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を振り分けて蓄積させる場合において、反射光ＲＬの強度に応じて、当該二つの電荷蓄積部ＣＳに反射光ＲＬに応じた電荷を蓄積させる時間（「反射光蓄積時間」の一例）が、１フレーム期間において互いに異なる時間となるように制御する。本実施形態では、例えば、反射光ＲＬの強度を、光パルスＰＯの強度、及び対象物体の反射率が一定であると仮定し、対象物体の距離に応じて反射光ＲＬの強度が変化することに着目する。
【0282】
図１８Ａ、１８Ｂでは、図１８ＡのようゾーンＺ１に存在する被写体ＯＢに反射した反射光ＲＬを受光する場合、図１８ＢのようなゾーンＺ４にある物体に反射した反射光を受光する場合と比較して、反射光ＲＬの強度が大きい。図１８Ａと図１８Ｂの場合とで、反射光ＲＬに応じた電荷を蓄積させる時間が同じ時間となるように制御した場合、図１８Ａの場合には反射光ＲＬに応じた電荷量が飽和してしまい、図１８Ｂの場合には反射光ＲＬに応じた電荷の蓄積量が少なくなってしまい、何れの場合においても距離精度が低下してしまう可能性がある。この対策として、距離画像処理部４は、強度が大きい反射光ＲＬを受光した場合には電荷蓄積部ＣＳを飽和させることなく、かつ強度が小さい反射光ＲＬ受光した場合には多くの電荷が蓄積されるようにして距離精度が向上させるように制御する。つまり、距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。これにより、より強度が大きい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳ１を飽和させないようにしつつ、より強度が小さい反射光ＲＬに応じた電荷を蓄積する電荷蓄積部ＣＳに多くの電荷を蓄積させることができる。ここで、図１８Ａにおける電荷蓄積部ＣＳ１及びＣＳ２は「反射光ＲＬに応じた電荷を振り分けて蓄積させる二つの電荷蓄積部」の一例である。
【0283】
具体的に、図１８Ａ、１８Ｂでは、１フレーム期間に、電荷蓄積部ＣＳ１～ＣＳ４に、順に、電荷を蓄積させる１ｓｔＳＴＥＰと、光パルスＰＯの照射と電荷蓄積部ＣＳの蓄積との相対的なタイミングを１ｓｔＳＴＥＰと同様にして電荷蓄積部ＣＳ２～ＣＳ４に電荷を蓄積させるタイミングを変更せずに電荷蓄積部ＣＳ１に電荷を蓄積させるタイミングを電荷蓄積部ＣＳ４の後に変更する２ｎｄＳＴＥＰと、が設けられる。これにより、距離画像処理部４は、電荷蓄積部ＣＳ１の反射光蓄積時間が、電荷蓄積部ＣＳ２の反射光蓄積時間よりも小さくなるように制御する。より具体的には、距離画像処理部４は、電荷蓄積部ＣＳ１の反射光蓄積時間を（ｘ）とし、電荷蓄積部ＣＳ２の反射光蓄積時間を（ｘ＋ｙ）とする。ここで、ｘは１ｓｔＳＴＥＰにおける電荷蓄積部ＣＳ１～ＣＳ４のそれぞれの露光時間である。ｙは２ｎｄＳＴＥＰにおける電荷蓄積部ＣＳ２～ＣＳ４のそれぞれの露光時間である。
【0284】
【0285】
（第１の実施形態の効果）
ここで第１の実施形態の効果について説明する。第１の実施形態では、１つの画素３２１に三つの電荷蓄積部ＣＳが設けられる。また、従来の動作として図４Ａのタイミングチャートで規定される動作を適用した。光パルスＰＯの照射時間Ｔｏ、及び電荷蓄積部ＣＳへの蓄積時間Ｔａが３９ｎｓとなるように動作させた。この際、距離画像撮像装置１から０．５ｍの距離に対象物ＴＡ（被写体ＯＢ）があり、対象物ＴＡに反射された反射光ＲＬが画素ＧＡに受光される。また、距離画像撮像装置１から８ｍの距離に対象物ＴＢ（被写体ＯＢ）があり、対象物ＴＢに反射された反射光ＲＬが画素ＧＢに受光される。
ここで第１の実施形態の効果について説明する。第１の実施形態では、１つの画素３２１に三つの電荷蓄積部ＣＳが設けられる。また、従来の動作として図４Ａのタイミングチャートで規定される動作を適用した。光パルスＰＯの照射時間Ｔｏ、及び電荷蓄積部ＣＳへの蓄積時間Ｔａが３９ｎｓとなるように動作させた。この際、距離画像撮像装置１から０．５ｍの距離に対象物ＴＡ（被写体ＯＢ）があり、対象物ＴＡに反射された反射光ＲＬが画素ＧＡに受光される。また、距離画像撮像装置１から８ｍの距離に対象物ＴＢ（被写体ＯＢ）があり、対象物ＴＢに反射された反射光ＲＬが画素ＧＢに受光される。
【0286】
また、対象物ＴＡ、ＴＢの反射率は８０％であった。この状況で従来の動作を実施すると、画素ＧＡは早い段階で飽和する。今回の構成では、積算回数５０００回（露光時間１７０μｓ）で飽和した。従来例では、対象物ＴＢからの反射光ＲＬが受光される画素ＧＢも積算回数が５０００回（露光時間１７０μｓ）となる。ＣＳに蓄電できる電荷量が少ない。このため、露光時間が短く、外光で発生する電荷量と大きな差がなくなり、ノイズに埋もれやすく正確な距離計算が困難となる。このような従来例で動作させた結果、距離分解能は１０％となった。これは、８ｍの距離に存在する物体（被写体ＯＢ）が、７．２ｍ～８．８ｍの範囲で測定されたことを示している。
【0287】
一方、第１の実施形態の測定モードＭ１では、近距離受光画素については積算回数５０００回で距離を測定したが、遠距離受光画素では第１電荷蓄積部への電荷の振り分けを停止した状態で電荷振り分けを実施し、積算回数が合計２５００００回（露光時間８５００μｓ）となるまで飽和させることなく電荷を蓄積することができた。距離計算では、第１電荷蓄積部に蓄積されている電荷に対して、８５００／１７０を補正値として乗算させることで、電荷量を補正した。この結果、８ｍの距離に存在する対象物における距離分解能は、０．５％となった。これは、８ｍの距離に存在する物体（被写体ＯＢ）が、７．９６ｍ～８．０４ｍの範囲で測定されることを示している。
【0288】
図１９に、近距離の対象物が０．５ｍにある場合における、０．５ｍから１２ｍまでの距離を測定した結果と、今回の発明した方法の比較した図を載せる。なお、１２ｍは、この条件の構造を備える距離画像撮像装置１で測定できる上限値である。
【0289】
【0290】
図１９に示すように、例えば、おおよそ０．５ｍから６ｍまでの測定範囲が近距離と決定される。これは、光パルスＰＯの照射時間Ｔｏ、及び電荷蓄積部ＣＳへの振り分け時間Ｔａが３９［ｎｓ］に設定されているためである。従来例（通常駆動と記載）及び本実施形態（本発明の駆動と記載）の近距離は、いずれも、測定距離が約０．５ｍにある被写体ＯＢからの反射光ＲＬが飽和しない露光時間を上限に振り分け回数が設定されている。このため、測定距離が６ｍ未満の範囲において、距離分解能が数％以上と悪い結果となっている。従来例では、照射時間Ｔｏ、及び蓄積時間Ｔａを、２０［ｎｓ］など更に短くすることで、近距離が約０～３ｍ、遠距離が３ｍ～６ｍとなる。この方法で、約０．５ｍにある被写体ＯＢからの反射光ＲＬが飽和しない露光時間を上限に振り分け回数を設定すれば、３ｍ未満の範囲において距離分解能を１％以下にすることが可能となる。しかし、その場合、３ｍ以上の遠距離では、分解能が数％以上悪化することになる。
【0291】
これに対し、本実施形態（本発明の駆動と記載）では、測定範囲を小さくする場合に、照射時間Ｔｏ、及び蓄積時間Ｔａを、２０［ｎｓ］に設定するなどして、更に短くする。この場合、近距離が約０～３ｍ、遠距離が３ｍ～６ｍとなる。この条件で、本実施形態を適用することにより、６ｍ未満の距離でも分解能を１％以下程度に良化させることが可能となる。この条件でさらに遠距離を測定する場合は測定モードＭ３～Ｍ５の何れか用いて、１つの画素３２１に設けられる電荷蓄積部ＣＳの数を四個にする。これにより、本実施形態（本発明の駆動と記載）では、測定範囲が９ｍに到達するまで、近い距離から距離精度を維持したままより遠い範囲を測定できるようになる。更に遠い範囲まで測定するには、電荷蓄積部の数を４個以上にする必要がある。
【0292】
（第２の実施形態の効果）
ここで第２の実施形態の効果について説明する。第２の実施形態では、画素３２１には四つの電荷蓄積部ＣＳが設けられる。測定モードＭ４の動作（図１２のタイミングチャートで規定される動作）を適用することによって距離の測定を試みた。
ここで第２の実施形態の効果について説明する。第２の実施形態では、画素３２１には四つの電荷蓄積部ＣＳが設けられる。測定モードＭ４の動作（図１２のタイミングチャートで規定される動作）を適用することによって距離の測定を試みた。
【0293】
また、光パルスＰＯの照射時間Ｔｏ、及び電荷蓄積部ＣＳへの振り分け時間Ｔａを３９［ｎｓ］とした。また、撮像対象とする空間において、距離画像撮像装置１から０．５ｍの距離に対象物ＴＡ（被写体ＯＢ）が存在していた。距離画像撮像装置１では、対象物ＴＡからの反射光ＲＬが画素ＧＡに受光されるものとする。また、撮像対象とする空間において、距離画像撮像装置１から８．０ｍの距離に対象物ＴＢ（被写体ＯＢ）が存在していた。距離画像撮像装置１では、対象物ＴＢからの反射光ＲＬが画素ＧＢに受光されるものとする。また、対象物ＴＡにおける光パルスＰＯの反射率は８０％であった。また、電荷蓄積部ＣＳ４を、外光に対応する電荷が蓄積される電荷蓄積部ＣＳに固定した。
【0294】
上述したような設定条件で動作を実施すると、近距離からの反射光ＲＬが受光される画素ＧＡは、比較的早い段階で飽和した。この構成で、積算回数（振り分け回数とも言う）５０００回（露光時間１７０μｓに相当する）で飽和した。従来の動作では、８ｍの距離にある対象物ＴＢからの反射光ＲＬが受光される画素ＧＢも、積算回数が５０００回となる。
【0295】
この場合、遠い距離からの反射光ＲＬの光量が減衰されて受光されるため、電荷蓄積部ＣＳに蓄電できる電荷量が少ない。このため、露光時間が短く、外光で発生する電荷量と大きな差がなくなり、ノイズに埋もれやすく正確な距離計算が困難となる。このような従来例で動作させた結果、距離分解能は１０％となった。これは、８ｍの距離に存在する物体（被写体ＯＢ）が、７．２ｍ～８．８ｍの範囲で測定されたことを示している。
【0296】
これに対し、第２の実施形態の測定モードＭ４では、近距離受光画素については積算回数５０００回で距離を測定したが、遠距離受光画素では電荷蓄積部ＣＳ１への電荷の振り分けを停止させるようにして電荷の振り分けを実施し、積算回数が合計２５００００回（露光時間８５００μｓ）となるまで飽和させることなく電荷を蓄積することができた。距離計算では、第１電荷蓄積部に蓄積されている電荷に対して、８５００／１７０を補正値として乗算させることで、電荷量を補正した。この結果、８ｍの距離に存在する対象物における距離分解能は、０．５％となった。これは、８ｍの距離に存在する物体（被写体ＯＢ）が、７．９６ｍ～８．０４ｍの範囲で測定されることを示している。
【0297】
今回の条件下では、第１の実施例も第２の実施例も同様の結果となった。今回の実施例では、光パルスＰＯの照射時間Ｔｏ、及び電荷蓄積部ＣＳへの振り分け時間Ｔａが３９ｎｓに設定している。これは、照射時間Ｔｏが大きい値に設定されている為、遅延電荷の発生量が少なく、遅延電荷の影響が少ない条件に相当する。距離の精度を向上させるために、照射時間Ｔｏが小さい値に設定されている場合、遅延電荷の発生量が多くなりやすい。このため、電荷蓄積部ＣＳの数が多い第２の実施形態の方がより適していると考えられる。しかし、第２の実施形態では、実装が困難となりやすい為、設定する条件に応じて適している構造及び動作タイミングが設定されることが望ましい。
【0298】
以上説明したように、第１の実施形態に係る距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。光源部２は、測定空間Ｅに光パルスＰＯを照射する。受光部３は、入射した光に応じた電荷を発生する光電変換素子ＰＤ、及び前記電荷を蓄積する複数の電荷蓄積部ＣＳを具備する画素と、光パルスＰＯの照射に同期させた所定の蓄積タイミングで、電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる垂直走査回路３２３（画素駆動回路）と、を有する。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、測定空間Ｅに存在する被写体ＯＢまでの距離を測定する。距離画像処理部４は、１フレーム期間において、電荷蓄積部ＣＳのそれぞれの露光時間が互いに異なる時間となるように、１回の振り分け処理において電荷蓄積部ＣＳに電荷を蓄積させる蓄積時間Ｔａ、又は１フレーム期間に振り分け処理を行う回数（振り分け回数）を制御する。
【0299】
これにより、第１の実施形態に係る距離画像撮像装置１では、画素が備える複数の電荷蓄積部のそれぞれに互いに異なる露光時間で電荷を蓄積させることができる。したがって、近距離にある物体と遠距離にある物体とを精度よく測定することが可能となる。
【0300】
ここで、比較例として、１フレームに複数の測定ステップを設ける代わりに、１フレームに複数のサブフレームを設け、サブフレーム単位で露光時間を変更し、サブフレームの動作が終了する度に読み出しを行う構成を考える。この場合、パルス幅（蓄積時間Ｔａ）を小さくしても、サブフレーム毎に積算回数を十分に取りつつサブフレーム数を増加させることによって測定距離を伸ばすことができる。その結果、測定距離を伸ばしながら測定の精度を向上させることができるというメリットがある。その半面、サブフレームの動作が終了する度に読み出しを行う必要があり、読み出し時間が多くなり、測定に時間がかかってしまう、というデメリットがある。また、読みだしたデータを保持するためのデータ格納領域が必要となる。また、サブフレームの数が多い場合には、露光時間が少なくなり測定精度の維持が困難になる傾向となる。また、サブフレームの数が多い場合には制御が複雑となる傾向にある。
【0301】
これに対し、第１の実施形態では、１フレームに複数の測定ステップを設けているが、１フレームの動作が終了した後に、一度だけデータの読み出しを行えばよい。このため、１フレームあたりの読み出しに要する時間を抑えることができ、1フレーム内の露光時間をより多く確保することが可能である。
【0302】
また、第１の実施形態では、測定ステップのそれぞれで、全く異なる動作をするものではなく、電荷を蓄積させない読み出しゲートトランジスタＧのみがオン状態とならないように制御される以外は、１フレームに渡って同じ動作で制御される。このため、ステップ数が増えても制御が容易である。
【0303】
上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0304】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0305】
１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図19】