知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
G01S 17/894 20200101AFI20241217BHJP
G01S 7/497 20060101ALI20241217BHJP
G01C 3/06 20060101ALI20241217BHJP
【ＦＩ】
G01S17/894
G01S7/497
G01C3/06 120Q
【請求項の数】
10
(21)【出願番号】P 2021008218
(22)【出願日】2021-01-21
(65)【公開番号】P2022112388
(43)【公開日】2022-08-02
【審査請求日】2023-12-20
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】畠山 邦広
(72)【発明者】
【氏名】中込 友洋
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特開２０１９－２１９４００（ＪＰ，Ａ）
【文献】特開２０２０－３２５０（ＪＰ，Ａ）
【文献】国際公開第２００９／００５０９８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０２５２８００（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００８６５２１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８－ ７／５１
Ｇ０１Ｓ １７／００－１７／９５
Ｇ０１Ｃ ３／００－ ３／３２
(57)【特許請求の範囲】
【請求項1】
被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体までの測定距離を決定する距離画像処理部と、
単位蓄積回数あたりに蓄積される電荷量に基づく第１変数ごとに、電荷比に基づく第２変数と前記被写体までの距離に対応する対応距離との関係を示すテーブル情報を記憶する記憶部と、
を備え、
前記第１変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数であり、
前記第２変数は、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つ以上の距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比であり、
前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、算出した前記第１変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報を用いて、算出した前記第２変数に対応する前記対応距離を取得し、取得した前記対応距離を用いて、前記測定距離を決定する、
距離画像撮像装置。
【請求項2】
前記電荷比は、前記距離演算用電荷蓄積部のそれぞれに蓄積された前記距離演算用電荷量の和に対する、二つ以上の前記距離演算用電荷蓄積部のいずれか一つまたは複数の組み合わせによる前記距離演算用電荷量の比である、請求項１に記載の距離画像撮像装置。
【請求項3】
前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、算出した前記第１変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報から、前記第２変数より小さい電荷比に対応付けられた第１距離と、前記第２変数より大きい電荷比に対応付けられた第２距離とを抽出し、抽出した前記第１距離と前記第２距離を線形補間することによって前記測定距離を決定する、請求項１に記載の距離画像撮像装置。
【請求項4】
前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする、
請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
【請求項5】
前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする、
請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
【請求項6】
前記記憶部は、前記第１変数が閾値より小さい場合に対応する前記テーブル情報である第１テーブル情報と、前記第１変数が前記閾値より大きい場合に対応する前記テーブル情報である第２テーブル情報とを記憶し、前記閾値は、前記光電変換素子から前記電荷蓄積部までの経路における電荷の転送効率に応じて決定される値であり、
前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、算出した前記第１変数が前記閾値より小さい場合に前記第１テーブル情報を選択し、算出した前記第１変数が前記閾値より大きい場合に前記第２テーブル情報を選択する、
請求項１に記載の距離画像撮像装置。
【請求項7】
前記記憶部は、二つの前記距離演算用電荷蓄積部の組合せごとに前記テーブル情報を記憶し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記距離演算用電荷蓄積部の組合せと決定し、決定した前記距離演算用電荷蓄積部の組合せに応じて前記テーブル情報を選択する、
請求項１に記載の距離画像撮像装置。
【請求項8】
前記画素には、三つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、
前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部の順に、前記電荷が蓄積されるように制御し、
前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、前記第１算出値を、二つの前記距離演算用電荷蓄積部のいずれか一方の前記距離演算用電荷量とする、
請求項１に記載の距離画像撮像装置。
【請求項9】
前記画素には、四つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、
前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、
前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、
前記第２電荷蓄積部に蓄積された第２電荷量と前記第４電荷蓄積部に蓄積された第４電荷量とを用いて、前記第２電荷量と前記第４電荷量との差分である第２算出値を算出し、
前記第１算出値の絶対値と前記第２算出値の絶対値を加算した加算値を、二つの前記距離演算用電荷蓄積部における前記距離演算用電荷量の和とし、前記第１算出値を二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、前記第２算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する、
請求項１に記載の距離画像撮像装置。
【請求項10】
被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路とを有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体までの測定距離を決定する距離画像処理部と、単位蓄積回数あたりに蓄積される電荷量に基づく第１変数ごとに、電荷比に基づく第２変数と前記被写体までの距離に対応する対応距離との関係を示すテーブル情報を記憶する記憶部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記第１変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数であり、
前記第２変数は、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つ以上の距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比であり、
前記距離画像処理部は、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、
算出した前記第１変数に対応する前記テーブル情報を選択し、
選択した前記テーブル情報を用いて、算出した前記第２変数に対応する前記対応距離を取得し、
取得した前記対応距離を用いて、前記測定距離を決定する、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下、ＴＯＦという）と呼ばれる。ＴＯＦでは、光の速度が既知であることを利用し、物体に近赤外領域の光パルスを照射する。そして、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を受光した時刻との時間差を測定する。この時間差に基づいて物体との距離を算出する。フォトダイオード（光電変換素子）を用いて距離を測定するための光を検出する測距センサが実用化されている。
【0003】
そして、近年では、物体との距離のみではなく、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得ることができる測距センサが実用化されている。このような測距センサは、距離画像撮像装置ともいわれている。距離画像撮像装置では、フォトダイオードを含む画素がシリコン基板に二次元の行列状に複数配置され、この画素面で物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量（電荷）に基づいた光電変換信号を１つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得ることができる。例えば、特許文献１には、１つの画素に３つの電荷蓄積部が設けられ、順番に電荷を振り分けて距離を計算する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第４２３５７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような距離画像撮像装置では、物体によって反射してきた反射光を画素が受光し、受光した反射光の光量を電荷に光電変換し、変換した電荷を電荷蓄積部に蓄積させ、蓄積させた電荷量に基づいて距離の情報を算出する。しかしながら、蓄積された電荷量から算出される距離が、実際の距離（実距離）に対して誤差がある場合があった。
【0006】
本発明は、上記の課題に基づいてなされたものであり、電荷蓄積部に蓄積された電荷量に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の距離画像撮像装置は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体までの測定距離を決定する距離画像処理部と、単位蓄積回数あたりに蓄積される電荷量に基づく第１変数ごとに、電荷比に基づく第２変数と前記被写体までの距離に対応する対応距離との関係を示すテーブル情報を記憶する記憶部と、を備え、前記第１変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数であり、前記第２変数は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つ以上の距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比であり、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、算出した前記第１変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報を用いて、算出した前記第２変数に対応する前記対応距離を取得し、取得した前記対応距離を用いて、前記測定距離を決定する。
【0008】
本発明の距離画像撮像装置では、前記電荷比は、前記距離演算用電荷蓄積部のそれぞれに蓄積された前記距離演算用電荷量の和に対する、二つ以上の前記距離演算用電荷蓄積部のいずれか一つまたは複数の組み合わせによる前記距離演算用電荷量の比である。
【0009】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、算出した前記第１変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報から、前記第２変数より小さい電荷比に対応付けられた第１距離と、前記第２変数より大きい電荷比に対応付けられた第２距離とを抽出し、抽出した前記第１距離と前記第２距離を線形補間することによって前記測定距離を決定する。
【0010】
本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする。
【0011】
本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする。
【0012】
本発明の距離画像撮像装置では、前記記憶部は、前記第１変数が閾値より小さい場合に対応する前記テーブル情報である第１テーブル情報と、前記第１変数が前記閾値より大きい場合に対応する前記テーブル情報である第２テーブル情報とを記憶し、前記閾値は、前記光電変換素子から前記電荷蓄積部までの経路における電荷の転送効率によって生じる距離ずれに応じて決定される値であり、距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、算出した前記第１変数が前記閾値より小さい場合に前記第１テーブル情報を選択し、算出した前記第１変数が前記閾値より大きい場合に前記第２テーブル情報を選択する。
【0013】
本発明の距離画像撮像装置では、前記記憶部は、二つの前記距離演算用電荷蓄積部の組合せごとに前記テーブル情報を記憶し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記距離演算用電荷蓄積部の組合せと決定し、決定した前記距離演算用電荷蓄積部の組合せに応じて前記テーブル情報を選択する。
【0014】
本発明の距離画像撮像装置では、前記画素には、三つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部の順に、前記電荷が蓄積されるように制御し、前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、前記第１算出値を、二つの前記距離演算用電荷蓄積部のいずれか一方の前記距離演算用電荷量とする。
【0015】
本発明の距離画像撮像装置では、前記画素には、四つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、前記第２電荷蓄積部に蓄積された第２電荷量と前記第４電荷蓄積部に蓄積された第４電荷量とを用いて、前記第２電荷量と前記第４電荷量との差分である第２算出値を算出し、前記第１算出値の絶対値と前記第２算出値の絶対値を加算した加算値を、二つの前記距離演算用電荷蓄積部における前記距離演算用電荷量の和とし、前記第１算出値を二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、前記第２算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する。
【0016】
本発明の距離画像撮像方法は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路とを有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体までの測定距離を決定する距離画像処理部と、単位蓄積回数あたりに蓄積される電荷量に基づく第１変数ごとに、電荷比に基づく第２変数と前記被写体までの距離に対応する対応距離との関係を示すテーブル情報を記憶する記憶部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記第１変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数であり、前記第２変数は、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比であり、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第１変数及び前記第２変数を算出し、算出した前記第１変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報を用いて、算出した前記第２変数に対応する前記対応距離を取得し、取得した前記対応距離を用いて、前記測定距離を決定する。
【発明の効果】
【0017】
本発明によれば、電荷蓄積部に蓄積された電荷量に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる。
【図面の簡単な説明】
【0018】
【図1】実施形態の距離画像撮像装置１の概略構成を示したブロック図である。
【図2】実施形態の距離画像センサ３２の概略構成を示したブロック図である。
【図3】実施形態の画素３２１の構成の一例を示した回路図である。
【図4】実施形態の画素３２１を駆動するタイミングの例を示すタイミングチャートである。
【図5A】実施形態のテーブル情報４４０の構成の例を示す図である。
【図5B】実施形態のテーブル情報４４０の構成の例を示す図である。
【図5C】実施形態のテーブル情報４４０の構成の例を示す図である。
【図5D】実施形態のテーブル情報４４０の構成の例を示す図である。
【図6】実施形態のテーブル情報４４０を説明する図である。
【図7】実施形態の距離画像処理部４がテーブル情報４４０を用いて線形補間を行う処理を説明する図である。
【図8】実施形態の距離画像処理部４が外光成分を決定する処理を説明する図である。
【図9】実施形態の距離画像処理部４が外光成分を決定する処理を説明する図である。
【図10】実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。
【図11】実施形態の効果を説明する図である。
【図12】実施形態の変形例１におけるテーブル情報４４０Ａの構成の例を示す図である。
【図13】実施形態の変形例２におけるテーブル情報４４０Ｂの構成の例を示す図である。
【図14】実施形態の変形例３における二つのタイムウィンドウを説明する図である。
【図15】実施形態の変形例３におけるテーブル情報４４０Ｃの構成の例を示す図である。
【図16】実施形態の変形例３におけるテーブル情報４４０Ｄの構成の例を示す図である。
【発明を実施するための形態】
【0019】
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
【0020】
＜実施形態＞
まず、実施形態について説明する。図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
まず、実施形態について説明する。図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
【0021】
光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
【0022】
光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
【0023】
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
【0024】
受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
【0025】
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
【0026】
距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
【0027】
距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
【0028】
距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３と、記憶部４４とを備える。なお、距離画像処理部４の機能部（タイミング制御部４１、距離演算部４２、測定制御部４３、及び記憶部４４）の一部が、距離画像センサ３２に組み込まれていてもよい。
【0029】
タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの振り分け回数（蓄積回数）を制御する信号などである。振り分け回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分ける処理を繰返す回数である。この電振り分け回数と、電荷を振り分ける処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間（後述する蓄積時間Ｔａ）の積が露光時間となる。
【0030】
距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を算出し、算出した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、被写体ＯＢまでの距離を演算する。
【0031】
本実施形態では、距離演算部４２は、後述するテーブル情報４４０を用いて、被写体ＯＢまでの距離を決定する。テーブル情報４４０については後で詳しく説明する。また、距離演算部４２が、テーブル情報４４０を用いて被写体ＯＢまでの距離を決定する方法については、後で詳しく説明する。
【0032】
測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの振り分け回数及び蓄積時間Ｔａ等を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
【0033】
記憶部４４は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部４４は、例えば、テーブル情報４４０を記憶する。テーブル情報４４０については後で詳しく説明する。
【0034】
このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。
【0035】
なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
【0036】
次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。
【0037】
図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
【0038】
受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
【0039】
垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
【0040】
画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
【0041】
水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
【0042】
以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
【0043】
ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。
【0044】
図３に示すように、画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
【0045】
なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
【0046】
図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。
【0047】
光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
【0048】
画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
【0049】
距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、４つ以上であってもよい。
【0050】
また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
【0051】
また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、これに限定されない。例えば、電荷蓄積部ＣＳに蓄積されずに光電変換素子ＰＤに残っている電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
【0052】
【0053】
図４では、光パルスＰＯを照射するタイミングを「Ｌ」、反射光が受光されるタイミングを「Ｒ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２、ＴＸ３についても同様である。
【0054】
図４に示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光されるとする。垂直走査回路３２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。図４では、１回の振り分け処理において、光パルスＰＯを照射して電荷蓄積部ＣＳに順に電荷を蓄積させるまでの時間を「単位蓄積期間」と表している。「単位蓄積期間」において行われる振り分け処理を１フレームに相当する蓄積回数だけ繰り返し行った後に、その間に蓄積された電荷量を読み出す処理が行われる。この蓄積された電荷量を読み出す処理が行われる時間を「読み出し期間」と表している。
【0055】
まず、図４を用いて近距離にある物体からの反射光ＲＬを受光する場合について説明する。垂直走査回路３２３は、光パルスＰＯを照射させるタイミングに同期させて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
【0056】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
【0057】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
【0058】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0059】
垂直走査回路３２３は、上述したような駆動を、１フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子Ｏ２、Ｏ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号が距離演算部４２に出力される。
【0060】
なお、上記では、光源部２が読み出しゲートトランジスタＧ１がオン状態となったタイミングで、光パルスＰＯを照射する場合を例に説明した。しかしながらこれに限定されることはない。光源部２は、少なくとも近距離にある物体からの反射光ＲＬが電荷蓄積部ＣＳ１、ＣＳ２に跨って受光されるようなタイミングで照射されればよい。例えば、光源部２は、読み出しゲートトランジスタＧ１がオン状態となる手前のタイミングで照射されるようにしてもよい。また、上記では、光パルスＰＯを照射する照射時間Ｔｏが蓄積時間Ｔａと同じ長さである場合を例に説明した。しかしながらこれに限定されることはない。照射時間Ｔｏと蓄積時間Ｔａとが異なる時間間隔であってもよい。
【0061】
図４に示すような近距離受光画素においては、光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１及びＣＳ２に、反射光ＲＬ及び外光成分に相当する電荷量が振り分けられて保持される。また、電荷蓄積部ＣＳ３には背景光などの外光成分に相当する電荷量が保持される。この場合、電荷蓄積部ＣＳ１及びＣＳ２は「距離演算用電荷蓄積部」の一例である。この場合、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される反射光ＲＬに相当する電荷量は「距離演算用電荷量」の一例である。
【0062】
電荷蓄積部ＣＳ１及びＣＳ２に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体ＯＢに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
【0063】
距離演算部４２は、この原理を利用して、従来の近距離受光画素においては、以下の（１）式により、遅延時間Ｔｄを算出する。
【0064】
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－２×Ｑ３） …（１）
【0065】
ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。なお、（１）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。
【0066】
距離演算部４２は、近距離受光画素においては、（１）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0067】
ここで、従来の距離画像撮像装置１において、蓄積された電荷量から算出される距離（測定距離）に誤差が生じる要因について説明する。
【0068】
誤差が生じる一因として、距離画像撮像装置１における回路内での信号遅延により、矩形の立上りや立下りにおいて遅延が発生し、波形になまりが生じることが考えられる。すなわち、このような光パルス及びゲートパルスのなまり及び電荷転送の遅延が、測定する距離に誤差が生じる要因となっていた。この対策として、例えば、電荷比Ｒに距離Ｄが対応付けられた対応表（「テーブル情報」の一例）を用いて、誤差を補正する方法が採用されている。ここでの距離は被写体ＯＢまでの距離である。
【0069】
ここでの電荷比Ｒは、反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（図４における電荷蓄積部ＣＳ１及びＣＳ２）のそれぞれに蓄積された電荷量の比率である。この場合、電荷比Ｒは、例えば、以下の（２）式、或いは（３）式で示される。
【0070】
Ｒ＝Ｑ１＃／（Ｑ１＃＋Ｑ２＃） …（２）
Ｒ＝Ｑ２＃／（Ｑ１＃＋Ｑ２＃） …（３）
ただし、Ｑ１＃＝Ｑ１－Ｑｂ
Ｑ２＃＝Ｑ２－Ｑｂ
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑｂは電荷蓄積部ＣＳに蓄積される外光成分に相当する電荷量
Ｒ＝Ｑ２＃／（Ｑ１＃＋Ｑ２＃） …（３）
ただし、Ｑ１＃＝Ｑ１－Ｑｂ
Ｑ２＃＝Ｑ２－Ｑｂ
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑｂは電荷蓄積部ＣＳに蓄積される外光成分に相当する電荷量
【0071】
電荷比Ｒに距離Ｄが対応付けられた対応表を用いることによって、（１）式により算出した距離に誤差が生じる場合であっても、誤差が少なくなるように距離を補正することが可能となる。なお、外光成分に相当する電荷量Ｑｂを算出する方法については、後で詳しく説明する。
【0072】
また、誤差が生じる別の要因として、１回の光電変換で発生する電荷の絶対量によって、電荷を転送する効率（転送効率）が異なることが考えられる。ここでの転送とは、光電変換素子ＰＤから電荷蓄積部ＣＳのそれぞれに電荷が蓄積されることである。
【0073】
例えば、光電変換素子ＰＤに入射される光の強度（光量）が小さい場合、光電変換素子ＰＤに入射される光の強度が大きい場合と比較して、転送効率が低下する。これは、転送経路にポテンシャルのポケット（穴）が形成されている場合等に、そのポケットを埋めるために転送中の電荷に係る電子が使用されるためと考えられている。
【0074】
例えば、光電変換素子ＰＤに入射される光の強度が大きい場合には、光電変換素子ＰＤで発生する電荷量が多い。このためポケットを埋めるために電子が使用されたとしても、全体の電荷量はほとんど変化せず、転送効率はさほど低下しない。
【0075】
一方、光電変換素子ＰＤに入射される光の強度が小さい場合には、光電変換素子ＰＤで発生する電荷量が少ない。このため、ポケットを埋めるために電子が使用された場合には、全体の電荷量が大きく減少してしまい、転送効率が低下してしまう。
【0076】
電荷比Ｒに距離Ｄが対応付けられた対応表を用いた場合、このような転送効率の良し悪しを考慮することができなかった。電荷比Ｒは、１フレームあたりに蓄積された電荷量Ｑ１、或いはＱ２を対象として算出される値であり、１回の蓄積回数で蓄積された電荷量が判らないためである。この結果、測定距離と、実際の距離が異なり距離ずれが生じる原因となっていた。
【0077】
この対策として、本実施形態では、単位蓄積電荷量Ｑｉｎｔごとに、テーブル情報４４０を作成する。単位蓄積電荷量Ｑｉｎｔは、単位蓄積回数（例えば、１回の蓄積回数）あたりに電荷蓄積部ＣＳのそれぞれに蓄積された電荷量の総和である。例えば、単位蓄積電荷量Ｑｉｎｔは、以下の（４）式で示される。
【0078】
Ｑｉｎｔ＝ＱＳＵＭ／ｉｎｔ …（４）
ただし、ＱＳＵＭ＝Ｑ１＋Ｑ２＋Ｑ３
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
ｉｎｔは１フレームあたりの蓄積回数
ただし、ＱＳＵＭ＝Ｑ１＋Ｑ２＋Ｑ３
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
ｉｎｔは１フレームあたりの蓄積回数
【0079】
或いは、単位蓄積電荷量Ｑｉｎｔに代えて、単位蓄積電子数Ｎｉｎｔごとに、テーブル情報４４０を作成するようにしてもよい。単位蓄積電子数Ｎｉｎｔは、単位蓄積回数（例えば、１回の蓄積回数）あたりに電荷蓄積部ＣＳのそれぞれに蓄積された電子数の総和である。例えば、単位蓄積電子数Ｎｉｎｔは、以下の（５）式で示される。
【0080】
Ｎｉｎｔ＝ＮＳＵＭ／ｉｎｔ …（５）
ただし、ＮＳＵＭ＝Ｑ１／ＣＧ１＋Ｑ２／ＣＧ２＋Ｑ３／ＣＧ３
ＮＳＵＭは電荷蓄積部ＣＳ１～ＣＳ３蓄積された電子数の総和［ｅ－］
ｉｎｔは１フレームあたりの蓄積回数
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量［Ｖ］
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量［Ｖ］
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量［Ｖ］
ＣＧ１は電荷蓄積部ＣＳ１に蓄積された電荷量の変換ゲイン［Ｖ／ｅ－］
ＣＧ２は電荷蓄積部ＣＳ２に蓄積された電荷量の変換ゲイン［Ｖ／ｅ－］
ＣＧ３は電荷蓄積部ＣＳ３に蓄積された電荷量の変換ゲイン［Ｖ／ｅ－］
ただし、ＮＳＵＭ＝Ｑ１／ＣＧ１＋Ｑ２／ＣＧ２＋Ｑ３／ＣＧ３
ＮＳＵＭは電荷蓄積部ＣＳ１～ＣＳ３蓄積された電子数の総和［ｅ－］
ｉｎｔは１フレームあたりの蓄積回数
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量［Ｖ］
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量［Ｖ］
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量［Ｖ］
ＣＧ１は電荷蓄積部ＣＳ１に蓄積された電荷量の変換ゲイン［Ｖ／ｅ－］
ＣＧ２は電荷蓄積部ＣＳ２に蓄積された電荷量の変換ゲイン［Ｖ／ｅ－］
ＣＧ３は電荷蓄積部ＣＳ３に蓄積された電荷量の変換ゲイン［Ｖ／ｅ－］
【0081】
変換ゲインＣＧ１～ＣＧ３は、電荷を電子数に換算（変換）する係数であり、例えば、レイアウトなどを考慮して予め決定された値である。変換ゲインＣＧ１～ＣＧ３は、互いに異なる値であってもよいし、変換ゲインＣＧ１～ＣＧ３の全部または一部が同じ値であってもよい。
【0082】
このように、単位蓄積電荷量Ｑｉｎｔ（又は、単位蓄積電子数Ｎｉｎｔ）ごとにテーブル情報４４０が作成される構成により、単位蓄積電荷量Ｑｉｎｔ（又は、単位蓄積電子数Ｎｉｎｔ）に応じて、適切なテーブル情報４４０を選択することが可能となる。
【0083】
例えば、単位蓄積電荷量Ｑｉｎｔが多く、転送効率が低下していない場合には、通常のテーブル情報４４０を用いて距離を補正する。一方、単位蓄積電荷量Ｑｉｎｔが少なく、転送効率が低下している場合には、転送効率が低い場合に対応させたテーブル情報４４０を用いて距離を補正する。これにより、電荷の転送効率が異なる場合であっても、距離を精度よく補正することが可能となる。ここで、単位蓄積電荷量Ｑｉｎｔは、「第１変数」の一例である。電荷比Ｒは、「第２変数」の一例である。
【0084】
ここで、テーブル情報４４０について図５Ａ～図５Ｄを用いて説明する。図５Ａ～図５Ｄは、実施形態のテーブル情報４４０の構成の例を示す図である。図５Ａには、単位蓄積電荷量Ｑｉｎｔ１である場合における、電荷比Ｒに距離を対応づけたテーブル情報４４０が示されている。図５Ｂには、単位蓄積電荷量Ｑｉｎｔ２である場合における、電荷比Ｒに距離を対応づけたテーブル情報４４０が示されている。図５Ｃには、単位蓄積電荷量Ｑｉｎｔ３である場合における、電荷比Ｒに距離を対応づけたテーブル情報４４０が示されている。図５Ｄには、単位蓄積電荷量Ｑｉｎｔ４である場合における、電荷比Ｒに距離を対応づけたテーブル情報４４０が示されている。
【0085】
この例では、電荷の比率が同じ電荷比Ｒ１である場合であっても、単位蓄積電荷量Ｑｉｎｔ１であれば、距離Ｄ１１となる。一方、単位蓄積電荷量Ｑｉｎｔ３であれば、距離Ｄ３１となる。このように、電荷比Ｒが同じ値であっても、蓄積処理１回あたりに蓄積された電荷量に応じて、演算後の距離を異なる値とすることができる。
【0086】
図６は、実施形態のテーブル情報４４０を説明する図である。図６には、ある単位蓄積電荷量Ｑｉｎｔにおける電荷比Ｒと距離（図６では実距離Ｄと記載）の関係が示されている。図６に示すように、電荷比Ｒと距離の関係は比例関係になるとは限らず、非線形となる場合がある。このような場合、電荷比Ｒと距離との関係を関数で表そうとすると複雑な多次元の関係式となると考えられる。このような場合、距離を補正する度に複雑な多次元の関係式を演算しなければならず、処理負荷がかかってしまう。電荷比Ｒと距離の関係を図５のテーブル情報４４０に示すような対応表とすることにより、電荷比Ｒと距離Ｄの関係が非線形となる場合であっても、処理負荷を増大させることなく、補正に係る処理を実行することが可能となる。
【0087】
図７は、実施形態の距離画像処理部４がテーブル情報４４０を用いて線形補間を行う処理を説明する図である。図７には、図６の特性の一部（電荷比Ｒ１～Ｒ２の範囲）が示されている。この図の例では、光電変換素子ＰＤ蓄積された電荷量に基づいて算出した電荷比が、電荷比Ｒ１とＲ２の中間の値に相当する電荷比Ｒであった場合を例示している。この場合、距離演算部４２は、電荷比Ｒ１に対応する距離Ｄ１１と、電荷比Ｒ２対応する距離Ｄ１２とを線形補間することによって、電荷比Ｒに対応する距離Ｄを算出するようにしてもよい。線形補間することによって、距離をより精度良く算出することが可能となる。
【0088】
また、線形補間した場合に、補間した距離の精度が所定の範囲内となるように、テーブル情報４４０における電荷比の間隔が設定されるようにしてもよい。この場合、テーブル情報４４０における電荷比の間隔は、例えば、線形とみなせる範囲内に設定される。
【0089】
【0090】
（外光成分に相当する電荷量Ｑｂを算出する方法１）
図８には、図４と比較して遠距離にある物体からの反射光ＲＬを受光した場合のタイミングチャートが示されている。図８において、垂直走査回路３２３が、光パルスＰＯを照射させるタイミング、読み出しゲートトランジスタＧ１～Ｇ３、及びドレインゲートトランジスタＧＤをオン状態とするタイミング等は、図４と同様であるため、その説明を省略する。
図８には、図４と比較して遠距離にある物体からの反射光ＲＬを受光した場合のタイミングチャートが示されている。図８において、垂直走査回路３２３が、光パルスＰＯを照射させるタイミング、読み出しゲートトランジスタＧ１～Ｇ３、及びドレインゲートトランジスタＧＤをオン状態とするタイミング等は、図４と同様であるため、その説明を省略する。
【0091】
図８に示すように、図４のタイミングチャートと比較して遅延時間Ｔｄが大きい場合、図４と同じタイミングで電荷蓄積部ＣＳのそれぞれに電荷を蓄積させた場合、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂが蓄積され、電荷蓄積部ＣＳ２及びＣＳ３に反射光ＲＬ及び外光成分に相当する電荷量Ｑｂが振り分けられて蓄積される。この場合、電荷蓄積部ＣＳ２及びＣＳ３は「距離演算用電荷蓄積部」の一例である。
【0092】
すなわち、遅延時間Ｔｄが大きくない場合（図４の場合）には電荷蓄積部ＣＳ３に外光成分に相当する電荷量Ｑｂが蓄積され、遅延時間Ｔｄが大きい場合（図８の場合）には、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂが蓄積される。図４、図８何れの場合であっても、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに同じ量の外光成分に相当する電荷量Ｑｂが蓄積される。したがって、反射光ＲＬが振り分けて蓄積された電荷蓄積部ＣＳは、他の外光成分のみが蓄積された電荷蓄積部ＣＳと比較して、より多くの電荷量が蓄積されることとなる。
【0093】
この性質を利用して、距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Ｑｂと決定する。
【0094】
なお、ここでの電荷比Ｒは、反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（図８における電荷蓄積部ＣＳ２及びＣＳ３）のそれぞれに蓄積された電荷量の比率である。この場合、電荷比Ｒは、例えば、以下の（６）式、或いは（７）式で示される。
【0095】
Ｒ＝Ｑ２＃／（Ｑ２＃＋Ｑ３＃） …（６）
Ｒ＝Ｑ３＃／（Ｑ２＃＋Ｑ３＃） …（７）
ただし、Ｑ２＃＝Ｑ２－Ｑｂ
Ｑ３＃＝Ｑ３－Ｑｂ
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑｂは電荷蓄積部ＣＳに蓄積される外光成分に相当する電荷量
Ｒ＝Ｑ３＃／（Ｑ２＃＋Ｑ３＃） …（７）
ただし、Ｑ２＃＝Ｑ２－Ｑｂ
Ｑ３＃＝Ｑ３－Ｑｂ
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑｂは電荷蓄積部ＣＳに蓄積される外光成分に相当する電荷量
【0096】
（外光成分に相当する電荷量Ｑｂを算出する方法２）
距離画像撮像装置１は、予め決定された特定の電荷蓄積部ＣＳに外光成分に相当する電荷量Ｑｂのみが蓄積されるように、タイミングを制御するようにしてもよい。この場合、距離演算部４２は、遅延時間Ｔｄの大小に関わらず、その特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に相当する電荷量Ｑｂと決定することができる。
距離画像撮像装置１は、予め決定された特定の電荷蓄積部ＣＳに外光成分に相当する電荷量Ｑｂのみが蓄積されるように、タイミングを制御するようにしてもよい。この場合、距離演算部４２は、遅延時間Ｔｄの大小に関わらず、その特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に相当する電荷量Ｑｂと決定することができる。
【0097】
図９には、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂのみが蓄積されるように制御した場合のタイミングチャートが示されている。図９において、垂直走査回路３２３が、光パルスＰＯを照射させるタイミング、読み出しゲートトランジスタＧ１～Ｇ３、及びドレインゲートトランジスタＧＤをオン状態とするタイミング等は、図４と同様であるため、その説明を省略する。
【0098】
図９の例に示すように、光パルスＰＯを照射する前に、電荷蓄積部ＣＳ１に電荷を蓄積させることによって、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂのみが蓄積されるようにすることができる。この場合、距離演算部４２は、電荷蓄積部ＣＳ１に蓄積された電荷量を、外光成分に相当する電荷量Ｑｂと決定する。この場合、電荷蓄積部ＣＳ１は「予め決められた外光蓄積用電荷蓄積部」の一例である。
【0099】
図１０は、実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量Ｑ１～Ｑ３を取得する（ステップＳ１０）。距離演算部４２は、取得した電荷量Ｑ１～Ｑ３を用いて、外光成分に相当する電荷量Ｑｂを算出する（ステップＳ１１）。距離演算部４２は、電荷量Ｑ１～Ｑ３のうち最も少ない電荷量を電荷量Ｑｂとしてもよいし、予め決定された特定の電荷蓄積部ＣＳ（例えば、図９における電荷蓄積部ＣＳ１）に蓄積された電荷量を電荷量Ｑｂとしてもよい。
【0100】
距離演算部４２は、電荷量Ｑ１～Ｑ３、及び電荷量Ｑｂを用いて、電荷比Ｒを算出する（ステップＳ１２）。距離演算部４２は、例えば、（２）式、又は（３）式に、電荷量Ｑ１～Ｑ３、及び電荷量Ｑｂを代入することによって、電荷比Ｒを算出する。この場合において、距離演算部４２は、テーブル情報４４０に示された電荷比の構成に合致するように（２）式、又は（３）式のいずれかを選択し、選択した式を用いて、電荷比Ｒを算出する。
【0101】
距離演算部４２は、電荷量Ｑ１～Ｑ３、及び蓄積回数ｉｎｔを用いて、単位蓄積電荷量Ｑｉｎｔを算出する（ステップＳ１３）。蓄積回数ｉｎｔは予め決定された値であり、例えば、記憶部４４に記憶される。この場合、距離演算部４２は、記憶部４４から蓄積回数ｉｎｔを読み出し、電荷量Ｑ１～Ｑ３、及び読み出した蓄積回数ｉｎｔを、（４）式に代入することによって、単位蓄積電荷量Ｑｉｎｔを算出する。
【0102】
距離演算部４２は、ステップＳ１３で算出した単位蓄積電荷量Ｑｉｎｔを用いて、単位蓄積電荷量Ｑｉｎｔに対応するテーブル情報４４０を選択する（ステップＳ１４）。距離演算部４２は、選択したテーブル情報４４０を用いて、ステップＳ１２で算出した電荷比Ｒに対応する距離を選択する。この場合において、距離演算部４２は、線形補間するための二つの電荷比のそれぞれに対応付けられた、二つの距離を選択するようにしてもよいし、ステップＳ１２で算出した電荷比Ｒに最も近い電荷比に対応する一つの距離を選択するようにしてもよい。
【0103】
距離演算部４２は、二つの距離を選択した場合（ステップＳ１６、ＹＥＳ）、線形補間により距離（測定距離）を決定する（ステップＳ１７）。一方、距離演算部４２は、一つの距離を選択した場合（ステップＳ１６、ＮＯ）、選択した距離を補正後の距離（測定距離）と決定する（ステップＳ１８）。
【0104】
なお、上記では、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合を例に説明した。しかしながらこれに限定されない。距離画像撮像装置１の画素３２１が四つ以上（例えばＮ個、Ｎ≧４）の電荷蓄積部ＣＳを備える構成であってもよい。
【0105】
また、図１０に示すフローにおいて、演算の有効／無効が判断されるようにしてもよい。例えば、距離演算部４２は、ステップＳ１２で求めた電荷比Ｒが、所定の上限閾値（例えば、０．９８など）を超える場合、演算を無効とする。また、距離演算部４２は、ステップＳ１２で求めた電荷比Ｒが、所定の下限閾値（例えば、０．１２など）を下回る場合、演算を無効とする。
【0106】
距離画像撮像装置１の画素３２１がＮ個（Ｎ≧４）の電荷蓄積部ＣＳを備える場合、ステップＳ１０で、距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳＮのそれぞれに蓄積された電荷量Ｑ１～ＱＮを取得する。ステップＳ１１で、距離演算部４２は、取得した電荷量Ｑ１～Ｑ３を用いて、外光成分に相当する電荷量Ｑｂを算出する。距離演算部４２が電荷量Ｑｂを算出する方法は、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合と同様である。
【0107】
ステップＳ１２で、距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳＮから、反射光ＲＬに対応する電荷が振り分けて蓄積された二つの電荷蓄積部ＣＳ（距離測定用電荷蓄積部）を選択する。距離演算部４２が二つの電荷蓄積部ＣＳを選択する方法は、例えば、連続して電荷が蓄積される二つの電荷蓄積部ＣＳの組合せのうち、それぞれの電荷蓄積部ＣＳに蓄積された電荷量の和が最も大きいものを、反射光ＲＬに対応する電荷が振り分けて蓄積された二つの電荷蓄積部ＣＳ（距離測定用電荷蓄積部）とする。距離演算部４２は、反射光ＲＬに対応する電荷が振り分けて蓄積された二つの電荷蓄積部ＣＳのそれぞれに蓄積された電荷量、及び外光成分に相当する電荷量Ｑｂを用いて、電荷比Ｒを算出する。ステップＳ１３～Ｓ１８の処理は、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合と同様である。
【0108】
或いは、距離画像撮像装置１の画素３２１が２個の電荷蓄積部ＣＳを備える構成であってもよい。この場合、距離画像撮像装置１は、１回の測定につき、外光成分に相当する電荷のみを蓄積させる処理（第１処理という）と、反射光ＲＬを含む電荷を蓄積させる処理（第２処理という）との、２つの電荷蓄積に係る処理を行う。例えば、距離画像撮像装置１は、最初のフレームで第１処理を行い、次のフレームで第２処理を行う。第１処理を行う場合、距離画像撮像装置１は、光パルスＰＯを照射せずに、電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに電荷を蓄積させる。第２処理を行う場合、距離画像撮像装置１は、光パルスＰＯを照射して、電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに電荷を蓄積させる。
【0109】
この場合、ステップＳ１０で、距離演算部４２は、第１処理で電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに蓄積された電荷量Ｑ１ｆ、Ｑ２ｆを取得する。また、距離演算部４２は、第２処理で電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに蓄積された電荷量Ｑ１ｓ、Ｑ２ｓを取得する。ステップＳ１１で、距離演算部４２は、取得した電荷量Ｑ１ｆ、又はＱ２ｆのいずれかを外光成分に相当する電荷量Ｑｂとする。ステップＳ１２で、距離演算部４２は、取得した電荷量Ｑ１ｓ、Ｑ２ｓ、及び電荷量Ｑｂを用いて、電荷比Ｒを算出する。距離演算部４２が電荷比Ｒを算出する方法は、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合と同様である。
【0110】
以上説明したように、実施形態の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。光源部２は、被写体ＯＢが存在する測定空間に光パルスＰＯを照射する。受光部３は、画素３２１と、垂直走査回路３２３（駆動回路の一例）を備える。画素３２１は、光電変換素子ＰＤと、複数の電荷蓄積部ＣＳを具備する。垂直走査回路３２３は、光パルスＰＯの照射に同期させた所定のタイミングで画素３２１における電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。距離画像処理部４は、記憶部４４を備える。記憶部４４はテーブル情報４４０を記憶する。テーブル情報４４０は、単位蓄積電荷量Ｑｉｎｔ（第１変数の一例）ごとに、電荷比Ｒ（第２変数の一例）と距離（対応距離）との関係を示す情報である。単位蓄積電荷量Ｑｉｎｔは、（４）式、又は（５）式で表される変数である。単位蓄積電荷量Ｑｉｎｔは、単位蓄積回数あたりに電荷蓄積部ＣＳのそれぞれに蓄積される電荷量の和に対応する変数である。電荷比Ｒは、（２）式、又は（３）式で表される変数である。電荷比Ｒは、二つ以上の距離演算用電荷蓄積部（例えば、図４の電荷蓄積部ＣＳ１、及びＣＳ２）のそれぞれに蓄積された電荷量（例えば、図４の電荷量Ｑ１、及びＱ２）から外光成分（電荷量Ｑｂ）を減算した電荷量を用いて示される比率である。電荷比は、二つ以上の距離演算用電荷蓄積部のいずれか一つまたは複数の組み合わせによる距離演算用電荷量の比である。例えば、電荷比は、反射光ＲＬに応じた電荷量（Ｑ１＃＋Ｑ２＃）に対する、いずれか一方の電荷量（Ｑ１＃、又はＱ２＃）の比、すなわち（２）式、又は（３）式で表される変数である。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて単位蓄積電荷量Ｑｉｎｔ、及び電荷比Ｒを算出する。距離画像処理部４は、算出した単位蓄積電荷量Ｑｉｎｔに対応するテーブル情報４４０を選択する。距離演算部４２は、選択したテーブル情報４４０を用いて、算出した電荷比Ｒに対応する距離（対応距離）を取得する。距離演算部４２は、取得した対応距離を用いて、補正後の距離（測定距離）を決定する。
【0111】
これにより、実施形態の距離画像撮像装置１は、テーブル情報４４０を用いて電荷比Ｒに対応する距離を取得することができ、電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量Ｑ１～Ｑ３に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる。しかも、本実施形態では、テーブル情報４４０は、単位蓄積電荷量Ｑｉｎｔごとに作成されている。このため、単位蓄積電荷量Ｑｉｎｔに応じて適切なテーブル情報４４０を選択することが可能である。したがって、１回の蓄積処理あたりに蓄積される電荷量の絶対値によって転送効率が大きく異なる場合であっても、精度よく距離を補正することができる。
【0112】
また、実施形態の距離画像撮像装置１では、距離画像処理部４は、線形補間することによって補正後の距離を決定するようにする。距離画像処理部４は、テーブル情報４４０を用いて、算出した電荷比Ｒより小さい電荷比（例えば、電荷比Ｒ１）に対応付けられた第１距離（例えば、距離Ｄ１１）と、電荷比Ｒより大きい電荷比（例えば、電荷比Ｒ２）に対応付けられた第２距離（例えば、距離Ｄ１２）とを抽出する。距離画像処理部４は、抽出した第１距離（例えば、距離Ｄ１１）と第２距離（例えば、距離Ｄ１２）を、線形補間することによって得られる距離を、補正後の距離（測定距離）と決定する。これにより、実施形態の距離画像撮像装置１では、より精度よく、距離を補正することができる。
【0113】
また、実施形態の画素３２１は、三つ以上の電荷蓄積部ＣＳ１～ＣＳ３を具備する。距離画像処理部４は、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に対応する電荷量Ｑｂとする。これにより、実施形態の距離画像撮像装置１では、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量を比較するという容易な処理により、外光成分に対応する電荷量Ｑｂを算出することができる。
【0114】
また、実施形態の画素３２１は、三つ以上の電荷蓄積部ＣＳ１～ＣＳ３を具備する。距離画像処理部４は、電荷蓄積部ＣＳ１～ＣＳ３のうちの特定の電荷蓄積部ＣＳに、外光成分に相当する光量のみが蓄積されるように、蓄積タイミングを制御する。距離演算部４２は、この特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に対応する電荷量Ｑｂとする。これにより、実施形態の距離画像撮像装置１では、特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に対応する電荷量Ｑｂとして算出することができ、容易に外光成分に対応する電荷量Ｑｂを決定できる。
【0115】
（実施形態の効果）
ここで、実施形態の距離画像撮像装置１における効果を、図１１を用いて説明する。図１１は、実施形態の効果を説明する図である。図１１には、実際の距離（実距離）と測定距離との関係が示されている。図１１の横軸は実距離、縦軸は測定距離を示す。ここでの距離は、被写体ＯＢまでの距離である。図１１において、黒丸で示したテーブル情報４４０を使用しない（テーブル情報不使用）場合の測定距離は、例えば、（１）式に電荷量Ｑ１～Ｑ３を代入することによって算出される距離である。黒三角で示したテーブル情報４４０を使用する（テーブル情報使用）場合の測定距離は、テーブル情報４４０を用いて算出された距離である。この図に示すように、テーブル情報使用の場合における測定距離は、実距離に一致する。一方、テーブル情報不使用の場合における測定距離は実距離とは一致せず、誤差を含む値となっている。すなわち、本実施形態の距離画像撮像装置１では、テーブル情報４４０を用いて測定距離を決定することにより、より実距離に近い値を算出することが可能である。
ここで、実施形態の距離画像撮像装置１における効果を、図１１を用いて説明する。図１１は、実施形態の効果を説明する図である。図１１には、実際の距離（実距離）と測定距離との関係が示されている。図１１の横軸は実距離、縦軸は測定距離を示す。ここでの距離は、被写体ＯＢまでの距離である。図１１において、黒丸で示したテーブル情報４４０を使用しない（テーブル情報不使用）場合の測定距離は、例えば、（１）式に電荷量Ｑ１～Ｑ３を代入することによって算出される距離である。黒三角で示したテーブル情報４４０を使用する（テーブル情報使用）場合の測定距離は、テーブル情報４４０を用いて算出された距離である。この図に示すように、テーブル情報使用の場合における測定距離は、実距離に一致する。一方、テーブル情報不使用の場合における測定距離は実距離とは一致せず、誤差を含む値となっている。すなわち、本実施形態の距離画像撮像装置１では、テーブル情報４４０を用いて測定距離を決定することにより、より実距離に近い値を算出することが可能である。
【0116】
（実施形態の変形例１）
ここで、実施形態の変形例１について説明する。本変形例では、記憶部４４が、閾値Ｔｈで分けた二つのテーブル情報４４０を記憶する点において、上述した実施形態と相違する。
ここで、実施形態の変形例１について説明する。本変形例では、記憶部４４が、閾値Ｔｈで分けた二つのテーブル情報４４０を記憶する点において、上述した実施形態と相違する。
【0117】
図１２は、実施形態の変形例１におけるテーブル情報４４０Ａの構成の例を示す図である。図１２に示すように、テーブル情報４４０Ａの上段には、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈ未満である場合における、電荷比Ｒと距離Ｄの関係が示されている。テーブル情報４４０Ａの下段には、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈ以上である場合における、電荷比Ｒと距離Ｄの関係が示されている。この図の例に示すように、テーブル情報４４０（４４０Ａ）は、単位蓄積電荷量Ｑｉｎｔと電荷比Ｒとを変数とする二次元の対応表であってもよい。
【0118】
すでに説明したように、転送効率の良し悪しは、１回の蓄積処理で転送される電荷の絶対量に依存する。このため、ある閾値Ｔｈ未満の電荷量が転送される場合には転送効率が低下し、その閾値以上の電荷量が転送される場合には転送効率が低下しないと考えられる。本変形例では、このような閾値Ｔｈで分けた二つのテーブル情報４４０（テーブル情報４４０Ａにおける上段と下段）を予め作成し、記憶部４４に記憶させる。距離演算部４２は、算出した単位蓄積電荷量Ｑｉｎｔと閾値Ｔｈとを比較し、比較結果に応じて二つのテーブル情報４４０Ａの上段と下段とのいずれかを選択する。具体的に、距離演算部４２は、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈ未満である場合には、テーブル情報４４０Ａの上段の対応表を選択する。距離演算部４２は、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈ以上である場合には、テーブル情報４４０Ａの下段の対応表を選択する。距離演算部４２は、選択した対応表を用いて距離を決定する。
【0119】
上述したように、実施形態の変形例１に係る距離画像撮像装置１では、記憶部４４は、テーブル情報４４０Ａの上段に対応する情報（「第１テーブル情報」の一例）と、テーブル情報４４０Ａの下段に対応する情報（「第２テーブル情報」の一例）との二つの情報を記憶する。テーブル情報４４０Ａの上段に対応する情報は、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈより小さい場合に対応する情報である。テーブル情報４４０Ａの下段に対応する情報は、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈより大きい場合に対応する情報である。閾値Ｔｈは、光電変換素子ＰＤから電荷蓄積部ＣＳまでの経路における電荷の転送効率に応じて決定される値である。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、単位蓄積電荷量Ｑｉｎｔ、及び電荷比Ｒを算出する。距離画像処理部４は、算出した単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈより小さい場合にテーブル情報４４０Ａの上段に対応する情報を選択する。距離画像処理部４は、算出した単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈより大きい場合にテーブル情報４４０Ａの下段に対応する情報を選択する。
【0120】
これにより、実施形態の変形例１に係る距離画像撮像装置１では、電荷の転送効率の良し悪しに対応する二つのテーブル情報４４０のいずれかを選択することができ、記憶部４４に記憶させるテーブル情報４４０の数が少ない場合であっても、精度よく距離を決定することが可能となる。
【0121】
（実施形態の変形例２）
ここで、実施形態の変形例２について説明する。本変形例では、記憶部４４が、単位蓄積電荷量Ｑｉｎｔの範囲に対応させたテーブル情報４４０を記憶する点において、上述した実施形態と相違する。
ここで、実施形態の変形例２について説明する。本変形例では、記憶部４４が、単位蓄積電荷量Ｑｉｎｔの範囲に対応させたテーブル情報４４０を記憶する点において、上述した実施形態と相違する。
【0122】
図１３は、実施形態の変形例２におけるテーブル情報４４０Ｂの構成の例を示す図である。テーブル情報４４０Ｂの上段には、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈ１以上かつ閾値Ｔｈ２未満である場合における、電荷比Ｒと距離Ｄの関係が示されている。テーブル情報４４０Ｂの下段には、単位蓄積電荷量Ｑｉｎｔが閾値Ｔｈ２以上かつ閾値Ｔｈ３未満である場合における、電荷比Ｒと距離Ｄの関係が示されている。
【0123】
本変形例において、テーブル情報４４０Ｂにおける単位蓄積電荷量Ｑｉｎｔの範囲は、例えば、転送効率の傾向が似た範囲に対応させる。距離演算部４２は、算出した単位蓄積電荷量Ｑｉｎｔが、テーブル情報４４０Ｂにおけるいずれの単位蓄積電荷量Ｑｉｎｔの範囲に対応するかを判定し、判定結果応じてテーブル情報４４０Ｂのいずれかを選択する。距離演算部４２は、選択した対応表を用いて距離を決定する。これにより、電荷の転送効率の傾向に応じてテーブル情報４４０を選択することができ、精度よく距離を決定することが可能となる。
【0124】
（実施形態の変形例３）
ここで、実施形態の変形例３について説明する。本変形例では、記憶部４４が、複数のタイムウィンドウごとのテーブル情報４４０を記憶する点において、上述した実施形態と相違する。ここでのタイムウィンドウとは、距離測定用電荷蓄積部の組合せに対応する。
ここで、実施形態の変形例３について説明する。本変形例では、記憶部４４が、複数のタイムウィンドウごとのテーブル情報４４０を記憶する点において、上述した実施形態と相違する。ここでのタイムウィンドウとは、距離測定用電荷蓄積部の組合せに対応する。
【0125】
例えば、図４では、距離測定用電荷蓄積部の組合せは電荷蓄積部ＣＳ１及びＣＳ２であり、この組み合わせが一つ目のタイムウィンドウに相当する。この一つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Ｒに応じて距離Ｄが決定される。
【0126】
また、図８では、距離測定用電荷蓄積部の組合せは電荷蓄積部ＣＳ２及びＣＳ３である。この組み合わせが二つ目のタイムウィンドウに相当する。この二つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Ｒに応じて距離Ｄが決定される。
【0127】
図１４は、実施形態の変形例３における二つのタイムウィンドウの特性を説明する図である。ここでの特性は、実距離と測定距離の対応関係を示す特性である。図１４の横軸は実距離、縦軸は測定距離を示す。特性Ｌ０は理想的な実距離と測定距離の関係を示している。特性Ｌ１は一つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。特性Ｌ２は二つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。この図の例に示すように、あるタイムウィンドウと別のタイムウィンドウでは、実距離と測定距離の対応関係が互いに異なる場合が多い。このため、あるタイムウィンドウでは精度よく補正を行うことができるテーブル情報４４０を用いて、別のタイムウィンドウの距離を補正する場合、精度よく補正できるとは限らない。
【0128】
この対策として、本変形例では、記憶部４４に、タイムウィンドウごとのテーブル情報４４０を予め作成し、記憶部４４に記憶させる。
【0129】
図１５、及び図１６は、実施形態の変形例３におけるテーブル情報の構成の例を示す図である。図１５には、あるタイムウィンドウに相当する距離測定用の電荷蓄積部の組合せ（例えば、電荷蓄積部ＣＳ１、及びＣＳ２）に用いるテーブル情報４４０Ｃが示されている。図１６には、別のタイムウィンドウに相当する距離測定用の電荷蓄積部の組合せ（例えば、電荷蓄積部ＣＳ２、及びＣＳ３）に用いるテーブル情報４４０Ｄが示されている。図１５、及び図１６に示すように、テーブル情報４４０Ｃ（４００Ｄ）では、単位蓄積電荷量Ｑｉｎｔと電荷比Ｒとが同一の値であっても、タイムウィンドウが異なる場合には、異なる距離Ｄが対応付けられている。このように、タイムウィンドウごとのテーブル情報４４０を作成することにより、それぞれのタイムウィンドウに応じた補正を行うことが可能となる。
【0130】
以上説明したように、実施形態の変形例３に係る距離画像撮像装置１では、記憶部４４は、タイムウィンドウ（二つの距離演算用の電荷蓄積部の組合せ）ごとにテーブル情報４４０Ｃ（４００Ｄ）を記憶する。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、二つの距離演算用の電荷蓄積部の組合せを決定する。距離画像処理部４は、電荷蓄積部ＣＳ１～ＣＳ３のうち、電荷を蓄積させるタイミングが連続する二つの電荷蓄積部ＣＳ（例えば、電荷蓄積部ＣＳ１及びＣＳ２）のそれぞれに蓄積された電荷量の和（Ｑ１＋Ｑ２）が、他の二つの電荷蓄積部ＣＳのそれぞれに蓄積された電荷量よりも大きい組合せを、距離演算用電荷蓄積部の組合せと決定する。距離画像処理部４は、決定した距離演算用電荷蓄積部の組合せに応じて、テーブル情報４４０Ｃ（４００Ｄ）を選択する。
【0131】
これにより、実施形態の変形例３に係る距離画像撮像装置１では、タイムウィンドウに応じてテーブル情報４４０を選択することができ、タイムウィンドウごとに実距離と測定距離の対応関係が異なる傾向となる場合であっても、それぞれのタイムウィンドウに適するテーブル情報４４０を選択することができ、精度よく距離を決定することが可能となる。
【0132】
（実施形態の変形例４）
ここで、実施形態の変形例４について説明する。本変形例では、外光のみが蓄積された電荷蓄積部ＣＳ、或いは反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（距離演算用電荷蓄積部）を特定することなく電荷比Ｒを算出する点において、上述した実施形態と相違する。
ここで、実施形態の変形例４について説明する。本変形例では、外光のみが蓄積された電荷蓄積部ＣＳ、或いは反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（距離演算用電荷蓄積部）を特定することなく電荷比Ｒを算出する点において、上述した実施形態と相違する。
【0133】
本変形例では、距離演算部４２は、特許文献ＷＯ２０１９／０３１５１０に記載されている方法を利用する。特許文献ＷＯ２０１９／０３１５１０には、指標値が所定の閾値を超えるか否かに応じて、距離演算に用いる演算式が選択される技術が記載されている。ここでの指標値は、特許文献ＷＯ２０１９／０３１５１０における「距離データ有効性判定信号」である。また、ここでの演算式は、特許文献ＷＯ２０１９／０３１５１０における「距離参照値」であり、本実施形態の「電荷比Ｒ」に相当する。以下では、画素３２１が三つの電荷蓄積部ＣＳを備える場合と、画素３２１が四つの電荷蓄積部ＣＳを備える場合に分けて、具体的な電荷比Ｒの算出方法を説明する。
【0134】
（画素３２１が三つの電荷蓄積部ＣＳを備える場合）
本変形例において、距離演算部４２は、以下の（８）式、或いは（９）式を用いて電荷比Ｒを算出する。ここでは、図４、及び図８に示すタイミングチャートにしたがって、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３の順に、電荷が蓄積されるものとする。すなわち、距離演算部４２は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２，及びＣＳ３の順に、電荷が蓄積されるように制御する。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。
本変形例において、距離演算部４２は、以下の（８）式、或いは（９）式を用いて電荷比Ｒを算出する。ここでは、図４、及び図８に示すタイミングチャートにしたがって、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３の順に、電荷が蓄積されるものとする。すなわち、距離演算部４２は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２，及びＣＳ３の順に、電荷が蓄積されるように制御する。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。
【0135】
Ｒ＝１－（Ｑ１－Ｑ３）／ＳＡ …（８）
Ｒ＝（Ｑ１－Ｑ３）／ＳＡ …（９）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋Ｑ２－０．５×ＳＢ
ＳＢ＝｜Ｑ１＋Ｑ３｜－｜Ｑ１－Ｑ３｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｒ＝（Ｑ１－Ｑ３）／ＳＡ …（９）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋Ｑ２－０．５×ＳＢ
ＳＢ＝｜Ｑ１＋Ｑ３｜－｜Ｑ１－Ｑ３｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
【0136】
記憶部４４には、単位蓄積電荷量Ｑｉｎｔごとに、電荷比Ｒに距離を対応づけたテーブル情報４４０が記憶されている。距離演算部４２は、単位蓄積電荷量Ｑｉｎｔを算出し、算出した単位蓄積電荷量Ｑｉｎｔに対応するテーブル情報４４０を用いて電荷比Ｒに対応づけられた距離を、測定距離とする。
【0137】
（画素３２１が四つの電荷蓄積部ＣＳを備える場合）
まず、画素３２１が四つの電荷蓄積部ＣＳを備える場合における、画素３２１の駆動タイミングについて説明する。この場合、例えば、図４、及び図８にさらに読み出しゲートトランジスタＧ４の項目が追加され、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に、電荷が蓄積される。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。電荷蓄積部ＣＳ４は「第４電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。電荷蓄積部ＣＳ４に蓄積された電荷量は「第４電荷量」の一例である。
まず、画素３２１が四つの電荷蓄積部ＣＳを備える場合における、画素３２１の駆動タイミングについて説明する。この場合、例えば、図４、及び図８にさらに読み出しゲートトランジスタＧ４の項目が追加され、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に、電荷が蓄積される。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。電荷蓄積部ＣＳ４は「第４電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。電荷蓄積部ＣＳ４に蓄積された電荷量は「第４電荷量」の一例である。
【0138】
具体的には、図４、及び図８に示すタイミングで、光パルスＰＯの照射、ドレインゲートトランジスタＧＤをオフ状態とする制御、読み出しゲートトランジスタＧ１～Ｇ３をオン状態とする制御が行われる。次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ４をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ４をオフ状態にする。これにより、読み出しゲートトランジスタＧ４がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。次に、垂直走査回路３２３は、電荷蓄積部ＣＳ４への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0139】
上記のようなタイミングにて制御された電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、距離演算部４２は、以下の（１０）式、或いは（１１）式を用いて、電荷比ＸＲを算出する。
【0140】
ＸＲ＝１－（Ｑ１－Ｑ３）／ＳＡ …（１０）
ＸＲ＝（Ｑ１－Ｑ３）／ＳＡ …（１１）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
ＸＲ＝（Ｑ１－Ｑ３）／ＳＡ …（１１）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
【0141】
また、距離演算部４２は、以下の（１２）式、或いは（１３）式を用いて、電荷比ＹＲを算出する。
【0142】
ＹＲ＝２－（Ｑ２－Ｑ４）／ＳＡ …（１２）
ＹＲ＝１＋（Ｑ２－Ｑ４）／ＳＡ …（１３）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
ＹＲ＝１＋（Ｑ２－Ｑ４）／ＳＡ …（１３）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
【0143】
距離演算部４２は、電荷比ＸＲと閾値ＴｈＲとを比較する。閾値ＴｈＲは、タイムウィンドウの切り替わり付近に相当する電荷比ＸＲの値の近傍に設定される。距離演算部４２は、電荷比ＸＲが閾値ＴｈＲ以下の場合、電荷比ＸＲを、電荷比Ｒとして選択する。一方、距離演算部４２は、電荷比ＸＲが閾値ＴｈＲを超えている場合、電荷比ＹＲを、電荷比Ｒとして選択する。
【0144】
記憶部４４には、単位蓄積電荷量Ｑｉｎｔごとに、電荷比Ｒに距離を対応づけたテーブル情報４４０が記憶されている。距離演算部４２は、単位蓄積電荷量Ｑｉｎｔを算出し、算出した単位蓄積電荷量Ｑｉｎｔに対応するテーブル情報４４０を用いて電荷比Ｒに対応づけられた距離を、測定距離とする。
【0145】
以上説明したように、実施形態の変形例４に係る距離画像撮像装置１では、画素３２１は、三つの電荷蓄積部ＣＳ１～ＣＳ３を具備する。距離画像処理部４は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３の順に、電荷が蓄積されるように制御する。距離演算部４２は、（８）式または（９）式のように、（Ｑ１－Ｑ３）を、二つの距離演算用電荷蓄積部のいずれか一方の電荷蓄積部ＣＳに蓄積された、反射光ＲＬに対応する電荷量（距離演算用電荷量）とする。Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量である。
【0146】
これにより、実施形態の変形例４に係る距離画像撮像装置１では、二つの距離演算用電荷蓄積部を特定することなく、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量を算出することができる。このため、（８）式または（９）式のＳＡに示すように、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和を算出することによって、電荷比Ｒを算出することが可能である。したがって、実施形態の変形例４に係る距離画像撮像装置１では、遅延時間Ｔｄの長さに応じて、（２）式または（３）式を適用するか、（６）式または（７）式を適用するかの場合分けを行うことなく、また、外光のみが蓄積された電荷蓄積部ＣＳを特定し、外光成分に相当する電荷量Ｑｂを算出することなく、容易に電荷比Ｒを算出することができる。さらに、二つのタイムウィンドウの境界においても同一の演算式（（８）式または（９）式）を適用することができるため、タイムウィンドウの境界における不連続性を改善させることが可能である。
【0147】
また、実施形態の変形例４に係る距離画像撮像装置１では、画素３２１は、四つの電荷蓄積部ＣＳ１～ＣＳ４を具備する。距離画像処理部４は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に、電荷が蓄積されるように制御する。距離演算部４２は、（Ｑ１－Ｑ３）を、二つの距離演算用電荷蓄積部の一方の電荷蓄積部ＣＳに蓄積された電荷量から計算される信号量とする。距離演算部４２は、（Ｑ２－Ｑ４）を、二つの距離演算用電荷蓄積部の他方の電荷蓄積部ＣＳに蓄積された電荷量から計算される信号量とする。距離演算部４２は、｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜を、二つの距離演算用電荷蓄積部のそれぞれの電荷蓄積部ＣＳに蓄積された電荷量から計算される信号量の和とする。
【0148】
これにより、実施形態の変形例４に係る距離画像撮像装置１では、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量、及び他方に蓄積された距離演算用電荷量を算出することができる。このため、二つの距離演算用電荷蓄積部を特定することなく、電荷比Ｒを算出することが可能である。
【0149】
さらに、この場合、タイムウィンドウの境界において（１０）式における電荷比ＸＲと（１２）式における電荷比ＹＲとが同じ値となる。このため、タイムウィンドウの境界における不連続性を改善させることが可能である。
【0150】
なお、上述した少なくとも一つの実施形態では、電荷比Ｒが二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和に対する、二つの距離演算用電荷蓄積部のいずれか一方の距離演算用電荷量の比である場合を例に説明した。しかしながらこれに限定されない。電荷比Ｒは、少なくとも二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量を用いて示される比率であればよい。例えば、電荷比Ｒは、二つの距離演算用電荷蓄積部のいずれか一方の距離演算用電荷量に対する、他方の距離演算用電荷量の比であってもよい。
【0151】
また、図９では、光パルスＰＯを照射する前に電荷蓄積部ＣＳ１に電荷を蓄積させることによって、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂのみが蓄積されるように制御する場合を例に説明した。しかしながらこれに限定されない。光パルスＰＯを照射し、反射光ＲＬを受光した後に電荷蓄積部ＣＳ３に電荷を蓄積させるように制御してもよい。この場合、電荷蓄積部ＣＳ３に外光成分に相当する電荷量Ｑｂのみが蓄積される。この場合、電荷蓄積部ＣＳ３は「予め決められた外光蓄積用電荷蓄積部」の一例である。
また、外光成分に相当する電荷量Ｑｂみを蓄積させる電荷蓄積部ＣＳを固定する場合において、図８に示すように、電荷蓄積部ＣＳ１～ＣＳ３を、連続的にオン状態とするようにしてもよい。
また、電荷蓄積部ＣＳ１～ＣＳ３を連続的にオン状態とする場合、それぞれのオン状態を切り替えるタイミングにＧＡＰ（ギャップ）を入れるように駆動を制御するようにしてもよい。ここでのＧＡＰとは、電荷蓄積部ＣＳ同士が同時にオン状態となる重複を抑制するための駆動であり、電荷蓄積部ＣＳの全てをオフ状態に制御することである。例えば、光パルスＰＯを照射する照射時間Ｔｏを１０［ｃｌｋ］とした場合、電荷蓄積部ＣＳに電荷を蓄積させる蓄積時間Ｔａを９［ｃｌｋ］、ＧＡＰを１［ｃｌｋ］とする。そして、電荷蓄積部ＣＳをオフ状態からオン状態に切り替えるタイミング、或いは電荷蓄積部ＣＳをオン状態からオフ状態に切り替えるタイミングにてＧＡＰを設けるように制御する。
また、外光成分に相当する電荷量Ｑｂみを蓄積させる電荷蓄積部ＣＳを固定する場合において、図８に示すように、電荷蓄積部ＣＳ１～ＣＳ３を、連続的にオン状態とするようにしてもよい。
また、電荷蓄積部ＣＳ１～ＣＳ３を連続的にオン状態とする場合、それぞれのオン状態を切り替えるタイミングにＧＡＰ（ギャップ）を入れるように駆動を制御するようにしてもよい。ここでのＧＡＰとは、電荷蓄積部ＣＳ同士が同時にオン状態となる重複を抑制するための駆動であり、電荷蓄積部ＣＳの全てをオフ状態に制御することである。例えば、光パルスＰＯを照射する照射時間Ｔｏを１０［ｃｌｋ］とした場合、電荷蓄積部ＣＳに電荷を蓄積させる蓄積時間Ｔａを９［ｃｌｋ］、ＧＡＰを１［ｃｌｋ］とする。そして、電荷蓄積部ＣＳをオフ状態からオン状態に切り替えるタイミング、或いは電荷蓄積部ＣＳをオン状態からオフ状態に切り替えるタイミングにてＧＡＰを設けるように制御する。
【0152】
上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0153】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0154】
１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
４４…記憶部
４４０…テーブル情報
ＣＳ…電荷蓄積部
ＰＯ…光パルス
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
４４…記憶部
４４０…テーブル情報
ＣＳ…電荷蓄積部
ＰＯ…光パルス
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】