知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
G01S 17/894 20200101AFI20241217BHJP
G01S 7/497 20060101ALI20241217BHJP
G01C 3/06 20060101ALI20241217BHJP
【ＦＩ】
G01S17/894
G01S7/497
G01C3/06 120Q
【請求項の数】
12
(21)【出願番号】P 2021008219
(22)【出願日】2021-01-21
(65)【公開番号】P2022112389
(43)【公開日】2022-08-02
【審査請求日】2023-12-20
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】畠山 邦広
(72)【発明者】
【氏名】中込 友洋
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特開２０１９－２１９４００（ＪＰ，Ａ）
【文献】特開２０２０－３２５０（ＪＰ，Ａ）
【文献】国際公開第２００９／００５０９８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０２５２８００（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００８６５２１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８－ ７／５１
Ｇ０１Ｓ １７／００－１７／９５
Ｇ０１Ｃ ３／００－ ３／３２
(57)【特許請求の範囲】
【請求項1】
被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
電荷比に被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、
を備え、
前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、
前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順或いは降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さく、
前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、取得した前記対応距離を用いて前記測定距離を決定する、
距離画像撮像装置。
【請求項2】
複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第１電荷蓄積部とし、前記反射光に対応する電荷が前記第１電荷蓄積部の次に蓄積される電荷蓄積部を第２電荷蓄積部とし、前記第１電荷蓄積部に蓄積された第１電荷量から外光成分に相当する電荷量を減算した電荷量を第１距離演算用電荷量とし、前記第２電荷蓄積部に蓄積された第２電荷量から外光成分に相当する電荷量を減算した電荷量を第２距離演算用電荷量とし、前記電荷比は、前記第１距離演算用電荷量、及び前記第２距離演算用電荷量の和に対する、前記第２距離演算用電荷量の比であり、
前記偏在状態は、前記電荷比が所定の上限値を上回る、又は所定の下限値を下回る状態である、
請求項１に記載の距離画像撮像装置。
【請求項3】
前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第１閾値未満となる第１範囲、前記電荷比が第１閾値以上かつ第２閾値未満となる第２範囲、及び前記電荷比が第２閾値以上となる第３範囲のいずれかの範囲に含まれる値であり、前記第３範囲における前記テーブル間隔は、前記第２範囲における前記テーブル間隔よりも小さい、請求項１又は請求項２に記載の距離画像撮像装置。
【請求項4】
前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第１閾値未満となる第１範囲、前記電荷比が第１閾値以上かつ第２閾値未満となる第２範囲、及び前記電荷比が第２閾値以上となる第３範囲のいずれかの範囲に含まれる値であり、前記第１範囲における前記テーブル間隔は、前記第２範囲における前記テーブル間隔よりも小さい、請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
【請求項5】
前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づく前記電荷比を算出し、前記算出した電荷比より小さい電荷比に対応付けられた第１距離と、前記算出した電荷比より大きい電荷比に対応付けられた第２距離とを、前記テーブル情報から抽出し、抽出した前記第１距離と前記第２距離を線形補間することによって前記測定距離を決定する、請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
【請求項6】
前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする、
請求項１から請求項５のいずれか一項に記載の距離画像撮像装置。
【請求項7】
前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする、
請求項１から請求項５のいずれか一項に記載の距離画像撮像装置。
【請求項8】
前記画素には、三つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、
前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部の順に、前記電荷が蓄積されるように制御し、
前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、前記第１算出値を、三つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のいずれか一方に蓄積された前記反射光に対応する電荷量とする、
請求項１から請求項５のいずれか一項に記載の距離画像撮像装置。
【請求項9】
前記画素には、四つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、
前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、
前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、
前記第２電荷蓄積部に蓄積された第２電荷量と前記第４電荷蓄積部に蓄積された第４電荷量とを用いて、前記第２電荷量と前記第４電荷量との差分である第２算出値を算出し、
前記第１算出値の絶対値と前記第２算出値の絶対値を加算した加算値を、四つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のそれぞれに蓄積された前記反射光に対応する電荷量である距離演算用電荷量の和とし、前記第１算出値を、二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、前記第２算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する、
請求項１から請求項５のいずれか一項に記載の距離画像撮像装置。
【請求項10】
前記画素は、三つ以上の前記電荷蓄積部を具備し、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第１電荷蓄積部とし、前記反射光に対応する電荷が前記第１電荷蓄積部の次に蓄積される電荷蓄積部を第２電荷蓄積部とし、前記記憶部は、前記第１電荷蓄積部と前記第２電荷蓄積部の組合せごとに前記テーブル情報を記憶し、
前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記第１電荷蓄積部及び前記第２電荷蓄積部の組合せと決定し、決定した前記第１電荷蓄積部及び前記第２電荷蓄積部の組合せに応じて前記テーブル情報を選択する、
請求項１に記載の距離画像撮像装置。
【請求項11】
複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が最初に蓄積される電荷蓄積部を第１電荷蓄積部とし、前記反射光に対応する電荷量が前記第１電荷蓄積部の次に蓄積される電荷蓄積部を第２電荷蓄積部とし、前記記憶部は、近距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第１電荷蓄積部と前記第２電荷蓄積部の組合せに対応する前記テーブル情報である近距離用情報と、遠距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第１電荷蓄積部と前記第２電荷蓄積部の組合せに対応する前記テーブル情報である遠距離用情報とを記憶し、
前記近距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第１閾値未満となる第１範囲、前記電荷比が第１閾値以上かつ第２閾値未満となる第２範囲、及び前記電荷比が第２閾値以上となる第３範囲いずれかの範囲に含まれる値であり、前記第３範囲における前記テーブル間隔は、前記第２範囲における前記テーブル間隔よりも小さく、
前記遠距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第４閾値未満となる第４範囲、前記電荷比が第４閾値以上かつ第５閾値未満となる第５範囲、及び前記電荷比が第５閾値以上となる第６範囲いずれかの範囲に含まれる値であり、前記第４範囲における前記テーブル間隔は、前記第５範囲における前記テーブル間隔よりも小さい、
請求項１に記載の距離画像撮像装置。
【請求項12】
被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、電荷比に基づく変数ごとに被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、
前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順又は降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さく、
前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、取得した前記対応距離を用いて前記測定距離を決定する、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下、ＴＯＦという）と呼ばれる。ＴＯＦでは、光の速度が既知であることを利用し、物体に近赤外領域の光パルスを照射する。そして、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を受光した時刻との時間差を測定する。この時間差に基づいて物体との距離を算出する。フォトダイオード（光電変換素子）を用いて距離を測定するための光を検出する測距センサが実用化されている。
【0003】
そして、近年では、物体との距離のみではなく、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得ることができる測距センサが実用化されている。このような測距センサは、距離画像撮像装置ともいわれている。距離画像撮像装置では、フォトダイオードを含む画素がシリコン基板に二次元の行列状に複数配置され、この画素面で物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量（電荷）に基づいた光電変換信号を１つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得ることができる。例えば、特許文献１には、１つの画素に３つの電荷蓄積部が設けられ、順番に電荷を振り分けて距離を計算する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第４２３５７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような距離画像撮像装置では、物体によって反射してきた反射光を画素が受光し、受光した反射光の光量を電荷に光電変換し、変換した電荷を電荷蓄積部に蓄積させ、蓄積させた電荷量に基づいて距離の情報を算出する。しかしながら、蓄積された電荷量から算出される距離が、実際の距離（実距離）に対して誤差がある場合があった。
【0006】
本発明は、上記の課題に基づいてなされたものであり、電荷蓄積部に蓄積された電荷量に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように演算することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の距離画像撮像装置は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、電荷比に被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、を備え、前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順或いは降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さく、前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、取得した前記対応距離を用いて前記測定距離を決定する。
【0008】
本発明の距離画像撮像装置では、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第１電荷蓄積部とし、前記反射光に対応する電荷が前記第１電荷蓄積部の次に蓄積される電荷蓄積部を第２電荷蓄積部とし、前記第１電荷蓄積部に蓄積された第１電荷量から外光成分に相当する電荷量を減算した電荷量を第１距離演算用電荷量とし、前記第２電荷蓄積部に蓄積された第２電荷量から外光成分に相当する電荷量を減算した電荷量を第２距離演算用電荷量とし、前記電荷比は、前記第１距離演算用電荷量、及び前記第２距離演算用電荷量の和に対する、前記第２距離演算用電荷量の比であり、前記偏在状態は、前記電荷比が所定の上限値を上回る、又は所定の下限値を下回る状態である。
【0009】
本発明の距離画像撮像装置では、前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第１閾値未満となる第１範囲、前記電荷比が第１閾値以上かつ第２閾値未満となる第２範囲、及び前記電荷比が第２閾値以上かつ第３閾値未満となる第３範囲のいずれかの範囲に含まれる値であり、前記第３範囲における前記テーブル間隔は、前記第２範囲における前記テーブル間隔よりも小さい。
【0010】
本発明の距離画像撮像装置では、前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第１閾値未満となる第１範囲、前記電荷比が第１閾値以上かつ第２閾値未満となる第２範囲、及び前記電荷比が第２閾値以上かつ第３閾値未満となる第３範囲のいずれかの範囲に含まれる値であり、前記第１範囲における前記テーブル間隔は、前記第２範囲における前記テーブル間隔よりも小さい。
【0011】
本発明の距離画像撮像装置では、前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づく前記電荷比を算出し、前記算出した電荷比より小さい電荷比に対応付けられた第１距離と、前記算出した電荷比より大きい電荷比に対応付けられた第２距離とを、前記テーブル情報から抽出し、抽出した前記第１距離と前記第２距離を線形補間することによって前記測定距離を決定する。
【0012】
本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする。
【0013】
本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする。
【0014】
本発明の距離画像撮像装置では、前記画素には、三つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部の順に、前記電荷が蓄積されるように制御し、前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、前記第１算出値を、三つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のいずれか一方に蓄積された前記反射光に対応する電荷量とする。
【0015】
本発明の距離画像撮像装置では、前記画素には、四つの前記電荷蓄積部である第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量とを用いて、前記第１電荷量と前記第３電荷量との差分である第１算出値を算出し、前記第２電荷蓄積部に蓄積された第２電荷量と前記第４電荷蓄積部に蓄積された第４電荷量とを用いて、前記第２電荷量と前記第４電荷量との差分である第２算出値を算出し、前記第１算出値の絶対値と前記第２算出値の絶対値を加算した加算値を、四つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のそれぞれに蓄積された前記反射光に対応する電荷量である距離演算用電荷量の和とし、前記第１算出値を、二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、前記第２算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する。
【0016】
本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備し、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第１電荷蓄積部とし、前記反射光に対応する電荷が前記第１電荷蓄積部の次に蓄積される電荷蓄積部を第２電荷蓄積部とし、前記記憶部は、前記第１電荷蓄積部と前記第２電荷蓄積部の組合せごとに前記テーブル情報を記憶し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記第１電荷蓄積部及び前記第２電荷蓄積部の組合せと決定し、決定した前記第１電荷蓄積部及び前記第２電荷蓄積部の組合せに応じて前記テーブル情報を選択する。
【0017】
本発明の距離画像撮像装置では、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第１電荷蓄積部とし、前記反射光に対応する電荷が前記第１電荷蓄積部の次に蓄積される電荷蓄積部を第２電荷蓄積部とし、前記記憶部は、近距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第１電荷蓄積部と前記第２電荷蓄積部の組合せに対応する前記テーブル情報である近距離用情報と、遠距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第１電荷蓄積部と前記第２電荷蓄積部の組合せに対応する前記テーブル情報である遠距離用情報とを記憶し、前記近距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第１閾値未満となる第１範囲、前記電荷比が第１閾値以上かつ第２閾値未満となる第２範囲、及び前記電荷比が第２閾値以上かつ第３閾値未満となる第３範囲いずれかの範囲に含まれる値であり、前記第３範囲における前記テーブル間隔は、前記第２範囲における前記テーブル間隔よりも小さく、前記遠距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第４閾値未満となる第４範囲、前記電荷比が第４閾値以上かつ第５閾値未満となる第５範囲、及び前記電荷比が第５閾値以上かつ第６閾値未満となる第６範囲いずれかの範囲に含まれる値であり、前記第４範囲における前記テーブル間隔は、前記第５範囲における前記テーブル間隔よりも小さい。
【0018】
本発明の距離画像撮像方法は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、電荷比に基づく変数ごとに被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順又は降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さく、前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、取得した前記対応距離を用いて前記測定距離を決定する。
【発明の効果】
【0019】
本発明によれば、電荷蓄積部に蓄積された電荷量に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように演算することができる。
【図面の簡単な説明】
【0020】
【図1】実施形態の距離画像撮像装置１の概略構成を示したブロック図である。
【図2】実施形態の距離画像センサ３２の概略構成を示したブロック図である。
【図3】実施形態の画素３２１の構成の一例を示した回路図である。
【図4】実施形態の画素３２１を駆動するタイミングの例を示すタイミングチャートである。
【図5】実施形態のテーブル情報４４０の構成の例を示す図である。
【図6】実施形態のテーブル情報４４０を説明する図である。
【図7】実施形態の距離画像処理部４がテーブル情報４４０を用いて線形補間を行う処理を説明する図である。
【図8】実施形態の距離画像処理部４が外光成分を決定する処理を説明する図である。
【図9】実施形態の距離画像処理部４が外光成分を決定する処理を説明する図である。
【図10】実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。
【図11】実施形態の効果を説明する図である。
【図12】実施形態の変形例における二つのタイムウィンドウを説明する図である。
【図13】実施形態の変形例におけるテーブル情報４４０Ａの構成の例を示す図である。
【図14】実施形態の変形例におけるテーブル情報４４０Ｂの構成の例を示す図である。
【図15】実施形態の変形例におけるテーブル情報４４０Ｂを説明する図である。
【図16】実施形態の変形例におけるテーブル情報４４０Ｃの構成の例を示す図である。
【図17】実施形態の変形例におけるテーブル情報４４０Ｃを説明する図である。
【発明を実施するための形態】
【0021】
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
【0022】
＜実施形態＞
まず、実施形態について説明する。図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
まず、実施形態について説明する。図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
【0023】
光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
【0024】
光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
【0025】
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
【0026】
受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
【0027】
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
【0028】
距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
【0029】
距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
【0030】
距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３と、記憶部４４とを備える。
【0031】
タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの振り分け回数（蓄積回数）を制御する信号などである。振り分け回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分ける処理を繰返す回数である。この電振り分け回数と、電荷を振り分ける処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間（後述する蓄積時間Ｔａ）の積が露光時間となる。
【0032】
距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を算出し、算出した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、被写体ＯＢまでの距離を演算する。
【0033】
本実施形態では、距離演算部４２は、後述するテーブル情報４４０を用いて、被写体ＯＢまでの距離を決定する。テーブル情報４４０については後で詳しく説明する。また、距離演算部４２が、テーブル情報４４０を用いて被写体ＯＢまでの距離を決定する方法については、後で詳しく説明する。
【0034】
測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの振り分け回数及び蓄積時間Ｔａ等を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
【0035】
記憶部４４は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部４４は、例えば、テーブル情報４４０を記憶する。テーブル情報４４０については後で詳しく説明する。
【0036】
このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。
【0037】
なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
【0038】
次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。
【0039】
図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
【0040】
受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
【0041】
垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
【0042】
画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
【0043】
水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
【0044】
以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
【0045】
ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。
【0046】
図３に示すように、画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
【0047】
なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
【0048】
図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。
【0049】
光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
【0050】
画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
【0051】
距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、４つ以上であってもよい。
【0052】
また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
【0053】
また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、これに限定されない。例えば、電荷蓄積部ＣＳに蓄積されずに光電変換素子ＰＤに残っている電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
【0054】
【0055】
図４では、光パルスＰＯを照射するタイミングを「Ｌ」、反射光が受光されるタイミングを「Ｒ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２、ＴＸ３についても同様である。
【0056】
図４に示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光されるとする。垂直走査回路３２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。図４では、１回の振り分け処理において、光パルスＰＯを照射して電荷蓄積部ＣＳに順に電荷を蓄積させるまでの時間を「単位蓄積期間」と表している。「単位蓄積期間」において行われる振り分け処理を１フレームに相当する蓄積回数だけ繰り返し行った後に、その間に蓄積された電荷量を読み出す処理が行われる。この蓄積された電荷量を読み出す処理が行われる時間を「読み出し期間」と表している。
【0057】
まず、図４を用いて近距離にある物体からの反射光ＲＬを受光する場合について説明する。垂直走査回路３２３は、光パルスＰＯを照射させるタイミングに同期させて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
【0058】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
【0059】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
【0060】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0061】
垂直走査回路３２３は、上述したような駆動を、１フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子Ｏ２、Ｏ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号が距離演算部４２に出力される。
【0062】
なお、上記では、光源部２が読み出しゲートトランジスタＧ１がオン状態となったタイミングで、光パルスＰＯを照射する場合を例に説明した。しかしながらこれに限定されることはない。光源部２は、少なくとも近距離にある物体からの反射光ＲＬが電荷蓄積部ＣＳ１、ＣＳ２に跨って受光されるようなタイミングで照射されればよい。例えば、光源部２は、読み出しゲートトランジスタＧ１がオン状態となる手前のタイミングで照射されるようにしてもよい。また、上記では、光パルスＰＯを照射する照射時間Ｔｏが蓄積時間Ｔａと同じ長さである場合を例に説明した。しかしながらこれに限定されることはない。照射時間Ｔｏと蓄積時間Ｔａとが異なる時間間隔であってもよい。
【0063】
図４に示すような近距離受光画素においては、光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１及びＣＳ２に、反射光ＲＬ及び外光成分に相当する電荷量が振り分けられて保持される。また、電荷蓄積部ＣＳ３には背景光などの外光成分に相当する電荷量が保持される。この場合、電荷蓄積部ＣＳ１及びＣＳ２は「距離演算用電荷蓄積部」の一例である。
【0064】
電荷蓄積部ＣＳ１及びＣＳ２に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体ＯＢに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
【0065】
距離演算部４２は、この原理を利用して、従来の近距離受光画素においては、以下の（１）式により、遅延時間Ｔｄを算出する。
【0066】
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－２×Ｑ３） …（１）
【0067】
ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。なお、（１）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。
【0068】
距離演算部４２は、近距離受光画素においては、（１）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0069】
ここで、従来の距離画像撮像装置１において、蓄積された電荷量から算出される距離（測定距離）に誤差が生じる要因について説明する。
【0070】
誤差が生じる一因として、距離画像撮像装置１に入射された光がレンズ３１などの光学系において乱反射することが考えられる。すなわち、このような乱反射が画素が受光する光量に影響し、測定する距離に誤差が生じる要因となっていた。この対策として、例えば、電荷比Ｒに距離Ｄが対応付けられた対応表（「テーブル情報」の一例）を用いて、誤差を補正する方法が採用されている。ここでの距離は被写体ＯＢまでの距離である。また、電荷比Ｒは「変数」の一例である。距離Ｄは「対応距離」の一例である。
【0071】
ここでの電荷比Ｒは、反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（図４における電荷蓄積部ＣＳ１及びＣＳ２）のそれぞれに蓄積された電荷量の比率である。この場合、電荷比Ｒは、例えば、以下の（２）式における比率Ｈ１、或いは（３）式における比率Ｈ２で示される。比率Ｈ１は「電荷比」の一例である。比率Ｈ２は「電荷比」の一例である。以下、比率Ｈ１、Ｈ２を単に電荷比Ｒと称する。
【0072】
Ｈ１＝Ｑ１＃／（Ｑ１＃＋Ｑ２＃） …（２）
Ｈ２＝Ｑ２＃／（Ｑ１＃＋Ｑ２＃） …（３）
ただし、Ｑ１＃＝Ｑ１－Ｑｂ
Ｑ２＃＝Ｑ２－Ｑｂ
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑｂは電荷蓄積部ＣＳに蓄積される外光成分に相当する電荷量
Ｈ２＝Ｑ２＃／（Ｑ１＃＋Ｑ２＃） …（３）
ただし、Ｑ１＃＝Ｑ１－Ｑｂ
Ｑ２＃＝Ｑ２－Ｑｂ
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑｂは電荷蓄積部ＣＳに蓄積される外光成分に相当する電荷量
【0073】
電荷比Ｒに距離Ｄが対応付けられた対応表を用いることによって、（１）式により算出した距離に誤差が生じる場合であっても、誤差が少なくなるように距離を補正することが可能となる。なお、外光成分に相当する電荷量Ｑｂを算出する方法については、後で詳しく説明する。
【0074】
また、誤差が生じやすくなるケースとして、反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（図４における電荷蓄積部ＣＳ１及びＣＳ２）のそれぞれに蓄積された電荷量の比率が偏っている場合が考えられる。ここでの偏っているとは、二つの電荷蓄積部ＣＳの一方に反射光ＲＬに起因する電荷のほぼ全量が蓄積され、残りの電荷蓄積部ＣＳには反射光ＲＬに起因する電荷量がごく僅かしか蓄積されないことである。すなわち、電荷比Ｒが０に近い値、或いは１に近い値となることである。
【0075】
例えば、反射光ＲＬの９０％程度の光量に相当する電荷量が電荷蓄積部ＣＳ１に蓄積され、残り１０％程度の光量に相当する電荷量が電荷蓄積部ＣＳ２に蓄積されるような場合である。この場合、（２）式に基づく電荷比ＲはＲ＝０．９程度であり、（３）式に基づく電荷比ＲはＲ＝０．１程度である。或いは、反射光ＲＬの１０％程度の光量に相当する電荷量が電荷蓄積部ＣＳ１に蓄積され、残り９０％程度の光量に相当する電荷量が電荷蓄積部ＣＳ２に蓄積されるような場合である。この場合、（２）式に基づく電荷比ＲはＲ＝０．１程度であり、（３）式に基づく電荷比ＲはＲ＝０．９程度である。
【0076】
ここで、電荷蓄積部ＣＳには、ノイズ成分となる電荷も蓄積されている。ここでのノイズ成分とは、反射光ＲＬとは異なる光、例えば、距離画像撮像装置１の内部、例えば、光パルス及びゲートパルスのなまり及び電荷転送の遅延などに起因する電荷量である。反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳにも、このようなノイズ成分が、反射光ＲＬに起因する電荷量の大小に関わらず、一定量、蓄積される。
【0077】
反射光ＲＬが偏って蓄積された場合、反射光ＲＬに起因する電荷量がほぼ全量蓄積された電荷蓄積部ＣＳ、反射光ＲＬに起因する電荷量がごく僅かしか蓄積されない電荷蓄積部ＣＳともに、一定量のノイズ成分が蓄積される。このため、反射光ＲＬに起因する電荷量がごく僅かしか蓄積されない電荷蓄積部ＣＳは、ＳＮ比が低下する。ここでのＳは目的とする信号成分であり、距離演算に用いられる反射光ＲＬに起因する電荷量である。また、ここでのＮはノイズ成分に起因する電荷量である。ＳＮ比が低い電荷量を用いて距離を演算した場合、演算結果に誤差が生じ易くなる。ＳＮ比が低い、すなわち電荷比Ｒが所定の閾値（例えば、０．９など）を超える「偏在状態」にある場合、ノイズを考慮しない理想的な計算式から外れるため、測定距離の誤差が大きくなる。対策として、テーブル間隔を、一律に細かく（小さく）することが考えられる。しかし、ＳＮ比が高く「偏在状態」にない場合に不必要にテーブル間隔が細かくなり、テーブルのメモリ容量を増大させてしまう。
【0078】
この対策として、本実施形態では、反射光ＲＬが偏って蓄積された場合と、そうでない場合とで、異なるテーブル間隔となるように、テーブル情報４４０を作成する。ここでのテーブル間隔とは、テーブル情報４４０に含まれる変数（電荷比Ｒ又は距離Ｄ）のそれぞれを昇順、或いは降順に並べた場合に隣り合う変数の差分に相当する間隔である。
【0079】
以下では、テーブル情報４４０における変数を電荷比Ｒとした場合を例に説明する。しかしながらこれに限定されることはない。テーブル情報４４０における変数を距離Ｄとした場合にも、反射光ＲＬが偏って蓄積された場合と、そうでない場合とで、異なるテーブル間隔となるように、テーブル情報４４０を作成することが可能である。
【0080】
反射光ＲＬが偏って蓄積された場合とは、例えば、反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（図４における電荷蓄積部ＣＳ１及びＣＳ２）のそれぞれに蓄積された電荷量の比率が所定値以上である場合である。ここでの所定値は、目標とする測定距離の精度等に応じて任意に設定されてよい。このような反射光ＲＬが偏って蓄積された状態は「偏在状態」の一例である。
【0081】
例えば、テーブル情報４４０に含まれる電荷比Ｒのうち、ある範囲（反射光ＲＬが偏って蓄積された場合の電荷比が取り得る範囲）にある電荷比Ｒについては、間隔が小さい細かいテーブル間隔となるようにテーブル情報４４０を作成する。一方、別の範囲（反射光ＲＬが偏って蓄積されていない場合の電荷比が取り得る範囲）にある電荷比Ｒについては、間隔が大きい粗いテーブル間隔となるようにテーブル情報４４０を作成する（図６、図１５、図１７参照）。これにより、誤差が生じやすくなる範囲にある電荷比Ｒから距離Ｄを決定しようとした場合に、細かいテーブル間隔で作成された電荷比群から適切な電荷比を選択することができる。このため、決定する距離の精度を向上させることが可能となる。
【0082】
ここで、テーブル情報４４０について図５、図６を用いて説明する。図５は、実施形態のテーブル情報４４０の構成の例を示す図である。図５に示すように、テーブル情報４４０は、例えば、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。電荷比閾値はテーブル間隔を変更する閾値を示す情報である。テーブル間隔はテーブル情報４４０における電荷比同士の間隔を示す情報である。電荷比は（２）式、又は（３）式で示される比率である。距離は電荷比に対応付けられた距離である。この図の例では、電荷比閾値Ｒ５未満の電荷比群（電荷比Ｒ１～Ｒ４）のテーブル間隔を間隔ＴＫ２とし、電荷比閾値Ｒ５以上の電荷比群（電荷比Ｒ５～Ｒ９）のテーブル間隔を間隔ＴＫ３とする例が示されている。
【0083】
図６は、実施形態のテーブル情報４４０を説明する図である。図６の横軸は電荷比Ｒ、縦軸は距離Ｄを示す。図６では、横軸の電荷比Ｒの大きさに応じて、２つの範囲Ｅ２、Ｅ３が設定されている。範囲Ｅ２は、電荷比が電荷比Ｒ５未満となる範囲である。範囲Ｅ３は、電荷比が電荷比Ｒ５以上となる範囲である。ここで、範囲Ｅ２は「第２範囲」の一例である。範囲Ｅ３は「第３範囲」の一例である。
【0084】
図６には、図５のテーブル情報４４０に基づく電荷比Ｒと距離Ｄとの関係が示されている。図５のテーブル情報４４０には電荷比閾値として電荷比Ｒ５が設定されている。この場合、範囲Ｅ２に含まれる電荷比Ｒ１～Ｒ４のテーブル間隔が間隔ＴＫ２となる。また、範囲Ｅ３に含まれる電荷比Ｒ５～Ｒ９のテーブル間隔が間隔ＴＫ３となる。間隔ＴＫ３は間隔ＴＫ２よりも小さい。
【0085】
なお、図６では、電荷比Ｒが（３）式で表される場合の例を示している。すなわち、図６では、電荷比Ｒが増加するにつれて距離Ｄが増加する右肩上がりの特性が示されている。電荷比Ｒが（２）式で表される場合には、電荷比Ｒが増加するにつれて距離Ｄが減少する右肩下がりの特性となる。この場合、電荷比閾値は（１．０－電荷比Ｒ５）に設定され、電荷比閾値以下の電荷比のテーブル間隔が細かく、電荷比閾値より大きい電荷比のテーブル間隔が粗く設定される。
【0086】
図７は、実施形態の距離画像処理部４がテーブル情報４４０を用いて線形補間を行う処理を説明する図である。図７には、図６の特性の一部（電荷比Ｒ１～Ｒ２の範囲）が示されている。この図の例では、光電変換素子ＰＤ蓄積された電荷量に基づいて算出した電荷比が、電荷比Ｒ１とＲ２の中間の値に相当する電荷比Ｒであった場合を例示している。この場合、距離演算部４２は、電荷比Ｒ１に対応する距離Ｄ１１と、電荷比Ｒ２対応する距離Ｄ１２とを線形補間することによって、電荷比Ｒに対応する距離Ｄを算出するようにしてもよい。線形補間することによって、距離をより精度良く算出することが可能となる。
【0087】
また、線形補間した場合に、補間した距離の精度が所定の範囲内となるように、テーブル情報４４０における電荷比の間隔が設定されるようにしてもよい。この場合、テーブル情報４４０における電荷比の間隔は、例えば、線形とみなせる範囲内に設定される。
【0088】
上述したとおり、反射光ＲＬが偏って蓄積される場合、光パルス及びゲートパルスのなまり及び電荷転送の遅延などにより、電荷比ＲにおけるＳＮ比が低下して電荷比Ｒと距離Ｄの関係が非線形となる傾向にある。このような非線形となる範囲でテーブル間隔を小さくする。これにより、線形補間をして距離を決定する場合に、その距離の精度を向上させることが可能となる。
【0089】
【0090】
（外光成分に相当する電荷量Ｑｂを算出する方法１）
図８には、図４と比較して遠距離にある物体からの反射光ＲＬを受光した場合のタイミングチャートが示されている。図８において、垂直走査回路３２３が、光パルスＰＯを照射させるタイミング、読み出しゲートトランジスタＧ１～Ｇ３、及びドレインゲートトランジスタＧＤをオン状態とするタイミング等は、図４と同様であるため、その説明を省略する。
図８には、図４と比較して遠距離にある物体からの反射光ＲＬを受光した場合のタイミングチャートが示されている。図８において、垂直走査回路３２３が、光パルスＰＯを照射させるタイミング、読み出しゲートトランジスタＧ１～Ｇ３、及びドレインゲートトランジスタＧＤをオン状態とするタイミング等は、図４と同様であるため、その説明を省略する。
【0091】
図８に示すように、図４のタイミングチャートと比較して遅延時間Ｔｄが大きい場合、図４と同じタイミングで電荷蓄積部ＣＳのそれぞれに電荷を蓄積させた場合、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂが蓄積され、電荷蓄積部ＣＳ２及びＣＳ３に反射光ＲＬ及び外光成分に相当する電荷量Ｑｂが振り分けられて蓄積される。この場合、電荷蓄積部ＣＳ２及びＣＳ３は「距離演算用電荷蓄積部」の一例である。
【0092】
すなわち、遅延時間Ｔｄが大きくない場合（図４の場合）には電荷蓄積部ＣＳ３に外光成分に相当する電荷量Ｑｂが蓄積され、遅延時間Ｔｄが大きい場合（図８の場合）には、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂが蓄積される。図４、図８何れの場合であっても、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに同じ量の外光成分に相当する電荷量Ｑｂが蓄積される。したがって、反射光ＲＬが振り分けて蓄積された電荷蓄積部ＣＳは、他の外光成分のみが蓄積された電荷蓄積部ＣＳと比較して、より多くの電荷量が蓄積されることとなる。
【0093】
この性質を利用して、距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Ｑｂと決定する。
【0094】
（外光成分に相当する電荷量Ｑｂを算出する方法２）
距離画像撮像装置１は、予め決定された特定の電荷蓄積部ＣＳに外光成分に相当する電荷量Ｑｂのみが蓄積されるように、タイミングを制御するようにしてもよい。この場合、距離演算部４２は、遅延時間Ｔｄの大小に関わらず、その特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に相当する電荷量Ｑｂと決定することができる。
距離画像撮像装置１は、予め決定された特定の電荷蓄積部ＣＳに外光成分に相当する電荷量Ｑｂのみが蓄積されるように、タイミングを制御するようにしてもよい。この場合、距離演算部４２は、遅延時間Ｔｄの大小に関わらず、その特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に相当する電荷量Ｑｂと決定することができる。
【0095】
図９には、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂのみが蓄積されるように制御した場合のタイミングチャートが示されている。図９において、垂直走査回路３２３が、光パルスＰＯを照射させるタイミング、読み出しゲートトランジスタＧ１～Ｇ３、及びドレインゲートトランジスタＧＤをオン状態とするタイミング等は、図４と同様であるため、その説明を省略する。
【0096】
図９の例に示すように、光パルスＰＯを照射する前に、電荷蓄積部ＣＳ１に電荷を蓄積させることによって、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂのみが蓄積されるようにすることができる。この場合、距離演算部４２は、電荷蓄積部ＣＳ１に蓄積された電荷量を、外光成分に相当する電荷量Ｑｂと決定する。この場合、電荷蓄積部ＣＳ１は予め決められた外光蓄積用電荷蓄積部」の一例である。
【0097】
図１０は、実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量Ｑ１～Ｑ３を取得する（ステップＳ１０）。距離演算部４２は、取得した電荷量Ｑ１～Ｑ３を用いて、外光成分に相当する電荷量Ｑｂを算出する（ステップＳ１１）。距離演算部４２は、電荷量Ｑ１～Ｑ３のうち最も少ない電荷量を電荷量Ｑｂとしてもよいし、予め決定された特定の電荷蓄積部ＣＳ（例えば、図９における電荷蓄積部ＣＳ１）に蓄積された電荷量を電荷量Ｑｂとしてもよい。
【0098】
距離演算部４２は、電荷量Ｑ１～Ｑ３、及び電荷量Ｑｂを用いて、電荷比Ｒを算出する（ステップＳ１２）。距離演算部４２は、例えば、（２）式、又は（３）式に、電荷量Ｑ１～Ｑ３、及び電荷量Ｑｂを代入することによって、電荷比Ｒを算出する。この場合において、距離演算部４２は、テーブル情報４４０に示された電荷比の構成に合致するように（２）式、又は（３）式のいずれかを選択し、選択した式を用いて、電荷比Ｒを算出する。
【0099】
距離演算部４２は、テーブル情報４４０を用いて、ステップＳ１２で算出した電荷比Ｒに対応する距離を選択する（ステップＳ１３）。この場合において、距離演算部４２は、線形補間するための二つの電荷比のそれぞれに対応付けられた、二つの距離を選択するようにしてもよいし、ステップＳ１２で算出した電荷比Ｒに最も近い電荷比に対応する一つの距離を選択するようにしてもよい。
【0100】
距離演算部４２は、二つの距離を選択した場合（ステップＳ１４、ＹＥＳ）、線形補間により距離（測定距離）を決定する（ステップＳ１５）。一方、距離演算部４２は、一つの距離を選択した場合（ステップＳ１４、ＮＯ）、選択した距離を補正後の距離（測定距離）と決定する（ステップＳ１６）。
【0101】
なお、上記では、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合を例に説明した。しかしながらこれに限定されない。距離画像撮像装置１の画素３２１が四つ以上（例えばＮ個、Ｎ≧４）の電荷蓄積部ＣＳを備える構成であってもよい。
【0102】
距離画像撮像装置１の画素３２１がＮ個（Ｎ≧４）の電荷蓄積部ＣＳを備える場合、ステップＳ１０で、距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳＮのそれぞれに蓄積された電荷量Ｑ１～ＱＮを取得する。ステップＳ１１で、距離演算部４２は、取得した電荷量Ｑ１～Ｑ３を用いて、外光成分に相当する電荷量Ｑｂを算出する。距離演算部４２が電荷量Ｑｂを算出する方法は、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合と同様である。
【0103】
ステップＳ１２で、距離演算部４２は、電荷蓄積部ＣＳ１～ＣＳＮから、反射光ＲＬに対応する電荷が振り分けられて蓄積された二つの電荷蓄積部ＣＳ（距離測定用電荷蓄積部）を選択する。距離演算部４２が二つの電荷蓄積部ＣＳを選択する方法は、例えば、連続して電荷が蓄積される二つの電荷蓄積部ＣＳの組合せのうち、それぞれの電荷蓄積部ＣＳに蓄積された電荷量の和が最も大きいものを、反射光ＲＬに対応する電荷が振り分けられて蓄積された二つの電荷蓄積部ＣＳ（距離測定用電荷蓄積部）とする。距離演算部４２は、反射光ＲＬに対応する電荷が振り分けられて蓄積された二つの電荷蓄積部ＣＳのそれぞれに蓄積された電荷量、及び外光成分に相当する電荷量Ｑｂを用いて、電荷比Ｒを算出する。ステップＳ１３～Ｓ１６の処理は、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合と同様である。
【0104】
或いは、距離画像撮像装置１の画素３２１が２個の電荷蓄積部ＣＳを備える構成であってもよい。この場合、距離画像撮像装置１は、１回の測定につき、外光成分に相当する電荷のみを蓄積させる処理（第１処理という）と、反射光ＲＬを含む電荷を蓄積させる処理（第２処理という）との、２つの電荷蓄積に係る処理を行う。例えば、距離画像撮像装置１は、最初のフレームで第１処理を行い、次のフレームで第２処理を行う。第１処理を行う場合、距離画像撮像装置１は、光パルスＰＯを照射せずに、電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに電荷を蓄積させる。第２処理を行う場合、距離画像撮像装置１は、光パルスＰＯを照射して、電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに電荷を蓄積させる。
【0105】
この場合、ステップＳ１０で、距離演算部４２は、第１処理で電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに蓄積された電荷量Ｑ１ｆ、Ｑ２ｆを取得する。また、距離演算部４２は、第２処理で電荷蓄積部ＣＳ１、ＣＳ２のそれぞれに蓄積された電荷量Ｑ１ｓ、Ｑ２ｓを取得する。ステップＳ１１で、距離演算部４２は、取得した電荷量Ｑ１ｆ、又はＱ２ｆのいずれか、もしくは両方を外光成分に相当する電荷量Ｑｂとする。ステップＳ１２で、距離演算部４２は、取得した電荷量Ｑ１ｓ、Ｑ２ｓ、及び電荷量Ｑｂを用いて、電荷比Ｒを算出する。距離演算部４２が電荷比Ｒを算出する方法は、距離画像撮像装置１の画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合と同様である。
【0106】
以上説明したように、実施形態の距離画像撮像装置１は、光源部２と、受光部３と、記憶部４４と、距離画像処理部４とを備える。光源部２は、被写体ＯＢが存在する測定空間に光パルスＰＯを照射する。受光部３は、画素３２１と、垂直走査回路３２３（駆動回路の一例）を備える。画素３２１は、光電変換素子ＰＤと、三つ以上の電荷蓄積部ＣＳを具備する。垂直走査回路３２３は、光パルスＰＯの照射に同期させた所定のタイミングで画素３２１における電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。記憶部４４は、テーブル情報４４０を記憶する。テーブル情報４４０は、電荷比Ｒに被写体ＯＢまでの距離（対応距離）が対応付けられた情報である。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量と、テーブル情報４４０とを用いて、被写体ＯＢまでの測定距離を決定する。電荷比Ｒは、三つ以上の電荷蓄積部ＣＳのうち、反射光ＲＬに対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部ＣＳのそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した電荷量（距離演算用電荷量）を用いて示される比率である。具体的には、電荷比Ｒは、電荷量Ｑ１＃とＱ２＃を用いて示される比であり、例えば、電荷量Ｑ１＃とＱ２＃の和に対する電荷量Ｑ２＃の比である。電荷量Ｑ１＃は、図４における電荷蓄積部ＣＳ１に蓄積される電荷量Ｑ１（第１電荷量）から外光成分に相当する電荷量Ｑｂを減算した電荷量（第１距離演算用電荷量）である。電荷蓄積部ＣＳ１は、複数の電荷蓄積部ＣＳのうち、光パルスＰＯが被写体ＯＢに反射した反射光ＲＬに対応する電荷量が最初にされる電荷蓄積部ＣＳであり、「第１電荷蓄積部」の一例である。電荷量Ｑ２＃は、図４における電荷蓄積部ＣＳ２に蓄積される電荷量Ｑ２（第２電荷量）から外光成分に相当する電荷量Ｑｂを減算した電荷量（第２距離演算用電荷量）である。電荷蓄積部ＣＳ２は、複数の電荷蓄積部ＣＳのうち、光パルスＰＯが被写体ＯＢに反射した反射光ＲＬに対応する電荷量が電荷蓄積部ＣＳ１の次にされる電荷蓄積部ＣＳであり、「第２電荷蓄積部」の一例である。テーブル情報４４０は、偏在状態にある変数のテーブル間隔が、偏在状態にない変数のテーブル間隔よりも小さい。偏在状態にあるとは、電荷量Ｑ１＃と電荷量Ｑ２＃が極端に偏った状態にあることであり、電荷量Ｑ１＃と電荷量Ｑ２＃の比率（電荷比Ｒ）が所定の閾値より大きい状態である。偏在状態は、例えば、電荷比Ｒが所定の上限値を上回る、又は所定の下限値を下回る状態である。変数は、テーブル情報４４０における電荷比Ｒ又は距離Ｄのいずれかである。テーブル間隔とは、テーブル情報４４０における変数のそれぞれを昇順に並べた場合に隣り合う変数の差分である。距離画像処理部４は、複数の電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて電荷比Ｒを算出し、算出した電荷比Ｒに対応する対応距離をテーブル情報４４０から取得し、取得した対応距離を用いて測定距離を決定する。
【0107】
これにより、実施形態の距離画像撮像装置１は、テーブル情報４４０を用いて電荷比Ｒに対応する距離Ｄを取得することができる。したがって電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量Ｑ１～Ｑ３に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる。しかも、本実施形態では、テーブル情報４４０は、電荷量Ｑ１＃、Ｑ２＃が偏った状態で蓄積されている場合に、偏っていない状態と比較してテーブル間隔が小さくなるように作成される。このため、電荷量Ｑ１＃、Ｑ２＃が偏った状態で蓄積され、誤差が生じやすい状態にあっても、精度よく距離を補正することができる。また、テーブル情報４４０におけるテーブル間隔を一律に小さくした場合と比較して、メモリ増大を抑制することができる。したがって、テーブル間隔を非線形にすることで、メモリ増大を抑制しつつ、距離ずれ領域を精度よく演算することが可能になる。距離ずれ領域とは、ＳＮ比が低く、電荷比Ｒが所定の閾値を超える「偏在状態」にある領域である。
【0108】
また、実施形態の距離画像撮像装置１では、テーブル情報４４０に含まれる電荷比Ｒ（変数）のそれぞれは、図６における範囲Ｅ２、Ｅ３のいずれかの範囲に含まれる値である。範囲Ｅ２は、電荷比Ｒが電荷比閾値Ｒ５（第２閾値）未満となる範囲であり、「第２範囲」の一例である。範囲Ｅ３は、電荷比Ｒが電荷比閾値Ｒ５以上となる範囲であり、「第３範囲」の一例である。範囲Ｅ３におけるテーブル間隔は、範囲Ｅ２におけるテーブル間隔よりも小さい。これにより、電荷量Ｑ１＃と比較して、Ｑ２＃が多く蓄積された偏った状態で蓄積され、誤差が生じやすい状態にあっても、精度よく距離を補正することができる。
【0109】
また、実施形態の距離画像撮像装置１では、距離画像処理部４は、線形補間することによって補正後の距離を決定するようにする。距離画像処理部４は、テーブル情報４４０を用いて、算出した電荷比Ｒより小さい電荷比（例えば、電荷比Ｒ１）に対応付けられた第１距離（例えば、距離Ｄ１１）と、電荷比Ｒより大きい電荷比（例えば、電荷比Ｒ２）に対応付けられた第２距離（例えば、距離Ｄ１２）とを抽出する。距離画像処理部４は、抽出した第１距離（例えば、距離Ｄ１１）と第２距離（例えば、距離Ｄ１２）を、線形補間することによって得られる距離を、補正後の距離（測定距離）と決定する。本実施形態では、テーブル情報４４０は、電荷量Ｑ１＃、Ｑ２＃が偏った状態で蓄積されている場合に、偏っていない状態と比較してテーブル間隔が小さくなるように作成されるので、線形補間する場合に、より精度よく、距離を補正することができる。
【0110】
また、実施形態の距離画像処理部４は、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に対応する電荷量Ｑｂとする。これにより、実施形態の距離画像撮像装置１では、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量を比較するという容易な処理により、外光成分に対応する電荷量Ｑｂを算出することができる。
【0111】
また、実施形態の距離画像処理部４は、電荷蓄積部ＣＳ１～ＣＳ３のうちの特定の電荷蓄積部ＣＳに、外光成分に相当する光量のみが蓄積されるように、蓄積タイミングを制御する。距離演算部４２は、この特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に対応する電荷量Ｑｂとする。これにより、実施形態の距離画像撮像装置１では、特定の電荷蓄積部ＣＳに蓄積された電荷量を、外光成分に対応する電荷量Ｑｂとして算出することができ、容易に外光成分に対応する電荷量Ｑｂを決定できる。
【0112】
（実施形態の効果）
ここで、実施形態の距離画像撮像装置１における効果を、図１１を用いて説明する。図１１は、実施形態の効果を説明する図である。図１１には、実際の距離（実距離）と測定距離との関係が示されている。図１１の横軸は実距離、縦軸は測定距離を示す。ここでの距離は、被写体ＯＢまでの距離である。図１１において、黒丸で示したテーブル情報４４０を使用しない（テーブル情報不使用）場合の測定距離は、例えば、（１）式に電荷量Ｑ１～Ｑ３を代入することによって算出される距離である。黒三角で示したテーブル情報４４０を使用する（テーブル情報使用）場合の測定距離は、テーブル情報４４０を用いて算出された距離である。この図に示すように、テーブル情報使用の場合における測定距離は、実距離に一致する。一方、テーブル情報不使用の場合における測定距離は実距離とは一致せず、誤差を含む値となっている。すなわち、本実施形態の距離画像撮像装置１では、テーブル情報４４０を用いて測定距離を決定することにより、より実距離に近い値を算出することが可能である。
ここで、実施形態の距離画像撮像装置１における効果を、図１１を用いて説明する。図１１は、実施形態の効果を説明する図である。図１１には、実際の距離（実距離）と測定距離との関係が示されている。図１１の横軸は実距離、縦軸は測定距離を示す。ここでの距離は、被写体ＯＢまでの距離である。図１１において、黒丸で示したテーブル情報４４０を使用しない（テーブル情報不使用）場合の測定距離は、例えば、（１）式に電荷量Ｑ１～Ｑ３を代入することによって算出される距離である。黒三角で示したテーブル情報４４０を使用する（テーブル情報使用）場合の測定距離は、テーブル情報４４０を用いて算出された距離である。この図に示すように、テーブル情報使用の場合における測定距離は、実距離に一致する。一方、テーブル情報不使用の場合における測定距離は実距離とは一致せず、誤差を含む値となっている。すなわち、本実施形態の距離画像撮像装置１では、テーブル情報４４０を用いて測定距離を決定することにより、より実距離に近い値を算出することが可能である。
【0113】
（実施形態の変形例１）
ここで、実施形態の変形例１について説明する。本変形例では、記憶部４４が、複数のタイムウィンドウごとのテーブル情報４４０を記憶する点において、上述した実施形態と相違する。ここでのタイムウィンドウとは、距離測定用の電荷蓄積部の組合せに対応する。距離測定用の電荷蓄積部とは、反射光ＲＬに対応する電荷が振り分けられて蓄積される二つの電荷蓄積部ＣＳである。
ここで、実施形態の変形例１について説明する。本変形例では、記憶部４４が、複数のタイムウィンドウごとのテーブル情報４４０を記憶する点において、上述した実施形態と相違する。ここでのタイムウィンドウとは、距離測定用の電荷蓄積部の組合せに対応する。距離測定用の電荷蓄積部とは、反射光ＲＬに対応する電荷が振り分けられて蓄積される二つの電荷蓄積部ＣＳである。
【0114】
例えば、図４では、距離測定用の電荷蓄積部の組合せは電荷蓄積部ＣＳ１及びＣＳ２であり、この組み合わせが一つ目のタイムウィンドウに相当する。この一つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Ｒに応じて距離Ｄが決定される。
【0115】
また、図８では、距離測定用の電荷蓄積部の組合せは電荷蓄積部ＣＳ２及びＣＳ３である。この組み合わせが二つ目のタイムウィンドウに相当する。この二つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Ｒに応じて距離Ｄが決定される。
【0116】
図１２は、実施形態の変形例における二つのタイムウィンドウの特性を説明する図である。ここでの特性は、実距離と測定距離の対応関係を示す特性である。図１２の横軸は実距離、縦軸は測定距離を示す。特性Ｌ０は理想的な実距離と測定距離の関係を示している。特性Ｌ１は一つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。特性Ｌ２は二つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。この図の例に示すように、タイムウィンドウと別のタイムウィンドウでは、実距離と測定距離の対応関係が互いに異なる特性を示す場合が多い。このため、あるタイムウィンドウでは精度よく補正を行うことができるテーブル情報４４０を用いて、別のタイムウィンドウの距離を補正する場合、精度よく補正できるとは限らない。また、上述したとおり、反射光ＲＬに対応する電荷が偏った状態で蓄積される場合に誤差が生じやすくなる。このため、タイムウィンドウの繋ぎ部ＴＳにおいて距離の誤差が大きくなる。
【0117】
ここで、一つ目のタイムウィンドウには、二つ目のタイムウィンドウと比較して近距離にある被写体ＯＢからの反射光ＲＬが受光される。この場合において、一つ目のタイムウィンドウに対応させたテーブル情報４４０は、「近距離用情報」の一例である。一方、二つ目のタイムウィンドウには、一つ目のタイムウィンドウと比較して遠距離にある被写体ＯＢからの反射光ＲＬが受光される。この場合において、二つ目のタイムウィンドウに対応させたテーブル情報４４０は、「遠距離用情報」の一例である。
【0118】
この対策として、本変形例では、記憶部４４に、タイムウィンドウごとのテーブル情報４４０を予め作成し、記憶部４４に記憶させる。
【0119】
図１３、及び図１４は、実施形態の変形例におけるテーブル情報の構成の例を示す図である。図１３には、あるタイムウィンドウに相当する距離測定用の電荷蓄積部の組合せ（この例では、電荷蓄積部ＣＳ１、及びＣＳ２）に用いるテーブル情報４４０Ａが示されている。図１４には、別のタイムウィンドウに相当する距離測定用の電荷蓄積部の組合せ（例えば、電荷蓄積部ＣＳ２、及びＣＳ３）に用いるテーブル情報４４０Ｂが示されている。このように、タイムウィンドウごとのテーブル情報４４０Ａ（４００Ｂ）を作成することにより、それぞれのタイムウィンドウに応じた補正を行うことが可能となる。
【0120】
図１３に示すように、テーブル情報４４０Ａは、例えば、タイムウィンドウ、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。タイムウィンドウは、距離測定用の電荷蓄積部の組合せを示す情報である。この図の例では、タイムウィンドウに（Ｑ１Ｑ２）が示され、距離測定用の電荷蓄積部の組合せが電荷蓄積部ＣＳ１、ＣＳ２であることが示されている。電荷比閾値、テーブル間隔、電荷比、及び距離については、図５と同様であるためその説明を省略する。
【0121】
図１４に示すように、テーブル情報４４０Ｂは、例えば、タイムウィンドウ、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。タイムウィンドウは図１３と同様であり、電荷比閾値、テーブル間隔、電荷比、及び距離については、図５と同様であるためその説明を省略する。この図の例では、タイムウィンドウに（Ｑ２Ｑ３）が示され、距離測定用の電荷蓄積部の組合せが電荷蓄積部ＣＳ２、ＣＳ３であることが示されている。また、電荷比閾値Ｒ１５未満の電荷比群（電荷比Ｒ１１～Ｒ１４）のテーブル間隔を間隔ＴＫ４とし、電荷比閾値Ｒ１５以上の電荷比群（電荷比Ｒ１５～Ｒ１９）のテーブル間隔を間隔ＴＫ５とする例が示されている。
【0122】
図１５は、実施形態の変形例におけるテーブル情報４４０Ｂを説明する図である。図１５の横軸は電荷比Ｒ、縦軸は距離Ｄを示す。図１５では、横軸の電荷比Ｒの大きさに応じて、２つの範囲Ｅ１１、Ｅ１２が設定されている。範囲Ｅ１１は、電荷比が電荷比Ｒ１５未満となる範囲である。範囲Ｅ１２は、電荷比が電荷比Ｒ１５以上となる範囲である。ここで、範囲Ｅ１１は「第１範囲」の一例である。範囲Ｅ１２は「第２範囲」の一例である。また、範囲Ｅ１１は「第４範囲」の一例である。範囲Ｅ１２は「第５範囲」の一例である。
【0123】
図１５には、図１４のテーブル情報４４０Ｂに基づく電荷比Ｒと距離Ｄとの関係が示されている。テーブル情報４４０Ｂには電荷比閾値として電荷比Ｒ１５が設定されている。この場合、範囲Ｅ１１に含まれる電荷比Ｒ１１～Ｒ１４のテーブル間隔が間隔ＴＫ４となる。また、範囲Ｅ１２に含まれる電荷比Ｒ１５～Ｒ１９のテーブル間隔が間隔ＴＫ５となる。間隔ＴＫ４は間隔ＴＫ５よりも小さい。
【0124】
なお、図１５では、電荷比Ｒが（３）式で表される場合の例を示している。すなわち、図１５では、電荷比Ｒが増加するにつれて距離Ｄが増加する右肩上がりの特性が示されている。電荷比Ｒが（２）式で表される場合には、電荷比Ｒが増加するにつれて距離Ｄが減少する右肩下がりの特性となる。この場合、電荷比閾値は（１．０－電荷比Ｒ１５）に設定され、電荷比閾値以下の電荷比のテーブル間隔が粗く、電荷比閾値より大きい電荷比のテーブル間隔が細かく設定される。
【0125】
このように、本変形例では、タイムウィンドウごとにテーブル情報４４０を作成し、タイムウィンドウの繋ぎ部ＴＳにおいて、繋ぎ部ＴＳでない部分と比較してテーブル間隔が小さく細かくなるようにする。これにより、タイムウィンドウごとに適切なテーブル情報４４０を選択でき、かつ、距離の誤差が生じやすい繋ぎ部ＴＳにおいてもより精度よく距離を決定することが可能となる。
【0126】
或いは、タイムウィンドウの繋ぎ部ＴＳのみならず、二つ目のタイムウィンドウの両端部において、テーブル間隔が小さく細かくなるようにテーブル情報４４０を作成するようにしてもよい。これにより、距離の誤差が生じやすいタイムウィンドウの端部においてより精度よく距離を決定することが可能となる。
【0127】
図１６は、実施形態の変形例におけるテーブル情報４４０Ｃの構成の例を示す図である図１６に示すように、テーブル情報４４０Ｃは、例えば、タイムウィンドウ、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。タイムウィンドウは図１３と同様であり、テーブル間隔、電荷比、及び距離については、図５と同様であるためその説明を省略する。
【0128】
ここでは、電荷比閾値が、上限と下限の二つ、設定される。この図の例では、上限の電荷比閾値が電荷比Ｒ２０、下限の電荷比閾値が電荷比Ｒ１５に設定することが示されている。そして、下限の電荷比閾値Ｒ１５未満の電荷比群（電荷比Ｒ１１～Ｒ１４）のテーブル間隔を間隔ＴＫ４とし、下限の電荷比閾値Ｒ１５以上かつ上限の電荷比閾値Ｒ２０未満の電荷比群（電荷比Ｒ１５～Ｒ１９）のテーブル間隔を間隔ＴＫ５とし、上限の電荷比閾値Ｒ２０以上の電荷比群（電荷比Ｒ２０～Ｒ２４）のテーブル間隔を間隔ＴＫ６とすることが示されている。
【0129】
図１７は、実施形態の変形例におけるテーブル情報４４０Ｃを説明する図である。図１７の横軸は電荷比Ｒ、縦軸は距離Ｄを示す。図１７では、横軸の電荷比Ｒの大きさに応じて、３つの範囲Ｅ１１～Ｅ１３が設定されている。範囲Ｅ１１は、電荷比が電荷比Ｒ１５未満となる範囲である。範囲Ｅ１２は、電荷比が電荷比Ｒ１５以上かつ電荷比Ｒ２０未満となる範囲である。範囲Ｅ１３は、電荷比が電荷比Ｒ２０以上となる範囲である。ここで、範囲Ｅ１１は「第１範囲」の一例である。範囲Ｅ１２は「第２範囲」の一例である。範囲Ｅ１３は「第３範囲」の一例である。また、範囲Ｅ１１は「第４範囲」の一例である。範囲Ｅ１２は「第５範囲」の一例である。範囲Ｅ１３は「第６範囲」の一例である。
【0130】
図１７には、図１６のテーブル情報４４０Ｃに基づく電荷比Ｒと距離Ｄとの関係が示されている。テーブル情報４４０Ｃには、上限の電荷比閾値として電荷比Ｒ２０、下限の電荷比閾値として電荷比Ｒ１５がそれぞれ設定されている。この場合、範囲Ｅ１１に含まれる電荷比Ｒ１１～Ｒ１４のテーブル間隔が間隔ＴＫ４となる。また、範囲Ｅ１２に含まれる電荷比Ｒ１５～Ｒ１９のテーブル間隔が間隔ＴＫ５となる。また、範囲Ｅ１３に含まれる電荷比Ｒ２０～Ｒ２４のテーブル間隔が間隔ＴＫ６となる。間隔ＴＫ４は間隔ＴＫ５よりも小さい。間隔ＴＫ６は間隔ＴＫ５よりも小さい。
【0131】
なお、図１６では、電荷比Ｒが（３）式で表される場合の例を示している。すなわち、図１６では、電荷比Ｒが増加するにつれて距離Ｄが増加する右肩上がりの特性が示されている。電荷比Ｒが（２）式で表される場合には、電荷比Ｒが増加するにつれて距離Ｄが減少する右肩下がりの特性となる。この場合、電荷比閾値は（１．０－電荷比Ｒ１５）、及び（１．０－電荷比Ｒ２０）に設定される。電荷比閾値（１．０－電荷比Ｒ２０）以上かつ（１．０－電荷比Ｒ１５）未満のテーブル間隔が粗く設定される。電荷比閾値（１．０－電荷比Ｒ２０）未満のテーブル間隔が細かく設定される。また、（１．０－電荷比Ｒ１５）以上のテーブル間隔が細かく設定される。
【0132】
このように、本変形例では、タイムウィンドウごとにテーブル情報４４０を作成し、二つ目のタイムウィンドウの両端においてテーブル間隔が小さく細かくなるようにする。これにより、タイムウィンドウごとに適切なテーブル情報４４０を選択でき、かつ、距離の誤差が生じやすいタイムウィンドウの端部においてもより精度よく距離を決定することが可能となる。
【0133】
なお、上記では、二つ目のタイムウィンドウの両端においてテーブル間隔が小さく細かくなるように、テーブル情報４４０Ｃを作成する場合を例示して説明したが、これに限定されることはない。一つ目のタイムウィンドウの両端においてテーブル間隔が小さく細かくなるようにテーブル情報４４０Ａを作成するようにしてもよい。また、距離画像撮像装置１が複数のタイムウィンドウを備えない構成である場合における一つのタイムウィンドウの両端においてテーブル間隔が小さく細かくなるようにテーブル情報４４０を作成するようにしてもよい。
【0134】
以上説明したように、実施形態の変形例１に係る距離画像撮像装置１では、テーブル情報４４０に含まれる電荷比Ｒ（変数）のそれぞれは、図１５における範囲Ｅ１１、Ｅ１２のいずれかの範囲に含まれる値である。範囲Ｅ１１は、電荷比Ｒが電荷比閾値Ｒ１５未満となる範囲であり、「第１範囲」の一例である。範囲Ｅ１２は、電荷比Ｒが電荷比閾値Ｒ１５以上となる範囲であり、「第２範囲」の一例である。範囲Ｅ１１におけるテーブル間隔は、範囲Ｅ１２におけるテーブル間隔よりも小さい。これにより、電荷量Ｑ１＃と比較して、Ｑ２＃がごく僅かしか蓄積されない偏った状態で蓄積され、誤差が生じやすい状態にあっても、精度よく距離を補正することができる。
【0135】
また、実施形態の変形例１に係る距離画像撮像装置１では、画素３２１は、三つ以上の電荷蓄積部ＣＳを具備する。記憶部４４は、三つ以上の電荷蓄積部ＣＳのうちの第１電荷蓄積部と前記第２電荷蓄積部の組合せごとにテーブル情報４４０を記憶する。距離画像処理部４は、三つ以上の電荷蓄積部ＣＳに蓄積された電荷量に基づいて第１電荷蓄積部及び第２電荷蓄積部の組合せを決定する。距離画像処理部４は、三つ以上の電荷蓄積部ＣＳのうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、第１電荷蓄積部及び第２電荷蓄積部の組合せと決定する。距離画像処理部４は、決定した第１電荷蓄積部及び第２電荷蓄積部の組合せに応じてテーブル情報４４０を選択する。これにより、実施形態の変形例では、タイムウィンドウごとに適切なテーブル情報４４０を選択でき、タイムウィンドウごとに特性が異なる場合においてもより精度よく距離を決定することが可能となる。
【0136】
また、実施形態の変形例１に係る距離画像撮像装置１では、記憶部４４は、テーブル情報４４０Ａとテーブル情報４４０Ｂとを記憶する。テーブル情報４４０Ａは、一つ目のタイムウィンドウに対応するテーブル情報４４０であり、「近距離用情報」の一例である。テーブル情報４４０Ｂは、二つ目のタイムウィンドウに対応するテーブル情報４４０であり、「遠距離用情報」の一例である。テーブル情報４４０Ａに含まれる電荷比Ｒ（変数）のそれぞれは、図６における範囲Ｅ２、Ｅ３のいずれかの範囲に含まれる値である。範囲Ｅ３におけるテーブル間隔は、範囲Ｅ２におけるテーブル間隔よりも小さい。テーブル情報４４０Ｂに含まれる電荷比Ｒ（変数）のそれぞれは、図１５における範囲Ｅ１１、Ｅ１２のいずれかの範囲に含まれる値である。範囲Ｅ１１におけるテーブル間隔は、範囲Ｅ１２におけるテーブル間隔よりも小さい。これにより、実施形態の変形例に係る距離画像撮像装置１では、タイムウィンドウごとに適切なテーブル情報４４０を選択でき、かつ、距離の誤差が生じやすいタイムウィンドウの繋ぎ部ＴＳにおいて、より適切な距離を選択することが可能となる。したがって、精度よく距離を決定することができる。
【0137】
（実施形態の変形例２）
ここで、実施形態の変形例２について説明する。本変形例では、外光のみが蓄積された電荷蓄積部ＣＳ、或いは反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（距離演算用電荷蓄積部）を特定することなく電荷比Ｒを算出する点において、上述した実施形態と相違する。
ここで、実施形態の変形例２について説明する。本変形例では、外光のみが蓄積された電荷蓄積部ＣＳ、或いは反射光ＲＬが振り分けられて蓄積される二つの電荷蓄積部ＣＳ（距離演算用電荷蓄積部）を特定することなく電荷比Ｒを算出する点において、上述した実施形態と相違する。
【0138】
本変形例では、距離演算部４２は、特許文献ＷＯ２０１９／０３１５１０に記載されている方法を利用する。特許文献ＷＯ２０１９／０３１５１０には、指標値が所定の閾値を超えるか否かに応じて、距離演算に用いる演算式が選択される技術が記載されている。ここでの指標値は、特許文献ＷＯ２０１９／０３１５１０における「距離データ有効性判定信号」である。また、ここでの演算式は、特許文献ＷＯ２０１９／０３１５１０における「距離参照値」であり、本実施形態の「電荷比Ｒ」に相当する。以下では、画素３２１が三つの電荷蓄積部ＣＳを備える場合と、画素３２１が四つの電荷蓄積部ＣＳを備える場合に分けて、具体的な電荷比Ｒの算出方法を説明する。
【0139】
（画素３２１が三つの電荷蓄積部ＣＳを備える場合）
本変形例において、距離演算部４２は、以下の（８）式、或いは（９）式を用いて電荷比Ｒを算出する。ここでは、図４、及び図８に示すタイミングチャートにしたがって、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３の順に、電荷が蓄積されるものとする。すなわち、距離演算部４２は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２，及びＣＳ３の順に、電荷が蓄積されるように制御する。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。
本変形例において、距離演算部４２は、以下の（８）式、或いは（９）式を用いて電荷比Ｒを算出する。ここでは、図４、及び図８に示すタイミングチャートにしたがって、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３の順に、電荷が蓄積されるものとする。すなわち、距離演算部４２は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２，及びＣＳ３の順に、電荷が蓄積されるように制御する。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。
【0140】
Ｒ＝１－（Ｑ１－Ｑ３）／ＳＡ …（８）
Ｒ＝（Ｑ１－Ｑ３）／ＳＡ …（９）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋Ｑ２－０．５×ＳＢ
ＳＢ＝｜Ｑ１＋Ｑ３｜－｜Ｑ１－Ｑ３｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｒ＝（Ｑ１－Ｑ３）／ＳＡ …（９）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋Ｑ２－０．５×ＳＢ
ＳＢ＝｜Ｑ１＋Ｑ３｜－｜Ｑ１－Ｑ３｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
【0141】
記憶部４４には、単位蓄積電荷量Ｑｉｎｔごとに、電荷比Ｒに距離を対応づけたテーブル情報４４０が記憶されている。距離演算部４２は、単位蓄積電荷量Ｑｉｎｔを算出し、算出した単位蓄積電荷量Ｑｉｎｔに対応するテーブル情報４４０を用いて電荷比Ｒに対応づけられた距離を、測定距離とする。
【0142】
（画素３２１が四つの電荷蓄積部ＣＳを備える場合）
まず、画素３２１が四つの電荷蓄積部ＣＳを備える場合における、画素３２１の駆動タイミングについて説明する。この場合、例えば、図４、及び図８にさらに読み出しゲートトランジスタＧ４の項目が追加され、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に、電荷が蓄積される。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。電荷蓄積部ＣＳ４は「第４電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。電荷蓄積部ＣＳ４に蓄積された電荷量は「第４電荷量」の一例である。
まず、画素３２１が四つの電荷蓄積部ＣＳを備える場合における、画素３２１の駆動タイミングについて説明する。この場合、例えば、図４、及び図８にさらに読み出しゲートトランジスタＧ４の項目が追加され、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に、電荷が蓄積される。この場合、電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。電荷蓄積部ＣＳ４は「第４電荷蓄積部」の一例である。また、電荷蓄積部ＣＳ１に蓄積された電荷量は「第１電荷量」の一例である。電荷蓄積部ＣＳ２に蓄積された電荷量は「第２電荷量」の一例である。電荷蓄積部ＣＳ３に蓄積された電荷量は「第３電荷量」の一例である。電荷蓄積部ＣＳ４に蓄積された電荷量は「第４電荷量」の一例である。
【0143】
具体的には、図４、及び図８に示すタイミングで、光パルスＰＯの照射、ドレインゲートトランジスタＧＤをオフ状態とする制御、読み出しゲートトランジスタＧ１～Ｇ３をオン状態とする制御が行われる。次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ４をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ４をオフ状態にする。これにより、読み出しゲートトランジスタＧ４がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。次に、垂直走査回路３２３は、電荷蓄積部ＣＳ４への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0144】
上記のようなタイミングにて制御された電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、距離演算部４２は、以下の（１０）式、或いは（１１）式を用いて、電荷比ＸＲを算出する。
【0145】
ＸＲ＝１－（Ｑ１－Ｑ３）／ＳＡ …（１０）
ＸＲ＝（Ｑ１－Ｑ３）／ＳＡ …（１１）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
ＸＲ＝（Ｑ１－Ｑ３）／ＳＡ …（１１）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
【0146】
また、距離演算部４２は、以下の（１２）式、或いは（１３）式を用いて、電荷比ＹＲを算出する。
【0147】
ＹＲ＝２－（Ｑ２－Ｑ４）／ＳＡ …（１２）
ＹＲ＝１＋（Ｑ２－Ｑ４）／ＳＡ …（１３）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
ＹＲ＝１＋（Ｑ２－Ｑ４）／ＳＡ …（１３）
ただし、
ＳＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
【0148】
距離演算部４２は、電荷比ＸＲと閾値ＴｈＲとを比較する。閾値ＴｈＲは、タイムウィンドウの切り替わり付近に相当する電荷比ＸＲの値の近傍に設定される。距離演算部４２は、電荷比ＸＲが閾値ＴｈＲ以下の場合、電荷比ＸＲを、電荷比Ｒとして選択する。一方、距離演算部４２は、電荷比ＸＲが閾値ＴｈＲを超えている場合、電荷比ＹＲを、電荷比Ｒとして選択する。
【0149】
記憶部４４には、単位蓄積電荷量Ｑｉｎｔごとに、電荷比Ｒに距離を対応づけたテーブル情報４４０が記憶されている。距離演算部４２は、単位蓄積電荷量Ｑｉｎｔを算出し、算出した単位蓄積電荷量Ｑｉｎｔに対応するテーブル情報４４０を用いて電荷比Ｒに対応づけられた距離を、測定距離とする。
【0150】
以上説明したように、実施形態の変形例２に係る距離画像撮像装置１では、画素３２１は、三つの電荷蓄積部ＣＳ１～ＣＳ３を具備する。距離画像処理部４は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３の順に、電荷が蓄積されるように制御する。距離演算部４２は、（８）式または（９）式のように、（Ｑ１－Ｑ３）を、二つの距離演算用電荷蓄積部のいずれか一方の電荷蓄積部ＣＳに蓄積された、反射光ＲＬに対応する電荷量（距離演算用電荷量）とする。Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量である。
【0151】
これにより、実施形態の変形例２に係る距離画像撮像装置１では、二つの距離演算用電荷蓄積部を特定することなく、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量を算出することができる。このため、（８）式または（９）式のＳＡに示すように、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和を算出することによって、電荷比Ｒを算出することが可能である。したがって、実施形態の変形例４に係る距離画像撮像装置１では、遅延時間Ｔｄの長さに応じて、外光のみが蓄積された電荷蓄積部ＣＳを特定し、外光成分に相当する電荷量Ｑｂを算出することなく、容易に電荷比Ｒを算出することができる。さらに、二つのタイムウィンドウの境界においても同一の演算式（（８）式または（９）式）を適用することができるため、タイムウィンドウの境界における不連続性を改善させることが可能である。
【0152】
また、実施形態の変形例２に係る距離画像撮像装置１では、画素３２１は、四つの電荷蓄積部ＣＳ１～ＣＳ４を具備する。距離画像処理部４は、光パルスＰＯの照射に同期させたタイミングで、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に、電荷が蓄積されるように制御する。距離演算部４２は、（Ｑ１－Ｑ３）を、二つの距離演算用電荷蓄積部の一方の電荷蓄積部ＣＳに蓄積された電荷量から計算される信号量とする。距離演算部４２は、（Ｑ２－Ｑ４）を、二つの距離演算用電荷蓄積部の他方の電荷蓄積部ＣＳに蓄積された電荷量から計算される信号量とする。距離演算部４２は、｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜を、二つの距離演算用電荷蓄積部のそれぞれの電荷蓄積部ＣＳに蓄積された電荷量から計算される信号量の和とする。
【0153】
これにより、実施形態の変形例２に係る距離画像撮像装置１では、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量、及び他方に蓄積された距離演算用電荷量を算出することができる。このため、二つの距離演算用電荷蓄積部を特定することなく、電荷比Ｒを算出することが可能である。
【0154】
さらに、この場合、タイムウィンドウの境界において（１０）式における電荷比ＸＲと（１２）式における電荷比ＹＲとが同じ値となる。このため、タイムウィンドウの境界における不連続性を改善させることが可能である。
【0155】
なお、上述した実施形態では、距離画像処理部４が記憶部４４を備える構成を例示して説明したが、これに限定されない。記憶部４４は、少なくとも距離画像撮像装置１に設けられていればよく、距離画像処理部４とは異なる機能部に設けられていてもよい。
【0156】
また、上述した実施形態では、テーブル間隔を電荷比Ｒの差分とする場合を例に説明したが、これに限定されない。テーブル間隔は距離Ｄの差分であってもよい。テーブル情報４４０を作成する場合においては、測定空間に、壁などの、測定距離が均一となる物体を被写体ＯＢとして設置し、距離画像撮像装置１から被写体ＯＢまでの距離を変化させながら反射光ＲＬ電荷の蓄積を行い、電荷比Ｒと距離Ｄとの関係を取得する。この場合においては、測定範囲の最小値、及び最大値の近傍において、反射光ＲＬに対応する電荷量が偏って蓄積され、距離に誤差が生じやすくなる。
【0157】
例えば、一つのタイムウィンドウで測定可能な範囲が１．８ｍ程度であり、３つのタイムウィンドウを備える構成である場合を考える。この場合、それぞれのタイムウィンドウの端部に相当する距離の範囲において誤差が生じやすくなる。タイムウィンドウの端部に相当する距離とは、例えば、一つ目のタイムウィンドウの端部に相当する距離１．６ｍ～１．８ｍ程度の範囲である。また、二つ目のタイムウィンドウの両端部に相当する距離１．８ｍ～２．０ｍ、及び３．４ｍ～３．６ｍ程度の範囲である。また、三つ目のタイムウィンドウの両端部に相当する距離３．６ｍ～３．８ｍ、及び５．２ｍ～５．４ｍ程度の範囲である。これらの距離の範囲においては、テーブル間隔が小さく細かくなるように、テーブル情報４４０を作成する。具体的には、距離画像撮像装置１から被写体ＯＢ（壁）までの距離を、細かく（例えば、０．０５ｍ刻み）変化させながら反射光ＲＬ電荷の蓄積を行い、テーブル情報４４０を作成する。一方、タイムウィンドウの端部に相当しない距離の範囲においては、テーブル間隔が大きく粗くなるように、テーブル情報４４０を作成する。具体的には、距離画像撮像装置１から被写体ＯＢ（壁）までの距離を、粗く（例えば、０．５ｍ刻み）変化させながら反射光ＲＬ電荷の蓄積を行い、テーブル情報４４０を作成する。
【0158】
また、上述した少なくとも一つの実施形態では、電荷比Ｒが二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和に対する、二つの距離演算用電荷蓄積部のいずれか一方の距離演算用電荷量の比である場合を例に説明した。しかしながらこれに限定されない。電荷比Ｒは、少なくとも二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量を用いて示される比率であればよい。例えば、電荷比Ｒは、二つの距離演算用電荷蓄積部のいずれか一方の距離演算用電荷量に対する、他方の距離演算用電荷量の比であってもよい。
【0159】
また、図９では、光パルスＰＯを照射する前に電荷蓄積部ＣＳ１に電荷を蓄積させることによって、電荷蓄積部ＣＳ１に外光成分に相当する電荷量Ｑｂのみが蓄積されるように制御する場合を例に説明した。しかしながらこれに限定されない。光パルスＰＯを照射し、反射光ＲＬを受光した後に電荷蓄積部ＣＳ３に電荷を蓄積させるように制御してもよい。この場合、電荷蓄積部ＣＳ３に外光成分に相当する電荷量Ｑｂのみが蓄積される。この場合、電荷蓄積部ＣＳ３は「予め決められた外光蓄積用電荷蓄積部」の一例である。
【0160】
また、外光成分に相当する電荷量Ｑｂとして、別フレームにおいて取得された外光成分に相当する電荷量や、距離画像撮像装置１に特定の外光測定用の画素３２１を設けることによって取得された外光成分に相当する電荷量が用いられてもよい。上記方法を用いて、例えば、画素３２１が二つの電荷蓄積部ＣＳのみを具備する場合であっても、二つの電荷蓄積部ＣＳのそれぞれに蓄積された電荷量から、外光成分に相当する電荷量を減算することができる。したがって、画素３２１が二つの電荷蓄積部ＣＳのみを具備する場合であっても、電荷比Ｒを計算することが可能である。
【0161】
上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0162】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0163】
１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
４４…記憶部
４４０…テーブル情報
ＣＳ…電荷蓄積部
ＰＯ…光パルス
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
４４…記憶部
４４０…テーブル情報
ＣＳ…電荷蓄積部
ＰＯ…光パルス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】