(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-08
(45)【発行日】2024-08-19
(54)【発明の名称】距離画像測定装置
(51)【国際特許分類】
G01S 7/4863 20200101AFI20240809BHJP
G01S 17/10 20200101ALI20240809BHJP
G01S 17/894 20200101ALI20240809BHJP
【FI】
G01S7/4863
G01S17/10
G01S17/894
(21)【出願番号】P 2021527700
(86)(22)【出願日】2020-06-24
(86)【国際出願番号】 JP2020024863
(87)【国際公開番号】W WO2020262476
(87)【国際公開日】2020-12-30
【審査請求日】2023-05-16
(31)【優先権主張番号】P 2019117468
(32)【優先日】2019-06-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100124800
【氏名又は名称】諏澤 勇司
(74)【代理人】
【識別番号】100170818
【氏名又は名称】小松 秀輝
(72)【発明者】
【氏名】川人 祥二
【審査官】佐藤 宙子
(56)【参考文献】
【文献】国際公開第2019/078366(WO,A1)
【文献】国際公開第2016/208214(WO,A1)
【文献】国際公開第2017/098725(WO,A1)
【文献】米国特許出願公開第2018/0338127(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
H04N 5/30- 5/33
(57)【特許請求の範囲】
【請求項1】
パルス光を発生させる光源と、
前記パルス光を定期的に繰り返し発生させるように前記光源を制御する光源制御手段と、
光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、前記電荷を排出するための電荷排出領域、および前記光電変換領域と前記第1~第Mの電荷読出領域とに対応して設けられて前記光電変換領域と前記第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを受ける第1~第Mの制御電極を有すると共に、前記光電変換領域と前記電荷排出領域とに対応して設けられて前記光電変換領域と前記電荷排出領域との間における電荷転送のための第M+1の制御パルスを受ける第M+1の制御電極を有する画素回路部と、
前記光源制御手段による前記パルス光の発生に対応して、前記第1~第Mの制御電極に前記第1~第Mの制御パルスを出力し、前記第1~第Mの制御パルスの出力期間以外の期間に前記第M+1の制御電極に前記第M+1の制御パルスを出力する電荷転送制御手段と、
前記電荷転送制御手段による前記第1~第Mの制御パルスの出力後に、前記画素回路部の前記第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出手段と、
前記第1~第Mの検出信号を基に距離を繰り返し計算する距離計算手段と、を備え、
前記電荷転送制御手段は、
前記パルス光が発生するタイミングの前、および前記第2~第Mの制御パルスを出力した後であり且つ前記第2~第Mの制御パルスを出力した後に発生する次の前記パルス光の前、の少なくとも一方に前記第1の制御パルスを出力するタイミングを設定する第1の動作と、
前記第2~第Mの制御パルスを出力した後であり且つ前記第2~第Mの制御パルスを出力した後に発生する次の前記パルス光の前に前記第1の制御パルスを出力するタイミングを設定すると共に、前記パルス光が発生するタイミングと同時以降であって前記第2~第Mの制御パルスを出力する前にも前記第1の制御パルスを出力するタイミングを設定する第2の動作と、を行い、
前記パルス光のK回分を1周期として2種類の動作パターンが繰り返されるとき、前記2種類の動作パターンのそれぞれにおいて実行されるパターンの合計回数は、変数Kによって示され、
前記電荷転送制御手段は、K回行われる前記パターンにおいて、前記第1の動作をK-1回行うと共に、前記第2の動作を1回行い、
前記距離計算手段は、前記距離の計算において、前記第1の制御パルスによって得た信号を含む演算値に対して前記変数Kを重み係数として乗算する距離画像測定装置。
【請求項2】
前記電荷転送制御手段は、1フレーム期間内に含まれる第1~第N(Nは2以上の整数)のサブフレーム期間ごとに、前記パルス光が発生するタイミングに対する前記第2~第Mの制御パルスの遅れ時間を異なる時間にシフトさせるように、前記第2~第Mの制御パルスのタイミングを設定する、請求項1に記載の距離画像測定装置。
【請求項3】
前記電荷転送制御手段は、前記第2~第Nのサブフレーム期間の間で、前記パルス光が発生するタイミングに対する前記第2~第Mの制御パルスの遅れ時間が短くなるほど、前記第2~第Mの制御パルスのうち、少なくとも前記第2の制御パルスの出力回数のレートを下げるように設定する、請求項2に記載の距離画像測定装置。
【請求項4】
前記電荷転送制御手段は、前記第2の制御パルスを出力するタイミングを前記パルス光が発生するタイミングから前記パルス光が持続する持続時間よりも短い待機時間だけ後に設定する、請求項1~3のいずれか一項に記載の距離画像測定装置。
【請求項5】
パルス光を発生させる光源と、
前記パルス光を定期的に繰り返し発生させるように前記光源を制御する光源制御手段と、
光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、前記電荷を排出するための電荷排出領域、および前記光電変換領域と前記第1~第Mの電荷読出領域とに対応して設けられて前記光電変換領域と前記第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを受ける第1~第Mの制御電極を有すると共に、前記光電変換領域と前記電荷排出領域とに対応して設けられて前記光電変換領域と前記電荷排出領域との間における電荷転送のための第M+1の制御パルスを受ける第M+1の制御電極を有する画素回路部と、
前記光源制御手段による前記パルス光の発生に対応して、前記第1~第Mの制御電極に前記第1~第Mの制御パルスを出力し、前記第1~第Mの制御パルスの出力期間以外の期間に前記第M+1の制御電極に前記第M+1の制御パルスを出力する電荷転送制御手段と、
前記電荷転送制御手段による前記第1~第Mの制御パルスの出力後に、前記画素回路部の前記第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出手段と、
前記第1~第Mの検出信号を基に距離を繰り返し計算する距離計算手段と、を備え、
前記電荷転送制御手段は、前記第1の制御パルスを出力するタイミングを、前記パルス光が発生するタイミングの前および前記第2~第Mの制御パルスを出力した後であり且つ前記第2~第Mの制御パルスを出力した後に発生する次の前記パルス光の前の少なくとも一方に設定する第3の動作と、前記第1の制御パルスを出力するタイミングを、前記パルス光が発生するタイミングと同時以降であって前記第2~第Mの制御パルスを出力する前に設定する第4の動作と、を行い、
前記パルス光のK回分を1周期として前記第3の動作と前記第4の動作との2種類の動作パターンが繰り返されるとき、前記2種類の動作パターンのそれぞれにおいて実行されるパターンの合計回数は、変数Kによって示され、
前記電荷転送制御手段は、K回行われる前記パターンにおいて、前記第3の動作をK-1回行うと共に、前記第4の動作を1回行い、
前記距離計算手段は、前記距離の計算において、前記第1の制御パルスによって得た信号を含む演算値に対して前記変数Kを重み係数として乗算する距離画像測定装置。
【請求項6】
前記電荷転送制御手段は、前記第3の動作における前記パルス光が発生するタイミングに対する前記第2~第Mの制御パルスの遅れ時間と前記第4の動作における前記遅れ時間とが互いに同じになるように設定すると共に、1フレームにおいて行われる前記第3の動作の回数が前記第4の動作の回数より多くなるように設定する、請求項5に記載の距離画像測定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画素ごとに距離情報を含む距離画像を生成する距離画像測定装置に関する。
【背景技術】
【0002】
特許文献1は、光の飛行時間を用いて距離情報を含む距離画像を生成するセンサ装置を開示する。このセンサ装置は、時間軸に配列された第1~第5フレームにおいて第1~第5のパルスの列を照射パルスとして対象物に照射する。このセンサ装置は、照射された光に起因する対象物からの反射光を用いて距離画像を生成する。距離画像は、ピクセルアレイにおいて対象物までの距離に関する情報を含む。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
対象物が測定装置の近くに存在するとき、測定装置には対象物から強い反射光が入射することがある。この反射光は、測定装置の内部において反射した後に、光検出器において対象物の像位置とは異なる位置に入射する。このような入射は、いわゆるフレアを生じさせる。測定装置において、フレアはノイズとなり得る。
【0005】
本発明は、フレアの影響を抑制可能な距離画像測定装置を提供する。
【課題を解決するための手段】
【0006】
本発明の一形態である距離画像測定装置は、パルス光を発生させる光源と、パルス光を定期的に繰り返し発生させるように光源を制御する光源制御手段と、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、電荷を排出するための電荷排出領域、および光電変換領域と第1~第Mの電荷読出領域とに対応して設けられて光電変換領域と第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを受ける第1~第Mの制御電極を有すると共に、光電変換領域と電荷排出領域とに対応して設けられて光電変換領域と電荷排出領域との間における電荷転送のための第M+1の制御パルスを受ける第M+1の制御電極を有する画素回路部と、光源制御手段によるパルス光の発生に対応して、第1~第Mの制御電極に第1~第Mの制御パルスを出力し、第1~第Mの制御パルスの出力期間以外の期間に第M+1の制御電極に第M+1の制御パルスを出力する電荷転送制御手段と、電荷転送制御手段による第1~第Mの制御パルスの出力後に、画素回路部の第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出手段と、第1~第Mの検出信号を基に距離を繰り返し計算する距離計算手段と、を備える。電荷転送制御手段は、第1の制御パルスを出力するタイミングを、パルス光が発生するタイミングの前および第2~第Mの制御パルスを出力した後の少なくとも一方に設定する。
【0007】
上記の距離画像測定装置は、第2~第Mの制御パルスを第2~第Mの制御電極に出力する。その結果、対象物からの光に起因して光電変換領域において生じた電荷が第2~第Mの電荷読出領域に転送される。第2~第Mの電荷読出領域の電荷は、電圧検出手段によって第2~第Mの検出信号として読み出される。読み出された電荷は、距離計算手段において距離の計算に用いられる。一方、上記の距離画像測定装置は、第1の制御パルスを第1の制御電極に出力する。ここで、第1の制御パルスを出力するタイミングは、パルス光が発生するタイミングの前および第2~第Mの制御パルスを出力した後の少なくとも一方に設定される。第1の制御パルスの出力に応じて第1の電荷読出領域に転送された電荷は、背景光に起因する。つまり、これらのタイミングでは、光電変換領域にパルス光に起因する光が入射することがない。または、光電変換領域に入射する光は、極めて弱い。従って、第1の電荷読出領域に転送された電荷は、フレアの影響を含んでいないとみなすことが可能である。その結果、背景光の成分を示す第1の検出信号を用いた補正によれば、補正後の信号はフレアの影響が抑制されている。従って、距離画像測定装置は、フレアの影響を抑制することができる。
【0008】
上記の形態において、電荷転送制御手段は、1フレーム期間内に含まれる第1~第N(Nは2以上の整数)のサブフレーム期間ごとに、パルス光が発生するタイミングに対する第2~第Mの制御パルスの遅れ時間を異なる時間にシフトさせるように、第2~第Mの制御パルスのタイミングを設定してもよい。この設定によれば、デューティ比の小さい多数の時間窓を使った電荷の検出が可能である。その結果、様々な距離測定範囲の対象物を対象にした場合であっても、検出信号における背景光の影響が低減される。その結果、距離分解能の高い距離計算が実現される。さらに、強い背景光に起因した検出信号の飽和による距離計算の精度の低下も防止できる。
【0009】
上記の形態において、電荷転送制御手段は、第2~第Nのサブフレーム期間の間で、パルス光が発生するタイミングに対する第2~第Mの制御パルスの遅れ時間が短くなるほど、第2~第Mの制御パルスのうち、少なくとも第2の制御パルスの出力回数のレートを下げるように設定してもよい。この設定によれば、近い距離測定範囲の対象物を対象にした場合に検出信号の飽和を防止できる。その結果、距離測定のダイナミックレンジを向上させることができる。
【0010】
上記の形態において、電荷転送制御手段は、第2~第Mの制御パルスを出力した後に第1の制御パルスを出力するタイミングを設定する第1の動作と、第2~第Mの制御パルスを出力した後に第1の制御パルスを出力するタイミングを設定すると共に、パルス光が発生するタイミングと同時以降であって第2~第Mの制御パルスを出力する前にも第1の制御パルスを出力するタイミングを設定する第2の動作と、を行ってもよい。この設定によれば、第1の動作によって、背景光の成分を含む第1の検出信号を得ることができる。第2の動作によって、背景光の成分を含むと共に対象物からの反射光の成分を含む第1の検出信号を得ることもできる。従って、距離の計算に用いることが可能な信号成分が増加するので、距離計算の精度を改善することができる。
【0011】
上記の形態において、電荷転送制御手段は、第2の制御パルスを出力するタイミングをパルス光が発生するタイミングからパルス光が持続する持続時間よりも短い待機時間だけ後に設定してもよい。この設定によれば、第2の制御パルスは、パルス光が発生するタイミングから待機時間だけ遅れている。従って、待機時間の間に光電変換領域に入射したフレアの成分は、信号成分として第2の電荷読出領域に転送されない。従って、第2の検出信号が受けるフレアの影響を低減することができる。
【0012】
本発明の別の形態である距離画像測定装置は、パルス光を発生させる光源と、パルス光を定期的に繰り返し発生させるように光源を制御する光源制御手段と、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、電荷を排出するための電荷排出領域、および光電変換領域と第1~第Mの電荷読出領域とに対応して設けられて光電変換領域と第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを受ける第1~第Mの制御電極を有すると共に、光電変換領域と電荷排出領域とに対応して設けられて光電変換領域と電荷排出領域との間における電荷転送のための第M+1の制御パルスを受ける第M+1の制御電極を有する画素回路部と、光源制御手段によるパルス光の発生に対応して、第1~第Mの制御電極に第1~第Mの制御パルスを出力し、第1~第Mの制御パルスの出力期間以外の期間に第M+1の制御電極に第M+1の制御パルスを出力する電荷転送制御手段と、電荷転送制御手段による第1~第Mの制御パルスの出力後に、画素回路部の第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出手段と、第1~第Mの検出信号を基に距離を繰り返し計算する距離計算手段と、を備える。電荷転送制御手段は、第1の制御パルスを出力するタイミングを、パルス光が発生するタイミングの前および第2~第Mの制御パルスを出力した後の少なくとも一方に設定する第3の動作と、第1の制御パルスを出力するタイミングを、パルス光が発生するタイミングと同時以降であって第2~第Mの制御パルスを出力する前に設定する第4の動作と、を行う。
【0013】
別の形態である距離画像測定装置は、一形態である距離画像測定装置と同様に、背景光の成分を示す第1の検出信号を用いた補正を行った場合に、補正後の信号におけるフレアの影響を抑制することができる。従って、距離画像測定装置は、フレアの影響を抑制することができる。
【0014】
上記の別の形態において、電荷転送制御手段は、1フレームにおいて行われる第3の動作の回数が第4の動作の回数と異なるように設定してもよい。この設定によれば、フレアの影響を低減する動作を行うことが可能になる。
【0015】
上記の別の形態において、電荷転送制御手段は、第3の動作におけるパルス光が発生するタイミングに対する第2~第Mの制御パルスの遅れ時間と第4の動作における遅れ時間とが互いに同じになるように設定すると共に、1フレームにおいて行われる第3の動作の回数が第4の動作の回数より多くなるように設定してもよい。第3の動作によれば、フレアの影響が無視できる第1の検出信号を得ることができる。第4の動作によれば、距離の計算に利用可能な第1の検出信号を得ることができる。第3の動作を第4の動作より多く行うことにより、第3の動作に起因する第1の検出信号を多く得ることができる。その結果、フレアの影響が低減された計算結果を得ることができる。
【0016】
上記の別の形態において、電荷転送制御手段は、第3の動作におけるパルス光が発生するタイミングに対する第2~第Mの制御パルスの遅れ時間と第4の動作における遅れ時間とが互いに異なるように設定すると共に、1フレームにおいて行われる第3の動作の回数が第4の動作の回数より少なくなるように設定してもよい。第3の動作によれば、フレアの影響が無視できる第1の検出信号を得ることができる。第4の動作によれば、距離の計算に利用可能な第1の検出信号を得ることができる。そして、第4の動作を第3の動作より多く行うことにより、第4の動作に起因する第1の検出信号を多く得ることができる。その結果、距離の計算に用いられる信号成分が増えるので、距離計算の精度を改善することができる。
【0017】
上記の別の形態において、電荷転送制御手段は、1フレームにおいて行われる第3の動作の回数が第4の動作の回数と等しくなるように設定してもよい。この設定によっても、フレアの影響を抑制することができる。
【発明の効果】
【0018】
本発明によれば、フレアの影響を低減することができる距離画像測定装置が提供される。
【図面の簡単な説明】
【0019】
【
図1】
図1は、第1実施形態の距離画像センサの概略構成を示すブロック図である。
【
図2】
図2は、
図1の距離画像センサによる距離計算の原理を説明するためのタイミングチャートである。
【
図3】
図3は、
図1の距離画像センサによって扱われる各種信号のタイミングチャート、および距離画像センサによって計算される各種値の遅れ時間に対する変化を示すグラフである。
【
図4】
図4は、第1実施形態の距離画像センサおよび第2実施形態の距離画像センサの動作を説明するための図である。
【
図5】
図5は、第2実施形態の距離画像センサによって扱われる各種信号のタイミングチャート、および距離画像センサによって計算される各種値の遅れ時間に対する変化を示すグラフである。
【
図6】
図6は、第2実施形態の距離画像センサによって扱われる各種信号のタイミングチャート、および距離画像センサによって計算される各種値の遅れ時間に対する変化を示すグラフである。
【
図7】
図7は、第3実施形態の距離画像センサの概略構成を示すブロック図である。
【
図8】
図8は、第3実施形態の距離画像センサによって扱われる各種信号のタイミングチャートである。
【
図9】
図9は、
図8に示す各種信号のタイミングチャートの一部、および距離画像センサによって計算される各種値の遅れ時間に対する変化を示すグラフである。
【
図10】
図10は、第4実施形態の距離画像センサによって扱われる各種信号のタイミングチャートである。
【
図11】
図11は、第4実施形態の距離画像センサの動作を説明するための図である。
【
図12】
図12は、第5実施形態の距離画像センサによって扱われる各種信号のタイミングチャートである。
【
図13】
図13は、第5実施形態の距離画像センサによって扱われる各種信号のタイミングチャートの一部、および距離画像センサによって計算される各種値の遅れ時間に対する変化を示すグラフである。
【
図14】
図14は、第6実施形態の距離画像センサによって扱われる各種信号のタイミングチャートである。
【
図15】
図15は、第7実施形態の距離画像センサによって扱われる各種信号のタイミングチャートである。
【
図16】
図16は、第7実施形態の距離画像センサによって扱われる各種信号のタイミングチャートの一部、および距離画像センサによって計算される各種値の遅れ時間に対する変化を示すグラフである。
【
図17】
図17は、第8実施形態の距離画像センサによって扱われる各種信号のタイミングチャート、および距離画像センサによって計算される各種値の遅れ時間に対する変化を示すグラフである。
【発明を実施するための形態】
【0020】
以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0021】
<第1実施形態>
図1を参照して、本発明の距離画像測定装置の第1実施形態に係る距離画像センサ10の機能および構成を説明する。距離画像センサ10は、飛行時間法を利用して画素ごとに距離情報を含む距離画像を生成する。距離画像センサ10は、光源11と、演算回路12と、複数の画素回路13(画素回路部)と、を備える。距離画像センサ10は、飛行時間(TOF:Time Of Flight)方式による距離測定を行う。光源11は、対象物Sに照射するパルス光L
Pを発生させる。光源11は、例えば、発光ダイオード又はレーザダイオード等の半導体発光素子と、その半導体発光素子を駆動する駆動回路と、を有する。光源11としては、近赤外領域、可視光領域等の波長領域の光を発生させる素子を用いることができる。距離画像センサ10は、複数の画素回路13を備える。複数の画素回路13は、2次元方向(例えば、列方向および行方向)に2次元アレイ状に配列されている。複数の画素回路13は、イメージセンサを構成する。複数の画素回路13は、対象物Sによってパルス光L
Pが反射されて生じた入射パルス光L
Rを光電変換することにより検出信号を生成する。距離画像センサ10は、演算回路12も備えている。演算回路12は、複数の画素回路13によって生成された検出信号を用いて、対象物Sに関する距離情報を画素ごとに演算する。演算回路12は、画素ごとの距離情報が反映された2次元画像情報を含む距離画像を生成および出力する。演算回路12は、CPU、RAM、ROM、および入出力装置等を含むワンチップマイクロコンピュータ等の専用の集積回路によって構成されてもよい。また、演算回路12は、パーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。
【0022】
以下、画素回路13および演算回路12の構成について詳細に説明する。
【0023】
画素回路13の構成について説明する。画素回路13は、半導体素子によって構成される。画素回路13は、光電変換領域21と、電荷読出領域221~223と、電荷排出領域23と、制御電極241~243と、制御電極25と、電圧検出手段261~263とを含む。光電変換領域21は、入射パルス光LRを電荷に変換する。電荷読出領域221~223および電荷排出領域23は、光電変換領域21に近接する。さらに、電荷読出領域221~223および電荷排出領域23は、互いに離間する。制御電極241~243および制御電極25は、電荷読出領域221~223および電荷排出領域23のそれぞれに対応して設けられる。制御電極241~243および制御電極25は、光電変換領域21からそれぞれの領域との間における電荷転送のための制御パルスを受ける。電圧検出手段261~263は、電荷読出領域221~223のそれぞれから検出信号を読み出す。電圧検出手段261~263は、例えば、ソースフォロワアンプを含む増幅器である。電圧検出手段261~263は、演算回路12からの制御によって、選択的にそれぞれの電荷読出領域221~223の基準電位を基準にした電圧を検出および増幅する。電圧検出手段261~263は、増幅した電圧を検出信号として演算回路12に出力する。
【0024】
画素回路13は、例えば、シリコン基板等のp型半導体基板に形成される。光電変換領域21は、画素形成領域の中央部に設けられる。画素形成領域は、p型半導体基板に形成されている。画素形成領域は、p型の半導体からなる活性領域形成層と、n型の表面埋込領域と、p型のピニング層と、絶縁膜と、を有する。n型の表面埋込領域よりも高い不純物濃度を有するn型の電荷読出領域221~223および電荷排出領域23は、光電変換領域21に近接するように互いに離間した位置に形成されている。制御電極241~243、25は、絶縁膜上の光電変換領域21から電荷読出領域221~223および電荷排出領域23のそれぞれに至る電荷移動経路上のそれぞれに設けられる。制御電極241~243、25は、それぞれ、電荷移動経路上に設けられてもよい。制御電極241~243、25は、電荷移動経路を両側から挟むように複数の電極部に分離して設けられてもよい。
【0025】
演算回路12は、制御電極241~243、25に対して、互いに位相の異なる制御パルスを出力する。これにより、表面埋込領域の空乏化電位が順次変化する。従って、電荷移動経路のいずれかに電荷が輸送されるような電位勾配が順次形成される。その結果、光電変換領域21の表面埋込領域で発生した多数キャリア(電荷)は、電荷読出領域221~223および電荷排出領域23のいずれかに移動する。
【0026】
次に、演算回路12の構成について説明する。演算回路12は、機能的な構成要素として、光源制御手段31と、電荷転送制御手段32と、距離データ有効性判定信号生成手段33と、距離データ有効性判定手段34と、無効画素識別値生成手段35と、距離計算参照信号生成手段36と、距離計算参照信号選択手段37と、距離画像生成手段38と、を含む。距離データ有効性判定信号生成手段33、距離データ有効性判定手段34、無効画素識別値生成手段35、距離計算参照信号生成手段36、距離計算参照信号選択手段37、および距離画像生成手段38は、本実施形態の距離計算手段を構成する。
【0027】
演算回路12の光源制御手段31は、光源11によるパルス光LPのタイミング、パルス光LPの強度、およびパルス光LPのパルス幅を制御する。具体的には、光源制御手段31は、持続時間T0(第1の持続時間)のパルス光LPを、予め設定された距離計算の繰り返し期間である1フレームの期間内で定期的に繰り返し発生させる。電荷転送制御手段32は、制御電極241~243、25のそれぞれに、制御パルスG1~G3および制御パルスGDを出力する。すなわち、電荷転送制御手段32は、持続時間T0に対応する持続時間T1(第2の持続時間)の間だけ制御電極241~243に制御パルスG1~G3を出力する。制御パルスG1~G3を出力するタイミングは、1フレーム期間内のパルス光LPのそれぞれの発生タイミングに対応する。本実施形態では、持続時間T1は持続時間T0と等しくてもよい。電荷転送制御手段32は、制御パルスG1~G3を出力するタイミングを除く期間において、制御パルスGDを制御電極25に出力する。制御パルスGDは、光電変換領域21に蓄積された電荷を電荷排出領域23に排出させる。
【0028】
パルス光LPの飛行時間を用いた距離計算の分解能を15cmとした場合、この分解能を飛行時間に換算すると1ナノ秒に相当する。この分解能を実現するためには目安としてピコ秒オーダーの時間精度を持つ制御手段が必要である。それ故に、電荷転送制御手段32及び光源制御手段31は、画素回路13と一体として形成すると共に、配線容量などを考慮した設計が必要である。従って、電荷転送制御手段32及び光源制御手段31は、画素回路13と一体の半導体に形成することが望ましい。なお、「一体の半導体」とは、SOI(Silicon On Insulator)技術やTSV(Through Silicon Via)技術を用いて積層された複数の半導体層のうちの異なる半導体も含まれる。具体的には、電荷転送制御手段32と、電荷転送制御手段32と制御電極241~243、25との間の回路と、電荷転送制御手段32と光源制御手段31との間の回路の一部とは、画素回路13と同一の半導体に形成されていてもよい。または、これらは、画素回路13とともに積層された半導体層に形成されていてもよい。
【0029】
演算回路12の距離計算手段は、画素回路13ごとの距離の計算を予め設定された距離計算の繰り返し期間である1フレームごとに繰り返し実行する。距離計算手段は、距離情報を含む距離画像を繰り返し生成する。距離データ有効性判定信号生成手段33は、パルス光LPのタイミングに対応して画素回路13から出力された検出信号S1~S3を基に、距離データ有効性判定信号SA12を生成する。距離データ有効性判定信号SA12は、検出信号S2、S3のうち、背景光の信号成分を除いた入射パルス光LRから発生した電荷の信号成分の合計値である。距離データ有効性判定信号SA12は、検出信号S2、S3が入射パルス光LRを強く反映したものであるか否かを示す。距離データ有効性判定信号SA12は、検出信号S2、S3を基にした距離の計算が有効であるか否かを判定するための信号である。距離データ有効性判定手段34は、距離データ有効性判定信号SA12を基に、検出信号S2、S3を基にした距離の計算が有効であるか否かを判定する。具体的には、距離データ有効性判定手段34は、距離データ有効性判定信号SA12を所定の閾値(第1の閾値)Th1と比較する。距離データ有効性判定手段34は、比較の結果、距離データ有効性判定信号SA12が閾値Th1を超えた場合には距離の計算が有効であると判定する。一方、距離データ有効性判定手段34は、比較の結果、距離データ有効性判定信号SAが閾値Th1以下である場合には距離の計算が無効であると判定する。無効画素識別値生成手段35は、距離データ有効性判定手段34の判定結果を基に、識別値を生成する。識別値は、画素回路13に対応する画素ごとに距離の計算が無効であるか否かを示す。
【0030】
距離計算参照信号生成手段36は、パルス光LPのタイミングに対応して画素回路13から出力された検出信号S2、S3を基に、距離の計算の基礎となる距離計算参照信号DA12を生成する。具体的には、距離計算参照信号生成手段36は、2つの検出信号S2、S3の差と距離データ有効性判定信号SA12との比を利用して、距離計算参照信号DA12を生成する。距離計算参照信号選択手段37は、距離計算参照信号DA12を基に対象物Sの位置が測定可能な範囲に含まれるか否かを判定する。距離計算参照信号選択手段37は、判定の結果、測定可能な範囲に含まれる場合に距離計算参照信号DA12を有効な値として距離画像生成手段38に出力する。例えば、距離計算参照信号選択手段37は、距離計算参照信号DA12の値を所定の閾値(第2、第3の閾値)Th2、Th3と比較する。距離計算参照信号選択手段37は、その比較結果に応じて距離計算参照信号DA12が有効であるか、または無効であるかを判定する。距離画像生成手段38は、距離計算が有効であると判定した場合は、距離計算参照信号DA12を参照して距離情報を算出する。そして、距離画像生成手段38は、各画素回路13に対応する距離情報を含む距離画像を生成する。距離画像は、外部装置に出力される。出力先の外部装置としては、例えば、表示装置、通信インターフェース装置等の出力デバイスが挙げられる。距離画像生成手段38は、距離情報が無効であることを示す識別値が生成された画素には無効値を埋め込むことができる。また、距離画像生成手段38は、距離計算参照信号DA12が測定可能な範囲に含まれないと判定された画素についても無効値を埋め込むことができる。
【0031】
図2は、距離画像センサ10による距離計算の原理を説明するためのタイミングチャートである。
図2は、距離画像センサ10によって制御される各種信号のタイミングを示す。さらに、
図2は、画素回路13の各領域に電荷が蓄積されるタイミングを示す。
図2は、上から順番に、パルス光L
Pのタイミング、制御パルスG
1~G
3のタイミング、制御パルスG
Dのタイミングおよび電荷読出領域22
1~22
3における電荷が蓄積するタイミングを示している。このように、パルス光L
Pの持続時間T
0のタイミングに対応して、制御パルスG
2~G
3は、互いに重ならないように持続時間T
0で出力されている。なお、制御パルスG
Dは、制御パルスG
1、G
2、G
3が出力されていないタイミングにおいて出力されている。このような制御によれば、入射パルス光L
Rが光電変換されることにより光電変換領域21に蓄積された電荷は、入射パルス光L
Rのパルス光L
Pに対する遅れ時間T
Dに対応した比率で、2つの電荷読出領域22
2、22
3に分配される。一方、制御パルスG
1のタイミングは、パルス光L
Pのタイミングよりも前である。その結果、電荷読出領域22
1には、制御パルスG
1で規定される時間窓で背景光および暗電流等のノイズに起因する電荷量N
Bの電荷のみが輸送される。これに対して、電荷読出領域22
2には、制御パルスG
2で規定される時間窓で、電荷量N
Bに遅れ時間T
Dに対応して分配された電荷量N
sm1が加算された電荷が輸送される。一方、電荷読出領域22
3には、制御パルスG
3で規定される時間窓で、電荷量N
Bに遅れ時間T
Dに対応して分配された電荷量N
sm2が加算された電荷が輸送される。このような現象を利用して、距離画像センサ10の演算回路12は、パルス光L
Pのそれぞれのタイミングに応じて、電荷量N
Bを除いた電荷量N
sm1と、電荷量N
Bを除いた電荷量N
sm2と、の比率を計算する。その結果、距離画像センサ10の演算回路12は、遅れ時間T
Dに対応した対象物Sの距離を計算することができる。
【0032】
次に、距離画像センサ10による距離計算の手順の詳細を説明する。以下に説明する距離画像測定方法は、「3タップ1ゾーン方式」ともいう。
【0033】
図3は、距離画像センサ10によって扱われる各種信号のタイミングチャート、および計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
図3(a)から
図3(f)は、実時間(t)を基準とする。一方、
図3(g)から
図3(n)は、遅れ時間T
Dを基準とする。遅れ時間T
Dは、パルス光L
Pの持続時間T
0で規格化した値である。遅れ時間T
Dは、対象物Sでパルス光L
Pが反射して光電変換領域21に入射し、光電変換領域21から電荷が電荷読出領域22
1~22
3に入るまでの時間である。換言すると、
図3(g)から
図3(n)は、対象物Sまでの往復距離を光速で除した時間を基準としている。つまり、遅れ時間T
Dの軸は、対象物Sまでの距離に比例する時間の軸である。
図3(a)から
図3(d)は、制御パルスG
1~G
3、G
Dのタイミングを示す。
図3(e)は、パルス光L
Pが出射するタイミングを示す。このタイミングは、「パルス光L
Pのタイミング」と呼ぶ。また、
図3(e)は、入射パルス光L
Rが光電変換領域21に入射するタイミングを示す。このタイミングは、「入射パルス光L
Rのタイミング」と呼ぶ。
図3(f)は、迷光L
Fが光電変換領域21に入射するタイミングを示す。このタイミングは、「迷光L
Fのタイミング」と呼ぶ。
図3(g)から
図3(i)は、検出信号S
1~S
3の値を示す。
図3(j)は、差分値S
3-2の値を示す。
図3(k)は、距離データ有効性判定信号S
A12の値を示す。
図3(l)は、距離計算参照信号D
A12の値を示す。
図3(m)は、データ有効範囲を示す。
図3(n)は、測定可能範囲を示す。
【0034】
距離画像センサ10は、距離画像の生成処理を開始する。光源制御手段31は、1フレームの期間内でパルス光LPのタイミングを制御する(光源制御ステップ)。また、電荷転送制御手段32は、1フレームの期間内で制御パルスG1~G3、GDを出力するタイミングを制御する(電荷転送制御ステップ)。詳細には、まず、電荷転送制御手段32は、制御パルスG1~G3、GDの持続時間をT1=T0に設定する。次に、電荷転送制御手段32は、t=-2~-1の期間において、制御パルスG1を出力する。なお、電荷転送制御手段32は、制御パルスG1の出力を開始するタイミングを、t=-2に厳密に一致させてもよいし、t=-2からわずかに遅らせてもよい。次に、電荷転送制御手段32は、t=-1~0の期間において、制御パルスGDを出力する。次に、電荷転送制御手段32は、t=0~1の期間において、制御パルスG2を出力する。さらに、光源制御手段31は、おおむねt=0~+1の期間において、パルス光LPを光源11から出射させる。より厳密には、光源制御手段31は、パルス光LPの出射を開始するタイミングを、t=0よりもわずかに前に設定する。そうすると、パルス光LPの出射が開始されたタイミングから制御パルスG2の出力が開始されるタイミングまでの間には、待機時間TSBが存在する。次に、電荷転送制御手段32は、t=+1~+2の期間において、制御パルスG3を出力する。そして、電荷転送制御手段32は、t=+2以降の期間において、制御パルスGDを出力する。その後、各画素回路13の電圧検出手段261~263は、検出信号S1~S3を読み出す。それらの検出信号S1~S3は、演算回路12に出力される(電圧検出ステップ)。
【0035】
なお、電荷転送制御手段32は、制御パルスG2を出力するタイミングをパルス光LPが発生するタイミングから待機時間TSBだけ後に設定する。待機時間TSBは、パルス光LPが持続する持続時間T0よりも短い。この設定によれば、パルス光LPが発生するタイミングから制御パルスG2が待機時間TSBだけ遅れる。従って、待機時間TSBの間に光電変換領域21に入射した迷光LFは、検出信号S2の一部として電荷読出領域222に転送されない。従って、検出信号S2が受ける迷光LFの影響を低減することができる。
【0036】
次に、演算回路12は、画素回路13から出力された検出信号S1~S3を基に、画素ごとの距離情報を計算する(距離計算ステップ)。すなわち、距離データ有効性判定信号生成手段33は、検出信号S1~S3を基に、下記式(1)、(2)を用いて、距離データ有効性判定信号SA12の値を計算する。
S3-2=S3-S2…(1)
SA12=S3+S2-2S1…(2)
【0037】
上記式(1)、(2)では、検出信号S
1~S
3の示す信号の値(電圧値)は、記号「S
1」、「S
2」、「S
3」で示す。以下の説明においても同様である。距離データ有効性判定信号S
A12の値は、検出信号S
2、S
3の値の合計値から、電荷量N
Bの成分を除いた値である。電荷量N
Bの成分は、背景光および暗電流等のノイズに起因する。電荷量N
Bの成分は、検出信号S
1に対応する。距離データ有効性判定信号S
A12の値は、検出信号S
2、S
3のうちで入射パルス光L
Rを反映した成分の合計値である。距離データ有効性判定手段34は、距離データ有効性判定信号S
A12の値を閾値Th
1と比較する。距離データ有効性判定手段34は、検出信号S
2、S
3を用いた距離の計算が有効であるか無効であるかを判定する。具体的には、距離データ有効性判定手段34は、閾値Th
1よりも大きい値を有する距離データ有効性判定信号S
A12の期間を判定する。これにより、
図3(m)に示す範囲は、距離の計算が有効な範囲であると判定される。換言すると、これらの範囲は、「データ有効範囲」であると判定される。
【0038】
次に、距離計算参照信号生成手段36は、下記式(3)を用いて、距離計算参照信号DA12の値を計算する。
DA12=0.5+S3-2/(2SA12)…(3)
【0039】
次に、距離計算参照信号選択手段37は、距離計算参照信号DA12の値が所定範囲にあるか否かを判定する。換言すると、距離計算参照信号選択手段37は、対象物Sが測定可能な範囲にあるか否かを判定する。距離計算参照信号選択手段37は、距離計算参照信号DA12を判定するための閾値Th2、Th3を設定する。例えば、閾値Th2は、0.01である。また、閾値Th3は、0.99である。そして、距離計算参照信号選択手段37は、距離計算参照信号DA12が閾値Th2以上であり、且つ、閾値Th3以下である時間の範囲を測定可能範囲として得る(Th2≦DA12≦Th3)。その結果、測定可能範囲として、t=0.31~1.29が得られる。このような判定により、対象物Sが近すぎて検出信号S2の時間窓から入射パルス光LRが外れて距離計算参照信号DA12の値に距離が反映されていない場合を距離計算から除外することができる。さらに、対象物Sが遠すぎて検出信号S3の時間窓から入射パルス光LRが外れて距離計算参照信号DA12の値に距離が反映されていない場合を、距離計算から除外することもできる。
【0040】
最後に、距離画像生成手段38は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にある距離計算参照信号DA12を基に対象物Sの距離を算出する。その結果、各画素の距離情報を含む距離画像が生成および出力される。
【0041】
上記の距離画像センサ10は、制御パルスG2、G3を制御電極242、243に出力する。その結果、対象物Sからの入射パルス光LRに起因して光電変換領域21に生じた電荷は、電荷読出領域222、223に転送される。電荷読出領域222、223の電荷は、電圧検出手段262、263によって検出信号S2、S3として読み出される。読み出された検出信号S2、S3は、演算回路12において距離の計算に用いられる。
【0042】
ここでパルス光LPに起因する光には、パルス光LPが対象物Sにおいて反射して距離画像センサ10に入射する入射パルス光LRがある。入射パルス光LRは、対象物Sからその像が結像される位置の画素が備える光電変換領域21に直接入射する。換言すると、入射パルス光LRは、対象物Sから光電変換領域21に至るまでにさらに反射することがない。従って、入射パルス光LRは、対象物Sから距離画像センサ10までの距離を算出する根拠とすることができる。
【0043】
パルス光LPに起因する光には、さらに迷光LFがある。迷光LFとは、対象物Sにおいて反射した光がさらに対象物Sとは別の物体において反射した光である。迷光LFは、例えば、対象物Sと距離画像センサ10との間に配置されたレンズにおける反射によって生じることがある。また、迷光LFは、当該レンズおよび距離画像センサ10などを収容する筐体51における反射によって生じることもある。本実施形態においては、迷光LFは、距離画像センサ10の至近距離に存在する物体において、パルス光LPが反射したもので特に影響が大きい。これは、特に影響が大きい。このような迷光LFが入射する位置は、対象物Sの位置に対応しない。従って、迷光LFは、対象物Sから距離画像センサ10までの距離を算出する根拠とすることができない。対象物Sが結像される位置とは異なる位置にある画素が備える光電変換領域21に迷光LFが入射すると、フレアが生じる。つまり、本実施形態でいう迷光LFは、距離算出の根拠とすることができず、距離計算においてノイズとなり得るノイズ光を意味する。
【0044】
そこで、第1実施形態の距離画像センサ10は、マルチタップのうち、1つのタップの時間窓(制御パルスG1)を、パルス光LPの発生タイミングから時間的に離れたところに設定する。当該時間窓(制御パルスG1)において得られた検出信号S1は、背景光を補正するために用いる。別の時間窓(制御パルスG2、G3)において得られた検出信号S2、S3は、距離を測定するために用いる。
【0045】
より詳細には、距離画像センサ10は、制御パルスG1を制御電極241に出力する。制御パルスG1を出力するタイミングは、パルス光LPが発生するタイミングの前である。このタイミングによれば、パルス光LPに起因する入射パルス光LRは、光電変換領域21に入射しない。また、光電変換領域21に迷光LFが入射することもない。つまり、制御パルスG1の出力に応じて電荷読出領域221に転送された電荷は、背景光に起因する。従って、電荷読出領域221に転送された電荷は、フレアの影響を含んでいないとみなすことが可能である。その結果、背景光の成分を示す検出信号S1を用いた補正によれば、補正後の信号にはフレアの影響がないものとみなすことができる。従って、距離画像センサ10は、フレアの影響を抑制することができる。
【0046】
<第2実施形態>
第1実施形態の距離画像センサ10は、
図3に示すタイミングに基づいて動作させた。
図4(a)に示すように、第1実施形態の距離画像センサ10は、演算回路12による距離計算の繰り返し期間である1フレーム期間(T
f)において、
図3に示す動作を繰り返し実行する。この動作によれば、距離画像センサ10の測定範囲は、1つの範囲のみである。第2実施形態の距離画像センサ10は、測定範囲を2以上に拡大する。測定範囲の拡大は、サブフレームの手法を導入することにより実現できる。
【0047】
つまり、第2実施形態の距離画像センサ10は、近距離用のサブフレームと、長距離用のサブフレームと、を採用する。第2実施形態の距離画像センサ10は、サブフレームごとに得られた結果を合成することにより、距離測定を行う。
【0048】
図4(b)および
図4(c)に示すように、1フレーム期間(T
f)は、2以上のサブフレーム期間S
Z1、S
Z2、S
Z3と、それぞれに対応する読出期間Rと、含んでもよい。サブフレーム期間S
Z1は、距離画像センサ10からの距離が比較的近い対象物Sを測定対象とする。サブフレーム期間S
Z3は、距離画像センサ10からの距離が比較的遠い対象物Sを測定対象とする。測定範囲は、パルス光L
Pの発生タイミングを基準とした制御パルスG
2、G
3のタイミングによって制御される。
【0049】
例えば、サブフレーム期間S
Z1では、
図3に示すタイミングに従って距離画像センサ10が動作する。サブフレーム期間S
Z1よりも遠い位置にある対象物Sを対象とするサブフレーム期間S
Z2では、
図5に示すタイミングに従って距離画像センサ10が動作する。サブフレーム期間S
Z2よりも遠い位置にある対象物Sを対象とするサブフレーム期間S
Z3では、
図6に示すタイミングに従って距離画像センサ10が動作する。
【0050】
図5および
図6は、距離画像センサ10によって扱われる各種信号のタイミングチャート、および計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
図5(a)から
図5(d)および
図6(a)から
図6(d)は、制御パルスG
1~G
3、G
Dのタイミングを示す。
図5(e)および
図6(e)は、パルス光L
Pのタイミングと、入射パルス光L
Rのタイミングと、を示す。
図5(f)および
図6(f)は、迷光L
Fのタイミングを示す。
図5(g)から
図5(i)および
図6(g)から
図6(i)は、検出信号S
1~S
3の値を示す。
図5(j)および
図6(j)は、差分値S
3-2の値を示す。
図5(k)および
図6(k)は、距離データ有効性判定信号S
A12の値を示す。
図5(l)および
図6(l)は、距離計算参照信号D
A12の値を示す。
図5(m)および
図6(m)は、データ有効範囲を示す。
図5(n)および
図6(n)は、測定可能範囲を示す。
【0051】
図5では、t=+1から+3までの期間に、入射パルス光L
Rが光電変換領域21に入射する。つまり、入射パルス光L
Rのタイミングは、
図3に示す入射パルス光L
Rのタイミングよりも遅い。換言すると、
図5の遅れ時間T
Dは、
図3の遅れ時間T
Dよりも長い。そこで、この入射パルス光L
Rを捉えるため、制御パルスG
2のタイミングは、t=+1~+2の期間に設定される。制御パルスG
3のタイミングは、t=+2~+3の期間に設定される。そして、検出信号S
1~S
3を利用して、距離データ有効性判定信号S
A12および距離計算参照信号D
A12を得る。計算の内容は、第1実施形態と同様である。そして、距離計算参照信号選択手段37は、距離計算参照信号D
A12の値が閾値Th
2、Th
3によって規定される所定範囲にあるか否かを判定する。この実施態様においては、閾値Th
2は1.01である。また、閾値Th
3は1.99である。つまり、所定範囲は、1.01以上1.99以下である。従って、距離計算参照信号選択手段37は、距離計算参照信号D
A12の値が1.01以上且つ1.99以下であるか否かを判定する(Th
2≦D
A12≦Th
3)。その結果、測定可能範囲として、t=1.21~2.19が得られる。
【0052】
図6では、さらに遠い距離にある対象物Sに起因する入射パルス光L
Rを捉える。対象物Sと距離画像センサ10との間の距離が大きくなると、パルス光L
Pが出射されてから、光電変換領域21に入射パルス光L
Rが入射するまでの時間が長くなる。例えば、
図6の例では、t=+2から+4までの期間に、入射パルス光L
Rが光電変換領域21に入射する。つまり、入射パルス光L
Rのタイミングは、
図3および
図5に示す入射パルス光L
Rのタイミングよりも遅い。換言すると、
図6の遅れ時間T
Dは、
図3および
図5の遅れ時間T
Dよりも長い。そこで、入射パルス光L
Rを捉えるため、制御パルスG
2のタイミングは、t=+2~+3の期間に設定される。制御パルスG
3のタイミングは、t=+3~+4の期間に設定される。検出信号S
1~S
3を利用して、距離データ有効性判定信号S
A12および距離計算参照信号D
A12を得る。距離計算参照信号選択手段37は、距離計算参照信号D
A12の値が閾値Th
2、Th
3によって規定される所定範囲にあるか否かを判定する。この実施態様においては、閾値Th
2は2.01である。閾値Th
3は2.99である。所定範囲は、2.01以上2.99以下である。従って、距離計算参照信号選択手段37は、距離計算参照信号D
A12の値が2.01以上且つ2.99以下であるか否かを判定する(Th
2≦DA
12≦Th
3)。その結果、測定可能範囲として、t=2.11~3.09が得られる。
【0053】
最後に、距離画像生成手段38は、距離計算参照信号DA12が「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、距離計算参照信号DA12を基に対象物Sの距離を算出する。
【0054】
第2実施形態の動作によれば、入射パルス光LRによって生じる電荷量を複数の時間窓に分配することができる。複数の時間窓は、3種類のサブフレーム期間SZ1、SZ2、SZ3の検出信号S2、S3に対応する。その結果、遅れ時間TDに対応した計算可能な範囲を広げることができる。さらに、時間窓の時間幅も小さくすることができる。そのうえ、対象物Sが位置する範囲に対応して適切な距離データ参照信号の値を利用して距離を計算することができる。従って、対象物Sの位置にかかわらず精度の高い画像信号を生成することができる。
【0055】
第2実施形態の動作によれば、デューティ比の小さい多数の時間窓を使った電荷の検出が可能である。その結果、様々な距離測定範囲の対象物Sを対象にした場合であっても、検出信号S1によって検出信号S2、S3における背景光の影響が低減される。その結果、距離分解能の高い距離計算が実現される。さらに、強い背景光に起因した検出信号S2、S3の飽和による距離計算の誤差も防止できる。
【0056】
<第3実施形態>
第1実施形態の距離画像センサ10は、3タップ1ゾーン1サブフレーム方式を採用した。第3実施形態の距離画像センサ10Aは、さらに別の方式として、4タップ2時間窓方式を採用する。距離画像センサ10Aは、物理的な構成として、
図7に示すように、4つの電荷読出領域22
1~22
4と、4つの制御電極24
1~24
4と、4つの電圧検出手段26
1~26
4と、を有する。さらに、距離画像センサ10Aは、2以上のサブフレームを用いてもよい。つまり、距離画像センサ10Aは、4タップ以上のマルチタップを採用する。さらに、距離画像センサ10Aは、タップの組み合わせによってレンジシフトされた距離レンジごとに処理を行う。そして、距離画像センサ10Aは、距離レンジごとに得られた結果を合成することにより、距離測定を行う。
【0057】
図8は、距離画像センサ10Aによって扱われる各種信号のタイミングチャートである。
図8(a)から
図8(f)は、近距離を測定対象範囲とする動作を示す。
図8(g)から
図8(l)は、中距離を測定対象範囲とする動作を示す。
図8(m)から
図8(r)は、遠距離を測定対象範囲とする動作を示す。
【0058】
図8(a)は、パルス光L
Pのタイミングと、近距離の対象物Sに起因する入射パルス光L
Rのタイミングと、を示す。
図8(b)から
図8(f)は、制御パルスG
1~G
4、G
Dのタイミングを示す。電荷転送制御手段32は、t=-2~―1の期間に制御パルスG
1を出力する。電荷転送制御手段32は、近距離の対象物Sに起因する入射パルス光L
Rを捉えるため、
図8の(c)部から(e)部に示すように、t=0~+1の期間において制御パルスG
2を出力し、t=+1~+2の期間において制御パルスG
3を出力し、t=+2~+3の期間において制御パルスG
4を出力する。電荷転送制御手段32は、制御パルスG
1~G
4が出力されていない期間において、制御パルスG
Dを出力する。この動作によれば、
図8(a)に示すように、t=0~+3までに入射する入射パルス光L
Rを捉えることができる。
【0059】
図8(g)は、パルス光L
Pのタイミングと、中距離の対象物Sに起因する入射パルス光L
Rのタイミングと、を示す。
図8(h)から
図8(l)は、制御パルスG
1~G
4、G
Dのタイミングを示す。電荷転送制御手段32は、t=-2~―1の期間に制御パルスG
1を出力する。電荷転送制御手段32は、中距離の対象物Sに起因する入射パルス光L
Rを捉えるため、
図8の(i)部から(k)部に示すように、t=+2~+3の期間において制御パルスG
2を出力し、t=+3~+4の期間において制御パルスG
3を出力し、t=+4~+5の期間において制御パルスG
4を出力する。電荷転送制御手段32は、制御パルスG
1~G
4が出力されていない期間において、制御パルスG
Dを出力する。この動作によれば、
図8(g)に示すように、t=+2~+5までに入射する入射パルス光L
Rを捉えることができる。
【0060】
図8(m)は、パルス光L
Pのタイミングと、遠距離の対象物Sに起因する入射パルス光L
Rが入射するタイミングと、を示す。
図8(n)から
図8(r)は、制御パルスG
1~G
4、G
Dが出力されるタイミングを示す。電荷転送制御手段32は、t=-2~―1の期間に制御パルスG
1を出力する。電荷転送制御手段32は、遠距離の対象物Sに起因する入射パルス光L
Rを捉えるため、
図8(o)から
図8(q)に示すように、t=+4~+5の期間において制御パルスG
2を出力し、t=+5~+6の期間において制御パルスG
3を出力し、t=+6~+7の期間において制御パルスG
4を出力する。電荷転送制御手段32は、制御パルスG
1~G
4が出力されていない期間において、制御パルスG
Dを出力する。この動作によれば、
図8(g)に示すように、t=+4~+7までに入射する入射パルス光L
Rを捉えることができる。
【0061】
図9は、距離画像センサ10Aによって扱われる各種信号のタイミングチャート、および計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
図9は、
図8における近距離用のサブフレームの動作を詳細に示すものである。
図9(a)から
図9(g)は、実時間(t)を基準とする。
図9(h)から
図9(p)は、遅れ時間T
Dを基準とする。
図9(a)から
図9(e)は、制御パルスG
1~G
4、G
Dが出力されるタイミングを示す。
図9(f)は、パルス光L
Pのタイミングと、入射パルス光L
Rのタイミングと、を示す。
図9(g)は、迷光L
Fのタイミングを示す。
図9(h)から
図9(k)は、検出信号S
1~S
4の値を示す。
図9(l)は、距離データ有効性判定信号S
Aの値を示す。
図9(m)は、差分値S
24を示す。
図9(n)は、距離計算参照信号Dの値を示す。
図9(o)は、データ有効範囲を示す。
図9(p)は、測定可能範囲を示す。
【0062】
距離画像センサ10Aは、距離画像の生成処理を開始する。演算回路12の光源制御手段31および電荷転送制御手段32は、1フレームの期間内で制御パルスG1~G4、GDを出力するタイミングと、パルス光LPのタイミングと、を制御する(光源制御ステップ、電荷転送制御ステップ)。詳細には、まず、電荷転送制御手段32は、制御パルスG1~G4、GDの持続時間をT1=T0に設定する。次に、電荷転送制御手段32は、t=-2~-1の期間において、制御パルスG1を出力する。次に、電荷転送制御手段32は、t=-1~0の期間において、制御パルスGDを出力する。次に、電荷転送制御手段32は、t=0~+1の期間において、制御パルスG2を出力する。次に、電荷転送制御手段32は、t=+1~+2の期間において、制御パルスG3を出力する。そして、電荷転送制御手段32は、t=+2~+3の期間において、制御パルスG4を出力する。そして、電荷転送制御手段32は、t=+3以降の期間において、制御パルスGDを出力する。その後、各画素回路13の電圧検出手段261~264は、検出信号S1~S4を読み出す。検出信号S1~S4は、演算回路12に出力される(電圧検出ステップ)。
【0063】
次に、演算回路12は、各画素回路13から出力された検出信号S1~S4を基に、画素ごとの距離情報を計算する(距離計算ステップ)。距離情報を得る計算は、距離データ有効性判定信号SAを得るステップと、差分値S24を得るステップと、距離計算参照信号Dを得るステップと、データ有効範囲を決めるステップと、測定可能範囲を決めるステップと、対象物Sの距離を得るステップと、を含む。
【0064】
まず、距離データ有効性判定信号SAを得る。距離データ有効性判定信号生成手段33は、検出信号S1~S4を基に、下記式(4)を用いて距離データ有効性判定信号SAを得る。
SA=S4+S3+S2-3S1…(4)
【0065】
次に、下記式(5)を用いて差分値S24を得る。
S24=S2-S4…(5)
【0066】
次に、距離データ有効性判定手段34は、距離データ有効性判定信号S
Aの値を閾値Th
1と比較することにより、データ有効範囲を得る。例えば閾値Th
1は、0.5としてよい。距離データ有効性判定手段34は、閾値Th
1よりも大きい値をとる距離データ有効性判定信号S
Aの範囲をデータ有効範囲として得る。
図9(l)および
図9(o)によれば、データ有効範囲の下限は、t=-1~0の間である。データ有効範囲の上限は、t=2~3の間である。
【0067】
次に、距離計算参照信号生成手段36は、下記式(6)を基に距離計算参照信号Dを得る。
D=1-S24/SA…(6)
【0068】
距離計算参照信号選択手段37は、距離計算参照信号Dの値が閾値Th2、Th3によって規定される所定範囲にあるか否かを判定する。この実施態様においては、閾値Th2は0.01である。閾値Th3は1.99である。所定範囲は、0.01以上1.99以下である。従って、距離計算参照信号選択手段37は、距離計算参照信号Dの値が0.01以上且つ1.99以下であるか否かを判定する(Th2≦D≦Th3)。その結果、測定可能範囲として、t=0.21~2.19が得られる。
【0069】
距離画像センサ10Aも、距離画像センサ10と同様に、制御パルスG1を出力するタイミングが、パルス光LPのタイミングの前に設定される。その結果、距離画像センサ10Aは、フレアの影響を抑制することができる。
【0070】
<第4実施形態>
第4実施形態の距離画像センサ10Aは、第3実施形態の距離画像センサ10Aと同様に、4タップ2時間窓方式を採用する。第3実施形態の距離画像センサ10Aは、距離を測定するための制御パルスG
2~G
4を常に提供していた。しかし、制御パルスG
2~G
4は、必ずしも常に提供される必要はない。例えば、
図8に示す動作が繰り返し実行されるとき、一部の動作において、制御パルスG
2~G
4の一部を省略してもよい。このように、制御パルスG
2~G
4を省略する動作を、「間引き動作」と呼ぶ。以下、
図10および
図11を参照しながら、第4実施形態の距離画像センサ10Aが行う間引き動作の詳細について説明する。
【0071】
【0072】
図10(a)から
図10(d)に示すように、電荷転送制御手段32は、パターンP1として全ての制御パルスG
1~G
4を出力する。一方、
図10(h)から
図10(k)に示すように、電荷転送制御手段32は、パターンP2として制御パルスG
1、G
3、G
4を出力する。電荷転送制御手段32は、パターンP2において制御パルスG
2を出力しない。電荷転送制御手段32は、制御パルスG
2を出力していた期間(t=0~+1)において制御パルスG
Dを出力する。
図10(o)から
図10(r)に示すように、電荷転送制御手段32は、パターンP3として制御パルスG
1、G
4を出力する。電荷転送制御手段32は、パターンP3において制御パルスG
2、G
3を出力しない。電荷転送制御手段32は、制御パルスG
2を出力していた期間(t=0~+1)において制御パルスG
Dを出力する。さらに、電荷転送制御手段32は、制御パルスG
3を出力していた期間(t=+1~+2)にも制御パルスG
Dを出力する。
【0073】
例えば、
図11(a)に示すように、距離画像センサ10Aは、パターンP1とパターンP2とを含む動作を行ってもよい。
図11(a)に示す例では、8個のパターンのうち、1個のパターンをパターンP1とし、残りの7個のパターンをパターンP2とする。この場合、距離計算参照信号生成手段36は、下記式(7)、(8)を基に距離計算参照信号D
1、D
2を得る。
D
1=(S
3-S
1)/(S
3+8S
2-2S
1)…(7)
D
2=(S
4-S
1)/(S
4+S
3-2S
1)…(8)
【0074】
また、別の例として、
図11(b)部に示すように、距離画像センサ10Aは、パターンP1とパターンP2とパターンP3とを含む動作を行ってもよい。
図11(b)に示す例では、8個のパターンのうち、1個のパターンをパターンP1とし、1個のパターンをパターンP2とし、残りの6個のパターンをパターンP3とする。この場合、距離計算参照信号生成手段36は、下記式(9)、(10)を基に距離計算参照信号D
1、D
2を得る。
D
1=(4S
3-S
1)/(4S
3+8S
2-2S
1)…(9)
D
2=(S
4-S
1)/(S
4+4S
3-2S
1)…(10)
【0075】
第4実施形態の動作によれば、近い距離測定範囲の対象物Sを対象にした場合に検出信号S1~S4の飽和を防止できる。その結果、距離測定のダイナミックレンジを向上させることができる。
【0076】
より詳細には、第4実施形態の動作によれば、近い距離測定範囲の対象物Sを対象にした場合に検出信号S1~S4の飽和を防止できる。その結果、距離測定のダイナミックレンジを向上させることができる。すなわち、近距離領域の対象物Sを対象にした場合には、強い入射パルス光LRに起因して発生する電子の数が多くなるので、画素回路13における飽和電子数を超える可能性がある。第4実施形態の動作では、近距離領域の測定のための時間窓が設定されたサブフレーム期間においては時間窓による電荷の取り込み回数を少なくする。従って、発生する電子の数が抑制される。その結果、画素回路13に発生する電子の数を飽和電子数の範囲に収めることができる。従って、遠距離領域の対象物Sを対象にした場合の距離分解能を十分に高めることができる。さらに、近距離領域の対象物Sを対象にした場合の距離分解能も十分な値に維持できる。
【0077】
<第5実施形態>
第5実施形態の距離画像センサ10Aは、4タップ4時間窓方式を採用する。距離画像センサ10Aの物理的な構成は、第3実施形態の距離画像センサ10Aと同じである。さらに、第5実施形態の距離画像センサ10Aも、2以上のサブフレームを用いてもよい。
【0078】
第5実施形態の距離画像センサ10Aは、制御パルスG1の態様が第3実施形態の距離画像センサ10Aなどと相違する。例えば、第3実施形態では、制御パルスG1は、t=-2~-1の期間において常に出力されていた。つまり、制御パルスG1のタイミングは、1つであった。
【0079】
一方、
図12に示すように、第5実施形態では、制御パルスG
1のタイミングは、2つのパターンP4、P5を含む。具体的には、制御パルスG
1は、t=0~+1の期間に出力される(パターンP4:第4の動作)。さらに、制御パルスG
1は、t=+4~+5の期間(パターンP5:第3の動作)に出力される。第5実施形態の動作では、これらのパターンP4、P5が選択的に実行される。そして、制御パルスG
1が出力されるタイミングは、予め定められる出力割合によって決まる。今、出力割合を示す値として変数Kを採用する。変数Kは、パターンの回数を示す。
【0080】
例えば、パターンP4のように、t=0~+1の期間に制御パルスG1が出力される比率は、1/Kである。つまり、変数Kが8である場合には、8回に1回だけ、t=0~+1の期間に制御パルスG1が出力される。一方、パターンP5のようにt=+4~+5の期間に制御パルスG1が出力される比率は、1-1/Kである。つまり、変数Kが8である場合には、8回に7回だけ、t=+4~+5の期間に制御パルスG1が出力される。従って、上述したように、第5実施形態では、1つのパターンにおいて、制御パルスG1がt=0~+1の期間およびt=+4~+5の期間の両方で出力されることはない。この動作態様は、t=0~+1の期間に制御パルスG1が出力される比率(1/K)と、t=+4~+5の期間に制御パルスG1が出力される比率(1-1/K)と、の和が1となる動作であるともいえる。
【0081】
図13は、距離画像センサ10Aによって扱われる各種信号のタイミングチャート、および計算値の遅れ時間T
Dに対する変化を示すグラフである。
図13(a)から
図13(g)は、実時間(t)を基準とする。
図13(h)から
図13(u)は、遅れ時間T
Dを基準とする。
図13(a)から
図13(e)は、制御パルスG
1~G
4、G
Dが出力されるタイミングを示す。
図13(f)は、パルス光L
Pのタイミングと、入射パルス光L
Rのタイミングと、を示す。
図13(g)は、迷光L
Fのタイミングを示す。
図13(h)から
図13(k)は、検出信号S
1~S
4の値を示す。
図13(l)および
図13(m)は、差分値S
13、S
24の値を示す。
図13(n)および
図13(o)部は、距離データ有効性判定信号S
A1の値、および距離計算参照信号D
1の値を示す。
図13(p)および
図13(q)は、距離データ有効性判定信号S
A2の値、および距離計算参照信号D
2の値を示す。
図13(r)は距離計算参照信号D
3の値を示す。
図13(s)は、比較信号E
1~E
4の値を示す。
図13(t)は、データ有効範囲を示す。
図13(u)は、測定可能範囲を示す。
【0082】
距離画像センサ10Aは、距離画像の生成処理を開始する。演算回路12の光源制御手段31および電荷転送制御手段32は、1フレームの期間内で制御パルスG1~G4、GDを出力するタイミングと、パルス光LPのタイミングと、を制御する(光源制御ステップ、電荷転送制御ステップ)。詳細には、まず、電荷転送制御手段32は、制御パルスG1~G4、GDの持続時間をT1=T0に設定する。次に、電荷転送制御手段32は、t=0~+1の期間またはt=+4~+5の期間のいずれか一方において、制御パルスG1を出力する。次に、電荷転送制御手段32は、t=+1~+2の期間において、制御パルスG2を出力する。次に、電荷転送制御手段32は、t=+2~+3の期間において、制御パルスG3を出力する。そして、電荷転送制御手段32は、t=+3~+4の期間において、制御パルスG4を出力する。そして、電荷転送制御手段32は、t=+5以降の期間において、制御パルスGDを出力する。また、電荷転送制御手段32は、制御パルスG1~G4が出力されていない期間において、制御パルスGDを出力する。その後、各画素回路13の電圧検出手段261~264は、検出信号S1~S4を読み出す。読み出された検出信号S1~S4は、演算回路12に出力される(電圧検出ステップ)。
【0083】
次に、演算回路12は、各画素回路13から出力された検出信号S1~S4を基に画素ごとの距離情報を計算する(距離計算ステップ)。距離情報を得る計算は、距離データ有効性判定信号SA1、SA2を得るステップと、距離計算参照信号D1、D2、D3を得るステップと、距離計算参照信号D1、D2、D3のいずれかを選択するステップと、選択された距離計算参照信号を基に対象物Sの距離を得るステップと、を含む。
【0084】
まず、距離データ有効性判定信号SA1、SA2を得る。すなわち、距離データ有効性判定信号生成手段33は、検出信号S1~S4を基に、下記式(11)から式(14)を用いて距離データ有効性判定信号SA1、SA2を得る。
S13=S1-S3…(11)
S24=S2-S4…(12)
SA1=K|S13|+|S24|…(13)
SA2=(K/(K-1))|S13|+|S24|…(14)
【0085】
次に、距離データ有効性判定手段34は、距離データ有効性判定信号S
A2の値を閾値Th
1と比較することにより、データ有効範囲を得る。例えば、閾値Th
1を0の近傍に設定する。その結果、距離データ有効性判定信号S
A2と閾値Th
1との交点が、データ有効範囲の上限および下限として得られる。つまり、
図13(t)に示す範囲が、「データ有効範囲」であると判定される。
【0086】
次に、距離計算参照信号生成手段36は、下記式(15)から式(17)を基に距離計算参照信号D1、D2、D3を得る。
D1=1-KS13/SA1…(15)
D2=2-S24/SA2…(16)
D3=3+(K/(K-1))S13/SA2…(17)
【0087】
次に、距離計算参照信号選択手段37は、距離計算のために参照する値として、距離計算参照信号D
1、D
2、D
3のいずれかを選択する。まず、距離計算参照信号選択手段37は、式(18)から(21)を利用して、比較信号E
1~E
4を得る。
【数1】
【数2】
【数3】
【数4】
【0088】
次に、距離計算参照信号選択手段37は、比較信号E
1~E
4および式(22)に示す判定式を用いて、距離計算参照信号D
1、D
2、D
3のいずれかを選択する。
【数5】
【0089】
式(22)において、判定結果が[100]であるとき、距離計算参照信号選択手段37は、距離計算参照信号D1を選択する。判定結果が[010]であるとき、距離計算参照信号選択手段37は、距離計算参照信号D2を選択する。判定結果が[001]であるとき、距離計算参照信号選択手段37は、距離計算参照信号D3を選択する。
【0090】
そして、距離画像生成手段38は、選択された「データ有効範囲」にあると判定され、かつ、式(22)に基づいて選択された距離計算参照信号D1、D2、D3のいずれかを基に対象物Sの距離を算出する。
【0091】
第1実施形態において述べたように、迷光LFは、レンズ又は筐体51によって生じることがある。これらの物体は、光源11および距離画像センサ10から近い距離に位置する。従って、迷光LFは、光源11からパルス光LPが出射された直後に光電変換領域21に入射する可能性が高い。そこで、第5実施形態の動作では、迷光LFが入射する可能性の高い期間(t=0~+1)において、制御パルスG1を出力する頻度を減らす。そして、第5実施形態の動作では、制御パルスG1を制御パルスG4の後(t=+4~+5)に出力する頻度を増やす。制御パルスG4の後(t=+4~+5)の期間では、パルス光LPの出射から十分に時間が経過しているので、迷光LFの強度は十分に減衰している。従って、制御パルスG4の後(t=+4~+5)の期間に得た検出信号S1は、迷光LFの影響が抑制されている。その結果、迷光LFの影響が抑制された検出信号S1の割合が増えるので、計算結果が受ける迷光LFの影響を抑制することができる。
【0092】
要するに、第5実施形態の動作は、近距離に対応するタイミングで出力される制御パルスG1の数を減らすことにより電荷の飽和を防ぐ。さらに、第5実施形態の動作は、遠距離に対応するタイミングで出力される制御パルスG1によって背景光の成分を得る。その結果、検出信号に含まれるフレアの成分を背景光の成分に対して相対的に小さくすることができる。
【0093】
<第6実施形態>
第5実施形態のように、制御パルスG1を出力するタイミングが互いに異なるパターンを組み合わせる動作は、別の態様とすることもできる。そもそも、パターンP5は、迷光LFの影響を抑制するために、パルス光LPが発生するタイミングから離れた時間(t=+4~+5)に制御パルスG1のタイミングを設定していた。第2実施形態などで説明したように、中距離および遠距離を測定範囲とする場合、制御パルスG1~G4を出力するタイミングは、パルス光LPが発生するタイミングから遅れている。つまり、中距離および遠距離を測定対象とする場合には、制御パルスG1~G4の順に出力しても、検出信号S1への迷光LFの影響が比較的小さい。
【0094】
図14は、第6実施形態の距離画像センサの動作を示す。
図14(a)~
図14(f)は、第1サブフレームの動作を示す。
図14(h)~
図14(m)は、第2サブフレームの動作を示す。
図14(o)~
図14(t)は、第3サブフレームの動作を示す。また、
図14に示す「L」は、整数である。N
1、N
2、N
3は、それぞれサブフレーム内におけるパルス光L
Pの繰り返し数である。
【0095】
第1サブフレームの動作は、パターンP4a、P5の2種類の動作パターンを含む。例えば、パルス光LPのK回分を1周期として2種類の動作パターンを繰り返すとき、パターンP4aは1回行われ、パターンP5が(K-1)回行われる。パターンP4aは、制御パルスG1がt=0~+1の期間に出力される。パターンP4aの動作によれば、制御パルスG1によって得た結果を、背景光の補正及び距離測定のための情報として用いることが可能である。しかし、t=0~+1の期間は、パルス光LPが照射される期間と重複するので、制御パルスG1によって得た結果が迷光LFの成分を含む場合もあり得る。一方、パターンP5は、制御パルスG1がt=+4~+5の期間に出力される。この期間は、制御パルスG2~G4が出力された後である。つまり、パルス光LPが照射されたタイミングから十分に離れているので、迷光LFは十分に減衰している。従って、パターンP5の動作によれば、背景光を精度よく補正可能な情報を得ることができる。また、第1サブフレームの動作によれば、t=0~+4の期間に入力する入射パルス光LRを捉えることができる。
【0096】
第2サブフレームの動作は、パターンP4bのみを含む。制御パルスG1は、t=+3~+4の期間に出力される。制御パルスG2は、t=+4~+5の期間に出力される。制御パルスG3は、t=+5~+6の期間に出力される。制御パルスG4は、t=+6~+7の期間に出力される。制御パルスG1~G4が出力されていない期間には、制御パルスGDが出力される。第2サブフレームの動作によれば、t=+3~+7の期間に入力する入射パルス光LRを捉えることができる。
【0097】
第3サブフレームの動作は、パターンP4cのみを含む。制御パルスG1は、t=+6~+7の期間に出力される。制御パルスG2は、t=+7~+8の期間に出力される。制御パルスG3は、t=+8~+9の期間に出力される。制御パルスG4は、t=+9~+10の期間に出力される。制御パルスG1~G4が出力されていない期間には、制御パルスGDが出力される。第2サブフレームの動作によれば、t=+6~+10の期間に入力する入射パルス光LRを捉えることができる。
【0098】
つまり、近距離を測定範囲とする場合には、パルス光LPのK回分を1周期として2種類の動作パターンが繰り返されるとき、1回をパターンP4aとし、残りの(K-1)回をパターンP5としてよい。そして、中距離を測定範囲とする場合には、パターンP4bを繰り返す。遠距離を測定範囲とする場合には、パターンP4bを繰り返す。
【0099】
<第7実施形態>
図15および
図16を参照しながら、第7実施形態の距離画像センサ10Aの動作について説明する。距離画像センサ10Aの動作は、t=0~+1の期間に制御パルスG
1が出力される比率と、t=+4~+5の期間に制御パルスG
1が出力される比率と、を足した場合に、比率が1とならない動作を採用することもできる。
【0100】
具体的には、
図15に示すように、第7実施形態の動作は、制御パルスG
1をt=+4~+5の期間のみに出力する場合(パターンP5:第1の動作)と、制御パルスG
1をt=0~+1の期間およびt=+4~+5の期間の両方に出力する場合(パターンP6:第2の動作)と、を含む。t=0~+1の期間は、パルス光L
Pが発生するタイミングと同時以降であって、制御パルスG
2~G
4が出力される前である。パターンP5、P6によれば、制御パルスG
1は、t=+4~+5の期間において常に出力される。換言すると、t=+4~+5の期間に制御パルスG
1が出力される比率は、1である。一方、制御パルスG
1がt=0~+1の期間に出力される比率は、1/Kである。従って、第7実施形態の動作は、t=0~+1の期間に制御パルスG
1が出力される比率(1/K)と、t=+4~+5の期間に制御パルスG
1が出力される比率(1)と、の和が1+1/Kであり、1ではない。
【0101】
図16に示すように、第7実施形態の動作は、距離計算参照信号D
1、D
2、D
3および距離データ有効性判定信号S
A1、S
A2の算出に用いる式が、第6実施形態の動作と異なる。第7実施形態のその他の動作は、第6実施形態と同じである。第7実施形態では、下記式(23)から(27)を用いて距離計算参照信号D
1、D
2、D
3をする。
S
A1=K|S
13|+|S
24|…(23)
S
A2=|S
13|+|S
24|…(24)
D
1=1-KS
13/S
A1…(25)
D
2=2-S
24/S
A2…(26)
D
3=3+S
13/S
A2…(27)
【0102】
第7実施形態の動作によれば、迷光LFの影響が小さい期間(t=+4~+5)に検出信号S1を得る頻度がさらに増加する。その結果、距離計算に利用できる検出信号S1の数が増えるので、距離測定の精度をさらに向上させることができる。
【0103】
<第8実施形態>
第3実施形態の距離画像センサ10Aは、4タップ2時間窓方式を採用した。例えば、第8実施形態の距離画像センサは、5タップ3時間窓方式を採用してもよい。第8実施形態の距離画像センサは、物理的な構成として、5つの電荷読出領域と、5つの制御電極と、5つの電圧検出手段と、を有する。
【0104】
図17は、第8実施形態の距離画像センサによって扱われる各種信号のタイミングチャート、および計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
図17(a)から
図17(h)は、実時間(t)を基準とする。
図17(i)から
図17(t)は、遅れ時間T
Dを基準とする。
図17(a)から
図17(f)は、制御パルスG
1~G
5、G
Dが出力されるタイミングを示す。
図17(g)は、パルス光L
Pのタイミングと、入射パルス光L
Rのタイミングと、を示す。
図17(h)は、迷光L
Fのタイミングを示す。
図17(i)から
図17(m)は、検出信号S
1~S
5の値を示す。
図17(n)は、距離データ有効性判定信号S
Aの値を示す。
図17(o)は、差分値S
24の値を示す。
図17(p)は、差分値S
35の値を示す。
図17(q)は、距離計算参照信号D
2の値を示す。
図17(r)は、距離計算参照信号D
3の値を示す。
図17(s)は、データ有効範囲を示す。
図17(t)は、測定可能範囲を示す。
【0105】
距離画像センサは、距離画像の生成処理を開始する。演算回路12の光源制御手段31および電荷転送制御手段32は、1フレームの期間内で制御パルスG1~G5、GDを出力するタイミングと、パルス光LPのタイミングと、を制御する(光源制御ステップ、電荷転送制御ステップ)。詳細には、まず、電荷転送制御手段32は、制御パルスG1~G5、GDの持続時間をT1=T0に設定する。次に、電荷転送制御手段32は、t=-2~-1の期間において、制御パルスG1を出力する。次に、電荷転送制御手段32は、t=-1~0の期間において、制御パルスGDを出力する。次に、電荷転送制御手段32は、t=0~+1の期間において、制御パルスG2を出力する。次に、電荷転送制御手段32は、t=+1~+2の期間において、制御パルスG3を出力する。次に、電荷転送制御手段32は、t=+2~+3の期間において、制御パルスG4を出力する。次に、電荷転送制御手段32は、t=+3~+4の期間において、制御パルスG5を出力する。そして、電荷転送制御手段32は、t=+4以降の期間において、制御パルスGDを出力する。その後、画素回路13の電圧検出手段は、検出信号S1~S5を読み出す。読み出された検出信号S1~S5は、演算回路12に出力される(電圧検出ステップ)。
【0106】
次に、演算回路12は、各画素回路13から出力された検出信号S1~S5を基に、画素ごとの距離情報を計算する(距離計算ステップ)。距離情報を得る計算は、距離データ有効性判定信号SAを得るステップと、差分値S24、S35を得るステップと、距離計算参照信号D2、D3を得るステップと、データ有効範囲を決めるステップと、測定可能範囲を決めるステップと、対象物Sの距離を得るステップと、を含む。
【0107】
まず、距離データ有効性判定信号SAを得る。距離データ有効性判定信号生成手段33は、検出信号S1~S5を基に、下記式(28)を用いて距離データ有効性判定信号SAを得る。
SA=S5+S4+S3+S2-4S1…(28)
【0108】
次に、距離データ有効性判定手段34は、距離データ有効性判定信号S
Aの値を閾値Th
1と比較することにより、データ有効範囲を得る。例えば閾値Th
1は、0.5としてよい。距離データ有効性判定手段34は、閾値Th
1よりも大きい値をとる距離データ有効性判定信号S
Aの範囲をデータ有効範囲として得る。
図17(l)および
図17(o)によれば、データ有効範囲の下限は、t=-1~0の間である。また、データ有効範囲の上限は、t=+3~+4の間である。
【0109】
次に、下記式(29)、(30)を用いて差分値S24、S35を得る。
S24=S2-S4…(29)
S35=S3-S5…(30)
【0110】
次に、距離計算参照信号生成手段36は、下記式(31)、(32)を基に距離計算参照信号D2、D3を得る。
D2=1-S24/SA…(31)
D3=2-S35/SA…(32)
【0111】
距離計算参照信号選択手段37は、閾値Th2、Th3、Th4、Th5を用いて、距離計算参照信号D2、D3のいずれか一方を選択する。具体的には、距離計算参照信号選択手段37は、Th2≦D2≦Th3を満たすとき、距離計算参照信号D2を選択する。一方、距離計算参照信号選択手段37は、Th4≦D3≦Th5を満たすとき、距離計算参照信号D3を選択する。
【0112】
例えば、閾値Th2、Th3、Th4、Th5が以下の数値であるとき、測定可能範囲として、t=0.21~3.19が得られる。
閾値Th2:0.01
閾値Th3:1.5
閾値Th4:1.5
閾値Th5:2.99
【0113】
第8実施形態の距離画像センサによっても、第1および第3実施形態の距離画像センサ10、10Aと同様の効果を得ることができる。
【0114】
以上、距離画像センサ10、10Aについて説明した。しかし、距離画像センサ10、10Aは、上記実施形態に限定されることなく様々な形態で実施してよい。
【0115】
距離画像センサ10、10Aは、要するに、フレアの影響を低減するため、2つの動作の少なくとも一方を採用する。第1の動作は、背景光を補正するために検出信号S1を、パルス光LPのタイミングから時間的に離れたタイミングに設定する。第2の動作は、背景光を補正するために検出信号S1の回数を調整する。つまり、フレアの影響を受けやすいタイミングにおいて制御パルスG1を出力する回数を少なくし、フレアの影響を受けにくいタイミングにおいて制御パルスG1を出力する回数を多くする。
【0116】
距離画像センサ10、10Aは、その動作にあたって、第1の動作及び第2の動作の一方または両方を含んでいればよい。従って、距離画像センサ10、10Aの物理的な構成に特に限定はなく、いわゆる3タップ以上の構成を有していればよい。また、距離画像センサ10、10Aの仕様に応じて、サブフレーム動作、間引き動作およびマルチゾーンといった手法を適宜採用し、組み合わせてよい。
【符号の説明】
【0117】
10…距離画像センサ(距離画像測定装置)、11…光源、12…演算回路、13…画素回路(画素回路部)、21…光電変換領域、221~224…電荷読出領域、241~244…制御電極、261~264…電圧検出手段、31…光源制御手段、32…電荷転送制御手段、33…距離データ有効性判定信号生成手段、34…距離データ有効性判定手段、35…無効画素識別値生成手段、36…距離計算参照信号生成手段、37…距離計算参照信号選択手段、38…距離画像生成手段、G1…制御パルス(第1の制御パルス)、G2…制御パルス(第2の制御パルス)、G3…制御パルス(第3の制御パルス)、G4…制御パルス(第4の制御パルス)、G5…制御パルス(第5の制御パルス)、GD…制御パルス(第M+1の制御パルス)、S1…検出信号(第1の検出信号)、S2…検出信号(第2の検出信号)、S3…検出信号(第3の検出信号)、S4…検出信号(第4の検出信号)、S5…検出信号(第5の検出信号)。