(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-27
(45)【発行日】2024-01-11
(54)【発明の名称】距離画像測定装置、距離画像測定システム、及び距離画像測定方法
(51)【国際特許分類】
G01S 7/4863 20200101AFI20231228BHJP
G01S 17/894 20200101ALI20231228BHJP
G01S 17/10 20200101ALI20231228BHJP
G01S 7/495 20060101ALI20231228BHJP
【FI】
G01S7/4863
G01S17/894
G01S17/10
G01S7/495
(21)【出願番号】P 2020566405
(86)(22)【出願日】2020-01-10
(86)【国際出願番号】 JP2020000754
(87)【国際公開番号】W WO2020149243
(87)【国際公開日】2020-07-23
【審査請求日】2022-11-29
(31)【優先権主張番号】P 2019004317
(32)【優先日】2019-01-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100124800
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】川人 祥二
【審査官】渡辺 慶人
(56)【参考文献】
【文献】特開2017-191042(JP,A)
【文献】特開2015-215181(JP,A)
【文献】特開2018-059831(JP,A)
【文献】国際公開第2017/110418(WO,A1)
【文献】特開昭48-090554(JP,A)
【文献】米国特許第07405812(US,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
17/00 - 17/95
G01B 11/00 - 11/30
G01C 3/00 - 3/32
H01L 27/14 - 27/148
27/30
29/76
31/12 - 31/16
(57)【特許請求の範囲】
【請求項1】
パルス光を発生させる光源と、
第1の持続時間を有する前記パルス光を、周期的なフレーム期間内で繰り返し発生させるように前記光源を制御する光源制御手段と、
光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第1~第M(Mは2以上の整数)の電荷読出領域、及び前記光電変換領域と前記第1~第Mの電荷読出領域とに対応してそれぞれ設けられ、前記光電変換領域と前記第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを印加するための第1~第Mの制御電極を有する画素回路部と、
前記光源制御手段による前記パルス光の発生に対応して、前記フレーム期間内に第2の持続時間の間だけ前記第1~第Mの制御電極に前記第1~第Mの制御パルスを順次印加する電荷転送制御手段と、
前記電荷転送制御手段による前記第1~第Mの制御パルスの印加に応じて前記画素回路部の前記第1~第Mの電荷読出領域に転送された電荷の量である第1~第Mの電荷量に応じた検出信号を読み出す信号読出手段と、
前記検出信号を基に、前記第1~第Mの電荷量のうちの2つの電荷量の差分値から距離を繰り返し計算する距離計算手段と、
擬似乱数を発生させる擬似乱数発生手段と、を備え、
前記光源制御手段は、前記擬似乱数に応じて、前記パルス光の発生タイミングを変更し、
前記電荷転送制御手段は、前記擬似乱数に応じて、前記第1~第Mの制御パルスの印加のタイミングのうちで、前記2つの電荷量に対応する電荷を転送するための2つの制御パルスの印加のタイミングを互いのタイミングに入れ替えるよう
な2つのタイミング間で変更することにより、外部から混入するパルス光による前記2つの電荷量の差分値への影響を相殺させる、
距離画像測定装置。
【請求項2】
前記擬似乱数発生手段は、PN系列を発生させ、
前記光源制御手段は、前記PN系列の値に応じて、前記パルス光の発生タイミングを前記フレーム期間内で第1のタイミングと第2のタイミングとの間で変更し、
前記電荷転送制御手段は、前記PN系列の値に応じて、前記第1~第Mの制御パルスのうちの前記第1のタイミングの直後に印加する制御パルスを、前記第1~第Mの制御パルスのうちの第2のタイミングの直後に印加する制御パルスと入れ替える、
請求項1記載の距離画像測定装置。
【請求項3】
前記光源制御手段は、前記PN系列の値に応じて、前記パルス光の発生タイミングを、前記フレーム期間における第1のサブフレーム内と前記フレーム期間内における第2のサブフレーム内との間で変更し、
前記電荷転送制御手段は、前記PN系列の値に応じて、前記第1~第Mの制御パルスのうちの前記第1のサブフレーム内で印加する制御パルスの順番と、前記第1~第Mの制御パルスのうちの前記第2のサブフレーム内で印加する制御パルスの順番とを入れ替える、
請求項2記載の距離画像測定装置。
【請求項4】
前記擬似乱数発生手段は、M系列を発生させる、
請求項1~3のいずれか1項に記載の距離画像測定装置。
【請求項5】
前記画素回路部が半導体チップ上に2次元アレイ状に配列され、
前記光源制御手段、前記電荷転送制御手段、前記信号読出手段、及び前記擬似乱数発生手段は、前記半導体チップ上に構成されている、
請求項1~4のいずれか1項に記載の距離画像測定装置。
【請求項6】
請求項1~5のいずれか1項に記載の距離画像測定装置を複数備え、
複数の前記距離画像測定装置においては、前記フレーム期間の周期が同一に設定されている、
距離画像測定システム。
【請求項7】
光源制御手段が、第1の持続時間を有するパルス光を、周期的なフレーム期間内で繰り返し発生させるように光源を制御する光源制御ステップと、
光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第1~第M(Mは2以上の整数)の電荷読出領域、及び前記光電変換領域と前記第1~第Mの電荷読出領域とに対応してそれぞれ設けられ、前記光電変換領域と前記第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを印加するための第1~第Mの制御電極を有する画素回路部を用いて、電荷転送制御手段が、前記光源制御手段による前記パルス光の発生に対応して、前記フレーム期間内に第2の持続時間の間だけ前記第1~第Mの制御電極に前記第1~第Mの制御パルスを順次印加する電荷転送制御ステップと、
信号読出手段が、前記電荷転送制御手段による前記第1~第Mの制御パルスの印加に応じて前記画素回路部の前記第1~第Mの電荷読出領域に転送された電荷の量である第1~第Mの電荷量に応じた検出信号を読み出す信号読出ステップと、
距離計算手段が、前記検出信号を基に、前記第1~第Mの電荷量のうちの2つの電荷量の差分値から距離を繰り返し計算する距離計算ステップと、
擬似乱数発生手段が、擬似乱数を発生させる擬似乱数発生ステップとを備え、
前記光源制御ステップでは、前記擬似乱数に応じて、前記パルス光の発生タイミングを変更し、
前記電荷転送制御ステップでは、前記擬似乱数に応じて、前記第1~第Mの制御パルスの印加のタイミングのうちで、前記2つの電荷量に対応する電荷を転送するための2つの制御パルスの印加のタイミングを互いのタイミングに入れ替えるよう
な2つのタイミング間で変更することにより、外部から混入するパルス光による前記2つの電荷量の差分値への影響を相殺させる、
距離画像測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一側面は、画素毎に距離情報を含む距離画像を生成する距離画像測定装置、距離画像測定システム、及び距離画像測定方法に関する。
【背景技術】
【0002】
従来から、光の飛行時間を用いて距離情報を含む画像信号を生成する装置が用いられている(例えば、下記特許文献1,2参照)。この下記特許文献1に記載の装置は、光源から照射する変調光の発光期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期ごとに周期の長さを変化させるように発光と蓄積とを制御している。また、下記特許文献2に記載の装置は、光源部と受光部とを有し、光源部による光の出射に応じて受光部が受光量を蓄積する周期である蓄積周期において、光源部及び受光部を動作させるタイミングをランダムに変化させている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2013-76645号公報
【文献】特開2017-191042号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の装置では、複数の装置が同時に使用された場合に、さらに測定精度を向上させようとするためには改善の余地があった。
【0005】
本発明の一側面は、上記課題に鑑みて為されたものであり、複数の装置が同時に使用された場合に十分に測定精度が向上された画像信号を生成することが可能な距離画像測定装置、距離画像測定システム、及び距離画像測定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の一形態にかかる距離画像測定装置は、パルス光を発生させる光源と、第1の持続時間を有するパルス光を、周期的なフレーム期間内で繰り返し発生させるように光源を制御する光源制御手段と、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第1~第M(Mは2以上の整数)の電荷読出領域、及び光電変換領域と第1~第Mの電荷読出領域とに対応してそれぞれ設けられ、光電変換領域と第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを印加するための第1~第Mの制御電極を有する画素回路部と、光源制御手段によるパルス光の発生に対応して、フレーム期間内に第2の持続時間の間だけ第1~第Mの制御電極に第1~第Mの制御パルスを順次印加する電荷転送制御手段と、電荷転送制御手段による第1~第Mの制御パルスの印加に応じて画素回路部の第1~第Mの電荷読出領域に転送された電荷の量である第1~第Mの電荷量に応じた検出信号を読み出す信号読出手段と、検出信号を基に、第1~第Mの電荷量のうちの2つの電荷量の差分値から距離を繰り返し計算する距離計算手段と、擬似乱数を発生させる擬似乱数発生手段と、を備え、光源制御手段は、擬似乱数に応じて、パルス光の発生タイミングを変更し、電荷転送制御手段は、擬似乱数に応じて、第1~第Mの制御パルスの印加のタイミングのうちで、2つの電荷量に対応する電荷を転送するための2つの制御パルスの印加のタイミングを入れ替えるように変更する。
【0007】
あるいは、本発明の他の形態にかかる距離画像測定システムは、上記形態の距離画像測定装置を複数備え、複数の距離画像測定装置においては、フレーム期間の周期が同一に設定されている。
【0008】
あるいは、本発明の他の形態にかかる距離画像測定方法は、光源制御手段が、第1の持続時間を有するパルス光を、周期的なフレーム期間内で繰り返し発生させるように光源を制御する光源制御ステップと、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第1~第M(Mは2以上の整数)の電荷読出領域、及び光電変換領域と第1~第Mの電荷読出領域とに対応してそれぞれ設けられ、光電変換領域と第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを印加するための第1~第Mの制御電極を有する画素回路部を用いて、電荷転送制御手段が、光源制御手段によるパルス光の発生に対応して、フレーム期間内に第2の持続時間の間だけ第1~第Mの制御電極に第1~第Mの制御パルスを順次印加する電荷転送制御ステップと、信号読出手段が、電荷転送制御手段による第1~第Mの制御パルスの印加に応じて画素回路部の第1~第Mの電荷読出領域に転送された電荷の量である第1~第Mの電荷量に応じた検出信号を読み出す信号読出ステップと、距離計算手段が、検出信号を基に、第1~第Mの電荷量のうちの2つの電荷量の差分値から距離を繰り返し計算する距離計算ステップと、擬似乱数発生手段が、擬似乱数を発生させる擬似乱数発生ステップとを備え、光源制御ステップでは、擬似乱数に応じて、パルス光の発生タイミングを変更し、電荷転送制御ステップでは、擬似乱数に応じて、第1~第Mの制御パルスの印加のタイミングのうちで、2つの電荷量に対応する電荷を転送するための2つの制御パルスの印加のタイミングを入れ替えるように変更する。
【0009】
上記形態の距離画像測定装置、距離画像測定システム、あるいは距離画像測定方法によれば、周期的なフレーム期間内で光源から定期的に繰り返しパルス光が発生し、パルス光の発生に対応して第2の持続時間の時間ウィンドウが順次設定され、その時間ウィンドウで画素回路部の光電変換領域から第1~第Mの電荷読出領域に順次電荷が転送される。さらに、画素回路部の第1~第Mの電荷読出領域から第1~第Mの電荷量に応じた検出信号が読み出され、それらをもとに2つの電荷量の差分値から距離が繰り返し計算される。このとき、擬似乱数に応じて、パルス光の発生タイミングが変更されるとともに差分値の基となる2つの電荷読出領域のフレーム期間内で時間ウィンドウのタイミングが入れ替えられる。その結果、複数の距離画像測定装置が同時測定を実行してパルス光を発生させた場合であっても、外部の距離画像測定装置から混入するパルス光による2つの電荷量の差分値への影響を低減することができる。その結果、複数の距離画像測定装置が同時測定を実行した場合であっても、混入するパルス光の存在による距離計算の誤差が低減され、測定精度が十分に向上された画像信号を生成することができる。
【発明の効果】
【0010】
本発明の一側面によれば、複数の装置が同時に使用された場合に十分に測定精度を向上させることができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の好適な一実施形態に係る距離画像センサ10の概略構成を示すブロック図である。
【
図2】擬似乱数発生回路35の構成の一例を示す回路図である。
【
図3】パルス発生回路34及びゲーティング回路37の構成の一例を示すブロック図である。
【
図4】パルス発生回路34によって生成された制御パルスG
1~G
4のタイミングの一例を示すタイミングチャートである。
【
図5】パルスパターン発生回路33及びゲーティング回路36の構成の一例を示すブロック図である。
【
図6】パルスパターン発生回路33によって生成された制御パルスP
1,P
2のタイミングの一例を示すタイミングチャートである。
【
図7】
図1の距離画像センサ10によって扱われる各種信号のタイミングチャート、及び距離画像センサ10によって計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
【
図8】
図1の距離画像センサ10によって扱われる各種信号のタイミング、及び距離画像センサ10によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。
【
図9】2タップの構成の変形例によって扱われる各種信号のタイミング、及び各フレーム期間毎に検出される検出信号の値の変化を示す図である。
【
図10】3タップの構成の変形例によって扱われる各種信号のタイミングチャート、及び変形例によって計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
【
図11】3タップの構成の変形例によって扱われる各種信号のタイミング、及び変形例によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。
【
図12】4タップの構成の変形例によって扱われる各種信号のタイミング、及び変形例によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。
【
図13】8タップの構成の変形例によって扱われる各種信号のタイミングチャート、及び変形例によって計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
【
図14】8タップの構成の変形例によって扱われる各種信号のタイミングチャート、及び変形例によって計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
【
図15】距離画像センサ10によって扱われる各種信号のタイミング、及び距離画像センサ10によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ本発明に係る距離画像測定装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0013】
まず、
図1を参照して、本発明の距離画像測定装置の好適な一実施形態に係る距離画像センサ10の機能および構成を説明する。
図1に示す距離画像センサ10は、飛行時間法を利用して画素毎に距離情報を含む距離画像を生成する装置であり、光源11と、演算回路12と、複数の画素回路(画素回路部)13とを備える。光源11は、飛行時間(TOF:Time Of Flight)方式による距離計測を行うために、対象物Sに照射するパルス光L
Pを発生させる装置である。光源11は、例えば、発光ダイオードあるいはレーザダイオード等の半導体発光素子とその半導体発光素子を駆動する駆動回路とによって構成される。光源11としては、近赤外領域、可視光領域等の波長領域の光を発生させる素子を用いることができる。さらに、距離画像センサ10は複数の画素回路13を備える。複数の画素回路13は、2次元方向(例えば、列方向および行方向)に2次元アレイ状に配列されてイメージセンサを構成し、対象物Sによってパルス光L
Pが反射されて生じた入射パルス光L
Rを光電変換することにより検出信号を生成する。加えて、距離画像センサ10は、演算回路12も備えている。演算回路12は、複数の画素回路13によって生成された検出信号を用いて、対象物Sに関する距離情報を画素ごとに演算し、画素ごとの距離情報が反映された2次元画像情報を含む距離画像を生成及び出力する。演算回路12は、CPU,RAM、ROM、および入出力装置等を含むワンチップマイクロコンピュータ等の専用の集積回路によって構成されてもよいし、パーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。本実施形態では、演算回路12は、画素回路13とともに同一の半導体チップ上に搭載されたオンチップの集積回路によって構成されている。なお、「同一の半導体チップ上」とは、SOI(Silicon On Insulator)技術やTSV(Through Silicon Via)技術を用いて積層された複数の半導体層のうちの異なる半導体上も含まれる。
【0014】
以下、画素回路13および演算回路12の構成について詳細に説明する。
【0015】
まず、画素回路13の構成について説明する。画素回路13は、半導体素子によって構成され、入射パルス光LRを電荷に変換する機能を有する光電変換領域21と、光電変換領域21に近接し、かつ互いに離間して設けられた第1~第4の電荷読出領域221~224及び電荷排出領域23と、第1~第4の電荷読出領域221~224及び電荷排出領域23のそれぞれに対応して設けられ、光電変換領域21からそれぞれの領域との間における電荷転送のための制御パルスを印加するための第1~第4の制御電極241~244および第5の制御電極25と、第1~第4の電荷読出領域221~224のそれぞれから検出信号を読み出すための電圧検出手段261~264とを含んでいる。電圧検出手段261~264は、例えば、ソースフォロワアンプを含む増幅器であり、演算回路12からの制御によって、選択的にそれぞれの電荷読出領域221~224の基準電位を基準にした電圧を検出および増幅し、増幅した電圧を第1~第4の検出信号として演算回路12に出力する。
【0016】
画素回路13は、例えば、シリコン基板等のp型半導体基板上に形成される。すなわち、光電変換領域21は、p型半導体基板上に順に形成された、p型の半導体からなる活性領域形成層、n型の表面埋込領域、p型のピニング層、及び絶縁膜からなる画素形成領域の中央部に設けられる。そして、光電変換領域21に近接するように互いに離間した位置にn型の表面埋込領域よりも高不純物濃度のn型の電荷読出領域221~224及び電荷排出領域23が形成され、絶縁膜上の光電変換領域21から電荷読出領域221~224及び電荷排出領域23のそれぞれに至る電荷移動経路上のそれぞれには、制御電極241~244,25が設けられる。ここで、制御電極241~244,25は、それぞれ、電荷移動経路上に設けられてもよいし、電荷移動経路を両側から挟むように複数の電極部に分離して設けられてもよい。
【0017】
上記構成の画素回路13においては、後述する演算回路12から制御電極241~244,25に対して、互いに位相の異なる制御パルスが印加される。これにより、表面埋込領域の空乏化電位を順次変化させることにより、電荷移動経路のいずれかに電荷が輸送されるような電位勾配を順次形成して、光電変換領域21の表面埋込領域で発生した多数キャリア(電荷)を、電荷読出領域221~224及び電荷排出領域23のいずれかに移動させる。この電荷排出領域23は、光電変換領域21で発生した電荷を排出するための領域である。
【0018】
次に、演算回路12の構成について説明する。演算回路12は、光源ドライバ31、画素ドライバ32、パルスパターン発生回路33、パルス発生回路34、擬似乱数発生回路(擬似乱数発生手段)35、ゲーティング回路36、ゲーティング回路37、信号読出回路(信号読出手段)38、及び距離計算手段39を含んで構成される。光源ドライバ31、ゲーティング回路36、及びパルスパターン発生回路33は、本実施形態の光源制御手段を構成する。また、画素ドライバ32、ゲーティング回路37、及びパルス発生回路34は、本実施形態の電荷転送制御手段を構成する。
【0019】
擬似乱数発生回路35は、光源11の発光タイミング及び画素回路13における電荷転送のタイミングを変更するために用いられるビット列である擬似乱数を生成する回路である。具体的には、擬似乱数発生回路35は、擬似ノイズ(PN:Pseudo Noise)系列の1種であるM系列(Maximum-Length Sequences)を生成する。このM系列はあるビット数で周期的に繰り返されるビット列であり、各ビット列はパルス光LPの発光周期であるフレーム期間に同期して生成される。
【0020】
光源ドライバ31は、光源11によるパルス光LPの発光タイミング、パルス光LPの強度、及びパルス光LPのパルス幅を制御する。具体的には、持続時間Tpのパルス光LPを、予め設定された長さの周期的に繰り返される期間Tf(例えば、1/120sec)である1フレームの期間内で繰り返し発生させるように制御する。このとき、光源ドライバ31は、ゲーティング回路36から出力される制御パルスP1,P0に応じて、1フレームの期間内でのパルス光LPの発生タイミングを第1のタイミングと第2のタイミングとの間で変更する。パルスパターン発生回路33は、パルス光LPの発生タイミングである第1のタイミング及び第2のタイミングを示す制御パルスP1,P0を生成する。ゲーティング回路36は、擬似乱数発生回路35から出力された擬似乱数に応じて、2つの制御パルスP1,P0を切り替えて光源ドライバ31に出力する。これにより、擬似乱数に応じて、パルス光LPの発生タイミングが第1のタイミングと第2のタイミングとの間で変更される。
【0021】
画素ドライバ32は、制御電極241~244,25のそれぞれに、第1~第4の制御パルスG1~G4及び第5の制御パルスGDを印加する機能を有する。すなわち、画素ドライバ32は、1フレーム期間内のパルス光LPのそれぞれの発生タイミングに対応して、持続時間Tp以上である持続時間T1の間だけ制御電極241~244に順次第1~第4の制御パルスG1~G4を印加する。本実施形態では、持続時間T1は持続時間Tpと等しくなるように設定される。このとき、画素ドライバ32は、ゲーティング回路37から出力される制御パルスG1~G4、及びパルス発生回路34から直接出力される制御パルスGDを用いて、制御パルスG1~G4,GDを印加する。パルス発生回路34は、制御パルスG1~G4,GDを生成する。具体的には、パルス発生回路34は、制御パルスG1~G4を、1フレーム期間内における2つのサブフレーム間で順番が入れ替えられた2つのパターンで生成し、制御パルスGDを、第1~第4の制御パルスG1~G4の印加タイミングを除く期間において発生するように生成する。ゲーティング回路37は、擬似乱数発生回路35から出力された擬似乱数に応じて、1フレーム期間内の2つのサブフレームにおいて生成された第1~第4の制御パルスG1~G4を、2パターンのうちから切り替えて画素ドライバ32に出力する。これにより、擬似乱数に応じて、画素回路13の電荷読出領域221~224への電荷転送のタイミングが2つのパターンの間で変更される。
【0022】
信号読出回路38は、複数のフレーム期間においてそれぞれの画素回路13の電荷読出領域221~224に転送された電荷の量のそれぞれに対応する第1~第4の検出信号S1~S4を、電圧検出手段261~264を制御することによって読み出す回路である。距離計算手段39は、信号読出回路38によって各画素回路13ごとに読み出された検出信号S1~S4を基に、各画素回路13ごとの距離の計算を複数のフレーム期間を対象に繰り返し実行し、その結果得られた距離情報を含む距離画像を繰り返し生成し外部に出力する。このとき、距離計算手段39は、1フレーム期間毎に読み出された第1~第4の検出信号S1~S4を対象に距離計算を繰り返し行い、その結果得られた距離計算結果の平均値を距離情報としてもよいし、複数のフレーム期間で蓄積された画素の量に対応する第1~第4の検出信号S1~S4を対象に距離の計算を実行し、その距離計算結果を距離情報としてもよい。
【0023】
図2には、擬似乱数発生回路35の回路構成の一例を示している。この構成例は、p=7の周期性を有するM系列を生成することができる。詳細には、擬似乱数発生回路35は、Dフリップフロップ回路41
1~41
3、AND回路42
1,42
2,44、及びXOR(排他的論理和)回路43
1,43
2によって構成できる。Dフリップフロップ回路41
1~41
3は互いに連結され、初段のDフリップフロップ回路41
1からのQ出力が、後段のDフリップフロップ回路41
2,41
3のD入力に順次入力され、最終段のDフリップフロップ回路41
3のQ出力が、AND回路44を経由してEnable信号がオンのときに外部に出力される。最終段以外のDフリップフロップ回路41
1,41
2のQ出力は、それぞれ、AND回路42
1,42
2を経由することによって、係数C2,C1とのAND演算が施された後にXOR回路43
1,43
2に入力される。XOR回路43
2には、最終段のDフリップフロップ回路41
3のQ出力が入力され、そのQ出力とAND回路42
2の出力とを対象に排他的論理和演算が為される。XOR回路43
2の出力は、XOR回路43
1に入力され、その出力とAND回路42
1の出力とを対象に排他的論理和演算が為される。そして、XOR回路43
1の出力は、初段のDフリップフロップ回路41
1のD入力に入力される。
【0024】
上記構成の擬似乱数発生回路35において、係数C1=“0”、係数C2=“1”に設定すると、“1001011”で繰り返されるM系列が生成でき、係数C1=“1”、係数C2=“0”に設定すると、“1001110”で繰り返されるM系列が生成できる。上記構成において、画素回路13における入射パルス光L
Rの露光時には、Enable信号=“1”に設定して、画素回路13における電荷転送とパルス光L
Pの発光を行い、画素回路13からの検出信号の読み出し時には、Enable信号=“0”に設定して、画素回路13における電荷転送とパルス光L
Pの発光を停止する。なお、
図2に示す回路構成は一例であり、Dフリップフロップの段数を変更してもよい。例えば、段数をnとすると、周期性p=2
n-1を有し、1周期における“1”の出現回数2
n-1となり、1周期における“0”の出現回数2
n-1-1となるような均一性を有する擬似ノイズ系列の1種であるM系列を生成することができる。また、このような構成によって生成されたM系列は、ビット位置がシフトされたM系列との間の相関性に比較して、ビット位置が一致したM系列との間の自己相関性を十分に高くすることができる。
【0025】
図3は、パルス発生回路34及びゲーティング回路37の回路構成の一例を示すブロック図である。パルス発生回路34は、制御パルスG
Dを生成して画素ドライバ32に向けて出力するパルス生成器34aと、第1~第4の制御パルスG
1~G
4を1フレーム期間内における2つのサブフレーム内での第1のパターンのタイミングの制御パルスG
1
(1)~G
4
(1)として生成するパルス生成器34bと、制御パルスG
1~G
4を1フレーム期間内における2つのサブフレーム内での第2のパターンのタイミングの制御パルスG
1
(0)~G
4
(0)として生成するパルス生成器34cとを含んでいる。また、ゲーティング回路37は、2つのパターンの第1の制御パルスG
1
(1),G
1
(0)のうちから、擬似乱数発生回路35から入力されたM系列のビット値に応じてどちらかを選択して画素ドライバ32に向けて出力するセレクタ37
1と、2つのパターンの第2の制御パルスG
2
(1),G
2
(0)のうちから、擬似乱数発生回路35から入力されたM系列のビット値に応じてどちらかを選択して画素ドライバ32に向けて出力するセレクタ37
2と、2つのパターンの第3の制御パルスG
3
(1),G
3
(0)のうちから、擬似乱数発生回路35から入力されたM系列のビット値に応じてどちらかを選択して画素ドライバ32に向けて出力するセレクタ37
3と、2つのパターンの第4の制御パルスG
4
(1),G
4
(0)のうちから、擬似乱数発生回路35から入力されたM系列のビット値に応じてどちらかを選択して画素ドライバ32に向けて出力するセレクタ37
4とを含む。
【0026】
図4において、(a)部は、パルス発生回路34によって生成された第1のパターンの制御パルスG
1
(1)~G
4
(1)のタイミングの一例を示すタイミングチャートであり、(b)部は、パルス発生回路34によって生成された第2のパターンの制御パルスG
1
(0)~G
4
(0)のタイミングの一例を示すタイミングチャートである。この例に示すように、パルス発生回路34によって、第1のパターンにおいては、1フレーム期間における前半のサブフレームの期間T
C1において、第1~第4の制御パルスG
1
(1)~G
4
(1)がこの順番で生成され、第2のパターンにおいては、1フレーム期間における後半のサブフレームの期間T
C2において、第1~第4の制御パルスG
1
(0)~G
4
(0)がこの順番で生成される。そして、第1のパターンにおける後半のサブフレーム期間T
C2においては、前半のサブフレーム期間T
C1との間で、2つの制御パルスG
1,G
2のそれぞれと、2つの制御パルスG
3,G
4のそれぞれとの間のタイミングが入れ替えられる。同様に、第2のパターンにおける前半のサブフレーム期間T
C1においては、後半のサブフレーム期間T
C2との間で、2つの制御パルスG
1,G
2のそれぞれと、2つの制御パルスG
3,G
4のそれぞれとの間のタイミングが入れ替えられる。これにより、ゲーティング回路37の動作により、M系列の値に応じて、第1のサブフレームの期間T
C1における第1~第4の制御パルスG
1~G
4の印加の順番と、第2のサブフレームの期間T
C2における第1~第4の制御パルスG
1~G
4の印加の順番とが入れ替えられる。ここで、互いのタイミングが入れ替えられる2つの制御パルスG
1,G
3、及び2つの制御パルスG
2,G
4は、距離計算手段39による距離計算で用いられる電荷量の差分値の基となる電荷を転送するための制御パルスに対応している(詳細は後述する)。
【0027】
図5は、パルスパターン発生回路33及びゲーティング回路36の回路構成の一例を示すブロック図である。パルスパターン発生回路33は、制御パルスP
1を生成してゲーティング回路36に出力するパルス生成器33aと、制御パルスP
0を生成してゲーティング回路36に出力するパルス生成器33bとを含んでいる。また、ゲーティング回路36は、2つのパターンの制御パルスP
1,P
0のうちから、擬似乱数発生回路35から入力されたM系列のビット値に応じてどちらかを選択して光源ドライバ31に向けて出力するセレクタ36aを含む。
【0028】
図6において、(a)部は、パルスパターン発生回路33によって生成された第1のタイミングの制御パルスP
1の一例を示すタイミングチャートであり、(b)部は、パルスパターン発生回路33によって生成された第2のタイミングの制御パルスP
0の一例を示すタイミングチャートである。この例に示すように、パルスパターン発生回路33によって、第1のタイミングとしては、1フレーム期間の前半のサブフレームの期間T
C1における第1のパターンの第1の制御パルスG
1
(1)と同一のタイミングで制御パルスP
1が生成され、第2のタイミングとしては、1フレーム期間の後半のサブフレームの期間T
C2における第2のパターンの第1の制御パルスG
1
(0)と同一のタイミングで制御パルスP
0が生成される。これにより、ゲーティング回路36の動作により、M系列の値に応じて、パルス光L
Pの発光のタイミングが、第1のサブフレーム期間T
C1内の第1のパターンの第1の制御パルスG
1のタイミングに一致したタイミングと、第2のサブフレームの期間T
C2内の第2のパターンの第1の制御パルスG
1のタイミングと一致したタイミングとの間で変更される。
【0029】
次に、演算回路12における距離計算の流れについて説明するとともに、本実施形態の距離画像測定方法について詳述する。
【0030】
図7は、距離画像センサ10の演算回路12によって扱われる各種信号のタイミングチャート、及び計算される各種値の入射パルス光L
Rの遅れ時間T
Dに対する変化を示すグラフである。
図7において、(a)部から(e)部には、それぞれ、制御パルスG
1~G
4及びパルス光L
Pのタイミングを示し、(f)部~(n)部には、それぞれ、第1~第4の検出信号S
1~S
4の値、差分値S
1-3,S
2-4の値、距離データ有効性判定信号S
Aの値、及び距離計算参照信号X
R,Y
Rの値を、遅れ時間T
Dに対応して示し、(o)部には、遅れ時間T
Dにおけるデータ有効範囲を示し、(p)部には、遅れ時間T
Dにおける測定可能範囲を示す。なお、
図7には、パルス光L
Pの発光タイミングを含むサブフレーム期間における各種信号および値を示し、パルス光L
Pの持続時間T
pを時間の単位とした信号波形及び値の時間変化を示している。
【0031】
まず、距離画像センサ10による距離画像の生成処理が開始されると、演算回路12の光源制御手段及び電荷転送制御手段によって、1フレーム期間内の2つのサブフレーム期間TC1,TC2において、擬似乱数発生回路35で発生したM系列を基に、制御パルスG1~G4及びパルス光LPのタイミングが設定される(擬似乱数発生ステップ、光源制御ステップ、電荷転送制御ステップ)。詳細には、各サブフレーム期間TC1,TC2において、M系列を基にパルス光LPのタイミングが第1のサブフレームTC1内の第1のタイミングと第2のサブフレームTC2内の第2のタイミングとの間で変更され、このパルス光LPのタイミングに対応して、制御パルスG1~G4のタイミングの順番が第1のサブフレームTC1と第2のサブフレームTC2との間で入れ替えられる。その後、フレーム期間が複数繰り返された後(あるいは1つのフレーム期間後)の読出期間において、演算回路12の信号読出回路38によって、各画素回路13の電圧検出手段261~264を介して、第1~第4の検出信号S1~S4が読み出され、それらの検出信号S1~S4が演算回路12の距離計算手段39に出力される(信号読出ステップ)。ここで、本実施形態では、画素回路13における入射パルス光LRの露光(擬似乱数発生ステップ、光源制御ステップ、及び電荷転送制御ステップ)と検出信号S1~S4の読み出し(信号読出ステップ)とが分離して行われているが信号読出中に露光が行われていてもよい。
【0032】
次に、各画素回路13から出力された検出信号S
1~S
4を基に、距離計算手段39によって1フレーム期間単位あるいは複数のフレーム期間単位での画素ごとの距離情報が計算される(距離計算ステップ)。すなわち、距離計算手段39によって、検出信号S
1,S
3を基に、下記式(1);
S
1-3=S
1-S
3…(1)
を用いて、検出信号S
1,S
3の差分値S
1-3が計算されてから、その差分値の絶対値|S
1-3|が計算される。加えて、距離計算手段39によって、検出信号S
2,S
4を基に、下記式(2);
S
2-4=S
2-S
4…(2)
を用いて、検出信号S
2,S
4の差分値S
2-4が計算されてから、その差分値の絶対値|S
2-4|が計算される。さらに、距離計算手段39によって、差分値の絶対値|S
1-3|と差分値の絶対値|S
2-4|が加算されることにより、下記式(3);
S
A=|S
1-3|+|S
2-4|…(3)
を用いて、距離データ有効性判定信号S
Aの値が計算される。この距離データ有効性判定信号S
Aは、第1~第4の検出信号S
1~S
4を基にした距離の計算が有効であるかを判定するための信号である。そして、距離計算手段39は、距離データ有効性判定信号S
Aの値を閾値Th
1と比較することにより、検出信号S
1~S
4を用いた距離の計算が有効であるか否かを判定する。例えば、閾値Th
1を“0”近傍に設定することにより、
図7の(o)部に示すように、遅れ時間T
Dの“-1”~“0”の間の値から“3”~“4”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算手段39によって、検出信号S
1とS
3との差の値S
1-3と距離データ有効性判定信号S
Aの値との比を計算することにより、下記式(4);
X
R=1-S
1-3/S
A…(4)
を用いて第1の距離計算参照信号X
Rの値が計算されると共に、検出信号S
2とS
4との差の値S
2-4と距離データ有効性判定信号S
Aの値との比を計算することにより、下記式(5);
Y
R=2-S
2-4/S
A…(5)
を用いて第2の距離計算参照信号Y
Rの値が計算される。これらの距離計算参照信号X
R,Y
Rは、対象物Sの位置が測定可能な範囲か否かを判定するための信号である。
【0033】
次に、距離計算手段39により、距離計算参照信号X
Rの値が所定範囲にあるか否かが判定されることにより、距離計算のために参照する値が、距離計算参照信号X
Rと距離計算参照信号Y
Rとのうちから選択される。例えば、距離計算参照信号X
Rの値が“0”以上閾値Th
2以下の場合は距離計算参照信号X
Rが選択され、距離計算参照信号X
Rの値が閾値Th
2を超えている場合は距離計算参照信号Y
Rが選択される。このような判定により、対象物Sの位置に応じて、入射パルス光L
Rの入射タイミングが重複した時間ウィンドウの検出信号が反映された距離計算参照信号を選択することができる。さらに、距離計算手段39により、選択された距離計算参照信号X
R,Y
Rの値が所定範囲にあるか否かが判定されることにより、対象物Sが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号X
Rの値が“0”以上であるか否かが判定され、距離計算参照信号Y
Rの値が閾値Th
3以下であるか否かが判定される。このような判定により、対象物Sが近すぎて検出信号S
2の時間ウィンドウから入射パルス光L
Rが外れて距離計算参照信号X
Rの値に距離が反映されていない場合、及び、対象物Sが遠すぎて検出信号S
3の時間ウィンドウから入射パルス光L
Rが外れて距離計算参照信号Y
Rの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Th
3を“3”近傍に設定することにより、
図7の(p)部に示すように、遅れ時間T
Dの“0”から“3”の近傍までの範囲が「測定可能範囲」であると判定される。
【0034】
最後に、距離計算手段39により、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号XR,YRを基に対象物Sの距離が算出され、各フレーム期間の算出結果を平均化して(あるいは複数のフレーム期間を対象にした算出結果を利用して)距離情報が取得され、取得した各画素の距離情報を含む距離画像が生成および出力される。
【0035】
上記形態の距離画像センサ10によれば、周期的なフレーム期間内で光源11から定期的に繰り返しパルス光LPが発生し、パルス光LPの発生に対応して持続時間TPの時間ウィンドウが順次設定され、その時間ウィンドウで画素回路13の光電変換領域21から第1~第4の電荷読出領域221~224に順次電荷が転送される。さらに、画素回路13の第1~第4の電荷読出領域221~224からそれぞれの電荷量に応じた検出信号S1~S4が読み出され、それらをもとに2つの電荷量の差分値S1-3あるいは差分値S2-4から距離が繰り返し計算される。このとき、擬似乱数であるM系列に応じて、パルス光LPの発生タイミングが第1のタイミングと第2のタイミングとの間で変更されるとともに、パルス光LPの発生タイミングに対応して、差分値S1-3あるいは差分値S2-4の基となる2つの電荷読出領域221,223あるいは2つの電荷読出領域222,224の時間ウィンドウのタイミングが、フレーム期間内で入れ替えられる。その結果、近くに配置された複数の距離画像センサ10が同時測定を実行してパルス光LPを発生させた場合であっても、外部の距離画像センサ10から混入するパルス光LPによる2つの電荷量の差分値S1-3,S2-4への影響を低減することができる。その結果、複数の距離画像センサ10が同時測定を実行した場合であっても、混入するパルス光LPの存在による距離計算の誤差が低減され、測定精度が十分に向上された画像信号を生成することができる。
【0036】
また、上記形態の距離画像センサ10では、擬似乱数発生回路35がPN系列であるM系列を発生させ、光源制御手段が、M系列の値に応じて、パルス光LPの発生タイミングをフレーム期間内での第1のサブフレームTC1に含まれる第1のタイミングと第2のサブフレームTC2に含まれる第2のタイミングとの間で変更し、電荷転送制御手段が、M系列の値に応じて、第1~第4の制御パルスG1~G4のうちの第1のタイミングの直後に印加する制御パルスG1,G2あるいは制御パルスG3,G4を、第1~第4の制御パルスG1~G4のうちの第2のタイミングの直後に印加する制御パルスG3,G4あるいは制御パルスG1,G2と入れ替えている。このような構成によれば、近くに配置された複数の距離画像センサ10が同時測定を実行してパルス光LPを発生させた場合であっても、外部の距離画像センサ10から混入するパルス光LPによる2つの電荷量の差分値S1-3,S2-4への影響を相殺させることができる。その結果、複数の距離画像センサ10が同時測定を実行した場合であっても、混入するパルス光LPの存在による距離計算の誤差を一層低減することができる。特に、電荷転送制御手段が、M系列の値に応じて、第1~第4の制御パルスG1~G4のうちの第1のサブフレームTC1内で印加する制御パルスの順番と、第1~第4の制御パルスG1~G4のうちの第2のサブフレームTC2内で印加する制御パルスの順番とを入れ替えている。これにより、複数の距離画像センサ10が同時測定を実行した場合であっても、混入するパルス光LPの存在による距離計算の誤差をより一層低減することができる。
【0037】
例えば、距離画像センサ10を備えた移動体(4輪自動車、2輪自動車、ゴルフカート等の運搬車両、船舶、ロボット、自動搬送機械等)を複数台含む距離画像測定システムにおいて、それらの複数の距離画像センサ10における1フレーム期間の周期が同一に設定されている場合、互いのパルス光LPの混信による距離計算結果の精度低下を防止することができる。また、1フレーム期間の周期が同一に設定された複数の距離画像センサ10を備えた距離画像測定システムを用いて、対象物Sの3次元形状計測を行うこともでき、距離分解能の向上を図りながら、パルス光LPの非照射部分をカバーした360度の全方位からの距離計測が実現できる。その際に、互いのパルス光LPの混信による距離計算結果の精度低下を防止することができる。このような距離画像測定システムでは、複数の距離画像センサ10間でフレーム期間の同期をとる必要はない。また、複数の距離画像センサ10を時分割で動作させる必要が無いため計測の同時性が向上し、動きのある対象物Sに対する計測精度も向上する。さらに、時分割で動作させる必要が無いため計測の高速化も図れる。また、距離画像測定システムにおいては、画像の明暗情報を用いた二眼(多眼)ステレオ計測を組み合わせることにより、距離分解能を向上させることも可能である。
【0038】
さらに、上記形態の距離画像センサ10ではM系列を利用してパルス光LPのタイミング制御及び電荷転送のタイミング制御を行っている。そのため、簡易な回路で均一性の高いPN系列を発生させることができ、簡易な構成によって混入するパルス光LPの存在による距離計算の誤差を低減することができる。
【0039】
図8は、距離画像センサ10の演算回路12によって扱われる各種信号のタイミング、及び演算回路12によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。この場合、距離画像センサ10には、1フレーム期間ほどずれたタイミングで他の距離画像センサから混入したパルス光L
Pが存在していると仮定し、対象物Sがパルス光L
Pの往復の飛行時間(TOF)が0.5T
Pの位置に存在した場合の検出信号の値を示している。
図8において、(a)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて発生する第1~第4の制御パルスG
1~G
4のタイミングとを示し、(b)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて距離画像センサ10内に入射するパルス光L
PのタイミングLP(A
0)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
4の値とを示し、(c)部には、他の距離画像センサ内で発生するM系列A
1と、それに応じて他の距離画像センサから混入するパルス光L
PのタイミングLP(A
1)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
4の値とを示す。ここで示す検出信号S
1~S
4の値は、持続時間T
Pのパルス光L
Pを受光した場合の信号値を“1”とした相対値で示している(以下同様)。
【0040】
この例で示す検出信号S1~S4の値を基に、パルス光LPの混信が発生していない場合と、パルス光LPの混信が発生している場合とでの距離画像センサ10での距離計算結果を評価した。その結果、上記式(4)を計算することにより、パルス光LPの混信が発生していない場合の距離計算参照信号XRは、下記式;
XR=1-3.5/7=0.5
と計算され、パルス光LPの混信が発生している場合の距離計算参照信号XRは、下記式;
XR=1-3/6=0.5
と計算され、どちらの場合も同一の距離計算の結果が得られる。
【0041】
同様に、飛行時間(TOF)が1.5TPおよび2.5TPの位置に対象物Sが存在した場合の距離計算の結果を上記式(5)の距離計算参照信号YRを用いて評価した結果、パルス光LPの混信が発生していない場合とパルス光LPの混信が発生している場合とで同一の計算結果YR=1.5,2.5が得られることが分かった。
【0042】
また、上記の距離計算値を一般化した評価結果を示す。距離画像センサ10でのパルス光LPの受光回数をN(正の整数)、距離画像センサ10で受光するパルス光LPの持続時間TPを単位とした遅延時間をd(0≦d≦1)、他の距離画像センサからのパルス光LPを受光した場合のうち正しいM系列と一致する乱数値で生じたパルス光LPを受光した回数をm(N以下の正の整数)とする。
【0043】
まず、パルス光LPの混信が発生していない場合、検出信号は、S1=N(1-d)、S2=Nd、S3=0、S4=0と生成される。従って、距離計算参照信号XRは、
XR=1-(S1-S3)/(|S1-S3|+|S2-S4|)=d
と計算される。一方、パルス光LPの混信が発生している場合、検出信号は、S1=(N+m)(1-d)、S2=(N+m)d、S3=(N-m)(1-d)、S4=(N-m)dと生成される。従って、この場合も、距離計算参照信号XRは、
XR=1-(S1-S3)/(|S1-S3|+|S2-S4|)=d
と計算される。このことから、距離画像センサ10によれば、パルス光LPの混信による距離計算精度の低下が低減されることが示された。
【0044】
なお、本発明は、上述した実施形態の態様に限定されるものではない。
【0045】
上述した実施形態では、画素回路13に4つの電荷読出領域221~224が設けられているが、電荷読出領域は2つ以上であれば任意の個数(以下、n個の電荷読出領域の構成を「nタップ」とも言う。)で設けられていてもよい。その場合は、制御電極及び電圧検出手段は電荷読出領域の個数nに対応して設けられ、演算回路12は、制御電極の個数nに対応した第1~第nの制御パルスG1~Gnを生成し、それぞれの電荷読出領域から読み出された第1~第nの検出信号S1~Snを基に距離情報を計算する。
【0046】
以下、2タップの構成を有する変形例の機能について説明する。
【0047】
図9は、2タップの構成を有する変形例において、演算回路12によって扱われる各種信号のタイミング及び演算回路12によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。
【0048】
本変形例では、フレーム期間が第1のフレーム期間F1と第2のフレーム期間F2との2種類に分けて設定され、第1のフレーム期間F1において、2つの電荷読出領域221,222を対象に、上述した実施形態の制御パルスG1,G3と同一のタイミングの制御パルスG1,G2を発生させて電荷転送が制御された後に検出信号S11,S21が検出され、第2のフレーム期間F2において、2つの電荷読出領域221,222を対象に、上述した実施形態の制御パルスG2,G4と同一のタイミングの制御パルスG1,G2を発生させて電荷転送が制御された後に検出信号S12,S22が検出される。そして、上記実施形態と同様にして、検出信号S1,S2,S3,S4に対応する2つのフレーム期間F1,F2において検出された検出信号S11,S12,S21,S22を基に距離が計算される。
【0049】
図9には、各フレーム期間F
1,F
2毎に、距離画像センサ10内で発生するM系列A
0と、それに応じて発生する制御パルスG
1,G
2のタイミングと、距離画像センサ10内で発生したパルス光L
Pが入射するタイミングLP(A
0)と、そのパルス光L
Pに起因して生じる検出信号の値と、他の距離画像センサ内で発生するM系列A
1と、それに応じて他の距離画像センサから混入するパルス光L
PのタイミングLP(A
1)と、そのパルス光L
Pに起因して生じる検出信号の値とが示されている。この場合も、距離画像センサ10には、1フレーム期間ほどずれたタイミングで他の距離画像センサから混入したパルス光L
Pが存在していると仮定し、対象物Sがパルス光L
Pの往復の飛行時間(TOF)が0.5T
Pの位置に存在した場合の検出信号の値を示している。
【0050】
この例で示す検出信号S11,S12,S21,S22の値を基に、パルス光LPの混信が発生していない場合と、パルス光LPの混信が発生している場合とでの距離画像センサ10での距離計算結果を評価したところ、いずれの場合も距離計算参照信号XR=0.5の値が得られた。このことから、2タップの変形例によっても、パルス光LPの混信による距離計算精度の低下が低減されることがわかる。
【0051】
次に、3タップの構成を有する変形例の機能について説明する。
【0052】
本変形例の演算回路12は、次のような別の手順で距離計算を行う機能を有する。
図10は、変形例で扱われる各種信号のタイミングチャート、及び変形例において計算される各種値の遅れ時間T
Dに対する変化を示すグラフである。
図10において、(a)部から(d)部には、それぞれ、制御パルスG
1~G
3及びパルス光L
Pのタイミングを示し、(e)部~(m)部には、それぞれ、第1~第3の検出信号S
1~S
3の値、差分値S
1-3の値、差分値の絶対値|S
1-3|、加算値の絶対値|S
1+3|、ノイズに起因する信号成分S
Bの値、距離データ有効性判定信号S
Aの値、及び距離計算参照信号X
Rの値を、遅れ時間T
Dに対応して示し、(n)部には、遅れ時間T
Dにおけるデータ有効範囲を示し、(o)部には、遅れ時間T
Dにおける測定可能範囲を示す。なお、
図10には、パルス光L
Pの発光タイミングを含むサブフレーム期間における各種信号および値を示し、パルス光L
Pの持続時間T
pを時間の単位とした信号波形及び値の時間変化を示している。
【0053】
まず、変形例の距離画像センサ10による距離画像の生成処理が開始されると、演算回路12の光源制御手段及び電荷転送制御手段によって、1フレームの期間内で制御パルスG1~G3及びパルス光LPのタイミングが制御される(擬似乱数発生ステップ、光源制御ステップ、及び電荷転送制御ステップ)。詳細には、1フレームの期間内の2つのサブフレーム内のそれぞれにおいて制御パルスG1~G3が持続時間TPで互いに重複しないような連続したタイミングに設定される。この2つのサブフレームで設定される制御パルスG1~G3のタイミングは、1フレーム内の2つのサブフレーム間で制御パルスG1のタイミングと制御パルスG3のタイミングとを入れ替えたものに設定される。その後、演算回路12の信号読出回路38によって、第1~第3の検出信号S1~S3が読み出され、それらの検出信号S1~S3が演算回路12の距離計算手段39に渡される(信号読出ステップ)。
【0054】
さらに、距離計算手段39によって、検出信号S
1~S
3を基に画素ごとの距離情報が計算される(距離計算ステップ)。すなわち、距離計算手段39によって、検出信号S
1,S
3を基に、下記式(6);
S
1-3=S
1-S
3…(6)
を用いて、検出信号S
1,S
3の差分値S
1-3が計算されてから、その差分値の絶対値|S
1-3|が計算される。加えて、距離計算手段39によって、検出信号S
1,S
3の加算値の絶対値|S
1+3|が下記式(7);
|S
1+3|=|S
1+S
3|…(7)
を用いて計算された後、加算値の絶対値|S
1+3|と差分値の絶対値|S
1-3|との差分が求められることにより、下記式(8);
S
B=|S
1+3|-|S
1-3|…(8)
を用いてノイズに起因する信号成分S
Bの値が計算される。さらに、距離計算手段39によって、検出信号S
1~S
3と信号成分S
Bの値とを基に、下記式(9);
S
A=|S
1-3|+S
2-0.5S
B…(9)
を用いて、距離データ有効性判定信号S
Aの値が計算される。そして、距離計算手段39は、距離データ有効性判定信号S
Aの値を閾値Th
1と比較することにより、検出信号S
1~S
3を用いた距離の計算が有効であるか否かを判定する。例えば、閾値Th
1を“0”近傍に設定することにより、
図10の(n)部に示すように、遅れ時間T
Dの“-1”~“0”の間の値から“2”~“3”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算手段39によって、検出信号S
1とS
3との差の値S
1-3と距離データ有効性判定信号S
Aの値との比を計算することにより、下記式(10);
X
R=1-S
1-3/S
A…(10)
を用いて距離計算参照信号X
Rの値が計算される。
【0055】
次に、距離計算手段39により、距離計算参照信号X
Rの値が所定範囲にあるか否かが判定されることにより、対象物Sが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号X
Rの値が“0”以上閾値Th
2以下であるか否かが判定される。このような判定により、対象物Sが近すぎて検出信号S
2の時間ウィンドウから入射パルス光L
Rが外れて距離計算参照信号X
Rの値が飽和してしまった場合、及び、対象物Sが遠すぎて検出信号S
2の時間ウィンドウから入射パルス光L
Rが外れて距離計算参照信号X
Rの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Th
2を“2”近傍に設定することにより、
図10の(o)部に示すように、遅れ時間T
Dの“0”から“2”の近傍までの範囲が「測定可能範囲」であると判定される。最後に、距離計算手段39は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関する距離計算参照信号X
Rを基に対象物Sの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
【0056】
図11は、3タップの構成の変形例によって扱われる各種信号のタイミング、及び変形例によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。この場合、変形例にかかる距離画像センサ10には、1フレーム期間ほどずれたタイミングで他の距離画像センサから混入したパルス光L
Pが存在していると仮定し、対象物Sがパルス光L
Pの往復の飛行時間(TOF)が0.5T
Pの位置に存在した場合の検出信号の値を示している。
図11において、(a)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて発生する第1~第3の制御パルスG
1~G
3のタイミングとを示し、(b)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて距離画像センサ10内に入射するパルス光L
PのタイミングLP(A
0)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
3の値とを示し、(c)部には、他の距離画像センサ内で発生するM系列A
1と、それに応じて他の距離画像センサから混入するパルス光L
PのタイミングLP(A
1)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
3の値とを示す。
【0057】
この例で示す検出信号S1~S3の値を基に、パルス光LPの混信が発生していない場合と、パルス光LPの混信が発生している場合とでの距離画像センサ10での距離計算結果を評価した。その結果、上記式(10)を計算することにより、パルス光LPの混信が発生していない場合の距離計算参照信号XRは、下記式;
XR=1-3.5/7=0.5
と計算され、パルス光LPの混信が発生している場合の距離計算参照信号XRは、下記式;
XR=1-3/6=0.5
と計算され、どちらの場合も同一の距離計算の結果が得られる。
【0058】
同様に、飛行時間(TOF)が1.5TPの位置に対象物Sが存在した場合の距離計算の結果を評価した結果、パルス光LPの混信が発生していない場合とパルス光LPの混信が発生している場合とで同一の計算結果XR=1.5が得られることが分かった。このことから、3タップの構成の変形例によっても、パルス光LPの混信による距離計算精度の低下が低減されることが示された。
【0059】
また、4タップの構成の上記実施形態に係る距離画像センサ10においては、2つのサブフレームに印加する制御パルスG1~G4のタイミング及び種類を変更してもよく、2つのサブフレームの期間TC1,TC2は異なっていてもよい。すなわち、1フレームにおける一方のサブフレーム期間においてパルス光LPの印加タイミングの直後に制御パルスG1~G4をこの順に印加するようにタイミングを設定し、他方のサブフレームにおいて、パルス光LPの印加タイミングの直後に制御パルスG3,G4をこの順に印加し、M系列に応じて1フレーム内における制御パルスG1,G2のそれぞれのタイミングを制御パルスG3,G4のそれぞれのタイミングに入れ替える。
【0060】
図12は、上記変形例によって扱われる各種信号のタイミング、及び変形例によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。この場合も、距離画像センサ10には1フレーム期間ほどずれたタイミングで他の距離画像センサから混入したパルス光L
Pが存在していると仮定し、対象物Sがパルス光L
Pの往復の飛行時間(TOF)が0.5T
Pの位置に存在した場合の検出信号の値を示している。
図12において、(a)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて発生する第1~第4の制御パルスG
1~G
4のタイミングとを示し、(b)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて距離画像センサ10内に入射するパルス光L
PのタイミングLP(A
0)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
4の値とを示し、(c)部には、他の距離画像センサ内で発生するM系列A
1と、それに応じて他の距離画像センサから混入するパルス光L
PのタイミングLP(A
1)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
4の値とを示す。
【0061】
この例で示す検出信号S1~S4の値を基に、パルス光LPの混信が発生していない場合と、パルス光LPの混信が発生している場合とでの距離画像センサ10での距離計算結果を評価した。その結果、上記式(4)を計算することにより、パルス光LPの混信が発生していない場合の距離計算参照信号XRは、下記式;
XR=1-3.5/7=0.5
と計算され、パルス光LPの混信が発生している場合の距離計算参照信号XRは、下記式;
XR=1-3/6=0.5
と計算され、どちらの場合も同一の距離計算の結果が得られる。
【0062】
同様に、飛行時間(TOF)が1.0TP、1.5TPの位置に対象物Sが存在した場合の距離計算の結果を評価した結果、パルス光LPの混信が発生していない場合とパルス光LPの混信が発生している場合とで同一の計算結果XR=1.0、1.5が得られることが分かった。また、飛行時間(TOF)が2.5TPの位置に対象物Sが存在した場合の距離計算の結果を評価した結果、パルス光LPの混信が発生していない場合とパルス光LPの混信が発生している場合とで同一の計算結果YR=2.5が得られることも分かった。このことから、本変形例によっても、パルス光LPの混信による距離計算精度の低下が低減されることが示された。
【0063】
次に、8タップの構成を有する変形例の機能について説明する。
【0064】
8タップの構成を有する変形例にかかる演算回路12の電荷転送制御手段は、1フレームの期間内で第1~第8の制御パルスG1~G8のタイミングを制御する機能を有する。詳細には、1フレームの期間内の2つのサブフレーム内のそれぞれにおいて制御パルスG1~G8が持続時間TPで互いに重複しないような連続したタイミングに設定される。この2つのサブフレームで設定される制御パルスG1~G8のタイミングは、1フレーム内の2つのサブフレーム間で制御パルスG1,G2,G5,G6のそれぞれのタイミングと制御パルスG3,G4,G7,G8のそれぞれのタイミングとを入れ替えたものに設定される。すなわち、電荷転送制御手段は、距離計算手段39による距離計算に用いる差分値の基となる電荷量に対応する2つの制御パルスを互いに入れ替えるように設定する。
【0065】
図13及び
図14のそれぞれには、2つのサブフレームのそれぞれにおける本変形例が生成する各種信号のタイミングチャート及び本変形例が計算する各種値の遅れ時間T
Dに対する変化を示している。
図10において、(a)部から(i)部には、それぞれ、制御パルスG
1~G
8及びパルス光L
Pのタイミングを示し、(j)部~(r)部には、それぞれ、差分値S
13=S
1-S
3,S
24=S
2-S
4,S
57=S
5-S
7,S
68=S
6-S
8の値、それらの加算値S
13+S
57,S
24+S
68の値、それらの絶対値の加算値|S
13|+|S
24|,|S
57|+|S
68|の値、及び距離データ有効性判定信号S
Aの値を、遅れ時間T
Dに対応して示している。
【0066】
本変形例の距離計算手段39は、検出信号S1~S8を基にした画素ごとの距離情報の計算の際には、計算した差分値S13,S24,S57,S68のそれぞれと予め設定された閾値QTH+,QTH-とを比較することによって識別パターン(PA,PB,PC,PD)を生成し、それを基に対象物Sが位置するゾーンを6つのゾーンZ1~Z6から判別する。そして、距離計算手段39は、以下の計算式の中から判別したゾーンZ1~Z6に対応した計算式を選択して用いて距離情報Lを計算する(cは光速を示す)。
ゾーンZ1:L=(1/2)cTP{-(Q13+Q57)/SA+1},
ゾーンZ2:L=(1/2)cTP{-(Q24+Q68)/SA+2},
ゾーンZ3:L=(1/2)cTP{(Q13+Q57)/SA+3},
ゾーンZ4:L=(1/2)cTP{(Q24+Q68)/SA+4},
ゾーンZ5:L=(1/2)cTP{-(Q13+Q57)/SA+5},
ゾーンZ6:L=(1/2)cTP{-(Q24+Q68)/SA+6}
【0067】
ここで、飛行時間(TOF)が0.5TPの位置に対象物Sが存在した場合を想定して、パルス光LPの混信が発生していない場合と、パルス光LPの混信が発生している場合とでの本変形例による距離計算結果を評価した。ゾーンZ1に対応する計算式を用いて距離情報を計算したところ、パルス光LPの混信が発生していない場合の距離情報L、及びパルス光LPの混信が発生している場合の距離情報Lがともに、
L=(1/2)cTP×0.5
と計算され、どちらの場合も同一の距離計算の結果が得られた。
【0068】
同様に、飛行時間(TOF)が1.0TPの位置に対象物Sが存在した場合の距離計算の結果をゾーンZ1に対応する計算式を用いて評価した結果、パルス光LPの混信が発生していない場合とパルス光LPの混信が発生している場合とで同一の距離情報L=(1/2)cTP×1.0が得られることが分かった。また、飛行時間(TOF)が1.5TP,2.0TPの位置に対象物Sが存在した場合の距離計算の結果をゾーンZ2に対応する計算式を用いてそれぞれ評価した結果、パルス光LPの混信が発生していない場合とパルス光LPの混信が発生している場合とで同一の距離情報L=(1/2)cTP×1.5,L=(1/2)cTP×2.0が得られることも分かった。また、飛行時間(TOF)が6.0TP,6.5TPの位置に対象物Sが存在した場合の距離計算の結果をゾーンZ6に対応する計算式を用いてそれぞれ評価した結果、パルス光LPの混信が発生していない場合とパルス光LPの混信が発生している場合とで同一の距離情報L=(1/2)cTP×6.0,L=(1/2)cTP×6.5が得られることも分かった。このことから、本変形例によっても、パルス光LPの混信による距離計算精度の低下が低減されることが示された。
【0069】
ここで、上述した実施形態および変形例によれば、パルス光LPが混信した場合でも距離計算の誤差を低減できることが示された。それに加えて、上述した実施形態および変形例は、近くに配置された他の距離画像センサからの光を直接受けた場合でも誤った距離情報を取得することを防止することもできる。
【0070】
すなわち、対象物Sが遠方に存在する等の状況により対象物Sが測定可能な範囲に存在しないが、4タップの構成の距離画像センサ10の光電変換領域21に他の距離画像センサからのパルス光LPが直接入射する状況を想定する。そのような状況下であっても、距離画像センサ10の距離計算手段39は、予め適切な値に設定された閾値Th1と距離データ有効性判定信号SAの値とを比較することにより、検出信号S1~S4を用いた距離計算が無効であると判定することができ、誤った距離情報の生成を防止できる。
【0071】
図15は、距離画像センサ10の演算回路12によって扱われる各種信号のタイミング、及び演算回路12によって各フレーム期間毎に検出される検出信号の値の変化を示す図である。この場合、距離画像センサ10には、1フレーム期間ほどずれたタイミングで、パルス光L
Pの飛行時間が0.5T
Pの位置に存在する他の距離画像センサから直接入射するパルス光L
Pが存在していると仮定し、対象物Sからのパルス光L
Pの反射光が入射していない場合の検出信号の値を示している。
図15において、(a)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて発生する第1~第4の制御パルスG
1~G
4のタイミングとを示し、(b)部には、距離画像センサ10内で発生するM系列A
0と、それに応じて距離画像センサ10内に入射するパルス光L
PのタイミングLP(A
0)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
4の値とを示し、(c)部には、他の距離画像センサ内で発生するM系列A
1と、それに応じて他の距離画像センサから混入するパルス光L
PのタイミングLP(A
1)と、そのパルス光L
Pに起因して生じる検出信号S
1~S
4の値とを示す。
【0072】
上記の例においては、距離計算手段39が、距離データ有効性判定信号SAを、
SA=0.5+0.5=1.0
と計算し、閾値Th1を1.0以上に設定することにより、距離計算が無効であると判定することができる。その結果、誤った距離情報の生成を未然に防止できる。
【0073】
ここで、上記実施形態では、擬似乱数発生手段は、PN系列を発生させ、光源制御手段は、PN系列の値に応じて、パルス光の発生タイミングをフレーム期間内で第1のタイミングと第2のタイミングとの間で変更し、電荷転送制御手段は、PN系列の値に応じて、第1~第Mの制御パルスのうちの第1のタイミングの直後に印加する制御パルスを、第1~第Mの制御パルスのうちの第2のタイミングの直後に印加する制御パルスと入れ替える、ことが好ましい。かかる構成を採れば、複数の距離画像測定装置が同時測定を実行してパルス光を発生させた場合であっても、外部の距離画像測定装置から混入するパルス光による2つの電荷量の差分値への影響を相殺させることができる。その結果、複数の距離画像測定装置が同時測定を実行した場合であっても、混入するパルス光の存在による距離計算の誤差をより一層低減することができる。
【0074】
また、光源制御手段は、PN系列の値に応じて、パルス光の発生タイミングを、フレーム期間における第1のサブフレーム内とフレーム期間内における第2のサブフレーム内との間で変更し、電荷転送制御手段は、PN系列の値に応じて、第1~第Mの制御パルスのうちの第1のサブフレーム内で印加する制御パルスの順番と、第1~第Mの制御パルスのうちの第2のサブフレーム内で印加する制御パルスの順番とを入れ替える、ことも好ましい。この場合も、複数の距離画像測定装置が同時測定を実行してパルス光を発生させた場合であっても、外部の距離画像測定装置から混入するパルス光による2つの電荷量の差分値への影響を相殺させることができる。その結果、複数の距離画像測定装置が同時測定を実行した場合であっても、混入するパルス光の存在による距離計算の誤差をより一層低減することができる。
【0075】
さらに、擬似乱数発生手段は、M系列を発生させる、ことも好ましい。このような構成によれば、簡易に均一性の高いPN系列を発生させることができ、簡易な構成によって混入するパルス光の存在による距離計算の誤差を低減することができる。
【0076】
またさらに、画素回路部が半導体チップ上に2次元アレイ状に配列され、光源制御手段、電荷転送制御手段、信号読出手段、及び擬似乱数発生手段は、半導体チップ上に構成されている、ことも好ましい。この場合、装置全体の小型化を容易に実現することができる。
【産業上の利用可能性】
【0077】
本発明の一側面は、距離画像測定装置、距離画像測定システム、及び距離画像測定方法を使用用途とし、複数の装置が同時に使用された場合に十分に測定精度を向上させることができるものである。
【符号の説明】
【0078】
10…距離画像センサ、LP…パルス光、LR…入射パルス光、S…対象物、221~224…電荷読出領域、241~244…制御電極、261~264…電圧検出手段、11…光源、12…演算回路、13…画素回路(画素回路部)、21…光電変換領域、31…光源ドライバ、32…画素ドライバ、33…パルスパターン発生回路、34…パルス発生回路、35…擬似乱数発生回路、36…ゲーティング回路、37…ゲーティング回路、38…信号読出回路(信号読出手段)、39…距離計算手段。