(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】距離画像撮像装置及び距離画像撮像方法
(51)【国際特許分類】
G01S 17/894 20200101AFI20241106BHJP
G01S 17/10 20200101ALI20241106BHJP
G01S 7/483 20060101ALI20241106BHJP
【FI】
G01S17/894
G01S17/10
G01S7/483
(21)【出願番号】P 2021008799
(22)【出願日】2021-01-22
【審査請求日】2023-12-20
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】畠山 邦広
(72)【発明者】
【氏名】高橋 聡
【審査官】藤脇 昌也
(56)【参考文献】
【文献】国際公開第2016/208214(WO,A1)
【文献】特開2016-99233(JP,A)
【文献】特開2020-65236(JP,A)
【文献】特許第7535793(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
G01S 17/00 - 17/95
G01C 3/00 - 3/32
(57)【特許請求の範囲】
【請求項1】
測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、
光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路と
を有する受光部と、
前記測定空間に前記光パルスを照射する光源部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記受光部から前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、
前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度に応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める測定制御部と
を備え、
前記測定制御部が、
前記受光部からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行う
ことを特徴とする距離画像撮像装置。
【請求項2】
前記測定制御部が、前記画素回路の各々が配置された任意の領域内において最も近距離と測定された前記測定距離に基づき、前記ゾーン閾値の各々と比較することにより、当該測定距離の含まれる前記計測ゾーンの判定を行う
ことを特徴とする請求項1に記載の距離画像撮像装置。
【請求項3】
測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、
光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路と
を有する受光部と、
前記測定空間に前記光パルスを照射する光源部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記受光部から前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、
前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度に応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める測定制御部と
を備え、
前記蓄積電荷量を、予め設定された基準の蓄積電荷量である基準電荷量により除算し、除算結果を電荷量比として、複数の前記電荷量比に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行う
ことを特徴とする距離画像撮像装置。
【請求項4】
前記測定制御部が、前記画素回路の各々が配置された任意の領域内において最も高い電荷量比に基づき、前記ゾーン閾値の各々と比較することにより、当該電荷量比の含まれる前記計測ゾーンの判定を行う
ことを特徴とする請求項3に記載の距離画像撮像装置。
【請求項5】
前記測定制御部が、所定の前記積算回数の間引き動作を行う際、時系列に行われる積算処理の各々から、積算処理を間引く非積算処理とする積算処理の時間位置をランダムに決定する
ことを特徴とする前記請求項1から請求項4のいずれか一項に記載の距離画像撮像装置。
【請求項6】
前記電荷蓄積部に蓄積される背景光により発生した電荷量である背景光電荷量を求め、前記計測ゾーンにおける複数の間引き回数から、前記背景光電荷量に対応して前記間引き回数を選択する
ことを特徴とする請求項1から請求項5のいずれか一項に記載の距離画像撮像装置。
【請求項7】
所定の距離及び所定の反射率の物体からの反射光で発生する電荷量を前記基準電荷量とした場合、当該基準電荷量が前記電荷蓄積部の蓄積電荷容量を超えないように、光パルスの幅であるパルス幅、前記電荷蓄積部における蓄積時間及び前記積算回数が設定されている
ことを特徴とする請求項3または請求項4に記載の距離画像撮像装置。
【請求項8】
前記基準電荷量が背景光及び所定の距離において所定の反射率の物体からの反射光により発生する電荷量として求められ、
前記測定制御部が、
前記電荷量比を求める際に用いる前記蓄積電荷量として、前記基準電荷量を求める際に用いた前記電荷蓄積部における蓄積電荷量を用いる
ことを特徴とする請求項3、請求項4、請求項7のいずれか一項に記載の距離画像撮像装置。
【請求項9】
前記基準電荷量が、所定の距離及び所定の反射率の各々において設定されている場合、前記電荷量比が、前記距離による減衰率及び前記反射率による減衰率の各々に対して相関を有する
ことを特徴とする請求項3、請求項4、請求項7、請求項8のいずれか一項に記載の距離画像撮像装置。
【請求項10】
前記測定制御部が、
前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、前記測定距離が現在の計測ゾーンの距離の範囲と異なる計測ゾーンにおける距離の範囲において検出するまで、同一の前記積算回数を使用し続ける
ことを特徴とする請求項1または請求項2に記載の距離画像撮像装置。
【請求項11】
前記測定制御部が、
前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、現在の計測ゾーンと異なる計測ゾーンに含まれる前記電荷量比を検出するまで、同一の前記積算回数を使用し続ける
ことを特徴とする請求項3から請求項4のいずれか一項に記載の距離画像撮像装置。
【請求項12】
前記間引処理において、前記電荷蓄積部に電荷の蓄積を行わない非積算処理を行う際、前記光源部に対して光パルスを放射させず、かつ前記電荷蓄積部に対して前記電荷の振り分けを行わない
ことを特徴とする請求項1から請求項11のいずれか一項に記載の距離画像撮像装置。
【請求項13】
前記電荷蓄積部に前記電荷を蓄積する時間以外、前記光電変換素子が発生した前記電荷を排出する電荷排出回路が前記画素回路に備えられている
ことを特徴とする請求項1から請求項12のいずれか一項に記載の距離画像撮像装置。
【請求項14】
光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、
前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間からの入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、
前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、
前記測定制御部が、前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度に応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める際、前記距離画像撮像装置からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行う過程と
を含むことを特徴とする距離画像撮像方法。
【請求項15】
光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、
前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、
前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、
前記測定制御部が、前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度に応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める際、前記蓄積電荷量を、予め設定された基準の蓄積電荷量である基準電荷量により除算し、除算結果を電荷量比として、複数の前記電荷量比に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行う過程と
を含むことを特徴とする距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定するタイム・オブ・フライト(Time of Fright、以下「ToF」と記す)方式の距離画像撮像装置がある(例えば、特許文献1参照)。
ToF方式距離画像撮像装置は、光を照射する光源部と、距離を測定するための光を検出する画素回路が二次元の行列状(アレイ状)に複数配置された画素アレイを含む撮像部を備えている。上記画素回路の各々は、光の強度に対応する電荷を発生する光電変換素子(例えば、フォトダイオード)を構成要素として有している。
この構成により、ToF方式距離画像撮像装置は、測定空間(三次元空間)において、自身と被写体との間の距離の情報や、被写体の画像を取得(撮像)することができる。
【0003】
ToF方式距離画像撮像装置は、放射光を放射したタイミングから、被写体により反射した反射光を受光したタイミングまでの遅延時間により距離の計測を行う。
しかし、入射される入射光の強度に応じて光センサが発生する電荷量が変化するため、被写体までの距離が増加するに従い、反射光の強度が低下してしまう(光の強度は距離の二乗に反比例)。
ToF方式距離画像撮像装置は、電荷蓄積部に蓄積された電荷量に基づいて上記遅延時間を求めるため、信号とノイズとのSN比が大きくなるほど測定精度が向上する。
【0004】
このため、ToF方式距離画像撮像装置(以下、単に距離画像撮像装置)から被写体まで距離に対応して、光電変換素子が入射光の強度に応じて生成した電荷を電荷蓄積部に蓄積する時間である露光時間を変化させる(オートエクスポージャ)ことが行われている(例えば、特許文献2参照)。
これにより、遠ければ遠くなるほど電荷を蓄積する露光時間を増加させて、TOFセンサの電荷蓄積部に蓄積される電荷量を増加させることにより、距離の計測精度を保つ。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2004-294420号公報
【文献】特開2012-185171号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、光の強度が被写体との距離に反比例するため、予め遠距離の物体に合わせて積算回数(露光時間)を設定した場合、被写体の各々の反射率が異なり、反射率の高い被写体からの反射光で発生される電荷により電荷蓄積部が飽和してしまう。
また、測定距離の精度を向上させるために遠距離の被写体に合わせて積算回数(露光時間)を設定した際、距離画像撮像装置から被写体の各々までの距離が不明であるため、近距離に被写体が存在した場合、当該被写体からの反射光の強度が大きくなり、近距離の被写体からの反射光で発生される電荷により電荷蓄積部が飽和し、測定する距離の精度が保てない。
【0007】
また、積算回数(露光時間)を多くするに従い、放射光が頻繁に放射されるため、他のTOF方式の距離画像撮像装置が同一環境下で動作している場合、片方または互いに他のTOF方式の距離画像撮像装置の放射光及び反射光を検出してしまい、対象物からの反射光を正確に検出できない。
【0008】
本発明は、このような状況に鑑みてなされたもので、測定空間における被写体の各々の反射率、及び距離画像撮像装置からの距離の各々が不明であっても、電荷蓄積部を飽和させることなく、所定の精度における距離の計測に必要な電荷量を蓄積させる蓄積回数を設定し、他の距離画像撮像装置の放射する放射光の影響を低減することが可能な距離画像撮像装置及び距離画像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0009】
上述した課題を解決するために、本発明の距離画像撮像装置は、測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間に前記光パルスを照射する光源部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記受光部から前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度とに応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める測定制御部とを備え、前記測定制御部が、前記受光部からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行うことを特徴とする。
【0010】
本発明の距離画像撮像装置は、前記測定制御部が、前記画素回路の各々が配置された任意の領域内において最も近距離と測定された前記測定距離に基づき、前記ゾーン閾値の各々と比較することにより、当該測定距離の含まれる前記計測ゾーンの判定を行うことを特徴とする。
【0011】
本発明の距離画像撮像装置は、測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間に前記光パルスを照射する光源部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記受光部から前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度とに応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める測定制御部とを備え、前記蓄積電荷量を、予め設定された基準の蓄積電荷量である基準電荷量により除算し、除算結果を電荷量比として、複数の前記電荷量比に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行うことを特徴とする。
【0012】
本発明の距離画像撮像装置は、前記測定制御部が、前記画素回路の各々が配置された任意の領域内において最も高い電荷量比に基づき、前記ゾーン閾値の各々と比較することにより、当該電荷量比の含まれる前記計測ゾーンの判定を行うことを特徴とする。
【0013】
本発明の距離画像撮像装置は、前記測定制御部が、所定の前記積算回数の間引き動作を行う際、時系列に行われる積算処理の各々から、積算処理を間引く非積算処理とする積算処理の時間位置をランダムに決定することを特徴とする。
【0014】
本発明の距離画像撮像装置は、前記電荷蓄積部に蓄積される背景光により発生した電荷量である背景光電荷量を求め、前記計測ゾーンにおける複数の間引き回数から、前記背景光電荷量に対応して前記間引き回数を選択することを特徴とする。
【0015】
本発明の距離画像撮像装置は、所定の距離及び所定の反射率の物体からの反射光で発生する電荷量を前記基準電荷量とした場合、当該基準電荷量が前記電荷蓄積部の蓄積電荷容量を超えないように、光パルスの幅である光パルス幅、前記電荷蓄積部における蓄積時間及び前記積算回数が設定されていることを特徴とする。
【0016】
本発明の距離画像撮像装置は、前記基準電荷量が背景光及び所定の距離において所定の反射率の物体からの反射光により発生する電荷量として求められ、前記測定制御部が、前記電荷量比を求める際に用いる前記蓄積電荷量として、前記基準電荷量を求める際に用いた前記電荷蓄積部における蓄積電荷量を用いることを特徴とする。
【0017】
本発明の距離画像撮像装置は、前記基準電荷量が、所定の距離及び所定の反射率の各々において設定されている場合、前記電荷量比が、前記距離による減衰率及び前記反射率による減衰率の各々に対して相関を有することを特徴とする。
【0018】
本発明の距離画像撮像装置は、前記測定制御部が、前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、前記測定距離が現在の計測ゾーンの距離の範囲と異なる計測ゾーンにおける距離の範囲において検出するまで、同一の前記積算回数を使用し続けることを特徴とする。
【0019】
本発明の距離画像撮像装置は、前記測定制御部が、前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、現在の計測ゾーンと異なる計測ゾーンに含まれる前記電荷量比を検出するまで、同一の前記積算回数を使用し続けることを特徴とする。
【0020】
本発明の距離画像撮像装置は、前記間引処理において、前記電荷蓄積部に電荷の蓄積を行わない非積算処理を行う際、前記光源部に対して光パルスを放射させず、かつ前記電荷蓄積部に対して前記電荷の振り分けを行わないことを特徴とする。
【0021】
本発明の距離画像撮像装置は、前記電荷蓄積部に前記電荷を蓄積する時間以外、前記光電変換素子が発生した前記電荷を排出する電荷排出回路が前記画素回路に備えられていることを特徴とする。
【0022】
本発明の距離画像撮像方法は、光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間からの入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、前記測定制御部が、前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度とに応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める際、前記距離画像撮像装置からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行う過程とを含むことを特徴とする。
【0023】
本発明の距離画像撮像方法は、光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、前記測定制御部が、前記電荷蓄積部に蓄積された電荷量である蓄積電荷量、前記距離及び前記入射光の光強度とに応じて、前記電荷の蓄積を行う積算処理の回数である積算回数において、前記電荷蓄積部の各々に電荷の蓄積を行わない間引処理の回数である間引き回数を求める際、前記蓄積電荷量を、予め設定された基準の蓄積電荷量である基準電荷量により除算し、除算結果を電荷量比として、複数の前記電荷量比に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている間引き回数に対応して、前記電荷蓄積部に対する前記電荷の蓄積の制御を行う過程とを含むことを特徴とする。
【発明の効果】
【0024】
以上説明したように、本発明によれば、測定空間における被写体の各々の反射率、及び距離画像撮像装置からの距離の各々が不明であっても、電荷蓄積部を飽和させることなく、所定の精度における距離の計測に必要な電荷量を蓄積させる蓄積回数を設定し、他の距離画像撮像装置の放射する放射光の影響を低減することが可能な距離画像撮像装置及び距離画像撮像方法を提供することができる。
【図面の簡単な説明】
【0025】
【
図1】本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。
【
図2】本発明の第1の実施形態の距離画像撮像装置における距離画像センサ32に配置された画素回路321の構成の一例を示した回路図である。
【
図3】光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
【
図4】第1の実施形態の距離画像撮像装置における測定制御部43の構成例を示すブロック図である。
【
図5】第1の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
【
図6】間引回数テーブル記憶部436における計測ゾーン毎に設定されている間引回数テーブルの一例を示す図である。
【
図7】反射光RLにより発生する電荷量と背景光により発生する電荷量との対応関係を示す図である。
【
図8】アイセーフにおける積算回数及び光パルス周期の各々と、最大許容露光量との関係を示す図である。
【
図9】稼働制御部434による補正積算回数に対応した光源部2及び受光部3の各々の制御の他の一例を示す概念図である。
【
図10】第1の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。
【
図11】第2の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
【
図12】第2の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【0026】
<第1の実施形態>
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。
図1に示した構成の距離画像撮像装置1は、ToF方式の距離画像撮像装置であり、光源部2と、受光部3と、距離画像処理部4とを備える。なお、
図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。距離画像撮像素子は、例えば、受光部3における距離画像センサ32(後述)である。
【0027】
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
【0028】
光源装置21は、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体Sに照射される。
【0029】
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素回路に受光(入射)させる。
【0030】
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域にアレイ状(2次元配列であり、言い換えると格子状)に配列された複数の画素回路321、画素回路321の各々を制御する画素駆動回路322と備える。
上記画素回路321は、1つの光電変換素子(例えば、後述する光電変換素子PD)と、この1つの光電変換素子に対応する複数の電荷蓄積部(例えば、後述する電荷蓄積部CS1からCS4)と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられている。
【0031】
距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素回路が二次元の行列状に配置されており、それぞれの画素回路の対応する1フレーム分の画素信号を出力する。
【0032】
距離画像処理部4は、距離画像撮像装置1を制御し、被写体Sまでの距離を演算する。
距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43とを備える。
タイミング制御部41は、測定制御部43の制御に応じて、距離の測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号や、反射光RLを複数の電荷蓄積部に振り分ける信号、1フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、後述する積算回数であり、フレームにおける蓄積期間を構成する単位蓄積期間毎に電荷蓄積部CS(
図2参照)に電荷を振り分ける処理を繰返す回数である。
【0033】
距離演算部42は、測定制御部43の制御に応じて、距離画像センサ32から出力された画素信号に基づいて、被写体Sまでの距離を演算した距離情報を出力する。距離演算部42は、複数の電荷蓄積部CSに蓄積された電荷量に基づいて、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Tdを算出する。距離演算部42は、算出した遅延時間Tdに応じて、距離画像撮像装置1から被写体Sまでの距離を演算する。
【0034】
測定制御部43は、被写体Sまでの距離に対応させて、電荷蓄積部が飽和しないように積算処理の間引きを行ない、すなわち積算回数から間引き回数を減算して補正積算回数を求める。
そして、測定制御部43は、間引いた後(減算した後)の補正積算回数によって、フレーム周期で繰返されるフレームの各々において、光源部2に光パルスPOを放射させ、制御をタイミング制御部41に後述する画素回路(画素回路321)における光電変換素子が入射光に対応して発生した電荷を電荷蓄積部に振分けて蓄積させ、距離演算部42における演算の制御を行わせる(後に詳述する)。
【0035】
すなわち、本実施形態による距離画像撮像装置は、電荷蓄積部CSに蓄積される電荷により、被写体と距離画像センサ32との距離を算出する。このため、測定距離(距離画像撮像装置1と被写体との間の測定した距離)の計算において、入射光の強度が高く、光電変換素子において発生する電荷が、電荷蓄積部CSの容量を超えてしまう場合、測定距離の計算によって、距離画像撮像装置1と被写体Sとの距離を正確に求めることができない。
また、距離画像撮像装置1から被写体Sまでの距離が遠くなる従い、また被写体Sの反射率が低い程、被写体Sで光パルスPOが反射して生成される反射光の強度が低下する。このため、光電変換素子において反射光により発生する電荷も減少するため、ノイズよって影響を受けて測定距離の計算の精度が低下するため、積算回数を増加させる必要がある。
【0036】
上述した処理を電荷蓄積部に蓄積される電荷量により、積算回数、あるいは光パルスPOの放射回数を制御するオートエクスポージャの処理が行われる。
ここで、反射光の強度が低下した場合、積算回数を増加させて、反射光によって光電変換素子で発生する電荷の蓄積回数を増加させることにより、測定距離の計算に必要な電荷量が電荷蓄積素子に蓄積され、得られる距離の精度が向上する。
【0037】
一方、距離の計測を行うために、単に積算回数を増加させた場合、光パルスPOの放射回数が増加し、積極的に人間を含めた被写体に対してレーザー光を意図的に照射し続けてしまう。
このため、本実施形態においては、被写体に人間が含まれることを考慮し、人間に対するレーザー光の影響を低減させ、アイセーフの安全基準を満たす(例えば、最大許容露光量を超えない露光量に抑制するなどの)計測制御を行う(詳細な処理は後述)。
【0038】
このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sと距離画像撮像装置1との距離を測定した距離情報を出力する。
なお、
図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
【0039】
ここで、距離画像センサ32における画素回路321の構成について説明する。
図2は、本発明の第1の実施形態の距離画像撮像装置における距離画像センサ32に配置された画素回路321の構成の一例を示した回路図である。
図2の画素回路321は、例えば、4つの画素信号読み出し部RU1からRU4を備えた構成例である。本実施形態における画素回路321の構成は、一例であり、画素信号読み出し部は3個以上の複数個、すなわちn個(n≧3)の構成を有する。
【0040】
画素回路321は、1つの光電変換素子PDと、電荷排出トランジスタGDと、対応する出力端子Oから電圧信号を出力する4つの画素信号読み出し部RU(RU1からRU4)とを備える。画素信号読み出し部RUのそれぞれは、転送トランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットトランジスタRTと、ソースフォロアトランジスタSFと、選択トランジスタSLとを備える。フローティングディフュージョンFD(FD1、FD2、FD3、FD4)と電荷蓄積容量C(C1、C2、C3、C4)とは、電荷蓄積部CS(CS1、CS2、CS3、CS4)を構成している。
【0041】
図2に示した画素回路321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、転送トランジスタG1(転送MOSトランジスタ)と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットトランジスタRT1と、ソースフォロアトランジスタSF1と、選択トランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2、RU3及びRU4も同様の構成である。
【0042】
光電変換素子PDは、入射した光を光電変換して、入射した光(入射光)に応じた電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。本実施形態においては、入射光は測定対象の空間から入射される。
画素回路321では、光電変換素子PDが入射光を光電変換して発生させた電荷を4つの電荷蓄積部CS(CS1からCS4)のそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、距離画像処理部4に出力する。
また、距離画像センサ32に配置される画素回路の構成は、
図2に示したような、4つの画素信号読み出し部RU(RU1からRU4)を備えた構成に限定されるものではなく、画素信号読み出し部RUが1個以上の複数の画素信号読み出し部RUを備えた構成の画素回路でもよい。
【0043】
上記距離画像撮像装置1の画素回路321の駆動において、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ32に受光される。画素駆動回路322は、タイミング制御部41に制御により、光パルスPOの照射に同期させて、光電変換素子PDに発生する電荷を、転送トランジスタG1、G2、G3、G4に対して、蓄積駆動信号TX1からTX4をそれぞれのタイミングにより供給して振り替えて、電荷蓄積部CS1、CS2、CS3、CS4の順に蓄積させる。
【0044】
そして、画素駆動回路322は、リセットトランジスタRT及び選択トランジスタSLの各々を、駆動信号RST、SELそれぞれにより制御し、電荷蓄積部CSに蓄積された電荷を、ソースフォロアトランジスタSFにより電気信号に変換し、生成された電気信号を出力端子Oを介して距離演算部42に出力する。
また、画素駆動回路322は、タイミング制御部41に制御により、駆動信号RSTDにより、光電変換素子PDにおいて発生された電荷を電源VDDに流して放電する(電荷を消去する)。
【0045】
図3は、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
図3のタイミングチャートにおいて、縦軸はパルスのレベルを示し、横軸は時間を示している。また、フレームにおける電荷の蓄積期間に繰返される単位蓄積期間の蓄積周期を示している。光パルスPO及び反射光RLの時間軸における相対関係と、転送トランジスタG1からG4の各々に供給する蓄積駆動信号TX1からTX4それぞれのタイミングと、電荷排出トランジスタGDに供給する駆動信号RSTDのタイミングとを示している。
【0046】
タイミング制御部41は、光源部2に対して光パルスPOを測定空間に対して照射させる。これにより、光パルスPOが被写体に反射し、反射光RLとして受光部3に受講される。そして、光電変換素子PDは、背景光及び反射光RLの各々に対応した電荷を発生する。画素駆動回路322は、光電変換素子PDの発生した電荷を、電荷蓄積部CS1からCS4の各々に対して転送するため、転送トランジスタG1からG4の各々のオンオフを制御する。
すなわち、画素駆動回路322は、蓄積駆動信号TX1からTX4の各々を、所定の時間幅(照射時間Toすなわちパルス幅と同一の幅)の「H」レベルの信号として、転送トランジスタG1からG4それぞれに供給する。
【0047】
画素駆動回路322は、例えば、光電変換素子PDから電荷を電荷蓄積部CS1に転送する転送経路上に設けられた転送トランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、転送トランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、画素駆動回路322は、転送トランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。このようにして、画素駆動回路322は、電荷蓄積部CS1に電荷を蓄積させる。他の電荷蓄積部CS2、CS3及びCS4においても同様である。
【0048】
このとき、電荷蓄積部CSに電荷の振り分けを行なう電荷蓄積期間(フレームにおける電荷蓄積部CSの各々に電荷を蓄積する期間)において、蓄積駆動信号TX1、TX2、TX3、TX4の各々が、転送トランジスタG1、G2、G3、G4それぞれに供給される蓄積周期(電荷を蓄積して積算する周期)が繰返される。
そして、転送トランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、光電変換素子PDから入射光に対応した電荷が転送される。電荷蓄積期間に複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における電荷蓄積部CS1、CS2、CS3及びCS4の各々の蓄積周期毎に、電荷蓄積部CS1、CS2、CS3、CS4それぞれに電荷が蓄積される。
【0049】
また、画素駆動回路322は、電荷蓄積部CS1、CS2、CS3及びCS4の各々の蓄積周期を繰返す際、電荷蓄積部CS4に対する電荷の転送(振替)が終了した後、光電変換素子PDから電荷を排出する排出経路上に設けられた電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
これにより、電荷排出トランジスタGDは、電荷蓄積部CS1に対する蓄積周期が開始される前に、直前の電荷蓄積部CS4の蓄積周期の後に光電変換素子PDに発生した電荷を破棄する(すなわち、光電変換素子PDをリセットさせる)。
【0050】
そして、画素駆動回路322は、受光部3内に配置された全ての画素回路321の各々から、それぞれ電圧信号を画素回路321の行(横方向の配列)単位で、順次A/D変換処理などの信号処理を行なう。
その後、画素駆動回路322は、信号処理を行った後の電圧信号を、受光部3において配置された列の順番に、順次、距離算出部42出力させる。
【0051】
上述したような、画素駆動回路322による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に相当する電荷が、電荷蓄積部CSのそれぞれに蓄積される。画素駆動回路322は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号を、距離演算部42に出力する。
【0052】
光パルスPOを照射するタイミングと、電荷蓄積部CS(CS1からCS4)のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、CS3及びCS4には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部CS2及びCS3、あるいは電荷蓄積部CS3及びCS4に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
【0053】
図1に戻り、距離演算部42は、この原理を利用して、以下の(1)あるいは(2)式により、遅延時間Tdを算出する。
Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) …(1)
Td=To+To×(Q4-Q1)/(Q3+Q4-2×Q1) …(2)
ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、Q4は電荷蓄積部CS4に蓄積された電荷量を示す。距離演算部42は、例えば、Q4=Q1である場合、(1)式で遅延時間Tdを算出し、一方、Q2=Q1である場合、(2)式で遅延時間Tdを算出する。
【0054】
(1)式においては、電荷蓄積部CS2及びCS3には反射光により発生された電荷が蓄積されるが、電荷蓄積部CS4には蓄積されない。一方、(2)式においては、電荷蓄積部CS3及びCS4には反射光により発生された電荷が蓄積されるが、電荷蓄積部CS2には蓄積されない。
なお、(1)式あるいは(2)式では、電荷蓄積部CS2、CS3及びCS4に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部CS1に蓄積された電荷量と同量であることを前提とする。
【0055】
距離演算部42は、(1)式あるいは(2)式で求めた遅延時間に、光速(速度)を乗算させることにより、被写体Sまでの往復の距離を算出する。
そして、距離演算部42は、上記で算出した往復の距離を1/2とする(遅延時間Td×c(光速度)/2)ことにより、距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離を求める。
【0056】
また、時間Trsは、
図3における蓄積周期の1サイクルにおける電荷蓄積部CS4に対する光電変換素子PDからの電荷の振分け終了後における、当該光電変換素子PDに入力光により発生した電荷が留まらない(溜らない)ように、電荷排出トランジスタGDに供給する駆動信号RSTDを「H」レベルとされる期間を示している。
そして、光パルスPOのパルス幅を一定として、上記時間Trsを調整することにより、光パルスPOの照射周期を任意に変更する制御を行うことができる。
【0057】
図4は、第1の実施形態の距離画像撮像装置における測定制御部43の構成例を示すブロック図である。
図4において、測定制御部43は、基準積算回数設定部431、ゾーン判定部432、間引回数選択部433、稼働制御部434、閾値記憶部435、間引回数テーブル記憶部436の各々を備えている。
基準積算回数設定部431は、被写体までの距離に応じた間引回数の各々を選択するため、閾値記憶部435から予め設定された基準積算回数を読み込む。
【0058】
この基準積算回数は、被写体Sまでの距離画像撮像装置1からの距離、被写体Sの反射率が未知の場合に対応して設定された基準の積算回数である。ここで、光パルスのパルス幅は、所定の幅により設定されている。
また、基準積算回数は、例えば、反射率50%の物体が距離画像撮像装置1の最小測定距離(一例としては0.5m)にある際、光パルスPOが上記パルス幅において上記物体で反射されて生成された反射光RLにより光電変換素子PDが生成する電荷を、電荷蓄積部CSに蓄積し、当該電荷蓄積部CSに蓄積される電荷を積算していき、電荷蓄積部CSの蓄積容量の半分程度となる積算回数(後述するベース積算回数からすでに所定の間引回数が減算された回数)として求めている。
【0059】
ゾーン判定部432は、上記基準積算回数において距離演算部42が求めた、受光部3における画素回路321の各々の中で最小の距離を参照測定距離として抽出する。
そして、ゾーン判定部432は、抽出した参照測定距離を予め設定されている距離閾値(ゾーン閾値、例えば、後述する距離閾値LB1、LB2)と比較し、参照測定距離がいずれの計測ゾーンに含まれているかの判定を行う。
【0060】
図5は、第1の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
計測ゾーンは、距離画像撮像装置1から距離の近い順番に計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々が設けられている。ここで、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々は、距離閾値LB1、距離閾値LB2それぞれによりゾーンの境界が設定されている。
【0061】
また、距離閾値LB1及び距離閾値LB2は、LB1<LB2の関係(LB2がLB1より大きい距離の関係)にあり、アイセーフを満たす積算回数と光パルスを照射する周期であるパルス周期とを満たすように、測定距離の計測に必要な電荷量が取得できるか否かの実験などにより求められ、予め所定の距離として設定されている。
そして、ゾーン判定部432は、参照測定距離が距離閾値LB1未満であれば、物体が計測ゾーンZ1の距離範囲にあると判定する。
また、ゾーン判定部432は、参照測定距離が距離閾値LB1以上、かつ距離閾値LB2未満であれば、物体が計測ゾーンZ2の距離範囲にあると判定する。
ゾーン判定部432は、参照測定距離が距離閾値LB2以上であれば、物体が計測ゾーンZ3の距離範囲にあると判定する。
本実施形態においては、計測ゾーンを3個として説明しているが、2個以上の複数で形成されていれば、いずれでもよい。
【0062】
図4に戻り、間引回数選択部433は、間引回数テーブル記憶部436を参照し、ゾーン判定部432が判定した計測ゾーンにおいて設定されている複数の間引回数からいずれかを選択する。
すなわち、間引回数テーブル記憶部436には、計測ゾーン毎に間引回数テーブルが予め書き込まれて記憶されている。そして、間引回数テーブルは、背景光(外光量)の強度と間引回数とが対応付けて記憶されている。
【0063】
図6は、間引回数テーブル記憶部436における計測ゾーン毎に設定されている間引回数テーブルの一例を示す図である。
図6には、例えば、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々に対応する積算回数テーブルが示されている。
図6(a)は計測ゾーンZ1の間引回数テーブルTBL1を示し、
図6(b)は計測ゾーンZ2の間引回数テーブルTBL2を示し、
図6(c)は計測ゾーンZ3の間引回数テーブルTBL3を示している。
また、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の全てにおいて、光パルスPOのパルス幅、光パルス光の強度、電荷蓄積部CSへの蓄積時間(転送トランジスタGのオン時間)は同一かつ一定である。
【0064】
例えば、間引回数が0回の場合(間引をしない場合)の積算回数をベース積算回数として3500回とした際、計測ゾーンZ1において、背景光量が10万Lus(ルクス)の場合、すなわち電荷蓄積部CSの最大蓄積容量が4080LSB(east significant bit)としたとき背景光により蓄積される電荷量が3000LSBであり、間引回数は1500回である。
同様に、3万Lusの場合、背景光により蓄積される電荷量が1000LSBであり、間引回数は1000回である。また、1万Lusの場合、背景光により蓄積される電荷量が300LSBであり、間引回数は500回である。背景光がない場合、背景光により蓄積される電荷量が0LSBであり、間引回数は0回である。
【0065】
また、上述した説明においては、間引回数として記載したが、それぞれの計測ゾーンに対応した間引回数テーブルにおいて、間引率α(0≦α≦1)の各々を設定する構成としてもよい。この場合、間引回数選択部433は、計測ゾーンに対応する間引回数テーブルから間引率αを選択し、ベース積算回数対して選択した間引率αを乗算し、乗算結果を間引回数とする。
また、間引回数として記載したが、それぞれの計測ゾーンに対応した間引回数テーブルにおいて、補正率β(0≦α≦1)の各々を設定する構成としてもよい。この場合、間引回数選択部433は、計測ゾーンに対応する間引回数テーブルから補正率βを選択し、ベース積算回数対して選択した補正率βを乗算し、乗算結果を補正積算数とする。
【0066】
図7は、反射光RLにより発生する電荷量と背景光により発生する電荷量との対応関係を示す図である。
図7は、光パルスPOが被写体により反射された反射光RLと、反射光RL及び背景光(外光)により発生する電荷量を、電荷蓄積部CSに振分けるタイミングチャートを示している。
反射光RLのグラフは、縦軸は光パルスの強度レベルを示し、横軸は時間を示している。また、電荷量Q1、Q2、Q3及びQ4の各々は、転送トランジスタG1、G2、G3、G4それぞれのオンオフ動作による電荷蓄積部CS1、CS2、CS3、CS4に振分けられる電荷量である。電荷量Q1、Q2、Q3及びQ4のグラフは、縦軸が電荷量であり、横軸が時間である。
【0067】
図7(a)は背景光の強度が低い場合を示しており、反射光RLによる電荷量(信号量)を、電荷蓄積部CSに対してベース積算回数の回数分を蓄積しても、当該電荷蓄積部CSが飽和することはない。
一方、
図7(b)は背景光の強度が高い場合を示しており、反射光RLの強度が低く、当該反射光により発生する電荷量が少なくても、背景光により発生する電荷量により、電荷蓄積部CSが飽和する可能性がある。
そのため、背景光により発生する電荷量に対応して、ベース積算回数を電荷蓄積部CSが飽和しない積算回数(補正積算回数)とするため、ベース積算回数から減算する間引回数が設定されている。
【0068】
また、ベース積算回数は、アイセーフの安全基準を満たす(例えば、最大許容露光量(MPE:maximum permissible exposure)を超えない露光量に抑制するなどの)ため、光パルスPOの幅であるパルス幅及び光パルス周期の各々に対応して設定されている。
すなわち、単純に積算回数を増加させた場合、光源部2から放射される光パルスPOにより、人体の影響を規定した安全基準(所謂アイセーフなどが規定されたJIS C 6801)、上記最大許容露光量を満たせなくなる可能性がある。
そのため、ベース積算回数に対応して、光パルスPOのパルス幅及び光パルス周期の各々が設定される。
【0069】
図8は、アイセーフにおける積算回数及び光パルス周期の各々と、最大許容露光量との関係を示す図である。
図8において、縦軸が積算回数を示し、横軸がパルス周期を示している。また、パルス幅は、実線が8nsであり、破線が12nsであり、一点鎖線が16nsであり、二点鎖線が20nsである。
図8においては、所定の強度の光パルスPOのパルス幅の各々に対応して求められた、積算回数及びパルス周期の各々で決定される最大許容露光量の限界線を示している。
例えば、実線のパルス幅が8nsの光パルスを用いた場合、実線より上部の積算回数及びパルス幅の組合せは最大許容露光量を超えることを示している。他の破線のパルス幅12ns、一点鎖線のパルス幅16ns、二点鎖線のパルス幅20nsの各々については同様である。
【0070】
そして、例えば、光パルスPOが破線で示される12nsのパルス幅として設定されている際、パルス周期90nsにおいて積算回数を50000回から160000回に増加させた場合、積算回数及びパルス周期で決まる座標点が破線の上部に位置することになる。
すなわち、パルス周期90nsであり、かつ積算回数が160000回の場合、12nsのパルス幅で規定されるアイセーフの基準を上回ってしまう。
【0071】
このため、積算回数を160000とされた場合、パルス周期を110nsに延ばして、積算回数及びパルス周期で決まる座標点を破線の下部における位置に移動させる。
これにより、座標点が破線の下部に位置することになり、積算回数を160000回として、12nsのパルス幅による光パルスPOを繰返して160000回にわたって照射しても、12nsのパルス幅で規定されるアイセーフの基準を下回る(基準を満たす)。本実施形態においては、
図5に示すパルス幅、積算回数及びパルス周期の関係に基づき、使用する光パルスPOの強度及び光パルスPOのパルス幅に対応させて、積算回数毎にアイセーフの基準を満たす光パルス周期(すなわち、時間Trs)が設定されている。
【0072】
すなわち、上記ベース積算回数の照射条件における光パルス周期は、上記時間Trsを変化させることにより調整される(
図3参照)。ここで、光パルスPOが照射された時刻Tsから蓄積周期の終端までは、2To(パルス幅)+Trsとして求められ、パルス周期は3To+Trsとなる。
ここで、間引回数は、上述したように、電荷蓄積部CSの最大蓄積容量に対する計測により蓄積された電荷量により設定される。
一方、光パルス周期は、使用する光パルスの強度及びパルス幅と、設定されたベース積算回数とにより求められる最大許容露光量を超えない周期として求められる。
【0073】
また、光パルスPOを照射する照射周期が短い場合、設定した積算回数分を各電荷蓄積部CSに積算して蓄積した後に、電荷蓄積部CSの各々に蓄積された電荷を読み出す。
そして、電荷を読み出した後に、電荷蓄積部CSから読み出した電荷の電荷量によって、被写体までの距離計算や補正などの上述した各種処理を実施する。
このとき、1フレーム内の時間は限られているため、距離計算や補正などに用いることができる時間が長くなるほど、演算に要する負荷が低減されてシステムの動作は安定する。
このため、通常の設定においては、距離計算や補正などに用いることができる時間が長くなる観点から、光パルスPOを放射する照射周期は短いほど適している。
【0074】
一方、光パルスPOを放射する照射周期が短すぎると、遠くの被写体から反射した反射光が戻ってくるまでの遅延時間が長くなり、次の積算を行う照射周期において入射する可能性がある。
したがって、1回の積算時における照射時間Trsの長さを一定以上としているが、上述したように、照射周期が短い方がシステムの動作の安定性が向上するため、積算回数とアイセーフの観点も含めて、照射周期を設定する必要がある。
【0075】
図4に戻り、間引回数選択部433は、上述のようにベース積算回数から間引回数を減算し、あるいはベース積算回数に補正率βを乗算して求めた補正積算回数を、稼働制御部434に対して出力する。
稼働制御部434は、間引回数選択部433から補正積算回数が選択された場合、当該補正積算回数によって、フレーム周期で繰返されるフレームの各々において、光源部2に光パルスPOを放射させ、制御をタイミング制御部41に後述する画素回路(画素回路321)における光電変換素子が入射光に対応して発生した電荷を電荷蓄積部に振分けて蓄積させ、距離演算部42における演算の制御を行わせる。
【0076】
図9は、稼働制御部434による補正積算回数に対応した光源部2及び受光部3の各々の制御の一例を示す概念図である。
図9(a)は、1フレームの構成を示しており、複数の単位蓄積期間から構成される電荷を電荷蓄積部に蓄積する蓄積期間と、画素回路321の各々の電荷蓄積部CSのそれぞれに蓄積された蓄積電荷を順次読み出す読み出し期間とからフレームが構成されている。
単位蓄積期間505の各々は、補正積算回数として計数(カウント)される、反射光RLにより発生する電荷の蓄積を行う単位蓄積期間を示している。一方、単位蓄積期間506の各々は、間引回数として計数(カウント)される、反射光RLにより発生する電荷の蓄積を行わない単位蓄積期間を示している。
【0077】
図9(b)は、電荷蓄積部CSに対して、測定空間に光パルスPOを放射して、被写体からの反射光RLにより発生する電荷を電荷蓄積部に対して蓄積する処理が行われる単位蓄積期間(上記単位蓄積期間505)を示している。
すなわち、単位蓄積期間における光源部2からの光パルスPOの放射と、当該光パルスPOの被写体からの反射光RLの受光と、転送トランジスタG1、G2、G3、G4の各々のオンオフを行う蓄積駆動信号TX1、TX2、TX3、TX4と、電荷排出トランジスタGDをオンオフする駆動信号RSTDとが示されている。
【0078】
一方、
図9(c)は、電荷蓄積部CSに対して反射光RLにより発生する電荷の蓄積を行わない、すなわち間引された単位蓄積期間(上記単位蓄積期間506)を示している。
すなわち、
図9(c)においては、積算回数の間引処理の対象となる単位蓄積期間におけるタイミングチャートを示している。
ここで、稼働制御部434が光源部2に対して光パルスPOを放射させず、転送トランジスタG1、G2、G3、G4の各々に対して蓄積駆動信号TX1、TX2、TX3、TX4を供給せず、かつ単位蓄積期間の間において電荷排出トランジスタGDに供給する駆動信号RSTDが「H」レベルで供給されている。
このため、被写体からの反射光RLが受光部3の光電変換素子PDに入射されることがなく、電荷排出トランジスタGDがオン状態のため、背景光により発生する電荷が排出され、電荷蓄積部CSに対して反射光RL及び反射光の各々により発生される電荷の蓄積される処理が行われない。
【0079】
稼働制御部434は、間引処理の対象とする単位蓄積期間の抽出において、間引処理の対象となる単位蓄積期間を、乱数あるいは擬似乱数により、蓄積期間を構成する単位蓄積期間の各々からランダムに間引回数に対応する個数の単位蓄積期間として抽出する。
そして、稼働制御部434は、間引処理を行う対象として抽出した単位蓄積期間において、
図9(c)のタイミングチャートに示すように、光源部2に対して光パルスPOの照射を行わせず、転送トランジスタG1、G2、G3、G4の各々に対して蓄積駆動信号TX1、TX2、TX3、TX4を供給せず、単位蓄積期間の間において電荷排出トランジスタGDに「H」レベルの駆動信号RSTDを供給し続ける。
上述したように、
図9で説明した間引処理の場合、電荷蓄積部CSの各々に対する反射光RLにより発生する電荷の振分け処理を間引くことにより、すなわち、反射光RLにより発生した電荷の蓄積処理を行う単位蓄積期間を間引くことにより、電荷蓄積部CSが飽和することを抑制している。
【0080】
図10は、第1の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。距離画像撮像装置1が起動された場合、以下のステップS1から処理が開始される。
ステップS1:
基準積算回数設定部431は、起動された際の予め設定されている動作条件として、閾値記憶部435から基準積算回数及びベース積算回数の各々を読み込む。
そして、基準積算回数設定部431は、読み出したベース積算回数から基準積算回数を減算し、間引回数を求める。
【0081】
基準積算回数設定部431は、求めた間引回数及び基準積算回数の各々を稼働制御部434に出力する。
これにより、稼働制御部434は、基準積算回数設定部431から間引回数及び基準積算回数が供給された場合、当該基準積算回数により、光源部2及び受光部3の各々に対して所定の間引制御を行う。
すなわち、稼働制御部434は、基準積算回数だけ繰返される単位蓄積期間の各々から、ランダムに間引回数分の単位蓄積期間を抽出する。
そして、稼働制御部434は、蓄積期間における時系列の単位蓄積期間のうち、間引処理を行う対象として選択された単位蓄積期間を示す非稼働スケジューリングを行なう。
【0082】
ステップS2:
稼働制御部434は、上述した非稼働スケジューリングに従って、光源部2及び受光部3の各々に対して、間引処理を行う単位蓄積期間における
図9(c)に対応する制御を行う。
すなわち、
図9(c)に示すように、間引回数分の単位蓄積期間において電荷蓄積部CSに対する電荷の蓄積を行わず、基準積算回数のみにおける電荷蓄積部CSに対する電荷の蓄積が行われる。
【0083】
画素駆動回路322は、非稼働スケジューリングにおける間引回数及び基準積算回数の各々により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により、距離画像撮像装置1から被写体の各々までの距離(参照測定距離)を算出して取得する。
【0084】
ステップS3:
ゾーン判定部432は、予め設定された画素回路321領域における距離演算部42が算出した参照測定距離の最小値を、計測ゾーンを選択する参照測定距離として抽出する。
そして、ゾーン判定部432は、距離閾値LB1と、距離閾値LB1を超える距離の距離閾値LB2の各々と、抽出した参照測定距離との大小関係を比較する。
【0085】
このとき、ゾーン判定部432は、参照測定距離が距離閾値LB1未満である場合、距離画像撮像装置1に最も近い物体が計測ゾーンZ1の距離範囲内に含まれていると判定する。
また、ゾーン判定部432は、参照測定距離が距離閾値LB1以上であり、かつ距離閾値LB2未満である場合、距離画像撮像装置1に最も近い物体が計測ゾーンZ2の距離範囲内に含まれていると判定する。
さらに、ゾーン判定部432は、参照測定距離が距離閾値LB2以上である場合、距離画像撮像装置1に最も近い物体が計測ゾーンZ3の距離範囲内に含まれていると判定する。
そして、ゾーン判定部432は、判定した計測ゾーンの種類を間引回数選択部433に対して出力する。
【0086】
ステップS4:
間引回数選択部433は、ゾーン判定部432から判定した計測ゾーンの種類が供給された場合、間引回数の取得を行うため、間引回数テーブル記憶部436において、当該計測ゾーンに対応する間引回数テーブルを選択する。
また、間引回数選択部433は、参照測定距離を算出した際に用いた画素回路321が、参照測定距離を算出する際に求めた背景光の電荷量(対応する電圧値)を、距離演算部42から取得する。
【0087】
そして、間引回数選択部433は、間引回数テーブル記憶部436において、ゾーン判定部432から取得した計測ゾーンにより選択した間引回数テーブルを参照する。
間引回数選択部433は、参照している間引回数テーブルから上記背景光の電荷量に対応する間引回数を読み出す。
また、間引回数選択部433は、上述のように求めた間引回数と、ベース積算回数から当該間引回数を減算して求めた補正積算回数との各々を、稼働制御部434に対して出力する。
【0088】
ステップS5:
稼働制御部434は、基準積算回数設定部431から間引回数及び基準積算回数が供給された場合、間引処理の対象となる単位蓄積期間を、乱数あるいは擬似乱数により、蓄積期間を構成する単位蓄積期間の各々からランダムに間引回数に対応する個数の単位蓄積期間として抽出する。
そして、稼働制御部434は、蓄積期間における時系列の単位蓄積期間のうち、間引処理を行う対象として選択された単位蓄積期間を示す非稼働スケジューリングを行なう。
これにより、稼働制御部434は、非稼働スケジューリングに従って、補正積算回数分の電荷蓄積部CSに対する電荷の蓄積のため、光源部2及び受光部3の各々の回路の稼働状態を設定する。
【0089】
ステップS6:
そして、光源部2は、稼働制御部434による非稼働スケジューリングに対応した制御により所定の周期、すなわちベース積算回数に対応した稼働光パルス照射条件における蓄積周期及び照射回数(積算回数)に対応して光パルスPOを照射する。
また、画素駆動回路322は、稼働制御部434による非稼働スケジューリングに対応した制御により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により距離を算出する。
【0090】
ステップS7:
ゾーン判定部432は、予め設定された画素回路321領域における距離演算部42が算出した距離の最小値と、距離の最大値との画素回路321を抽出する。
そして、ゾーン判定部432は、距離の最小値と、距離の最大値との各々において、電荷蓄積部CS1、CS2、CS3、CS4それぞれで最も電荷量の大きい電荷蓄積部CSの電荷量(電圧値)を読み出す。
【0091】
このとき、ゾーン判定部432は、距離の最小値に対応する電圧値が予め設定された下限閾値を下回る場合、または距離の最大値に対応する電圧値が予め設定された上限閾値を超えた場合、処理をステップS1に進める。
上述した距離の最小値に対応する電圧値が予め設定された下限閾値を下回る場合、または距離の最大値に対応する電圧値が予め設定された上限閾値を超えた場合には、距離画像撮像装置1に最も近い物体が、現在の計測ゾーンに存在しなくなったことを示しており、計測ゾーンの変更を行うため、再度、基準積算回数による参照測定距離の測定を行う必要がある。
【0092】
また、ゾーン判定部432は、距離の最小値に対応する電圧値が予め設定された下限閾値以上であり、かつ距離の最大値に対応する電圧値が予め設定された上限閾値以下である場合、処理をステップS6に進める。
上述した距離の最小値に対応する電圧値が予め設定された下限閾値以上であり、かつ距離の最大値に対応する電圧値が予め設定された上限閾値以下である場合には、距離画像撮像装置1に最も近い物体が、現在の計測ゾーンに存在していることを示しており、測ゾーンの変更を行う必要がないため、現在の補正積算回数による測定距離の測定を継続して行う。
【0093】
ここで、下限閾値は、精度を維持して測定距離の測定を行う電荷量が得られていないことを示す閾値である。
一方、上限閾値は、電荷蓄積部の最大蓄積容量の所定の割合(例えば、95%)を超えた電荷量として設定されており、電荷蓄積部が飽和する可能性があることを示す閾値である。
また、本実施形態においては、上記下限閾値及び上限閾値の各々を用いて、計測ゾーンの変更の有無を確認したが、予め設定されたフレーム数毎に基準積算回数による参照測定距離の測定を行い、計測モードの選択を行う構成としてもよい。
この構成の場合、例えば、ステップS7において、処理したフレーム数が予め設定したフレーム数であるフレーム閾値を超えている場合にステップS1へ処理を進め、一方、フレーム閾値以下の場合にステップS6へ処理を進める。
【0094】
上述したように、本実施形態によれば、予め設定された基準積算回数で得られた、距離画像撮像装置1と被写体との間の参照測定距離を距離閾値LB1及びLB2の各々と比較し、比較結果から被写体が存在する計測ゾーン(撮像装置に対して最も近い被写体が存在する計測ゾーン)を求め、距離に対応して電荷蓄積部CSが飽和しない蓄積電荷量となる積算回数(すなわち補正積算回数)を、距離画像撮像装置1から最も近い物体までの距離に対応して求めるため、距離画像センサ32における全ての画素回路321の電荷蓄積部CSが飽和することを防止することが可能となり、かつ電荷蓄積部CSに蓄積される蓄積電荷量を飽和しない範囲においてより多く蓄積する蓄積回数を適切に設定することが可能となり、オートエクスポージャにおいて、距離画像の全画素における距離の計測の精度を従来例に比較して向上させることが可能となる。
【0095】
また、本実施形態によれば、各計測ゾーンの積算回数テーブルにおいて、背景光量(外光量)の各々に対応して積算回数が設定されているため、基準積算回数による測距処理で計測された背景光量に対応した積算回数を選択することが可能であり、背景光量の影響により電荷蓄積部が飽和することを容易に抑制することができる。
また、本実施形態によれば、ベース積算回数が光パルスの照射周期(光パルスを照射する周期であるパルス周期)及び光パルスのパルス幅の各々に対応してアイセーフを満たす照射条件として設定されているため、最大の光パルスの照射回数となるベース積算回数で距離の計測が行われた場合、すなわち、パルス光が間引されずに連続して照射される状態においても人体に対する安全基準(アイセーフ)を満たすことができる。
【0096】
<第2の実施形態>
以下、本発明の第2の実施形態について説明する。
本発明の第2の実施形態の距離画像撮像装置は、
図1及び
図4に示す第1の実施形態と同様の構成である。
以下、第1の実施形態の距離画像撮像装置と異なる動作のみを説明する。
【0097】
本実施形態において、測定制御部43は、被写体Sからの反射光の強度に対応させて、電荷蓄積部が飽和しないように積算処理の間引きを行ない、すなわち積算回数から間引き回数を減算して補正積算回数を求める。
そして、測定制御部43は、間引いた後(減算した後)の補正積算回数によって、フレーム周期で繰返されるフレームの各々において、光源部2に光パルスPOを放射させ、制御をタイミング制御部41に後述する画素回路(画素回路321)における光電変換素子が入射光に対応して発生した電荷を電荷蓄積部に振分けて蓄積させ、距離演算部42における演算の制御を行わせる(後に詳述する)。
【0098】
このとき、ゾーン判定部432は、画素駆動回路322から供給される各電荷蓄積部CS2、CS3及びCS4の各々の電荷量から、背景光の電荷量を除いた反射光RLにより生成された電荷量(信号量)を求める。
そして、ゾーン判定部432は、電荷蓄積部CS2、CS3及びCS4の各々の蓄積電荷量(電圧値)を加算し、反射光RLにより生成された電荷量の合計電荷量を求める。
【0099】
また、ゾーン判定部432は、閾値記憶部435から基準電荷量(基準値)を読出し、当該基準電荷量により上記合計電荷量を除算して、除算結果として電荷量比を算出する。
ここで、基準電荷量は、閾値記憶部435に予め書き込まれて記憶されており、基準積算回数で蓄積した場合における各電荷蓄積部CSの蓄積電荷量を加算した数値として定義されている。この基準電荷量は、基準積算回数により蓄積した場合に、反射光RLにより生成される電荷が電荷蓄積部CSに蓄積される電荷量(すなわち、電荷蓄積部CSの最大蓄積容量の半分程度)として設定されている。
また、基準積算回数は、第1の実施形態ですでに説明した光パルス照射条件により設定された積算回数である。
【0100】
図11は、第2の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
本実施形態に計測ゾーンは、反射光RLの強度が強い(大きな数値)から強度が弱い(小さい数値)までの範囲を領域としたゾーンであり、強い強度から弱い強度まで、強度が弱くなっていく順番に計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々が設けられている。ここで、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々は、電荷量比閾値(ゾーン閾値)LC1、電荷量比閾値LC2それぞれによりゾーンの境界が設定されている。
また、第1の実施形態と同様に、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の全てにおいて、光パルスPOのパルス幅、光パルス光の強度、電荷蓄積部CSへの蓄積時間(転送トランジスタGのオン時間)は同一かつ一定である。
【0101】
また、電荷量比閾値LC1及び電荷量比閾値LC2は、LC1>LC2の関係(LC1がLC2より大きい電荷量比の関係)にあり、電荷蓄積部CSが飽和せずに、かつ測定距離の計測に必要な電荷量が取得できるか否かの実験などにより求められ、予め所定の蓄積電荷量に対応した電荷量比として設定されている。
そして、ゾーン判定部432は、電荷量比が電荷量比閾値LC1以上であれば、物体が計測ゾーンZ1の計測条件範囲にあると判定する。
【0102】
また、ゾーン判定部432は、電荷量比が電荷量比閾値LC1未満、かつ電荷量比閾値LC2以上であれば、物体が計測ゾーンZ2の計測条件範囲にあると判定する。
ゾーン判定部432は、電荷量比が電荷量比閾値LC2未満であれば、物体が計測ゾーンZ3の計測条件範囲にあると判定する。
【0103】
ここで、計測条件範囲は、計測ゾーンの範囲を示しており、距離画像撮像装置から対象物体までの距離、あるいは対象物体の表面の反射率の大きさ、あるいは距離及び反射率の双方により決定される反射光RLの強度の範囲を示している。
本実施形態においては、計測ゾーンを3個として説明しているが、2個以上の複数で形成されていれば、いずれでもよい。
【0104】
また、間引回数テーブル記憶部436には、計測ゾーンの各々に対応した間引回数テーブルが予め書き込まれて記憶されている。
この間引回数テーブルについては、第1の実施形態で説明した
図6の積算回数テーブルと同様の構成である。
【0105】
図12は、第2の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。距離画像撮像装置1が起動された場合、以下のステップS11から処理が開始される。
ステップS11:
基準積算回数設定部431は、起動された際の予め設定されている動作条件として、閾値記憶部435から基準積算回数及びベース積算回数の各々を読み込む。
そして、基準積算回数設定部431は、読み出したベース積算回数から基準積算回数を減算し、間引回数を求める。
【0106】
基準積算回数設定部431は、求めた間引回数及び基準積算回数の各々を稼働制御部434に出力する。
これにより、稼働制御部434は、基準積算回数設定部431から間引回数及び基準積算回数が供給された場合、当該基準積算回数により、光源部2及び受光部3の各々に対して所定の間引制御を行う。
すなわち、稼働制御部434は、基準積算回数だけ繰返される単位蓄積期間の各々から、ランダムに間引回数分の単位蓄積期間を抽出する。
そして、稼働制御部434は、蓄積期間における時系列の単位蓄積期間のうち、間引処理を行う対象として選択された単位蓄積期間を示す非稼働スケジューリングを行なう。
【0107】
ステップS12:
稼働制御部434は、上述した非稼働スケジューリングに従って、光源部2及び受光部3の各々に対して、間引処理を行う単位蓄積期間における
図9(c)に対応する制御を行う。
すなわち、
図9(c)に示すように、間引回数分の単位蓄積期間において電荷蓄積部CSに対する電荷の蓄積を行わず、基準積算回数のみにおける電荷蓄積部CSに対する電荷の蓄積が行われる。
【0108】
画素駆動回路322は、非稼働スケジューリングにおける間引回数及び基準積算回数の各々により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により、距離画像撮像装置1から被写体の各々までの距離を算出して取得する。
【0109】
また、ゾーン判定部432は、距離演算部42から、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量Q1、Q2、Q3、Q4それぞれを取得する。
ゾーン判定部432は、電荷蓄積部CS1の電荷量Q1、すなわち背景光により発生した電荷量を、電荷量Q2、Q3、Q4それぞれから減算する。
そして、ゾーン判定部432は、背景光の電荷量Q1を減算した後の電荷量Q2、Q3、Q4の各々の電荷量、すなわち反射光RLにより生成された電荷量のそれぞれを加算し、加算結果として合計電荷量を算出する(合計電荷量の取得)。
【0110】
ステップS13:
ゾーン判定部432は、距離画像センサ32内の画素回路321の各々における最大の合計電荷量を参照合計電荷量として取得する。
また、ゾーン判定部432は、閾値記憶部435から基準電荷量を読み出し、当該基準電荷量により合計電荷量を減算し、電荷量比を算出する。
そして、ゾーン判定部432は、電荷量比閾値LC1と、電荷量比閾値LC1を下回る電荷量比の電荷量比閾値LC2の各々と、算出した電荷量比との大小関係を比較する。
【0111】
このとき、ゾーン判定部432は、電荷量比が電荷量比閾値LC1以上の場合、最も反射光RLの強度の強い物体が計測ゾーンZ1の計測条件範囲内に含まれていると判定する。
また、ゾーン判定部432は、電荷量比が電荷量比閾値LC1未満であり、かつ電荷量比閾値LC2以上の場合、最も反射光RLの強度の強い物体が計測ゾーンZ2の計測条件範囲内に含まれていると判定する。
さらに、ゾーン判定部432は、電荷量比が電荷量比閾値LC2未満である場合、最も反射光強度の強い物体が計測ゾーンZ3の計測条件範囲内に含まれていると判定する。
そして、ゾーン判定部432は、判定した計測ゾーンの種類を間引回数選択部433に対して出力する。
【0112】
ステップS14:
間引回数選択部433は、ゾーン判定部432から判定した計測ゾーンの種類が供給された場合、間引回数の取得を行うため、間引回数テーブル記憶部436において、当該計測ゾーンに対応する間引回数テーブルを選択する。
また、間引回数選択部433は、参照測定距離を算出した際に用いた画素回路321が、参照測定距離を算出する際に求めた背景光の電荷量Q1(対応する電圧値)を、距離演算部42から取得する。
【0113】
そして、間引回数選択部433は、間引回数テーブル記憶部436において、ゾーン判定部432から取得した計測ゾーンにより選択した間引回数テーブルを参照する。
間引回数選択部433は、参照している間引回数テーブルから上記背景光の電荷量に対応する間引回数を読み出す。
また、間引回数選択部433は、上述のように求めた間引回数と、ベース積算回数から当該間引回数を減算して求めた補正積算回数との各々を、稼働制御部434に対して出力する。
【0114】
ステップS15:
稼働制御部434は、基準積算回数設定部431から間引回数及び基準積算回数が供給された場合、間引処理の対象となる単位蓄積期間を、乱数あるいは擬似乱数により、蓄積期間を構成する単位蓄積期間の各々からランダムに間引回数に対応する個数の単位蓄積期間として抽出する。
そして、稼働制御部434は、蓄積期間における時系列の単位蓄積期間のうち、間引処理を行う対象として選択された単位蓄積期間を示す非稼働スケジューリングを行なう。
これにより、稼働制御部434は、非稼働スケジューリングに従って、補正積算回数分の電荷蓄積部CSに対する電荷の蓄積のため、光源部2及び受光部3の各々の回路の稼働状態を設定する。
【0115】
ステップS16:
そして、光源部2は、稼働制御部434による非稼働スケジューリングに対応した制御により所定の周期、すなわちベース積算回数に対応した稼働光パルス照射条件における蓄積周期及び照射回数(積算回数)に対応して光パルスPOを照射する。
また、画素駆動回路322は、稼働制御部434による非稼働スケジューリングに対応した制御により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により距離を算出する。
【0116】
ステップS17:
ゾーン判定部432は、距離画像センサ32内の画素回路321の各々における合計電荷量の最小値と、合計電荷量の最大値との画素回路321のそれぞれを抽出する。
そして、ゾーン判定部432は、合計電荷量の最小値を予め設定された下限閾値と比較し、また合計電荷量の最大値と予め設定された上限閾値との比較をそれぞれ行う。
【0117】
このとき、ゾーン判定部432は、合計電荷量の最小値が予め設定された下限閾値を下回る場合、または合計電荷量の最大値が予め設定された上限閾値を超えた場合、処理をステップS11に進める。
上述した合計電荷量の最小値が予め設定された下限閾値を下回る場合、または合計電荷量の最大値が予め設定された上限閾値を超えた場合には、計測ゾーンの選択に用いた対象物体が、現在の計測ゾーンに存在しなくなったことを示しており、計測ゾーンの変更を行うため、再度、基準積算回数による参照合計電荷量の取得を行う必要がある。
【0118】
また、ゾーン判定部432は、合計電荷量の最小値が予め設定された下限閾値以上であり、かつ合計電荷量の最大値が予め設定された上限閾値以下である場合、処理をステップS16に進める。
上述した合計電荷量の最小値が予め設定された下限閾値以上であり、かつ合計電荷量の最大値が予め設定された上限閾値以下である場合には、計測ゾーンの選択に用いた対象物体が、現在の計測ゾーンに存在していることを示しており、計測ゾーンの変更を行う必要がないため、現在の補正積算回数による測定距離の測定を継続して行う。
【0119】
上述した方法本実施形態においては、計測ゾーンの選択に用いた被写体である対象物体が、現在の計測ゾーンに存在しない場合に、基準積算回数による参照合計電荷量の取得に戻り、一方、現在の計測ゾーンに存在する場合に、測距を継続するとの処理を判断している。
しかしながら、計測ゾーンの設定が2個や3個など少ない場合は、合計電荷量の最小値が予め設定された下限閾値を下回る場合、または合計電荷量の最大値が予め設定された上限閾値を超えた場合に、基準積算回数による参照合計電荷量の取得に移行せず、対応する計測ゾーンの設定に切り替えて、測距を継続する構成としても良い。
【0120】
上述したように、本実施形態によれば、予め設定された基準積算回数で得られた、反射光RLの強度が最も高い、すなわち強度が最も高い反射光RLで発生した参照合計電荷量を電荷量閾値LC1及びLC2の各々と比較し、比較結果から被写体が存在する計測ゾーン(反射光RLの強度が最も強い被写体が存在する計測ゾーン)を求め、反射光RLの強度に対応して電荷蓄積部CSが飽和しない蓄積電荷量となる積算回数(すなわち補正積算回数)を、反射光RLの最も強い強度に対応して求めるため、距離画像センサ32における全ての画素回路321の電荷蓄積部CSが飽和することを防止することが可能となり、かつ電荷蓄積部CSに蓄積される蓄積電荷量を飽和しない範囲においてより多く蓄積する蓄積回数を適切に設定することが可能となり、オートエクスポージャにおいて、距離画像の全画素における距離の計測の精度を従来例に比較して向上させることが可能となる。
【0121】
また、本実施形態によれば、各計測ゾーンの積算回数テーブルにおいて、背景光量(外光量)の各々に対応して積算回数が設定されているため、光パルス照射条件選択モードで計測された背景光量に対応した積算回数を選択することが可能であり、背景光量の影響により電荷蓄積部が飽和することを容易に抑制することができる。
また、本実施形態によれば、ベース積算回数が光パルスの照射周期及び光パルスのパルス幅の各々に対応してアイセーフを満たす照射条件として設定されているため、最大の光パルスの照射回数となるベース積算回数で距離の計測が行われた場合、すなわち、パルス光が間引されずに連続して照射される状態においても人体に対する安全基準(アイセーフ)を満たすことができる。
【0122】
また本実施形態の間引処理の対象となる単位蓄積期間を、乱数あるいは擬似乱数により、蓄積期間を構成する単位蓄積期間の各々からランダムに間引回数に対応する個数の単位蓄積期間として抽出して、間引処理を行う対象として選択された単位蓄積期間を示す非稼働スケジューリングを行なう構成としてもよい。
これにより、他のTOF方式の距離画像撮像装置が同一環境下で動作している場合、片方または互いに他のTOF方式の距離画像撮像装置の放射光及び反射光をノイズとして検出してしまい、SN(signal noise)比によって、自身が取得すべき対象物からの反射光を正確に検出できない状況を低減することが可能となる。
【0123】
上述した処理を行う理由としては、複数のTOF方式の距離画像撮像装置が、それぞれ独立に光源を放射し、反射光で発生した電荷の振り分け処理を独自タイミングで行っている際に、振り分け処理のタイミングや、光パルスの照射タイミングが同等や倍数の関係にあるような設定によっては、他のTOF方式の距離画像撮像装置の放射光が、1フレームにおける積算回数分の電荷蓄積動作を繰返している際に、タイミングがあっている時間分、同じ電荷蓄積部など特定の電荷蓄積部に振り分け処理され続けると信号として検出してしまうためである。
そして、TOF方式の場合には、一度の振り分け処理で発生する電荷量は少ない為、積算回数を増やすことで、信号とノイズのSN比を向上させている。
【0124】
このため、積算回数分繰り返す際に、TOF方式の距離画像撮像装置の各々は、他TOF方式の距離画像撮像装置の放射光とタイミングが合っていると信号として検知してしまう可能性が高くなる。
一方、今回の方式においては、TOF方式の距離画像撮像装置の各々が、ランダムに電荷を蓄積しない間引き処理を行う。
これにより、TOF方式の距離画像撮像装置の各々は、他のTOF方式の距離画像撮像装置の放射光が同じ電荷蓄積部に蓄積される確率が低下し、信号(自身の取得すべき対象物からの反射光)が少なく、ノイズである他のTOF方式の距離画像撮像装置の放射光に埋もれることを防止、もしくはノイズが全ての電荷蓄積部に均等に近く蓄積されることで背景光除去の際に全ての信号から減算され、他のTOF方式の距離画像撮像装置の放射光の影響を低減することが可能となる。
さらに、TOF方式の距離画像撮像装置の各々が、この間引き処理を実施している構成である場合、他のTOF方式の距離画像撮像装置の放射光が同じ電荷蓄積部に蓄積される確率がより低下して、ノイズである他のTOF方式の距離画像撮像装置の放射光に、自身の取得すべき対象物からの反射光が埋もれてしまう現象をさらに低減する効果がある。
【0125】
上述した第1の実施形態態及び第2の実施形態の構成として、TOF技術による距離画像撮像装置を説明したが、本発明の適用対象はこれに限定されるものではなく、RGB-IR(Red Green Blue-Infrared Radiation)センサなどのフォトダイオードが一つの電荷蓄積部を供給する構造を有するセンサにおいても適用が可能である。
また、入射光によりフォトダイオードで生成された電荷を電荷蓄積部に蓄積する構成であれば、CCD(Charge Coupled Device)イメージセンサあるいはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにも適用が可能である。
【0126】
また、上述した第1の実施形態及び第2の実施形態の各々においては、画素信号読み出し部RU1からRU4の4個の構成について説明したが、この構成に限定されず、3個の画素信号読み出し部RUを備える構成、あるいは5個以上の画素信号読み出し部RUを備える構成についても、すなわち3個以上の画素読み出し部RUを有する構成について、「予め設定された基準積算回数で得られた、反射光RLの強度が最も高い、すなわち強度が最も高い反射光RLで発生した参照合計電荷量を電荷量閾値LC1及びLC2の各々と比較し、比較結果から被写体が存在する計測ゾーン(反射光RLの強度が最も強い被写体が存在する計測ゾーン)を求め、反射光RLの強度に対応して電荷蓄積部CSが飽和しない蓄積電荷量となる積算回数(すなわち補正積算回数)を、反射光RLの最も強い強度に対応して求める」という本実施形態と同様の処理を行うことにより、距離画像センサ32における全ての画素回路321の電荷蓄積部CSが飽和することを防止することが可能となり、かつ電荷蓄積部CSに蓄積される蓄積電荷量を飽和しない範囲においてより多く蓄積する蓄積回数を適切に設定することが可能となり、オートエクスポージャにおいて、距離画像の全画素における距離の計測の精度を従来例に比較して向上させることが可能となる。
【0127】
また、3個以上の複数の画素信号読み出し部RUを備える構成についても、「各計測ゾーンの積算回数テーブルにおいて、背景光量(外光量)の各々に対応して積算回数が設定されている」という本実施形態の構成を有することにより、光パルス照射条件選択モードで計測された背景光量に対応した積算回数を選択することが可能であり、背景光量の影響により電荷蓄積部が飽和することを容易に抑制することができる。
また、3個以上の複数の画素信号読み出し部RUを備える構成についても、「ベース積算回数が光パルスの照射周期及び光パルスのパルス幅の各々に対応してアイセーフを満たす照射条件として設定されている」という本実施形態の構成を有することにより、最大の光パルスの照射回数となるベース積算回数で距離の計測が行われた場合、すなわち、パルス光が間引されずに連続して照射される状態においても人体に対する安全基準(アイセーフ)を満たすことができる。
【0128】
また、第1の実施形態及び第2の本実施形態においては、画素信号読み出し部RU1からRU4の4個の構成において、画素信号読み出し部RU1を背景光の計測に固定して説明したが、3個以上の複数の画素信号読み出し部RUを備える構成について、画素信号読み出し部RUのいずれかを背景光用として固定することなく、画素信号読み出し部RUの各々の蓄積電荷量をそれぞれ比較することにより、最小の蓄積電荷量の画素信号読み出し部RUを、背景光を読み出す画素信号読み出し部RUとして選択する構成であっても、第1の実施形態及び第2の実施形態と同様の処理を行うことにより、オートエクスポージャにおいて、距離画像の全画素における距離の計測の精度を従来例に比較して向上させ、背景光量の影響により電荷蓄積部が飽和することを容易に抑制し、かつパルス光が間引されずに連続して照射される状態においても人体に対する安全基準(アイセーフ)を満たすことができる。
【符号の説明】
【0129】
1…距離画像撮像装置
2…光源部
3…受光部
31…レンズ
32…距離画像センサ(距離画像撮像素子)
321…画素回路
322…画素駆動回路
4…距離画像処理部
41…タイミング制御部
42…距離演算部
43…測定制御部
431…基準積算回数設定部
432…ゾーン判定部
433…間引回数選択部
434…稼働制御部
435…閾値記憶部
436…間引回数テーブル記憶部
CS1,CS2,CS3,CS4…電荷蓄積部
FD1,FD2,FD3,FD4…フローティングディフュージョン
G1,G2,G3,G4…転送トランジスタ
GD…電荷排出トランジスタ
PD…光電変換素子
PO…光パルス
RL…反射光
RT1,RT2,RT3,RT4…リセットトランジスタ
S…被写体
SF1,SF2,SF3,SF4…ソースフォロアトランジスタ
SL1,SL2,SL3,SL4…選択トランジスタ