(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022176579
(43)【公開日】2022-11-30
(54)【発明の名称】距離画像撮像装置及び距離画像撮像方法
(51)【国際特許分類】
G01S 17/894 20200101AFI20221122BHJP
G01C 3/06 20060101ALI20221122BHJP
【FI】
G01S17/894
G01C3/06 120Q
G01C3/06 140
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021083084
(22)【出願日】2021-05-17
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】畠山 邦広
(72)【発明者】
【氏名】中込 友洋
(72)【発明者】
【氏名】高橋 聡
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA01
2F112CA12
2F112DA04
2F112DA25
2F112DA28
2F112EA03
2F112FA07
2F112FA12
2F112FA29
2F112GA01
5J084AA04
5J084AA05
5J084AD02
5J084BA04
5J084BA20
5J084BA36
5J084BA40
5J084BB02
5J084CA04
5J084CA10
5J084CA20
5J084CA44
5J084CA45
5J084CA49
5J084CA69
5J084EA06
5J084EA20
(57)【要約】
【課題】電荷蓄積部の容量を増加させず、撮像画像の解像度及び入射光に対する感度を維持し、入射光の強度の増加による飽和を抑制する距離画像撮像装置を提供する。
【解決手段】本発明は、測定対象の空間の測定空間から入射する入射光に応じた電荷を発生する光電変換素子と、フレーム周期で電荷を蓄積するN個(N≧3)の電荷蓄積部と、光電変換素子から電荷蓄積部に電荷を転送する転送トランジスタとを備える複数の画素回路と、光パルスの照射に同期した蓄積周期で、電荷蓄積部に転送トランジスタのオンオフ処理を行い、電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、光電変換素子が発生する電荷を、電荷蓄積サイクルのいずれかの転送周期において、前記電荷蓄積部の組み合わせの各々に分割して振り分けて蓄積させる測定制御部と、電荷蓄積部に蓄積された電荷量により、測定空間の被写体までの距離を測定距離として求める距離演算部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、
光パルスの照射に同期した所定の蓄積周期で、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路と
を有する受光部と、
前記光電変換素子が発生する前記電荷を、電荷蓄積サイクルのいずれかの転送周期において、前記電荷蓄積部の組み合わせの各々に分割して振り分けて蓄積させる測定制御部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離演算部と
を備える
ことを特徴とする距離画像撮像装置。
【請求項2】
測定制御部が、
容量増加モードにおいて、前記組合せの複数の前記電荷蓄積部の各々に対応する前記転送トランジスタを前記蓄積周期毎に前記転送順番において同時にオンとし、当該組合せの前記電荷蓄積部それぞれに対して前記光電変換素子の発生した電荷を転送し、前記組合せの前記電荷蓄積部それぞれに、前記光電変換素子の発生する電荷を分割して蓄積させる
ことを特徴とする請求項1に記載の距離画像撮像装置。
【請求項3】
測定制御部が、
容量増加モードにおいて、前記組合せの複数の前記電荷蓄積部の各々に対して、前記フレーム周期における蓄積回数に対して所定の比率を乗じた分割蓄積回数を設定し、前記組合せの前記電荷蓄積部のそれぞれに対し、異なる前記蓄積周期で前記転送トランジスタを前記転送順番においてオンとし、前記組合せの前記電荷蓄積部のそれぞれに対して前記分割蓄積回数分の前記光電変換素子の発生した電荷を転送することにより、当該組合せの前記電荷蓄積部それぞれに、前記光電変換素子の発生する電荷を分割して蓄積させる
ことを特徴とする請求項1に記載の距離画像撮像装置。
【請求項4】
前記容量増加モードにおいて、異なる蓄積周期毎に前記転送トランジスタをオンとすることを繰り返して、前記組合せの複数の前記電荷蓄積部の各々に対して、交互に前記光電変換素子の発生する電荷を振分けて蓄積させ、前記光電変換素子の発生する電荷を分割して蓄積させる
ことを特徴とする請求項3に記載の距離画像撮像装置。
【請求項5】
前記容量増加モードにおいて、前記電荷蓄積部の組合せを2個以上の複数組として設ける
ことを特徴とする請求項1から請求項4のいずれか一項に記載の距離画像撮像装置。
【請求項6】
前記測定制御部が、
前記フレーム周期の蓄積期間における蓄積周期毎に、前記光電変換素子が発生する前記電荷を、前記電荷蓄積部の各々に設定された転送順番に転送トランジスタをオンとして蓄積転送する通常モードと、前記光電変換素子が発生する前記電荷を、電荷蓄積サイクルのいずれかの転送周期において、前記電荷蓄積部の組み合わせの各々に分割して振り分けて蓄積させる容量増加モードとを所定の条件により切替える
ことを特徴とする請求項1から請求項5のいずれか一項に記載の距離画像撮像装置。
【請求項7】
前記所定の条件が、
前記電荷蓄積部に蓄積される前記電荷の電荷量が、当該電荷蓄積部の最大容量に対して予め設定した比率を超えた場合であり、前記組合せが前記比率を超えた電荷蓄積部を含む
ことを特徴とする請求項6に記載の距離画像撮像装置。
【請求項8】
光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、画素駆動回路と、距離演算部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
前記画素駆動回路が、光パルスの照射に同期した所定の蓄積周期で、測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、
前記測定制御部が、前記光電変換素子が発生する前記電荷を、電荷蓄積サイクルのいずれかの転送周期において、前記電荷蓄積部の組み合わせの各々に分割して振り分けて蓄積させる過程と、
前記距離演算部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める過程と
を含む
ことを特徴とする距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定するタイム・オブ・フライト(Time of Fright、以下「ToF」と記す)方式の距離画像撮像装置がある(例えば、特許文献1参照)。
ToF方式距離画像撮像装置は、光を照射する光源部と、距離を測定するための光を検出する画素回路が二次元の行列状(アレイ状)に複数配置された画素アレイを含む撮像部を備えている。上記画素回路の各々は、光の強度に対応する電荷を発生する光電変換素子(例えば、フォトダイオード)を構成要素として有している。
この構成により、ToF方式距離画像撮像装置は、測定空間(三次元空間)において、自身と被写体との間の距離の情報や、被写体の画像を取得(撮像)することができる。
【0003】
ToF方式距離画像撮像装置は、放射光を放射したタイミングから、被写体により反射した反射光を受光したタイミングまでの遅延時間により距離の計測を行う。
しかし、入射される入射光の強度に応じて光センサが発生する電荷量が変化するため、被写体までの距離が短くなるに従い、反射光の強度が増加してしまう(光の強度は距離の二乗に反比例)。
【0004】
上述したように、反射光の強度や環境における背景光の強度が増加することにより、光電変換素子が生成する電荷量が増加し、反射光及び背景光の強度によっては、この電荷量を蓄積する電荷蓄積部が飽和する場合がある。
一方、ToF方式距離画像撮像装置は、電荷蓄積部に蓄積された電荷量に基づいて上記遅延時間を求めるため、信号とノイズとのSN比が大きくなるほど測定精度が向上する。
このため、電荷蓄積部を飽和させないため、電荷蓄積部の容量を増加させることが考えられる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、電荷蓄積部の容量を増加させる際、画素回路の面積を増加させて、電荷蓄積部の容量を同一チップサイズとして増加させた場合、画素数を減少させる必要があり、距離画像撮像装置の解像度が低下してしまう。
一方、画素回路の面積を増加させた分、チップサイズも増加させた場合、距離画像撮像装置の解像度は維持できるが、チップの単価が増加してしまう。
また、画素回路の面積を変更せず、電荷蓄積部の容量を増加させた場合、電荷蓄積部の面積が増加する分、光電変換部の面積を低減させる必要があり、入射する入射光に対する感度が低下することになり、求める距離の精度が低下する。
【0007】
本発明は、このような状況に鑑みてなされたもので、電荷蓄積部の容量を増加させることなく、撮像画像の解像度及び入射光に対する感度を維持しつつ、入射光の強度が増加することによる飽和を抑制することが可能な距離画像撮像装置及び距離画像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の距離画像撮像装置は、測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、光パルスの照射に同期した所定の蓄積周期で、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、前記光電変換素子が発生する前記電荷を、電荷蓄積サイクルのいずれかの転送周期において、前記電荷蓄積部の組み合わせの各々に分割して振り分けて蓄積させる測定制御部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離演算部とを備えることを特徴とする。
【0009】
本発明の距離画像撮像装置は、測定制御部が、容量増加モードにおいて、前記組合せの複数の前記電荷蓄積部の各々に対応する前記転送トランジスタを前記蓄積周期毎に前記転送順番において同時にオンとし、当該組合せの前記電荷蓄積部それぞれに対して前記光電変換素子の発生した電荷を転送し、前記組合せの前記電荷蓄積部それぞれに、前記光電変換素子の発生する電荷を分割して蓄積させることを特徴とする。
【0010】
本発明の距離画像撮像装置は、測定制御部が、容量増加モードにおいて、前記組合せの複数の前記電荷蓄積部の各々に対して、前記フレーム周期における蓄積回数に対して所定の比率を乗じた分割蓄積回数を設定し、前記組合せの前記電荷蓄積部のそれぞれに対し、異なる前記蓄積周期で前記転送トランジスタを前記転送順番においてオンとし、前記組合せの前記電荷蓄積部のそれぞれに対して前記分割蓄積回数分の前記光電変換素子の発生した電荷を転送することにより、当該組合せの前記電荷蓄積部それぞれに、前記光電変換素子の発生する電荷を分割して蓄積させることを特徴とする。
【0011】
本発明の距離画像撮像装置は、前記容量増加モードにおいて、異なる蓄積周期毎に前記転送トランジスタをオンとすることを繰り返して、前記組合せの複数の前記電荷蓄積部の各々に対して、交互に前記光電変換素子の発生する電荷を振分けて蓄積させ、前記光電変換素子の発生する電荷を分割して蓄積させることを特徴とする。
【0012】
本発明の距離画像撮像装置は、前記容量増加モードにおいて、前記電荷蓄積部の組合せを2個以上の複数組として設けることを特徴とする。
【0013】
本発明の距離画像撮像装置は、前記測定制御部が、前記フレーム周期の蓄積期間における蓄積周期毎に、前記光電変換素子が発生する前記電荷を、前記電荷蓄積部の各々に設定された転送順番に転送トランジスタをオンとして蓄積転送する通常モードと、前記光電変換素子が発生する前記電荷を、電荷蓄積サイクルのいずれかの転送周期において、前記電荷蓄積部の組み合わせの各々に分割して振り分けて蓄積させる容量増加モードとを所定の条件により切替えることを特徴とする。
【0014】
本発明の距離画像撮像装置は、前記所定の条件が、前記電荷蓄積部に蓄積される前記電荷の電荷量が、当該電荷蓄積部の最大容量に対して予め設定した比率を超えた場合であり、前記組合せが前記比率を超えた電荷蓄積部を含むことを特徴とする。
【0015】
本発明の距離画像撮像方法は、光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、画素駆動回路と、距離演算部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記画素駆動回路が、光パルスの照射に同期した所定の蓄積周期で、測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、前記測定制御部が、前記光電変換素子が発生する前記電荷を、電荷蓄積サイクルのいずれかの転送周期において、前記電荷蓄積部の組み合わせの各々に分割して振り分けて蓄積させる過程と、前記距離演算部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める過程とを含むことを特徴とする。
【発明の効果】
【0016】
以上説明したように、本発明によれば、電荷蓄積部の容量を増加させることなく、撮像画像の解像度及び入射光に対する感度を維持しつつ、入射光の強度が増加することによる飽和を抑制することが可能な距離画像撮像装置及び距離画像撮像方法を提供することができる。
【図面の簡単な説明】
【0017】
【
図1】本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。
【
図2】本発明の第1の実施形態の距離画像撮像装置における距離画像センサ32に配置された画素回路321の構成の一例を示した回路図である。
【
図3】通常モードにおける光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
【
図4】電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた場合における容量増加モードによる、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
【
図5】第1の実施形態における電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた場合における容量増加モードによる、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
【
図6】第1の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。
【
図7】第2の実施形態における電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた場合における容量増加モードによる、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
【
図8】第3の実施形態における背景光の影響が無視できる環境の場合の容量増加モードによる、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
【発明を実施するための形態】
【0018】
<第1の実施形態>
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。
図1に示した構成の距離画像撮像装置1は、ToF方式の距離画像撮像装置であり、光源部2と、受光部3と、距離画像処理部4とを備える。なお、
図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。距離画像撮像素子は、例えば、受光部3における距離画像センサ32(後述)である。
【0019】
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
【0020】
光源装置21は、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体Sに照射される。
【0021】
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素回路に受光(入射)させる。
【0022】
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素回路321、画素回路321の各々を制御する画素駆動回路322と備える。
上記画素回路321は、1つの光電変換素子(例えば、後述する光電変換素子PD)と、この1つの光電変換素子に対応する複数の電荷蓄積部(例えば、後述する電荷蓄積部CS1からCS4)と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられている。
【0023】
距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素回路が二次元の行列状に配置されており、それぞれの画素回路の対応する1フレーム分の画素信号を出力する。
【0024】
距離画像処理部4は、距離画像撮像装置1を制御し、被写体Sまでの距離を演算する。
距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43とを備える。
タイミング制御部41は、測定制御部43の制御に応じて、距離の測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号や、反射光RLを複数の電荷蓄積部に振り分ける信号、1フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部CS(
図2参照)に電荷を振り分ける処理を繰返す回数である。
【0025】
距離演算部42は、測定制御部43の制御に応じて、距離画像センサ32から出力された画素信号に基づいて、被写体Sまでの距離を演算した距離情報を出力する。距離演算部42は、複数の電荷蓄積部CSに蓄積された電荷量に基づいて、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Tdを算出する。距離演算部42は、算出した遅延時間Tdに応じて、距離画像撮像装置1から被写体Sまでの距離(測定距離)を演算する。
【0026】
測定制御部43は、フレーム周期で繰返されるフレームにおいて、電荷蓄積部CSに蓄積される蓄積電荷量に応じて、光電変換素子PDが入射光により発生する電荷を、電荷蓄積部の各々への振り分けの際、振り分けのアルゴリズムを通常モード(電荷蓄積部が飽和しない状態で用いるモード)と、容量増加モード(電荷蓄積部が飽和する状態で用いるモード)とのいずれかを選択して、タイミング制御部41、距離演算部42及び画素駆動回路322の各々の動作を制御する。
すなわち、測定制御部43は、通常モード及び容量増加モードの各々に対応して、タイミング制御部41におけるタイミングの制御、距離演算部42における演算の制御及び画素駆動回路322による電荷蓄積部CSそれぞれへの光電変換素子PDからの電荷の振分けを行う(後に詳述する)。
【0027】
このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sと距離画像撮像装置1との測定距離を測定した距離情報を出力する。
なお、
図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
【0028】
すなわち、本実施形態による距離画像撮像装置は、電荷蓄積部CSに蓄積される電荷により、被写体と距離画像センサ32との距離を算出する。
このため、測定距離の計算において、反射光や背景光の強度が高い場合、入射光の強度が高くなり、光電変換素子において発生する電荷が、電荷蓄積部CSの電荷を蓄積できる容量である最大蓄積容量を超えてしまう場合、正確に光電変換素子が発生する電荷量を得ることができず、電荷蓄積部の電荷量を用いる距離の計算によって、距離画像撮像装置1と被写体Sとの測定距離を正確に求めることができない。
【0029】
また、距離画像撮像装置1から被写体Sまでの距離が近くなるに従い、また被写体Sの反射率が高い程、被写体Sで光パルスPOが反射して生成される反射光の強度が高くなる。このため、光電変換素子において反射光により発生する電荷が増加する。
このため、電荷蓄積部の蓄積できる最大蓄積容量を超え、電荷蓄積部の電荷量を用いる距離の計算によって、距離画像撮像装置1と被写体Sとの測定距離を正確に求めることができない。
【0030】
上述した処理を電荷蓄積部に蓄積される電荷量により、積算回数、あるいは光パルスPOの放射回数を制御するオートエクスポージャの処理が行われる。
ここで、反射光の強度が高くなった場合、反射光によって光電変換素子で発生する電荷の蓄積回数を低減させることにより、測定距離の計算に必要な電荷量が電荷蓄積素子に蓄積され、得られる測定距離の精度が向上する。
【0031】
しかしながら、被写体の各々の反射率が同一であることは一般的に少なく、被写体のそれぞれの反射率は互いに異なっており、光の強度が被写体との距離に反比例することから、予め近距離の物体に合わせて積算回数を設定した場合、距離画像撮像装置から遠い距離にある反射率の低い被写体からの反射光で発生される電荷が低減し、S/N比が低下して測定距離の精度が低下する。
【0032】
一方、測定距離の精度を向上させるために遠距離の被写体に合わせて積算回数を設定した際、遠距離の被写体以外の被写体の各々から距離画像撮像装置までの距離が不明であり距離画像撮像装置1の近距離に被写体が存在する場合、当該近距離の被写体からの反射光の強度が遠距離にある被写体に比較して大きく、近距離の被写体からの反射光で発生される電荷により電荷蓄積部が飽和してしまう。
このため、本実施形態においては、後述するように、測定制御部43が電荷蓄積部が飽和しないように、タイミング制御部41を介して、光電変換素子PDが入射光により発生する電荷の電荷蓄積部の各々への振り分けの際、振り分けのアルゴリズムを通常モード及び容量増加モードのいずれかを選択して行う制御を行う。
【0033】
次に、距離画像センサ32における画素回路321の構成について説明する。
図2は、本発明の第1の実施形態の距離画像撮像装置における距離画像センサ32に配置された画素回路321の構成の一例を示した回路図である。
図2の画素回路321は、例えば、4つの画素信号読み出し部RU1からRU4を備えた構成例である。本実施形態における画素回路321の構成は、一例であり、画素信号読み出し部は3個以上の複数個、すなわちn個(n≧3)の構成を有する。
【0034】
画素回路321は、1つの光電変換素子PDと、電荷排出トランジスタGDと、対応する出力端子Oから電圧信号を出力する4つの画素信号読み出し部RU(RU1からRU4)とを備える。画素信号読み出し部RUのそれぞれは、転送トランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットトランジスタRTと、ソースフォロアトランジスタSFと、選択トランジスタSLとを備える。フローティングディフュージョンFD(FD1、FD2、FD3、FD4)と電荷蓄積容量C(C1、C2、C3、C4)とは、電荷蓄積部CS(CS1、CS2、CS3、CS4)を構成している。
【0035】
図2に示した画素回路321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、転送トランジスタG1(転送MOSトランジスタ)と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットトランジスタRT1と、ソースフォロアトランジスタSF1と、選択トランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2、RU3及びRU4も同様の構成である。
【0036】
光電変換素子PDは、入射した光を光電変換して、入射した光(入射光)に応じた電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。本実施形態においては、入射光は測定対象の空間から入射される。
画素回路321では、光電変換素子PDが入射光を光電変換して発生させた電荷を4つの電荷蓄積部CS(CS1からCS4)のそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、距離画像処理部4に出力する。
また、距離画像センサ32に配置される画素回路の構成は、
図2に示したような、4つの画素信号読み出し部RU(RU1からRU4)を備えた構成に限定されるものではなく、画素信号読み出し部RUが1個以上の複数の画素信号読み出し部RUを備えた構成の画素回路でもよい。
【0037】
上記距離画像撮像装置1の画素回路321の駆動において、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ32に受光される。画素駆動回路322は、タイミング制御部41に制御により、光パルスPOの照射に同期させて、光電変換素子PDに発生する電荷を、転送トランジスタG1、G2、G3、G4に対して、蓄積駆動信号TX1からTX4をそれぞれのタイミングにより供給して振り替えて、電荷蓄積部CS1、CS2、CS3、CS4の順に蓄積させる。
【0038】
そして、画素駆動回路322は、リセットトランジスタRT及び選択トランジスタSLの各々を、駆動信号RST、SELそれぞれにより制御し、電荷蓄積部CSに蓄積された電荷を、ソースフォロアトランジスタSFにより電気信号に変換し、生成された電気信号を出力端子Oを介して距離演算部42に出力する。
また、画素駆動回路322は、タイミング制御部41の制御により、駆動信号RSTDにより、光電変換素子PDにおいて発生された電荷を電源VDDに流して放電する(電荷を消去する)。
【0039】
図3は、通常モードにおける光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
図3のタイミングチャートにおいて、縦軸はパルスのレベルを示し、横軸は時間を示している。また、
図3においては、フレームにおける電荷の蓄積期間に繰返される蓄積周期を示している。通常モードにおける、光パルスPO及び反射光RLの時間軸における相対関係と、転送トランジスタG1からG4の各々に供給する蓄積駆動信号TX1からTX4それぞれのタイミングと、電荷排出トランジスタGDに供給する駆動信号RSTDのタイミングとを示している。
【0040】
タイミング制御部41は、光源部2に対して光パルスPOを測定空間に対して照射させる。これにより、光パルスPOが被写体に反射し、反射光RLとして受光部3に受光される。そして、光電変換素子PDは、背景光及び反射光RLの各々に対応した電荷を発生する。画素駆動回路322は、光電変換素子PDの発生した電荷を、電荷蓄積部CS1からCS4の各々に対して転送するため、転送トランジスタG1からG4の各々のオンオフを制御する。
すなわち、画素駆動回路322は、蓄積駆動信号TX1からTX4の各々を、所定の時間幅(照射時間To、すなわちパルス幅と同一の幅)の「H」レベルの信号として、転送トランジスタG1からG4それぞれに供給する。
【0041】
画素駆動回路322は、例えば、光電変換素子PDから電荷を電荷蓄積部CS1に転送する転送経路上に設けられた転送トランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、転送トランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、画素駆動回路322は、転送トランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。このようにして、画素駆動回路322は、電荷蓄積部CS1に電荷を蓄積させる。他の電荷蓄積部CS2、CS3及びCS4においても同様である。
【0042】
このとき、電荷蓄積部CSに電荷の振り分けを行なう電荷蓄積期間(フレームにおける電荷蓄積部CSの各々に電荷を蓄積する期間)において、蓄積駆動信号TX1、TX2、TX3、TX4の各々が、蓄積周期において、転送トランジスタG1、G2、G3、G4それぞれに供給される転送周期T1、T2、T3及びT4(電荷を蓄積して積算する周期、転送順番)が繰返される。
ここで、例えば、転送周期T1において入射光(背景光のみ)により発生した電荷が電荷蓄積部CS1に蓄積され、転送周期T2において入射光(背景光+反射光)により発生した電荷が電荷蓄積部CS2に蓄積され、転送周期T3において入射光(背景光+反射光)により発生した電荷が電荷蓄積部CS3に蓄積され、転送周期T4において入射光(背景光+反射光)により発生した電荷が電荷蓄積部CS4に蓄積される。
【0043】
そして、転送トランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、光電変換素子PDから入射光に対応した電荷が転送される。すなわち、各フレーム周期の電荷蓄積期間において、電荷蓄積部CS1、CS2、CS3及びCS4の各々の転送順番毎に電荷の転送が行われる複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における電荷蓄積部CS1、CS2、CS3及びCS4の各々の蓄積周期毎に、転送周期T1、T2、T3及びT4の各々において電荷蓄積部CS1、CS2、CS3、CS4それぞれに電荷が蓄積される。
【0044】
また、画素駆動回路322は、電荷蓄積部CS1、CS2、CS3及びCS4の各々の蓄積周期を繰返す際、電荷蓄積部CS4に対する電荷の転送(振り分け)が終了した後、光電変換素子PDから電荷を排出する排出経路上に設けられた電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
これにより、電荷排出トランジスタGDは、電荷蓄積部CS1に対する転送周期T1が開始される前に、直前の電荷蓄積部CS4の転送周期T4の後に光電変換素子PDに発生した電荷を破棄する(すなわち、光電変換素子PDをリセットさせる)。
【0045】
そして、画素駆動回路322は、受光部3内に配置された全ての画素回路321の各々から、それぞれ電圧信号を画素回路321の行(横方向の配列)単位で、順次A/D変換処理などの信号処理を行なう。
その後、画素駆動回路322は、信号処理を行った後の電圧信号を、受光部3において配置された列の順番に、順次、距離演算部42に出力させる。
【0046】
上述したような、画素駆動回路322による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に相当する電荷が、電荷蓄積部CSのそれぞれに蓄積される。画素駆動回路322は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号を、距離演算部42に出力する。
【0047】
光パルスPOを照射するタイミングと、電荷蓄積部CS(CS1からCS4)のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、CS3及びCS4には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部CS2及びCS3、あるいは電荷蓄積部CS3及びCS4に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
【0048】
図1に戻り、距離演算部42は、この原理を利用して、以下の(1)あるいは(2)式により、遅延時間Tdを算出する。
Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) …(1)
Td=To+To×(Q4-Q1)/(Q3+Q4-2×Q1) …(2)
ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、Q4は電荷蓄積部CS4に蓄積された電荷量を示す。距離演算部42は、例えば、Q4=Q1である場合、(1)式で遅延時間Tdを算出し、一方、Q2=Q1である場合、(2)式で遅延時間Tdを算出する。
【0049】
(1)式においては、電荷蓄積部CS2及びCS3には反射光により発生された電荷が蓄積されるが、電荷蓄積部CS4には蓄積されない。一方、(2)式においては、電荷蓄積部CS3及びCS4には反射光により発生された電荷が蓄積されるが、電荷蓄積部CS2には蓄積されない。
なお、(1)式あるいは(2)式では、電荷蓄積部CS2、CS3及びCS4に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部CS1に蓄積された電荷量と同量であることを前提とする。
【0050】
距離演算部42は、(1)式あるいは(2)式で求めた遅延時間に、光速(速度)を乗算させることにより、被写体Sまでの往復の測定距離を算出する。
そして、距離演算部42は、上記で算出した往復の距離を1/2とする(遅延時間Td×c(光速度)/2)ことにより、距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離を求める。
【0051】
また、時間Trsは、
図3における蓄積周期の1サイクルにおける電荷蓄積部CS4に対する光電変換素子PDからの電荷の振分け終了後における、当該光電変換素子PDに入力光により発生した電荷が留まらない(溜らない)ように、電荷排出トランジスタGDに供給する駆動信号RSTDを「H」レベルとされる期間を示している。
【0052】
図4は、第1の実施形態の距離画像撮像装置における測定制御部43の構成例を示すブロック図である。
図4において、測定制御部43は、通常モード稼働条件設定部431、モード判定部432、容量増加モード稼働条件設定部433、稼働制御部434、モード判定条件記憶部435、稼働条件組合せ記憶部436の各々を備えている。
【0053】
通常モード稼働条件設定部431は、
図3に示すタイミングチャートの通常モードにおけるタイミング制御部41の制御の設定を、稼働条件組合せ記憶部436から読み出す。
そして、通常モード稼働条件設定部431は、読み出した通常モードの設定を稼働制御部434に対して供給する。
稼働制御部434は、通常モードの設定により、タイミング制御部41、距離演算部42及び画素駆動回路322の稼働を制御し、
図3に示す通常モードの動作を行わせる。
【0054】
モード判定部432は、通常モードまたは容量増加モードのいずれかにより、タイミング制御部41を稼働するかの判定を行う。
ここで、モード判定部432は、電荷蓄積部CS1が背景光により発生した電荷を蓄積する場合、電荷蓄積部CS2の電荷蓄積量Q2、電荷蓄積部CS3の電荷蓄積量Q3及び電荷蓄積部CS4の電荷蓄積量Q4の各々が予め設定されている容量閾値を超えた画素回路321の個数を抽出する。
【0055】
モード判定部432は、上記容量閾値をモード判定条件記憶部435から読み出し、電荷蓄積量Q2、電荷蓄積量Q3及び電荷蓄積量Q4の各々と比較する。
この第1閾値は、例えば、電荷蓄積部CSの最大蓄積容量の80%、あるいは80%以上のいずれかの電荷量として設定される。
ここで、実際の運用において、容量閾値としては、電荷蓄積部CSに蓄積される反射光により発生する電荷の変動を考慮し、経験的な範囲として、例えば最大蓄積容量の90%~95%程度に設定される。
【0056】
しかしながら、容量閾値が最大蓄積容量の90%~95%の設定の場合、光電変換素子PDが反射光のみでなく背景光を含んだ入射光による電荷を発生するため、背景光による影響を考慮すると、背景光の強度の変化によっては電荷蓄積部CSが飽和することが想定される。
このため、背景光の変化による光電変換素子PDが発生する入射光による電荷量の変動に対する余裕(マージン)を持たせると、実験的には60%以上とすることが望ましい結果が得られた。
【0057】
モード判定部432は、画素回路321毎に、電荷蓄積部CS2、電荷蓄積部CS3及び電荷蓄積部CS4の各々に蓄積される電荷量である、電荷蓄積量Q2、電荷蓄積量Q3、電荷蓄積量Q4それぞれが、予め設定されている容量閾値を超えるか否かの判定を行う。
そして、モード判定部432は、画素回路321の全てにおける、蓄積容量が容量閾値を超えた電荷蓄積部CS2、電荷蓄積部CS3及び電荷蓄積部CS4の各々の数を集計する。
ここで、モード判定部432は、電荷蓄積部CS2、電荷蓄積部CS3及び電荷蓄積部CS4の各々のなかで、蓄積容量が容量閾値を超えた数が最も大きな電荷蓄積部CSを抽出する。
なお、電荷蓄積部の抽出方法は上述した方法に限定されない。例えば、全画素数に対する飽和画素の比率(例えば、全画素数のうち20%)を抽出閾値として予め定めておき、各電荷蓄積部の飽和画素をカウントし、上記抽出閾値を超えて飽和した場合に電荷蓄積部を抽出してもよい。
【0058】
このとき、モード判定部432は、通常モードにおいて蓄積周期(電荷蓄積サイクル)における転送周期T2(転送順番)において光電変換素子PDの発生した電荷を電荷蓄積部CS2のみに振分けている。
しかしながら、モード判定部432は、例えば、電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた場合、容量増加モードとして、転送周期T2において光電変換素子PDが発生した電荷を、電荷蓄積部CS2及び電荷蓄積部CS3に対して蓄積させる。
また、モード判定部432は、転送周期T3において光電変換素子PDが発生した電荷を電荷蓄積部CS4に対して蓄積させる。
なお、電荷蓄積部CS2に組み合わせる電荷蓄積部は、電荷蓄積部CS3に限定されない。例えば、電荷蓄積部CS4を転送周期T2のタイミングで電荷蓄積部CS2と組み合わせ、転送周期T3には電荷蓄積部CS3、転送周期T1には電荷蓄積部CS1を割り当てることで、上述と同様の動作が可能である。
すなわち、モード判定部432は、電荷蓄積サイクルのいずれかの転送周期において、入射光により光電変換素子PDが生成する電荷を、電荷蓄積部CSの組み合わせの各々に対して、分割して振り分けて蓄積させる処理を行う。
【0059】
図5は、第1の実施形態における電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた場合における容量増加モードによる、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
図5のタイミングチャートにおいて、縦軸はパルスのレベル(「H」レベル/「L」レベル)を示し、横軸は時間を示している。また、
図5においては、フレームにおける電荷の蓄積期間に繰返される蓄積周期における転送順番を示している。容量増加モードにおける転送トランジスタG1からG4の各々に供給する蓄積駆動信号TX1からTX4それぞれのタイミングと、電荷排出トランジスタGDに供給する駆動信号RSTDのタイミングとを示している。
【0060】
タイミング制御部41は、光源部2に対して光パルスPOを測定空間に対して照射させる。これにより、光パルスPOが被写体に反射し、反射光RLとして受光部3に受光される。そして、光電変換素子PDは、背景光及び反射光RLの各々に対応した電荷を発生する。画素駆動回路322は、光電変換素子PDの発生した電荷を、電荷蓄積部CS1からCS4の各々に対して転送するため、転送トランジスタG1からG4の各々のオンオフを制御する。
【0061】
すなわち、画素駆動回路322は、蓄積駆動信号TX1からTX4の各々を、所定の時間幅(照射時間To、すなわちパルス幅と同一の幅)の「H」レベルの信号として、転送トランジスタG1からG4それぞれに供給する。
画素駆動回路322は、例えば、光電変換素子PDから電荷を電荷蓄積部CS1に転送する転送経路上に設けられた転送トランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、転送トランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、画素駆動回路322は、転送トランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。
【0062】
また、画素駆動回路322は、容量増加モードの場合、タイミング制御部41のタイミング制御により、電荷蓄積部CS2に電荷を蓄積させる転送周期T2において、蓄積駆動信号TX2及びTX3を同時のタイミング(同一の転送順番において同時に)で「H」レベルとする。
そして、転送トランジスタG2及びG3の各々は、光電変換素子PDが発生した電荷を、電荷蓄積部CS2、電荷蓄積部CS3のそれぞれに分割して振分ける。
これにより、電荷蓄積部CS2のみでは飽和していた電荷量が、電荷蓄積部CS2及びCS3の各々に分割されて蓄積されるため、蓄積電荷量が最大蓄積容量を超えて飽和することを抑制することができる。
【0063】
また、通常モードにおいて、蓄積駆動信号TX4は、通常モードであれば、転送周期T4において「H」レベルとされていた。
しかしながら、容量増加モードにおいて、電荷蓄積部CS4が通常モードにおける電荷蓄積部CS3の機能を有しているため、画素駆動回路322は、転送周期T3において蓄積駆動信号TX4を「H」レベルとする。
これにより、電荷蓄積部CS4には、転送周期T3において光電変換素子PDにより発生した電荷が、転送トランジスタG4を介して振分けられて蓄積される。
【0064】
そして、転送トランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、光電変換素子PDから入射光に対応した電荷が転送される。電荷蓄積期間に転送周期T1からT3及びTrsからなる複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における電荷蓄積部CS1(転送周期T1)と、CS2及びCS3(転送周期T2)と、CS4(転送周期T3)の各々の転送周期毎に、電荷蓄積部CS1と、CS2及びCS3と、CS4とのそれぞれに電荷が蓄積される。
【0065】
また、画素駆動回路322は、光電変換素子PDから電荷蓄積部CS1、CS2、CS3及びCS4の各々への電荷の転送を行う転送周期それぞれを繰返す際、電荷蓄積部CS4に対する電荷の転送(振分け)が終了した後、光電変換素子PDから電荷を排出する排出経路上に設けられた電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
【0066】
これにより、電荷排出トランジスタGDは、電荷蓄積部CS1に対する転送周期T1が開始される前に、直前の電荷蓄積部CS4の転送周期T3の後に光電変換素子PDに発生した電荷を破棄する(すなわち、光電変換素子PDをリセットさせる)。
容量増加モードの場合、転送周期T2及びT3が実質的に統合されて転送周期T4が無くなるため、
図5に示すように、転送周期T3の後の時間Trsにおいて、電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
【0067】
そして、画素駆動回路322は、フレーム周期における蓄積期間が終了した後、受光部3内に配置された全ての画素回路321の各々から、それぞれ電圧信号を画素回路321の行(横方向の配列)単位で、順次A/D変換処理などの信号処理を行なう。この画素回路321の各々の電荷蓄積部CS1、CS2、CS3、CS4のそれぞれから、電荷蓄積量Q1、Q2、Q3、Q4を読み出す処理については、通常モードと同様である。
その後、画素駆動回路322は、信号処理を行った後の電圧信号を、受光部3において配置された列の順番に、順次、距離演算部42に出力させる。
【0068】
ここで、距離演算部42は、画素駆動回路322により供給されるデジタル値の電荷蓄積量Q2と電荷蓄積量Q3とを加算し(一個の電荷蓄積部CS2に蓄積された電荷量として扱う)、この加算結果Q2+Q3と、電荷蓄積量Q1及び電荷蓄積量Q4との各々を用いて、後述する(4)式により、遅延時間Tdを算出し、被写体Sと距離画像撮像装置1との間の距離を求める。
また、上記A/D変換処理を行う前段に、アナログ値の電荷蓄積量Q2と電荷蓄積量Q3とを加算する加算器を設け、当該加算器による加算結果Q2+Q3をA/D変換し、得られたデジタル値の加算結果Q2+Q3を距離演算部42に出力する構成としてもよい。
【0069】
上述したような、画素駆動回路322による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に相当する電荷が、電荷蓄積部CSのそれぞれに蓄積される。画素駆動回路322は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号を、距離演算部42に出力する。
【0070】
光パルスPOを照射するタイミングと、電荷蓄積部CS(CS1からCS4)のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、CS3及びCS4には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。
ここで、
図5において、電荷蓄積部CS2及びCS3と、電荷蓄積部CS4とに振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
【0071】
また、容量増加モードにおける
図5に示す電荷蓄積部CSの組合せの場合、距離演算部42は、以下の(4)式により、遅延時間Tdを算出する。
Td=To×(Q4-Q1)/(Q2+Q3+Q4-3×Q1)…(4)
このとき、距離演算部42は、上記(4)式で求めた遅延時間Tdに、光速(速度)を乗算させることにより、被写体Sまでの往復の測定距離を算出する。
そして、距離演算部42は、上記で算出した往復の距離を1/2とする(遅延時間Td×c(光速度)/2)ことにより、距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離を求める。
【0072】
また、電荷蓄積部CS3の電荷蓄積量Q3が容量閾値を超えた場合における容量増加モードは、電荷蓄積部CS3及びCS4を組み合わせて用いる。
すなわち、画素駆動回路322は、例えば、電荷蓄積部CS3の電荷蓄積量Q3が容量閾値を超えた容量増加モードの場合、タイミング制御部41のタイミング制御により、電荷蓄積部CS1に電荷を蓄積させる転送周期T1において、蓄積駆動信号TX1のタイミングで「H」レベルとする。
画素駆動回路322は、タイミング制御部41のタイミング制御により、電荷蓄積部CS2に電荷を蓄積させる転送周期T2において、蓄積駆動信号TX2のタイミングで「H」レベルとする。
【0073】
そして、画素駆動回路322は、タイミング制御部41のタイミング制御により、電荷蓄積部CS3に電荷を蓄積させる転送周期T3において、蓄積駆動信号TX3及びTX4を同時のタイミングで「H」レベルとする。
ここで、転送トランジスタG3及びG4の各々は、光電変換素子PDが発生した電荷を、電荷蓄積部CS3、電荷蓄積部CS4のそれぞれに分割して振分ける。
これにより、電荷蓄積部CS3のみでは飽和していた電荷量が、電荷蓄積部CS3及びCS4の各々に分割されて蓄積されるため、蓄積電荷量が最大蓄積容量を超えて飽和することを抑制することができる。
【0074】
また、通常モードにおいて、蓄積駆動信号TX4は、通常モードであれば、転送周期T4において「H」レベルとされていた。
しかしながら、容量増加モードにおいて、電荷蓄積部CS4が通常モードにおける電荷蓄積部CS3の機能を有しているため、画素駆動回路322は、上述したように、転送周期T3において蓄積駆動信号TX4を「H」レベルとする。
これにより、容量増加モードの場合、転送周期T2及びT3が実質的に統合されて転送周期T4が無くなるため、転送周期T3の後の時間Trsにおいて、電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
【0075】
光パルスPOを照射するタイミングと、電荷蓄積部CS(CS1からCS4)のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、CS3及びCS4には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。
ここで、電荷蓄積部CS3の電荷蓄積量Q3が容量閾値を超えた場合、電荷蓄積部CS2と、電荷蓄積部CS3及びCS4とに振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
【0076】
このため、容量増加モードにおける電荷蓄積部CS3の電荷蓄積量Q3が容量閾値を超えた電荷蓄積部CSの組合せの場合、距離演算部42は、以下の(5)式により、遅延時間Tdを算出する。
Td=To×(Q3+Q4-2×Q1)/(Q2+Q3+Q4-3×Q1) …(5)
このとき、距離演算部42は、上記(5)式で求めた遅延時間Tdに、光速(速度)を乗算させることにより、被写体Sまでの往復の測定距離を算出する。
そして、距離演算部42は、上記で算出した往復の距離を1/2とする(遅延時間Td×c(光速度)/2)ことにより、距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離を求める。
【0077】
ここで、距離演算部42は、画素駆動回路322により供給されるデジタル値の電荷蓄積量Q3と電荷蓄積量Q4とを加算し(一個の電荷蓄積部CS3に蓄積された電荷量として扱う)、この加算結果Q3+Q4と、電荷蓄積量Q1及び電荷蓄積量Q2との各々を用いて、上記(5)式により、遅延時間Tdを算出する。
【0078】
また、画素駆動回路322におけるA/D変換処理を行う前段に、アナログ値の電荷蓄積量Q3と電荷蓄積量Q4とを加算する加算器を設け、当該加算器による加算結果Q3+Q4をA/D変換し、得られたデジタル値の加算結果Q3+Q4を距離演算部42に出力する構成としてもよい。
【0079】
図6は、第1の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。距離画像撮像装置1が起動された場合、以下のステップS1から測距離の処理が開始される。
ステップS1:
測定制御部43における通常モード稼働条件設定部431は、稼働条件組合せ記憶部436から、通常モードの設定である通常モード稼働条件(通常モードにおけるタイミング制御部41、距離演算部42及び画素駆動回路322に対する制御情報)を読み出す。
そして、通常モード稼働条件設定部431は、読み出した通常モード稼働条件を稼働制御部434に対して供給する。
稼働制御部434は、通常モード稼働条件により、タイミング制御部41、距離演算部42及び画素駆動回路322の稼働を制御し、
図3に示す通常モードの動作を行わせる。
【0080】
ステップS2:
画素駆動回路322は、蓄積駆動信号TX1、TX2、TX3、TX4の各々を、順次、転送トランジスタG1、G2、G3、G4それぞれに供給し、光電変換素子PDの発生する電荷を、電荷蓄積部CS1、CS2、CS3、CS4に振り分ける。
そして、画素駆動回路322は、1フレーム間において所定の回数の蓄積周期により電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量Q1、Q2、Q3、Q4のそれぞれを、距離演算部42及び測定制御部43に対して出力する。
これにより、距離演算部42は、(1)式により距離画像撮像装置1から被写体Sまでの距離を求める。
【0081】
ステップS3:
モード判定部432は、電荷蓄積部CSの各々における蓄積容量と比較する、予め設定された容量閾値をモード判定条件記憶部435から読み出す。
そして、モード判定部432は、現在の動作が通常モードの場合、画素回路321毎に、電荷蓄積部CS1、電荷蓄積部CS2、電荷蓄積部CS3及び電荷蓄積部CS4の各々に蓄積される電荷量である、電荷蓄積量Q1、電荷蓄積量Q2、電荷蓄積量Q3、電荷蓄積量Q4それぞれが予め設定されている容量閾値を超えるか否かの判定を行う。
【0082】
また、モード判定部432は、画素回路321の全てにおいて、蓄積容量が容量閾値を超えた電荷蓄積部CSの数を、電荷蓄積部CS2、電荷蓄積部CS3及び電荷蓄積部CS4の各々の種類毎に集計する。
この集計の後、モード判定部432は、電荷蓄積部CS2、電荷蓄積部CS3及び電荷蓄積部CS4の各々の種類のなかで、蓄積容量が容量閾値を超えた数が最も大きな電荷蓄積部CSを抽出する。
【0083】
一方、モード判定部432は、現在の動作が容量増加モードの場合、画素回路321毎に、組み合わせて稼働させている2個(あるいは3個以上の複数)の電荷蓄積部CSと、単独で稼働させている電荷蓄積部CSとの各々に蓄積される電荷量それぞれが、予め設定されている容量閾値を超えるか否かの判定を行う。
【0084】
例えば、電荷蓄積部CS2及びCS3の組合せが一個の電荷蓄積として稼働し、電荷蓄積部CS4が単独で稼働している場合、モード判定部432は、電荷蓄積量Q2及び電荷蓄積量Q3の加算値と、電荷蓄積量Q4それぞれが、予め設定されている容量閾値を超えるか否かの判定を行う。すなわち、モード判定部432は、電荷蓄積部CS2及びCS3の組合せにおける電荷蓄積量Q2+Q3と、電荷蓄積部CSにおける電荷蓄積量Q4との各々と、容量閾値との比較を行う。
【0085】
また、モード判定部432は、画素回路321の全てにおいて、蓄積容量が容量閾値を超えた電荷蓄積部CSの数を、組み合わせて稼働させている2個の電荷蓄積部CSと、単独で稼働させている電荷蓄積部CSとの各々の種類毎に集計する。
この集計の後、モード判定部432は、組み合わせて稼働させている2個の電荷蓄積部CSと、単独で稼働させている電荷蓄積部CSとの各々の種類のなかで、蓄積容量が容量閾値を超えた数が最も大きな電荷蓄積部CSを抽出する。
【0086】
ここで、電荷蓄積部CS2及びCS3の組合せが一個の電荷蓄積として稼働し、電荷蓄積部CS4が単独で稼働している場合、モード判定部432は、電荷蓄積部CS2及びCS3の組合せと、電荷蓄積部CS4との種類毎に蓄積容量が容量閾値を超えた個数(すなわち、画素数)を集計する。
そして、モード判定部432は、集計した個数が大きい方の種類の個数を最大個数とし、対応する種類として電荷蓄積部CS2及びCS3の組合せと、電荷蓄積部CS4とのいずれかを抽出する。
【0087】
ステップS4:
モード判定部432は、蓄積容量が容量閾値を超えた数が最も大きな電荷蓄積部CS(あるいは2個の電荷蓄積部の組合せ)の個数、すなわち最大個数と比較する、予め設定された設定数(個数の閾値)をモード判定条件記憶部435から読み出す。
そして、モード判定部432は、抽出した最大個数が上記設定数を超えるか否かの判定を行う。
このとき、モード判定部432は、最大個数が設定数を超えた場合、処理をステップS5へ進める。一方、モード判定部432は、最大個数が設定数以下の場合、処理をステップS6へ進める。
【0088】
ステップS5:
モード判定部432は、最大個数の電荷蓄積部CSの種類、すなわち、電荷蓄積部CS2、CS3及びCS4のいずれが最大個数となったかを、容量増加モード稼働条件設定部433に対して出力する。
容量増加モード稼働条件設定部433は、最大個数となった電荷蓄積部CS、例えば、電荷蓄積部CS2に対応する容量増加モードの容量増加モード稼働条件(容量増加モードにおけるタイミング制御部41、距離演算部42及び画素駆動回路322に対する制御情報)を、稼働条件組合せ記憶部436から読み出す。
【0089】
ここで、電荷蓄積部CS2に対応する容量増加モードの容量増加モード稼働条件とは、すでに説明したように、電荷蓄積部CS2及びCS3を一つの電荷蓄積部CSとして用いる設定である。
このため、この容量増加モード稼働条件における転送周期T2において、画素駆動回路22は、蓄積駆動信号TX2及びTX3を同時のタイミングで「H」レベルとし、転送トランジスタG2及びG3の各々に分割して振分ける処理を行う。
【0090】
上述したように、モード判定部432は、最大個数として抽出された電荷蓄積部CSの種類に対応して、電荷蓄積部CS2、電荷蓄積部CS3及び電荷蓄積部CS4の各々の場合における容量増加モード稼働条件を、それぞれ稼働条件組合せ記憶部436から読み出す。
そして、容量増加モード稼働条件設定部433は、読み出した容量増加モード稼働条件を、稼働制御部434に対して出力する。
これにより、稼働制御部434は、電荷蓄積部CSの各々に対応した容量増加モード稼働条件により、タイミング制御部41、距離演算部42及び画素駆動回路322の稼働を制御し、容量増加モードの動作を行わせる。
なお、上述したステップに限らず、あらかじめ容量増加モードで駆動してもよい。
【0091】
ステップS6:
モード判定部432は、現在の動作モードが通常モードであるか否か、すなわち通常モードあるいは容量増加モードのいずれであるかの判定を行う。
このとき、モード判定部432は、現在の動作モードが通常モードである場合、処理をステップS2へ進める。
一方、モード判定部432は、現在の動作モードが通常モードでない(容量増加モードである)場合、処理をステップS1へ進める。
【0092】
上述したように、本実施形態によれば、電荷蓄積部CSが飽和する画素数が予め設定した設定数を超える場合、複数(例えば2個)の電荷蓄積部CSを組み合わせて一個の電荷蓄積部として稼働させる、例えば、蓄積電荷の容量(蓄積容量)が容量閾値を超える電荷蓄積部CS2が設定数を超える場合、電荷蓄積部CS2とCS3とを組み合わせて、光電変換素子PDの発生する電荷を分割して振分けることにより、電荷蓄積部CS2が飽和し、距離測定の計算結果の精度を低下させることを防止する構成としているため、電荷蓄積部の容量を増加させることなく、撮像画像の解像度及び入射光に対する感度を維持しつつ、入射光の強度が増加することによる飽和を抑制することが可能となる。
【0093】
<第2の実施形態>
以下、本発明の第2の実施形態について、図面を参照して説明する。
本発明の第2の実施形態の距離画像撮像装置は、すでに説明した
図1の第1の実施形態による距離画像撮像装置1と同様の構成である。
以下、第2の実施形態において、第1の実施形態と異なる動作のみを説明する。
【0094】
第1の実施形態の距離画像撮像装置は、すでに説明したように、容量増加モードにおいて、同一の蓄積周期における同一の転送周期で同時に組合せの電荷蓄積部CSに対応する転送トランジスタGをオン状態として、組合せの電荷蓄積部CSの各々に対して、入射光により光電変換素子PDで発生した電荷を分割して振分ける処理を行う。
しかしながら、第2の実施形態においては、容量増加モードにおいて、異なる蓄積周期における同一の転送周期の各々で(異なる蓄積周期における同一の転送順番の各々で)、組合せの電荷蓄積部CSに対応する転送トランジスタGをそれぞれオン状態として、組合せの電荷蓄積部CSの各々に対して、入射光により光電変換素子PDで発生した電荷を分割して振分ける処理を行う。
【0095】
図7は、第2の実施形態における電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた場合における容量増加モードによる、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
図7のタイミングチャートにおいて、縦軸はパルスのレベル(「H」レベル/「L」レベル)を示し、横軸は時間を示している。また、
図7においては、フレーム周期における電荷の蓄積期間に繰返される蓄積周期を示している。容量増加モードにおける転送トランジスタG1からG4の各々に供給する蓄積駆動信号TX1からTX4それぞれのタイミングと、電荷排出トランジスタGDに供給する駆動信号RSTDのタイミングとを示している。
【0096】
タイミング制御部41は、
図5の説明と同様に、光源部2に対して光パルスPOを測定空間に対して照射させる。これにより、光パルスPOが被写体に反射し、反射光RLとして受光部3に受光される。そして、光電変換素子PDは、背景光及び反射光RLの各々に対応した電荷を発生する。画素駆動回路322は、光電変換素子PDの発生した電荷を、電荷蓄積部CS1からCS4の各々に対して転送するため、転送トランジスタG1からG4の各々のオンオフを制御する。
【0097】
すなわち、画素駆動回路322は、蓄積駆動信号TX1からTX4の各々を、所定の時間幅(照射時間To、すなわちパルス幅と同一の幅)の「H」レベルの信号として、転送トランジスタG1からG4それぞれに供給する。
画素駆動回路322は、例えば、光電変換素子PDから電荷を電荷蓄積部CS1に転送する転送経路上に設けられた転送トランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、転送トランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、画素駆動回路322は、転送トランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。
【0098】
また、
図3に示す通常モードにおける被写体Sとの距離の計測の際、モード判定部432が電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた画素数が、設定数を超えることを検出した場合、容量増加モード稼働条件設定部433は、稼働条件組合せ記憶部436から、電荷蓄積部CS2及びCS3を組合せて稼働させる容量増加モード稼働条件を読み出す。
そして、容量増加モード稼働条件設定部433は、読み出した上記容量増加モード稼働条件を稼働制御部434に対して出力する。
稼働制御部434は、電荷蓄積部CSの各々に対応した容量増加モード稼働条件により、タイミング制御部41、距離演算部42及び画素駆動回路322の稼働を制御し、容量増加モードの動作を行わせる。
【0099】
これにより、画素駆動回路322は、容量増加モードの場合、タイミング制御部41のタイミング制御により、フレーム周期における電荷を蓄積する蓄積期間において、蓄積周期が例えばm個ある場合、蓄積期間における最初の1番目の蓄積周期からm/2番目の蓄積周期までの間、転送周期T2において蓄積駆動信号TX2を「H」レベルとし、転送トランジスタG2をオン状態として電荷蓄積部CS2に電荷を蓄積させる。
また、画素駆動回路322は、(m/2)+1番目の蓄積周期からm番目の蓄積周期までの間、転送周期T2において蓄積駆動信号TX3を「H」レベルとし、転送トランジスタG3をオン状態として電荷蓄積部CS3に電荷を蓄積させる。
【0100】
すなわち、電荷蓄積部CS2の電荷蓄積量Q2が容量閾値を超えた場合における容量増加モードは、フレーム周期毎の蓄積期間において、異なる蓄積周期における同一の転送周期において、入射光により光電変換素子PDが発生する電荷を、一つの電荷蓄積部CS2に振分けるのではなく、複数、すなわち電荷蓄積部CS2及びCS3の2個に対してそれぞれ分割して振分ける。
これにより、電荷蓄積部CS2のみでは飽和していた電荷量が、電荷蓄積部CS2及びCS3の各々に分割されて蓄積されるため、蓄積電荷量が最大蓄積容量を超えて飽和することを抑制することができる。
【0101】
また、通常モードにおいて、蓄積駆動信号TX4は、通常モードであれば、転送周期T4において「H」レベルとされていた。
しかしながら、容量増加モードにおいて、電荷蓄積部CS4が通常モードにおける電荷蓄積部CS3の機能を有しているため、すでに述べた第1の実施形態と同様に、画素駆動回路322は、転送周期T3において蓄積駆動信号TX4を「H」レベルとする。
これにより、電荷蓄積部CS4には、転送周期T3において光電変換素子PDにより発生した電荷が、転送トランジスタG4を介して振分けられて蓄積される。
【0102】
また、上述した容量増加モード稼働条件においては、蓄積周期が例えばm個ある場合、蓄積期間における最初の1番目の蓄積周期からm/2番目の蓄積周期までの間で電荷蓄積部CS2に電荷を蓄積させ、(m/2)+1番目の蓄積周期からm番目の蓄積周期までの間で電荷蓄積部CS3に電荷を蓄積させる構成としている。
しかしながら、奇数番目の蓄積周期の転送周期T2において蓄積駆動信号TX2を「H」レベルとし、例えば、偶数番目の蓄積周期の転送周期T2において蓄積駆動信号TX3を「H」レベルとして、電荷蓄積部CS2及びCS3の各々に対して交互に、光電変換部PDの発生する電荷を分割して振分ける構成としてもよい。
また、上述した構成に限らず、例えば、フレーム周期の蓄積期間における蓄積周期の個数を電荷蓄積部CS2と電荷蓄積部CS3との各々に半分ずつ分割するように、ランダムに振り分ける構成としてもよい。
【0103】
また、フレーム周期の蓄積期間における蓄積周期の個数を半分ずつ(均等に)、電荷蓄積部CS2及びCS3の各々に光電変換部PDの発生する電荷を分割して振分ける構成とした。
しかしながら、フレーム周期の蓄積期間における蓄積周期の個数を所定の比率として、電荷蓄積部CS2及びCS3の各々に光電変換部PDの発生する電荷を分割して振分ける構成としてもよい。すなわち、電荷蓄積部CS2及びCS3の各々に分割される電荷量が均等でなく、所定の比率となっても、一つの電荷蓄積部CS2のみの場合のように、飽和することを低減できる効果が得られる。
【0104】
そして、転送トランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、光電変換素子PDから入射光に対応した電荷が転送される。電荷蓄積期間に転送周期T1から転送周期T3、及び時間Trsからなる複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における転送周期T1と、蓄積周期が異なる転送周期T2と、転送周期T3との各々の転送周期毎に、電荷蓄積部CS1と、電荷蓄積部CS2及びCS3と、電荷蓄積部CS4とのそれぞれに電荷が蓄積される。
【0105】
また、画素駆動回路322は、項で変換素子PDから電荷蓄積部CS1、CS2、CS3及びCS4の各々への電荷の転送を行う転送周期それぞれを繰返す際、電荷蓄積部CS4に対する電荷の転送(振分け)が終了した後、光電変換素子PDから電荷を排出する排出経路上に設けられた電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
これにより、電荷排出トランジスタGDは、電荷蓄積部CS1に対する転送周期T1が開始される前に、直前の電荷蓄積部CS4の転送周期T3の後に光電変換素子PDに発生した電荷を破棄する(すなわち、光電変換素子PDをリセットさせる)。
容量増加モードの場合、転送周期T2及びT3が実質的に統合されて転送周期T4が無くなるため、
図7に示すように、転送周期T3の後の時間Trsにおいて、電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
【0106】
そして、画素駆動回路322は、第1の実施形態と同様に、フレーム周期における蓄積期間が終了した後、受光部3内に配置された全ての画素回路321の各々から、それぞれ電圧信号を画素回路321の行(横方向の配列)単位で、順次A/D変換処理などの信号処理を行なう。この画素回路321の各々の電荷蓄積部CS1、CS2、CS3、CS4のそれぞれから、電荷蓄積量Q1、Q2、Q3、Q4を読み出す処理については、通常モードと同様である。
その後、画素駆動回路322は、信号処理を行った後の電圧信号を、受光部3において配置された列の順番に、順次、距離演算部42に出力させる。
【0107】
ここで、距離演算部42は、画素駆動回路322により供給されるデジタル値の電荷蓄積量Q2と電荷蓄積量Q3とを加算し(一個の電荷蓄積部CS2に蓄積された電荷量として扱う)、この加算結果Q2+Q3と、電荷蓄積量Q1及び電荷蓄積量Q4との各々を用いて、第1の実施形態と同様に遅延時間Tdを算出し、被写体Sと距離画像撮像装置1との間の距離を求める。
また、上記A/D変換処理を行う前段に、アナログ値の電荷蓄積量Q2と電荷蓄積量Q3とを加算する加算器を設け、当該加算器による加算結果Q2+Q3をA/D変換し、得られたデジタル値の加算結果Q2+Q3を距離演算部42に出力する構成としてもよい。
【0108】
上述したような、画素駆動回路322による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に相当する電荷が、電荷蓄積部CSのそれぞれに蓄積される。画素駆動回路322は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム(フレーム周期)分の電荷量に相当する電気信号を、距離演算部42に出力する。
【0109】
光パルスPOを照射するタイミングと、電荷蓄積部CS(CS1からCS4)のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、CS3及びCS4には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。
ここで、
図7において、電荷蓄積部CS2及びCS3と、電荷蓄積部CS4とに振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
【0110】
また、電荷蓄積部CS3の電荷蓄積量Q3が容量閾値を超えた場合における容量増加モードは、電荷蓄積部CS2を単独(一個)とし、電荷蓄積部CS3及びCS4を組み合わせて用いる。
すなわち、
図3に示す通常モードにおける被写体Sとの距離の計測の際、モード判定部432が電荷蓄積部CS3の電荷蓄積量Q3が容量閾値を超えた画素数が、設定数を超えることを検出した場合、容量増加モード稼働条件設定部433は、稼働条件組合せ記憶部436から、電荷蓄積部CS3及びCS4を組合せて稼働させる容量増加モード稼働条件を読み出す。
【0111】
そして、容量増加モード稼働条件設定部433は、読み出した上記容量増加モード稼働条件を稼働制御部434に対して出力する。
稼働制御部434は、電荷蓄積部CSの各々に対応した容量増加モード稼働条件により、タイミング制御部41、距離演算部42及び画素駆動回路322の稼働を制御し、容量増加モードの動作を行わせる。
【0112】
これにより、画素駆動回路322は、容量増加モードの場合、タイミング制御部41のタイミング制御により、フレーム周期における電荷を蓄積する蓄積期間において、蓄積周期が例えばm個ある場合、蓄積期間における最初の1番目の蓄積周期からm/2番目の蓄積周期までの間、転送周期T3において蓄積駆動信号TX3を「H」レベルとし、転送トランジスタG3をオン状態として電荷蓄積部CS3に電荷を蓄積させる。
また、画素駆動回路322は、(m/2)+1番目の蓄積周期からm番目の蓄積周期までの間、転送周期T3において蓄積駆動信号TX4を「H」レベルとし、転送トランジスタG4をオン状態として電荷蓄積部CS4に電荷を蓄積させる。
【0113】
すなわち、電荷蓄積部CS3の電荷蓄積量Q3が容量閾値を超えた場合における容量増加モードは、フレーム周期毎の蓄積期間において、異なる蓄積周期における同一の転送周期において、入射光により光電変換素子PDが発生する電荷を、一つの電荷蓄積部CS3に振分けるのではなく、複数、すなわち電荷蓄積部CS3及びCS4の2個に対してそれぞれ分割して振分ける。
これにより、電荷蓄積部CS3のみでは飽和していた電荷量が、電荷蓄積部CS3及びCS4の各々に分割されて蓄積されるため、蓄積電荷量が最大蓄積容量を超えて飽和することを抑制することができる。
【0114】
また、通常モードにおいて、蓄積駆動信号TX2は、通常モードと同様に、転送周期T2において「H」レベルとされる。
これにより、電荷蓄積部CS2には、通常モードと同様に、転送周期T2において光電変換素子PDにより発生した電荷が、転送トランジスタG2を介して振分けられて蓄積される。
【0115】
また、容量増加モードにおける
図7に示す駆動形態で、転送周期T3において電荷蓄積部CS3及びCS4を組合わせる場合、距離演算部42は、以下の(6)式により、遅延時間Tdを算出する。
Td=To×(Q3+Q4-2×Q1)/(Q2+Q3+Q4-3×Q1)…(6)
このとき、距離演算部42は、上記(6)式で求めた遅延時間Tdに、光速(速度)を乗算させることにより、被写体Sまでの往復の測定距離を算出する。
そして、距離演算部42は、上記で算出した往復の距離を1/2とする(遅延時間Td×c(光速度)/2)ことにより、距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離を求める。
【0116】
また、上述した容量増加モード稼働条件においては、蓄積周期が例えばm個ある場合、蓄積期間における最初の1番目の蓄積周期からm/2番目の蓄積周期までの間で電荷蓄積部CS3に電荷を蓄積させ、(m/2)+1番目の蓄積周期からm番目の蓄積周期までの間で電荷蓄積部CS4に電荷を蓄積させる構成としている。
しかしながら、例えば、奇数番目の蓄積周期の転送周期T3において蓄積駆動信号TX3を「H」レベルとし、偶数番目の蓄積周期の転送周期T3において蓄積駆動信号TX4を「H」レベルとして、電荷蓄積部CS3及びCS4の各々に対して交互に、光電変換部PDの発生する電荷を分割して振分ける構成としてもよい。
【0117】
また、フレーム周期の蓄積期間における蓄積周期の個数を半分ずつ(均等に)、電荷蓄積部CS3及びCS4の各々に光電変換部PDの発生する電荷を分割して振分ける構成とした。
しかしながら、フレーム周期の蓄積期間における蓄積周期の個数を所定の比率として、電荷蓄積部CS3及びCS4の各々に光電変換部PDの発生する電荷を分割して振分ける構成としてもよい。すなわち、電荷蓄積部CS3及びCS4の各々に分割される電荷量が均等でなく、所定の比率となっても、一つの電荷蓄積部CS3のみの場合のように、飽和することを低減できる効果が得られる。
【0118】
そして、転送トランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、光電変換素子PDから入射光に対応した電荷が転送される。電荷蓄積期間に転送周期T1からT4からなる複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における転送周期T1と、転送周期T2と、蓄積周期が異なる転送周期T3の各々の転送周期毎に、電荷蓄積部CS1と、電荷蓄積部CS2と、電荷蓄積部CS3及びCS4とのそれぞれに電荷が蓄積される。
【0119】
上述したように、本実施形態によれば、第1の実施形態と同様に、電荷蓄積部CSが飽和する画素数が予め設定した設定数を超える場合、複数(例えば2個)の電荷蓄積部CSを組み合わせて一個の電荷蓄積部として稼働させる、例えば、蓄積電荷の容量(蓄積容量)が容量閾値を超える電荷蓄積部CS2が設定数を超える場合、電荷蓄積部CS2とCS3とを組み合わせて、光電変換素子PDの発生する電荷を分割して振分けることにより、電荷蓄積部CS2が飽和し、距離測定の計算結果の精度を低下させることを防止する構成としているため、電荷蓄積部の容量を増加させることなく、撮像画像の解像度及び入射光に対する感度を維持しつつ、入射光の強度が増加することによる飽和を抑制することが可能となる。
【0120】
<第3の実施形態>
以下、本発明の第3の実施形態について、図面を参照して説明する。
本発明の第2の実施形態の距離画像撮像装置は、すでに説明した
図1の第1の実施形態による距離画像撮像装置1と同様の構成である。
以下、第2の実施形態において、第1の実施形態と異なる動作のみを説明する。
【0121】
第1の実施形態の距離画像撮像装置は、すでに説明したように、容量増加モードにおいて、同一の蓄積周期における同一の転送周期で同時に組合せの電荷蓄積部CSに対応する転送トランジスタGをオン状態として、組合せの電荷蓄積部CSの各々に対して、入射光により光電変換素子PDで発生した電荷を分割して振分ける処理を行う。
しかしながら、第3の実施形態においては、背景光の影響が無視できる環境、例えば暗闇で環境における背景光がほとんどない状態を前提としている容量増加モードを有している。
なお、上述した本実施形態における駆動は、4tap(4個の電荷蓄積部)を備える画素の場合であり、5tap(5個の電荷蓄積部)以上の電荷蓄積部を備える画素においては背景光の影響を考慮した容量増加モードとなる。
【0122】
図8は、第3の実施形態における背景光の影響が無視できる環境の場合の容量増加モードによる、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
図8のタイミングチャートにおいて、縦軸はパルスのレベル(「H」レベル/「L」レベル)を示し、横軸は時間を示している。また、
図8においては、フレーム周期における電荷の蓄積期間に繰返される蓄積周期を示している。容量増加モードにおける、転送トランジスタG1からG4の各々に供給する蓄積駆動信号TX1からTX4それぞれのタイミングと、電荷排出トランジスタGDに供給する駆動信号RSTDのタイミングとを示している。
【0123】
本実施形態において、背景光を取得する必要がないため、容量増加モードの場合、稼働条件組合せ記憶部436における容量増加モード稼働条件により、光源部2は、蓄積周期T1と同一タイミングにおいて光パルスPOを照射する。
また、容量増加モードとするモード判定は、第1の実施形態及び第2の実施形態と同様に、通常モードにおいて行われる。
そして、容量増加モード稼働条件設定部433は、読み出した上記容量増加モード稼働条件を稼働制御部434に対して出力する。
【0124】
稼働制御部434は、電荷蓄積部CSの各々に対応した容量増加モード稼働条件により、タイミング制御部41、距離演算部42及び画素駆動回路322の稼働を制御し、容量増加モードの動作を行わせる。
上記容量増加モード稼働条件は、背景光の蓄積に電荷蓄積部CS1を用いないため、電荷蓄積部CS1及びCS2の各々を組合せ、かつ電荷蓄積部CS3及びCS4の各々とを組合せ、通常モードにおける電荷蓄積部CS1、CS2それぞれの一個に対応させて稼働させる。
【0125】
すなわち、画素駆動回路322は、容量増加モードの場合、タイミング制御部41のタイミング制御により、通常駆動では電荷蓄積部CS1に電荷を蓄積させる転送周期T1において、蓄積駆動信号TX1及びTX2を同時のタイミングで「H」レベルとする。
そして、転送トランジスタG1及びG2の各々は、光電変換素子PDが発生した電荷を、電荷蓄積部CS1、電荷蓄積部CS2のそれぞれに分割して振分ける。
これにより、電荷蓄積部CS1のみでは飽和していた電荷量が、電荷蓄積部CS1及びCS2の各々に分割されて蓄積されるため、蓄積電荷量が最大蓄積容量を超えて飽和することを抑制することができる。
【0126】
また、同様に、画素駆動回路322は、容量増加モードの場合、タイミング制御部41のタイミング制御により、通常駆動では電荷蓄積部CS2に電荷を蓄積させる転送周期T2において、蓄積駆動信号TX3及びTX4を同時のタイミングで「H」レベルとする。
そして、転送トランジスタG3及びG4の各々は、光電変換素子PDが発生した電荷を、電荷蓄積部CS3、電荷蓄積部CS4のそれぞれに分割して振分ける。
これにより、電荷蓄積部CS2のみでは飽和していた電荷量が、電荷蓄積部CS3及びCS4の各々に分割されて蓄積されるため、蓄積電荷量が最大蓄積容量を超えて飽和することを抑制することができる。
【0127】
そして、転送トランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、光電変換素子PDから入射光に対応した電荷が転送される。電荷蓄積期間に転送周期T1からT4からなる複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における電荷蓄積部CS1及びCS2(転送周期T1)と、電荷蓄積部CS3及びCS4(転送周期T2)との各々の転送周期毎に、電荷蓄積部CS1及びCS2と電荷蓄積部CS3及びCS4とのそれぞれに電荷が蓄積される。
【0128】
また、画素駆動回路322は、項で変換素子PDから電荷蓄積部CS1、CS2、CS3及びCS4の各々への電荷の転送を行う転送周期それぞれを繰返す際、電荷蓄積部CS4に対する電荷の転送(振分け)が終了した後、光電変換素子PDから電荷を排出する排出経路上に設けられた電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
【0129】
これにより、電荷排出トランジスタGDは、電荷蓄積部CS1に対する転送周期T1が開始される前に、直前の電荷蓄積部CS4の転送周期T2後に光電変換素子PDに発生した電荷を破棄する(すなわち、光電変換素子PDをリセットさせる)。
容量増加モードの場合、転送周期T1及びT2と、転送周期T3及びT4との各々が実質的に統合されて転送周期T3及びT4が無くなるため、
図8に示すように、転送周期T2の後の時間Trsにおいて、電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
【0130】
また、第2の実施形態と同様に、電荷蓄積部CS2やCS3の電荷蓄積量Q2、Q3が容量閾値を超えた場合における容量増加モードは、フレーム周期毎の蓄積期間において、異なる蓄積周期における同一の転送周期において、入射光により光電変換素子PDが発生する電荷を、一つの電荷蓄積部CS2やCS3に振分けるのではなく、すなわち電荷蓄積部CS1及びCS2の2個とに対してそれぞれ分割し、あるいは電荷蓄積部CS3及びCS4の2個とに対してそれぞれ分割して振分ける構成としてもよい。
【0131】
また、背景光を無視することを前提とした場合、電荷蓄積部CS1、CS2及びCS3の3個の電荷蓄積部において、第1の実施形態の構成と同様に、電荷蓄積部CS1及びCS2の組合せと、電荷蓄積部CS3とで距離計測を行わせてもよいし、電荷蓄積部CS1と、電荷蓄積部CS2及びCS3の組合せとで距離計測を行わせてもよい
【0132】
上述したように、本実施形態によれば、第1の実施形態と同様に、電荷蓄積部CSが飽和する画素数が予め設定した設定数を超える場合、複数(例えば2個)の電荷蓄積部CSを組み合わせて一個の電荷蓄積部として稼働させる、例えば、蓄積電荷の容量(蓄積容量)が容量閾値を超える電荷蓄積部CS2やCS3が設定数を超える場合、電荷蓄積部CS1とCS2とを、あるいは電荷蓄積部CS3とCS4とを組み合わせて、光電変換素子PDの発生する電荷を分割して振分けることにより、電荷蓄積部CS2やCS3が飽和し、距離測定の計算結果の精度を低下させることを防止する構成としているため、電荷蓄積部の容量を増加させることなく、撮像画像の解像度及び入射光に対する感度を維持しつつ、入射光の強度が増加することによる飽和を抑制することが可能となる。
【符号の説明】
【0133】
1…距離画像撮像装置
2…光源部
3…受光部
21…光源装置
22…拡散板
31…レンズ
32…距離画像センサ(距離画像撮像素子)
321…画素回路
322…画素駆動回路
4…距離画像処理部
41…タイミング制御部
42…距離演算部
43…測定制御部
431…通常モード稼働条件設定部
432…モード判定部
433…容量増加モード稼働条件設定部
434…稼働制御部
435…モード判定条件記憶部
436…稼働条件組合せ記憶部
CS1,CS2,CS3,CS4…電荷蓄積部
FD1,FD2,FD3,FD4…フローティングディフュージョン
G1,G2,G3,G4…転送トランジスタ
GD…電荷排出トランジスタ
PD…光電変換素子
PO…光パルス
RL…反射光
RT1,RT2,RT3,RT4…リセットトランジスタ
S…被写体
SF1,SF2,SF3,SF4…ソースフォロアトランジスタ
SL1,SL2,SL3,SL4…選択トランジスタ