(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-05
(45)【発行日】2024-07-16
(54)【発明の名称】撮像装置及び撮像システム
(51)【国際特許分類】
H04N 25/533 20230101AFI20240708BHJP
H04N 25/771 20230101ALI20240708BHJP
【FI】
H04N25/533
H04N25/771
(21)【出願番号】P 2019208571
(22)【出願日】2019-11-19
【審査請求日】2022-11-16
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】林 英俊
【審査官】鈴木 明
(56)【参考文献】
【文献】特開2018-191040(JP,A)
【文献】特開2007-295525(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/00-25/79
(57)【特許請求の範囲】
【請求項1】
複数の画素行及び複数の画素列をなすように配され、各々が光電変換部を有する複数の画素と、
前記複数の画素における電荷の蓄積時間を制御する制御部と、を有し、
前記複数の画素は、前記複数の画素の互いに異なる一部であって、少なくとも2つの画素行又は少なくとも2つの画素列に配された画素群を各々が含む複数の画素ブロックに分けられており、
前記制御部は、前記複数の画素ブロック毎に前記蓄積時間を制御するように構成されており、
前記複数の画素ブロックは、第1の画素ブロックと、第2の画素ブロックと、前記第1の画素ブロックと前記第2の画素ブロックとの間に配された第3の画素ブロックと、を含み、
前記制御部は、
前記第3の画素ブロックにおける前記蓄積時間を、前記第1の画素ブロックにおける前記蓄積時間と共通に制御し、一方で、前記第2の画素ブロックにおける前記蓄積時間を、前記第1の画素ブロック及び前記第3の画素ブロックにおける前記蓄積時間に対して独立に制御する第1モードと、
前記第3の画素ブロックにおける前記蓄積時間を、前記第2の画素ブロックにおける前記蓄積時間と共通に制御し、一方で、前記第1の画素ブロックにおける前記蓄積時間を、前記第2の画素ブロック及び前記第3の画素ブロックにおける前記蓄積時間に対して独立に制御する第2モードと、を含む
ことを特徴とする撮像装置。
【請求項2】
前記複数の画素行のうち少なくとも1つの画素行は、少なくとも前記第1の画素ブロック、前記第2の画素ブロック及び前記第3の画素ブロックに渡り、
前記制御部は、
前記複数の画素に対して画素行の単位で第1制御信号を供給する走査部と、
前記複数の画素ブロックに対して、少なくとも前記第1の画素ブロックと前記第2の画素ブロックとが独立に制御されるように第2制御信号を供給する領域制御部と、
前記複数の画素ブロックの少なくとも一部に対応して設けられ、前記走査部から供給される前記第1制御信号と、前記領域制御部から供給される前記第2制御信号とに基づいて、対応する画素ブロックにおける前記蓄積時間を制御するための第3制御信号を生成する信号生成部と、を有する
ことを特徴とする請求項1記載の撮像装置。
【請求項3】
前記領域制御部から前記第3の画素ブロックに制御信号を供給するための信号線の数は、前記領域制御部から前記第1の画素ブロックに制御信号を供給するための信号線の数及び前記領域制御部から前記第2の画素ブロックに制御信号を供給するための信号線の数よりも少ない
ことを特徴とする請求項2記載の撮像装置。
【請求項4】
前記第1の画素ブロックに対応して設けられた前記信号生成部は、前記第3制御信号を前記第1の画素ブロックに配された画素に供給し、
前記第2の画素ブロックに対応して設けられた前記信号生成部は、前記第3制御信号を前記第2の画素ブロックに配された画素に供給し、
前記制御部は、前記第1の画素ブロックに対応して設けられた前記信号生成部の生成する前記第3制御信号、及び、前記第2の画素ブロックに対応して設けられた前記信号生成部の生成する前記第3制御信号のうちの一方を選択し、前記第3の画素ブロックに配された画素に供給する選択部を含む
ことを特徴とする請求項2又は3記載の撮像装置。
【請求項5】
前記光電変換部にて生成された電荷に基づく信号を増幅する増幅部を更に有し、
前記制御部は、前記複数の画素ブロック毎に前記増幅部におけるゲインを制御するように更に構成されており、
前記制御部は、前記第3の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲインが、前記第1の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲイン及び前記第2の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲインのうちの一方と同じになるように、前記増幅部を制御するように構成されている
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記増幅部は、前記複数の
画素列の各々に対応して配された複数のアンプを有し、
前記制御部は、画素ブロック列の単位で前記アンプのゲインを切り替えることにより、前記ゲインを制御する
ことを特徴とする請求項5記載の撮像装置。
【請求項7】
前記複数の画素の各々は、前記増幅部として、容量値が可変の電荷保持部と、前記電荷保持部の前記容量値と前記光電変換部から転送される電荷の量とに応じた信号を出力する増幅トランジスタと、を更に有し、
前記制御部は、画素ブロックの単位で前記画素の前記電荷保持部の前記容量値を切り替えることにより、前記ゲインを制御する
ことを特徴とする請求項5記載の撮像装置。
【請求項8】
前記複数の画素ブロックは、前記第1の画素ブロックと前記第2の画素ブロックとの間に、複数の前記第3の画素ブロックを含む
ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
【請求項9】
前記制御部は、前記第1の画素ブロックの側から前記第2の画素ブロックの側に向かって、前記第3の画素ブロックを1つずつ前記第1の画素ブロックと同じ制御とする第1の駆動と、前記第2の画素ブロックの側から前記第1の画素ブロックの側に向かって、前記第3の画素ブロックを1つずつ前記第2の画素ブロックと同じ制御とする第2の駆動と、を交互に実行する
ことを特徴とする請求項8記載の撮像装置。
【請求項10】
複数の画像データに基づき被写体の動きを検出する動体検出部を更に有し、
前記制御部は、前記被写体が移動していることを前記動体検出部が検出した場合に、前記被写体の移動方向及び移動速度に応じて、前記第1の画素ブロックと同じ制御を行う前記第3の画素ブロックを設定する
ことを特徴とする請求項8記載の撮像装置。
【請求項11】
前記制御部は、被写体の動きを予め学習した学習モデルに基づいて、前記動体検出部が検出した前記被写体の動きを予測し、前記複数の画素ブロックに設定する前記蓄積時間の初期値を設定する
ことを特徴とする請求項10記載の撮像装置。
【請求項12】
前記第3の画素ブロックの領域サイズは、前記第1の画素ブロック及び前記第2の画素ブロックの領域サイズと異なっている
ことを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
【請求項13】
前記第3の画素ブロックに含まれる画素の数は、前記第1の画素ブロックに含まれる画素の数より少なく、かつ、前記第2の画素ブロックに含まれる画素の数より少ない
ことを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
【請求項14】
複数の画素行及び複数の画素列をなすように配され、各々が光電変換部を有する複数の画素と、
前記複数の画素における電荷の蓄積時間を制御する制御部と、を有し、
前記複数の画素は、前記複数の画素の互いに異なる一部であって、少なくとも2つの画素行又は少なくとも2つの画素列に配された画素群を各々が含む複数の画素ブロックに分けられており、
前記制御部は、前記複数の画素ブロック毎に前記蓄積時間を制御するように構成されており、
前記制御部は、前記複数の画素ブロックを第1群と第2群とに分割する第1期間と、前記複数の画素ブロックを、前記第1群及び前記第2群とは異なる第3群と第4群とに分割する第2期間と、を実行するように構成されており、
前記第1期間において、前記第1群に属する画素の前記
蓄積時間の長さは、前記第2群に属する画素の前記
蓄積時間の長さと異なっており、前記第1群に属する画素の数は、前記第2群に属する画素の数よりも多く、
前記第2期間において、前記第3群に属する画素の前記
蓄積時間の長さは、前記第4群に属する画素の前記
蓄積時間の長さと異なっており、前記第3群に属する画素の数は、前記第4群に属する画素の数よりも多く、
前記第1期間において前記第1群に属する画素ブロックの一部は、前記第2期間において前記第4群に属している
ことを特徴とする撮像装置。
【請求項15】
前記第1期間において前記第2群に属する画素ブロックの一部は、前記第2期間において前記第3群に属している
ことを特徴とする請求項14に記載の撮像装置。
【請求項16】
複数の
画素行及び複数の
画素列をなすように配され、各々が光電変換部を有する複数の画素と、
前記光電変換部にて生成された電荷に基づく信号を増幅する増幅部と、
前記増幅部におけるゲインを制御する制御部と、を有し、
前記複数の画素は、前記複数の画素の互いに異なる一部であって、少なくとも2つの
画素行又は少なくとも2つの
画素列に配された画素群を各々が含む複数の画素ブロックに分けられており、
前記制御部は、前記複数の画素ブロック毎に前記ゲインを制御するように構成されており、
前記複数の画素ブロックは、同じ画素ブロック行に、第1の画素ブロックと、第2の画素ブロックと、前記第1の画素ブロックと前記第2の画素ブロックとの間に配された第3の画素ブロックと、を含み、
前記制御部は、前記第3の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲインが、前記第1の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲイン及び前記第2の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲインのうちの一方と同じになるように、前記増幅部を制御するように構成されている
ことを特徴とする撮像装置。
【請求項17】
前記増幅部は、前記複数の
画素列の各々に対応して配された複数のアンプを有し、
前記制御部は、画素ブロック列の単位で前記アンプのゲインを切り替えることにより、前記ゲインを制御する
ことを特徴とする請求項16記載の撮像装置。
【請求項18】
前記複数の画素の各々は、前記増幅部として、容量値が可変の保持部と、前記保持部の前記容量値と前記光電変換部から転送される電荷の量とに応じた信号を出力する増幅トランジスタと、を更に有し、
前記制御部は、画素ブロック列の単位で前記画素の前記保持部の前記容量値を切り替えることにより、前記ゲインを制御する
ことを特徴とする請求項16記載の撮像装置。
【請求項19】
同じ画素ブロック行に配された隣接する前記画素ブロックの境界が、前記複数の
画素列の方向に対して傾斜している
ことを特徴とする請求項1乃至18のいずれか1項に記載の撮像装置。
【請求項20】
前記複数の画素が設けられた第1の基板と、
前記第1の基板に積層され、前記制御部のうちの少なくとも一部が設けられた第2の基板と
を有することを特徴とする請求項1乃至19のいずれか1項に記載の撮像装置。
【請求項21】
請求項1乃至20のいずれか1項に記載の撮像装置と、
前記撮像装置の前記画素から出力される信号を処理する信号処理部と
を有することを特徴とする撮像システム。
【請求項22】
移動体であって、
請求項1乃至20のいずれか1項に記載の撮像装置と、
前記撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び撮像システムに関する。
【背景技術】
【0002】
特許文献1には、1つの画面を複数のブロックに分割し、ブロック毎に被写体の動き検出を行ってそれぞれ露光時間を制御するように構成した撮像装置及びその駆動方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の撮像装置は予め定められたサイズの画素ブロック毎に露光時間を設定できるように構成したものであり、露光時間の設定の自由度は必ずしも高いとは言えなかった。そのため、被写体の状況に応じた適切な露光時間で撮影を行うことが困難な場合もあり、画質が低下することがあった。画素ブロックのサイズを小さくすれば露光時間の設定の自由度を向上することはできるが、画素ブロックのサイズを小さくするほどに画素ブロック数が増加して信号線の数も増加するため、制御が煩雑になり、また、開口率が低下する原因にもなる。
【0005】
本発明の目的は、画素ブロック毎に撮像条件を制御可能な撮像装置において、構成の複雑化や制御の煩雑化を抑制しつつ画質を向上しうる技術を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一観点によれば、複数の画素行及び複数の画素列をなすように配され、各々が光電変換部を有する複数の画素と、前記複数の画素における電荷の蓄積時間を制御する制御部と、を有し、前記複数の画素は、前記複数の画素の互いに異なる一部であって、少なくとも2つの画素行又は少なくとも2つの画素列に配された画素群を各々が含む複数の画素ブロックに分けられており、前記制御部は、前記複数の画素ブロック毎に前記蓄積時間を制御するように構成されており、前記複数の画素ブロックは、第1の画素ブロックと、第2の画素ブロックと、前記第1の画素ブロックと前記第2の画素ブロックとの間に配された第3の画素ブロックと、を含み、前記制御部は、前記第3の画素ブロックにおける前記蓄積時間を、前記第1の画素ブロックにおける前記蓄積時間と共通に制御し、一方で、前記第2の画素ブロックにおける前記蓄積時間を、前記第1の画素ブロック及び前記第3の画素ブロックにおける前記蓄積時間に対して独立に制御する第1モードと、前記第3の画素ブロックにおける前記蓄積時間を、前記第2の画素ブロックにおける前記蓄積時間と共通に制御し、一方で、前記第1の画素ブロックにおける前記蓄積時間を、前記第2の画素ブロック及び前記第3の画素ブロックにおける前記蓄積時間に対して独立に制御する第2モードと、を含む撮像装置が提供される。
【0007】
また、本発明の他の一観点によれば、複数の画素行及び複数の画素列をなすように配され、各々が光電変換部を有する複数の画素と、前記複数の画素における電荷の蓄積時間を制御する制御部と、を有し、前記複数の画素は、前記複数の画素の互いに異なる一部であって、少なくとも2つの画素行又は少なくとも2つの画素列に配された画素群を各々が含む複数の画素ブロックに分けられており、前記制御部は、前記複数の画素ブロック毎に前記蓄積時間を制御するように構成されており、前記制御部は、前記複数の画素ブロックを第1群と第2群とに分割する第1期間と、前記複数の画素ブロックを、前記第1群及び前記第2群とは異なる第3群と第4群とに分割する第2期間と、を実行するように構成されており、前記第1期間において、前記第1群に属する画素の前記蓄積時間の長さは、前記第2群に属する画素の前記蓄積時間の長さと異なっており、前記第1群に属する画素の数は、前記第2群に属する画素の数よりも多く、前記第2期間において、前記第3群に属する画素の前記蓄積時間の長さは、前記第4群に属する画素の前記蓄積時間の長さと異なっており、前記第3群に属する画素の数は、前記第4群に属する画素の数よりも多く、前記第1期間において前記第1群に属する画素ブロックの一部は、前記第2期間において前記第4群に属している撮像装置が提供される。
【0008】
また、本発明の更に他の一観点によれば、複数の行及び複数の列をなすように配され、各々が光電変換部を有する複数の画素と、前記光電変換部にて生成された電荷に基づく信号を増幅する増幅部と、前記増幅部におけるゲインを制御する制御部と、を有し、前記複数の画素は、前記複数の画素の互いに異なる一部であって、少なくとも2つの行又は少なくとも2つの列に配された画素群を各々が含む複数の画素ブロックに分けられており、前記制御部は、前記複数の画素ブロック毎に前記ゲインを制御するように構成されており、前記複数の画素ブロックは、同じ画素ブロック行に、第1の画素ブロックと、第2の画素ブロックと、前記第1の画素ブロックと前記第2の画素ブロックとの間に配された第3の画素ブロックと、を含み、前記制御部は、前記第3の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲインが、前記第1の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲイン及び前記第2の画素ブロックに配された画素の前記光電変換部にて生成された電荷に基づく信号に対する前記ゲインのうちの一方と同じになるように、前記増幅部を制御するように構成されている撮像装置が提供される。
【発明の効果】
【0009】
本発明によれば、画素ブロック毎に撮像条件を制御可能な撮像装置において、構成の複雑化や制御の煩雑化を抑制しつつ画質を向上することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の第1実施形態による撮像装置の概略構成を示すブロック図である。
【
図2】本発明の第1実施形態による撮像装置における画素部の構成例を示すブロック図である。
【
図3】本発明の第1実施形態による撮像装置における画素の構成例を示す回路図である。
【
図4】本発明の第1実施形態による撮像装置における各ブロックの配置例を示す概略図である。
【
図5】本発明の第1実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。
【
図6】画素部内の各画素ブロックにおける露光時間を模式的に表した図である。
【
図7】本発明の第1実施形態による撮像装置の駆動方法を示すタイミングチャート(その1)である。
【
図8】本発明の第1実施形態による撮像装置の駆動方法を示すタイミングチャート(その2)である。
【
図9】本発明の第2実施形態による撮像装置の概略構成を示すブロック図である。
【
図10】本発明の第2実施形態による撮像装置における画素部の構成例を示すブロック図である。
【
図11】本発明の第2実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。
【
図12】本発明の第2実施形態による撮像装置の駆動方法を示すタイミングチャート(その1)である。
【
図13】本発明の第2実施形態による撮像装置の駆動方法を示すタイミングチャート(その2)である。
【
図14】本発明の第3実施形態による撮像装置の概略構成を示すブロック図である。
【
図15】本発明の第3実施形態による撮像装置における画素部及び列アンプ部の構成例を示す回路図である。
【
図16】画素部内の各画素ブロックにおける露光時間を模式的に表した図である。
【
図17】本発明の第3実施形態による撮像装置の駆動方法を示すタイミングチャートである。
【
図18】本発明の第4実施形態による撮像装置における画素の構成例を示す回路図である。
【
図19】本発明の第4実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。
【
図20】本発明の第4実施形態による撮像装置の駆動方法を示すタイミングチャートである。
【
図21】本発明の第5実施形態による撮像装置における画素部の構成例を示すブロック図である。
【
図22】本発明の第5実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。
【
図23】画素部内の各画素ブロックにおける露光時間を模式的に表した図である。
【
図24】本発明の第5実施形態による撮像装置の駆動方法を示すタイミングチャート(その1)である。
【
図25】本発明の第5実施形態による撮像装置の駆動方法を示すタイミングチャート(その2)である。
【
図26】本発明の第6実施形態による撮像装置における画素ブロック毎の制御イメージを示す図である。
【
図27】本発明の第6実施形態による撮像装置の駆動方法を示すフローチャートである。
【
図28】本発明の第7実施形態による撮像装置の駆動方法を示すフローチャートである。
【
図29】機械学習モデルのニューラルネットワークの模式図である。
【
図30】本発明の第9実施形態による撮像装置における画素部の構成例を示すブロック図である。
【
図31】本発明の第10実施形態による撮像システムの概略構成を示すブロック図である。
【
図32】本発明の第11実施形態による撮像システム及び移動体の構成例を示す図である。
【発明を実施するための形態】
【0011】
[第1実施形態]
本発明の第1実施形態による撮像装置の概略構成について、
図1乃至
図5を用いて説明する。
図1は、本実施形態による撮像装置の概略構成を示すブロック図である。
図2は、本実施形態による撮像装置における画素部の構成例を示すブロック図である。
図3は、本実施形態による撮像装置における画素の構成例を示す回路図である。
図4は、本実施形態による撮像装置におけるブロックの配置例を示す概略図である。
図5は、本実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。なお、本明細書において、いずれかの実施形態についての説明は、特に断りのない限り、他の全ての実施形態についても共通である。
【0012】
本実施形態による撮像装置1000は、
図1に示すように、画素部1と、垂直走査部2と、水平領域制御部3と、タイミング生成部4と、列AD変換部5と、水平走査部6と、信号出力部7と、を有する。
【0013】
画素部1には、各々が光電変換部を含む複数の画素が複数の行及び複数の列をなすように2次元状に配されている。本明細書では、各行の延在する方向(行方向)を水平方向、各列の延在する方向(列方向)を垂直方向と定義するものとする。画素部1には、垂直走査部2と、水平領域制御部3と、列AD変換部5と、が接続されている。
【0014】
垂直走査部2は、画素部1に配された複数の画素に対して行単位で順次制御信号を供給する動作、すなわち垂直走査を行い、複数の画素の駆動を行単位で制御する制御回路である。
【0015】
水平領域制御部3は、画素部1に定義される複数の画素ブロックのうち、水平方向に並んだ画素ブロックに対して、有効であることを示す制御信号(有効信号)又は有効でないことを示す制御信号(非有効信号)を供給する制御回路である。なお、画素ブロックについては後述する。
【0016】
列AD変換部5は、画素部1から列毎に出力される画素信号(アナログ画素信号)を列並列でアナログデジタル変換する信号処理回路である。列AD変換部5は、アナログデジタル変換した各列の画素信号(デジタル画素信号)を一時的に保持する不図示のラインメモリを備えている。列AD変換部5の前段に増幅部を設け、増幅したアナログ画素信号を列AD変換部5でアナログデジタル変換するように構成してもよい。列AD変換部5には、水平走査部6と、信号出力部7と、が接続されている。
【0017】
水平走査部6は、列AD変換部5へと供給する制御信号によって列AD変換部5のラインメモリが保持する各列のデジタル画素信号を順次選択して信号出力部7へと転送する動作、すなわち水平走査を行う制御回路である。
【0018】
信号出力部7は、列AD変換部5のラインメモリから転送されるデジタル画素信号に対して所定の信号処理を施し、所望のプロトコルに準拠した信号として撮像装置1000の外部へと出力する出力回路である。信号出力部7が行う信号処理としては、例えば、増幅処理やデジタル相関二重サンプリング処理等が挙げられる。
【0019】
タイミング生成部4は、垂直走査部2、水平領域制御部3、列AD変換部5、水平走査部6に対し、これらの動作やそのタイミングを制御する制御信号を供給する制御回路である。タイミング生成部4は、外部からの入力によって撮像装置1000の基準駆動に関する情報を受信し、外部との通信によって撮像装置1000の各種設定に関する情報を受信する。タイミング生成部4は、受信したこれら情報に基づき、垂直走査部2、水平領域制御部3、列AD変換部5、水平走査部6を制御するための制御信号を生成し、出力する。なお、垂直走査部2、水平領域制御部3、列AD変換部5、水平走査部6の制御信号の少なくとも一部は、撮像装置1000の外部からタイミング生成部4を介することなく直接に供給されてもよい。
【0020】
画素部1は、
図2に示すように、複数の行及び複数の列をなすように2次元状に配された複数の画素ブロック10,11,12,13,14,15,16,17,…を有する。複数の画素ブロック10,11,12,13,14,15,16,17,…の各々は、画素部1に配された複数の画素100のうちの一部と、信号生成部102と、を含む。
【0021】
信号生成部102は、垂直走査部2及び水平領域制御部3からの制御信号をもとに、その信号生成部102が属する画素ブロックの画素100に対して、信号電荷の蓄積時間(露光時間)の制御や読み出しの制御を行う制御回路である。すなわち、信号生成部102は、垂直走査部2及び水平領域制御部3とともに画素部1を制御する制御部を構成する。垂直走査部2は、画素部1を構成する複数の画素100に対して、画素行の単位で制御信号を供給する。水平領域制御部3は、画素部1を構成する複数の画素ブロックに対して、画素ブロック列の単位で制御信号を供給する。信号生成部102は、垂直走査部2から供給される制御信号と水平領域制御部3から供給される制御信号とに基づいて、対応する画素ブロックにおける蓄積時間を制御するための制御信号を生成する。
【0022】
図2に示す画素部1の構成例において、画素ブロック10,12,14,16を構成する画素100の数は、画素ブロック11,13,15,17を構成する画素100の数よりも多くなっている。画素数の多い画素ブロック10,12,14,16と画素数の少ない画素ブロック11,13,15,17とは、水平方向に交互に配置されている。
【0023】
なお、本明細書では、画素100を単位とする行を画素行と、画素100を単位とする列を画素列と、画素ブロックを単位とする行を画素ブロック行と、画素ブロックを単位とする列を画素ブロック列と、それぞれ呼ぶことがある。例えば
図2は、画素部1を構成する複数の画素ブロックのうち、2画素ブロック行×4画素ブロック列の行列状に配された画素ブロック10~17の部分を示したものである。
【0024】
画素部1を構成する複数の画素100の各々は、
図3に示すように、光電変換部PDと、転送トランジスタM1と、リセットトランジスタM2と、増幅トランジスタM3と、選択トランジスタM4と、を有する。
【0025】
光電変換部PDは、例えばフォトダイオードである。光電変換部PDを構成するフォトダイオードは、アノードが基準電圧ノードに接続され、カソードが転送トランジスタM1のソースに接続されている。転送トランジスタM1のドレインは、リセットトランジスタM2のソース及び増幅トランジスタM3のゲートに接続されている。転送トランジスタM1のドレイン、リセットトランジスタM2のソース及び増幅トランジスタM3のゲートの接続ノードは、いわゆるFD(フローティングディフュージョン)ノードである。FDノードに結合する容量成分は、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。リセットトランジスタM2のドレイン及び増幅トランジスタM3のドレインは、電源電圧ノード(電圧VDD)に接続されている。増幅トランジスタM3のソースは、選択トランジスタM4のドレインに接続されている。画素100の出力ノードでもある選択トランジスタM4のソースは、垂直出力線106に接続されている。垂直出力線106には、図示しない電流源が接続されている。
【0026】
転送トランジスタM1のゲートには、当該画素100が属する画素ブロックの信号生成部102から、制御信号tx[m,n]が供給される。リセットトランジスタM2のゲートには、垂直走査部2から、制御信号res[n]が供給される。選択トランジスタM4のゲートには、垂直走査部2から、制御信号sel[n]が供給される。ここで、mは当該画素100が属する画素ブロックの画素ブロック列番号(水平ブロックアドレス)を表し、nは当該画素100の画素行番号(垂直行アドレス)を表す。画素100の各トランジスタがN型トランジスタで構成される場合、これら制御信号がHighレベルのときに対応するトランジスタはオンになり、これら制御信号がLowレベルのときに対応するトランジスタはオフになる。
【0027】
被写体の光学像が画素部1に入射すると、各画素100の光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生成した電荷を蓄積する。転送トランジスタM1は、オンすることにより光電変換部PDが保持する電荷をFDノードに転送する。FDノードは、その容量成分による電荷電圧変換によって、光電変換部PDから転送された電荷の量に応じた電圧となる。増幅トランジスタM3は、ドレインに電圧VDDが供給され、ソースに選択トランジスタM4を介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成している。これにより増幅トランジスタM3は、FDノードの電圧に基づく信号を、選択トランジスタM4を介して垂直出力線106に出力する。リセットトランジスタM2は、オンすることによりFDノードを電圧VDDに応じた電圧にリセットする。
【0028】
本実施形態による撮像装置1000は、例えば
図4に示すように、
図1及び
図2に示す各ブロックを2つの半導体基板210,220に作り分け、これら半導体基板210,220を積層することより構成することが可能である。半導体基板210と半導体基板220とは、例えばバンプ電極や貫通電極等の導電部材を介して互いに電気的に接続されうる。
【0029】
図4は、
図1及び
図2に示す各ブロックのうち、画素部1の画素100のみを上側の半導体基板210に配し、画素部1の信号生成部102及びその他のブロックを下側の半導体基板220に配した構成例である。画素100と信号生成部102とを別々の半導体基板210,220に配置することで、信号生成部102の配置に影響されることなく複数の画素ブロックに含まれる複数の画素100を画素部1内に均等且つ密に配置することが可能である。
【0030】
図4に示す構成例では、下側の半導体基板220にある垂直走査部2からの制御信号と、同じく下側の半導体基板220にある水平領域制御部3からの制御信号とが、そのまま下側の半導体基板220にある信号生成部102へと送られる。信号生成部102にてデコードされた制御信号は、上側の半導体基板210へと送られ、上側の半導体基板210にある画素部1の画素100を駆動する。画素部1からの出力信号は、下側の半導体基板220へと送られ、下側の半導体基板220にある列AD変換部5にて処理される。その後、同じく下側の半導体基板220にある水平走査部6にてアドレス指定された列のデジタル信号が、下側の半導体基板220にある信号出力部7にて信号処理され、撮像装置1000の外部へと出力される。
【0031】
なお、
図4に示す構成は一例であり、
図1及び
図2に示す各ブロックの配置はこれに限定されるものではない。例えば、画素100及び信号生成部102を半導体基板210の側に配置し、その他のブロックを半導体基板220の側に配置してもよい。この場合、不図示のマイクロレンズを介して入射する光が信号生成部102を避けて光電変換部PDへと入射するように光導波路を配置することが望ましい。
【0032】
次に、垂直走査部2及び水平領域制御部3と画素ブロックとの接続例について、
図5を用いて説明する。説明の簡略化のため、
図5には、画素部1を構成する複数の画素ブロックのうち、
図2に示す画素ブロック10~17に対応する画素ブロックのみを示している。また、画素ブロック10~17の各々は、少なくとも2つの画素行、または、少なくとも2つの画素列に配された画素群を含んでいればよい。
図5には画素ブロック10~17の各々を2つの画素行により構成した例を示しているが、各々の画素ブロックを構成する画素行の数は特に限定されるものではない。また、各々の画素ブロックを構成する画素列の数も特に限定されるものではない。例えば、画素ブロック11,13,15,17が、1つの画素列のみを含む構成であってもよい。
【0033】
垂直走査部2は、タイミング生成部4から与えられる垂直行アドレス信号(図示せず)をデコードし、行毎の制御信号ptx[n],pres[n],psel[n]を生成する。ここで、各制御信号の末尾の添え字[n]は、前述の垂直行アドレスの値を表している。
図5には、垂直行アドレス[0]~[3]に対応する制御信号として、制御信号ptx[0]~ptx[3],pres[0]~pres[3],psel[0]~psel[3]を示している。
【0034】
制御信号ptx[n],pres[n],psel[n]は、垂直行アドレス毎に配された制御線110を介して、垂直行アドレス[n]に対応する行に配された画素100を含む画素ブロックに供給される。各々の制御線110は、第1の方向(水平方向或いは行方向)に延在して配されており、垂直行アドレスを共通にする信号生成部102及び垂直行アドレスを共通にする画素100に共通の信号線をなしている。
【0035】
制御信号ptx[n]は、垂直行アドレス[n]に対応する行に配された画素ブロックの信号生成部102に与えられる。すなわち、制御信号ptx[0],ptx[1]は、垂直行アドレス[0],[1]に対応する行に配された画素ブロック10,11,12,13の信号生成部102に与えられる。制御信号ptx[2],ptx[3]は、垂直行アドレス[2],[3]に対応する行に配された画素ブロック14,15,16,17の信号生成部102に与えられる。
【0036】
制御信号pres[n]及び制御信号psel[n]は、垂直行アドレス[n]に対応する行に配された画素100に与えられる。すなわち、制御信号pres[0],psel[0]は、画素ブロック10,11,12,13に属する画素100のうち、垂直行アドレス[0]に対応する行に配された画素100に与えられる。制御信号pres[1],psel[1]は、画素ブロック10,11,12,13に属する画素100のうち、垂直行アドレス[1]に対応する行に配された画素100に与えられる。制御信号pres[2],psel[2]は、画素ブロック14,15,16,17に属する画素100のうち、垂直行アドレス[2]に対応する行に配された画素100に与えられる。制御信号pres[3],psel[3]は、画素ブロック14,15,16,17に属する画素100のうち、垂直行アドレス[3]に対応する行に配された画素100に与えられる。
【0037】
水平領域制御部3は、タイミング生成部4から与えられる信号(図示せず)に基づいて、制御信号hblk_l[m],hblk_s[m]を生成する。ここで、各制御信号の末尾の添え字[m]は、前述の水平ブロックアドレスの値を表している。
図5には、水平ブロックアドレス[0]~[3]に対応する制御信号として、制御信号hblk_l[0]~hblk_l[3],hblk_s[0]~hblk_s[3]を示している。ここで、制御信号hblk_l[m]は、長秒露光の制御時に有効になる制御信号である。また、制御信号hblk_s[m]は、短秒露光の制御時に有効になる制御信号である。
【0038】
なお、本明細書において「長秒露光」とは、画素ブロック毎に画素100の光電変換部PDの露光時間が定められる場合において、相対的に長い露光時間の間、信号電荷の蓄積を行う動作を言うものとする。また、「短秒露光」とは、画素ブロック毎に画素100の光電変換部PDの露光時間が定められる場合において、相対的に短い露光時間の間、信号電荷の蓄積を行う動作を言うものとする。本実施形態では簡略化のため露光時間が2種類である場合について説明するが、露光時間は3種類以上であってもよい。この場合、露光時間の長さの種類に応じて、水平ブロックアドレス毎の制御信号hblkの数を増加すればよい。
【0039】
制御信号hblk_l[m],hblk_s[m]は、水平ブロックアドレス毎に配された制御線120を介して、対応する水平ブロックアドレス[m]に属する画素ブロックに供給される。各々の制御線120は、第1の方向と交差する第2の方向(垂直方向或いは列方向)に延在して配されており、水平ブロックアドレスを共通にする画素ブロックに共通の信号線をなしている。
【0040】
制御信号hblk_l[m],hblk_s[m]は、対応する水平ブロックアドレス[m]に属する画素ブロックの信号生成部102に与えられる。すなわち、制御信号hblk_l[0],hblk_s[0]は、水平ブロックアドレス[0]に属する画素ブロック10,14の信号生成部102に与えられる。制御信号hblk_l[1],hblk_s[1]は、水平ブロックアドレス[1]に属する画素ブロック11,15の信号生成部102に与えられる。制御信号hblk_l[2],hblk_s[2]は、水平ブロックアドレス[2]に属する画素ブロック12,16の信号生成部102に与えられる。制御信号hblk_l[3],hblk_s[3]は、水平ブロックアドレス[3]に属する画素ブロック13,17の信号生成部102に与えられる。
【0041】
画素ブロック10~17内の信号生成部102は、制御信号ptx[n],hblk_l[m],hblk_s[m]に基づいて、制御信号tx[m,n]を生成する。制御信号tx[m,n]は、水平ブロックアドレス[m]及び垂直行アドレス[n]に対応する画素ブロック内の画素100に与えられる。
【0042】
例えば、画素ブロック10の画素100のうち垂直行アドレス[0]に対応する行に配された画素100には、制御信号tx[0,0]が与えられる。画素ブロック10の画素100のうち垂直行アドレス[1]に対応する行に配された画素100には、制御信号tx[0,1]が与えられる。画素ブロック15の画素100のうち垂直行アドレス[2]に対応する行に配された画素100には、制御信号tx[1,2]が与えられる。画素ブロック15の画素100のうち垂直行アドレス[3]に対応する行に配された画素100には、制御信号tx[1,3]が与えられる。その他の画素ブロックについても同様である。
【0043】
信号生成部102は、制御信号ptx[n],制御信号hblk_l[m],hblk_s[m]を入力として、制御信号tx[m,n]出力する。制御信号tx[m,n]は、制御信号hblk_l[m]又は制御信号hblk_s[m]がHighレベルのときに制御信号ptx[n]がHighレベルになることで、Highレベルとなる。
【0044】
信号生成部102におけるこのような演算を実現する回路は特に限定されるものではないが、例えば
図5に示す論理回路によって構成することができる。
図5に示す論理回路は、制御信号ptx[n]と制御信号hblk_l[m]の論理積演算を行うANDゲート、制御信号ptx[n]と制御信号hblk_s[m]の論理積演算を行うANDゲート及びこれらの出力信号の論理和演算を行うORゲートを有する。このORゲートの出力が、制御信号tx[m,n]である。
【0045】
前述の特許文献1に記載の撮像装置は、予め定められた領域サイズの画素ブロック毎に露光時間を設定できるように構成したものである。ここで、特許文献1に記載されるような撮像装置が、例えば監視カメラのように固定されパンチルトができないカメラに組み込まれている場合を想定する。このような状況で、短秒露光設定の画素ブロックから長秒露光設定の画素ブロックに移動する被写体を撮影した場合、被写体の移動速度によっては、暗い背景を撮影するための長秒露光設定の画素ブロックにおいて被写体が撮影されてしまう。その結果、対象の被写体が滲んでしまい、画質が低下することがあった。画素ブロックの領域サイズを小さくすれば露光時間の設定の自由度を向上することはできるが、画素ブロックの領域サイズを小さくするほどに画素ブロック数が増加して信号線の数も増加するため、制御が煩雑になり、また、開口率が低下する原因にもなる。
【0046】
一方、本実施形態では、画素ブロック毎に露光時間を制御可能な撮像装置において、画素部1内に領域サイズの異なる2種類の画素ブロックを設定し、これら画素ブロックを水平方向に交互に配置している。具体的には、画素ブロック11,13,15,17に含まれる画素の数が、画素ブロック10,12,14,16に含まれる画素の数より少ない。したがって、画素部1内に一定の領域サイズの画素ブロックを設定する場合と比較して、露光時間を設定する領域の配置やその領域サイズの自由度を向上することができる。これにより、移動する被写体に合わせた露光エリアや暗めの背景に合わせた露光エリアなど、被写体に応じた露光エリアを適切に配しやすくなり、画質の低下を防ぐことが可能となる。また、総ての画素ブロックの領域サイズを一様に小さくする場合と比較して単位面積当たりの画素ブロックの数を少なくできるため、制御の煩雑化や信号線の増加を抑制することもできる。
【0047】
次に、本実施形態による撮像装置の駆動方法について、
図6乃至
図8を用いて説明する。
図6は、画素部内の各画素ブロックにおける露光時間を模式的に表した図である。
図7及び
図8は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。
【0048】
ここでは、画素部1の画素ブロック毎に露光時間を制御する一例として、
図6に示すような動作を想定する。すなわち、
図6は、画素部1のうち、全体的に明るい画素ブロック10,13,15,16に対しては短秒露光の制御を行い、全体的に暗い画素ブロック11,12,14,17に対しては長秒露光の制御を行うことを示している。
【0049】
図6の動作を実現するための撮像装置1000の具体的な駆動例について、
図7及び
図8を用いて説明する。
図7が画素ブロック10,11,12,13の動作を示すタイミング図であり、
図8が画素ブロック14,15,16,17の動作を示すタイミング図である。
図7及び
図8には、これまでに説明した制御信号に加えて、撮像装置1000を駆動するための基準タイミング信号である水平同期信号HD及び垂直同期信号VDを示している。水平同期信号HDにおいて、隣接するパルスとパルスの間の期間が1HD期間である。この1HD期間において1行分の画素駆動が行われ、撮像装置の画素出力までが行われる。垂直同期信号VDにおいて、隣接するパルスとパルスの間の期間が1VD期間である。1VD期間が1走査分の画像出力を行う期間に相当する。
【0050】
図7及び
図8には、連続する3走査分の動作を示している。この3走査のうち、第1走査が長秒露光のためのシャッタ動作を行う走査であり、第2走査が短秒露光のためのシャッタ動作を行う走査であり、第3走査が画素部1から画素信号を読み出すための読み出し動作を行う走査である。この実施形態では、連続する3走査によって、1つの画像を取得している。
【0051】
まず、長秒露光のためのシャッタ動作を行う走査である第1走査について説明する。第1走査は、
図7及び
図8において、概ね時刻t1から時刻t8までの期間である。
【0052】
時刻t1よりも前の期間において、制御信号pres[0],pres[1],pres[2],pres[3]はHighレベルであり、その他の制御信号はLowレベルであるものとする。
【0053】
時刻t1において、外部からタイミング生成部4に供給される垂直同期信号VD及び水平同期信号HDがHighレベルとなり、第1走査の第1HD期間が開始する。第1HD期間は、垂直行アドレス[0]に対応する行の画素100を駆動する期間である。
【0054】
第1走査は、前述の通り、長秒露光のためのシャッタ動作を行う期間である。したがって、第1走査では、制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]が適宜制御される。制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]はLowレベルのまま維持される。
【0055】
垂直行アドレス[0]に対応する行の画素100が属する画素ブロックは、
図7に示すように、短秒露光が行われる画素ブロック10,13と、長秒露光が行われる画素ブロック11,12である。第1走査は長秒露光のためのシャッタ動作を行う期間であるため、短秒露光が行われる画素ブロック10,13の画素100は駆動せず、長秒露光が行われる画素ブロック11,12の画素100を駆動する。すなわち、時刻t1において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して制御信号hblk_l[1],hblk_l[2]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、制御信号hblk_l[0],制御信号hblk_l[3]をLowレベルのまま維持する。
【0056】
次いで、時刻t2において、垂直走査部2は、垂直行アドレス[0]に対応する行の制御信号ptx[0]をLowレベルからHighレベルに制御する。これにより、画素ブロック10の信号生成部102は、Lowレベルの制御信号tx[0,0]を出力する。また、画素ブロック11の信号生成部102は、Highレベルの制御信号tx[1,0]を出力する。また、画素ブロック12の信号生成部102は、Highレベルの制御信号tx[2,0]を出力する。また、画素ブロック13の信号生成部102は、Lowレベルの制御信号tx[3,0]を出力する。
【0057】
これにより、画素ブロック10,13の垂直行アドレス[0]に対応する行の画素100では何も動作しない一方、画素ブロック11,12の垂直行アドレス[0]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[0]はHighレベルであり、垂直行アドレス[0]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0058】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[0]をHighレベルからLowレベルへと制御する。これにより、画素ブロック11,12の信号生成部102から出力される制御信号tx[1,0],tx[2,0]も、Lowレベルに戻る。制御信号tx[1,0],tx[2,0]がLowレベルに遷移するタイミングが、画素ブロック11,12の垂直行アドレス[0]に対応する行の画素100の光電変換部PDにおいて長秒露光の露光期間が開始するタイミングとなる。
【0059】
時刻t2以降、次に水平同期信号HDがHighレベルになるタイミングにおいて、第1走査の第2HD期間が開始する。第2HD期間は、垂直行アドレス[1]に対応する行の画素100を駆動する期間である。
【0060】
第1走査は、前述の通り、長秒露光のためのシャッタ動作を行う期間である。したがって、第2HD期間においても、制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]が適宜制御される。制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]はLowレベルのまま維持される。
【0061】
垂直行アドレス[1]に対応する行の画素100が属する画素ブロックは、
図7に示すように、短秒露光が行われる画素ブロック10,13と、長秒露光が行われる画素ブロック11,12である。すなわち、垂直行アドレス[0]に対応する行と垂直行アドレス[1]に対応する行とは、同じ画素ブロック10,11,12,13に属している。したがって、第2HD期間において垂直行アドレス[1]に対応する行に対して行う動作は、第1HD期間において垂直行アドレス[0]に対応する行に対して行った動作と同様である。
【0062】
水平領域制御部3は、第1HD期間から引き続き、制御信号hblk_l[1],hblk_l[2]をHighレベルのまま維持する。また、水平領域制御部3は、第1HD期間から引き続き、制御信号hblk_l[0],hblk_l[3],hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]をLowレベルのまま維持する。
【0063】
時刻t3において、垂直走査部2は、垂直行アドレス[1]に対応する行の制御信号ptx[1]をLowレベルからHighレベルに制御する。これにより、画素ブロック10,13の信号生成部102は、Lowレベルの制御信号tx[0,1],tx[3,1]を出力する。また、画素ブロック11,12の信号生成部102は、Highレベルの制御信号tx[1,1],tx[2,1]を出力する。
【0064】
これにより、画素ブロック10,13の垂直行アドレス[1]に対応する行の画素100では何も動作しない一方、画素ブロック11,12の垂直行アドレス[1]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[1]はHighレベルであり、垂直行アドレス[1]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0065】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[1]をHighレベルからLowレベルへと制御する。これにより、画素ブロック11,12の信号生成部102から出力される制御信号tx[1,1],tx[2,1]も、Lowレベルに戻る。制御信号tx[1,1],tx[2,1]がLowレベルに遷移するタイミングが、画素ブロック11,12の垂直行アドレス[1]に対応する行の画素100の光電変換部PDにおいて長秒露光の露光期間が開始するタイミングとなる。
【0066】
時刻t4において、水平同期信号HDがハイレベルとなり、第1走査の第3HD期間が開始する。第3HD期間は、垂直行アドレス[2]に対応する行の画素100を駆動する期間である。
【0067】
第1走査は、前述の通り、長秒露光のためのシャッタ動作を行う期間である。したがって、第3HD期間においても、制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]が適宜制御される。制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]はLowレベルのまま維持される。
【0068】
垂直行アドレス[2]に対応する行の画素100が属する画素ブロックは、
図8に示すように、長秒露光が行われる画素ブロック14,17と、短秒露光が行われる画素ブロック15,16である。第1走査は長秒露光のためのシャッタ動作を行う期間であるため、短秒露光が行われる画素ブロック15,16の画素100は駆動せず、長秒露光が行われる画素ブロック14,17の画素100を駆動する。
【0069】
すなわち、時刻t4において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して制御信号hblk_l[0],hblk_l[3]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、制御信号hblk_l[1],hblk_l[2]をHighレベルからLowレベルへと制御する。
【0070】
次いで、時刻t5において、垂直走査部2は、垂直行アドレス[2]に対応する行の制御信号ptx[2]をLowレベルからHighレベルに制御する。これにより、画素ブロック14,17の信号生成部102は、Highレベルの制御信号tx[0,2],tx[3,2]を出力する。また、画素ブロック15,16の信号生成部102は、Lowレベルの制御信号tx[1,2],tx[2,2]を出力する。
【0071】
これにより、画素ブロック15,16の垂直行アドレス[2]に対応する行の画素100では何も動作しない一方、画素ブロック14,17の垂直行アドレス[2]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[2]はHighレベルであり、垂直行アドレス[2]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0072】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[2]をHighレベルからLowレベルへと制御する。これにより、画素ブロック14,17の信号生成部102から出力される制御信号tx[0,2],tx[3,2]も、Lowレベルに戻る。制御信号tx[0,2],tx[3,2]がLowレベルに遷移するタイミングが、画素ブロック14,17の垂直行アドレス[2]に対応する行の画素100の光電変換部PDにおいて長秒露光の露光期間が開始するタイミングとなる。
【0073】
時刻t5以降、次に水平同期信号HDがハイレベルとなるタイミングにおいて、第1走査の第4HD期間が開始する。第4HD期間は、垂直行アドレス[3]に対応する行の画素100を駆動する期間である。
【0074】
第1走査は、前述の通り、長秒露光のためのシャッタ動作を行う期間である。したがって、第4HD期間においても、制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]が適宜制御される。制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]はLowレベルのまま維持される。
【0075】
垂直行アドレス[3]に対応する行の画素100が属する画素ブロックは、
図8に示すように、長秒露光が行われる画素ブロック14,17と、短秒露光が行われる画素ブロック15,16である。すなわち、垂直行アドレス[2]に対応する行と垂直行アドレス[3]に対応する行とは、同じ画素ブロック14,15,16,17に属している。したがって、第4HD期間において垂直行アドレス[3]に対応する行に対して行う動作は、第3HD期間において垂直行アドレス[2]に対応する行に対して行った動作と同様である。
【0076】
水平領域制御部3は、第3HD期間から引き続き、制御信号hblk_l[0],hblk_l[3]をHighレベルのまま維持する。また、水平領域制御部3は、第3HD期間から引き続き、制御信号hblk_l[1],hblk_l[2],hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]をLowレベルのまま維持する。
【0077】
時刻t6において、垂直走査部2は、垂直行アドレス[3]に対応する行の制御信号ptx[3]をLowレベルからHighレベルに制御する。これにより、画素ブロック14,17の信号生成部102は、Highレベルの制御信号tx[0,3],tx[3,3]を出力する。また、画素ブロック15,16の信号生成部102は、Lowレベルの制御信号tx[1,3],tx[2,3]を出力する。
【0078】
これにより、画素ブロック15,16の垂直行アドレス[3]に対応する行の画素100では何も動作しない一方、画素ブロック14,17の垂直行アドレス[3]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[1]はHighレベルであり、垂直行アドレス[3]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0079】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[3]をHighレベルからLowレベルへと制御する。これにより、画素ブロック14,17の信号生成部102から出力される制御信号tx[0,3],tx[3,3]も、Lowレベルに戻る。制御信号tx[0,3],tx[3,3]がLowレベルに遷移するタイミングが、画素ブロック14,17の垂直行アドレス[3]に対応する行の画素100の光電変換部PDにおいて長秒露光の露光期間が開始するタイミングとなる。
【0080】
時刻t7において、水平同期信号HDがHighレベルとなり、第1走査の第4HD期間が終了する。水平領域制御部3は、制御信号hblk_l[0],hblk_l[3]をHighレベルからLowレベルへと制御し、どの画素ブロックにも制御信号ptx[n]が供給されないようにする。
【0081】
このようにして、第1走査では、画素ブロック11,12,14,17の画素100において信号電荷の蓄積を開始し、画素ブロック10,13,15,16の画素100に対しては何も行わない。
【0082】
次に、短秒露光のためのシャッタ動作を行う走査である第2走査について説明する。第2走査は、
図7及び
図8において、概ね時刻t8から時刻t15までの期間である。第2走査では、画素ブロック11,12,14,17の画素100における信号電荷の蓄積動作を妨げることなく、画素ブロック10,13,15,16の画素100における信号電荷の蓄積を開始する。
【0083】
時刻t8において、垂直同期信号VD及び水平同期信号HDがハイレベルとなり、第2走査の第1HD期間が開始する。第1HD期間は、垂直行アドレス[0]に対応する行の画素100を駆動する期間である。
【0084】
第2走査は、前述の通り、短秒露光のためのシャッタ動作を行う期間である。したがって、第2走査では、制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]が適宜制御される。制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]はLowレベルのまま維持される。
【0085】
垂直行アドレス[0]に対応する行の画素100が属する画素ブロックは、
図7に示すように、短秒露光が行われる画素ブロック10,13と、長秒露光が行われる画素ブロック11,12である。第2走査は短秒露光のためのシャッタ動作を行う期間であるため、長秒露光が行われる画素ブロック11,12の画素100は駆動せず、短秒露光が行われる画素ブロック10,13の画素100を駆動する。すなわち、時刻t8において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して制御信号hblk_s[0],hblk_s[3]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、制御信号hblk_s[1],制御信号hblk_s[2]をLowレベルのまま維持する。
【0086】
次いで、時刻t9において、垂直走査部2は、垂直行アドレス[0]に対応する行の制御信号ptx[0]をLowレベルからHighレベルに制御する。これにより、画素ブロック10の信号生成部102は、Highレベルの制御信号tx[0,0]を出力する。また、画素ブロック11の信号生成部102は、Lowレベルの制御信号tx[1,0]を出力する。また、画素ブロック12の信号生成部102は、Lowレベルの制御信号tx[2,0]を出力する。また、画素ブロック13の信号生成部102は、Highレベルの制御信号tx[3,0]を出力する。
【0087】
これにより、画素ブロック11,12の垂直行アドレス[0]に対応する行の画素100では何も動作しない一方、画素ブロック10,13の垂直行アドレス[0]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[0]はHighレベルであり、垂直行アドレス[0]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0088】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[0]をHighレベルからLowレベルへと制御する。これにより、画素ブロック10,13の信号生成部102から出力される制御信号tx[0,0],tx[3,0]も、Lowレベルに戻る。制御信号tx[0,0],tx[3,0]がLowレベルに遷移するタイミングが、画素ブロック10,13の垂直行アドレス[0]に対応する行の画素100の光電変換部PDにおいて短秒露光の露光期間が開始するタイミングとなる。
【0089】
時刻t9以降、次に水平同期信号HDがHighレベルになるタイミングにおいて、第2走査の第2HD期間が開始する。第2HD期間は、垂直行アドレス[1]に対応する行の画素100を駆動する期間である。
【0090】
第2走査は、前述の通り、短秒露光のためのシャッタ動作を行う期間である。したがって、第2HD期間においても、制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]が適宜制御される。制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]はLowレベルのまま維持される。
【0091】
垂直行アドレス[1]に対応する行の画素100が属する画素ブロックは、
図7に示すように、短秒露光が行われる画素ブロック10,13と、長秒露光が行われる画素ブロック11,12である。すなわち、垂直行アドレス[0]に対応する行と垂直行アドレス[1]に対応する行とは、同じ画素ブロック10,11,12,13に属している。したがって、第2HD期間において垂直行アドレス[1]に対応する行に対して行う動作は、第1HD期間において垂直行アドレス[0]に対応する行に対して行った動作と同様である。
【0092】
水平領域制御部3は、第1HD期間から引き続き、制御信号hblk_s[0],hblk_s[3]をHighレベルのまま維持する。また、水平領域制御部3は、第1HD期間から引き続き、制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3],hblk_s[1],hblk_s[2]をLowレベルのまま維持する。
【0093】
時刻t10において、垂直走査部2は、垂直行アドレス[1]に対応する行の制御信号ptx[1]をLowレベルからHighレベルに制御する。これにより、画素ブロック10,13の信号生成部102は、Highレベルの制御信号tx[0,1],tx[3,1]を出力する。また、画素ブロック11,12の信号生成部102は、Lowレベルの制御信号tx[1,1],tx[2,1]を出力する。
【0094】
これにより、画素ブロック11,12の垂直行アドレス[1]に対応する行の画素100では何も動作しない一方、画素ブロック10,13の垂直行アドレス[1]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[1]はHighレベルであり、垂直行アドレス[1]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0095】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[1]をHighレベルからLowレベルへと制御する。これにより、画素ブロック10,13の信号生成部102から出力される制御信号tx[0,1],tx[3,1]も、Lowレベルに戻る。制御信号tx[0,1],tx[3,1]がLowレベルに遷移するタイミングが、画素ブロック10,13の垂直行アドレス[1]に対応する行の画素100の光電変換部PDにおいて短秒露光の露光期間が開始するタイミングとなる。
【0096】
時刻t11において、水平同期信号HDがハイレベルとなり、第2走査の第3HD期間が開始する。第3HD期間は、垂直行アドレス[2]に対応する行の画素100を駆動する期間である。
【0097】
第2走査は、前述の通り、短秒露光のためのシャッタ動作を行う期間である。したがって、第3HD期間においても、制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]が適宜制御される。制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]はLowレベルのまま維持される。
【0098】
垂直行アドレス[2]に対応する行の画素100が属する画素ブロックは、
図8に示すように、長秒露光が行われる画素ブロック14,17と、短秒露光が行われる画素ブロック15,16である。第2走査は短秒露光のためのシャッタ動作を行う期間であるため、長秒露光が行われる画素ブロック14,17の画素100は駆動せず、短秒露光が行われる画素ブロック15,16の画素100を駆動する。すなわち、時刻t11において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して制御信号hblk_s[1],hblk_s[2]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、制御信号hblk_s[0],hblk_s[3]をHighレベルからLowレベルへと制御する。
【0099】
次いで、時刻t12において、垂直走査部2は、垂直行アドレス[2]に対応する行の制御信号ptx[2]をLowレベルからHighレベルに制御する。これにより、画素ブロック15,16の信号生成部102は、Highレベルの制御信号tx[1,2],tx[2,2]を出力する。また、画素ブロック14,17の信号生成部102は、Lowレベルの制御信号tx[0,2],tx[3,2]を出力する。
【0100】
これにより、画素ブロック14,17の垂直行アドレス[2]に対応する行の画素100では何も動作しない一方、画素ブロック15,16の垂直行アドレス[2]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[2]はHighレベルであり、垂直行アドレス[2]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0101】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[2]をHighレベルからLowレベルへと制御する。これにより、画素ブロック15,16の信号生成部102から出力される制御信号tx[1,2],tx[2,2]も、Lowレベルに戻る。制御信号tx[1,2],tx[2,2]がLowレベルに遷移するタイミングが、画素ブロック15,16の垂直行アドレス[2]に対応する行の画素100の光電変換部PDにおいて短秒露光の露光期間が開始するタイミングとなる。
【0102】
時刻t12以降、次に水平同期信号HDがハイレベルとなるタイミングにおいて、第2走査の第4HD期間が開始する。第4HD期間は、垂直行アドレス[3]に対応する行の画素100を駆動する期間である。
【0103】
第2走査は、前述の通り、短秒露光のためのシャッタ動作を行う期間である。したがって、第4HD期間においても、制御信号hblk_s[0],hblk_s[1],hblk_s[2],hblk_s[3]が適宜制御される。制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3]はLowレベルのまま維持される。
【0104】
垂直行アドレス[3]に対応する行の画素100が属する画素ブロックは、
図8に示すように、長秒露光が行われる画素ブロック14,17と、短秒露光が行われる画素ブロック15,16である。すなわち、垂直行アドレス[2]に対応する行と垂直行アドレス[3]に対応する行とは、同じ画素ブロック14,15,16,17に属している。したがって、第4HD期間において垂直行アドレス[3]に対応する行に対して行う動作は、第3HD期間において垂直行アドレス[2]に対応する行に対して行った動作と同様である。
【0105】
水平領域制御部3は、第3HD期間から引き続き、制御信号hblk_s[1],hblk_s[2]をHighレベルのまま維持する。また、水平領域制御部3は、第3HD期間から引き続き、制御信号hblk_l[0],hblk_l[1],hblk_l[2],hblk_l[3],hblk_s[3],hblk_l[4]をLowレベルのまま維持する。
【0106】
時刻t13において、垂直走査部2は、垂直行アドレス[3]に対応する行の制御信号ptx[3]をLowレベルからHighレベルに制御する。これにより、画素ブロック15,16の信号生成部102は、Highレベルの制御信号tx[1,3],tx[2,3]を出力する。また、画素ブロック14,17の信号生成部102は、Lowレベルの制御信号tx[0,3],tx[3,3]を出力する。
【0107】
これにより、画素ブロック14,17の垂直行アドレス[3]に対応する行の画素100では何も動作しない一方、画素ブロック15,16の垂直行アドレス[3]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[1]はHighレベルであり、垂直行アドレス[3]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0108】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[3]をHighレベルからLowレベルへと制御する。これにより、画素ブロック15,16の信号生成部102から出力される制御信号tx[1,3],tx[2,3]も、Lowレベルに戻る。制御信号tx[1,3],tx[2,3]がLowレベルに遷移するタイミングが、画素ブロック15,16の垂直行アドレス[3]に対応する行の画素100の光電変換部PDにおいて短秒露光の露光期間が開始するタイミングとなる。
【0109】
時刻t14において、水平同期信号HDがHighレベルとなり、第2走査の第4HD期間が終了する。水平領域制御部3は、制御信号hblk_s[1],hblk_s[2]をHighレベルからLowレベルへと制御し、どの画素ブロックにも制御信号ptx[n]が供給されないようにする。
【0110】
このようにして、第2走査では、画素ブロック10,13,15,16の画素100において新たに信号電荷の蓄積を開始し、画素ブロック11,12,14,17の画素100に対しては何も行わない。画素ブロック11,12,14,17の画素100では、第1走査に開始した信号電荷の蓄積が継続している。
【0111】
次に、画素部1から画素信号を読み出すための読み出し動作の走査である第3走査について説明する。第3走査は、
図7及び
図8において、概ね時刻t15から開始する。ここでは、第3走査において行う動作として、画素100の光電変換部PDに蓄積された信号電荷の量に基づく出力信号Voutを垂直出力線106に出力するまでの動作を説明する。
【0112】
時刻t15において、垂直同期信号VD及び水平同期信号HDがHighレベルとなり、第3走査の第1HD期間が開始する。
【0113】
第3走査では、総ての画素ブロックに属する画素100からの信号の読み出しを行う。そこで水平領域制御部3は、第3走査の全期間に渡って、制御信号hblk_l[0]~hblk_l[3],hblk_s[0]~hblk_s[3]をHighレベルのまま維持する。これにより、制御信号ptx[n]は、垂直行アドレス[n]に対応する行に位置する総ての画素ブロックの信号生成部102に入力されることになる。
【0114】
第1HD期間では、垂直行アドレス[0]に対応する行に属する画素100からの信号の読み出しを行う。時刻t15において水平同期信号HDがHighレベルになると、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[0]をHighレベルからLowレベルへと制御し、制御信号psel[0]をLowレベルからHighレベルへと制御する。これにより、垂直行アドレス[0]に対応する行に属する画素100のリセットトランジスタM2がオフになり、FDノードのリセット状態が解除される。また、垂直行アドレス[0]に対応する行に属する画素100の選択トランジスタM4がオンになり、画素100の信号を垂直出力線106に出力できる状態となる。
【0115】
時刻t16において、垂直走査部2は、垂直行アドレス[0]に対応する行の制御信号ptx[0]をLowレベルからHighレベルに制御する。前述のように、制御信号hblk_l[0],hblk_s[0]はHighレベルのため、画素ブロック10の垂直行アドレス[0]に対応する行に属する画素100には、Highレベルの制御信号tx[0,0]が入力される。また、制御信号hblk_l[1],hblk_s[1]はHighレベルのため、画素ブロック11の垂直行アドレス[0]に対応する行に属する画素100には、Highレベルの制御信号tx[1,0]が入力される。また、制御信号hblk_l[2],hblk_s[2]はHighレベルのため、画素ブロック12の垂直行アドレス[2]に対応する行に属する画素100には、Highレベルの制御信号tx[2,0]が入力される。また、制御信号hblk_l[3],hblk_s[3]はHighレベルのため、画素ブロック13の垂直行アドレス[3]に対応する行に属する画素100には、Highレベルの制御信号tx[3,0]が入力される。これにより、垂直行アドレス[0]に対応する行に属する総ての画素100において、転送トランジスタM1がオンになり、光電変換部PDに蓄積されていた信号電荷がFDノードへと転送される。
【0116】
この後、垂直走査部2により垂直行アドレス[0]に対応する行の制御信号ptx[0]がHighレベルからLowレベルに制御され、垂直行アドレス[0]に対応する行に属する総ての画素100において、転送トランジスタM1がオフになる。これにより、FDノードの電位が確定し、FDノードに転送された信号電荷の量に応じた信号(Vout)が、増幅トランジスタM3及び選択トランジスタM4を介して垂直出力線106に出力される。転送トランジスタM1がオフに制御されるタイミング、すなわち制御信号ptx[0]がHighレベルからLowレベルへと遷移するタイミングが、垂直行アドレス[0]に対応する行における長秒露光及び短秒露光の露光期間が終了するタイミングである。
【0117】
時刻t17において、水平同期信号HDがHighレベルとなり、第3走査の第1HD期間が終了するとともに、第3走査の第2HD期間が開始する。
【0118】
時刻t17において、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[0]をLowレベルからHighレベルへと制御し、制御信号psel[0]をHighレベルからLowレベルへと制御する。これにより、垂直行アドレス[0]に対応する行に属する画素100のリセットトランジスタM2がオンになり、FDノードが再びリセット状態となる。また、垂直行アドレス[0]に対応する行に属する画素100の選択トランジスタM4がオフになり、画素100が垂直出力線106から切り離される。これにより、第1HD期間の一連の処理が終了する。
【0119】
同じく時刻t17において、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[1]をHighレベルからLowレベルへと制御し、制御信号psel[1]をLowレベルからHighレベルへと制御する。これにより、垂直行アドレス[1]に対応する行に属する画素100のリセットトランジスタM2がオフになり、FDノードのリセット状態が解除される。また、垂直行アドレス[1]に対応する行に属する画素100の選択トランジスタM4がオンになり、画素100の信号を垂直出力線106に出力できる状態となる。
【0120】
時刻t18において、垂直走査部2は、垂直行アドレス[1]に対応する行の制御信号ptx[1]をLowレベルからHighレベルに制御する。前述のように、制御信号hblk_l[1],hblk_s[1]はHighレベルのため、画素ブロック10の垂直行アドレス[1]に対応する行に属する画素100には、Highレベルの制御信号tx[0,1]が入力される。また、制御信号hblk_l[1],hblk_s[1]はHighレベルのため、画素ブロック11の垂直行アドレス[1]に対応する行に属する画素100には、Highレベルの制御信号tx[1,1]が入力される。また、制御信号hblk_l[2],hblk_s[2]はHighレベルのため、画素ブロック10の垂直行アドレス[2]に対応する行に属する画素100には、Highレベルの制御信号tx[2,1]が入力される。また、制御信号hblk_l[3],hblk_s[3]はHighレベルのため、画素ブロック11の垂直行アドレス[3]に対応する行に属する画素100には、Highレベルの制御信号tx[3,1]が入力される。これにより、垂直行アドレス[1]に対応する行に属する総ての画素100において、転送トランジスタM1がオンになり、光電変換部PDに蓄積されていた信号電荷がFDノードへと転送される。
【0121】
この後、垂直走査部2により垂直行アドレス[1]に対応する行の制御信号ptx[1]がHighレベルからLowレベルに制御され、垂直行アドレス[1]に対応する行に属する総ての画素100において、転送トランジスタM1がオフになる。これにより、FDノードの電位が確定し、FDノードに転送された信号電荷の量に応じた信号(Vout)が、増幅トランジスタM3及び選択トランジスタM4を介して垂直出力線106に出力される。転送トランジスタM1がオフに制御されるタイミング、すなわち制御信号ptx[1]がHighレベルからLowレベルへと遷移するタイミングが、垂直行アドレス[1]に対応する行における長秒露光及び短秒露光の露光期間が終了するタイミングである。
【0122】
時刻t19において、水平同期信号HDがHighレベルとなり、第3走査の第2HD期間が終了するとともに、第3走査の第3HD期間が開始する。
【0123】
時刻t19において、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[1]をLowレベルからHighレベルへと制御し、制御信号psel[1]をHighレベルからLowレベルへと制御する。これにより、垂直行アドレス[1]に対応する行に属する画素100のリセットトランジスタM2がオンになり、FDノードが再びリセット状態となる。また、垂直行アドレス[1]に対応する行に属する画素100の選択トランジスタM4がオフになり、画素100が垂直出力線106から切り離される。これにより、第2HD期間の一連の処理が終了する。
【0124】
同じく時刻t19において、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[2]をHighレベルからLowレベルへと制御し、制御信号psel[2]をLowレベルからHighレベルへと制御する。これにより、垂直行アドレス[2]に対応する行に属する画素100のリセットトランジスタM2がオフになり、FDノードのリセット状態が解除される。また、垂直行アドレス[2]に対応する行に属する画素100の選択トランジスタM4がオンになり、画素100の信号を垂直出力線106に出力できる状態となる。
【0125】
時刻t20において、垂直走査部2は、垂直行アドレス[2]に対応する行の制御信号ptx[2]をLowレベルからHighレベルに制御する。前述のように、制御信号hblk_l[0],hblk_s[0]はHighレベルのため、画素ブロック14の垂直行アドレス[2]に対応する行に属する画素100には、Highレベルの制御信号tx[0,2]が入力される。また、制御信号hblk_l[1],hblk_s[1]はHighレベルのため、画素ブロック15の垂直行アドレス[2]に対応する行に属する画素100には、Highレベルの制御信号tx[1,2]が入力される。また、制御信号hblk_l[2],hblk_s[2]はHighレベルのため、画素ブロック16の垂直行アドレス[2]に対応する行に属する画素100には、Highレベルの制御信号tx[2,2]が入力される。また、制御信号hblk_l[3],hblk_s[3]はHighレベルのため、画素ブロック17の垂直行アドレス[2]に対応する行に属する画素100には、Highレベルの制御信号tx[3,2]が入力される。
【0126】
この後、垂直走査部2により垂直行アドレス[2]に対応する行の制御信号ptx[2]がHighレベルからLowレベルに制御され、垂直行アドレス[2]に対応する行に属する総ての画素100において、転送トランジスタM1がオフになる。これにより、FDノードの電位が確定し、FDノードに転送された信号電荷の量に応じた信号(Vout)が、増幅トランジスタM3及び選択トランジスタM4を介して垂直出力線106に出力される。転送トランジスタM1がオフに制御されるタイミング、すなわち制御信号ptx[2]がHighレベルからLowレベルへと遷移するタイミングが、垂直行アドレス[2]に対応する行における長秒露光及び短秒露光の露光期間が終了するタイミングである。
【0127】
時刻t21において、水平同期信号HDがHighレベルとなり、第3走査の第3HD期間が終了するとともに、第3走査の第4HD期間が開始する。
【0128】
時刻t21において、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[2]をLowレベルからHighレベルへと制御し、制御信号psel[2]をHighレベルからLowレベルへと制御する。これにより、垂直行アドレス[2]に対応する行に属する画素100のリセットトランジスタM2がオンになり、FDノードが再びリセット状態となる。また、垂直行アドレス[2]に対応する行に属する画素100の選択トランジスタM4がオフになり、画素100が垂直出力線106から切り離される。これにより、第3HD期間の一連の処理が終了する。
【0129】
同じく時刻t21において、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[3]をHighレベルからLowレベルへと制御し、制御信号psel[3]をLowレベルからHighレベルへと制御する。これにより、垂直行アドレス[3]に対応する行に属する画素100のリセットトランジスタM2がオフになり、FDノードのリセット状態が解除される。また、垂直行アドレス[3]に対応する行に属する画素100の選択トランジスタM4がオンになり、画素100の信号を垂直出力線106に出力できる状態となる。
【0130】
時刻t22において、垂直走査部2は、垂直行アドレス[3]に対応する行の制御信号ptx[3]をLowレベルからHighレベルに制御する。前述のように、制御信号hblk_l[0],hblk_s[0]はHighレベルのため、画素ブロック14の垂直行アドレス[3]に対応する行に属する画素100には、Highレベルの制御信号tx[0,3]が入力される。また、制御信号hblk_l[1],hblk_s[1]はHighレベルのため、画素ブロック15の垂直行アドレス[3]に対応する行に属する画素100には、Highレベルの制御信号tx[1,3]が入力される。また、制御信号hblk_l[2],hblk_s[2]はHighレベルのため、画素ブロック16の垂直行アドレス[3]に対応する行に属する画素100には、Highレベルの制御信号tx[2,3]が入力される。また、制御信号hblk_l[3],hblk_s[3]はHighレベルのため、画素ブロック17の垂直行アドレス[3]に対応する行に属する画素100には、Highレベルの制御信号tx[3,3]が入力される。これにより、垂直行アドレス[3]に対応する行に属する総ての画素100において、転送トランジスタM1がオンになり、光電変換部PDに蓄積されていた信号電荷がFDノードへと転送される。
【0131】
この後、垂直走査部2により垂直行アドレス[3]に対応する行の制御信号ptx[3]がHighレベルからLowレベルに制御され、垂直行アドレス[3]に対応する行に属する総ての画素100において、転送トランジスタM1がオフになる。これにより、FDノードの電位が確定し、FDノードに転送された信号電荷の量に応じた信号(Vout)が、増幅トランジスタM3及び選択トランジスタM4を介して垂直出力線106に出力される。転送トランジスタM1がオフに制御されるタイミング、すなわち制御信号ptx[3]がHighレベルからLowレベルへと遷移するタイミングが、垂直行アドレス[3]に対応する行における長秒露光及び短秒露光の露光期間が終了するタイミングである。
【0132】
時刻t23において、垂直走査部2は、水平同期信号HDに同期して、制御信号pres[3]をLowレベルからHighレベルへと制御し、制御信号psel[3]をHighレベルからLowレベルへと制御する。これにより、垂直行アドレス[3]に対応する行に属する画素100のリセットトランジスタM2がオンになり、FDノードが再びリセット状態となる。また、垂直行アドレス[3]に対応する行に属する画素100の選択トランジスタM4がオフになり、画素100が垂直出力線106から切り離される。これにより、第4HD期間の一連の処理が終了する。
【0133】
このように、本実施形態では、画素ブロック毎に露光時間を制御可能な撮像装置において、画素部1内にサイズの異なる2種類の画素ブロックを設定し、これら画素ブロックを水平方向に交互に配置している。このように撮像装置を構成することにより、画素部1内に一定のサイズの画素ブロックを設定する場合と比較して、露光時間の異なる複数の領域の配置やサイズの自由度を向上することができる。
【0134】
したがって、本実施形態によれば、移動する被写体に合わせた露光エリアや暗めの背景に合わせた露光エリアなど、被写体に応じた露光エリアを適切に配しやすくなり、画質の低下を防ぐことができる。また、総ての画素ブロックのサイズを一様に小さくする場合と比較して単位面積当たりの画素ブロックの数、すなわち信号線の数を少なくできるため、制御の煩雑化や開口率の低下を抑制することができる。
【0135】
図5では、画素列の多い画素ブロックと、画素列の少ない画素ブロックとが交互に並んでいるが、このような構成に限られない。例えば、総ての画素ブロックで画素列の数が同じ場合に、画素行の多い画素ブロックと画素行の少ない画素ブロックとが交互に並んでいてもよい。また、一部の画素ブロックの画素列や画素行が、他の画素ブロックの画素列や画素行より多い、または、少なくてもよい。あるいは、総ての画素がいずれかの画素ブロックに含まる限りにおいて、各画素ブロックの画素数がランダムに設定されてもよい。例えば、監視対象が決まっている監視カメラなどでは、注目領域の画素ブロックの画素数を少なく、つまり、注目領域に対してはより多くの画素ブロックが配されるようにしてもよい。一方、そのほかの領域では画素ブロックの画素数を多く、つまり、そのほかの領域に対してはより少ない画素ブロックが配されるようにしてもよい。
【0136】
[第2実施形態]
本発明の第2実施形態による撮像装置及びその駆動方法について、
図9乃至
図13を用いて説明する。第1実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0137】
はじめに、本実施形態による撮像装置の概略構成について、
図9乃至
図11を用いて説明する。
図9は、本実施形態による撮像装置の概略構成を示すブロック図である。
図10は、本実施形態による撮像装置における画素部の構成例を示すブロック図である。
図11は、本実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。
【0138】
本実施形態による撮像装置1000は、
図9に示すように、水平領域制御部3が境界制御部31を有している点で、第1実施形態による撮像装置とは異なっている。画素部1は、第1実施形態による撮像装置と同様、2次元状に配された複数の画素ブロック10,11,12,13,14,15,16,17,…を有している。これら画素ブロックのうち、画素数の多い画素ブロック10,12,14,16,…は、第1実施形態と同様、信号生成部102を有している。一方、画素数の少ない画素ブロック11,13,15,17,…は、
図10に示すように、信号生成部102の代わりに、境界選択部104を有している。水平領域制御部3の境界制御部31は、画素ブロック11,13,15,17,…の境界選択部104に制御信号を供給する制御回路である。
【0139】
なお、本実施形態では、境界選択部104を信号生成部102とは別の名称で呼んでいるが、画素ブロック内の画素に供給する制御信号を生成するという観点からは両者少なくとも同じ機能を有しうる。本明細書では、境界選択部104を信号生成部と呼ぶこともある。
【0140】
次に、垂直走査部2及び水平領域制御部3と画素ブロックとの接続例について、
図11を用いて説明する。説明の簡略化のため、
図11には、画素部1を構成する複数の画素ブロックのうち、
図10に示す画素ブロック10~17に対応する画素ブロックのみを示している。また、
図11には画素ブロック10~17の各々を2つの画素行により構成した例を示しているが、各々の画素ブロックを構成する画素行の数は特に限定されるものではない。また、各々の画素ブロックを構成する画素列の数も特に限定されるものではない。
【0141】
境界制御部31は、タイミング生成部4から与えられる信号(図示せず)に基づいて、制御信号hblk_right[m]を生成する。ここで、制御信号hblk_rightの末尾の添え字[m]は、前述の水平ブロックアドレスの値を表している。
図11には、水平ブロックアドレス[1],[3]に対応する制御信号として、制御信号hblk_right[1],hblk_right[3]を示している。
【0142】
制御信号hblk_right[m]は、制御線122を介して、対応する水平ブロックアドレス[m]に属する画素ブロックに供給される。各々の制御線122は、第2の方向(垂直方向或いは列方向)に延在して配されており、水平ブロックアドレスを共通にする画素ブロックに共通の信号線をなしている。
【0143】
制御信号hblk_right[m]は、対応する水平ブロックアドレス[m]に属する画素ブロックの境界選択部104に与えられる。すなわち、制御信号hblk_right[1]は、水平ブロックアドレス[1]に属する画素ブロック11,15の境界選択部104に与えられる。制御信号hblk_right[3]は、水平ブロックアドレス[3]に属する画素ブロック13,17の境界選択部104に与えられる。
【0144】
水平ブロックアドレス[m]に属する画素ブロックの境界選択部104は、制御信号hblk_right[m],tx[m-1,n],tx[m+1,n]を入力として、制御信号tx[m,n]を出力する。すなわち、水平ブロックアドレス[m]に属する画素ブロックの境界選択部104は、制御信号hblk_right[m]がLowレベルのときに、制御信号tx[m-1,n]を制御信号tx[m,n]として出力する。また、水平ブロックアドレス[m]に属する画素ブロックの境界選択部104は、制御信号hblk_right[m]がHighレベルのときに、制御信号tx[m+1,n]を制御信号tx[m,n]として出力する。
【0145】
本実施形態による撮像装置において、水平領域制御部3(境界制御部31)から画素ブロック11,13,15,17の各々に供給される制御信号は、hblk_right[m]の1つである。したがって、本実施形態の構成によれば、水平領域制御部3(境界制御部31)から画素ブロック11,13,15,17,…に制御信号を供給する信号線を、1本ずつ削減することができる。別の言い方をすると、水平領域制御部3から画素ブロック11,13,15,17,…に制御信号を供給する信号線の数は、水平領域制御部3から画素ブロック10,12,14,16,…に制御信号を供給する信号線の数よりも少ない。
【0146】
次に、本実施形態による撮像装置の駆動方法について、
図12及び
図13を用いて説明する。
図12及び
図13は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。ここでは、
図6に示した制御イメージを想定した駆動方法を説明する。すなわち、画素ブロック10,13,15,16では短秒露光制御を行い、画素ブロック11,12,14,17では長秒露光制御を行うものとする。
【0147】
図12及び
図13には、
図7及び
図8と同様、連続する3走査分の動作を示している。この3走査のうち、第1走査が長秒露光のためのシャッタ動作を行う走査であり、第2走査が短秒露光のためのシャッタ動作を行う走査であり、第3走査が画素部1から画素信号を読み出すための読み出し動作を行う走査である。
【0148】
まず、長秒露光のためのシャッタ動作を行う走査である第1走査について説明する。第1走査は、
図12及び
図13において、概ね時刻t1から時刻t8までの期間である。
【0149】
時刻t1において、外部からタイミング生成部4に供給される垂直同期信号VD及び水平同期信号HDがHighレベルとなり、第1走査の第1HD期間が開始する。第1HD期間は、垂直行アドレス[0]に対応する行の画素100を駆動する期間である。
【0150】
第1走査は、前述の通り、長秒露光のためのシャッタ動作を行う期間である。したがって、第1走査では、制御信号hblk_l[0],hblk_l[2]が適宜制御される。制御信号hblk_s[0],hblk_s[2]はLowレベルのまま維持される。
【0151】
垂直行アドレス[0]に対応する行の画素100が属する画素ブロックは、
図12に示すように、短秒露光が行われる画素ブロック10,13と、長秒露光が行われる画素ブロック11,12である。なお、画素ブロック13の右側に隣り合う画素ブロックは、短秒露光が行われる画素ブロックであるものとする。第1走査は長秒露光のためのシャッタ動作を行う期間であるため、短秒露光が行われる画素ブロック10,13の画素100は駆動せず、長秒露光が行われる画素ブロック11,12の画素100を駆動する。
【0152】
すなわち、時刻t1において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して、画素ブロック12に対応する制御信号hblk_l[2]をLowレベルからHighレベルへと制御する。境界制御部31は、画素ブロック11が画素ブロック12と同じ駆動となり、画素ブロック13が右隣の画素ブロックと同じ駆動となるように、制御信号hblk_right[1],hblk_right[3]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、制御信号hblk_l[0]をLowレベルのまま維持する。
【0153】
次いで、時刻t2において、垂直走査部2は、垂直行アドレス[0]に対応する行の制御信号ptx[0]をLowレベルからHighレベルに制御する。これにより、画素ブロック10の信号生成部102は、Lowレベルの制御信号tx[0,0]を出力する。また、画素ブロック11の境界選択部104は、Highレベルの制御信号tx[1,0]を出力する。また、画素ブロック12の信号生成部102は、Highレベルの制御信号tx[2,0]を出力する。また、画素ブロック13の境界選択部104は、Lowレベルの制御信号tx[3,0]を出力する。
【0154】
これにより、画素ブロック10,13の垂直行アドレス[0]に対応する行の画素100では何も動作しない一方、画素ブロック11,12の垂直行アドレス[0]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[0]はHighレベルであり、垂直行アドレス[0]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0155】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[0]をHighレベルからLowレベルへと制御する。これにより、画素ブロック11の境界選択部104から出力される制御信号tx[1,0]及び画素ブロック12の信号生成部102から出力される制御信号tx[2,0]も、Lowレベルに戻る。制御信号tx[1,0],tx[2,0]がLowレベルに遷移するタイミングが、画素ブロック11,12の垂直行アドレス[0]に対応する行の画素100の光電変換部PDにおいて長秒露光の露光期間が開始するタイミングとなる。
【0156】
時刻t2以降、次に水平同期信号HDがHighレベルになるタイミングにおいて、第1走査の第2HD期間が開始する。第2HD期間は、垂直行アドレス[1]に対応する行の画素100を駆動する期間である。第2HD期間における駆動は第1HD期間における駆動と同様のため、ここでは説明を省略する。
【0157】
時刻t4において、水平同期信号HDがハイレベルとなり、第1走査の第3HD期間が開始する。第3HD期間は、垂直行アドレス[2]に対応する行の画素100を駆動する期間である。
【0158】
垂直行アドレス[2]に対応する行の画素100が属する画素ブロックは、
図13に示すように、長秒露光が行われる画素ブロック14,17と、短秒露光が行われる画素ブロック15,16である。なお、画素ブロック17の右側に隣り合う画素ブロックは、長秒露光が行われる画素ブロックであるものとする。第1走査は長秒露光のためのシャッタ動作を行う期間であるため、短秒露光が行われる画素ブロック15,16の画素100は駆動せず、長秒露光が行われる画素ブロック14,17の画素100を駆動する。
【0159】
すなわち、時刻t4において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して、画素ブロック14に対応する制御信号hblk_l[0]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、画素ブロック16に対応する制御信号hblk_l[2]をHighレベルからLowレベルへと制御する。境界制御部31は、画素ブロック15が画素ブロック16と同じ駆動となり、画素ブロック17が右隣の画素ブロックと同じ駆動となるように、制御信号hblk_right[1],hblk_right[3]をHighレベルのまま維持する。
【0160】
次いで、時刻t5において、垂直走査部2は、垂直行アドレス[2]に対応する行の制御信号ptx[2]をLowレベルからHighレベルに制御する。これにより、画素ブロック14の信号生成部102は、Highレベルの制御信号tx[0,2]を出力する。また、画素ブロック15の境界選択部104は、Lowレベルの制御信号tx[1,2]を出力する。また、画素ブロック16の信号生成部102は、Lowレベルの制御信号tx[2,2]を出力する。また、画素ブロック17の境界選択部104は、Highレベルの制御信号tx[3,2]を出力する。
【0161】
これにより、画素ブロック15,16の垂直行アドレス[2]に対応する行の画素100では何も動作しない一方、画素ブロック14,17の垂直行アドレス[2]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[2]はHighレベルであり、垂直行アドレス[2]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0162】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[2]をHighレベルからLowレベルへと制御する。これにより、画素ブロック14の信号生成部102から出力される制御信号tx[0,2]及び画素ブロック17の境界選択部104から出力される制御信号tx[3,2]もLowレベルに戻る。制御信号tx[0,2],tx[3,2]がLowレベルに遷移するタイミングが、画素ブロック14,17の垂直行アドレス[2]に対応する行の画素100の光電変換部PDにおいて長秒露光の露光期間が開始するタイミングとなる。
【0163】
時刻t5以降、次に水平同期信号HDがHighレベルになるタイミングにおいて、第1走査の第4HD期間が開始する。第4HD期間は、垂直行アドレス[3]に対応する行の画素100を駆動する期間である。第4HD期間における駆動は第3HD期間における駆動と同様のため、ここでは説明を省略する。
【0164】
このようにして、第1走査では、画素ブロック11,12,14,17の画素100において信号電荷の蓄積を開始し、画素ブロック10,13,15,16の画素100に対しては何も行わない。
【0165】
次に、短秒露光のためのシャッタ動作を行う走査である第2走査について説明する。第2走査は、
図12及び
図13において、概ね時刻t8から時刻t15までの期間である。第2走査では、画素ブロック11,12,14,17の画素100における信号電荷の蓄積動作を妨げることなく、画素ブロック10,13,15,16の画素100における信号電荷の蓄積を開始する。
【0166】
時刻t8において、垂直同期信号VD及び水平同期信号HDがハイレベルとなり、第2走査の第1HD期間が開始する。第1HD期間は、垂直行アドレス[0]に対応する行の画素100を駆動する期間である。
【0167】
第2走査は、前述の通り、短秒露光のためのシャッタ動作を行う期間である。したがって、第2走査では、制御信号hblk_s[0],hblk_s[2]が適宜制御される。制御信号hblk_l[0],hblk_l[2]はLowレベルのまま維持される。
【0168】
垂直行アドレス[0]に対応する行の画素100が属する画素ブロックは、
図12に示すように、短秒露光が行われる画素ブロック10,13と、長秒露光が行われる画素ブロック11,12である。第2走査は短秒露光のためのシャッタ動作を行う期間であるため、長秒露光が行われる画素ブロック11,12の画素100は駆動せず、短秒露光が行われる画素ブロック10,13の画素100を駆動する。
【0169】
すなわち、時刻t8において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して、画素ブロック10に対応する制御信号hblk_s[0]をLowレベルからHighレベルへと制御する。境界制御部31は、画素ブロック11が画素ブロック12と同じ駆動となり、画素ブロック13が右隣の画素ブロックと同じ駆動となるように、制御信号hblk_right[1],hblk_right[3]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、制御信号hblk_s[2]をLowレベルのまま維持する。
【0170】
次いで、時刻t9において、垂直走査部2は、垂直行アドレス[0]に対応する行の制御信号ptx[0]をLowレベルからHighレベルに制御する。これにより、画素ブロック10の信号生成部102は、Highレベルの制御信号tx[0,0]を出力する。また、画素ブロック11の境界選択部104は、Lowレベルの制御信号tx[1,0]を出力する。また、画素ブロック12の信号生成部102は、Lowレベルの制御信号tx[2,0]を出力する。また、画素ブロック13の境界選択部104は、Highレベルの制御信号tx[3,0]を出力する。
【0171】
これにより、画素ブロック11,12の垂直行アドレス[0]に対応する行の画素100では何も動作しない一方、画素ブロック10,13の垂直行アドレス[0]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[0]はHighレベルであり、垂直行アドレス[0]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0172】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[0]をHighレベルからLowレベルへと制御する。これにより、画素ブロック10の信号生成部102から出力される制御信号tx[0,0]及び画素ブロック13の境界選択部104から出力される制御信号tx[3,0]も、Lowレベルに戻る。制御信号tx[0,0],tx[3,0]がLowレベルに遷移するタイミングが、画素ブロック10,13の垂直行アドレス[0]に対応する行の画素100の光電変換部PDにおいて短秒露光の露光期間が開始するタイミングとなる。
【0173】
時刻t9以降、次に水平同期信号HDがHighレベルになるタイミングにおいて、第2走査の第2HD期間が開始する。第2HD期間は、垂直行アドレス[1]に対応する行の画素100を駆動する期間である。第2HD期間における駆動は第1HD期間における駆動と同様のため、ここでは説明を省略する。
【0174】
時刻t11において、水平同期信号HDがハイレベルとなり、第2走査の第3HD期間が開始する。第3HD期間は、垂直行アドレス[2]に対応する行の画素100を駆動する期間である。
【0175】
垂直行アドレス[2]に対応する行の画素100が属する画素ブロックは、
図13に示すように、長秒露光が行われる画素ブロック14,17と、短秒露光が行われる画素ブロック15,16である。第2走査は短秒露光のためのシャッタ動作を行う期間であるため、長秒露光が行われる画素ブロック14,17の画素100は駆動せず、短秒露光が行われる画素ブロック15,16の画素100を駆動する。
【0176】
すなわち、時刻t11において水平同期信号HDがHighレベルになると、水平領域制御部3は、水平同期信号HDに同期して、画素ブロック16に対応する制御信号hblk_s[2]をLowレベルからHighレベルへと制御する。また、水平領域制御部3は、画素ブロック14に対応する制御信号hblk_s[0]をHighレベルからLowレベルへと制御する。境界制御部31は、画素ブロック15が画素ブロック16と同じ駆動となり、画素ブロック17が右隣の画素ブロックと同じ駆動となるように、制御信号hblk_right[1],hblk_right[3]をHighレベルのまま維持する。
【0177】
次いで、時刻t12において、垂直走査部2は、垂直行アドレス[2]に対応する行の制御信号ptx[2]をLowレベルからHighレベルに制御する。これにより、画素ブロック14の信号生成部102は、Lowレベルの制御信号tx[0,2]を出力する。また、画素ブロック15の境界選択部104は、Highレベルの制御信号tx[1,2]を出力する。また、画素ブロック16の信号生成部102は、Highレベルの制御信号tx[2,2]を出力する。また、画素ブロック17の境界選択部104は、Lowレベルの制御信号tx[3,2]を出力する。
【0178】
これにより、画素ブロック14,17の垂直行アドレス[2]に対応する行の画素100では何も動作しない一方、画素ブロック15,16の垂直行アドレス[2]に対応する行の画素100では転送トランジスタM1がオンになる。このとき、制御信号pres[2]はHighレベルであり、垂直行アドレス[2]に対応する行の画素100のリセットトランジスタM2もオンになっており、FDノードはリセット状態である。したがって、転送トランジスタM1がオンになることによって、光電変換部PDは、リセットトランジスタM2及び転送トランジスタM1を介して電圧VDDに応じた電位にリセットされる。
【0179】
垂直走査部2は、光電変換部PDのリセットが完了した後の所定のタイミングで、制御信号ptx[2]をHighレベルからLowレベルへと制御する。これにより、画素ブロック15の境界選択部104から出力される制御信号tx[1,2]及び画素ブロック16の信号生成部102から出力される制御信号tx[2,2]も、Lowレベルに戻る。制御信号tx[1,2],tx[2,2]がLowレベルに遷移するタイミングが、画素ブロック15,16の垂直行アドレス[2]に対応する行の画素100の光電変換部PDにおいて短秒露光の露光期間が開始するタイミングとなる。
【0180】
時刻t12以降、次に水平同期信号HDがHighレベルになるタイミングにおいて、第2走査の第4HD期間が開始する。第4HD期間は、垂直行アドレス[3]に対応する行の画素100を駆動する期間である。第4HD期間における駆動は第3HD期間における駆動と同様のため、ここでは説明を省略する。
【0181】
このようにして、第2走査では、画素ブロック10,13,15,16の画素100において新たに信号電荷の蓄積を開始し、画素ブロック11,12,14,17の画素100に対しては何も行わない。画素ブロック11,12,14,17の画素100では、第1走査に開始した信号電荷の蓄積が継続している。
【0182】
次に、画素部1から画素信号を読み出すための読み出し動作の走査である第3走査について説明する。第3走査は、
図12及び
図13において、概ね時刻t15から開始する。
【0183】
時刻t15において、垂直同期信号VD及び水平同期信号HDがHighレベルとなり、第3走査の第1HD期間が開始する。
【0184】
第3走査では、総ての画素ブロックに属する画素100からの信号の読み出しを行う。そこで水平領域制御部3は、第3走査の全期間に渡って、制御信号hblk_l[0],hblk_l[2],hblk_s[0],hblk_s[2]をHighレベルのまま維持する。また、境界制御部31は、第3走査の全期間に渡って、制御信号hblk_right[1],hblk_right[3]をLowレベルのまま維持する。これにより、制御信号ptx[n]は、垂直行アドレス[n]に対応する行に位置する総ての画素ブロックに入力されることになる。
【0185】
第3走査の時刻t15以降における制御信号ptx[n],pres[n],psel[n]の駆動は第1実施形態と同様であるため、ここでは説明を省略する。
【0186】
このように、本実施形態では、例えば、画素ブロック11に対応して境界選択部104を配置している。境界選択部104は、与えられた制御信号に基づいて、第1のモードと第2のモードとを切り替えている。ここで、第1のモードは、画素ブロック11における蓄積時間と画素ブロック10の蓄積時間とを共通に制御するモードであり、第2のモードは、画素ブロック11における蓄積時間と画素ブロック12の蓄積時間とを共通に制御するモードである。第1のモードでは、画素ブロック11及び画素ブロック10に対して、画素ブロック12の蓄積時間は独立に制御される。第2のモードでは、画素ブロック11及び画素ブロック12に対して、画素ブロック10の蓄積時間は独立に制御される。このように撮像装置を構成することにより、露光時間を設定する領域の配置やそのサイズの自由度を向上することができる。
【0187】
なお、本実施形態では、画素ブロック毎に露光時間を制御可能な撮像装置において、画素部1内にサイズの異なる2種類の画素ブロックを設定し、これら画素ブロックを水平方向に交互に配置している。そして、境界選択部104は、相対的に画素数の少ない画素ブロックに対して配される。したがって、本実施形態によれば、移動する被写体に合わせた露光エリアや暗めの背景に合わせた露光エリアなど、被写体に応じた露光エリアを適切に配しやすくなり、画質の低下を防ぐことができる。また、総ての画素ブロックのサイズを一様に小さくする場合と比較して単位面積当たりの画素ブロックの数、すなわち信号線の数を少なくできる。特に、本実施形態の構成においては、隣接する画素ブロックの制御信号を利用することで、第1実施形態の場合よりも更に信号線の数を少なくすることができる。これにより、制御の煩雑化や開口率の低下を更に抑制することができる。
【0188】
[第3実施形態]
本発明の第3実施形態による撮像装置及びその駆動方法について、
図14乃至
図17を用いて説明する。第1及び第2実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0189】
はじめに、本実施形態による撮像装置の概略構成について、
図14及び
図15を用いて説明する。
図14は、本実施形態による撮像装置の概略構成を示すブロック図である。
図15は、本実施形態による撮像装置における画素部及び列アンプ部の構成例を示す回路図である。
【0190】
本実施形態による撮像装置1000は、
図14に示すように、列AD変換部5の前段に列アンプ部8を更に有している点で、第1及び第2実施形態による撮像装置とは異なっている。列アンプ部8は、画素部1、列AD変換部5及びタイミング生成部4に接続されており、タイミング生成部4による制御のもと、画素部1から出力された各列の画素信号を、画素ブロック毎に設定された所定のゲインで増幅し、列AD変換部5へと出力する。列アンプ部8は、境界制御部81を有している。境界制御部81は、画素ブロック11,13,15,17,…の画素100から出力される画素信号に対するゲインを制御する機能を備える。
【0191】
列アンプ部8は、
図15に示すように、複数のアンプ83と、境界制御部81を構成する複数のセレクタ82と、を有する。アンプ83は、画素部1の画素列の各々に配された垂直出力線106に接続されている。セレクタ82は、画素ブロック11,13,15,17,…が配された画素ブロック列に対応して設けられている。
【0192】
複数のアンプ83の各々は、対応する列の垂直出力線106から出力された画素信号を所定のゲインで増幅する。アンプ83は、画素ブロック列の単位でゲインの設定が可能である。すなわち、画素ブロック10,14が属する画素ブロック列のアンプ83は、制御信号gain[0]により所定のゲインに設定される。画素ブロック12,16が属する画素ブロック列のアンプ83は、制御信号gain[1]により所定のゲインに設定される。画素ブロック11,15が属する画素ブロック列のアンプ83及び画素ブロック13,17が属する画素ブロック列のアンプ83は、両隣の画素ブロック列のアンプ83に設定されるゲインのいずれかに設定される。例えば、画素ブロック11,15が属する画素ブロック列のアンプ83は、制御信号gain[0]及び制御信号gain[1]のうち、制御信号gain_right[0]により選択されるいずれかの制御信号により、所定のゲインに設定される。
【0193】
例えば、画素ブロック11,15が属する画素ブロック列のアンプ83は、制御信号gain_right[0]がLowレベルのときには、制御信号gain[0]に応じた所定のゲインに制御される。また、画素ブロック11,15が属する画素ブロック列のアンプ83は、制御信号gain_right[0]がHighレベルのときには、制御信号gain[1]に応じた所定のゲインに設定される。
【0194】
図15では、画素ブロック10,14が属する画素ブロック列の画素100からの出力信号をVout[0,n]と表している。また、画素ブロック11,15が属する画素ブロック列の画素100からの出力信号をVout[1,n]と表している。また、画素ブロック12,16が属する画素ブロック列の画素100からの出力信号をVout[2,n]と表している。また、画素ブロック13,17が属する画素ブロック列の画素100からの出力信号をVout[3,n]と表している。
【0195】
また、画素ブロック10,14が属する画素ブロック列の画素100の出力信号Vout[0,n]をアンプ83で増幅した信号を、出力信号amp_out0と表している。また、画素ブロック11,15が属する画素ブロック列の画素100の出力信号Vout[1,n]をアンプ83で増幅した信号を、出力信号amp_out1と表している。また、画素ブロック12,16が属する画素ブロック列の画素100の出力信号Vout[2,n]をアンプ83で増幅した信号を、出力信号amp_out2と表している。また、画素ブロック13,17が属する画素ブロック列の画素100の出力信号Vout[3,n]をアンプ83で増幅した信号を、出力信号amp_out3と表している。また、複数の画素列を含む画素ブロックでは、例えば出力信号amp_out0_1,amp_out0_2のように、当該画素ブロック内の画素列を区別するための符号を付記している。
【0196】
このように、本実施形態では、画素ブロック毎に出力信号に対するゲインを制御可能な撮像装置において、画素部1内にサイズの異なる2種類の画素ブロックを設定し、これら画素ブロックを水平方向に交互に配置している。そして、画素ブロック毎に出力信号に対するゲインの設定を可能にしている。したがって、第1及び第2実施形態において露光時間を制御する場合と同様、画素部1内に一定のサイズの画素ブロックを設定する場合と比較して、ゲイン設定の異なる複数の領域の配置やサイズの自由度を向上することができる。これにより、移動する被写体に合わせたゲイン制御を行うエリアや暗めの背景に合わせたゲイン制御を行うエリアなど、被写体に応じたゲイン制御を行うエリアを適切に配しやすくなり、画質の低下を防ぐことが可能となる。また、総ての画素ブロックのサイズを一様に小さくする場合と比較して単位面積当たりの画素ブロックの数を少なくできるため、制御の煩雑化や信号線の増加を抑制することもできる。
【0197】
次に、本実施形態による撮像装置の駆動方法について、
図16及び
図17を用いて説明する。
図16は、画素部内の各画素ブロックにおける露光時間を模式的に表した図である。
図17は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。
【0198】
ここでは、画素部1の画素ブロック毎に露光時間を制御する一例として、
図16に示すような動作を想定する。すなわち、
図16は、画素部1のうち、全体的に暗い画素ブロック10,16に対しては高ゲインの制御を行い、全体的に明るい画素ブロック11,12,13,14,15,17に対しては低ゲインの制御を行うことを示している。なお、画素ブロック13の右隣の画素ブロックは高ゲインの制御を行う画素ブロックであり、画素ブロック17の右隣の画素ブロックは低ゲインの制御を行う画素ブロックであるものとする。
【0199】
図16の動作を実現するための撮像装置1000の具体的な駆動例について、
図17を用いて説明する。
図17には、第1及び第2実施形態の第3走査に対応する読み出し動作を示している。第1及び第2実施形態の第1及び第2走査に対応するシャッタ動作においては、第1又は第2実施形態と同様の手順により画素ブロック毎の露光時間の制御を行ってもよいし、画素ブロック毎の露光時間の制御を行わなくてもよい。
【0200】
図17において、時刻t24から時刻t25の第1HD期間は、画素ブロック10,11,12,13に属する第1画素行(垂直行アドレス[n]=[0])からの読み出しを行う期間である。時刻t25から時刻t26の第2HD期間は、画素ブロック10,11,12,13に属する第2画素行(垂直行アドレス[n]=[1])からの読み出しを行う期間である。時刻t26から時刻t27の第3HD期間は、画素ブロック14,15,16,17に属する第1画素行(垂直行アドレス[n]=[2])からの読み出しを行う期間である。時刻t27から時刻t28の第4HD期間は、画素ブロック14,15,16,17に属する第2画素行(垂直行アドレス[n]=[3])からの読み出しを行う期間である。
【0201】
第1HD期間は、画素ブロック10の第1画素行から高ゲインで読み出しを行い、画素ブロック11,12,13の第1画素行から低ゲインで読み出しを行う期間である。そこで、第1HD期間では、画素ブロック10に属する画素列のアンプ83を高ゲイン設定にするために、タイミング生成部4からHighレベルの制御信号gain[0]を出力する。また、画素ブロック12に属する画素列のアンプ83を低ゲイン設定にするために、タイミング生成部4からLowレベルの制御信号gain[1]を出力する。また、画素ブロック11,13に属する画素列のアンプ83を、画素ブロック12と同じ低ゲイン設定とするために、制御信号gain_right[0]をHighレベル、制御信号gain_right[1]をLowレベルに設定する。
【0202】
これにより、画素ブロック10の第1画素行から、高ゲインで増幅された出力信号amp_out0_1,amp_out0_2が出力される。また、画素ブロック11の第1画素行から、低ゲインで増幅された出力信号amp_out1_1,amp_out1_2が出力される。また、画素ブロック12の第1画素行から、低ゲインで増幅された出力信号amp_out2_1,amp_out2_2が出力される。また、画素ブロック13の第1画素行から、低ゲインで増幅された出力信号amp_out3_1,amp_out3_2が出力される。
【0203】
第2HD期間は、画素ブロック10の第2画素行から高ゲインで読み出しを行い、画素ブロック11,12,13の第2画素行から低ゲインで読み出しを行う期間である。第2HD期間における動作は第1HD期間における動作と同じであるため、ここでは説明を省略する。
【0204】
第3HD期間は、画素ブロック16の第1画素行から高ゲインで読み出しを行い、画素ブロック14,15,17の第1画素行から低ゲインで読み出しを行う期間である。そこで、第3HD期間では、画素ブロック14に属する画素列のアンプ83を低ゲイン設定にするために、タイミング生成部4からLowレベルの制御信号gain[0]を出力する。また、画素ブロック16に属する画素列のアンプ83を高ゲイン設定にするために、タイミング生成部4からHighレベルの制御信号gain[1]を出力する。また、画素ブロック15,17に属する画素列のアンプ83を、画素ブロック14と同じ低ゲイン設定とするために、制御信号gain_right[0]をLowレベル、制御信号gain_right[1]をHighレベルに設定する。
【0205】
これにより、画素ブロック16の第1画素行から、高ゲインで増幅された出力信号amp_out2_1,amp_out2_2が出力される。また、画素ブロック14の第1画素行から、低ゲインで増幅された出力信号amp_out0_1,amp_out0_2が出力される。また、画素ブロック15の第1画素行から、低ゲインで増幅された出力信号amp_out1_1,amp_out1_2が出力される。また、画素ブロック17の第1画素行から、低ゲインで増幅された出力信号amp_out3_1,amp_out3_2が出力される。
【0206】
第4HD期間は、画素ブロック16の第2画素行から高ゲインで読み出しを行い、画素ブロック14,15,17の第2画素行から低ゲインで読み出しを行う期間である。第4HD期間における動作は第3HD期間における動作と同じであるため、ここでは説明を省略する。
【0207】
このように、本実施形態では、画素ブロック毎に出力信号に対するゲインを制御可能な撮像装置において、画素部1内にサイズの異なる2種類の画素ブロックを設定し、これら画素ブロックを水平方向に交互に配置している。そして、画素ブロック毎に出力信号に対するゲインの設定を可能にしている。したがって、第1及び第2実施形態において露光時間を制御する場合と同様、画素部1内に一定のサイズの画素ブロックを設定する場合と比較して、ゲイン設定の異なる複数の領域の配置やサイズの自由度を向上することができる。
【0208】
したがって、本実施形態によれば、移動する被写体に合わせたゲイン制御を行うエリアや暗めの背景に合わせたゲイン制御を行うエリアなど、被写体に応じたゲイン制御を行うエリアを適切に配しやすくなり、画質の低下を防ぐことができる。また、総ての画素ブロックのサイズを一様に小さくする場合と比較して単位面積当たりの画素ブロックの数、すなわち信号線の数を少なくできるため、制御の煩雑化や開口率の低下を抑制することができる。
【0209】
[第4実施形態]
本発明の第4実施形態による撮像装置及びその駆動方法について、
図18乃至
図20を用いて説明する。第1乃至第3実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0210】
はじめに、本実施形態による撮像装置の概略構成について、
図18及び
図19を用いて説明する。
図18は、本実施形態による撮像装置における画素の構成例を示す回路図である。
図19は、本実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。
【0211】
本実施形態による撮像装置は、
図18に示すように、画素100がFDノードに接続されたトランジスタM5を更に有する点で、第1乃至第3実施形態による撮像装置とは異なっている。トランジスタM5は、FDノードに結合される容量(FD容量)を制御するためのトランジスタであり、タイミング生成部4からゲートに供給される制御信号fdinc[m,n]により駆動される。
【0212】
トランジスタM5は、例えばN型トランジスタで構成される場合、ゲートにHighレベルの制御信号fdinc[m,n]が供給されるとオンになり、ゲートにLowレベルの制御信号fdinc[m,n]が供給されるとオフになる。トランジスタM5のゲート容量はトランジスタM5の動作状態によって変化するため、トランジスタM5がオンのときの容量値は、トランジスタM5がオフのときの容量値よりも大きくなる。
【0213】
これにより、制御信号fdinc[m,n]によってFD容量を制御することが可能となり、被写体が暗い場合にはFD容量を小さくして高ゲインの設定とし、被写体が明るい場合にはFD容量を大きくして低ゲインの設定とすることができる。すなわち、本実施形態においてFDノードは、容量値が可変の電荷保持部を構成している。
【0214】
次に、垂直走査部2及び水平領域制御部3と画素ブロックとの接続例について、
図19を用いて説明する。説明の簡略化のため、
図19には、画素部1を構成する複数の画素ブロックのうち、
図10に示す画素ブロック10~17に対応する画素ブロックのみを示している。また、
図19には画素ブロック10~17の各々を2つの画素行により構成した例を示しているが、各々の画素ブロックを構成する画素行の数は特に限定されるものではない。また、各々の画素ブロックを構成する画素列の数も特に限定されるものではない。
【0215】
垂直走査部2は、第1乃至第3実施形態で説明した制御信号ptx[n],pres[n],psel[n]に加え、制御信号fdinc[n]を更に出力する。制御信号fdinc[n]は、垂直行アドレス毎に配された制御線110を介して、垂直行アドレス[n]に対応する行に配された画素100を含む画素ブロックの信号生成部102に供給される。
【0216】
また、水平領域制御部3は、第2実施形態で説明した制御信号hblk_l[m],hblk_s[m],hblk_right[m]に加え、制御信号hblk_fd[m]を更に出力する。制御信号hblk_right[m]は、水平ブロックアドレス毎に配された制御線120を介して、対応する水平ブロックアドレス[m]に属する画素ブロックの信号生成部102に供給される。
【0217】
信号生成部102は、制御信号fdinc[n]及び制御信号hblk_fd[m]に基づいて制御信号fdinc[m,n]を生成する。具体的には、信号生成部102は、制御信号fdinc[n]及び制御信号hblk_fd[m]がともにHighレベルのときに、Highレベルの制御信号fdinc[m,n]を出力する。信号生成部102は、制御信号fdinc[n]及び制御信号hblk_fd[m]のうちの少なくとも一方がLowレベルのときには、Lowレベルの制御信号fdinc[m,n]を出力する。信号生成部102で生成された制御信号fdinc[m,n]は、水平ブロックアドレス[m]及び垂直行アドレス[n]に対応する画素ブロック内の画素100に与えられる。
【0218】
信号生成部102におけるこのような演算を実現する回路は特に限定されるものではないが、例えば
図19に示す論理回路によって構成することができる。
図19に示す論理回路は、制御信号fdinc[n]と制御信号hblk_fd[m]との論理積演算を行うANDゲートにより構成される。このANDゲートの出力が、制御信号fdinc[m,n]である。
【0219】
水平ブロックアドレス[m]に属する画素ブロックの境界選択部104は、制御信号hblk_right[m],fdinc[m-1,n],fdinc[m+1,n]を入力として、制御信号fdinc[m,n]を出力する。すなわち、水平ブロックアドレス[m]に属する画素ブロックの境界選択部104は、制御信号hblk_right[m]がLowレベルのときに、制御信号fdinc[m-1,n]を制御信号fdinc[m,n]として出力する。また、水平ブロックアドレス[m]に属する画素ブロックの境界選択部104は、制御信号hblk_right[m]がHighレベルのときに、制御信号fdinc[m+1,n]を制御信号fdinc[m,n]として出力する。境界選択部104で生成された制御信号fdinc[m,n]は、水平ブロックアドレス[m]及び垂直行アドレス[n]に対応する画素ブロック内の画素100に与えられる。
【0220】
このように、本実施形態では、画素ブロック毎に出力信号に対するゲインを制御可能な撮像装置において、画素部1内にサイズの異なる2種類の画素ブロックを設定し、これら画素ブロックを水平方向に交互に配置している。そして、画素ブロック毎に出力信号に対するゲインの設定を可能にしている。したがって、第1及び第2実施形態において露光時間を制御する場合と同様、画素部1内に一定のサイズの画素ブロックを設定する場合と比較して、ゲイン設定の異なる複数の領域の配置やサイズの自由度を向上することができる。これにより、移動する被写体に合わせたゲイン制御を行うエリアや暗めの背景に合わせたゲイン制御を行うエリアなど、被写体に応じたゲイン制御を行うエリアを適切に配しやすくなり、画質の低下を防ぐことが可能となる。また、総ての画素ブロックのサイズを一様に小さくする場合と比較して単位面積当たりの画素ブロックの数を少なくできるため、制御の煩雑化や信号線の増加を抑制することもできる。
【0221】
次に、本実施形態による撮像装置の駆動方法について、
図20を用いて説明する。
図20は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。ここでは、
図16に示した制御イメージを想定した駆動方法を説明する。すなわち、画素部1のうち、全体的に暗い画素ブロック10,16に対しては高ゲインの制御を行い、全体的に明るい画素ブロック11,12,13,14,15,17に対しては低ゲインの制御を行う。
【0222】
図16の動作を実現するための撮像装置の具体的な駆動例について、
図20を用いて説明する。
図20には、第1及び第2実施形態の第3走査に対応する読み出し動作を示している。第1及び第2実施形態の第1及び第2走査に対応するシャッタ動作においては、第1又は第2実施形態と同様の手順により画素ブロック毎の露光時間の制御を行ってもよいし、画素ブロック毎の露光時間の制御を行わなくてもよい。また、第1及び第2実施形態の第3走査に対応する読み出し動作においては、第3実施形態の駆動を併用してもよい。
【0223】
図20において、時刻t29から時刻t31の第1HD期間は、画素ブロック10,11,12,13に属する第1画素行(垂直行アドレス[n]=[0])からの読み出しを行う期間である。時刻t31から時刻t33の第2HD期間は、画素ブロック10,11,12,13に属する第2画素行(垂直行アドレス[n]=[1])からの読み出しを行う期間である。時刻t33から時刻t35の第3HD期間は、画素ブロック14,15,16,17に属する第1画素行(垂直行アドレス[n]=[2])からの読み出しを行う期間である。時刻t35から時刻t37の第4HD期間は、画素ブロック14,15,16,17に属する第2画素行(垂直行アドレス[n]=[3])からの読み出しを行う期間である。
【0224】
第1HD期間は、画素ブロック10の第1画素行から高ゲインで読み出しを行い、画素ブロック11,12,13の第1画素行から低ゲインで読み出しを行う期間である。
【0225】
まず、時刻t29において、水平領域制御部3は、画素ブロック10の第1画素行に属する画素100のトランジスタM5をオフに設定するために、Lowレベルの制御信号hblk_fd[0]を出力する。また、水平領域制御部3は、画素ブロック12の第1画素行に属する画素100のトランジスタM5をオンに設定するために、Highレベルの制御信号hblk_fd[2]を出力する。また、水平領域制御部3は、画素ブロック11,13の第1画素行に属する画素100のトランジスタM5をオンに設定するために、制御信号hblk_right[1]をLowレベル、制御信号hblk_right[3]をHighレベルに設定する。
【0226】
次いで、時刻t30において、垂直走査部2は、制御信号ptx[0]をHighレベルに制御するタイミングと同じタイミングで、制御信号fdinc[0]をHighレベルに制御する。これにより、画素ブロック10の第1画素行に属する画素100のトランジスタM5はオフのままであり、当該画素100から高ゲインで増幅された出力信号Voutが出力される。また、画素ブロック11,12,13の第1画素行の画素100のトランジスタM5がオンになり、当該画素100から低ゲインで増幅された出力信号Voutが出力される。
【0227】
第2HD期間は、画素ブロック10の第2画素行から高ゲインで読み出しを行い、画素ブロック11,12,13の第2画素行から低ゲインで読み出しを行う期間である。第2HD期間における動作は第1HD期間における動作と同じであるため、ここでは説明を省略する。
【0228】
第3HD期間は、画素ブロック16の第1画素行から高ゲインで読み出しを行い、画素ブロック14,15,17の第1画素行から低ゲインで読み出しを行う期間である。
【0229】
まず、時刻t33において、水平領域制御部3は、画素ブロック16の第1画素行に属する画素100のトランジスタM5をオフに設定するために、Lowレベルの制御信号hblk_fd[2]を出力する。また、水平領域制御部3は、画素ブロック14の第1画素行に属する画素100のトランジスタM5をオンに設定するために、Highレベルの制御信号hblk_fd[0]を出力する。また、水平領域制御部3は、画素ブロック15,17の第1画素行に属する画素100のトランジスタM5をオンに設定するために、制御信号gain_right[1]をLowレベル、制御信号gain_right[3]をHighレベルに設定する。
【0230】
次いで、時刻t34において、垂直走査部2は、制御信号ptx[2]をHighレベルに制御するタイミングと同じタイミングで、制御信号fdinc[2]をHighレベルに制御する。これにより、画素ブロック16の第1画素行に属する画素100のトランジスタM5はオフのままであり、当該画素100から高ゲインで増幅された出力信号Voutが出力される。また、画素ブロック14,15,17の第1画素行の画素100のトランジスタM5がオンになり、当該画素100から低ゲインで増幅された出力信号Voutが出力される。
【0231】
第4HD期間は、画素ブロック16の第2画素行から高ゲインで読み出しを行い、画素ブロック14,15,17の第2画素行から低ゲインで読み出しを行う期間である。第4HD期間における動作は第3HD期間における動作と同じであるため、ここでは説明を省略する。
【0232】
このように、本実施形態では、画素ブロック毎に出力信号に対するゲインを制御可能な撮像装置において、画素部1内にサイズの異なる2種類の画素ブロックを設定し、これら画素ブロックを水平方向に交互に配置している。そして、画素ブロック毎に出力信号に対するゲインの設定を可能にしている。したがって、第1及び第2実施形態において露光時間を制御する場合と同様、画素部1内に一定のサイズの画素ブロックを設定する場合と比較して、ゲイン設定の異なる複数の領域の配置やサイズの自由度を向上することができる。
【0233】
したがって、本実施形態によれば、移動する被写体に合わせたゲイン制御を行うエリアや暗めの背景に合わせたゲイン制御を行うエリアなど、被写体に応じたゲイン制御を行うエリアを適切に配しやすくなり、画質の低下を防ぐことができる。また、総ての画素ブロックのサイズを一様に小さくする場合と比較して単位面積当たりの画素ブロックの数、すなわち信号線の数を少なくできるため、制御の煩雑化や開口率の低下を抑制することができる。
【0234】
[第5実施形態]
本発明の第5実施形態による撮像装置及びその駆動方法について、
図21乃至
図25を用いて説明する。第1乃至第4実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0235】
はじめに、本実施形態による撮像装置の概略構成について、
図21及び
図22を用いて説明する。
図21は、本実施形態による撮像装置における画素部の構成例を示すブロック図である。
図22は、本実施形態による撮像装置における画素ブロックと垂直走査部及び水平領域制御部との間の接続例を示す回路図である。
【0236】
本実施形態による撮像装置の画素部1は、
図21に示すように、制御信号hblk_l,hblk_sで制御される画素ブロックの間に、制御信号hblk_rightで制御される画素ブロックが複数配置されている。制御信号hblk_l,hblk_sで制御される画素ブロックが前述の画素数の多い画素ブロックであり、制御信号hblk_rightで制御される画素ブロックが前述の画素数の少ない画素ブロックである。
【0237】
具体的には、画素数の多い画素ブロック10と画素数の少ない画素ブロック11との間に配置された画素ブロック21を更に有している。また、画素部1は、画素数の多い画素ブロック12と画素数の少ない画素ブロック13との間に配置された画素ブロック22を更に有している。また、画素部1は、画素数の多い画素ブロック14と画素数の少ない画素ブロック15との間に配置された画素ブロック23を更に有している。また、画素部1は、画素数の多い画素ブロック16と画素数の少ない画素ブロック17との間に配置された画素ブロック23を更に有している。
【0238】
画素ブロック21,22,23,24を構成する画素数は、特に限定されるものではないが、例えば、各々の左隣に配された画素ブロックの画素数よりも少なく、各々の右隣に配された画素ブロックの画素数よりも多くなるように設定することができる。例えば、画素ブロック21を構成する画素数(画素列の数)は、画素ブロック11を構成する画素数(画素列の数)よりも多く、画素ブロック10を構成する画素数(画素列の数)よりも少ない。画素ブロック22,23,24についても同様である。画素ブロック21,22,23,24の各々は、画素ブロック11,13,15,17と同様、境界選択部104を有する。
【0239】
次に、垂直走査部2及び水平領域制御部3と画素ブロックとの接続例について、
図22を用いて説明する。説明の簡略化のため、
図22には、画素部1を構成する複数の画素ブロックのうち、
図21に示す画素ブロック10~17,21~24に対応する画素ブロックのみを示している。また、
図21には画素ブロック10~17,21~24の各々を2つの画素行により構成した例を示しているが、各々の画素ブロックを構成する画素行の数は特に限定されるものではない。また、各々の画素ブロックを構成する画素列の数も特に限定されるものではない。
【0240】
水平領域制御部3は、境界選択部104を有する画素ブロックが配された各々の画素ブロック列に対し、制御線122を介して制御信号hblk_right[m]を供給するように構成されている。例えば
図22に示すように、水平領域制御部3は、画素ブロック21,23の境界選択部104に制御信号hblk_right[1]を供給し、画素ブロック11,15の境界選択部104に制御信号hblk_right[2]を供給する。また、水平領域制御部3は、画素ブロック22,24の境界選択部104に制御信号hblk_right[4]を供給し、画素ブロック13,17の境界選択部104に制御信号hblk_right[5]を供給する。
【0241】
ここで説明の便宜上、画素ブロック10,14の水平ブロックアドレスを[0]とする。この場合、信号生成部102を有する画素ブロックの水平ブロックアドレスは、[3x]と表すことができる。また、境界選択部104を有する画素ブロックの水平ブロックアドレスは、[3x+1]又は[3x+2]と表すことができる。ここで、xは0以上の整数である。水平ブロックアドレス[3x]で表される画素ブロックは、例えば画素ブロック10,12,14,16である。水平ブロックアドレス[3x+1]で表される画素ブロックは、例えば画素ブロック21,22,23,24である。水平ブロックアドレス[3x+2]で表される画素ブロックは、例えば画素ブロック11,13,15,17である。
【0242】
水平ブロックアドレス[3x+1]で表される画素ブロックの境界選択部104は、制御信号hblk_right[3x+1],tx[3x,n],tx[3x+3,n]を入力として、制御信号tx[3x+1,n]を出力する。例えば、画素ブロック21,22の境界選択部104は、制御信号hblk_right[1],tx[0,n],tx[3,n]を受け、制御信号tx[1,n]を出力する。制御信号hblk_right[1]がHighレベルであれば、制御信号tx[3,n]を制御信号tx[1,n]として出力する。また、制御信号hblk_right[1]がLowレベルであれば、制御信号tx[0,n]を制御信号tx[1,n]として出力する。
【0243】
また、水平ブロックアドレス[3x+2]で表される画素ブロックの境界選択部104は、制御信号hblk_right[3x+2],tx[3x+1,n],tx[3x+3,n]を入力として、制御信号tx[3x+1,n]を出力する。例えば、画素ブロック11,15の境界選択部104は、制御信号hblk_right[2],tx[1,n],tx[3,n]を受け、制御信号tx[2,n]を出力する。制御信号hblk_right[2]がHighレベルであれば、制御信号tx[3,n]を制御信号tx[2,n]として出力する。また、制御信号hblk_right[1]がLowレベルであれば、制御信号tx[1,n]を制御信号tx[2,n]として出力する。
【0244】
このように、本実施形態では、制御信号hblk_l,hblk_sにより制御される隣接する画素ブロックの間に、制御信号hblk_rightにより制御される画素ブロックを複数配置している。これにより、被写体に応じたより細かな露光エリアの設定が可能となり、画質の低下を抑制することができる。
【0245】
次に、本実施形態による撮像装置の駆動方法について、
図23乃至
図25を用いて説明する。
図23は、画素部内の各画素ブロックにおける露光時間を模式的に表した図である。
図24及び
図25は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。
【0246】
ここでは、画素部1の画素ブロック毎に露光時間を制御する一例として、
図23に示すような動作を想定する。すなわち、
図23は、画素部1のうち、全体的に明るい画素ブロック10,21,13,23,15,16に対しては短秒露光の制御を行い、全体的に暗い画素ブロック11,12,22,14,24,17に対しては長秒露光の制御を行うことを示している。なお、画素ブロック13の右隣の画素ブロックは短秒露光の制御を行う画素ブロックであり、画素ブロック17の右隣の画素ブロックは長秒露光の制御を行う画素ブロックであるものとする。
【0247】
図23の動作を実現するための撮像装置の具体的な駆動例について、
図24及び
図25を用いて説明する。
図24が画素ブロック10,21,11,12,22,13の動作を示すタイミング図であり、
図25が画素ブロック14,23,15,16,24,17の動作を示すタイミング図である。
【0248】
図24及び
図25には、連続する3走査分の動作を示している。この3走査のうち、第1走査が長秒露光のためのシャッタ動作を行う走査であり、第2走査が短秒露光のためのシャッタ動作を行う走査であり、第3走査が画素部1から画素信号を読み出すための読み出し動作を行う走査である。動作の概要は、
図7及び
図8を用いて説明した第1実施形態の動作と同じである。
【0249】
第1走査の第1HD期間は、垂直行アドレス[0]に対応する画素行に属する画素100に対して長秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[0]に対応する画素ブロックのうち、長秒露光を行う画素ブロックは、画素ブロック11,12,22である。
【0250】
時刻t1において、制御信号hblk_l,hblk_sのうち、画素ブロック12に対応する制御信号hblk_l[3]のみをHighレベルに制御する。また、画素ブロック11を長秒露光に制御するため、画素ブロック11に対応する制御信号hblk_right[2]をHighレベルに制御する。また、画素ブロック22を長秒露光に制御するため、画素ブロック22に対応する制御信号hblk_right[4]をLowレベルに制御する。水平領域制御部3から供給されるその他の制御信号は、Lowレベルのまま維持する。
【0251】
この状態で、時刻t2において、垂直行アドレス[0]に対応する画素行の制御信号ptx[0]をLowレベルからHighレベルへと制御する。これにより、制御信号tx[2,0],tx[3,0],tx[4,0]がHighレベルとなり、画素ブロック11,12,22の垂直行アドレス[0]に対応する画素行に属する画素100がリセットされる。その後、制御信号ptx[0]をLowレベルに戻すことで、画素ブロック11,12,22の垂直行アドレス[0]に対応する行の画素100の光電変換部PDにおいて、長秒露光の露光期間が開始する。
【0252】
第1走査の第2HD期間は、垂直行アドレス[1]に対応する画素行に属する画素100に対して長秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[1]に対応する画素ブロックのうち、長秒露光を行う画素ブロックは、画素ブロック11,12,22である。第2HD期間における動作は第1HD期間における動作と同じであるため、ここでは説明を省略する。
【0253】
第1走査の第3HD期間は、垂直行アドレス[2]に対応する画素行に属する画素100に対して長秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[2]に対応する画素ブロックのうち、長秒露光を行う画素ブロックは、画素ブロック14,24,17である。
【0254】
時刻t4において、制御信号hblk_l,hblk_sのうち、画素ブロック14に対応する制御信号hblk_l[0]のみをHighレベルに制御する。また、画素ブロック24を長秒露光に制御するため、画素ブロック24に対応する制御信号hblk_right[4]をHighレベルに制御する。また、画素ブロック17を長秒露光に制御するため、画素ブロック17に対応する制御信号hblk_right[5]をHighレベルに制御する。水平領域制御部3から供給されるその他の制御信号は、Lowレベルのまま維持する。
【0255】
この状態で、時刻t5において、垂直行アドレス[2]に対応する画素行の制御信号ptx[2]をLowレベルからHighレベルへと制御する。これにより、制御信号tx[0,2],tx[4,2],tx[5,2]がHighレベルとなり、画素ブロック14,24,17の垂直行アドレス[2]に対応する画素行に属する画素100がリセットされる。その後、制御信号ptx[2]をLowレベルに戻すことで、画素ブロック14,24,17の垂直行アドレス[2]に対応する行の画素100の光電変換部PDにおいて、長秒露光の露光期間が開始する。
【0256】
第1走査の第4HD期間は、垂直行アドレス[3]に対応する画素行に属する画素100に対して長秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[3]に対応する画素ブロックのうち、長秒露光を行う画素ブロックは、画素ブロック14,24,17である。第4HD期間における動作は第3HD期間における動作と同じであるため、ここでは説明を省略する。
【0257】
このようにして、第1走査では、画素ブロック11,12,22,14,24,17の画素100において信号電荷の蓄積を開始し、画素ブロック10,21,13,23,15,16の画素100に対しては何も行わない。
【0258】
第2走査の第1HD期間は、垂直行アドレス[0]に対応する画素行に属する画素100に対して短秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[0]に対応する画素ブロックのうち、短秒露光を行う画素ブロックは、画素ブロック10,21,13である。
【0259】
時刻t8において、制御信号hblk_l,hblk_sのうち、画素ブロック10に対応する制御信号hblk_s[0]のみをHighレベルに制御する。また、画素ブロック21を短秒露光に制御するため、画素ブロック21に対応する制御信号hblk_right[1]をLowレベルに制御する。また、画素ブロック13を短秒露光に制御するため、画素ブロック13に対応する制御信号hblk_right[5]をHighレベルに制御する。水平領域制御部3から供給されるその他の制御信号は、Lowレベルのまま維持する。
【0260】
この状態で、時刻t9において、垂直行アドレス[0]に対応する画素行の制御信号ptx[0]をLowレベルからHighレベルへと制御する。これにより、制御信号tx[0,0],tx[1,0],tx[5,0]がHighレベルとなり、画素ブロック10,21,13の垂直行アドレス[0]に対応する画素行に属する画素100がリセットされる。その後、制御信号ptx[0]をLowレベルに戻すことで、画素ブロック10,21,13の垂直行アドレス[0]に対応する行の画素100の光電変換部PDにおいて、短秒露光の露光期間が開始する。
【0261】
第2走査の第2HD期間は、垂直行アドレス[1]に対応する画素行に属する画素100に対して短秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[1]に対応する画素ブロックのうち、短秒露光を行う画素ブロックは、画素ブロック10,21,13である。第2HD期間における動作は第1HD期間における動作と同じであるため、ここでは説明を省略する。
【0262】
第2走査の第3HD期間は、垂直行アドレス[2]に対応する画素行に属する画素100に対して短秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[2]に対応する画素ブロックのうち、短秒露光を行う画素ブロックは、画素ブロック23,15,16である。
【0263】
時刻t11において、制御信号hblk_l,hblk_sのうち、画素ブロック16に対応する制御信号hblk_s[3]のみをHighレベルに制御する。また、画素ブロック23を短秒露光に制御するため、画素ブロック23に対応する制御信号hblk_right[1]をHighレベルに制御する。また、画素ブロック15を短秒露光に御するため、画素ブロック15に対応する制御信号hblk_right[2]をHighレベルに制御する。水平領域制御部3から供給されるその他の制御信号は、Lowレベルのまま維持する。
【0264】
この状態で、時刻t12において、垂直行アドレス[2]に対応する画素行の制御信号ptx[2]をLowレベルからHighレベルへと制御する。これにより、制御信号tx[1,2],tx[2,2],tx[3,2]がHighレベルとなり、画素ブロック23,15,16の垂直行アドレス[2]に対応する画素行に属する画素100がリセットされる。その後、制御信号ptx[2]をLowレベルに戻すことで、画素ブロック23,15,16の垂直行アドレス[2]に対応する行の画素100の光電変換部PDにおいて、短秒露光の露光期間が開始する。
【0265】
第2走査の第4HD期間は、垂直行アドレス[3]に対応する画素行に属する画素100に対して短秒露光のためのシャッタ動作を行う期間である。垂直行アドレス[3]に対応する画素ブロックのうち、短秒露光を行う画素ブロックは、画素ブロック23,15,16である。第4HD期間における動作は第3HD期間における動作と同じであるため、ここでは説明を省略する。
【0266】
このようにして、第2走査では、画素ブロック10,21,13,23,15,16の画素100において信号電荷の蓄積を開始し、画素ブロック11,12,22,14,24,17の画素100に対しては何も行わない。画素ブロック11,12,22,14,24,17の画素100では、第1走査に開始した信号電荷の蓄積が継続している。
【0267】
第3走査では、総ての画素ブロックに属する画素100からの信号の読み出しを行う。そこで水平領域制御部3は、第3走査の全期間に渡って、制御信号hblk_l[0],hblk_l[3],hblk_s[0],hblk_s[3]をHighレベルのまま維持する。また、境界制御部31は、第3走査の全期間に渡って、制御信号hblk_right[1],hblk_right[2],hblk_right[4],hblk_right[5]をLowレベルのまま維持する。これにより、制御信号ptx[n]は、垂直行アドレス[n]に対応する行に位置する総ての画素ブロックに入力されることになる。
【0268】
第3走査の時刻t15以降における制御信号ptx[n],pres[n],psel[n]の駆動は第1実施形態と同様であるため、ここでは説明を省略する。
【0269】
このように、本実施形態では、制御信号hblk_l,hblk_sにより制御される隣接する画素ブロックの間に、制御信号hblk_rightにより制御される画素ブロックを複数配置している。したがって、本実施形態によれば、第1及び第2実施形態で説明した効果に加え、被写体に応じたより細かな露光エリアの設定が可能となり、画質の低下を更に抑制することができる。
【0270】
なお、本実施形態では、第2実施形態のバリエーションとして露光時間の制御を行う場合を例示したが、第3又は第4実施形態のようにゲインの制御を行う場合においても、本実施形態と同様の構成を適用可能である。例えば、第3実施形態では、制御信号gainで制御されるアンプ83に接続された画素ブロックの間に、制御信号gain_rightで制御されるセレクタ82を介してゲインが制御されるアンプ83に接続された画素ブロックを複数配置することができる。
【0271】
[第6実施形態]
本発明の第6実施形態による撮像装置及びその駆動方法について、
図26及び
図27を用いて説明する。第1乃至第5実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0272】
図26は、本実施形態による撮像装置における画素ブロック毎の制御イメージを示す図である。本実施形態では、第5実施形態による撮像装置の画素部1に対して、画素ブロック25,26を更に追加している。画素ブロック25は、画素ブロック11と画素ブロック12との間に配される画素ブロックである。画素ブロック26は、画素ブロック13の右隣に配される画素ブロックである。画素ブロック25,26は、画素ブロック21,22と同じ画素数により構成され得る。
【0273】
ここで、画素ブロック25,11,21の露光制御を行う制御信号を、制御信号r1,r2,r3とする。制御信号r1,r2,r3は、第5実施形態における制御信号hblk_rightに対応している。画素ブロック25の露光制御を右隣の画素ブロック12と同じにする場合には制御信号r1をHighレベルに設定し、画素ブロック25の露光制御を左隣の画素ブロック11と同じに設定する場合には制御信号r1をLowレベルに設定するものとする。また、画素ブロック11の露光制御を右隣の画素ブロック25と同じにする場合には制御信号r2をHighレベルに設定し、画素ブロック11の露光制御を左隣の画素ブロック21と同じに設定する場合には制御信号r2をLowレベルに設定するものとする。また、画素ブロック21の露光制御を右隣の画素ブロック11と同じにする場合には制御信号r3をHighレベルに設定し、画素ブロック21の露光制御を左隣の画素ブロック10と同じに設定する場合には制御信号r3をLowレベルに設定するものとする。
【0274】
次に、本実施形態による撮像装置の駆動方法について、
図27を用いて説明する。
図27は、本実施形態による撮像装置の駆動方法を示すフローチャートである。
図27に示す処理フローは、例えば、タイミング生成部4や撮像装置の外部の信号処理部において実行可能である。
【0275】
まず、ステップS100において、カウンタのカウント値fcntを0に初期化する。このカウンタは、外部からHighレベルの垂直同期信号VDが入力される毎にカウントアップするカウンタである。
【0276】
次いで、ステップS101において、カウント値fcntを6で除した余りが0であるか否かを判定する。余りが0である場合(図中、「YES」)には、ステップS102ヘと移行する。
【0277】
ステップS102では、制御信号r1=0(Lowレベル)、制御信号r2=0(Lowレベル)、制御信号r3=0(Lowレベル)に設定し、各画素ブロックの露光制御を行う。すなわち、
図27におけるステップS102の右側に図示するように、画素ブロック10,21,11,25に対しては短秒露光の制御を行い、画素ブロック12に対しては長秒露光の制御を行う。なお、画素ブロック10の短秒露光制御及び画素ブロック12の長秒露光制御は、第5実施形態において説明した駆動方法により、所定のタイミングで所定の制御信号を制御することにより行われる。ステップS102の処理後は、ステップS108ヘと移行する。
【0278】
ステップS101における判定の結果、カウント値fcntを6で除した余りが0でない場合、すなわち余りが1~5である場合(図中、「NO」)には、ステップS103ヘと移行する。
【0279】
ステップS103では、カウント値fcntを6で除した余りが1又は5であるか否かを判定する。余りが1又は5である場合(図中、「YES」)には、ステップS104ヘと移行する。
【0280】
ステップS104では、制御信号r1=1(Highレベル)、制御信号r2=0(Lowレベル)、制御信号r3=0(Lowレベル)に設定し、各画素ブロックの露光制御を行う。すなわち、
図27におけるステップS104の右側に図示するように、画素ブロック10,21,11に対しては短秒露光の制御を行い、画素ブロック25,12に対しては長秒露光の制御を行う。ステップS104の処理後は、ステップS108ヘと移行する。
【0281】
ステップS103における判定の結果、カウント値fcntを6で除した余りが1でも5でもない場合、すなわち余りが2~4である場合(図中、「NO」)には、ステップS105ヘと移行する。
【0282】
ステップS105では、カウント値fcntを6で除した余りが2又は4であるか否かを判定する。余りが2又は4である場合(図中、「YES」)には、ステップS106ヘと移行する。
【0283】
ステップS106では、制御信号r1=1(Highレベル)、制御信号r2=1(Highレベル)、制御信号r3=0(Lowレベル)に設定し、各画素ブロックの露光制御を行う。すなわち、
図27におけるステップS106の右側に図示するように、画素ブロック10,21に対しては短秒露光の制御を行い、画素ブロック11,25,12に対しては長秒露光の制御を行う。ステップS106の処理後は、ステップS108ヘと移行する。
【0284】
ステップS105における判定の結果、カウント値fcntを6で除した余りが2でも4でもない場合、すなわち余りが3である場合(図中、「NO」)には、ステップS107ヘと移行する。
【0285】
ステップS107では、制御信号r1=1(Highレベル)、制御信号r2=1(Highレベル)、制御信号r3=1(Highレベル)に設定し、各画素ブロックの露光制御を行う。すなわち、
図27におけるステップS107の右側に図示するように、画素ブロック10に対しては短秒露光の制御を行い、画素ブロック21,11,25,12に対しては長秒露光の制御を行う。ステップS107の処理後は、ステップS108ヘと移行する。
【0286】
次いで、ステップS108において、垂直同期信号VDが入力されたか否かを判定する。垂直同期信号VDが入力された場合(図中、「YES」)にはステップS109ヘと移行し、垂直同期信号VDが入力されない場合(図中、「NO」)にはステップS108に戻る。ステップS108は、垂直同期信号VDの入力待ちを行うステップである。
【0287】
次いで、ステップS109において、カウンタのカウント値fcntをカウントアップする。
【0288】
次いで、ステップS110において、センサが停止しているか否かを判定する。ステップS110における判定の結果、センサが停止している場合(図中、「YES」)の場合には処理を終了し、センサが停止していない場合(図中、「NO」)の場合には、ステップS101に戻り、処理を継続する。
【0289】
図27に示すフローに従って撮像装置を駆動することにより、まず、画素ブロック12の側から画素ブロック10の側に向かって、画素ブロック25,11,21を1つずつ順番に画素ブロック12と同じ制御とする第1の駆動が実行される。次いで、画素ブロック10の側から画素ブロック12の側に向かって、画素ブロック21,11,25を1つずつ順番に画素ブロック10と同じ制御とする第2の駆動が実行される。その後、第1の駆動と第2の駆動とが交互に実行される。すなわち、画素ブロック10と画素ブロック12との間に配された3つの画素ブロック11,21,25の露光時間は、6垂直期間を1周期として周期的に変化することになる。
【0290】
このようにして、制御設定を隣の画素ブロックと同じにするフローを予め決めておくことにより、被写体の移動方向が不明の場合でも、より簡単な制御で各画素ブロックの露光時間の設定を行うことが可能となる。例えば、被写体の移動方向や移動速度が判別される前に本実施形態のフローを用いて予め巡回することで、右側の領域に従うのか、左側の領域に従うのか、どのくらいの領域がこれら領域に従うのか等を判別し、最適な設定を導き出すことができる。
【0291】
なお、本実施形態では、画素ブロック10と画素ブロック12との間に3つの画素ブロック11,21,25が配される場合の露光制御を示したが、画素ブロック10と画素ブロック12との間に配される画素ブロックの数は特に限定されるものではない。例えば、画素ブロック10と画素ブロック12との間に画素ブロック11のみが配される場合には、2垂直期間を1周期とする周期的な動作となる。
【0292】
[第7実施形態]
本発明の第7実施形態による撮像装置の駆動方法について、
図28を用いて説明する。第1乃至第6実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
図28は、本実施形態による撮像装置の駆動方法を示すフローチャートである。
【0293】
本実施形態では、第6実施形態と同様の画素ブロック10,21,11,25,12を画素部1に含む撮像装置の他の駆動例を説明する。
図28に示す処理フローは、例えば、タイミング生成部4や、信号出力部7や、撮像装置1000の外部の信号処理部等において実行可能である。
【0294】
まず、ステップS200において、初期状態の設定値(初期値)として、制御信号r1,r2,r3を0(Lowレベル)に設定する。本実施形態では、夜景の撮影や夜間走行時における撮影などを想定し、長秒露光をデフォルトの設定としている。つまり、初期状態において、画素ブロック10,12は長秒露光の設定になっており、画素ブロック21,11,25は画素ブロック10の設定に従うように設定されている。なお、初期状態の設定値は、撮影時の状況等に応じて適宜変更することができる。
【0295】
次いで、ステップS201において、画像データを取得する。ステップS201における画像データの取得は、タイミング生成部4、垂直走査部2及び水平領域制御部3を駆動して画素部1から取得した画像データを信号出力部7に入力することを想定している。
【0296】
次いで、ステップS202において、例えば信号出力部7は、ステップS201で取得した画像データと保持データとを比較し、ステップS201で取得した画像に写る被写体の動き検出を行う。この場合、信号出力部7は、被写体の動きを検出する動体検出部として機能する。ステップS202における動き検出の手法は、特に限定されるものではない。例えば、保持された前走査の画像データと入力された画像データとを比較し、輝度レベルの変化から被写体の動きを検知するオプティカルフロー法を適用することができる。或いは、画像を任意の矩形ブロックに分割し、前走査の画像データと入力された画像データとの一致を見るブロックマッチング法を適用することができる。
【0297】
次いで、ステップS203において、ステップS202で動きの検出された被写体がどの画素ブロックに位置しているのかを検出し、当該被写体が位置する画素ブロックを短秒露光に制御する画素ブロックとして設定する。例えば、画素ブロック10に動く被写体が検知された場合には、
図28におけるステップS203の左側に図示するように、画素ブロック10を短秒露光に設定する。この際、制御信号r1,r2,r3は0のため、画素ブロック21,11,25も短秒露光に設定される。また、画素ブロック12に動く被写体が検知された場合には、
図28におけるステップS203の右側に図示するように、画素ブロック12を短秒露光に設定する。この際、制御信号r1,r2,r3は0のため、画素ブロック21,11,25は長秒露光の設定のままである。
【0298】
次いで、ステップS204において、動く被写体の移動方向が右方向であるか否かを判定する。判定の結果、動く被写体の移動方向が右方向である場合(図中、「YES」)には、ステップS205ヘと移行する。ここでは、ステップS205からステップS209までの動作を、画素ブロック10に検知された被写体が右方向に移動する場合を例にして説明する。
【0299】
ステップS205では、動く被写体の移動速度を算出し、算出した被写体の移動速度が閾値S1以上であるか否かを判定する。閾値S1は、被写体の移動速度が最も早いときの移動速度を想定している。判定の結果、被写体の移動速度が閾値S1以上である場合(図中、「YES」)には、ステップS206ヘと移行する。
【0300】
ステップS206では、制御信号r1,r2,r3を0(Lowレベル)に設定する。これにより、
図28におけるステップS206の左側に図示するように、画素ブロック10,21,11,25は短秒露光の設定となる。このように駆動しているのは、被写体の移動速度が速いことに応じてなるべく広い範囲を短秒露光に設定するためである。ステップS206の処理後は、ステップS215ヘと移行する。
【0301】
ステップS205における判定の結果、被写体の移動速度が閾値S1未満である場合(図中、「NO」)には、ステップS207ヘと移行する。
【0302】
ステップS207では、動く被写体の移動速度が閾値S2以上であるか否かを判定する。閾値S2は、閾値S1未満の所定値である。判定の結果、被写体の移動速度が閾値S2以上である場合(図中、「YES」)には、ステップS208ヘと移行する。
【0303】
ステップS208では、制御信号r1を1(Highレベル)に設定し、制御信号r2,r3を0(Lowレベル)に設定する。これにより、
図28におけるステップS208の左側に図示するように、画素ブロック10,21,11が短秒露光の設定となり、画素ブロック25が長秒露光の設定となる。ステップS208の処理後は、ステップS215ヘと移行する。
【0304】
ステップS207における判定の結果、被写体の移動速度が閾値S2未満である場合(図中、「NO」)には、ステップS209ヘと移行する。
【0305】
ステップS209では、制御信号r1,r2を1(Highレベル)に設定し、制御信号r3を0(Lowレベル)に設定する。これにより、
図28におけるステップS209の左側に図示するように、画素ブロック10,21が短秒露光の設定となり、画素ブロック11,25が長秒露光の設定となる。このように駆動しているのは、被写体の移動速度が遅いことに応じて狭い範囲を短秒露光に設定するためである。ステップS209の処理後は、ステップS215ヘと移行する。
【0306】
ステップS204における判定の結果、動く被写体の移動方向が左方向である場合(図中、「NO」)には、ステップS210ヘと移行する。ここでは、ステップS210からステップS214までの動作を、画素ブロック12に検知された被写体が左方向に移動する場合を例にして説明する。
【0307】
ステップS210では、動く被写体の移動速度を算出し、算出した被写体の移動速度が閾値S1以上であるか否かを判定する。判定の結果、被写体の移動速度が閾値S1以上である場合(図中、「YES」)には、ステップS211ヘと移行する。
【0308】
ステップS211では、制御信号r1,r2,r3を1(Highレベル)に設定する。これにより、
図28におけるステップS211の右側に図示するように、画素ブロック21,11,25,12が短秒露光の設定となる。このように駆動しているのは、被写体の移動速度が速いことに応じてなるべく広い範囲を短秒露光に設定するためである。ステップS211の処理後は、ステップS215ヘと移行する。
【0309】
ステップS210における判定の結果、被写体の移動速度が閾値S1未満である場合(図中、「NO」)には、ステップS212ヘと移行する。
【0310】
ステップS212では、動く被写体の移動速度が閾値S2以上であるか否かを判定する。判定の結果、被写体の移動速度が閾値S2以上である場合(図中、「YES」)には、ステップS213ヘと移行する。
【0311】
ステップS213では、制御信号r1,r2を1(Highレベル)に設定し、制御信号r3を0(Lowレベル)に設定する。これにより、
図28におけるステップS213の右側に図示するように、画素ブロック21が長秒露光の設定となり、画素ブロック11,25が短秒露光の設定となる。ステップS213の処理後は、ステップS215ヘと移行する。
【0312】
ステップS212における判定の結果、被写体の移動速度が閾値S2未満である場合(図中、「NO」)には、ステップS214ヘと移行する。
【0313】
ステップS214では、制御信号r1を1(Highレベル)に設定し、制御信号r2,r3を0(Lowレベル)に設定する。これにより、
図28におけるステップS214の右側に図示するように、画素ブロック21,11が長秒露光の設定となり、画素ブロック25が短秒露光の設定となる。このように駆動しているのは、被写体の移動速度が遅いことに応じて狭い範囲を短秒露光に設定するためである。ステップS214の処理後は、ステップS215ヘと移行する。
【0314】
次いで、ステップS215において、上述の手順により決定した露光設定に基づいて画像データを取得し、走査メモリに保存する。
【0315】
次いで、ステップS216において、センサが停止しているか否かを判定する。ステップS216における判定の結果、センサが停止している場合(図中、「YES」)の場合には処理を終了し、センサが停止していない場合(図中、「NO」)の場合には、ステップS201に戻り、処理を継続する。
【0316】
図28に示すフローに従って撮像装置を駆動することにより、被写体の動きに対応した適切な撮影が可能となる。すなわち、被写体が移動していることを検出した場合に、被写体の移動方向及び移動速度に応じて、画素ブロック10と同じ制御を行う画素ブロック21,11,25を設定することができる。例えば、被写体が画素ブロック10から画素ブロック12の側に移動している場合には、被写体の移動速度が速いほど、画素ブロック21,11,25のうち画素ブロック10と同じ制御を行う画素ブロックを、画素ブロック10の側から増加していく。
【0317】
このように、本実施形態によれば、被写体の動きに合わせて画素ブロック毎の露光条件を変化するので、画質の低下を防止するとともに、動体検出精度の低下を更に抑制することが可能となる。
【0318】
[第8実施形態]
本発明の第8実施形態による撮像装置及びその駆動方法について、
図29を用いて説明する。第1乃至第7実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0319】
第7実施形態による撮像装置の駆動方法におけるステップS202においては、予め動いている被写体を分類し機械学習をしておくことによって、被写体の動く方向や速度を予測し、画素ブロック毎の露光条件を設定することも可能である。
【0320】
図29に、機械学習モデルのニューラルネットワークの模式図を示す。機械学習モデルは、例えば信号出力部7によって学習され、不図示のメモリ部に記録される。ニューラルネットワークは、複数のノードを有する入力層と、複数のノードを有する中間層と、1個のノードを有する出力層と、を備える。
【0321】
入力層の各ノードには、ステップS201において初期状態の設定で撮影した画像データが入力される。中間層の各ノードは、入力層の各ノードに接続される。中間層のノードに入力された入力値の各要素は、中間層の各ノードにおける演算に用いられる。中間層の各ノードは、例えば、入力層の各ノードから入力された入力値と、所定の重み付け係数と、所定のバイアス値と、を用いて演算値を算出する。中間層の各ノードは、それぞれ出力層に接続され、算出した演算値を出力層のノードに出力する。出力層のノードは、中間層の各ノードから演算値が入力される。
【0322】
機械学習モデル(中間層)は、画像に含まれる動体の分類を行う。例えば、任意の撮影時の時間(夜間など)に特定された動体について、人、動物、車両などの違いを見分け、被写体の大きさや動く速度、方向を予測する。これにより、ステップS200における初期状態の露光状態を再設定が可能となる。また、ステップS203において短秒露光に設定する画素ブロックを決定することも可能である。動体を検知した情報を機械学習モデルへの入力データとして追加してもよい。
【0323】
このように、本実施形態によれば、画像内において動体が存在する可能性のある領域を特定し、動体の分類の精度を向上することができる。これにより、画質の低下を防止するとともに、動体検出精度の低下を更に抑制することが可能となる。
【0324】
[第9実施形態]
本発明の第9実施形態による撮像装置及びその駆動方法について、
図30を用いて説明する。第1乃至第8実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
図30は、本実施形態による撮像装置における画素部の構成例を示すブロック図である。
これまでの実施形態では、画素列を単位として画素ブロックを規定したが、画素ブロックは必ずしも画素列を単位として規定する必要はない。同じ画素ブロック行に配された隣接する画素ブロックの境界は、例えば
図30に示すように、画素列の方向に対して傾斜していてもよい。また、
図30に示すように、画素ブロックと画素ブロックとの境界が列方向に沿ってジグザグになるように画素ブロックを配置してもよい。画素ブロックをこのように構成することで、左右方向(行方向)の移動検知だけでなく、斜め方向の移動検知も可能となる。
【0325】
このように、本実施形態によれば、単純な左右方向の移動検知だけでなく、より複雑な方向への移動検知にも対応可能となる。これにより、画質の低下を防止するとともに、動体検出精度の低下を更に抑制することが可能となる。
【0326】
[第10実施形態]
本発明の第10実施形態による撮像システムについて、
図31を用いて説明する。
図31は、本実施形態による撮像システムの概略構成を示すブロック図である。
【0327】
上記第1乃至第9実施形態で述べた撮像装置1000は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。
図31には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
【0328】
図31に例示した撮像システム2000は、撮像装置1000、被写体の光学像を撮像装置1000に結像させるレンズ2002、レンズ2002を通過する光量を可変にするための絞り2004、レンズ2002の保護のためのバリア2006を有する。レンズ2002及び絞り2004は、撮像装置1000に光を集光する光学系である。撮像装置1000は、第1乃至第9実施形態のいずれかで説明した撮像装置であって、レンズ2002により結像された光学像を画像データに変換する。
【0329】
撮像システム2000は、また、撮像装置1000より出力される出力信号の処理を行う信号処理部2008を有する。信号処理部2008は、撮像装置1000が出力するデジタル信号から画像データの生成を行う。また、信号処理部2008は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置1000は、信号処理部2008で処理されるデジタル信号を生成するAD変換部を備え得る。AD変換部は、撮像装置1000の光電変換部が形成された半導体層(半導体基板)に形成されていてもよいし、撮像装置1000の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部2008が撮像装置1000と同一の半導体基板に形成されていてもよい。
【0330】
撮像システム2000は、更に、画像データを一時的に記憶するためのメモリ部2010、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)2012を有する。更に撮像システム2000は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体2014、記録媒体2014に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)2016を有する。なお、記録媒体2014は、撮像システム2000に内蔵されていてもよく、着脱可能であってもよい。
【0331】
更に撮像システム2000は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部2018、撮像装置1000と信号処理部2008に各種タイミング信号を出力するタイミング発生部2020を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム2000は少なくとも撮像装置1000と、撮像装置1000から出力された出力信号を処理する信号処理部2008とを有すればよい。
【0332】
撮像装置1000は、撮像信号を信号処理部2008に出力する。信号処理部2008は、撮像装置2001から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部2008は、撮像信号を用いて、画像を生成する。
【0333】
このように、本実施形態によれば、第1乃至第9実施形態による撮像装置1000を適用した撮像システムを実現することができる。
【0334】
[第11実施形態]
本発明の第11実施形態による撮像システム及び移動体について、
図32を用いて説明する。
図32は、本実施形態による撮像システム及び移動体の構成を示す図である。
【0335】
図32(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム3000は、撮像装置3010を有する。撮像装置3010は、上記第1乃至第9実施形態のいずれかに記載の撮像装置1000である。撮像システム3000は、撮像装置3010により取得された複数の画像データに対し、画像処理を行う画像処理部3012と、撮像システム3000により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部3014を有する。また、撮像システム3000は、算出された視差に基づいて対象物までの距離を算出する距離取得部3016と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部3018と、を有する。ここで、視差取得部3014や距離取得部3016は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部3018はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたCPUやMPU等のハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
【0336】
撮像システム3000は車両情報取得装置3020と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム3000は、衝突判定部3018での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU3030が接続されている。また、撮像システム3000は、衝突判定部3018での判定結果に基づいて、ドライバーへ警報を発する警報装置3040とも接続されている。例えば、衝突判定部3018の判定結果として衝突可能性が高い場合、制御ECU3030はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置3040は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。撮像システム3000は上述のように車両を制御する動作の制御を行う制御手段として機能する。
【0337】
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム3000で撮像する。
図32(b)に、車両前方(撮像範囲3050)を撮像する場合の撮像システムを示した。車両情報取得装置3020が、撮像システム3000ないしは撮像装置3010に指示を送る。このような構成により、測距の精度をより向上させることができる。
【0338】
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
【0339】
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
【0340】
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
【0341】
また、上記第1乃至第9実施形態では、画像の取得を目的とした装置、すなわち撮像装置を例示したが、本発明の適用例は必ずしも撮像装置に限定されるものではない。例えば、上記第11実施形態で説明したような測距を目的とする装置に適用する場合にあっては、必ずしも画像を出力する必要はない。このような場合、当該装置は、光情報を所定の電気信号に変換する光電変換装置と言うことができる。撮像装置は、光電変換装置の1つである。
【0342】
また、上記第10及び第11実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは
図31及び
図32に示した構成に限定されるものではない。
【0343】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0344】
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0345】
1…画素部
2…垂直走査部
3…水平領域制御部
4…タイミング生成部
5…列AD変換部
6…水平走査部
7…信号出力部
10,11,12,13,14,15,16,17,21,22,23,24,25…画素ブロック
31,81…境界制御部
100…画素
102…信号生成部
104…境界選択部
1000…撮像装置
2000,3000…撮像システム