(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-15
(45)【発行日】2025-01-23
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 25/70 20230101AFI20250116BHJP
H04N 25/76 20230101ALI20250116BHJP
H04N 25/77 20230101ALI20250116BHJP
G03B 13/34 20210101ALI20250116BHJP
G02B 7/28 20210101ALI20250116BHJP
G03B 15/00 20210101ALI20250116BHJP
【FI】
H04N25/70
H04N25/76
H04N25/77
G03B13/34
G02B7/28 N
G03B15/00 H
(21)【出願番号】P 2021561462
(86)(22)【出願日】2020-11-25
(86)【国際出願番号】 JP2020043885
(87)【国際公開番号】W WO2021106953
(87)【国際公開日】2021-06-03
【審査請求日】2023-10-03
(31)【優先権主張番号】P 2019213044
(32)【優先日】2019-11-26
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和元年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「動的知能システム技術による次世代バイオ・医療機器の創出」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(73)【特許権者】
【識別番号】504145364
【氏名又は名称】国立大学法人群馬大学
(74)【代理人】
【識別番号】100107456
【氏名又は名称】池田 成人
(74)【代理人】
【識別番号】100124800
【氏名又は名称】諏澤 勇司
(74)【代理人】
【識別番号】100170818
【氏名又は名称】小松 秀輝
(72)【発明者】
【氏名】川人 祥二
(72)【発明者】
【氏名】奥 寛雅
【審査官】堀井 康司
(56)【参考文献】
【文献】特開2019-191180(JP,A)
【文献】特開2018-050267(JP,A)
【文献】特開2018-084821(JP,A)
【文献】特開2015-095874(JP,A)
【文献】米国特許出願公開第2013/0321927(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30-5/33
H04N 23/11
H04N 23/20-23/30
H04N 25/00
H04N 25/20-25/61
H04N 25/615-25/79
G03B 13/34
G02B 7/28
G03B 15/00
(57)【特許請求の範囲】
【請求項1】
フレーム期間において、焦点の位置が最遠点と最近点との間で周期的に変化する可変焦点レンズと、
前記可変焦点レンズの光軸に重複するように配置されて、前記可変焦点レンズを通過した光を受けると共に前記光に応じた信号を出力する画素回路部と、を備え、
前記画素回路部は、
前記光を電荷に変換する光電変換部と、
前記光電変換部に近接して設けられた電荷読出領域と、
前記光電変換部と前記電荷読出領域との間に設けられ、前記光電変換部と前記電荷読出領域との間における電荷転送のための転送制御信号を受ける転送制御電極と、
前記光電変換部に近接すると共に前記電荷読出領域に対して離間して設けられた1又は複数の追加電荷読出領域と、
前記光電変換部と前記追加電荷読出領域との間に設けられ、前記光電変換部と前記追加電荷読出領域との間における電荷転送のための追加転送制御信号を受ける1又は複数の追加転送制御電極と、
前記光電変換部に近接して前記電荷読出領域に対して離間して設けられると共に、前記光に応じた信号の読み出しに供されない前記電荷を排出する電荷排出領域と、
前記光電変換部と前記電荷排出領域との間に設けられ、前記光電変換部と前記電荷排出領域との間における電荷転送のための排出制御信号を受ける排出制御電極と、
前記可変焦点レンズの前記焦点の位置に対応して、前記転送制御電極に前記転送制御信号を印加すると共に前記排出制御電極に前記排出制御信号を印加する制御手段と、
前記電荷読出領域に転送された電荷量に応じた前記信号を出力させる信号読出手段と、を有し、
前記制御手段は、前記フレーム期間内において、撮像範囲に設定される焦点範囲に前記焦点の位置があるときに前記転送制御信号を出力する動作と、前記撮像範囲と重複しない非撮像範囲に前記焦点の位置があるときに前記排出制御信号を出力する動作と、前記撮像範囲に設定され前記焦点範囲と重複しない追加焦点範囲に前記焦点の位置があるときに前記追加転送制御信号を出力する動作と、を繰り返し、
前記信号読出手段は、前記フレーム期間の経過後に、前記電荷読出領域に転送された電荷量に応じた前記信号を出力させ、前記追加電荷読出領域に転送された電荷の量である電荷量に応じた前記信号をさらに出力させる、撮像装置。
【請求項5】
前記制御手段は、前記フレーム期間に含まれる複数のサブフレーム期間を設定し、
前記制御手段は、前記複数のサブフレーム期間ごとに、前記撮像範囲を設定する、請求項1、3及び4の何れか一項に記載の撮像装置。
【請求項10】
前記可変焦点レンズは、
前記光が透過するレンズ部と、
前記レンズ部にレンズ駆動信号を提供することにより、前記レンズ部の焦点の位置を周期的に変化させるレンズ駆動部と、を含み、
前記レンズ駆動部から前記レンズ駆動信号を受けて、前記レンズ駆動信号に基づいて、前記画素回路部のための制御信号を前記画素回路部に提供する画素制御部をさらに備える、請求項1、3~9の何れか一項に記載の撮像装置。
【請求項11】
前記電荷読出領域は、二段転送構造を有し、
前記二段転送構造は、
前記光電変換部から前記電荷を受ける電荷蓄積部と、
前記電荷蓄積部から前記電荷を受けると共に前記信号読出手段に接続された浮遊拡散部と、
前記浮遊拡散部から前記電荷を受けるリセットドレインと、
前記電荷蓄積部から前記浮遊拡散部への前記電荷の転送を制御する転送ゲート電極と、
前記浮遊拡散部から前記リセットドレインへの前記電荷の転送を制御するリセットゲート電極と、により構成される、請求項1、3~10の何れか一項に記載の撮像装置。
【請求項12】
前記電荷読出領域は、一段転送構造を有し、
前記一段転送構造は、
前記光電変換部から前記電荷を受ける浮遊拡散部と、
前記浮遊拡散部から前記電荷を受けるリセットドレインと、
前記浮遊拡散部から前記リセットドレインへの前記電荷の転送を制御するリセットゲート電極と、により構成される、請求項1、3~10の何れか一項に記載の撮像装置。
【請求項13】
前記制御手段は、
前記転送制御信号を出力する動作を行い、
前記転送制御信号を出力する動作の後に、前記排出制御信号を出力する動作を行い、
前記排出制御信号を出力する動作の後に、前記追加転送制御信号を出力する動作を行い、
前記追加転送制御信号を出力する動作の後に、再び前記排出制御信号を出力する動作を行う、請求項1に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
一般に、レンズの焦点距離は、個々のレンズに固有の値である。その一方、焦点距離を変更可能な、いわゆる可変焦点レンズが知られている。例えば、特許文献1は、可変焦点レンズに関する技術を開示する。特許文献1の可変焦点レンズは、光を屈折させる要素として液体を用いる。そして、当該液体を共振振動させると、密度分布が生じる。その結果、可変焦点レンズの焦点距離は、振動の周波数により定まる速度で変動する。振動の周波数は、例えば数十Hzから数百kHzの範囲である。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開2013/0321927号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
可変焦点レンズと画像センサとを用いた撮像装置が検討されている。液体を用いた可変焦点レンズは、共振振動により焦点距離を変化させている。従って、可変焦点レンズの焦点距離は、常に変動する。焦点の位置が変動する範囲に含まれるように撮像範囲が設定されたとき、焦点が当該撮像範囲に存在する期間の間だけ露光させる。しかし、当該撮像範囲に焦点が存在する期間は極めて短いので、露光期間も短くなる。露光期間が短い場合には、画像センサに入射する光量が十分でない。つまり、得られる画像の明るさが低くなってしまう。
【0005】
そこで、本発明は、得られる画像の明るさを高めることが可能な撮像装置を提供する。
【課題を解決するための手段】
【0006】
本発明の一形態である撮像装置は、フレーム期間において、焦点の位置が最遠点と最近点との間で周期的に変化する可変焦点レンズと、可変焦点レンズの光軸に重複するように配置されて、可変焦点レンズを通過した光を受けると共に光に応じた信号を出力する画素回路部と、を備える。画素回路部は、光を電荷に変換する光電変換部と、光電変換部に近接して設けられた電荷読出領域と、光電変換部と電荷読出領域との間に設けられ、光電変換部と電荷読出領域との間における電荷転送のための転送制御信号を受ける転送制御電極と、光電変換部に近接して電荷読出領域に対して離間して設けられると共に、光に応じた信号の読み出しに供されない電荷を排出する電荷排出領域と、光電変換部と電荷排出領域との間に設けられ、光電変換部と電荷排出領域との間における電荷転送のための排出制御信号を受ける排出制御電極と、可変焦点レンズの焦点の位置に対応して、転送制御電極に転送制御信号を印加すると共に排出制御電極に排出制御信号を印加する制御手段と、電荷読出領域に転送された電荷量に応じた信号を出力させる信号読出手段と、を有する。制御手段は、フレーム期間内において、撮像範囲に設定される焦点範囲に焦点の位置があるときに転送制御信号を出力する動作と、撮像範囲と重複しない非撮像範囲に焦点の位置があるときに排出制御信号を出力する動作と、を繰り返す。
【0007】
撮像装置は、可変焦点レンズを備えている。この可変焦点レンズは、フレーム期間において、焦点の位置が最遠点と最近点との間で周期的に変化する。そして、電荷転送制御手段は、焦点の位置が撮像範囲であるときに光電変換部において生じた電荷を電荷読出領域に転送する。電荷転送制御手段は、焦点の位置が非撮像範囲であるときに電荷を電荷排出領域に転送する。さらに、電荷転送制御手段は、電荷読出領域への転送と電荷排出領域への転送と、をフレーム期間において繰り返す。その結果、これらの転送動作が繰り返されるごとに、焦点の位置が撮像範囲であるときに得られる電荷は、電荷読出領域に蓄積される。つまり、1回の転送動作において転送される電荷量がわずかであっても、転送動作を繰り返すことにより、電荷読出領域に蓄積される電荷量が増加する。従って、電荷量の増加によれば、得られる画像の明るさを高めることができる。
【0008】
一形態における撮像装置の画素回路部は、光電変換部に近接すると共に電荷読出領域に対して離間して設けられた1又は複数の追加電荷読出領域と、光電変換部と追加電荷読出領域との間に設けられ、光電変換部と追加電荷読出領域との間における電荷転送のための追加転送制御信号を受ける1又は複数の追加転送制御電極と、をさらに有してもよい。制御手段は、フレーム期間内において、撮像範囲に設定され焦点範囲と重複しない追加焦点範囲に焦点の位置があるときに追加転送制御信号を出力する動作をさらに行ってもよい。信号読出手段は、追加電荷読出領域に転送された電荷の量である電荷量に応じた信号をさらに出力させてもよい。この構成によれば、撮像範囲に複数の焦点範囲を設定することが可能になる。従って、焦点の合った鮮明な画像を得ることができる。
【0009】
一形態における撮像装置の制御手段は、光電変換部から電荷読出領域へ電荷の転送を許可する期間の長さ及び光電変換部から1又は複数の追加電荷読出領域へ電荷の転送を許可する期間の長さのそれぞれが互いに等しくなるように、転送制御信号及び追加転送制御信号を生成してよい。この構成によれば、一定の時間間隔で転送動作を切り替える。従って、電荷転送制御手段による制御を簡素化することができる。
【0010】
一形態における撮像装置の制御手段は、光電変換部から電荷読出領域へ電荷の転送を許可している期間に焦点の位置が変化する量及び光電変換部から1又は複数の追加電荷読出領域へ電荷の転送を許可している期間に焦点の位置が変化する量のそれぞれが互いに等しくなるように、転送制御信号及び追加転送制御信号を生成してよい。この構成によれば、それぞれの焦点範囲の長さを一定にすることができる。
【0011】
一形態における撮像装置の制御手段は、フレーム期間に含まれる複数のサブフレーム期間を設定してもよい。制御手段は、複数のサブフレーム期間ごとに、撮像範囲を設定してよい。この構成によれば、撮像範囲に含まれる焦点範囲を細かく設定することができる。
【0012】
一形態において、複数のサブフレーム期間ごとに設定される撮像範囲は、互いに重複しなくてよい。この構成によれば、撮像範囲を広げることができる。
【0013】
一形態において、複数のサブフレーム期間ごとに設定される撮像範囲は、互いに重複してよい。この構成によれば、撮像範囲に含まれる焦点範囲をさらに細かく設定することができる。
【0014】
一形態における撮像装置の制御手段は、焦点の位置の変化における一周期の間に、転送制御信号を出力する動作を2回行ってよい。この構成によれば、電荷読出手段に転送される電荷量が増加する。従って、得られる画像の明るさをさらに高めることができる。
【0015】
一形態における撮像装置の制御手段は、焦点の位置の変化における一周期の間に、転送制御信号を出力する動作を1回行ってよい。この構成によれば、可変焦点レンズの焦点の位置の周期的な動きと、画素回路部における転送動作との同期条件を緩やかにすることができる。
【0016】
一形態における撮像装置の可変焦点レンズは、光が透過するレンズ部と、レンズ部にレンズ駆動信号を提供することにより、レンズ部の焦点の位置を周期的に変化させるレンズ駆動部と、を含んでもよい。レンズ駆動部からレンズ駆動信号を受けて、レンズ駆動信号に基づいて、画素回路部のための制御信号を画素回路部に提供する画素制御部をさらに備えてよい。この構成によれば、レンズ部の動作と、画素回路部の動作と、を同期させることができる。
【0017】
一形態における撮像装置の電荷読出領域は、二段転送構造を有してもよい。二段転送構造は、光電変換部から電荷を受ける電荷蓄積部と、電荷蓄積部から電荷を受けると共に信号読出手段に接続された浮遊拡散部と、浮遊拡散部から電荷を受けるリセットドレインと、電荷蓄積部から浮遊拡散部への電荷の転送を制御する転送ゲート電極と、浮遊拡散部からリセットドレインへの電荷の転送を制御するリセットゲート電極と、により構成されてよい。この構成によれば、浮遊拡散部のリセット動作に起因するノイズを低減することができる。
【0018】
一形態における撮像装置の電荷読出領域は、一段転送構造を有してもよい。電荷読出領域は、一段転送構造を有してもよい。一段転送構造は、光電変換部から電荷を受ける浮遊拡散部と、浮遊拡散部から電荷を受けるリセットドレインと、浮遊拡散部からリセットドレインへの電荷の転送を制御するリセットゲート電極と、により構成されてよい。この構成によれば、電荷読出領域の構成を単純化することができる。つまり、画素回路部の構成を簡易にできる。
【0019】
一形態における撮像装置の制御手段は、転送制御信号を出力する動作を行い、転送制御信号を出力する動作の後に、排出制御信号を出力する動作を行い、排出制御信号を出力する動作の後に、追加転送制御信号を出力する動作を行い、追加転送制御信号を出力する動作の後に、再び排出制御信号を出力する動作を行ってもよい。この構成によれば、それぞれの焦点範囲を離散的に狭い範囲に設定することができる。その結果、異なる焦点からの光が平均化される焦点範囲が狭くなるので、それぞれの焦点範囲の画像の鮮明度を高めることができる。
【発明の効果】
【0020】
本発明によれば、得られる画像の明るさを高めることが可能な撮像装置が提供される。
【図面の簡単な説明】
【0021】
【
図1】
図1は、実施形態の撮像装置の構成を示す図である。
【
図3】
図3は、
図2に示す画素への信号線の接続の様子を示す図である。
【
図5】
図5は、
図4に示す画素の主要部を拡大して示す図である。
【
図6】
図6は、可変焦点レンズの動作と焦点範囲との関係を示す図である。
【
図7】
図7は、撮像装置の動作を説明するための図である。
【
図8】
図8の(a)部は、実施形態の撮像装置における焦点の変動を示すグラフである。
図8の(b)部は実施形態の動作を示すタイミングチャートである。
【
図9】
図9の(a)部は、変形例1の撮像装置における焦点の変動を示すグラフである。
図9の(b)部は変形例1の動作を示すタイミングチャートである。
【
図10】
図10の(a)部及び(c)部は、変形例2の撮像装置における焦点の変動を示すグラフである。
図10の(b)部及び(d)部は変形例2の動作を示すタイミングチャートである。
【
図11】
図11の(a)部及び(c)部は、変形例3の撮像装置における焦点の変動を示すグラフである。
図11の(b)部及び(d)部は変形例3の動作を示すタイミングチャートである。
【
図12】
図12は、変形例3の撮像装置における撮像範囲を説明するための図である。
【
図13】
図13の(a)部は、変形例4の撮像装置における焦点の変動を示すグラフである。
図13の(b)部は変形例4の動作を示すタイミングチャートである。
【
図14】
図14の(a)部は、変形例5の撮像装置における焦点の変動を示すグラフである。
図14の(b)部は変形例5の動作を示すタイミングチャートである。
【
図15】
図15は、変形例6の撮像装置が備える画素の主要部を拡大して示す図である。
【
図16】
図16は、変形例7の撮像センサの構成を示す図である。
【
図18】
図18の(a)部は、可変焦点レンズの焦点位置と焦点範囲とを示すグラフである。
図18の(b)部は、
図16及び
図17に示す画素の動作を示すタイミングチャートである。
【
図19】
図19は、変形例8の撮像装置の撮像範囲を示す図である。
【
図20】
図20の(a)部は、変形例8の撮像装置における焦点の変動を示すグラフである。
図20の(b)部は変形例8の動作を示すタイミングチャートである。
【発明を実施するための形態】
【0022】
以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0023】
図1に示すように、撮像装置1は、可変焦点レンズ10と、撮像センサ15と、を有する。
【0024】
可変焦点レンズ10は、撮像センサ15に撮像対象の像を結像する。可変焦点レンズ10は、焦点の位置が最遠点と最近点との間で周期的に変化する。可変焦点レンズ10は、レンズ部11と、レンズ駆動部12と、を有する。レンズ駆動部12は、レンズ部11にレンズ駆動信号を提供する。その結果、レンズ部11の焦点の位置は、周期的に変化する。このような可変焦点レンズ10として、例えば、米国特許出願公開2013/0321927号公報に開示されたレンズを用いてもよい。
【0025】
〔撮像センサ〕
撮像センサ15は、撮像対象物の像を得る。撮像センサ15は、画素回路部20と、画素制御部50と、画像処理部60と、を有する。画素回路部20は、画素制御部50に接続される。画素回路部20は、画素制御部50から提供される制御信号に応じて動作する。ここでいう動作とは、例えば、露光動作及び転送動作を含む。また、画素回路部20は、画像処理部60に接続される。画素回路部20は、出力信号を画像処理部60に提供する。画素回路部20は、画素アレイ21と周辺回路25とを有する。画素アレイ21及び周辺回路25は、同一の半導体チップに設けられている。
【0026】
〔画素制御部〕
可変焦点レンズ10の動作と画素回路部20の動作とは互いに同期する。そこで、画素制御部50は、可変焦点レンズ10から参照信号を受ける。参照信号の周波数は、レンズ駆動信号の周波数と一致する。一方、参照信号の位相とレンズ駆動信号の位相の差分は、ゼロであってもよいし、所定の値を含んでもよい。例えば、参照信号は、レンズ駆動信号そのものであってもよい。そして、画素制御部50は、参照信号に基づいて生成した制御信号を画素回路部20に提供する。
【0027】
〔画像処理部〕
画像処理部60は、画素回路部20から提供された信号を利用して、合成画像を生成する。画像処理部60は、画素回路部20から得た信号を利用して、第1~第4の部分画像を生成する。この部分画像とは、異なる焦点位置においてそれぞれ取得される画像をいう。さらに、画像処理部60は、第1~第4の部分画像を利用して、合成画像を生成する。
【0028】
〔画素回路部〕
画素回路部20は、可変焦点レンズ10の光軸に重複するように配置される。そして、画素回路部20は、可変焦点レンズ10を通過した光を受けると共に光に応じた信号を出力する。
図2に示すように、画素回路部20の画素アレイ21は、複数の画素22を有する。複数の画素22は、二次元状に配置されている。画素22は、光電変換部PDと、電荷読出領域R1、R2、R3、R4と、バッファアンプA1、A2、A3、A4と、ドレインDR(電荷排出領域)と、を含む。
【0029】
ここで、電荷読出領域R1は、請求項でいう電荷読出領域である。また、電荷読出領域R2、R3、R4は、請求項でいう追加電荷読出領域である。ドレインDRは、請求項でいう電荷排出領域である。
【0030】
周辺回路25は、ゲート制御回路26(制御手段)と、読出回路27(信号読出手段)と、AD変換回路28と、を有する。ゲート制御回路26及び読出回路27は、画素制御部50及び画素アレイ21にそれぞれ接続されている。具体的には、ゲート制御回路26及び読出回路27は、画素アレイ21の画素22のそれぞれと接続されている。ゲート制御回路26及び読出回路27は、画素アレイ21を制御するための各種信号を画素22に出力する。
【0031】
ゲート制御回路26は、画素制御部50からの信号に基づいて動作する。そして、画素制御部50は、レンズ駆動部12からの参照信号に基づいて動作する。つまり、ゲート制御回路26は、レンズ駆動部12からの参照信号に基づいて動作する。一方、読出回路27は、レンズ駆動部12からの参照信号に基づいて動作してもよい。また、読出回路27は、参照信号に基づくことなく動作してもよい。つまり、読出回路27は、参照信号とは別の基準信号に基づいて動作することもできる。
【0032】
AD変換回路28は、画素アレイ21に接続されている。AD変換回路28は、画素アレイ21から受ける出力信号をアナログ信号からデジタル信号に変換する。AD変換回路28は、折り畳み積分型の変換回路部28aと、巡回型の変換回路28bと、を有してもよい。AD変換回路28は、折り畳み積分型の変換回路部28a及び巡回型の変換回路28bを含む回路ユニットを備えている。回路ユニットは、列ごとに設けられている。画素アレイ21の出力は、折り畳み積分型の変換回路部28aの入力に接続されている。そして、折り畳み積分型の変換回路部28aの出力は、巡回型の変換回路28bの入力に接続されている。巡回型の変換回路28bの出力は、画像処理部60に接続されている。AD変換回路28は、デジタル信号に変換された出力信号を画像処理部60に出力する。
【0033】
このようなAD変換回路28は、折り畳み積分型のAD変換動作を行う。折り畳み積分型のAD変換動作によれば、ダイナミックレンジを拡大することができる。さらに、K回の折り畳み積分型のAD変換動作によれば、画素22の信号成分がK倍される。一方、ランダムノイズ成分が√K倍(Kの平方根)される。従って、S/N比を√K倍に改善することができる。
【0034】
また、AD変換回路28は、上記の折り畳み積分型の変換回路部28aと、巡回型の変換回路28bと、をそれぞれ別の回路として備えてもよい。この場合には、折り畳み積分型の変換動作と、巡回型の変換動作と、を並列して行うことが可能である。換言すると、パイプライン処理を適用することができる。その結果、AD変換動作を高速化することができる。
【0035】
一方、AD変換回路28は、ひとつの回路において、スイッチによって回路構成を変更することにより、上記の折り畳み積分型の変換回路部28aと、巡回型の変換回路28bと、を実現してもよい。この構成によれば、AD変換回路28をシングルエンド構成とすることができる。
【0036】
なお、AD変換回路28は、相関二重サンプリング回路(いわゆるCDS回路)を備えていてもよい。CDS回路は、後述する電荷読出領域R1、R2、R3、R4におけるリセット動作に起因するノイズを低減する。CDS回路は、画素22から提供される信号からリセットレベルの成分を除いた信号を出力する。CDS回路は、画素アレイ21の出力を受ける。CDS回路は、折り畳み積分型の変換回路部28aに処理後の信号を出力する。
【0037】
なお、半導体チップにおけるゲート制御回路26、読出回路27及びAD変換回路28の配置には特に制限はない。ゲート制御回路26、読出回路27及びAD変換回路28は、画素回路部20の構成などに応じて適宜設定してよい。
【0038】
より詳細には、
図3に示すように、画素22には、複数の信号線が接続されている。画素22の転送制御電極E1、E2、E3、E4及び排出制御電極EDは、信号線を介してゲート制御回路26と接続されている。転送制御電極E1は、制御信号TG1を受ける。転送制御電極E2は、制御信号TG2を受ける。転送制御電極E3は、制御信号TG3を受ける。転送制御電極E4は、制御信号TG4を受ける。排出制御電極EDは、制御信号TDを受ける。
【0039】
画素22の電荷読出領域R1、R2、R3、R4は、電源線を介して電源29と接続されている。電荷読出領域R1、R2、R3、R4は、電源線から電圧VDDを受ける。また、電荷読出領域R1、R2、R3、R4は、信号線を介してゲート制御回路26と接続されている。電荷読出領域R1、R2、R3、R4は、ゲート制御回路26から制御信号RT、TXを受ける。さらに、電荷読出領域R1、R2、R3、R4は、信号線を介してバッファアンプA1、A2、A3、A4とそれぞれ接続されている。バッファアンプA1、A2、A3、A4は、AD変換回路28に接続されている。
【0040】
ドレインDRは、電源線を介して電源29と接続されている。ドレインDRは、電源線から電圧VDDを受ける。
【0041】
バッファアンプA1、A2、A3、A4は、信号線を介して読出回路27にそれぞれ接続されている。バッファアンプA1、A2、A3、A4は、読出回路27から制御信号SELを受ける。
【0042】
図4は、画素22の構成を示す図である。画素22は、光検出部22aと、アンプユニット22bと、を有する。光検出部22aは、光を受けて電荷を発生させる。当該電荷は、アンプユニット22bを介してAD変換回路28に電圧として出力される。
【0043】
光検出部22aは、光電変換部PDと、電荷転送部30と、を有する。光検出部22aは、本件発明者らが開発したラテラル電界制御電荷変調素子(LEFM : Lateral Electric Field controlled charge Modulator)の原理に基づく構造を有する。ラテラル電界制御電荷変調素子は、電荷輸送路の電界制御を、電荷輸送路の側面に設けた複数のゲートによる横方向の電界を利用することによって、高速な電子の輸送制御を行う。ラテラル電界制御電荷変調素子として、例えば、本件発明者らによる特許第6476138号に示される構成を採用することもできる。
【0044】
光電変換部PDは、開口部APを介して受けた光に応じた電荷を発生させる。光電変換部PDは、電荷を電荷転送部30に提供する。
【0045】
電荷転送部30は、光電変換部PDから提供された電荷を受ける。電荷転送部30は、電荷に基づく電圧をバッファアンプA1、A2、A3、A4に提供する。電荷転送部30は、電荷収集領域31と、電荷振り分け部32と、ドレイン33と、電荷読出領域R1、R2、R3、R4と、を有する。
【0046】
電荷収集領域31は、光電変換部PDにおいて生じた電荷を収集する。そして、電荷振り分け部32は、収集された電荷を電荷読出領域R1、R2、R3、R4及びドレイン33のいずれかに転送する。
【0047】
電荷振り分け部32は、可変焦点レンズ10の焦点Pの位置に応じて電荷を振り分ける。電荷振り分け部32は、転送制御電極E1、E2、E3、E4(転送制御電極)と、排出制御電極EDと、を有する。転送制御電極E1、E2、E3、E4には、信号線がそれぞれ接続されている。転送制御電極E1は、制御信号TG1を受ける。転送制御電極E2は、制御信号TG2を受ける。転送制御電極E3は、制御信号TG3を受ける。転送制御電極E4は、制御信号TG4を受ける。転送制御電極E1、E2、E3、E4は、制御信号TG1、TG2、TG3、TG4に応じて、電荷収集領域31から電荷読出領域R1、R2、R3、R4のいずれかへの電荷を転送する。
【0048】
排出制御電極EDには、信号線が接続されている。排出制御電極EDは、制御信号TDを受ける。排出制御電極EDは、信号線から提供される制御信号TDに応じて、電荷収集領域31からドレイン33への電荷の転送を制御する。
【0049】
ドレイン33には、電源29が接続されている。光電変換部PDが光を受けている期間において、光電変換部PDは、電荷を発生し続ける。一方、電荷読出領域R1、R2、R3、R4において、電荷に対する所定の処理が行われている間には、電荷読出領域R1、R2、R3、R4への電荷の転送が禁止される。電荷に対する所定の処理とは、例えば、読出動作である。そこで、電荷読出領域R1、R2、R3、R4への電荷の転送が禁止される期間に発生した電荷を、ドレイン33が受け入れる。つまり、ドレイン33が電荷を受け入れている期間、電荷読出領域R1、R2、R3、R4に電荷は蓄積されない。
【0050】
電荷読出領域R1、R2、R3、R4は、転送された電荷に応じた電圧をバッファアンプA1、A2、A3、A4にそれぞれ提供する。電荷読出領域R1、R2、R3、R4は、配置及び接続構成が互いに異なるだけである。そこで、電荷読出領域R1について詳細に説明する。
【0051】
図5に示すように、電荷読出領域R1は、電荷蓄積部41と、浮遊拡散部42と、リセットドレイン43と、を有する。電荷蓄積部41は、電荷収集領域31に隣接する。浮遊拡散部42は、電荷蓄積部41に隣接する。また、浮遊拡散部42は、出力線を介してバッファアンプA1に接続されている。リセットドレイン43は、浮遊拡散部42に隣接する。リセットドレイン43には、電源29が接続されており、電圧VDDを受ける。
【0052】
これらの領域は、電荷を一時的に蓄積する領域である。そして、これらの領域間における電荷の転送は、いつくかの電極から与えられる電圧によって制御される。電荷読出領域R1は、転送ゲート電極44と、リセットゲート電極45と、を有する。転送ゲート電極44は、信号線から提供される制御信号TXに応じて、電荷蓄積部41から浮遊拡散部42への電荷の転送を制御する。リセットゲート電極45は、信号線から提供される制御信号RTに応じて、浮遊拡散部42を、リセットドレイン43を通して電圧VDDにリセットする。
【0053】
バッファアンプA1、A2、A3、A4は、配置及び接続構成が互いに異なるだけである。そこで、バッファアンプA1について詳細に説明する。
【0054】
バッファアンプA1は、トランジスタTAと、トランジスタTSと、を有する。トランジスタTAのドレインは、電源29に接続されている。トランジスタTAのゲートは、電荷読出領域R1の浮遊拡散部42に接続されている。トランジスタTAのソースは、トランジスタTSに接続されている。トランジスタTSは、バッファアンプA1から出力信号を出力させるか否かのスイッチング制御を行う。トランジスタTSのドレインは、トランジスタTAのソースに接続されている。トランジスタTSのゲートは、制御信号SELのための信号線に接続されている。トランジスタTSのソースは、AD変換回路28のための信号線に接続されている。バッファアンプA1は、トランジスタTSのゲートに提供される制御信号SELに応じて、浮遊拡散部42に蓄積された電荷に対応する電圧を信号線に出力する。
【0055】
〔ゲート制御回路〕
上記のゲート制御回路26は、画素制御部50から提供される制御信号に応じて、画素アレイ21に提供する制御信号を生成する。以下、
図6、
図7、
図8及び
図9を参照しながら、ゲート制御回路26の動作について説明する。
【0056】
図6は、可変焦点レンズ10の焦点Pの位置が周期的に変化する様子を概念的に示す。グラフG6は、時間(位相)と焦点Pの位置との関係を示す。グラフG6に示すように、焦点Pの位置は、時間の経過と共に周期的に変化する。例えば、焦点Pの位置は、時間の経過に対して正弦波状に変化する。
【0057】
可変焦点レンズ10の焦点Pの位置は、最近点Pcと、最遠点Pdと、中央点Pmにより示される。最近点Pcは、可変焦点レンズ10からの距離が最も短い点である。例えば、可変焦点レンズ10から最近点Pcまでの距離は、距離Lcとして示される。最遠点Pdは、可変焦点レンズ10からの距離が最も遠い点である。例えば、可変焦点レンズ10から最遠点Pdまでの距離は、距離Ldとして示される。中央点Pmは、最近点Pcから最遠点Pdまでの距離の中央である。つまり、中央点Pmから最近点Pcまでの距離Lmcは、中央点Pmから最遠点Pdまでの距離Lmdに等しい。焦点Pの位置は、最近点Pcから最遠点Pdまでの間において周期的に変化する。
【0058】
可変焦点レンズ10の撮像範囲Bは、最近点Pcから最遠点Pdまでの間における任意の範囲に設定できる。撮像範囲Bは、撮像近点Fcと、撮像遠点Fdとによって規定される。撮像近点Fc及び撮像遠点Fdは、最近点Pcと最遠点Pdとの間に設定される。例えば、撮像近点Fcを最近点Pcの位置に設定すると共に、撮像遠点Fdを最遠点Pdに設定することにより、撮像範囲Bは、最大となる。撮像近点Fcと撮像遠点Fdとの設定の仕方により、種々の撮像バリエーションを実現できる。幾つかのバリエーションは、変形例1~4として後述する。本実施形態の撮像近点Fcは、最近点Pcと中央点Pmとの間に設定する。さらに、本実施形態の撮像遠点Fdは、最遠点Pdと中央点Pmとの間に設定する。これらの設定によれば、撮像範囲Bは、中央点Pmを含む範囲となる。
【0059】
撮像範囲Bには、種々の撮像対象が存在することがある。例えば、可変焦点レンズ10に近い側に撮像対象100が存在する場合、可変焦点レンズ10の焦点Pの位置が撮像対象100の位置であるとき(
図7の符号P1参照)に露光を行うと、撮像対象100の明瞭な画像を得ることができる。しかし、可変焦点レンズ10の焦点Pの位置が撮像対象100の位置でないとき(
図7の符号P2参照)に露光を行うと、撮像対象100の明瞭な画像を得ることができない。従って、撮像範囲Bをいくつかの部分に分割する。例えば、
図6に示すように、撮像範囲Bに4つの部分を設定する。この部分を焦点範囲BF1、BF2、BF3、BF4と呼ぶ。ここで、焦点範囲BF1は、請求項でいう焦点範囲である。また、焦点範囲BF2、BF3、BF4は、請求項でいう追加焦点範囲である。そして、焦点範囲BF1、BF2、BF3、BF4ごとに露光動作の態様を変える。露光動作とは、露光によって得られる電荷を蓄積する動作をいう。そして、露光動作の態様を変えるとは、露光によって得られる電荷を蓄積する領域を焦点範囲BF1、BF2、BF3、BF4ごとに異ならせることをいう。
【0060】
例えば、焦点Pの位置が焦点範囲BF1にあるとき、撮像センサ15は、電荷を電荷読出領域R1に蓄積する。焦点Pの位置が焦点範囲BF2にあるとき、撮像センサ15は、電荷を電荷読出領域R2に蓄積する。焦点Pの位置が焦点範囲BF3にあるとき、撮像センサ15は、電荷を電荷読出領域R3に蓄積する。焦点Pの位置が焦点範囲BF4にあるとき、撮像センサ15は、電荷を電荷読出領域R4に蓄積する。なお、焦点範囲と電荷読出領域との対応関係は、上記の例示に限定されず、撮像装置の構成や動作に応じて適宜設定してよい。
【0061】
焦点Pの位置は、
図6のグラフG6に示すように周期的に変化する。そうすると、焦点Pの位置の一周期の期間において、例えば、焦点Pの位置は、焦点範囲BF1、BF2、BF3、BF4をそれぞれ2回ずつ通過する。従って、一周期の期間において、撮像センサ15は、焦点Pの位置が焦点範囲BF1、BF2、BF3、BF4を通るごとに、対応する電荷読出領域R1、R2、R3、R4の何れかに電荷を振り分ける。そうすると、例えば、焦点Pの位置が焦点範囲BF1に存在するときに得られる電荷は、焦点Pの位置が焦点範囲BF1を通過するごとに蓄積される。従って、1回の露光動作(蓄積動作)で蓄積される電荷の量がわずかであったとしても、露光動作を複数回行うことにより、焦点範囲BF1に対応する画像を得るために用いる電荷の量を増やすことができる。その結果、得られる画像の明るさを高めることが可能になる。
【0062】
本実施形態では、焦点範囲BF1に対応する露光の期間S1と、焦点範囲BF2に対応する露光の期間S2と、焦点範囲BF3に対応する露光の期間S3と、焦点範囲BF4に対応する露光の期間S4と、のそれぞれの長さが互いに等しくなるように設定する。この場合には、焦点範囲BF1、BF4の長さは、焦点範囲BF2、BF3の長さと異なる。
【0063】
ゲート制御回路26は、
図8のタイミングチャートに示す制御信号TG1、TG2、TG3、TG4、TDを、画素アレイ21に提供する。なお、制御信号TG1は、転送制御信号である。また、制御信号TG2、TG3、TG4は、追加転送制御信号である。そして、制御信号TDは、排出制御信号である。
【0064】
まず、ゲート制御回路26は、位相φ1から位相φ2までの期間S2において、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に印加する。位相φ1から位相φ2までの期間S2は、焦点範囲BF2に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R2へ蓄積される。なお、「LOW」は、電荷の転送を禁止することを意味する。「HIGH」は、電荷の転送を許可することを意味する。
TG1:LOW。
TG2:HIGH。
TG3:LOW。
TG4:LOW。
TD :LOW。
【0065】
次に、ゲート制御回路26は、位相φ2から位相φ3までの期間S1において、以下の制御信号TG1、TG2、TG3、TG4、TD(第1の制御信号)を画素アレイ21に提供する。位相φ2から位相φ3までの期間S1は、焦点範囲BF1に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R1へ蓄積される。
TG1:HIGH。
TG2:LOW。
TG3:LOW。
TG4:LOW。
TD :LOW。
【0066】
次に、ゲート制御回路26は、位相φ3から位相φ4までの期間SDにおいて、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ3から位相φ4までの期間SDは、非撮像期間である。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、ドレイン33へ排出される。
TG1:LOW。
TG2:LOW。
TG3:LOW。
TG4:LOW。
TD :HIGH。
【0067】
次に、ゲート制御回路26は、位相φ4から位相φ5までの期間S1において、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ4から位相φ5までの期間S1は、焦点範囲BF1に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R1へ再び蓄積される。
TG1:HIGH。
TG2:LOW。
TG3:LOW。
TG4:LOW。
TD :LOW。
【0068】
次に、ゲート制御回路26は、位相φ5から位相φ6までの期間S2において、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ5から位相φ6までの期間S2は、焦点範囲BF2に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R2へ再び蓄積される。
TG1:LOW。
TG2:HIGH。
TG3:LOW。
TG4:LOW。
TD :LOW。
【0069】
次に、ゲート制御回路26は、位相φ6から位相φ7までの期間S3において、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ6から位相φ7までの期間S3は、焦点範囲BF3に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R3へ蓄積される。
TG1:LOW。
TG2:LOW。
TG3:HIGH。
TG4:LOW。
TD :LOW。
【0070】
次に、ゲート制御回路26は、位相φ7から位相φ8までの期間S4において、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ7から位相φ8までの期間S4は、焦点範囲BF4に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R4へ蓄積される。
TG1:LOW。
TG2:LOW。
TG3:LOW。
TG4:HIGH。
TD :LOW。
【0071】
次に、ゲート制御回路26は、位相φ8から位相φ9までの期間SDにおいて、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ8から位相φ9までの期間SDは、非撮像期間である。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、ドレイン33へ排出される。
TG1:LOW。
TG2:LOW。
TG3:LOW。
TG4:LOW。
TD :HIGH。
【0072】
次に、ゲート制御回路26は、位相φ9から位相φ10までの期間S4において、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ9から位相φ10までの期間S4は、焦点範囲BF4に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R4へ再び蓄積される。
TG1:LOW。
TG2:LOW。
TG3:LOW。
TG4:HIGH。
TD :LOW。
【0073】
そして、ゲート制御回路26は、位相φ10から位相φ1までの期間S3において、以下の制御信号TG1、TG2、TG3、TG4、TDを画素アレイ21に提供する。位相φ10から位相φ1までの期間は、焦点範囲BF3に対応する。この制御信号TG1、TG2、TG3、TG4、TDによれば、電荷は、電荷読出領域R3へ再び蓄積される。
TG1:LOW。
TG2:LOW。
TG3:HIGH。
TG4:LOW。
TD :LOW。
【0074】
上記の動作によって、焦点Pの位置の一周期分の露光動作が完了する。以下、上記の露光動作をフレーム期間中繰り返す。
【0075】
フレーム期間の経過後、読出回路27によって、それぞれの電荷読出領域R1、R2、R3、R4に蓄積された電荷に対応する電圧がAD変換回路28に出力される。そして、画像処理部60は、AD変換回路28から出力される信号を利用して、電荷読出領域R1、R2、R3、R4ごとに、画像を生成する。その結果、第1~第4の部分画像が得られる。画像処理部60は、出力結果を部分画像としてもよいし、出力結果を部分画像が一枚の画像に合成された合成画像としてもよい。
【0076】
<作用効果>
撮像装置1は、可変焦点レンズ10を備えている。この可変焦点レンズ10は、フレーム期間において、焦点Pの位置が最遠点Pdと最近点Pcとの間で周期的に変化する。そして、ゲート制御回路26は、焦点Pの位置が焦点範囲BF1であるときに光電変換部PDにおいて生じた電荷を電荷読出領域R1に転送すると共に、焦点Pの位置が非撮像範囲Cであるときに電荷をドレインDRに転送する。さらに、ゲート制御回路26は、電荷読出領域R1への転送とドレインDRへの転送と、をフレーム期間において繰り返す。その結果、これらの転送動作が繰り返されるごとに、焦点Pの位置が焦点範囲BF1であるときに得られる電荷が電荷読出領域R1に蓄積される。つまり、1回の転送動作において転送される電荷量がわずかであっても、転送動作を繰り返すことにより、電荷読出領域R1に蓄積される電荷量が増加する。従って、電荷量の増加によれば、得られる画像の明るさを高めることができる。
【0077】
撮像装置1の画素回路部20は、電荷読出領域R1に加えて、さらに電荷読出領域R2~R4を備えている。この構成によれば、撮像範囲Bに複数の焦点範囲BF1~BF4を設定することが可能になる。従って、焦点の合った鮮明な画像を得ることができる。
【0078】
ゲート制御回路26は、光電変換部PDから電荷読出領域R1へ電荷の転送を許可する期間S1と、光電変換部PDから電荷読出領域R2へ電荷の転送を許可する期間S2と、が互いに等しくなるように、第1の制御信号及び第2の制御信号を生成する。この構成によれば、一定の時間間隔で転送動作を切り替える。従って、ゲート制御回路26による制御を簡素化することができる。
【0079】
さらに、一定の時間間隔で転送動作を切り替えるということは、換言すると、焦点範囲BF1~BF4ごとの露光時間が一定ということである。撮像センサ15に入射する光の強度が時間的に変化しないと仮定すると、露光時間が一定である場合には焦点範囲BF1~BF4ごとに得られる電荷の量は概ね一定である。電荷の量は、最終的に画像の明るさ(輝度)に対応する。つまり、焦点範囲BF1~BF4ごとに得られる画像ごとの明るさを一定にすることができる。
【0080】
ゲート制御回路26は、焦点Pの位置の変化における一周期の間に、第1の制御信号を出力する動作を2回行うと共に第2の制御信号を出力する動作を2回行う。この構成によれば、ゲート制御回路26に転送される電荷量が増加する。従って、得られる画像の明るさをさらに高めることができる。
【0081】
可変焦点レンズ10は、光が透過するレンズ部11と、レンズ部11にレンズ駆動信号を提供することにより、レンズ部11の焦点Pの位置を周期的に変化させるレンズ駆動部12と、を含む。ゲート制御回路26は、レンズ駆動部12からレンズ駆動信号を受ける。ゲート制御回路26は、レンズ駆動信号に基づいて、第1及び第2の制御信号を生成する。この構成によれば、レンズ部11の動作と、画素回路部20の動作と、を同期させることができる。
【0082】
なお、本発明は、上述した実施形態の態様に限定されるものではない。例えば、ゲート制御回路26は、
図8に示されたタイミングチャートに代えて、
図9、
図10、
図11、
図12、
図13及び
図14に示すタイミングチャートに基づく制御信号を出力してもよい。
【0083】
<変形例1>
実施形態では、撮像範囲Bは、最近点Pcの近傍から最遠点Pdの近傍までの広い領域に設定した。つまり、撮像範囲Bは、可変焦点レンズ10の最近点Pcから最遠点Pdまで範囲と等価とみなせる領域に設定した。撮像範囲Bは、最近点Pcから最遠点Pdまでの範囲内において、所望の態様で設定してよい。
図9は、変形例1のタイミングチャートを示す。
図9に示すように、撮像範囲B1は、焦点Pの振幅の半分より狭くてもよい。そして、撮像範囲B1は、最近点Pcから中央点Pmまでの間に設定してよい。そして、撮像範囲B1に含まれない焦点範囲(非撮像範囲C)では、光電変換部PDにおいて生じた電荷は、全てドレインDRに排出する。例えば、ゲート制御回路26は、
図9に示す期間SDにおいて、制御信号TDをHIGHとする。このような撮像範囲B1によれば、焦点範囲BF1、BF2、BF3、BF4の範囲を狭くすることができる。従って、撮像対象に対してより精密に焦点を合わせることができる。つまり、より明瞭な画像を得ることができる。
【0084】
<変形例2>
変形例1の動作では、撮像対象に対してより精密に焦点を合わせることができる。その一方で、撮像範囲B1が制限されてしまう。そこで、変形例2では、精密な焦点合わせを維持しながら、撮像範囲を拡大することができる動作を示す。
図10は、変形例2のタイミングチャートを示す。
【0085】
変形例2では、いわゆるサブフレーム期間の概念を導入する。フレーム期間において、焦点Pの周期的な変動は、例えばN回繰り返される。ゲート制御回路26は、N回の動作のうちn回において、撮像範囲B2aを対象とした動作(
図10の(a)部及び
図10の(b)部)を行う。この変形例1と同じタイミングチャートに示す一周期分の期間を第1のサブフレーム動作と呼ぶ。第1のサブフレーム動作がn回繰り返される期間を第1のサブフレーム期間と呼ぶ。さらに、ゲート制御回路26は、残りの(N-n)回において、撮像範囲B2bを対象とした別のタイミングチャートに示す動作(
図10の(c)部及び
図10の(d)部)を行う。この
図10の(c)部及び
図10の(d)部に示す一周期分の期間を第2のサブフレーム動作と呼ぶ。第2のサブフレーム動作がn回繰り返される期間を第2のサブフレーム期間と呼ぶ。
【0086】
つまり、フレーム期間は、複数回の第1のサブフレーム動作を行う第1のサブフレーム期間と、複数回の第2のサブフレーム動作を行う第2のサブフレーム期間と、を含む。
【0087】
第2のサブフレーム動作において設定される撮像範囲B2bは、第1のサブフレーム動作において設定される撮像範囲B2aと重複しない。つまり、第2のサブフレーム動作では、撮像範囲B2bが第1のサブフレーム動作とは別の領域に設定される。
図10の(c)部及び
図10の(d)部に示すように、第2のサブフレーム動作の撮像範囲B2bは、最遠点Pdから中央点Pmまでの間に設定してよい。そうすると、変形例2の動作では、第1のサブフレーム動作に関する撮像範囲B2aと、第2のサブフレーム動作に関する撮像範囲B2bと、を合わせた範囲が、総合的な撮像範囲B2となる。つまり、撮像範囲B2を広げることが可能であり、さらに、それぞれの撮像範囲B2a、B2bについて、撮像対象に対してより精密に焦点を合わせることができる。
【0088】
要するに、ゲート制御回路26は、フレーム期間に含まれる第1のサブフレーム期間及び第2のサブフレーム期間を設定する。第1のサブフレーム期間では、中央点Pmと最近点Pcとの間に撮像範囲B2aが設定される。第2のサブフレーム期間では、中央点Pmと最遠点との間に撮像範囲B2bが設定される。この構成によれば、細かい焦点範囲の設定が可能である。さらに、広い撮像範囲B2を設定することが可能である。
【0089】
また、フレーム期間に設定されるサブフレーム期間の数は、2に限定されない。例えば、フレーム期間は、複数回の第1のサブフレーム動作を行う第1のサブフレーム期間と、複数回の第2のサブフレーム動作を行う第2のサブフレーム期間と、複数回の第3のサブフレーム動作を行う第3のサブフレーム期間と、を含んでもよい。
【0090】
<変形例3>
変形例2では、第1のサブフレーム期間において撮像範囲B2a(
図10の(a)部参照)を設定し、第2のサブフレーム期間において撮像範囲B2b(
図10の(c)部参照)を設定した。これらの撮像範囲B2a、B2bは、可変焦点レンズ10の焦点Pの移動方向において、互いに重複していなかった。サブフレーム期間ごとに設定される撮像範囲は、互いに重複しないものに限定されない。つまり、サブフレーム期間ごとに設定される撮像範囲は、互いに重複してもよい。この重複は、完全に一致するものでもよいし、部分的に重複するものでもよい。
【0091】
図11及び
図12は、撮像範囲が重複する場合の例を示す。
図11の(a)部は、第1のサブフレーム期間における撮像範囲B2aを示す。また、
図11の(b)部は、第1のサブフレーム期間におけるタイミングチャートを示す。この第1のサブフレーム期間における動作は、変形例2と同様である。
【0092】
そして、
図11の(c)部は、第2のサブフレーム期間における撮像範囲B2a’を示す。また、
図11の(d)部は、第2のサブフレーム期間におけるタイミングチャートを示す。第1のサブフレーム期間の撮像範囲B2aは、中央点Pmから最近点Pcの間に設定されている。第2のサブフレーム期間の撮像範囲B2a’も、中央点Pmから最近点Pcの間に設定されている。
図11の(c)部及び
図11の(d)部に示すように、第2のサブフレーム期間に繰り返される第2のサブフレーム動作では、制御信号TG1~TG4、TDは、焦点Pの位置が中央点Pmである時間から、期間ΔSだけ遅れて出力される。そうすると、制御信号TG1~TG4に対応する焦点範囲BF1’~BF4’は、
図11の(c)部に示されるように、最近点Pc寄りに設定されることになる。
【0093】
そうすると、
図12に示すように、第1のサブフレーム期間では、撮像範囲B2aにおいて焦点範囲BF1~BF4が設定される。同様に、第2のサブフレーム期間では、撮像範囲B2a’において焦点範囲BF1’~BF4’が設定される。これらの焦点範囲BF1~BF4、BF1’~BF4’は、重複範囲BDを構成する。そして、この重複範囲BDにおいて、第1のサブフレーム期間から画像Q1~Q4が得られる。また、この重複範囲BDにおいて、第2のサブフレーム期間から画像Q1’~Q4’が得られる。
【0094】
画像Q1~Q4が構成する撮像範囲と、画像Q1’~Q4’が構成する撮像範囲と、は互いに重複範囲BDである。一方、この重複範囲BDにおいて、画像Q1~Q4に対応する焦点範囲BF1~BF4と、画像Q1’~Q4’に対応する焦点範囲BF1’~BF4’と、は互いに異なっている。つまり、変形例3の動作によれば、同じ範囲を互いに異なる区分の焦点範囲によって、複数の画像Q1~Q4、Q1’~Q4’を得ることができる。
【0095】
つまり、変形例3のサブフレーム動作によれば、重複範囲BDにおいて互いに異なる焦点範囲である複数の画像Q1~Q4、Q1’~Q4’を得ることができる。その結果、複雑な凹凸形状を有する撮像対象の撮像において、鮮明な画像を得ることが可能である。
【0096】
<変形例4>
焦点Pが一周期する間に、同一の焦点範囲BF1、BF2、BF3、BF4を2回通る。そして、実施形態及び変形例1、2の動作では、焦点Pが一周期する間にそれぞれの焦点範囲BF1、BF2、BF3、BF4において、2回の転送動作を行った。しかし、転送動作は、焦点Pが一周期する間に1回だけ行ってもよい。
【0097】
図13の(a)部及び
図13の(b)部は、変形例4のタイミングチャートを示す。
図13の(a)部に示すように、焦点Pの位置の変動はグラフG11aに示す正弦波であっても、可変焦点レンズ10から得られる参照信号の波形がグラフG11bに示すように歪む場合もあり得る。このような場合でも、焦点Pは同一の焦点範囲BF1、BF2、BF3、BF4を2回通る。しかし、1回目に通るタイミングと2回目に通るタイミングとを正確に知ったうえで、正確に転送制御を行うことは難しい。このタイミングがずれると、ある電荷読出領域に蓄積される電荷は、2つの焦点範囲に由来することが生じ得る。また、参照信号の波形に歪みが生じていないとしても、実際の焦点Pの変動を示す波形と、参照信号の波形との間に、位相ずれが生じた場合にも同様のことが生じ得る。
【0098】
そこで、変形例4の動作は、焦点Pが一周期する間に、電荷読出領域R1、R2、R3、R4への転送動作を1回だけ行う。このような動作によれば、実際の焦点Pの変動を示す波形と参照信号との間の意図しないずれの影響を抑制することができる。この意図しないずれとは、上述した波形の歪み及び位相ずれを含む。つまり、この構成によれば、可変焦点レンズ10の焦点の位置の周期的な動きと、ゲート制御回路26による転送動作との同期条件を緩やかにすることができる。
【0099】
<変形例5>
実施形態及び変形例1~4の動作では、光電変換部PDから電荷読出領域R1、R2、R3、R4への転送時間は、一定とした。例えば、
図8の(b)部に示すように、制御信号TG1、TG2、TG3、TG4を出力する期間S1、S2、S3、S4は、互いに等しかった。つまり、実施形態及び変形例1~4の動作では、動作の基準として時間を選択した。時間は、位相として捉えてもよい。焦点Pの周波数に応じて、単位時間当たりの焦点Pの移動量が異なる。そうすると、時間を一定とした場合には、焦点Pの周波数に応じて焦点範囲が互いに異なる。
【0100】
例えば、動作の基準として、時間ではなく焦点範囲BF1、BF2、BF3、BF4を選択してもよい。つまり、変形例5では、
図14の(a)部に示すように、焦点範囲BF1、BF2、BF3、BF4が一定とする。そして、
図14の(b)部に示すように、制御信号TG1、TG2、TG3、TG4を出力する期間S1、S2、S3、S4を調整する。従って、期間S1、S2、S3、S4の長さは、一定ではない。
【0101】
要するに、ゲート制御回路26は、光電変換部PDから電荷読出領域R1へ電荷の転送を許可している期間S1に焦点Pの位置が変化する量と、光電変換部PDから電荷読出領域R2へ電荷の転送を許可している期間S2に焦点Pの位置が変化する量と、が互いに等しくなるように、第1の制御信号及び第2の制御信号を生成する。この構成によれば、それぞれの焦点範囲の長さを一定にすることができる。
【0102】
なお、実施形態の作用効果で述べたように、期間S1~S4のそれぞれの長さは、画像ごとの明るさに対応する。実施形態などのように、期間S1~S4のそれぞれの長さを一定にした場合には、画像ごとの明るさを一定にできる。一方、変形例5のように、焦点範囲の長さを一定とするように期間S1~S4を設定した場合には、期間S1、S2、S3、S4の長さは、一定ではない。その結果、画像ごとの明るさが異なることが生じ得る。そこで、変形例5では、画像の明るさの補正(輝度補正)を行ってもよい。例えば、焦点範囲BF1~BF4ごとに得られた画像に対して、期間S1~S4の長さに応じた補正係数を乗算してもよい。
【0103】
変形例1~4では、タイミングチャートに関する変形例を示した。その他の変形例として、変形例6、7に示すようなハードウェアの変形例の適用も可能である。
【0104】
<変形例6>
実施形態では、電荷読出領域R1等では、いわゆる二段転送構造を採用していた。例えば、
図15に示す変形例6の撮像装置1Aのように、電荷読出領域R1sは、二段転送の構造に代えて、一段転送構造を採用してもよい。電荷読出領域R1sでは、転送ゲート電極44が省略されている。電荷読出領域R1sは、電荷蓄積部41と浮遊拡散部42とが電気的に一体化された要素である。このような構成によれば、電荷読出領域R1sの構成を単純化することができる。
【0105】
<変形例7>
実施形態の画素22は、光電変換部PDと、4個の電荷読出領域R1、R2、R3、R4と、4個のバッファアンプA1、A2、A3、A4と、ドレインDRと、を含んでいた。電荷読出領域及びバッファアンプの数は、撮像範囲に設定される焦点範囲の数に対応する。実施形態では、撮像範囲に設定される焦点範囲の数が4個であった。従って、電荷読出領域及びバッファアンプの数は、それぞれ4個であった。
【0106】
撮像範囲に設定される焦点範囲の数は、1個であってもよいし、2個であってもよいし、3個であってもよい。また、撮像範囲に設定される焦点範囲の数は、5個以上であってもよい。例えば、撮像範囲に設定される焦点範囲の数を1個とした場合には、
図16に示すように、画素回路部20Aを構成する画素22Aは、光電変換部PDと、1個の電荷読出領域R1と、1個のバッファアンプA1と、ドレインDRと、を含むものとしてよい。
【0107】
図17に示すように、画素22Aは、光検出部22aAと、アンプユニット22bAと、を有する。光検出部22aAは、光電変換部PDと、電荷転送部30Aと、を有する。電荷転送部30Aは、電荷収集領域31と、ドレイン33と、1か所の電荷読出領域R1と、を有する。そして、アンプユニット22bAは、1個のバッファアンプA1を有する。
【0108】
図18の(a)部に示すように、変形例7では、撮像範囲Bにひとつの焦点範囲BF1が設定される。つまり、撮像範囲Bが焦点範囲BF1と一致する。そして、可変焦点レンズ10の焦点の位置が焦点範囲BF1であるとき、ゲート制御回路26は、制御信号TG1(HIGH)を出力すると共に制御信号TD(LOW)を出力する。可変焦点レンズ10の焦点の位置が非撮像範囲Cであるとき、ゲート制御回路26は、制御信号TG1(LOW)を出力すると共に制御信号TD(HIGH)を出力する。この制御によれば、焦点位置が1周期する間に、電荷転送部30Aに電荷を蓄積するタイミングが2回生じる。
【0109】
変形例7の画素22Aを備える撮像装置1Aも、実施形態の撮像装置1と同様の効果を得ることができる。
【0110】
<変形例8>
図8の(b)部に示すように、実施形態の撮像装置1は、焦点範囲BF2に対応する露光の期間S2を設けた後に、直ちに焦点範囲BF1に対応する露光の期間S1を設けた。つまり、実施形態の撮像装置1における焦点範囲BF1、BF2、BF3、BF4は、互いに隣接していた。焦点範囲BF1、BF2、BF3、BF4の設定は、互いに隣接するものに限定されない。
【0111】
図19に示すように、可変焦点レンズ10は、撮像範囲Bの内部に焦点を設定できる。変形例8では、焦点範囲BF1は、可変焦点レンズ10に対して最も近い位置に設定される。焦点範囲BF4は、可変焦点レンズ10に対して最も遠い位置に設定される。ここで、焦点範囲BF1と焦点範囲BF2との間には、非撮像範囲Cが設定される。同様に、焦点範囲BF3と焦点範囲BF4との間にも、非撮像範囲Cが設定され、焦点範囲BF2と焦点範囲BF3との間にも、非撮像範囲Cが設定される。つまり、変形例8の動作では、可変焦点レンズ10から離れる方向に向かって、非撮像範囲C、焦点範囲BF1、非撮像範囲C、焦点範囲BF2、非撮像範囲C、焦点範囲BF3、非撮像範囲C、焦点範囲BF4及び非撮像範囲C、の順に各領域が設定されている。
【0112】
このような設定によると、焦点位置が焦点範囲BF1に存在するとき(
図19の点K1参照)に、電荷読出領域R1に電荷の転送を行う。電荷読出領域へ電荷を転送する動作は、露光動作ともいう。同様に、焦点位置が焦点範囲BF2、BF3、BF4に存在するとき(
図19の点K2、K3、K4参照)に、それぞれ電荷読出領域R2、R3、R4に電荷の転送を行う。
【0113】
電荷読出領域へ電荷を転送する動作の継続時間(S1~S4)は、一例として200ナノ秒から2000ナノ秒程度である。電荷読出領域へ電荷を転送する動作の継続時間は、換言すると、露光時間である。焦点が非撮像範囲Cに存在するときに、電荷排出領域へ電荷を排出する動作の継続時間(SD)も同程度である。また、焦点範囲BF1に対応する露光動作が行われた後に、再び焦点範囲BF1に対応する露光動作が行われるまでの時間間隔(TTAG)は、一例として14.5マイクロ秒程度である。さらに、フレーム期間(Tframe)は、10ミリ秒程度である。
【0114】
変形例8の動作をタイミングチャートを用いて説明する。
図20の(a)部に示すように、変形例8の撮像範囲Bは、最近点Pcの近傍に設定される焦点範囲BF1と、中央点Pmを含む焦点範囲BF2と、最遠点Pdの近傍に設定される焦点範囲BF4と、焦点範囲BF2から焦点範囲BF4までの間に設定される焦点範囲BF3と、を含む。それぞれの焦点範囲BF1、BF2、BF3、BF4の間には、非撮像範囲Cが設定される。
【0115】
図20の(b)に示すように、まず、焦点が焦点範囲BF2に存在する期間S2において、ゲート制御回路26は、電荷読出領域R2に電荷を転送させる。次に、焦点が焦点範囲BF2から焦点範囲BF1までの間の非撮像範囲Cに存在する期間SDにおいて、ゲート制御回路26は、ドレインDRに電荷を排出させる。次に、焦点が焦点範囲BF1に存在する期間S1において、ゲート制御回路26は、電荷読出領域R1に電荷を転送させる。そして、焦点が焦点範囲BF1から焦点範囲BF2までの間の非撮像範囲Cに存在する期間SDにおいて、ゲート制御回路26は、ドレインDRに電荷を再び排出させる。上述のとおり、ゲート制御回路26は、電荷読出領域R1、R2、R3、R4へ電荷を転送させる動作と、ドレインDRへ電荷を排出させる動作と、を交互に行う。
【0116】
つまり、変形例8のゲート制御回路26は、転送制御信号を出力する動作を行い、転送制御信号を出力する動作の後に、排出制御信号を出力する動作を行い、排出制御信号を出力する動作の後に、追加転送制御信号を出力する動作を行い、追加転送制御信号を出力する動作の後に、再び排出制御信号を出力する動作を行う。この構成によれば、それぞれの焦点範囲を離散的に狭い範囲に設定することができる。その結果、異なる焦点からの光が平均化される焦点範囲が狭くなるので、それぞれの焦点範囲の画像の鮮明度を高めることができる。
【0117】
さらに、このような動作によると、例えば、電荷読出領域R2への転送動作が電荷読出領域R1への転送動作に切り替わる直前及び直後のタイミングにおいて、電荷読出領域R2へ転送されるべき電荷が、電荷読出領域R1へ転送されるという動作が発生しない。つまり、このような動作によれば、電荷読出領域R1へ転送すべき電荷と電荷読出領域R2へ転送すべき電荷を確実に分離することが可能である。
【符号の説明】
【0118】
1…撮像装置、10…可変焦点レンズ、11…レンズ部、12…レンズ駆動部、15…撮像センサ、20…画素回路部、21…画素アレイ、25…周辺回路、26…ゲート制御回路(制御手段)、27…読出回路(信号読出手段)、50…画素制御部、60…画像処理部、B…撮像範囲、BF1,BF2,BF3,BF4…焦点範囲、DR…ドレイン(電荷排出領域)、E1,E2,E3,E4…転送制御電極、ED…排出制御電極、P…焦点、Pc…最近点、PD…光電変換部、Pd…最遠点、Pm…中央点、R1,R1s,R2,R3,R4…電荷読出領域。