(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】撮像装置および撮像方法および撮像装置の制御プログラム
(51)【国際特許分類】
H04N 25/53 20230101AFI20241126BHJP
H04N 25/46 20230101ALI20241126BHJP
H04N 25/76 20230101ALI20241126BHJP
【FI】
H04N25/53
H04N25/46
H04N25/76
(21)【出願番号】P 2020210945
(22)【出願日】2020-12-21
【審査請求日】2023-11-15
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】橋本 明
(72)【発明者】
【氏名】伊藤 義恭
(72)【発明者】
【氏名】今谷 律子
【審査官】彦田 克文
(56)【参考文献】
【文献】特開2000-069491(JP,A)
【文献】特開2020-198631(JP,A)
【文献】特開2013-258458(JP,A)
【文献】特開2013-066140(JP,A)
【文献】特開2015-089033(JP,A)
【文献】特開2020-126882(JP,A)
【文献】特開平09-247535(JP,A)
【文献】特開2015-109503(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/53
H04N 25/46
H04N 25/76
(57)【特許請求の範囲】
【請求項1】
複数のイメージセンサ素子がアレイ状に配列したアレイセンサと、
隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する撮像制御手段と
を有
し、
前記撮像制御手段が、
前記イメージセンサ素子の出力をモニターし、
前記出力のモニター結果に基づいて、前記グループを構成する前記イメージセンサ素子の配列を決定する
ことを特徴とする撮像装置。
【請求項2】
前記撮像制御手段が、
それぞれの前記グループを1つの画素として撮像処理を行う
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記イメージセンサ素子が、
CMOSイメージセンサである
ことを特徴とする請求項1
又は2に記載の撮像装置。
【請求項4】
前記イメージセンサ素子が、
赤外線イメージセンサである
ことを特徴とする請求項1乃至
3のいずれか一項に記載の撮像装置。
【請求項5】
複数のイメージセンサ素子がアレイ状に配列したアレイセンサを有する撮像装置が、
隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算
し、
前記イメージセンサ素子の出力をモニターし、
前記出力のモニター結果に基づいて、前記グループを構成する前記イメージセンサ素子の配列を決定する
ことを特徴とする撮像方法。
【請求項6】
それぞれの前記グループを1つの画素として撮像処理を行う
ことを特徴とする請求項
5に記載の撮像方法。
【請求項7】
前記イメージセンサ素子が、
CMOSイメージセンサである
ことを特徴とする請求項
5又は6に記載の撮像方法。
【請求項8】
コンピュータに
複数のイメージセンサ素子がアレイ状に配列したアレイセンサを有する撮像装置を制御させ、
前記撮像装置に、
隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する処理
と、
前記イメージセンサ素子の出力をモニターする処理と、
前記出力のモニター結果に基づいて、前記グループを構成する前記イメージセンサ素子の配列を決定する処理と、
を実行させることを特徴とする撮像装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および撮像方法および撮像装置の制御プログラムに関する。
【背景技術】
【0002】
近年、撮像装置では、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが広く用いられている。このようなイメージセンサでは、光電変換素子からなる複数の画素がアレイ状に配列されている。
【0003】
各画素の感度は用途に応じて適宜調整されるが、想定したレベルより強い光が入射した場合、信号が飽和するという問題が生じる。このような信号の飽和を回避する方法が、例えば、特許文献1に開示されている。特許文献1の技術では、1フレーム内の露光時間を複数に分割し、複数回に分けて露光を行うことにより、1回の露光当たりの電荷発生量が小さくなるため、信号が飽和することを回避することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術では、分割数に比例して、単位時間当たりのスイッチング回数(駆動速度)が増えるため、素子の温度が上昇する。そして、温度上昇に伴って電荷が生成され、オフセット(暗出力)が上昇するため、信号が飽和せず撮像できる露光量の範囲が小さくなるという問題がある。
【0006】
本発明は、上記の問題に鑑みてなされたものであり、イメージセンサ素子の信号が飽和することを抑制しつつ、暗出力の増加を抑制して、撮像できる露光量の範囲を広くすることが可能な撮像装置を提供することを目的としている。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明の撮像装置は、複数のイメージセンサ素子がアレイ状に配列したアレイセンサと、隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する撮像制御手段とを有する。
【0008】
また、本発明の撮像方法は、複数のイメージセンサ素子がアレイ状に配列したアレイセンサを有する撮像装置が、隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する。
【0009】
また、本発明の撮像装置の制御プログラムは、コンピュータに、複数のイメージセンサ素子がアレイ状に配列したアレイセンサを有する撮像装置を制御させ、前記撮像装置に、隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する処理を実行させる。
【発明の効果】
【0010】
本発明の効果は、イメージセンサ素子の信号が飽和することを抑制しつつ、暗出力の増加を抑制して、撮像できる露光量の範囲を広くすることが可能な撮像装置を提供できることである。
【図面の簡単な説明】
【0011】
【
図1】第1の実施形態の撮像装置を示すブロック図である。
【
図2】第1の実施形態のイメージセンサ素子の構成の一例を示す回路図である。
【
図3】第1の実施形態の撮像装置の動作を示すタイミングチャートである。
【
図4】比較例1の撮像装置の動作を示すタイミングチャートである。
【
図5】比較例2の撮像装置の動作を示すタイミングチャートである。
【
図6】第2の実施形態の撮像装置の構成を示すブロック図である。
【
図7】第2の実施形態の撮像装置の撮像制御部の構成を示すブロック図である。
【
図8】第2の実施形態の撮像装置に用いるアレイセンサの一例を示す平面模式図である。
【
図9】第2の実施形態の撮像装置を示す模式図である。
【
図10】第3の実施形態の撮像装置に用いるグループ設定部を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。
【0013】
(第1の実施形態)
図1は第1の実施形態の撮像装置10を示すブロック図である。撮像装置10は、アレイセンサ1と、撮像制御手段2とを有する。
【0014】
アレイセンサ1は、複数のイメージセンサ素子をアレイ状に配列したものである。
【0015】
撮像制御手段2は、隣接する所定数のイメージセンサ素子Pでグループ構成する。そして、それぞれのグループの中の前記イメージセンサ素子Pを同じタイミングで露光し、グループ内のイメージセンサ素子の出力を合算する制御を行う。
【0016】
イメージセンサ素子は、露光量に応じた電荷を生成する光電変換素子である。
図2はイメージセンサ素子の構成の一例を示す回路図である。イメージセンサ素子は、フォトダイオードPD1と、3つのトランジスタTr1、Tr2、TR3を有している。イメージセンサ素子は、フォトダイオードPD1で発生した電荷を容量Cpに蓄積し、電荷量に応じた信号をTr2で増幅し、Tr3を制御して信号Sgを信号線に出力する。
【0017】
図3は、
図1のGr1に属するイメージセンサ素子P1、P2の動作を示すタイミングチャートである。なお、制御する回路は2組であるが、本実施形態では、同じグループに属するトランジスタは同じタイミングで動作するため、リセット信号Rs、読出し信号Srのタイミングチャートは1つで代表させている。
【0018】
まず時刻t1で、リセットパルスRs1を発生させる。これにより、トランジスタTr1がオンし、容量Cpに蓄積された電荷が排出される。その後すぐにTr1がオフし、イメージセンサ素子P1、P2のフォトダイオードPDに発生した電荷の蓄積が開始される。次に時刻t2で読出しパルスSr1を発生させ、トランジスタTr3がオンする。これにより、イメージセンサ素子P1、P2の蓄積電荷に応じた信号Sg11、Sg21が信号線に出力される。時刻t1からt2までの時間が露光時間Te11、Te21となるが、Te11=Te21である。信号Sg11、Sg21が読み出されると、時刻t3でリセットパルスRs2を発生させ、Tr1がオンし蓄積された電荷が排出される。時刻t0からt3までの時間が1つのフレームTfである。そして撮像制御手段2は、信号Sg11、Sg21を合算して、1つの画素の信号として処理する。
【0019】
以上の動作によって、イメージセンサ素子P1、P2からなるグループGr1を1つの画素とした撮像信号が得られる。この動作では、Sg1、Sg2が飽和しなければ、撮像信号は飽和しない。
【0020】
図4は、比較例1の撮像方法における撮像装置の動作を示すタイミングチャートである。これは、1フレームの中で1つのイメージセンサ素子を1画素として、1回の露光を行う一般的な動作である。ここでは、1画素が、
図3の本実施形態の撮像動作で2つのイメージセンサ素子の露光量を合算したものと同等な露光量の露光を行うものとする。このため、
図4ではP1の動作だけを示している。まず時刻to1でリセットパルスRso1を発生させ、イメージセンサ素子P1の電荷が排出される。その後すぐにTr1がオフし、イメージセンサ素子P1のフォトダイオードPDに発生した電荷の蓄積が開始される。次に時刻to2で読出しパルスSro1を発生させ、トランジスタTr3がオンする。これにより、イメージセンサ素子P1の蓄積電荷に応じた信号Sgo11が信号線に出力される。時刻to1からto2までの時間が露光時間Teo1である。
図4の例では、1つのイメージセンサ素子の1回の露光で、
図3の2つのイメージセンサ素子の露光量を合算したものと同等な露光量を得るため、露光時間Teo1を、
図3の露光時間Te11(Te21)の2倍に設定する必要がある。このため、蓄積される電荷量が増え、信号Sgo11の飽和が発生しやすくなる。
【0021】
図5は、比較例2の撮像方法における撮像装置の動作を示すタイミングチャートである。比較例2では、特許文献1の技術を用いて、1つのイメージセンサ素子の露光を1フレームの中で2回に分けて行い、比較例1と同等な露光量の露光を行う。
図5ではP1の動作だけを示している。まず時刻t´1でリセットパルスRs´1を発生させ、イメージセンサ素子P1の電荷が排出される。その後すぐにTr1がオフし、イメージセンサ素子P1のフォトダイオードPDに発生した電荷の蓄積が開始される。次に時刻t´2で読出しパルスSr´1を発生させ、トランジスタTr3がオンする。これにより、イメージセンサ素子P1の蓄積電荷に応じた信号Sg´11が信号線に出力される。時刻t´1からt´2までの時間が、2分割した露光の1回目の露光時間Te´1となる。信号Sg´11が読み出されると、時刻t´3でリセットパルスRs´2を発生させ、Tr1がオンし蓄積された電荷が排出される。次に、時刻t´4でリセットパルスRs´3を発生させ、イメージセンサ素子P1の電荷が排出される。その後すぐにTr1がオフし、イメージセンサ素子P1のフォトダイオードPDに発生した電荷の蓄積が開始される。次に時刻t´5で読出しパルスSr´2を発生させ、トランジスタTr3がオンする。これにより、イメージセンサ素子P1の蓄積電荷に応じた信号Sg´12が信号線に出力される。時刻t´4からt´5までの時間が、2分割した露光の2回目の露光時間Te´2となる。信号Sg´12が読み出されると、時刻t´6でリセットパルスRs´4を発生させ、Tr1がオンし蓄積された電荷が排出される。時刻t0からt´6までの時間が1つのフレームTfである。そして撮像制御手段2は、信号Sg´11とSg´12を合算して、イメージセンサ素子P1の1フレームの画素信号として処理する。
【0022】
以上の動作によって、イメージセンサ素子P1の撮像信号が得られる。比較例2の動作では、比較例1と同等な露光を2回に分けて行っている。このため、比較例2の信号Sg´11、Sg´12は、比較例1の概ね半分になり、信号が飽和しにくくなる。
【0023】
以上に説明したように、
図3の本実施形態の動作と
図5の比較例2の動作のいずれの動作でも、比較例1に比べて1回の露光で発生する電荷量を概ね半分にすることができる。これにより、どちらの動作においても信号が飽和することを抑制することができる。一方で、
図3の本実施形態の動作では、1つのイメージセンサ素子Pの、1フレームにおけるトランジスタのスイッチングが3回であるのに対し、
図5の比較例2では6回である。すなわち比較例では2倍のスイッチングが必要になる。このためスイッチングによって発生する熱量が増加し、イメージセンサ素子Pの温度上昇が大きくなる。イメージセンサ素子Pの温度が上昇すると暗出力が増加するため、ゼロレベルのオフセットが増加し、結果として信号が飽和せずに撮像できる露光量の範囲が小さくなる。なお、
図3の例ではグループ化するイメージセンサ素子Pの数を2個、
図4の例では分割する露光の回数を2としたが、同様の比較は素子の数と露光の分割数が3以上でも成立する。そしてこの数が増えるほど、温度上昇の差が大きくなり、オフセットの差も大きくなり、信号が飽和せずに撮像できる露光量の範囲の差も大きくなる。
【0024】
なお、イメージセンサ素子Pが感度を持つ光の波長は、用途に応じて任意に選ぶことができるが、赤外線に感度を持つ赤外線イメージセンサ素子の場合、熱による暗電流の増加が大きいため、本実施形態を適用することが特に有効である。
【0025】
以上説明したように、本実施形態によれば、イメージセンサ素子の信号が飽和することを抑制しつつ、暗出力の増加を抑制して、撮像できる露光量の範囲を広くすることが可能になる。
【0026】
(第2の実施形態)
本実施形態では、第1の実施形態の撮像装置の具体的な構成例について説明する。
図6は、本実施形態の撮像装置100の構成を示すブロック図である。撮像装置100は、導光部110と、アレイセンサ120と、撮像制御部130とを有している。
【0027】
導光部110は、レンズ等の光学系を有し、観察光をアレイセンサ120の受光面に導光する。
【0028】
アレイセンサ120は、アレイ状に配列された複数のイメージセンサ素子を有し、それぞれのイメージセンサ素子からの受光信号を撮像制御部130に出力する。
【0029】
撮像制御部130は、アレイセンサ120を構成するイメージセンサ素子を、隣接する所定数のイメージセンサ素子でグループを作成し、このグループによって、アレイセンサ120の領域を分割する。そして、各グループ内の露光タイミングが同じになるように制御し、グループ内の出力信号を合算して1つの撮像信号とする制御を行う。すなわち、1つのグループが1つの画素となるように制御する。撮像制御部130は、例えば、プロセッサとメモリを備えたマイクロコンピュータに実装することができる。
【0030】
図7は、撮像制御部130の詳細を示すブロック図である。撮像制御部130は、グループ設定部131と、露光制御部132と、信号処理部133とを有している。グループ設定部131は、アレイセンサ120を構成する複数のイメージセンサ素子を所定数に束ねたグループを設定する。このグループは、アレイセンサ120のエリアを分割するように設定する。1つのグループを構成するイメージセンサ素子の数は、例えば、予め定めた所定数とすることができるが、後述するように、信号の大きさに応じて設定できるようにしても良い。
【0031】
露光制御部132は、1つのグループを構成するイメージセンサ素子の露光タイミングが同じになるように制御する。
【0032】
信号処理部133は、グループ内の出力信号を合算して1つの撮像信号とし、各グループを1つの画素として撮像する制御を行う。
【0033】
次に撮像装置の具体例について説明する。
図8は、イメージセンサ素子が縦横の2次元アレイ状に配列した2次元アレイセンサ120aを受光面から見た時の平面図である。2次元アレイセンサは、デジタルカメラ、デジタルビデオ等で広く用いられている。
図8の1つ1つの小さい四角形は、1つのイメージセンサ素子Pを表している。
図8の例では、イメージセンサ素子Pについて、左上から右に向かってP11、P12、・・・となり、左上から下に向かってP11、P21となるように、番号を付与している。
【0034】
また、ここでは、4つのイメージセンサ素子Pが1つのグループを構成する例について説明する。グループGrについても、左上から右に向かってGr11、Gr12、・・・となり、左上から下に向かってGr11、Gr21となるように、番号を付与するものとしている。
【0035】
図9は、
図8の2次元アレイセンサ120aを用いた撮像装置100aの構成を示す模式図である。撮像装置100aでは、観察光が導光部110aによって2次元アレイセンサ120aの受光面に導光される。各イメージセンサ素子Pから出力された信号は、制御部130aでグループごとに束ねられ、1つのグループを1つの画素として撮像処理を行う。
【0036】
上記した
図8、9の例では、4つのイメージセンサ素子で1つのグループを構成したが、例えば、3×3=9個や4×4=16個のイメージセンサ素子で1つのグループを構成しても良く、その数は任意である。また、縦と横の数が同数でないグループとしても良い。
【0037】
以上説明したように、本実施形態によれば、広く用いられている2次元アレイセンサを用いた撮像装置において、イメージセンサ素子の信号が飽和することを抑制しつつ、暗電流の増加を抑制して、広いダイナミックレンジを確保することができる。
【0038】
(第3の実施形態)
第1、第2の実施形態では、予め設定された所定数のイメージセンサ素子でグループを作る例について説明したが、グループを構成するイメージセンサ素子の数を可変にしても良い。
図10は、このようなグループ分けを行うグループ設定部131aを示すブロック図である。
【0039】
グループ設定部131aは、信号レベル判定部1311と、グループ分け設定記憶部1312と、グループ分け設定選択部1313とを有している。
【0040】
信号レベル判定部1311は、イメージセンサ素子から出力される信号の信号レベルをモニターし、現在から所定期間前までの期間における信号のレベルが、飽和値に対してどのレベルにあるか判定する。
【0041】
グループ分け設定記憶部1312は、イメージセンサ素子のグループ分けを行う時のパターンを記憶する。例えば、2次元アレイセンサであれば、2×2、3×3、4×4、1×2、1×3など、任意の配列、パターンを設定し、記憶することができる。
【0042】
グループ分け設定選択部1313は、信号レベル判定部1311が判定した信号レベルに基づいて、グループ分け設定記憶部1312に記憶されたグループ分け設定を選択する。例えば、信号レベルが飽和値に近いレベルであれば4×4を、それより下のレベルであれば2×2を選択するような仕様とすることができる。さらに、信号レベルがイメージセンサ素子の検出可能範囲の中央付近に集中している場合は、グループ分けを行わずに、1つのイメージセンサ素子を1つの画素として撮像を行う動作を選択しても良い。
【0043】
以上説明したように、本実施形態によれば、信号レベルに適したイメージセンサ素子のグループ分けを行うことができる。
【0044】
上述した第1乃至第3の実施形態の処理を、コンピュータに実行させるプログラムおよび該プログラムを格納した記録媒体も本発明の範囲に含む。記録媒体としては、例えば、磁気ディスク、磁気テープ、光ディスク、光磁気ディスク、半導体メモリ、などを用いることができる。
【0045】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【0046】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
複数のイメージセンサ素子がアレイ状に配列したアレイセンサと、
隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する撮像制御手段と
を有することを特徴とする撮像装置。
(付記2)
前記撮像制御手段が、
それぞれの前記グループを1つの画素として撮像処理を行う
ことを特徴とする付記1に記載の撮像装置。
(付記3)
前記撮像制御手段が、
前記イメージセンサ素子の出力をモニターし、
前記出力のモニター結果に基づいて、前記グループを構成する前記イメージセンサ素子の配列を決定する
ことを特徴とする付記1または2に記載の撮像装置。
(付記4)
前記イメージセンサ素子が、
CMOSイメージセンサである
ことを特徴とする付記1乃至3のいずれか一つに記載の撮像装置。
(付記5)
前記イメージセンサ素子が、
赤外線イメージセンサである
ことを特徴とする付記1乃至4のいずれか一つに記載の撮像装置。
(付記6)
複数のイメージセンサ素子がアレイ状に配列したアレイセンサを有する撮像装置が、
隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する
ことを特徴とする撮像方法。
(付記7)
それぞれの前記グループを1つの画素として撮像処理を行う
ことを特徴とする付記6に記載の撮像方法。
(付記8)
前記イメージセンサ素子の出力をモニターし、
前記出力のモニター結果に基づいて、前記グループを構成する前記イメージセンサ素子の配列を決定する
ことを特徴とする付記6または7に記載の撮像方法。
(付記9)
前記イメージセンサ素子が、
CMOSイメージセンサである
ことを特徴とする付記6乃至8のいずれか一つに記載の撮像方法。
(付記10)
前記イメージセンサ素子が、
赤外線イメージセンサである
ことを特徴とする付記6乃至9のいずれか一つに記載の撮像方法。
(付記11)
コンピュータに
複数のイメージセンサ素子がアレイ状に配列したアレイセンサを有する撮像装置を制御させ、
前記撮像装置に、
隣接する所定数の前記イメージセンサ素子で構成されるグループの中の前記イメージセンサ素子を同じタイミングで露光して得られる出力を合算する処理、
を実行させることを特徴とする撮像装置の制御プログラム。
【符号の説明】
【0047】
1、120 アレイセンサ
2 撮像制御手段
10、100 撮像装置
110 導光部
130 撮像制御部
131 グループ設定部
132 露光制御部
133 信号処理部