特開2017-143404(P2017-143404A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

<>
  • 特開2017143404-撮像装置及び撮像方法 図000003
  • 特開2017143404-撮像装置及び撮像方法 図000004
  • 特開2017143404-撮像装置及び撮像方法 図000005
  • 特開2017143404-撮像装置及び撮像方法 図000006
  • 特開2017143404-撮像装置及び撮像方法 図000007
  • 特開2017143404-撮像装置及び撮像方法 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-143404(P2017-143404A)
(43)【公開日】2017年8月17日
(54)【発明の名称】撮像装置及び撮像方法
(51)【国際特許分類】
   H04N 5/353 20110101AFI20170721BHJP
   H04N 5/235 20060101ALI20170721BHJP
   H04N 5/232 20060101ALI20170721BHJP
   G03B 7/093 20060101ALI20170721BHJP
【FI】
   H04N5/335 530
   H04N5/235
   H04N5/232 Z
   G03B7/093
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【全頁数】12
(21)【出願番号】特願2016-23300(P2016-23300)
(22)【出願日】2016年2月10日
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】高橋 真理
【テーマコード(参考)】
2H002
5C024
5C122
【Fターム(参考)】
2H002CC01
5C024AX01
5C024CX16
5C024CX47
5C024CX51
5C024EX52
5C024GY31
5C024HX18
5C122DA03
5C122EA13
5C122FA09
5C122FC02
5C122FF01
5C122FF11
5C122FF15
5C122FH01
5C122FH19
5C122HB02
5C122HB05
(57)【要約】
【課題】高速のフレームレートを下げることなく、フリッカ現象を低減することができる撮像装置及び撮像方法を提供する。
【解決手段】撮像装置1は、被写体を撮像して、1フレーム期間に第1の露光時間t1及び第1の露光時間t1よりも短い第2の露光時間t2の画素データを取得する撮像部20と、連続するフレーム期間の連続する第1の露光時間t1及び第2の露光時間t2の画素データを合成して1フレーム分の画像データとして出力する合成部62とを備え、第1の露光時間t1と第2の露光時間t2との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。
【選択図】図3
【特許請求の範囲】
【請求項1】
被写体を撮像して、1フレーム期間に第1の露光時間及び前記第1の露光時間よりも短い第2の露光時間の画素データを取得する撮像部と、
連続するフレーム期間の連続する前記第1の露光時間及び前記第2の露光時間の画素データを合成して1フレーム分の画像データとして出力する合成部とを備え、
前記第1の露光時間と前記第2の露光時間との合計時間が、前記被写体を照らす光源のフリッカ周期時間の略整数倍である
撮像装置。
【請求項2】
前記合成部は、
連続するフレーム期間の連続する複数の前記第1の露光時間及び前記第2の露光時間の画素データを合成して1フレーム分の画像データとして出力する
請求項1記載の撮像装置。
【請求項3】
前記第1の露光時間が、前記1フレーム期間時間に略等しい
請求項1又は請求項2記載の撮像装置。
【請求項4】
前記合成前の画素データ又は前記合成後の画素データに1倍以下のゲインを乗じる増幅部を更に備える
請求項1乃至請求項3のいずれか1項記載の撮像装置。
【請求項5】
被写体を撮像して、1フレーム期間に第1の露光時間及び前記第1の露光時間よりも短い第2の露光時間の画素データを取得するステップと、
連続するフレーム期間の連続する前記第1の露光時間及び前記第2の露光時間の画素データを合成して1フレーム分の画像データとして出力するステップとを有し、
前記第1の露光時間と前記第2の露光時間との合計時間が、前記被写体を照らす光源のフリッカ周期時間の略整数倍である
撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置及び撮像方法に関する。
【背景技術】
【0002】
電源周波数と同期して点滅する光源(例えば、蛍光灯など)の下で被写体を撮像すると、撮像画像にフリッカ現象が現れることがある。例えば、撮像素子にCCDやグローバルシャッタのCMOSセンサを用いた場合にはフレーム間で輝度がばらつき、ローリングシャッタのCMOSセンサを用いた場合には1フレームの画像内に走査方向と平行に輝度の明るい部分と暗い部分とが生じる。
【0003】
これらのフリッカ現象を低減するため、古くからさまざまな方法が提案され実用化されている。例えば、典型的な方法として、シャッタスピードを光源の点滅周期の整数倍に設定するものがある。50Hzの商用電源周波数のフリッカ光源は、全波整流により1/100sの周期で点滅を繰り返す。そこで、シャッタスピードをn/100sに設定すれば、フリッカ現象を低減することができる(ここで、n=1、2、3、・・)。
【0004】
近年、撮像素子の動作高速化が進み、フレームレートが高くなってきている。光源点滅周期よりもフレームレートが高くなった場合、例えば、フレームレートが120fpsの場合に、50Hzのフリッカ光源下で最短1/100sのシャッタスピードを設定することができず、フリッカ現象を低減することができない。
【0005】
このような高速フレームレート時のフリッカ低減方法として、例えば、特許文献1には、光源のフリッカ周期内で撮像された複数のフレームの露光量を演算し、撮像される各フレームの電荷蓄積時間及び/又は増幅ゲインを制御する撮像方法が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2014−060517号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1記載の撮像方法では、フリッカ光源と定常光源とが混在するような被写体について、フリッカ光源下の被写体のフリッカを低減したときに、定常光源下の被写体にフリッカが発生してしまう、つまり、定常光源下の被写体の露光量を適切に制御できなくなるという問題がある。
【0008】
本発明は、このような問題を解決するためになされたものであり、高速のフレームレートを下げることなく、フリッカ現象を低減することができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る撮像装置は、被写体を撮像して、1フレーム期間に第1の露光時間及び第1の露光時間よりも短い第2の露光時間の画素データを取得する撮像部と、連続するフレーム期間の連続する第1の露光時間及び第2の露光時間の画素データを合成して1フレーム分の画像データとして出力する合成部とを備え、第1の露光時間と第2の露光時間との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。
【0010】
また、本発明に係る撮像方法は、被写体を撮像して、1フレーム期間に第1の露光時間及び第1の露光時間よりも短い第2の露光時間の画素データを取得するステップと、連続するフレーム期間の連続する第1の露光時間及び第2の露光時間の画素データを合成して1フレーム分の画像データとして出力するステップとを備え、第1の露光時間と第2の露光時間との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。
【発明の効果】
【0011】
本発明により、高速のフレームレートを下げることなく、フリッカ現象を低減することができる撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【0012】
図1】実施の形態1に係る撮像装置1の概略構成を示すブロック図である。
図2】HDR撮像モードの撮像方法を説明するための図である。
図3】実施の形態1に係るフリッカ低減モードの撮像方法を説明するための図である。
図4】実施の形態1に係るフリッカ低減モードの別の撮像方法を説明するための図である。
図5】実施の形態1に係るフリッカ低減モードの撮像方法のフレームレート、フリッカ光源周波数及び長短の露光時間t1、t2の設定値を示す図である。
図6】実施の形態2に係るフリッカ低減モードの撮像方法を説明するための図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して各実施の形態に係る撮像装置及び撮像方法について説明する。
なお、本明細書で説明する「画像」には、「静止画像」及び「動画像(映像)」が含まれる。
【0014】
(実施の形態1)
図1は、本実施の形態1に係る撮像装置1の概略構成を示すブロック図である。
撮像装置1は、撮像光学系10、撮像素子(Imager)20、アナログフロントエンド(FrontEnd)30、積算回路40、SDRAM50、画像信号処理回路60、制御部(CPU)70、タイミングジェネレータ(TG)80、バス90などを備える。撮像装置1は、例えば、デジタルカメラ、デジタルビデオなどである。
【0015】
撮像光学系10は、ズームレンズ、絞り、フォーカスレンズ、メカニカルシャッターなどを有し(図示せず)、被写体からの光を透過させて、撮像素子20に結像させる。
撮像素子20は、結像された被写体像を電気信号に変換する。このとき、撮像素子20は、1フレーム期間に長短の露光時間の画素データを取得する。撮像素子20には、例えば、XYアドレス走査型のCMOS(Complementary Metal Oxide Semiconductor)センサを用いる。また、撮像素子20は、例えば、ベイヤ(Bayer)配列のカラーフィルタを有する。
【0016】
アナログフロントエンド30は、撮像素子20から出力されたアナログ信号を調整してデジタル信号に変換する。このため、アナログフロントエンド30は、プリプロセッサ(PP)31、アンプ(Amp)32などを有する。
プリプロセッサ31は、撮像素子20の出力画素データに、画素欠陥補正やシェーディング補正などの処理を行い、画像信号処理回路60において画像処理が可能な画像データを生成する。
【0017】
アンプ32は、画像データを増幅する。
積算回路40は、撮像画像を分割した所定の領域(ブロック)毎に画素値(輝度値)を積算する。
SDRAM50は、画像データ等を一時的に保管する。
【0018】
画像信号処理回路60は、ホワイトバランス(WB)処理、ガンマ処理、雑音除去などを行ってライブビュー画像やスチル画像等の画像データを生成するとともに、後述する長時間露光の画素データと短時間露光の画素データとの合成を行う。
このため、画像信号処理回路60は、アンプ61、合成部62などを有する。合成部62は、長時間露光の画素データと短時間露光の画素データとを合成して、画像データとして出力する。
【0019】
制御部70は、撮像装置1全体の動作を制御する。このため、制御部70は、露出演算部71、露出制御部72などを有する。
露出演算部71は、積算回路40の積算結果に基づいて、絞り値、シャッタスピード(シャッタタイミング)、ゲイン等の撮影において必要な露出制御のためのパラメータを算出する。
【0020】
露出制御部72は、露光量を調整して露出を制御する。すなわち、露出制御部72は、ドライバ(図示せず)を介して撮像光学系10の絞りを制御し、タイミングジェネレータ80を介して撮像素子20の電子シャッタを制御し、また、アンプ32のゲインを制御して、撮像素子20から得られる信号の輝度値を調節する。ここでは、露出制御部72は、タイミングジェネレータ80が撮像素子20に与えるリセット信号、読み出し信号などの出力を制御する。
タイミングジェネレータ80は、撮像素子20の動作を制御するタイミング信号を生成する。
【0021】
このように構成された撮像装置1は、後述するように、HDR画像を撮像するHDR撮像モードと、フリッカを除去するフリッカ低減モードとを有し、撮像素子20が撮像した長短の露光時間の画素データを、アナログフロントエンド30でアナログデジタル変換し、バス90を介して、SDRAM50にいったん記憶し、その後、画像信号処理回路60で加算合成して、動画の1フレームとして出力する。
【0022】
なお、制御部70が実現する各構成要素は、例えば、コンピュータである制御部70が備える演算装置(図示せず)の制御によって、プログラムを実行させることにより実現できる。
【0023】
より具体的には、制御部70は、記憶部(図示せず)に格納されたプログラムを主記憶装置(図示せず)にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【0024】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、制御部70に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。
【0025】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
【0026】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によって制御部70に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0027】
次に、本実施の形態1に係る撮像装置1の動作、すなわち、撮像方法について説明する。
撮像装置1は、前述したように、HDR画像を撮像するHDR撮像モードと、フリッカを除去するフリッカ低減モードとを有する。
【0028】
まず、参考例としての、HDR撮像モードによるHDR画像の撮像方法について説明する。
HDR撮像モードでは、撮像装置1は、最初の2ライン(画素行)で長時間露光をし、次の2ラインで短時間露光をし、更に次の2ラインで長時間露光をするというように、2ライン毎に異なる時間で露光する制御を行い、それぞれの露光時間で得られた2種類の画像を合成してHDR画像を得る。
【0029】
図2は、HDR撮像モードの撮像方法を説明するための図である。図2は、上から順に、リセット信号(Reset1、Reset2)及び読み出し信号(Readout)、長短の露光時間(t1、t2)、撮像素子20の撮像(露光)シーケンス、及び、長短の露光時間の出力画像(I1−n、I2−n)を示す。出力画像はフリッカのない定常光源下で撮影して得られたものであり、フレームnでは露光時間t1の画像I1−nと、露光時間t2の画像I2−nが得られる。
【0030】
撮像素子20は、2系統のリセット信号を有し、第1のリセット信号(Reset1)で第1の系統の2ラインにそれまでに蓄積された電荷をリセットし、第2のリセット信号(Reset2)で第2の系統の2ラインにそれまでに蓄積された電荷をリセットし、同じタイミングの読み出し信号(Readout)で蓄積された電荷を読み出す。このとき、リセット信号(Reset1、Reset2)から読み出し信号(Readout)までの時間が実質的な露光時間(t1、t2)となる。
【0031】
撮像素子20はライン露光順次読み出し方式(ローリングシャッタ)を用い、図2に示すようにリセット信号(Reset1、Reset2)と読み出し信号(Readout)とを2ライン毎に徐々にシフトさせて、1フレーム期間内で2ライン毎の露光時間を同一にしながら全ラインの画素データを読み出す。これにより、毎秒120フレームのフレームレート(120fps)の撮影を行う。
【0032】
このとき、露光時間t1はフレーム周期と同一又はほぼ同一の時間に設定し、露光時間t2は露光時間t1よりも短い時間となるように設定することにより、1フレームで2種類の異なる露光時間の画素データ、つまり、長短の露光時間の出力画像(I1−n、I2−n)が得られる。なお、これらの出力画像は定常光源下で撮影したものであり、フリッカ現象は生じていない。
そして、合成部62は、同一フレーム期間の長短の露光時間の出力画像(I1−n、I2−n)を合成してHDR画像を得ることができる。
【0033】
次に、本実施の形態1に係るフリッカ低減モードによるフリッカ低減画像の撮像方法について説明する。
図3は、本実施の形態1に係るフリッカ低減モードの撮像方法を説明するための図である。図3は、上から順に、リセット信号(Reset1、Reset2)及び読み出し信号(Readout)、2つの長短の露光時間(t1、t2)、フリッカ光源の輝度変化、撮像素子20の撮像(露光)シーケンス、及び、長短の露光時間の出力画像(I1、I2)を示す。出力画像はフリッカ光源下で撮影して得られたものである。フリッカ光源は50Hz地域における蛍光灯であり、全波整流により100Hzで点滅を繰り返している。
【0034】
撮像素子20がローリングシャッタを用いた場合は、フリッカ光源の輝度変化に対する露光タイミングがライン毎に異なり、同じ長さの時間で露光してもフリッカ点滅の影響により輝度レベルがライン毎に変動する。このため、長短の露光時間の出力画像(I1−n、I2−n)はそれぞれ横方向の縞模様がのったような画像となっている。
【0035】
そこで、本実施の形態1に係るフリッカ低減画像の撮像方法では、第1の露光時間t1をフレーム周期時間と同じ時間又はほぼ同じ時間に設定する。ここではフレームレートが120fpsであるので、第1の露光時間t1を8.333msに設定する。また、第2の露光時間t2はt1+t2がフリッカ周期時間10msと同じ時間又はほぼ同じ時間になるように設定する。つまり、t2=(10−8.333=)1.667msに設定する。
【0036】
そして、合成部62は、あるフレーム期間の長時間露光の画像I1−nと、その直前のフレーム期間の短時間露光の画像I2−(n−1)とを加算合成する、例えば、画像I1−2と画像I2−1とを、画像I1−3と画像I2−2とをそれぞれ加算合成する。これにより、合成した画像は実質的に連続した時間t1+t2で露光した画像となり、時間t1+t2はフリッカ周期時間と略等しいため、合成した画像をフリッカ現象がキャンセルされた画像にすることができる。
【0037】
そして、合成部62は、合成した画像を1フレーム分の画像として、120fpsのフレームレートで出力する。
なお、長時間露光画像I1−nの露光時間t1は1フレーム周期時間又は1フレーム周期時間にほぼ等しい時間であることが良い。これにより、長時間露光の画像I1−nの露光時間t1と短時間露光の画像I2−(n−1)の露光時間t2との間に空白時間がなくなり、フリッカをより厳密に低減することができるようになる。
【0038】
また、撮像装置1が更に高速フレームレートで撮像する場合、例えば、240fpsで撮像する場合には、フリッカ周期時間10msに対して長短の露光時間t1、t2を単純に加算しただけでは10msになるように設定できない。その場合には複数の長時間露光の画素データと短時間露光の画素データとを加算合成してt1×n+t2=10msとなるように設定する。つまり、t1=4.166ms、n=2、t2=1.667msに設定すればt1×2+t1=10msとすることができる。
【0039】
図4は、本実施の形態1に係るフリッカ低減モードの別の撮像方法を説明するための図である。
この撮像方法では、3枚の画像、長時間露光画像I1−nと長時間露光画像のI1−(n−1)と短時間露光画像I2−(n−2)とを、例えば、I1−3とI1−2とI2−3とを合成し、I1−4とI1−3とI2−2とを合成してフリッカをキャンセルした画像を生成する。
【0040】
図5は、本実施の形態1に係るフリッカ低減モードの撮像方法のフレームレート、フリッカ光源周波数及び長短の露光時間t1、t2の設定値を示す図である。
このように設定すれば、撮像装置1が高速フレームレートで撮像する場合であっても、フリッカを適切に低減することができる。
【0041】
なお、本実施の形態1に係る撮像装置又は撮像方法は、カラーフィルタがベイヤ配列であったため、2ラインを単位として長短の露光時間の画素データを取得し合成したが、カラーフィルタの種類によっては1ラインまたは3ライン以上を単位として、長短の露光時間の画素データを取得し合成するようにしても良い。
【0042】
また、本実施の形態1に係る撮像装置又は撮像方法では、長時間露光画像I1−nの露光時間t1と短時間露光画像I2−nの露光時間t2との合計時間がフリッカ周期時間と略等しくなるようにしたが、当該合計時間がフリッカ周期時間の整数倍と略等しくなるようにしても良い。
【0043】
また、本実施の形態1に係る撮像装置又は撮像方法では、2ラインを単位として長短の露光時間の画素データを取得し合成したが、同一フレーム内で画素単位で長短の露光時間の画素データを取得することができる撮像素子を用いれば、上記とは異なる合成処理によりフリッカ現象を低減することもできる。
【0044】
例えば、各画素行について、2画素を単位として、長時間蓄積画素の2画素、短時間蓄積画素の2画素を水平方向に交互に配置し、長時間蓄積画素から出力された画像をI1−n, 短時間蓄積画素から出力された画像をI2−nとし、上記と同様に加算合成してフリッカを低減することもできる。XYアドレス走査型のCMOSセンサであれば、画素毎に露光時間を制御して合成するこのような撮像方法も十分に可能である。
【0045】
(実施の形態2)
実施の形態1に係る撮像装置又は撮像方法は、リセット信号(Reset1、Reset2)のタイミングをずらして2種類の露光時間の開始のタイミングをずらし、読み出し信号(Readout)を同じにして読み出しのタイミングを同時とするものであったが、本実施の形態2に係る撮像装置又は撮像方法は、リセット信号から所定時間後に第1のリードアウトを行い、電荷の蓄積(露光)自体は継続し、その後、第2のリードアウトを行うことで、同一フレームで2種類の露光時間の画素データを取得するものである。つまり、実施の形態1では長短の露光時間の終了のタイミングを同時にしたのに対し、本実施の形態2では長短の露光時間の開始のタイミングを同じにし、終了のタイミング(読み出しタイミング)をずらすものである。
【0046】
なお、本実施の形態2に係る撮像装置の構成は、実施の形態1に係るものと同様で良く、ここではその説明を省略する。
図6は、本実施の形態2に係るフリッカ低減モードの撮像方法を説明するための図である。
【0047】
撮像素子20は、リセット信号(Reset)でそれまでに蓄積された電荷をリセットして電荷の蓄積を新たに開始し、第1の読み出し信号(Readout1)で短時間露光t2の電荷を読み出し、第2の読み出し信号(Readout2)で長時間露光t1の電荷を読み出す。
【0048】
そして、合成部62は、あるフレーム期間の長時間露光の画像I1−nと次のフレーム期間の短時間露光の画像I2−(n+1)とを、例えば、画像I1−1と画像I2−2とを、画像I1−2と画像I2−3とを合成して、フリッカをキャンセルした画像にする。
本実施の形態2に係る撮像方法では、1ラインの中で長短の露光時間の画素データを得ることができ、実施の形態1に係る撮像方法のように、各ラインに長短の露光時間を割り当てる必要がない。
【0049】
以上、説明したように、実施の形態1、2に係る撮像装置1は、被写体を撮像して、1フレーム期間に第1の露光時間t1及び第1の露光時間t1よりも短い第2の露光時間t2の画素データを取得する撮像部20と、連続するフレーム期間の連続する第1の露光時間t1及び第2の露光時間t2の画素データを合成して1フレーム分の画像データとして出力する合成部62とを備え、第1の露光時間t1と第2の露光時間t2との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。
このような構成により、高速のフレームレートを下げることなく、フリッカ現象を低減することができる。
【0050】
また、実施の形態1、2に係る撮像装置1は、合成部62は、連続するフレーム期間の連続する複数の第1の露光時間t1及び第2の露光時間t2の画素データを合成して1フレーム分の画像データとして出力するものである。
このような構成により、更に高速のフレームレートで撮像するような場合であっても、そのフレームレートを下げることなく、フリッカ現象を低減することができる。
【0051】
また、実施の形態1、2に係る撮像装置1は、第1の露光時間t1が、1フレーム期間時間に略等しいことが好ましい。
このような構成により、露光時間t1と露光時間t2との間に空白時間がなくなり、フリッカをより厳密に低減することができる。
【0052】
また、実施の形態1、2に係る撮像方法は、被写体を撮像して、1フレーム期間に第1の露光時間t1及び第1の露光時間t1よりも短い第2の露光時間t2の画素データを取得するステップと、連続するフレーム期間の連続する第1の露光時間t1及び第2の露光時間t2の画素データを合成して1フレーム分の画像データとして出力するステップとを有し、第1の露光時間t1と第2の露光時間t2との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。
このような構成により、高速のフレームレートを下げることなく、フリッカ現象を低減することができる。
【0053】
(実施の形態3)
上記の各実施の形態では、フレームレートを下げることなくフリッカを低減することができるが、例えば、50Hzフリッカに対しては1/100s以上、60Hzフリッカに対しては1/120s以上の実質的な蓄積時間を必要とする。
【0054】
蛍光灯フリッカは通常は室内で発生するので、撮像自体が高速シャッタになることはあまりないが、高輝度のフリッカ環境下などで1/100s、1/120s以上の高速シャッタにするとフリッカをキャンセルできなくなる。シャッタスピードを維持する場合に、絞りを絞る、感度を下げるなどの方法もあるが、フォンカメラなどでは絞り機構やNDファルタがないものも多い。また、感度を1倍以下に下げると画像の飽和レベル以下でセンサ出力信号が飽和するという問題もある。
【0055】
しかしながら、本実施の形態3に係る撮像装置又は撮像方法は、合成部62で長短の露光時間の画素データを加算合成するときに、例えば、撮像素子の出力が12bitデータであったときに、加算合成した後に直ちに12bitでクリップするのではなく、加算合成して、1倍以下の又は1倍より小さいゲインを乗じた後に12bitでクリップするようにして、前述したような画像の飽和を防ぎ、かつ、感度を下げるものである。また、長短の露光時間の画素データに1倍以下のゲインを乗じた後に加算合成し、12bitでクリップするようにしても良い。
【0056】
もちろん、1/100s又は1/120sの露光時間を維持しつつ、高輝度でもフリッカを低減するためにセンサ感度を下げることもできる。しかしながら、1倍以下のゲインを乗じると、センサ出力の飽和レベルが画像輝度の最大値(例えば、JPEGでは255)に到達できなくなるので、通常はゲインを1倍以下にはできない。しかし、合成部62で長短の露光時間の画素データを加算合成するときは、その後に1倍以下のゲインを乗じても、センサ出力の飽和レベルが画像輝度の最大値に到達することができる。このように1倍以下のゲインを乗じる処理により、フリッカ低減の処理を適用できる輝度範囲を広くすることができる。
【0057】
なお、加算合成する画像データがnのときは、適用可能なゲインは最低で1/n倍となる。
また、本実施の形態3に係る撮像装置の構成も、実施の形態1に係るものと同様で良く、ここではその説明を省略する。
【0058】
本実施の形態3に係る1倍以下のゲインは、画素データの加算合成前に乗じるのであればアナログフロントエンド30中のアンプ32又は画像信号処理回路60中のアンプ61で乗じるようにし、画素データの加算合成後に乗じるのであれば画像信号処理回路60中のアンプ61で乗じるようにする。
【0059】
以上、説明したように、本実施の形態3に係る撮像装置1は、合成前の画素データ又は合成後の画素データに1倍以下のゲインを乗じる増幅部32、61を更に備えることが好ましい。
このような構成により、フリッカ低減の処理を適用できる輝度範囲を広くすることができる。
【符号の説明】
【0060】
1 撮像装置
10 撮像光学系
20 撮像素子(Imager)
30 アナログフロントエンド(FrontEnd)
32、61 アンプ(Amp)
60 画像信号処理回路
62 合成部
70 制御部(CPU)
71 露出演算部
72 露出制御部
80 タイミングジェネレータ(TG)
図1
図2
図3
図4
図5
図6