特許 6703847 撮像装置及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6703847

(24)【登録日】2020年5月13日

(45)【発行日】2020年6月3日

(54)【発明の名称】撮像装置及び撮像方法

(51)【国際特許分類】

   H04N 5/353 20110101AFI20200525BHJP

   H04N 5/235 20060101ALI20200525BHJP

   H04N 5/232 20060101ALI20200525BHJP

   G03B 7/093 20060101ALI20200525BHJP

【ＦＩ】

   H04N5/353

   H04N5/235

   H04N5/232

   G03B7/093

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2016-23300(P2016-23300)

(22)【出願日】2016年2月10日

(65)【公開番号】特開2017-143404(P2017-143404A)

(43)【公開日】2017年8月17日

【審査請求日】2019年2月6日

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】高橋 真理

【審査官】 橘 高志

(56)【参考文献】

【文献】 特開２０１６−０３６１２２（ＪＰ，Ａ）

【文献】 特開２０１７−１１２４０９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３５３

Ｇ０３Ｂ ７／０９３

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３５

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して、１フレーム期間に第１の露光時間及び前記第１の露光時間よりも短い第２の露光時間の画素データを取得する撮像部と、
連続するフレーム期間の連続する前記第１の露光時間及び前記第２の露光時間の画素データを合成して１フレーム分の画像データとして出力する合成部とを備え、
前記第１の露光時間と前記第２の露光時間との合計時間が、前記被写体を照らす光源のフリッカ周期時間の２以上の略整数倍である
撮像装置。

【請求項2】

被写体を撮像して、１フレーム期間に第１の露光時間及び前記第１の露光時間よりも短い第２の露光時間の画素データを取得する撮像部と、
連続するフレーム期間の連続する前記第１の露光時間及び前記第２の露光時間の画素データを合成して１フレーム分の画像データとして出力する合成部とを備え、
前記第１の露光時間と前記第２の露光時間との合計時間が、前記被写体を照らす光源のフリッカ周期時間の略整数倍である
撮像装置であって、
前記第１の露光時間が、前記１フレーム期間時間に等しい
撮像装置。

【請求項3】

前記合成部は、
連続するフレーム期間の連続する複数の前記第１の露光時間及び前記第２の露光時間の画素データを合成して１フレーム分の画像データとして出力する
請求項１又は請求項２記載の撮像装置。

【請求項4】

前記合成前の画素データ又は前記合成後の画素データに１倍以下のゲインを乗じる増幅部を更に備える
請求項１乃至請求項３のいずれか１項記載の撮像装置。

【請求項5】

被写体を撮像して、１フレーム期間に第１の露光時間及び前記第１の露光時間よりも短い第２の露光時間の画素データを取得するステップと、
連続するフレーム期間の連続する前記第１の露光時間及び前記第２の露光時間の画素データを合成して１フレーム分の画像データとして出力するステップとを有し、
前記第１の露光時間と前記第２の露光時間との合計時間が、前記被写体を照らす光源のフリッカ周期時間の２以上の略整数倍である
撮像方法。

【請求項6】

被写体を撮像して、１フレーム期間に第１の露光時間及び前記第１の露光時間よりも短い第２の露光時間の画素データを取得するステップと、
連続するフレーム期間の連続する前記第１の露光時間及び前記第２の露光時間の画素データを合成して１フレーム分の画像データとして出力するステップとを有し、
前記第１の露光時間と前記第２の露光時間との合計時間が、前記被写体を照らす光源のフリッカ周期時間の略整数倍である
撮像方法であって、
前記第１の露光時間が、前記１フレーム期間時間に等しい
撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置及び撮像方法に関する。

【背景技術】

【0002】

電源周波数と同期して点滅する光源（例えば、蛍光灯など）の下で被写体を撮像すると、撮像画像にフリッカ現象が現れることがある。例えば、撮像素子にＣＣＤやグローバルシャッタのＣＭＯＳセンサを用いた場合にはフレーム間で輝度がばらつき、ローリングシャッタのＣＭＯＳセンサを用いた場合には１フレームの画像内に走査方向と平行に輝度の明るい部分と暗い部分とが生じる。

【0003】

これらのフリッカ現象を低減するため、古くからさまざまな方法が提案され実用化されている。例えば、典型的な方法として、シャッタスピードを光源の点滅周期の整数倍に設定するものがある。５０Ｈｚの商用電源周波数のフリッカ光源は、全波整流により１/１００ｓの周期で点滅を繰り返す。そこで、シャッタスピードをｎ/１００ｓに設定すれば、フリッカ現象を低減することができる（ここで、ｎ＝１、２、３、・・）。

【0004】

近年、撮像素子の動作高速化が進み、フレームレートが高くなってきている。光源点滅周期よりもフレームレートが高くなった場合、例えば、フレームレートが１２０ｆｐｓの場合に、５０Ｈｚのフリッカ光源下で最短１/１００ｓのシャッタスピードを設定することができず、フリッカ現象を低減することができない。

【0005】

このような高速フレームレート時のフリッカ低減方法として、例えば、特許文献１には、光源のフリッカ周期内で撮像された複数のフレームの露光量を演算し、撮像される各フレームの電荷蓄積時間及び／又は増幅ゲインを制御する撮像方法が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４−０６０５１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１記載の撮像方法では、フリッカ光源と定常光源とが混在するような被写体について、フリッカ光源下の被写体のフリッカを低減したときに、定常光源下の被写体にフリッカが発生してしまう、つまり、定常光源下の被写体の露光量を適切に制御できなくなるという問題がある。

【0008】

本発明は、このような問題を解決するためになされたものであり、高速のフレームレートを下げることなく、フリッカ現象を低減することができる撮像装置及び撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る撮像装置は、被写体を撮像して、１フレーム期間に第１の露光時間及び第１の露光時間よりも短い第２の露光時間の画素データを取得する撮像部と、連続するフレーム期間の連続する第１の露光時間及び第２の露光時間の画素データを合成して１フレーム分の画像データとして出力する合成部とを備え、第１の露光時間と第２の露光時間との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。

【0010】

また、本発明に係る撮像方法は、被写体を撮像して、１フレーム期間に第１の露光時間及び第１の露光時間よりも短い第２の露光時間の画素データを取得するステップと、連続するフレーム期間の連続する第１の露光時間及び第２の露光時間の画素データを合成して１フレーム分の画像データとして出力するステップとを備え、第１の露光時間と第２の露光時間との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。

【発明の効果】

【0011】

本発明により、高速のフレームレートを下げることなく、フリッカ現象を低減することができる撮像装置及び撮像方法を提供することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１に係る撮像装置１の概略構成を示すブロック図である。

【図2】ＨＤＲ撮像モードの撮像方法を説明するための図である。

【図3】実施の形態１に係るフリッカ低減モードの撮像方法を説明するための図である。

【図4】実施の形態１に係るフリッカ低減モードの別の撮像方法を説明するための図である。

【図5】実施の形態１に係るフリッカ低減モードの撮像方法のフレームレート、フリッカ光源周波数及び長短の露光時間ｔ１、ｔ２の設定値を示す図である。

【図6】実施の形態２に係るフリッカ低減モードの撮像方法を説明するための図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して各実施の形態に係る撮像装置及び撮像方法について説明する。
なお、本明細書で説明する「画像」には、「静止画像」及び「動画像（映像）」が含まれる。

【0014】

（実施の形態１）
図１は、本実施の形態１に係る撮像装置１の概略構成を示すブロック図である。
撮像装置１は、撮像光学系１０、撮像素子（Ｉｍａｇｅｒ）２０、アナログフロントエンド（ＦｒｏｎｔＥｎｄ）３０、積算回路４０、ＳＤＲＡＭ５０、画像信号処理回路６０、制御部（ＣＰＵ）７０、タイミングジェネレータ（ＴＧ）８０、バス９０などを備える。撮像装置１は、例えば、デジタルカメラ、デジタルビデオなどである。

【0015】

撮像光学系１０は、ズームレンズ、絞り、フォーカスレンズ、メカニカルシャッターなどを有し（図示せず）、被写体からの光を透過させて、撮像素子２０に結像させる。
撮像素子２０は、結像された被写体像を電気信号に変換する。このとき、撮像素子２０は、１フレーム期間に長短の露光時間の画素データを取得する。撮像素子２０には、例えば、ＸＹアドレス走査型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いる。また、撮像素子２０は、例えば、ベイヤ（Bayer）配列のカラーフィルタを有する。

【0016】

アナログフロントエンド３０は、撮像素子２０から出力されたアナログ信号を調整してデジタル信号に変換する。このため、アナログフロントエンド３０は、プリプロセッサ（ＰＰ）３１、アンプ（Ａｍｐ）３２などを有する。
プリプロセッサ３１は、撮像素子２０の出力画素データに、画素欠陥補正やシェーディング補正などの処理を行い、画像信号処理回路６０において画像処理が可能な画像データを生成する。

【0017】

アンプ３２は、画像データを増幅する。
積算回路４０は、撮像画像を分割した所定の領域（ブロック）毎に画素値（輝度値）を積算する。
ＳＤＲＡＭ５０は、画像データ等を一時的に保管する。

【0018】

画像信号処理回路６０は、ホワイトバランス（ＷＢ）処理、ガンマ処理、雑音除去などを行ってライブビュー画像やスチル画像等の画像データを生成するとともに、後述する長時間露光の画素データと短時間露光の画素データとの合成を行う。
このため、画像信号処理回路６０は、アンプ６１、合成部６２などを有する。合成部６２は、長時間露光の画素データと短時間露光の画素データとを合成して、画像データとして出力する。

【0019】

制御部７０は、撮像装置１全体の動作を制御する。このため、制御部７０は、露出演算部７１、露出制御部７２などを有する。
露出演算部７１は、積算回路４０の積算結果に基づいて、絞り値、シャッタスピード（シャッタタイミング）、ゲイン等の撮影において必要な露出制御のためのパラメータを算出する。

【0020】

露出制御部７２は、露光量を調整して露出を制御する。すなわち、露出制御部７２は、ドライバ（図示せず）を介して撮像光学系１０の絞りを制御し、タイミングジェネレータ８０を介して撮像素子２０の電子シャッタを制御し、また、アンプ３２のゲインを制御して、撮像素子２０から得られる信号の輝度値を調節する。ここでは、露出制御部７２は、タイミングジェネレータ８０が撮像素子２０に与えるリセット信号、読み出し信号などの出力を制御する。
タイミングジェネレータ８０は、撮像素子２０の動作を制御するタイミング信号を生成する。

【0021】

このように構成された撮像装置１は、後述するように、ＨＤＲ画像を撮像するＨＤＲ撮像モードと、フリッカを除去するフリッカ低減モードとを有し、撮像素子２０が撮像した長短の露光時間の画素データを、アナログフロントエンド３０でアナログデジタル変換し、バス９０を介して、ＳＤＲＡＭ５０にいったん記憶し、その後、画像信号処理回路６０で加算合成して、動画の１フレームとして出力する。

【0022】

なお、制御部７０が実現する各構成要素は、例えば、コンピュータである制御部７０が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。

【0023】

より具体的には、制御部７０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。

【0024】

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、制御部７０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

【0025】

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

【0026】

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって制御部７０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0027】

次に、本実施の形態１に係る撮像装置１の動作、すなわち、撮像方法について説明する。
撮像装置１は、前述したように、ＨＤＲ画像を撮像するＨＤＲ撮像モードと、フリッカを除去するフリッカ低減モードとを有する。

【0028】

まず、参考例としての、ＨＤＲ撮像モードによるＨＤＲ画像の撮像方法について説明する。
ＨＤＲ撮像モードでは、撮像装置１は、最初の２ライン（画素行）で長時間露光をし、次の２ラインで短時間露光をし、更に次の２ラインで長時間露光をするというように、２ライン毎に異なる時間で露光する制御を行い、それぞれの露光時間で得られた２種類の画像を合成してＨＤＲ画像を得る。

【0029】

図２は、ＨＤＲ撮像モードの撮像方法を説明するための図である。図２は、上から順に、リセット信号（Ｒｅｓｅｔ１、Ｒｅｓｅｔ２）及び読み出し信号（Ｒｅａｄｏｕｔ）、長短の露光時間（ｔ１、ｔ２）、撮像素子２０の撮像（露光）シーケンス、及び、長短の露光時間の出力画像（Ｉ１−ｎ、Ｉ２−ｎ）を示す。出力画像はフリッカのない定常光源下で撮影して得られたものであり、フレームｎでは露光時間ｔ１の画像Ｉ１−ｎと、露光時間ｔ２の画像Ｉ２−ｎが得られる。

【0030】

撮像素子２０は、２系統のリセット信号を有し、第１のリセット信号（Ｒｅｓｅｔ１）で第１の系統の２ラインにそれまでに蓄積された電荷をリセットし、第２のリセット信号（Ｒｅｓｅｔ２）で第２の系統の２ラインにそれまでに蓄積された電荷をリセットし、同じタイミングの読み出し信号（Ｒｅａｄｏｕｔ）で蓄積された電荷を読み出す。このとき、リセット信号（Ｒｅｓｅｔ１、Ｒｅｓｅｔ２）から読み出し信号（Ｒｅａｄｏｕｔ）までの時間が実質的な露光時間（ｔ１、ｔ２）となる。

【0031】

撮像素子２０はライン露光順次読み出し方式（ローリングシャッタ）を用い、図２に示すようにリセット信号（Ｒｅｓｅｔ１、Ｒｅｓｅｔ２）と読み出し信号（Ｒｅａｄｏｕｔ）とを２ライン毎に徐々にシフトさせて、１フレーム期間内で２ライン毎の露光時間を同一にしながら全ラインの画素データを読み出す。これにより、毎秒１２０フレームのフレームレート（１２０ｆｐｓ）の撮影を行う。

【0032】

このとき、露光時間ｔ１はフレーム周期と同一又はほぼ同一の時間に設定し、露光時間ｔ２は露光時間ｔ１よりも短い時間となるように設定することにより、１フレームで２種類の異なる露光時間の画素データ、つまり、長短の露光時間の出力画像（Ｉ１−ｎ、Ｉ２−ｎ）が得られる。なお、これらの出力画像は定常光源下で撮影したものであり、フリッカ現象は生じていない。
そして、合成部６２は、同一フレーム期間の長短の露光時間の出力画像（Ｉ１−ｎ、Ｉ２−ｎ）を合成してＨＤＲ画像を得ることができる。

【0033】

次に、本実施の形態１に係るフリッカ低減モードによるフリッカ低減画像の撮像方法について説明する。
図３は、本実施の形態１に係るフリッカ低減モードの撮像方法を説明するための図である。図３は、上から順に、リセット信号（Ｒｅｓｅｔ１、Ｒｅｓｅｔ２）及び読み出し信号（Ｒｅａｄｏｕｔ）、２つの長短の露光時間（ｔ１、ｔ２）、フリッカ光源の輝度変化、撮像素子２０の撮像（露光）シーケンス、及び、長短の露光時間の出力画像（Ｉ１、Ｉ２）を示す。出力画像はフリッカ光源下で撮影して得られたものである。フリッカ光源は５０Ｈｚ地域における蛍光灯であり、全波整流により１００Ｈｚで点滅を繰り返している。

【0034】

撮像素子２０がローリングシャッタを用いた場合は、フリッカ光源の輝度変化に対する露光タイミングがライン毎に異なり、同じ長さの時間で露光してもフリッカ点滅の影響により輝度レベルがライン毎に変動する。このため、長短の露光時間の出力画像（Ｉ１−ｎ、Ｉ２−ｎ）はそれぞれ横方向の縞模様がのったような画像となっている。

【0035】

そこで、本実施の形態１に係るフリッカ低減画像の撮像方法では、第１の露光時間ｔ１をフレーム周期時間と同じ時間又はほぼ同じ時間に設定する。ここではフレームレートが１２０ｆｐｓであるので、第１の露光時間ｔ１を８．３３３ｍｓに設定する。また、第２の露光時間ｔ２はｔ１＋ｔ２がフリッカ周期時間１０ｍｓと同じ時間又はほぼ同じ時間になるように設定する。つまり、ｔ２＝（１０−８．３３３＝）１．６６７ｍｓに設定する。

【0036】

そして、合成部６２は、あるフレーム期間の長時間露光の画像Ｉ１−ｎと、その直前のフレーム期間の短時間露光の画像Ｉ２−（ｎ−１）とを加算合成する、例えば、画像Ｉ１−２と画像Ｉ２−１とを、画像Ｉ１−３と画像Ｉ２−２とをそれぞれ加算合成する。これにより、合成した画像は実質的に連続した時間ｔ１＋ｔ２で露光した画像となり、時間ｔ１＋ｔ２はフリッカ周期時間と略等しいため、合成した画像をフリッカ現象がキャンセルされた画像にすることができる。

【0037】

そして、合成部６２は、合成した画像を１フレーム分の画像として、１２０ｆｐｓのフレームレートで出力する。
なお、長時間露光画像Ｉ１−ｎの露光時間ｔ１は１フレーム周期時間又は１フレーム周期時間にほぼ等しい時間であることが良い。これにより、長時間露光の画像Ｉ１−ｎの露光時間ｔ１と短時間露光の画像Ｉ２−（ｎ−１）の露光時間ｔ２との間に空白時間がなくなり、フリッカをより厳密に低減することができるようになる。

【0038】

また、撮像装置１が更に高速フレームレートで撮像する場合、例えば、２４０ｆｐｓで撮像する場合には、フリッカ周期時間１０ｍｓに対して長短の露光時間ｔ１、ｔ２を単純に加算しただけでは１０ｍｓになるように設定できない。その場合には複数の長時間露光の画素データと短時間露光の画素データとを加算合成してｔ１×ｎ＋ｔ２＝１０ｍｓとなるように設定する。つまり、ｔ１＝４．１６６ｍｓ、ｎ＝２、ｔ２＝１．６６７ｍｓに設定すればｔ１×２＋ｔ１＝１０ｍｓとすることができる。

【0039】

図４は、本実施の形態１に係るフリッカ低減モードの別の撮像方法を説明するための図である。
この撮像方法では、３枚の画像、長時間露光画像Ｉ１−ｎと長時間露光画像のＩ１−（ｎ−１）と短時間露光画像Ｉ２−（ｎ−２）とを、例えば、Ｉ１−３とＩ１−２とＩ２−３とを合成し、Ｉ１−４とＩ１−３とＩ２−２とを合成してフリッカをキャンセルした画像を生成する。

【0040】

図５は、本実施の形態１に係るフリッカ低減モードの撮像方法のフレームレート、フリッカ光源周波数及び長短の露光時間ｔ１、ｔ２の設定値を示す図である。
このように設定すれば、撮像装置１が高速フレームレートで撮像する場合であっても、フリッカを適切に低減することができる。

【0041】

なお、本実施の形態１に係る撮像装置又は撮像方法は、カラーフィルタがベイヤ配列であったため、２ラインを単位として長短の露光時間の画素データを取得し合成したが、カラーフィルタの種類によっては１ラインまたは３ライン以上を単位として、長短の露光時間の画素データを取得し合成するようにしても良い。

【0042】

また、本実施の形態１に係る撮像装置又は撮像方法では、長時間露光画像Ｉ１−ｎの露光時間ｔ１と短時間露光画像Ｉ２−ｎの露光時間ｔ２との合計時間がフリッカ周期時間と略等しくなるようにしたが、当該合計時間がフリッカ周期時間の整数倍と略等しくなるようにしても良い。

【0043】

また、本実施の形態１に係る撮像装置又は撮像方法では、２ラインを単位として長短の露光時間の画素データを取得し合成したが、同一フレーム内で画素単位で長短の露光時間の画素データを取得することができる撮像素子を用いれば、上記とは異なる合成処理によりフリッカ現象を低減することもできる。

【0044】

例えば、各画素行について、２画素を単位として、長時間蓄積画素の２画素、短時間蓄積画素の２画素を水平方向に交互に配置し、長時間蓄積画素から出力された画像をＩ１−ｎ, 短時間蓄積画素から出力された画像をＩ２−ｎとし、上記と同様に加算合成してフリッカを低減することもできる。ＸＹアドレス走査型のＣＭＯＳセンサであれば、画素毎に露光時間を制御して合成するこのような撮像方法も十分に可能である。

【0045】

（実施の形態２）
実施の形態１に係る撮像装置又は撮像方法は、リセット信号（Ｒｅｓｅｔ１、Ｒｅｓｅｔ２）のタイミングをずらして２種類の露光時間の開始のタイミングをずらし、読み出し信号（Ｒｅａｄｏｕｔ）を同じにして読み出しのタイミングを同時とするものであったが、本実施の形態２に係る撮像装置又は撮像方法は、リセット信号から所定時間後に第１のリードアウトを行い、電荷の蓄積（露光）自体は継続し、その後、第２のリードアウトを行うことで、同一フレームで２種類の露光時間の画素データを取得するものである。つまり、実施の形態１では長短の露光時間の終了のタイミングを同時にしたのに対し、本実施の形態２では長短の露光時間の開始のタイミングを同じにし、終了のタイミング（読み出しタイミング）をずらすものである。

【0046】

なお、本実施の形態２に係る撮像装置の構成は、実施の形態１に係るものと同様で良く、ここではその説明を省略する。
図６は、本実施の形態２に係るフリッカ低減モードの撮像方法を説明するための図である。

【0047】

撮像素子２０は、リセット信号（Ｒｅｓｅｔ）でそれまでに蓄積された電荷をリセットして電荷の蓄積を新たに開始し、第１の読み出し信号（Ｒｅａｄｏｕｔ１）で短時間露光ｔ２の電荷を読み出し、第２の読み出し信号（Ｒｅａｄｏｕｔ２）で長時間露光ｔ１の電荷を読み出す。

【0048】

そして、合成部６２は、あるフレーム期間の長時間露光の画像Ｉ１−ｎと次のフレーム期間の短時間露光の画像Ｉ２−（ｎ＋１）とを、例えば、画像Ｉ１−１と画像Ｉ２−２とを、画像Ｉ１−２と画像Ｉ２−３とを合成して、フリッカをキャンセルした画像にする。
本実施の形態２に係る撮像方法では、１ラインの中で長短の露光時間の画素データを得ることができ、実施の形態１に係る撮像方法のように、各ラインに長短の露光時間を割り当てる必要がない。

【0049】

以上、説明したように、実施の形態１、２に係る撮像装置１は、被写体を撮像して、１フレーム期間に第１の露光時間ｔ１及び第１の露光時間ｔ１よりも短い第２の露光時間ｔ２の画素データを取得する撮像部２０と、連続するフレーム期間の連続する第１の露光時間ｔ１及び第２の露光時間ｔ２の画素データを合成して１フレーム分の画像データとして出力する合成部６２とを備え、第１の露光時間ｔ１と第２の露光時間ｔ２との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。
このような構成により、高速のフレームレートを下げることなく、フリッカ現象を低減することができる。

【0050】

また、実施の形態１、２に係る撮像装置１は、合成部６２は、連続するフレーム期間の連続する複数の第１の露光時間ｔ１及び第２の露光時間ｔ２の画素データを合成して１フレーム分の画像データとして出力するものである。
このような構成により、更に高速のフレームレートで撮像するような場合であっても、そのフレームレートを下げることなく、フリッカ現象を低減することができる。

【0051】

また、実施の形態１、２に係る撮像装置１は、第１の露光時間ｔ１が、１フレーム期間時間に略等しいことが好ましい。
このような構成により、露光時間ｔ１と露光時間ｔ２との間に空白時間がなくなり、フリッカをより厳密に低減することができる。

【0052】

また、実施の形態１、２に係る撮像方法は、被写体を撮像して、１フレーム期間に第１の露光時間ｔ１及び第１の露光時間ｔ１よりも短い第２の露光時間ｔ２の画素データを取得するステップと、連続するフレーム期間の連続する第１の露光時間ｔ１及び第２の露光時間ｔ２の画素データを合成して１フレーム分の画像データとして出力するステップとを有し、第１の露光時間ｔ１と第２の露光時間ｔ２との合計時間が、被写体を照らす光源のフリッカ周期時間の略整数倍であるものである。
このような構成により、高速のフレームレートを下げることなく、フリッカ現象を低減することができる。

【0053】

（実施の形態３）
上記の各実施の形態では、フレームレートを下げることなくフリッカを低減することができるが、例えば、５０Ｈｚフリッカに対しては１／１００ｓ以上、６０Ｈｚフリッカに対しては１／１２０ｓ以上の実質的な蓄積時間を必要とする。

【0054】

蛍光灯フリッカは通常は室内で発生するので、撮像自体が高速シャッタになることはあまりないが、高輝度のフリッカ環境下などで１／１００ｓ、１／１２０ｓ以上の高速シャッタにするとフリッカをキャンセルできなくなる。シャッタスピードを維持する場合に、絞りを絞る、感度を下げるなどの方法もあるが、フォンカメラなどでは絞り機構やＮＤファルタがないものも多い。また、感度を１倍以下に下げると画像の飽和レベル以下でセンサ出力信号が飽和するという問題もある。

【0055】

しかしながら、本実施の形態３に係る撮像装置又は撮像方法は、合成部６２で長短の露光時間の画素データを加算合成するときに、例えば、撮像素子の出力が１２ｂｉｔデータであったときに、加算合成した後に直ちに１２ｂｉｔでクリップするのではなく、加算合成して、１倍以下の又は１倍より小さいゲインを乗じた後に１２ｂｉｔでクリップするようにして、前述したような画像の飽和を防ぎ、かつ、感度を下げるものである。また、長短の露光時間の画素データに１倍以下のゲインを乗じた後に加算合成し、１２ｂｉｔでクリップするようにしても良い。

【0056】

もちろん、１／１００ｓ又は１／１２０ｓの露光時間を維持しつつ、高輝度でもフリッカを低減するためにセンサ感度を下げることもできる。しかしながら、１倍以下のゲインを乗じると、センサ出力の飽和レベルが画像輝度の最大値（例えば、ＪＰＥＧでは２５５）に到達できなくなるので、通常はゲインを１倍以下にはできない。しかし、合成部６２で長短の露光時間の画素データを加算合成するときは、その後に１倍以下のゲインを乗じても、センサ出力の飽和レベルが画像輝度の最大値に到達することができる。このように１倍以下のゲインを乗じる処理により、フリッカ低減の処理を適用できる輝度範囲を広くすることができる。

【0057】

なお、加算合成する画像データがｎのときは、適用可能なゲインは最低で１／ｎ倍となる。
また、本実施の形態３に係る撮像装置の構成も、実施の形態１に係るものと同様で良く、ここではその説明を省略する。

【0058】

本実施の形態３に係る１倍以下のゲインは、画素データの加算合成前に乗じるのであればアナログフロントエンド３０中のアンプ３２又は画像信号処理回路６０中のアンプ６１で乗じるようにし、画素データの加算合成後に乗じるのであれば画像信号処理回路６０中のアンプ６１で乗じるようにする。

【0059】

以上、説明したように、本実施の形態３に係る撮像装置１は、合成前の画素データ又は合成後の画素データに１倍以下のゲインを乗じる増幅部３２、６１を更に備えることが好ましい。
このような構成により、フリッカ低減の処理を適用できる輝度範囲を広くすることができる。

【符号の説明】

【0060】

１ 撮像装置
１０ 撮像光学系
２０ 撮像素子（Ｉｍａｇｅｒ）
３０ アナログフロントエンド（ＦｒｏｎｔＥｎｄ）
３２、６１ アンプ（Ａｍｐ）
６０ 画像信号処理回路
６２ 合成部
７０ 制御部（ＣＰＵ）
７１ 露出演算部
７２ 露出制御部
８０ タイミングジェネレータ（ＴＧ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】