特許 6222335 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6222335

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171023BHJP

   H04N 5/235 20060101ALI20171023BHJP

   G03B 15/00 20060101ALI20171023BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/235 500

   G03B15/00 H

【請求項の数】4

【全頁数】12

(21)【出願番号】特願2016-231225(P2016-231225)

(22)【出願日】2016年11月29日

(62)【分割の表示】特願2015-246384(P2015-246384)の分割

【原出願日】2011年5月12日

(65)【公開番号】特開2017-50893(P2017-50893A)

(43)【公開日】2017年3月9日

【審査請求日】2016年11月29日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100151002

【弁理士】

【氏名又は名称】大橋 剛之

(74)【代理人】

【識別番号】100201673

【弁理士】

【氏名又は名称】河田 良夫

(72)【発明者】

【氏名】笹井 義史

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 米国特許出願公開第２００８／０２５３７５８（ＵＳ，Ａ１）

【文献】 特開２００７−０４９２２７（ＪＰ，Ａ）

【文献】 特開２００７−０１３２７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

(57)【特許請求の範囲】

【請求項1】

第１の露光条件で撮像した画像データと、前記第１の露光条件による露光量よりも露光量が少なくなる第２の露光条件で撮像した画像データとを生成する撮像部と、
前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部とを備え、
前記画像処理部は、前記第１の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する撮像装置。

【請求項2】

前記画像処理部で合成する前記複数の画像データの数を、前記撮像部の感度が高いほど多くする請求項１に記載の撮像装置。

【請求項3】

第１の露光条件で撮像した画像データと、前記第１の露光条件による露光量よりも露光量が少なくなる第２の露光条件で撮像した画像データとを生成する撮像部と、
前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部とを備え、
前記画像処理部は、前記第１の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数と、前記第２の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数とを、前記撮像部の感度により変更する撮像装置。

【請求項4】

第１の露光条件で撮像した画像データと、前記第１の露光条件による露光量よりも露光量が少なくなる第２の露光条件で撮像した画像データとを生成する撮像部と、
前記撮像部の感度が所定値よりも高い場合、前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と、
を備える撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数回の撮像により取得した複数枚の画像を合成して１枚の合成画像を得る撮像装置に関するものである。

【背景技術】

【0002】

従来、ダイナミックレンジの広い画像（以下「広ダイナミックレンジ画像」と称す）を生成するために、露光量を変えて撮像した同一被写体の複数の画像を、例えば加算平均による合成をして１枚の合成画像を得る撮像装置が知られている（特許文献１）。この撮像装置の画像合成手段は、標準より多い露光量で得られた画像データを低輝度側のデータとし、標準の露光量で得られた画像データを高輝度側のデータとし、標準より少ない露光量で得られた画像データを超高輝度側のデータとして、全てもしくは任意の組み合わせで画像データを合成している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−１３５５９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子は、高出力（低ＩＳＯ感度）のときに固定パターンノイズが生じやすく、また、低出力（高ＩＳＯ感度）のときには光ショットノイズ等のランダムノイズが生じやすい。固定パターンノイズは、ある程度条件が同じであれば値が推測できるノイズであるため、画像処理等で軽減することができるのに対し、ランダムノイズは不特定の位置に発生するため画像処理等での軽減が難しい。

【0005】

本発明は、上記課題を解決するために、広ダイナミックレンジ画像に生じるランダムノイズを低減するように工夫した撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様では、撮像装置は、第１の露光条件で撮像した画像データと、前記第１の露光条件による露光量よりも露光量が少なくなる第２の露光条件で撮像した画像データとを生成する撮像部と；前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と；を備え、前記画像処理部は、前記第１の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する。あるいは、撮像装置は、第１の露光条件で撮像した画像データと、前記第１の露光条件による露光量よりも露光量が少なくなる第２の露光条件で撮像した画像データとを生成する撮像部と；前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と；を備え、前記画像処理部は、前記第１の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数と、前記第２の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数とを、前記撮像部の感度により変更する。あるいは、撮像装置は、第１の露光条件で撮像した画像データと、前記第１の露光条件による露光量よりも露光量が少なくなる第２の露光条件で撮像した画像データとを生成する撮像部と；前記撮像部の感度が所定値よりも高い場合、前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と；を備える。
本発明の別態様では、撮像装置は、第１の露光条件で撮像した画像データと、前記第１の露光条件による露光量よりも露光量が少なくなる第２の露光条件で撮像した画像データとを生成する撮像部と；前記撮像部の感度が所定値よりも高い場合、前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と；を備える。
本発明の別態様では、撮像装置は、第１の露光条件で撮像した画像データと、前記第１の露光条件よりも露光量が少ない第２の露光条件で撮像した画像データとを生成する撮像部と；前記第１の露光条件で撮像された複数の画像データを合成した画像データと、前記第２の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と；を備える。あるいは、撮像装置は、第１の露光条件で撮像した画像データと、前記第１の露光条件よりも露光量が少ない第２の露光条件で撮像した画像データとを生成する撮像部と；前記第２の露光条件で撮像された複数の画像データを合成した画像データと、前記第１の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と；を備え、前記画像処理部は、前記第２の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する。
本発明の別態様では、撮像装置は、撮像素子の感度を設定する設定手段と；前記撮像素子により同一被写体を異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを生成する本処理合成手段と；前記設定手段で設定される感度が閾値未満の低感度の場合、前記被写体を標準露光よりも少ない露光量で複数回撮像して生成した複数枚の前処理用画像データを合成して１枚のノイズ軽減用画像データを生成し、前記ノイズ軽減用画像データを前記本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データとして出力する前処理合成手段と；を備える。

【0007】

前処理合成手段は、前処理用画像データを取得するための撮像回数を、低感度と判定した範囲のうちの低感度程、撮像回数が増えるように、感度に応じて変更するのが望ましい。

【0008】

前処理合成手段としては、前処理用画像データの中から所定条件に基づいて基準画像データを決める決定部と；前記基準画像データを基準として前記前処理用画像データの位置合わせ処理を行う位置合わせ処理手段と；で構成するのが、高画質な画像が得られるため好適である。

【0009】

また、前処理合成手段としては、設定手段で設定される感度が閾値を超える高感度の場合、複数枚の本処理用画像データを構成する、最も露光量が低い露光条件で撮像した短時間露光画像データ、標準の露光条件で撮像した標準露光画像データ、及び最も露光量が高い露光条件で撮像した長時間露光データのそれぞれを、複数枚の前処理用画像データを合成して作るのが、高感度撮影時に生じ易いランダムノイズを軽減することができるため好適である。

【0010】

この場合、短時間露光画像データ用の前処理用画像データを取得するための撮像回数を「Ａ」、前記標準露光画像データ用の前処理用画像データを取得するための撮像回数を「Ｂ」、及び前記長時間露光データ用の前処理用画像データを取得するための撮像回数を「Ｃ」とすると、Ａ＞Ｂ＞Ｃの関係を満足するのが望ましい。

【0011】

この場合、前処理合成手段は、前処理用画像データを取得するための撮像回数を、高感度と判定した範囲のうちの高感度程、撮像回数が増えるように、感度に応じて変更するのが好適である。

【発明の効果】

【0012】

本発明では、本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データを、複数回撮像して得た前処理用画像データを合成して作るので、ランダムノイズを確実に軽減することができる。

【図面の簡単な説明】

【0013】

【図1】本発明を用いた電子カメラの電気的概略を示すブロック図である。

【図2】画像処理回路の詳しい構成を示すブロック図である。

【図3】位置合わせ処理の構成を示すブロック部である。

【図4】合成撮影モードの動作手順を示すフローチャートである。

【図5】高感度時の動作手順を示すフローチャート図である。

【図6】図５で説明した動作手順の続きを示すフローチャート図である。

【図7】低感度の範囲における短時間露光画像データの取得枚数を変えた例を示す説明図である。

【図8】高感度の範囲における短時間露光、標準露光、及び長時間露光との各画像データの取得枚数をそれぞれ変えた例を示す説明図である。

【発明を実施するための形態】

【0014】

本発明の撮像装置の一実施形態として電子カメラを説明する。電子カメラは、１回のシャッタレリーズに応答して、撮像素子により異なる露光量で撮像して得た複数枚の画像データを合成して１枚の広ダイナミックレンジ画像データを生成する合成撮影モードを有する。

【0015】

電子カメラ１０は、図１に示すうに、レンズ光学系１１、絞り１２，メカシャッタ１３、撮像素子１４、ＡＦＥＴＧ（アナログフロントエンド・タイミングジェネレータ）１５、レンズ駆動部１６、絞り駆動部１７、シャッタ駆動部１８、ＡＥ・ＡＦ回路１９、制御部２０、操作部２１、ＬＣＤ２２、画像処理回路２３、ＲＡＭ２４、ＲＯＭ２５、ＶＲＡＭ２６、不揮発生メモリ２７、メモリスロット２８、及び外部メモリ２９等で構成される。

【0016】

レンズ駆動部１６は、レンズ光学系１１の変倍及び合焦動作を行う。絞り駆動部１７は、絞り１２を駆動する。シャッタ駆動部１８は、メカシャッタ１３を駆動する。撮像素子１４は、レンズ光学系１１、及び絞り１２を介して結像される被写体像を光電変換するＣＣＤやＣＭＯＳ等のイメージセンサである。

【0017】

ＡＦＥＴＧ１５は、ＴＧ（タイミングジェネレータ）３０、Ｖ−ｄｒｉｖｅｒ（垂直駆動部）３１、及びＡＦＥ（アナログフロントエンド）３２で構成される。

【0018】

ＴＧ３０は、Ｖ−ｄｒｉｖｅｒ３１を介して画像信号の読み出しタイミングを撮像素子１４に与える。ＡＦＥ３２は、撮像素子１４から読み出されるアナログの画像信号のノイズ除去やアナログゲインアップにより増幅を行った後、Ａ／Ｄ変換してデジタルの画像データに変換し、変換した画像データをＡＥ・ＡＦ回路１９と画像処理回路２３に出力する。

【0019】

ＡＥ・ＡＦ回路１９は、画像データのコントラスト情報に基づいてフォーカスを制御するＡＦ（オートフォーカス）情報、及び画像データに基づいて最適なＡＥ（オートエクスポージャ）情報やホワイトバランス情報をそれぞれ取り出して制御部２０に送る。制御部２０は、ＡＦ情報、ＡＥ情報、及びホワイトバランス情報に基づいてレンズ駆動部１７、絞り駆動部１７、及び画像処理回路２３等を制御する。

【0020】

画像処理回路２３は、ホワイトバランス処理、圧縮符号化、復号処理、画像合成処理等が含まれる。ＶＲＡＭ２６は、ＬＣＤ２２に表示するための画像メモリである。ＬＣＤ２２には、撮像された画像の表示、カメラの各種設定のメニューや撮影モードの表示が行われる。

【0021】

メモリスロット２８には、外部メモリ２９が着脱自在に接続される。外部メモリ２９には、画像処理回路２３で生成される圧縮符号化された画像データが保存される。

【0022】

ＲＡＭ２４は、制御部２０や画像処理回路２３のワークエリアとして使用される。ＲＯＭ２５には、制御部２０が実行するプログラムが格納されている。不揮発性メモリ２７は、電子カメラ１０の各種の調整データや、ユーザによって設定された撮影モードや感度（ＩＳＯ感度）等を格納する。

【0023】

制御部２０は、ＲＯＭ２５に記憶されているプログラムに従って動作するＣＰＵ（中央演算処理部）を中心に構成され、電子カメラ１０の各部を制御する。例えば、制御部２０は、撮像素子１４の画像信号を読み出す指示をＡＦＥＴＧ１５のＴＧ３０に与え、撮像素子１４から読み出した画像信号を、ＡＦＥ３２を介して画像処理回路２３に入力し、画像処理回路２３でその時点の撮影モードに対応する処理等を実行した後に、処理済みの画像データを、バス３３を介して外部メモリ２９に記録するように制御する。

【0024】

操作部２１は、感度設定部、モード設定部、シャッタボタン、及び電源ボタン等で構成されており、これらは制御部２０に操作信号や設定信号を送る。感度設定部は、撮像素子１４の感度（ＩＳＯ感度）を複数段階に変更するための操作部である。感度は、予め任意の感度に定められている。

【0025】

制御部２０は、ＡＥ・ＡＦ回路１９から被写体輝度情報を得ると、感度と被写体輝度とで決まる適正露出に近づくように、その時点に設定されている感度に対応したプログラム線図に従って標準の露光量（絞り値とシャッター速度値で求まる露光量）を決定する。

【0026】

モード設定部は、合成撮影モード、通常撮影モード、及び再生モードのうちのいずれか一つを択一的に選択する操作部である。合成撮影モードは、撮像素子１４により同一被写体を、異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを得るモードである。

【0027】

合成撮影モードの時には、撮像素子１４の蓄積時間を可変する電子シャッタと絞り１７の組み合わせで露光量を制御する。なお、シャッタ速度としては、電子シャッタの代わりに、例えばメカシャッタ１３の開閉で決定してもよいし、露光の最初のタイミングを電子シャッタで取り、露光終了をメカシャッタ１３で決定してもよい。

【0028】

通常撮影モードは、標準の露出量で撮像素子１４により１回撮像して１枚の画像データを生成するモードである。再生モードは、外部メモリ２９に記録した画像データをＬＣＤ２２に再生するモードである。

【0029】

制御部２０は、図２に示すように、感度判定部３５、及びカウンタ３６を有する。感度判定部３５は、撮影時に感度設定部に設定されている設定感度を認識するとともに、認識した感度を予め決められている閾値とを比較して高感度か低感度かを判定する。カウンタ３６は、画像データの取り込み回数をカウントする。制御部２０は、感度判定部３５で判定した感度に応じて、アナログの画像データをＡＦＥ３２のアナログゲインアップで増幅するときの度合いを変更する。

【0030】

画像処理回路２３は、振分け部３７、前処理合成部３８、及び本処理合成部３９を備えている。振分け部３７は、画像データを前処理合成部３８と本処理合成部３９に振り分けるものであり、この振り分け処理は、高感度又は低感度の時の前処理用の画像データか本処理用の画像データかに基づいて制御部２０により制御される。

【0031】

本処理合成部３９は、合成撮影モードの時に、異なる露光量で撮像した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを生成する処理を行う。本処理用画像データは、例えば、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データで構成されている。短時間露光画像データは、撮像素子１４により標準より少ない露光量で撮像して生成した画像データである。標準露光画像データは、撮像素子１４により標準の露光量で撮像して生成した画像データである。長時間露光画像データは、撮像素子１４により標準よりも多い露光量で撮像して生成した画像データである。

【0032】

前処理合成部３８は、合成撮影モードの時に低感度と判定した場合、ランダムノイズを軽減するために、撮像素子１４により標準よりも少ない露光量で撮像して生成した複数枚の前処理用画像データを合成して１枚のノイズ軽減用画像データを生成し、ノイズ軽減用画像データを本処理用画像データのうちの短時間露光画像データとして本処理合成部３９に出力する。

【0033】

また、前処理合成部３８は、合成撮影モードの時に高感度と判定した場合、撮像素子１４により標準よりも少ない露光量で撮像して生成した複数枚の画像データを１枚の画像データに合成したものを短時間露光画像データとし、また、標準の露光量で撮像して生成した複数枚の画像データを１枚の画像データに合成したものを標準露光画像データとし、さらに、標準よりも多い露光量で撮像して生成した複数枚の画像データを１枚の画像データに合成したものを長時間露光画像データとしてそれぞれ本処理合成部３９に出力する。

【0034】

前処理及び本処理合成部３８，３９は、バッファメモリ４０，４４、位置合わせ処理４１，４５、及び画像合成４３，４７をそれぞれ備えている。バッファメモリ４０，４４は、複数の画像データを一時的に記憶する。位置合わせ処理４１，４５は、各画像データを比較して、各画像データの位置が一致するように座標を修正する処理を行う。画像合成４３，４７は、修正した座標の情報に基づいて各画像データを加算した後に、画像データの枚数で除算する平均化処理を行って１枚の画像データを生成する。

【0035】

位置合わせ処理４１，４５は、図３に示すように、評価部４８、決定部４９、及び位置合わせ部５０で構成されている。評価部４８は、所定の条件、例えば画像データのレベル（明るさ）、コントラスト、及び空間周波数の高周波成分とのうちの少なくとも１つを求めて各画像データを評価する。この場合、画像データの白黒レベルが飽和レベルに達していない画像データのうちの最も明るい画像データほど、又は最もコントラスト値が高い画像データほど、あるいは最も高周波成分が多い画像データほど評価値を高くする。

【0036】

なお、代わりに、各画像データから主要被写体を検出し、検出した主要被写体の動き量が小さい程評価値を高くする条件や、フォーカス状態、主要被写体の変形度合い等の評価で基準の画像データを決めても良い。

【0037】

決定部４９は、評価部４８で求めた各画像データの評価値に基づいて最も合成に適した画像データを基準画像データとして決定する。位置合わせ部５０は、基準画像データを基準として残りの画像データに対して座標位置が一致するように位置合わせ処理を行う。これにより、画像合成４３，４７で合成される画像データは、画質が向上する。なお、評価部４８で、各画像データの評価をした後に、評価値が予め決めた閾値よりも低い場合には、その画像データを合成に使用しないように選択する処理を行うようにしてもよい。

【0038】

次に上記構成の作用を、図４を参照しながら説明する。撮像素子１４の感度は、初期値、例えばＩＳＯ感度「４００」に予め設定されている。撮影者は、広ダイナミックレンジ画像を撮影する場合には、合成撮影モードを選択する。

【0039】

制御部２０は、１回のシャッヤレリーズに応答して、その時点の標準露光量を決定し（Ｓ−１）、また、その時点の撮影モードを確認し（Ｓ−２）、さらに、合成撮影モードの場合には、その時点で設定されている感度が閾値未満か否かを判定する（Ｓ−３）。例えば、設定感度がＩＳＯ感度「５０」で、閾値がＩＳＯ感度「６００」である場合には設定感度が低感度であると判定する。

【0040】

制御部２０は、低感度と判定した場合、標準より少ない露光量、例えば「−１ＥＶ」の露光補正をした露光量に設定して撮像素子１４で連写的に撮像することで複数枚、例えば５枚の前処理用画像データを取得し（Ｓ−４）、振分け部３７を制御して５枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。

【0041】

前処理合成部３８は、制御部２０からカウントアップに応答する信号を受け取ることで、バッファメモリ４０から５枚の前処理用画像データを順に読み出し、各前処理用画像データについて評価部４８で予め決めた条件に基づいて評価を行い、評価結果に基づいて基準の画像データを決定部４９で決定し（Ｓ−５）、位置合わせ部５０で基準の画像データに基づいて残りの画像データに対して位置合わせ処理を行い（Ｓ−６）、その後に画像合成４３で、基準画像データに対して位置合わせ処理済みの画像データを順に加算平均化処理により合成をして本処理用の短時間露光画像データを生成し（Ｓ−７）、短時間露光画像データを本処理合成部３９のバッファメモリ４４に出力する。

【0042】

なお、５枚の前処理用画像データを取得する時には、制御部２０は、カウンタ３６を初期化し（Ｓ−８）、カウンタ３６で短時間露光での撮像回数をカウントし（Ｓ−９）、その撮像回数が予め決められた回数に達したか否かを判定する（Ｓ−１０）。

【0043】

引き続き制御部２０は、標準の露光量に変えて１枚撮像して本処理用の標準露光画像データを生成し（Ｓ−１１）、振分け部３７を制御して標準露光画像データを本処理合成部３９のバッファメモリ４４に取り込み、引き続き、標準より多い露光量、例えば「＋１ＥＶ」の露光補正をした露光量に設定して１枚撮像して本処理用の長時間露光画像データを生成し（Ｓ−１２）、長時間露光画像データをバッファメモリ４４に取り込む。

【0044】

本処理合成部３９は、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データとの３つの本処理用画像データがバッファメモリ４４に取り込まれることに応答して、位置合わせ処理４５で前述した位置合わせ処理４１と同じ処理を行って基準の画像データを決定し（Ｓ−１３）、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って（Ｓ−１４）、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして広ダイナミックレンジ画像データを生成し（Ｓ−１５）、広ダイナミックレンジ画像データを外部メモリ２９に記録する。低感度判定での合成撮影モードで得られる広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、低感度撮影で生じ易いランダムノイズを低減した画像になる。

【0045】

次に、感度判定部３５が図４（Ｓ―３）の判定において例えば設定感度がＩＳＯ［８００］の場合、設定感度が閾値を超えるため、高感度であると判定する。この場合、図５に示すように、制御部２０は、標準より少ない露光量、例えば「−１ＥＶ」の露光補正をした露光量に設定して撮像素子１４で連写的に撮像することで複数枚、例えば６枚の前処理用画像データを取得し（Ｓ−１６）、振分け部３７を制御して６枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。

【0046】

前処理合成部３８は、制御部２０から短時間露光での撮影回数がカウントアップすることに応答して、バッファメモリ４０から６枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理４１、及び画像合成４３で行って（Ｓ−１７）、本処理用の短時間露光画像データを生成し（Ｓ−１８）、短時間露光画像データを本処理合成部３９のバッファメモリ４４に出力する。

【0047】

引き続き制御部２０は、標準の露光量に設定して撮像素子１４で連写的に撮像することで、短時間露光で撮像する枚数よりも少ない複数枚、例えば４枚の前処理用画像データを取得し（Ｓ−１９）、振分け部３７を制御して４枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。

【0048】

前処理合成部３８は、制御部２０から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ４０から４枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理４１、及び画像合成４３で行って（Ｓ−２０）、本処理用の標準露光画像データを生成し（Ｓ−２１）、標準露光画像データを本処理合成部３９のバッファメモリ４４に出力する。

【0049】

引き続き制御部２０は、図６に示すように、標準よりも多い露光量、例えば「＋１ＥＶ」の露出補正をした露光量に設定して撮像素子１４で連写的に撮像することで、標準露光で撮像する枚数よりも少ない複数枚、例えば２枚の前処理用画像データを取得し（Ｓ−２２）、振分け部３７を制御して２枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。

【0050】

前処理合成部３８は、制御部２０から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ４０から２枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理４１、及び画像合成４３で行って（Ｓ−２３）、本処理用の長時間露光画像データを生成し（Ｓ−２４）、長時間露光画像データを本処理合成部３９のバッファメモリ４４に出力する。

【0051】

そして、図４（Ｓ−１３〜Ｓ−１５）で説明したように、本処理合成部３９は、３つの本処理用画像データがバッファメモリ４４に取り込まれることに応答して、位置合わせ処理４５で基準の画像データを決定し（Ｓ−２５）、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って（Ｓ−２６）、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして広ダイナミックレンジ画像データを生成し（Ｓ−２７）、広ダイナミックレンジ画像データを外部メモリ２９に記録する。高感度判定で生成した広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、高感度撮影時に生じ易いランダムノイズを低減した画像になる。

【0052】

なお、制御部２０は、広ダイナミックレンジ画像データを記録した後に、バッファメモリ４０，４４をクリアする制御を行うことが望ましい。

【0053】

また、上記実施形態では、感度に応じて決められた撮影枚数、露出補正値は、前述した数値に限らないことはいうまでもない。例えば図７に示すように、設定感度が閾値未満の範囲において、設定感度が低感度程、短時間露光画像データの取得枚数を増やすのが好適である。また、例えば図８に示すように、設定感度が閾値を超える範囲において設定感度が高感度程、短時間露光、標準露光、及び長時間露光との各画像データの取得枚数をそれぞれ増やすのが好適である。なお、短時間露光、標準露光、及び長時間露光との各画像データの取得枚数を順にＡ、Ｂ、Ｃとすると、Ａ＞Ｂ＞Ｃの関係を保つように、各画像データの取得枚数を変更するのが好適である。

【0054】

手動で設定する場合には、操作部にカーソルボタンやＯＫボタン等の変更操作部を設け、これら操作部を用いて、例えば低感度と判定した時における短時間露光での撮影枚数、及び高感度における短時間露光での撮影枚数、標準露光での撮影枚数、長時間露光での撮影枚数を各々設定すればよい。

【0055】

上記実施形態では、短時間露光、標準露光、及び長時間露光との３つの画像データを合成して広ダイナミックレンジ画像を生成しているが、本発明ではこれに限らず、露光の異なる２つの画像データを合成して、又は超低時間露光や超長時間露光の画像データを追加した４つ以上の画像データを合成して広ダイナミックレンジ画像を生成してもよい。

【0056】

上記実施形態では、低感度と判定した時には、最初に前処理用画像を短時間露光で複数回撮像し、次に標準露光での撮像、最後に長時間露光での撮像の順としているが、本発明ではその順に限らず、例えば逆の順、あるいは最初に標準露光での撮像し、次に短時間露光で複数回撮像、最後に長時間露光での撮像の順にしてもよい。

【0057】

また、高感度と判定した時も同様に、短時間露光画像データ用の前処理用画像データを取得するために撮像する期間、標準露光画像データ用の前処理用画像データを取得するための撮像期間、及び長時間露光データ用の前処理用画像データを取得するための撮像期間の順はいずれの順でもよい。

【0058】

上記実施形態では、画像データを取得する毎に位置合わせ処理をして合成しているが、先に全ての撮像を行って画像データをＲＡＭに記録しておき、撮影完了後にＲＡＭから合成対象の画像データを読み出して合成していくように構成してもよい。また、先に全ての撮像を行って画像データをフラッシュメモリ等に記録しておき、予め画像処理ソフトを電子カメラ等にインストールしておき、撮影後にそのソフトを実行して撮像した複数枚の画像データを合成するようにしてもよい。

【0059】

さらに、上記実施形態では本発明を電子カメラ１０に使用して説明しているが、本発明ではこれに限らず、ビデオカメラやテレビカメラ等に使用することができる。

【符号の説明】

【0060】

１４ 撮像素子
１２ 絞り
１３ メカシャッタ
１５ ＡＦＥＴＧ
２３ 画像処理回路
３８ 前処理合成部
３９ 本処理合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】