特許 7566470 撮像装置および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】撮像装置および制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241007BHJP

【ＦＩ】

H04N23/60 100

【請求項の数】 8

(21)【出願番号】P 2020018947

(22)【出願日】2020-02-06

(65)【公開番号】P2021125820

(43)【公開日】2021-08-30

【審査請求日】2023-01-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】牧野 純

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１２－１１９７６１（ＪＰ，Ａ）

【文献】特開２０１９－００４５２１（ＪＰ，Ａ）

【文献】特開２０１７－１６３１９１（ＪＰ，Ａ）

【文献】特開２００９－０８１６９３（ＪＰ，Ａ）

【文献】特開２００９－０２１９０９（ＪＰ，Ａ）

【文献】特開２０１０－０８１０２２（ＪＰ，Ａ）

【文献】特開２０１２－１６０８１９（ＪＰ，Ａ）

【文献】特開２０１３－１１８５６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｇ０３Ｂ ７／００ －７／３０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

流体である被写体の流れを強調した効果のある画像を撮影する条件において、撮影の終了条件を決定する決定手段と、
前記被写体の画像を撮像する撮像手段と、
前記撮像手段により前記被写体の画像が撮像される毎に、前記撮像手段により撮像された全ての前記被写体の画像の合成画像を作成する合成手段と、
前記合成画像が作成される毎に、当該作成された合成画像の特徴量を算出する算出手段と、
前記算出手段により算出された特徴量が前記終了条件を満たす場合、当該特徴量が算出された合成画像を最終合成画像として出力する出力手段とを備え、
前記終了条件は、前記最終合成画像における前記被写体の滑らかさに関するものであることを特徴とする撮像装置。

【請求項2】

前記合成手段は、前記撮像手段により撮像された全ての画像の加算平均を行うことで前記合成画像を作成することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記特徴量は、前記合成画像のヒストグラムの変化を含み、
前記出力手段は、前記合成画像のヒストグラムの変化が第１の閾値未満となったときに、前記終了条件を満たすと判断することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記特徴量は、前記合成画像の標準偏差の変化量を含み、
前記出力手段は、前記合成画像の標準偏差の変化量が第２の閾値未満となったときに、前記終了条件を満たすと判断することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記特徴量は、前記合成画像とその直前に前記合成手段により作成された合成画像との差分から求められる差分絶対和の変化量を含み、
前記出力手段は、前記差分絶対和の変化量が第３の閾値未満となったときに、前記終了条件を満たすと判断することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

被写体の撮影条件を取得する取得手段と、前記撮影条件に応じて終了条件を決定する決定手段と、
前記被写体の画像を撮像する撮像手段と、
前記撮像手段により前記被写体の画像が撮像される毎に、前記撮像手段により撮像された全ての前記被写体の画像の合成画像を作成する合成手段と、
前記合成画像が作成される毎に、当該作成された合成画像の特徴量を算出する算出手段と、
前記算出手段により算出された特徴量が前記終了条件を満たす場合、当該特徴量が算出された合成画像を最終合成画像として出力する出力手段とを備え、
前記合成手段は、高解像度画像を撮影するという条件を考慮し、前記撮像手段により撮像された全ての画像を加算することで前記合成画像を作成し、
前記終了条件は、前記最終合成画像における画素値の最大値に関するものであることを特徴とする撮像装置。

【請求項7】

撮像装置の制御方法であって、
流体である被写体の流れを強調した効果のある画像を撮影する条件において、撮影の終了条件を決定する決定ステップと、
前記被写体の画像を撮像する撮像ステップと、
前記撮像ステップにより前記被写体の画像が撮像される毎に、前記撮像ステップにおいて撮像された全ての前記被写体の画像の合成画像を作成する合成ステップと、
前記合成画像が作成される毎に、当該作成された合成画像の特徴量を算出する算出ステップと、
前記算出ステップにおいて算出された特徴量が前記終了条件を満たす場合、当該特徴量が算出された合成画像を最終合成画像として出力する出力ステップとを有し、
前記終了条件は、前記最終合成画像における前記被写体の滑らかさに関するものであることを特徴とする制御方法。

【請求項8】

撮像装置の制御方法であって、
被写体の撮影条件を取得する取得ステップと、
前記撮影条件に応じて終了条件を決定する決定ステップと、
前記被写体の画像を撮像する撮像ステップと、
前記撮像ステップにより前記被写体の画像が撮像される毎に、前記撮像ステップにおいて撮像された全ての前記被写体の画像の合成画像を作成する合成ステップと、
前記合成画像が作成される毎に、当該作成された合成画像の特徴量を算出する算出ステップと、
前記算出ステップにおいて算出された特徴量が前記終了条件を満たす場合、当該特徴量が算出された合成画像を最終合成画像として出力する出力ステップとを有し、
前記合成ステップにおいて、高解像度画像を撮影するという条件を考慮し、前記撮像ステップにて撮像された全ての画像を加算することで前記合成画像を作成し、
前記終了条件は、前記最終合成画像における画素値の最大値に関することを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、発明は、撮像装置および制御方法に関し、特に複数枚の画像を合成することで、特定の効果のある画像を生成する撮像装置および制御方法に関する。

【背景技術】

【0002】

従来から、複数枚の画像を撮像し、それを合成することで、様々な画質改善や特殊効果を付加する撮影方法が開示されている。

【0003】

例えば、短時間の適正露光の画像を複数枚撮影し、撮影後、各画像を加算平均することで、Ｓ／Ｎや解像力の向上を図る処理が広く知られている。また、露出の異なる画像を撮影し、合成することで、ダイナミックレンジを改善する手法が知られている。

【0004】

さらに、短時間露光の画像を、時間間隔がほぼ無いように複数枚撮影し、これらの画像を合成することで、ＮＤフィルターを用いて、長時間露光をおこなったに等しい画像効果を得る処理が行われている。例えば、滝のような、水が流れている風景で、長時間露光を行った場合、水の“流れ”を強調した効果のある画像を撮影、合成する手法が知られている。

【0005】

このような手法の一つとしては、特許文献１では、複数回の露光毎に画素データ毎の閾値判定を行い、閾値に応じて合成処理を選択して、長時間の光の軌跡が撮影者の所望の効果となる方法が開示されている。

【0006】

また、特許文献２では、まず最初の２枚の画像を合成し、その画像の被写体の状態から、追加の撮影枚数を決定し、高ダイナミックレンジ（ＨＤＲ）画像を得る処理が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１６－７６８６９号公報

【文献】特開２０１４－１７１１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１では、閾値に応じた合成処理の選択は自動で行われているが、最終画像における長時間露光の光の軌跡が撮影者の所望の効果となっているかどうかは、撮影者の判断が必要であるという問題があった。

【0009】

また、特許文献２で、最初の２枚の画像のみに基づき最終画像をＨＤＲ画像とするために必要な合成枚数を決定しているため、最終画像のダイナミックレンが十分に高い画像とすることができない場合があった。

【0010】

すなわち、特許文献１，２では、複数枚の撮影を行って、ユーザが所望する画質改善や特殊効果等の効果が付加された画像を得たい場合、何枚の画像を撮影・合成すればユーザが所望する効果が十分に付加された画像が得られるかを判断することは困難であった。

【0011】

本発明は、ユーザが必要な撮影枚数を意識することなく得たい効果が十分な合成画像を得ることができる撮像装置および制御方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の請求項１に係る撮像装置は、流体である被写体の流れを強調した効果のある画像を撮影する条件において、撮影の終了条件を決定する決定手段と、前記被写体の画像を撮像する撮像手段と、前記撮像手段により前記被写体の画像が撮像される毎に、前記撮像手段により撮像された全ての前記被写体の画像の合成画像を作成する合成手段と、前記合成画像が作成される毎に、当該作成された合成画像の特徴量を算出する算出手段と、前記算出手段により算出された特徴量が前記終了条件を満たす場合、当該特徴量が算出された合成画像を最終合成画像として出力する出力手段とを備え、前記終了条件は、前記最終合成画像における前記被写体の滑らかさに関するものであることを特徴とする。

【発明の効果】

【0013】

本発明によれば、ユーザが必要な撮影枚数を意識することなく得たい効果が十分な合成画像を得ることができる。

【図面の簡単な説明】

【0014】

【図1】実施例１に係る撮像装置の全体の構成図である。

【図2】図１における画像処理部による実施例１の画像処理の流れを説明するための図である。

【図3】滝の撮影時に表示されるＵＩ画像の例である。

【図4】実施例１に係る合成画像作成処理のフローチャートである。

【図5】図４のステップＳ４０３で実行される画像合成を説明するための図である。

【図6】図５に示す各合成画像における滝画像を示す図である。

【図7】図５に示す各合成画像における図３の注目領域内の画素値のヒストグラムを示すグラフである。

【図8】図５に示す各合成画像における図３の注目領域内の画素値の標準偏差を示すグラフである。

【図9】図５に示す前後の合成画像における図３の注目領域内の画素値の差分絶対和を示すグラフである。

【図10】画像処理部による実施例２の画像処理の流れを説明するための図である。

【図11】実施例２に係る合成画像作成処理のフローチャートである。

【図12】撮影条件が「高解像度画像を撮影する」場合に図１１のステップＳ１１０３で実行される画像合成を説明するための図である。

【図13】撮影条件が「高解像度画像を撮影する」場合に図１１のステップＳ１１０４で実行される特徴量の計算及びステップＳ１１０５で実行される判別を説明するための図である。

【図14】実施例２に係る撮影条件が「ダイナミックレンジの広い画像を撮影する」場合の画像合成の例を示すグラフである。

【発明を実施するための形態】

【0015】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

【0016】

（実施例１）
以下、図１から図９を参照して、本発明の実施例１による撮像装置及びその制御方法について説明する。

【0017】

図１は、本発明の実施例１に係る撮像装置１０１の全体の構成図である。

【0018】

図１において、撮像装置１０１は、光学系１０２と、イメージセンサ１０３と、画像処理部１０４と、記録部１０５と、表示部１０６と、制御部１０７とを備える。

【0019】

光学系１０２は、ズームレンズなどのレンズ、光学絞り、ピント調整機能などを備えている。

【0020】

イメージセンサ１０３は、ＣＣＤやＣＭＯＳ等の光電変換素子であり、光学系で形成された被写体の像を電気信号に変換し、撮影画像を生成する撮像手段である。

【0021】

画像処理部１０４は、イメージセンサ１０３からの信号から、デベイヤ処理などの現像処理を行い、画像データを生成する。

【0022】

記録部１０５は、画像データを記憶する。

【0023】

表示部１０６は、画像データの表示や、撮影データなどの表示を行う。

【0024】

制御部１０７は、１０２～１０６の各部に対して、必要な制御を行う。

【0025】

画像処理部１０４は、画像合成部２０５、特徴量算出部２０６、及び終了判断部２０７を備える。図２に示すように、画像処理部１０４では、入力される撮影画像２０２を、逐次合成し、最終合成画像２０３を作成するという画像処理が実行される。この際、制御部１０７は、画像処理部１０４に、何枚目の撮影画像が画像処理部１０４に入力され、合成されているかを示す撮影枚数２０４の情報を画像処理部１０４に入力する。

【0026】

画像合成部２０５は、撮影画像の画像合成を行う、本実施例の画像合成の内容については、図５～図９にて後述する。

【0027】

特徴量算出部２０６は、画像処理部１０４で逐次作成される合成画像について、これに関連した特徴量を算出する。特徴量は、合成画像の全体について求める必要はない。すなわち、最終合成画像２０３においてユーザが所定の効果のある得たい箇所のみについて特徴量が算出される。本実施例では、ユーザは、“流れ”を強調した効果を、滝のような流体の被写体の撮影画像において得たい場合、ＵＩ画面３００（図３）を表示部１０６上に表示させる。その後、このＵＩ画面３００においてプレビューされる滝画像３０１のうち“流れ”を強調した効果のある画像を必要となる箇所（図３の例では、滝の流れの中心である斜線部に示す注目領域３０２）をユーザは選択する。特徴量算出部２０６は、合成画像におけるこの注目領域３０２のみから、特徴量を算出する。尚、滝の流れの中心である注目領域３０２の領域は、上述のようにユーザにより選択される領域でなくてもよく、例えば、シーン判別、動き検出などで求めてもよい。また、特徴量算出部２０６にて算出される特徴量の内容については、後述する。

【0028】

終了判断部２０７は、特徴量が終了条件を満たしているかの判断と、撮影枚数２０４が最大撮影枚数に達しているかの判断を行い、これらの判断の結果に基づき、画像合成部２０５での画像合成の終了や、追加の画像撮影の終了を判断する。本実施例では、図３に示すＵＩ画面３００のメッセージ部３０３において、流れ効果（流体の被写体の滑らかさ）を大・中・小のいずれかをユーザが選択したときに、その選択された流れ効果に応じて制御部１０７が閾値を設定する。特徴量がこの閾値未満となったときに、終了判断部２０７は、特徴量が終了条件を満たしていると判断する。尚、この終了条件は、撮影方法に応じて予め制御部１０７で定められていてもよい。

【0029】

図４は、実施例１に係る合成画像作成処理のフローチャートである。

【0030】

本処理は、画像処理部１０４がその内部に予め保持するプログラムを読み出すことにより実行される。

【0031】

まず、図４のステップＳ４０１で、撮影条件と撮影枚数、特徴量と終了条件などを決定する。図１では、制御部１０７で行われる。

【0032】

ここで決定される撮影条件は、滝画像を撮影する場合などに用いられる、「“流れ”を強調した効果のある画像を撮影する」である。本実施例では、ユーザがＵＩ画面３００を表示部１０６上に表示したときに、撮影条件を「“流れ”を強調した効果のある画像を撮影する」に決定する。かかる撮影条件に決定された場合、例えば、複数の適正露光の画像を取得して、加算平均合成をおこなうなどの撮影処理と合成処理などの動作が決定される。その後、ユーザがＵＩ画面３００でプレビュー表示される滝画像３０１のうち、滝の流れの中心である注目領域３０２をＵＩ画面３００上で選択したときに、特徴量を算出する領域を決定する。さらに、ＵＩ画面３００のメッセージ部３０３からユーザが得たい流れ量を指定したときに、この指定された流れ量、及び予め設定される特徴量の内容に従って、終了条件が決定される。

【0033】

またここで決定される撮影枚数は、合成処理を行う画像枚数の上限（最大撮影枚数）である。尚、特徴量は画像の“流れ”が表現できるものであれば、以下例示する特徴量以外であってもよい。また、終了条件は、求めた特徴量から“流れ”の効果が十分と判断できる条件であればよい。

【0034】

次に、ステップＳ４０２で、画像を１枚、撮影する。ここでの処理は、図１の光学系１０２や、イメージセンサ１０３を利用して、撮影画像を生成する処理である。尚、ここでの処理に、後の合成処理が可能となるように、画像処理部１０４で、必要な処理（デベイヤ処理、ホワイトバランスなど、いわゆる現像処理）を加えてもよい。

【0035】

次に、ステップＳ４０３で、画像合成を行う。ここでの処理は、直前のステップＳ４０２で２枚目以降の撮影画像が生成されたときに行われる処理である。この画像合成について、図５を用いて、滝画像３０１の撮影で「“流れ”を強調した効果のある画像の撮影する」場合を例に説明する。図５では、上段の→が示すように、左から右へ、画像撮影と合成処理が順次進む様子を概略して示しており、処理時間やタイミングの詳細は、省略してある。

【0036】

図５の撮影画像の行は、ステップＳ４０２にて１枚ずつ順次生成される撮影画像ｆ１～ｆ６の様子を示す。

【0037】

次の加算画像の行は、撮影画像ｆ１～ｆ６が撮影される毎に順次加算される様子を示す。すなわち、１枚目の撮影画像ｆ１が撮影された後、２枚目の撮影画像ｆ２が撮影されると、１枚目の撮影画像ｆ１と２枚目の撮影画像ｆ２の、各画素値を加算した、加算画像ｆ１＋ｆ２が生成される。以下、３枚目の撮影画像ｆ３が撮影されると、加算画像ｆ１＋ｆ２＋ｆ３が生成され、４枚目の撮影画像ｆ４が撮影されると、加算画像ｆ１＋ｆ２＋ｆ３＋ｆ４が生成される。

【0038】

次に合成画像の行は、加算画像が生成される毎に、その生成された加算画像と現在までの撮影画像枚数から算出される平均画像を合成画像とする。すなわち、２枚目の撮影画像ｆ２が撮影され、加算画像ｆ１＋ｆ２が生成されると、加算画像ｆ１＋ｆ２を撮影枚数の２で割って得られた平均画像を合成画像（（ｆ１＋ｆ２）／２）とする。同様に、３枚目の撮影画像ｆ３が撮影され、加算画像ｆ１＋ｆ２＋ｆ３が生成されるとこれを３で割って合成画像（（ｆ１＋ｆ２＋ｆ３）／３）とする。同様に、４枚目の撮影画像ｆ４が撮影され、加算画像ｆ１＋ｆ２＋ｆ３＋ｆ４が生成されるとこれを４で割って合成画像（（ｆ１＋ｆ２＋ｆ３）／４）とする。

【0039】

この様に、ステップＳ４０３では、ステップＳ４０２で１枚の撮影画像が生成される度に、合成画像を作成する。

【0040】

図５に示す各合成画像における滝画像の様子を、図６に示す。

【0041】

図６（ａ）は、最初の撮影により生成された撮影画像ｆ１を表しており、滝６０１の表面の水の“流れ”は、少ない。図６（ｂ）～（ｄ）は、撮影画像ｆ１～ｆ４を順次合成した状態を示しており、図５の合成画像（（ｆ１＋ｆ２）／２），（（ｆ１＋ｆ２＋ｆ３）／３），（（ｆ１＋ｆ２＋ｆ３＋ｆ４）／４）に夫々相当する。本実施例では、図５の合成画像（（ｆ１＋ｆ２＋ｆ３＋ｆ４）／４）で滝の“流れ”効果は十分に得られた状態となっている場合を例に説明する。

【0042】

図４のフローチャートに戻ると、ステップＳ４０４で、直前のステップＳ４０３で生成された合成画像の特徴量を計算する。合成画像の特徴量は、その目的、効果に応じてステップＳ４０１で決定される。本実施例では、ステップＳ４０１で特徴量を算出する領域として決定された図３の注目領域３０２の中が“流れる”ような効果を出す場合の合成画像の特徴量について説明する。

【0043】

図７（ａ）～（ｄ）は、図５に示す各合成画像における図３の注目領域３０２内の画素値のヒストグラムを示すグラフである。図７（ａ）～（ｄ）の夫々のグラフにおいて、横軸は画素値を示し、縦軸は各画素値の度数を示す。図７（ａ）は、１枚目の撮影画像ｆ１について求めたヒストグラムであり、図７（ｂ）は、合成画像（（ｆ１＋ｆ２）／２）について求めたヒストグラムである。以後、図７（ｃ）は、合成画像（（ｆ１＋ｆ２＋ｆ３）／３）について求めたヒストグラムであり、図７（ｄ）は、合成画像（（ｆ１＋ｆ２＋ｆ３＋ｆ４）／４）について求めたヒストグラムである。図７（ａ）～（ｄ）で、わかる通り、合成枚数が多くなるにつれて、ヒストグラムの形状の変化が小さくなる。すなわち、滝画像の“流れ”効果が一定に近づき、変化が小さくなる。よって、このヒストグラムの形状の変化を、特徴量として利用できる。具体的には、ヒストグラムの形状の変化として、前回合成した合成画像のヒストグラムと、今回新たに合成した合成画像の、画素値毎に頻度の差分を求め、その二乗の総和を算出する。すなわち、ある画素値ｉの、前回作成した合成画像における頻度をｘｉ、今回新たに作成した合成画像における頻度をｙｉとした場合、ヒストグラムの形状の変化△Ｈは、下記の式で求められる。この△Ｈを特徴量として利用するようにしてもよい。

【0044】

【数1】

【0045】

また、同様に、前回作成した合成画像のヒストグラムと今回新たに作成した合成画像のヒストグラムの（画素値、頻度）の組について、相互相関関数値を求め、これを特徴量として利用するようにしてもよい。この場合、ヒストグラムの変化が小さくなるにつれて、相互相関関数値は、１．０に近い値を示す。

【0046】

また、図３の注目領域３０２内の画素値の、分散や標準偏差を特徴量として利用するようにしてもよい。図５に示す各合成画像における図３の注目領域３０２内の画素値の標準偏差を図８に示す。図８において、横軸は合成した画像枚数（撮影枚数）であり、縦軸はその合成画像の標準偏差を示す。図８でわかる通り、合成した画像枚数が増えるにつれて、標準偏差の変化は小さくなる。すなわち、滝画像の“流れ”効果が一定に近づき、変化が小さくなる。よって、この標準偏差の変化量も特徴量として利用できる。

【0047】

また、前後の合成画像の相関を特徴量として利用するようにしてもよい。例えば、撮影枚数が３枚のときの合成画像と撮影枚数が２枚のときの合成画像との差分絶対和を、撮影枚数が３枚のときの前後の合成画像の相関として求める。図５に示す各合成画像における図３の注目領域３０２内の画素値の差分絶対和を図９に示す。図９でわかる通り、合成した画像枚数が増えるにつれて、差分絶対値和は小さくなる。すなわち、滝画像の“流れ”効果が一定に近づき、変化が小さくなる。よって、この差分絶対値和の変化量も特徴量として利用できる。

【0048】

なお、特徴量として、ヒストグラム、分散、標準偏差、及び差分絶対和の例を示したが、これらを組み合わせて特徴量とすることも可能である。

【0049】

再び、図４のフローチャートに戻ると、ステップＳ４０５で、ステップＳ４０４で計算された合成画像の特徴量が終了条件を満たしているか（特徴量が閾値未満であるか）否かの判別を行う。すなわち、ステップＳ４０４で計算した特徴量より、合成画像がユーザが要求する効果を有する、例えば、合成画像における滝画像の“流れ”効果が大という条件を十分満たすと判断した場合は、撮影を中止し、ステップＳ４０７に進む。ステップＳ４０７では、最終合成画像の出力（表示部１０６での表示や記録部１０５での記録）を行い、本処理を終了する。例えば、特徴量がヒストグラムであった場合、ヒストグラムの形状の変化がステップＳ４０１で決定された終了条件となる閾値未満である場合、滝画像の“流れ”効果が十分であると判断して、撮影を中止する。また、特徴量が標準偏差であった場合、標準偏差の変化がステップＳ４０１で決定された終了条件となる閾値未満である場合、滝画像の“流れ”効果が十分であると判断して、撮影を中止する。また、特徴量が差分絶対和であった場合、その変化がステップＳ４０１で決定された終了条件となる閾値未満である場合、あるいは、差分絶対和の値が図９で示すｔｈ未満である場合、滝画像の“流れ”効果が十分であると判断して、撮影を中止する。あるいは、ヒストグラムと標準偏差と差分絶対和の組み合わせから、滝画像の“流れ”効果が十分であると判断した場合、撮影を中止する。

【0050】

一方、ステップＳ４０５の判別の結果、ステップＳ４０４で計算された合成画像の特徴量が終了条件を満たしていない（特徴量が閾値以上である）と判断した場合、ステップＳ４０６に進む。ステップＳ４０６では、撮影枚数を判別し、ステップＳ４０１で決定された最大撮影枚数に達していない場合は、ステップＳ４０２に戻り、撮影を繰り返す。最大撮影枚数に達していたならば、撮影を中止し、ステップＳ４０７に進み、最終合成画像の出力を行い、本処理を終了する。

【0051】

ここで、図５に戻って、特徴量と最終出力画像について説明する。前述の通り、各合成画像が作成された際に、その合成画像の特徴量が計算される。例えば、２枚目の撮影画像ｆ２の生成、及び合成画像（（ｆ１＋ｆ２）／２）の作成がされると、その合成画像について特徴量ａ２が求められる。本実施例では、特徴量ａ２が閾値以上であって、終了条件を満たしていない（その合成画像に対してユーザが要求する効果が不十分である）。このため、次の３枚目の撮影画像ｆ３の生成、及び合成画像（（ｆ１＋ｆ２＋ｆ３）／３）の作成がされ、その合成画像について特徴量ａ３が求められる。本実施例では、特徴量ａ３が閾値以上であって、終了条件を満たしていない。このため、さらに次の４枚目の撮影画像ｆ４の生成、及び合成画像（（ｆ１＋ｆ２＋ｆ３＋ｆ４）／４）の作成がされ、その合成画像について、特徴量ａ４が求められる。本実施例では、特徴量ａ４が閾値未満であって、終了条件を満たしている。このため、図５において図示される、５枚目の撮影画像ｆ５、６枚目の撮影画像ｆ６を生成するための撮影は中止し、合成画像の作成もされない。すなわち、本実施例では、ステップＳ４０７において出力される最終合成画像は、四枚目の撮影画像ｆ４の生成の際に作成された合成画像（（ｆ１＋ｆ２＋ｆ３＋ｆ４）／４）となる。

【0052】

尚、本実施例では、特徴量ａ４が終了条件を満たした場合、その後の撮影を中止するが、５枚目の撮影画像ｆ５や６枚目の撮影画像ｆ６は、最終合成画像の出力と並行して行うようにしてもよい。すなわち、本発明は、ステップＳ４０４で計算された特徴量が終了条件を満たした後は新たな合成画像が作成されなければよく、その後の撮影を中止しなくてもよい。

【0053】

以上説明した通り、本実施例では、撮影しながら、逐次合成画像を作成し、作成した合成画像の特徴量が終了条件を満たした場合、その合成画像を最終合成画像として出力する。これにより、ユーザが必要な撮影枚数を意識することなく得たい効果が十分な合成画像を得ることができる。

【0054】

（実施例２）
以下、図１０から図１４を参照して、本発明の実施例２による撮像装置及びその制御方法について説明する。実施例２は、合成画像の作成の際に撮影条件を考慮する点で、実施例１と異なるが、その全体構成は実施例１と同一である。よって、実施例１と同一の構成については同一の符号を付し、重複した説明は省略する。

【0055】

図１０は、画像処理部１０４による実施例２の画像処理の流れを説明するための図である。

【0056】

画像処理部１０４は、画像合成部１００６、特徴量算出部１００７、及び終了判断部１００８を備える。図１０に示すように、画像処理部１０４では、入力される撮影画像１００２を、逐次合成し、最終合成画像１００４を作成するという画像処理が実行される。この際、制御部１０７は、画像処理部１０４に、何枚目の撮影画像が画像処理部１０４に入力され、合成されているかを示す撮影枚数１００３の情報を画像処理部１０４に入力する。また、制御部１０７は、撮影条件に応じて設定される、露出時間や絞り値やＩＳＯ感度など露出条件１００５の情報を画像処理部１０４に入力する。

【0057】

画像合成部１００６は、撮影条件を考慮した撮影画像の画像合成を行う。本実施例の画像合成の内容については、図１２～図１４にて後述する。

【0058】

特徴量算出部１００７は、画像合成部１００６で逐次作成される合成画像について、これに関連した特徴量を算出する。実施例１と同様、特徴量は、合成画像の全体について求める必要はない。すなわち、最終合成画像１００４においてユーザが所定の効果のある得たい箇所のみについて特徴量が算出される。本実施例においても、実施例１と同様、図３の滝の流れの中心である注目領域３０２について特徴量が算出される。特徴量の内容については、後述する。

【0059】

終了判断部１００８は、特徴量が終了条件を満たしているかの判断と、撮影枚数１００３が最大撮影枚数に達しているかの判断を行い、これらの判断の結果に基づき、画像合成部１００６での合成処理の終了や、追加の画像撮影の終了を判断する。

【0060】

まず、撮影条件が「高解像度画像を撮影する」場合の画像合成の例を、図１１～１３を用いて説明する。

【0061】

図１１は、実施例２に係る合成画像作成処理のフローチャートである。

【0062】

本処理は、図４のフローチャートと同等、画像処理部１０４がその内部に予め保持するプログラムを読み出すことにより実行される。

【0063】

ステップＳ１１０１，Ｓ１１０２で、図４のステップＳ４０１，Ｓ４０２と同様の処理を行った後、ステップＳ１１０３に進み、ステップＳ１１０１で決めた撮影条件を考慮した画像合成を行う。

【0064】

図１２は、上から、撮影画像、合成画像、合成画像の特徴量、最終合成画像を示している。撮影画像ｆ１～ｆ６は撮影される毎に、逐次合成画像が作成され、その合成画像の特徴量ｂ２～ｂ４が算出される。算出された特徴量が終了条件を満たしている（ユーザが要求する効果が十分である）と判断した場合、撮影を中止し、最終合成画像を出力する。尚、図１２では、例えば３枚目の合成画像を、撮影画像ｆ１，ｆ２，ｆ３の各画素値を単純に加算して生成しているが、実際は各画素値に、撮影条件に応じた重みづけなどを行ってもよい。

【0065】

図１１のフローチャートに戻り、ステップＳ１１０４で、撮影条件に応じて、ステップＳ１１０３で作成された合成画像の特徴量を計算する。その後、ステップＳ１１０５で、ステップＳ１１０４で計算された合成画像の特徴量が終了条件を満たしているか否かの判別を行う。

【0066】

この例では、合成画像の特徴量を注目領域の画素値の最大値とし、この最大値が合成画像が表現できる画素値の最大値に達したら（特徴量が閾値を超えた場合）、特徴量が終了条件を満たしていると判別する。具体的には、合成画像の画素値が８ビットで表現されている場合、合成画像が表現できる最大値は２５５である。よって、注目領域の画素値の最大値が２５５に達したら、特徴量が終了条件を満たしていると判別する。この様子を、図１３を用いて説明する。図１３（ａ）～（ｆ）は、図１２に示す各合成画像の注目領域３０２内の画素値のヒストグラムを示すグラフであり、横軸に画素値を示し、縦軸に頻度を示す。撮影する毎に、図１３（ａ）～（ｆ）へと、合成画像のヒストグラムが変化する。図１３（ａ）～（ｆ）において、上向き白矢印は、合成画像の注目領域３０２内の画素値の最大値（特徴量）である。また、下向き黒三角は、合成画像が表現できる画素値の最大値（閾値）を示している。合成画像を作成する毎に、その注目領域３０２の画素値の最大値を特徴量として求め、求めた特徴量が合成画像が表現できる画素値の最大値に達していない場合、撮影を繰り返す。

【0067】

この時、合成画像が表現できる画素値の最大値の値から、撮影する際の露出値を調整して、合成画像の画素値の最大値が２５５を超えないようにしてもよい。

【0068】

図１１のフローチャートに戻り、ステップＳ１１０５で、特徴量が終了条件を満たした場合、ユーザの要求する最大解像度の画像が得られたと判断して、撮影を中止し、ステップＳ１１０７に進む。一方、特徴量が終了条件を満たしていない場合、ユーザの要求する最大解像度の画像が得られと判別した場合、ステップＳ１１０６に進み、ステップＳ４０６と同様の処理を行った後、ステップＳ１１０７に進む。

【0069】

ステップＳ１１０７では、図４のステップＳ４０７と同様、最終合成画像の出力を行い、本処理を終了する。

【0070】

次に、撮影条件が「ダイナミックレンジの広い画像を撮影する」場合の画像合成の例を図１１，１４を用いて説明する。

【0071】

図１１の合成画像作成処理が開始すると、まず、ステップＳ１１０１で、図４のステップＳ４０１と同様の処理を行う。この例では、ステップＳ１１０１でユーザの要求するダイナミックレンジの広さを終了条件となる閾値に決定する。

【0072】

次に、ステップＳ１１０２で、図４のステップＳ４０２と同様の処理を行う。この例では、２枚目以降の撮影画像の生成の際には、露出条件１００５に従い、前回の撮影より一定量だけ露出値を大きくして撮影を行う。その後、ステップＳ１１０３で、ステップＳ１１０１で決めた撮影条件を考慮した画像合成を行う。

【0073】

図１４（ａ）～（ｃ）は、その順に露出を大きくして撮影した際に得られた撮影画像における図３の注目領域３０２内の画素値のヒストグラムである。尚、図１４（ｃ）に例示されるヒストグラムは露出オーバーで撮影画像が飽和しており、本来２つのピークが存在するヒストグラムにおいて１つのピークしか観測されない状態となっている。３枚の撮影画像が得られた段階で、それまで撮影された各撮影画像の露出が同じになるように換算して合成画像を作成する。この合成画像における図３の注目領域３０２内の画素値のヒストグラムを図１４（ｄ）に示す。この例で作成される合成画像では、その高輝度部分は主に図１４（ａ）のヒストグラムで示す１枚目の撮影画像における画素が重点的に合成される。またその中輝度部分は主に図１４（ｂ）のヒストグラムで示す２枚目の撮影画像における画素が、その低輝度部分は図１４（ｃ）のヒストグラムで示す２枚目の撮影画像における画素が重点的に合成される。結果として、１枚の撮影画像よりも、広いダイナミックレンジを持った合成画像を得ることができる。尚、本実施例では、合成画像の作成開始タイミングを３枚の撮影画像が得られた段階としたが、複数枚の撮影画像が得られた段階であればこれに限定されない。

【0074】

図１１のフローチャートに戻り、ステップＳ１１０４で、特徴量として、図１４（ｄ）のヒストグラムを用いてダイナミックレンジの広さを計算する。

【0075】

ステップＳ１１０５で計算されたダイナミックレンジの広さ（特徴量）がステップＳ１１０１で設定された閾値に達した場合、ユーザの要求する広さのダイナミックレンジの画像が得られたと判断して、撮影を中止し、ステップＳ１１０７に進む。一方、特徴量が閾値に達していない場合、ユーザの要求する広さのダイナミックレンジの画像が得られていないと判断し、ステップＳ１１０２に戻り、今回の露出値より一定量だけ露出値をさらに大きくして撮影を行う。

【0076】

以上説明した通り、本実施例では、撮影しながら、撮影条件を考慮して逐次合成画像を作成し、作成した合成画像の特徴量が終了条件を満たした場合、その合成画像を最終合成画像として出力する。これにより、ユーザが必要な撮影枚数を意識することなく得たい効果が十分な合成画像を得ることができる。

【0077】

なお、星空撮影等に本発明を使用してもよい。但し、この場合は複数枚の画像を合成する際に、位置合わせなどの前処理を行う必要がある。

【0078】

また、実施例１，２において例示した撮影条件以外の目的・効果を得るべく合成画像を作成する場合も本発明に含まれる。この場合、その目的・効果に応じて、終了条件となる閾値、合成画像の特徴量の算出方法が設定される。また、その目的・効果によっては、合成画像の作成の際にその目的・効果を考慮する。

【0079】

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶（格納）した記録媒体は本発明を構成することになる。

【符号の説明】

【0080】

１０１ 撮像装置
１０２ 光学系
１０３ イメージセンサ
１０４ 画像処理部
１０５ 記録部
１０６ 表示部
１０７ 制御部
２０２，１００２ 撮影画像
２０３，１００４ 最終合成画像
２０４，１００３ 撮影枚数
２０５，１００６ 画像合成部
２０６，１００７ 特徴量算出部
２０７，１００８ 終了判断部
１００５ 露出条件

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】