特許 5948960 カメラ、画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5948960

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月6日

(54)【発明の名称】カメラ、画像処理装置及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160623BHJP

   G06T 5/50 20060101ALI20160623BHJP

   H04N 101/00 20060101ALN20160623BHJP

【ＦＩ】

   H04N5/232 Z

   G06T5/50

   H04N101:00

【請求項の数】15

【全頁数】13

(21)【出願番号】特願2012-44326(P2012-44326)

(22)【出願日】2012年2月29日

(65)【公開番号】特開2013-183220(P2013-183220A)

(43)【公開日】2013年9月12日

【審査請求日】2015年2月25日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】中田 佑子

(72)【発明者】

【氏名】坂本 浩一

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１１−１７６５５７（ＪＰ，Ａ）

【文献】 特開２０１０−０４５４２１（ＪＰ，Ａ）

【文献】 特開２０１０−２６３４２３（ＪＰ，Ａ）

【文献】 特開２０１０−２３３１８８（ＪＰ，Ａ）

【文献】 特開２００８−１９８０６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ １０１／００

(57)【特許請求の範囲】

【請求項1】

被写体を撮像し、複数の画像データを生成する撮像部と、
前記撮像部で撮像された複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択部と、
前記選択部で選択された合成用画像データを前記特定の画像データに合成する合成部と、
前記合成部によって合成された合成画像データを記録する記録部と、を備え、
前記合成部は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定するカメラ。

【請求項2】

請求項１に記載のカメラにおいて、
前記合成用画像データのゲインを補正するゲイン補正部と、を備え、
前記合成部は、前記ゲイン補正部でゲインが補正された前記合成用画像データを前記特定の画像データに合成するカメラ。

【請求項3】

請求項２に記載のカメラにおいて、
前記ゲイン補正部は、前記特定の画像データに合成する前記合成用画像データの合成枚数に基づいて、前記合成用画像データのゲインを決定するカメラ。

【請求項4】

請求項２に記載のカメラにおいて、
前記ゲイン補正部は、前記特定の画像データの撮影時間と、前記合成用画像データの撮影時間とに基づいて、前記合成用画像データのゲインの強さを決定するカメラ。

【請求項5】

請求項２〜４のいずれか一項に記載のカメラにおいて、
前記ゲイン補正部は、前記合成用画像データのうち、前記特定の画像データに撮影時間が近いものには高いゲインを掛け、前記特定の画像データから撮影時間が遠くなるほど、掛けるゲインを低くするカメラ。

【請求項6】

請求項１〜５のいずれか一項に記載のカメラにおいて、
前記選択部は、前記画像データのそれぞれを解析して評価値を算出し、前記評価値が最も高い画像を前記特定の画像データとして選択するカメラ。

【請求項7】

請求項１〜６のいずれか一項に記載のカメラにおいて、
前記選択部によって選択された前記特定の画像データを、使用者からの指示に基づいて、前記画像データの中から選択し直すカメラ。

【請求項8】

請求項１〜７のいずれか一項に記載のカメラにおいて、
前記合成部によって生成された前記合成画像データに対して画像処理を施すことにより、演出効果をさらに高める画像処理部をさらに備えるカメラ。

【請求項9】

請求項８に記載のカメラにおいて、
前記画像処理部は、前記合成画像データに対して、階調補正処理、ぼかし処理、彩度強調処理のうちの少なくとも１つを施すカメラ。

【請求項10】

請求項１〜９のいずれか一項に記載のカメラにおいて、
撮影時の手振れを検出する手振れ検出部をさらに備え、
前記合成部は、前記手振れ検出部によって検出された手振れ量が所定値以下のときは、前記特定の画像データと前記合成用画像データの画像内の一部の領域を用いて前記合成用画像データの位置合わせを行って合成を行うカメラ。

【請求項11】

請求項１０に記載のカメラにおいて、
前記合成部は、位置合わせをした後に、全ての画像の大きさが揃うように、前記特定の画像データと前記合成用画像データとをクロップするカメラ。

【請求項12】

請求項１〜１１のいずれか一項に記載のカメラにおいて、
前記記録部は、前記特定の画像データと前記合成画像データとを関連付けて記録するカメラ。

【請求項13】

複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択部と、
前記選択部で選択された合成用画像データを前記特定の画像データに合成する合成部と、
前記合成部によって合成された合成画像データを記録する記録部と、を備え、
前記合成部は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定する画像処理装置。

【請求項14】

コンピュータに、
被写体を撮像し、複数の画像データを生成する撮像手順、
前記撮像手順で撮像された複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択手順、
前記選択手順で選択された合成用画像データを前記特定の画像データに合成する合成手順、
前記合成手順によって合成された合成画像データを記録する記録手順、
を実行させるためのプログラムであって、
前記合成手順は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定するプログラム。

【請求項15】

コンピュータに、
複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択手順、
前記選択手順で選択された合成用画像データを前記特定の画像データに合成する合成手順、
前記合成手順によって合成された合成画像データを記録する記録手順、
を実行させるためのプログラムであって、
前記合成手順は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ、画像処理装置及びプログラムに関する。

【背景技術】

【0002】

次のような画像処理装置が知られている。この画像処理装置は、連続撮影画像の中からベストショット画像を選択して記録する（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−０８９０７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の画像処理装置では、ベストショット画像を取得して記録することはできるが、取得したベストショット画像に演出効果を付すことはできなかった。

【課題を解決するための手段】

【0005】

本発明によるカメラは、被写体を撮像し、複数の画像データを生成する撮像部と、前記撮像部で撮像された複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択部と、前記選択部で選択された合成用画像データを前記特定の画像データに合成する合成部と、前記合成部によって合成された合成画像データを記録する記録部と、を備え、前記合成部は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定する。
本発明による画像処理装置は、複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択部と、前記選択部で選択された合成用画像データを前記特定の画像データに合成する合成部と、前記合成部によって合成された合成画像データを記録する記録部と、を備え、前記合成部は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定する。
本発明によるプログラムは、コンピュータに、被写体を撮像し、複数の画像データを生成する撮像手順、前記撮像手順で撮像された複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択手順、前記選択手順で選択された合成用画像データを前記特定の画像データに合成する合成手順、前記合成手順によって合成された合成画像データを記録する記録手順、を実行させるためのプログラムであって、前記合成手順は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定する。
本発明によるプログラムは、コンピュータに、複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択する選択手順、前記選択手順で選択された合成用画像データを前記特定の画像データに合成する合成手順、 前記合成手順によって合成された合成画像データを記録する記録手順、を実行させるためのプログラムであって、前記合成手順は、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定する。

【発明の効果】

【0006】

本発明によれば、ベストショット画像を含んだ合成画像を生成して、ベストショット画像に演出効果を付すことができる。

【図面の簡単な説明】

【0007】

【図1】カメラの一実施の形態の構成を示すブロック図である。

【図2】撮影処理の流れを示すフローチャート図である。

【図3】プリキャプチャー撮影における画像取得タイミングの具体例を模式的に示した図である。

【図4】合成画像の具体例を示す第１の図である。

【図5】合成画像の具体例を示す第２の図である。

【図6】合成画像の具体例を示す第３の図である。

【発明を実施するための形態】

【0008】

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

【0009】

レンズ１０２は、不図示のマウント部を介してカメラ１００に着脱可能な構成となっていてもよいし、カメラ１００と一体となっていてもよい。なお、レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＭＯＳなどのイメージセンサにより構成され、レンズ１０２を通過した光束による被写体像を光電変換してアナログ画像信号を生成し、生成したアナログ画像信号を制御装置１０４へ出力する。

【0010】

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

【0011】

制御装置１０４は、撮像素子１０３から入力されたアナログ画像信号をデジタル画像信号に変換し、種々の画像処理を施した後に所定の画像形式、例えばＪＰＥＧ形式の本画像データを生成する。また、制御装置１０４は、生成した本画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

【0012】

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

【0013】

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードがライブビューモードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

【0014】

本実施の形態におけるカメラ１００は、使用者によって撮影のための予備操作が行われたときに、高速（例えば、３０ｆｐｓや６０ｆｐｓ等の速度）で連写を行ってプリキャプチャー撮影を行い、その後、使用者によって撮影指示のための操作が行われたときに、上記プリキャプチャー撮影によって取得された複数の画像を、あらかじめ決められた評価値を用いて評価することにより、特定の１枚の画像をベストショット画像として選択し、選択したベストショット画像をメモリカードに記録するベストショット撮影機能を備えている。

【0015】

例えば、制御装置１０４は、使用者による操作部材１０１に含まれるレリーズボタンの半押し操作を上記予備操作として検出し、オートフォーカス処理等の撮影準備処理を開始するとともに、上述したプリキャプチャー撮影を行う。制御装置１０４は、その後、使用者によってレリーズボタンが全押しされたときに、撮影指示のための操作がなされたと判断して、ベストショット画像の選択を行う。

【0016】

なお、ベストショット画像の選択方法は、公知の処理であるため詳細な説明は省略するが、プリキャプチャー画像のそれぞれを解析して、一般的に良いと評価される画像が自動的に選択されるように評価値が算出される。例えば、手ブレ量が大きい画像の評価値や、人物が目を閉じている画像は、評価値が低く算出され、ベストショット画像として選択されにくくなっている。制御装置１０４は、プリキャプチャー撮影によって取得された複数の画像の中から、ベストショット画像選択のために算出された評価値が最も高い画像をベストショット画像として選択する。

【0017】

また、本実施の形態では、制御装置１０４は、上述したプリキャプチャー撮影機能により取得された複数の画像の中から、所定の選択条件に基づいて少なくともベストショット画像を含んだ２枚以上の画像を選択し、それらの画像を合成することにより、ベストショット画像に演出効果を付与した合成画像を生成する。なお、合成に用いる画像の選択条件については後述する。制御装置１０４は、使用者による一連の予備操作と撮影指示のための操作により取得したベストショット画像と合成画像とを関連付けてメモリカードに記録する。これによって、本実施の形態におけるカメラ１００では、ベストショット画像を自動的に選択するとともに、ベストショット画像に演出効果を付与した合成画像を生成して、それぞれを関連付けて記録することができる。

【0018】

図２は、本実施の形態における撮影処理の流れを示すフローチャートである。図２に示す処理は、使用者によってカメラ１００のモードが上述したベストショット画像と合成画像とを関連付けて記録するモードに設定されたときに起動するプログラムとして、制御装置１０４によって実行される。

【0019】

ステップＳ１において、制御装置１０４は、使用者によって操作部材１０１に含まれるレリーズボタンが半押しされることにより、上述した撮影のための予備操作が行われたか否かを判断する。ステップＳ１で肯定判断した場合には、ステップＳ２へ進む。

【0020】

ステップＳ２では、制御装置１０４は、図３に示すように、プリキャプチャー撮影における画像の取得タイミングを制御するための時間Ａ、Ｂ、Ｃを設定する。時間Ａ、Ｂ、Ｃの設定例を図３に示す。図３では、横軸が時刻を表しており、時刻ｔ０でレリーズボタンが半押しされ、時刻ｔ１でレリーズボタンが全押しされている。本実施の形態では、制御装置１０４は、時刻ｔ０でレリーズボタンの半押しを検出した後、時間Ｃの間、プリキャプチャー撮影による高速連写を行って複数枚の画像を取得する。

【0021】

例えば、時間Ｃとしては、連写速度と連写によって取得すべき画像の枚数に応じて設定され、ここでは、６０ｆｐｓの速度で高速連写を行って２０枚の画像を取得するために必要な時間が設定される。時間Ａは、時刻ｔ１でレリーズボタンが全押しされる前に何枚の画像を取得するかに応じて設定され、時間Ｂは、時刻ｔ１でレリーズボタンが全押しされた後に何枚の画像を取得するかに応じて設定される。例えば、２０枚の画像のうち、レリーズボタンが全押しされる前に１２枚、レリーズボタンが全押しされた後に８枚取得する場合には、時間Ｃ＝時間Ａ＋時間Ｂ、かつ時間Ａ：時間Ｂが６：４となるように、時間ＡとＢとを設定する。その後、ステップＳ３へ進む。

【0022】

ステップＳ３では、制御装置１０４は、レリーズ待機処理を実行する。本実施の形態では、上述したように、高速連写を行ってプリキャプチャー撮影を行いながら、レリーズボタンからの入力信号の検出を継続して、使用者によるレリーズボタンの全押し操作を待ち受ける。なお、本実施の形態では、図３に示したように、レリーズボタンが全押しされる前は、時間Ａの間だけ連写撮影を行えばよいが、レリーズボタンが全押しされるタイミング（時刻ｔ１）は、使用者の操作タイミングに依存するため、制御装置１０４は、このタイミングを予測することができない。よって、制御装置１０４は、使用者によってレリーズボタンが半押しされた後にプリキャプチャー撮影を開始して画像を取得しておき、後の処理において、ここで取得しておいた画像の中から時間Ａの間に撮影した画像のみを抽出する。

【0023】

その後、ステップＳ４へ進み、制御装置１０４は、レリーズボタンの半押しを検出してから所定時間以内に使用者によるレリーズボタンの全押し操作を検出したか否かを判断する。ステップＳ４で否定判断した場合には、ステップＳ１へ戻る。これにより、レリーズボタンの半押し操作から所定時間以内に全押し操作が行われない場合には、処理をタイムアウトさせることができる。これに対して、ステップＳ４で肯定判断した場合には、ステップＳ５へ進む。

【0024】

ステップＳ５では、制御装置１０４は、レリーズ処理を開始する。具体的には、制御装置１０４は、図３に示したように、時刻ｔ１でレリーズボタンが全押しされてから時間Ｂの間連写を継続する。その後、ステップＳ６へ進み、制御装置１０４は、図３に示したように、時刻ｔ１から時間Ｂの経過した後に連写を終了して、プリキャプチャー撮影による画像の取得を終了する。このとき、制御装置１０４は、上述したように時刻ｔ１よりも前にプリキャプチャー撮影により取得した画像のうち、時刻ｔ１の前の時間Ａの間に取得した画像を抽出する。そして、抽出した時刻ｔ１の前の時間Ａの間に取得した画像と、時刻ｔ１の後に取得した画像とをプリキャプチャー撮影により取得した画像（以下、「プリキャプチャー画像」と呼ぶ）としてバッファメモリに記録する。これによって、図３に示した時間Ｃの間に取得したプリキャプチャー画像（予備画像）をバッファメモリに記録することができる。その後、ステップＳ７へ進む。

【0025】

ステップＳ７では、制御装置１０４は、ステップＳ６でバッファメモリに記録したプリキャプチャー画像を対象として、公知のベストショット画像選択処理を実行し、算出された評価値が最も高い画像をベストショット画像として選択する。これによって、例えば、時間Ｃの間に撮影された２０枚のプリキャプチャー画像の中から１枚のベストショット画像が選択される。

【0026】

その後、ステップＳ８へ進み、制御装置１０４は、プリキャプチャー画像の中から複数の合成用画像を選択する。本実施の形態では、合成する画像の枚数はあらかじめ設定されているものとする。この設定枚数は、使用者が任意に変更できるようにしてもよい。あるいは、制御装置１０４が撮影条件や被写体に基づいて枚数を設定するようにしてもよい。例えば、被写体の動きが早い場合や移動量が大きい場合には、制御装置１０４は、設定枚数を多くして、合成画像が被写体の動きを的確に表すようにする。また、４枚の画像を合成するように設定されている場合には、制御装置１０４は、ステップＳ７で選択したベストショット画像を含む４枚の画像を合成するために、プリキャプチャー画像の中からベストショット画像を除いて選択した３枚の画像を合成用画像として選択する。

【0027】

ここで、本実施の形態における合成用画像の選択条件の一例を示す。本実施の形態では、制御装置１０４は、例えば、撮影条件や被写体に基づいて合成用画像を選択するものとする。具体的には、制御装置１０４は、使用者がプリキャプチャー画像の撮影時にカメラを振って撮影方向を変更した場合のそれぞれのプリキャプチャー画像におけるカメラの移動方向やカメラの移動量、主要被写体の種類、撮影シーンの種類、主要被写体の移動量、主要被写体のポーズや配置等の１つまたはこれらの組み合わせに応じて合成用画像を選択する。なお、カメラの移動方向や移動量は、カメラ１００にジャイロセンサ等を備えることに検出可能であり、撮影時にこれらを検出して画像に関連付けておくことで判定が可能になる。主要被写体の種類や撮影シーンの種類については、撮影時のシーン判定結果を画像に関連付けておくことで判定が可能になる。主要被写体の移動量や主要被写体のポーズや配置については、撮影時に被写体認識を行って、認識結果を画像に関連付けておくことで判定が可能になる。

【0028】

図４〜図６に生成される合成用画像の一例を示す。図４はバスケットボールの試合中にシュートする人物の合成用画像、図５はジャンプするバレリーナの合成用画像、図６は揺らめいている旗Ｆの合成用画像である。
例えば、プリキャプチャー撮影によって取得された画像がバスケットボールの試合中にシュートをするゴルフのスイングをする人物を撮影した画像であるとする。この場合には、被写体の移動量（人物ゴルフクラブの移動量）に応じた枚数（図４の例では３枚）の合成用画像が選択される。その結果、図４に示すように、演出効果としてバスケットゴールに向けてシュートする人物の移動軌跡を表した合成用画像を作成することが可能となる。

【0029】

あるいは、プリキャプチャー撮影によって取得された画像がジャンプをするバレリーナを撮影した画像であるとする。この場合には、カメラのスイング方向、スイング量、被写体の移動量に応じた枚数（図５の例では３枚）の合成用画像が選択される。その結果、図５に示すように、演出効果としてバレリーナのジャンプの軌跡を表した合成用画像を作成することが可能となる。あるいは、プリキャプチャー撮影によって取得された画像が静止している物体をカメラをスイングさせて撮影した画像である場合には、カメラのスイング方向、スイング量に応じた枚数の合成用画像を選択することにより、幻想的な演出効果を付した合成用画像を作成することが可能となる。

【0030】

あるいは、プリキャプチャー撮影によって取得された画像が揺らめいている旗を撮影した画像であるとする。この場合には、旗Ｆの形の変化量が一定間隔になるように複数の合成用画像が選択される。その結果、図６に示すように、演出効果として旗Ｆ１〜Ｆ３の揺らめきを表した合成用画像を作成することが可能となる。

【0031】

その後、ステップＳ９へ進み、制御装置１０４は、ステップＳ７で選択したベストショット画像と、ステップＳ８で選択した合成用画像とに対して現像処理を施す。例えば、制御装置１０４は、ステップＳ７で選択したベストショット画像と、ステップＳ８で選択した合成用画像がＲＡＷデータである場合には、公知の現像処理を施して、画像データを生成する。その後、ステップＳ１０へ進み、制御装置１０４は、ステップＳ９で現像処理を行った後のベストショット画像（以下、「現像後ベストショット画像」と呼ぶ）をメモリカードに記録する。その後、ステップＳ１１へ進む。

【0032】

ステップＳ１１では、制御装置１０４は、ステップＳ９で現像処理を行った後の合成用画像（以下、「現像後合成用画像」と呼ぶ）に対してゲイン補正を行う。このとき、制御装置１０４は、現像後合成用画像の枚数に応じて各現像後合成用画像にかけるゲイン補正量を決定してゲイン補正を行う。例えば、現像後合成用画像の枚数が４枚の場合には、各現像後合成用画像にかけるゲイン補正量を０．２５として、ゲイン量の合計が１となるようにする。あるいは、合成画像の演出効果を高めるために、ベストショット画像の撮影タイミング（撮影時間）に近い合成用画像には、他に比べて高いゲインをかけて、少し明るめにゲイン補正を行うようにし、ベストショット画像から撮影時間が遠くなるほど、掛けるゲインを低くするようにしてもよい。その後、ステップＳ１２へ進む。

【0033】

ステップＳ１２では、制御装置１０４は、プリキャプチャー画像を撮影したときのカメラ１００のスイング量が所定のスイング量以下であるか否か（スイング量が僅かであるか否か）を判断する。例えば、制御装置１０４は、プリキャプチャー撮影時の手触れを検出し、手触れ量が所定値以下のときに、ステップＳ１２で肯定判断する。ステップＳ１２で肯定判断した場合には、ステップＳ１３へ進む。

【0034】

ステップＳ１３では、制御装置１０４は、現像後ベストショット画像と複数の現像後合成用画像とを対象として、画像内の一部の領域でフレーム間の位置合わせを行う。例えば、制御装置１０４は、各画像の一部の領域の特徴点を重ね合わせるようにして位置合わせ量を決定し、それぞれの画像毎に位置合わせ処理（座標シフト）を行う。位置合わせに用いる特徴点としては、例えば、画像内で位置が変化しない背景から抽出した任意の点を用いればよい。具体的には、図６に示すような旗Ｆの揺らめきを表した合成用画像を作成する場合であれば、旗Ｆを支える支柱上の任意の点（たとえば図６では支柱Ｐ）等を用いることが考えられる。また、被写体が人物である場合には、顔認識処理によって検出した被写体の顔上の任意の点を用いるようにしてもよい。

【0035】

このように座標シフトをして複数の画像の位置合わせを行うと、画像の周辺画素では合成する全画像分データが揃わないので、制御装置１０４は、全画像分のデータが揃う最大の大きさとなるように各画像をクロップする。その後、ステップＳ１４へ進む。これに対して、ステップＳ１２で否定判断した場合には、そのままステップＳ１４へ進む。

【0036】

ステップＳ１４では、制御装置１０４は、現像後ベストショット画像とゲイン補正された現像後合成用画像とを合成する。このとき、制御装置１０４は、ステップＳ１３で画像の位置合わせとクロップを行った場合には、クロップ後の画像を合成する。これによって演出効果を付した合成画像を作成することができる。

【0037】

その後、ステップＳ１５へ進み、制御装置１０４は、ステップＳ１４で作成した合成画像を、ステップＳ１０で記録した現像後ベストショット画像に関連付けてメモリカードに記録して、処理を終了する。これによって、複数のプリキャプチャー画像の中から選択したベストショット画像と、ベストショット画像に演出効果を付した合成画像とを関連付けてメモリカードに記録することができる。

【0038】

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、プリキャプチャー撮影によって取得したプリキャプチャー画像の中からベストショット画像を選択し、プリキャプチャー画像の中から複数の合成用画像を抽出し、複数の合成用画像とベストショット画像とを合成するようにした。そして、ベストショット画像と合成画像とを関連付けて記録するようにした。これによって、ベストショット画像と、ベストショット画像に演出効果を付した合成画像とを関連付けて記録することができる。

【0039】

（２）制御装置１０４は、プリキャプチャー画像の中からベストショット画像選択処理における評価値が最も高い画像をベストショット画像として選択するようにした。これによって、プリキャプチャー画像の中か一般的に最も良いと評価される画像をベストショット画像として選択することができる。

【0040】

（３）制御装置１０４は、プリキャプチャー画像の中から撮影条件や被写体に基づいて複数の合成用画像を抽出するようにした。これによって、撮影条件や被写体に応じた最適な合成用画像を抽出することができる。

【0041】

（４）制御装置１０４は、撮影条件や被写体に基づいて、プリキャプチャー画像の中から抽出する合成用画像の数を決定するようにした。これによって、撮影条件や被写体に応じた最適な枚数の合成用画像を抽出することができる。

【0042】

（５）制御装置１０４は、現像後合成用画像に対してゲイン補正を行い、ゲイン補正を行った後の合成用画像を合成するようにした。これによって、演出効果を付与した合成画像を生成することができる。

【0043】

（６）制御装置１０４は、合成用画像の数に基づいて、各合成用画像かけるゲイン量を決定するようにした。これによって、合成用画像の数に応じた最適なゲイン量を決定することができる。

【0044】

（７）制御装置１０４は、ベストショット画像の撮影タイミング（撮影時間）に近い合成用画像には、他に比べて高いゲインをかけて、少し明るめにゲイン補正を行うようにし、ベストショット画像から撮影時間が遠くなるほど、掛けるゲインを低くするようにした。これによって、合成画像の演出効果をさらに高めることができる。

【0045】

（８）制御装置１０４は、プリキャプチャー撮影時の手振れ量が所定値以下のときは、ベストショット画像と合成用画像の画像内の一部の領域を用いて位置合わせを行うようにした。これによって、手ブレ量が微少であるときには、位置合わせを行った合成画像を作成することができる。

【0046】

（９）制御装置１０４は、位置合わせをした後に、各画像をクロップするようにした。これによって、位置合わせによって画像の周辺画素において合成する全画像分データが揃わなくなる場合でも、全ての合成用画像の大きさが揃えて合成することができる。

【0047】

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、公知のベストショット画像選択処理によって算出された評価値が最も高い画像をベストショット画像として選択する例について説明した。しかしながら、制御装置１０４が自動選択したベストショット画像を使用者が他の画像に変更できるようにしてもよい。例えば、制御装置１０４は、自動選択したベストショット画像と他のプリキャプチャー画像とをモニタ１０６に表示して使用者に提示し、使用者からのベストショット画像との変更を受け付けるようにしてもよい。そして、制御装置１０４は、使用者によってプリキャプチャー画像の中から制御装置１０４が自動選択した画像とは異なる画像がベストショット画像として選択された場合には、ベストショット画像を使用者によって選択された画像に選択し直す。これによって、使用者は、ベストショット画像を好みの画像に変更することができる。

【0048】

（２）上述した実施の形態では、制御装置１０４は、現像処理を行った後の合成用画像に対してゲイン補正を行ってから合成を行う例について説明した。しかしながら、制御装置１０４は、現像処理を行う前のＲＡＷデータに対してゲイン補正を行ってから合成を行い、合成後のＲＡＷデータを現像処理するようにしてもよい。また、現像処理を行ってからゲイン補正を行うか、現像処理前にゲイン補正を行うかを、主要被写体の種類、撮影シーンの種類、ＩＳＯ感度、画質モード、現像処理にかかる演算時間の少なくとも１つに基づいて、切り替えるようにしてもよい。

【0049】

（３）制御装置１０４は、合成用画像を現像する際には、カメラのスイング方向、カメラのスイング量、主要被写体の種類、撮影シーンの種類、主要被写体の移動量、主要被写体のポーズや配置に基づいて、各合成用画像に適用する現像用パラメータを変更するようにしてもよい。ただし、ベストショット画像が基調となるよう、ベストショット画像の撮影タイミング付近の合成用画像は、デフォルトの現像用パラメータを施すのが好ましい。

【0050】

（４）上述した実施の形態では、制御装置１０４は、１枚のベストショット画像に対して１枚の合成用画像を作成し、それらを関連付けて記録する例について説明した。しかしながら、制御装置１０４は、１枚のベストショット画像に対して、演出効果が異なる複数枚の合成用画像を作成するようにしてもよい。この場合、合成画像の枚数は使用者が任意に設定できるようにしてもよいし、カメラ１００があらかじめ準備されたアルゴリズムにより、自動的に設定するようにしてもよい。

【0051】

（５）上述した実施の形態では、制御装置１０４は、現像後合成用画像の枚数に応じて各現像後合成用画像にかけるゲイン補正量を決定してゲイン補正を行う例について説明した。しかしながら、制御装置１０４は、撮影条件や被写体に基づいて各現像後合成用画像にかけるゲイン補正量を決定するようにしてもよい。

【0052】

（６）制御装置１０４は、合成画像の演出効果をさらに高めるために、以下のような処理を行ってもよい。例えば、合成画像に特徴ある演出効果を出すために、プリキャプチャー撮影時にショット毎にピントを合わせる距離を変えておいてもよい。その際、プリキャプチャー撮影の前に主要被写体の種類や撮影シーンの種類を判断し、この判断結果に応じてデフォーカス量を可変としても良い。また、レリーズボタン全押しのタイミングではデフォーカス量を最小としてもよい。あるいは、制御装置１０４は、合成画像を解析し、解析結果に応じた画像処理を施すようにしてもよい。例えば、制御装置１０４は、合成画像の階調を解析し、適応的に階調補正処理を行ってもよい。また、合成画像の雰囲気を解析し、適応的にデジタルフィルターをかけてぼかし処理を行うようにしてもよい。また、制御装置１０４は、合成画像の彩度を解析し、彩度強調処理を行うようにしてもよい。

【0053】

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

【符号の説明】

【0054】

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】