特許 5903979 撮像装置、動画作成方法及び動画作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5903979

(24)【登録日】2016年3月25日

(45)【発行日】2016年4月13日

(54)【発明の名称】撮像装置、動画作成方法及び動画作成プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20160331BHJP

   H04N 5/232 20060101ALI20160331BHJP

【ＦＩ】

   H04N5/225 Z

   H04N5/232 Z

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2012-74099(P2012-74099)

(22)【出願日】2012年3月28日

(65)【公開番号】特開2013-207528(P2013-207528A)

(43)【公開日】2013年10月7日

【審査請求日】2015年1月29日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(72)【発明者】

【氏名】阪本 吉栄

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００５−３０３６５３（ＪＰ，Ａ）

【文献】 特開２００２−２７１６８６（ＪＰ，Ａ）

【文献】 特開２０１０−１３４０９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

露出が異なる複数の静止画像を所定の時間間隔で撮像する撮像部と、
前記静止画像を複数合成して合成静止画像を作成する合成静止画像作成部と、
前記合成静止画像を複数結合して動画を作成する動画作成部とを備え、
前記合成静止画像作成部が前記合成静止画像を作成できなかった場合、前記合成静止画像作成部は前記合成静止画像を作成するために用いられた静止画像のうちの１つの静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を作成し、前記動画作成部は前記偽合成静止画像を用いて動画を作成する撮像装置。

【請求項2】

露出が異なる複数の静止画像を所定の時間間隔で撮像する撮像部と、
前記静止画像を複数合成して合成静止画像を作成する合成静止画像作成部と、
前記合成静止画像を複数結合して動画を作成する動画作成部とを備え、
前記合成静止画像作成部が前記合成静止画像を作成できなかった場合、前記合成静止画像作成部は前記合成静止画像を作成するために用いられた静止画像のうち、最も適正に露光された静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を作成し、前記動画作成部は前記偽合成静止画像を用いて動画を作成する撮像装置。

【請求項3】

前記撮像装置は、被写体に光学部材を合焦させる合焦部をさらに備え、
前記合成静止画像作成部が前記合成静止画像を作成できず、かつ静止画像が含む被写体像にピントが合っていない場合、前記合焦部は被写体に光学部材を合焦させ、
前記撮像部は、露出が異なる複数の静止画像を所定の時間間隔で再度撮像し、
前記合成静止画像作成部は、再度撮像された静止画像を複数合成して合成静止画像を作成する請求項１または請求項２に記載の撮像装置。

【請求項4】

前記合成静止画像を作成できなかった回数が所定回数に達するまで、前記合成静止画像作成部は前記合成静止画像を作成する動作を反復する請求項１ないし請求項３のいずれかに記載の撮像装置。

【請求項5】

前記合成静止画像を作成できなかった回数が所定回数に達した場合、前記動画作成部は前記動画の作成を中断する請求項１ないし請求項４のいずれかに記載の撮像装置。

【請求項6】

前記合成静止画像作成部は、前記静止画像に含まれる被写体像が所定数以上の静止画像において一致しない場合、前記合成静止画像を作成できなかったと判断する請求項１ないし請求項５のいずれかに記載の撮像装置。

【請求項7】

前記合成静止画像作成部は、ピントが合っていない被写体像を有する静止画像がある場合、前記合成静止画像を作成できなかったと判断する請求項１ないし請求項６のいずれかに記載の撮像装置。

【請求項8】

前記撮像装置を複数の撮影モードで動作させる制御部と、被写体に光学部材を合焦させる合焦部とをさらに備え、
前記撮影モードは、シャッターレリーズが押し下げられたとき、被写体に光学部材が合焦していなくても撮像動作を行うシャッターレリーズ優先モードを有し、
前記撮像装置がシャッターレリーズ優先モードにあるとき、前記合焦部が撮像時までに被写体に光学部材を合焦させていない場合、前記合成静止画像作成部は、被写体像にピントが合っていないと判断する請求項１ないし請求項７のいずれかに記載の撮像装置。

【請求項9】

前記撮像装置を複数の撮影モードで動作させる制御部と、被写体に光学部材を合焦させる合焦部とをさらに備え、
前記撮影モードは、シャッターレリーズが押し下げられても、被写体に光学部材が合焦するまで撮像動作を行わないフォーカス優先モードを有し、
前記撮像装置がフォーカス優先モードにあるとき、前記静止画像のコントラストが閾値未満である場合に、被写体像にピントが合っていないと判断する請求項１ないし請求項７のいずれかに記載の撮像装置。

【請求項10】

露出が異なる複数の静止画像を所定の時間間隔で撮像するステップと、
前記静止画像を複数合成して合成静止画像を作成するステップと、
前記合成静止画像を複数結合して動画を作成するステップと、
前記合成静止画像を作成できなかった場合、前記合成静止画像を作成するために用いられた静止画像のうちの１つの静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を作成し、前記合成静止画像の代わりに前記偽合成静止画像を用いて動画を作成するステップとを備える動画作成方法。

【請求項11】

露出が異なる複数の静止画像を所定の時間間隔で撮像するステップと、
前記静止画像を複数合成して合成静止画像を作成するステップと、
前記合成静止画像を複数結合して動画を作成するステップと、
前記合成静止画像を作成できなかった場合、前記合成静止画像を作成するために用いられた静止画像のうち、最も適正に露光された静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を作成し、前記合成静止画像の代わりに前記偽合成静止画像を用いて動画を作成するステップとを備える動画作成方法。

【請求項12】

露出が異なる複数の静止画像を所定の時間間隔で撮像部に撮像させるステップと、
前記静止画像を複数合成して合成静止画像を合成静止画像作成部に作成させるステップと、
前記合成静止画像を複数結合して動画を動画作成部に作成させるステップと、
前記合成静止画像作成部が前記合成静止画像を作成できなかった場合、前記合成静止画像を作成するために用いられた静止画像のうちの１つの静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を前記合成静止画像作成部に作成させ、前記偽合成静止画像を用いて動画を前記動画作成部に作成させるステップとを備える動画作成ソフトウェア。

【請求項13】

露出が異なる複数の静止画像を所定の時間間隔で撮像部に撮像させるステップと、
前記静止画像を複数合成して合成静止画像を合成静止画像作成部に作成させるステップと、
前記合成静止画像を複数結合して動画を動画作成部に作成させるステップと、
前記合成静止画像作成部が前記合成静止画像を作成できなかった場合、前記合成静止画像を作成するために用いられた静止画像のうち、最も適正に露光された静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を前記合成静止画像作成部に作成させ、前記偽合成静止画像を用いて動画を前記動画作成部に作成させるステップとを備える動画作成ソフトウェア。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の静止画を結合して動画を作成する撮像装置、動画作成方法及び動画作成プログラムに関する。

【背景技術】

【0002】

現実の風景等が持つダイナミックレンジよりも撮像素子が持つダイナミックレンジが狭いため、撮像素子が出力する画像では明るい部分が白飛びしたり、暗い部分が黒つぶれしたりする問題がある。この問題に対処するため、露出を変えて複数の静止画像を撮像し、得られた静止画像を１枚の静止画像に合成する技術が知られている（特許文献１）。合成して得られた画像は、ハイダイナミックレンジ画像（ＨＤＲ画像）と呼ばれる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−８４４４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、静止画像に含まれる被写体像の位置が一致しない等の理由により、ＨＤＲ画像を作成できない場合がある。撮像素子が連続的に出力する画像からＨＤＲ画像を作成し、複数のＨＤＲ画像を連続的に結合して動画を作成する場合、ＨＤＲ画像が作成できないと、動画もまた作成できない。天体観察などの分野では、長時間、例えば一晩にわたって静止画像を撮像し、これらを結合して動画を作成するニーズがある。これらの処理は、自動的に実行され、撮影開始前から撮影完了までユーザは撮像装置を放置しておくことが可能である。このような撮像装置にＨＤＲ画像を用いると、画角内に異物が急に侵入して撮像された場合などに、異物が障害となって被写体像の位置が一致しなくなり、ＨＤＲ画像を作成できなくなる。ＨＤＲ画像を作成できなければ、動画もまた作成できない。そのため、長時間に渡って撮影したにもかかわらず、動画が作成されないおそれが生じる。

【0005】

本発明はこれらの問題に鑑みてなされたものであり、所望の被写体を撮影したＨＤＲ画像から成る動画を作成する撮像装置、動画作成方法及び動画作成プログラムを得ることを目的とする。

【課題を解決するための手段】

【0006】

本願第１の発明による撮像装置は、露出が異なる複数の静止画像を所定の時間間隔で撮像する撮像部と、静止画像を複数合成して合成静止画像を作成する合成静止画像作成部と、合成静止画像を複数結合して動画を作成する動画作成部とを備え、合成静止画像作成部が合成静止画像を作成できなかった場合、合成静止画像作成部は偽合成静止画像を作成し、動画作成部は偽合成静止画像を用いて動画を作成することを特徴とする。

【0007】

偽合成静止画像は、合成静止画像を作成するために用いられた静止画像のうちの１つが好適である。

【0008】

合成静止画像作成部は、合成静止画像を作成できなかった場合、合成静止画像を作成するために用いられた静止画像のうち、最も適正に露光された静止画像を用いて偽合成静止画像を作成することが好ましい。

【0009】

合成静止画像作成部は、合成静止画像を作成できなかった場合、合成静止画像を作成するために用いられた静止画像のうちの１つの静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を作成してもよい。

【0010】

合成静止画像作成部は、合成静止画像を作成できなかった場合、合成静止画像を作成するために用いられた静止画像のうち、最も適正に露光された静止画像の輝度分布を調整して得られた画像を用いて偽合成静止画像を作成しても良い。

【0011】

撮像装置は、被写体に光学部材を合焦させる合焦部をさらに備え、合成静止画像作成部が合成静止画像を作成できず、かつ静止画像が含む被写体像にピントが合っていない場合、合焦部は被写体に光学部材を合焦させ、撮像部は、露出が異なる複数の静止画像を所定の時間間隔で再度撮像し、合成静止画像作成部は、再度撮像された静止画像を複数合成して合成静止画像を作成しても良い。

【0012】

合成静止画像を作成できなかった回数が所定回数に達するまで、合成静止画像作成部は合成静止画像を作成することが好ましい。

【0013】

合成静止画像を作成できなかった回数が所定回数に達した場合、動画作成部は動画の作成を中断しても良い。

【0014】

合成静止画像作成部は、静止画像に含まれる被写体像が所定数以上の静止画像において一致しない場合、合成静止画像を作成できなかったと判断することが好ましい。

【0015】

合成静止画像作成部は、ピントが合っていない被写体像を有する静止画像がある場合、合成静止画像を作成できなかったと判断しても良い。

【0016】

撮像装置を複数の撮影モードで動作させる制御部と、被写体に光学部材を合焦させる合焦部とをさらに備え、撮影モードは、シャッターレリーズが押し下げられたとき、被写体に光学部材が合焦していなくても撮像動作を行うシャッターレリーズ優先モードを有し、撮像装置がシャッターレリーズ優先モードにあるとき、合焦部が撮像時までに被写体に光学部材を合焦させていない場合、合成静止画像作成部は、被写体像にピントが合っていないと判断することが好ましい。

【0017】

撮像装置を複数の撮影モードで動作させる制御部と、被写体に光学部材を合焦させる合焦部とをさらに備え、撮影モードは、シャッターレリーズが押し下げられても、被写体に光学部材が合焦するまで撮像動作を行わないフォーカス優先モードを有し、撮像装置がフォーカス優先モードにあるとき、静止画像のコントラストが閾値未満である場合に、被写体像にピントが合っていないと判断しても良い。

【0018】

本願第２の発明による動画作成方法は、露出が異なる複数の静止画像を所定の時間間隔で撮像するステップと、静止画像を複数合成して合成静止画像を作成するステップと、合成静止画像を複数結合して動画を作成するステップと、合成静止画像を作成できなかった場合、合成静止画像を作成するために用いられた静止画像のうちの１つを用いて偽合成静止画像を作成し、合成静止画像の代わりに偽合成静止画像を用いて動画を作成するステップとを備えることを特徴とする。

【0019】

本願第３の発明による動作作成ソフトウェアは、露出が異なる複数の静止画像を所定の時間間隔で撮像部に撮像させるステップと、静止画像を複数合成して合成静止画像を合成静止画像作成部に作成させるステップと、合成静止画像を複数結合して動画を動画作成部に作成させるステップと、合成静止画像作成部が合成静止画像を作成できなかった場合、合成静止画像を作成するために用いられた静止画像のうちの１つを用いて偽合成静止画像を合成静止画像作成部に作成させ、偽合成静止画像を用いて動画を動画作成部に作成させステップとを備えることを特徴とする。

【発明の効果】

【0020】

本発明によれば、ＨＤＲ画像を用いて所望の被写体を含む動画を作成する撮像装置、動画作成方法及び動画作成プログラムを得る。

【図面の簡単な説明】

【0021】

【図1】撮像装置を概略的に示したブロック図である。

【図2】動画を構成するフレームと静止画像との関係を模式的に示した図である。

【図3】第１の動画作成処理を示したフローチャートである。

【図4】合成成功判断処理を示したフローチャートである。

【図5】ＨＤＲ再撮影判断処理を示したフローチャートである。

【図6】ピント判断処理を示したフローチャートである。

【図7】第１の偽ＨＤＲ画像作成処理を示したフローチャートである。

【図8】第２の動画作成処理を示したフローチャートである。

【発明を実施するための形態】

【0022】

以下、本発明の第１の実施形態による撮像装置について図１から６を用いて説明する。図１は、撮像装置の一実施形態であるデジタルカメラ１００を示す。図１を用いてデジタルカメラ１００の構成について説明する。

【0023】

デジタルカメラ１００は、複数の静止画像を結合して動画を作成する機能を有し、光学部材である撮影レンズ１０１、撮像部１０２、メモリ１０３、ＨＤＲ合成部１０４、再撮影判断部１０５、合焦部であるＡＦ部１０６、追加フレーム判断部１０７、画像処理部１０８、動画作成部であるフレーム追加部１０９、及びメモリーカードから成る画像保存部１１０を主に備える。メモリ１０３、ＨＤＲ合成部１０４、再撮影判断部１０５、追加フレーム判断部１０７、画像処理部１０８、及びフレーム追加部１０９が合成静止画像作成部を成す。

【0024】

撮影レンズ１０１は着脱自在となるようにデジタルカメラ１００に取り付けられる。撮像部１０２はＣＣＤを備える。撮影レンズ１０１がＣＣＤに被写体像を結像させ、ＣＣＤは被写体像を連続的に撮像して複数の静止画像を出力する。

【0025】

ＨＤＲ合成部１０４は、撮像部１０２から静止画像を受信して、合成静止画像、すなわちＨＤＲ画像を作成する。ＨＤＲ画像（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ画像）とは、ダイナミックレンジを拡大した画像であって、露出が異なる複数の静止画像を合成することにより作成される。本実施形態では、露出が異なる３枚の静止画像を合成して１枚のＨＤＲ画像を得る。ＨＤＲ合成部１０４は制御部を成し、デジタルカメラ１００を複数の撮影モードで動作させる。撮影モードは、例えばフォーカス優先モード、シャッターレリーズ優先モードである。フォーカス優先モードで動作しているデジタルカメラ１００は、シャッターレリーズが押し下げられたとき被写体に撮影レンズ１０１が合焦していない場合であっても、撮像動作を行う。シャッターレリーズ優先モードで動作しているデジタルカメラ１００は、シャッターレリーズが押し下げられたときに撮影レンズ１０１が被写体に合焦していない場合、撮影レンズ１０１が被写体に合焦するまで撮像動作を行わず、撮影レンズ１０１が被写体に合焦してから撮像動作を行う。

【0026】

再撮影判断部１０５は、ＨＤＲ合成部１０４がＨＤＲ画像を作成できなかったとき、撮像部１０２に再度静止画像を撮影させるか否かを判断し、再度撮影させると判断したときには、その旨の命令を撮像部１０２に送信する。ＨＤＲ合成部１０４がＨＤＲ画像を作成できないときとは、例えば静止画像内の被写体像の位置が静止画像によって大きく異なる場合、照明光によりフリッカが入っている場合等がある。

【0027】

ＡＦ部１０６は、撮影レンズ１０１の焦点を被写体に合致させる回路である。撮像部１０２が撮像した静止画像を参照して、撮影レンズ１０１の焦点を被写体に合わせる。また、再撮影判断部１０５が再度静止画像を撮像部１０２に撮影させると判断したとき、ＡＦ部１０６は撮影レンズ１０１の焦点をもう一度被写体に合わせ直す処理を行う。

【0028】

追加フレーム判断部１０７は、ＨＤＲ画像を動画に結合するか否かを判断する。この判断では、ＨＤＲ合成部１０４がＨＤＲ画像を作成できたときには、ＨＤＲ画像を動画に結合すると判断して、フレーム追加部１０９がＨＤＲ画像を動画に結合する。ＨＤＲ画像を作成できないときには、ＨＤＲ画像を動画に結合しないと判断して、後述するように、偽合成静止画像である偽ＨＤＲ画像を動画に結合、動画作成を中止、あるいは再度撮影を行ってＨＤＲ画像を再度作成する、等の処理を行う。

【0029】

画像処理部１０８は、偽ＨＤＲ画像を作成する。偽ＨＤＲ画像は、ＨＤＲ合成部１０４がＨＤＲ画像を作成できないときに、１枚の静止画像を用いて作成される画像である。

【0030】

フレーム追加部１０９は、ＨＤＲ画像又は偽ＨＤＲ画像を動画に追加する。そして、画像保存部１１０が動画を保存する。

【0031】

メモリ１０３は、撮像部１０２、ＨＤＲ合成部１０４、及び画像処理部１０８が出力した画像を一時的に記憶する。

【0032】

次に、デジタルカメラ１００の機能について説明する。まず、デジタルカメラ１００の機能を概略的に説明すると、デジタルカメラ１００は、露出が異なる複数の静止画像を撮影し、複数の静止画像を結合してＨＤＲ画像を作成する。そして、複数のＨＤＲ画像を時系列に並べて結合することにより動画を作成する。これにより、ユーザはＨＤＲ画像から成る動画を得ることができる。

【0033】

静止画像の撮影からＨＤＲ画像を作成するまでの工程について図２を用いて説明する。撮像部１０２は、アンダー露出、適正露出、そしてオーバー露出のように各々露出が異なる３枚の複数の静止画像を順次撮影する。より詳しく説明すると、次の撮影が可能になり次第、次の異なる露出の静止画像を撮影する。そして、これを５秒ごとに繰り返す。つまり、撮像部１０２は５秒ごとに３枚の静止画像を撮影する。ＨＤＲ合成部１０４は、これらの３枚の静止画像を合成して、１枚のＨＤＲ画像を作成する。そして、フレーム追加部１０９が複数のＨＤＲ画像を撮影順に並べて結合し、動画を作成する。動画は、例えば３０ｆｐｓのフレームレートを有する。つまり、１８００枚のＨＤＲ画像を使用して１分の動画が作成される。

【0034】

ＨＤＲ合成部１０４がＨＤＲ画像を作成できないとき、画像処理部１０８が偽ＨＤＲ画像を作成する。偽ＨＤＲ画像は、適正露出で撮影された静止画像の輝度分布であるヒストグラムを操作することにより作成される。静止画像のヒストグラムが左側、つまり低輝度側に偏っている場合、ヒストグラム全体を右側、つまり高輝度側に移動させると共に、低輝度側に引き延ばす。言い換えると、静止画像を構成する各ピクセルの輝度を所定値だけ増やした後に、１以下の所定値を各ピクセルの輝度に乗じて、輝度を下げる。あるいは、静止画像のヒストグラムが右側、つまり高輝度側に偏っている場合、ヒストグラム全体を左側、つまり低輝度側に移動させると共に、高輝度側に引き延ばす。言い換えると、静止画像を構成する各ピクセルの輝度を所定値だけ減らした後に、１以上の所定値を各ピクセルの輝度に乗じて、輝度を上げる。静止画像のヒストグラムが左右に偏らず、かつ中央に集中している場合、ヒストグラム全体を高輝度側及び低輝度側に引き延ばす。言い換えると、平均値よりも大きい輝度に対して１以上の所定値を乗じて輝度を上げ、平均値よりも小さい輝度に対して１以下の所定値を乗じて輝度を下げる。これらの処理を行った後に、コントラストが高くなるようにヒストグラムを調整し、彩度を調整して、偽ＨＤＲ画像を作成する。そして、フレーム追加部１０９が、ＨＤＲ画像の代わりに偽ＨＤＲ画像を動画に追加して、動画を作成する。

【0035】

次に、図３を用いて第１の動画作成処理について説明する。第１の動画作成処理は、デジタルカメラ１００が動画を開始したときに実行される。

【0036】

まず、ステップＳ３０１では、撮像部１０２が、アンダー露出、適正露出、そしてオーバー露出の静止画像を１枚ずつ撮影する。そして、ＨＤＲ合成部１０４が、これらの３枚の静止画像を合成して、１枚のＨＤＲ画像を作成する。

【0037】

次のステップＳ３０２では、後述する合成成功判断処理を実行する。合成成功判断処理は、ＨＤＲ画像の作成が成功したか否かを判断する処理である。ＨＤＲ画像の作成が成功したときとは、静止画像に含まれる被写体像がずれることなく３枚の静止画像を合成できたときである。ＨＤＲ画像の作成が失敗したときとは、静止画像に含まれる被写体像が所定値以上ずれているために、３枚の静止画像を合成できなかったときである。

【0038】

次のステップＳ３０３では、後述するＨＤＲ再撮影判断処理を実行する。ＨＤＲ再撮影判断処理は、ＨＤＲ画像の作成を失敗したときに、再度撮影を行うか否かを判断する処理である。所定の条件に合致したときに、再度撮影を行い、ＨＤＲ画像を作成する。

【0039】

次のステップＳ３０４では、ステップＳ３０２又はＨＤＲ再撮影判断処理においてＨＤＲ画像の作成に失敗したと判断したか否かを判断する。成功したと判断していた場合、処理はステップＳ３０５に進み、ステップＳ３０１又はＨＤＲ再撮影判断処理において作成されていたＨＤＲ画像を動画に追加する。ＨＤＲ画像の作成に失敗したと判断していた場合、処理はステップＳ３０６に進む。

【0040】

ステップＳ３０６では、ＨＤＲ画像の代わりに適正露出の静止画像を動画に追加するか否かを判断する。追加するか否かは、ユーザが予めデジタルカメラ１００に設定しておくことが可能である。適正露出の静止画像を動画に追加する場合、処理はステップＳ３０７に進み、追加しない場合、処理はステップＳ３０８に進む。

【0041】

ステップＳ３０７では、ＨＤＲ画像の代わりに適正露出の静止画像を動画に追加する。そして、ステップＳ３１０に進む。

【0042】

ステップＳ３０８では、後述する第１の偽ＨＤＲ画像作成処理を実行する。第１の偽ＨＤＲ画像作成処理は、適正露出で撮影された静止画像を画像処理して偽ＨＤＲ画像を作成する処理である。偽ＨＤＲ画像を作成した後に、処理はステップＳ３０９に進む。

【0043】

ステップＳ３０９では、ＨＤＲ画像の代わりに偽ＨＤＲ画像を動画に追加する。そして、ステップＳ３１０に進む。

【0044】

ステップＳ３１０では、ＨＤＲ画像の作成において失敗を許容できる回数が予めユーザにより設定されているか否かを判断する。この回数は失敗回数といい、ＨＤＲ画像作成の失敗を連続して何回まで許容できるか定めた数である。失敗回数が設定されている場合、処理はステップＳ３１１に進み、設定されていない場合、処理はステップＳ３１３に進む。

【0045】

ステップＳ３１１では、失敗回数以上、連続してＨＤＲ画像の作成を失敗したか否かを判断する。失敗回数以上に失敗している場合、処理はステップＳ３１２に進み、動画の作成を終了する。失敗していない場合、処理はステップＳ３１３に進む。

【0046】

ステップＳ３１３では、動画の作成を継続する。

【0047】

次に、図４を用いて合成成功判断処理について説明する。合成成功判断処理は、第１の動画作成処理のステップＳ３０２においてＨＤＲ合成部１０４により実行される。

【0048】

始めのステップＳ４１では、アンダー露出、適正露出、そしてオーバー露出の静止画像から被写体像の輪郭を各々抽出し、被写体像の輪郭のみから成る輪郭画像を静止画像ごとに作成する。つまり、輪郭画像が３枚作成される。

【0049】

次のステップＳ４２では、３枚の輪郭画像を比較して、被写体像の輪郭のズレが許容範囲内か否かを判断する。許容範囲内である場合、処理はステップＳ４３に進み、許容範囲内でない場合、処理はステップＳ４６に進む。

【0050】

次のステップＳ４３では、３枚の輪郭画像を比較して、被写体像の輪郭を構成するピクセルの数が略同じか否かを判断する。略等しい場合、処理はステップＳ４４に進み、そうでない場合、処理はステップＳ４６に進む。

【0051】

次のステップＳ４４では、３枚の輪郭画像の露光が正しいか否かを判断する。この判断は、各静止画像を構成するピクセルのうち、輝度値が所定範囲内にあるピクセルの割合が所定範囲内にあるときに露光が正しいと判断する。すなわち、適正露出の静止画像が適正露出で撮影されており、アンダー露出の静止画像がアンダー露出で撮影されており、オーバー露出の静止画像がオーバー露出で撮影されているときに露光が正しいと判断する。露光が正しい場合、処理はステップＳ４５に進み、正しくない場合、処理はステップＳ４６に進む。

【0052】

ステップＳ４５では、ＨＤＲ画像の作成が成功したと判断して、成功フラグを立てる。一方、ステップＳ４６では、ＨＤＲ画像の作成が失敗したと判断して、失敗フラグを立てる。そして、処理が終了する。

【0053】

すなわち、各輪郭画像における被写体像の輪郭のズレが許容範囲内であり、各輪郭画像において被写体像の輪郭を構成するピクセルの数が略同じであり、かつ各輪郭画像の露光が正しい場合に、ＨＤＲ画像の作成が成功する。他方、これらの条件のいずれか１つでも満たさないときには、ＨＤＲ画像の作成は失敗している。

【0054】

次に、図５を用いてＨＤＲ再撮影判断処理について説明する。ＨＤＲ再撮影判断処理は、第１の動画作成処理のステップＳ３０３において再撮影判断部１０５により実行される。

【0055】

始めのステップＳ５１では、ＨＤＲ画像の作成が成功したか否かを判断する。つまり、成功フラグ又は失敗フラグのいずれが立っているかを判断する。成功している場合、処理はステップＳ５２に進み、失敗している場合、処理は終了する。

【0056】

ステップＳ５２では、ＨＤＲ画像の作成を失敗回数だけ繰り返し実行したか、つまりＨＤＲ画像の作成に連続的に失敗した数が失敗回数を超えたか否かを判断する。超えている場合、処理は終了し、超えていない場合、処理はステップＳ５３に進む。

【0057】

ステップＳ５３では、静止画像を再度撮影するか否かを判断する。再度撮影するか否かについては、ユーザがデジタルカメラ１００に予め設定済みである。

【0058】

ステップＳ５４では、適正露出、アンダー露出、及びオーバー露出の静止画像に対して、後述するピント判断処理を実行する。ピント判断処理は、ＨＤＲ画像の作成に失敗した理由が静止画像のピントにあるか否かを判断する処理であり、静止画像のコントラストが閾値未満である場合に、被写体像にピントが合っていないと判断する。ピントがずれていると、被写体像の輪郭がぼけるため、合成成功判断処理のステップＳ４２及びＳ４３において輪郭のズレや輪郭を構成するピクセルの数が静止画像どうしで合わなくなる。そのため、ピント判断処理を実行して、ＨＤＲ画像の作成に失敗した原因がピントにあるかどうかを判断し、ピントに原因があるときには、再度被写体に撮影レンズ１０１を合焦させて撮影を行う。

【0059】

ステップＳ５５では、ＨＤＲ画像の作成に失敗した理由が静止画像のピントにあるとき、処理をステップＳ５６進め、ピントにないとき処理をステップＳ５７に進める。

【0060】

ステップＳ５６では、ＡＦ部１０６が撮影レンズ１０１を制御して、再度被写体に撮影レンズ１０１を合焦させる。そして、処理がステップＳ５７に進む。

【0061】

ステップＳ５７では、第１の動画作成処理のステップＳ３１と同様の処理を行う。つまり、露出が異なる３枚の静止画像を撮像部１０２が撮影し、ＨＤＲ合成部１０４が３枚の静止画像を合成してＨＤＲ画像を作成する。

【0062】

ステップＳ５８では、合成成功判断処理を実行して、ＨＤＲ画像の作成が成功したか否かを判断する。その後、再度Ｓ５１から処理を実行する。

【0063】

ＨＤＲ再撮影判断処理を実行することにより、ピントのずれによりＨＤＲ画像の作成に失敗したとき、再度被写体に撮影レンズ１０１を合焦させてＨＤＲ画像の作成を再度失敗することを防止することができる。

【0064】

次に、図６を用いてピント判断処理について説明する。ピント判断処理は、デジタルカメラ１００がフォーカス優先モードにあるとき、静止画像のコントラストが閾値未満である場合に、被写体像にピントが合っていないと判断する処理であり、ＨＤＲ再撮影判断処理のステップＳ５４において再撮影判断部１０５により実行される。

【0065】

始めのステップＳ６１では、撮影レンズ１０１を被写体に自動で合焦させるフォーカス優先モードでＨＤＲ合成部１０４がデジタルカメラ１００を動作させているか否かを判断する。デジタルカメラ１００がフォーカス優先モードにあるとき、シャッターレリーズが押し下げられても、被写体に撮影レンズ１０１が合焦するまでデジタルカメラ１００は撮像動作を行わない。フォーカス優先モードになっている場合、処理はステップＳ６２に進む。フォーカス優先モードになっていない場合、ユーザがピントを決定しているため、処理は終了する。

【0066】

ステップＳ６２では、適正露出、アンダー露出、及びオーバー露出の静止画像全体に含まれる輪郭を各々抽出し、被写体像の輪郭のみから成る輪郭画像を静止画像ごとに作成する。つまり、輪郭画像が３枚作成される。

【0067】

次のステップＳ６３では、被写体像の輪郭を構成するピクセルの数が、静止画像全体の輪郭を構成するピクセルに占める割合を求める。

【0068】

次のステップＳ６４では、ステップＳ６３において求めた割合が閾値以上であるか否かを判断する。静止画像全体に含まれる輪郭を構成するピクセルの数に対し、被写体像の輪郭を構成するピクセルの数が多ければ、被写体にピントが合っていると判断できるため、ステップＳ６３において求めた割合が閾値以上である場合、処理がステップＳ６５に進み、そうでない場合、処理はステップＳ６６に進む。

【0069】

ステップＳ６５では、ＨＤＲ画像の作成に失敗した原因が静止画像のピントにないと決定して、処理を終了する。

【0070】

ステップＳ６６では、ＨＤＲ画像の作成に失敗した原因が静止画像のピントであると決定して、処理を終了する。

【0071】

次に、図７を用いて第１の偽ＨＤＲ画像作成処理について説明する。第１の偽ＨＤＲ画像作成処理は、第１の動画作成処理のステップＳ３０において画像処理部１０８により実行される。

【0072】

始めのステップＳ７１では、適正露出で撮影された静止画像のヒストグラムを作成する。

【0073】

次のステップＳ７２では、ヒストグラムの形状がどのような形状であるか判断する。ヒストグラムが左側、つまり低輝度側に偏っている場合、処理をステップＳ７３に進める。ヒストグラムが右側、つまり高輝度側に偏っている場合、処理をステップＳ７４に進める。ヒストグラムが左右に偏らず、かつ中央に集中している場合、処理をステップＳ７５に進める。

【0074】

ステップＳ７３では、ヒストグラム全体を右側、つまり高輝度側に移動させると共に、低輝度側に引き延ばす。言い換えると、静止画像を構成する各ピクセルの輝度を所定値だけ増やした後に、１以下の所定値を各ピクセルの輝度に乗じて、輝度を下げる。

【0075】

ステップＳ７４では、ヒストグラム全体を左側、つまり低輝度側に移動させると共に、高輝度側に引き延ばす。言い換えると、静止画像を構成する各ピクセルの輝度を所定値だけ減らした後に、１以上の所定値を各ピクセルの輝度に乗じて、輝度を上げる。

【0076】

ステップＳ７５では、ヒストグラム全体を高輝度側及び低輝度側に引き延ばす。言い換えると、平均値よりも大きい輝度に対して１以上の所定値を乗じて輝度を上げ、平均値よりも小さい輝度に対して１以下の所定値を乗じて輝度を下げる。

【0077】

ステップＳ７３からＳ７５の処理を実行することにより、ある部分に偏っていたヒストグラムが、輝度の全体に渡って分布するようになり、静止画像全体の明度をＨＤＲ画像の明度に近似させることができる。つまり、静止画像に含まれていた黒つぶれの部分を明るく、白飛びの部分を暗くして、画像全体の明度をＨＤＲ画像の明度に近似させる。

【0078】

ステップＳ７６では、静止画像のコントラストが高くなるようにヒストグラムを調整する。

【0079】

ステップＳ７７では、静止画像の彩度を調整して、偽ＨＤＲ画像を完成し、処理を終了する。

【0080】

従来の技術では、ＨＤＲ画像の作成に失敗してＨＤＲ画像を作成できなかったときの処理が考慮されていなかったため、ＨＤＲ画像を作成できなかったときには、動画にＨＤＲ画像を追加できないことになり、動画の作成をも失敗することになる。しかしながら、本実施形態によれば、デジタルカメラ１００はＨＤＲ画像の作成に失敗したときであっても動画を作成することができる。

【0081】

また、画像処理を施した適正画像を動画に追加することにより、動画を構成するＨＤＲ画像との明度等の差を減少して、動画を見る者の違和感を減じることができる。

【0082】

また、ＨＤＲ画像の作成を複数回連続して失敗したときに動画の作成を終了することにより、ＨＤＲ画像でない静止画像を多く含む動画を記録せずにすむ。

【0083】

また、失敗回数をユーザが設定できるため、動画の作成の継続又は中止をユーザが撮影状況に応じて決定できる。

【0084】

次に、第２の実施形態について図８を用いて説明する。第２の実施形態による撮像装置は、第１の動画作成処理の代わりに第２の動画作成処理を実行する。よって、以下に第２の動画作成処理について図８を用いて説明する。第２の動画作成処理は、ＨＤＲ画像の作成に失敗しても偽ＨＤＲ画像を作成せず、全ての静止画像を撮影し終えた後に偽ＨＤＲ画像を作成し、その後に動画を作成する処理であり、デジタルカメラ１００が静止画像の撮影を開始したときに実行される。

【0085】

始めのステップＳ８１では、静止画像の撮影を継続するか否かを判断する。所定の期間を経過したときや、ユーザが撮影の中止をデジタルカメラ１００に入力したとき、ステップＳ８７に処理が進み、撮影を中断する。所定の期間を未だ経過していないときや、ユーザが撮影の中止を入力していないとき、撮影を継続するためステップＳ８２に処理が進む。

【0086】

ステップＳ８２では、撮像部１０２が、アンダー露出、適正露出、そしてオーバー露出の静止画像を１枚ずつ撮影する。そして、ＨＤＲ合成部１０４が、これらの３枚の静止画像を合成して、１枚のＨＤＲ画像を作成する。

【0087】

次のステップＳ８３では、合成成功判断処理を実行して、ステップＳ８２において、ＨＤＲ画像の作成が成功したか否かを判断する。

【0088】

次のステップＳ８４では、ステップＳ８３においてＨＤＲ画像の作成に失敗したと判断したか否かを判断する。成功したと判断していた場合、処理はステップＳ８５に進む。ＨＤＲ画像の作成に失敗したと判断していた場合、処理はステップＳ８６に進む。

【0089】

ステップＳ８５では、ステップＳ８２において作成されていたＨＤＲ画像をメモリ１０３に保存する。そしてステップＳ８１に処理が戻る。

【0090】

ステップＳ８６では、失敗したＨＤＲ画像の作成に用いられた静止画像と、失敗したＨＤＲ画像を追加しなければならなかった動画内位置とをメモリ１０３に記憶する。この動画内位置を結合失敗位置と呼ぶ。そしてステップＳ８１に処理が戻る。すなわち、ステップＳ８１からＳ８６では、ＨＤＲ画像の作成に失敗しても偽ＨＤＲ画像を作成せず、予め決められた期間だけ静止画像を撮影し、メモリ１０３に記憶する。そして、撮影を終了した後に、次のステップＳ８７に進む。

【0091】

ステップＳ８７では、結合失敗位置がメモリ１０３に記憶されているか否かを判断する。記憶されている場合、処理はステップＳ８８に進み、記憶されていない場合、処理はステップＳ９１に進み、動画が正常に完成していると判断して、動画を画像保存部１１０に記憶して処理を終了する。

【0092】

ステップＳ８８では、結合失敗位置の前後の静止画像の明度、彩度、及び色彩を取得する。

【0093】

次のステップＳ８９では、第２の偽ＨＤＲ画像作成処理を実行して、偽ＨＤＲ画像を作成する。第２の偽ＨＤＲ画像作成処理は、統合失敗位置にある静止画像の明度、彩度、及び色彩を、結合失敗位置の前後の静止画像の明度、彩度、及び色彩に近づける処理である。これにより、結合失敗位置の前後の静止画像と結合失敗位置の静止画像との見た目の差が無くなり、動画を見るユーザが感じる違和感を低減できる。

【0094】

次のステップＳ９０では、ステップＳ８６において記憶した位置に偽ＨＤＲ画像を追加する。その後、再度ステップＳ８７に戻ってステップＳ８７からＳ９０までの処理を繰り返し、メモリ１０３に記憶されている結合失敗位置全てに対して偽ＨＤＲ画像を作成し、動画に追加する。

【0095】

ステップＳ８７からＳ９０を繰り返すことにより、全ての統合失敗位置に関して偽ＨＤＲ画像を作成し、この偽ＨＤＲ画像を用いて動画を完成できる。そして、全ての統合失敗位置に関してステップＳ８７からＳ９０を実行した後に、ステップＳ９１において、動画を画像保存部１１０に記憶する。そして、処理を終了する。

【0096】

以上のように、本実施形態によれば、第１の実施形態と同様の効果を得る。さらに、動画を静止画像撮影後に作成できるため、撮影中のデジタルカメラ１００の処理負荷を低減できる。また、結合失敗位置の静止画像の明度、彩度、及び色彩が、結合失敗位置の前後の静止画像の明度、彩度、及び色彩に近似させることができるため、動画を見るユーザが感じる違和感を低減できる。

【0097】

なお、撮影レンズ１０１は、デジタルカメラ１００に対して着脱自在でなく、着脱できないように固定されてもよい。

【0098】

また、撮像部１０２は、ＣＣＤでなく、ＣＭＯＳ等の固体撮像素子を備えてもよい。

【0099】

ＨＤＲ画像を作成するときに用いる静止画像の数は、３枚に限定されない。複数の静止画像を使用すればよい。

【0100】

複数の静止画像の撮影間隔は５秒に限定されず、動画のフレームレートは３０ｆｐｓに限定されない。これらは、撮影条件によって適宜選択可能である。

【0101】

前述のピント判断処理の代わりに、被写体に撮影レンズ１０１が合焦していなくてもシャッターレリーズが押し下げられたときに撮像動作を行うシャッターレリーズ優先モードでＨＤＲ合成部１０４がデジタルカメラ１００を動作させ、撮像の瞬間までに被写体に撮影レンズ１０１が合焦していない場合に、再撮影判断部１０５が被写体像にピントが合っていないと判断する処理を用いても良い。

【0102】

偽ＨＤＲ画像を作成するとき、ヒストグラムを操作する手段は、前述の方法に限定されない。例えば、１以下の所定値を各ピクセルの輝度に乗じて輝度を下げる、すなわち線形に輝度を下げる手段ではなく、非線形に輝度を下げてもよい。輝度を上げるときも同様に、非線形に輝度を上げても良い。

【0103】

偽ＨＤＲ画像作成処理において、適正露出で撮影された静止画像を用いて偽ＨＤＲ画像を作成しなくてもよい。アンダー露出又はオーバー露出で撮影された静止画像を用いて偽ＨＤＲ画像を作成してもよい。

【0104】

失敗回数はユーザが定めなくても良く、デジタルカメラ１００に既定値として設定されていても良い。

【0105】

ＨＤＲ再撮影判断処理のステップＳ５３において、再度撮影するか否かをユーザが予め設定していなくても良く、ステップＳ５３に達する度にデジタルカメラ１００がユーザに問い合わせし、あるいは、再度撮影する旨又は撮影しない旨を予めデジタルカメラ１００に既定値として設定しておいても良い。

【符号の説明】

【0106】

１００ デジタルカメラ
１０１ 撮影レンズ
１０２ 撮像部
１０３ メモリ
１０４ ＨＤＲ合成部
１０５ 再撮影判断部
１０６ ＡＦ部
１０７ 追加フレーム判断部
１０８ 画像処理部
１０９ フレーム追加部
１１０ 画像保存部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】