特許 6779408 撮像装置、撮像方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6779408

(24)【登録日】2020年10月15日

(45)【発行日】2020年11月4日

(54)【発明の名称】撮像装置、撮像方法、およびプログラム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20201026BHJP

   H04N 5/232 20060101ALI20201026BHJP

   G03B 7/093 20060101ALI20201026BHJP

   G03B 15/00 20060101ALI20201026BHJP

   H04N 5/353 20110101ALI20201026BHJP

   H04N 5/355 20110101ALI20201026BHJP

【ＦＩ】

   H04N5/235 500

   H04N5/232 290

   G03B7/093

   G03B15/00

   H04N5/353

   H04N5/355

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2020-504834(P2020-504834)

(86)(22)【出願日】2019年1月18日

(86)【国際出願番号】JP2019001518

(87)【国際公開番号】WO2019171782

(87)【国際公開日】20190912

【審査請求日】2020年9月3日

(31)【優先権主張番号】特願2018-43382(P2018-43382)

(32)【優先日】2018年3月9日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】藤原 慎也

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１６−２０８４０２（ＪＰ，Ａ）

【文献】 特開２０１１−１４７００８（ＪＰ，Ａ）

【文献】 特開２００７−２０１９８５（ＪＰ，Ａ）

【文献】 特開２０１４−１７６８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ ７／０９３

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／３５３

Ｈ０４Ｎ ５／３５５

(57)【特許請求の範囲】

【請求項1】

撮像部と、
ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定部と、
前記撮像部により連続して撮像される各フレームの露光を制御する露光制御部であって、前記設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間を前記ｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御部と、
前記露光が制御された前記撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得部と、
前記取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成部と、
を備え、
前記露光時間設定部は、前記ｎ個の露光時間の合計と、前記合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、または、前記ｎ個の露光時間の合計と、前記合成フレームの１フレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、
前記露光時間設定部は、前記撮像部で撮像される被写体の明るさに応じて、前記ｎ個の露光時間の合計と前記合成フレームのｎフレーム分の時間とを一致させる露光時間の設定と、前記ｎ個の露光時間の合計と前記合成フレームの１フレーム分の時間とを一致させる露光時間の設定とを切り替える撮像装置。

【請求項2】

撮像部と、
ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定部と、
前記撮像部により連続して撮像される各フレームの露光を制御する露光制御部であって、前記設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間を前記ｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御部と、
前記露光が制御された前記撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得部と、
前記取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成部と、
を備え、
前記露光時間設定部は、前記ｎ個の露光時間の合計と、前記合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、または、前記ｎ個の露光時間の合計と、前記合成フレームの１フレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、
前記露光時間設定部は、前記ｎ個の露光時間を算出する場合であって前記ｎ個の露光時間の合計と前記合成フレームのｎフレーム分の時間とを一致させる場合には、以下の式（１）に基づいて、前記ｎ個の露光時間を算出する撮像装置。

【数1】

ｔ：動画１フレームあたりの秒数
ｎ：合成フレームを取得するための被合成フレームの枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数であり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差

【請求項3】

前記露光時間設定部は、前記ｎ個の露光時間を算出する場合であって前記ｎ個の露光時間の合計と前記合成フレームの１フレーム分の時間とを一致させる場合には、以下の式（２）に基づいて、前記ｎ個の露光時間を算出する請求項１または２に記載の撮像装置。

【数2】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数あり、各被合成フレームの番号
ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差

【請求項4】

前記露光時間設定部は、記憶部に記憶された露光情報に基づいて、前記ｎ個の露光時間を設定する請求項１に記載の撮像装置。

【請求項5】

前記ブランク期間は、前記撮像部からの画像データの読み出しと新たな画像データの露光開始とのタイムラグである請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定ステップと、
撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、前記設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間を前記ｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御ステップと、
前記露光が制御された前記撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得ステップと、
前記取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、
を含み、
前記露光時間設定ステップは、前記ｎ個の露光時間の合計と、前記合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、または、前記ｎ個の露光時間の合計と、前記合成フレームの１フレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、
前記露光時間設定ステップは、前記ｎ個の露光時間を算出する場合であって前記ｎ個の露光時間の合計と前記合成フレームのｎフレーム分の時間とを一致させる場合には、以下の式（１）に基づいて、前記ｎ個の露光時間を算出する撮像方法。

【数3】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための被合成フレームの枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数であり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差

【請求項7】

前記露光時間設定ステップは、前記ｎ個の露光時間を算出する場合であって前記ｎ個の露光時間の合計と前記合成フレームの１フレーム分の時間とを一致させる場合には、以下の式（２）に基づいて、前記ｎ個の露光時間を算出する請求項６に記載の撮像方法。

【数4】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数あり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差

【請求項8】

ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定ステップと、
撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、前記設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間を前記ｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御ステップと、
前記露光が制御された前記撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得ステップと、
前記取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、
を含み、
前記露光時間設定ステップは、前記ｎ個の露光時間の合計と、前記合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、または、前記ｎ個の露光時間の合計と、前記合成フレームの１フレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、
前記露光時間設定ステップは、前記撮像部で撮像される被写体の明るさに応じて、前記ｎ個の露光時間の合計と前記合成フレームのｎフレーム分の時間とを一致させる露光時間の設定と、前記ｎ個の露光時間の合計と前記合成フレームの１フレーム分の時間とを一致させる露光時間の設定とを切り替える撮像工程をコンピュータに実行させるプログラム。

【請求項9】

ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定ステップと、
撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、前記設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間を前記ｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御ステップと、
前記露光が制御された前記撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得ステップと、
前記取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、
を含み、
前記露光時間設定ステップは、前記ｎ個の露光時間の合計と、前記合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、または、前記ｎ個の露光時間の合計と、前記合成フレームの１フレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定し、
前記露光時間設定ステップは、前記ｎ個の露光時間を算出する場合であって前記ｎ個の露光時間の合計と前記合成フレームのｎフレーム分の時間とを一致させる場合には、以下の式（１）に基づいて、前記ｎ個の露光時間を算出する撮像工程をコンピュータに実行させるプログラム。

【数5】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための被合成フレームの枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数であり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法、およびプログラムに関し、特にダイナミックレンジの拡大処理が行われた動画を取得する技術に関する。

【背景技術】

【0002】

デジタルカメラなどでダイナミックレンジの広い被写体（またはシーン）について撮像画像を取得すると、ハイライト部分の白飛びやシャドウ部分の黒つぶれが発生することがある。この白飛びや黒つぶれを抑制し、被写体の持つダイナミックレンジをより広く表現させる方法の１つとして、ダイナミックレンジ拡大処理（ＨＤＲ処理：High-dynamic-range）がある。

【0003】

例えば特許文献１には、長時間露光画像および短時間露光画像を合成して、広ダイナミックレンジ（拡大されたダイナミックレンジ）の動画を得る技術が記載されている。特許文献１に記載された技術では、長時間露光が終了した後に短時間露光が開始するまでのブランク期間（露光間隔）と、短時間露光が終了した後に長時間露光が開始するまでのブランク期間とが異なることによる動画における動体の動きの不自然さを解消することを目的とし、上述の２つのブランク期間を等しくする技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２５９３７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、広ダイナミックレンジの画像を得るには、露光量の異なる複数の画像を合成する方法がある。また、露光量の異なる画像を得る方法の一つとして、絞りおよびＩＳＯ感度の設定を同一にしつつ、露光時間を異ならせる方法がある。この方法では、露光時間が被写体の明るさを基準に設定されたのち、露光量が多いフレームは露光時間を長くし、露光量が少ないフレームは露光時間を短くする。

【0006】

しかしながら、露光時間を被写体の明るさのみを基準にして設定してしまうと、露光を行わないブランク期間が発生してしまう場合がある。このようにブランク期間が発生してしまうと、得られる動画において、フレーム間のつながりが不自然になったり、被写体が移動したり手振れが発生したりした場合には残像が発生してしまう。したがって、ブランク期間をできるだけ短くして、露光量が多いフレームと露光量が少ないフレームを撮像することが望まれている。

【0007】

本発明はこのような事情に鑑みてなされたもので、その目的は、ブランク期間を無視できるほどに短くして、フレーム間のつながりを滑らかにし、動体像や手振れによる残像の発生が抑制された動画を取得することができる撮像装置、撮像方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の一の態様である撮像装置は、撮像部と、ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定部と、撮像部により連続して撮像される各フレームの露光を制御する露光制御部であって、設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間をｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御部と、露光が制御された撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得部と、取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成部と、を備え、露光時間設定部は、ｎ個の露光時間の合計と、合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定する、または、前記ｎ個の露光時間の合計と、合成フレームの１フレーム分の時間とが一致するｎ個の露光時間をそれぞれ設定する。

【0009】

本態様によれば、露光時間設定部により、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とが一致するｎ個の露光時間が設定される。または、本態様によれば、露光時間設定部により、ｎ個の露光時間の合計と合成フレームの１フレーム分の時間とが一致するｎ個の露光時間が設定される。これにより本態様は、露光制御部により設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間をｎ個の露光時間に対して無視できる程度に短く設定して露光させることができる。したがって、本態様は、フレーム間のつながりが滑らかで、被写体の移動や手振れに起因する残像の発生が抑制された動画を得ることができる。

【0010】

好ましくは、露光時間設定部は、撮像部で撮像される被写体の明るさに応じて、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させる露光時間の設定と、ｎ個の露光時間の合計と合成フレームの１フレーム分の時間とを一致させる露光時間の設定とを切り替える。

【0011】

本態様によれば、露光時間設定部により、撮像部で撮像される被写体の明るさに応じて、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させ、またはｎ個の露光時間の合計と合成フレームの１フレーム分の時間とを一致させることを切り替えられる。これにより、本態様は、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させる場合には、暗いシーンでも低感度で撮像することができ、これにより、ノイズが抑制された動画を得ることができる。また本態様は、明るいシーンでも高感度で撮像可能であり、露出連動範囲を広くさせることができる。

【0012】

好ましくは、露光時間設定部は、ｎ個の露光時間を算出する場合であってｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させる場合には、以下の式（１）に基づいて、ｎ個の露光時間を算出する。

【0013】

【数1】

【0014】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための被合成フレームの枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数であり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差
本態様によれば、露光時間設定部は、式（１）に基づいてｎ個の露光時間が算出するので、適切なｎ個の露光時間を設定することができる。

【0015】

好ましくは、露光時間設定部は、ｎ個の露光時間を算出する場合であってｎ個の露光時間の合計と合成フレームの１フレーム分の時間とを一致させる場合には、以下の式（２）に基づいて、ｎ個の露光時間を算出する。

【0016】

【数2】

【0017】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数あり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差
本態様によれば、露光時間設定部は、式（２）に基づいて、ｎ個の露光時間を算出するので、より適切なｎ個の露光時間を設定することができる。

【0018】

好ましくは、露光時間設定部は、記憶部に記憶された露光情報に基づいて、ｎ個の露光時間を設定する。

【0019】

本態様によれば、露光時間設定部により、記憶部に記憶された露光情報に基づいて、ｎ個の露光時間が設定される。これにより、本態様は、予め決められた露光時間に基づいて、露光時間が設定され、合成フレームが生成される。

【0020】

好ましくは、ブランク期間は、撮像部からの画像データの読み出しと新たな画像データの露光開始とのタイムラグである。

【0021】

ここで、タイムラグとは、撮像部からの画像データの読み出しと新たな画像データの露光開始との間の時間を意味する。

【0022】

本発明の他の態様である撮像方法は、ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定ステップと、撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間をｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御ステップと、露光が制御された撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得ステップと、取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、を含み、露光時間設定ステップは、ｎ個の露光時間の合計と、合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定する、または、前記ｎ個の露光時間の合計と、合成フレームの１フレーム分の時間とが一致するｎ個の露光時間をそれぞれ設定する。

【0023】

好ましくは、露光時間設定ステップは、ｎ個の露光時間を算出する場合であってｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させる場合には、以下の式（１）に基づいて、ｎ個の露光時間を算出する。

【0024】

【数3】

【0025】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための被合成フレームの枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数であり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差
好ましくは、露光時間設定ステップは、ｎ個の露光時間を算出する場合であってｎ個の露光時間の合計と合成フレームの１フレーム分の時間とを一致させる場合には、以下の式（２）に基づいて、ｎ個の露光時間を算出する。

【0026】

【数4】

【0027】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数あり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差
本発明の他の態様である撮像工程をコンピュータに実行させるプログラムは、ｎを２以上の整数とすると、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する露光時間設定ステップと、撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間をｎ個の露光時間に対して無視できる程度に短く設定して露光させる露光制御ステップと、露光が制御された撮像部から連続するｎ枚のフレーム間で露光時間がそれぞれ異なる画像データを取得する画像データ取得ステップと、取得した画像データのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、を含み、露光時間設定ステップは、ｎ個の露光時間の合計と、合成フレームのｎフレーム分の時間とが一致する前記ｎ個の露光時間をそれぞれ設定する撮像工程、または、前記ｎ個の露光時間の合計と、合成フレームの１フレーム分の時間とが一致するｎ個の露光時間をそれぞれ設定する撮像工程をコンピュータに実行させる。

【発明の効果】

【0028】

本発明によれば、露光時間設定部により、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とが一致するｎ個の露光時間が設定され、または、露光時間設定部により、ｎ個の露光時間の合計と合成フレームの１フレーム分の時間とが一致するｎ個の露光時間が設定され、露光制御部により設定されたｎ個の露光時間にしたがって連続するｎ枚のフレームの露光時間をそれぞれ異ならせ、かつフレーム間のブランク期間をｎ個の露光時間に対して無視できる程度に短く設定して露光させることができるので、フレーム間のつながりが滑らかで、被写体の移動や手振れに起因する残像の発生が抑制された動画を得ることができる。

【図面の簡単な説明】

【0029】

【図1】図１は、撮像装置の制御処理系を示すブロック図である。

【図2】図２は、露光時間の設定および露光制御に関連する機能構成例を示すブロック図である。

【図3】図３は、画像処理部の機能構成例を示すブロック図である。

【図4】図４は、従来の露光時間の設定手法に関して説明する図である。

【図5】図５は、被合成フレームの露光に関して説明する図である。

【図6】図６は、被合成フレームの露光のタイミングチャートである。

【図7】図７は、撮像装置の動作を示すフロー図である。

【図8】図８は、被合成フレームの露光に関して説明する図である。

【図9】図９は、被合成フレームの露光のタイミングチャートである。

【図10】図１０は、撮像装置の動作を示すフロー図である。

【発明を実施するための形態】

【0030】

以下、添付図面にしたがって本発明にかかる撮像装置、撮像方法、およびプログラムの好ましい実施の形態について説明する。

【0031】

図１は、撮像装置１の制御処理系を示すブロック図である。

【0032】

被写体光は、レンズ１２、絞り１４、及びメカニカルシャッタ２０を通過し、撮像素子（撮像部）２１によって受光される。レンズ１２は、撮像レンズおよび絞り１４を含む撮像光学系によって構成される。撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。

【0033】

メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。

【0034】

画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。

【0035】

また、画像処理部３１は、ダイナミックレンジを拡大した合成フレームを生成する。画像処理部３１の合成フレームの生成に関しては後で説明する。なお、ダイナミックレンジの拡大処理を行った合成フレームを以下では「広ダイナミックレンジの合成フレーム」と記載する。また、広ダイナミックレンジの合成フレームを構成するフレームを「被合成フレーム」と記載する。

【0036】

画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。

【0037】

一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。

【0038】

撮像装置１のＡＦ処理機能は、シャッタボタンの第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。

【0039】

ＡＥ検出機能は、シャッタボタンの第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。

【0040】

システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、撮像装置１における他の各部（ＡＦ処理機能、ＡＥ検出機能）もコントロールする。

【0041】

システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、ＡＥ検出機能を動作させる。ＡＥ検出機能により入力される積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞り駆動部２８を介して絞り１４の絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定する。

【0042】

シャッタボタンが全押しされると、決定した絞り値に基づいて絞り１４を制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２７を介してメカニカルシャッタ２０を制御する。なお、撮像素子２１の電荷蓄積時間は、センサ駆動部２６により制御される。

【0043】

システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、レンズ駆動部２９を介してレンズ１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体への焦点調節を行う。システム制御部２５は、フォーカスレンズの移動位置に基づいて合焦位置に関する情報を取得する。

【0044】

またシステム制御部２５は、シャッタボタン、電源スイッチおよび操作部を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。

【0045】

システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムやデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。

【0046】

次に、本発明の露光時間の設定および露光制御に関して説明する。図２は、露光時間の設定および露光制御に関連する機能構成例を示すブロック図である。

【0047】

システム制御部２５は露光時間設定部１０１を含む。露光時間設定部１０１は、合成フレームを生成するための被合成フレームの露光時間をそれぞれ設定する。すなわち、露光時間設定部１０１は、合成フレームがｎ枚の被合成フレームからなる場合には、ｎ枚のフレーム間でそれぞれ異なるｎ個の露光時間を設定する。

【0048】

また、露光時間設定部１０１は、ｎ個の露光時間の合計と、合成フレームのｎフレーム分の時間とが一致するように、ｎ個のフレームの露光時間をそれぞれ設定する。また、露光時間設定部１０１は、ｎ個の露光時間の合計と、合成フレームの１フレーム分の時間とが一致するように、ｎ個の露光時間を設定する。ここで、後で説明するが被合成フレーム間には、撮像素子２１からの画像データの読み出しと新たな画像データの露光開始とのタイムラグが存在する。

【0049】

シャッタ駆動部２７は、撮像素子２１における露光制御部１０３を有する。露光制御部１０３は、撮像素子２１により連続して撮像される各フレームの露光を制御する。

【0050】

図３は、画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、合成フレーム生成部１０７を備える。

【0051】

画像データ取得部１０５は、露光が制御された撮像部から各フレームの画像データを取得する。具体的には、画像データ取得部１０５は、撮像素子２１から出力された、露光時間が異なる被合成フレームの画像データを１セットとしてメインメモリ２４から逐次取得する。

【0052】

合成フレーム生成部１０７は、取得した被合成フレームのｎ枚の画像データからダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する。なお、ｎは２以上の整数である。

【0053】

図４は、従来の露光時間の設定手法に関して説明する図である。図４では、縦軸は時間単位あたりの露光量を示し、横軸は時間を示している。

【0054】

広ダイナミックレンジの合成フレームは、被合成フレームである露光量の多いフレーム（フレームＡ）と露光量の少ないフレーム（フレームＢ）とで構成される。また、フレームＡおよびフレームＢの各々は、３０ｆｐｓ（frame per second）で撮像されており、すなわち１／３０秒毎に取得されている。なお、フレームＡおよびフレームＢは同じＩＳＯ感度、同じ絞り値（Ｆ値）により取得されており、露光時間を変えることにより、露光量の異なるフレームとされる。

【0055】

フレームＡの露光時間は１／３０秒に設定されており、フレームＢの露光時間は１／３０秒より短く設定されている。そうすると、フレームＢの撮像のタイミングでブランク期間が発生することになる。ブランク期間とは露光を行わない期間のことをいう。なお、この従来の露光時間の設定手法のブランク期間は、後で説明するタイムラグよりも長く、フレームＡおよびフレームＢの露光時間に対して無視できない程度の期間である。

【0056】

フレームＢの撮像後にブランク期間が発生するので、合成フレーム１、合成フレーム２、合成フレーム３、合成フレーム４のつながりが不自然となる。また、合成フレーム２および合成フレーム４においては、被合成フレームのフレームＡおよびフレームＢとの間にブランク期間が発生してしまうので、動体像や手振れによる残像が発生してしまう。

【0057】

＜第１の実施形態＞
次に、本発明の第１の実施形態に関して説明する。

【0058】

図５は、本実施形態の合成フレームを構成する被合成フレームの露光に関して説明する図である。なお、図５は、図４と同様に、縦軸は時間単位あたりの露光量を示し、横軸は時間を示している。

【0059】

本実施形態では、合成フレームをｎ枚の被合成フレームで構成する場合には、露光時間設定部１０１は、撮像部で撮像される被写体の明るさに応じて、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させるように各フレームの露光時間を設定する。具体的には、合成フレームを構成する２枚のフレームＡおよびフレームＢの露光時間は、２／３０秒の期間にブランク期間を実質的に設けないように設定される。このように、フレームＡおよびフレームＢの露光時間を設定することにより、ブランク期間をフレームＡおよびフレームＢの露光時間に対して無視できる程度に短くすることができる。すなわち、露光が行われない時間をタイムラグだけにすることができる。また、ブランク期間を実質的に設けないとは、例えば後で説明するタイムラグＨ以外のブランク期間が設けられていない場合をいう。

【0060】

図６は、図５に示した被合成フレームの露光のタイミングチャートである。

【0061】

図６（Ａ）は動画撮像のタイミング（ｆｐｓ）が示されており、図６（Ｂ）は電子シャッタ開始パルスのタイミングが示されおり、図６（Ｃ）は読み出し開始パルスのタイミングが示されおり、図６（Ｄ）にはフレームＡ（ＳＳ＿１）およびフレームＢ（ＳＳ＿２）の露光時間が示されている。

【0062】

動画撮像の時間は、予め設定されていたりユーザが設定することができる。例えば、動画は３０ｆｐｓや６０ｆｐｓで撮像される。図６に示す場合では３０ｆｐｓで２枚の被合成フレームを撮像するので、図６（Ａ）には（１／３０）×２秒のタイミングが示されている。

【0063】

図６（Ｂ）および図６（Ｃ）に示されている電子シャッター開始パルスと読み出し開始パルスは、露光制御部１０３により出力される。具体的には、露光時間設定部１０１で設定された露光時間ＳＳ＿１および露光時間ＳＳ＿２に合わせて、電子シャッター開始パルスと読み出し開始パルスを出力する。

【0064】

ここで、図６に示されているタイムラグＨに関して説明する。タイムラグＨは、読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグである。タイムラグＨは、露光時間ＳＳ＿１や露光時間ＳＳ＿２に対して無視できる程度に短い。例えばタイムラグＨは、ブランク期間を最小にする際の必要最低限のクロック数に相当する期間であり、実際の時間にすると１０マイクロ秒程度である。またタイムラグＨは、フレームレートに対して０．１％以下の期間である。したがって、タイムラグＨは、フレームＡおよびフレームＢの露光時間に対して、無視できる程度に短い。

【0065】

露光時間設定部１０１は、ｎ個の露光時間を算出する場合であってｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させる場合には、以下の式（１）に基づいて、ｎ個の露光時間を算出する。

【0066】

【数5】

【0067】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための被合成フレームの枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データを取得するための露光時間
ｉ：１からｎまでの自然数であり、各被合成フレームの番号
ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差
具体的には、３０ｆｐｓで動画を撮像し、２枚のフレームで広ダイナミックレンジの合成フレームを生成し、２枚のフレームの露光差は１Ｅｖ、Ｈが０に近い場合を考えると、フレームＡの露光時間ＳＳ＿１とフレームＢの露光時間ＳＳ＿２とは以下のように算出される。

【0068】

【数6】

【0069】

上述のように算出された露光時間ＳＳ＿１と露光時間ＳＳ＿２とを加算すると、２／３０秒となり動画の撮像３０ｆｐｓにおける２フレーム分の期間になる。

【0070】

次に、本発明の撮像工程に関して説明する。図７は、撮像装置１の動作を示すフロー図である。

【0071】

露光時間設定部１０１は、合成フレームを構成するフレームＡおよびＢの露光時間を設定する（ステップＳ１０：露光時間設定ステップ）。フレームＡおよびフレームＢの露光時間は、上述の式（１）を用いて、それぞれＳＳ＿１およびＳＳ２＿と設定される。

【0072】

その後、露光制御部１０３により、露光時間設定部１０１で設定された露光時間に基づいて露光が制御される（ステップＳ１１：露光制御ステップ）。具体的には、露光制御部１０３は、先ず電子シャッター開始パルスを出力し、撮像素子２１にフレームＡの露光を開始させる。その後、露光時間ＳＳ＿１を経過したのちに、露光制御部１０３は読み出し開始パルスを出力して、フレームＡの画像データの読み出しを開始させる。次に、露光制御部１０３は、タイムラグＨの期間後に電子シャッター開始パルスを出力して、撮像素子２１にフレームＢの露光を開始させる。その後、露光時間ＳＳ＿２を経過したのちに、露光制御部１０３は読み出し開始パルスを出力して、フレームＢの画像データの読み出しを開始させる。

【0073】

その後、画像データ取得部１０５は、フレームＡおよびフレームＢの画像データを取得する（ステップＳ１２：画像データ取得ステップ）。次に、合成フレーム生成部１０７は、取得したフレームＡおよびフレームＢの画像データにより、合成フレームを生成する（ステップＳ１３：合成フレーム生成ステップ）。

【0074】

以上、説明したように本実施形態では、露光時間設定部１０１により、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とが一致するｎ個の露光時間が設定され、その露光時間に応じたフレームの画像データが取得される。これにより、ブランク期間をｎ個の露光時間に対して無視できるほど短く設定することができ、フレーム間のつながりが滑らかで、被写体の移動や手振れに起因する残像の発生が抑制された動画を得ることができる。また、本実施形態では、後述する第２の実施形態で決定される露光時間よりも長く露光時間が設定されるので、暗いシーンであっても低感度で撮像することができ、ノイズが抑制された動画を得ることができる。

【0075】

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0076】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0077】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0078】

上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0079】

＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。本実施形態は、被合成フレームの合計の露光時間が動画撮像の１フレーム分の時間に一致するように設定される。

【0080】

図８は、本実施形態の被合成フレームの露光に関して説明する図である。なお、図８は、図４と同様に、縦軸は時間単位あたりの露光量を示し、横軸は時間を示している。

【0081】

本実施形態では、合成フレームをｎ枚の被合成フレームで構成する場合には、露光時間設定部１０１は、撮像部で撮像される被写体の明るさに応じて、ｎ個の露光時間の合計と合成フレームの１フレーム分の時間とを一致させるように露光時間を設定する。具体的には、合成フレームを構成する２枚のフレームＡおよびフレームＢの露光時間は、１／３０秒の期間にブランク期間を実質的に設けないように設定される。

【0082】

図９は、図８に示した被合成フレームの露光のタイミングチャートである。図９（Ａ）―（Ｄ）には、図６と同様の事項が示されている。

【0083】

図９に示す場合では３０ｆｐｓで動画が撮像される場合が示されている。

【0084】

露光時間設定部１０１は、ｎ個の露光時間を算出する場合であってｎ個の露光時間の合計と合成フレームの１フレーム分の時間とを一致させる場合には、以下の式（２）に基づいて、ｎ個の露光時間を算出する。

【0085】

【数7】

【0086】

ｔ：動画１フレーム辺りの秒数
ｎ：合成フレームを取得するための枚数
Ｈ：読み出し開始パルスと電子シャッター開始パルスとの間に必要なタイムラグ
ＳＳ_ｉ：各画像データ取得するための露光時間
ｉ：１からｎまでの自然数あり、各被合成フレームの番号ΔＥｖ_ｉ：最も明るい被合成フレームに対する露出差
具体的には、３０ｆｐｓで動画を撮像し、２枚の被合成フレームで合成フレームを生成し、２枚のフレームの露光差は１Ｅｖ、Ｈが０に近い場合を考えると、フレームＡの露光時間ＳＳ＿１とフレームＢの露光時間ＳＳ＿２とは以下のように算出される。

【0087】

【数8】

【0088】

上述のように算出された露光時間ＳＳ＿１と露光時間ＳＳ＿２とを加算すると、１／３０秒となり動画の撮像３０ｆｐｓにおける１フレーム分の期間になる。

【0089】

以上、説明したように本実施形態では、露光時間設定部１０１により、ｎ個の被合成フレームの露光時間の合計と合成フレームの１フレーム分の時間とが一致するように露光時間が設定される。そして、その露光時間に応じたフレームの画像データが取得される。これにより、ブランク期間をｎ個の露光時間に対して無視できるほど短く設定することができ、フレーム間のつながりが滑らかで、被写体の移動や手振れに起因する残像の発生が抑制された動画を得ることができる。また、本実施形態では、第１の実施形態での露光時間よりも短いために明るいシーンであっても高感度で撮像することが可能であり、露出連動範囲を広くすることができる。

【0090】

＜第３の実施形態＞
次に、本発明の第３の実施形態に関して説明する。本実施形態では、第１の露光時間決定方式（第１の実施形態）における露光時間の設定と第２の露光時間決定方式（第２の実施形態）における露光時間の設定とを切り替える。具体的には、露光時間設定部１０１は、撮像部で撮像される被写体の明るさに応じて、ｎ個の露光時間の合計と合成フレームのｎフレーム分の時間とを一致させるような露光時間の設定と、ｎ個の露光時間の合計と合成フレームの１フレーム分の時間とを一致させるような露光時間の設定を切り替えて使用する。

【0091】

図１０は、本実施形態の撮像装置１の動作を示すフロー図である。

【0092】

露光時間設定部１０１は、第１の露光時間決定方式により露光時間ＳＳ１＿ｎを取得する（ステップＳ２０）。次に、露光時間設定部１０１は、シーンの明るさと露光時間（ＳＳ１＿ｎ）と目標露出からＩＳＯ感度（Ｓｖ１）と絞り値（Ａｖ１）とを取得する（ステップＳ２１）。露光時間設定部１０１は、例えば、予め撮像装置１に記憶されている露光時間、ＩＳＯ感度、および絞り値の関係を示したパラメータに沿って、ＩＳＯ感度（Ｓｖ１）と絞り値（Ａｖ１）とを取得する。

【0093】

次に、露光時間設定部１０１は、取得したＩＳＯ感度（Ｓｖ１）がカメラの低感度限界より小さいか否かを判定する（ステップＳ２２）。

【0094】

露光時間設定部１０１は、ＩＳＯ感度（Ｓｖ１）が撮像装置１の低感度限界より小さいと判定した場合には、次に取得した絞り値（Ａｖ１）が撮像装置１の小絞り限界よりも大きいか否かを判定する（ステップＳ２３）。

【0095】

取得した絞り値（Ａｖ１）が撮像装置１の小絞り限界よりも大きい場合には、露光制御部１０３は、露光時間ＳＳ１＿ｎ、Ｓｖ１、Ａｖ１で撮像を行わせる（ステップＳ２４）。そして、画像データ取得部１０５は、第１の露光時間決定方式で設定された露光時間で露光されたｎ枚の露出の違う画像データを取得し、合成フレーム生成部１０７は、合成フレームを生成する（ステップＳ２５）。

【0096】

一方で、露光時間設定部１０１は、取得したＩＳＯ感度（Ｓｖ１）がカメラの低感度限界よりも小さい場合、または取得した絞り値（Ａｖ１）が撮像装置１の小絞り限界よりも小さい場合には、第２の露光時間決定方式で露光時間ＳＳ２＿ｎを取得する（ステップＳ２６）。次に、露光時間設定部１０１は、シーンの明るさと露光時間（ＳＳ２＿ｎ）と目標露出からＩＳＯ感度（Ｓｖ２）と絞り値（Ａｖ２）とを取得する（ステップＳ２７）。その後、露光制御部１０３は、露光時間ＳＳ２＿ｎ、Ｓｖ２、Ａｖ２で撮像を行わせる（ステップＳ２８）。そして、画像データ取得部１０５は、第２の露光時間決定方式で設定された露光時間で露光されたｎ枚の露出の違う画像データを取得し、合成フレーム生成部１０７は、合成フレームを生成する（ステップＳ２５）。なお、上述の動作を行う場合には撮像装置１は絞り固定、ＩＳＯ感度は自動で設定される。

【0097】

このように、本実施形態では被写体の明るさに応じて、第１の露光時間決定方式と第２の露光時間決定方式とで露光時間が決定される。第１の露光時間決定方式で露光時間が決定されると、第２の露光時間決定方式で決定される露光時間に比べて長くなり、被写体が暗いシーンでも低感度で撮像することができる。これにより、ノイズが抑制された動画を得ることができる。一方、第２の露光時間決定方式で露光時間が決定されると、明るいシーンでも高感度で撮像可能であり、露出連動範囲を広くさせることができる。

【0098】

＜その他＞
なお、上記では、露光時間設定部１０１が被合成フレームの露光時間を算出する例に関して説明したが、これに限定されるものではない。例えば露光時間設定部１０１は、記憶部（制御メモリ３０）に記憶された露光情報に基づいて、ｎ個の露光時間を設定する。ここで露光情報とは、被合成フレームの露光時間を決定するための情報である。具体的には、露光情報は、動画撮像のフレームレート（ｆｐｓ）および被合成フレームの枚数に基づいて、予め決められている露光時間が導出することができる情報である。

【0099】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0100】

１：撮像装置
８：表示部
１０：外部メモリ
１２：レンズ
１４：絞り
２０：メカニカルシャッタ
２１：撮像素子
２２：プロセス処理部
２３：ＡＤ変換部
２４：メインメモリ
２５：システム制御部
２６：センサ駆動部
２７：シャッタ駆動部
２８：絞り駆動部
２９：レンズ駆動部
３０：制御メモリ
３１：画像処理部
３２：圧縮伸張部
３３：記憶制御部
３５：表示制御部
３６：ユーザインタフェース
１０１：露光時間設定部
１０３：露光制御部
１０５：画像データ取得部
１０７：合成フレーム生成部
Ｓ１０−Ｓ１３：第１の撮像工程
Ｓ２０−Ｓ２８：第３の撮像工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】