特許 7546415 報知装置、撮像装置、報知方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-29

(45)【発行日】2024-09-06

(54)【発明の名称】報知装置、撮像装置、報知方法、及びプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240830BHJP

   H04N 23/60 20230101ALI20240830BHJP

   G03B 15/00 20210101ALI20240830BHJP

   G03B 17/18 20210101ALI20240830BHJP

   H04N 23/68 20230101ALI20240830BHJP

【ＦＩ】

H04N23/63 310

H04N23/60 500

G03B15/00 Q

G03B17/18

H04N23/68

【請求項の数】 10

(21)【出願番号】P 2020148445

(22)【出願日】2020-09-03

(65)【公開番号】P2022042829

(43)【公開日】2022-03-15

【審査請求日】2023-08-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】網代 茂夫

【審査官】岡田 弘

(56)【参考文献】

【文献】特開２０２０－１０８１０１（ＪＰ，Ａ）

【文献】特開２００４－１５８９０５（ＪＰ，Ａ）

【文献】特開２０００－０５０１５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０３Ｂ １５／００－１５／０３５

Ｇ０３Ｂ １５／０６－１５／１６

Ｇ０３Ｂ １７／１８－１７／２０

Ｇ０３Ｂ １７／３６

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－５／９４

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

２回の準備撮影により得られた２つの画像間の被写体の動き量を検出する検出手段と、
連続したＮ回の本撮影（Ｎは２以上の整数）を行うのに要する累積撮影時間を取得する取得手段と、
前記２つの画像の撮影間隔と前記累積撮影時間とに基づいて、前記動き量を前記累積撮影時間に対応する換算動き量に換算する換算手段と、
前記換算動き量に基づいて動きブレを報知する報知手段と、
を備えることを特徴とする報知装置。

【請求項2】

前記取得手段は、前記累積撮影時間として、前記Ｎ回の本撮影のためのＮ回の露光の合計時間を取得する
ことを特徴とする請求項１に記載の報知装置。

【請求項3】

前記取得手段は、前記累積撮影時間として、前記Ｎ回の本撮影のための最先の露光が開始してから最後の露光が終了するまでの時間を取得する
ことを特徴とする請求項１に記載の報知装置。

【請求項4】

前記取得手段は、前記累積撮影時間として、前記Ｎ回の本撮影のための最先の露光が開始してから最後の露光が終了するまでの期間に含まれる合計の露光時間と、当該期間に含まれる合計の非露光時間とを、重み付け加算することにより得られる時間を取得し、
前記合計の非露光時間の重み付けは、前記合計の露光時間の重み付けよりも大きい
ことを特徴とする請求項１に記載の報知装置。

【請求項5】

前記換算動き量が閾値未満であるか否かを判定する判定手段と、
前記換算動き量が前記閾値未満の場合に、前記Ｎ回の本撮影により得られたＮ枚の画像を合成する合成手段と、
を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の報知装置。

【請求項6】

前記換算動き量が前記閾値以上の場合に、前記Ｎ枚の画像の中から代表画像を選択する選択手段を更に備える
ことを特徴とする請求項５に記載の報知装置。

【請求項7】

前記選択手段は、前記Ｎ枚の画像のうちの最も短い露光時間で撮影された画像を、前記代表画像として選択する
ことを特徴とする請求項６に記載の報知装置。

【請求項8】

撮像手段と、
請求項１乃至７のいずれか１項に記載の報知装置と、
を備えることを特徴とする撮像装置。

【請求項9】

報知装置が実行する報知方法であって、
２回の準備撮影により得られた２つの画像間の被写体の動き量を検出する検出工程と、
連続したＮ回の本撮影（Ｎは２以上の整数）を行うのに要する累積撮影時間を取得する取得工程と、
前記２つの画像の撮影間隔と前記累積撮影時間とに基づいて、前記動き量を前記累積撮影時間に対応する換算動き量に換算する換算工程と、
前記換算動き量に基づいて動きブレを報知する報知工程と、
を備えることを特徴とする報知方法。

【請求項10】

コンピュータを、請求項１乃至７のいずれか１項に記載の報知装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、報知装置、撮像装置、報知方法、及びプログラムに関する。

【背景技術】

【0002】

移動する被写体に対してカメラで被写体ブレを起こさずに撮像するためには、適切なシャッタースピードで撮像する必要がある。

【0003】

特許文献１には、準備撮影中において、撮影者が動き領域を目視確認できる技術が開示されている。ここで、準備撮影とは、ユーザが撮像装置の電子ビューファインダや背面液晶を見ながら構図合わせや撮影条件の設定を行うことを可能にするための撮影のことである。特許文献１には、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調表示する技術が開示されている。

【0004】

また、近年のカメラには、一度の撮影指示に対して、カメラが撮影条件を変えて連続撮影し、取得された画像を用いた画像合成処理を行って、１枚の高画質な記録用画像を生成する複数枚撮影（マルチショット撮影）の機能が搭載されているものがある。例えば、ハイダイナミックレンジ（ＨＤＲ）撮影機能では、カメラが露光時間を変えて連続撮影し、それぞれの画像に対して、任意の輝度範囲に収まる画像領域を抽出し、合成処理することで記録用画像の階調表現の拡張を実現している。特許文献２は、ＨＤＲ撮影に関する技術を開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－１７２６６７号公報

【文献】特開２０１５－１８６０６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述のマルチショット撮影においては、異なるタイミングで撮影された複数の画像が合成されるため、画像間で被写体の位置が変化し、その結果、合成画像において被写体の動きブレが生じる可能性がある。特許文献１の技術は、このような合成画像における動きブレを対象としたものではないため、特許文献１の技術では、ユーザが合成画像に動きブレが生じる可能性を事前に認識することは容易ではない。

【0007】

本発明はこのような状況に鑑みてなされたものであり、連続撮影により得られた複数の画像を合成した場合に生じる被写体の動きブレを、ユーザが事前に認識することを容易にする技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明は、２回の準備撮影により得られた２つの画像間の被写体の動き量を検出する検出手段と、連続したＮ回の本撮影（Ｎは２以上の整数）を行うのに要する累積撮影時間を取得する取得手段と、前記２つの画像の撮影間隔と前記累積撮影時間とに基づいて、前記動き量を前記累積撮影時間に対応する換算動き量に換算する換算手段と、前記換算動き量に基づいて動きブレを報知する報知手段と、を備えることを特徴とする報知装置を提供する。

【発明の効果】

【0009】

本発明によれば、連続撮影により得られた複数の画像を合成した場合に生じる被写体の動きブレを、ユーザが事前に認識することを容易にすることが可能となる。

【図面の簡単な説明】

【0010】

【図1】撮像装置１００の構成を示すブロック図。

【図2】撮像装置１００による撮影処理のフローチャート。

【図3】動きベクトルの算出方法の詳細について説明する図。

【図4】算出された動きベクトルの例を説明する図。

【図5】累積撮影時間の算出方法（取得方法）の詳細について説明する図。

【図6】換算動きブレの算出方法の詳細について説明する図。

【図7】動きブレ報知方法の詳細について説明する図。

【図8】撮像装置８００の構成を示すブロック図。

【図9】撮像装置８００による撮影処理のフローチャート。

【図10】撮像装置１０００の構成を示すブロック図。

【図11】累積撮影時間の取得のために重み付け加算を行う理由について説明する図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。更に、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

［第１の実施形態］
●撮像装置１００の構成
図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、カメラ機能を有しており、マルチショット撮影を行うことができる。撮像装置１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、デジタル信号処理部１０４、制御部１０５、メモリ１０６、準備撮影制御部１０７、複数撮影制御部１０８、合成画像生成部１１３、及び報知画像生成部１１４を備える。報知画像生成部１１４は、動きブレ算出部１０９、累積撮影時間取得部１１０、動きブレ換算部１１１、及び動きブレ報知部１１２を含む。

【0013】

実空間の像が、フォーカスレンズを含む撮像光学系１０１から、光学像を電気信号に変換する撮像素子１０２上に結像される。撮像素子１０２から出力されたアナログ信号は、不図示のＣＤＳ回路や、アナログ信号処理（ＩＳＯ感度の増幅など）を行うアナログ信号処理部を介してＡ／Ｄ変換部１０３に入力される。Ａ／Ｄ変換部１０３は、入力されたアナログ信号をデジタル信号に変換してデジタル信号処理部１０４へ出力する。

【0014】

デジタル信号処理部１０４は、Ａ／Ｄ変換部１０３からベイヤー配列で入力された撮影画像に対して、ホワイトバランス調整、ガンマ処理、及びノイズリダクション処理などのデジタル信号処理を行う。その後、デジタル信号処理部１０４は、制御部１０５を介して撮影画像をメモリ１０６に出力する。また、デジタル信号処理部１０４は、撮影画像に対して露出検出を行って露出情報を取得してメモリ１０６に出力する。なお、ホワイトバランス調整、ガンマ処理、ノイズリダクション処理、及び露出検出などのデジタル信号処理については、任意の既知の技術を使用することができる。

【0015】

制御部１０５は、撮像装置１００の全体の制御を行う。メモリ１０６は、マルチショット撮影画像、準備撮影画像、準備撮影画像間の時間、準備撮影画像の露出情報、及び撮影条件などの各種情報を保持する。また、メモリ１０６は、準備撮影画像を動きブレ算出部１０９及び動きブレ報知部１１２へ転送し、準備撮影画像間の時間を動きブレ換算部１１１へ転送し、合成画像生成部１１３へマルチショット撮影画像を転送する。

【0016】

準備撮影制御部１０７は、準備撮影をするために、撮像素子１０２の露光時間の駆動制御を行う。ここでの準備撮影とは、ユーザが表示部１１５（例えば、電子ビューファインダ、又は撮像装置１００の背面の液晶ディスプレイなど）を見ながら構図合わせや撮影条件の設定を行うことを可能にするための撮影のことである。

【0017】

複数撮影制御部１０８は、マルチショット撮影画像を取得するために、撮像素子１０２の露光時間の駆動制御を行う。第１の実施形態では、複数撮影制御部１０８は、異なる露光量で撮影した複数の撮影画像を合成するために、マルチショット撮影時に各撮影の露光時間を変化させるように撮像素子１０２を駆動させる。更に、複数撮影制御部１０８は、メモリ１０６に保持されている準備撮影画像の露出情報に基づいて、マルチショット撮影の露光時間を算出する。複数撮影制御部１０８は、算出した露光時間に基づいて、各撮影の撮影時間を算出し、露光時間及び撮影時間を累積撮影時間取得部１１０に出力する。第１の実施形態において、撮影時間とは、１回の撮影開始から次の撮影開始までの時間のことである。

【0018】

動きブレ算出部１０９は、メモリ１０６から入力された時間的に隣接する２枚の準備撮影画像間の動きブレ（動き量）の情報として動きベクトルを算出し、動きブレ（動き量）を動きブレ換算部１１１へ出力する。動きベクトルとは、準備撮影画像間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。

【0019】

累積撮影時間取得部１１０は、マルチショット撮影の各撮影の撮影時間及び露光時間を複数撮影制御部１０８から取得して保持し、累積撮影時間（連続したＮ回の本撮影（Ｎは２以上の整数）を行うのに要する）を取得し、動きブレ換算部１１１へ出力する。累積撮影時間の取得方法は特に限定されず、要求される精度に応じて適宜取得方法を選択可能である。例えば、累積撮影時間取得部１１０は、累積撮影時間として、各撮影のための露光の合計時間（Ｎ回の本撮影のためのＮ回の露光の合計時間）を取得してもよい。厳密には１回の撮影と次の撮影との間には非露光時間が存在するが、多くの場合、非露光時間は露光時間と比べて無視できるほど短いためである。他の例として、累積撮影時間取得部１１０は、累積撮影時間として、マルチショット撮影（Ｎ回の本撮影）のための最先の露光が開始してから最後の露光が終了するまでの時間を取得してもよい。

【0020】

動きブレ換算部１１１は、動きブレ算出部１０９から入力された動きブレ、メモリ１０６から入力された準備撮影画像間の時間、及び累積撮影時間取得部１１０から入力された累積撮影時間に基づき、累積撮影時間対応する動きブレ（換算動きブレ）を算出する。換言すると、動きブレ換算部１１１は、２つの準備撮影画像の撮影間隔と累積撮影時間とに基づいて、２つの準備撮影画像間の動きブレ（動き量）を累積撮影時間に対応する換算動きブレ（換算動き量）に換算する。動きブレ換算部１１１は、換算動きブレを動きブレ報知部１１２へ出力する。

【0021】

動きブレ報知部１１２は、メモリ１０６から入力された準備撮影画像及び動きブレ換算部１１１から入力された換算動きブレに基づいて動きブレ報知画像を生成し、生成した動きブレ報知画像を表示部１１５に表示する。動きブレ報知画像の生成方法としては、ユーザが動きブレを容易に認識できる画像プレーンを準備撮影画像に重畳する方法が挙げられる。

【0022】

合成画像生成部１１３は、メモリ１０６に記録されたマルチショット撮影画像の合成処理を行うことにより、合成画像を作成する。第１の実施形態では、合成画像生成部１１３は、例えば特許文献２に記載されたハイダイナミックレンジ（ＨＤＲ）合成を行う。

【0023】

●動きベクトルの算出方法
図３を参照して、動きブレ算出部１０９における動きベクトルの算出方法の詳細について説明する。図３には、Ｍ番目の準備撮影画像である基準フレーム３０１、基準フレーム３０１内のＮ×Ｎ画素の基準ブロック３０２、及びＭ＋１番目の準備撮影画像である参照フレーム３０３が示されている。また、基準フレーム３０１内の基準ブロック３０２の中心座標と同座標である、参照フレーム３０３内の座標３０４が示されている。更に、座標３０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素の探索範囲３０５、探索範囲３０５内に存在する座標３０４と異なる座標である座標３０６、及び座標３０６を中心座標としたＮ×Ｎ画素の参照ブロック３０７が示されている。

【0024】

動きブレ算出部１０９は、時間的に隣接する２枚の準備撮影画像をそれぞれ基準フレーム３０１及び参照フレーム３０３として用いる。動きブレ算出部１０９は、基準フレーム３０１において基準ブロック３０２を配置し、座標３０４の探索範囲３０５を設定する。

【0025】

動きブレ算出部１０９は、基準フレーム３０１の基準ブロック３０２と参照フレーム３０３の参照ブロック３０７との間の相関演算により相関値を算出する。相関値は、基準ブロック３０２及び参照ブロック３０７の画素に対するフレーム間差分絶対値和に基づき算出される。フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標に相当する。

【0026】

図３の例では、参照ブロック３０７が最も高い相関値を持つものとする。この場合、動きブレ算出部１０９は、高い相関値を持つ参照ブロック３０７の座標３０６に基づき、動きベクトルを算出する。即ち、座標３０４から座標３０６までの座標間距離と方向を動きベクトルとして求めることができる。

【0027】

動きブレ算出部１０９は、基準フレーム３０１の全画素について動きベクトルの算出処理を行い、全画素の動きベクトルを算出するまで繰り返し処理を行う。動きブレ算出部１０９は、まだ動きベクトルが算出されていない画素を中心として基準フレーム３０１の基準ブロック３０２を再配置し、座標３０４の探索範囲３０５を再設定する。以下同様に、動きブレ算出部１０９は、基準ブロック３０２を移動させながら動きベクトルを算出する処理を繰り返して、基準フレーム３０１の全画素の動きベクトルを算出する。

【0028】

以上の処理により、動きブレ算出部１０９は、時間的に隣接する準備撮影画像間における動きベクトルを算出できる。

【0029】

なお、動きブレ算出部１０９は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。また、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えば、フレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法を用いてもよい。また、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明したが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法を用いてもよい。

【0030】

図４は、動きブレ算出部１０９により算出された動きベクトルの例を説明する図である。図４（ａ）は、左に走っている犬４０１と止まっている犬４０２とを含むシーンに対応する準備撮影画像を示す。図４（ｂ）は、図４（ａ）の準備撮影画像において算出される動きベクトルの代表例を示す図である。図４（ｂ）では、走っている犬４０１の位置で左方向の動きベクトルが検出されている。犬４０１以外の位置（止まっている犬４０２や背景の柵の位置）では動きベクトルとして０が検出されるため、動きベクトルは図示されていない。

【0031】

●累積撮影時間の算出方法
次に、図５のタイミングチャートを参照して、累積撮影時間取得部１１０による累積撮影時間の算出方法（取得方法）の詳細について説明する。但し、前述の通り、累積撮影時間の取得方法は特に限定されず、要求される精度に応じて適宜取得方法を選択可能である。従って、図５で説明する取得方法は、一例に過ぎない。

【0032】

図５は、準備撮影期間にシャッターが押されたタイミング（図５の「ＳＷ」）で３回の本撮影が連続的に行われる場合のタイミングチャートを示す。マルチショット撮影において、複数撮影制御部１０８は、１～３回目の撮影の露光時間をそれぞれ露光時間５０１、露光時間５０２、露光時間５０３のように算出し、累積撮影時間取得部１１０に出力する。即ち、図５の例では、１回の撮影と次の撮影との間にある非露光時間は無視されている。累積撮影時間取得部１１０は、露光時間５０１～５０３の総和を累積撮影時間５０４として算出（取得）する。

【0033】

なお、マルチショット撮影における撮影回数は３回に限定されず、２回であってもよいし、４回以上であってもよい。

【0034】

●換算動きブレの算出方法
次に、図６を参照して、動きブレ換算部１１１による換算動きブレの算出方法の詳細について説明する。図６は、動きブレ算出部１０９で算出した準備撮影画像の動きブレと、マルチショット撮影の累積撮影時間に相当する換算動きブレとを示す。準備撮影画像間の時間はｔ秒であるものとする。図６には、マルチショット撮影の累積撮影時間がｔ／２秒及び２ｔ秒それぞれの場合に対応する換算動きブレが示されている。横軸は、動きブレ（動きベクトル）の大きさに対応し、ここでは大きさを画素数で示している。

【0035】

動きブレ換算部１１１は、以下の式１及び式２に示す換算式に基づき、準備撮影画像の各画素の動きブレをマルチショット撮影の累積撮影時間に相当する動きブレに換算する。

ＣＯＮＶ＿ＧＡＩＮ＝ＴＯＴＡＬ＿ＴＩＭＥ／ＩＮＴ＿ＴＩＭＥ ・・・（１）
ＣＯＮＶ＿ＢＬＵＲ＝ＶＥＣ＿ＬＥＮ×ＣＯＮＶ＿ＧＡＩＮ ・・・（２）
但し、
ＣＯＮＶ＿ＧＡＩＮ ：準備撮影画像の動きブレをマルチショット撮影の累積撮影時間に相当する動きブレに換算するための換算ゲイン
ＴＯＴＡＬ＿ＴＩＭＥ：マルチショット撮影の累積撮影時間
ＩＮＴ＿ＴＩＭＥ ：準備撮影画像間の時間
ＣＯＮＶ＿ＢＬＵＲ ：マルチショット撮影の累積撮影時間に相当する換算動きブレ
ＶＥＣ＿ＬＥＮ ：準備撮影画像の動きブレ
である。

【0036】

式１及び式２に示す通り、マルチショット撮影の累積撮影時間に相当する換算動きブレは、準備撮影画像の動きブレに対して、マルチショット撮影の累積撮影時間を準備撮影画像間の時間で除算した値を乗じることにより算出できる。具体的には、図６のように準備撮影画像間の時間がｔ秒であり準備撮影画像の動きブレが１０画素である場合、マルチショット撮影の累積撮影時間＝ｔ／２秒に相当する換算動きブレは、換算ゲインが１／２であるため５画素となる。また、マルチショット撮影の累積撮影時間＝２ｔ秒に相当する換算動きブレは、換算ゲインが２であるため２０画素となる。

【0037】

●動きブレ報知方法
次に、図７を参照して、動きブレ報知部１１２による動きブレ報知方法の詳細について説明する。図７（ａ）～図７（ｄ）は、動きブレ報知画像の４つの例を示している。準備撮影中に動きブレ報知画像を表示部１１５に表示することにより、ユーザは動きブレを容易に認識することができる。動きブレ報知部１１２は、動きブレ換算部１１１により算出された画素毎の換算動きブレに基づき、動きブレを報知するための画像プレーン（動きブレ報知プレーン）を作成する。動きブレ報知部１１２は、準備撮影画像に動きブレ報知プレーンを重畳することにより、動きブレ報知画像を生成する。

【0038】

図７（ａ）は、アイコン表示により動きブレを報知する例を示す。動きブレ報知部１１２は、準備撮影画像において所定値以上の換算動きブレを持つ画素が画面全体に占める割合を算出する。その割合が所定割合以上の場合に、動きブレ報知部１１２は、図７（ａ）に示すような動きブレアイコン７０１を動きブレ報知プレーンとして作成し、準備撮影画像に重畳することにより、図７（ａ）のような動きブレ報知画像を生成する。

【0039】

図７（ｂ）は、動きブレ枠表示により動きブレを報知する例を示す。動きブレ報知部１１２は、準備撮影画像を複数の領域に分割し、各分割領域について、所定値以上の換算動きブレを持つ画素が分割領域全体に占める割合を算出する。動きブレ報知部１１２は、その割合が所定割合以上の分割領域に対して、図７（ｂ）に示すような動きブレ枠７０２を動きブレ報知プレーンとして作成し、準備撮影画像に重畳することにより、図７（ｂ）のような動きブレ報知画像を生成する。

【0040】

図７（ｃ）は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。動きブレ報知部１１２は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出には、ソーベルフィルタなどの既存の算出方法を用いることができる。そして、動きブレ報知部１１２は、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する。動きブレ報知部１１２は、抽出した画素に対して、図７（ｃ）の符号７０３に示すような動きブレエッジを強調表示する動きブレ報知プレーンを作成し、準備撮影画像に重畳することにより、図７（ｃ）のような動きブレ報知画像を生成する。図７（ｃ）では、強調表示方法の例として、動きブレエッジを太くする方法を示しているが、他の方法を用いてもよい。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出し、抽出した画素を赤く塗る方法が挙げられる。

【0041】

図７（ｄ）は、動きブレゲージ表示により方向別の動きブレをユーザに報知する例を示す。動きブレゲージ表示における動きブレ報知プレーンは、水平動きブレゲージ７０５と、垂直動きブレゲージ７０６とを含む。動きブレ報知部１１２は、ＡＦ（オートフォーカス）枠７０４内の任意の画素を対象にして、換算動きブレを算出する。そして、動きブレ報知部１１２は、水平方向の動きブレを水平動きブレゲージ７０５に、垂直方向の動きブレを垂直動きブレゲージ７０６に、それぞれ反映させる。例えば、ゲージの１目盛が１画素の動きブレに対応する。図７（ｄ）は、左方向に４画素の動きブレが発生した場合を示している。なお、ゲージの１目盛と動きブレの大きさ（画素数）との対応関係は、特に限定されない。

【0042】

●撮像装置１００による撮影処理の流れ
次に、図２のフローチャートを参照して、撮像装置１００による撮影処理の流れについて説明する。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０５の制御下で行われる。撮像装置１００の動作モードがマルチショット撮影モードに設定されると、本フローチャートの処理が開始する。

【0043】

Ｓ２０１で、準備撮影制御部１０７は、準備撮影を開始する。準備撮影期間中は、準備撮影制御部１０７は、連続的に撮像を行い、得られた準備撮影画像を表示部１１５に表示する。ユーザは、表示された準備撮影画像を見ながら構図合わせなどを行う。なお、後述するＳ２０２、Ｓ２０３、及びＳ２０４の処理は準備撮影期間中に行われる。

【0044】

Ｓ２０２で、複数撮影制御部１０８は、マルチショット撮影の各撮影の撮影時間を決定する。第１の実施形態では、ＨＤＲ合成処理を行うため、複数撮影制御部１０８は、マルチショット撮影の各撮影で異なる撮影時間を決定する。なお、ユーザが操作部（不図示）を介して各撮影の撮影時間を設定してもよい。

【0045】

Ｓ２０３で、報知画像生成部１１４は、準備撮影画像に対して動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。動きブレ報知画像を生成する処理の詳細は、上で図３乃至図７を参照して説明した通りである。なお、換算動きブレが小さい場合など動きブレ報知を行う条件が満たされない場合には、報知画像生成部１１４は、動きブレ報知プレーンが重畳されていない準備撮影画像を動きブレ報知画像として出力する。

【0046】

Ｓ２０４で、報知画像生成部１１４は、表示部１１５に動きブレ報知画像を表示する。

【0047】

Ｓ２０５で、制御部１０５は、シャッターボタンが押下されたか否かを判定する。シャッターボタンが押下された場合、処理ステップはＳ２０６へ遷移し、シャッターボタンが押下されていない場合、処理ステップはＳ２０２へ遷移する。

【0048】

Ｓ２０６で、複数撮影制御部１０８は、マルチショット撮影を行い、生成された複数の撮影画像をメモリ１０６に記録する。

【0049】

Ｓ２０７で、合成画像生成部１１３は、Ｓ２０６においてメモリ１０６に記録された複数の撮影画像を合成し、合成画像をメモリ１０６に記録する。また、制御部１０５は、合成画像を表示部１１５に表示してもよい。

【0050】

以上説明したように、第１の実施形態によれば、撮像装置１００は、２回の準備撮影により得られた２つの準備撮影画像間の被写体の動きブレ（動き量）を検出する。また、撮像装置１００は、マルチショット撮影（連続したＮ回の本撮影（Ｎは２以上の整数））を行うのに要する累積撮影時間を取得する。そして、撮像装置１００は、２つの撮影準備画像の撮影間隔と累積撮影時間とに基づいて、動きブレ（動き量）を累積撮影時間に対応する換算動きブレ（換算動き量）に換算し、換算動き量に基づいて動きブレを報知する。これにより、ユーザは、連続撮影により得られた複数の画像を合成した場合に生じる被写体の動きブレを、事前に容易に認識するができる。

【0051】

［第２の実施形態］
第２の実施形態では、換算動きブレの大きさに応じて合成処理（連続したＮ回の本撮影により得られたＮ枚の画像を合成する処理）を実行するか否かを切り替える構成について説明する。以下、主に第１の実施形態と異なる点について説明する。

【0052】

図８は、第２の実施形態に係る撮像装置８００の構成を示すブロック図である。撮像装置８００は、報知画像生成部１１４の代わりに、報知画像生成部８０１を備える。報知画像生成部８０１は、合成判定部８０２を追加的に備える点で、報知画像生成部１１４と異なる。

【0053】

合成判定部８０２は、動きブレ換算部１１１から取得した換算動きブレに基づいて、マルチショット撮影により得られる複数の撮影画像の合成処理を実行するか否かを判定する。合成判定部８０２は、判定結果を示す情報（判定信号）を制御部１０５へ出力する。合成処理を実行するか否かの判定は、例えば、換算動きブレと所定の閾値とを比較することにより行われる。例えば、合成判定部８０２は、準備撮影画像の各画素について換算動きブレがＱ画素以上であるか否かを判定し、Ｑ画素以上の換算動きブレを持つ画素の数がＰ以上の場合に、合成処理を実行しないと判定する。ユーザが操作部（不図示）を介して「Ｐ」及び「Ｑ」という閾値を設定可能なように撮像装置８００を構成してもよい。

【0054】

なお、合成判定部８０２は、合成処理を実行するか否かを画素毎に判定してもよい。例えば、準備撮影画像の第１の画素の換算動きブレがＱ画素以上であり、準備撮影画像の第２の画素の換算動きブレがＱ画素未満である場合を考える。この場合、合成判定部８０２は、マルチショット撮影の画像において第１の画素に対応する画素については合成処理を実行し、マルチショット撮影の画像において第２の画素に対応する画素については合成処理を実行しないと判定する。

【0055】

制御部１０５は、合成判定部８０２から入力された判定信号に基づいて、合成画像生成部１１３で合成処理を実行するか否かを制御する。

【0056】

次に、図９のフローチャートを参照して、撮像装置８００による撮影処理の流れについて説明する。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０５の制御下で行われる。撮像装置１００の動作モードがマルチショット撮影モードに設定されると、本フローチャートの処理が開始する。ここでは、第１の実施形態（図２）との差分のみ説明をおこなう。

【0057】

Ｓ９０１で、合成判定部８０２は、最新の換算動きブレに基づいて合成処理を実行するか否かを判定し、判定結果を示す情報（判定信号）を制御部１０５へ出力する。例えば、合成判定部８０２は、換算動きブレ（換算動き量）が閾値未満の場合に、合成処理を実行すると判定し、換算動きブレ（換算動き量）が閾値以上の場合に、合成処理を実行しないと判定する。制御部１０５は、判定信号に基づき、合成処理を実行するか否かを判定する。合成処理を実行する場合、処理ステップはＳ２０７へ遷移し、合成処理を実行しない場合、処理ステップはＳ９０２へ遷移する。

【0058】

Ｓ９０２で、制御部１０５は、マルチショット撮影により生成された複数の撮影画像の中から代表画像を決定し、代表画像をメモリ１０６に記録する。また、制御部１０５は、代表画像を表示部１１５に表示してもよい。即ち、合成画像の代わりに代表画像について、記録及び表示などの処理が行われる。代表画像の選択方法は特に限定されないが、例えば、制御部１０５は、適正露出に対応する撮影画像を選択してもよいし、動きブレの影響が最小の撮影画像（即ち、露光時間が最も短い撮影画像）を代表画像として選択してもよい。或いは、制御部１０５は、撮影時刻が最も早い撮影画像を選択してもよい。

【0059】

以上説明したように、第２の実施形態によれば、撮像装置８００は、換算動きブレの大きさに応じて合成処理を実行するか否かを切り替える。これにより、大きな動きブレを持つ合成画像が生成される可能性を低減することが可能になる。

【0060】

［第３の実施形態］
第３の実施形態では、累積撮影時間の他の取得方法について説明する。より具体的には、第３の実施形態では、マルチショット撮影における露光時間と非露光時間とに異なる重み付けを行う構成について説明する。以下、主に第１の実施形態と異なる点について説明する。

【0061】

図１０は、第３の実施形態に係る撮像装置１０００の構成を示すブロック図である。撮像装置８００は、報知画像生成部１１４の代わりに、報知画像生成部１００１を備える。報知画像生成部１００１は、累積撮影時間取得部１１０の代わりに、累積撮影時間取得部１００２を備える。

【0062】

累積撮影時間取得部１００２は、マルチショット撮影の各撮影の撮影時間及び露光時間を複数撮影制御部１０８から取得して保持する。累積撮影時間取得部１００２は、各撮影の撮影時間から露光時間を減算することにより、各撮影について、次の露光開始までの非露光時間を算出する。そして、累積撮影時間取得部１００２は、各撮影の露光時間を加算することにより、マルチショット撮影（Ｎ回の本撮影）のための最先の露光が開始してから最後の露光が終了するまでの期間に含まれる合計の露光時間を算出する。更に、累積撮影時間取得部１００２は、各撮影（最後の撮影を除く）の非露光時間を加算することにより、マルチショット撮影（Ｎ回の本撮影）のための最先の露光が開始してから最後の露光が終了するまでの期間に含まれる合計の非露光時間を算出する。

【0063】

その後、累積撮影時間取得部１００２は、式３に従い、累積撮影時間を取得する。

ＴＯＴＡＬ＿ＴＩＭＥ＝（ＥＸＰ＿ＴＯＴＡＬ＿ＴＩＭＥ × Ｋ）
＋（ＵＮＥＸＰ＿ＴＯＴＡＬ＿ＴＩＭＥ × Ｊ）
・・・（３）
但し、
ＴＯＴＡＬ＿ＴＩＭＥ ：マルチショット撮影の累積撮影時間
ＥＸＰ＿ＴＯＴＡＬ＿ＴＩＭＥ ：マルチショット撮影の合計の露光時間
ＵＮＥＸＰ＿ＴＯＴＡＬ＿ＴＩＭＥ：マルチショット撮影の合計の非露光時間
Ｋ、Ｊ（Ｋ≦Ｊ） ：重み付け係数
である。

【0064】

累積撮影時間取得部１００２は、取得した動き累積撮影時間を、ブレ換算部１１１へ出力する。

【0065】

ブレ換算部１１１の動作は第１の実施形態と同様である。即ち、ブレ換算部１１１は、式１及び式２に従って換算動きブレを算出する。

【0066】

また、撮像装置１０００による撮像処理の流れは、第１の実施形態で図２を参照して説明した撮像装置１００による撮影処理の流れと同様である。但し、第３の実施形態においては、累積撮影時間の取得（算出）は、上記の式３に従って行われる。

【0067】

ここで、図１１を参照して、累積撮影時間の取得のために重み付け加算を行う理由について説明する。図１１（ａ）は、準備撮影期間にシャッターが押されたタイミング（図１１（ａ）の「ＳＷ」）で、２回の本撮影が連続的に行われる場合のタイミングチャートを示す。図１１（ｂ）～図１１（ｄ）は、図１１（ａ）のタイミングチャートに対応する、撮影画像の被写体の動作を示す。

【0068】

図１１（ａ）は、露光開始時１１０１、露光期間１１０２、撮影間の期間１１０３（非露光期間）について示している。重み付けの説明を分かりやすくするため、露光期間と撮影間の期間とを同じ長さで示しているが、これら２つの期間は異なっていてもよい。

【0069】

図１１（ｂ）～（ｄ）は、一定速度で移動している被写体の犬１１０４を示しており、それぞれ、露光開始時１１０１の撮影瞬間画像、露光期間１１０２の撮影画像、撮影間の期間１１０３の直前直後の撮影瞬間画像を合成した画像について示している。

【0070】

図１１（ｃ）のように、露光期間１１０２では、犬１１０４の移動の軌跡が連続した撮影画像になる。一方、図１１（ｄ）のように、撮影間の期間１１０３では、犬１１０４の移動の軌跡が不連続の撮影画像になる。露光期間１１０２では犬１１０４の移動の軌跡が連続しているので視覚的な影響が小さいが、撮影間の期間１１０３では犬１１０４の軌跡が不連続であるため視覚的な影響が大きい。

【0071】

そのため、累積撮影時間取得部１００２は、非露光時間に対して露光時間よりも大きな重み付けを与えることにより、非露光時間が累積撮影時間に与える影響を大きくする。従って、マルチショット撮影のための最先の露光が開始してから最後の露光が終了するまでの期間が一定であれば、その期間における非露光時間の割合が大きいほど、累積撮影時間が大きくなり、換算動きブレも大きくなる。

【0072】

以上説明したように、第３の実施形態によれば、撮像装置１０００は、累積撮影時間として、マルチショット撮影の最先の露光が開始してから最後の露光が終了するまでの期間に含まれる合計の露光時間と、この期間に含まれる合計の非露光時間とを、重み付け加算することにより得られる時間を取得する。合計の非露光時間の重み付けは、合計の露光時間の重み付けよりも大きい。これにより、合成画像における被写体の動きブレの目立ちやすさも加味した換算動きブレを取得することが可能になる。

【0073】

［その他の実施形態］
第１乃至第３の実施形態では、マルチショット撮影の中で最も短い撮影時間の換算動きブレが所定の閾値以上か否かでマルチショット撮影の実施、非実施を切り替える動作は行われないが、制御部１０５がそのような動作を行うように構成してもよい。

【0074】

また、第１乃至第３の実施形態では、動きブレの報知方法として、表示部１１５に動きブレ報知画像を表示する方法について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音、光、又は振動により動きブレを報知してもよい。例えば、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音、報知光、又は報知振動を発生させる構成を採用することができる。また、複数の動きブレ報知方法を組み合わせてもよい。

【0075】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0076】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0077】

１００…撮像装置、１０５…制御部、１０７…準備撮影制御部、１０８…複数撮影制御部、１１３…合成画像生成部、１０９…動きブレ算出部、１１０…累積撮影時間取得部、１１１…動きブレ換算部、１１２…動きブレ報知部、１１４…報知画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】