特開 2022-186598 情報処理装置、撮像装置、情報処理方法および制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186598

(43)【公開日】2022-12-15

(54)【発明の名称】情報処理装置、撮像装置、情報処理方法および制御方法、プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221208BHJP

【ＦＩ】

H04N5/232 220

H04N5/232 941

H04N5/232 945

【審査請求】未請求

【請求項の数】36

【出願形態】ＯＬ

(21)【出願番号】P 2022068183

(22)【出願日】2022-04-18

(31)【優先権主張番号】P 2021094492

(32)【優先日】2021-06-04

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】海田 宏典

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA41

5C122EA42

5C122FA11

5C122FH12

5C122FH13

5C122FJ11

5C122FK28

5C122FK35

5C122FK37

5C122FK41

5C122HB01

5C122HB05

(57)【要約】

【課題】 撮影画像のフレームを適切に選択し、本撮影で発生しうる動きブレを容易に確認する。
【解決手段】 第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定手段と、前記動きブレの情報を報知する報知手段と、を備え、前記取得手段は前記第２の撮影パラメータに係る前記第２の撮影における露光時間に対応して変更された前記第１の撮影パラメータによって得られた前記複数の第１の撮影画像から前記動き情報を取得する。
【選択図】 図７

【特許請求の範囲】

【請求項1】

第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、
前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、
前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第２の撮影パラメータに係る前記第２の撮影における露光時間に対応して変更された前記第１の撮影パラメータによって得られた前記複数の第１の撮影画像から前記動き情報を取得することを特徴とする情報処理装置。

【請求項2】

前記第１の撮影パラメータは、前記第１の撮影におけるフレームレート、シャッタースピードの少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記推定手段は、前記動き情報と、前記第１の撮影パラメータの１つであるフレームレートとを用いて前記動きブレを推定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記設定手段は、前記第２撮影における露光時間に基づいて前記第１の撮影パラメータの１つであるフレームレートを変更することを特徴とする請求項２または３に記載の情報処理装置。

【請求項5】

前記取得手段は前記フレームレートを前記第２の撮影における露光時間以上の値に変更することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記取得手段は変更された前記フレームレートで取得された前記複数の第１の画像のうち、時系列的に連続する２つの画像から前記動き情報を取得することを特徴とする請求項４に記載の情報処理装置。

【請求項7】

前記報知手段は、前記動きブレに対応する情報を表示部に表示することで前記動きブレを報知することを特徴とする請求項１または２に記載の情報処理装置。

【請求項8】

前記報知手段は、前記動きブレに対応する情報を前記第１の撮影画像に重畳して表示部に表示することで前記動きブレを報知することを特徴とする請求項１または２に記載の情報処理装置。

【請求項9】

前記推定手段において予め定めた値よりも大きな動きブレが推定された場合、前記報知手段は前記動きブレの報知を行うことを特徴とする請求項１または２に記載の情報処理装置。

【請求項10】

前記報知手段は、
前記表示部にアイコンを描画した画像を表示することにより動きブレを報知することを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記報知手段は、
前記表示部に動きブレ枠を描画した画像を表示することにより動きブレを報知することを特徴とする請求項９に記載の情報処理装置。

【請求項12】

前記報知手段は、
前記表示部に動きブレエッジを強調して描画した画像を表示することにより動きブレを報知することを特徴とする請求項９に記載の情報処理装置。

【請求項13】

前記報知手段による報知がＯＦＦの場合、前記報知手段は前記動きブレの報知を行なわないことを特徴とする請求項１または２に記載の情報処理装置。

【請求項14】

前記第１の撮影は前記第２の撮影とは異なる時刻の画像を撮像する準備撮影であることを特徴とする請求項１または２に記載の情報処理装置。

【請求項15】

前記第２の撮影とは本撮影であり、前記第１の撮影とは、前記本撮影の前に行う準備撮影であることを特徴とする請求項１４に記載の情報処理装置。

【請求項16】

動きブレ報知音を発生する動きブレ報知音発生手段を備え、
前記動きブレ報知手段は、音により動きブレを報知することを特徴とする請求項１または２に記載の情報処理装置。

【請求項17】

第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、
前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、
前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第２の撮影パラメータに係る前記第２の撮影における露光時間をもとに前記複数の第１の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする情報処理装置。

【請求項18】

前記第１の撮影パラメータは、前記第１の撮影におけるフレームレート、シャッタースピードの少なくとも１つを含むことを特徴とする請求項１７に記載の情報処理装置。

【請求項19】

前記取得手段は前記第１の撮影パラメータの１つであるフレームレートと、前記第２の撮影における露光時間の値の差に応じて、前記複数の第１の画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする請求項８に記載の情報処理装置。

【請求項20】

前記取得手段は、前記第２の撮影における露光時間に対応する時間間隔となるように前記複数の第１の画像から２つの画像を選択することを特徴とする請求項１９に記載の情報処理装置。

【請求項21】

前記報知手段は、前記動きブレに対応する情報を表示部に表示することで前記動きブレを報知することを特徴とする請求項１７または１８に記載の情報処理装置。

【請求項22】

前記報知手段は、前記動きブレに対応する情報を前記第１の撮影画像に重畳して表示部に表示することで前記動きブレを報知することを特徴とする請求項１７または１８に記載の情報処理装置。

【請求項23】

前記推定手段において予め定めた値よりも大きな動きブレが推定された場合、前記報知手段は前記動きブレの報知を行うことを特徴とする請求項１７または１８に記載の情報処理装置。

【請求項24】

前記報知手段は、
前記表示部にアイコンを描画した画像を表示することにより動きブレを報知することを特徴とする請求項２３に記載の情報処理装置。

【請求項25】

前記報知手段は、
前記表示部に動きブレ枠を描画した画像を表示することにより動きブレを報知することを特徴とする請求項２３に記載の情報処理装置。

【請求項26】

前記報知手段は、
前記表示部に動きブレエッジを強調して描画した画像を表示することにより動きブレを報知することを特徴とする請求項２３に記載の情報処理装置。

【請求項27】

前記報知手段による報知がＯＦＦの場合、前記報知手段は前記動きブレの報知を行なわないことを特徴とする請求項１７または１８に記載の情報処理装置。

【請求項28】

前記第１の撮影は前記第２の撮影とは異なる時刻の画像を撮像する準備撮影であることを特徴とする請求項１７または１８に記載の情報処理装置。

【請求項29】

前記第２の撮影とは本撮影であり、前記第１の撮影とは、前記本撮影の前に行う準備撮影であることを特徴とする請求項２８に記載の情報処理装置。

【請求項30】

動きブレ報知音を発生する動きブレ報知音発生手段を備え、
前記動きブレ報知手段は、音により動きブレを報知することを特徴とする請求項１７または１８に記載の情報処理装置。

【請求項31】

光学系を介して結像された被写体像を撮像し、前記画像を出力する撮像手段を有し、
第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、
前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、
前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第２の撮影パラメータに係る前記第２の撮影における露光時間に対応して変更された前記第１の撮影パラメータによって得られた前記複数の第１の撮影画像から前記動き情報を取得することを特徴とする撮像装置。

【請求項32】

光学系を介して結像された被写体像を撮像し、前記画像を出力する撮像手段を有し、
第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、
前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、
前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第２の撮影パラメータに係る前記第２の撮影における露光時間をもとに前記複数の第１の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする撮像装置。

【請求項33】

第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得工程と、
前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定工程と、
前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定工程と、
前記動きブレの情報を報知する報知工程と、を備え、
前記取得工程において前記第２の撮影パラメータに係る前記第２の撮影における露光時間に対応して変更された前記第１の撮影パラメータによって得られた前記複数の第１の撮影画像から前記動き情報を取得することを特徴とする画像処理装置の制御方法。

【請求項34】

第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得工程と、
前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定工程と、
前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定工程と、
前記動きブレの情報を報知する報知工程と、を備え、
前記取得工程において前記第２の撮影パラメータに係る前記第２の撮影における露光時間をもとに前記複数の第１の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする情報処理装置の制御方法。

【請求項35】

請求項３３または３４に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項36】

請求項３５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像される画像に生じる被写体ブレを報知するための技術に関する。

【背景技術】

【0002】

デジタルスチルカメラ等の撮像装置には、シャッタースピードを優先する撮影モード（以後、「シャッタースピード優先モード」と表記）を搭載している機種がある。シャッタースピード優先モードでは、撮影者が所望のシャッタースピードを設定し、絞り値やＩＳＯ感度といったシャッタースピード以外の露出設定値は撮像装置が自動で設定する。撮影者は、シャッタースピード優先モードを用いることにより、好みのシャッタースピードで撮影することができる。例えば、撮影前に高速なシャッタースピードを設定し、シャッタースピード優先モードで撮影を行うことにより、動きブレが少ない画像を撮影することができる。

【0003】

特許文献１には、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調表示する技術が開示されている。ここで、準備撮影とは本撮影の前に撮像装置の電子ビューファインダーや背面液晶を見ながら画像の構図合わせや撮影条件の設定を行う撮影のことである。また、本撮影とは撮影者がシャッターボタンを押下するなどの行為をトリガーとして、準備撮影で決定した構図や撮影条件の設定に基づいて撮像装置に実行させる撮影のことである。特許文献１により撮影者は準備撮影中において動き領域を目視で確認することが可能となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－１７２６６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１によると、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調することでユーザにブレを小さくするように行動を促すことが可能である。

【0006】

しかしながら、特許文献１において時系列的な画像間の動き領域を抽出するために、被写体の速度や移動量に合わせて適切なフレームレートやシャッタースピードで撮影することは考慮されていない。

【0007】

例えば、夜にポートレート撮影を行うと昼間に比べて撮像装置に取り込める光量が少なくなるため、露光時間が長くなる。それにより、人物の小さな揺れや動きが被写体ブレの発生する原因になってしまう。このとき、ユーザに被写体ブレを適切に報知するには、撮影する露光時間（設定されたシャッタースピードに該当する）に対して影響する被写体の動きを検出する必要がある。しかし、被写体の小さな動きを検出するのに十分なフレームレートの値の設定が事前になされているとは限らず、ユーザに被写体ブレの発生を適切に報知できないという課題があった。

【0008】

本発明は、上記の問題点を鑑みてなされたものであり、撮影する露光時間に合わせて影響する動きブレを検出（「動きブレ検出」ともいう）するための画像を選択して被写体の動きを検出する。これにより本撮影で発生する動きブレを確認することが可能となる情報処理装置、撮像装置、情報処理方法および制御方法、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の情報処理装置のひとつは、第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定手段と、前記動きブレの情報を報知する報知手段と、を備え、前記取得手段は前記第２の撮影パラメータに係る前記第２の撮影における露光時間に対応して変更された前記第１の撮影パラメータによって得られた前記複数の第１の撮影画像から前記動き情報を取得することを特徴とする。

【0010】

また本発明の情報処理装置のひとつは第１の撮影パラメータで第１の撮影を行うことにより得られた複数の第１の撮影画像および該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、前記第１の撮影パラメータとは独立して設定された第２の撮影パラメータで第２の撮影が行われる場合に前記動き情報および前記第２の撮影パラメータから、第２の撮影で得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、前記第１の撮影パラメータ、および第２の撮影パラメータを設定する設定手段と、前記動きブレの情報を報知する報知手段と、を備え、前記取得手段は前記第２の撮影パラメータに係る前記第２の撮影における露光時間をもとに前記複数の第１の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする。

【発明の効果】

【0011】

本発明によれば、動きを検出する準備撮影画像のフレームを適切に選択することで、本撮影で発生する動きブレを精度よく確認できるブレ報知画像を表示可能な情報処理装置、撮像装置、情報処理方法および制御方法、プログラムを提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明実施の構成例を示す図

【図2】撮像装置１００の撮影処理を示すフローチャート

【図3】動きブレ報知画像生成部の構成例を示す図

【図4】本実施例１の図２のＳ２０２の処理を説明する図

【図5】被写体の動き量と許容動き量の関係を説明する図

【図6】準備撮影画像及び動きベクトルを示す図

【図7】動きベクトルの算出方法を示すフローチャート

【図8】動きベクトルの算出方法を示す図

【図9】動きブレ報知方法を示す図

【図10】準備撮影画像と、本撮影画像の取得タイミングチャート

【図11】本撮影の露光時間と準備撮影のフレーム間隔を説明する図

【図12】フレーム間の動き量の積算を説明する図

【図13】フレームレートの制御を説明する図

【図14】本実施例２の図２のＳ２０８の処理を説明する図

【発明を実施するための形態】

【0013】

以下、図面を参照しながら本発明の好適な実施形態について説明する。

【実施例0014】

本発明の実施例１は、準備撮影中に画像から算出した動き情報を本撮影相当の動きブレを推定し、本撮影で発生すると予想される動きブレを動きブレ報知画像として表示することで、ユーザに報知する撮像装置について説明する。

【0015】

図１は、本発明実施例１における情報処理装置、撮像装置の一例として、撮像装置の構成例を示すブロック図である。以下、本発明実施例１の構成例について図１を参照して説明する。本発明でいう情報処理装置は、撮像された画像を処理することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

【0016】

制御部１０１は、例えばＣＰＵであり、撮像装置１００（例えばカメラ）が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、撮像装置１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

【0017】

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

【0018】

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述の動きブレ報知画像生成部３００を具備し、ＲＡＭ１０３に記憶されている画像に対して、動きブレが容易に確認できる画像プレーンを重畳し、動きブレ報知画像を生成する。記録部１０８は、着脱可能なメモリカード等の記憶媒体である。記録部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザからの指示を受け付けるための操作ユーザインターフェイスの表示等を行う。また、表示部１０９は、準備撮影中に構図合わせ等のために撮像部１０５が撮像した画像を表示する。指示入力部１１０は、タッチパネルやマウス等であり、ユーザによる指示を入力する。

【0019】

次に、図２のフローチャートを参照して実施例１について詳しく説明する。以下の処理は、ＲＯＭ１０２に記憶されたプログラムに従って、制御部１０１が装置の各部を制御することにより実現される。図２のフローチャートは準備撮影を開始した際に実行される。

【0020】

Ｓ２０１において、ユーザは撮像装置１００の電源を入れる。すると、Ｓ２０１において、制御部１０１は撮像装置１００の電源が入れられたことに応じて、光学系１０４、撮像部１０５を制御して構図合わせなどの準備撮影を開始する。制御部１０１は、この準備撮影期間中に所定のフレームレートを維持し、撮像装置１００は逐次画像を撮像し、取得した撮影画像を表示部１０９にする。ユーザは表示された準備撮影画像を見ながら構図合わせなどを行うことができる。ここで、準備撮影中に撮影された画像を準備撮影画像と定義する。

【0021】

Ｓ２０２において、撮像装置１００は、構図内の被写体の動き量を検出するために撮像する準備撮影画像の撮影条件（撮影パラメータ）を設定する。ここでいう撮影条件とは、主にフレームレート、シャッタースピードを示す。そして、ＡＥ（オートエクスポージャー）やＡＦ（オートフォーカス）制御などの一般的な撮像装置で行うオート機能の制御に用いられる評価値を算出する処理に影響を与えない範囲で、最も高いフレームレートおよび高速のシャッタースピードの設定を行う。また、シャッタースピードを高速に設定した際にも、適正の露出条件で撮影ができるように、シャッタースピードに合わせて光学系１０４を制御しレンズの絞りを変更や、撮像部１０５のＩＳＯ感度設定を変更することで適切な露出で撮影ができるように調整を行うように制御する。撮像装置１００はＳ２０２で設定した撮影条件で準備撮影中における時系列的に連続する画像の撮影を行う。シャッタースピードが高速であるほど撮影した画像において移動する被写体の蓄積ブレがほとんど無く、また、撮影した連続画像間での被写体の移動量が小さくなるため被写体の動きを細かく捉えることが可能である。

【0022】

Ｓ２０３において、ユーザは指示入力部１１０を用い、本撮影時の撮影パラメータを設定する。制御部１０１は、指示入力部１１０からの入力に従い、準備撮影のための撮影パラメータとして露光時間を設定することが可能である。尚、本撮影時の撮影パラメータは撮像装置１００が自動で設定するように構成されていてもよい。また、本撮影時の撮影パラメータは準備撮影のための撮影パラメータとは独立して設定されてもよい。本実施形態では、設定された本撮影時の撮影パラメータが、後述するシャッターボタンの押下げ（本撮影の指示）が検出された後、本撮影の撮影パラメータとして用いられるものとする。

【0023】

Ｓ２０４において、制御部１０１は、動きブレ報知がＯＮ設定かＯＦＦ設定かを判断する。動きブレ報知のＯＮかＯＦＦかの設定は、例えば、ユーザが指示入力部１１０を用い設定するものとし、一度設定すれば設定値が保持されるものとする。Ｓ２０４において制御部１０１が動きブレ報知がＯＮの設定であると判定した場合は、後述する動きブレ報知画像生成部３００がＳ２０５において、準備撮影画像に対して動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。そして、制御部１０１がＳ２０６において生成された動きブレ報知画像を表示部１０９に表示する。

【0024】

Ｓ２０４において制御部１０１が、動きブレ報知がＯＦＦの設定であると判定した場合は、動きブレ報知画像は生成されない。したがって、Ｓ２０６において、動きブレ報知が一切されていない準備撮影画像を表示部１０９に表示する。

【0025】

Ｓ２０７において、制御部１０１はユーザの操作により指示入力部１１０のシャッターボタンが押下げられたか否かを判定する。ここで、シャッターボタンの押下げ入力が撮影準備動作を指示する半押しと本撮影を指示する全押しなどの２段階の入力方法を受け付ける構成である場合には、全押しがなされたか否かを判定するものとする。単純な１段階の入力のみを受け付ける場合には、当該１段階の入力がなされたか否かを判定する。

【0026】

制御部１０１は、シャッターボタンが押下げられていないと判定した場合、Ｓ２０３に戻り、Ｓ２０３～Ｓ２０６までの処理を繰り返す。これによりユーザは表示部１０９に動きブレ報知画像を表示している場合は、準備撮影中において現在設定されている本撮影時の撮影パラメータで本撮影が行われた場合に被写体に生じる動きブレを容易に確認することができる。もし、確認した動きブレがユーザの好みの動きブレになっていない場合は、ユーザはシャッターボタンを押下せずにＳ２０２に戻り、再度Ｓ２０３で本撮影のシャッタースピード（露光時間）を再設定してもよい。このように、準備撮影中において、ユーザは表示部１０９に表示される動きブレ報知画像を確認しながら、好みの動きブレになるまで本撮影の露光時間の設定を繰り返し、シャッターチャンス時にシャッターボタンを押下する。

【0027】

制御部１０１はＳ２０７にてシャッターボタンが押下げられたと判定した場合、本撮影の撮影指示を受けたとして、Ｓ２０８に進み、光学系１０４、撮像部１０５等を制御して、準備撮影までに設定された撮影パラメータに基づいて本撮影を行う。本撮影によって得られた本撮影画像は制御部１０１によって表示部１０９および記録部１０８に出力され、表示部１０９の表示デバイスへの表示及び記録部１０８での記録媒体への記録あるいは外部装置への出力が行なわれる。

【0028】

次に、本発明の特徴である画像処理部１０７が具備する動きブレ報知画像生成部３００の構成例について図３を参照して説明する。

【0029】

図３は、動きブレ報知画像生成部３００の構成例を示す図である。動きブレ報知画像生成部３００は、画像間の比較から被写体の動きベクトルを算出する動きベクトル算出部３０１、算出された動きベクトルに基づいて本撮影時の被写体の動きブレを推定する推定動きブレ算出部３０２を含む。さらに推定された被写体の動きブレに基づいて動きブレを報知するためのデータを作成する報知プレーン生成部３０３、そして本実施形態では動きブレ報知プレーンを撮影画像に重畳するため、重畳処理を行う画像重畳部３０４を含む。各部の動作の詳細については後述する。

【0030】

なお、図３に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

【0031】

次に、図２のＳ２０５にて動きブレ報知画像生成部３００が行う処理について図４のフローチャートを参照して説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部３００を含めた撮像装置１００の各部が実行する。

【0032】

Ｓ４０１にて制御部１０１は、Ｓ２０２で設定した撮影条件を設定する。そして、制御部１０１が光学系１０４、撮像部１０５を制御し、撮像装置１００は本撮影を行う際の被写体の動きブレを検出するための準備撮影画像を連続して撮像する。

【0033】

Ｓ４０２では、制御部１０１は本撮影を行うためにユーザまたは、カメラが自動で設定したシャッタースピード情報を取得する。

【0034】

Ｓ４０３では、制御部１０１は、準備撮影のフレームレート情報と、本撮影のシャッタースピードから、被写体の動きを検出（後述のＳ４０４）するために用いる準備画像フレームを選択する。準備画像フレームの選択方法については図１０、１１を用いて詳しく説明する。

【0035】

図１０は、横軸を時間Ｔとしたときの準備撮影画像のフレーム群（１００１）と、本撮影画像（１０１１）の取得タイミングを表しているタイミングチャートである。

【0036】

横軸は、撮影時刻を表し、図１０の（ａ）の１０２１、（ｂ）の１０２２は、被写体の動き量算出を行う際に用いる準備撮影画像フレームの選択を表す（矢印で結ばれた２フレームを用いて、その瞬間の動き量を算出する）。１０２１は、動きを検出するときに行う前後２フレームを選択する制御を表しており、１０２２は、本実施例中における準備撮影を行ったフレームレート情報と、本撮影のシャッタースピードから、準備画像フレームの選択を行った例である。１０２１の撮影画像フレームの選択は、一般的な被写体の動き量を算出するときに行われる方法で、本実施例では１０２２のように撮影画像フレームの選択を行う。

【0037】

本実施例中における準備画像フレームの選択の仕方について図１１を用いて説明する。図１１は、複数の準備撮影画像（１１１１～１１１４）のフレーム間隔と、本撮影のシャッタースピードで撮影した本撮影画像（１１０１）の露光時間との関係を表した図である。以下、具体的な数値を用いて説明する。本撮影で設定したシャッタースピードを１／３０と設定すると、本撮影では露光時間１／３０秒となる画像を取得する。つまり、１／３０秒間における被写体の動きが小さければ蓄積ブレが少ない画像を取得できるということになる。一方、準備撮影画像は、動きを解析するため、フレーム間で蓄積ブレが発生しにくいシャッタースピードで撮影する。例えば、１／１２０秒よりも短い露光時間で複数フレームの撮影を行うとする。このとき連続撮影を行う準備撮影画像の撮像フレームレートを１２０ｆｐｓ（１秒間で１２０枚撮影する連続撮影）とする。制御部１０１は本撮影画像の露光時間における被写体の動きを検出するために、準備撮影画像のフレーム間隔が本撮影画像の露光時間に近くなるフレームを選択する。隣接する１１１１～１１１４までの準備撮影画像フレームの間隔は均一であるため、４フレーム間隔（１１１１と１１１４）は１／３０秒となり、本撮影画像の露光時間と同等の時間となる。つまり、本撮影画像の露光時間の１／３０秒と同等の時間の被写体の動きを含んだフレームを選択していることを意味する。準備撮影画像の選択したフレーム間隔と本撮影画像シャッタースピードの差が小さいほど、後述のＳ４０５の処理で行う誤差が小さくなり正確な推定ができる。したがって、制御部１０１はなるべく本撮影で設定したシャッタースピードと準備撮影画像のフレーム間隔が近くなるフレームを選択する。制御部１０１は以下式（２）を満たすフレーム間隔となる準備撮影画像を選択する。
Ｆ＿Ｐｅｒｉｏｄ（フレーム間隔）≧（本撮影のシャッタースピード×準備撮影のフレームレート）×α
（Ｆ＿Ｐｅｒｉｏｄは、式を満たす最小の整数、αは定数）・・・式（２）

【0038】

式（２）を満たす被写体の動き量を算出する準備撮影画像フレームを選択することで、本撮影において設定するシャッタースピードと同じ時間間隔に近いフレーム選択が可能となる。

【0039】

以上、図１０を用いて、準備撮影画像のフレーム間隔と本撮影のシャッタースピードとの関係を説明した。このようにして本実施形態では、準備撮影画像のフレーム間隔は、図１０（ｂ）の１０２２のフレームを選択するように制御部１０１が制御する。また、式（２）のαは、ＩＳＯ感度が高くなるほど小さくなるように設定するのが望ましい。αを用いることで、撮影条件が厳しい場合にフレーム間隔を長くなりすぎるのを防ぐことができる。また、αは本撮影のシャッタースピード毎に変更しても良い。例えば本撮影のシャッタースピードが長い場合に、準備撮影画像のフレーム間隔が長くなりすぎると、フレーム間に複雑な被写体の動きが含まれやすくなり、被写体の動き検出の精度が低下しうる。ここで、αは本撮影のシャッタースピード毎に変更することで、被写体の動き検出の精度の低下を抑制できる。

【0040】

図４のＳ４０４では、Ｓ４０３にて選択された準備撮影画像のフレームが動きブレ報知画像生成部３００に入力され、動きベクトル算出部３０１が入力された画像を用いて被写体の動き量を算出する。動きベクトル算出部３０３による被写体の動き量を算出する処理については図６（ａ）に示すように、左に走っている犬６０１と止まっている犬６０２のシーンを撮影している例を用いて説明する。

【0041】

被写体の動き量として、動きベクトル算出部３０１は時系列的に連続する準備撮影画像間の動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図７及び図８を参照して詳しく説明する。

【0042】

図７は、動きベクトルの算出処理を示すフローチャートである。尚、本発明では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法などでもよい。本フローチャートの各ステップは制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部３００を含めた撮像装置１００の各部が実行する。

【0043】

Ｓ７０１において、制御部１０１は、準備撮影中に取得した時間的に隣接する２枚の準備撮影画像を受信し、Ｍ番目フレームの準備撮影画像を基準フレームに設定し、Ｍ＋１番目フレームの準備撮影画像を参照フレームに設定する。

【0044】

Ｓ７０２において、制御部１０１は、図８のように、基準フレーム８０１において、Ｎ×Ｎ画素の基準ブロック８０２を配置する。

【0045】

Ｓ７０３において、制御部１０１は、図８のように、参照フレーム８０３に対し、基準フレーム８０１の基準ブロック８０２の中心座標と同座標８０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲８０５として設定する。

【0046】

Ｓ７０４において、制御部１０１は動きベクトル算出部３０１を制御し、基準フレーム８０１の基準ブロック８０２と、参照フレーム８０３の探索範囲８０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック８０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック８０２及び参照ブロック８０６の画素に対するフレーム間の差分絶対値和（ＳＡＤ＝Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）に基づき算出する。つまり、フレーム間の差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。尚、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図８の例では、参照ブロック８０６が最も相関が高いことを示しているとする。

【0047】

Ｓ７０５において、制御部１０１は動きベクトル算出部３０１を制御し、Ｓ７０４で求めた最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。図８の例の場合、参照フレーム８０３の探索範囲８０５の中で、基準フレーム８０１の基準ブロック８０２の中心座標に対応した同座標８０４と、参照ブロック８０６の中心座標に基づき動きベクトルが求められる。つまり、同座標８０４から参照ブロック８０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。

【0048】

Ｓ７０６において、制御部１０１は、基準フレーム８０１の全画素について動きベクトルを算出したか否か判定する。Ｓ７０６において全画素の動きベクトルを算出していないと判定した場合には、Ｓ７０２に処理を戻す。そして、ステップ６０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム８０１にＮ×Ｎ画素の基準ブロック８０２が配置され、以下前述同様に、Ｓ７０３からＳ７０５の処理が行われる。すなわち、動きベクトル算出部３０１は、図８の基準ブロック８０２を移動させながら、Ｓ７０２からＳ７０５までの処理を繰り返して、基準フレーム８０１の全画素の動きベクトルを算出する。この動きベクトルの例を図６（ｂ）に示す。図６（ｂ）は、図６（ａ）の準備撮影画像の動きベクトルの例を示す図である。

【0049】

図６（ａ）の準備撮影画像では、犬６０１が左方向に走っている例を示している。このように被写体が移動している場合の動きベクトルの代表例を図６（ｂ）に示す。図６（ｂ）の例では、走っている犬６０１は左方向の動きベクトルとして検出し、それ以外の止まっている犬６０２や背景の柵は動きベクトル０として検出するため、動きベクトルを図示していない。

【0050】

また動きベクトル算出部３０１は全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。以上の処理により、時間的に隣接する準備撮影画像のフレーム間における動きベクトルを算出する。

【0051】

図４のＳ４０５において、推定動きブレ算出部３０２は、算出した被写体の動き量と目標とする動きブレ量の関係を算出する。この時、Ｓ４０３において選択された準備撮影画像のフレーム間の時間が、本撮影のシャッタースピード（露光時間）と等しくない場合には本撮影における被写体ブレを精度良く計算することができない。従って、Ｓ４０４で検出した被写体の動き量に対して式（４）で求めた補正ゲインを掛けて動き量を換算し、本撮影の動きブレを推定する。
補正ゲイン＝本撮影のシャッタースピード／選択した準備撮影画像のフレーム間…式（４）

【0052】

続いて、制御部１０１は式（４）の補正ゲインを掛けて推定された本撮影の動きブレ量、すなわち推定動きブレ量に対して、目標とする動きブレの量よりも大きいか、小さいかの判定処理を行う。ここでいう目標とする動きブレの量とは、所定のシャッタースピードで撮影した場合に動きブレとして目立たない程度に収まる許容動きブレ量である。許容動きブレ量はＣＣＤやＣＭＯＳセンサー等の撮像素子のサイズ、画素数、そして、表示するディスプレイの解像度によって決まる。例えば、撮像素子が、ＡＰＳ‐Ｃで、画素数が２０万画素、フルＨＤ（１９２０×１０８０画素）のＰＣディスプレイで５ｐｉｘｅｌ以下が許容動きブレ量だとすると、コマ間で５ｐｉｘｅｌ以下の動きを検出できるようにすることが必要である。すなわち、許容動きブレ量以下の動きを検出するだけの分解能が必要ということになる。具体例として図５を用いて説明する。

【0053】

図５（ａ）、（ｂ）は、準備撮影画像から算出した被写体の動き量と許容動きブレ量の関係を動きベクトルを用いて表現したものである。図５（ａ）は、許容動きブレ量を超える被写体の動き量を検出した場合、図５（ｂ）は、被写体の動き量が、許容動きブレ量以下の場合を示している。推定した被写体の動き量と目標とする動きブレ量の関係を式で表すと、式（１）で表される。
ｎ＝被写体動き量／許容動きブレ量・・・式（１）

【0054】

この時、ｎが１よりも大きければ、許容動きブレ量を超えているため、制御部１０１は被写体ブレが発生すると判断する。逆にｎが１以下であれば、制御部１０１は許容動きブレ量を超えないと判断する。すなわち、被写体ブレは許容範囲であると判断できる。目標とする許容動きブレ量は、ユーザの設定に任せて決定することも可能である。

【0055】

図４のＳ４０６において、制御部１０１の指示に基づいて放置プレーン生成部３０３はＳ４０５で求めた被写体の動き量と目標動きブレ量の関係から、動きブレを報知する画像を生成する。Ｓ４０６の処理について図９を用いて説明を行う。動きブレの報知は、本撮影を行う際の動きブレの程度をユーザに知らせる処理である。そのため、準備撮影画像から算出した動き量を、本撮影の露光条件で換算した時の動き量（推定動きブレ量）として推定し、推定した動き量を視覚的に確認可能なブレ報知画像作成する。

【0056】

まず、被写体の動き量それぞれに対し、報知プレーン生成部３０３はＳ４０５で算出した式（１）の結果を用いて、動きブレを報知するための画像プレーンを作成する。その後、画像重畳部３０４は準備撮影画像に動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。ブレ報知画像の一例については、図９で説明する。

【0057】

図９は、動きブレ報知画像として３つの例を示している。準備撮影中に動きブレ報知画像を表示部１０９に表示することにより、ユーザは動きブレを容易に確認することができる。

【0058】

まず図９（ａ）は、アイコン表示により動きブレを報知する例を示す。Ｓ４０５において、制御部１０１は式（１）のｎが１より大きくなる被写体の動きブレ量が全体の被写体の動きブレ量に占める割合を算出する。その割合が所定割合以上の場合に、動きブレ報知画像生成部３００は図９（ａ）に示すような動きブレアイコン９０１を動きブレ報知プレーンとして作成し、準備撮影画像に描画することにより図９（ａ）のような動きブレ報知画像を生成する。

【0059】

図９（ｂ）は、動きブレ枠表示により動きブレを報知する例を示す。ここで、動きブレ枠表示による動きブレ報知画像の生成方法について説明する。Ｓ４０５において、制御部１０１は画像を領域に分割し、それぞれの分割した領域内に含まれる被写体の動きブレ量について式（１）により、ｎが１より大きくなる数を計算する。すなわち、制御部１０１の指示に基づいて報知プレーン生成部３０３はその割合が所定割合以上となった分割領域に対して、図９（ｂ）に示すような動きブレ枠９０２を動きブレ報知プレーンとして作成し、準備撮影画像に描画することにより図９（ｂ）のような動きブレ報知画像を生成する。

【0060】

図９（ｃ）は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。まず、ステップＳ４０５において報知プレーン生成部３０３は準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、詳細な説明は省略する。そして、報知プレーン生成部３０３はエッジ強度が所定値以上、且つ、式（１）のｎが１より大きくなる領域に対して、図９（ｃ）の９０３に示すように動きブレエッジを強調表示するような動きブレ報知プレーンとして作成する。画像重畳部３０４が準備撮影画像に作成された動きブレ報知プレーンを重畳することにより図９（ｃ）のような動きブレ報知画像を生成する。図９（ｃ）の９０３の例では、動きブレエッジを太くする例を示している。このような動きブレエッジに強調表示を行うことで、被写体の細かい部位に対して、本撮影における動きブレを視認することが可能となる。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出し、抽出した画素を赤くするなど、色相・彩度・明るさを変える強調表示の方法が挙げられる。

【0061】

以上、図４のＳ４０１からＳ４０６の処理を行うことにより動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理について説明した。制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部３００を含めた撮像装置１００の各部が図２のフローチャートを行うことで、本撮影で発生する動きブレを確認するための準備撮影の撮影条件を好適に決定することを実現できる。

【0062】

本発明によれば、本撮影で発生する動きブレを確認するための準備撮影画像を適切に選択し、動きを検出することで、本撮影で発生する適切な動きブレを確認することができる。

【0063】

本発明では、本撮影における露光時間で発生する被写体ブレ量を推定するために、準備撮影画像のフレームの間隔に合わせてフレームを選択し、動き量を検出する制御について説明を行った。更に詳細な動きを検出するためには、本撮影画像の露光時間に対応する準備撮影画像のフレーム間隔内に含まれるすべての準備撮影画像を用いて被写体の動き量を検出することも可能である。例えば、図１１、図１２で説明すると、図１１で説明した本撮影の露光時間（１／３０秒）と準備撮影のフレームレート１２０ｆｐｓの場合、準備撮影画像では４フレーム間隔で１／３０秒となる。そのため、実施例１では図１１の１１１１と１１１４を用いて動きベクトル算出部３０１が被写体の動き量を計算していた（図１２の１２０１）。ここでは１１１１と１１１２、１１１２と１１１３、１１１３と１１１４それぞれで求めた被写体動き量を制御部１０１が積算する（図１２の１２０２）。これにより、準備撮影画像においても１／３０秒の間の被写体が複雑に動いた場合（回転運動や、加速度運動など）にも１１１１から１１１４までの１／３０秒における被写体の動きを正確に算出することができる。

【0064】

また、予め許容動きブレ量を撮影者が意図して決定していない時には、動き検出の限界範囲を超えない範囲内の動きベクトルの大きさを、許容動きブレ量として設定してもよい。その際には、被写体の動きが動き検出の範囲を超えたかを制御部１０１にて判断する。判断方法としては、動き検出時のＳＡＤの値で変化量が所定値よりも小さくなることや、ジャイロ情報などの撮像装置１００本体の動きを測定する方法から求めることができる。制御部１０１にて許容動きブレ量を超えたと判定された場合には、シャッタースピードや、フレームレートを速くなるように制御を行う。

【0065】

本発明では、動きブレの報知方法として、表示部１０９に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音や光や振動により動きブレを報知しても良い。具体的には、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音、報知光、報知振動を発生させる。この実施形態では、報知プレーン生成部３０３や画像重畳部３０４の構成、ステップＳ４０５、ステップＳ４０６の処理フローは不要となる。代わりに撮像装置１００内にスピーカーを備え、ステップＳ２０５において、表示部１０９への準備撮影画像の表示に併せて、制御部１０１が報知音をスピーカーで鳴らしたり、報知光を点灯させたり、報知振動を起こすとよい。

【0066】

本発明では、制御部１０１が本撮影のシャッタースピードに応じて準備撮影画像から動きを検出するフレームの選択を変更していたが、本撮影のシャッタースピードが安定しているときのみに動き検出を行う準備撮影画像のフレームの選択を変更してもよい。本撮影のシャッタースピードが安定しているときのみ、動き検出を行う準備撮影画像のフレーム制御をおこなうことで、ユーザがシャッタースピードの制御に迷っているときや、制御部１０１が計算する評価値が安定していない場合に、所望でない動きブレ報知画像を表示部１０９に表示されることを防ぐことが可能となる。

【0067】

被写体の動きが安定しているかどうかの判断の一例としては、一度準備撮影の撮影条件を変更した後に動被写体の動きが安定しているかを動きベクトルの変化として求めることで判断できる。このとき、単位時間当たりの動きベクトルの変化が大きくなった場合には、再度準備撮影の撮影条件を変更することが可能である。

【0068】

本発明では、制御部１０１が本撮影のシャッタースピードに応じて準備撮影画像から動きを検出するフレームの選択を変更していたが、準備撮影のフレームの選択だけでなく準備撮影のシャッタースピードを変更しても良い。例えば、本撮影のシャッタースピードが所定値よりも長くなった時、本撮影のＩＳＯ感度が所定値よりも高ければ、準備撮影のシャッタースピードを長く変更する。逆に、本撮影のＩＳＯ感度が低い場合には、準備撮影のシャッタースピードを短く変更する。これにより、動きを検出するための準備撮影の撮影条件をノイズの影響と蓄積ブレをトレードオフとして、動きを検出するための適切な準備撮影画像を撮像することが可能となる。

【実施例0069】

続いて、準備撮影のフレームレートを、本撮影のシャッタースピードに合わせて変更することで、本撮影における被写体ブレ量を推定し、動きブレ報知画像を生成する例について説明を行う。本実施例を実現することで、本撮影の被写体ブレ報知を行うために効率的に準備撮影画像のフレームレートを制御することが可能となる。

【0070】

本実施例では、実施例１の図１と同じ撮像装置１００の構成で実現できるため、撮像装置１００のブロック図の説明を省略する。また、実施例２における制御部１０１が行う全体処理は、図２のフローチャートで示す処理と同じため説明を省略する。

【0071】

次に、本発明の特徴である図２のＳ２０２、Ｓ２０５の処理について詳しく説明する。

【0072】

Ｓ２０２の処理において、制御部１０１は準備撮影のフレームレートを本撮影のシャッタースピードに合わせて変更する。これについて図１３を用いて説明する。

【0073】

図１３（ａ）は、一般的な準備撮影と本撮影のタイミングチャートを示した図であり、（ｂ）は、実施例２における、本撮影のシャッタースピードに合わせて、準備撮影のフレームレートを変更した例である。一例として、本撮影のシャッタースピードとして１／３０秒、図１３（ａ）に示されるフレームレート変更前の準備撮影のフレームレートを１２０ｆｐｓとする。このとき、本撮影画像１３１１は、シャッタースピードは１／３０秒のため、露光時間が１／３０秒の画像となる。本実施例では、図１３（ｂ）のように本撮影画像の露光時間に近づくように、制御部１０１が準備撮影のフレームレートを変更する。例えば、準備撮影のフレームレートが１２０ｆｐｓの際に、隣接するフレームの間隔は１／１２０秒となる。ここで、本撮影画像の露光時間が１／３０秒であった場合は、制御部１０１は準備撮影のフレームレートを１２０ｆｐｓから３０ｆｐｓに変更する。つまり、準備撮影のフレームレートは以下の式（３）となる。
準備撮影の変更後フレームレート＝β／本撮影のシャッタースピード…式（３）
（βは、定数）

【0074】

βは、実施例１の式（２）のαと同様に本撮影のＩＳＯ感度やシャッタースピードによって変える予め既定の定数である。制御部１０１は上記の式（３）を満たすように準備撮影のフレームレートを変更することで、本撮影のシャッタースピードにおける被写体ブレを適切に検出できるフレーム間隔に設定できる。フレームレートの変更後の図１３（ｂ）では、図１３（ａ）のフレームレートで準備撮影を行った際の隣接フレームを用いて被写体の動きを検出する場合と、図１３（ｂ）のフレーム間隔（１３２１）を比べると、１３２１の準備撮影のフレーム間隔が広くなり、本撮影１３１１の露光時間に近い時間間隔となっていることが分かる。従って本撮影１３１１の露光時間相当の被写体の動きが、図１３（ｂ）のように準備撮影のフレームレートを制御することで推定可能となる。なお、ここでフレームレートが本撮影の露光時間に一致しなくてもよく、フレームレートが本撮影の露光時間以上の値に変更されてもよい。

【0075】

続いてＳ２０５の処理について図１４のフローチャートを用いて説明する。本フローチャートの各ステップは制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部３００を含めた撮像装置１００の各部が実行する。

【0076】

Ｓ１４０１において、制御部１０１は、Ｓ４０１と同様の処理を行い、撮影条件を設定する。そして、制御部１０１が光学系１０４、撮像部１０５を制御し、撮像装置１００は準備撮影画像を連続して撮像する。

【0077】

Ｓ１４０２において、制御部１０１は、Ｓ４０２と同等の処理を行う。

【0078】

Ｓ１４０３において、制御部１０１は、Ｓ４０４と同様の処理を行い、動きベクトル算出部３０１がＳ１４０１で撮影した準備撮影画像から被写体の動き量を算出する。

【0079】

Ｓ１４０４において、推定動きブレ算出部３０２は、Ｓ４０５と同様の処理を行い、撮像装置１００は、算出した被写体の動き量と目標とする動きブレ量の関係を算出する。

【0080】

Ｓ１３０５において、制御部１０１は、図４のＳ４０６と同様の処理を行う。Ｓ１４０４の処理の本撮影画像の推定被写体ブレ量に基づいて報知プレーン生成部３０３は動きブレを報知するための画像プレーンを作成し、画像重畳部３０４が準備撮影画像に動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。

【0081】

以上の実施例２の制御部１０１が制御する図２のフローチャートの全体処理について、特徴的な処理であるＳ２０２、Ｓ２０５を具体的に説明した。

【0082】

実施例２の構成を実行することにより、制御部１０１は、本撮影の露光時間に影響する被写体の動きを検出するための準備撮影のフレームレートを制御できる。したがって、本撮影で発生する動きブレを精度よく検出することが可能となる。また、被写体の動きを検出するために常に高いフレームレートで準備撮影画像を撮影し続ける必要がなくなるため、精度の良い動きの検出が省電力で実現できる。

【0083】

本発明では、制御部１０１が本撮影のシャッタースピードに応じて準備撮影画像から動きを検出するフレームの選択を変更していた。ここで、本撮影のシャッタースピードが撮像装置１００にて設定可能なフレームレートの最大の値よりも大きい場合、準備撮影におけるフレームレートは最大値で固定し、フレーム間隔が最も近い準備撮影画像を選択して動きを検出する構成としてもよい。なお、この条件では本撮影時にほとんど動きブレが発生しないため、動きブレの推定を行なわなくてもよい。このように本撮影のシャッタースピードがある値よりも大きい、すなわち本撮影の露光時間がある時間よりも短い場合はフレームレートを特定の値に固定してもよい。

【0084】

また、本撮影のシャッタースピードに閾値を設け、その値に応じて制御部が準備撮影におけるフレームレートを制御するという構成にしてもよい。例えば本撮影のシャッタースピードに対して第１の閾値と第１の閾値より大きい第２の閾値を設ける。この時、本撮影のシャッタースピードが第１の閾値未満であれば制御部１０１は第１のフレームレートで制御を行う。また、本撮影のシャッタースピードが第１の閾値以上、第２の閾値未満であれば、第２のフレームレート、本撮影のシャッタースピードが第２の閾値以上であれば第３のフレームレートとして制御部１０１が制御してよい。

【0085】

本発明では、推定した動きブレが所定の値以上の場合に動きブレを報知する例について説明したが、例えば、動きブレ量の大きさによって複数の動きブレ表示を行う場合でも適用可能である。例えば、推定した動きブレ量の大きさによって３色（赤、青、黄色）で表現するような場合が考えられる。その場合には、それぞれの色で表現する動き量の大きさの範囲が表現できるように最も狭い動き量の範囲を検出できる許容動き量と設定する。例えば、ベクトルの大きさに対して、動きブレの表現色が黄色：０～１０ｐｉｘｅｌ、青色：１１～１５ｐｉｘｅｌ、赤１６ｐｉｘｅｌ以上の場合、青色の範囲が最も動き量として狭い区間となる。つまり、青色の範囲（１１～１５）の５ｐｉｘｅｌを許容動きブレ量として設定することで実現できる。

【0086】

本発明では、許容動きブレ量を設定し、許容動きブレ量以下の動きを検出できるように準備撮影画像の撮影条件であるフレームレートを制御したが、検出する動きブレが所定値以下の場合にも撮影条件を変更しても良い（スポーツ優先モード等）。

【0087】

準備撮影画像の撮影条件は、被写体の動きが安定している状態を検出したときに変更するようにしても良い。また、一度準備撮影の撮影条件を変更した後に被写体の動きが安定しているかを動きベクトルの変化として求め、単位時間当たりの動きベクトルの変化が大きくなった場合には、再度準備撮影の撮影条件を変更しても良い。

【0088】

予め許容動きブレ量が設定できないような時には、動き検出の限界範囲を超えない範囲内の動きベクトルの大きさを、許容動き量に設定してもよい。その際には、被写体の動きが動き検出の範囲を超えたかを制御部１０１が判断する。判断方法としては、動き検出時のＳＡＤの値で変化量が所定値よりも小さくなることや、ジャイロ情報などの撮像装置１００本体の動きを測定する方法から求めることができる。制御部１０１にて許容動きブレ量を超えたと判定された場合には、シャッタースピードや、フレームレートが速くなるように制御を行う。

【0089】

本発明では、動きブレの報知方法として、表示部１０９に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音や光や振動により動きブレを報知しても良い。具体的には、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音を発生させても良い。その場合は動きブレの報知手段として、マイクなどのブレ報知音発生手段を用意すればよい。

【0090】

（その他の実施形態）
以上、本発明について実施の形態に基づいて説明したが、本発明はこれらの実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

【0091】

本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。

【0092】

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

【0093】

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

【0094】

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

【0095】

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。