特許 7594367 撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】撮像装置及びその制御方法

(51)【国際特許分類】

   H04N 23/63 20230101AFI20241127BHJP

【ＦＩ】

H04N23/63 110

H04N23/63 330

【請求項の数】 6

(21)【出願番号】P 2020061114

(22)【出願日】2020-03-30

(65)【公開番号】P2021163999

(43)【公開日】2021-10-11

【審査請求日】2023-03-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】風見 祐介

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１８－１３７７９７（ＪＰ，Ａ）

【文献】特開２０１０－０９３３６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

撮像装置であって、
撮影して得られた画像を出力する撮像手段と、
前記画像における追尾する被写体の位置を検出する検出手段と、
前記被写体の位置に基づいて、前記画像内に前記被写体を含む部分領域を設定する設定手段と、
前記撮像装置の状態が第１の状態であるか第２の状態であるかに応じて、前記画像と前記部分領域と用いて、互いに異なる２つの構成のいずれかを有する追尾画像を生成する生成手段と、
前記生成手段により生成された前記追尾画像を表示する表示手段と、
画像を記録する記録手段と、を有し、
前記設定手段は、前記部分領域の予め決められた目標位置に前記被写体を配置するように、前記部分領域を設定し、
前記第１の状態は、被写体の追尾が指示され、且つ、画像の記録が指示される前にライブビュー表示をしている状態、または、被写体の追尾が指示され、且つ、画像の撮影及び記録を行っている状態であって、
前記撮像装置の状態が前記第１の状態である場合に、前記生成手段は、前記部分領域の画像を前記画像と同じサイズに拡大して、第１の追尾画像を生成し、
前記第１の状態において、前記記録手段は、前記生成手段により生成された前記第１の追尾画像を記録し、
前記撮像装置の状態が前記第２の状態である場合に、前記生成手段は、前記画像に、前記部分領域を示す情報を重畳して、第２の追尾画像を生成する
ことを特徴とする撮像装置。

【請求項2】

前記部分領域を示す情報は、前記部分領域を示す枠であることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記第２の状態は、被写体の追尾が指示され、且つ、連写が指示された場合に、連写撮影の間にライブビュー表示を行う状態であることを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

撮像装置の制御方法であって、
撮像手段が、撮影して得られた画像を出力する撮像工程と、
検出手段が、前記画像における追尾する被写体の位置を検出する検出工程と、
設定手段が、前記被写体の位置に基づいて、前記画像内に前記被写体を含む部分領域を設定する設定工程と、
生成手段が、前記撮像装置の状態が第１の状態であるか第２の状態であるかに応じて、前記画像と前記部分領域とを用いて、互いに異なる２つの構成のいずれかを有する追尾画像を生成する生成工程と、
表示手段が、前記生成工程で生成された前記追尾画像を表示する表示工程と、
記録手段が、画像を記録する記録工程と、を有し、
前記設定工程では、前記部分領域の予め決められた目標位置に前記被写体を配置するように、前記部分領域を設定し、
前記第１の状態は、被写体の追尾が指示され、且つ、画像の記録が指示される前にライブビュー表示をしている状態、または、被写体の追尾が指示され、且つ、画像の撮影及び記録を行っている状態であって、
前記撮像装置の状態が前記第１の状態である場合に、前記生成工程では、前記部分領域の画像を前記画像と同じサイズに拡大して、第１の追尾画像を生成し、
前記第１の状態において、前記記録工程では、前記生成工程で生成された前記第１の追尾画像を記録し、
前記撮像装置の状態が前記第２の状態である場合に、前記生成工程では、前記画像に、前記部分領域を示す情報を重畳して、第２の追尾画像を生成する
ことを特徴とする撮像装置の制御方法。

【請求項5】

コンピュータに、請求項４に記載の制御方法の各工程を実行させるためのプログラム。

【請求項6】

請求項５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法に関する。

【背景技術】

【0002】

従来、被写体を撮影画面内の所定位置へフレーミングするよう、自動的に被写体追尾をする被写体追尾制御機能を備える撮像装置が提案されている。

【0003】

特許文献１では、像ブレを補正するためのブレ補正機構を、撮影画面内の被写体の動きに合わせて追尾するように駆動することで、被写体が撮影画面内の所定位置に配置されるように追尾する、光学式追尾方式を適用した撮像装置が開示されている。一方、光学式追尾方式とは異なる被写体の追尾方式として、電子式追尾方式が知られている。電子式追尾方式を適用した場合、撮像装置は、撮影画面内の被写体の動きに合わせて、撮影画面内の被写体の位置が所定位置に配置されるように画像を切り出すことで被写体の追尾を実現する。また、切り出した画像をライブビュー表示することも行われている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－９３３６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

被写体追尾制御機能を備える撮像装置においては、撮像装置が自動的に被写体が撮影画面内の所定位置に配置されるように被写体追尾を行う。そのため、例えば、撮影者が撮影を行う前に、液晶表示素子（ＬＣＤ）等にライブビュー表示される被写体を確認することが容易になる。

【0006】

特に、電子式追尾方式による被写体追尾制御では、切り出した画像を用いることによりライブビュー表示される被写体像の大きさも拡大されることになるため、被写体の確認を更に容易に行うことが可能となる。

【0007】

しかしながら、画面内の被写体が所定位置に配置されるように画像を切り出すと、得られた画像の画角は狭くなってしまう。例えば、移動する被写体を連写で撮影する場合、各撮影の間には短い時間だけライブビュー表示（以下、「コマ間ライブビュー表示」と呼ぶ。）される。撮影者は、コマ間ライブビュー表示を確認しながら被写体を追う動作（フレーミング操作）を行う必要がある。この時、コマ間ライブビュー表示として、画角の狭い切り出し画像を表示した場合、被写体の周囲を確認しづらく、結果として、フレーミング操作が困難になる、という課題があった。

【0008】

本発明は上記問題点を鑑みてなされたものであり、画像の切り出しにより自動的に被写体を追尾する場合に、見易いライブビュー表示を行うことを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の撮像装置は、撮影して得られた画像を出力する撮像手段と、前記画像における追尾する被写体の位置を検出する検出手段と、前記被写体の位置に基づいて、前記画像内に前記被写体を含む部分領域を設定する設定手段と、前記撮像装置の状態が第１の状態であるか第２の状態であるかに応じて、前記画像と前記部分領域と用いて、互いに異なる２つの構成のいずれかを有する追尾画像を生成する生成手段と、前記生成手段により生成された前記追尾画像を表示する表示手段と、画像を記録する記録手段と、を有し、前記設定手段は、前記部分領域の予め決められた目標位置に前記被写体を配置するように、前記部分領域を設定し、前記第１の状態は、被写体の追尾が指示され、且つ、画像の記録が指示される前にライブビュー表示をしている状態、または、被写体の追尾が指示され、且つ、画像の撮影及び記録を行っている状態であって、前記撮像装置の状態が前記第１の状態である場合に、前記生成手段は、前記部分領域の画像を前記画像と同じサイズに拡大して、第１の追尾画像を生成し、前記第１の状態において、前記記録手段は、前記生成手段により生成された前記第１の追尾画像を記録し、前記撮像装置の状態が前記第２の状態である場合に、前記生成手段は、前記画像に、前記部分領域を示す情報を重畳して、第２の追尾画像を生成する。

【発明の効果】

【0010】

本発明によれば、画像の切り出しにより自動的に被写体を追尾する場合に、見易いライブビュー表示を行うことが可能となる。

【図面の簡単な説明】

【0011】

【図1】本実施形態の実施形態における撮像装置の構成を示すブロック図。

【図2】実施形態における被写体の追尾制御処理を示すフローチャート。

【図3】本実施形態における撮影処理を示すフローチャート。

【図4】本実施形態における切り出し領域を説明する図。

【図5】本実施形態における第１の追尾画像の生成を説明する図。

【図6】本実施形態における第２の追尾画像の生成を説明する図。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0013】

図１は、本発明における撮像装置の構成を示す図である。
撮像装置１００は、例えば、デジタル一眼レフカメラやデジタルコンパクトカメラ、デジタルビデオカメラ等である。更に、本発明は、カメラ付き携帯端末、監視カメラ、Ｗｅｂカメラ等にも適用できる。本実施形態の撮像装置１００は、撮像画像から被写体の領域を切り出すことで被写体を追尾する電子式追尾方式の追尾制御機能を有する。

【0014】

また、撮像装置１００は、装置に加わる振れにより生じる画像のブレ（像ブレ）を補正するブレ補正機構を有する。本実施形態では、ＣＰＵ１０１が、光学補正系１２２を駆動することで、ブレ補正機能を実現する。なお、像ブレの補正については、画像の縦方向または横方向のいずれか一方の像ブレの補正に関して説明し、他の方向の像ブレの補正については、同様の制御であるため説明を省略する。

【0015】

振れ検出部１０２は、例えば、振動ジャイロ等の角速度センサで構成され、手振れや体の揺れ等による撮像装置１００に加わる振れの量を角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、振れ検出部１０２からの角速度信号をデジタル化して、角速度データとしてＣＰＵ１０１内部のＤＣ成分除去フィルタ１０４に供給する。

【0016】

ＤＣ成分除去フィルタ１０４は、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波数成分を遮断して高周波数成分を出力する。ＤＣ成分除去フィルタ１０４は、例えば、任意の周波数帯域で特性を変更し得る機能を有するハイパスフィルタである。なお、ＤＣ成分除去フィルタ１０４は、ハイパスフィルタの代わりに、Ａ／Ｄ変換器１０３の出力から、Ａ／Ｄ変換器１０３の出力に対して高周波数成分の信号を遮断するローパスフィルタを通過させた信号を減算する構成にしてもよい。
焦点距離演算部１０５は、撮像光学系１２１の焦点距離を算出し、光学補正系１２２を駆動するのに最適な値となるようにＤＣ成分除去フィルタ１０４の出力を補正する。

【0017】

積分器１０６は、任意の周波数帯域でその特性を変更し得る機能を有している。積分器１０６は、焦点距離演算部１０５からの出力を積分し、光学補正系１２２の駆動量を算出する。光学補正データ出力制御部１０７は、光学補正系１２２が可動範囲内で駆動されるように、積分器１０６の出力を制限して、減算器１０８に供給する。

【0018】

光学補正系位置検出部１０９は、磁石と、磁石に対向する位置に供えられた、例えばホールセンサとからなり、光学補正系１２２の光軸と垂直な方向への移動量を検出し、その検出値をＡ／Ｄ変換器１１０に出力する。Ａ／Ｄ変換器１１０は光学補正系位置検出部１０９からの出力をＡ／Ｄ変換し、得られた光学補正系１２２の位置データを減算器１０８に供給する。

【0019】

減算器１０８は、Ａ／Ｄ変換器１１０から出力された位置データを、光学補正データ出力制御部１０７の出力から減算し、その結果である偏差データ、すなわち、光学式手振れ補正の補正量データを制御フィルタ演算部１１７に供給する。

【0020】

制御フィルタ演算部１１７は、減算器１０８から出力される補正量データを所定のゲインで増幅する増幅器と、位相補償フィルタとで構成される。補正量データは、制御フィルタ演算部１１７において、増幅器及び位相補償フィルタによる信号処理が行われ、パルス幅変調部１１８に出力される。

【0021】

パルス幅変調部１１８は、制御フィルタ演算部１１７を通過して供給されたデータを、パルス波のデューティー比を変化させるＰＷＭ波形に変調して、モータ駆動部１１９に供給する。モータ１２０は、光学補正系１２２の駆動用の、例えばボイスコイル型モータであり、モータ駆動部１１９によって駆動されることで、光学補正系１２２を光軸と垂直な方向に移動する。これにより、光学補正データ出力制御部１０７の出力に対して、光学補正系１２２の光軸と垂直な方向への移動量を追従させる、フィードバック制御系が構成される。

【0022】

撮像光学系１２１は、ズームやフォーカス等の動作を行い、入射した被写体像を撮像素子１２３に結像する。光学補正系１２２は、光軸と垂直な方向に移動されることにより光軸を偏向する、光学的に振れ補正可能な補正系であり、例えば補正レンズ（シフトレンズ）である。シフトレンズの駆動によって、装置に加わる振れにより生じる像ブレ（撮像面の被写体の移動）が補正された像が、撮像素子１２３に結像される。撮像素子１２３は、撮像光学系１２１及び光学補正系１２２からなる光学系を介して結像される被写体像を、画像信号に変換して出力する。信号処理部１２４は、撮像素子１２３から出力される画像信号に基づいて、例えば、ＮＴＳＣフォーマットに準拠した画像データを生成して、撮像画像メモリ１２５に供給する。

【0023】

被写体検出部１２６は、撮像画像メモリ１２５に保持された画像データから、追尾の対象となる被写体を検出すると共に、検出した被写体の画像内における位置を検出する。なお、ここで検出される被写体の位置は、画像における位置座標である。被写体の検出方法としては、従来より様々な方法が提案されており、それらの方法を用いればよい。また、被写体の位置としては、検出された被写体の領域の中心または重心としたり、顔が検出されている場合には、顔の中心または重心としてもよい。また、追尾の対象となる被写体は、保存された画像データに限定されるものではない。例えば、撮影者が、随時、表示デバイス１３５の画面に連続的にライブビュー表示される映像を見ながら、操作部１３６により指定するように構成してもよい。

【0024】

切り出し領域決定部１２７は、被写体検出部１２６で検出された追尾の対象となる被写体を含む部分領域を、切り出し領域として設定する。その際に、切り出し領域における目標位置（例えば、切り出し領域の中心位置）付近に被写体が配置されるように、切り出し領域を決定する。

【0025】

なお、目標位置は、撮影画面の中央位置に限定されるものではない。例えば、撮影者が、随時、表示デバイス１３５の画面に連続的にライブビュー表示される映像を見ながら操作部１３６を操作することによって、表示デバイス１３５の画面上で任意の位置を目標位置として指定することも可能である。

【0026】

追尾画像生成部１２８は、切り出し領域決定部１２７により決定された切り出し領域の座標に基づき、撮像画像から切り出し領域の切り出しを行う。さらに、切り出した領域の画像に対し、元の撮像画像と同等のサイズにするための拡大処理や、切り出した領域を撮影画面の中心に位置させるための配置処理を施した追尾画像を作成する。

【0027】

画像選択制御部１２９は、撮像装置１００の状態に応じて、撮像画像メモリ１２５に格納された撮像画像及び追尾画像生成部１２８により作成された追尾画像のいずれを、表示デバイス１３５に表示させるか、記録媒体１３２に記録するかを決定する。そして、決定に応じて、撮像画像メモリ１２５に格納された撮像画像または追尾画像生成部１２８により作成された追尾画像を、記録画像メモリ１３０及び表示画像メモリ１３３のいずれかに記憶させる。

【0028】

記録制御部１３１は、記録画像メモリ１３０から記録する画像を読み出し、読み出した画像を、記録媒体１３２に記録する。記録媒体１３２は、ハードディスク等の磁気記録媒体や半導体メモリ等の情報記録媒体である。
表示制御部１３４は、表示画像メモリ１３３から表示する画像を読み出し、読み出した画像を、表示デバイス１３５に表示する。表示デバイス１３５は、液晶表示素子（ＬＣＤ）等により画像を表示する。

【0029】

操作部１３６は、ズームレバーまたはズームボタン等のズーム操作部材や、撮影開始を指示するレリーズスイッチ、被写体の指定や撮像装置１００の設定を行うタッチパネルや操作スイッチ等を含む。操作部１３６の操作信号は、ＣＰＵ１０１に入力される。

【0030】

次に図２を用いて、本実施形態における被写体の追尾制御について説明する。
図２は、本実施形態における撮像装置１００による被写体の追尾制御処理を示すフローチャートである。なお、図２の各ステップは、ＣＰＵ１０１により実行される。

【0031】

撮像装置１００は、電源が投入されると、各種の初期化処理を行った後、ユーザによる動作指示の待ち状態となる。
まずＳ２０１において、撮像光学系１２１及び光学補正系１２２を介して入射した光を撮像素子１２３により光電変換して生成された撮像画像を取得し、撮像画像メモリ１２５に記憶する。

【0032】

次にＳ２０２において、ユーザによる操作部１３６の操作により、被写体追尾モードの実行が指示されたか否かを判定する。被写体追尾モードの実行が指示された場合、Ｓ２０３に進み、被写体追尾モードの実行指示が無い場合、Ｓ２０４に進む。

【0033】

Ｓ２０３において、追尾対象の被写体が選択され、被写体追尾を開始することが可能か否かを判定する。被写体が選択され、被写体追尾の開始が可能な場合、Ｓ２０５に進む。一方、被写体追尾の開始が不可能な場合は、Ｓ２０４に進む。

【0034】

Ｓ２０４では、Ｓ２０１で取得した撮像画像を表示デバイス１３５に表示する。つまり、Ｓ２０２にて被写体追尾モードの実行指示が無いと判定された場合や、Ｓ２０３において、被写体追尾の開始が不可能と判定された場合は、Ｓ２０１で取得した撮像画像がそのまま表示デバイス１３５に表示される。

【0035】

Ｓ２０５において、被写体検出部１２６は、Ｓ２０１で取得した撮像画像における被写体及びその位置（以下、「被写体位置」と記す。）を検出する。ここで検出される被写体位置は、撮像画像における位置座標である。

【0036】

Ｓ２０６において、切り出し領域決定部１２７は、検出された被写体位置から切り出し領域を決定する。切り出し領域は、Ｓ２０５で検出された被写体位置を、予め設定された切り出し領域における目標位置（例えば、切り出し領域の中心位置）に位置付けることが可能な領域に決定される。

【0037】

ここで、本実施形態における切り出し領域について、図４を用いて説明する。図４（ａ）は、Ｓ２０１で取得した撮像画像４０１の一例を示す図である。撮像画像４０１において、被写体４０２は追尾制御の対象となる被写体であり、撮像画像４０１内における被写体４０２の位置がＳ２０５において検出される被写体位置である。

【0038】

図４（ｂ）は、予め設定された切り出し領域における目標位置が、切り出し領域の中心位置であった場合における、図４（ａ）に対する切り出し領域４０３の一例を示している。つまり、切り出し領域４０３の中心位置に被写体４０２が配置されるように、切り出し領域４０３を決定する。

【0039】

なお、図４（ｂ）に示す例では、予め設定された切り出し領域における目標位置を、切り出し領域の中心位置としているが、本発明はこれに限定されるものでは無く、任意の位置に設定してもよい。例えば、予め設定された切り出し領域における目標位置を、切り出し領域の水平方向の左端、垂直方向の中央と定めても良い。図４（ｃ）は、予め設定された切り出し領域における目標位置が、切り出し領域の水平方向の左端、垂直方向の中央であった場合に、図４（ａ）に示す例における切り出し領域４０３’を示している。この場合、切り出し領域４０３’の水平方向の左端、垂直方向の中央に被写体４０２が配置されるように、切り出し領域４０３’を決定する。

【0040】

Ｓ２０７において、追尾画像生成部１２８は、Ｓ２０６で決定された切り出し領域に基づき、第１の追尾画像の生成を行う。ここで、本実施形態における第１の追尾画像の生成について、図５を用いて説明する。なお、ここでは、図４（ｂ）に示すように、Ｓ２０１で取得した撮像画像４０１に対して、Ｓ２０６において切り出し領域４０３が設定されている場合を例にとって説明する。

【0041】

図５（ａ）は、図４（ｂ）から生成される第１の追尾画像５０１の一例を示す。つまり、切り出し領域４０３を元の撮像画像４０１と同じ大きさに拡大した画像が、第１の追尾画像５０１となる。これにより、被写体４０２は、第１の追尾画像５０１の中心位置に配置される。一方で、この場合、第１の追尾画像５０１における被写体４０２の大きさは、撮像画像４０１における被写体４０２よりも大きくなる。

【0042】

なお、図５（ａ）に示す例では、切り出し領域４０３を元の撮像画像４０１と同じ大きさに拡大して第１の追尾画像５０１としたが、切り出し領域４０３の大きさを変更せず、画像の中心位置に切り出し領域４０３を配置した構成の画像としても構わない。図５（ｂ）は、切り出し領域４０３の大きさを変更しない場合に生成される第１の追尾画像５０２の例を示す。つまり、切り出し領域４０３を拡大せずに画像の中心に配置し、その周囲に単一色のデータを配置した画像を合成し、これを第１の追尾画像５０２とする。これにより、被写体４０２は、第１の追尾画像５０２の中心位置に配置される。

【0043】

この場合、第１の追尾画像５０２における被写体４０２の大きさは、撮像画像４０１における被写体４０２の大きさと等しくなる。このように、撮像画像４０１における被写体４０２の大きさと、第１の追尾画像５０２における被写体の大きさが等しいため、撮像画像４０１と第１の追尾画像５０２を連続的にライブビュー表示した場合等において、被写体の大きさが変化することによるユーザの違和感を低減することが可能となる。

【0044】

Ｓ２０８において、画像選択制御部１２９はＳ２０７で生成された第１の追尾画像を表示画像メモリ１３３に格納し、格納された第１の追尾画像を表示制御部１３４が表示デバイス１３５に表示する。つまり、Ｓ２０２にて被写体追尾モードの実行指示があると判定され、かつ、Ｓ２０３において、被写体追尾の開始が可能と判定された場合は、Ｓ２０７で生成された第１の追尾画像が表示デバイス１３５に表示される。

【0045】

Ｓ２０９において、ユーザから撮影指示があるか否かを判定する。ユーザからの撮影指示があった場合には、Ｓ２１０に進み、撮影指示が無い場合には、Ｓ２０１に戻る。
Ｓ２１０において、撮影処理を行う。ここで行われる撮影処理について、図３を用いて説明する。

【0046】

図３は、本実施形態における撮像装置１００による撮影処理の例を説明するフローチャートである。図３の各ステップは、ＣＰＵ１０１により実行される。
撮像装置１００は、撮影処理が開始されると、Ｓ３００において、ＡＦ（自動焦点）処理やＡＥ（自動露出）処理等の撮影準備動作を行う。その後、Ｓ３０１において、撮像光学系１２１を介して入射した光を撮像素子１２３により光電変換して生成された撮像画像を取得する。

【0047】

Ｓ３０２において、被写体検出部１２６は、Ｓ３０１で取得された撮像画像内の被写体位置を検出する。なお、Ｓ３０２における被写体位置の検出方法は、Ｓ２０５と同様である。

【0048】

Ｓ３０３において、切り出し領域決定部１２７は、Ｓ３０２で検出された被写体位置から切り出し領域を決定する。なお、Ｓ３０３における切り出し領域の決定方法は、Ｓ２０６と同様である。

【0049】

Ｓ３０４において、追尾画像生成部１２８は、Ｓ３０３で決定された切り出し領域に基づき、記録用の追尾画像の生成を行う。Ｓ３０４における記録用の追尾画像の生成方法は、Ｓ２０７で説明した方法と同様である。本実施形態では、Ｓ３０４における記録用の追尾画像として、Ｓ２０７において、図５（ａ）で示すように、切り出した領域を元の撮像画像と同じ大きさに拡大した画像としている。しかしながら、例えば、図５（ｂ）に示すように、切り出した領域の大きさを変更せず、画像の中心に切り出し領域を配置する構成としても良い。

【0050】

Ｓ３０５において、画像選択制御部１２９は、Ｓ３０４で生成された第１の追尾画像を記録画像メモリ１３０に格納し、格納された第１の追尾画像を記録制御部１３１が記録媒体１３２に記録し、撮影処理を終了する。

【0051】

なお、本実施形態においては、撮影処理においても、Ｓ３０２で撮像画像から被写体位置の検出を行い、さらに、Ｓ３０３にて、切り出し領域の決定を実施する構成とした。しかしながら、撮影処理においては、それらを行わず、撮影処理の直前に決定された切り出し領域に基づき、Ｓ３０４にて記録用の追尾画像の生成を行う構成としても構わない。

【0052】

以上のように撮影処理を終了すると、図２のＳ２２１に進む。
Ｓ２１１において、ユーザから撮影指示が継続されているか否かを判定する。ユーザからの撮影指示が継続されている場合には、Ｓ２１２に進む。一方、ユーザからの撮影指示が無い場合には、Ｓ２０１に戻る。

【0053】

撮影処理後、Ｓ２１２において、撮像素子１２３及び撮像光学系１２１を介して生成された撮像画像を取得する。
Ｓ２１３において、被写体検出部１２６は、Ｓ２０５と同様の被写体位置の検出方法により、Ｓ２１２で取得された撮像画像における被写体位置を検出する。

【0054】

Ｓ２１４において、切り出し領域決定部１２７は、Ｓ２０６と同様の切り出し領域の決定方法により、Ｓ２１３で検出された被写体位置から切り出し領域を決定する。
Ｓ２１５において、追尾画像生成部１２８は、Ｓ２１４で決定された切り出し領域に基づき、第２の追尾画像の生成を行う。

【0055】

ここで、本実施形態における第２の追尾画像の生成について、図６を用いて説明する。
図６（ａ）は、Ｓ２１２で取得した撮像画像６０１の一例を示す図である。撮像画像６０１において、被写体６０２は追尾制御の対象となる被写体であり、撮像画像６０１内における被写体６０２の位置がＳ２１３において検出される被写体位置である。

【0056】

図６（ｂ）は、切り出し領域における目標位置が、切り出し領域の中心位置である場合に、図６（ａ）から生成される第２の追尾画像６０３の一例を示す。図６（ｂ）に示すように、第２の追尾画像６０３は、撮像画像６０１に対し、Ｓ２１４において決定される切り出し領域の範囲を示す枠６０４を重畳させた画像とする。第２の追尾画像６０３により、ユーザは撮像画像６０１と同一の画像内で、切り出し領域として設定される範囲を、枠６０４の位置として把握することが可能となる。また、第２の追尾画像６０３における被写体６０２は、画像内の位置及び大きさ共に、撮像画像６０１内における被写体６０２と同一である。

【0057】

なお、本実施形態では、第２の追尾画像は、Ｓ２１４で決定された切り出し領域の範囲を示す枠を、撮像画像に対し重畳表示した画像とした。しかしながら、切り出し領域の範囲を示すことができる情報であれば、枠に限定されない。また、例えば、第２の追尾画像として、切り出し領域の範囲を示す情報が不要であれば、撮像画像そのものを第２の追尾画像としても構わない。つまり、図６（ａ）の撮像画像６０１を第２の追尾画像とする。

【0058】

Ｓ２１６において、画像選択制御部１２９はＳ２１５で生成された第２の追尾画像を表示画像メモリ１３３に格納し、格納された追尾画像を表示制御部１３４が表示デバイス１３５に表示する。

【0059】

Ｓ２１７において、撮影のための諸条件が成立し、撮影処理を行えるか否かを判定する。撮影処理が行えると判定された場合には、Ｓ２１０に戻る。一方、撮影処理が行えないと判定された場合には、Ｓ２１２に戻る。なお、撮影のための諸条件とは、例えば、Ｓ２１２にて取得された撮像画像から得られるＡＦ処理やＡＥ処理を行うための情報が、必要回数分だけ取得できたか否かとする。ただし、撮影のための諸条件はこれに限定されず、撮影処理を行うために必要な要件が他にあれば、それを条件としても良い。

【0060】

つまり、Ｓ２１１にてユーザから撮影指示が継続されている場合は、次に撮影処理が実行されるまでの間、Ｓ２１５で生成された第２の追尾画像が表示デバイス１３５に表示される。

【0061】

上記の通り本実施形態によれば、被写体追尾が可能な場合においては、撮影処理を行うより前のライブビュー表示としては、被写体の位置が予め設定された目標位置に位置する第１の追尾画像を表示する。その際に、第１の追尾画像として、切り出した領域を元の撮像画像と同じ大きさに拡大した画像を用いることにより、ユーザに対して、被写体の確認を容易に行うことが可能なライブビュー表示を提供することが可能となる。

【0062】

さらに、連続した撮影処理である連写撮影を行う際の、各撮影の間のコマ間ライブビュー表示として、被写体の位置を予め設定された目標位置にするための切り出し領域を示す、例えば枠等の情報を撮像画像に重畳させた第２の追尾画像を表示する。つまり、第２の追尾画像では、切り出し領域を重畳表示するだけで、実際の切り出しは行わない。これにより、連写撮影中は、被写体の追尾制御を行いつつ、第１の追尾画像よりも画角の広い第２の追尾画像を表示することにより、ユーザに対して、連写撮影中のフレーミング操作を容易に行うことが可能なコマ間ライブビュー表示を提供することが可能となる。
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

【0063】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0064】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0065】

１００：撮像装置、１０１：ＣＰＵ、１２６：被写体検出部、１２７：切り出し領域決定部、１２８：追尾画像生成部、１２９：画像選択制御部、１３０：記録画像メモリ、１３１：記録制御部、１３２：記録媒体、１３３：表示画像メモリ、１３４：表示制御部、１３５：表示デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】