特許 7441040 制御装置、撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-20

(45)【発行日】2024-02-29

(54)【発明の名称】制御装置、撮像装置及びその制御方法

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240221BHJP

   G03B 5/00 20210101ALI20240221BHJP

   G03B 15/00 20210101ALI20240221BHJP

   G03B 17/18 20210101ALI20240221BHJP

   H04N 23/68 20230101ALI20240221BHJP

【ＦＩ】

H04N23/63 300

G03B5/00 J

G03B5/00 K

G03B15/00 Q

G03B17/18

H04N23/68

【請求項の数】 16

(21)【出願番号】P 2019239275

(22)【出願日】2019-12-27

(65)【公開番号】P2021108425

(43)【公開日】2021-07-29

【審査請求日】2022-12-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】風見 祐介

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１５－１３６０３５（ＪＰ，Ａ）

【文献】特開２０１７－１１１４３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ２３／６８

(57)【特許請求の範囲】

【請求項1】

撮像手段から出力された画像信号に基づく画像における、追尾する被写体の位置を検出する検出手段と、
前記画像における前記被写体の目標位置を設定する設定手段と、
前記被写体の位置と前記目標位置とに基づいて、前記画像における前記被写体の位置を前記目標位置に移動させるための追尾補正量を求める算出手段と、
前記追尾補正量に基づいて、前記画像における前記被写体の位置を目標位置に近づける追尾制御を行わせる制御手段と、
前記追尾制御の開始前の前記目標位置に対応する前記画像上の位置に対応する、前記追尾制御の開始後の前記画像における位置に、前記追尾補正量に基づく指標を重畳して表示手段に表示させるように制御する表示制御手段と
を有することを特徴とする制御装置。

【請求項2】

前記指標は、前記追尾補正量が小さくなる方向を示すことを特徴とする請求項１に記載の制御装置。

【請求項3】

撮像手段から出力された画像信号に基づく画像における、追尾する被写体の位置を検出する検出手段と、
前記画像における前記被写体の目標位置を設定する設定手段と、
前記被写体の位置と前記目標位置とに基づいて、前記画像における前記被写体の位置を前記目標位置に移動させるための追尾補正量を求める算出手段と、
前記追尾補正量に基づいて、前記画像における前記被写体の位置を目標位置に近づける追尾制御を行わせる制御手段と、
前記追尾補正量に基づいて、前記追尾制御が実行されなかった場合の前記被写体の位置を示す指標を、前記追尾制御の開始後の前記画像に重畳して表示手段に表示させるように制御する表示制御手段と
を有することを特徴とする制御装置。

【請求項4】

前記表示制御手段は、前記指標の表示形態を、前記追尾補正量に応じて異ならせることを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。

【請求項5】

前記表示制御手段は、前記追尾補正量を予め決められた第１の閾値と比較し、前記第１の閾値より前記追尾補正量が大きい場合と、前記第１の閾値以下の場合とで、前記指標の表示形態を異ならせることを特徴する請求項４に記載の制御装置。

【請求項6】

前記表示制御手段は、前記指標の色、形状、大きさのうち、少なくとも１つを異ならせることを特徴とする請求項４または５に記載の制御装置。

【請求項7】

前記表示制御手段は、前記追尾補正量が予め決められた第２の閾値よりも小さい場合に、前記指標を表示しないように制御することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。

【請求項8】

前記画像を表示する前記表示手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。

【請求項9】

請求項１乃至８のいずれか１項に記載の制御装置と、
撮像光学系を介して結像した被写体像を画像信号に変換する撮像手段と、
像ぶれ補正手段と、を有し、
前記制御手段は、前記像ぶれ補正手段を制御することで前記追尾制御を行うことを特徴とする撮像装置。

【請求項10】

前記像ぶれ補正手段は、光学補正系を前記撮像光学系の光軸に垂直な方向にシフトさせることで前記撮像光学系の光軸を偏向することにより、像ぶれ補正を行うことを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記像ぶれ補正手段は、前記撮像手段を前記撮像光学系の光軸に垂直な方向にシフトさせることで、像ぶれ補正を行うことを特徴とする請求項９または１０に記載の撮像装置。

【請求項12】

前記画像を記憶する記憶手段を更に有し、
前記像ぶれ補正手段は、前記記憶手段に記録された前記画像から、一部の領域を切り出して読み出すことで、像ぶれ補正を行うことを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。

【請求項13】

検出手段が、撮像手段から出力された画像信号に基づく画像における、追尾する被写体の位置を検出する検出工程と、
設定手段が、前記画像における前記被写体の目標位置を設定する設定工程と、
算出手段が、前記被写体の位置と前記目標位置とに基づいて、前記画像における前記被写体の位置を前記目標位置に移動させるための追尾補正量を求める算出工程と、
制御手段が、前記追尾補正量に基づいて、前記画像における前記被写体の位置を目標位置に近づける追尾制御を行わせる制御工程と、
表示制御手段が、前記追尾制御の開始前の前記目標位置に対応する前記画像上の位置に対応する、前記追尾制御の開始後の前記画像における位置に、前記追尾補正量に基づく指標を重畳して表示手段に表示させるように制御する表示制御工程と
を有することを特徴とする撮像装置の制御方法。

【請求項14】

検出手段が、撮像手段から出力された画像信号に基づく画像における、追尾する被写体の位置を検出する検出工程と、
設定手段が、前記画像における前記被写体の目標位置を設定する設定工程と、
算出手段が、前記被写体の位置と前記目標位置とに基づいて、前記画像における前記被写体の位置を前記目標位置に移動させるための追尾補正量を求める算出工程と、
制御手段が、前記追尾補正量に基づいて、前記画像における前記被写体の位置を目標位置に近づける追尾制御を行わせる制御工程と、
表示制御手段が、前記追尾補正量に基づいて、前記追尾制御が実行されなかった場合の前記被写体の位置を示す指標を、前記追尾制御の開始後の前記画像に重畳して表示手段に表示させるように制御する表示制御工程と
を有することを特徴とする撮像装置の制御方法。

【請求項15】

コンピュータを、請求項１乃至８のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。

【請求項16】

請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、撮像装置及びその制御方法に関する。

【背景技術】

【0002】

従来、被写体を撮影画面内の所定位置へフレーミングするように、自動的に被写体追尾をする被写体追尾制御機能を備える撮像装置が提案されている。

【0003】

特許文献１では、像ブレを補正するためのブレ補正機構を、撮影画面内の被写体の動きに合わせて追尾するように駆動することで、被写体を撮影画面内の所定位置へ移動する、光学式追尾方式を適用した撮像装置が開示されている。一方、光学式追尾方式とは異なる被写体の追尾方式として、電子式追尾方式が知られている。電子式追尾方式を適用した場合、撮像装置は、撮影画面内の被写体の動きに合わせて、撮影画面内の被写体の位置が所定位置となるように画像をトリミングすることで被写体の追尾を実現する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－９３３６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

被写体追尾制御機能を備える撮像装置においては、撮像装置が自動的に被写体の位置を撮影画面内の所定位置に保持するように被写体追尾を行うため、撮影者は被写体を追う動作（フレーミング操作）を行う必要はない。しかし、例えば、光学式追尾方式による被写体追尾において、光学系の一部を移動させることで行われる場合には、追尾できる範囲は光学系の可動範囲により決定されるため、その範囲には限りがある。従って、追尾範囲端（光学系の可動範囲端）まで達した場合、それ以上追尾することができないので、撮影者自身も、ある程度、撮像装置の向きを被写体の方向に合わせ、追尾範囲内に被写体を収めるフレーミング操作を行うことが必要になる。これは、画像のトリミング可能領域に限りがある電子式追尾方式においても同様である。

【0006】

しかしながら、撮像装置が自動的な被写体追尾制御を行っているとき、撮像装置の表示部に表示されている被写体は、撮影画面内の所定位置に停止している。このため、実際には撮像装置の向きと被写体の方向に差が生じていても、撮影者は、このことを把握し難いため、撮影者がフレーミング操作を行うタイミングに遅れが生じる場合がある。結果として、被写体を撮影画面内の所定位置に保持できなくなったり、撮影画面から外れてしまう、という課題があった。

【0007】

本発明は上記問題点を鑑みてなされたものであり、撮像装置が自動的に被写体を追尾する場合においても、撮影者が撮像装置の向きを被写体の方向に合わせるフレーミング操作を容易に行えるようにすることを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の制御装置は、撮像手段から出力された画像信号に基づく画像における、追尾する被写体の位置を検出する検出手段と、前記画像における前記被写体の目標位置を設定する設定手段と、前記被写体の位置と前記目標位置とに基づいて、前記画像における前記被写体の位置を前記目標位置に移動させるための追尾補正量を求める算出手段と、前記追尾補正量に基づいて、前記画像における前記被写体の位置を目標位置に近づける追尾制御を行わせる制御手段と、前記追尾制御の開始前の前記目標位置に対応する前記画像上の位置に対応する、前記追尾制御の開始後の前記画像における位置に、前記追尾補正量に基づく指標を重畳して表示手段に表示させるように制御する表示制御手段とを有することを特徴とする。

【発明の効果】

【0009】

本発明の撮像装置によれば、撮像装置が自動的に被写体を追尾する場合においても、撮影者が撮像装置の向きを被写体の方向に合わせるフレーミング操作を容易に行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態における撮像装置の構成を示すブロック図。

【図2】第１実施形態における被写体の追尾撮影処理を示すフローチャート。

【図3】第２実施形態における被写体の追尾撮影処理を示すフローチャート。

【図4】本実施形態における被写体追尾制御を説明する図。

【図5】第１実施形態における理想被写体位置を説明する図。

【図6】第１実施形態におけるマーカー表示を説明する図。

【図7】第１実施形態におけるマーカー表示の別の例を説明する図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

図１は、本実施形態における撮像装置の構成を示すブロック図である。
撮像装置１００は、例えば、デジタル一眼レフカメラやデジタルコンパクトカメラ、デジタルビデオカメラ等である。更に、本発明は、カメラ付き携帯端末、監視カメラ、Ｗｅｂカメラ等にも適用できる。撮像装置１００は、装置に加わる振れにより生じる画像のブレ（像ブレ）を補正するブレ補正機能を有する。本実施形態では、ＣＰＵ１０１が、光学補正系１２２を駆動することで、ブレ補正機能を実現する。また、光学補正系１２２を駆動することで、光学追尾方式の被写体追尾制御を行うことが可能な構成である。なお、像ブレの補正については、画像の縦方向または横方向のいずれか一方の像ブレの補正に関して説明し、他の方向の像ブレの補正については、同様の制御であるため説明を省略する。

【0013】

振れ検出部１０２は、例えば、振動ジャイロ等の角速度センサで構成され、手振れや体の揺れ等による撮像装置１００に加わる振れの量を角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、振れ検出部１０２からの出力信号をデジタル化して、角速度データとしてＣＰＵ１０１内部のＤＣ成分除去フィルタ１０４に供給する。

【0014】

ＤＣ成分除去フィルタ１０４は、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波数成分を遮断して高周波数成分を出力する。ＤＣ成分除去フィルタ１０４は、例えば、任意の周波数帯域で特性を変更し得る機能を有するハイパスフィルタである。なお、ＤＣ成分除去フィルタ１０４は、ハイパスフィルタの代わりに、Ａ／Ｄ変換器１０３の出力から、Ａ／Ｄ変換器１０３の出力に対して高周波数成分の信号を遮断するローパスフィルタを通過させた信号を減算する構成にしてもよい。
焦点距離演算部１０５は、撮像光学系１２１の焦点距離を算出し、光学補正系１２２を駆動するのに最適な値となるようにＤＣ成分除去フィルタ１０４の出力を補正する。

【0015】

積分器１０６は、任意の周波数帯域でその特性を変更し得る機能を有している。積分器１０６は、焦点距離演算部１０５からの出力を積分し、光学補正系１２２の駆動量を算出する。光学補正データ出力制御部１０７は、光学補正系１２２が可動範囲内で駆動されるように、積分器１０６の出力を制限する。

【0016】

光学補正系位置検出部１０９は、磁石と、磁石に対向する位置に供えられた、例えばホールセンサとからなり、光学補正系１２２の光軸と垂直な方向への移動量を検出し、その検出値をＡ／Ｄ変換器１１０に出力する。Ａ／Ｄ変換器１１０は光学補正系位置検出部１０９からの出力をＡ／Ｄ変換し、得られた光学補正系１２２の位置データを減算器１０８に供給する。減算器１０８は、この位置データを光学補正データ出力制御部１０７の出力から減算し、その結果である偏差データ、すなわち、光学式手振れ補正量を加算器１１６に供給する。

【0017】

加算器１１６は、例えば、光学補正系１２２で被写体を追尾することが選択された際に、減算器１０８の出力である光学式手振れ補正量に対し、後述する追尾量算出部１１５で算出され、追尾制御部１１３により制御された、追尾補正量を加算する。そして、加算して得られた補正量データを制御フィルタ演算部１１７に供給する。制御フィルタ演算部１１７は、加算器１１６から出力される補正量データを所定のゲインで増幅する増幅器と、位相補償フィルタとで構成される。補正量データは、制御フィルタ演算部１１７において、増幅器及び位相補償フィルタによる信号処理が行われ、パルス幅変調部１１８に出力される。

【0018】

パルス幅変調部１１８は、制御フィルタ演算部１１７を通過して供給されたデータを、パルス波のデューティー比を変化させるＰＷＭ波形に変調して、モータ駆動部１１９に供給する。モータ１２０は、光学補正系１２２の駆動用の、例えばボイスコイル型モータであり、モータ駆動部１１９によって駆動されることで、光学補正系１２２を光軸と垂直な方向に移動する。これにより、光学補正データ出力制御部１０７の出力に対して、光学補正系１２２の光軸と垂直な方向への移動量を追従させる、フィードバック制御系が構成される。

【0019】

撮像光学系１２１は、ズームやフォーカス等の動作を行い、入射した被写体像を撮像素子１２３に結像する。光学補正系１２２は、光軸と垂直な方向に移動されることにより光軸を偏向する、光学的に振れ補正可能な補正系であり、例えば補正レンズ（シフトレンズ）である。シフトレンズの駆動によって、装置に加わる振れにより生じる像ブレ（撮像面の被写体の移動）が補正された像が、撮像素子１２３に結像される。撮像素子１２３は、光学補正系１２２及び撮像光学系１２１からなる光学系を介して結像される被写体像を画像信号に変換して出力する。信号処理部１２４は、撮像素子１２３から出力される画像信号に基づいて、例えば、ＮＴＳＣフォーマットに準拠した画像データを生成して、画像メモリ１２５に供給する。

【0020】

被写体検出部１３１は、画像メモリ１２５に保持された画像データから、追尾の対象となる被写体を検出する。追尾量算出部１１５は、被写体検出部１３１で検出された追尾の対象となる被写体の位置が、撮影画面における目標位置（例えば、撮影画面の中央位置）付近に位置するように追尾補正量を演算する。
ここで、目標位置は、撮像画像の中央には限定されず、例えば、撮影者が、随時、撮像装置の表示デバイス１３０である画面に連続的にライブビュー表示される映像を見ながら、操作部１３２を操作することによって、画面上で任意の位置として指定することも可能である。

【0021】

追尾制御部１１３は、撮影画像内での被写体の追尾に用いる追尾方式として、光学式追尾方式（第１の追尾方式）と電子式追尾方式（第２の追尾方式）のうちのいずれかを選択し、追尾制御を行う。光学式追尾方式は、光学補正系１２２の駆動により被写体を追尾する方式である。電子式追尾方式は、撮影画像から一部の領域を切り出すことで被写体を追尾する追尾方式である。なお、追尾制御部１１３が、いずれの方式を選択するかを決定するための方法は、特に限定されない。例えば、所定の条件に応じて、光学式追尾方式か、電子式追尾方式かを自動で切り替える構成としても良いし、ユーザによる操作部１３２からの指示に基づいて、予め任意の方式を選択できるような構成にしても良い。

【0022】

追尾制御部１１３は、追尾量算出部１１５で算出された追尾補正量に従い、選択された追尾方式で被写体を追尾する制御を実行する。具体的には、光学式追尾方式が選択された場合、追尾量算出部１１５が算出した追尾補正量を加算器１１６に出力する。一方、電子式追尾方式が選択された場合には、追尾補正量をメモリ読み出し制御部１２６に出力する。

【0023】

メモリ読出し制御部１２６は、追尾補正量が入力されていれば、追尾補正量に従って、また、入力されていなければ予め決められた範囲の画像データを画像メモリ１２５から読み出し、記録制御部１２７と表示制御部１２９に供給する。
記録制御部１２７は、映像信号を記録媒体１２８に記録させる。記録媒体１２８は、ハードディスク等の磁気記録媒体や半導体メモリ等の情報記録媒体である。表示制御部１２９は、表示デバイス１３０を駆動し、表示デバイス１３０は、液晶表示素子（例えば、ＬＣＤ）により画像を表示する。

【0024】

操作部１３２は、ズームレバーまたはズームボタン等のズーム操作部材や、撮影開始を指示するレリーズスイッチ、被写体の指定や撮像装置１００の設定を行うタッチパネルや操作スイッチ等を含む。操作部１３２の操作信号は、ＣＰＵ１０１に入力される。

【0025】

＜第１実施形態＞
次に図２を用いて、第１実施形態における被写体の追尾制御について説明する。
図２は第１実施形態における撮像装置１００による被写体の追尾撮影処理を示すフローチャートである。なお、図２の各ステップは、ＣＰＵ１０１により実行される。

【0026】

撮像装置１００は、電源が投入されると、各種の初期化処理を行った後、ユーザによる動作指示の待ち状態となる。
まずＳ２０１において、ユーザによる操作部１３２の操作により、被写体追尾モードの実行が指示されたか否かを判定する。被写体追尾モードの実行が指示された場合、Ｓ２０２に進む。一方、被写体追尾モードの実行指示が無い場合、Ｓ２０１の判定を継続する。

【0027】

Ｓ２０２において、追尾対象の被写体が選択され、被写体追尾を開始することが可能か否かを判定する。被写体が選択され、被写体追尾の開始が可能な場合、Ｓ２０３に進む。一方、被写体追尾の開始が不可能な場合は、Ｓ２０１に戻る。

【0028】

Ｓ２０３において、被写体検出部１３１は、撮影画面における被写体位置を検出する。ここでの撮影画面における被写体位置は、撮影画面における被写体の検出位置座標と同義である。撮影画面における被写体の検出位置座標は、Ｓ２０２でユーザによる被写体の選択が行われた時点、つまり、ＣＰＵ１０１が被写体を認識した時点において、その被写体を追尾検出することで被写体の検出位置座標を取得している。

【0029】

Ｓ２０４において、追尾量算出部１１５は、検出された被写体位置から追尾補正量を算出する。追尾補正量は、Ｓ２０３で検出された被写体の位置を、予め設定された撮影画像内の目標位置（例えば、撮影画像内の中央位置）に位置付けるための制御量であり、大きさの情報と方向の情報を含む。

【0030】

Ｓ２０５において、追尾制御部１１３は、決定された被写体追尾方式にて、Ｓ２０４で追尾補正量に基づき、被写体追尾制御を開始する。追尾制御部１１３で選択された追従方式が、光学式追尾方式であった場合には、追尾補正量を加算器１１６に送り、光学式手振れ補正量と合わせて光学補正系１２２を駆動することで、光学式追尾方式の被写体追尾制御を行う。一方、追尾制御部１１３で選択された追従方式が、電子式追尾方式であった場合には、追尾補正量をメモリ読出し制御部１２６に送り、追尾補正量に基づいて撮影画像から被写体の領域を切り出すことで、電子式追尾方式の被写体追尾制御を行う。

【0031】

ここで、本実施形態における被写体追尾制御について、図４を用いて説明する。
図４（ａ）は、被写体追尾制御の開始前における撮影画像４０１ａを例示する。図４（ｂ）は、被写体追尾制御の開始後における撮影画像４０１ｂを例示する。図４（ａ）の撮影画像４０１ａにおいて、中央に示す点は予め設定された被写体追尾の目標位置４０３ａを示す。被写体追尾制御の開始前に被写体４０２ａの撮影画面における位置は、目標位置４０３ａから離れている。この時点において、Ｓ２０４で算出される追尾補正量は、被写体４０２ａと、目標位置４０３ａとの差に相当する。ここで、被写体追尾制御が開始されると、時間経過につれて、被写体４０２ａの位置と、目標位置４０３ａとの距離が徐々に小さくなっていく。被写体追尾制御により、最終的には図４（ｂ）に示すように、被写体４０２ａと目標位置４０３ａが一致する。

【0032】

次に、Ｓ２０６において、Ｓ２０４にて算出された追尾補正量が予め定められた第１の閾値より大きいか否かを判定する。第１の閾値より大きい場合には、Ｓ２０７に進む。一方、第１の閾値以下の場合には、Ｓ２１０に進む。

【0033】

Ｓ２０７では、Ｓ２０５で被写体位置の追尾補正を行った画像上における理想被写体位置を算出する。理想被写体位置とは、追尾補正量が０である場合の目標位置に相当する撮影画面上の位置である。

【0034】

ここで、本実施形態における理想被写体位置の算出について、図５を用いて説明する。
図５（ａ）は、被写体追尾の目標位置を画面の中央とした場合の撮影画像の例を示している。図５（ａ）の中央に示す点５０２ａは、被写体追尾の目標位置（画面中央）を示す。一方、点５０１ａは、Ｓ２０３で検出された追尾対象である被写体の位置を示す。ここで、この場合、点５０２ａを原点として、点５０１ａを原点に関して対称移動させた位置である点５０３ａの位置を、理想被写体位置として求める。この位置は、画面上の点５０２ａに対応する画像上の位置が、被写体追尾により移動した位置に対応する、画面上での位置となる。ちなみに、この場合にＳ２０４にて算出される追尾補正量は、点５０１ａから点５０２ｂへのベクトルで示される。

【0035】

同様に、図５（ｂ）は、被写体追尾の目標位置を画面の中央以外にした場合の撮影画像の例を示している。図５（ｂ）に示す点５０２ｂは、被写体追尾の目標位置を示す。一方、点５０１ｂは、Ｓ２０３で検出された追尾対象である被写体の位置を示す。ここで、この場合、点５０２ｂを原点として、点５０１ｂを原点に関して対称移動させた位置である点５０３ｂの位置を、理想被写体位置として求める。

【0036】

以上のように、本実施形態において、被写体追尾の目標位置を、追尾対象である被写体の位置を原点に対称移動したときの位置を理想被写体位置として算出するが、理想被写体位置の算出方法に関しては、これに限定されない。

【0037】

Ｓ２０８において、Ｓ２０７にて算出された理想被写体位置に表示するマーカー（指標）の表示形態として、色、形状、および大きさを決定する。マーカーの色、形状、および大きさは、Ｓ２０４で算出された追尾補正量の大きさと方向の少なくともいずれかに基づいて決定することができる。マーカーの色、形状、大きさを変更する目的は、撮影者に対し、被写体の追尾限界が近いことを報知するためである。例えば、予めマーカーの色、形状、大きさそれぞれに関して、追尾限界に近い場合の色、形状、大きさを、予めユーザに提示しておく。そして、追尾補正量の大きさにより、色、形状、大きさを、追尾限界に近い場合の色、形状、大きさに変更することで、撮影者に対して報知する。

【0038】

例えば、追尾限界から遠い場合の色、形状、大きさを、それぞれ、青色、○印、小さめ、とし、追尾限界に近い場合の色、形状、大きさを、それぞれ、赤色、×印、大きめ、とする。また、追尾補正量を予め定められた閾値と比較し、閾値より大きい場合には、マーカーの色、形状、および大きさを、それぞれ、赤色、×印、大きめ、に決定してもよい。一方、閾値以下の場合には、マーカーの色、形状、および大きさを、青色、○印、小さめ、に決定する。

【0039】

なお、マーカーの色、形状、大きさの決定方法に関しては、上述した例に限定されず、例えば、複数の閾値を設定し、追尾補正量の大きさに応じて段階的に変化させても良い。また、マーカーの色、形状、大きさに関しても、本実施形態に示した色、形状、大きさに限定されず、追尾補正量の大きさや方向に応じて変化するものであれば、任意に設定することが可能である。

【0040】

Ｓ２０９において、Ｓ２０７で算出した理想被写体位置に、Ｓ２０８で決定したマーカー（指標）を、Ｓ２０５により取得される被写体位置の追尾補正を行った画像に重畳表示する。

【0041】

ここで、本実施形態におけるマーカー表示について、図６を用いて説明する。
図６は、被写体追尾の目標位置を画面の中央とした場合の撮影画像の例を示す図である。被写体６０１は、被写体追尾制御の開始前の追尾対象である被写体を示している。一方、被写体６０２は、被写体６０１に対し、Ｓ２０５において光学式追尾方式で被写体追尾制御を行った後の被写体位置を示している。つまり、被写体追尾により、被写体６０１の位置から被写体６０２の位置に、位置が補正されたことを示す。尚、図６では説明のために被写体６０１を表示しているが、被写体６０１は表示デバイス１３０に表示しなくてもよい。一方、点６０３は、Ｓ２０７で算出した理想被写体位置を示している。なお、撮像装置１００の表示デバイス１３０に実際に表示されるのは、被写体６０２と、点６０３である。

【0042】

撮影者は、点６０３を被写体６０２に重ねるように撮像装置１００の向きを操作することにより、被写体追尾の目標位置と、被写体の位置とが近づき、追尾補正量が減少することとなるため、追尾の補正限界に到達することを防止できる。

【0043】

一方、追尾補正量が第１の閾値より小さい場合、Ｓ２１０では、先のＳ２０９で表示済のマーカーがあれば、マーカーを非表示にする。

【0044】

Ｓ２１１において、ユーザから撮影指示があるか否かを判定する。ユーザからの撮影指示があった場合には、Ｓ２１２に進んで撮影を行う。一方、ユーザからの撮影指示が無い場合には、Ｓ２０１に戻る。

【0045】

上記の通り第１実施形態によれば、追尾補正量に応じて理想被写体位置にマーカーを重畳表示することにより、撮影者のフレーミング動作の操作性を向上させることができる。具体的には、撮影者は、被写体の画像に重畳表示されるマーカーを追尾対象の被写体に重ねるように撮像装置の向きを変更することで、追尾限界に到達することによる追尾の遅れやフレームアウトを防止することが可能になる。

【0046】

また、マーカーの表示の有無や、色、形状、大きさを追尾補正量の大きさや方向に応じて、変更することにより、理想的に追従できている場合の被写体の視認性の向上や、追尾限界が近くなった場合に撮影者への警告を行う際の追従度合や緊急度合を任意に変更できる。

【0047】

なお、上述の実施形態においては、被写体位置の追尾補正を行った画像上の理想被写体位置に、マーカーを重畳して表示する構成としたが、マーカーの表示方法はこの構成に限らない。一例として、マーカーの形状として矢印を用いた場合について、図７を用いて説明する。

【0048】

図７は、図６と同様、被写体追尾の目標位置を画面の中央とした場合の撮影画像の例を示す図である。被写体７０１は、被写体追尾制御の開始前の追尾対象である被写体を示している。一方、被写体７０２は、被写体７０１に対し、Ｓ２０５において光学式追尾方式で被写体追尾制御を行った後の被写体位置を示している。つまり、被写体追尾により、被写体７０１の位置から被写体７０２の位置に、位置が補正されたことを示す。なお、被写体７０１も被写体６０１と同様に説明のために図示しているが、表示デバイス１３０には表示しなくてもよい。

【0049】

一方、矢印７０３は、被写体７０１の位置から被写体７０２の位置に補正するための追尾補正量の方向で向きが決定されるマーカーである。矢印７０３は、被写体７０１の位置から被写体７０２の位置に補正するための追尾補正量の方向（正負）に応じて、矢印が指し示す方向を変更する。これにより、撮影者に対して、撮像装置１００の向きを変更すると、追尾補正量が小さくなる方向を報知することが可能である。さらに、矢印７０３は、被写体７０１の位置から被写体７０２の位置に補正するための追尾補正量の大きさに応じて、矢印の大きさ（長さ）を変更する。これにより、撮影者に対して、撮像装置１００の向きをどの程度変更すれば、追尾補正量が０に近づくのか、という量を報知することが可能である。撮影者は、マーカーである矢印７０３の指し示す方向、および、大きさ（長さ）に応じて、撮像装置の向きを変更することができる。これにより、追尾限界に到達することによる追尾の遅れやフレームアウトをしにくくすることが可能になる。

【0050】

このように、マーカーの形状による情報のみで、撮影者が撮像装置１００の向きを変更することが可能である場合、マーカーを表示する位置は、必ずしも理想被写体位置に表示する必要はなく、例えば、画面内の任意の位置に表示することが可能である。その場合、Ｓ２０７の理想被写体位置の算出は省略することが可能である。

【0051】

また、図７では、追尾補正量の大きさに応じて矢印の大きさを変更した例を説明したが、矢印の大きさを変更しなくても、撮影者に対して撮像装置１００の向きを変更すべき方向を示すことができれば追尾の遅れやフレームアウトを生じにくくすることができる。

【0052】

また、図６及び図７に表示した、被写体追尾制御をしなかった場合の被写体６０１、７０１をマーカーとして表示してもよい。この場合、実際に撮像素子１２３によりライブビュー映像として撮像されている画像中の被写体と区別をするために、表示濃度を薄くしたり、輪郭だけ表示したり、色を変えたりしてもよい。また、被写体追尾制御をしなかった場合の被写体の位置を撮影者に対して通知することができればよいため、図６のように点などのマーカーで表示してもよい。撮影者は、被写体追尾制御をしなかった場合の被写体の位置を示すマーカーが、目標位置に近づくように撮像装置１００の向きを変更することができる。

【0053】

＜第２実施形態＞
次に図３を用いて、第２実施形態における被写体の追尾制御について説明する。
図３は第２実施形態における撮像装置１００による被写体の追尾撮影処理を示すフローチャートである。なお、図３の各ステップは、ＣＰＵ１０１により実行される。また、図３において、図２と同様の処理には同じステップ番号を付して、適宜説明を省略する。

【0054】

Ｓ２０４において追尾補正量を算出すると、次のＳ３０５において、ユーザから撮影指示があったか否かを判定する。ユーザからの撮影指示があった場合には、Ｓ３０６に進み、ユーザからの撮影指示が無い場合には、Ｓ３０８に進む。

【0055】

Ｓ３０６では、Ｓ２０５と同様に、追尾制御部１１３は、決定された被写体追尾方式により、Ｓ２０４で算出された追尾補正量に基づき、被写体追従制御を行い、次のＳ３０７において、Ｓ２１２と同様に撮影を行う。

【0056】

一方、Ｓ３０８において、Ｓ２０４で算出された追尾補正量が、補正限界を示す値よりも小さい、予め定められたリミット値（上限値）より大きいか否かを判定する。リミット値より大きい場合には、Ｓ３０９に進み、リミット値以下の場合には、Ｓ３１０に進む。
Ｓ３０９では、Ｓ３０４で算出された追尾補正量をリミット値に変更することにより追尾補正量を制限して、Ｓ３１０に進む。

【0057】

Ｓ３１０において、追尾制御部１１３は、決定された被写体追尾方式にて、Ｓ２０４で算出された追尾補正量もしくはＳ３０９で変更された追尾補正量に基づき、Ｓ２０５と同様にして被写体追従制御を行う。

【0058】

上記の通り第２実施形態によれば、被写体追尾を行っている場合で、かつ、撮影を行わない状態（つまり、撮影者が、表示デバイス１３０にライブビューされている画像を見ている状態）においては、被写体追尾の補正量にリミットを設定する。このように制御することで、実際の追尾可能限界に到達するよりも早いタイミングで、被写体の位置を目標位置に保持できない現象が発生する。これにより、撮影者に対し、追尾限界に到達する可能性があることを、補正限界に達したタイミングよりも早いタイミングで報知し、撮影者による操作を促すことができるため、追尾限界に到達することによる追尾の遅れやフレームアウトを防止することが可能になる。

【0059】

更に、撮影を行う際には、被写体追尾の補正量にリミットを設定しないことにより、実際に撮影される画像においては、被写体の位置を目標位置に保持できている状態となる。これにより、撮影した画像における被写体追尾と、表示デバイス１３０にライブビューされている画像におけるフレーミング操作のし易さを両立することが可能となる。

【0060】

なお、本実施形態においては、撮影を行う際には、被写体追尾の補正量にリミットを設定しないこととしたが、撮影を行わない状態と、撮影を行う状態とで、追尾補正量のリミット値を異なる値とすることでも同様の効果を得ることができる。この場合、撮影を行わない状態のリミット値（第１リミット値）と、撮影を行う場合のリミット値（第２リミット値）の関係性は、第１リミット値＜第２リミット値（つまり、撮影を行わない状態の方が補正量の効果が得られない）とすればよい。

【0061】

＜他の実施形態＞
なお、上記実施形態では、光学補正系１２２を駆動することで、光学追尾方式の被写体追尾制御が可能な構成としたが、本発明はこれに限られるものではない。撮像素子１２３を駆動することでブレ補正機構の機能を実現する撮像装置においては、撮像素子１２３を駆動することで、光学追尾方式の被写体追尾制御を行ってもよいし、光学補正系１２２と撮像素子１２３の両方を駆動する構成としてもよい。

【0062】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0063】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0064】

１００：撮像装置、１０１：ＣＰＵ、１０２：振れ検出部、１１３：追尾量補正部、１１５：追尾量算出部、１２２：光学補正系、１２３：撮像素子、１２５：画像メモリ、１２６：メモリ読出し制御部、１３０：表示デバイス、１３１：被写体検出部、１３２：操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】