特許 7584907 撮像装置および撮像装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】撮像装置および撮像装置の制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241111BHJP

   H04N 23/63 20230101ALI20241111BHJP

   H04N 23/69 20230101ALI20241111BHJP

   G03B 17/18 20210101ALI20241111BHJP

   G06T 7/20 20170101ALI20241111BHJP

【ＦＩ】

H04N23/60 500

H04N23/63

H04N23/63 310

H04N23/69

G03B17/18

G06T7/20

【請求項の数】 14

(21)【出願番号】P 2020083952

(22)【出願日】2020-05-12

(65)【公開番号】P2021180379

(43)【公開日】2021-11-18

【審査請求日】2023-05-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】池田 誠

(72)【発明者】

【氏名】白川 雄資

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２０１１－０７１６０５（ＪＰ，Ａ）

【文献】特開２００８－２１９６９６（ＪＰ，Ａ）

【文献】特開２００６－０６０３２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０－２３／７０

Ｇ０３Ｂ １７／０２

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

画像から被写体の位置を検出する検出手段と、
前記被写体がトリミング画像に表示されるように前記画像をトリミングすることによって前記トリミング画像を生成する生成手段と、
前記画像の端部を含む第１の領域と、前記画像において前記第１の領域を除く第２の領域とを分割する判別枠を設定する設定手段と
を有し、
前記生成手段は、前記被写体の位置が前記第１の領域に含まれる場合に、前記被写体が前記画像の撮像範囲から外れそうであることをユーザーに通知する前記トリミング画像を生成し、
前記生成手段は、前記被写体の位置が前記第２の領域に含まれる場合は、前記被写体が前記トリミング画像の中心に表示されるようにトリミングし、前記被写体の位置が前記第１の領域に含まれる場合は、前記画像の中心に対する前記被写体の位置に基づいて前記被写体が前記トリミング画像の中心からずれた位置に表示されるようにトリミングすることにより、前記トリミング画像を生成する
ことを特徴とする撮像装置。

【請求項2】

前記検出手段は、前記被写体の移動速度または前記被写体のサイズのうち少なくともいずれかを、さらに検出し、
前記設定手段は、前記検出手段の検出結果に基づいて、前記判別枠を設定する
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記設定手段は、前記被写体の移動速度が速いほど、または、前記被写体のサイズが大きいほど、前記判別枠のサイズを小さく設定する
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記判別枠は矩形であり、前記判別枠の各辺と前記画像の端部との間のマージン幅を、前記被写体の移動速度の各辺の方向に沿った成分の大きさ、または、前記被写体の各辺の方向に沿ったサイズに応じて調整することにより、前記判別枠を設定する
ことを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記生成手段は、前記画像の中心に対する前記被写体の方向と、前記トリミング画像の中心に対する前記被写体の方向とが同じになるようにトリミングする
ことを特徴とする、請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

画像から被写体の位置を検出する検出手段と、
前記被写体がトリミング画像に表示されるように前記画像をトリミングすることによって前記トリミング画像を生成する生成手段と
を有し、
前記画像は、前記画像の端部を含む第１の領域と、前記画像において前記第１の領域を除く第２の領域とを有し、
前記生成手段は、
前記被写体の位置が前記第１の領域に含まれる場合に、前記被写体が前記画像の撮像範囲から外れそうであることをユーザーに通知する前記トリミング画像を生成し、
前記被写体の位置が前記第２の領域に含まれる場合は、前記被写体が前記トリミング画像の中心に表示されるようにトリミングし、前記被写体の位置が前記第１の領域に含まれる場合は、前記画像の中心に対する前記被写体の位置に基づいて前記被写体が前記トリミング画像の中心からずれた位置に表示されるようにトリミングすることにより、前記トリミング画像を生成し、
前記被写体が前記画像の撮像範囲から外れそうである方向を示す通知情報を、前記トリミング画像に表示し、
前記被写体が前記画像の撮像範囲から外れそうである方向を指し、前記トリミング画像の中心から前記被写体までの距離に応じた長さ、色、または点滅速度の矢印によって、前記通知情報を表示する
ことを特徴とする撮像装置。

【請求項7】

前記第１の領域と前記第２の領域とを分割する前記判別枠のいずれかの位置において前記画像の端部との間が第１の幅以上になった場合は、光学ズーム倍率を広角側に制御し、前記判別枠のいずれかの位置において前記画像の端部との間が前記第１の幅よりも小さい第２の幅以下になった場合は、前記光学ズーム倍率を望遠側に制御する制御手段をさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。

【請求項8】

前記第１の領域と前記第２の領域とを分割する前記判別枠の内側の面積が第１の面積以下になった場合は、光学ズーム倍率を広角側に制御し、前記判別枠の内側の面積が前記第１の面積よりも大きい第２の面積以上になった場合は、前記光学ズーム倍率を望遠側に制御する制御手段をさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。

【請求項9】

前記検出手段は、前記被写体の移動速度を検出し、
前記撮像装置は、前記被写体の移動速度が第１の閾値以上になった場合は光学ズーム倍率を広角側に制御し、前記被写体の移動速度が前記第１の閾値よりも小さい第２の閾値以下になった場合は前記光学ズーム倍率を望遠側に制御する制御手段をさらに有する
ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。

【請求項10】

画像から被写体の位置およびサイズを検出する検出手段と、
前記被写体がトリミング画像に表示されるように前記画像をトリミングすることによって前記トリミング画像を生成する生成手段と、
前記被写体のサイズが第３の閾値以上になった場合は光学ズーム倍率を広角側に制御し、前記被写体のサイズが前記第３の閾値よりも小さい第４の閾値以下になった場合は前記光学ズーム倍率を望遠側に制御する制御手段と
を有し、
前記画像は、前記画像の端部を含む第１の領域と、前記画像において前記第１の領域を除く第２の領域とを有し、
前記生成手段は、前記被写体の位置が前記第１の領域に含まれる場合に、前記被写体が前記画像の撮像範囲から外れそうであることをユーザーに通知する前記トリミング画像を生成し、
前記生成手段は、前記被写体の位置が前記第２の領域に含まれる場合は、前記被写体が前記トリミング画像の中心に表示されるようにトリミングし、前記被写体の位置が前記第１の領域に含まれる場合は、前記画像の中心に対する前記被写体の位置に基づいて前記被写体が前記トリミング画像の中心からずれた位置に表示されるようにトリミングすることにより、前記トリミング画像を生成する
ことを特徴とする撮像装置。

【請求項11】

画像から被写体の位置および移動速度を検出する検出手段と、
前記被写体がトリミング画像に表示されるように前記画像をトリミングすることによって前記トリミング画像を生成する生成手段と、
前記被写体の移動速度が所定の時間内に所定の振幅以上で所定の回数以上振動した場合に、光学ズーム倍率を広角側に制御する制御手段と
を有し、
前記画像は、前記画像の端部を含む第１の領域と、前記画像において前記第１の領域を除く第２の領域とを有し、
前記生成手段は、前記被写体の位置が前記第１の領域に含まれる場合に、前記被写体が前記画像の撮像範囲から外れそうであることをユーザーに通知する前記トリミング画像を生成し、
前記生成手段は、前記被写体の位置が前記第２の領域に含まれる場合は、前記被写体が前記トリミング画像の中心に表示されるようにトリミングし、前記被写体の位置が前記第１の領域に含まれる場合は、前記画像の中心に対する前記被写体の位置に基づいて前記被写体が前記トリミング画像の中心からずれた位置に表示されるようにトリミングすることにより、前記トリミング画像を生成する
ことを特徴とする撮像装置。

【請求項12】

前記生成手段は、前記制御手段が前記光学ズーム倍率を広角側または望遠側に制御する前後で前記トリミング画像における前記被写体の大きさが変わらないように、トリミング範囲を調整する
ことを特徴とする請求項７から１１のいずれか１項に記載の撮像装置。

【請求項13】

画像から被写体の位置を検出する検出ステップと、
前記被写体がトリミング画像に表示されるように前記画像をトリミングすることによって前記トリミング画像を生成する生成ステップと、
前記画像の端部を含む第１の領域と、前記画像において前記第１の領域を除く第２の領域とを分割する判別枠を設定する設定ステップと
を有し、
前記生成ステップにおいて、前記被写体の位置が前記第１の領域に含まれる場合に、前記被写体が前記画像の撮像範囲から外れそうであることをユーザーに通知する前記トリミング画像を生成し、
前記生成ステップにおいて、前記被写体の位置が前記第２の領域に含まれる場合は、前記被写体が前記トリミング画像の中心に表示されるようにトリミングし、前記被写体の位置が前記第１の領域に含まれる場合は、前記画像の中心に対する前記被写体の位置に基づいて前記被写体が前記トリミング画像の中心からずれた位置に表示されるようにトリミングすることにより、前記トリミング画像を生成する
ことを特徴とする撮像装置の制御方法。

【請求項14】

コンピュータを、請求項１から１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像系で撮像された画像をデジタル処理して表示させる撮像装置およびその制御方法に関する。

【背景技術】

【0002】

デジタルカメラや電子双眼鏡などの撮像装置で、動いている被写体を拡大して見る場合、被写体を追尾しながらトリミングすることで、ユーザーは被写体の動きに追従することなく安定した観察を続けることができる。例えば、特許文献１では、被写体を追尾し被写体の移動方向を考慮したトリミングを行う技術が記載されている。また特許文献２では、追尾する被写体が撮影画面内の特定領域内から該特定領域外に移動した場合にトリミングズーム機能を解除することで、被写体が撮影画面内から外れる（以下、フレームアウトするとも称する）ことを防ぐ技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２８８７９７号公報

【文献】特開２０００－３４７２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された従来技術では、ユーザーは、移動する被写体がフレームアウトしそうになったことに気づかず、被写体を見失ってしまう場合がある。また特許文献２に開示された従来技術では、被写体がフレームアウトしそうになると、トリミングズーム機能が解除される。この場合、ユーザーは、被写体を見失うことがなくても、被写体を一定のサイズで観察し続けることが困難になる。

【0005】

本発明は、移動する被写体をトリミングしながら、被写体がフレームアウトしないようにユーザーが観察し続けることを支援する撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の撮像装置は、
画像から被写体の位置を検出する検出手段と、
前記被写体がトリミング画像に表示されるように前記画像をトリミングすることによって前記トリミング画像を生成する生成手段と、
前記画像の端部を含む第１の領域と、前記画像において前記第１の領域を除く第２の領域とを分割する判別枠を設定する設定手段と
を有し、
前記生成手段は、前記被写体の位置が前記第１の領域に含まれる場合に、前記被写体が前記画像の撮像範囲から外れそうであることをユーザーに通知する前記トリミング画像を生成し、
前記生成手段は、前記被写体の位置が前記第２の領域に含まれる場合は、前記被写体が前記トリミング画像の中心に表示されるようにトリミングし、前記被写体の位置が前記第１の領域に含まれる場合は、前記画像の中心に対する前記被写体の位置に基づいて前記被写体が前記トリミング画像の中心からずれた位置に表示されるようにトリミングすることにより、前記トリミング画像を生成する
ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、移動する被写体をトリミングしながら、被写体がフレームアウトしないようにユーザーが観察し続けることを支援する。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係る撮像装置の構成例を示すブロック図である。

【図2】被写体のサイズの検出について説明する図である。

【図3】被写体の移動速度の検出について説明する図である。

【図4】被写体の移動速度に基づく判別枠の設定を説明する図である。

【図5】被写体のサイズに基づく判別枠の設定を説明する図である。

【図6】判別枠の設定を例示する図である。

【図7】実施形態１に係るトリミング処理を例示するフローチャートである。

【図8】被写体が判別枠内にある場合のトリミングを説明する図である。

【図9】被写体が判別枠内にない場合のトリミングを説明する図である。

【図10】フレームアウトしそうな方向を示す通知情報を例示する図である。

【図11】実施形態２に係る撮像装置の構成例を示すブロック図である。

【図12】実施形態２に係るトリミング処理を例示するフローチャートである。

【図13】実施形態２に係る被写体のシフト量について説明する図である。

【図14】実施形態２に係る被写体のシフト倍率について説明する図である。

【発明を実施するための形態】

【0009】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

【0010】

＜実施形態１＞
［撮像装置の構成］
図１は、実施形態１に係る撮像装置１００の構成例を示すブロック図である。図１の例では、撮像装置１００は、レンズ系１０１、撮像部１０２、画像処理部１１０、表示部１２０、レンズ駆動部１３０およびシステム制御部１３１を含む。

【0011】

レンズ系１０１は、複数枚のレンズで構成される。レンズ系１０１は、レンズ駆動部１３０によって駆動される。レンズ駆動部１３０は、レンズ系１０１を駆動してフォーカス、ズームを調整する。レンズ系１０１を介して得られた被写体像は、撮像部１０２の撮像面に結像される。

【0012】

撮像部１０２は、ＣＭＯＳセンサ、ＣＣＤセンサ等から構成される。撮像部１０２は、被写体像を光電変換し、電気信号に変換することにより、画像データを画像処理部１１０へ出力する。

【0013】

画像処理部１１０は、被写体検出部１１１、判別枠設定部１１２、トリミング情報生成部１１３、トリミング処理部１１４および画像メモリ部１１５を含む。画像メモリ部１１５は、ＤＲＡＭやＳＲＡＭ等を備えて構成される記憶手段である。画像メモリ部１１５は、撮像部１０２で撮像された画像データを格納する。

【0014】

被写体検出部１１１は、画像メモリ部１１５に格納された画像データから被写体を抽出し、撮像画像における被写体の位置（座標）およびサイズを算出する。また、被写体検出部１１１は、所定時間での被写体の座標の変化量から被写体の移動速度を算出する。

【0015】

判別枠設定部１１２は、被写体のサイズおよび移動速度の情報に基づいて、撮像画像内に判別枠を設定する。判別枠は、撮像画像の端部を含む領域（第１の領域）と、撮像画像の中心を含み第１の領域を除いた領域（第２の領域）とを分割する枠である。以下、第１の領域は、端部領域とも称する。

【0016】

トリミング情報生成部１１３は、被写体の位置が判別枠の内側にあるか外側にあるかに基づいて、撮像画像内のトリミング範囲を指定するための情報であるトリミング情報を生成する。トリミング情報は、例えば、トリミングの対象である被写体を囲む矩形の中心の座標（以下、被写体の中心の座標とも称する）、およびトリミング範囲のサイズの情報を含む。トリミング情報は、さらにトリミング範囲の４隅の座標を含むものであってもよい。

【0017】

トリミング情報生成部１１３は、被写体が端部領域に含まれる場合、被写体が撮像画像の撮像範囲から外れそうであることをユーザーに通知するためのトリミング情報を生成する。トリミング情報は、被写体が撮像画像の撮像範囲から外れそうになっている方向の情報、トリミング画像の中心に対する被写体の表示位置の情報を含む。

【0018】

トリミング処理部１１４は、撮像装置１００によるトリミング処理がオンに設定されている場合、トリミング情報に基づいて被写体をトリミングしたトリミング画像を生成する。なお、トリミング処理がオフに設定されている場合、トリミング処理部１１４は、トリミング処理をせずに画像データを表示部１２０に出力する。

【0019】

表示部１２０は、トリミング処理がオンに設定されている場合には、トリミング処理部１１４で生成したトリミング画像を表示する。トリミング処理がオフに設定されている場合には、表示部１２０は、トリミング処理をしていない元の画像データを表示する。

【0020】

システム制御部１３１は、不揮発性メモリに記録された制御プログラムを読み出して実行することにより、レンズ駆動部１３０、撮像部１０２、画像処理部１１０の機能を実現することができる。なお、各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。

【0021】

［撮像装置の動作］
図２～図１０を参照して、実施形態１における撮像装置１００の動作について説明する。実施形態１では、撮像装置１００は、被写体の移動速度およびサイズに基づいて判別枠を設定し、被写体の位置が判別枠の内側にあるか外側にあるかを判別することで、トリミング範囲を指定する。

【0022】

（１．被写体の検出）
図２および図３を参照して、被写体の検出について説明する。被写体検出部１１１は、撮像画像中で追尾している被写体の中心の座標（追尾座標）および被写体のサイズを周期的に検出し、被写体の移動速度を算出する。

【0023】

図２は、被写体のサイズの検出について説明する図である。本実施形態では、被写体のサイズの情報は、被写体のＸ軸方向のサイズおよびＹ軸方向のサイズを含む。被写体のＸ軸方向のサイズは、撮像画像のＸ軸方向の画素数（Ｎｘ）に対する被写体（被写体を囲む矩形）のＸ軸方向の画素数（Ｌｘ）の比率として算出されるものとする。同様に、被写体のＹ軸方向のサイズは、撮像画像のＹ軸方向の画素数（Ｎｙ）に対する被写体のＹ軸方向の画素数（Ｌｙ）の比率として算出されるものとする。

【0024】

例えば、Ｘ軸方向の撮像画像の画素数Ｎｘが２０００画素、被写体のＸ軸方向の画素数Ｌｘが１００画素であった場合、Ｘ軸方向の被写体のサイズは、（Ｌｘ／Ｎｘ）×１００＝５％と算出される。Ｙ軸方向の撮像画像の画素数Ｎｙが１５００画素、被写体のＹ軸方向の画素数Ｌｙが７５画素であった場合、Ｙ軸方向の被写体のサイズは、（Ｌｙ／Ｎｙ）×１００＝５％と算出される。

【0025】

なお、被写体のサイズは、撮像画像のサイズに対する相対的なサイズを示す値であればよい。本実施形態では、被写体のサイズは、Ｘ軸方向またはＹ軸方向のそれぞれにおいて、撮像画像の画素数に対する被写体の画素数の比率として説明される。

【0026】

図３は、被写体の移動速度の検出について説明する図である。本実施形態では、被写体
の移動速度の情報は、Ｘ軸方向の移動速度およびＹ軸方向の移動速度を含む。被写体のＸ軸方向の移動速度は、撮像画像のＸ軸方向の画素数（Ｎｘ）に対する被写体のＸ軸方向の追尾座標の変化量（ΔＸ）の比率として算出されるものとする。同様に、Ｙ軸方向の被写体の移動速度は、撮像画像のＹ軸方向の画素数（Ｎｙ）に対する被写体のＹ軸方向の追尾座標の変化量（ΔＹ）の比率として算出されるものとする。なお、図３において、Ｘ軸の正方向は、Ｘ軸方向の追尾座標の変化量（ΔＸ）を示す矢印の向きとする。また、Ｙ軸の正方向は、Ｙ軸方向の追尾座標の変化量（ΔＹ）を示す矢印の向きとする。

【0027】

撮像装置１００は、被写体の移動速度を算出するため、まず、所定の時間間隔で、被写体の画像データとしての撮像画像を取得する。図３の例では、撮像装置１００は、時刻ｔ１で撮像画像１を取得し、時刻ｔ２で撮像画像２を取得する。被写体の撮像画像１の追尾座標は（ｘ１，ｙ１）、撮像画像２の追尾座標は（ｘ２，ｙ２）とする。

【0028】

時刻ｔ１から時刻ｔ２までのＸ軸方向の追尾座標の変化量はΔＸ＝ｘ２－ｘ１となる。被写体のＸ軸方向の移動速度は、（ΔＸ／Ｎｘ）×１００として算出される。同様に、時刻ｔ１から時刻ｔ２までのＹ軸方向の追尾座標の変化量はΔＹ＝ｙ２－ｙ１となる。被写体のＹ軸方向の移動速度は（ΔＹ／Ｎｙ）×１００として算出される。

【0029】

なお、被写体の移動速度は、撮像画像のサイズに対する追尾座標の変化量を示す値であればよい。本実施形態では、被写体の移動速度は、Ｘ軸方向またはＹ軸方向のそれぞれにおいて、撮像画像の画素数に対する被写体の追尾座標の変化量の比率として説明される。

【0030】

（２．判別枠の設定）
判別枠設定部１１２による判別枠の設定について説明する。判別枠は、端部領域（第１の領域）と端部領域とを除く領域（第２の領域）とを分割する判別枠であり、被写体の位置が端部領域に含まれるか否かを判別するために設定される。被写体の位置が端部領域に含まれる場合、被写体は、撮像画像の範囲から外れる（フレームアウトする）可能性がある。したがって、撮像装置１００は、被写体の位置が端部領域に含まれる場合、被写体が撮像画像の撮像範囲から外れそうであることをユーザーに通知するためのトリミング情報を生成する。

【0031】

被写体は、移動速度が大きくなるほどフレームアウトしやすい。また、被写体は、サイズが大きくなるほど、被写体の中心にある追尾座標から被写体の端までの距離が大きくなるためフレームアウトしやすくなる。被写体の移動速度またはサイズに応じて判別枠をより内側に設定することで、撮像装置１００は、被写体が撮像画像の境界に近づいていることを、より早くユーザーに通知することができる。すなわち、撮像装置１００は、被写体の移動速度が速いほど、または、被写体のサイズが大きいほど、判別枠のサイズを小さく設定する。図４～図６を参照して、判別枠の設定方法の具体例を説明する。

【0032】

（２．１被写体の移動速度に基づく判別枠の設定）
図４は、被写体の移動速度に基づく判別枠の設定について説明する図である。図４（Ａ）は、移動速度情報を例示する図である。図４（Ｂ）は、被写体の移動速度に対して、判別枠を縮小するマージン幅を算出するための縮小比率（以下、マージン比率と称する）の一例である。本実施形態では、マージン幅は、判別枠と撮像画像端部との間の画素数で表され、撮像画像の各辺の画素数に対し、移動速度に応じたマージン比率を乗じることにより算出される。判別枠が矩形である場合、判別枠の各辺と撮像画像の端部との間のマージン幅は、被写体の移動速度の各辺の方向に沿った成分の大きさに応じて調整される。

【0033】

被写体の移動速度は、図３の説明と同様に被写体検出部１１１によって算出される。被写体のＸ軸方向の移動速度は、撮像画像のＸ軸方向の画素数（Ｎｘ）に対する被写体のＸ
軸方向の追尾座標の変化量（ΔＸ）の比率で表され、図４（Ａ）の例では＋２％（正方向に２％）となる。また、被写体のＹ軸方向の移動速度は、撮像画像のＹ軸方向の画素数（Ｎｙ）に対する被写体のＹ軸方向の追尾座標の変化量（ΔＹ）の比率で表され、図４（Ａ）の例ではＹ軸正方向およびＹ軸負方向のそれぞれで１％より小さくなる。

【0034】

図４（Ｂ）に示す判別枠のマージン比率は、撮像画像の幅（画素数）に対する判別枠のマージン幅（画素数）の比率であり、Ｘ軸正方向、Ｘ軸負方向、Ｙ軸正方向、Ｙ軸負方向のそれぞれに適用される。図４（Ｂ）に示すマージン比率は、Ｘ軸正方向およびＸ軸負方向では、撮像画像のＸ軸方向の画素数（Ｎｘ）に対して適用され、Ｙ軸正方向およびＹ軸負方向では、撮像画像のＹ軸方向の画素数（Ｎｙ）に対して適用される。

【0035】

撮像画像のＸ軸正方向側において、判別枠は、Ｘ軸正方向の移動速度に対して、端部からＮｘ×マージン比率の画素数分だけ内側に設定される。撮像画像のＸ軸負方向側において、判別枠は、Ｘ軸負方向の移動速度に対して、端部からＮｘ×マージン比率の画素数分だけ内側に設定される。例えば、Ｘ軸正方向の移動速度が５％と算出された場合、Ｘ軸負方向の移動速度は－５％となり、撮像画像のＸ軸正方向側および撮像画像のＸ軸負方向側のそれぞれにおいて、それぞれの移動速度に応じたマージン幅が設定される。

【0036】

同様に、撮像画像のＹ軸正方向側において、判別枠は、Ｙ軸正方向の移動速度に対して、端部からＮｙ×マージン比率の画素数分だけ内側に設定される。撮像画像のＹ軸負方向側において、判別枠は、Ｙ軸負方向の移動速度に対して、端部からＮｙ×マージン比率の画素数分だけ内側に設定される。撮像画像のＹ軸正方向側および撮像画像のＹ軸負方向側のそれぞれにおいて、それぞれの移動速度に応じたマージン幅が設定される。

【0037】

例えば、Ｘ軸方向では、図４（Ａ）に示すように、Ｘ軸正方向の移動速度が２％と算出され、図４（Ｂ）よりＸ軸正方向のマージン比率は８％となる。Ｘ軸正方向では、判別枠は撮像画像の端からＮｘ×８％の画素数分だけ内側に設定される。被写体は正方向に移動したため、Ｘ軸負方向の移動速度は－２％であり、１％より小さくなる。図４（Ｂ）よりＸ軸負方向のマージン比率は５％となり、Ｘ軸負方向では、判別枠は撮像画像の端からＮｘ×５％の画素数分だけ内側に設定される。

【0038】

Ｙ軸方向では、図４（Ａ）に示すように、Ｙ軸正方向およびＹ軸負方向のそれぞれの移動速度が１％未満と算出される。Ｙ軸正方向およびＹ軸負方向共に判別枠のマージン比率は、図４（Ｂ）より５％となる。Ｙ軸正方向では、判別枠は撮像画像の端からＮｙ×５％の画素数分だけ内側に設定され、Ｙ軸負方向では、判別枠は撮像画像の端からＮｙ×５％の画素数分だけ内側に設定される。

【0039】

（２．２被写体のサイズに基づく判別枠の設定）
図５は、被写体のサイズに基づく判別枠の設定を説明する図である。図５（Ａ）は、サイズ情報を例示する図である。図５（Ｂ）は、被写体のサイズに対して、判別枠のマージン比率を調整するサイズ係数の一例である。本実施形態では、マージン幅は、移動速度に基づいて算出されたマージン幅に対し、被写体のサイズに応じたサイズ係数を乗じることにより算出される。判別枠が矩形である場合、判別枠の各辺と撮像画像の端部との間のマージン幅は、被写体の各辺の方向に沿ったサイズに応じて調整される。

【0040】

被写体のサイズは、図２の説明と同様に被写体検出部１１１によって算出される。被写体のＸ軸方向のサイズは、撮像画像のＸ軸方向の画素数（Ｎｘ）に対する被写体（被写体を囲む矩形）のＸ軸方向の画素数（Ｌｘ）の比率として算出される。図５（Ａ）の例では、被写体のＸ軸方向のサイズは、１０％と算出されたものとする。また、被写体のＹ軸方向のサイズは、撮像画像のＹ軸方向の画素数（Ｎｙ）に対する被写体のＹ軸方向の画素数
（Ｌｙ）の比率として算出される。図５（Ａ）の例では、被写体のＹ軸方向のサイズは、８％と算出されたものとする。

【0041】

図５（Ｂ）に示す判別枠のサイズ係数は、被写体のサイズに応じて、図４（Ｂ）で設定したマージン比率に乗じる係数である。サイズ係数は、Ｘ軸方向とＹ軸方向とで別々に適用される。判別枠設定部１１２は、図４（Ｂ）で設定したＸ軸正方向およびＸ軸負方向のマージン比率に対しては、被写体のＸ軸方向のサイズに応じたサイズ係数を乗じる。判別枠設定部１１２は、Ｙ軸正方向およびＹ軸負方向のマージン比率に対しては、被写体のＹ軸方向のサイズに応じたサイズ係数を乗じる。

【0042】

図５（Ａ）に示すように、Ｘ軸方向のサイズが１０％と算出された場合、Ｘ軸正方向およびＸ軸負方向に対するサイズ係数は、図５（Ｂ）より１．５となる。また、Ｙ軸方向のサイズが、図５（Ａ）に示すように８％と算出された場合、Ｙ軸正方向およびＹ軸負方向に対するサイズ係数は、図５（Ｂ）より１．２となる。

【0043】

（２．３判別枠の設定の具体例）
図６は、図４および図５の例による判別枠の設定を例示する図である。図４および図５より、Ｘ軸正方向のマージン比率は８％、Ｘ軸方向のサイズ係数は１．５である。判別枠のＸ軸正方向のＸ座標Ｋｘｐは、撮像画像のＸ軸正方向側の端部からＮｘ×８％×１．５画素分内側に設定される。例えば、撮像画像の画素数が２０００画素の場合、Ｘ軸正方向のＸ座標Ｋｘｐは、２０００×８％×１．５＝２４０画素分内側に設定される。

【0044】

また、図４および図５より、Ｘ軸負方向のマージン比率は５％、Ｘ軸方向のサイズ係数は１．５である。判別枠のＸ軸負方向のＸ座標Ｋｘｎは、撮像画像のＸ軸負方向側の端部からＮｘ×５％×１．５画素分だけ内側に設定される。例えば、撮像画像の画素数が２０００画素の場合、Ｘ軸負方向のＸ座標Ｋｘｎは、２０００×５％×１．５＝１５０画素分内側に設定される。

【0045】

同様に、図４および図５より、Ｙ軸正方向のマージン比率は５％、Ｙ軸方向のサイズ係数は１．２である。判別枠のＹ軸正方向のＹ座標Ｋｙｐは、撮像画像のＹ軸正方向側の端部からＮｙ×５％×１．２画素分だけ内側に設定される。また、図４および図５より、Ｙ軸負方向のマージン比率は５％、Ｙ軸方向のサイズ係数は１．２である、判別枠のＹ軸負方向のＹ座標Ｋｙｎは、撮像画像のＹ軸負方向側の端部からＮｘ×５％×１．２画素分だけ内側に設定される。

【0046】

上述の実施形態１は、判別枠の設定に、被写体の移動速度および被写体のサイズの両方を使用する例を示す。この場合、判別枠設定部１１２は、移動速度に応じたマージン比率に対して、サイズに応じたサイズ係数を乗じることにより判別枠を設定する。

【0047】

これに限られず、判別枠は、移動速度またはサイズのいずれかの情報に基づいて設定されるようにしてもよい。例えば、移動速度に基づいて判別枠を設定する場合、マージン幅は、サイズ係数を乗じずに算出されればよい。また、サイズに基づいて判別枠を設定する場合には、図５（Ｂ）のように被写体のサイズに応じたサイズ係数を用いるのではなく、図４（Ｂ）の移動速度の場合と同様にマージン比率を用いてもよい。

【0048】

また、上述のように、判別枠のマージン幅に対して、マージン比率およびサイズ係数等を適用するのではなく、判別枠の座標を、被写体の移動速度およびサイズのうち少なくともいずれかに基づいて調整（制限）することにより、判別枠を設定してもよい。

【0049】

（３．トリミング処理）
図７～図９を参照して、トリミング画像を生成するトリミング処理について説明する。トリミング画像は、トリミング情報生成部１１３が生成したトリミング情報に基づいて、トリミング処理部１１４によって生成される。トリミング情報生成部１１３は、被写体検出部１１１で検出した被写体の位置情報と、判別枠設定部１１２で設定された判別枠情報との関係に基づいて、トリミング範囲を指定するトリミング情報を生成する。トリミング処理部１１４は、トリミング情報生成部１１３が生成したトリミング情報に基づいて、トリミング画像を生成する。

【0050】

図７は、実施形態１に係るトリミング処理を例示するフローチャートである。図７に示すトリミング処理は、例えば、撮像装置１００に電源が入り、トリミング処理がオンに設定されることにより開始される。

【0051】

ステップＳ７０１では、トリミング情報生成部１１３は、被写体の位置が判別枠内に含まれるか否かを判定する。被写体の位置は、例えば、被写体の中心の座標である。被写体の位置が判別枠内に含まれる場合、処理はステップＳ７０２へ進む。被写体の位置が判別枠内に含まれない場合、処理はステップＳ７０３へ進む。なお、以下の説明では、被写体の中心の座標が判別枠内に含まれるか否かにより判定する例について説明するが、トリミング情報生成部１１３は、被写体の領域の全て又は一部が判別枠内に含まれるか否かにより判定してもよい。

【0052】

ステップＳ７０２では、トリミング情報生成部１１３は、被写体をトリミング画像の中心に表示するためのトリミング情報を生成する。トリミング処理部１１４は、生成されたトリミング情報に基づいて被写体をトリミングし、トリミング画像を生成する。

【0053】

ここで、図８を参照して、被写体の位置が判別枠内に含まれる場合のトリミング処理の具体例を説明する。図８は、被写体が判別枠内にある場合のトリミングを説明する図である。

【0054】

図８（Ａ）は、撮像画像に判別枠が設定され、被写体の位置が判別枠内に含まれる状態を示す。判別枠の正方向側のＸ座標、負方向側のＸ座標、正方向側のＹ座標、負方向側のＹ座標は、それぞれＫｘｐ、Ｋｘｎ、Ｋｙｐ、Ｋｙｎとする。被写体の位置、すなわち被写体の中心の座標は（Ｘａ，Ｙａ）とする。ステップＳ７０１で、判別枠の座標および被写体の座標が以下の関係を満たす場合、被写体の位置は、判別枠内に含まれると判定される。
Ｋｘｎ＜Ｘａ＜Ｋｘｐ
Ｋｙｎ＜Ｙａ＜Ｋｙｐ

【0055】

図８（Ｂ）は、被写体を中心に表示したトリミング画像を例示する。ステップＳ７０２では、トリミング情報生成部１１３は、図８（Ｂ）に示されるように、被写体をトリミング画像の中心に表示するためのトリミング情報を生成する。トリミング処理部１１４は、生成されたトリミング情報に基づいてトリミング画像を生成する。

【0056】

図７のステップＳ７０３およびステップＳ７０４は、被写体の位置が判別枠内に含まれない場合の処理である。被写体の位置が判別枠内に含まれない場合、被写体は、判別枠の外側の端部領域で撮像画像内からフレームアウトし易い位置にあると判定される。ステップＳ７０３では、被写体検出部１１１は、撮像画像の中心に対する被写体の座標を検出する。

【0057】

ステップＳ７０４では、トリミング情報生成部１１３は、ステップＳ７０３の検出結果に基づいて、被写体をトリミング画像の中心からずらす量を算出する。トリミング情報生
成部１１３は、被写体をトリミング画像の中心からずれた位置に表示するためのトリミング情報を生成する。この場合、トリミング情報生成部１１３は、撮像画像の中心に対する被写体の方向と、トリミング画像の中心に対する被写体の方向とが同じになるようにトリミング情報を生成する。トリミング処理部１１４は、生成されたトリミング情報に基づいてトリミング画像を生成する。

【0058】

ここで、図９を参照して、被写体の位置が判別枠内に含まれない場合（端部領域に含まれる場合）のトリミング処理の具体例を説明する。図９は、被写体が判別枠内にない場合のトリミングを説明する図である。被写体が判別枠内にない場合、トリミング範囲のサイズは被写体の位置が判別枠内に含まれる場合から変更せず、トリミング範囲の位置は、被写体の位置（被写体の中心の座標）がトリミング画像の中心からずれるように変更される。

【0059】

図９（Ａ）は、撮像画像に判別枠が設定され、被写体の位置が判別枠内に含まれない状態の一例を示す。図８（Ａ）と同様に、判別枠の正方向側のＸ座標、負方向側のＸ座標、正方向側のＹ座標、負方向側のＹ座標は、それぞれＫｘｐ、Ｋｘｎ、Ｋｙｐ、Ｋｙｎとする。また、被写体の位置の座標は（Ｘａ，Ｙａ）とする。ステップＳ７０１で、判別枠の座標および被写体の座標が以下の関係を満たす場合、被写体の位置は、判別枠内に含まれるないと判定される。
Ｋｘｐ＜Ｘａ
Ｋｙｎ＜Ｙａ＜Ｋｙｐ

【0060】

図９（Ｂ）は、撮像画像の中心を原点としたときの被写体の座標を示す。被写体の位置が判別枠内に含まれないと判定された場合、ステップＳ７０３では、被写体検出部１１１は、撮像画像の中心に対する被写体の座標を検出する。図９（Ｂ）の例では、撮像画像の中心を原点として、被写体の座標は（Ｐｘ，Ｐｙ）とする。

【0061】

図９（Ｃ）は、被写体を中心からずらして表示したトリミング画像を例示する。ステップＳ７０４では、トリミング情報生成部１１３は、ステップＳ７０３で検出した座標から、トリミング画像の中心に対する被写体の表示位置を算出してトリミング情報を生成する。被写体の表示位置は、トリミング画像の中心を原点とした場合の被写体の中心の座標とすることができる。図９（Ｃ）に示す例では、トリミング画像での被写体の表示位置の座標は、（Ｔｘ，Ｔｙ）とする。トリミング画像での被写体の表示位置の座標（Ｔｘ，Ｔｙ）は、以下のように、撮像画像での被写体の座標（Ｐｘ，Ｐｙ）に所定の係数Ｋｘ、Ｋｙを乗じて得られる。
Ｔｘ＝Ｋｘ×Ｐｘ
Ｔｙ＝Ｋｙ×Ｐｙ

【0062】

所定の係数Ｋｘ、Ｋｙは、撮像画像のサイズに対する、トリミング画像を表示する表示部１２０のサイズの比率に基づいて、Ｘ軸方向およびＹ軸方向でそれぞれ一定の値としてもよい。また、所定の係数Ｋｘ、Ｋｙは、撮像画像での被写体の座標（Ｐｘ，Ｐｙ）の値に応じたルックアップテーブルを用意して非線形の値を用いてもよい。また、被写体の表示位置の座標（Ｔｘ，Ｔｙ）は、所定の係数Ｋｘ、Ｋｙを用いずに、撮像画像での被写体の座標（Ｐｘ，Ｐｙ）の値に応じたルックアップテーブルを用意して設定されてもよい。

【0063】

なお、トリミング画像での被写体の表示位置の座標（Ｔｘ，Ｔｙ）は、撮像画像内での被写体の座標（Ｐｘ，Ｐｙ）ではなく、被写体が判別枠からはみ出した幅に所定の係数Ｋｘ、Ｋｙを乗じて算出してもよい。この場合、被写体が判別枠内から端部領域に移動したとき、被写体がトリミング画像の中心から急にずれることを抑制することができる。

【0064】

また、被写体の位置が端部領域に含まれる場合、トリミング画像での被写体の表示位置は、撮像画像での被写体の位置に基づいてずらす場合に限られない。トリミング画像での被写体の表示位置は、撮像画像での被写体の位置のほか、被写体の移動方向および移動速度を考慮して算出されてもよい。例えば、被写体の移動方向および移動速度を示すベクトルを（Ｖｘ，Ｖｙ）とすると、トリミング画像での被写体の表示位置の座標（Ｔｘ，Ｔｙ）は、以下のように算出することができる。
Ｔｘ＝Ｋｘ×（Ｐｘ＋Ｖｘ）
Ｔｙ＝Ｋｙ×（Ｐｙ＋Ｖｙ）

【0065】

また、被写体の位置が端部領域に含まれる場合でも、被写体の移動方向が判別枠内の領域（第２の領域）に向かっている場合には、被写体の位置が端部領域に含まれない場合と同様に、被写体はトリミング画像の中心に表示されるようにしてもよい

【0066】

トリミング処理部１１４は、トリミング情報生成部１１３が生成したトリミング画像での被写体の表示位置等のトリミング情報に基づいて、被写体のトリミング処理を行い、表示部１２０に表示する。

【0067】

上記の実施例形態１によれば、ユーザーは、トリミング画像内の被写体の表示位置によって、フレームアウトしそうであることを事前に認識することができ、撮像装置１００を適切な方向へ向けることができる。すなわち、ユーザーは、カメラの撮影方向を被写体がフレームアウトしそうな方向に向けることで、被写体をフレーム内に捉え続けられる（追尾する）ようになる。

【0068】

なお、上述した例では、撮像装置１００は、トリミング情報に基づいてトリミング範囲を変更し、被写体の表示位置をトリミング画像の中心からずらすことで、被写体がフレームアウトしそうな方向をユーザーに通知するが、これに限られない。例えば、撮像装置１００は、被写体を中心に表示してトリミングし、被写体がフレームアウトしそうな方向を矢印等で示してもよい。

【0069】

図１０は、フレームアウトしそうな方向を示す通知情報を例示する図である。図１０に示すトリミング画像では通知情報１００１は、被写体がフレームアウトしそうな方向を指す矢印によって示される。通知情報１００１は、トリミング情報に基づいて生成される。具体的には、通知情報１００１として表示される矢印は、表示位置の座標（Ｔｘ，Ｔｙ）の値から、被写体がフレームアウトしそうな方向を矢印の向きで示し、トリミング画像の中心からの距離を矢印の長さで示すように生成される。また、通知情報１００１は、矢印の色または点滅速度などの変化によって、被写体が撮像範囲から外れる可能性の度合いを通知するようにしてもよい。さらに、通知情報１００１は、文字による通知であってもよい。

【0070】

＜実施形態２＞
実施形態２は、判別枠は用いずに、被写体の位置情報の他、移動速度情報およびサイズ情報から、被写体のトリミング範囲を連続的に変えていく例である。

【0071】

［撮像装置の構成］
図１１を参照して、実施形態２に係る撮像装置１００の構成例ついて説明する。実施形態２に係る撮像装置１００は、実施形態１の判別枠設定部１１２の代わりに、シフト量設定部１１１２を含む点で実施形態１と相違する。また、実施形態２に係るトリミング情報生成部１１１３は、実施形態１に係るトリミング情報生成部１１３と処理内容が異なる。なお、実施形態１で説明した各部（ブロック）と同じ構成については、同一符号を付して説明を省略する。以下では、主に実施形態１と相違する点について説明する。

【0072】

シフト量設定部１１１２は、被写体検出部１１１で検出した被写体のサイズおよび移動速度に基づいて、シフト倍率を設定する。トリミング情報生成部１１１３は、被写体検出部１１１で検出した被写体の位置情報と、シフト量設定部１１１２で設定したシフト倍率に基づいて、トリミング範囲を指定するトリミング情報を生成する。トリミング情報によって指定されるトリミング範囲のサイズは、被写体のシフト量に関係なく一定とすることができる。また、トリミング範囲は、被写体の中心座標が、シフト倍率に応じて中心からシフトするように指定される。

【0073】

［撮像装置の動作］
図１２は、実施形態２に係るトリミング処理を例示するフローチャートである。図１２に示すトリミング処理は、例えば、撮像装置１００に電源が入り、トリミング処理がオンに設定されることにより開始される。

【0074】

ステップＳ１２０１では、被写体検出部１１１は、撮像画像の中心に対する被写体の座標を検出する。ステップＳ１２０２では、シフト量設定部１１１２は、ステップＳ１２０１の検出結果に基づいて、被写体を中心からシフトする量を算出する。

【0075】

ここで、図１３を参照して、実施形態２に係る被写体のシフト量について説明する。図１３（Ａ）は、ステップＳ１２０１において検出した被写体の座標が、撮像画像の中心座標を原点として（Ｐｘ，Ｐｙ）である場合の例を示す。

【0076】

図１３（Ｂ）に示す例では、トリミング画像の中心からの被写体のシフト量は、Ｘ軸方向にＳｘ、Ｙ軸方向にＳｙとする。被写体のＸ軸方向のシフト量ＳｘおよびＹ軸方向のシフト量Ｓｙは、以下のように、撮像画像での被写体の座標（Ｐｘ，Ｐｙ）に所定の係数Ｋｘ、Ｋｙを乗じて得られる。
Ｓｘ＝Ｋｘ×Ｐｘ
Ｓｙ＝Ｋｙ×Ｐｙ

【0077】

所定の係数Ｋｘ、Ｋｙは、撮像画像のサイズに対する、トリミング画像を表示する表示部１２０のサイズの比率に基づいて、Ｘ軸方向およびＹ軸方向でそれぞれ一定の値としてもよい。また、所定の係数Ｋｘ、Ｋｙは、撮像画像での被写体の座標（Ｐｘ，Ｐｙ）の値に応じたルックアップテーブルを用意して非線形の値を用いてもよい。また、被写体のＸ軸方向のシフト量ＳｘおよびＹ軸方向のシフト量Ｓｙは、所定の係数Ｋｘ、Ｋｙを用いずに、撮像画像での被写体の座標（Ｐｘ，Ｐｙ）の値に応じたルックアップテーブルを用意して設定されてもよい。

【0078】

図１２のステップＳ１２０３では、トリミング情報生成部１１１３は、ステップＳ１２０２で算出したシフト量、およびシフト量設定部１１１２で生成したシフト倍率に基づいて、被写体のトリミング情報を生成する。具体的には、トリミング情報生成部１１１３は、算出したシフト量を、被写体の移動速度およびサイズに応じたシフト倍率を乗じることにより変更する。

【0079】

ここで、図１４を参照して、実施形態２に係るシフト倍率について説明する。シフト倍率は、シフト量設定部１１１２により、被写体の移動速度およびサイズに基づいて設定される。

【0080】

図１４は、被写体の移動速度およびサイズに応じてシフト量の変更に適用されるシフト倍率の一例である。シフト倍率は、トリミング画像の中心からの被写体のシフト量を拡大するための係数である。図１４（Ａ）は、被写体の移動速度に応じて適用されるシフト倍
率Ｋｖの一例を示す。図１４（Ａ）の例ではシフト倍率Ｋｖは、移動速度が１％未満の場合は１．００、１％から３％未満の場合は１．０５、３％以上の場合は１．１０である。シフト量設定部１１１２は、図１４（Ａ）のシフト倍率Ｋｖにより、被写体の移動速度が大きくなるほど、より大きいシフト倍率を設定することができる。トリミング画像の中心からの被写体のシフト量は、被写体の移動速度に応じて、より大きく設定される。したがって、撮像装置１００は、被写体の移動速度が大きくなって撮像画像の端に近づいていることをユーザーに適時に通知することができる。

【0081】

図１４（Ｂ）は、被写体のサイズに応じて適用されるシフト倍率Ｋｚの一例を示す。図１４（Ｂ）の例ではシフト倍率Ｋｚは、被写体のサイズが５％未満の場合は１．００、５％から１０％未満の場合は１．０３、１０％以上の場合は１．０５である。シフト量設定部１１１２は、図１４（Ｂ）のシフト倍率Ｋｚにより、被写体のサイズが大きくなるほど、より大きいシフト倍率を設定することができる。トリミング画像の中心からの被写体のシフト量は、被写体のサイズに応じて、より大きく設定される。したがって、撮像装置１００は、被写体のサイズに応じて被写体の中心にある追尾座標から被写体の端までの距離がより大きくなった場合でも、被写体が撮像画像の端に近づいていることを、ユーザーに適時に通知することができる。

【0082】

トリミング情報生成部１１１３は、図１４（Ａ）および図１４（Ｂ）により設定したシフト倍率Ｋｖおよびシフト倍率Ｋｚを用いて、トリミング画像での被写体の表示位置の座標（Ｔｘ，Ｔｙ）を算出する。トリミング画像での被写体の表示位置の座標（Ｔｘ，Ｔｙ）は、以下のように、被写体のＸ軸方向のシフト量ＳｘおよびＹ軸方向のシフト量Ｓｙにシフト倍率Ｋｖおよびシフト倍率Ｋｚを乗じて得られる。
Ｔｘ＝Ｓｘ×Ｋｖ×Ｋｓ
Ｔｙ＝Ｓｙ×Ｋｖ×Ｋｓ

【0083】

なお、この例では、Ｘ軸方向およびＹ軸方向のシフト量に対して、共通のシフト倍率Ｋｖおよびシフト倍率Ｋｚが適用されるが、これに限られない。Ｘ軸方向のシフト量とＹ軸方向のシフト量とで、それぞれ異なるシフト倍率Ｋｖ（移動速度に基づくシフト倍率）およびシフト倍率Ｋｚ（サイズに基づくシフト倍率）が適用されてもよい。

【0084】

トリミング処理部１１４は、トリミング情報生成部１１１３が生成したトリミング画像での被写体の表示位置等のトリミング情報に基づいて、被写体のトリミング処理を行い、表示部１２０に表示する。

【0085】

上記の実施形態２によれば、ユーザーは、トリミング画像内の被写体の表示位置によって、被写体が撮像画像の端に近づいていることをより早く認識することができ、撮像装置１００を適切な方向へ向けることができる。

【0086】

＜実施形態３＞
実施形態３は、実施形態１または実施形態２の構成に加えて、被写体の移動速度またはサイズに応じて、光学ズーム倍率を調整する例である。

【0087】

（被写体の移動速度およびサイズの監視による光学ズーム倍率の調整）
撮像装置１００は、被写体の移動速度が第１の閾値以上になった場合、またはサイズが第３の閾値以上になった場合に、光学ズーム倍率をワイド側（広角側）に制御する。これにより、撮像装置１００は、被写体のトリミング表示を維持したまま、被写体に追従できる撮像範囲を広げることができる。

【0088】

また、撮像装置１００は、被写体の移動速度が第２の閾値以下になった場合、またはサ
イズが第４の閾値以下になった場合には、光学ズーム倍率をテレ側（望遠側）に制御する。これにより、撮像装置１００は、被写体のトリミング表示を維持したまま、トリミング画像の解像度を上げることができる。ここで、第２の閾値は第１の閾値より小さい値とし、第４の閾値は第３の閾値より小さい値とする。

【0089】

被写体検出部１１１が検出する被写体の移動速度およびサイズは、図２および図３で説明したように、撮像画像のＸ軸方向およびＹ軸方向の画素数に対する比率として算出される。なお、被写体の移動速度およびサイズは、撮像画像のサイズに対する相対的な移動速度およびサイズを示す値であればよい。本実施形態では、移動速度は撮像画像の画素数に対する被写体座標の変化量の比率であり、サイズは撮像画像の画素数に対する被写体の画素数の比率であるものとして説明される。

【0090】

実施形態３に係る撮像装置１００の構成は、実施形態１または実施形態２と同様である。実施形態３は、システム制御部１３１等により、被写体の移動速度およびサイズに基づいて光学ズーム倍率の調整をする点で、実施形態１および実施形態２と異なる。

【0091】

実施形態３に係るシステム制御部１３１は、被写体の移動速度またはサイズを監視し、それぞれ対応する閾値以上になった場合、光学ズーム倍率をワイド側に制御する。具体的には、システム制御部１３１は、光学ズーム倍率をワイド側に制御する信号をレンズ駆動部１３０に送信する。レンズ駆動部１３０は、レンズ系１０１を撮像部１０２のセンサ側に移動させ、焦点距離を短くする。システム制御部１３１は、レンズ駆動部１３０を制御することで光学ズーム倍率をワイド側に変更し、撮像範囲を広げることができる。撮像範囲が広がることで、被写体の移動速度およびサイズが撮像画像に対して相対的に小さくなり、撮像装置１００は、被写体の追従範囲を拡げることができる。

【0092】

なお、被写体の移動速度およびサイズがそれぞれ対応する閾値以下となった場合、システム制御部１３１は、光学ズーム倍率をテレ側に制御する。具体的には、システム制御部１３１は、光学ズーム倍率をテレ側に制御する信号をレンズ駆動部１３０に送信する。レンズ駆動部１３０は、レンズ系１０１を撮像部１０２のセンサ側とは反対に移動させ、焦点距離を長くする。

【0093】

光学ズーム倍率をワイド側またはテレ側に制御した場合、実施形態３に係るトリミング情報生成部１１３は、光学ズーム倍率を制御する前後で、表示部１２０に表示される被写体の大きさが変わらないように、トリミング範囲を調整するようにしてもよい。

【0094】

なお、システム制御部１３１は、被写体の移動速度およびサイズの両方を監視して光学ズーム倍率を調整してもよく、被写体の移動速度またはサイズのいずれかを監視して光学ズーム倍率を調整するようにしてもよい。

【0095】

（判別枠の監視による光学ズーム倍率の調整）
また、本実施形態を実施形態１に適用する場合には、光学ズームを調整するための情報として、判別枠設定部１１２が設定する判別枠の情報を監視してもよい。

【0096】

判別枠は、被写体の移動速度およびサイズに基づいて設定される。判別枠は、移動速度およびサイズが大きくなるほど撮像画像の端から内側に設定され、移動速度およびサイズが小さくなるほど撮像画像の境界側に設定される。このため、システム制御部１３１は、判別枠の位置を監視することで、被写体の移動速度またはサイズが大きくなり、フレームアウトしやすくなっているか否かを判別することができる。

【0097】

ここで、図６を参照して、判別枠の位置の監視について説明する。システム制御部１３
１は、判別枠設定部１１２が設定する判別枠の位置、すなわちＸ軸正方向側のＸ座標Ｋｘｐ、Ｘ軸負方向側のＸ座標Ｋｘｎ、Ｙ軸正方向側のＹ座標Ｋｙｐ、Ｙ軸負方向側のＹ座標Ｋｙｎを監視する。

【0098】

具体的には、システム制御部１３１は、判別枠の４方向のマージン幅である以下の値のいずれかまたは全てが、第１の幅以上になった場合に、光学ズーム倍率をワイド側に制御する。
（Ｎｘ－Ｋｘｐ）：判別枠のＸ軸正方向側の境界からＸ座標Ｋｘｐまでの画素数
（Ｋｘｎ）： 判別枠のＸ軸負方向側の境界からＸ座標Ｋｘｎまでの画素数
（Ｎｙ－Ｋｙｐ）：判別枠のＹ軸正方向側の境界からＹ座標Ｋｙｐまでの画素数
（Ｋｙｎ）： 判別枠のＹ軸負方向側の境界からＹ座標Ｋｙｎまでの画素数
また、システム制御部１３１は、上述の判別枠のマージン幅が、第１の幅より小さい第２の幅以下になった場合に、光学ズーム倍率をテレ側に制御する。

【0099】

なお、判別枠が矩形でない場合には、システム制御部１３１は、判別枠のいずれかの位置において撮像画像の端部との間が第１の幅以上になった場合に、光学ズーム倍率をワイド側に制御すればよい。また、システム制御部１３１は、判別枠のいずれかの位置において撮像画像の端部との間が第１の幅よりも小さい第２の幅以下になった場合に、光学ズーム倍率を望遠側に制御すればよい。

【0100】

なお、判別枠の位置の監視は、上述のように判別枠の座標を監視する場合に限られない。システム制御部１３１は、判別枠の内側の面積が第１の面積以下になった場合は、光学ズーム倍率をワイド側に制御し、判別枠の内側の面積が第２の面積以上になった場合は、光学ズーム倍率をテレ側に制御してもよい。第２の面積は、第１の面積より大きい面積とする。

【0101】

光学ズーム倍率をワイド側またはテレ側に制御した場合、トリミング情報生成部１１３は、光学ズーム倍率を制御する前後で、表示部１２０に表示される被写体の大きさが変わらないように、トリミング範囲を調整する。

【0102】

上記の実施形態３によれば、被写体の移動速度およびサイズの大きさに応じてフレームアウトし易い状況になった場合、撮像装置１００は、光学ズーム倍率をワイド側に制御する。これにより、撮像装置１００は、被写体のトリミング表示を維持したまま、被写体に追従できる撮像範囲を広げることができる。また、被写体の移動速度またはサイズがそれぞれに対応する閾値よりも小さい場合には、光学ズーム倍率をテレ側に制御するようにしてもよい。

【0103】

＜実施形態４＞
実施形態４は、実施形態１または実施形態２の構成に加えて、ユーザーの安定性が悪く動きが激しいために、被写体がフレームアウトし易い状況である場合、光学ズーム倍率をワイド側に調整する。これにより、撮像装置１００は、被写体のトリミング表示を維持したまま、被写体に追従できる撮像範囲を広げることができる。実施形態４は、被写体の動きではなく、ユーザーの動きによって、撮像画像内の被写体像の位置が大きく変動する場合である点で、実施形態３と相違する。

【0104】

被写体検出部１１１が検出する被写体の移動速度は、図３で説明したように、被写体の追尾座標を所定の時間間隔で検出し、撮像画像のサイズを基準とした変化量として算出される。ユーザーの安定性が悪い場合、撮像装置１００が上下左右にぶれるため、被写体の移動速度は、撮像装置１００の動きに応じて正方向と負方向を往復することになる。

【0105】

システム制御部１３１は、被写体検出部１１１で検出された移動速度を監視し、所定の時間内に所定の振幅以上で所定の回数以上振動した場合に、光学ズーム倍率をワイド側に制御する信号をレンズ駆動部１３０に送信する。

【0106】

所定の時間は、例えば、被写体検出部１１１による検出間隔の１０倍の時間とすることができる。また、移動速度が所定の時間内に所定の振幅以上で所定の回数以上振動するとは、例えば、所定の時間内に移動速度が±２％以上の振幅で３回以上振動する場合である。光学ズーム倍率をワイド側に制御した場合、トリミング情報生成部１１３は、光学ズーム倍率を制御する前後で、表示部１２０に表示される被写体の大きさが変わらないように、トリミング範囲を調整する。

【0107】

上記の実施形態４によれば、ユーザーの安定性が悪く、撮像装置１００が上下左右にぶれることにより、被写体がフレームアウトし易い状況になった場合、撮像装置１００は、光学ズーム倍率をワイド側に制御する。これにより、撮像装置１００は、被写体のトリミング表示を維持したまま、被写体に追従できる撮像範囲を広げることができる。

【0108】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、各実施形態において説明した構成や処理は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【0109】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0110】

１００ 撮像装置、１１０ 画像処理部、１１１ 被写体検出部、１１２ 判別枠設定部、１１３ トリミング情報生成部、１１４ トリミング処理部、１３１ システム制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】