特許 7073550 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-13

(45)【発行日】2022-05-23

(54)【発明の名称】ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220516BHJP

   G02B 7/08 20210101ALI20220516BHJP

   G03B 5/00 20210101ALI20220516BHJP

   G03B 15/00 20210101ALI20220516BHJP

   G03B 17/00 20210101ALI20220516BHJP

【ＦＩ】

H04N5/232 960

G02B7/08 C

G03B5/00 A

G03B15/00 D

G03B15/00 Q

G03B17/00 Q

H04N5/232 190

H04N5/232 220

【請求項の数】 10

(21)【出願番号】P 2021020239

(22)【出願日】2021-02-10

(62)【分割の表示】P 2019206451の分割

【原出願日】2015-10-13

(65)【公開番号】P2021078154

(43)【公開日】2021-05-20

【審査請求日】2021-03-11

(31)【優先権主張番号】P 2014260109

(32)【優先日】2014-12-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】粒崎 昭洋

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００８－２５２７１１（ＪＰ，Ａ）

【文献】特開２００９－２９０６３５（ＪＰ，Ａ）

【文献】特開２０１３－１１７６５０（ＪＰ，Ａ）

【文献】特開２０１３－２５４００７（ＪＰ，Ａ）

【文献】特開２０１４－２２５８５４（ＪＰ，Ａ）

【文献】特開２０１１－２２１１０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０２Ｂ ７／０８

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

(57)【特許請求の範囲】

【請求項1】

ズーム制御装置であって、
撮影光学系を用いて取得された画像から被写体像を検出する被写体検出手段と、
ズーム倍率の制御に用いる被写体像の基準サイズを設定する基準サイズ設定手段と、
前記基準サイズ設定手段により設定された前記基準サイズと前記被写体検出手段により逐次検出される被写体像のサイズとの差が小さくなるように、ズーム倍率を制御する制御手段と、
撮影モードを設定する撮影モード設定手段と、を有し、
前記基準サイズ設定手段は、前記撮影モード設定手段により、撮影者自身を撮影する自分撮りモードが設定されている場合に、前記ズーム制御装置によりズーム倍率を制御される撮像装置が手持ち状態であるか否かに基づいて前記基準サイズを変更することを特徴とするズーム制御装置。

【請求項2】

前記制御手段は、前記撮像装置が手持ち状態であると判定された場合よりも、前記撮像装置が固定されている状態であると判定された場合の方が、被写体の顔が小さく撮影されるように前記ズーム倍率を制御することを特徴とする請求項１に記載のズーム制御装置。

【請求項3】

前記撮像装置が固定されている状態であると判定された場合、前記制御手段は、前記被写体の全身が撮影範囲内に収まるように前記ズーム倍率を制御することを特徴とする請求項２に記載のズーム制御装置。

【請求項4】

前記撮像装置の揺れを示す情報を取得し、前記揺れに基づいて前記撮像装置が手持ち状態であるか否かを判定する手持ち判定部を備え、
前記基準サイズ設定手段は、前記手持ち判定部の判定結果に基づいて前記基準サイズを設定することを特徴とする請求項１乃至３のいずれか１項に記載のズーム制御装置。

【請求項5】

前記基準サイズ設定手段は、前記撮影モード設定手段により前記自分撮りモードが設定されている場合に、前記撮像装置が手持ち状態であるか否かと、前記被写体検出手段により検出された被写体像の前記画像における位置とに基づいて前記基準サイズを変更することを特徴とする請求項１乃至４のいずれか１項に記載のズーム制御装置。

【請求項6】

ズーム制御装置であって、
撮影光学系を用いて取得された画像から被写体像を検出する被写体検出手段と、
撮影モードを設定する撮影モード設定手段と、
前記ズーム制御装置によりズーム倍率を制御される撮像装置が手持ち状態であるか否かに基づいて構図を選択する構図選択手段と、
前記構図選択手段による選択結果と、前記被写体検出手段によって検出された被写体像の大きさと位置とに基づいて、ズーム倍率の制御に用いる被写体像の基準サイズを設定する基準サイズ設定手段と、
前記基準サイズ設定手段により設定された前記基準サイズと前記被写体検出手段により逐次検出される被写体像のサイズとの差が小さくなるように、ズーム倍率を制御する制御手段と、を有するズーム制御装置。

【請求項7】

請求項１から６のいずれか１項に記載のズーム制御装置と、
被写体像を光電変換して画像を生成する撮像手段と、
レンズの駆動または画像処理によりズーム倍率を変更するズーム手段を備え、
前記制御手段は前記ズーム手段を制御し、前記基準サイズ設定手段により設定された前記基準サイズに基づいて、前記被写体検出手段により検出される被写体像のサイズの変化に応じてズーム倍率を制御することを特徴とする撮像装置。

【請求項8】

ズーム制御装置にて実行される制御方法であって、
撮影光学系を用いて取得された画像から検出された被写体像の検出情報を含む情報を取得する取得ステップと、
ズーム倍率の制御に用いる被写体像の基準サイズを設定する基準サイズ設定ステップと、
撮影モードを設定する撮影モード設定ステップと、
前記基準サイズ設定ステップにより設定された前記基準サイズと前記検出情報が示す被写体像のサイズとの差が小さくなるように、ズーム倍率を制御する制御ステップと、を有し、
前記基準サイズ設定ステップは、前記撮影モード設定ステップにより、撮影者自身を撮影する自分撮りモードが設定されている場合に、前記ズーム制御装置によりズーム倍率を制御される撮像装置が手持ち状態であるか否かに基づいて前記基準サイズを変更することを特徴とするズーム制御装置の制御方法。

【請求項9】

ズーム制御装置にて実行される制御方法であって、
撮影光学系を用いて取得された画像から検出された被写体像の検出情報を含む情報を取得する取得ステップと、
撮影モードを設定する撮影モード設定ステップと、
前記撮影モード設定ステップにおいて、撮影者自身を撮影する自分撮りモードが設定されている場合、
前記ズーム制御装置によりズーム倍率を制御される撮像装置が手持ち状態であるか否かに基づいて構図を選択する構図選択ステップと、
前記構図選択ステップによって選択された構図と、前記被写体像の大きさと位置とに基づいて、ズーム倍率の制御に用いる被写体像の基準サイズを設定する基準サイズ設定ステップと、
前記基準サイズ設定ステップにより設定された前記基準サイズと前記検出情報が示す被写体像のサイズとの差が小さくなるように、ズーム倍率を制御する制御ステップと、を有することを特徴とするズーム制御装置の制御方法。

【請求項10】

請求項８または９に記載したズーム制御装置の制御方法の各ステップをコンピュータに実行させることを特徴とするズーム制御装置の制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から被写体像を検出してズーム倍率を制御する技術に関するものである。

【背景技術】

【0002】

従来から、ズームレンズを駆動して光学的な変倍（以下、光学ズームという）を行う機能、及び、撮影画像の一部を拡大して電子的な変倍（以下、電子ズームという）を行う機能を有する撮像装置がある。さらに、被写体の検出情報に応じて自動でズーム倍率を変更するオートズーム（自動変倍）機能がある。以下、光学ズーム動作と電子ズーム動作を総称してズーム動作という。

【0003】

特許文献１では、被写体の大きさを一定に維持するオートズーム機能を搭載するカメラの構成が開示されている。特許文献１では、オートズーム機能において「顔アップ」、「バストアップ」、「全身」といった複数の選択肢の中から撮影者が構図を選択する方法が開示されている。被写体像の大きさを維持するオートズーム制御では、選択された構図に基づいて、ズーム制御の基準となる被写体像の大きさが決定される。例えば撮影者が「全身」の構図を選択した場合、被写体である人物の全身の像を撮影画面内に収めるようにズーム動作が行われる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－９５０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、オートズーム機能にて撮影者が撮影したい構図をあらかじめ選択しておく必要がある。そのため、撮影シーンや被写体の状態（動きや数等）が変わるごとに撮影者が設定変更の操作を行う必要がある。また、撮影するシーンに対して構図の設定が適切でない場合、適切な大きさで被写体を撮影できない可能性がある。例えば、動き回る被写体や遠くの被写体を撮影するシーンで「顔」の構図に設定された場合、被写体がフレームアウトしてしまう可能性がある。また、静止している被写体を撮影するシーンで「全身」の構図に設定された場合には、被写体が小さすぎる構図になってしまう可能性がある。

【0006】

上記課題に鑑みて、本発明は、撮影者が構図を選択することなく、被写体の検出情報に基づき判定したシーンに適した構図でオートズーム制御を行うことを目的とする。

【課題を解決するための手段】

【0007】

本発明に係るズーム制御装置は、撮影光学系を用いて取得された画像から被写体像を検出する被写体検出手段と、ズーム倍率の制御に用いる被写体像の基準サイズを設定する基準サイズ設定手段と、前記基準サイズ設定手段により設定された前記基準サイズと前記被写体検出手段により逐次検出される被写体像のサイズとの差が小さくなるように、ズーム倍率を制御する制御手段と、撮影モードを設定する撮影モード設定手段と、を有する。前記基準サイズ設定手段は、前記撮影モード設定手段により、撮影者自身を撮影する自分撮りモードが設定されている場合に、前記ズーム制御装置によりズーム倍率を制御される撮像装置が手持ち状態であるか否かに基づいて前記基準サイズを変更する。

【発明の効果】

【0008】

本発明によれば、撮影者が構図を選択することなく、被写体の検出情報に基づき判定したシーンに適した構図でオートズーム制御を行うことができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。

【図2】焦点距離と、被写体距離ごとのフォーカスレンズ位置との関係を例示した図である。

【図3】被写体（物体）の画面外へのフレームアウトを防止する処理の説明図である。

【図4】被写体（人物）の画面外へのフレームアウトを防止する処理の説明図である。

【図5】被写体（人物）の画面内でのサイズ変化を防止する処理の説明図である。

【図6】被写体が人物の場合の構図設定を説明する図である。

【図7】オートズーム機能の処理の流れを説明するフローチャートである。

【図8】被写体探索処理を説明するフローチャートである。

【図9】被写体探索処理の探索終了領域を説明する図である。

【図10】被写体指定処理を説明するフローチャートである。

【図11】被写体指定処理の別例を説明するフローチャートである。

【図12】基準サイズの設定処理を説明するフローチャートである。

【図13】画面サイズの算出処理を説明するフローチャートである。

【図14】構図設定「オート」における自動構図判定を説明する遷移図である。

【図15】最周辺の被写体位置と画面サイズとを示す図である。

【図16】構図設定「オート」における基準サイズの算出処理を説明するフローチャートである。

【図17】水平方向被写体位置比率の算出処理を説明するフローチャートである。

【図18】垂直方向被写体位置比率の算出処理を説明するフローチャートである。

【図19】被写体位置を推定する顔個数を示す表である。

【図20】オートズーム制御の処理を説明するフローチャートである。

【図21】ズーム動作を説明するフローチャートである。

【図22】第２の実施形態における構図設定「オート」における自動構図判定を説明する遷移図である。

【発明を実施するための形態】

【0010】

（第１の実施形態）
以下に、本発明の一実施形態を添付図面に基づいて詳細に説明する。図１は、本実施形態におけるズーム制御装置を備えた撮像装置の一例として、オートズーム機能を有するデジタルカメラ１００の構成例を示すブロック図である。

【0011】

レンズ鏡筒１０１は、その内部にレンズ群を保持している。ズームレンズ１０２は、レンズ鏡筒１０１の光軸方向に移動することで焦点距離を調節し、光学的に画角を変更（ズーム位置を移動）する。フォーカスレンズ１０３は、レンズ鏡筒１０１の光軸方向に移動することで焦点調節を行う。防振レンズ（像ブレ補正用レンズ）１０４は、手ぶれ等に起因する像ブレを補正する。光量調節を行う絞り及びシャッタ１０５は、露出制御に用いられる。なお、本実施形態において、デジタルカメラ１００は、レンズ鏡筒１０１とカメラ本体部とが一体的に構成された撮像装置であるが、これに限定されるものではない。本実施形態は、カメラ本体部と、カメラ本体部に着脱可能な交換レンズとから構成される撮像システムにも適用可能である。

【0012】

撮像素子１０６は、レンズ鏡筒１０１を通過した光を受光し、光電変換によって被写体像を電気信号に変換することで撮像信号を生成する。撮像素子１０６はＣＣＤ（電荷結合素子）型またはＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサ等である。撮像素子１０６による撮像信号は、画像処理回路１０７に入力されて、画素補間処理や色変換処理等の各種処理が行われる。各種処理後の画像データは画像メモリ１０８に記憶される。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶デバイスである。

【0013】

表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等を備えて構成され、撮影画像（画像データ）や、特定の情報（例えば、撮影情報等）を表示する。撮影画像に係るライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を提供できる。

【0014】

絞りシャッタ駆動部１１０は、画像処理回路１０７での画像処理によって得られた輝度情報に基づいて露出制御値（絞り値及びシャッタ速度）を演算し、演算結果に基づいて絞り及びシャッタ１０５を駆動する。これにより、自動露出（ＡＥ）制御が行われる。防振レンズ駆動部１１１は、ジャイロセンサ等の角速度センサによる振れ検出情報に基づいてデジタルカメラ１００に加わる振れ量を演算する。演算結果にしたがって、デジタルカメラ１００に加わる振れ量を打ち消す（低減する）ように防振レンズ１０４が駆動される。

【0015】

フォーカスレンズ駆動部１１２は、フォーカスレンズ１０３を駆動する。本実施形態において、デジタルカメラ１００は、コントラスト方式で自動焦点調節（ＡＦ）制御を行う。つまりフォーカスレンズ駆動部１１２は、画像処理回路１０７での画像処理により得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体に焦点が合うようにフォーカスレンズ１０３を駆動する。ただし、これに限定されるものではなく、コントラスト方式以外のＡＦ制御として、位相差ＡＦ方式でもよいし、また、コントラスト方式と他の方式との組み合わせのように、複数の方式でＡＦ制御を行う構成でもよい。

【0016】

ズームレンズ駆動部１１３は、ズーム操作指示に従ってズームレンズ１０２を駆動する。操作部１１７は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備える。システム制御部１１４は、ズーム指示操作に用いるズーム操作部材の操作量及び操作方向を検知して、ズーム駆動速度やズーム駆動方向を演算し、演算結果に従ってズームレンズ１０２を光軸に沿って移動させる制御を行う。

【0017】

撮影動作によって生成された画像データは、インターフェース（Ｉ／Ｆ）部１１５を介して記録部１１６に送られて記録される。画像データは、外部記録媒体、または不揮発性のメモリ１１８、あるいはそれらの両方に記録される。外部記録媒体は、デジタルカメラ１００に装着して使用されるメモリカード等である。不揮発性のメモリ１１８は、デジタルカメラ１００に内蔵されている記憶媒体である。メモリ１１８は、プログラムデータや画像データの他に、デジタルカメラ１００の設定情報や、後述するオートズーム機能におけるズームイン位置等の情報を記憶する。
操作部１１７は、前記ズーム操作部材に加えて、撮影開始を指示するレリーズスイッチ、オートズーム機能の開始や終了を指示するオートズーム操作スイッチ等を含む。操作部１１７からの信号は、システム制御部１１４に送られる。

【0018】

システム制御部１１４は、ＣＰＵ（中央演算処理装置）等の演算装置を備える。システム制御部１１４は、撮影者の操作に応じて各部に制御命令を送ることによりデジタルカメラ１００全体を制御する。システム制御部１１４は、メモリ１１８に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（オートズーム処理を含む）等を行うためのプログラムを実行する。

【0019】

光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒１０１がリアフォーカスタイプである場合、ズームレンズ１０２の位置に応じてフォーカスレンズ１０３を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御といい、システム制御部１１４におけるＣＺ制御部１１９が行う。図２は、ズームレンズの焦点距離と、被写体距離ごとのフォーカス位置との関係を例示する図である。図２では、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータテーブルとしてグラフ化して示す。本実施形態において、このテーブルをフォーカスカムテーブルと称する。図２において、横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示す。各グラフ線の横には、デジタルカメラ１００から被写体までの距離（被写体距離）を例示する。

【0020】

システム制御部１１４は、ＡＦ制御を行う際にフォーカスレンズ駆動部１１２を制御して、フォーカスレンズ１０３を所定の範囲において移動させることによりスキャン動作を行う。スキャン動作中に得られるコントラスト評価値等を用いて既知の方法により、合焦点であるフォーカス位置が検出される。そのときのズーム位置及びフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離が計測される。

【0021】

次に、システム制御部１１４におけるオートズーム機能に関連する制御について説明する。図１に示すように、システム制御部１１４は、ＣＺ制御部１１９、電子ズーム制御部１２０、オートズーム制御部（以下、ＡＺ制御部という）１２２、被写体検出部１２３を備える。

【0022】

デジタルカメラ１００は、光学ズーム機能及び電子ズーム機能を有しており、ＣＺ制御部１１９及びズームレンズ駆動部１１３が光学ズームの制御を担当する。ＣＺ制御部１１９は、ズーム動作時に、所定の制御周期ごとにズームレンズ１０２のズーム位置を検出する。そしてＣＺ制御部１１９は、検出したズーム位置に応じたＡＦ制御にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ１０３を駆動させる制御を行う。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。

【0023】

一方、電子ズーム制御部１２０及び画像メモリ１０８は電子ズームの制御を担当する。電子ズーム制御部１２０は、画像メモリ１０８に転送された画像データから対象領域内のデータを切り出すことにより、電子ズーム機能を実現する。また、電子ズーム制御部１２０は、撮像素子１０６に取り込む画像のフレームレート周期で切り出す範囲を徐々に大きくしながら表示部１０９に表示させることにより、滑らかな電子ズーム表示を実現する。
被写体検出部１２３は、画像メモリ１０８に記憶された画像データから所望の被写体領域を逐次検出する。本実施形態では、画像データに含まれる顔情報または色情報に基づいて被写体（人物等の顔、または物体）を検出する被写体検出方法（顔検出処理、色検出処理）について説明する。

【0024】

顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２３は、画像データ上での正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部１２３は、両者の相関値が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定処理は、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返されることにより、画像データ中に存在する種々の顔領域を検出できる。

【0025】

色検出処理では、後述の被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する処理が実行される。色検出処理は、検出対象の被写体が物体（人物以外の「モノ」）である場合に行われる。色情報としては、画像処理回路１０７からの出力信号であるＲＧＢ信号や輝度信号（Ｙ信号）及び色差（Ｒ－Ｙ、Ｂ－Ｙ）信号等が用いられる。被写体検出時に被写体検出部１２３は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、被写体検出部１２３は、予め記憶された特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この被写体領域の候補で隣り合う部分領域の一群を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする処理が行われる。

【0026】

被写体検出部１２３は、顔情報及び色情報とともに、ＣＺ制御部１１９で計測された被写体距離情報及びズームレンズ１０２の焦点距離情報を用いることにより、画像データ上での被写体領域の大きさを算出する。姿勢検出部１２４は、加速度センサの情報に基づいてデジタルカメラ１００の姿勢（例えば正位置／グリップ上／グリップ下）を検出する。揺れ検出部１２５は、ジャイロセンサによる角速度情報等に基づいてデジタルカメラ１００の振れ状態を判定により検出する。揺れ検出部１２５は、ジャイロセンサ等に加わる振れ量（検出値）が所定量（閾値）以上である場合にカメラが手持ち状態であると判定し、所定量未満である場合には三脚等に固定された状態であると判定する。姿勢検出及び揺れ検出に用いる加速度センサ及びジャイロセンサについては、防振レンズ駆動部１１１の制御情報を取得するための検出部のセンサと兼用する構成でもよい。

【0027】

次に、本実施形態におけるオートズーム機能の概要と、ＡＺ制御部１２２を説明する。オートズーム機能を搭載していないカメラでは、撮影者が望遠状態でフレーミングしてシャッタチャンスを待っている間に被写体が動いてフレームアウトした場合等において、以下の操作が必要であった。
まず撮影者は、ズーム操作部材の操作によりズームアウト動作を行ってから被写体を探索する。被写体の探索後、撮影者は再び所望の画角になるまでズーム操作を行って画角調整する。また、被写体が動いたために被写体像の大きさが変わった場合等においても、撮影者はズーム操作部材を操作して被写体像の大きさを調整する必要があった。

【0028】

一方、オートズーム機能を搭載しているカメラでは、撮影者がオートズーム機能を設定した後、タッチパネル等で被写体を指定する操作を行い、撮影したい被写体を指定しておけばよい。オートズーム機能が設定されると、指定された被写体を画像の中央付近で所定のサイズに収めるように、自動でズーム動作が行われる。なお、被写体の指定方法としてはタッチパネル操作以外に、撮影者が特定のボタンを操作したときに画面中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動的に主被写体を選択する方法等がある。

【0029】

被写体検出部１２３は、画像メモリ１０８から指定された被写体領域の画像データ上での位置や大きさを算出する。この処理を、ライブビューとして画像表示するごとに、サンプリングの画像データに対して連続的に行うことにより、被写体の動きを追尾可能となる。追尾している被写体の画像が後述するズームアウト領域で検出された場合や、検出した被写体の画像が所定の大きさよりも大きくなった場合、ＡＺ制御部１２２はズームアウト動作を開始する。すなわち、ＡＺ制御部１２２はＣＺ制御部１１９または電子ズーム制御部１２０に対して、広角方向へのズームアウト指示を行う。被写体をズームイン領域内に検出し、かつ、被写体像が所定の大きさの範囲内に収まった場合には、望遠側へズームイン動作が行われる。このような処理により、撮影者はズーム操作を気にせず、所望の被写体の画像を画面内に収めるようにカメラを動かすだけでよい。仮に、被写体がフレームアウトしそうになった場合でも、自動的にズーム倍率が変更されるため、より簡単に画角合わせを行うことができる。

【0030】

次に、図３から図５を参照して、ズームアウト動作やズームイン動作の開始条件について説明する。図３は、被写体（物体）が画面外へフレームアウトすることを防止する処理の説明図である。図４は、被写体（人物）が画面外へフレームアウトすることを防止する処理の説明図である。

【0031】

図３及び図４において、枠３００ａ及び枠３００ｂは被写体（物体）を追尾する第１の追尾枠（以下、モノ追尾枠という）であり、枠４００ａ～ｆは被写体（人物の顔）を追尾する第２の追尾枠（以下、顔追尾枠という）である。以下では、被写体が人物と物体のいずれにも適用可能な場合、モノ追尾枠及び顔追尾枠を総称して被写体追尾枠ということもある。被写体追尾枠は、撮影者が指定した被写体が分かるように、表示部１０９のＥＶＦ画面（電子ビューファインダ画面）にて被写体像を囲むように表示される。被写体追尾枠の画面上での位置及び大きさは、顔情報及び色情報に基づいて被写体検出部１２３が逐次算出し、フレームレート周期で更新される。

【0032】

図３を参照して、被写体（飛行機）が画面外にフレームアウトすることを防止する処理について説明する。図３（Ａ）にてズームアウト領域ＺＯ（以下、ＺＯ領域という）は、ＥＶＦで表示される画角全体（画面全体）に対して所定の比率よりも外側の領域を示している。例えば、画面の中心点を０％、画面全体を１００％とし、画面全体に対して８０％となる位置をＺＯ領域の境界として設定する場合を想定する。この場合、画面全体における８０～１００％の領域がＺＯ領域となる。ＺＯ領域にモノ追尾枠３００ａの一部が進入すると、ＡＺ制御部１２２は、ズームアウト動作を開始させる制御を行う。また、ＡＺ制御部１２２は、ズーム移動前のズーム倍率（ズームイン画角に相当）をメモリ１１８に記憶する。ズームアウト動作中の目標ズーム倍率やズーム速度は、被写体像のサイズや移動速度に応じて予め設定される。また、目標ズーム倍率やズーム速度を被写体像のサイズや移動速度に応じて適宜算出してもよい。ズームアウト動作は、その目標ズーム倍率やズーム速度に従って実行される。これにより、被写体のフレームアウトを効果的に防止することができる。

【0033】

図３（Ｂ）は、図３（Ａ）の画角から、所定のズーム変化量分に相当するズームアウト動作が行われたときの画角を示している。図３（Ｂ）に示すズームイン領域ＺＩ（以下、ＺＩ領域という）は、被写体探索状態においてズームイン画角（ズームアウト前の画角）３０１に対して所定の比率よりも内側の領域を示している。例えば、画面の中心点を０％とし、ズームイン画角３０１を１００％とし、ズームイン画角３０１に対して７０％となる位置をＺＩ領域の境界として設定する場合を想定する。この場合、ズームイン画角３０１の全体における０～７０％の領域がＺＩ領域となる。このとき、例えばズームアウト倍率が１／２倍である場合、ズームイン画角３０１は画面全体に対して５０％の大きさとなる。よって、ＺＩ領域の境界は画面全体に対して７０％×（１／２）＝３５％であり、ＺＩ領域は、画面全体に対して０～３５％の領域であるとも言える。撮影者が、ＺＩ領域の内部にモノ追尾枠３００ｂが収まるようにカメラの向きを変更すると、ＡＺ制御部１２２は、ズームイン動作を開始させる制御を行う。

【0034】

次に図４を参照して、被写体（人物）が画面外にフレームアウトすることを防止する処理について説明する。被写体が人物である場合に、顔追尾枠の一部がＺＯ領域に進入するとズームアウト動作が開始し、また顔追尾枠がＺＩ領域の内部に収まるとズームイン動作が行われる。被写体が人物である場合には物体の場合とは異なり、被写体の移動方向をある程度予測できるため、予測される移動方向の領域に応じてＺＯ領域及びＺＩ領域が設定される。また、手持ちでの撮影では、手ぶれ等の影響によって被写体がフレームアウトしてしまう場合がある。しかし、手ぶれ等によって被写体がフレームアウトした場合には、撮影者が被写体をフレームインさせようとする動作によってフレームインし直すことが可能である。ここで、画面の上部にＺＯ領域を設定した場合、人物を中央付近に配置して撮影するときにもＺＯ領域に顔追尾枠が進入してしまい、意図せずズームアウトする場合がある。そこで、被写体が人物であって、かつ手持ち状態（撮影者がカメラを把持した状態）である場合には、撮影者のフレーミング操作を考慮して、画面の上部にはＺＯ領域が設定されない。

【0035】

このように、本実施形態では、被写体検出部１２３で顔が検出された場合、ＡＺ制御部１２２は、カメラの姿勢や揺れ状態に応じてＺＯ領域及びＺＩ領域を変更する。カメラの姿勢については姿勢検出部１２４により検出され、また、揺れ状態については揺れ検出部１２５による検出結果から判定される。揺れ検出部１２５による検出結果とは、カメラが手持ち状態であるか否かの検出結果である。以下、図４（Ａ）から（Ｃ）を参照して具体的に説明する。

【0036】

図４（Ａ）は、撮影者が手持ちでカメラを正位置に構えたときに設定されるＺＯ領域及びＺＩ領域を示している。このような撮影シーンで、被写体が水平方向に移動してフレームアウトする場合、画面内での被写体の位置は正位置の画面に対して水平方向（長手方向）に移動する。そこで、ＺＯ領域及びＺＩ領域はいずれも、正位置の画面に対して垂直方向（短手方向）の縦帯状に配置される。ＺＯ領域は、横長の長方形の画面にて水平方向の両端寄りに位置する縦帯状に設定され、ＺＩ領域は、画面の中央部に位置する縦帯状に設定される。この場合、顔追尾枠４００ａがＺＯ領域内に進入すると、ＡＺ制御部１２２はズームアウト開始を判定し、所定のズーム倍率分に対応するズームアウトの動作制御を行う。また、顔追尾枠４００ｂがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン開始を判定し、ズーム戻り位置まで所定のズーム倍率分に対応するズームインの動作制御を行う。このようにＺＯ領域及びＺＩ領域を設定することで、被写体（人物）のフレームアウトを効果的に防止できる。

【0037】

図４（Ｂ）は、同様の撮影シーンにてカメラ姿勢が変更され、撮影者がグリップ下もしくはグリップ上の縦位置状態にカメラを構えたときに設定されるＺＯ領域及びＺＩ領域を示している。この場合、縦位置の画面に対して垂直方向（長手方向）の縦帯状にＺＯ領域及びＺＩ領域が配置される。つまり、ＺＯ領域は、縦長の長方形の画面にて水平方向の両端寄りに位置する縦帯状に設定され、ＺＩ領域は、画面の中央部に位置する縦帯状に設定される。この場合、顔追尾枠４００ｃがＺＯ領域内に進入すると、ＡＺ制御部１２２はズームアウト開始を判定し、所定のズーム倍率分に対応するズームアウトの動作制御を行う。また、顔追尾枠４００ｄがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン開始を判定し、ズーム戻り位置まで所定のズーム倍率分に対応するズームインの動作制御を行う。このようにＺＯ領域及びＺＩ領域を設定することで、水平方向への被写体の動きを検出し、フレームアウトを効果的に防止できる。

【0038】

図４（Ｃ）は、揺れ検出部１２５での検出状態が固定状態のときに設定されるＺＯ領域及びＺＩ領域を示している。固定状態とは、三脚等によってカメラが固定されている状態であり、手ぶれによるフレームアウトの可能性はない。さらには、画面の中央付近に被写体がフレームインしていないときにズームインすると、その動作によってフレームアウトしてしまう可能性がある。そこで、画面の周辺部全体にＺＯ領域が設定され、ズームイン画角よりも内側にＺＩ領域が設定される。つまり、ＺＯ領域は、画面の縦方向及び横方向の端寄りに位置する矩形帯状に設定され、ＺＩ領域は、画面の中央部に位置する矩形状に設定される。この場合、顔追尾枠４００ｅがＺＯ領域内に進入すると、ＡＺ制御部１２２は、ズームアウト開始を判定し、所定のズーム倍率分に対応するズームアウトの動作制御を行う。また、顔追尾枠４００ｆがＺＩ領域内に包含されると、ＡＺ制御部１２２は、ズームイン開始を判定し、ズーム戻り位置まで所定のズーム倍率分に対応するズームインの動作制御を行う。

【0039】

以上のように本実施形態では、カメラの姿勢や撮影状態（手持ち状態／固定状態）の変化に応じてＺＯ領域及びＺＩ領域の各範囲を動的に変更する。これにより、手ぶれ等による誤作動を防止しながら、被写体のフレームアウトを効果的に防止できる。なお、カメラの姿勢と撮影状態（手持ち状態／固定状態）のいずれか一方に応じてＺＯ領域又はＺＩ領域を変更してもよく、またＺＯ領域とＺＩ領域のいずれか一方のみを変更してもよい。

【0040】

次に、被写体像が画面に占める割合を所定の範囲内に保つためのズーム動作について説明する。本実施形態では、検出された被写体像のサイズが基準サイズの所定倍より大きく変化した場合に自動でズーム動作を行うことで、被写体像のサイズを基準サイズから所定の範囲内に保つように制御（サイズ保持制御）が行われる。図５は、画面内における被写体（人物）像のサイズを保つための処理を説明する図である。図６は被写体（人物）の構図設定の説明図である。

【0041】

まず、図６を参照して、追尾対象とする被写体を画面内に収める範囲（構図）の設定について説明する。図６（Ａ）は、構図設定が「マニュアル」に設定されている場合の画面表示を例示する。「マニュアル」設定時には、撮影者が画面内の人物の像を見ながらズームレバー操作でマニュアルズーム動作を行って追尾する顔の大きさを変更する。そのときの被写体像のサイズは基準サイズとしてメモリ１１８に記憶される。図６（Ｂ）は構図設定が「顔」に設定されている場合の画面表示を例示する。「顔」の構図設定時には、カメラの姿勢や顔の方向によって顔が画面に収まる大きさが基準サイズとして算出され、メモリ１１８に記憶される。同様に、図６（Ｃ）は構図設定が「上半身」に設定されている場合の画面表示を例示し、図６（Ｄ）は構図設定が「全身」に設定されている場合の画面表示を例示する。それぞれ画面上で設定された大きさとなるように基準サイズが算出されてメモリ１１８に記憶される。

【0042】

図６（Ｅ）は構図設定が「オート」に設定されている場合の画面表示を例示する。「オート」設定時には、ＡＺ制御部１２２が、画面内での被写体位置や被写体サイズ、被写体数、カメラの姿勢等を基づき、適切な構図を判定する。さらに、判定された構図となるように基準サイズが算出されてメモリ１１８に記憶される。基準サイズの算出方法については図１２を用いて後述する。

【0043】

撮影者は撮影画面から操作部１１７の左右ボタン操作や設定メニュー上での選択によって構図設定を変更する操作を行える。構図設定の変更操作が行われると、ＡＺ制御部１２２は、メモリ１１８に記憶されている構図設定の情報を更新する。なお、図６では被写体が人物の場合に「マニュアル」、「顔」、「上半身」、「全身」、「オート」の各構図を設定する例を示したが、構図の設定はこれに限定されるものではない。例示した５つの構図の一部のみを設定し、または他の構図を含んでもよい。また、被写体が物体の場合には、例えば「マニュアル」、「大」、「中」、「小」、「オート」の各構図を設定してもよい。

【0044】

図５を参照して、被写体像が画面に占める割合を所定の範囲内に保つためのズーム動作について、構図設定が「マニュアル」の場合を例に説明する。図５（Ａ）～（Ｃ）は、被写体（人物）がカメラに近づいてきた場合に、カメラが自動的に行うズーム動作を例示する。これは、被写体像が画面に占める割合を所定の比率内に収めるためのズームアウト動作である。なお、図５では、顔追尾枠５００ａ～ｆを、被写体である人物の特徴領域として顔領域を囲むように表示している。したがって、ここでは顔追尾枠の大きさを、被写体サイズとして説明する。

【0045】

図５（Ａ）は、後述する被写体指定方法に従って被写体が指定されたときの画角を示している。被写体指定時の顔追尾枠５００ａの大きさは、基準の被写体サイズ（基準サイズ）としてメモリ１１８に記憶される。図５（Ｂ）は、図５（Ａ）の状態からズーム倍率を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。例えば、基準の被写体サイズである顔追尾枠５００ａの大きさに対して１５０％となる大きさをズームアウト動作の開始サイズとする。被写体追尾枠（顔追尾枠）の関係が、「顔追尾枠５００ｂ＞顔追尾枠５００ａ×１５０％」となったとき、つまり、基準サイズに対して所定の変化量を超えて追尾枠が変化したときに、ＡＺ制御部１２２はズームアウト動作の開始を判定する。

【0046】

図５（Ｃ）は、図５（Ｂ）の画角５０１から所定のズーム倍率分だけズームアウトした画角と、顔追尾枠５００ｃを示している。ここでは、ズームアウト動作を開始するときの顔追尾枠サイズの基準被写体サイズに対する変化率（１５０％）を考慮して、所定のズーム倍率を１／１．５倍としている。この後、さらに被写体がカメラに近づいてくる場合、さらに広角側へズームアウトを行うことにより、被写体像を所定の比率内に収め続けることができる。したがって、撮影者はレリーズスイッチの操作だけに集中することが可能である。

【0047】

一方、図５（Ｄ）～（Ｆ）は、被写体である人物がカメラから遠ざかる場合に、カメラが自動的に行うズーム動作を例示する。これは、被写体像が画面に占める割合を所定の範囲内に収めるためのズームイン動作である。図５（Ｄ）は、後述する被写体指定方法に従って被写体が指定されたときの画角を示している。被写体指定時の顔追尾枠５００ｄの大きさは、基準の被写体サイズとしてメモリ１１８に記憶される（構図設定が「マニュアル」の場合）。

【0048】

図５（Ｅ）は、図５（Ｄ）の状態からズーム倍率を変更しない状態で、被写体がカメラから遠ざかったときの画角を示している。例えば、基準の被写体サイズである顔追尾枠５００ｄの大きさに対して５０％となる大きさをズームイン動作の開始サイズとする。顔追尾枠の関係が、「顔追尾枠５００ｅ＜顔追尾枠５００ｄ×５０％」となったときに、基準サイズに対して所定の変化量を超えて追尾枠が変化したと判定される。この判定条件を満たし、かつ、顔追尾枠５００ｅがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン動作の開始を判定する。ここで、図５（Ｅ）の画角に対して所定のズーム倍率分だけズームインした画角５０２よりも内側にＺＩ領域が設定される。

【0049】

図５（Ｆ）は、図５（Ｅ）の画角から所定のズーム倍率分だけズームインした画角（画角５０２に対応）と、顔追尾枠５００ｆを示している。ここでは、ズームイン動作を開始するときの顔追尾枠サイズの基準被写体サイズに対する変化率（５０％）を考慮して、所定のズーム倍率を１／０．５倍としている。

【0050】

図３では被写体が物体である場合、また図４では被写体が人物である場合にフレームアウトを防止する処理について説明した。また、図５では被写体が人物である場合に、画面に占める被写体像の大きさの比率を、所定の範囲内に収める処理について説明した。なお、追尾対象とする被写体が物体である場合にも、被写体が人物である場合と同様に、図５で示した被写体像のサイズ保持の制御のためのズーム動作開始判定を行ってもよい。また、構図設定が「マニュアル」以外の場合においても、それぞれの基準サイズに応じて、図５と同様に自動的にズーム動作が行われる。

【0051】

次に、図７から図２１を参照して、オートズーム機能の処理について説明する。図７は、オートズーム機能の全体の処理例を示すフローチャートである。以下のオートズーム機能は、特に明示的な記載がない限り、システム制御部１１４（ＡＺ制御部１２２）の指令に基づいて行われるものとする。
まずＳ７００でＡＺ制御部１２２は、操作部１１７のオートズーム操作スイッチの操作状態を判定する。オートズーム操作スイッチが押下された場合、Ｓ７０１に進み、当該スイッチが押下されない場合にはＳ７００の判定処理が繰り返される。Ｓ７０１で被写体探索処理が実行され、さらに、Ｓ７０２の被写体指定処理、Ｓ７０３の基本サイズ設定処理、Ｓ７０４のオートズーム制御が順次に実行される。

【0052】

オートズーム機能の処理が開始された直後、または、操作部１１７の被写体探索ボタンが押下された場合（Ｓ７０５でｙｅｓ）に、Ｓ７０１の被写体探索処理が実行される。図８を参照して、Ｓ７０１のステップで実行する被写体探索処理を説明する。撮影対象の被写体がカメラから遠く離れている場合、画面内に被写体像が存在しても被写体の特徴領域が小さすぎると、被写体検出部１２３で検出できない可能性がある。このようなシーンでは、被写体情報に基づくオートズーム機能を実行することができない。そこで、所定の焦点距離まで被写体を検出しながらズームイン動作を行う被写体探索処理が実行される。

【0053】

Ｓ８００では、オートズーム開始の直後であるか、または、オートズーム開始の直後でなく、オートズーム中に被写体探索ボタンが押下されたかの判定処理が行われる。Ｓ８００で前者の肯定的判定結果（ｙｅｓ）の場合にはＳ８０１に進み、否定的判定結果（ｎｏ）の場合にはＳ８０３に移行する。Ｓ８０１では、被写体探索終了焦点距離（以下、探索終了焦点距離という）を取得する処理が実行される。本実施形態ではオートズーム開始直後に、探索終了焦点距離は３５ｍｍ判換算で８５ｍｍの焦点距離としている。この焦点距離は一般的に人物を撮影する場合に適しているとされる標準レンズの焦点距離であり、被写体（人物）がいない場合や（後ろ向き状態等で）顔が検出できない場合でも探索終了後に適切な画角で被写体検出の待ち状態とすることができる。ただし、焦点距離は８５ｍｍに限らず、他の焦点距離（例えば５０ｍｍや１００ｍｍ等）であってもよい。また、メニュー設定から撮影者が探索終了焦点距離を変更可能な構成や、撮影モードまたは撮影する被写体等に応じて探索終了焦点距離を変更可能な構成としてもよい。Ｓ８０１からＳ８０２に進むと、モード開始時の焦点距離が探索終了焦点距離と比較され、当該焦点距離が探索終了焦点距離よりも広角側か望遠側かについて判定される。オートズーム開始時の焦点距離が探索終了焦点距離よりも望遠側である場合（Ｓ８０２でｎｏ）には、被写体探索の処理を終了する。また、オートズーム開始時の焦点距離が探索終了焦点距離よりも広角側である場合（Ｓ８０２でｙｅｓ）には、Ｓ８０５に進む。

【0054】

一方、Ｓ８００で被写体探索ボタンの操作による被写体探索であると判定された場合にＳ８０３では、探索終了焦点距離を取得する処理が実行される。本実施形態では、被写体探索ボタンの操作での探索終了焦点距離を、当該操作が実行されたときの焦点距離に対して２．５倍だけ望遠側の焦点距離としている。ただし、この倍率は例示であって、他の倍率でもよい。また、メニュー設定から撮影者が探索終了焦点距離を変更可能な構成や、撮影モードまたは撮影する被写体等に応じて探索終了焦点距離を変更可能な構成としてもよい。Ｓ８０３からＳ８０４に進み、Ｓ８０３で取得した探索終了焦点距離がテレ端（望遠端）の焦点距離と比較され、探索終了焦点距離がテレ端の焦点距離よりも広角側か望遠側かについて判定される。探索終了焦点距離がテレ端の焦点距離よりも望遠側である場合には、被写体探索の処理を終了する。探索終了焦点距離がテレ端の焦点距離よりも広角側である場合には、Ｓ８０５に進む。Ｓ８０５でＡＺ制御部１２２は、Ｓ８０１またはＳ８０３にて取得した探索終了焦点距離に対応するズーム変化量を、ＣＺ制御部１１９または電子ズーム制御部１２０に設定し、ズームイン動作を行うように指示する。

【0055】

次にＳ８０６では、現在の焦点距離が探索終了焦点距離に到達したか否かについて判定が行われる。現在の焦点距離が探索終了焦点距離に到達した場合、Ｓ８０９に進み、ズームイン動作を停止した後、被写体探索処理が終了する。また、Ｓ８０６で現在の焦点距離が探索終了焦点距離に到達していないと判定された場合には、Ｓ８０７に処理を進める。Ｓ８０７は、被写体検出部１２３によって被写体が検出されているか否かの判定処理である。Ｓ８０７で被写体が検出されたと判定された場合にはＳ８０８に進み、被写体が検出されたと判定されない場合にはＳ８０６に戻る。Ｓ８０８では、被写体を検出した位置が画面の所定の探索終了領域内であるか否かの判定が行われる。所定の探索終了領域については被写体に応じて予め設定された閾値（位置の判定基準値）により決定されるものとする。判定の結果、Ｓ８０７にて検出された被写体の検出位置が画面上の所定の探索終了領域内である場合にはＳ８０９に進み、ズームイン動作を停止して被写体探索処理を終了する。また、Ｓ８０８にて被写体の検出位置が画面上の所定の探索終了領域内でないと判定された場合には、Ｓ８０６に戻り、Ｓ８０６からＳ８０８の判定処理を継続する。

【0056】

ここで、図９を参照して、Ｓ８０８で説明した所定の探索終了領域について説明する。特定の被写体（人物や物体）の撮影にて、撮影対象とする被写体は画面の中央付近に配置される場合が多い。また、画面周辺で撮影対象としない被写体を検出して被写体探索処理を終了した場合、撮影対象とする被写体を検出する前に被写体探索処理が終了する可能性がある。この場合、撮影者の意図通りのオートズーム機能を実行できない。そこで、本実施形態では、画面中央付近の領域内で被写体が検出された場合にのみ、被写体探索処理を終了するように、判定用領域としての探索終了領域が設定される。図９（Ａ）は、被写体が物体（飛行機）である場合に設定される探索終了領域９００ａを例示する。物体の場合、画面の上下左右のいずれの方向に対しても、画面中央から所定の割合、例えば７０％の範囲が被写体の探索終了領域として設定される。一方、図９（Ｂ）は、被写体が人物である場合に設定される探索終了領域９００ｂを例示する。人物の場合、画面上部の領域については画面中央から１００％の範囲を含み、それ以外の方向（左右方向、下方）では画面中央から所定の割合、例えば７０％の範囲を含むように、探索終了領域が設定される。被写体が人物である場合、画面上部にも撮影対象である被写体の顔追尾枠９０２が配置される可能性がある。そのため、画面上部で被写体を検出した場合でも、被写体探索処理が終了するように探索終了領域の設定が行われる。

【0057】

次に図１０を参照して、図７にＳ７０２のステップで示す被写体指定処理について説明する。図１０（Ａ）は、操作部１１７を構成するタッチパネルを用いてユーザが所望の被写体を指定する処理例を示すフローチャートである。この例では、ユーザが表示部１０９に表示された被写体像をタッチして指定する操作を行うものとする。Ｓ１０００でＡＺ制御部１２２は、タッチパネルが押下されたか否かを判定する。タッチパネルが押下された場合、Ｓ１００１に進み、タッチパネルが押下されない場合にはＳ１０００の判定処理が繰り返される。

【0058】

Ｓ１００１でＡＺ制御部１２２は、ユーザがタッチした位置（タッチ位置）の情報を取得する。次のＳ１００２でＡＺ制御部１２２は、タッチ位置を被写体検出部１２３に通知し、被写体検出部１２３はタッチ位置付近で顔検出を行う。Ｓ１００２でタッチ位置付近に顔が検出された場合、主被写体は人物であると判定されて、Ｓ１００３に進む。また、Ｓ１００２にてタッチ位置付近に顔が検出されなかった場合、主被写体は人物以外の物体であると判定されてＳ１００４に進む。

【0059】

Ｓ１００３にてＡＺ制御部１２２は、自動追尾の対象である人物の顔情報をメモリ１１８に記憶させる制御を行う。具体的な顔情報としては、被写体指定時の顔のサイズと顔の検出位置、顔の向き等の情報がある。また、顔認証機能を有するカメラにおいては、認証ＩＤ等の識別情報もメモリ１１８に記憶される。Ｓ１００４でＡＺ制御部１２２は、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶させる制御を行う。具体的な色情報としては、被写体指定時の特徴色とその輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置等の情報がある。以下の説明では顔情報及び色情報を総称して、被写体情報（被写体サイズ、被写体検出位置等を含む）という。

【0060】

Ｓ１００３またはＳ１００４にて被写体情報がメモリ１１８に記憶された後、Ｓ１００５に進み、被写体追尾枠が表示される。Ｓ１００５でＡＺ制御部１２２は、被写体検出位置を中心にて、被写体サイズに対応した大きさの被写体追尾枠（モノ追尾枠または顔追尾枠）を表示部１０９に表示させる制御を行う。その後、被写体指定処理が終了する。
このようにシステム制御部１１４にて、被写体検出部１２３は、表示部１０９において撮影者により指定された位置、または指定された位置の近傍で被写体を検出する。そしてＡＺ制御部１２２は、被写体追尾枠を表示部１０９に表示させる。図１０（Ａ）の処理例によれば、撮影者が追尾したい被写体を、直感的な方法で簡単に指定可能となる。ただし、被写体の指定方法はこの方法に限定されない。図１０（Ｂ）を参照して別の方法を説明する。

【0061】

図１０（Ｂ）は、操作部１１７を構成する操作部材として、オートズーム操作スイッチとは別のスイッチ（被写体指定用スイッチ）を用いて、ユーザが被写体を指定する場合の処理例を示すフローチャートである。まずＳ１００６にてＡＺ制御部１２２は、表示部１０９の画面中央付近に被写体指定の目安となる枠を表示する。撮影者は、この枠を目安として追尾したい被写体の画像を画面中央付近に収めるようにカメラの向きを調整する。次のＳ１００７でＡＺ制御部１２２は、被写体指定用スイッチが押下されたか否かを判定する。被写体指定用スイッチが押下された場合、Ｓ１００８に進み、当該スイッチが押下されない場合には待ち状態でＳ１００７の判定処理が繰り返される。

【0062】

Ｓ１００８で被写体検出部１２３は、画面中央付近で顔検出を行う。画面中央付近に顔が検出した場合、主被写体は人物であると判定され、Ｓ１００９に進む。一方、画面中央付近に顔が検出されなかった場合、主被写体は人物以外の物体であると判定され、Ｓ１０１０に進む。Ｓ１００９では図１０（Ａ）のＳ１００３と同様の処理が行われ、またＳ１０１０では図１０（Ａ）のＳ１００４と同様の処理が行われるので、それらの説明を省略する。Ｓ１００９またはＳ１０１０にて被写体情報がメモリ１１８に記憶された後、Ｓ１０１１に進み、被写体追尾枠（モノ追尾枠または顔追尾枠）が表示され、被写体指定処理は終了となる。

【0063】

このように図１０（Ｂ）の処理例では、被写体検出部１２３が表示部１０９の画面中央位置または画面中央位置の近傍で被写体を検出する。そしてＡＺ制御部１２２は、被写体の位置を示す被写体追尾枠を表示部１０９に表示させる。タッチパネル等の操作部材を搭載しないカメラにおいても、ユーザは被写体を簡単に指定可能となる。

【0064】

図１１は、操作部１１７を構成するオートズーム操作スイッチが押下された時点で検出された顔の中から、追尾する被写体を自動的に選択する処理例を示すフローチャートである。まずＳ１１００で被写体検出部１２３は、画面全体で顔検出を行い、人物の顔が検出されたか否かを判定する。画面全体で一人でも顔が検出された場合、主被写体は人物であると判定され、Ｓ１１０１に進む。また、画面内にひとつも顔が検出されない場合にはＳ１１０５に移行する。

【0065】

Ｓ１１０１で被写体検出部１２３は、検出した顔の人物が一人の場合、その顔を主顔として選択する。被写体検出部１２３は、検出した顔が複数の場合、その顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準として、例えば、顔検出位置がより画面中央付近に位置する顔を優先して選択する方法がある。また、同程度の位置に複数の顔がある場合、サイズのより大きい顔を主顔として選択する方法がある。また、顔認証機能を有するカメラの場合には、認証登録されている顔がある場合、その顔を優先して主顔とする方法がある。

【0066】

Ｓ１１０１からＳ１１０２に進み、ＡＺ制御部１２２は、選択された主顔の顔情報をメモリ１１８に記憶した後、Ｓ１１０３に進んで顔追尾枠を画面上に表示させる。次のＳ１１０４において、顔の変更判定が行われる。つまり、複数の顔が検出された場合に自動で選択された主顔が撮影者の意図する顔であるとは限らない。そのために、撮影者が主顔を変更することが可能である。このとき、撮影者が操作部１１７のスイッチ（オートズーム操作スイッチ等）を押下して所望の顔を指定すると、顔追尾枠が検出された顔の中から主顔として選択されなかった別の顔に主顔を変更する処理が行われる。Ｓ１１０４にて主顔が変更された場合、再度、Ｓ１１０２に戻って、メモリ１１８に記憶すべき顔情報が更新される。また、Ｓ１１０３にて顔追尾枠が、新たに選択された主顔のサイズ及び検出位置に変更される。

【0067】

一方、Ｓ１１００からＳ１１０５に移行した場合、主被写体は人物以外の物体であると判定され、ＡＺ制御部１２２は、画面中央付近の特徴色を自動追尾対象の色情報として、メモリ１１８に記憶する制御を行う。次のＳ１１０６ではモノ追尾枠が画面上に表示された後、被写体指定処理が終了する。図１１のＳ１１０２、Ｓ１１０５、Ｓ１１０３（Ｓ１１０６）における基本的な処理は、図１０（Ａ）のＳ１００３、Ｓ１００４、Ｓ１００５の場合とそれぞれ同様である。

【0068】

このように図１１の処理例では、システム制御部１１４にて被写体検出部１２３が表示部１０９の画面全体において顔検出を行う。ＡＺ制御部１２２は、複数の顔が検出された場合、複数の顔の中から被写体として第１の顔の位置を示す被写体追尾枠を表示部１０９に表示させる制御を行う。またＡＺ制御部１２２は、被写体として第１の顔が第２の顔に変更された場合、第２の顔の位置を示す被写体追尾枠を表示部１０９に表示させる制御を行う。撮影者は、より少ない操作回数で所望の被写体を簡単に指定できる。

【0069】

被写体指定処理については、操作部１１７を構成するタッチパネルと被写体指定用スイッチの両方があるカメラの場合には、図１０（Ａ）の方法と図１０（Ｂ）の方法との両方を同時に適用してもよい。また、図７に示すＳ７０６での被写体変更の判定がなされた後では、図１０（Ａ）または図１０（Ｂ）の方法で被写体を指定し、Ｓ７０１の被写体探索処理の後では、図１１の方法で被写体を指定することもできる。処理の流れに応じて適用する被写体指定処理を変更してもよい。被写体指定処理（図７のＳ７０２）が終了すると、図７のＳ７０３に進み、追尾する被写体の大きさを基準サイズとして設定する処理が実行される。

【0070】

図１２から図１９を参照して、図７に示すＳ７０３の基準サイズ設定処理について説明する。図１２は被写体が人物である場合の基準サイズの設定処理例を示すフローチャートである。まずＳ１２００でＡＺ制御部１２２は、メモリ１１８に記憶されている構図設定が上述した「マニュアル」であるか否かを判定する。構図設定が「マニュアル」である場合にはＳ１２０１に進み、「マニュアル」以外である場合にはＳ１２０３に進む。

【0071】

Ｓ１２０１にてＡＺ制御部１２２は、被写体検出の判定を行う。ＡＺ制御部１２２は、被写体検出部１２３にて、被写体が人物であるときには顔が検出されるか否か、また被写体が物体であるときには同一の特徴色が検出されるか否かを判定する。被写体が検出されるまでＳ１２０１の判定処理が繰り返され、被写体が検出された場合にＳ１２０２に進む。Ｓ１２０２でＡＺ制御部１２２は、検出された被写体像の大きさを基準サイズとして設定し、メモリ１１８に記憶して処理を終了する。これによって、構図設定が「マニュアル」である場合には、基準サイズ設定処理を開始したときに最初に検出した被写体像の大きさ（検出サイズ）が、基準サイズとしてメモリ１１８に記憶される。

【0072】

一方、Ｓ１２０３でＡＺ制御部１２２は、姿勢検出部１２４によって判定したカメラの姿勢情報に基づいて画面サイズを算出する。この画面サイズは、後述のＳ１２１１、Ｓ１７０４、Ｓ１７０５、Ｓ１８０６、Ｓ１８０７にて基準サイズの算出に用いる。図１３を参照して、画面サイズの算出処理について説明する。本実施形態では、静止画の画面サイズを長辺×短辺＝６４０×４８０とし、動画の画面サイズを長辺×短辺＝６４０×３６０とした場合を例示するが、画面サイズはこれに限定されるものではない。

【0073】

Ｓ１３００では、撮影者がカメラを正位置に構えているか、または縦位置に構えているかについて、姿勢検出部１２４により判定される。撮影者がカメラを正位置に構えていると判定された場合、Ｓ１３０１に進むが、縦位置に構えている場合にはＳ１３０６に移行する。Ｓ１３０１では、長辺サイズである６４０を水平方向の画面サイズに設定する処理が実行される。次のＳ１３０２では現在の設定モードが、静止画と動画とを同時に撮影できるモード（静止画／動画同時撮影モード）であるか否かの判定処理が行われる。静止画／動画同時撮影モードとは、動画の撮影中に撮影者が操作部１１７のレリーズスイッチを押下することで静止画撮影も同時に行えるか、または静止画撮影直前のフレーミング操作の様子を動画として自動的に記録可能なモードのことである。Ｓ１３０２で静止画／動画同時撮影モードであると判定された場合、動画の短辺サイズと静止画の短辺サイズとを比較し、より小さいサイズを垂直画面サイズとして設定する処理が実行される。これは、小さい画面サイズに合わせてオートズームを行うことで、静止画と動画のいずれの画角でも被写体が画面からフレームアウトすることを防止するためである。したがって、本実施形態では静止画／動画同時撮影モードの場合にＳ１３０４に進み、動画の短辺サイズである３６０が垂直画面サイズとして設定される。その後、画面サイズ算出処理が終了する。

【0074】

Ｓ１３０２で静止画／動画同時撮影モードでないと判定された場合には、Ｓ１３０３へ進む。Ｓ１３０３では、動画記録中であるか、または静止画フレーミング中であるかが判定される。動画記録中であると判定された場合、Ｓ１３０４に進むが、動画記録中でないと判定された場合にはＳ１３０５に移行する。Ｓ１３０５では静止画の短辺サイズである４８０が垂直画面サイズとして設定される。

【0075】

Ｓ１３００で撮影者が縦位置に構えていると判定された場合、Ｓ１３０６からＳ１３１０の処理が実行される。Ｓ１３０６からＳ１３１０の処理はそれぞれ、Ｓ１３０１からＳ１３０５の処理に対して、水平画面サイズと垂直画面サイズの設定を逆にした処理である。つまり、前記の説明にて「水平」と「垂直」を入れ替えることで読み替えればよいので詳細な説明を省略する。なお、本実施形態では静止画の画面サイズが４：３であって（図１５（Ａ）及び（Ｂ）参照）、動画の画面サイズが１６：９である例（図１５（Ｃ）参照）を示すが、アスペクト比の設定に応じて画面サイズを変更してもよい。それによってアスペクト比に依らず、画面に対して人物の画像が占める割合を一定とすることが可能である。また、静止画／動画同時撮影モードとして静止画と動画で画面サイズが異なる例を示したが、異なる画面サイズの複数の静止画や動画を同時に撮影する形態であってもよい。

【0076】

図１２のＳ１２０３にて画面サイズが決定されると、Ｓ１２０４に処理を進める。メモリ１１８に記憶されている構図設定が「顔」、「上半身」、「全身」のいずれかである場合、Ｓ１２０４からＳ１２０９にてＡＺ制御部１２２は、構図設定に応じて画面に占める顔画像のサイズの比率（顔比率という）を決定する。本実施形態の顔比率は、画面に対する顔追尾枠の垂直方向における長さの比率を示すが、水平方向における長さの比率や、面積比などで示してもよい。具体的には例えば、Ｓ１２０４で構図設定が「顔」であるか否かが判定され、「顔」の構図の場合（Ｓ１２０４でｙｅｓ）、顔比率が２７％に決定される（Ｓ１２０７）。また、構図設定が「顔」でない場合にはＳ１２０５に進み、構図設定が「上半身」であるか否かが判定され、「上半身」の構図の場合（Ｓ１２０５でｙｅｓ）、顔比率が１６％に決定される（Ｓ１２０８）。構図設定が「上半身」でない場合にはＳ１２０６に進み、構図設定が「全身」であるか否かが判定され、「全身」の構図の場合（Ｓ１２０６でｙｅｓ）、顔比率が７％と決定される（Ｓ１２０９）。Ｓ１２０４からＳ１２０９の各ステップにより顔比率が決定された後、Ｓ１２１０に進む。

【0077】

Ｓ１２１０でＡＺ制御部１２２は、Ｓ１２０４からＳ１２０９で決定した顔比率と、Ｓ１２０３で算出した垂直画面サイズとを乗算することで基準サイズを算出する。これは、立位姿勢の被写体（人物）を前提として、垂直方向の画面サイズに対する顔比率から基準サイズを算出する方法である。被写体検出部１２３により顔の方向が判定できる場合には、画面上での顔の上下方向に基づいて画面サイズの方向を決定してもよい。さらに、算出した基準サイズをメモリ１１８に記憶する処理が実行された後、基準サイズ設定の処理を終了する。これによって、構図設定が「顔」、「上半身」、「全身」のいずれかである場合、画面サイズに対して構図設定に応じた所定の顔比率となるサイズが基準サイズとして設定される。

【0078】

Ｓ１２０６にて構図設定が「全身」でない場合、すなわち、構図設定が「オート」であると判定された場合には、Ｓ１２１１に進み、ＡＺ制御部１２２は、撮影状態や被写体の数、被写体の動き等に応じて適切な構図を自動で判定する。図１４を参照して、Ｓ１２１１の構図設定「オート」での自動構図判定及び構図選択処理について説明する。構図設定「オート」は、撮影シーンを判別して適切な構図をカメラが自動で選択する（自動構図選択）ことによって、構図合わせをさらに簡単に行えるモードである。

【0079】

図１４は、本実施形態にて自動で選択される構図の遷移図を示す。本実施形態においては、上半身１４００、全身１４０１、顔１４０２、複数人１４０３、マニュアル１４０４という５つの構図の中から、撮影シーンに応じて適切な構図を選択する構図選択処理が行われる。構図合わせの操作において、静止画撮影時には、撮影前に瞬時に被写体像を適切な大きさとする必要がある。一方、動画撮影時には、動いている被写体を追い続けたり、静止した被写体に寄ったりする等、撮影している間は常に被写体像を適切な大きさとする必要がある。また、動画撮影時には構図の変更によるズームイン動作時やズームアウト動作時の画像データも記録されるため、適切なタイミングで構図を変更することで効果的な映像を撮影できる。このように、静止画と動画とではそれぞれに適切な構図が異なる。そこで、静止画フレーミング中１４０５と、動画記録中１４０６とで、撮影状態によって選択する構図を変更する処理が実行される。すなわち、本実施形態では第１の動作状態として静止画の撮影準備状態を例示し、第２の動作状態として動画の記録状態を例示する。静止画フレーミング中１４０５での第１の構図群に属する選択候補の構図として、上半身１４００、全身１４０１、複数人１４０３からいずれかの構図が選択される。動画記録中１４０６での第２の構図群に属する選択候補の構図としては、上半身１４００、全身１４０１、顔１４０２からいずれかの構図が選択される。つまり、上半身１４００、全身１４０１の各構図が第１の構図群と第２の構図群とで共通し、複数人１４０３の構図は第１の構図群にのみ包含され、顔１４０２の構図は第２の構図群にのみ包含される。なお、撮像装置の仕様等に応じて、３以上の動作状態と、それぞれに対応する複数の構図群（各動作状態にて選択可能な構図を含む）を設定可能である。

【0080】

ここで、撮影シーンの判定条件と、各構図の遷移について説明する。構図設定「オート」の自動構図判定処理Ｓ１２１１が開始すると、初期状態の構図として上半身１４００が設定される。上半身１４００の構図は、静止画フレーミング中１４０５もしくは動画記録中１４０６に、静止している単数の被写体を撮影するシーンであると判定された場合に選択される構図である。このようなシーンでは、被写体の上半身を画面内に収める構図とすることで適度に被写体に寄った構図とすることができる。

【0081】

上半身１４００の構図で、撮影対象の被写体の動きが検出された場合、または、カメラから被写体までの距離が所定距離Ｄ１（第１閾値）よりも大きいと判定された場合には、構図が全身１４０１に変更される。全身１４０１の構図は、静止画フレーミング中１４０５もしくは動画記録中１４０６に、動いている被写体や遠くの被写体、すなわち、被写体が画面からフレームアウトしやすい被写体を撮影するシーンであると判定された場合に選択される構図である。このようなシーンでは、被写体の全身を収める構図で被写体を追うことによって、できるだけ画面から被写体がフレームアウトしないように設定される。さらに、全身１４０１の構図で、撮影対象の被写体が所定時間以上に静止したことが検出され、かつ、カメラから被写体までの距離が所定距離Ｄ２（第２閾値）よりも小さいと判定された場合には、構図を上半身１４００に戻す処理が実行される。所定時間とは予め設定される判定用の基準時間である。

【0082】

以下、被写体の動きや静止の判定方法について説明する。被写体検出部１２３が検出した被写体の位置やサイズの変化量、または、被写体を検出している状態で揺れ検出部１２５が検出した揺れ量のうち、少なくとも一つが所定量よりも大きい場合には、撮影対象の被写体が動いていると判定される。被写体検出部１２３が検出した被写体の位置やサイズの変化量、及び、被写体を検出している状態で揺れ検出部１２５が検出した揺れ量の全てが所定量よりも小さい状態が所定時間以上続いた場合に撮影対象の被写体が静止していると判定される。検出状態の継続時間については、計時用タイマで計測されるものとする。

【0083】

さらに、カメラから被写体までの距離の算出方法について説明する。まず、基準とする焦点距離と、被写体サイズに対する被写体距離を予め計測しておき、メモリ１１８に計測データが記憶される。メモリ１１８に記憶された基準値に対して、「被写体距離＝（基準被写体距離×焦点距離×基準被写体サイズ）／（基準焦点距離×検出サイズ）」という演算を行うことで被写体距離が算出される。例えば、基準値が基準被写体距離２ｍ、基準焦点距離２４ｍｍ、基準被写体サイズ２０ｐｉｘ（ピクセル）である場合に、焦点距離１２０ｍｍで検出サイズ４０ｐｉｘの被写体像を検出した場合を想定する。この場合、被写体距離は、（２ｍ×１２０ｍｍ×２０ｐｉｘ）／（２４ｍｍ×４０ｐｉｘ）＝５ｍと算定される。

【0084】

次に画面内に複数人の被写体を検出した場合の構図について説明する。静止画フレーミング中１４０５の上半身１４００または全身１４０１の構図で、画面内に複数人の被写体が検出された場合には、構図を複数人１４０３に変更する処理が行われる。このとき、検出された被写体の数がメモリ１１８に記憶される。複数人１４０３の構図は、静止画フレーミング中１４０５に、複数の全ての被写体を所定の画角に収める集合写真の撮影シーンであると判定された場合に選択される構図である。複数人１４０３の構図の状態では、検出された被写体の数が変化したか否かの判定処理が行われる。検出された被写体の数が増加した場合には、新しい被写体が画面内に入って来たことで、即座にメモリ１１８に記憶した被写体の数が更新されて、構図の変更が行われる。一方、検出された被写体の数が減少した場合には、例えば、いずれかの被写体が横を向いたときのように、一時的に検出できない状態となる可能性がある。そのため、即座に構図を変更したのでは、検出できなくなった被写体がフレームアウトしてしまう可能性がある。そこで、被写体の数が減少した場合には、その状態が所定時間以上に亘って継続したか否かが判定される。当該状態が所定時間以上継続した場合、メモリ１１８に記憶される被写体の数が更新され、構図が変更される。さらに、被写体が一人になった場合には、構図を上半身１４００に戻す処理が実行される。

【0085】

動画記録中１４０６には、全ての被写体を画角に収める構図にすると、撮影対象以外の被写体が動き回っている場合に、その被写体に反応してズームの誤作動が発生することが懸念される。そこで、動画記録中１４０６に複数人の被写体が検出された場合でも、主被写体のみを撮影対象として、構図を上半身１４００または全身１４０１のままに維持する処理が行われる。動画記録中１４０６での上半身１４００の構図で、画面の中心付近にて顔が所定時間以上に亘って検出された場合には、構図を顔１４０２に変更する処理が行われる。顔１４０２の構図は、動画記録中１４０６に、撮影者が被写体の顔に注目しているシーンであると判定された場合に選択される構図である。このようなシーンでは、上半身よりもさらに顔に寄った構図とすることで、注目する被写体の顔をより大きなサイズで撮影できる。また、この構図変更によるズームイン動作中に、ズーム速度を通常の速度よりも、著しく低速もしくは高速に変更することで、さらに効果的な映像を撮影できる。さらに、顔１４０２の構図で、画面の周辺付近にて顔が所定時間以上に亘って検出された場合、または、撮影者がフレーミングを変更したと判定された場合には、構図を上半身１４００に戻す処理が行われる。本実施形態では、画面の周辺領域を画像の特定領域として例示し、被写体検出部１２３の検出した被写体の顔画像の位置が周辺領域である状態の継続時間を計時用タイマが計測する。また、フレーミング変更の判定方法としては、被写体検出部１２３が被写体を検出していない状態であって、かつ揺れ検出部１２５の検出した揺れ量が所定量よりも大きい場合に、撮影者がフレーミングを変更したと判定される。

【0086】

静止画フレーミング中１４０５に撮影者は、人物の顔の向きや表情が所望の状態となるまで同じ構図でシャッタチャンスを待ち続ける場合がある。この場合、顔に寄った構図とすると撮影者の意図とは違う構図となる可能性がある。したがって、静止画フレーミング中１４０５の上半身１４００の構図で、画面の中心付近にて顔が所定時間以上検出されたとしても、上半身１４００の構図を維持する処理が実行される。

【0087】

次に、動画記録の開始／終了によって撮影状態を変更する場合の構図について説明する。上半身１４００及び全身１４０１の各構図は、静止画フレーミング中１４０５や動画記録中１４０６のいずれの場合でも選択可能な構図である。したがって、それらの構図では撮影状態を変更しても元の構図が維持される。一方、複数人１４０３や顔１４０２の構図は、静止画フレーミング中１４０５や動画記録中１４０６のいずれかの場合にのみ選択される構図である。そこで、静止画フレーミング中１４０５に複数人１４０３の構図で動画記録が開始された場合や、動画記録中１４０６に顔１４０２の構図で動画記録が終了された場合に、共通の構図である上半身１４００に変更することが考えられる。しかしながら、この場合、動画記録の開始や終了と共にズーム動作が開始することで、動画の始めにズーム動作による画像が記録されたり、静止画のフレーミングで撮影者が煩わしく感じたりすることが懸念される。そこで、そのような状態で撮影状態が変更された場合には、構図を一時的にマニュアル１４０４に変更する処理が実行される。マニュアル１４０４の構図は、構図変更後に最初に検出した主被写体像の大きさを基準サイズとする構図である。したがって、撮影状態を変更しただけで直ちにズーム動作が開始することがなく、撮影者に違和感を与えない。また、被写体が動き出した場合であっても、被写体像の大きさを維持することができる。さらに、マニュアル１４０４の構図で所定時間が経過した場合、構図を上半身１４００に戻す処理が実行される。

【0088】

以上のように図１２のＳ１２１１では、構図設定が「オート」である場合に、撮影状態や被写体の数、被写体の動き等に応じて適切な構図が自動で判定される。判定後の構図を示すデータはメモリ１１８に記憶され、Ｓ１２１２に進む。

【0089】

Ｓ１２１２では、Ｓ１２１１にて判定された構図が直前の構図に対して変更されたか（図１４で選択された構図が遷移したか、または、複数人１４０３の状態で被写体数が変化したか）否かが判定される。構図が変更されている場合には、Ｓ１２１３に進み、選択された構図がマニュアル１４０４の構図であるか否かが判定される。選択された構図がマニュアル１４０４の構図である場合には、Ｓ１２０１に進み、最初に検出された被写体像の大きさを基準サイズとしてメモリ１１８に記憶する処理が実行される。選択された構図がマニュアル１４０４の構図でない場合には、Ｓ１２１５に進み、構図設定「オート」における基準サイズが算出される。Ｓ１２１２で、構図が変更されていないと判定された場合には、Ｓ１２１４に進み、被写体像が画面内で移動したか否かについて判定される。画面内での被写体像の移動量の算出方法としては、Ｓ１２１５で基準サイズが設定された後、その基準サイズとなる画角までズーム動作を行った直後の顔追尾枠の中心位置がメモリ１１８に記憶される。メモリ１１８に記憶した位置から、検出された顔追尾枠の中心位置までの距離が移動量として算出される。また、所定の周期ごとに顔追尾枠の中心位置を加算して画面内での移動量を算出してもよい。算出された移動量が所定量以上となった場合に被写体が移動したと判定される。所定量としては、検出された顔追尾枠のサイズで正規化する（顔追尾枠のサイズの所定倍とする）ことで、画面内での被写体像の大きさに依らず実際の被写体の移動量を同程度とすることができる。Ｓ１２１４で、被写体が画面内で移動していると判定された場合にはＳ１２１５に進み、構図設定「オート」における基準サイズが算出される。また、Ｓ１２１４で被写体像が画面内で移動していないと判定された場合には、基準サイズを更新することなく、基準サイズの設定処理を終了する。

【0090】

以下、図１５から図１９を参照して、構図設定「オート」における基準サイズの算出処理について説明する。構図設定が「顔」、「上半身」、「全身」のいずれかである場合には、図１２のＳ１２１０において画面サイズに対して顔が一定の比率となるように、基準サイズが算出される。つまり画面上の被写体像の位置によらずに同じ基準サイズが算出される。そのため、被写体が画面の周辺にいる場合に被写体像が大きくなる（ズームインする）ように構図を変更すると、被写体がフレームアウトしてしまう可能性がある。この方法で基準サイズを算出する場合には、撮影者が被写体を画面の中央付近にフレーミングしている必要がある。したがって、被写体を画面中央からずらして背景と一緒に撮影する場合等には適していない。また、被写体が複数である場合には別の方法で基準サイズを算出する必要がある。そこで、構図設定が「オート」の場合には、Ｓ１２１１で判定された構図に基づいて被写体像の大きさを決定するとともに、検出された被写体の位置によらず被写体が画面内に収まるように基準サイズを算出する処理が行われる。

【0091】

図１５は、複数の被写体のうちで最も画面周辺にいる被写体の位置と、画面サイズとの関係を示す図である。図１５（Ａ）及び（Ｂ）は静止画撮影の画面例を示し、図１５（Ｃ）は動画撮影の画面例を示しており、複数人の被写体を例示する。また、図１６は構図設定「オート」における基準サイズの算出処理の全体を示すフローチャートである。
まず図１６のＳ１６００にて、水平方向の被写体位置比率Ｒｈを算出する処理が実行される。水平方向の被写体位置比率Ｒｈとは、水平方向の画面サイズに対する所定の割合に対して、画面中央から最も周辺にいる被写体の肩部付近の水平位置（以下、肩位置といい、Ｘｓｍａｘと記す）までの距離×２が占める割合である。所定の割合とは、例えば、水平方向の画面サイズの８０％または９０％であり、後述するＳ１７０３での水平方向の並び人数に応じて変更される。図１５（Ａ）では被写体１５００ａ，１５０１ａ，１５０２ａのうち、水平方向にて画面中央から最も周辺にいる被写体は被写体１５００ａである。図１７のフローチャートを参照して、水平方向の被写体位置比率Ｒｈの算出処理について説明する。

【0092】

Ｓ１７００では、被写体の顔追尾枠の中心位置やサイズに基づき、被写体の肩位置（Ｘｓと記す）が算定される。画面中央を原点（０，０）とし、顔追尾枠の中心位置を（Ｘｃ，Ｙｃ）とし、顔追尾枠のサイズをＳとする。顔追尾枠の中心位置から肩位置までの距離に占める顔追尾枠の個数をＮｓとして、「Ｘｓ＝｜Ｘｃ｜＋Ｓ×Ｎｓ」により、画面周辺側の肩位置Ｘｓを算出できる。図１９にＮｓの設定例を示す。Ｎｓの値は、図１２のＳ１２１１で判定された構図にしたがって変更される。例えば、顔１４０２の構図の場合、Ｎｓ＝１（この場合は肩位置ではなく耳付近の水平位置）が設定される。それ以外（「上半身」、「全身」、「複数人」）の場合、Ｎｓ＝２が設定される。

【0093】

被写体の肩位置Ｘｓの算出後、Ｓ１７０１に進む。Ｓ１７０１では、メモリ１１８に肩位置の最大値Ｘｓｍａｘが記憶されていない場合に、Ｓ１７００で算出した肩位置Ｘｓが最大肩位置Ｘｓｍａｘとして記憶される。またメモリ１１８に最大肩位置Ｘｓｍａｘが記憶されている場合には、Ｓ１７００で算出した肩位置Ｘｓと最大肩位置Ｘｓｍａｘとが比較される。肩位置Ｘｓが最大肩位置Ｘｓｍａｘよりも大きい場合には、メモリ１１８の最大肩位置Ｘｓｍａｘを肩位置Ｘｓで更新する処理が実行される。最大肩位置Ｘｓｍａｘの更新処理の後、Ｓ１７０２に進む。Ｓ１７０２では、全ての被写体に対して肩位置Ｘｓを算出して最大肩位置Ｘｓｍａｘを更新する処理が終了したか否かについて判定される。肩位置Ｘｓの算出及び最大肩位置Ｘｓｍａｘの更新が終了していない場合、Ｓ１７００に戻る。全ての被写体に対して最大肩位置Ｘｓｍａｘの判定が終了し、最大肩位置Ｘｓｍａｘの更新が終了した場合には、Ｓ１７０３に進む。

【0094】

Ｓ１７０３では、水平方向に被写体が並んでいる人数（水平方向の並び人数）の判定処理が行われる。これは、集合写真のように被写体が多い場合には、画面一杯に被写体が入る構図とし、被写体が少ない場合には、画面周辺に余白を残した構図とすることを目的とする。また、水平方向の並び人数のカウント方法としては、垂直方向（画面上下方向）に顔追尾枠が重なっている場合には、重なっている被写体を合わせて一人として計数される。例えば、画面内に四人の被写体が検出され、そのうちの二人の顔追尾枠が画面上下に重なっている場合には三人として計数される。Ｓ１７０３にて水平方向の並び人数が閾値（例えば二人）と比較される。水平方向の並び人数が二人以下と判定された場合にはＳ１７０４に進み、三人以上と判定された場合にはＳ１７０５に進む。Ｓ１７０４及びＳ１７０５では、水平方向の被写体位置比率Ｒｈがそれぞれ算出される。Ｓ１７０４での水平方向被写体位置比率Ｒｈは、水平画面サイズの８０％に対する最大肩位置Ｘｓｍａｘ×２の比率として算出される。またＳ１７０５での水平方向被写体位置比率Ｒｈは、水平画面サイズの９０％に対する最大肩位置Ｘｓｍａｘ×２の比率として算出される。Ｓ１７０４またはＳ１７０５の後、被写体位置比率Ｒｈの算出処理を終了する。

【0095】

次に図１６のＳ１６０１にて、垂直方向の被写体位置比率Ｒｖを算出する処理が実行される。垂直方向の被写体位置比率Ｒｖとは、垂直方向の画面サイズの所定の割合に対して、画面中央から最も周辺の被写体の頭部の垂直位置（以下、頭位置という）、または身体部の垂直位置（以下、身体位置という）までの距離×２が占める割合である。所定の割合は、例えば、垂直方向の画面サイズの９０％である。以下では、画面中央から最も周辺の被写体の頭位置をＹｈｍａｘと記し、画面中央から最も周辺の被写体の身体位置をＹｂｍｉｎと記すことにする。図１５（Ｂ）では被写体１５００ｂ，１５０１ｂ，１５０２ｂのうち、垂直方向にて画面中央から最も周辺に頭部がある被写体は被写体１５００ｂであり、また画面中央から最も周辺の身体位置の被写体は被写体１５０１ｂである。図１８のフローチャートを参照して、垂直方向の被写体位置比率Ｒｖの算出処理について説明する。

【0096】

図１８のＳ１８００では、被写体の顔追尾枠の中心位置やサイズに基づいて、被写体の頭位置（Ｙｈと記す）が算出される。「Ｙｈ＝Ｙｃ＋Ｓ×Ｎｈ」により頭位置Ｙｈを算出できる。Ｎｈは、顔追尾枠の中心位置から頭位置までの距離に占める顔追尾枠の個数である。図１９にＮｈの設定例を示す。Ｎｈの値については、図１２のＳ１２１１で判定された構図によらず、Ｎｈ＝１．５で設定される。被写体の頭位置Ｙｈの算出後にＳ１８０１に進む。

【0097】

Ｓ１８０１では、メモリ１１８に頭位置の最大値Ｙｈｍａｘが記憶されていない場合に、Ｓ１８００で算出された頭位置Ｙｈを最大頭位置Ｙｈｍａｘとして記憶する処理が実行される。またメモリ１１８に最大頭位置Ｙｈｍａｘが記憶されている場合には、Ｓ１８００で算出された頭位置Ｙｈと最大頭位置Ｙｈｍａｘとが比較される。頭位置Ｙｈが最大頭位置Ｙｈｍａｘよりも大きい場合には、メモリ１１８の最大頭位置Ｙｈｍａｘを頭位置Ｙｈで更新する処理が行われる。更新処理後にＳ１８０２へ進む。

【0098】

次のＳ１８０２では、被写体の顔追尾枠の中心位置やサイズに基づいて、被写体の身体位置（Ｙｂと記す）が算出される。「Ｙｂ＝Ｙｃ－Ｓ×Ｎｂ」により身体位置Ｙｂを算出できる。Ｎｂは、顔追尾枠の中心位置から身体位置までの距離に占める顔追尾枠の個数である。図１９にＮｂの設定例を示す。Ｎｂの値については、図１２のＳ１２１１で判定された構図に応じて変更される。例えば、顔１４０２の構図の場合にはＮｂ＝１．５が設定される。上半身１４００の構図の場合にはＮｂ＝５、全身１４０１の構図の場合にはＮｂ＝１０、複数人１４０３の構図の場合にはＮｂ＝３．５がそれぞれ設定される。この設定は、各構図にて画面中央で、顔１４０２では胸、上半身１４００では腰下、全身１４０１では足、複数人１４０３では腰上付近の位置となる設定である。被写体の身体位置Ｙｂの算出後、Ｓ１８０３に進む。

【0099】

Ｓ１８０３では、メモリ１１８に身体位置の最小値Ｙｂｍｉｎが記憶されていない場合に、Ｓ１８０２で算出された身体位置Ｙｂを最小身体位置Ｙｂｍｉｎとして記憶する処理が実行される。またメモリ１１８に最小身体位置Ｙｂｍｉｎが記憶されている場合には、Ｓ１８０２で算出された身体位置Ｙｂと最小身体位置Ｙｂｍｉｎとが比較される。身体位置Ｙｂが最小身体位置Ｙｂｍｉｎよりも小さい場合には、メモリ１１８の最小身体位置Ｙｂｍｉｎを身体位置Ｙｂで更新する処理が行われる。更新処理後にＳ１８０４へ進む。

【0100】

Ｓ１８０４では、全ての被写体に対して頭位置Ｙｈ及び身体位置Ｙｂが算出されて、最大頭位置Ｙｈｍａｘ及び最小身体位置Ｙｂｍｉｎを更新する処理が終了したか否かについて判定される。最大頭位置Ｙｈｍａｘ及び最小身体位置Ｙｂｍｉｎの更新が終了していない場合には、Ｓ１８００に戻る。全ての被写体に対して最大頭位置Ｙｈｍａｘ及び最小身体位置Ｙｂｍｉｎの判定が終了し、最大頭位置Ｙｈｍａｘ及び最小身体位置Ｙｂｍｉｎの更新が終了した場合には、Ｓ１８０５に進む。Ｓ１８０５では最大頭位置Ｙｈｍａｘの絶対値と、最小身体位置Ｙｂｍｉｎの絶対値とが比較され、どちらがより画面周辺に位置するかを判定する処理が行われる。最大頭位置Ｙｈｍａｘの方がより画面周辺に位置すると判定された場合には、Ｓ１８０６に進む。また、最小身体位置Ｙｂｍｉｎの方がより画面周辺に位置すると判定された場合には、Ｓ１８０７に進む。Ｓ１８０６及びＳ１８０７では、垂直方向の被写体位置比率Ｒｖがそれぞれ算出される。Ｓ１８０６での垂直方向被写体位置比率Ｒｖは、垂直画面サイズの９０％に対する最大頭位置Ｙｈｍａｘの絶対値×２の比率として算出される。またＳ１８０７での垂直方向被写体位置比率Ｒｖは、垂直画面サイズの９０％に対する最小身体位置Ｙｂｍｉｎの絶対値×２の比率として算出される。Ｓ１８０６またはＳ１８０７の後、垂直方向被写体位置比率Ｒｖの算出処理を終了する。

【0101】

続いて図１６のＳ１６０２にて、水平方向の被写体位置比率Ｒｈと、垂直方向の被写体位置比率Ｒｖとが比較される。これによって、各方向の画面サイズの所定比率に対して、画面中央から被写体の各位置までの距離の比率のうちで、最も比率が大きい位置、すなわち、最も画面周辺となる位置を判定することができる。各位置とは、最大肩位置Ｘｓｍａｘ、最大頭位置Ｙｈｍａｘ、最小身体位置Ｙｂｍｉｎである。水平方向被写体位置比率Ｒｈが垂直方向の被写体位置比率Ｒｖより大きいと判定された場合には、Ｓ１６０３に進み、水平方向被写体位置比率Ｒｈが垂直方向の被写体位置比率Ｒｖ以下であると判定された場合には、Ｓ１６０４に進む。Ｓ１６０３及びＳ１６０４では、主被写体の検出サイズと、Ｓ１６０２で判定した最も画面周辺となる被写体位置の比率に基づいて、基準サイズを算出する処理が実行される。基準サイズは、Ｓ１６０３にて「検出サイズ／水平方向被写体位置比率Ｒｈ」により算出され、Ｓ１６０４にて「検出サイズ／垂直方向被写体位置比率Ｒｖ」により算出される。すなわち、Ｓ１６０３では、主被写体像がそのサイズに「１／水平方向被写体位置比率Ｒｈ」を乗算した基準サイズとなるようにズーム動作が実行される。Ｓ１６０４では、主被写体像がそのサイズに「１／垂直方向被写体位置比率Ｒｖ」を乗算した基準サイズとなるようにズーム動作が実行される。こうすることで、画面内の被写体をフレームアウトさせることなく、Ｓ１２１１で判定された構図に基づく画角に設定できる。

【0102】

図１２のＳ１２１５では、構図設定が「オート」の場合、Ｓ１２１１で判定された構図に基づいて水平方向及び垂直方向で最も画面周辺となる被写体位置が判定され、その位置が画面に収まるように基準サイズが算出される。これによって、被写体像が画面内のどの位置であったとしても、フレームアウトすることなく被写体を適切な画角に収めることができる。また、被写体の数が単数である場合でも複数である場合でも、同じ処理によって基準サイズが算出可能となる。なお、本実施形態では、被写体として立位姿勢の人物を前提に、基準サイズを算出する画面サイズの方向を決定した。これに限らず、被写体検出部１２３が顔の方向を判定できる場合には、画面上での顔の上下方向に基づいて画面サイズの方向を決定してもよい。さらに、被写体が人物である場合の構図判定や基準サイズの算出例を説明したが、被写体が物体である場合にも適用できる。ただし、この場合には、選択される構図は「顔」、「上半身」、「全身」、「複数人」の代わりに、「大」、「中」、「小」、「複数」とする。それらに応じて被写体位置を算定する場合のモノ追尾枠の個数（人物の場合のＮｓ，Ｎｈ，Ｎｂに相当）を設定してもよい。

【0103】

図１２に示す基準サイズ設定処理が終了すると、図７のＳ７０４に処理を進める。Ｓ７０４でＡＺ制御部１２２は、被写体検出部１２３により検出された被写体情報やメモリ１１８に記憶された基準サイズに基づいてオートズーム制御を行う。オートズーム制御については、図２０を用いて後述する。オートズーム制御の終了後、Ｓ７０５に進み、ＡＺ制御部１２２は、撮影者による被写体探索指示を判定する。つまり、撮影者が操作部１１７の被写体探索ボタンを押下したか否かについて判定される。被写体探索ボタンが押下された場合には、Ｓ７０１に戻り、被写体探索処理が実行される。また、被写体探索ボタンが押下されていない場合には、Ｓ７０６に進む。Ｓ７０６では、操作部１１７のタッチパネルや被写体指定用スイッチ等の操作によって、オートズームの対象とする被写体が変更されたか否かについて判定される。被写体が変更された場合には、Ｓ７０２に戻って被写体指定処理が実行される。また、被写体が変更されていない場合には、Ｓ７０７に進む。

【0104】

Ｓ７０７では、撮影画面から操作部１１７の左右ボタンの操作によって構図設定が変更されたか否かについて判定される。構図設定が変更された場合には、メモリ１１８に記憶されている構図設定のデータが更新された後、Ｓ７０３に戻って基準サイズ設定処理が実行される。また、構図設定が変更されていない場合には、Ｓ７０８に進む。Ｓ７０８では、操作部１１７のオートズーム操作スイッチが押下されたか否かについて判定される。オートズーム操作スイッチが押下されたと判定された場合、オートズーム機能を終了する。また、オートズーム操作スイッチが押下されていないと判定された場合、Ｓ７０９に進む。Ｓ７０９は、メモリ１１８に記憶されている構図設定が「オート」であるか否かの判定処理である。構図設定が「オート」である場合には、Ｓ７０３に戻って自動構図判定を含む基準サイズの設定処理が実行される。また、構図設定が「オート」以外である場合には、Ｓ７０４に戻ってオートズーム制御が継続する。

【0105】

次に図２０のフローチャートを参照して、Ｓ７０４のオートズーム制御の処理について説明する。まず、Ｓ２０００にてＡＺ制御部１２２は、被写体検出部１２３により被写体が検出されたか否かを判定する。Ｓ２０００で被写体が検出されなかった場合にはオートズーム制御を終了する。Ｓ２０００で被写体が検出された場合にはＳ２００１へ進む。Ｓ２００１からＳ２００３の各ステップに示す判定は、フレームアウト防止制御のためのオートズームの開始判定処理である。すなわち、この処理は、図３及び図４で説明したように、被写体が画面の外にフレームアウトすることを防止するために行われる。Ｓ２００１でＡＺ制御部１２２は、追尾対象とする被写体に係る被写体追尾枠が、ＺＯ領域に進入したか否かを判定する。このＺＯ領域は、図３（Ａ）、図４（Ａ）～（Ｃ）で説明したＺＯ領域に相当する。Ｓ２００１にて被写体追尾枠がＺＯ領域に進入した場合、すなわち、被写体がフレームアウトする可能性が高い場合、Ｓ２００４に進み、ズームアウト動作を開始する。ここでのズームアウト動作は、フレームアウト防止制御用のズームアウト動作に相当する。ズームアウト動作の後、オートズーム制御を終了する。

【0106】

一方、Ｓ２００１にて被写体追尾枠がＺＯ領域に進入していない場合、すなわち、画面中央付近でカメラが被写体を捉えている場合、Ｓ２００２に進む。Ｓ２００２では、直前のズーム動作がＳ２００１でＺＯ領域に進入したことによるズームアウト動作であるか否か、すなわち、フレームアウト防止制御用のズームアウト動作であるか否かが判定される。Ｓ２００２でフレームアウト防止制御用のズームアウト動作後であると判定された場合、Ｓ２００３に進む。また、Ｓ２００２でフレームアウト防止制御用のズームアウト動作後でないと判定された場合、Ｓ２００６に進む。

【0107】

Ｓ２００３にてＡＺ制御部１２２は、追尾対象とする被写体に係る被写体追尾枠がＺＩ領域の内部に収まっているか否か（包含されているか否か）を判定する。ここでのＺＩ領域は、図３（Ｂ）、図４（Ａ）～（Ｃ）で説明したＺＩ領域に相当する。Ｓ２００３にて被写体追尾枠がＺＩ領域に収まっていないと判定された場合、オートズーム制御処理を終了する。一方、被写体追尾枠がＺＩ領域に収まっていると判定された場合、Ｓ２００５に進む。すなわち、画面中央付近であって、かつズーム戻り位置の画角内の被写体サイズとなるようにカメラが被写体を捉えている場合、Ｓ２００５でズームイン動作を開始する。ここでのズームイン動作は、フレームアウト防止制御用のズームイン動作に相当する。ズームイン動作の後、オートズーム制御を終了する。

【0108】

本実施形態では、オートズームにおけるフレームアウト防止制御とサイズ保持制御を両立させるために、まずフレームアウト防止制御により被写体を画面中央付近に捉えたうえで、サイズ保持制御を実行できるようにする。そのため、フレームアウト防止制御用のズームアウト動作後の状態では、以降で説明する被写体サイズを一定に維持する（サイズ保持制御の）オートズーム処理（以下のＳ２００６～Ｓ２０１０）を行わないようにしている。換言すると、フレームアウト防止制御が行われた場合には、フレームアウト防止制御用のズームイン動作が完了するまでサイズ保持制御の実行が制限される。

【0109】

次に、Ｓ２００６～Ｓ２０１０の各処理を説明する。Ｓ２００２でフレームアウト防止制御用のズームアウト動作後でないと判断された場合、Ｓ２００６に進み、ＡＺ制御部１２２は、被写体の検出サイズと、基準サイズに所定倍率（Ｎ１と記し、Ｎ１＞１とする）を乗算したサイズとを比較する。図１２のＳ１２０２やＳ１２１０、Ｓ１２１５で設定される基準被写体情報の被写体サイズと、Ｓ２０００にて検出された被写体サイズとが比較される。Ｓ２０００にて検出された被写体のサイズが、基準被写体のサイズに対してＮ１倍より大きい場合、すなわち被写体像が画面に占める比率が所定値を超える場合、Ｓ２００９に進む。Ｓ２００９でＡＺ制御部１２２は、ズームアウト動作を開始する。ここでのズームアウト動作は、サイズ保持制御用のズームアウト動作に相当する。ズームアウト動作の後、オートズーム制御を終了する。

【0110】

一方、Ｓ２００６において、Ｓ２０００で検出された被写体のサイズが、基準被写体のサイズに対してＮ１倍以下である場合、Ｓ２００７に進む。Ｓ２００７でＡＺ制御部１２２は、基準被写体情報の被写体サイズと、Ｓ２０００にて検出された被写体のサイズとを比較する。検出された被写体のサイズが、基準被写体のサイズに対して所定倍率（Ｎ２と記し、Ｎ２＜１とする）より小さい場合（Ｎ２倍未満の場合）、すなわち被写体像が画面に占める比率が所定値未満である場合、Ｓ２００８に進む。一方、検出された被写体のサイズが、基準被写体のサイズに対してＮ２倍以上である場合、オートズーム制御を終了する。

【0111】

Ｓ２００８にてＡＺ制御部１２２は、追尾対象とする被写体に係る被写体追尾枠がＺＩ領域の内部に収まっているか否か（包含されているか否か）を判定する。これは、被写体が画面の周辺にいる場合にズームイン動作によってフレームアウトしてしまうことを防ぐためである。ここでのＺＩ領域は、図５（Ｅ）で説明したＺＩ領域に相当する。Ｓ２００８で被写体追尾枠がＺＩ領域に収まっていないと判定された場合、オートズーム制御を終了する。

【0112】

一方、Ｓ２００８で被写体追尾枠がＺＩ領域に収まっていると判定された場合、Ｓ２０１０に進む。Ｓ２０１０にてＡＺ制御部１２２は、ズームイン動作を開始する。ここでのズームイン動作は、サイズ保持制御用のズームイン動作に相当する。このように、本実施形態では、サイズ保持制御用のズームイン動作においても被写体のフレームアウトを防ぐために、被写体像がＺＩ領域の内部に収まってからズームイン動作を開始する。ズームイン動作の後、オートズーム制御を終了する。

【0113】

次に、図２１を参照してズーム動作について説明する。図２１は、図２０のＳ２００４、Ｓ２００５、Ｓ２００９、Ｓ２０１０でのズームアウト動作またはズームイン動作を説明するフローチャートである。まずＳ２１００において、ＡＺ制御部１２２は、メモリ１１８からズーム変化量（ズーム倍率の変化量）を取得する。フレームアウト防止制御用のズームアウト動作の場合、ズームアウト変化量は検出された被写体情報に応じて設定される。具体的には、フレームアウト防止制御用のズームアウト動作（図２０のＳ２００４）では、被写体のサイズが小さいほどズームアウト変化量が小さく設定される。それにより、ズームアウト動作によって被写体のサイズが小さくなりすぎるために被写体が検出できなくなるのを防ぐことができる。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウト動作を行わないようにしてもよい。また、フレームアウト防止制御用のズームイン動作では、ズームアウト動作の開始前のズーム倍率がメモリ１１８に記憶され、ズームアウト動作の開始前と同じズーム倍率となるようにズームイン変化量が設定される。

【0114】

また、サイズ保持制御用のズームアウト動作（図２０のＳ２００９）においては、Ｓ２００６の判定に用いる所定のＮ１倍に対応するズームアウト変化量（１／Ｎ１倍）が設定される。それにより、被写体が検出できない場合でも、被写体のサイズが基準被写体のサイズとなるまでの最低限のズームアウト動作を行うことができる。サイズ保持制御用のズームイン動作（図２０のＳ２０１０）の場合にも同様に、Ｓ２００７の判定に用いる所定のＮ２倍に対応するズームイン変化量（１／Ｎ２倍）が設定される。

【0115】

Ｓ２１０１でＡＺ制御部１２２は、Ｓ２１００にて取得したズーム変化量をＣＺ制御部１１９または電子ズーム制御部１２０に設定し、変倍処理を行うように指示する。次のＳ２１０２でＡＺ制御部１２２は、フレームアウト防止制御用とサイズ保持制御用のうちの、いずれのズーム動作中であるかを判定する。現時点でのズーム動作がフレームアウト防止制御用のズーム動作である場合（図２０のＳ２００４、Ｓ２００５）にはＳ２１０５に進む。また、現時点でのズーム動作がサイズ保持制御用のズーム動作である場合（図２０のＳ２００９、Ｓ２０１０）にはＳ２１０３に進む。

【0116】

Ｓ２１０３でＡＺ制御部１２２は、被写体検出部１２３によって被写体が検出されているか否かを判定する。被写体が検出されている場合にはＳ２１０４に進み、被写体が検出されていない場合にはＳ２１０５に進む。Ｓ２１０４では、基準被写体情報の示す被写体のサイズと、Ｓ２１０３で検出された被写体のサイズとが比較される。比較の結果、Ｓ２１０３にて検出された被写体のサイズと、基準被写体のサイズとが所定比率の範囲内（所定の変化量以内）に収まらない場合には、再度Ｓ２１０２に進み、ズーム動作の判定を継続する。ズーム動作によって、Ｓ２１０３にて検出された被写体のサイズと、基準被写体のサイズとが、所定比率の範囲内となった場合には、Ｓ２１０６に進む。Ｓ２１０６でＡＺ制御部１２２はズーム動作を停止した後、ズーム動作処理を終了する。

【0117】

Ｓ２１０２にて、フレームアウト防止制御用のズーム動作中と判定された場合、または、サイズ保持制御用のズーム動作中でＳ２１０３にて被写体が検出されない場合にはＳ２１０５に進む。Ｓ２１０５にてＡＺ制御部１２２は、Ｓ２１００で取得したズーム変化量に基づき、各ズーム動作に応じた所定量分のズーム変化量に相当する変倍処理を行ったか否かを判定する。所定のズーム変化量の変倍処理が行われていない場合には、再度Ｓ２１０２に戻って処理を継続する。また所定のズーム変化量の変倍処理が行われた場合には、Ｓ２１０６に進み、ＡＺ制御部１２２は動作中のズームを停止してズーム動作処理を終了する。

【0118】

本実施形態では、被写体の動きや数、被写体の検出時間、カメラから被写体までの距離等によって撮影シーンを判別し、判別されたシーンに応じて適切な構図をカメラが自動で選択する。構図選択処理により選択された構図に基づき、被写体像の基準サイズを設定する処理が行われて、検出した被写体の画像が基準サイズとなるようにズーム動作が実行される。本実施形態によれば、撮影者が構図を選択することなく、カメラの検出情報に基づいて判定した撮影シーンに応じて適切な構図となるようにオートズーム制御を行うことができる。

【0119】

（第２の実施形態）
次に、図２２を参照して本発明の第２の実施形態について説明する。図２２は、図１２の構図設定「オート」の自動構図判定処理Ｓ１２１１において、図１４とは別の構図の遷移図の例を示している。なお、図１４と共通する構図は同一の符号を付し、その詳細な説明は省略する。

【0120】

第１の実施形態においては、撮影者とは異なる人物を被写体として撮影する場合に、撮影シーンを判別する例について説明した。このときのモードを便宜的に通常モードと呼ぶ。また、カメラを撮影者自身に向けて、撮影者自身を含めた一人乃至複数の人物を被写体として撮影する場合がある。このような撮影に適したモードを自分撮りモードと呼ぶ。自分撮りモードでは、オートズーム制御によって自分撮りに適した画角に調整するとともに、背景ぼかし効果や美肌フィルタ効果などを適用させることで効果的な人物撮影を行うことが可能である。
構図合わせの操作においては、通常モード時には、被写体が静止しているか、動いているかに応じて被写体像を適切な大きさとすることが必要である。一方、自分撮りモード時には、静止している被写体であっても、カメラを手持ちで撮影しているか、置いて撮影しているかによって適切な大きさを変更する必要がある。例えば、手持ちで撮影する場合には顔を画角に大きく収めるように撮影し、カメラを置いて撮影する場合には全身を画角に収めるように撮影する。このように、通常モードでの撮影と自分撮りモードでの撮影ではそれぞれに適切な構図が異なる。
そこで、本実施形態では、図２２の通常モード２２００と自分撮りモード２２０１とで、選択する構図を変更する処理が実行される。すなわち、第１のモードとして通常モードを例示し、第２のモードとして自分撮りモードを例示する。通常モード２２００での第１の構図群に属する選択候補の構図として、上半身１４００、全身１４０１、複数人１４０３からいずれかの構図が選択される。自分撮りモード２２０１での第２の構図群に属する選択候補の構図としては、自分撮り顔２２０２、自分撮り全身２２０３からいずれかの構図が選択される。

【0121】

ここで、撮影シーンの判定条件と、各構図の遷移について説明する。構図設定「オート」の自動構図判定処理Ｓ１２１１が開始すると、初期状態の構図として上半身１４００が設定される。モードが通常モード２２００の場合には、図１４の静止画フレーミング中１４０５と同じ遷移であるため、説明を省略する。
モードが通常モード２２００から自分撮りモード２２０１に変更されると、揺れ検出部１２５は、ジャイロセンサ等に加わる振れ量を元にカメラが手持ち状態であるかどうかを判定する。自分撮りモード２２０１に変更され、かつ、振れ量が所定量以上でカメラが手持ちであると判定された場合には、構図を自分撮り顔２２０２に変更する。自分撮り顔２２０２の構図は、手持ちで自分の顔をアップにして撮影する場合の構図である。また、撮影者を含めた複数人で撮影する場合にも、全ての被写体の顔ができるだけ大きく画角に収まるようにズームを調整する。

【0122】

自分撮りモード２２０１の場合には、被写体が撮影者のみであっても複数人であっても同じ構図が選択される。すなわち、図１９で示す被写体位置推定顔個数を同じ値に設定する。被写体位置推定顔個数とは、前述のように図１２の構図設定「オート」の基準サイズ算出処理Ｓ１２１５において、被写体の肩位置Ｘｓ、頭位置Ｙｈ、身体位置Ｙｂを推定するための顔追尾枠の中心位置からの追尾枠の数（Ｎｓ、Ｎｈ、Ｎｂ）である。特に、肩位置まで追尾枠数Ｎｓと、身体位置までの追尾枠数Ｎｂが選択される構図によって異なることで、当該構図となるような基準サイズが算出される。第１の実施形態では、一人の被写体を「顔」の構図で撮影する場合、顔追尾枠の中心位置（Ｘｃ，Ｙｃ）からの追尾枠の数を肩位置Ｎｓ＝１、身体位置Ｎｂ＝１．５として、被写体の耳や胸付近までを画角に収める範囲とする基準サイズを算出した。また、複数の被写体を「複数人」の構図で撮影する場合、顔追尾枠の中心位置（Ｘｃ，Ｙｃ）からの追尾枠の数を肩位置Ｎｓ＝２、身体位置Ｎｂ＝３．５として、全ての被写体の肩や腰付近までを画角に収める範囲とする基準サイズを算出した。一方、自分撮り顔２２０２の場合には、被写体の数によらず「顔」と同じ追尾枠数である肩位置Ｎｓ＝１、身体位置Ｎｂ＝１．５が設定される。これによって、全ての被写体の耳や胸付近までを画角に収める範囲とする基準サイズが算出され、手持ちでの自分撮り撮影を行うのに適した画角にズームが調整される。

【0123】

自分撮り顔２２０２に変更されると、検出された被写体の数がメモリ１１８に記憶される。自分撮り顔２２０２の構図の状態では、検出された被写体の数が変化したか否かの判定処理が行われる。検出された被写体の数が増加した場合には、即座にメモリ１１８に記憶した被写体の数が更新されて、基準サイズの変更が行われる。被写体の数が減少した場合には、当該状態が所定時間以上継続した場合、メモリ１１８に記憶される被写体の数が更新され、構図が変更される。これは、複数人１４０３の場合と同様に被写体が横を向くなどして一時的に検出できない場合に、即座に構図を変更することで被写体がフレームアウトしてしまうことを防止するためである。

【0124】

モードが通常モード２２００から自分撮りモード２２０１に変更されると、揺れ検出部１２５は、ジャイロセンサ等に加わる振れ量を元に、カメラが机の上などに置かれている（固定されている）状態であるかどうかを判定する。自分撮りモード２２０１に変更され、かつ、振れ量が所定量未満でカメラが置かれていると判定された場合には、構図を自分撮り全身２２０３に変更する。自分撮り全身２２０３の構図は、カメラを置いて自分の全身を撮影する場合の構図である。また、撮影者を含めた複数人を撮影する場合には、全ての被写体の全身が画角に収まるようにズームを調整する。自分撮り全身２２０３の場合には、被写体の数によらず「全身」と同じ追尾枠数である肩位置Ｎｓ＝２、身体位置Ｎｂ＝１０が設定される。これによって、全ての被写体の肩や足までが画角に収める範囲とする基準サイズが算出され、カメラを置いた状態での自分撮り撮影を行うのに適した画角にズームが調整される。自分撮り全身２２０３に変更されると、検出された被写体の数がメモリ１１８に記憶される。自分撮り全身２２０３においても自分撮り顔２２０２と同様に、被写体の数が変化すると、メモリ１１８に記憶される被写体の数が更新され、基準サイズが変更される。

【0125】

本実施形態では、設定されたモードに応じて判別する撮影シーンを変更し、モードごとにより適切な構図をカメラが自動で選択する。また、本実施形態では１つのモードで複数の構図の選択候補から適切な構図を選択する場合について例示したが、モードによっては１つの構図だけが選択候補であってもよい。さらに、モードとして通常モードと自分撮りモードの場合について例示したが、このモードに限らない。例えば、通常モードと自分撮りモードの他に、スポーツモードでは競技者の「全身」の構図が選択される実施形態や、ベビーモードでは赤ちゃんの「顔」の構図が選択される実施形態などであってもよい。
本実施形態によれば、撮影者が構図を選択することなく、設定されたモードとカメラの検出情報に基づいて判定した撮影シーンに応じて適切な構図となるようにオートズーム制御を行うことができる。

【0126】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0127】

１００ デジタルカメラ
１０２ ズームレンズ
１０９ 表示部
１１３ ズームレンズ駆動部
１１７ 操作部
１１８ メモリ
１１９ ＣＺ制御部
１２０ 電子ズーム制御部
１２２ オートズーム制御部
１２３ 被写体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】