特許 7383438 撮像制御装置、撮像装置、及び撮像制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-10

(45)【発行日】2023-11-20

(54)【発明の名称】撮像制御装置、撮像装置、及び撮像制御方法

(51)【国際特許分類】

   H04N 23/695 20230101AFI20231113BHJP

   H04N 23/611 20230101ALI20231113BHJP

   H04N 23/69 20230101ALI20231113BHJP

   G03B 15/00 20210101ALI20231113BHJP

   G02B 7/04 20210101ALI20231113BHJP

   G02B 7/08 20210101ALI20231113BHJP

   G03B 17/56 20210101ALI20231113BHJP

【ＦＩ】

H04N23/695

H04N23/611

H04N23/69

G03B15/00 S

G03B15/00 Q

G02B7/04 E

G02B7/08 C

G03B17/56 A

【請求項の数】 25

(21)【出願番号】P 2019176642

(22)【出願日】2019-09-27

(65)【公開番号】P2021057660

(43)【公開日】2021-04-08

【審査請求日】2022-09-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】加々谷 宗亮

(72)【発明者】

【氏名】若松 伸茂

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２００６－２２９３２２（ＪＰ，Ａ）

【文献】特開２００７－２０８４５３（ＪＰ，Ａ）

【文献】特開２０１７－０７９４０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／６９

Ｇ０３Ｂ １５／００

Ｇ０２Ｂ ７／０４

Ｇ０２Ｂ ７／０８

Ｇ０３Ｂ １７／５６

(57)【特許請求の範囲】

【請求項1】

撮影光学系からの光に基づいて画像データを取得する撮像手段から前記画像データを取得し、当該画像データから検出した被写体の向きを検出する検出手段と、
前記撮像手段の回転駆動を制御することで前記撮像手段の撮影方向を制御する制御手段と、を備え、
前記制御手段は、
前記検出手段により検出された前記被写体の向きに応じて、前記撮像手段の撮像範囲における当該被写体の位置が変わり、
前記被写体が正面を向いている場合よりも、前記被写体が第１の方向を向いている場合のほうが、前記第１の方向側の撮像範囲の端と、前記被写体との距離が長くなるように、前記撮像手段の撮影方向を制御し、
前記検出手段により、少なくとも１つの被写体が検出されている場合に、ズームアウトして、前記画像データから検出されていない被写体を探索する探索処理を実行することを特徴とする撮像制御装置。

【請求項2】

前記制御手段は、
前記探索処理において、前記検出手段により検出された被写体のサイズに基づいて現在のズーム位置よりも広角側に位置する探索ズーム位置を取得し、
前記探索ズーム位置に基づいてズーム位置を制御することを特徴とする請求項１項に記載の撮像制御装置。

【請求項3】

撮影光学系からの光に基づいて画像データを取得する撮像手段から前記画像データを取得し、当該画像データから検出した被写体の向きを検出する検出手段と、
前記撮像手段の回転駆動を制御することで前記撮像手段の撮影方向を制御する制御手段と、を備え、
前記制御手段は、
前記検出手段により検出された前記被写体の向きに応じて、前記撮像手段の撮像範囲における当該被写体の位置が変わり、
前記被写体が正面を向いている場合よりも、前記被写体が第１の方向を向いている場合のほうが、前記第１の方向側の撮像範囲の端と、前記被写体との距離が長くなるように、前記撮像手段の撮影方向を制御し、
前記検出手段により検出された被写体のサイズに基づいて、探索ズーム位置を取得し、
前記探索ズーム位置に基づいてズーム位置を制御することで、前記画像データから検出されていない被写体を探索するための探索処理を実行可能であることを特徴とする撮像制御装置。

【請求項4】

前記探索ズーム位置は、前記検出手段により検出された被写体が検出可能な範囲で最大の画角となるズーム位置であることを特徴とする請求項２または３に記載の撮像制御装置。

【請求項5】

前記制御手段は、
前記検出手段により被写体の向きが検出された場合、前記検出された被写体の向きに応じて前記撮影方向を制御し、当該撮影方向で前記撮像手段により自動撮影が行われた後、前記探索処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。

【請求項6】

前記制御手段は、前記被写体が撮影範囲内に収まるように前記撮影方向を制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。

【請求項7】

前記検出手段により検出された被写体のうち、撮影対象とする被写体を決定する決定手段を備え、
前記制御手段は、前記決定手段により撮影対象とする被写体に決定された被写体が撮影範囲内に収まるように前記撮影方向を制御することを特徴とする請求項６に記載の撮像制御装置。

【請求項8】

前記検出手段により検出された被写体のうち、撮影対象とする被写体を決定する決定手段を備え、
前記制御手段は、前記決定手段により撮影対象とする被写体に決定された被写体が撮影範囲内に収まるように前記撮影方向を制御し、
前記制御手段は、前記探索ズーム位置を前記撮影対象とする被写体のサイズに基づいて取得することを特徴とする請求項２乃至４のいずれか１項に記載の撮像制御装置。

【請求項9】

前記検出手段は、前記制御手段による前記撮影方向の制御の後に再度前記画像データから被写体を検出する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像制御装置。

【請求項10】

前記制御手段は、前記被写体が正面を向いている場合よりも、前記被写体が前記撮影光学系からみて左方向を向いている場合の方が、前記撮像範囲における当該被写体の位置が前記撮像範囲の右端に近くなるように前記撮影方向を決定することを特徴とする請求項１乃至９のいずれか１項に記載の撮像制御装置。

【請求項11】

前記制御手段は、前記被写体が正面を向いている場合よりも、前記被写体が前記撮影光学系からみて右方向を向いている場合のほうが、前記撮像範囲における当該被写体の位置が前記撮像範囲の左端に近くなるように前記撮影方向を決定することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像制御装置。

【請求項12】

前記制御手段は、前記被写体が正面を向いている場合よりも、前記被写体が上方向を向いている場合のほうが、前記撮像範囲における当該被写体の位置が前記撮像範囲の下端に近くなるように前記撮影方向を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像制御装置。

【請求項13】

前記制御手段は、前記被写体が正面を向いている場合よりも、前記被写体が下方向を向いている場合のほうが、前記撮像範囲における当該被写体の位置が前記撮像範囲の上端に近くなるように前記撮影方向を決定することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像制御装置。

【請求項14】

前記制御手段は、前記撮像範囲における被写体の位置と前記被写体が向いている方向とに基づいて前記撮影方向を制御することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像制御装置。

【請求項15】

前記検出手段により検出された被写体のうち、撮影対象とする被写体を決定する決定手段を備え、
前記制御手段は、前記決定手段により撮影対象とする被写体に決定された被写体の位置と当該被写体の向きとに基づいて前記撮影方向を制御することを特徴とする請求項１４に記載の撮像制御装置。

【請求項16】

前記被写体の向きとは、
顔の向き、視線の向き、体の向き、指の向き、腕の向き、の少なくともいずれかであることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像制御装置。

【請求項17】

前記制御手段は、前記撮像手段を少なくとも１軸以上の軸を中心に回転させることにより、
パン駆動とチルト駆動の少なくともいずれかを行う回転機構による回転駆動を制御することを特徴とする請求項１乃至１６のいずれか１項に記載の撮像制御装置。

【請求項18】

前記制御手段は、
前記検出手段により検出された被写体のサイズに基づいて目標ズーム位置を決定し、
前記目標ズーム位置に基づいて前記撮影光学系のズーム機構を制御することを特徴とする請求項１乃至１７のいずれか１項に記載の撮像制御装置。

【請求項19】

前記制御手段は、前記撮像手段の撮影範囲の中心を含む一部の領域内に前記被写体が収まるように前記目標ズーム位置を決定することを特徴とする請求項１８に記載の撮像制御装置。

【請求項20】

前記制御手段は、前記撮影方向を決定した後に前記目標ズーム位置を決定することを特徴とする請求項１８または１９に記載の撮像制御装置。

【請求項21】

前記検出手段は、前記画像データから人物を被写体として検出し、前記人物の特徴を示す被写体情報を取得し、
前記制御手段は、前記被写体情報に基づいて前記撮影方向を制御することを特徴とする請求項１乃至２０のいずれか１項に記載の撮像制御装置。

【請求項22】

前記撮影方向とは、前記撮影光学系の光軸方向又は、前記光軸方向に対応する方向であることを特徴とする請求項１乃至２１のいずれか１項に記載の撮像制御装置。

【請求項23】

請求項１乃至２２のいずれか１項に記載の撮像制御装置と、前記撮像手段とを備える撮像装置。

【請求項24】

撮影光学系からの光に基づいて画像データを取得する撮像素子を有する撮像手段から前記画像データを取得する取得工程と、
前記画像データから検出した被写体の向きを検出する検出工程と、
前記撮像手段の回転駆動を制御することで、前記撮像手段の撮影方向を制御する制御工程と、
前記画像データから検出されていない被写体を探索するための探索工程と、を有し、
前記制御工程は、前記被写体の向きに応じて、前記撮像手段の撮像範囲における当該被写体の位置が変わり、
前記被写体が正面を向いている場合よりも、
前記被写体が第１の方向を向いている場合のほうが、
前記第１の方向側の撮像範囲の端と、前記被写体との距離が長くなるように前記回転駆動を制御することで、前記撮像手段の撮影方向を制御し、
前記探索工程は、前記検出工程により、少なくとも１つの被写体が検出されている場合に実行されることを特徴とする撮像制御方法。

【請求項25】

撮影光学系からの光に基づいて画像データを取得する撮像素子を有する撮像手段から前記画像データを取得する取得工程と、
前記画像データから検出した被写体の向きを検出する検出工程と、
前記撮像手段の回転駆動を制御することで、前記撮像手段の撮影方向を制御する制御工程と、
前記画像データから検出されていない被写体を探索するための探索工程と、を有し、
前記制御工程は、前記被写体の向きに応じて、前記撮像手段の撮像範囲における当該被写体の位置が変わり、
前記被写体が正面を向いている場合よりも、
前記被写体が第１の方向を向いている場合のほうが、
前記第１の方向側の撮像範囲の端と、前記被写体との距離が長くなるように前記回転駆動を制御することで、前記撮像手段の撮影方向を制御し、
前記探索工程は、前記検出工程により検出された被写体のサイズに基づいて探索ズーム位置を取得し、前記探索ズーム位置に基づいてズーム位置を制御することで実行可能であることを特徴とする撮像制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像制御装置、特にアクチュエータによって駆動する撮像手段を制御する撮像制御装置及び該撮像制御装置を備える撮像装置に関するものである。

【背景技術】

【0002】

近年、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行う自動撮影カメラが開発され実用化が進んでいる。例えば、カメラの撮影範囲内の被写体を検出し、被写体の表情や動きなどを認識してシャッターを切るカメラも存在する。上記のような自動撮影カメラにおいては、まず被写体を撮影範囲の中央付近に収まるようにカメラを動かし、表情や動きが認識可能な大きさとなるように被写体に近づいたり、ズーム倍率を変更したりするなど、自動撮影のために構図を調整する手間が発生する。

【0003】

上記のような課題を解決する技術として、カメラをパン、チルト駆動可能な雲台装置に取り付け、撮影範囲内の特定の被写体が事前に登録した画角、構図となるようにパン・チルト・ズーム駆動する技術が、下記特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－２４７５０８

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の特許文献１に開示された従来技術では、既に撮影範囲内の、検出している被写体に対しての構図調整ができる一方で、撮影範囲外に存在する別の被写体に対しては、その被写体が撮影範囲内に入り込むまで検出することができない。

【0006】

例えば、撮影範囲内の被写体が撮影範囲外の被写体と会話をしている、または撮影範囲内から撮影範囲外にかけて複数の被写体が並んでいるような場合に、その時点におけるカメラの向きやズーム倍率によっては、撮影範囲外の被写体が検出できない場合がある。

【0007】

そのため、撮影範囲外に存在する、撮影対象とすべき被写体を撮り逃す、あるいは撮影範囲内から撮影範囲外にかけて被写体が見切れたような撮影をしてしまう場合がある。

【0008】

そこで、本発明の目的は、パン、チルトの少なくともいずれかの制御機構を持つ撮像制御装置において、撮影範囲外の被写体についても取り逃しを低減することを可能とすることである。

【課題を解決するための手段】

【0009】

本発明の一側面としての撮像制御装置は、撮影光学系からの光に基づいて画像データを取得する撮像手段から前記画像データを取得し、当該画像データから検出した被写体の向きを検出する検出手段と、前記撮像手段の回転駆動を制御することで前記撮像手段の撮影方向を制御する制御手段と、を備え、前記制御手段は、前記検出手段により検出された前記被写体の向きに応じて、前記撮像手段の撮像範囲における当該被写体の位置が変わり、前記被写体が正面を向いている場合よりも、前記被写体が第１の方向を向いている場合のほうが、前記第１の方向側の撮像範囲の端と、前記被写体との距離が長くなるように、前記撮像手段の撮影方向を制御し、前記検出手段により、少なくとも１つの被写体が検出されている場合に、ズームアウトして、前記画像データから検出されていない被写体を探索する探索処理を実行することを特徴とする。本発明のその他の側面については、発明を実施するための形態で説明をする。

【発明の効果】

【0010】

本発明によれば、パン、チルトの少なくともいずれかの制御機構を持つ撮像制御装置において、撮影範囲外の被写体についても取り逃しを低減することを可能とすることができる。

【図面の簡単な説明】

【0011】

【図1】実施例１に係る撮像装置の模式図

【図2】実施例１に係る撮像装置の構成を示すブロック図

【図3】実施例１に係る画像と被写体情報の例を示す図

【図4】実施例１に係る撮像装置による構図調整処理を説明するフローチャート

【図5】実施例１に係る構図判定処理を説明するフローチャート

【図6】実施例１に係る対象被写体判定処理を説明するフローチャート

【図7】実施例１に係る撮影方向決定処理を説明するフローチャート

【図8】実施例１に係るパン移動量、チルト移動量算出時の目標顔位置を示す図

【図9】実施例１に係る顔向きが正面の被写体に対するパン移動量、チルト移動量の取得結果を示す図

【図10】実施例１に係る顔向きが右向きの被写体に対するパン移動量、チルト移動量の取得結果を示す図

【図11】実施例１に係る顔向きが左向きの被写体に対するパン移動量、チルト移動量の取得結果を示す図

【図12】実施例１に係る顔向きが正面の複数被写体に対するパン移動量、チルト移動量取得結果を示す図

【図13】実施例１に係る顔向きが混在する複数被写体に対するパン移動量、チルト移動量の取得結果を示す図

【図14】実施例１に係るズーム位置と相対画角の関係を示す図

【図15】実施例１に係るパン駆動角度、チルト駆動角度の取得処理を説明するフローチャート

【図16】実施例１に係る構図パターンを示す図

【図17】実施例１に係る目標ズーム位置の取得処理を説明するフローチャート

【図18】実施例１に係る目標ズーム位置の取得結果を示す図

【図19】実施例１に係る被写体と被写体領域との大きさに基づく目標ズーム位置の取得結果を示す図

【図20】実施例１に係る被写体と被写体領域との大きさに基づく目標ズーム位置の取得結果を示す図

【図21】実施例２に係る構図判定処理を説明するフローチャート

【図22】実施例２に係る探索ズーム位置算出結果を示す図

【図23】変形例に係る動物を検出可能とした場合の顔向きが左向きの被写体に対するパン移動量、チルト移動量算出結果を示す図

【発明を実施するための形態】

【0012】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

【実施例1】

【0013】

本実施例では、検出された被写体の向きに基づいて撮影方向を制御する例について説明をする。本実施例に係る撮像制御装置は、被写体を撮影範囲に収めつつ、被写体が横を向いている場合は向いている側が向いていない側よりも広く撮影されるように撮影方向を制御する。被写体が向いていない方向よりも被写体が向いている方向のほうが、撮影対象とすべき被写体がある可能性が高いと考えられるため、このように撮影方向を制御することで撮影範囲外にいて検出できない被写体であっても撮り逃す可能性を低減することができる。

【0014】

本実施例に係る撮像装置について説明をする。

【0015】

図１（ａ）は、本実施例に係る撮像装置１００の模式図である。

【0016】

撮像装置１００は鏡筒１０１と、鏡筒１０１をチルト方向に駆動するチルト回転ユニット１０２と、鏡筒１０１をパン方向に駆動するパン回転ユニット１０３と、鏡筒１０１による撮像を制御する制御ボックス１０４とを備える。

【0017】

鏡筒１０１は、撮像を行う撮像光学系と、撮影光学系からの光に基づいて画像データを取得する撮像素子とを有する撮像手段であり、撮像装置１００の固定部（不図示）に対して回転駆動できる回転機構を介して撮像装置１００に取り付けられている。

【0018】

チルト回転ユニット１０２は、鏡筒１０１を図１（ｂ）中に示すピッチ方向に回転できるように、アクチュエータとしてモータと、該モータにより回転駆動する回転機構（モータ駆動機構）を備えている。また、パン回転ユニット１０３は、鏡筒１０１を図１（ｂ）中に示すヨー方向に回転できるアクチュエータとしてモータと、該モータにより回転駆動する回転機構（モータ駆動機構）を備えている。尚、図に示すように、撮像装置１００の水平の軸（Ｘ軸）まわりの回転をピッチ、垂直の軸（Ｙ軸）まわりの回転をヨー、奥行き方向の軸（Ｚ軸）まわりの回転をロールと呼ぶ。

【0019】

制御ボックス１０４は、鏡筒１０１に含まれる撮影レンズ群および、チルト回転ユニット１０２、パン回転ユニット１０３を制御するための制御マイコン、などを備えている。本実施例では制御ボックス１０４は撮像装置の固定部内に配置され、鏡筒１０１がパンチルト駆動をしても制御ボックスは固定されているものとする。

【0020】

制御ボックスによる処理の詳細を、図２を用いて説明する。

【0021】

図２は、鏡筒１０１、チルト回転ユニット１０２、パン回転ユニット１０３、制御ボックス１０４で構成される本実施例１に係る撮像装置１００の構成を示すブロック図である。

【0022】

鏡筒１０１は、撮影光学系を構成するレンズユニット３０１と、撮像素子を備える撮像部３０２とを備える。鏡筒１０１は、チルト回転ユニット１０２、パン回転ユニット１０３によって、チルト方向、パン方向に回転駆動するように制御される。

【0023】

撮影光学系を構成するレンズユニット３０１は、変倍を行うズームレンズやピント調整を行う焦点レンズなどで構成され、レンズ駆動部３０９によって駆動制御される。ズームレンズとズームレンズを駆動するレンズ駆動部３０９とによるズーム機構が構成され、ズームレンズがレンズ駆動部３０９により光軸方向に移動することにより、ズーム機能が実現される。

【0024】

撮像部３０２は、撮像素子を備え、レンズユニットを構成する各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をデジタル画像データとして画像処理部３０３に出力する。

【0025】

チルト回転ユニット１０２は、ピッチ方向に回転できるモータ駆動機構を備える。また、パン回転ユニット１０３はヨー方向に回転できるモータ駆動機構を備える。チルト回転ユニット１０２とパン回転ユニット１０３とは、鏡筒回転駆動部３０８から入力される駆動指示によって鏡筒１０１を回転駆動する。

【0026】

制御ボックス１０４は、画像処理部３０３、画像記録部３０４、被写体検出部３０５、構図判定部３０６、駆動制御部３０７、鏡筒回転駆動部３０８、レンズ駆動部３０９を有する。撮像装置による撮影方向は、構図判定部３０６、駆動制御部３０７、鏡筒回転駆動部３０８により制御される。各部の詳細について説明する。

【0027】

画像処理部３０３は、撮像部３０２より出力されたデジタル画像データを取得する。そして、該デジタル画像データに対して、歪曲補正やホワイトバランス調整、色補間処理等の画像処理を適用し、適用後のデジタル画像データを画像記録部３０４および被写体検出部３０５に出力する。

【0028】

画像記録部３０４は、画像処理部３０３から出力されたデジタル画像データをＪＰＥＧ形式等の記録用フォーマットに変換し、不揮発性メモリ（不図示）などの記録媒体に記録する。

【0029】

被写体検出部３０５は、画像処理部３０３から入力されるデジタル画像データから被写体を検出し、検出した被写体の情報を抽出する。本実施例では、被写体検出部３０５が人物の顔を被写体として検出する例について説明をする。被写体の情報とは、例えば、検出された被写体の数、各被写体の顔登録有無、顔の位置、顔のサイズ、顔の向きなどが挙げられる。また被写体検出部３０５は、被写体の検出結果に基づく被写体情報を構図判定部３０６に出力する。被写体情報の詳細については、図３を用いて後述する。

【0030】

構図判定部３０６は、被写体検出部３０５から入力される被写体情報に基づいて、好ましい構図を決定する。更に、決定した構図にするためのパン駆動角度ｄｐ、チルト駆動角度ｄｔ、目標ズーム位置ｔｚｐを取得し、駆動制御部３０７に出力する。尚、詳細は後述するが、本実施例では、被写体検出から撮影範囲の調整までを所定の周期毎に繰り返し行う。よって、本実施例におけるパン駆動角度ｄｐとチルト駆動角度ｄｔとは、次の周期における駆動のタイミングまでに駆動するパン方向の駆動角度とチルト方向の駆動角度である。この周期は、撮像部による撮像の周期であり、各フレームで得られる画像データに基づいて構図判定処理を行い、次のフレームで得られる画像データが前のフレームで得られた画像データよりも、目標とする構図に近づくように構図の調整を行う。構図判定部３０６が行う構図判定処理の詳細については、後述する。

【0031】

駆動制御部３０７は、構図判定部３０６から入力されるパン駆動角度ｄｐ、チルト駆動角度ｄｔ、目標ズーム位置ｔｚｐに基づいて、レンズ駆動および鏡筒回転駆動を行うための目標位置を決定する。目標ズーム位置ｔｚｐに基づくパラメータをレンズ駆動部３０９に、パン駆動角度ｄｐおよびチルト駆動角度ｄｔに基づく目標位置に対応するパラメータを鏡筒回転駆動部３０８に出力する。

【0032】

鏡筒回転駆動部３０８は駆動制御部３０７から入力される目標位置と駆動速度に基づいてチルト回転ユニット１０２および、パン回転ユニット１０３に駆動指示を出力し、鏡筒１０１をチルト方向とパン方向に駆動させる。

【0033】

レンズ駆動部３０９は、レンズユニット３０１に含まれるズームレンズや焦点レンズを駆動するためのモータとドライバ部を有している。駆動制御部３０７から入力される目標位置と基づいて各レンズを駆動させる。

【0034】

図３は、本実施例に係る画像データ例および被写体検出部３０５にて取得する被写体情報の例を示す図である。被写体情報の構成について以下に説明する。

【0035】

図３（ａ）は、被写体検出部３０５に入力される画像データの一例を示す図である。本実施例おいては、画像データは水平解像度９６０ピクセル、垂直解像度５４０ピクセルで構成されるものとする。

【0036】

図３（ｂ）は、被写体検出部３０５に図３（ａ）に示す画像データを入力して抽出した被写体情報の例を示す図である。本実施例では、被写体情報が、被写体数および、各被写体の顔登録の有無、顔のサイズ、顔の位置、顔の向きによって構成される例について説明をする。

【0037】

被写体数は、検出された顔の数を示す。図３（ｂ）の例では、被写体数は４となり、被写体４つ分の顔登録の有無、顔のサイズ、顔の位置、顔の向きが含まれることを示す。検出した被写体の並びは、顔の位置が撮影範囲の中央に近い順に並ぶものとし、被写体１が最も中央に近く、被写体４が最も中央から遠い被写体である。

【0038】

顔登録有無は、事前にユーザによって登録された顔かどうかを示す情報であり、ここでは登録されている被写体はＴＲＵＥ、登録されていない被写体はＦＡＬＳＥとする。ユーザは特定の人物の顔を事前に撮影して登録することで、自動撮影時に優先的に撮影したい顔を撮影装置に記憶することができる。登録方法については、本願での詳細な説明は割愛するが、例えば撮影装置を特殊なモードに遷移させ、手動で撮影して登録させる。あるいは、外部機器との通信手段によって、入力した顔画像データを登録する。または、頻繁に検出する顔を撮像装置が自動的に登録するなどの方法があり、いずれの方法を使っても良いものとする。

【0039】

顔サイズ（ｗ、ｈ）は、検出した顔の大きさを示す数値であって、顔の幅（ｗ）と高さ（ｈ）のピクセル数が入力される。本実施例においては、幅と高さは同一の値となる。

【0040】

顔位置（ｘ、ｙ）は、撮影範囲内における検出した顔の相対位置を示す数値である。本実施例では、画像データの左上を始点（０、０）、画面右下を終点（９６０、５４０）とした場合の、始点から顔の中心座標までの水平ピクセル数および垂直ピクセル数が入力される。

【0041】

顔向きは、検出した顔の向きを示す情報であって、ＦＲＯＮＴ（正面）、Ｒ４５（右向き４５度）、Ｒ９０（右向き９０度）、Ｌ４５（左向き４５度）、Ｌ９０（左向き９０度）のいずれかの情報が入力される。

【0042】

図４は、本実施例における撮影範囲（構図）の調整の全体の流れを示すフローチャートである。構図は、パン位置とチルト位置とにより規定される撮影方向と、ズーム倍率（ズーム位置）とで規定される。撮像装置の電源がＯＮされると、撮像装置の撮像部３０２は構図調整の判断に用いる画像データを取得するために、周期的な撮影（動画撮影）を開始する。撮影により取得された画像データは制御ボックス１０４の画像処理部３０３に出力され、各種画像処理を施した画像データが取得される（Ｓ４０１）。この画像データは構図調整のための画像データであるため、ステップＳ４０１で取得された画像データは画像記録部３０４には出力されず、被写体検出部３０５に対して出力される。言い換えると、ここで取得される画像データは、ユーザが構図の調整及びシャッタ操作をして撮影する撮像装置におけるライブビュー表示用の画像データに対応し、この画像データを取得するための周期的な撮影は、ライブビュー撮影に対応する。但し、本実施例ではこの画像データは、制御ボックス１０４が構図の調整や自動撮影タイミングの判断に用いるのみで、画像の表示はしない。次に、被写体検出部３０５は画像データに基づいて被写体検出を行い、図３（ｂ）に示すような被写体の情報を取得する（Ｓ４０２）。

【0043】

被写体が検出され、被写体情報が取得されると、構図判定を行う（Ｓ４０３）。構図判定では、検出された被写体のうち撮影対象とする被写体を決定し、撮影対象とする被写体の顔の位置と顔のサイズと顔の向きとに基づいて次の周期の駆動のタイミング（Ｓ４０４）までの間に駆動するパン駆動角度とチルト駆動角度が取得される。また、顔の位置とサイズに基づいて目標ズーム位置が取得される。本処理の詳細については図５を用いて後述する。構図判定により、パン駆動角度、チルト駆動角度、目標ズーム位置が取得されると、これらの情報に基づいてパン駆動、チルト駆動、ズーム駆動が実行されることで、構図が調整される。これらのステップＳ４０１～Ｓ４０４を撮像部３０２の撮像周期に合わせて繰り返し実行する。

【0044】

ステップＳ４０３に示した構図判定処理の詳細を説明する。

【0045】

図５は、本実施例に係る構図判定部３０６の構図判定処理を説明するフローチャートである。本フローチャートを用いて、構図判定部３０６に入力された被写体情報から、目標の構図を判定し、パン駆動角度ｄｐおよびチルト駆動角度ｄｔ、目標ズーム位置ｔｚｐを算出する処理について説明する。構図判定部３０６は、検出された被写体が、撮影範囲内に収めるべき、撮影対象となる被写体（対象被写体と呼ぶことがある）であるか否かを判定する、対象被写体判定を行う（Ｓ５０１）。対象被写体判定は、入力した被写体情報に含まれる、顔登録の有無と、顔のサイズ、顔の位置とに基づいて行われ、顔登録されている被写体、あるいは顔登録されている被写体とサイズや位置が近い被写体が対象被写体に選択される。この対象被写体判定処理については、図６を用いて詳細を後述する。

【0046】

対象被写体判定処理が終わると、構図判定部３０６は、対象被写体数が１以上であるか否かを判定する（Ｓ５０２）。対象被写体数が１以上であると判定されたらＳ５０３へ移行し、対象被写体数が０であると判定されたら構図を調整する必要がないと判断し、構図判定処理を終了する。

【0047】

対象被写体が１以上である場合、構図判定部３０６は、ステップＳ５０１で対象被写体と判定した被写体の被写体情報から、撮像部による撮影方向を決定し、パン移動量ｄｘおよびチルト移動量ｄｙを取得する（Ｓ５０３）。対象被写体の被写体情報としては、顔位置と顔向きを用いる。パン移動量ｄｘは、画像データにおける被写体の水平方向の目標座標と水平方向の現在座標との差分をピクセル値で示した数値である。一方、チルト移動量ｄｙは、画像データにおける被写体の垂直方向の目標座標と垂直方向の現在座標との差分をピクセル値で示した数値である。パン移動量ｄｘおよびチルト移動量ｄｙの取得処理については、図７～１３を用いて詳細を後述する。

【0048】

ステップＳ５０３でパン移動量ｄｘおよびチルト移動量ｄｙを取得すると、構図判定部３０６は、取得したパン移動量ｄｘおよびチルト移動量ｄｙ、現在のズーム位置ｚｐに基づいて、パン駆動角度ｄｐおよびチルト駆動角度ｄｔを算出する（Ｓ５０４）。パン駆動角度ｄｐおよびチルト駆動角度ｄｔの取得処理については、図１５を用いて後述する。

【0049】

ステップＳ５０４でパン駆動角度ｄｐおよびチルト駆動角度ｄｔを取得すると、構図判定部３０６は、対象被写体の被写体情報および現在のズーム位置ｚｐから、目標ズーム位置ｔｚｐを取得する（Ｓ５０５）。対象被写体の被写体情報としては、顔位置と顔サイズを用いる。目標ズーム位置ｔｚｐの取得処理については、図１６～２０を用いて後述する。

【0050】

図６は、本実施例に係る構図判定部３０６がステップＳ５０１で行う、対象被写体判定処理を説明するフローチャートである。

【0051】

構図判定部３０６は、被写体情報が入力されると、構図判定部３０６は、被写体情報が入力されると、まず、顔登録の有無を判断し（Ｓ６０１）、顔登録があれば該被写体を対象被写体として判定し（Ｓ６０２）、顔登録が無ければ何もしない。

【0052】

この処理によって、顔登録された被写体が優先的に対象被写体として判定される。構図判定部３０６は、ステップＳ６０１～６０２の処理を、検出された全被写体に対して実行する。

【0053】

構図判定部３０６は、上述した処理にて対象被写体と判定した被写体の数を参照し、対象被写体とした被写体の数が１以上であるか否かを判定する（Ｓ６０３）。対象被写体の数が０であれば、画像データ上、撮影範囲の中央に最も近い被写体１を対象被写体に追加し（Ｓ６０４）、対象被写体数が１以上であれば何もしない。こうすることで、顔登録された被写体がいない場合においては、撮影範囲の中央に最も近い被写体を基準にした対象被写体の判断がなされるようになる。

【0054】

次に、構図判定部３０６は、全被写体に対して、撮影範囲の中央に近い被写体１から順に、ステップＳ６０５～Ｓ６０８の処理を実行して該被写体を対象被写体とするか否かを判定する。まず、構図判定部３０６は、判定対象とする被写体が対象被写体として既に判定されているかどうかを参照する（Ｓ６０５）。対象被写体であれば何もせず、対象被写体でなければＳ６０６へ移行する。次に、構図判定部３０６は、判定対象とする被写体に対して、既に追加済のいずれかの対象被写体と顔サイズが近いかどうかを判断する（Ｓ６０６）。顔サイズが近くないと判定された場合は何もせず、次の被写体を判定対象としてステップＳ６０５を開始する。一方、顔サイズが近い場合はステップＳ６０７へ移行し、既に追加済みのいずれかの対象被写体との位置が近いかどうかを判定する（Ｓ６０７）。位置が近くないと判定された場合は何もせず、次の被写体を判定対象としてステップＳ６０５を開始する。尚、サイズに関しては、対象被写体と判定されているいずれかの被写体の顔サイズの±１０％以内であるかどうかで判断する。具体的には、対象被写体の顔サイズが１００ピクセルであれば、９０ピクセル以上且つ１１０ピクセル以下であれば、サイズが近いと判断される。また、位置に関しては、対象被写体と判定されているいずれかの被写体の顔位置から水平方向と垂直方向ともに対象被写体の顔サイズ×２以内の位置かどうかで判断する。具体的には、対象被写体が１つで、顔サイズが（１００、１００）、顔位置が（５００、３００）であれば、被写体の顔水平位置座標が３００～７００、顔垂直位置座標が１００～５００の両方を満たせば位置が近いと判断される。

【0055】

構図判定部３０６は、ステップＳ６０６およびＳ６０７でいずれかの対象被写体とサイズが近く位置も近いと判断された被写体を対象被写体として追加し（Ｓ６０８）、それ以外の被写体は対象被写体には追加しない。

【0056】

ステップＳ６０１～Ｓ６０８の処理によって、入力された被写体情報の中から、撮影範囲内に収めるべき撮影対象となる被写体を判定することができる。

【0057】

また、本実施例においては顔登録有無、顔サイズの近さ、顔位置の近さから対象被写体を判定する例を示したが、判定の方法はこれに限るものでは無い。例えば、顔登録有無のみを参照する等、より少ない情報から対象被写体を判定するような方法を用いても良いし、また、顔の向きや顔の表情、顔の動きの大きさなどの情報を基に判定するような方法を用いても良い。

【0058】

図４（ｂ）の被写体情報を構図判定部３０６に入力した際に図６のフローチャートにて判定した対象被写体の結果について説明する。図４（ｂ）の被写体情報が構図判定部３０６に入力されると、図６のステップＳ６０１～Ｓ６０２の処理にて、顔登録有りの被写体１のみが対象被写体として判定される。図６のステップＳ６０３では対象被写体数が１であるためＳ６０４の処理はスキップされる。図６のステップＳ６０５～Ｓ６０８の処理で、対象被写体とのサイズの近さ、位置の近さを判定する。被写体１の顔サイズが１２０であるため、Ｓ６０６にて、顔サイズが１０８～１３２の間である被写体２と被写体３が対象被写体と顔サイズが近いと判定され、被写体４は対象被写体から除外される。続いて被写体１の顔位置が（４８０、２１０）であるため、ステップＳ６０７にて顔位置の水平位置が２４０～７２０、垂直位置が９０～３３０という条件をそれぞれ満たす被写体２と被写体３が対象被写体との位置が近いと判定される。

【0059】

以上の処理によって、図７に示すように、顔登録有りの被写体１および被写体１とサイズ、位置の近い被写体２と被写体３が対象被写体として判定される。

【0060】

次に、ステップＳ５０３におけるパン移動量ｄｘとチルト駆動量ｄｙとの取得処理について説明をする。ステップＳ５０３では、構図判定部３０６は、対象被写体数をｎとした場合に、各対象被写体の顔位置および顔向きから、目標顔位置までの差分ｄｘ（ｎ）、ｄｙ（ｎ）を算出し、ｄｘ（ｎ）およびｄｙ（ｎ）の平均値を、ｄｘおよびｄｙと算出する。

【0061】

図７は、本実施例に係る構図判定部３０６がステップＳ５０３で行う、パン移動量ｄｘとチルト駆動量ｄｙとの取得処理を説明するフローチャートである。ステップＳ５０２で検出された被写体を対象被写体とするか否かを判定し、対象被写体が選択されると、ステップＳ５０３へ移行し、図７のステップＳ７０１を開始する。ステップＳ７０１では、対象被写体の顔位置及び顔向き情報を取得する（Ｓ７０１）。図４（ｂ）の被写体情報が入力された場合、対象被写体は被写体１～３であるため、被写体１～３の被写体情報のうち、少なくとも顔位置と顔向きの情報が取得される。顔登録の有無や顔位置を示す情報、つまり、図４（ｂ）に示す情報のうち、被写体１～３に対応する被写体情報のすべてを取得してもよい。

【0062】

次に、全ての対象被写体のそれぞれに対して、ステップＳ７０２～Ｓ７０３の処理を実行して、それぞれの対象被写体の現在位置と目標位置との差分を取得する。まず、差分取得の対象となる対象被写体の顔向きに基づいて目標顔位置を取得する（Ｓ７０２）。本実施例において、目標顔位置は、顔向きに対応して予め決められており、制御部の不図示のメモリに格納されている。

【0063】

また、本実施例においては、各対象被写体の目標顔位置までの差分ｄｘ（ｎ）、ｄｙ（ｎ）の平均値を目標位置として計算する例を示したが、計算の方法はこれに限るものでは無い。例えば、各対象被写体の顔の検出精度を取得して、顔の検出精度に応じて、目標顔位置までの差分ｄｘ（ｎ）、ｄｙ（ｎ）を重み付けすることで、より検出精度の高い被写体に適した構図となるように目標位置を計算するような方法を用いても良い。

【0064】

図８は、予め決められた目標顔位置について説明する図である。図８（ａ）は、顔向きが正面（ＦＲＯＮＴ）の被写体に対する目標顔位置を示す図である。顔向きが正面の場合、目標顔位置は、撮影範囲の中心座標すなわち（４８０、２７０）となる。

【0065】

図８（ｂ）は、顔が右方向を向いている（Ｒ４５、Ｒ９０）の被写体に対する目標顔位置を示す図である。顔が右向きの場合、顔が正面を向いている場合よりも目標顔位置が撮影範囲の右の端の近くに設定されることで、撮影範囲の左側（被写体にとっては右側）に多く余白を設けるような位置に目標顔位置が決定されている。本例では目標顔位置は、垂直方向は撮影範囲の中心、水平方向は撮影範囲の４／５にあたる座標すなわち（７６８、２７０）である。

【0066】

図８（ｃ）は、顔が左方向を向いている（Ｌ４５、Ｌ９０）の被写体に対する目標顔位置を示す図である。顔が左向きの場合、顔が正面を向いている場合よりも目標顔位置が撮影範囲の左の端の近くに設定されることで、撮影範囲の右側（被写体にとっては左側）に多く余白を設けるような位置に目標顔位置が決定されている。本例の目標顔位置は、垂直方向は撮影範囲の中心、水平方向は撮影範囲の画面１／５にあたる座標すなわち（１９２、２７０）である。

【0067】

図８（ｂ）、図８（ｃ）に示すように、対象被写体の顔の向いている方向の余白を増やすように構図を調整することで、顔を向けた先にいる被写体を認識しやすくすることができる。具体的な効果については図１０、図１１で説明する。

【0068】

目標顔位置を取得すると、構図判定部３０６は、現在の顔位置と目標顔位置との差分を取得する（Ｓ７０３）。すべての対象被写体に対して差分を取得し終わると、その差分の平均を取得し、水平方向の差分をパン移動量ｄｘ、垂直方向の差分をチルト移動量ｄｙとする（Ｓ７０４）。

【0069】

図９～図１３は、本実施例に係る対象被写体の被写体情報およびパン移動量ｄｘおよびチルト移動量ｄｙの取得結果の具体例を説明する図である。

【0070】

図９（ａ）は、顔向きが正面の被写体が一人だけいるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。図９（ｂ）は、図９（ａ）の画像データに対する対象被写体の被写体情報を示す図である。ここに示す被写体情報を上述のステップＳ７０１で取得する。被写体１の顔向きがＦＲＯＮＴであることから、ステップＳ７０２で取得される目標顔位置は図８（ａ）で示したように（４８０、２７０）となる。図９（ｃ）は、図９（ｂ）で示した被写体１の顔位置（２４０、１５０）と図８（ａ）で示した目標顔位置（４８０、２７０）との位置関係を模式的に示した図である。

【0071】

図９（ｄ）は、ステップＳ７０３で取得される、被写体１のパン移動量ｄｘ（１）およびチルト移動量ｄｙ（１）と、ステップＳ７０４で取得され、最終結果として出力されるパン移動量ｄｘ、チルト移動量ｄｙを示した図である。被写体１のパン移動量ｄｘ（１）およびチルト移動量ｄｙ（１）は、下記に示すように水平方向および垂直方向ともに目標顔位置－顔位置によって算出される。
ｄｘ（１）＝４８０－２４０＝２４０
ｄｙ（１）＝２７０－１５０＝１２０

【0072】

対象被写体数が１であることから、平均値を算出する必要なくｄｘ（１）、ｄｙ（１）がそのままパン移動量ｄｘ、チルト移動量ｄｙとして算出される。

【0073】

図９（ｅ）は、図９（ｄ）に従ってパン方向およびチルト方向に動かした場合の目標構図例を示す図である。図９（ｅ）に示すように、被写体１は顔向きが正面であることから、顔を撮影範囲の中心に配置するような構図が目標の構図となる。

【0074】

図１０（ａ）は、顔向きが右向きの被写体が一人だけいるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。図１０（ｂ）は、図１０（ａ）の画像データに対する対象被写体の被写体情報を示す図である。被写体１の顔向きがＲ９０であることから、ステップＳ７０２で取得される目標顔位置は図８（ｂ）で示したように（７６８、２７０）となる。図１０（ｃ）は、図１０（ｂ）で示した被写体１の顔位置（２１０、１８０）と図８（ｂ）で示した目標顔位置との位置関係を模式的に示した図である。

【0075】

図１０（ｄ）は、ステップＳ７０３で取得される、被写体１のパン移動量ｄｘ（１）およびチルト移動量ｄｙ（１）と、ステップＳ７０４で取得され、最終結果として出力されるパン移動量ｄｘ、チルト移動量ｄｙを示した図である。被写体１のパン移動量ｄｘ（１）およびチルト移動量ｄｙ（１）は、下記に示すように水平方向および垂直方向ともに目標顔位置－顔位置によって算出される。
ｄｘ（１）＝７６８－２１０＝５５８
ｄｙ（１）＝２７０－１８０＝９０

【0076】

対象被写体数が１であることから、平均値を算出する必要なくｄｘ（１）、ｄｙ（１）がそのままパン移動量ｄｘ、チルト移動量ｄｙとして算出される。

【0077】

図１０（ｅ）は、図１０（ｄ）に従ってパン方向およびチルト方向に動かした場合の目標構図例を示す図である。図１０（ｅ）に示すように、被写体１は顔向きが右向きであることから、顔を撮影範囲の右側に配置し撮影範囲の左側の余白を増やすような構図が目標の構図となる。

【0078】

図１０（ｆ）は、図１０（ｅ）に示す目標構図にすることで、別の被写体を検出できた場合の例を示す図である。紙面右側が被写体１であり、左側が目標構図にすることで検出された被写体である。図１０（ｆ）に示すように、被写体の顔の向いた方向の余白を増やすことで、被写体を撮影範囲の中央に配置した場合には検出できないような、例えば被写体１と会話をしているもう一人の被写体を新しく検出することができる。

【0079】

図１１（ａ）は、顔向きが左向きの被写体が一人だけいるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。

【0080】

図１１（ｂ）は、図１１（ａ）の画像データに対する対象被写体の被写体情報を示す図である。被写体１の顔向きがＬ９０であることから、ステップＳ７０２で取得される目標顔位置は図８（ｃ）で示したように（１９２、２７０）となる。

【0081】

図１１（ｃ）は、図１１（ｂ）で示した被写体１の顔位置（６９０、３９０）と図８（ｃ）で示した目標顔位置（１９２、２７０）との位置関係を模式的に示した図である。

【0082】

図１１（ｄ）は、ステップＳ７０３で取得される、被写体１のパン移動量ｄｘ（１）およびチルト移動量ｄｙ（１）と、ステップＳ７０４で取得され、最終結果として出力されるパン移動量ｄｘ、チルト移動量ｄｙを示した図である。

【0083】

被写体１のパン移動量ｄｘ（１）およびチルト移動量ｄｙ（１）は、下記に示すように水平方向および垂直方向ともに目標顔位置－顔位置によって算出される。
ｄｘ（１）＝１９２－６９０＝－４９８
ｄｙ（１）＝２７０－３９０＝－１２０

【0084】

対象被写体数が１であることから、平均値を算出する必要なくｄｘ（１）、ｄｙ（１）がそのままパン移動量ｄｘ、チルト移動量ｄｙとして算出される。

【0085】

図１１（ｅ）は、図１１（ｄ）に従ってパン方向およびチルト方向に動かした場合の目標構図例を示す図である。図１１（ｅ）に示すように、被写体１は顔向きが左向きであることから、顔を撮影範囲の左側に配置し、撮影範囲の右側の余白を増やすような構図が目標の構図となる。

【0086】

図１１（ｆ）は、図１１（ｅ）に示す目標構図にすることで、別の被写体を検出できた場合の例を示す図である。図１１（ｆ）に示すように、被写体の顔の向いた方向の余白を増やすことで、被写体を画面中央に配置した場合には検出できないような、例えば被写体１と会話をしているもう一人の被写体を新しく検出することができる。

【0087】

図１２（ａ）は、顔向きが正面の被写体が複数いるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。

【0088】

図１２（ｂ）は、各被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）、また最終結果として出力されるパン移動量ｄｘ、チルト移動量ｄｙを示した図である。

【0089】

被写体１、被写体２、被写体３の顔向きがＦＲＯＮＴであることから、ステップＳ７０２で取得される各被写体の目標顔位置は、図８（ａ）で示したように（４８０、２７０）となる。そして、各被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）は、計算の結果、図１２（ｂ）で示すような算出結果が得られるものとする。

【0090】

各被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）の算出方法については、図９と同様のため省略する。対象被写体数が３であることから、全対象被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）の平均値がパン移動量ｄｘ、チルト移動量ｄｙとして算出される。
ｄｘ＝（１２０＋（－３０）＋３３０）／３＝１４０
ｄｙ＝（６０＋９０＋６０）／３＝７０

【0091】

図１２（ｃ）は、図１２（ｂ）に従ってパン方向およびチルト方向に動かした場合の目標構図例を示す図である。図１２（ｃ）に示すように、全被写体の顔向きが正面であることから、全ての顔を撮影範囲の中心部に近い位置に配置するような構図が目標の構図となる。

【0092】

図１３（ａ）は、顔向きが混在する被写体が複数いるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。

【0093】

被写体１図１３（ｂ）は、各被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）、また最終結果として出力されるパン移動量ｄｘ、チルト移動量ｄｙを示した図である。

【0094】

被写体１の顔向きはＦＲＯＮＴであることから、被写体１を対象としたステップＳ７０２で取得される被写体１の目標顔位置は図８（ａ）で示したように（４８０、２７０）となる。一方、被写体２、被写体３の顔向きはＲ９０であることから、被写体２、３を対象としたステップＳ７０２で取得される被写体２、被写体３の目標顔位置は図８（ｂ）で示したように（７６８、２７０）となる。計算の結果、各被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）は、図１３（ｂ）で示すような算出結果が得られるものとする。

【0095】

各被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）の算出方法については、図９、図１０と同様のため省略する。対象被写体数が３であることから、全対象被写体のパン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）の平均値がパン移動量ｄｘ、チルト移動量ｄｙとして算出される。
ｄｘ＝（（－３０）＋４０８＋６１８）／３＝３３２
ｄｙ＝（９０＋６０＋６０）／３＝７０

【0096】

図１３（ｃ）は、図１３（ｂ）に従ってパン方向およびチルト方向に動かした場合の目標構図例を示す図である。図１３（ｃ）に示すように、全被写体の内、顔向きが右向きの被写体が多いことから、被写体全体が撮影範囲の右側に配置され、撮影範囲の左側の余白が増えるような構図が目標の構図となる。

【0097】

図１３（ｄ）は、図１３（ｃ）に示す目標構図にすることで、別の被写体を検出できた場合の例を示す図である。図１３（ｄ）に示すように、被写体が複数いる場合においても、全被写体の顔向きから相対的に多い顔向き方向の余白を増やすことで、被写体を撮影範囲の中央に配置した場合には検出できないような、もう一人の被写体を新しく検出することができる。

【0098】

図１４は、本実施例に係るズーム位置ｚｐと相対画角ａｏｖ（ｚｐ）との関係を説明する図である。本実施例において、ズーム位置ｚｐは０～１００まで設定可能であるものとする。値が小さいほどワイド側で、値が大きいほどテレ側であることを意味する。ズーム位置ｚｐに応じて撮影可能な画角は変わり、ワイド側であるほど撮影画角は大きくなり、テレ側であるほど撮影画角は小さくなる。図１４に示す相対画角ａｏｖ（ｚｐ）は、ズーム位置ｚｐが０の時の撮影画角を１０００とした場合の、各ズーム位置ｚｐにおける相対的な撮影画角を示した数値である。

【0099】

例えば、ズーム位置ｚｐが１００の場合の相対画角ａｏｖ（１００）は５００であることから、ズーム位置ｚｐが０の時に比べて、ズーム位置ｚｐが１００の時の撮影画角は５０％になるということを示している。パン駆動、チルト駆動時においても、この相対画角ａｏｖ（ｚｐ）を参照する必要がある。例えばズーム位置ｚｐが０でパン角度を１度動かした場合に、画面内の被写体が１００ピクセル分水平移動するとしたら、ズーム位置ｚｐが１００でパン角度を１度動かすと、画面内の被写体は２００ピクセル分水平移動することとなる。

【0100】

すなわち、テレ側のズーム位置における想定以上の画素移動を避けるために、撮影画角によらず同じピクセル数分の画素を移動させるような駆動角度の計算が有効となる。

【0101】

計算方法について、図１５を用いて説明する。

【0102】

図１５は、本実施例に係る構図判定部３０６による、前述のステップＳ５０４のパン駆動角度ｄｐおよびチルト駆動角度ｄｔの取得処理を説明するフローチャートである。この図を用いて、現在のズーム位置ｚｐおよびパン移動量ｄｘ、チルト移動量ｄｙから、パン駆動角度ｄｐおよびチルト駆動角度ｄｔを算出する処理について説明する。

【0103】

まず、構図判定部３０６は、現在のズーム位置ｚｐを取得する（Ｓ１５０１）。次に、構図判定部３０６は、パン移動量ｄｘの絶対値が画面水平解像度５％以上、すなわち４８ピクセル以上かどうかを判断する（Ｓ１５０２）。５％以上であればパン駆動の必要があると判断しＳ１５０３へ移行する。一方、５％未満であればパン移動が小さい、すなわち目標とする位置にほぼ到達しているためパン駆動の必要がないと判断し、パン駆動角度として０が取得される（Ｓ１５０６）。

【0104】

ステップＳ１５０２でパン駆動の必要があると判断されると、構図判定部３０６は、パン移動量ｄｘの値が正値か負値かを判断する（Ｓ１５０３）。ここで、本実施例においてパン駆動の正の方向とは回転軸に対して時計回りの方向、負の方向は時計逆回りの方向であるとする。すなわち、パン移動量ｄｘの値が正値、すなわち撮影範囲において被写体を左から右の位置に移動させたい場合は、パン駆動は負方向に駆動させる。一方で、パン移動量ｄｘの値が負値すなわち撮影範囲において被写体を右から左の位置に移動させたい場合は、パン駆動は正の方向に駆動させる必要がある。

【0105】

つまり、本実施例においては、パン移動量ｄｘとパン駆動角度ｄｐの符号は逆転する。構図判定部３０６は、パン移動量ｄｘが負値であればＳ１５０４へ移行し、正値であればＳ１５０５へ移行する。

【0106】

構図判定部３０６は、パン移動量ｄｘが負値であれば、正方向の単位駆動角度（本実施例では０．２００とする）およびズーム位置ｚｐの相対画角、ズーム位置０の相対画角から、以下の計算式によってパン駆動角度ｄｐを算出する（Ｓ１５０４）。
ｄｐ＝０．２００×（ａｏｖ（ｚｐ）／ａｏｖ（０））

【0107】

例えば、ズーム位置ｚｐが０であれば、
ｄｐ＝０．２００×（１０００／１０００）＝０．２００
となり、パン駆動量ｄｐは０．２００度正方向と算出される。ズーム位置が１００であれば、
ｄｐ＝０．２００×（５００／１０００）＝０．１００
となり、パン駆動量ｄｐは０．１００度正方向と算出される。

【0108】

同様に、構図判定部３０６は、パン移動量ｄｘが正値であれば、負方向の単位駆動角度（本実施例では－０．２００とする）およびズーム位置ｚｐの相対画角、ズーム位置０の相対画角から、以下の計算式によってパン駆動角度ｄｐを算出する（Ｓ１５０５）。
ｄｐ＝－０．２００×（ａｏｖ（ｚｐ）／ａｏｖ（０））

【0109】

上記に示したように、パン駆動角度ｄｐは、ズーム位置ｚｐによって変化はするものの、その大きさは基本的に一律である。図３を用いて説明したように、この構図調整処理は、撮像部による撮像の周期に合わせて周期的に行われる。よって、ここで算出されるパン駆動量ｄｐは、今回の周期でのパンチルト駆動（Ｓ４０４）から次の周期でのパンチルト駆動（Ｓ４０４）までの間の駆動量である。つまり、Ｓ４０１～Ｓ４０４の処理を複数回繰り返すことで、顔位置を目標位置に近づけていくといった処理となる。また、ズーム位置ｚｐによる画角の違いを各ズーム位置の相対画角ａｏｖ（ｚｐ）を用いて吸収することで、ズーム位置によらず特定の角度を駆動した際の画像データ上での画素変化を一律化することができる。

【0110】

ステップＳ１５０４～１５０６でパン駆動角度ｄｐを取得すると、続いてチルト駆動角度ｄｔを取得する。まず、構図判定部３０６は、チルト移動量ｄｙの絶対値が画面垂直解像度５％以上、すなわち２７ピクセル以上かどうかを判断する（Ｓ１５０７）。５％以上であればチルト駆動の必要があると判断しＳ１５０８へ移行する。一方、５％未満であればチルト移動が小さい、すなわち目標とする位置にほぼ到達しているためチルト駆動の必要がないと判断し、チルト駆動角度として０が取得される（Ｓ１５１１）。

【0111】

ステップＳ１５０７でチルト駆動の必要があると判断されると、構図判定部３０６は、チルト移動量ｄｙの値が正値か負値かを判断する（Ｓ１５０８）。ここで、本実施例においてチルト駆動の正方向とは上を向くような方向、負方向は下を向くような方向であるとする。すなわち、チルト移動量ｄｙの値が正すなわち画面上の被写体を上から下の位置に移動させたい場合は、チルト駆動は正の方向に駆動させる。一方、チルト移動量ｄｙの値が負すなわち被写体を下から上の位置に移動させたい場合は、パン駆動は負の方向に駆動させる必要がある。

【0112】

つまり、パン駆動時とは異なり、チルト移動量ｄｙとチルト駆動角度ｄｔの符号は一致する。構図判定部３０６は、チルト移動量ｄｙが負値であればＳ１５０９へ移行し、正値であればＳ１５１０へ移行する。

【0113】

構図判定部３０６は、チルト移動量ｄｙが負値であれば、負方向の単位駆動角度（本実施例では－０．１００とする）およびズーム位置ｚｐの相対画角、ズーム位置０の相対画角から、以下の計算式によってチルト駆動角度ｄｔを算出する（Ｓ１５０９）。
ｄｔ＝－０．１００×（ａｏｖ（ｚｐ）／ａｏｖ（０））

【0114】

同様に、構図判定部３０６は、チルト移動量ｄｙが正値であれば、正方向の単位駆動角度（本実施例では０．１００とする）およびズーム位置ｚｐの相対画角、ズーム位置０の相対画角から、以下の計算式によってチルト駆動角度ｄｔを算出する（Ｓ１５１０）。
ｄｔ＝０．１００×（ａｏｖ（ｚｐ）／ａｏｖ（０））

【0115】

上記に示したように、パン駆動と同様に、チルト駆動角度ｄｔは、ズーム位置ｚｐによって変化はするものの、その大きさは基本的には一律である。上述のように、構図調整処理は、撮像部による撮像の周期に合わせて周期的に行われるため、Ｓ４０１～Ｓ４０４の処理を複数回繰り返すことで、顔位置を目標位置に近づけていくといった処理となる。

【0116】

続いて、ステップＳ５０５の目標ズーム位置ｔｚｐの取得方法について説明する。目標ズーム位置ｔｚｐは、対象被写体の顔サイズと位置と撮影する構図パターンに応じて決められている目標顔サイズと目標被写体領域とに基づいて決定する。

【0117】

図１６は、本発実施例に係る構図パターンごとの目標顔サイズおよび目標被写体領域のサイズ（単に目標被写体領域と呼ぶ）との関係を説明する図である。本実施例においては、撮像装置は３パターンの構図パターンを持ち、構図パターンに応じて、被写体を撮影範囲に収める際の顔サイズや被写体領域の大きさが変わるように目標顔サイズと目標被写体領域とが設定されている。図１６に示すような、構図パターンに対応付けられた目標顔サイズと目標被写体領域との情報を、不図示のメモリに記憶しておき、この情報を参照することで、次の自動撮影用に設定される構図パターンに対応した目標顔サイズと目標被写体領域とを取得できる。また、構図パターンは１回の自動撮影を終えると順次切り替わるものとし、構図パターン「中」で撮影がされたら構図パターンは「大」となり、構図パターン「大」で撮影がされたら構図パターンは「小」に戻る。

【0118】

目標顔サイズは、撮影される画像データに対する被写体の顔サイズ割合（顔サイズ／水平解像度×１００）の目標値を示している。この目標値は予めメモリに格納されている所定値である。例えば構図パターンが「小」の場合は、目標顔サイズは５％～１０％（中央値は７．５％）、すなわち４８ピクセル～９６ピクセル（中央値は７２ピクセル）となる。本実施例においては、最も中央の近くにいる対象被写体の顔サイズが、目標顔サイズの範囲内となるようにズーム位置を算出する。

【0119】

目標被写体領域とは、画像データの水平解像度に対する被写体領域の大きさの割合の目標値を示している。この目標値も、は予めメモリに格納されている所定値である。被写体領域とは、対象被写体がいる（ある）領域のことであり、対象被写体領域のサイズとは水平方向における対象被写体が存在する領域の右端から左端までの距離をピクセル数で示した値である。具体的に、対象被写体が複数の場合、水平位置が最も小さい（つまり左端の）被写体の左端水平座標位置から、水平位置が最も大きい（つまり右端の）被写体の右端水平座標位置までのピクセル数を示している。対象被写体が１人の場合は、顔サイズが対象被写体領域サイズとなる。例えば構図パターンが「中」の場合の目標被写体領域は７０％という所定値以下、すなわち６７２ピクセル以内に対象被写体が入るようにということを意味している。

【0120】

目標被写体領域に収まるように構図を調整することで、画面両端あるいは画面左右端のいずれかの一定の領域に余白領域を作ることができ、それによって被写体周囲に位置する別の被写体が検出しやすくなるという効果がある。なお、構図パターンが「大」の場合は、目標被写体領域は不問とし、目標顔サイズのみを参照して、目標ズーム位置ｔｚｐを算出する。

【0121】

図１７は、本実施例に係る構図判定部３０６の、目標ズーム位置ｔｚｐを取得する処理、つまり、ステップＳ５０５を説明するフローチャートである。この図を用いて、現在のズーム位置ｚｐおよび相対画角ａｏｖ（ｚｐ）、目標顔サイズ、目標被写体領域から、目標ズーム位置ｔｚｐを算出する処理について説明する。

【0122】

まず、構図判定部３０６は、対象被写体１の顔サイズが目標顔サイズの範囲外、つまり、最小値よりも小さかったり最大値よりも大きかったりするか否かを判断し、範囲外であればＳ１７０２へ移行し、範囲内であればＳ１７０３へ移行する（Ｓ１７０１）。

【0123】

構図判定部３０６は、対象被写体１の顔サイズが目標顔サイズの範囲外である場合、まずは対象被写体１の顔サイズが目標顔サイズの中央値となるような第１ズーム位置ｚｐ１を取得する（Ｓ１７０２）。具体的には、まず、顔サイズをｆｓ、目標顔サイズをｔｆｓとし、現在のズーム位置ｚｐの相対画角ａｏｖ（ｚｐ）から、以下の式によって目標の相対画角ａｏｖ（ｚｐ１）を算出する。
ａｏｖ（ｚｐ１）＝ｆｓ×ａｏｖ（ｚｐ）／ｔｆｓ

【0124】

そして、ａｏｖ（ｚｐ１）がａｏｖ（ｚｐ）より小さい、すなわちテレ側に駆動する必要がある場合は、ａｏｖ（ｚｐ）を現在のズーム位置からテレ方向に順に参照する。そして、ａｏｖ（ｚｐ）が最初にａｏｖ（ｚｐ１）以下となるズーム位置ｚｐを、第１ズーム位置ｚｐ１として決定する。一方、ａｏｖ（ｚｐ１）がａｏｖ（ｚｐ）より大きい、すなわちワイド側に駆動する必要がある場合は、ａｏｖ（ｚｐ）を現在ズーム位置からワイド方向に順に参照する。そして、ａｏｖ（ｚｐ）が最初にａｏｖ（ｚｐ１）以上となるズーム位置ｚｐを、第１ズーム位置ｚｐ１として決定する。

【0125】

例えば、対象被写体１の顔サイズｆｓが８０ピクセル、現在のズーム位置ｚｐが０、構図パターンが「中」で目標顔サイズｔｆｓが中央値の１２．５％（＝１２０ピクセル）だった場合、まず、目標の相対画角ａｏｖ（ｚｐ１）は下記式で算出する。
ａｏｖ（ｚｐ１）＝８０×１０００／１２０＝６６７

【0126】

ａｏｖ（６６７）＜ａｏｖ（０）なので、ａｏｖ（５８）＝６６９、ａｏｖ（５９）＝６６５であることから、第１ズーム位置ｚｐ１は５９となる。

【0127】

また、算出したａｏｖ（ｚｐ１）がａｏｖ（ｚｐ）の最小値（ここでは５００）より小さい場合は、第１ズーム位置ｚｐ１はテレ側の最大値１００と設定する。反対に、算出したａｏｖ（ｚｐ１）がａｏｖ（ｚｐ）の最大値（ここでは１０００）より大きい場合は、第１ズーム位置ｚｐ１はワイド側の最小値０と設定する。

【0128】

構図判定部３０６は、ステップＳ１７０１で対象被写体１の顔サイズが目標顔サイズの範囲内であると判断された場合は、現在のズーム位置ｚｐを第１ズーム位置ｚｐ１とする（Ｓ１７０３）。

【0129】

次に、構図判定部３０６は、対象被写体数が複数かどうかを判定する（Ｓ１７０４）。複数であれば被写体領域を考慮して目標ズーム位置ｔｚｐを決定する必要があると判断しＳ１７０５に移行する。対象被写体数が１であれば、目標顔サイズは目標被写体領域よりも小さく設定されているため、被写体領域を考慮する必要はない。よって、目標ズーム位置ｔｚｐに第１ズーム位置ｚｐ１を代入してステップＳ５０５の処理を終了する（Ｓ１７１２）。

【0130】

被写体領域を考慮して目標ズーム位置ｔｚｐを決定する場合、第１のズーム位置ｚｐ１に移動しても被写体領域のサイズが目標被写体領域として設定されている割合を超えるか否かを判断する。そして、超える場合は超えない位置を目標ズーム位置ｔｚｐとする（Ｓ１７０５～Ｓ１７１１）。

【0131】

まず、構図判定部３０６は、算出した第１ズーム位置ｚｐ１に変更した場合の、被写体領域が占める割合である、第１被写体領域を算出する（Ｓ１７０５）。具体的には、現在の被写体領域をｓｒとして、現在のズーム位置ｚｐの相対画角ａｏｖ（ｚｐ）および第１ズーム位置ｚｐ１の相対画角ａｏｖ（ｚｐ１）から、以下の式によって第１被写体領域ｓｒ１を算出する。
ｓｒ１＝ｓｒ×ａｏｖ（ｚｐ）／ａｏｖ（ｚｐ１）

【0132】

例えば、現在の被写体領域ｓｒが４６０ピクセル、現在のズーム位置ｚｐが０で相対画角ａｏｖ（０）が１０００、第１ズーム位置ｚｐ１が５９で相対画角ａｏｖ（５９）が６６５だった場合、
ｓｒ１＝４６０×１０００／６６５＝６９２
となる。つまり、ズーム位置ｚｐを０から５９に変更することによって、被写体領域が４６０ピクセルから６９２ピクセルに変化する。尚、第１ズーム位置ｚｐ１と現在のズーム位置ｚｐが一致している場合は、計算をせずに、現在の被写体領域ｓｒを第１被写体領域ｓｒ１とすればよい。第１被写体領域ｓｒ１を取得すると、本ステップを終え、Ｓ１７０６に進む。

【0133】

構図判定部３０６は、第１被写体領域ｓｒ１が目標被写体領域より大きいかどうかを判断する（Ｓ１７０６）。目標被写体領域より大きい場合は目標被写体領域に基づいて目標ズーム位置を取得することが必要と判断してＳ１７０７へ移行する。目標被写体領域より小さい場合、または構図パターンが「大」で、目標被写体領域による調整が不要である場合、第１ズーム位置ｚｐ１を目標ズーム位置ｔｚｐとして処理を終了する（Ｓ１７１２）。

【0134】

目標被写体領域に基づいて目標ズーム位置を取得する場合、構図判定部３０６は、被写体領域が目標被写体領域以内となるような第２ズーム位置ｚｐ２を算出する（Ｓ１７０７）。具体的には、目標被写体領域をｔｓｒとすると、第１被写体領域ｓｒ１および第１ズーム位置ｚｐ１の相対画角ａｏｖ（ｚｐ１）から、以下の式によって目標の相対画角ａｏｖ（ｚｐ２）を算出する。
ａｏｖ（ｚｐ２）＝ｓｒ１×ａｏｖ（ｚｐ１）／ｔｓｒ

【0135】

例えば、構図パターンが「中」で目標被写体領域ｔｓｒが７０％（＝６７２ピクセル）に対し、第１被写体領域ｓｒ１が６９２ピクセル（＝７２％）で、第１ズーム位置ｚｐ１が５９で相対画角ａｏｖ（５９）が６６５、だった場合、
ａｏｖ（ｚｐ２）＝６９２×６６５／６７２＝６８５
となる。ａｏｖ（ｚｐ）を第１ズーム位置ｚｐ１からワイド方向に順に参照し、ａｏｖ（ｚｐ）が最初に６８５以上となるズーム位置ｚｐを、第２ズーム位置ｚｐ２として決定する。この例では、ａｏｖ（５５）＝６８３、ａｏｖ（５４）＝６８８であることから、第２ズーム位置ｚｐ２は５４となる。

【0136】

次に、構図判定部３０６は、対象被写体１の顔サイズが目標顔サイズの最小値となるような第３ズーム位置ｚｐ３を取得する（Ｓ１７０８）。第３ズーム位置ｚｐ３は、現在の構図パターンにおけるワイド側ズーム位置の限界値を設定するために取得する。

【0137】

算出方法は、Ｓ１７０２での説明と同様であり、例えば、対象被写体１の顔サイズｆｓが８０ピクセル、現在のズーム位置ｚｐが０、構図パターンが「中」で目標顔サイズｔｆｓが最小値の１０％（＝９６ピクセル）だった場合、
ａｏｖ（ｚｐ３）＝８０×１０００／９６＝８３３
となる。そして、ａｏｖ（ｚｐ）を現在ズーム位置０からテレ方向に順に参照し、ａｏｖ（ｚｐ）が最初に８３３以下となるズーム位置ｚｐを、第３ズーム位置ｚｐ３として決定する。この例では、ａｏｖ（２６）＝８３５、ａｏｖ（２７）＝８２９であることから、第３ズーム位置ｚｐ３は２７となる。

【0138】

ここで、ａｏｖ（ｚｐ１）の算出時と同様に、算出したａｏｖ（ｚｐ２）あるいはａｏｖ（ｚｐ３）がａｏｖ（ｚｐ）の最小値（ここでは５００）より小さい場合は、第２ズーム位置ｚｐ２あるいは第３ズーム位置ｚｐ３はテレ側の最大値１００と設定する。反対に、算出したａｏｖ（ｚｐ２）あるいはａｏｖ（ｚｐ３）がａｏｖ（ｚｐ）の最大値（ここでは１０００）より大きい場合は、第２ズーム位置ｚｐ２あるいは第３ズーム位置ｚｐ３はワイド側の最小値０と設定する。

【0139】

第２ズーム位置ｚｐ２と第３ズーム位置ｚｐ３とを取得すると、構図判定部３０６は、第２ズーム位置ｚｐ２が第３ズーム位置ｚｐ３よりも小さいか否かを判定する（Ｓ１７０９）。この判定は、目標被写体領域以下に収めるための第２ズーム位置ｚｐ２が、構図パターンの対応するワイド側のズームの限界位置を超えているか否かの判定である。第２ズーム位置ｚｐ２が、構図パターンに対応するワイド側の限界位置を超えている場合はＳ１７１０へ移行し、そうでなければＳ１７１１へ移行する。

【0140】

第２ズーム位置ｚｐ２が、構図パターンに対応するワイド側の限界位置を超えている場合、ズーム位置を第２のズーム位置ｚｐ２にすると、被写体１の顔サイズが、構図パターンに対応する顔サイズの最小値よりも小さくなる。よって、構図判定部３０６は、目標被写体領域以下に収めるための第２ズーム位置ｚｐ２を目標ズーム位置に設定するのが不可であると判断する。そして、目標ズーム位置ｔｚｐに、その構図パターンに対応するワイド側のズーム位置の限界位置である第３ズーム位置ｚｐ３を設定する（Ｓ１７１０）。この場合、被写体領域のサイズは、構図パターンに対応づけられている目標被写体領域よりも大きくなる。

【0141】

一方、第２ズーム位置ｚｐ２が、構図パターンに対応するワイド側の限界位置を超えていない場合は、構図判定部３０６は、目標被写体領域以下に収めるための第２ズーム位置ｚｐ２を目標ズーム位置ｔｚｐに設定する（Ｓ１７１１）。

【0142】

上述したように、被写体の顔が目標の顔サイズ範囲に収まるようにズーム位置ｚｐを調整することで、被写体がカメラに近づいたり遠ざかったりした場合にも、追従して同じ顔サイズの構図での撮影が可能となる。

【0143】

また、対象被写体が複数存在する場合に、目標被写体領域に応じてワイド側に調整し、一定以上の余白を設けるように構図を調整することで、対象被写体の周囲にいる別の被写体を認識しやすくすることができる。具体的な効果については図２０で説明する。

【0144】

図１８～図２０は、本実施例に係る対象被写体の被写体情報およびズーム位置ｚｐ、構図パターンの例と、目標ズーム位置ｔｚｐの取得結果の具体例を説明する図である。

【0145】

図１８では、目標顔サイズに基づいて、ズーム位置をテレ方向に制御する例について説明する。図１８（ａ）は、対象被写体が一人だけいるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。図１８（ｂ）は、図１８（ａ）の画像データに対する対象被写体の被写体情報、現在のズーム位置ｚｐおよび次回の自動撮影のために設定されている構図パターンを示す図である。

【0146】

構図パターン「大」の目標顔サイズが１５～２０％に対し、被写体１の顔サイズが１２０ピクセル（＝１２．５％）と、目標顔サイズの範囲外であることから、図１７のステップＳ１７０２で第１ズーム位置ｚｐ１を算出する。目標顔サイズの中央値が１７．５％（＝１６８ピクセル）、ズーム位置３０のａｏｖ（３０）が８１２とすると、
ａｏｖ（ｚｐ１）＝１２０×８１２／１６８＝５８０
となる。ａｏｖ（ｚｐ）を現在ズーム位置３０からテレ方向に順に参照し、ａｏｖ（ｚｐ）が最初に５８０以下となるズーム位置ｚｐを、第１ズーム位置ｚｐ１として決定する。この例では、ａｏｖ（７８）＝５８３、ａｏｖ（７９）＝５７９であることから、第１ズーム位置ｚｐ１は７９となる。対象被写体数が１であることから、図１７のＳ１７１２で目標ズーム位置ｔｚｐは第１ズーム位置ｚｐ１＝７９と算出される。

【0147】

図１８（ｃ）は、目標ズーム位置ｔｚｐに従ってズーム位置を移動した場合の目標構図例を示す図である。図１８（ｃ）に示したように、対象被写体の顔を比較的大きく撮影することができる。

【0148】

図１９では、目標顔サイズに基づいて、ズーム位置をワイド方向に制御する例について説明する。図１９（ａ）は、対象被写体が複数いるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。図１９（ｂ）は、図１９（ａ）の画像データに対する対象被写体の被写体情報、現在のズーム位置ｚｐおよび次回の自動撮影のために設定されている構図パターンを示す図である。

【0149】

構図パターン「小」の目標顔サイズが５～１０％に対し、被写体１の顔サイズが１２０ピクセル（＝１２．５％）と、目標顔サイズの範囲外であることから、図１７のステップＳ１７０２で第１ズーム位置ｚｐ１を算出する。目標顔サイズの中央値が７．５％（＝７２ピクセル）、ズーム位置７０のａｏｖ（７０）が６１６とすると、
ａｏｖ（ｚｐ１）＝１２０×６１６／７２＝１０２６
となる。ａｏｖ（ｚｐ）の最大値１０００を超えているため、第１ズーム位置ｚｐ１は０となる。

【0150】

対象被写体数が３であることから、図１７のステップＳ１７０５で第１被写体領域ｓｒ１を算出する。現在の被写体領域ｓｒは、水平位置が最も小さい（紙面左端の）対象被写体は、被写体２である。ここで、図１９（ｂ）に示す対象被写体の被写体情報における顔位置（ｘ、ｙ）は顔の中心の位置であるため、被写体２の左端水平座標位置は、２２０－１２０／２＝１６０である。また、水平位置の最も大きい（紙面右端の）対象被写体は、被写体３である。同様に、被写体３の右端水平座標位置は、７２０＋１２０／２＝７８０である。よって、左端水平座標位置から右端水平座標位置までのピクセル数、すなわち現在の被写体領域ｓｒは６２０ピクセルとなる。

【0151】

現在の被写体領域ｓｒが６２０ピクセル、現在のズーム位置ｚｐが７０で相対画角ａｏｖ（０）が６１６、第１ズーム位置ｚｐ１が０で相対画角ａｏｖ（０）が１０００なので、第１被写体領域ｓｒ１は、
ｓｒ１＝６２０×６１６／１０００＝３８２
となる。取得されたｓｒ１が構図パターン「小」における目標被写体領域である７６８ピクセル（＝９６０×０．８）に対して小さいため、目標ズーム位置ｔｚｐは第１ズーム位置ｚｐ１＝０と取得される。

【0152】

図１９（ｃ）は、目標ズーム位置ｔｚｐに従ってズーム位置を移動した場合の目標構図例を示す図である。図１９（ｃ）に示したように、対象被写体を周りの背景などを含めて撮影することができる。

【0153】

図２０では、目標顔サイズおよび目標被写体領域に基づいて、ズーム位置をワイド方向に制御する例について説明する。図２０（ａ）は、対象被写体が複数いるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。

【0154】

図２０（ｂ）は、図２０（ａ）の画像データに対する対象被写体の被写体情報、現在のズーム位置ｚｐおよび次回の自動撮影のために設定されている構図パターンを示す図である。

【0155】

構図パターン「中」の目標顔サイズが１０～１５％に対し、被写体１の顔サイズが１２０ピクセル（＝１２．５％）と、目標顔サイズの範囲内であることから、図１７のステップＳ１７０３で第１ズーム位置ｚｐ１には現在のズーム位置ｚｐ（＝５０）を代入する。

【0156】

対象被写体数が３であることから、図１７のステップＳ１７０５で第１被写体領域ｓｒ１を算出する。現在の被写体領域ｓｒは、水平位置が最も小さい被写体５の左端水平座標位置１２０－１２０／２＝６０から水平位置の最も大きい被写体４の右端水平座標位置８１０＋１２０／２＝８７０までのピクセル数、すなわち８１０ピクセルとなる。

【0157】

第１ズーム位置ｚｐ１は、現在のズーム位置ｚｐと同一であるため、第１被写体領域ｓｒ１は現在の被写体領域である８１０ピクセルとなる。構図パターン「中」における目標被写体領域６７２ピクセル（＝９６０×０．７）に対して大きいため、図７のステップＳ１７０７で被写体領域が目標被写体領域以内となるような第２ズーム位置ｚｐ２を算出する。

【0158】

目標被写体領域ｔｓｒが６７２ピクセル、第１被写体領域ｓｒ１が８１０ピクセル、第１ズーム位置５０の相対画角ａｏｖ（５０）が７０７であるため、第２ズーム位置ｚｐ２の相対画角ａｏｖ（ｚｐ２）は、
ａｏｖ（ｚｐ２）＝８１０×７０７／６７２＝８５２
となる。ａｏｖ（ｚｐ）を第１ズーム位置ｚｐ１からワイド方向に順に参照し、ａｏｖ（ｚｐ）が最初に８５２以上となるズーム位置ｚｐを、第２ズーム位置ｚｐ２として決定する。この例では、ａｏｖ（２４）＝８４７、ａｏｖ（２３）＝８５３であることから、第２ズーム位置ｚｐ２は２３となる。

【0159】

続いて、図１７のＳ１７０８で対象被写体１の顔サイズが目標顔サイズの最小値となるような第３ズーム位置ｚｐ３を算出する。対象被写体１の顔サイズｆｓが１２０ピクセル、現在のズーム位置ｚｐが５０、構図パターンが「中」で目標顔サイズｔｆｓが最小値の１０％（＝９６ピクセル）であるため、
ａｏｖ（ｚｐ３）＝１２０×７０７／９６＝８８４
となる。ａｏｖ（ｚｐ）をズーム位置０からテレ方向に順に参照し、ａｏｖ（ｚｐ）が最初に８８４以下となるズーム位置ｚｐを、第３ズーム位置ｚｐ３として決定する。この例では、ａｏｖ（１７）＝８８９、ａｏｖ（１８）＝８８３であることから、第３ズーム位置ｚｐ３は１８となる。

【0160】

第２ズーム位置ｚｐ２＝２６は、第３ズーム位置ｚｐ３は１８よりも大きいため、第２ズーム位置ｚｐ２が目標顔サイズの範囲内に収まるとして、図１７のステップＳ１７１１にて第２ズーム位置ｚｐ２を目標ズーム位置ｔｚｐとして取得する。

【0161】

図２０（ｃ）は、目標ズーム位置ｔｚｐに従ってズーム位置を移動した場合の目標構図例を示す図である。また、図２０（ｄ）は、図２０（ｃ）に示す目標構図にすることで、別の被写体を検出できた場合の例を示す図である。図２０（ｄ）に示すように、被写体の領域が占める割合を目標被写体領域以下に収めるようにズーム位置を制御することで、対象被写体を撮影範囲の一部の領域内に収めることができる。それにより、対象被写体以外の被写体や、被写体検出の対象外となる背景等が占める領域である画像データ内の余白を、対象被写体を撮影範囲の全体に収める場合（目標被写体領域を１００とする場合）よりも画面の余白を増やすことができる。余白を増やすことにより、図２０（ａ）のようなズーム位置制御前の構図では検出できないような、もう一人の被写体を新しく検出することができることがある。新たに検出されたこの被写体は、対象被写体として設定されている被写体４と顔サイズと顔位置が近いことから、次の構図判定（Ｓ４０３）で対象被写体に設定される。よって、新たに検出された被写体の更に左側（紙面右側）に別の被写体がいる場合はそちらの被写体を検出することもできる。

【0162】

また、本実施例の撮像装置では、ズーム駆動によって対象被写体のサイズを変更することに加え、パン駆動とチルト駆動により撮影範囲内における対象被写体の位置を変更することができる。パン駆動とチルト駆動とができないと、対象被写体の位置によってはズーム駆動によって被写体を見失う等の不具合が生じてしまうことがある。例えば、被写体１の顔サイズが目標顔サイズの最小値より小さく、且つ、被写体領域が目標被写体領域に対して十分小さいため、ズーム位置ｚｐをテレ側に駆動させる必要があるが、被写体領域の水平方向の座標が７８０～９５０と、右側に寄っている場合を考える。パン駆動ができない撮像装置の場合、目標顔サイズにするためにテレ側にズーム駆動をすると対象被写体が撮影範囲内に収まらず、右側からフレームアウトしてしまう。その対策として、フレームアウトしないように、被写体の位置に応じてズーム倍率を制限すると、今度は目標顔サイズにすることができない。本実施例の撮像装置は、パン駆動とチルト駆動ができ、被写体の位置や顔の向きに基づいて撮影方向を変更しながらズーム位置ｚｐを変更することができるため、被写体の位置によらず、被写体の顔サイズが目標顔サイズとなるような構図調整をすることができる。このように、本実施例の撮像装置は、パン駆動とチルト駆動とズーム駆動とを行うことができるため、対象被写体の撮影範囲内の位置に関わらず、被写体領域のサイズに基づいて目標ズーム位置ｔｚｐを取得することができる。

【0163】

なお、本実施例においては、顔サイズの割合や被写体領域の割合など、水平方向の解像度を基準としているが、これに限らず、チルト方向の解像度を基準としても良い。

【0164】

また、本実施例においては、対象被写体の顔の向きに基づいて、対象被写体の撮影範囲における水平方向の位置が変わる実施例について説明をしたが、垂直方向の位置も制御してもよい。対象被写体が上方向を向いているときには、対象被写体が正面を向いているときよりも上方に余白を増やすように、対象被写体の顔の位置が撮影範囲の下端に近くなるような目標顔位置を設定しておけばよい。同様に、対象被写体が下方向を向いているときには、対象被写体が正面を向いているときよりも下方に余白を増やすように、対象被写体の顔の位置が撮影範囲の上端に近くなるような目標顔位置を設定しておけばよい。

【0165】

また、本実施例においては、被写体の向きとして、被写体の顔向きを参照して構図を判定している。しかしながら、本発明はこれに限らず、被写体の視線の向き、体の向き、指の向き、腕の向き、等の体の一部を使って方向を示すような他の特徴情報を被写体の向きとして参照しても良いものとする。また、これらの複数の特徴情報を用いて被写体の向きを推定した結果を参照してもよい。

【実施例2】

【0166】

実施例２では、自動撮影の直後に、一旦画角を広げる方向にズーム位置を調整する探索処理を行うことで、撮影範囲外の被写体をより検出しやすくする例について説明する。本実施例において、探索処理は、実施例１と同様に検出した顔の向きに基づいて撮影方向を決定したり、検出した顔のサイズに基づいて目標ズーム位置を決定したりしながら自動撮影が行われた後に行われる。本実施例におけるシステム構成は、実施例１と同じであるため説明を省略する。実施例１と異なる部分について以下に説明する。

【0167】

図２１は、本実施例に係る構図判定部３０６による、構図判定処理を説明するフローチャートである。ステップＳ５０１～Ｓ５０５の処理に関しては、実施例１と同様のため、説明を省略する。

【0168】

構図判定部３０６は、対象被写体を決定し（Ｓ５０１）、対象被写体数が１以上であると判定されると（Ｓ５０２でＹＥＳ）、現在の状態が撮影直後かどうかを判断する（Ｓ２１０１）。つまり、今フレームが直前の自動撮影がされた後の１枚目のフレームであるか否かを判断する。撮影直後でなければ、実施例１と同様の構図判定動作を行うためにステップＳ５０３へ移行し、撮影直後であれば、ステップＳ２１０２へ移行する。

【0169】

構図判定部３０６は、構図判定前に一旦画角を広げるための探索ズーム位置ｉｚｐを算出する（Ｓ２１０２）。初期ズーム位置ｉｚｐは、対象被写体の検出が継続できる程度の大きさで対象被写体が撮影され、且つ画角が最大限まで大きくなるズーム位置ｚｐである。本実施例においては、被写体の検出が継続できる最小の顔サイズが画面水平解像度に対して５％である例について説明をする。構図判定部３０６は、ステップＳ５０１で判定した対象被写体のうち、顔サイズが最小である被写体の顔サイズが５％（＝４８ピクセル）以上となるように、初期ズーム位置ｉｚｐを計算する。

【0170】

具体的には、目標顔サイズをｔｆｓとすると、対象被写体の現在の最小顔サイズｍｆｓおよび現在ズーム位置ｚｐの相対画角ａｏｖ（ｚｐ）から、以下の式によって目標の相対画角ａｏｖ（ｉｚｐ）を算出する。
ａｏｖ（ｉｚｐ）＝ｍｆｓ×ａｏｖ（ｚｐ）／ｔｆｓ

【0171】

最小顔サイズｍｆｓが６０ピクセル、現在ズーム位置ｚｐが８０、相対画角ａｏｖ（８０）が５７５の場合を考える。目標顔サイズｔｆｓが４８ピクセルであるため、
ａｏｖ（ｉｚｐ）＝６０×５７５／４８＝７１９
となる。ａｏｖ（ｚｐ）を現在ズーム位置ｚｐからワイド方向に順に参照し、ａｏｖ（ｚｐ）が７１９以下を満たす最大のズーム位置ｚｐを、探索ズーム位置ｉｚｐとして決定する。この例では、ａｏｖ（４８）＝７１７、ａｏｖ（４７）＝７２２であることから、初期ズーム位置ｉｚｐは４８となる。

【0172】

図２２では、探索ズーム位置ｉｚｐを算出して、ズーム位置をワイド方向に制御する例について説明する。図２２（ａ）は、対象被写体が複数いるような場合の、被写体検出部３０５に入力される画像データの一例を示す図である。図２２（ｂ）は、図２２（ａ）の画像データに対する対象被写体の被写体情報及び現在のズーム位置ｚｐを示す図である。この例の場合、最小の顔サイズは、被写体３の顔サイズ９０ピクセルとなる。

【0173】

目標顔サイズｔｆｓが４８ピクセル、最小の顔サイズｍｆｓが９０ピクセル、現在ズーム位置１００の相対画角ａｏｖ（１００）が５００であるため、初期ズーム位置ｉｚｐの相対画角ａｏｖ（ｉｚｐ）は、
ａｏｖ（ｉｚｐ）＝９０×５００／４８＝９３８
となる。ａｏｖ（ｚｐ）を現在ズーム位置ｚｐからワイド方向に順に参照し、ａｏｖ（ｚｐ）が９３８以下を満たす最大のズーム位置ｚｐを、探索ズーム位置ｉｚｐとして決定する。この例では、ａｏｖ（１０）＝９３３、ａｏｖ（９）＝９４０であることから、探索ズーム位置ｉｚｐは１０となる。構図判定部３０６は、この探索ズーム位置ｉｚｐを目標ズーム位置ｔｚｐとして駆動制御部３０７へ出力し、駆動制御部３０７とレンズ駆動部３０９とによりズーム位置が探索ズーム位置に移動する。

【0174】

図２２（ｃ）は、探索ズーム位置ｉｚｐを目標ズーム位置ｔｚｐとしてズーム位置を移動した場合の構図の例を示す図である。図２２（ｄ）は、図２２（ｃ）に示す構図にすることで、別の被写体を検出できた場合の例を示す図である。図２２（ｄ）に示すように、被写体の検出が継続でき、且つ画角が最大限まで大きくなるようにズーム位置ｚｐを調整し、画面の余白を最大限まで増やすことで、図２２（ａ）の構図では検出できないような、他の被写体を新しく検出することができることがある。また、対象被写体の顔サイズに関わらず、画角を最大限又は所定の位置まで広げて周辺の被写体を探索すると、撮影範囲内に被写体が存在しているにもかかわらず、小さすぎ被写体が検出できなくなるという状況が生じ得る。しかしながら、本実施例のように、対象被写体の顔サイズに基づいて探索ズーム位置ｉｚｐを決定することで、小さすぎて被写体が検出できないという状況が生じる可能性を低くすることができる。

【0175】

以上、本実施例によれば、パン・チルト・ズームの制御機構を持つデジタルカメラ等の撮像装置において、撮影直後に一旦画角を広げる方向にズーム位置を調整することで、画角外の被写体をより検出しやすくすることができる。

【0176】

（変形例）
実施例１及び２では、被写体情報を人物の顔の特徴に関わる情報とした。しかしながら、これに限らず、被写体情報として、動物、モノ、等の人物以外の被写体に関する特徴情報を用いることもできる。

【0177】

図２３は、人物に加え動物の顔情報を検出可能とする例を示す図である。被写体情報および構図の調整方法に関しては、実施例１の図１１と同様であるため、詳細な説明は省略する。図２３の（ａ）は被写体検出部３０５に入力される画像データの一例を示す図であり、図２３（ｂ）は、図２３（ａ）の画像データに対する対象被写体の被写体情報を示す図である。図２３（ｃ）は、被写体１の顔位置（６９０、３９０）と図８（ｃ）で示した目標顔位置（１９２、２７０）との位置関係を模式的に示した図である。図１１（ｄ）は、被写体１のパン移動量ｄｘ（１）およびチルト移動量ｄｙ（１）と、最終結果として出力されるパン移動量ｄｘ、チルト移動量ｄｙを示した図である。図２３（ｅ）は、図２３（ｄ）に従ってパン方向およびチルト方向に動かした場合の目標構図例を示す図であり、図２３（ｆ）は、目標構図にすることで、別の被写体を検出できた場合の例を示す図である。動物やモノの場合は人物とは別の目標顔位置を設定してもよいし、人物の場合は被写体の向きに対応して目標顔位置を設定し、動物の場合は被写体の向きに関わらず同じ目標顔位置を設定してもよい。また、動物やモノと人物とが混在している場合は、パン移動量ｄｘ（ｎ）およびチルト移動量ｄｙ（ｎ）の単純な平均を算出する代わりに、人物に対して取得されたパン移動量ｄｘおよびチルト移動量ｄｙを重く重みづけした平均を算出する等してもよい。

【0178】

また、実施例１及び２では、撮像部３０２を含む鏡筒１０１がＸ軸とＹ軸との両方を中心に回転することにより、パン駆動とチルト駆動との両方が可能な例について説明をした。しかしながら、Ｘ軸とＹ軸と両方を中心に回転可能でなくても、いずれか１軸以上の軸を中心に回転可能であれば本発明を適用できる。例えば、Ｙ軸を中心に回転可能であれば、上述のように被写体の向きに基づいてパン駆動を行えばよい。

【0179】

また、実施例１及び２では、撮影光学系と撮像素子とを備える鏡筒と鏡筒による撮像方向を制御する撮像制御装置とが一体化された撮像装置を例に説明をした。しかしながら、本発明はこれに限定されない。例えば、撮像装置はレンズが交換可能な構成としてもよい。

【0180】

また、固定された撮像装置をパン方向とチルト方向とに駆動する回転機構を備える雲台に、撮像装置を固定することでも同様の機能を実現できる。尚、撮像装置は撮像機能を有していればそのほかの機能を有していてもよく、例えば撮像機能を有するスマートフォンを固定することができる雲台とスマートフォンとを組み合わせることで、実施例１，２と同様の構成をとることもできる。また、鏡筒とその回転機構（チルト回転ユニットとパン回転ユニット）と、制御ボックスは必ず物理的に接続されている必要はなく、例えば、Ｗｉ－Ｆｉなどの無線通信を介して回転機構やズーム機能を制御してもよい。

【0181】

また、実施例１及び２ではレンズユニットがズーム機能を有する構成について説明をした。しかしながら、ズーム機能を有さないレンズユニットを用いる場合であっても、被写体の向きに基づいて撮像範囲における被写体の位置を変更することで、撮影範囲外の被写体の撮り逃しを低減するという効果を奏することができる。

【0182】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0183】

１００ 撮像装置
１０１ 鏡筒
１０２ チルト回転ユニット
１０３ パン回転ユニット
１０４ 制御ボックス
１１０ 外部機器
３０１ レンズユニット
３０２ 撮像部
３０３ 画像処理部
３０４ 画像記録部
３０５ 被写体検出部
３０６ 構図判定部
３０７ 駆動制御部
３０８ 鏡筒回転駆動部
３０９ レンズ駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】