特許 7438706 撮像制御装置、撮像装置、及び撮像制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】撮像制御装置、撮像装置、及び撮像制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240219BHJP

   G03B 15/00 20210101ALI20240219BHJP

   H04N 23/611 20230101ALI20240219BHJP

   H04N 23/67 20230101ALI20240219BHJP

   H04N 23/69 20230101ALI20240219BHJP

   H04N 23/695 20230101ALI20240219BHJP

【ＦＩ】

H04N23/60 100

G03B15/00 A

G03B15/00 P

G03B15/00 Q

H04N23/611

H04N23/67

H04N23/69

H04N23/695

【請求項の数】 24

(21)【出願番号】P 2019180369

(22)【出願日】2019-09-30

(65)【公開番号】P2021057818

(43)【公開日】2021-04-08

【審査請求日】2022-09-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】溝渕 泰大

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１９－１０６６９４（ＪＰ，Ａ）

【文献】特開２０１１－２５９２８５（ＪＰ，Ａ）

【文献】特開２０１２－０５５０１７（ＪＰ，Ａ）

【文献】特開２０１４－１４３６８１（ＪＰ，Ａ）

【文献】特開２０１５－０６１２３９（ＪＰ，Ａ）

【文献】特開２０１３－０２５２３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／６７

Ｈ０４Ｎ ２３／６９

Ｈ０４Ｎ ２３／６９５

(57)【特許請求の範囲】

【請求項1】

撮影光学系からの光に基づいて画像データを取得する撮像手段により撮像された前記画像データを取得し、当該画像データから被写体を検出する被写体検出手段と、前記撮像手段に対して撮影の開始指示を出力することで、自動的に記録される動画の撮影を行わせる自動撮影制御手段と、
前記自動撮影制御手段により自動撮影される動画に付与するカメラワークを、前記被写体検出手段による被写体の検出結果を示す情報に基づいて決定するカメラワーク決定手段と、
前記カメラワーク決定手段による決定結果に基づいて、前記自動撮影制御手段による動画の自動撮影中に前記撮像手段の構図と前記撮影光学系のフォーカスとのうち少なくともいずれかを予め定められたパターンで変更するように制御する制御手段と、を有することを特徴とする撮像制御装置。

【請求項2】

前記カメラワーク決定手段は、
前記記録される動画の撮影開始前に、
構図とフォーカスの少なくともいずれかの変更パターンであり、当該変更パターンが異なる複数のタイプのカメラワークの中から、前記自動撮影制御手段により自動撮影される動画の記録中に付与するカメラワークを、前記被写体検出手段による被写体の検出結果を示す情報に基づいて決定することを特徴とする請求項１に記載の撮像制御装置。

【請求項3】

前記制御手段は、
前記自動撮影制御手段による自動撮影が開始する前に、前記カメラワーク決定手段による決定結果に基づいて、前記撮像手段の構図と前記撮影光学系のフォーカスとのうち少なくともいずれかを撮影開始位置に制御し、前記記録される動画の自動撮影中に、前記撮像手段の構図と前記撮影光学系のフォーカスとのうち少なくともいずれかを、前記カメラワーク決定手段による決定結果に基づく撮影終了位置まで、前記決定結果に対応するパターンで変更するように制御することを特徴とする請求項１または２に記載の撮像制御装置。

【請求項4】

前記制御手段は、
前記撮像手段を少なくとも１軸以上の軸を中心に回転させることにより、前記撮像手段をパン駆動とチルト駆動の少なくともいずれかを行う回転機構による回転を制御することで前記構図の変更を制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像制御装置。

【請求項5】

前記制御手段は、前記自動的な動画の撮影の開始前に、被写体を探索する探索処理を実行するように、前記撮像手段と前記被写体検出手段と前記回転機構とを制御することが可能であり、
前記探索処理により検出した被写体情報を記憶する記憶手段を有し、
前記カメラワーク決定手段は、
前記記憶手段に前記記憶された前記被写体情報に基づいて、前記自動撮影される動画に付与するカメラワークを決定することを特徴とする請求項４に記載の撮像制御装置。

【請求項6】

前記探索処理において、
前記撮像手段は複数の構図で前記画像データを取得し、
前記被写体検出手段は、前記複数の構図で取得された前記画像データを取得して被写体を検出することを特徴とする請求項５に記載の撮像制御装置。

【請求項7】

前記制御手段は、
前記撮像手段のズームを制御することで前記構図を変更することを特徴とする請求項１乃至６のいずれか１項に記載の撮像制御装置。

【請求項8】

前記撮影光学系はズームレンズを有し、
前記制御手段は前記ズームレンズの位置を制御することで前記ズームを制御することを特徴とする請求項７に記載の撮像制御装置。

【請求項9】

前記制御手段は、前記撮像手段が有する撮像素子が取得する画像データから切り出す範囲を制御することで前記ズームを制御することを特徴とする請求項７または８の記載の撮像制御装置。

【請求項10】

前記制御手段は、
前記フォーカスを制御することが可能であり、
前記フォーカスを前記カメラワーク決定手段による決定結果に対応するパターンで変更するように制御することでカメラワークを付与することを特徴とする請求項１乃至９のいずれか１項に記載の撮像制御装置。

【請求項11】

前記被写体検出手段は、
被写体の顔の向きを検出し、
前記カメラワーク決定手段は、
前記被写体検出手段により検出された被写体の顔の向きに基づいて、
前記自動撮影される動画に付与するカメラワークを決定することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像制御装置。

【請求項12】

前記被写体検出手段は、検出した被写体と予め登録された被写体の特徴量とを比較することで被写体の識別処理が可能であり、
前記カメラワーク決定手段は、
前記識別処理の結果に基づいて、
前記自動撮影される動画に付与するカメラワークを決定することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像制御装置。

【請求項13】

前記被写体検出手段が行う前記識別処理は、
個人認証処理と物体認識処理とのうち、少なくともいずれかであることを特徴とする請求項１２に記載の撮像制御装置。

【請求項14】

前記カメラワーク決定手段は、
前記被写体検出手段による前記被写体の識別処理により、
前記被写体が予め登録された被写体であると判定されたか否かに基づいて前記付与するカメラワークを決定することを特徴とする請求項１２又は１３に記載の撮像制御装置。

【請求項15】

前記カメラワーク決定手段は、
前記被写体検出手段により検出された人物の数に基づいて、前記自動撮影される動画に付与するカメラワークを決定することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像制御装置。

【請求項16】

前記カメラワーク決定手段は、
前記自動撮影制御手段により過去に撮影された動画に付与されたカメラワークの情報を取得し、前記過去に撮影された動画に付与されたカメラワークの情報に基づいて、
前記自動撮影される動画に付与するカメラワークを決定することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像制御装置。

【請求項17】

前記カメラワーク決定手段は、
前記過去に撮影された動画に付与されたカメラワークの情報に基づいて、少なくとも、直近、所定回数の撮影に付与されたタイプのカメラワークとは異なるタイプのカメラワークを、前記自動撮影される動画に付与するカメラワークを決定することを特徴とする請求項１６に記載の撮像制御装置。

【請求項18】

前記カメラワーク決定手段は、前記被写体検出手段により検出された顔の位置情報に基づいて、
前記自動撮影される動画に付与するカメラワークを決定する
ことを特徴とする請求項１乃至１７のいずれか１項に記載の撮像制御装置。

【請求項19】

前記カメラワーク決定手段は、
前記被写体検出手段により検出された顔のサイズ情報に基づいて、
前記自動撮影される動画に付与するカメラワークを決定する
ことを特徴とする請求項１乃至１８のいずれか１項に記載の撮像制御装置。

【請求項20】

前記カメラワーク決定手段は、
前記被写体の検出結果を示す情報に基づいて、
撮影対象の被写体にズームインするカメラワークと、
撮影対象の被写体からズームアウトするカメラワークと、
撮影対象の被写体にパンインするカメラワークと、
撮影対象の被写体からパンアウトするカメラワークと、
撮影対象の被写体にチルトインするカメラワークと、
撮影対象の被写体からチルトアウトするカメラワークと、
撮影対象の被写体にフォーカスインするカメラワークと、
撮影対象の被写体からフォーカスアウトするカメラワークと、
撮像手段の周辺の複数の被写体をパン撮影するカメラワークと、
の少なくともいずれかを含むカメラワークの候補の中から、
前記自動撮影される動画に付与するカメラワークを決定する
ことを特徴とする請求項１乃至１９のいずれか１項に記載の撮像制御装置。

【請求項21】

前記カメラワーク決定手段は、
前記自動撮影制御手段による自動撮影の開始前に自動撮影される動画に付与するカメラワークを決定する請求項１乃至２０のいずれか１項に記載の撮像制御装置。

【請求項22】

前記カメラワーク決定手段は、
前記被写体の検出結果を示す情報に基づいて、
前記カメラワークを付与せずに前記自動撮影を行うことを決定することを特徴とする請求項１乃至２１のいずれか１項に記載の撮像制御装置。

【請求項23】

請求項１乃至２２のいずれか１項に記載の撮像制御装置と、前記撮像手段と、
前記撮像手段を少なくとも１軸以上の軸を中心に回転させることにより、前記撮像手段をパン駆動とチルト駆動の少なくともいずれかを行う回転機構とを備え、
前記撮像制御装置は、前記回転機構による前記撮像手段の回転を制御することで前記構図の変更を制御する撮像装置。

【請求項24】

撮影光学系からの光に基づいて画像データを取得する撮像手段により撮像された前記画像データを取得する工程と、
当該画像データから被写体を検出する被写体検出工程と、前記撮像手段に対して撮影の開始指示を出力することで、自動的に動画の撮影を行わせる自動撮影制御工程と、
自動撮影される動画に付与するカメラワークを、前記被写体検出工程による被写体の検出結果を示す情報に基づいて決定するカメラワーク決定工程と、を有し、
前記カメラワーク決定工程による決定結果に基づいて、前記動画の自動撮影中に前記撮像手段の構図と前記撮影光学系のフォーカスとのうち少なくともいずれかを予め定められたパターンで変更するように制御する制御工程と、を有することを特徴とする撮像制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像制御装置、特に自動で動画を撮影する撮像手段を制御する撮像制御装置、及び、該撮像制御装置を備える撮像装置及び撮像制御方法に関するものである。

【背景技術】

【0002】

近年、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行う自動撮影カメラが開発され実用化が進んでいる。例えばストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録するライフログカメラがある。また、笑顔や人の顔、犬や猫、急な動きなどを認識してシャッターを切る自動撮影カメラも存在する。

【0003】

一方、カメラで撮影した画像を再生する際に画像を連続的に再生する再生装置が一般的に知られている。例えば指定した画像を連続的に再生するスライドショー機能や、任意の、または自動的に選出した画像をひとつの動画にまとめ上げるダイジェスト動画作成機能などを持ったものがある。このような再生装置においては、バリエーションに富んだ画像や動画を再生することが望まれる。

【0004】

上記のような課題を解決する技術として、蓄積された画像を再生する際にその画像が持つ属性情報に対応したエフェクトを挿入し、画像再生のバリエーションを増やして再生する技術が、下記特許文献１に記載されている。

【0005】

特許文献１に開示された画像再生装置では、撮影後の画像を対象に、画像とともに保存されたパラメータを利用して適切なエフェクトを付与する。したがって、ユーザはエフェクトに関する意識をすることなく撮影をすることができ、かつ、再生する際には適切なエフェクトが付与されたスライドショーや動画を見ることができる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００８－６１０３２

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された画像再生装置は、撮影後の画像に対してエフェクトを付与するため、撮像されていない背景や被写体を含めたエフェクトを付与するためには撮影時にユーザが意識してカメラワークを付与する必要がある。例えば画角外にいる人物を含めたエフェクトを付与するには、ユーザが画角外の周囲状況を認識し、周囲の状況に合わせて最適なカメラワークを実施する必要がある。

【0008】

一方で、自動で動画を撮影する撮像装置において、カメラの置き場所や被写体のいる場所などの物理的な移動が少ない場合は、被写体や構図のバリエーションが限られてしまうため、バリエーション豊富な動画を撮影することが望まれることが想定される。

【0009】

そこで、本発明は、自動撮影を行う撮像装置で撮影される動画のバリエーションを増やす機能を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の請求項１に記載の撮像装置は、撮影光学系からの光に基づいて画像データを取得する撮像手段により撮像された前記画像データを取得し、当該画像データから被写体を検出する被写体検出手段と、前記撮像手段に対して撮影の開始指示を出力することで、自動的に動画の撮影を行わせる自動撮影制御手段と、前記自動撮影制御手段により自動撮影される動画に付与するカメラワークを、前記被写体検出手段による被写体の検出結果を示す情報に基づいて決定するカメラワーク決定手段と、前記カメラワーク決定手段による決定結果に基づいて、前記自動撮影制御手段による動画の自動撮影中に前記撮像手段の構図と前記撮影光学系のフォーカスとのうち少なくともいずれかを予め定められたパターンで変更するように制御する制御手段と、を有することを特徴とする。本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

【発明の効果】

【0011】

本発明によれば、様々なバリエーションの動画を自動的に撮影することができる撮影制御装置を提供することができる。

【図面の簡単な説明】

【0012】

【図1】実施例に係る撮像装置の模式図

【図2】実施例に係る撮像装置の構成を示すブロック図

【図3】実施例に係る撮像装置による撮影動作を説明するフローチャート

【図4】実施例に係る探索動作を説明する図

【図5】実施例に係る探索動作を説明するフローチャート

【図6】実施例に係るカメラワーク判定処理を説明するフローチャート

【図7】実施例に係る単体フレームイン撮影を説明する図

【図8】実施例に係る単体フレームイン撮影の処理を説明するフローチャート

【図9】実施例に係る単体ズーム撮影を説明する図

【図10】実施例に係る単体ズーム撮影の処理を説明するフローチャート

【図11】実施例に係る複数パン撮影を説明する図

【図12】実施例に係る複数パン撮影の処理を説明するフローチャート

【図13】実施例に係る広角パン撮影を説明する図

【図14】実施例に係る広角パン撮影の処理を説明するフローチャート

【図15】実施例に係るズーム位置と相対画角の関係を説明する図

【発明を実施するための形態】

【0013】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

【0014】

本実施例では、検出された被写体の情報に基づいて、複数のカメラワークの候補から付与するカメラワークを決定し、撮影方向、ズーム、フォーカスの少なくともいずれかを、決定したカメラワークに対応するパターンで変更する例について説明をする。

【0015】

図１は、本実施例に係る撮像装置１００の模式図である。
撮像装置１００は撮像手段としての鏡筒１０１と、鏡筒１０１をチルト方向に駆動するチルト回転ユニット１０２と鏡筒１０１をパン方向に駆動するパン回転ユニット１０３と鏡筒１０１による撮像を制御する制御ボックス１０４とを備える。チルト回転ユニット１０２とパン回転ユニット１０３とは、撮像手段の撮影方向を変更する、構図変更手段として機能する。

【0016】

鏡筒１０１は、撮像を行う撮像光学系と、撮影光学系からの光に基づいて画像データを取得する撮像素子とをゆする撮像手段であり、撮像装置１００の固定部（不図示）に対して回転駆動できる回転機構を介して撮像装置１００に取り付けられている。

【0017】

チルト回転ユニット１０２は、鏡筒１０１を図１（ｂ）中に示すピッチ方向に回転できるように、アクチュエータとしてのモータと、該モータにより回転駆動する回転機構（モータ駆動機構）を備えている。

【0018】

パン回転ユニット１０３は、鏡筒１０１を図１（ｂ）中に示すヨー方向に回転できるアクチュエータとしてモータと、該モータにより回転駆動する回転機構（モータ駆動機構）を備えている。尚、図に示すように、撮像装置１００の水平の軸（Ｘ軸）まわりの回転をピッチ、垂直の軸（Ｙ軸）まわりの回転をヨー、奥行き（光軸）方向の軸（Ｚ軸）まわりの回転をロールと呼ぶ。

【0019】

制御ボックス１０４は、鏡筒１０１に含まれる撮影レンズ群および、チルト回転ユニット１０２、パン回転ユニット１０３を制御するための制御マイコンなどを備えている。本実施例では制御ボックス１０４は撮像装置の固定部内に配置され、鏡筒１０１がパンチルト駆動をしても制御ボックスは固定されているものとする。

【0020】

制御ボックスによる処理の詳細を、図２を用いて説明する。

【0021】

図２は、鏡筒１０１、チルト回転ユニット１０２、パン回転ユニット１０３、制御ボックス１０４で構成される本実施例に係る撮像装置１００の構成を示すブロック図である。

【0022】

鏡筒１０１は、撮影光学系を構成するレンズユニット３０１と、撮像素子を備える撮像部３０２とを備える。鏡筒１０１は、チルト回転ユニット１０２、パン回転ユニット１０３によって、チルト方向、パン方向に回転駆動するように制御される。

【0023】

撮影光学系を構成するレンズユニット３０１はズーム駆動機構としてのズームレンズやフォーカスを変更する手段としての焦点レンズなどで構成され、レンズ駆動部３０５によって駆動制御される。ズームレンズとズームレンズを駆動するレンズ駆動部３０５とによるズーム機構が構成され、ズームレンズがレンズ駆動部３０５により光軸方向に移動することにより、ズーム機能が実現される。

【0024】

撮像部３０２は、撮像素子を備え、レンズユニットを構成する各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をデジタル画像データとして画像処理部３０３に出力する。

【0025】

チルト回転ユニット１０２は、ピッチ方向に回転できるモータ駆動機構を備える。また、パン回転ユニット１０３はヨー方向に回転できるモータ駆動機構備える。チルト回転ユニット１０２とパン回転ユニット１０３とは、鏡筒回転駆動部３０６から入力される駆動指示によって鏡筒１０１を回転駆動する。

【0026】

制御ボックス１０４は、画像処理部３０３、記録部３０４、レンズ駆動部３０５、鏡筒回転駆動部３０６、駆動制御部３０７、カメラワーク判定部３０８、被写体情報検出部３０９を有する。撮像装置による撮影方向は、駆動制御部３０７、鏡筒回転駆動部３０６により制御される。各部の詳細について説明する。

【0027】

画像処理部３０３は、撮像部３０２より出力されたデジタル画像データを取得する。そして、該デジタル画像データに対して、歪曲補正やホワイトバランス調整、色補間処理等の画像処理を適用し、適用後のデジタル画像データを記録部３０４および被写体情報検出部３０９に出力する。

【0028】

記録部３０４は、画像処理部３０３から出力されたデジタル画像データをＭＰＥＧ形式等の記録用フォーマットに変換し、不揮発性メモリ（不図示）などの記録媒体に記録する。また、記録部３０４は、記録した動画データと紐づけて、当該動画データが撮影された際の情報（過去撮影情報と呼ぶ）を記録する。過去撮影情報は、撮影時のカメラワーク種別および、後述する撮影した被写体の被写体情報と含む。

【0029】

被写体検出手段としての被写体情報検出部３０９は、画像処理部３０３から入力されるデジタル画像データから被写体を検出する。被写体情報検出部３０９は更に、検出した被写体の顔領域の部分から被写体情報を抽出して、抽出した被写体情報を被写体検出結果としてカメラワーク判定部３０８に出力する。被写体の情報とは、例えば、検出された顔の大きさ、撮像画像上の顔の位置、顔の向き、登録被写体識別結果などが挙げられる。これらの情報を抽出するため、被写体情報検出部３０９は、被写体の顔向きを判定する手段、顔の位置を検出する手段、顔のサイズを検出する手段、被写体を登録する手段、登録被写体を一意に識別（個人認証・物体認識）する手段を備える。ここで、登録被写体識別結果とは、特定の被写体を撮像しているかどうかを識別した結果である。被写体情報検出部３０９は、被写体を登録する手段によって事前に登録された特定の被写体の顔写真などの情報から抽出された特徴量と、検出された被写体の特徴量とを比較して一致度を取得し、特定の被写体を撮像しているか識別する。検出された被写体が個人の場合は個人認証処理の結果であり、検出された被写体が物体の場合は物体認識処理である。個人認証処理と物体認識処理とを合わせて識別処理と呼ぶものとする。識別結果はカメラワーク判定部３０８に入力される。識別結果は被写体登録時に割り付けられた一意の数値で表す。また、同時に複数の被写体を撮像している場合は、それぞれの被写体に対して識別を行い、すべての識別結果がカメラワーク判定部３０８に入力される。

【0030】

カメラワーク判定手段としてのカメラワーク判定部３０８は、被写体情報検出部３０９から入力される顔の位置情報や顔の向きなどの被写体情報に基づいて、複数のカメラワークの候補の中から、好ましいカメラワークの種別を判定（決定）する。そして、判定したカメラワーク種別と、被写体情報検出部３０９から入力された被写体情報を駆動制御部３０７に出力する。カメラワーク種別の判定処理、および各カメラワーク種別の詳細は後述する。

【0031】

自動撮影制御手段としての駆動制御部３０７は、ユーザの操作を介さない自動撮影のための各種処理を行う。カメラワーク判定部３０８から入力されるカメラワーク種別（カメラワークの決定結果）と被写体情報に基づいて、そのカメラワークを実現するのに必要なレンズ駆動および鏡筒回転駆動の軌跡を取得する。そして、駆動制御部３０７は、レンズ駆動および鏡筒回転駆動を行うための目標位置と駆動速度を決定する。決定したパラメータをそれぞれレンズ駆動部３０５、鏡筒回転駆動部３０６に出力する。また、カメラワーク種別ごとに適切なタイミングで撮影の開始、終了の指示を記録部３０４に出力することで、自動撮影を制御する（自動撮影制御）。なお、鏡筒回転駆動部３０６の入力、および駆動制御部３０７の出力として目標位置と駆動速度を指定する例を示したが、指定する値はこの限りではない。例えば加速度や、目標位置までの時分割データなどを指定してもよい。

【0032】

レンズ駆動部３０５は、レンズユニット３０１に含まれるズームレンズや焦点レンズを駆動するためのモータとドライバ部を有している。駆動制御部３０７から入力される目標位置と駆動速度に基づいて各レンズを駆動させる。

【0033】

鏡筒回転駆動部３０６は駆動制御部３０７から入力される目標位置と駆動速度に基づいてチルト回転ユニット１０２および、パン回転ユニット１０３に駆動指示を出力し、鏡筒１０１をチルト方向とパン方向に駆動させる。

【0034】

図３は、本実施例におけるカメラワークを自動付与して動画を撮影する処理の全体の流れを示すフローチャートである。撮像装置の電源がＯＮされると、現在の撮影範囲外の被写体を含めてカメラワークを決定するために、駆動制御部３０７は鏡筒回転駆動部３０６とレンズ駆動部３０５と被写体情報検出部３０９とを制御して撮像装置の周囲を探索する探索処理を行う（Ｓ３０１）。検出した被写体情報は記録部３０４に記憶する。次に、カメラワーク判定部３０８は、記録部３０４に記憶した被写体情報に基づいて、カメラワークの候補の中から自動で付与するカメラワーク決定する、カメラワーク判定処理を行う（Ｓ３０２）。付与するカメラワークが決定されると、駆動制御部３０７は、動画の撮影を開始するタイミングであるか否かを判定する（Ｓ３０３）。撮影を開始するタイミングでないと判定すると、本処理を終了する。一方、撮影を開始するタイミングであると判定すると、駆動制御部３０７は、決定したカメラワークが付与されるように鏡筒回転駆動部３０６とレンズ駆動部３０５との少なくともいずれかを制御しながら、動画の撮影を行う（Ｓ３０４）。ステップＳ３０１～３０４は周期的に繰り返し行われる。撮影動作が行われない場合は、ステップＳ３０１～Ｓ３０３が例えば、１／３０秒程度の周期で繰り返される。図３の各処理について詳細に説明をする。

【0035】

図４を用いて、図３でステップＳ３０１で示した探索動作で行う処理の概要を説明する。探索動作では、図４に示すように、パン方向の撮影可能領域を等間隔の領域に分割する（１１００）。ここでは、撮影可能範囲が１８０度の例を図示する。これを評価エリア（１１０１～１１０４）と呼ぶ。評価エリア毎に被写体情報検出部３０９が検出した被写体情報に応じてエリア評価値を更新し、記憶する。エリア評価値は、そのエリアを撮影対象とするか否かを評価する値であり、状況に応じて動的に増減する値である。エリア評価値は、その評価エリアに被写体を検出したとき増加する。また、時間経過、およびそのエリアを撮影するたびに減少する。探索はパン方向及びチルト方向の可動範囲をくまなく走査し、撮像可能な領域をすべて網羅する。

【0036】

なお、本実施例においては撮影領域の分割方法として撮影可能領域を等間隔に分割する例を示したが、撮影領域の分割方法はこれに限るものではない。例えば、撮影可能領域を周囲の被写体の数や障害物の位置情報など、何らかの基準によって間隔にばらつきを持たせて分割する方法を用いてもよい。また、撮影可能領域の分割間隔を動的に変化させる方法、チルト方向に分割する方向、パンおよびチルト方向の球体平面を２次元的に分割するなどの方法を用いてもいい。

【0037】

また、エリア評価値の増減方法として、被写体検出による増加と、撮影および時間経過により減少させる方法を示したが、エリア評価値の増減方法はこれに限るものではない。例えば、被写体を固有に識別する情報に基づいて特定の被写体が存在するエリアの評価値を増加減さる方法を用いてもよい。また、各評価エリアに被写体の固有識別情報を記憶するようにし、次回以降の探索の際に対象の被写体の存在を再確認して、被写体がいなくなったと判断したときにエリア評価値を減少させる方法を用いてもよい。また、上記に付随して、あらかじめ設定された被写体撮影優先度に基づいて増減値を変える方法などを用いてもよい。

【0038】

また、撮像装置周辺の被写体を探索する手段は更に撮像装置周辺の人物の数を判定する手段を有しており、探索開始から終了までの間に認識した人物の数を記録部３０４に記憶する。人物の数の判定は探索のたびに実施し、更新する。

【0039】

図５は、探索動作の処理を示すフローチャートである。

【0040】

上述のように、探索動作は、撮像装置の周囲を予備撮影し、予備撮影で得られた画像データから被写体を検出し、被写体情報を抽出し、被写体情報を記録部３０４に記憶する処理である。尚、本明細書において予備撮影とは、自動的に本撮影をするための撮影タイミング、撮影方向、ズーム位置、フォーカス位置を判断するための画像データを周期的に取得するための撮像を指すものとし、記録部３０４に記録する動画の撮影を指す本撮影と区別する。言い換えると、予備撮影は、ユーザが構図の調整及びシャッタ操作をして撮影する一般的なデジタルカメラにおけるライブビュー撮影に対応し、ここで取得される画像データは、ライブビュー表示用の画像データに対応する。但し、本実施例ではこの画像データは、制御ボックスが自動撮影のための各種判断に用いるのみで、画像の表示はしない。

【0041】

探索動作では、鏡筒１０１をパン方向、チルト方向に駆動し、可能な限り広い範囲を予備撮影することで被写体を探索する。探索動作が開始すると、まず、パンチルト移動量を取得する（Ｓ１０１）。ここでは、各評価エリア（１１０１～１１０４）を予備撮影するためのパンチルト移動量を取得する。次に、取得した移動量に基づいて鏡筒１０１をパン方向及びチルト方向に移動させる（Ｓ１０２）。そして、各評価エリアを予備撮影し、得られた画像データに基づいて被写体情報検出部３０９が被写体検出を行うことで被写体情報を取得する（Ｓ１０３）。被写体情報を取得すると、取得した被写体情報に基づいて各評価エリアのエリア評価値を取得し、更新する（Ｓ１０４）。そして、ステップＳ１０３により検出された、撮像装置の撮影可能範囲内の人物の数を判定し、記録部３０４に記憶する（Ｓ１０５）。

【0042】

次に、カメラワーク判定部３０８によるカメラワーク判定処理について説明をする。撮像装置は、探索動作を終えるとカメラワーク判定を実行し、複数のカメラワークの候補の中から、探索動作時に得られた被写体情報に基づいて付与するカメラワークを決定する。本実施例では、被写体情報として、過去撮影情報、被写体識別結果、顔サイズ情報、顔の向き情報、及び被写体の位置とパンチルトの可動範囲との関係、を用いて付与するカメラワークを決定する例について説明をする。図６は、本実施例に係るカメラワーク判定処理を説明するフローチャートである。この図を用いて、カメラワーク判定部３０８が行う、カメラワークを判定する処理について以下に説明する。カメラワーク判定処理は動画撮影が行われていない状態の間に繰り返し行われる処理である。

【0043】

まず初めに、パンイン撮影である「単体フレームイン撮影」の条件を満たすか否かを判定する（Ｓ４０１）。満たす場合は、カメラワーク判定結果を「単体フレームイン撮影」とする（Ｓ４０２）。尚、パンイン撮影とは、鏡筒１０１をパン駆動することで（撮像装置をパンすることで）、被写体がフレームインするカメラワークのことである。ここで、「単体フレームイン撮影」の条件Ｓ４０１について説明する。本実施例では、「単体フレームイン撮影」の条件として下記５つの条件を用いる。まず、記録部３０４から過去に撮影した動画のカメラワーク種別を取得し、直近５回の撮影に「単体フレームイン撮影」が含まれていないこと。さらに、本処理を行う時点までに取得されている最新の画像データから検出された被写体数が単体（つまり１）であること。検出された被写体が登録された被写体であること。顔サイズが所定値以上であること。顔の向きが横向きであること。後述の撮影開始位置から撮影終了位置までがパン回転ユニット１０３の可動域内であること。以上の５つを「単体フレームイン撮影」の条件とする。尚、本実施例では、検出した顔の縦方向のサイズが画像サイズの３０％以上であると、顔サイズが所定値以上であると判断するものとする。また、検出した顔が、右向き４５度より大きく右向き９０度以下、または左向き４５度より大きく左向き９０度以下である場合に顔の向きが横向きであると判断する。尚、最新の画像データから検出された被写体数の代わりに、ステップＳ１０５で取得された被写体の数を用いて、被写体が単体か否かを判定してもよい。

【0044】

「単体フレームイン撮影」の条件を満たさない場合、「単体ズーム撮影」の条件を満たすか否かを判定する（Ｓ４０３）。満たす場合はカメラワーク判定結果を「単体ズーム撮影」とする（Ｓ４０４）。本実施例では、「単体ズーム撮影」の条件として、下記５つの条件を用いる。まず、記録部３０４から過去に撮影した動画のカメラワーク種別を取得し、直近５回の撮影に「単体ズーム撮影」が含まれていないこと。本処理を行う時点までに取得されている最新の画像データから検出された被写体数が単体（つまり１）であること。検出された被写体が登録された被写体であること。顔の向きが正面であること。顔サイズが所定値以下又は所定値以上であること。以上の５つを「単体ズーム撮影」のを条件とする。尚、本実施例では、顔の向きが右向き４５度以下から左向き４５度以下の場合に顔の向きが正面であると判定するものとする。また、本実施例においては検出した顔の縦方向のサイズが画像サイズの１５％以下の時に顔サイズが所定値以下であると判断し、２５％以上の場合は顔サイズが所定値以上であると判断する。顔サイズが所定値以下である場合はズームインをし、顔サイズが所定値以上である場合はズームアウトをするカメラワークを付与するものとする。

【0045】

「単体ズーム撮影」の条件を満たさない場合、複数の被写体を網羅してパン撮影するカメラワークである、「複数パン撮影」の条件を判定する（Ｓ４０５）。条件を満たす場合はカメラワーク判定結果を「複数パン撮影」とする（Ｓ４０６）。本実施例では、「複数パン撮影」の条件として、下記３つの条件を用いる。まず、記録部３０４から過去に撮影した動画のカメラワーク種別を取得し、直近５回の撮影に「複数パン撮影」が含まれていないこと。探索動作のステップＳ１０４で得られたエリア評価値が一定値以上のエリアが４つ以上にまたがっていること。また、探索動作のステップＳ１０５で得られた撮像装置周辺の人物数が３人以上であること。以上の３つの条件を「複数パン撮影」の条件とする。

【0046】

「複数パン撮影」の条件を満たさない場合、「広角パン撮影」の条件を判定する（Ｓ４０７）。条件を満たす場合はカメラワーク判定結果を「広角パン撮影」とする（Ｓ４０８）。本実施例では、「広角パン撮影」の条件として、記録部３０４から過去に撮影した動画のカメラワーク種別を取得し、直近５回の撮影に「広角パン撮影」が含まれていないという条件を用いる。「広角パン撮影」の条件を満たさないと判定されると、カメラワークを自動で付与しないものとし、判定結果なしとしてカメラワーク判定処理を終了する。

【0047】

最後に、上記で判定されたカメラワーク（Ｓ４０２，Ｓ４０４，Ｓ４０６，Ｓ４０８）を駆動制御部３０７に出力し（Ｓ４０９）、それぞれのカメラワークの構図変更パターンを取得して、撮影処理を開始する。また、「広角パン撮影」の条件を満たさない場合（Ｓ４０７）、すなわち、すべてのカメラワーク判定条件を満たさない場合はカメラワーク判定結果なしとし、判定結果を出力しない。

【0048】

次に、図３のステップＳ３０４における撮影動作処理の詳細について説明をする。上述のように、撮影動作処理は、ステップＳ３０２のカメラワーク判定で付与すると判定されたカメラワークを付与して自動的に動画を撮影する処理である。よって、ステップＳ３０２の出力（つまり付与するカメラワーク）に応じて実行する撮影動作が異なる。各カメラワークに対応する撮影動作について説明をする。

【0049】

図７は、本実施例に係る単体フレームイン撮影を示す図である。また、図８は、単体フレームイン撮影の撮影動作処理を説明するフローチャートである。図７、図８を用いて単体フレームイン撮影について説明する。単体フレームイン撮影はカメラワーク判定部３０８により単体フレームイン撮影が判定されたときに実行される。図７に示すように、単体フレームイン撮影は単独で横方向を向いている被写体５０３に対して、被写体が撮像されていない領域から撮影を開始し、鏡筒をパン駆動して時間経過とともに撮影方向を変更することで、最終的に被写体を撮影範囲内に収める動作である。図７には、動画の最初のフレーム５０１と最後のフレーム５０２とを示す。

【0050】

単体フレームイン撮影のフローについて図８を用いて説明をする。最初に、単体フレームイン撮影が開始されたとき、状態を初期状態に変更する（Ｓ６１４）。その後の処理は単体フレームイン撮影が終了するまでの間、ループ内の処理が繰り返し処理される（Ｓ６２０、Ｓ６２１）。ループ内の処理について説明をする。まず、現在の状態が初期状態であるか否かを判断する（Ｓ６０１）。初期状態の場合は、被写体情報検出部３０９から取得した被写体５０３の位置情報をもとに、撮影開始位置（フレーム５０１が撮影される位置）、および撮影終了位置（フレーム５０２が撮影される位置）を取得する（Ｓ６０２）。そして、状態を初期位置移動に変更する（Ｓ６０３）。撮影開始位置は被写体５０３の顔の向きに基づいて取得する。撮影終了位置（フレーム５０２が撮影されるとき位置）のパン回転ユニット１０３の角度から、被写体の顔の向きの方向に５０度移動した角度である。撮影終了位置は撮影終了位置取得時（Ｓ６０２時）のパン回転ユニット１０３の角度である。その後、鏡筒回転駆動部３０６に撮影開始位置と駆動速度を設定する（Ｓ６０４）。本実施例では、駆動速度はあらかじめ決められた固定値を使用する。

【0051】

ステップＳ６０１で初期状態ではないと判断された場合、状態が初期位置移動状態であるか否かを判断する（Ｓ６０６）。状態が初期位置移動の場合、撮影開始位置に未到達であるか否かを判断し（Ｓ６０７）、未到達であると判断されたた場合、ループ（Ｓ６２０，６２１）を初めから行う。一方、状態が初期位置移動で、ステップＳ６０７で撮影開始位置に到達していると判断された場合、状態を終了位置移動に変更し（Ｓ６０８）、動画の撮影を開始する（Ｓ６０９）。撮影開始後、つまり撮影中に、鏡筒回転駆動部３０６に撮影終了位置５０２と駆動速度を設定する（Ｓ６１０）。駆動速度はあらかじめ決められた固定値を使用する。ただし、撮影開始位置への移動速度と撮影終了位置への移動速度は異なる値を用いて良い。

【0052】

ステップＳ６０６で、状態が初期位置移動状態ではないと判断された場合は、状態は終了位置移動である。終了位置移動である場合、撮影終了位置に未到達であるか否かを判断する（Ｓ６１１）。到達していない場合、ループ（Ｓ６２０，６２１）を初めから行う。状態が終了位置移動で、撮影終了位置５０２に到達していると判断された場合、状態を撮影終了に変更し（Ｓ６１２）、動画の撮影を終了する（Ｓ６１３）。

【0053】

尚、本実施例においては単体フレームイン撮影の構図変更パターンの算出方法として、撮影終了位置をステップＳ６０２時のパン回転ユニット１０３の角度、撮影開始位置をそこから被写体の顔の向きの方向に５０度移動した角度とする方法を示した。しかしながら、構図変更パターンに合わせた撮影開始位置と終了位置との取得方法はこの限りではない。例えば、撮影開始位置については被写体の位置やサイズに応じて開始角度を選ぶ方法などがある。また、撮影終了位置についても、被写体の位置を画角中心に収める日の丸構図や、画角を３等分した境界線上に配置する三分割構図に合わせるように終了角度を算出する方法などを用いてもいい。

【0054】

図１５は、本発明の実施例１に係るズーム位置ｚｐと相対画角ａｏｖ（ｚｐ）との関係を説明する図である。

【0055】

本実施例において、ズーム位置ｚｐは０～１００まで設定可能であるものとする。値が小さいほどワイド側で、値が大きいほどテレ側であることを意味する。つまり、ズーム位置ｚｐ＝０が広角端であり、ズーム位置ｚｐ＝１００が望遠端である。ズーム位置ｚｐに応じて撮影可能な画角は変わり、ワイド側であるほど撮影画角は大きくなり、テレ側であるほど撮影画角は小さくなる。図１５に示す相対画角ａｏｖ（ｚｐ）は、ズーム位置ｚｐが０の時の撮影画角を１０００とした場合の、各ズーム位置ｚｐにおける相対的な撮影画角を示した数値である。

【0056】

例えば、ズーム位置ｚｐが１００の場合の相対画角ａｏｖ（１００）は５００であることから、ズーム位置ｚｐが０の時に比べて、ズーム位置ｚｐが１００の時の撮影画角は５０％になるということを示している。

【0057】

図９は、本実施例に係る単体ズーム撮影を説明する図である。また、図１０は、単体ズーム撮影の撮影動作処理を説明するフローチャートである。図９、図１０を用いて単体ズーム撮影について説明する。単体ズーム撮影はカメラワーク判定部３０８により単体ズーム撮影が判定されたときに実行される。図９に示すように、単体ズーム撮影は、検出した単独の被写体５０３に対して、一定の時間をかけてズームイン、もしくはズームアウトする撮影である。図９には、ズームインする例を示しており、動画の最初のフレーム７０１から、一定の時間をかけて最後のフレーム７０２までズームインすることで、動画にカメラワークを付与する。

【0058】

単体ズーム撮影の撮影フローについて図１０を用いて説明をする。最初に、単体ズーム撮影が開始されたとき、状態を初期状態に変更する（Ｓ８０１）。その後の処理は単体ズーム撮影が終了するまでの間、ループ内の処理が繰り返し処理される（Ｓ８０２、Ｓ８１０）。ループ内の処理について説明をする。まず、現在の状態が初期状態であるか否かを判断する（Ｓ８０３）。初期状態の場合は、目標ズーム位置（フレーム７０２が撮影される位置）を取得する（Ｓ８０４）。目標ズーム位置は、ズームインの場合１００、ズームアウトの場合０である。また、撮影開始位置（フレーム７０１が撮影される位置）は目標ズーム位置取得時点（Ｓ８０２）のズーム位置をそのまま使用する。その後、状態を撮影状態に変更し（Ｓ８０７）、動画撮影を開始し（Ｓ８０８）、レンズ駆動部３０５に目標ズーム位置を設定してズームを開始する（Ｓ８０９）。

【0059】

ステップＳ８０３で状態が初期状態でないと判断された場合は、目標ズーム位置までズーム位置が到達したか、つまり、ズーム動作が完了しているかを判断する（Ｓ８１１）。完了していた場合、動画撮影を終了し（Ｓ８１２）単体ズーム撮影のループ（Ｓ８０２、Ｓ８１０）から抜ける。

【0060】

なお、本実施例においては目標ズーム位置の取得方法として固定の値を取る例を示したが、取得方法はこれに限るものではない。例えば、被写体の顔サイズに応じて、被写体の顔サイズが所定の範囲内に収まったり、所定の値以下又は以上になる位置を目標ズーム位置としたり、撮影時間に合わせて取得してもよい。また、撮影開始位置に対して所定の量ズームインまたはズームアウトする位置を取得するなどの方法を用いてもいい。

【0061】

また、撮影開始位置についても、目標ズーム位置取得時点のズーム位置をそのまま使用する例を示したがこれに限るものではない。被写体のサイズに応じて、被写体の顔サイズが所定の範囲内に収まったり、所定の値以下又は以上になる位置を目標ズーム位置としたり、固定値にするなどの方法を用いてもよい。

【0062】

図１１は、本実施例１に係る複数パン撮影を説明する図である。また、図１２は、複数パン撮影の撮影動作の処理を説明するフローチャートである。図１１、図１２を用いて複数パン撮影について説明する。複数パン撮影はカメラワーク判定部３０８により複数パン撮影が判定されたときに実行される。図１２に示すように、複数パン撮影とは、撮像領域よりも広範囲に複数の被写体９０３が分布している場合に、記録部３０４から取得した被写体情報に基づいて複数の被写体を網羅するように撮影方向を変更することで撮影構図を変更させながら行う撮影である。

【0063】

複数パン撮影の処理（図１２）は単体フレームイン撮影の処理（図８）と類似点が多いため、共通する箇所については同じ符号をつけて説明は省略し、差分について説明する。撮影が開始されると状態を初期状態に変更し（Ｓ６１４）、撮影が終了するまでの間、ループ内の処理が繰り返し処理される（Ｓ６２０、Ｓ６２１）点は単体フレームイン撮影と同様である。複数パン撮影の場合、初期状態であると判断されると、探索動作時に取得された被写体情報に基づいて、撮影開始位置９０１および撮影終了位置９０２の取得を行う（Ｓ１０００）。

【0064】

複数パン撮影はエリア評価値が閾値以上の評価エリアが４つ以上にまたがっていることを条件にカメラワーク判定部３０８によって判定される。例えば、評価エリア１１０１～１１０４のすべてが閾値以上の場合や、評価エリア１１０１および評価エリア１１０４は閾値以上だが評価エリア１１０２、１１０３は閾値以下の場合は条件を満たすと判定し、評価エリア１１０１～１１０４を撮影領域とする。一方、例えば評価エリア１１０１、１１０４が閾値以下の場合は評価エリア１１０２、１１０３が閾値以上でも条件を満たさないと判定する。

【0065】

撮影開始位置９０１および撮影終了位置９０２は撮影開始時及び撮影終了時の撮像面の中心をパン方向の角度で表した値である。前述の通り決定した撮影領域に基づいて撮影開始位置９０１および撮影終了位置９０２を取得する。本実施例では、撮影開始位置９０１および撮影終了位置９０２は撮影領域の最も外側の評価エリアとその一つ内側の評価エリアの境界線のなす角度として算出する。つまり、例えば撮影領域を評価エリア１１０１～１１０４とした場合、撮影開始位置９０１は評価エリア１１０１と評価エリア１１０２の境界線が撮像面の中心と一致する際のパン方向の角度である。また、撮影終了位置９０２は評価エリア１１０４と評価エリア１１０３の境界線が撮像面の中心と一致する際のパン方向のなす角度である。

【0066】

なお、本実施例においては、撮影開始位置９０１および撮影終了位置９０２の取得方法の例として撮影領域の最も外側の評価エリアとその一つ内側の評価エリアの境界線のなす角度を用いる例を示したが、取得方法はこれに限るものではない。例えば、評価エリアの角度や撮像装置の画角によってその取得方法を変える方法や、ズーム倍率に応じて動的に取得するなどの方法を用いてもいい。

【0067】

また、撮影領域の決定方法として探索結果に基づいて決定する例を示したが、撮影領域の決定方法はこれに限るものではない。例えば周囲の撮影対象の被写体を決定したのち、それらの被写体がすべて収まる領域を撮影領域とするなどの方法を用いてもいい。

【0068】

また、撮影開始位置９０１および撮影終了位置９０２は入れ替え可能である。例えば上記の例で説明すると、撮影領域を評価エリア１１０１～１１０４とした場合、撮影開始位置９０１を評価エリア１１０４と１１０３の境界線のなす角度、撮影終了位置９０２を評価エリア１１０１と１１０２の境界線のなす角度、としてもいい。つまり、パン動作の方向はどちらでもいい。パン方向の決定方法は、常に一方向のみを使用する方法、撮影のたびに入れ替える方法、乱数的に選択する方法、被写体の撮影優先度に応じて決定する方法、被写体の向きに応じて決定する方法などがある。

【0069】

図１３は、本実施例に係る広角パン撮影を説明する図である。また、図１４は、広角パン撮影の撮影動作処理を説明するフローチャートである。図１３、図１４を用いて広角パン撮影について説明する。

【0070】

広角パン撮影はカメラワーク判定部３０８により広角パン撮影が判定されたときに実行される。広角パン撮影とは、被写体の有無にかかわらず特定の領域を、鏡筒１０１をパン方向に回転駆動させながら行う撮影である。図１４には、動画の最初のフレーム１２０１と最後のフレーム１２０２とを示す。広角パン撮影の処理（図１４）は単体フレームイン撮影の処理（図８）と類似点が多いため、共通する箇所については同じ符号をつけて説明は省略し、差分について説明する。撮影が開始されると状態を初期状態に変更し（Ｓ６１４）、撮影が終了するまでの間、ループ内の処理が繰り返し処理される（Ｓ６２０、Ｓ６２１）点は単体フレームイン撮影と同様である。広角パン撮影の場合、初期状態であると判断されると、撮影開始位置（フレーム１２０１が撮影される位置）および撮影終了位置（フレーム１２０２が撮影される位置）の取得を行う（Ｓ１３００）。撮影開始位置および撮影終了位置はパン方向の角度で表される。本実施例において、広角パン撮影時の撮影範囲は撮像装置の前方１８０度とし、撮影開始位置及び終了位置の取得時点のパン角度から近い方の撮像範囲の端を撮影開始位置、もう一方の端を撮影終了位置とする。撮影開始位置で取得されたフレームがフレーム１２０１であり、終了位置で取得されたフレームがフレーム１２０２である。

【0071】

なお、本実施例においては、撮影範囲を撮像装置の前方１８０度とする例を示したが、撮影範囲の決定方法はこれに限るものではない。例えば、被写体情報検出部３０９によって検出した物体の位置を用いて撮影範囲を算出する方法や、撮像装置の周囲の輝度分布を用いる方法などを用いてもよい。

【0072】

（変形例）
以上、本発明の実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0073】

例えば、上述の実施例においてはカメラワークを判定する方法として、動画撮影が行われていない状態の間に繰り返し行う例を示したが、判定の方法はこれに限るものではない。例えば間欠的に実行する方法や、周囲状況の探索動作中や被写体の追尾動作中、ズーム動作中、撮影終了直後など、撮影のための準備処理の間は判定処理を行わない方法も考えられる。また、単純な静止画撮影や動画撮影と併用してもいい。

【0074】

また、カメラワーク判定部３０８が判定の対象とするカメラワークの候補は上述の実施例で挙げた４つ以外のものを用いることもでき、また、数を増やしてもよい。例えば、周囲３６０度のパノラマ撮影や、被写体にチルトインする撮影、被写体からチルトアウトする撮影、被写体にフォーカスインする撮影、被写体からフォーカスアウトする撮影をカメラワークの候補とすることができる。また、パン・チルト・ズームを併用した複合的なカメラワーク、また被写体の動き情報をもとにしたタイムラプス撮影やスローモーション撮影などもカメラワークの候補とすることができる。

【0075】

例えば、「フォーカスアウト撮影」の撮影条件は、直近５回の撮影に「フォーカスアウト撮影」が含まれていないこと。画角内に点光源と被写体が存在すること。登録された被写体であること。被写体の縦方向の顔サイズが画像サイズの３０％以上であること。を用いることができる。フォーカスアウト撮影が付与するカメラワークとして決定された場合、上述のカメラワークを付与した撮影動作処理と同様に、撮影開始前に撮影開始位置、撮影終了位置を取得する。フォーカスアウト撮影の場合、撮影開始位置、撮影終了位置はパン・チルト・ズームが固定値であり、フォーカス位置のみ可変の値とする。撮影開始位置は被写体にフォーカスを合わせた位置、撮影終了位置は被写体にフォーカスがあっていない位置、例えば、被写体から１０メートル手前にフォーカスを合わせた位置とする。撮影開始位置から撮影終了位置まで時間経過に合わせて移動させることでボケを発生させる。「フォーカスアウト撮影」を行うことでボケを含むバリエーションの動画が撮影できる。また、フォーカスイン撮影についてはフォーカスアウト撮影の撮影開始位置と撮影終了位置を入れ替えることで実現できる。

【0076】

チルトイン撮影の条件は上述の「単体フレームイン撮影」と類似点が多いため差異についてのみ説明する。チルトイン撮影の条件は、「単体フレームイン撮影」の条件のうち、被写体の顔の向きについての条件を、上向き、または下向きであることとした条件である。例えば上向き４５度より大きく９０度以下、または下向き４５度より大きく９０度以下である場合に、顔の向きが上向き、または下向きと判断する。また撮影開始位置から撮影終了位置までがパン回転ユニット１０３の可動範囲内であることの代わりに、チルト回転ユニット１０２の可動域内であることを条件とする。ここで撮影終了位置は被写体を撮像範囲の中心で捉える位置であり、撮影開始位置は撮影終了位置から被写体の顔の向きの方向に５０度チルト移動する位置である。

【0077】

また、パンアウト撮影、チルトアウト撮影はそれぞれパンイン撮影、チルトイン撮影の撮影条件と同様であり、パンイン撮影、チルトイン撮影の撮影開始位置と撮影終了位置を入れ替えることで実現する。

【0078】

また、本実施例において示した各カメラワークの判定基準は一例であり、この限りではない。特に具体的な数値の例については異なる数値を使用してもよい。

【0079】

また、過去の撮影情報の使用方法として、同一のカメラワークを直近５回の撮影に含まない方法を示したが、過去の撮影情報の使用方法はこれに限るものではない。例えば、使用するカメラワークを判定するとき、あるカメラワークで前回撮影した被写体の情報を記録部３０４から取得し、撮像している被写体が同一である場合はそのカメラワークを使用しない条件にする方法がある。さらに、同一の被写体であった場合でも、前回撮影時の顔の向きや顔の大きさとの一致度に応じて同一の被写体であっても撮影を行うかどうかの判定をする方法などを用いてもいい。また、過去の撮影情報として、撮影時の場所の情報を記録しておき、撮影場所が同一の場合のみ、上記の制限条件（同一カメラワークを直近５回の撮影に含まない条件や、同一カメラワークで同一被写体を撮影しない条件）を適用する方法を用いても良い。撮影時の場所の判定はＧＰＳによる位置情報の取得のほか、慣性センサによる持ち上げ検出によって位置が変更されたかどうかを判定する方法がある。

【0080】

さらに、カメラワークの判定順序（Ｓ４０１，Ｓ４０３，Ｓ４０５，Ｓ４０７）の並びは目的に応じて変更してよい。例えば、条件を満たしにくい順番に並べる方法が考えられる。そうすることにより、適用されるカメラワークにばらつきが生まれ、よりバリエーション豊富な動画撮影を実現することができる。他にも、それぞれのカメラワークの撮影回数を数えて頻度を調整する方法や、あらかじめ順番を決めておく方法などを用いてもいい。

【0081】

また、カメラワークの撮影頻度は動的に変更してよく、例えばユーザの設定によって変化させてもいいし、学習によって変化させてもいい（ユーザ操作によってえらばれたものからユーザの好みを判断する）。

【0082】

上述の実施例は、被写体情報を人物の顔の特徴に関わる情報とした。しかしながら、これに限らず、被写体情報として、動物、モノ、等の人物以外の被写体に関する特徴情報を用いることもできる。

【0083】

また、上述の実施例では、撮像部３０２を含む鏡筒１０１がＸ軸とＹ軸との両方を中心に回転することにより、パン駆動とチルト駆動との両方が可能な例について説明をした。しかしながら、Ｘ軸とＹ軸と両方を中心に回転可能でなくても、いずれか１軸以上の軸を中心に回転可能であれば本発明を適用できる。例えば、Ｙ軸を中心に回転可能であれば、上述のようにパンニング駆動を活用してカメラワークを付与することができる。

【0084】

また、上述の実施例では、撮影光学系と撮像素子とを備える鏡筒と鏡筒による撮像方向を制御する撮像制御装置とが一体化された撮像装置を例に説明をした。しかしながら、本発明はこれに限定されない。例えば、撮像装置はレンズが交換可能な構成としてもよい。

【0085】

また、固定された撮像装置をパン方向とチルト方向とに駆動する回転機構を備える雲台に、撮像装置を固定することでも同様の機能を実現できる。尚、撮像装置は撮像機能を有していればそのほかの機能を有していてもよく、例えば撮像機能を有するスマートフォンを固定することができる雲台とスマートフォンとを組み合わせることで、実施例と同様の構成をとることもできる。また、鏡筒とその回転機構（チルト回転ユニットとパン回転ユニット）と、制御ボックスは必ず物理的に接続されている必要はなく、例えば、Ｗｉ－Ｆｉなどの無線通信を介して回転機構やズーム機能を制御してもよい。

【0086】

また、上述の実施例ではレンズユニットがズーム機能を有する構成について説明をした。しかしながら、ズーム機能を有さないレンズユニットを用いる場合であっても、鏡筒のパン駆動、チルト駆動、フォーカス制御を活用したカメラワークを付与することができる。また、ズームレンズが移動することによるズーム機能（光学ズーム）の代わりに、撮像素子が取得する画像データから切り出す範囲を変更することによるズーム機能（電子ズーム）を用いてもよいし、両者を併用してもよい。

【符号の説明】

【0087】

１００ 撮像装置
１０１ 鏡筒
１０２ チルト回転ユニット
１０３ パン回転ユニット
１０４ 制御ボックス
３０１ レンズユニット
３０２ 撮像部
３０３ 画像処理部
３０４ 記録部
３０５ レンズ駆動部
３０６ 鏡筒回転駆動部
３０７ 駆動制御部
３０８ カメラワーク判定部
３０９ 被写体情報検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】