特許 7584966 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241111BHJP

   H04N 23/66 20230101ALI20241111BHJP

   G03B 15/00 20210101ALI20241111BHJP

   G03B 7/00 20210101ALI20241111BHJP

【ＦＩ】

H04N23/60 100

H04N23/66

G03B15/00 R

G03B15/00 Q

G03B15/00 P

G03B7/00

【請求項の数】 9

(21)【出願番号】P 2020160151

(22)【出願日】2020-09-24

(65)【公開番号】P2022053355

(43)【公開日】2022-04-05

【審査請求日】2023-09-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】溝渕 泰大

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２０２０－０９２３５４（ＪＰ，Ａ）

【文献】特開２００４－０４０２０５（ＪＰ，Ａ）

【文献】特開２００７－０６８１４９（ＪＰ，Ａ）

【文献】特開２００９－１１０１４７（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１５－００２９２３０（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６６

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像手段と、
前記撮像手段により自動的に撮像するよう制御する制御手段と、
被写体を登録する登録手段と、
前記登録手段によって登録された被写体に特定の日付を対応付ける対応付け手段とを有し、
前記制御手段は、前記登録手段によって登録された被写体であり前記対応付け手段によって対応付けられた日付が当日である被写体は、前記対応付け手段によって対応付けられた日付が当日でないか前記対応付け手段によって日付が対応付けられていない被写体よりも優先して撮影されるよう制御することを特徴とする撮像装置。

【請求項2】

前記登録手段により登録された被写体を優先して撮影するよう設定する設定手段をさらに有し、
前記制御手段は、前記設定手段により優先して撮影するよう設定された被写体は、前記設定手段により優先して撮影するよう設定されていない被写体でありかつ前記対応付け手段によって対応付けられた日付が当日である被写体よりも優先して撮影されるよう制御することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記登録手段により登録された被写体を優先して撮影するよう設定する設定手段をさらに有し、
前記制御手段は、前記対応付け手段によって対応付けられた日付が当日である被写体は、前記設定手段により優先して撮影するよう設定された被写体よりも優先して撮影されるよう制御することを特徴とする請求項１に記載の撮像装置。

【請求項4】

ユーザへの通知を行う通知手段をさらに有し、
前記対応付け手段によって対応付けられた日付が当日である被写体を検出した場合、前記通知手段により通知を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により自動的に撮像するよう制御する制御ステップと、
被写体を登録する登録ステップと、
前記登録ステップによって登録された被写体に特定の日付を対応付ける対応付けステップとを有し、
前記制御ステップでは、前記登録ステップによって登録された被写体であり前記対応付けステップによって対応付けられた日付が当日である被写体は、前記対応付けステップによって対応付けられた日付が当日でないか前記対応付けステップによって日付が対応付けられていない被写体よりも優先して撮影されるよう制御することを特徴とする撮像装置の制御方法。

【請求項6】

前記登録ステップにより登録された被写体を優先して撮影するよう設定する設定ステップをさらに有し、
前記制御ステップでは、前記設定ステップにより優先して撮影するよう設定された被写体は、前記設定ステップにより優先して撮影するよう設定されていない被写体でありかつ前記対応付けステップによって対応付けられた日付が当日である被写体よりも優先して撮影されるよう制御することを特徴とする請求項５に記載の撮像装置の制御方法。

【請求項7】

前記登録ステップにより登録された被写体を優先して撮影するよう設定する設定ステップをさらに有し、
前記制御ステップでは、前記対応付けステップによって対応付けられた日付が当日である被写体は、前記設定ステップにより優先して撮影するよう設定された被写体よりも優先して撮影されるよう制御することを特徴とする請求項５に記載の撮像装置の制御方法。

【請求項8】

前記対応付けステップによって対応付けられた日付が当日である被写体を検出した場合、ユーザに通知を行うことを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置の制御方法。

【請求項9】

コンピュータを請求項１乃至４のいずれか１項に記載の撮像装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動的に撮像することができる撮像装置に関する。

【背景技術】

【0002】

近年、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行う自動撮影カメラが知られている。例えば特許文献１には、パンチルト機構を備え、被写体を自動探索して自動的に撮影する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－９２３５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の特許文献１に開示された従来技術では、人物の表情や声の大きさ等に応じて、どの人物やシーンを撮影すべきかを重要度の設定によって制御することが開示されている。しかしながら、従来技術は、例えば誕生日など人物にとって重要な日などは全く考慮できていない。一般に、誕生日や結婚記念日などの重要な日には、その日に関係する人物を優先して撮影してほしいと考えるユーザが多いと想定されるが、従来技術ではそのようなユーザの意図に気づけておらず、必ずしもユーザの意図に沿った自動撮影ができていたとは言えない。

【0005】

そこで、本発明は、よりユーザの意図に沿った自動撮影を実現することを目的とする。

【課題を解決するための手段】

【0006】

本発明の撮像装置は、撮像手段と、前記撮像手段により自動的に撮像するよう制御する制御手段と、被写体を登録する登録手段と、前記登録手段によって登録された被写体に特定の日付を対応付ける対応付け手段とを有し、前記制御手段は、前記登録手段によって登録された被写体であり前記対応付け手段によって対応付けられた日付が当日である被写体は、前記対応付け手段によって対応付けられた日付が当日でないか前記対応付け手段によって日付が対応付けられていない被写体よりも優先して撮影されるよう制御することを特徴とする。

【発明の効果】

【0007】

本発明によれば、よりユーザの意図に沿った自動撮影を実現することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における（ａ）撮像装置の外観の例を示すための図である。（ｂ）撮像装置の動作を説明するための図である。

【図2】第１の実施形態における撮像装置の構成を示す図である。

【図3】第１の実施形態における撮像装置と外部機器との構成を示す図である。

【図4】第１の実施形態における外部機器の構成を示す図である。

【図5】第１の実施形態における自動撮影処理を説明するフローチャートである。

【図6】第１の実施形態における音声認識処理を説明するフローチャートである。

【図7】第１の実施形態における頻度設定処理を説明するフローチャートである。

【図8】第１の実施形態における撮影画像内のエリア分割を説明するための図である。

【図9】第１の実施形態における外部機器に表示される画面の一例を示す図である。

【図10】（ａ）、（ｂ）第１の実施形態における外部機器に表示される画面の一例を示す図である。

【図11】第１の実施形態における被写体情報を説明するための図である。

【図12】第１の実施形態における優先度を設定する処理を示すフローチャートである。

【図13】第１の実施形態における撮影枚数の比率に関する制御を説明するための図である。

【図14】第２の実施形態における外部機器に表示される画面の一例を示す図である。

【図15】第３の実施形態における外部機器に表示される画面の一例を示す図である。

【図16】（ａ）、（ｂ）第５の実施形態における外部機器に表示される画面の一例を示す図である。

【図17】（ａ）、（ｂ）第６の実施形態における外部機器に表示される画面の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。

【0010】

なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。

【0011】

［第１の実施形態］
図１は、第１の実施形態の撮像装置を模式的に示す図である。

【0012】

図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構を設けている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３位置での軸定義である。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。

【0013】

図２は、本実施形態の撮像装置の構成を示すブロック図である。

【0014】

図２において、第１制御部２２３は、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１６は、電気的に消去・記録可能なメモリであり、第１制御部２２３の動作用の定数、プログラム等が記憶される。

【0015】

図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。

【0016】

撮像部２０６では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０７に出力する。画像処理部２０７はＡ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換し、メモリ２１５や後述する映像出力部２１７に送信される。

【0017】

鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。

【0018】

装置揺れ検出部２０９は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出部２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。

【0019】

音声入力部２１３は、撮像装置１０１に設けられたマイクを用いて撮像装置１０１周辺から集音された音声信号を取得し、アナログデジタル変換をして音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７、音声処理部２１４により得られた画像信号及び音声信号を一時的に記憶する。

【0020】

画像処理部２０７及び音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。

【0021】

記録再生部２２０は、記録媒体２２１に対して画像処理部２０７及び音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。

【0022】

記録媒体２２１は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２２１は、撮像装置１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１６よりも大容量な媒体が一般的に使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

【0023】

記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、第１制御部２２３は画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７、音声出力部２１８に送信する。

【0024】

音声入力部２１３は複数のマイクが撮像装置１０１に搭載されており、音声処理部２１４は複数のマイクが設置された平面上の音の方向を検出することができ、後述する探索や自動撮影に用いられる。さらに、音声処理部２１４では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させた学習済みモデルにより音シーン判定を行う。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

【0025】

本実施形態では、例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのニューラルネットワークが音声処理部２１４に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、第１制御部２２３や第２制御部２１１に、検出トリガー信号を出力する構成になっている。

【0026】

すなわち、音声処理部２１４のニューラルネットワークは、あらかじめ「歓声が上がっている」、「拍手している」、「声を発している」シーンの音声情報を用意し、その音声情報を入力とし、検出トリガー信号を出力として学習する。

【0027】

撮像装置１０１のメインシステム全体を制御する第１制御部２２３とは別に設けられた、第２制御部２１１が第１制御部２２３の供給電源を制御する。

【0028】

第１電源部２１０と第２電源部２１２は、第１制御部２２３と第２制御部２１１を動作させるための、電源をそれぞれ供給する。撮像装置１０１に設けられた電源ボタンの押下により、まず第１制御部２２３と第２制御部２１１の両方に電源が供給されるが、後述するように、第１制御部２２３は、第１電源部２１０へ自らの電源供給をＯＦＦするように制御される。第１制御部２２３が動作していない間も、第２制御部２１１は動作しており、装置揺れ検出部２０９や音声処理部２１４からの情報が入力される。第２制御部は各種入力情報を基にして、第１制御部２２３を起動するか否かの判定処理を行い、起動判定されると第１電源部に電源供給指示をする構成になっている。本実施形態では、電源部は電池から電力を供給する。すなわち、撮像装置１０１は携帯端末でもある。

【0029】

音声出力部２１８は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。

【0030】

ＬＥＤ制御部２２４は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンを制御する。

【0031】

映像出力部２１７は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。

【0032】

通信部２２２は、撮像装置１０１と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン、チルト、ズーム駆動など、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示から撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、後述する学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

【0033】

＜外部通信機器とのシステム構成＞
図３は、撮像装置１０１と外部装置３０１との無線通信システムの構成例を示す図である。撮像装置１０１は撮影機能を有するデジタルカメラであり、外部装置３０１はＢｌｕｅｔｏｏｔｈ通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。

【0034】

撮像装置１０１とスマートデバイス３０１は、例えばＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信３０２と、例えばＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ。）ＢＬＥなどの、制御局と従属局などの主従関係を有する通信３０３とによって通信可能である。なお、無線ＬＡＮ及びＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、一般性を失うことなく、無線ＬＡＮなどの第１の通信は、ＢＬＥなどの第２の通信より高速な通信が可能であり、また、第２の通信は、第１の通信よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。

【0035】

＜外部通信機器の構成＞
外部通信機器の一例としてのスマートデバイス３０１の構成を、図４を用いて説明する。スマートデバイス３０１は、いわゆる携帯電話、すなわち携帯端末である。

【0036】

スマートデバイス３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、及び、ＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆回線制御部４０６を有する。また、スマートデバイス３０１は、パケット送受信部４０３をさらに有する。無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆回線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、スマートデバイス３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。

【0037】

スマートデバイス３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、音声入力音声処理部４０９、電源部４１０をさらに有する。制御部４１１は、例えば、記憶部４０４に記憶される制御プログラムを実行することにより、スマートデバイス３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。

【0038】

電源部４１０はスマートデバイス３０１に電源を供給する。表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによるスマートデバイス３０１の操作を受け付けるボタン等である。なお、表示部４０７及び操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。

【0039】

音声入力音声処理部４０９は、例えばスマートデバイス３０１に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。

【0040】

また、スマートデバイス内の専用のアプリケーションを介して、ユーザの発音により音声コマンドを取得する。そして、無線ＬＡＮによる通信３０２を介して、撮像装置１０１の音声処理部２１４に特定音声コマンド認識させるための特定音声コマンドとして登録することもできる。

【0041】

ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、スマートデバイス３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ－Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、スマートデバイス３０１の現在位置を推定するようにしてもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（所定半径の範囲以内）に位置している場合に、ＢＬＥ制御部４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。また、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御部４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。

【0042】

上記のように撮像装置１０１とスマートデバイス３０１は、無線ＬＡＮ制御部４０１、及び、ＢＬＥ制御部４０２を用いた通信により、撮像装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、スマートデバイスから撮像装置１０１の撮影などの操作指示であったり、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知を行う。また、スマートデバイス内の専用のアプリケーションを介しての学習用データの送受信も行う。

【0043】

＜撮像動作のシーケンス＞
図５は、本実施形態における撮像装置１０１の自動撮影処理のフローチャートである。

【0044】

ユーザが撮像装置１０１に設けられた電源ボタンを操作すると、本フローチャートの処理が開始する。なお、本実施形態においては、常に撮像装置１０１とスマートデバイス３０１が無線通信による接続が確立され、スマートデバイス３０１上の専用アプリケーションから各種の操作が可能な状態とする。また、以下のフローチャートの各ステップの処理は、第１制御部２２３が撮像装置１０１の各部を制御することによって実現される。

【0045】

Ｓ５０１では、第１制御部２２３は、自動撮影停止中の状態かどうかを判別する。自動撮影の停止に関しては後述する音声認識処理のフローチャートにて説明する。自動撮影停止中であった場合には、何も行わずに待機し、自動撮影の停止が解除されるまで待つ。自動撮影が停止中でなかった場合には、Ｓ５０２へ進み、画像認識処理を行う。

【0046】

Ｓ５０２では、第１制御部２２３は、画像処理部２０７に撮像部２０６で取り込まれた信号を画像処理させ、被写体認識用の画像を生成させる。

【0047】

生成された画像からは、人物や物体認識などの被写体認識が行われる。

【0048】

人物を認識する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。

【0049】

また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。

【0050】

物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。

【0051】

また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。この場合、撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。

【0052】

例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。

【0053】

認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。

【0054】

以上の方法で、撮像情報から各被写体情報を得ることができる。

【0055】

Ｓ５０３では、第１制御部２２３は、像揺れ補正量の算出を行う。具体的には、まず、装置揺れ検出部２０９において取得した角速度および加速度情報に基づいて撮像装置の絶対角度の算出を行う。そして、絶対角度を打ち消す角度方向にチルト回転ユニット１０４およびパン回転ユニット１０５を動かす防振角度を求め、像揺れ補正量とする。なお、ここでの像揺れ補正量算出処理は、後述する学習処理によって、演算方法を変更することができる。

【0056】

Ｓ５０４では、第１制御部２２３は、撮像装置の状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報などで検出した角度や移動量などにより、現在、撮像装置がどのような振動／動き状態なのかを判定する。

【0057】

例えば、車に撮像装置１０１を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。

【0058】

そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。

【0059】

また、角度の変化が大きいか否かを判定し、撮像装置１０１が揺れ角度がほとんどない「置き撮り状態」であるのかを判定する。

【0060】

「置き撮り状態」である場合は、撮像装置１０１自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。

【0061】

また、比較的、角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。

【0062】

Ｓ５０５では、第１制御部２２３は、被写体探索処理を行う。被写体探索は、以下の処理によって構成される。

【0063】

（１）エリア分割
図８を用いて、エリア分割を説明する。図８（ａ）のように撮像装置（原点Ｏが撮像装置位置とする。）位置を中心として、全周囲でエリア分割を行う。図８（ａ）の例においては、チルト方向、パン方向それぞれ２２．５度で分割している。図８（ａ）のように分割すると、チルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。そこで、本実施形態の撮像装置は、図８（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。図８（ｃ）、（ｄ）に撮影画角内でのエリア分割された例を示す。軸１３０１は初期化時の撮像装置１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。１３０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図８（ｄ）に示す。画角に写し出されている画像内ではエリア分割に基づいて、図８（ｄ）の１３０３～１３１８のように画像分割される。

【0064】

（２）エリア毎の重要度レベルの算出
前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。また、撮像装置の状態判定（Ｓ５０４）で、撮像装置の振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにもすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体（例えば撮像装置のユーザである）を中心に被写体探索が行われるように、特定人物の顔認証を検出すると重要度レベルが高くなるように判定される。また、後述する自動撮影も上記顔を優先して行われることになり、撮像装置のユーザが撮像装置を身に着けて持ち歩き撮影を行っている時間が多くても、撮像装置を取り外して机の上などに置くことで、ユーザが写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、撮像装置の置き角度などを考えなくても、適当に設置するだけでユーザが写った画像やたくさんの顔が写った集合写真などを残すことができる。なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ５１３にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。

【0065】

（３）探索対象エリアの決定
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。

【0066】

Ｓ５０６では、第１制御部２２３は、パン・チルト駆動を行う。具体的には、像振れ補正量とパン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出し、鏡筒回転駆動部２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。

【0067】

Ｓ５０７では第１制御部２２３は、ズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ５０５で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出ができず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことができる。

【0068】

Ｓ５０５乃至Ｓ５０７では、パン・チルトやズーム駆動により被写体探索を行う方法を説明したが、広角なレンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位カメラの場合、撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うと膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要レベルを算出し、重要レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。

【0069】

Ｓ５０８では、第１制御部２２３は、頻度パラメータの読み込みを行う。頻度パラメータとは、自動撮影のされ易さを示す設定値である。スマートデバイス３０１の専用アプリケーションを介して、「低」「中」「高」といった選択肢の中からユーザが任意の頻度に設定が可能である。頻度を「高」に設定した場合には、「低」に設定した場合に比べて、所定時間あたりに多くの枚数が撮影されるようになる。「中」の設定は「低」と「高」の設定の間の枚数が撮影される。また、後述の頻度設定処理によって、自動的に変更され得る。

【0070】

Ｓ５０９では、第１制御部２２３は、読み込んだ頻度パラメータが所定の値であるかを判定する。例えば、自動撮影を行う頻度として「最高」が設定されている場合には、Ｓ５１０へ進み、そうでない場合にはＳ５１２へ進む。なお、頻度が「最高」という設定は後述の頻度設定処理により自動的に変更された設定であり、スマートデバイス３０１の専用アプリケーションを用いた通常のユーザによる頻度の設定では、上記の通り「低」「中」「高」の選択肢から設定される。すなわちユーザ操作による設定では頻度「最高」には設定されない。

【0071】

Ｓ５１０では、第１制御部２２３は、後述するＳ７０５で開始した頻度パラメータの設定を「最高」から元に戻すまでの頻度ブースト時間が終了しているかを判定する。終了している場合にはＳ５１１へ進み、そうでない場合にはＳ５１２へ進む。

【0072】

Ｓ５１１では、第１制御部２２３は、頻度ブースト時間が終了していたため、頻度パラメータを「最高」に設定される前の頻度設定に元に戻す。このとき、頻度ブースト時間中に、自動撮影によって所定枚数以上の撮影が行われた場合には、現在のシーンが撮影すべきシーンであると判断できるため、頻度ブースト時間を延長してもよい。そうすることで、さらにユーザが撮って欲しいシーンを撮り続けることができる。

【0073】

Ｓ５１２では、第１制御部２２３は、自動撮影を行うかどうかの判定を行う。

【0074】

ここで、自動撮影を行うかどうかの判定について説明する。自動撮影を行うかどうかの判定は、重要度スコアが所定値を超えるかどうかで行われる。重要度スコアとは、自動撮影を行うかどうかの判定に用いるパラメータであり、探索エリアを決定するための重要度レベルとは異なるものである。重要度スコアは、被写体の検出状況と時間経過に応じて得点が加点される。例えば、重要度スコアが２０００点を超えると自動撮影を行われるよう設計する場合を考える。この場合、まず、重要度スコアは初期値が０点であり、自動撮影のモードに入った時点からの時間経過によって加点されていく。優先度の高い被写体がいなければ、例えば１２０秒後に２０００点に達するような増加率で増加していく。優先度の高い被写体が検出されないまま１２０秒が経過した場合、時間経過による加点によって２０００点に達し、撮影が行われる。また、時間経過中に優先度の高い被写体を検出すると１０００点が加点される。このため、優先度の高い被写体が検出されている状態では、２０００点に達しやすくなり、結果的に撮影頻度が上がることになりやすい。

【0075】

また、例えば被写体の笑顔を認識した場合は、８００点が加点される。なお、この笑顔に基づく加点は、優先度の高い被写体でなくとも加点される。また、本実施形態では、笑顔に基づく加点の点数は優先度の高い被写体であるか否かに関わらず同じ点数である場合を例に挙げて説明するが、これに限られるものではない。例えば優先度の高い被写体の笑顔を検知したことに応じた加点の点数を、優先度が高くない被写体の笑顔を検知したことに応じた加点の点数よりも高くしてもよい。このようにすることで、よりユーザの意図に沿った撮影を行うことが可能になる。これらの被写体の表情変化に伴う加点により２０００点を超えれば自動撮影される。また、表情変化に伴う加点で２０００点を超えなくとも、その後の時間経過による加点で２０００点により短い時間で到達する。

【0076】

なお、時間経過による加点は、例えば１２０秒で２０００点になるよう加点する場合、１秒ごとに２０００／１２０点だけ加点する、すなわち時間に対して線形に加点する場合を例に挙げて説明するがこれに限られるものではない。例えば、１２０秒のうち１１０秒までは加点せず、１１０秒から１２０秒までの１０秒間で、秒間２００点ずつ加点して２０００点に達するような増加の仕方にしてもよい。このようにすることで、被写体の表情変化による加点で、優先度の高低に関わらず撮影される点数に達してしまうことを防ぐことができる。時間経過に伴い線形増加する加点方法の場合、すでに時間経過により加点されている状態が長いため、優先度の低い被写体の笑顔への変化に伴う加点であっても撮影される点数に達してしまうことが多く、優先度の高低がさほど反映されにくい。かといって表情変化に伴う加点の点数を低くすると表情変化のあるタイミングを逃すことになるため、加点の点数を下げることでの対応は避けたい。そこで、１１０秒までは加点しないようにする。このようにすれば、優先度の低い被写体は加点されないまま１１０秒が経過する。一方、優先度の高い被写体は検知した時点で１０００点が加点されるようにしているため、１１０秒まで時間経過による加点がなくとも１０００点は加点された状態になる。これにより、表情変化に伴う加点が行われる場合に、優先度の低い被写体は撮影を行う点数に達する可能性を、優先度の高い被写体にくらべて抑えることができ、優先度の高低が機能しやすい。上記の説明では表情変化を例に挙げたが、加点される基準はこのほかにも声が大きくなった場合や身振り手振りが大きくなった場合などが考えられる。これらについても優先度の高低を機能させやすくするために上記のような加点方法の差を設ければよい。

【0077】

また、仮に被写体の行動によって２０００点を超えなくとも、時間経過によって必ず１２０秒で撮影されるため、一定期間まったく撮影されないということはない。

【0078】

また、途中で被写体が検出された場合、１２０秒のうち、増加を開始する時間を前倒ししてもよい。つまり、例えば６０秒の時点で優先度の高い被写体が検出された場合、それによって１０００点が加点されてもまだ２０００点を超えないが、１１０秒まで増加しないのではなく、被写体を検出したのち３０秒が経過したら線形増加を始めるようにしてもよい。あるいは、１２０秒の１０秒前ではなく２０秒前に線形増加を始めるようにしてもよい。このようにすれば、優先度の高い被写体が撮影される可能性が高まるため、よりユーザの意図に沿った撮影を実現しやすくなる。

【0079】

自動撮影が行われると、重要度スコアは０点にリセットされる。再度２０００点を超えるまで自動撮影は行われない。

【0080】

ここで、頻度パラメータは、時間経過による重要度スコアの増加の仕方をコントロールするために用いられる。上記の例で被写体が検出されていない場合には自動撮影されるまで１２０秒かかるように設定されている。これは頻度パラメータが「中」の場合を例に挙げて説明したものだが、頻度ブーストの状態（頻度パラメータ「最高」）では６０秒で自動撮影が行われるように、重要度スコアの増加のさせ方を変更する。この場合、増加の仕方は１秒ごとに２０００／６０点を加点してもよいし、例えば５５秒まで加点せず、６０秒までの残り５秒で、毎秒４００点ずつ加点してもよい。後者のようにした場合の利点は上に述べた通りである。なお、ほかの頻度の例を挙げると、例えば頻度パラメータ「高」の場合は、１００秒で２０００点になるよう増加させ、頻度パラメータ「低」の場合は、２４０秒で２０００点になるよう増加させるなどと設計する。以上の通り、頻度パラメータ「最高」の場合は、最も短い時間（本実施形態の説明では６０秒の例）で少なくとも１枚撮影される頻度になる。したがって、撮影の頻度を上げるということは、加点の方法を変えることにより時間当たりに撮影される枚数を増やすことであり、撮影の頻度を下げるということは、加点の方法を変えることにより時間当たりに撮影される枚数を減らすことである。

【0081】

以上が、自動撮影を行うかどうかの判定について説明である。上記の判断により、自動撮影すると判断した場合には、Ｓ５１３へ進み、撮影しないと判断した場合には、Ｓ５０１へと進む。

【0082】

Ｓ５１３では、第１制御部２２３は、撮影処理を実行する。ここでいう撮影処理とは、静止画撮影や動画撮影が挙げられる。

【0083】

図６は、本実施形態における撮像装置１０１の音声認識処理のフローチャートである。撮像装置１０１に内蔵されたマイクに、ユーザが発した音声が入力された場合、音声入力音声処理部４０９において音声認識処理を行いユーザの操作命令を取得する。

【0084】

Ｓ６０１では、第１制御部２２３は、ウェイクワードの検出がされたかどうかの判定を行う。ウェイクワードとは、撮像装置１０１に対する具体的な指示を音声で行う音声コマンド認識を開始するための起動コマンドである。音声によって指示を行う場合、ウェイクワード認識後にコマンドワードを発生し、認識が成功する必要がある。ウェイクワードの検出がされた場合には、Ｓ６０２へ進み、検出されなかった場合には検出されるまでＳ６０１の処理を繰り返す。

【0085】

Ｓ６０２では、第１制御部２２３は、自動撮影処理を停止状態にする。ウェイクワードを認識したら、コマンドワードの待ち受け状態となるため、自動撮影処理を停止する。自動撮影の停止とは、パン・チルト動作、ズーム動作を用いた被写体探索や撮影処理の実行を指す。自動撮影を停止する目的は、ウェイクワードの次に発せられるコマンドワードの指示に素早く反応するために、自動撮影の処理を停止してコマンドワード待ち受け状態にすることが挙げられる。また、音声指示によって撮影指示を与えようとしていた場合、パン・チルトを停止することでユーザが撮影しようとしていた方向で撮影できるようにすることが挙げられる。

【0086】

Ｓ６０３では、第１制御部２２３は、ウェイクワードに認識成功をしたことをユーザに示すための認識音を鳴動させる。

【0087】

Ｓ６０４では、第１制御部２２３は、コマンドワードが検出されたかどうか判定を行う。コマンドワードが検出された場合にはＳ６０６に進み、検出されなかった場合にはＳ６０５に進む。

【0088】

Ｓ６０５では、第１制御部２２３は、ウェイクワードを検出し、コマンドワード待ち受け状態になってから所定時間が経過したかを判定する。所定時間が経過した場合にはＳ６０１に進み、コマンドワードの待ち受け状態を止めて、ウェイクワードの待ち受け状態となる。所定時間が経過していない場合には、コマンドワードが検出されるまでＳ６０４を繰り返す。

【0089】

Ｓ６０６では、第１制御部２２３は、検出されたコマンドワードが静止画撮影コマンドかどうかの判定を行う。この静止画撮影コマンドは、撮像装置１０１に対して１枚の静止画の撮影・記録の実行要求を行うコマンドである。静止画撮影コマンドと判定した場合にはＳ６０７へ進み、そうでない場合にはＳ６０８へ進む。

【0090】

Ｓ６０７では、第１制御部２２３は、静止画撮影処理を行う。具体的には、撮像部２０６にて撮影した信号を画像処理部２０７において、例えばＪＰＥＧファイルに変換し、画像記録部２０８にて記録媒体２２１に記録を行う。

【0091】

Ｓ６０８では、第１制御部２２３は、検出されたコマンドワードが被写体探索コマンドかどうかの判定を行う。被写体探索コマンドと判定した場合にはＳ６０９へ進み、そうでない場合にはＳ６１０へ進む。

【0092】

Ｓ６０９では、第１制御部２２３は、被写体探索処理を行う。すでにＳ５０５での被写体探索処理によって探索対象エリアが決定され、Ｓ５０６のパン・チルト駆動、Ｓ５０７のズーム駆動によって被写体を捉えている状態であれば、その被写体を追跡することを中止し、他の被写体を探すため、被写体探索処理を実行する。これは、被写体を捉えている状態で、ユーザが被写体探索を指示したのであれば、現在捉えている被写体とは別に撮影してほしい被写体が存在することを意味するためである。

【0093】

Ｓ６０７乃至Ｓ６０９の処理が完了後には、Ｓ６１０において、頻度設定処理を行う。頻度設定処理では、所定時間内にどのくらいの枚数の撮影を行うかの頻度パラメータを設定する処理である。処理内容の詳細については後述するが、Ｓ６１０で実行される頻度設定処理では撮影の頻度がより高くなるように設定される。

【0094】

Ｓ６１１では、第１制御部２２３は、検出されたコマンドワードが動画記録開始コマンドかどうかの判定を行う。動画撮影コマンドは、撮像装置１０１に対して動画像の撮像と記録を要求するコマンドである。動画記録開始コマンドと判定した場合にはＳ６１２へ進み、そうでない場合にはＳ６１３へ進む。

【0095】

Ｓ６１２では、第１制御部２２３は、撮像部２０６を用いて動画像の撮影を開始し、記録媒体２２１へ記録を行う。動画の記録中は、パン・チルトやズーム駆動は行わず、被写体の探索は行わず、自動撮影は停止の状態を維持し続ける。

【0096】

Ｓ６１３では、第１制御部２２３は、検出されたコマンドワードが動画記録停止コマンドかどうかの判定を行う。動画記録停止コマンドと判定した場合にはＳ６１４へ進み、そうでない場合にはＳ６１５へ進む。

【0097】

Ｓ６１４では、第１制御部２２３は、撮像部２０６を用いた動画像の撮影・記録を停止し、記録媒体２２１へ動画ファイルとしての記録を完了させる。

【0098】

Ｓ６１５では、第１制御部２２３は、音声コマンドにおけるその他の処理を実行する。例えば、ユーザの指定した方向にパン・チルトを行うコマンドに対する処理や、露出補正など各種撮影パラメータを変更するコマンドに対する処理を行う事が挙げられる。

【0099】

Ｓ６１６、Ｓ６１７では、第１制御部２２３は、Ｓ６０２にて停止した自動撮影に対して再開処理を行う。これによって、Ｓ５０２～Ｓ５１０の処理が動作可能となり自動撮影が再開される。

【0100】

このとき、動画の記録開始、記録停止の指示の場合には頻度設定処理は実行してない。これは、動画の記録開始後は連続して撮像部２０６からの信号を記録するため頻度設定を高く設定する意味がないことが理由である。また、動画の記録停止後は、ユーザが記録停止を指示したということは、記録に残すべきシーンが終わったことを示すので、いたずらに頻度を高く設定して無駄な画像を撮影しないようにするためである。

【0101】

また、撮像装置１０１が持つ電池残量などが少ない場合や、撮像装置１０１が発熱により所定温度以上になっている場合では、撮像部２０６などを頻繁に動作させないことが好ましい。このような状況では、後述図７のＳ７０４による頻度パラメータを「最高」に設定しないようにしてもよい。

【0102】

図７は、本実施形態における撮像装置１０１の頻度設定処理のフローチャートである。ユーザが自動撮影を行う頻度を設定する手段としては、スマートデバイス３０１内の専用アプリケーションを介して行う方法がある。本フローチャートの処理は、図６のＳ６１０の実行に応じても開始される。さらに、スマートデバイス３０１内の専用アプリケーションを介してユーザが頻度の変更を指示したことに応じても開始される。

【0103】

Ｓ７０１では、第１制御部２２３は、スマートデバイス３０１内の専用アプリケーションを介した頻度設定であるかを判定する。専用アプリケーションを介した頻度設定である場合にはＳ７０２に進み、そうでない場合（例えばＳ６１０で実行される場合）にはＳ７０３に進む。

【0104】

Ｓ７０２では、第１制御部２２３は、ユーザが指示した頻度パラメータに設定を行う。例えば、図９のようにスマートデバイス３０１内の専用アプリケーションの画面において、自動撮影頻度の項目から「低」・「中」・「高」を選択することで設定が可能である。

【0105】

ここで、図９のアプリケーション画面について説明する。

【0106】

スマートデバイス３０１の専用アプリケーションでは、自動的に撮影するコンテンツとして、静止画と動画が用意されている。さらに、自動的に撮影するコンテンツとして、静止画を優先するか、動画を優先するかを専用アプリケーションから設定することができる。この設定は、図９に示すように、スライダーバーのつまみをタッチ（フリック）して変更することができる。静止画を優先するよう設定された場合、動画よりも静止画を多く撮影する。また、動画を優先するよう設定された場合、静止画よりも動画を多く撮影する。

【0107】

また、撮像装置が撮像すべきシーンを探索する範囲を、正面方向から何度の範囲にするかを設定することもできる。図９の例では、正面から左右それぞれ３０度で合わせて６０度の範囲、正面から左右それぞれ９０度で合わせて１８０度の範囲、全周、の３パターンが設定できる。なお、より細かい範囲設定が可能なように数値を入力する形にしてもよい。

【0108】

また、自動的に撮像する場合、撮像されたコンテンツが多くなりすぎることが懸念される。そこで、自動的に画像を削除する機能を設け、その機能をスマートデバイス３０１から入切りできるようにしている。なお、自動的に削除される画像は、例えば撮影日時が古いものから順に削除してもよいし、重要度が低い順から削除してもよい。ここでいう重要度とは、例えば静止画の場合は、ブレが少ないかどうかや人物が写っているかどうかなど、ユーザが残したくなるであろう画像であることが予測されるパラメータを数値化したものである。また、動画の場合は、例えば人物が写っているかどうかや、会話などの人の声が記録されているかどうかなどを数値化し、重要度を算出する。そして、合計数値の高いものほど重要度が高いものとして扱う。

【0109】

以上が図９の説明である。図７の説明に戻る。

【0110】

Ｓ７０３では、第１制御部２２３は、音声認識処理から呼び出された頻度設定であるかを判定する。音声認識処理から呼び出された頻度設定である場合にはＳ７０４へ進み、そうでない場合には頻度設定処理を終了する。

【0111】

Ｓ７０４では、第１制御部２２３は、頻度パラメータをＳ７０２で設定できる頻度よりもさらに高い頻度を設定する。このようにするのは、ユーザが撮影を指示したタイミングは、少なくとも撮影してほしいタイミングであることが理由である。すなわち、ユーザが撮影を指示したタイミングでは、撮影してほしい状況であるため、時間的に近い期間では、撮影してほしいシーンが生じやすいと考えられる。この点に着目し、本実施形態の撮像装置は、ユーザの音声コマンドによる音声指示をトリガーとして、音声コマンドが入力されてから一定の期間は撮影すべきシーンと推測し、撮影頻度を高くする。これによりユーザが撮って欲しい画像を逃さずに撮影することができる。本実施形態では、「最高」という頻度のパラメータに設定を行う事として説明をしているが、音声コマンド指示による頻度設定が行われる度に、頻度を段階的に高くするようにしてもよい。この場合、頻度の上限は撮像装置１０１が備える連写撮影の最速のコマ速度が上限となる。

【0112】

Ｓ７０５では、第１制御部２２３は、Ｓ７０４で「最高」に設定した頻度パラメータを、元のパラメータに戻すまでの頻度ブースト時間の設定を行い、カウントダウンを開始する。例えば、頻度設定が「中」に設定されている状態で、音声コマンド指示によって頻度設定が「最高」に設定された場合、仮に頻度ブースト時間を６０秒とすると、６０秒経過後には頻度設定が「中」に設定が戻る（実際の処理はＳ５１１で行われる）。なお、ここでいう頻度ブースト時間とは、頻度が最高の状態を維持する時間である。この頻度ブースト時間は、自動的に設定されるものだが、ユーザが任意の時間を設定できるようにしてもよい。

【0113】

このとき、この頻度ブースト時間は所定時間の経過によって設定を戻す以外に、自動撮影によって所定枚数の撮影がされるかどうかによって設定を元に戻しても良い。

【0114】

また、頻度ブースト時間のカウントダウンが終了する前に、再度音声コマンドによって再度、頻度設定が「最高」に設定された場合には、頻度設定を元に戻すまでの所定時間もしくは所定枚数を延長する。

【0115】

さらに、頻度設定を元に戻す判断として、被写体探索処理をパン方向の全方位に対して行ったかどうかで判断しても良い。

【0116】

なお、上記実施例ではユーザからの撮影指示の手段として音声コマンドの例を用いて説明した。これに加えて、スマートデバイスやＢＬＥリモコンからの通信手段を介しての指示で撮影を指示された場合にも、その指示を実行した後に頻度設定を「最高」に設定するようにしてもよい。また、撮像装置内の加速度センサーを利用した特定の振動パターンによる、この振動パターンに応じた処理の実行の指示を検出した場合にも、その指示を実行した後に頻度設定を「最高」に設定するようにしてもよい。さらに、撮像部を通してユーザの手の動きを解析しジェスチャーによるジェスチャー指示を受けた場合でも、その指示を実行した後に頻度設定を「最高」に設定するようにしてもよい。

【0117】

また、本実施形態では、パン・チルト駆動とズーム駆動によって被写体を追尾することで、ユーザが欲する画像の撮影を行うことを特徴としてきた。これについては例えば、撮像手段として３６０°カメラを採用することで全方位を常時撮影し、撮影できた画像から必要な範囲の画像を切り出すことで被写体の画像を得るような実装も考えられる。このようにした場合は、常に動画記録を実行し、切り出し指示が入力されたことに応じて、静止画のフォーマットで記録を行った後、動画のフレームレートを上げるようにする。この場合でも、上述の実施形態での撮影頻度と同様に、フレームレートを設定できる最高のレートにしてもよいし、設定できる値を超えた値にしてもよい。また、上げたフレームレートを元に戻す条件も、上述の実施形態と同様に、一定時間の経過を採用すればよい。これにより、ユーザが画像の記録を望むタイミングの周辺ではより高頻度で記録することになる、その結果、例えば動体に対するピントのブレが生じていない画像を取得しやすくなるという効果が得られる。

【0118】

なお、頻度ブースト時間内に撮影タイミングが来なかった場合には、１枚も撮影されないということが考えられる。そこで、まず静止画撮影コマンドを受け付けた時点で、パン・チルトやズーム駆動は行わず、被写体の探索も行わずに１枚撮影する。続いて、被写体を探索しながら連続して３枚撮影を行う。その後、所定時間の間、頻度ブースト状態になり自動撮影を行う。こうすることで、ユーザが静止画撮影コマンドにより意図して静止画撮影を指示した場合に、１枚も撮影がされないということはなくなり、最低でも４枚は撮影されることになる。

【0119】

＜優先度の設定＞
次に、被写体の優先度の設定について説明する。本実施形態における優先度とは、撮像装置１０１にあらかじめ特定の人物の情報を登録しておき、ほかの人物より優先して撮像することを実現するために用いるパラメータである。

【0120】

まず、スマートデバイス３０１の専用アプリケーションの画面のうち、人物登録画面について説明する。図１０は、スマートデバイス３０１の専用アプリケーションに表示される人物登録画面の一例である。

【0121】

本実施形態の撮像装置１０１は、人物を認識した場合、その顔部分を切り出してスマートデバイス３０１に送信する。複数の人物が認識されていれば、それぞれの顔部分を切り出してスマートデバイス３０１に送信する。スマートデバイス３０１の専用アプリケーションは、認識された人物が登録済みであるか否かにかかわらず、顔部分の画像を不図示のＧＵＩに列挙する。ユーザは、列挙された顔の画像を選択することで、図１０の人物登録画面を表示させることができる。

【0122】

図１０（ａ）の人物登録画面において、顔画像１００１は、撮像装置１０１にて認識された人物の顔画像であり、スマートデバイス３０１に送信されたデータを表示することで図１０（ａ）のような画面を実現する。人物登録画面は、認識された人物ごとに用意される。また、設定アイテム１００２は、優先設定をオンにするかオフにするかを切り替えるためのアイテムであり、図１０（ａ）の例では星マークのアイコンで表示される。デフォルトは優先しない設定であり、星マークはグレーで表示される。ユーザがこのアイテムをタッチすると優先する設定に切り替わり、星マークが黄色になり、優先設定がオンになったことを示す。

【0123】

名前表示欄１００３は認識した人物の名称を表示する領域である。名前表示欄１００３のデフォルト表示は空欄であり、ユーザがこの領域を選択することで顔画像１００１の人物の名前を入力することができる。ここで名前を入力することで、登録被写体として登録される。ここで名前が入力されて登録された被写体のデータは自動的に削除されない。一方、顔画像を受信してから一定期間が経過するまで名前を入力しないままの被写体は、自動的に削除される。

【0124】

誕生日欄１００４は、認識した人物の誕生日を表示する領域である。誕生日欄１００４のデフォルト表示は空欄であり、ユーザがこの領域を選択することで顔画像１００１の人物の誕生日を入力することができる。誕生日の入力には、日付を選択するためのカレンダーが表示され、任意の日付を選択するとその日付が入力されるようにしてもよい。あるいは、例えば文字列入力による日付指定を用いてもよい。また、図１０（ａ）に示した日付は年月日形式としているが、月日形式としてもよい。

【0125】

また、本実施例においては、登録被写体に対応付けられた特定の日付として被写体の誕生日を登録する方法について述べたが、登録被写体に対応付けられた特定の日付は必ずしも誕生日に限定されるものではない。さらに、登録被写体に対応付けられた特定の日付は一人の被写体に対して複数選択できるようにしてもよい。さらに、登録被写体に対応付けられた特定の日付は誕生日のように毎年発生するもの以外に、入学式や結婚式など一度のみ発生するイベントを設定できるようにしてもよい。

【0126】

こうして入力された被写体情報は、無線ＬＡＮ制御部４０１またはＢＬＥ制御部４０２を介してスマートデバイス３０１から撮像装置１０１に送信される。撮像装置１０１は受信した被写体情報を不揮発性メモリ２１６に記録する。

【0127】

図１１は撮像装置１０１が保持する被写体情報を模式的に示した図である。被写体番号は被写体を一意に特定するための番号である。優先設定は図１０（ａ）の画面でユーザが指定した被写体の優先設定を記録している。名前は図１０（ａ）の画面でユーザが指定した文字列を記録している。誕生日は図１０（ａ）の画面でユーザによって指定された日付を記録している。

【0128】

次に撮像装置１０１における各被写体の優先度の決定方法について図１２を用いて説明する。図１２のフローチャートは、撮像装置１０１が順次撮像して得られる画像内に被写体を認識した場合、開始される。

【0129】

まず、Ｓ１２０１にて、第１制御部２２３は、認識した被写体番号を不揮発性メモリ２１６から取得する。

【0130】

続くＳ１２０２にて、第１制御部２２３は、認識した被写体番号ごとに優先設定を確認する。ここで優先設定がオンである場合（Ｓ１２０２にてＹｅｓ）、処理はＳ１２０３に進む。

【0131】

優先設定がオフである場合（Ｓ１２０２にてＮｏ）、処理はＳ１２０４に進む。

【0132】

Ｓ１２０３では、第１制御部２２３は、その被写体の優先度を１と設定する。一方、Ｓ１２０４では、第１制御部２２３は、その被写体の優先度を０と設定する。

【0133】

続くＳ１２０５では、第１制御部２２３は認識した被写体番号ごとに特定の日付であるか否かを判断する。具体的には、本実施形態の撮像装置１０１は、不揮発性メモリ２１６に記録されている被写体情報のテーブルに基づき、各被写体番号に対応する誕生日の日付と、現在の日付とを比較し、同じ日であるか否かを判断する。同じ日であった場合、誕生日であると判断する。すなわち、Ｓ１２０５にて特定の日付であると判断する（Ｙｅｓ）。この場合、処理はＳ１２０６に進む。一方、特定の日付でないと判断した場合（Ｓ１２０５にてＮｏ）、処理は終了する。

【0134】

Ｓ１２０６では、第１制御部２２３は、その被写体の優先度に０．５を加算する。

【0135】

ここで、優先設定されている場合の優先度の値を１、誕生日による優先度の増加量を０．５として説明した。このように優先設定による優先度の設定値より、誕生日による優先度の増加量を少なくする場合は、今日が誕生日の被写体よりも、ユーザが優先設定した被写体が優先されることが維持される。ただし、設定する優先度の値は必ずしもこの値に限らなくてよい。例えば、優先設定による優先度の設定値と、誕生日による優先度増加量を等しくする場合、ユーザによって優先設定された被写体と、優先設定されていなくとも誕生日の被写体とを同程度撮影する。また、優先設定による優先度の設定値より誕生日による優先度の増加量を多くする場合、ユーザによって優先設定された被写体より誕生日の被写体をより優先して撮影する。また、これらの優先度増加量は固定値でなくてもよく、例えば登録被写体の数や画角内の被写体の数、被写体の絵顔度や顔の向き、被写体の声の大きさなど、その他の情報をもとに算出した値を用いてもよいし、時間的に変化する値でもよい。

【0136】

また、本実施例においては、優先度を加算する方法について述べたが、相対的に他の被写体の優先度を減算する方法を用いてもよい。

【0137】

また、処理上、特別に優先度という値を設けなくてもよく、所定のアルゴリズムを実行した結果、本実施例と同様の優先順位を付けた挙動をするようにシステムを構築してもよい。

【0138】

次に、上記の処理で算出された優先度を使用してレンズ駆動および鏡筒回転駆動の目標位置を決定する処理について説明する。

【0139】

まず、自動撮影において優先度を使用する目的は、より重要な被写体の写真を多く、バリエーション豊かに、よい構図で撮影することである。そのための方法として、被写体の追尾、被写体毎の撮影枚数制御、被写体の探索、構図の調整、撮影タイミングの決定において優先度を使用する。

【0140】

まず、被写体の追尾における優先度の使用について説明する。被写体追尾は特定の被写体を常に画角内に収めるために、チルト回転ユニット１０４およびパン回転ユニット１０５を制御し、鏡筒１０１の向きを当該被写体に向け続ける動きである。本実施形態では、追尾するべき被写体を決定する際に被写体の優先度を使用し、画角内に検出されている最も優先度の高い被写体を追尾の対象とする。

【0141】

ここで、追尾対象の決定には後述する撮影枚数制御の情報を用いてもよく、その場合、被写体の優先度とこれまでの各被写体の撮影枚数を勘案して追尾するべき対象を選択する。

【0142】

次に、撮影枚数制御における優先度の使用について図１３を用いて説明する。第１制御部２２３は各被写体の優先度の割合を撮影枚数の割合の目標値として撮影対象の被写体を決定する。記録媒体２２１に保存された過去の撮影画像に含まれる各被写体の割合と、各被写体の優先度の比較を行い、目標値に対して撮影割合が最も不足している被写体を撮影対象とする。決定した撮影対象が画角内に存在する場合は後述する構図調整を行ったのち撮像する。ここでは過去のすべての撮影に対する被写体の割合を用いる例を示したがその限りではない。例えば直近１００件に撮影した被写体の割合を用いる方法や、直近の情報を用いる方法、当日の撮影割合を用いる方法などがある。

【0143】

また、過去に撮影した被写体の割合を使用する方法以外に、優先度毎に順番に撮影していく方法を用いてもよい。例えば、優先度１の被写体Ａと優先度０．５の被写体Ｂがそれぞれ１名ずつ存在する場合、被写体Ａを２回撮影したのち、被写体Ｂを撮影対象に切り替えて１回撮影するように撮影対象を切り替える方法などがある。

【0144】

次に構図の調整における優先度の使用について説明する。撮影対象を追尾している状態から撮影するまでの間に、よりよい構図となるように画角を調整する。まず、優先度の高い被写体をメインに撮影するため、画角内の被写体のうち最も優先度の高い被写体を画像中心にとらえるようパン制御およびチルト制御を行う。また、別の方法として、例えば画角内の被写体の優先度の重心を算出し、その位置を画像中心にとらえるようにしてもよいし、これらの方法を切り替えて使用してもよい。次に、ピント調整において、画角内の被写体のうち最も優先度の高い被写体にピントを合わせる。次に、画角内の被写体のサイズを調整するため、画角内の被写体のうち最も優先度の高い被写体のサイズが適切となるようにズーム位置を調整する。被写体のサイズの調整の基準としては顔のサイズを使用する方法のほか、体のサイズを使用する方法や、体の一部のサイズを使用する方法を用いてもよい。また、画角内外に被写体が多数存在する場合の構図調整の方法として、画角内に含まれる被写体の優先度の合計値が最大となるようにカメラの向きやズーム位置を調整する方法を用いてもよい。

【0145】

次に、撮影のタイミングにおける優先度の使用について説明する。撮影のタイミングは、重要度スコアによって決定される。重要度スコアを決定するアルゴリズムは図５のステップＳ５１２における自動撮影を行うかどうかの説明にて述べた通りであり、優先度の高い被写体が画角内に存在する場合は加点される。本実施形態では、優先度が、０、０．５、１、１．５のパターンが考えられるため、例えば優先度０なら加点０、優先度０．５なら５００点加点、優先度１なら１０００点加点、優先度１．５なら１５００点加点、などとする。これにより、優先度に応じて重要度スコアの２０００点への達しやすさを異ならせる。結果として、撮影の頻度が優先度の順に高くなることになる。

【0146】

なお、上述の説明では、図１０（ａ）の画面で誕生日が設定されていれば、自動的に誕生日に基づく優先度の変更が行われる例について述べた。これについては、例えば誕生日の入力とは別に、誕生日に基づく優先度の変更を利用するかどうかを選べるようにしてもよい。例えば図１０（ｂ）のような人物登録画面を表示する。ここでは、図１０（ａ）の画面に加えて、誕生日優先設定のオン・オフを切り替えるための誕生日優先アイテム１００５が表示されている。デフォルトは誕生日優先しない設定であり、星マークはグレーで表示される。この状態では、誕生日が入力されていたとしても、優先度の変更は行われない。ユーザがこのアイテムをタッチすると誕生日優先する設定に切り替わり、星マークが黄色になり、誕生日優先設定がオンになったことを示す。この処理を実現するためには、図１２の処理において、Ｓ１２０５の前に、誕生日優先する設定になっているか否かを判断するステップを設ければよい。誕生日優先する設定になっていると判断した場合、Ｓ１２０５の処理を実行し、誕生日優先する設定になっていないと判断した場合、処理を終了すればよい。

【0147】

以上、本実施の形態によれば、撮像装置１０１とスマートデバイス３０１とからなるシステムにおいて、被写体に対応付けられた日時情報に応じて被写体の優先度を自動的に変更する。これにより、よりユーザの意図に沿った自動撮影を実現することができる。

【0148】

［第２の実施形態］
第２の実施形態では、被写体毎に特定日付に優先度を加算するかを選択可能な撮像装置と、さらに、特定日付の被写体の優先度の上げ幅を多段階に設定可能な撮像装置について説明する。第２の実施形態におけるシステム構成は、第１の実施形態と同じであるため説明を省略する。本実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0149】

図１４は、本実施形態における人物登録画面である。この画面の表示の仕方は第１の実施形態と同様である。また、図１０と同じ領域には同じ番号を付している。図１４の画面は、図１０と異なり、段階的に優先設定を切り替えるためのアイテム１４０１と、段階的に誕生日優先設定を切り替えるためのアイテム１４０２が表示される。アイテム１４０１とアイテム１４０２は、星マークが５つ並んだ形で表現され、タッチするたびに優先設定の段階を切り替えることができる。デフォルトは優先設定オフであり、タッチすると段階がひとつ上がる。上限まで達した状態でタッチすると、デフォルトに戻る。あるいは、タッチしたアイテムの位置に応じた段階に変更してもよい。図１４の例では、優先設定の段階は３であり、誕生日優先設定の段階は５である。このように、設定された段階に応じた星マークの色が変更して表示されることで、現在設定されている段階を示す。

【0150】

本実施形態においては、設定される優先度は左端の星マークから順に０．２、０．４、０．６、０．８、１．０が割り当てられる。つまり、図１２のＳ１２０３では、優先度を１にするのではなく、設定された段階に応じた優先度に設定する。また、図１２のＳ１２０６では、優先度を０．５加算するのではなく、設定された段階に応じた優先度を加算する。

【0151】

なお、上記の例では５段階を例に挙げて説明したが、これに限られるものではない。また、優先設定と誕生日優先設定とが異なる段階に分かれていてもよい。

【0152】

また、複数の星マークによる設定以外の方法を用いてもよく、例えばシークバーやプルダウンメニューによる値の設定や、数値入力による値の設定を行う方法を採用してもよい。

【0153】

また、本実施例においては、登録被写体に対応付けられた特定の日付として被写体の誕生日を登録する方法について述べたが、登録被写体に対応付けられた特定の日付は必ずしも誕生日に限定されるものではない。さらに、登録被写体に対応付けられた特定の日付は一人の被写体に対して複数選択できるようにしてもよい。さらに、登録被写体に対応付けられた特定の日付は誕生日のように毎年発生するもの以外に、入学式や結婚式など一度のみ発生するイベントを設定できるようにしてもよい。

【0154】

このように優先度の上げ幅を多段階に設定することで、ユーザは撮影したい被写体をよりきめ細かく設定することができる。

【0155】

［第３の実施形態］
第３の実施形態では、複数の被写体を含むイベントを特定日付として、イベント毎に優先度の増加量を設定可能な撮像装置について説明する。第３の実施形態におけるシステム構成は、第１の実施形態と同じであるため説明を省略する。本実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0156】

図１５は、本実施形態におけるスマートデバイス３０１の専用アプリケーションの画面のうちの一画面である、イベント設定画面である。スマートデバイス３０１の専用アプリケーションは、不図示のトップ画面からイベント設定画面を表示するためのアイテムを表示する。ユーザはこのアイテムをタッチすることでイベント設定画面を表示することができる。

【0157】

図１５のイベント設定画面において、日付設定領域１５０１は複数の登録被写体に共通する特定の日付を設定することができる領域である。デフォルトは空欄であり、この領域を選択することで、日付を選択するためのカレンダーが表示され、任意の日付を選択するとその日付が入力される。ここでは日付選択の方法としてカレンダーによる例を示したが、必ずしもカレンダーを用いる必要はなく、例えば文字列入力による日付指定を用いてもよい。また、図１５に示した日付は年月日形式としているが、月日形式としてもよい。さらに、特定日付は１日のみでなく、複数の日数を設定できるようにしてもよく、例えば開始日と終了日を設定するユーザインタフェースを提供してもよい。

【0158】

登録被写体の選択領域１５０２は登録されている被写体の一覧をアイコン表示し、被写体のアイコンを押下することでイベントの参加者として設定する機能を提供する。アイコン押下によりイベントの参加者として登録された被写体のアイコンには、登録被写体の選択状況表示アイコン１５０３を表示することで当該被写体がイベントの参加者であることを示す。選択状況表示アイコン１５０３が表示されている被写体のアイコンを再度押下するとイベントの参加者から除外する。また、選択状況表示アイコン１５０３を消すことで当該被写体がイベントの参加者でないことをユーザに示す。

【0159】

特定日付の名称設定領域１５０４は本イベント設定画面で設定しているイベントの名称を任意に設定できる機能をユーザに提供する。特定日付の名称設定領域１５０４を押下することで任意の文字列を入力できる。

【0160】

特定日付に対応付けられた被写体の優先度設定領域１５０５は本イベント画面で登録されたイベントに参加する被写体のイベント当日の優先度をあらかじめ設定する機能を提供する。特定日付に対応付けられた被写体の優先度設定領域１１０５は、設定された優先度が本イベントに参加するすべての被写体に適用されることを除いては第２の実施形態における優先設定アイテムおよび誕生日優先設定アイテムと同様である。

【0161】

特定日付の繰り返し設定領域１５０６は、本イベントを繰り返し適用する機能を提供する。特定日付の繰り返し設定領域１５０６を押下することで、繰り返しのパターンを選択できる。ここでの設定項目は例えば、毎年、毎月、毎週、毎日、２週間毎などのほか、繰り返しなしも選択できる。

【0162】

また、実施例３におけるイベント設定画面で参加登録された被写体が２名以上の場合、該当する被写体が２名以上画角に含まれる場合のみ撮影を行ってもいい。こうすることでイベント参加者同士のコミュニケーションの様子を優先的に記録することができる。

【0163】

さらに、特定日付の被写体優先度の決定方法として、該当する被写体が２名以上画角に含まれる場合のみ優先度の加算を有効化する方法を用いてもよい。こうすることで、イベント参加者が単独で撮像されている状態では探索や構図調整に影響を与えないようにすることができる。

【0164】

また、一人ないし複数の被写体をグループ化するユーザインタフェースを提供し、イベント登録の際の参加被写体の選択においてグループを指定できるようにしてもよい。さらに、グループに任意のグループ名を付与できるようにしてもよい。

【0165】

登録するイベントとしては誕生日、結婚記念日、結成記念日、入学式、卒業式、結婚式、ホームパーティ、飲み会、運動会、旅行などが考えられるが、それらに限定するものではなく、どのようなイベントに対しても有効である。

【0166】

以上、本実施の形態によれば、被写体に対応付けられた日時情報に応じて被写体の優先度を自動的に変更する機能において、優先度の上げ幅を特定日付毎に設定する手段をユーザに提供できる。また、被写体に対応付けられた日時情報に応じて被写体の優先度を自動的に変更する機能において、複数の登録被写体に共通する特定の日付を設定する手段をユーザに提供できる。

【0167】

［第４の実施形態］
第４の実施形態では、特定日付当日だけでなく前後数日にわたって被写体の優先度を増加させる撮像装置について説明する。第４の実施形態におけるシステム構成は、第１の実施形態と同じであるため説明を省略する。本実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0168】

前述の実施形態では、特定日付当日の被写体の優先度を加算する方法を示した。実施例４では特定日付当日だけでなく、前後数日についても当該被写体の優先度を加算する方法について説明する。

【0169】

例えば、ある被写体の誕生日が平日だった場合、一般的には付近の週末に誕生日会を行う場合がある。そこで、特定日付当日の前後３日間は当該被写体の優先度を加算することで、特定日付当日以外に誕生日会が実施されても該当する被写体を優先的に撮影する機能を提供できる。ここで、前後の日数は３日に限るものではない。また、前後で異なる日数を用いてもよい。例えば当日前２日から当日後５日の間で優先度を加算するようにしてもいい。

【0170】

また、当日の優先度加算量と、当日前後の優先度加算量は必ずしも同一である必要はなく、例えば当日から離れるにしたがって加算量を下げるような方法を用いてもよい。その他、前後の平日は優先度を加算せず、最寄りの休日のみ優先度を加算する方法を用いてもよい。

【0171】

以上、本実施の形態によれば、被写体に対応付けられた日時情報に応じて被写体の優先度を自動的に変更する機能において、特定日付当日だけでなく前後数日にわたって被写体の優先度を加算する手段をユーザに提供できる。

【0172】

［第５の実施形態］
第５の実施形態では、特定日付の被写体の優先度を変更したことをユーザに通知する撮像装置について説明する。第５の実施形態におけるシステム構成は、第１の実施形態と同じであるため説明を省略する。本実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0173】

図１６（ａ）は、前述の実施形態において説明した優先度を変更した場合に表示する通知１６０１を説明する図である。

【0174】

通知１６０１はスマートデバイス３０１の画面に表示され、優先度を変更した被写体の画像１６０２と優先度を変更したことを伝えるメッセージ１６０３により構成される。

【0175】

通知１６０１はスマートデバイス３０１において専用のアプリケーションを起動している場合はそのアプリケーション内に表示される。専用のアプリケーションを起動していない場合はスマートデバイス３０１のオペレーティングシステムが提供する通知領域に表示される。例えば、スマートデバイス３０１がＡｎｄｒｏｉｄやｉＯＳなどのオペレーティングシステムを搭載するスマートフォンである場合、そのオペレーティングシステムが提供する通知領域に表示される。

【0176】

本実施例において、通知１６０１は該当する被写体の優先度を変更したあと、当該被写体を初めて撮影したタイミングで発行する。

【0177】

また、通知１６０１内の表示内容は通知対象とする被写体の数によって変更してもいい。図１６（ｂ）は通知対象の被写体が複数（この例では３人）の場合を示している。メッセージ１６０３には被写体情報に記録されている通知対象の被写体の名前（図１６（ａ）においては「あいり」）と、特定日付のイベント名称（図１６（ａ）においては「誕生日」）を含める。また、優先度がどのように変更されたのかを示す文言（図１６（ａ）においては「たくさん」）も含める。前記優先度がどのように変更されたのかを示す文言は「たくさん」のほか、優先度の変化具合に応じて「ほどほどに」「控えめに」など分量を表す適切な文言に差し替えて表示する。

【0178】

更に、通知１６０１は押下可能なボタンとし、通知１６０１を押下すると通知対象の被写体が含まれる写真の一覧画面に遷移する機能を持たせる。

【0179】

また、本実施例において被写体の画像１６０２は被写体情報に保存した被写体検出用の画像を使用する方法を用いたが、必ずしも被写体検出用画像を使用する必要はない。例えば、記録媒体に保存した当該被写体が含まれる画像を表示してもよいし、被写体の画像１６０２を表示しない方法を用いてもよい。さらに、図１６（ｂ）のように複数の被写体が通知対象となる場合は、通知対象が含まれる一枚の画像を表示する方法や、通知対象が含まれる複数の画像を表示してもよい。

【0180】

また、本実施例においてはメッセージ１６０３に通知対象の被写体の名前を含める例を説明したが、必ずしも被写体の名前を含める必要はない。ただし、本実施例のように複数の被写体を登録し、撮影するシステムにおいては、どの被写体に対する通知であるかをユーザが理解できる表示にすることが望ましい。唯一の被写体を登録し、撮影するシステムにおいてはこの限りではない。また、第３の実施形態で示したグループ名を付与したグループに対する通知の場合は被写体名称の代わりにグループ名を用いてもよい。

【0181】

また、通知１６０１の発行のタイミングとして、優先度変更後一度撮影した後に発行する方法について説明したが、これに限られるものではない。例えば被写体情報検出部３０９で当該被写体を検出した直後に発行する方法や、被写体を検出しなくともイベント当日と判断したときに発行する方法、イベント当日の特定の時間になったときに発行する方法などを用いてもよい。

【0182】

以上、本実施の形態によれば、ユーザは被写体に対応付けられた日時情報に応じて被写体の優先度を自動的に変更する機能によって当該被写体の優先度が変更されたことを簡便に認識することができる。

【0183】

［第６の実施形態］
第６の実施形態では、特定日付の被写体を検出した際に、優先度を変更するかどうかをユーザに問合せる撮像装置について説明する。第６の実施形態におけるシステム構成は、第１の実施形態と同じであるため説明を省略する。本実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0184】

図１７は前述の実施形態において説明した被写体の優先度を変更する場合に、ユーザに優先度の変更の判断を問い合わせる通知１７０１を説明する図である。

【0185】

通知１７０１は当該被写体の画像１６０２、メッセージ１７０３、メッセージ１７０３の内容を承諾するための承認ボタン１７０４、メッセージ１７０３の内容を否認する手段であるところの否認ボタン１７０５を有する。

【0186】

当該被写体の画像１６０２については第５の実施形態の説明と同様であるためここでは説明を省略する。

【0187】

メッセージ１７０３には当該被写体を優先して撮影するかどうかを確認する文言を含める。承認ボタン１７０４および否認ボタン１７０５は、ユーザによって押下可能なボタンであり、承認ボタン１７０４が押下されると当該被写体を優先して撮影するために前述の実施形態に記載の方法にのっとって当該被写体の優先度を変更する。否認ボタン１７０５が押下された場合は当該被写体の優先度は変更されず、あらかじめ設定された撮影条件にのっとって撮影を継続する。

【0188】

ここで、本実施形態において、通知１７０１は第５の実施形態に記載の通知１６０１と同様の仕組みで表示する構成としたが、例えばダイアログボックスによる表示でもいい。

【0189】

また、通知の発行に併せて撮像装置１０１もしくはスマートデバイス３０１から音や光、振動を発生し、通知が発行されたことをユーザに伝える構成としてもよい。

【0190】

また、ユーザによって承認ボタン１７０４もしくは否認ボタン１７０５が押下されたとき、それに応答するように新たな通知を発行する構成としてもよい。例えば承認ボタン１７０４が押下された場合は「分かりました！あいりさんをたくさん撮りますね！」、否認ボタン１７０５が押下された場合は「分かりました。いつも通り撮りますね！」といった文章の通知を発行することができる。

【0191】

以上、本実施の形態によれば、ユーザは被写体に対応付けられた日時情報に応じて被写体の優先度が自動的に変更する前に、当該被写体の優先度を変更するかどうかを選択することができる。

【0192】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】