特許 7403218 撮像装置及びその制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】撮像装置及びその制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231215BHJP

   H04N 23/66 20230101ALI20231215BHJP

   H04N 23/611 20230101ALI20231215BHJP

   H04N 23/695 20230101ALI20231215BHJP

   H04N 23/69 20230101ALI20231215BHJP

   G03B 15/00 20210101ALI20231215BHJP

   G03B 17/38 20210101ALI20231215BHJP

   G03B 17/00 20210101ALI20231215BHJP

   G03B 17/56 20210101ALI20231215BHJP

【ＦＩ】

H04N23/60 100

H04N23/66

H04N23/611

H04N23/695

H04N23/69

G03B15/00 R

G03B17/38 B

G03B15/00 F

G03B17/00 X

G03B15/00 U

G03B15/00 Q

G03B15/00 P

G03B17/00 B

G03B17/56 B

【請求項の数】 28

(21)【出願番号】P 2018217522

(22)【出願日】2018-11-20

(65)【公開番号】P2019110525

(43)【公開日】2019-07-04

【審査請求日】2021-11-10

(31)【優先権主張番号】P 2017242229

(32)【優先日】2017-12-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】高山 将浩

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１２－２３１３２７（ＪＰ，Ａ）

【文献】国際公開第２０１６／１９９４８３（ＷＯ，Ａ１）

【文献】特開２０１１－０３０１６４（ＪＰ，Ａ）

【文献】特開２００８－１６０７０１（ＪＰ，Ａ）

【文献】特開２００３－１１１０４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６６

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６９

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／３８

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／５６

(57)【特許請求の範囲】

【請求項1】

被写体像を撮像して画像データを出力する撮像手段と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、
第１の時刻からの累積の撮影枚数を示す情報を取得する取得手段と、
所定期間における目標撮影枚数を決定する決定手段と、
を備え、
前記制御手段は、前記目標撮影枚数と前記累積の撮影枚数を示す情報とに基づいて、前記撮影動作を実施するか否かを決定するための閾値を変更することを特徴とする撮像装置。

【請求項2】

被写体像を撮像して画像データを出力する撮像手段と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、
第１の時刻からの累積の撮影枚数を示す情報を取得する取得手段と、
外部装置と通信する通信部と、
を備え、
前記制御手段は、前記通信部による前記外部装置との通信性能と前記累積の撮影枚数を示す情報とに基づいて前記撮影動作を実施するか否かを決定するための閾値を変更することを特徴とする撮像装置。

【請求項3】

被写体像を撮像して画像データを出力する撮像手段と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、
第１の時刻からの累積の撮影枚数を示す情報を取得する取得手段と、
を備え、
前記取得手段は、前記第１の時刻から一定の時間が経過するまでの累積の撮影枚数を示す情報を取得し、
前記制御手段は、前記第１の時刻から一定の時間が経過するまでにおける、前記撮影動作を実施するか否かを決定するための閾値と、前記第１の時刻から一定の時間が経過するまでに撮影された累積の撮影枚数を示す情報とに基づいて、前記第１の時刻から前記一定の時間が経過した後に用いる前記閾値を設定することを特徴とする撮像装置。

【請求項4】

被写体の情報を検出する検出手段を更に備え、
前記制御手段は、前記撮影動作を実施するか否かを、前記被写体の情報を前記閾値と比較することにより決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記検出手段は、検出された音および前記撮像手段により撮像された画像データの少なくとも一方に基づいて、被写体の情報を検出することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記閾値の初期値は、過去の学習の結果に基づいて決定されることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記制御手段は、前記第１の時刻からの累積の撮影枚数を示す情報に基づいて、次の一定期間の前記閾値を決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

所定期間における目標撮影枚数を決定する決定手段を更に備え、
前記制御手段は、前記目標撮影枚数と、前記第１の時刻からの累積の撮影枚数を示す情報とに基づいて、前記撮影動作を実施するか否かを判定するための閾値を変更することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

前記制御手段は、撮影時間の経過とともに前記目標撮影枚数に向けて、撮影枚数が直線的に増加するように前記閾値を変更することを特徴とする請求項８に記載の撮像装置。

【請求項10】

前記決定手段は、ユーザによる手動による入力または音声による入力に基づいて設定された撮影条件に基づいて前記目標撮影枚数を決定することを特徴とする請求項８または９に記載の撮像装置。

【請求項11】

前記ユーザによる手動による入力または音声による入力は、スマートデバイスを用いて行われることを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記撮影条件は、総撮影時間の情報を含むことを特徴とする請求項１０または１１に記載の撮像装置。

【請求項13】

前記撮影条件は、さらに記録媒体およびバッテリーの残量の情報を含むことを特徴とする請求項１２に記載の撮像装置。

【請求項14】

被写体の顔を検出する検出手段と、
前記検出手段により検出された被写体の顔の状態を判定する判定手段と、
を更に備え、
前記制御手段は、前記判定手段により判定された被写体の顔の状態が同じであっても、前記第１の時刻からの累積の撮影枚数が第１の枚数の場合は撮影動作を実施し、前記累積の撮影枚数が前記第１の枚数よりも多い第２の枚数の場合は撮影動作を実施しないように制御することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。

【請求項15】

前記被写体の顔の状態とは、被写体の顔の表情、被写体の顔の向き、被写体の目の開き具合、被写体の視線、被写体の姿勢、被写体の動作の状態であることを特徴とする請求項１４に記載の撮像装置。

【請求項16】

前記撮像手段の向きを被写体に向けるために、前記撮像手段の向きを変更する変更手段を更に備え、
前記変更手段は、前記第１の時刻からの累積の撮影枚数を示す情報に基づいて、前記撮像手段の向きを変更する可動範囲を変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項17】

前記変更手段は、前記撮像手段を、パン方向およびチルト方向に回動させることを特徴とする請求項１６に記載の撮像装置。

【請求項18】

前記撮像手段への被写体像を拡大あるいは縮小するためのズーム手段をさらに備え、
前記ズーム手段は、前記累積の撮影枚数を示す情報に基づいて、前記拡大あるいは縮小の制御を変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項19】

前記取得手段は、前記第１の時刻から一定の時間経過するまでの累積の撮影枚数を示す情報を取得し、
前記制御手段は、前記第１の時刻から一定の時間が経過するまでに撮影された累積の撮影枚数を示す情報に基づいて前記閾値を変更することを特徴とする請求項１または２に記載の撮像装置。

【請求項20】

被写体像を撮像して画像データを出力する撮像手段と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、
前記撮影動作の頻度に関する情報を取得する取得手段と、
前記撮像手段の向きを被写体に向けるために、前記撮像手段の向きを変更する変更手段と、を備え、
前記制御手段は、前記頻度に関する情報に応じて、前記撮影動作を実施するか否かを決定するための閾値を変更し、
前記変更手段は、前記頻度に応じて、前記撮像手段の向きを変更する可動範囲を変更することを特徴とする撮像装置。

【請求項21】

被写体像を撮像して画像データを出力する撮像手段と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、
前記撮影動作の頻度に関する情報を取得する取得手段と、
前記撮像手段への被写体像を拡大あるいは縮小するためのズーム手段と、を備え、
前記制御手段は、前記頻度に関する情報に応じて、前記撮影動作を実施するか否かを決定するための閾値を変更し、
前記ズーム手段は、前記頻度に応じて、前記拡大あるいは縮小の制御を変更することを特徴とする撮像装置。

【請求項22】

被写体像を撮像して画像データを出力する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御工程と、
第１の時刻からの累積の撮影枚数を示す情報を取得する取得工程と、
所定期間における目標撮影枚数を決定する決定工程と、
を有し、
前記制御工程では、前記目標撮影枚数と前記累積の撮影枚数を示す情報に基づいて、前記撮影動作を実施するか否かを決定するための閾値を変更することを特徴とする撮像装置の制御方法。

【請求項23】

被写体像を撮像して画像データを出力する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御工程と、
前記撮影動作の頻度に関する情報を取得する取得工程と、
前記撮像手段の向きを被写体に向けるために、前記撮像手段の向きを変更する変更工程と、を有し、
前記制御工程では、前記頻度に関する情報に応じて、前記撮影動作を実施するか否かを決定するための閾値を変更し、
前記変更工程では、前記頻度に応じて、前記撮像手段の向きを変更する可動範囲を変更することを特徴とする撮像装置の制御方法。

【請求項24】

被写体像を撮像して画像データを出力する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御工程と、
前記撮影動作の頻度に関する情報を取得する取得工程と、
前記撮像手段への被写体像を拡大あるいは縮小するためのズーム工程と、を有し、
前記制御工程では、前記頻度に関する情報に応じて、前記撮影動作を実施するか否かを決定するための閾値を変更し、
前記ズーム工程では、前記頻度に応じて、前記拡大あるいは縮小の制御を変更することを特徴とする撮像装置の制御方法。

【請求項25】

被写体像を撮像して画像データを出力する撮像手段と外部装置と通信する通信部とを備える撮像装置を制御する方法であって、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御工程と、
第１の時刻からの累積の撮影枚数を示す情報を取得する取得工程と、
を有し、
前記制御工程では、前記通信部における前記外部装置との通信性能と前記累積の撮影枚数を示す情報とに基づいて、前記撮影動作を実施するか否かを決定するための閾値を変更することを特徴とする撮像装置の制御方法。

【請求項26】

被写体像を撮像して画像データを出力する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御工程と、
第１の時刻からの累積の撮影枚数を示す情報を取得する取得工程と、
を有し、
前記取得工程では、前記第１の時刻から一定の時間経過するまでの累積の撮影枚数を示す情報を取得し、
前記制御工程では、前記第１の時刻から一定の時間が経過するまでにおける、前記撮影動作を実施するか否かを決定するための閾値と、前記第１の時刻から一定の時間が経過するまでに撮影された累積の撮影枚数を示す情報とに基づいて、前記第１の時刻から前記一定の時間が経過した後に用いる前記閾値を設定することを特徴とする撮像装置の制御方法。

【請求項27】

請求項２２乃至２６のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項28】

請求項２２乃至２６のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置における自動撮影技術に関するものである。

【背景技術】

【0002】

カメラ等の撮像装置による静止画・動画撮影においては、ユーザがファインダー等を通して撮影対象を決定し、撮影状況を自ら確認して撮影画像のフレーミングを調整して、画像を撮影するのが一般的である。このような撮像装置では、ユーザの操作ミスや外部環境の検知を行い、撮影に適していない場合にはユーザに通知したり、撮影に適した状態になるようにカメラを制御する仕組みが従来から備えられている。

【0003】

このようなユーザの操作により撮影を実行する撮像装置に対し、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行うライフログカメラ（特許文献１）が知られている。ライフログカメラは、ストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録する。ライフログカメラによる撮影では、ユーザがシャッターを切るなどの意図したタイミングで撮影するのではなく、一定の時間間隔で撮影が行われるため、普段撮影しないような不意な瞬間を映像として残すことができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１６－５３６８６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ライフログカメラをユーザが身に着けた状態において、定期的に自動撮影を行った場合、以下のような問題が発生する。

【0006】

１つは、ユーザの意思に関係なく一定時間間隔で撮影が行われるため、ユーザが本当に撮影したい瞬間の映像を撮り逃す可能性があることである。また、もう１つは、撮り逃しを回避するために撮影間隔を短くすると、撮影による消費電力が大きくなり、撮影可能時間が短くなってしまうことである。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、自動撮影を行う撮像装置において、ユーザが撮影したい映像の撮り逃しを極力抑制できるようにすることである。

【課題を解決するための手段】

【0008】

本発明に係わる撮像装置は、被写体像を撮像して画像データを出力する撮像手段と、前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、第１の時刻からの累積の撮影枚数を示す情報を取得する取得手段と、所定期間における目標撮影枚数を決定する決定手段と、を備え、前記制御手段は、前記目標撮影枚数と前記累積の撮影枚数を示す情報とに基づいて、前記撮影動作を実施するか否かを決定するための閾値を変更することを特徴とする。

【発明の効果】

【0009】

本発明によれば、自動撮影を行う撮像装置において、自動撮影を行う撮像装置において、ユーザが撮影したい映像の撮り逃しを極力抑制できるようにすることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の撮像装置の一実施形態であるカメラの外観を模式的に示す図。

【図2】一実施形態のカメラの全体構成を示すブロック図。

【図3】カメラと外部装置との無線通信システムの構成例を示す図。

【図4】外部装置の構成を示す図。

【図5】カメラと外部装置の構成を示す図。

【図6】外部装置の構成を示す図。

【図7】第１制御部の動作を説明するフローチャート。

【図8】第２制御部の動作を説明するフローチャート。

【図9】撮影モード処理の動作を説明するフローチャート。

【図10A】撮影画像内のエリア分割を説明するための図。

【図10B】撮影頻度の制御を説明するための図。

【図11】ニューラルネットワークを説明する図。

【図12】外部装置で画像を閲覧している様子を示す図。

【図13】学習モード判定を説明するフローチャート。

【図14】学習処理を説明するフローチャート。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

【0012】

＜カメラの構成＞
図１は、本発明の撮像装置の一実施形態であるカメラの外観を模式的に示す図である。図１（ａ）に示すカメラ１０１には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。被写体像の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒１０２は、カメラ１０１の固定部１０３に対して移動可能に取り付けられている。具体的には、鏡筒１０２は、固定部１０３に対して回転駆動できる機構であるチルト回転ユニット１０４とパン回転ユニット１０５とを介して固定部１０３に取り付けられている。

【0013】

チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転駆動することができるモーター駆動機構を備え、パン回転ユニット１０５は、鏡筒１０２を図１（ｂ）に示すヨー方向に回転駆動することができるモーター駆動機構を備える。すなわちカメラ１０１は、鏡筒１０２を２軸方向に回転駆動する機構を有する。図１（ｂ）に示す各軸は、固定部１０３の位置に対してそれぞれ定義されている。角速度計１０６及び加速度計１０７は、カメラ１０１の固定部１０３に配置されている。そして、角速度計１０６や加速度計１０７の出力信号に基づいて、カメラ１０１の振動を検出し、チルト回転ユニット１０４とパン回転ユニット１０５を回転駆動することにより、鏡筒１０２の振れを補正したり、傾きを補正したりすることができる。また、角速度計１０６や加速度計１０７は、一定の期間の計測結果に基づいて、カメラの移動検出も行う。

【0014】

図２は本実施形態のカメラ１０１の全体構成を示すブロック図である。図２において、第１制御部２２３は、例えばＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などを備える。そして、不揮発性メモリ（ＥＥＰＲＯＭ）２１６に記憶されたプログラムに従って、各種処理を実行してカメラ１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ２１６は、電気的に消去・記録可能なメモリであり、上記のように第１制御部２２３の動作用の定数、プログラム等が記憶される。

【0015】

図２において、ズームユニット２０１は、変倍（結像された被写体像の拡大・縮小）を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御するとともに、そのときの焦点距離を検出する。フォーカスユニット２０３は、ピント調整（焦点調節）を行うフォーカスレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。撮像部２０６は撮像素子を備え、各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として画像処理部２０７に出力する。なお、ズームユニット２０１、フォーカスユニット２０３、撮像部２０６は、鏡筒１０２内に配置されている。

【0016】

画像処理部２０７はアナログ画像信号をＡ／Ｄ変換して得られたデジタル画像データに対して、歪曲補正、ホワイトバランス調整、色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換され、メモリ２１５に記憶されたり後述する映像出力部２１７に送信される。

【0017】

鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動し、鏡筒１０２をチルト方向とパン方向に回動させる。装置揺れ検出部２０９は、カメラ１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、カメラ１０１の３軸方向の加速度を検出する加速度計（加速度センサ）１０７を備える。そして、それらのセンサにより検出された信号に基づいて、装置の回転角度や装置のシフト量などが算出される。

【0018】

音声入力部２１３は、カメラ１０１に設けられたマイクによりカメラ１０１の周辺の音声信号を取得し、デジタル音声信号に変換して音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７、音声処理部２１４により得られた画像信号及び音声信号を一時的に記憶する。

【0019】

画像処理部２０７及び音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。

【0020】

記録再生部２２０は、記録媒体２２１に対して画像処理部２０７及び音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。

【0021】

記録媒体２２１は、カメラ１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、カメラ１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができる。一般的には、記録媒体２２１には不揮発性メモリ２１６よりも大容量な媒体が使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

【0022】

記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして、第１制御部２２３は、読み出された圧縮画像信号、圧縮音声信号を、画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７に送信する。

【0023】

音声入力部２１３には複数のマイクが配置されており、音声処理部２１４は複数のマイクが設置された平面に対する音の方向を検出することができ、後述する被写体の探索や自動撮影に用いられる。さらに、音声処理部２１４では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データに基づいて機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されており、特定音シーンや特定音声コマンドを検出する。音声処理部２１４が特定音シーンや特定音声コマンドを検出すると、第１制御部２２３や第２制御部２１１に、検出トリガー信号を出力する。

【0024】

カメラ１０１のメインシステム全体を制御する第１制御部２２３とは別に、この第１制御部２２３の供給電源を制御する第２制御部２１１が設けられている。第１電源部２１０と第２電源部２１２は、第１制御部２２３と第２制御部２１１を動作させるための電力をそれぞれ供給する。カメラ１０１に設けられた電源ボタンの押下により、まず第１制御部２２３と第２制御部２１１の両方に電源が供給されるが、後述するように、第１制御部２２３は、第１電源部２１０へ自らの電源供給をＯＦＦする制御も行う。第１制御部２２３が動作していない間も、第２制御部２１１は動作しており、装置揺れ検出部２０９や音声処理部２１４からの情報が入力される。第２制御部２１１は、各種入力情報に基づいて、第１制御部２２３を起動するか否かの判定を行い、起動することが判定されると、第１電源部２１０に第１制御部２２３へ電力を供給するように指示する。

【0025】

音声出力部２１８は、例えば撮影時などにカメラ１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。ＬＥＤ制御部２２４は、例えば撮影時などに、カメラ１０１に設けられたＬＥＤを、予め設定された点灯パターンや点滅パターンに基づいて点灯させる。映像出力部２１７は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を出力する。また、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標：Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。

【0026】

通信部２２２は、カメラ１０１と外部装置との間で通信を行う部分であり、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了のコマンド、パン・チルト、ズーム駆動等の撮影にかかわる制御信号を受信して、外部装置の指示に基づいてカメラ１０１を駆動する。また、カメラ１０１と外部装置との間で、後述する学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ（登録商標）、ＧＰＳ受信機等の無線通信モジュールを備える。

【0027】

環境センサ２２６は、所定の周期でカメラ１０１の周辺の環境の状態を検出する。環境センサ２２６は、カメラ１０１周辺の温度を検出する温度センサ、カメラ１０１周辺の気圧の変化を検出する気圧センサ、カメラ１０１周辺の明るさを検出する照度センサを有する。さらに、カメラ１０１周辺の湿度を検出する湿度センサ、カメラ１０１周辺の紫外線量を検出するＵＶセンサ等も有する。検出した温度情報や気圧情報や明るさ情報や湿度情報やＵＶ情報に加え、検出した各種情報から所定時間間隔での変化率を算出した温度変化量や気圧変化量や明るさ変化量や湿度変化量や紫外線変化量などを後述する自動撮影などの判定に使用する。

【0028】

＜外部装置との通信＞
図３は、カメラ１０１と外部装置３０１との無線通信システムの構成例を示す図である。カメラ１０１は撮影機能を有するデジタルカメラであり、外部装置３０１はＢｌｕｅｔｏｏｔｈ通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。

【0029】

カメラ１０１と外部装置３０１は、例えばＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる第１の通信３０２と、例えばＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ）などの、制御局と従属局などの主従関係を有する第２の通信３０３とによって通信可能である。なお、無線ＬＡＮ及びＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、無線ＬＡＮなどの第１の通信３０２は、ＢＬＥなどの第２の通信３０３より高速な通信が可能であり、また、第２の通信３０３は、第１の通信３０２よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。

【0030】

外部装置３０１の構成を図４を用いて説明する。外部装置３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、及び、ＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆無線制御部４０６を有する。また、外部装置３０１は、パケット送受信部４０３をさらに有する。無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバ処理や無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバ処理やＢＬＥによる通信に関するプロトコル処理を行う。公衆無線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバ処理や公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本実施形態では、外部装置３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。

【0031】

外部装置３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、音声入力音声処理部４０９、電源部４１０をさらに有する。制御部４１１は、例えば、記憶部４０４に記憶された制御プログラムを実行することにより、外部装置３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。

【0032】

電源部４１０は、外部装置３０１に電力を供給する。表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによる外部装置３０１の操作を受け付けるボタン等を含む。なお、表示部４０７及び操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されていてもよい。

【0033】

音声入力音声処理部４０９は、例えば外部装置３０１に内蔵された汎用的なマイクにより、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を識別する構成にしてもよい。また、外部装置３０１内の専用のアプリケーションを用いて、ユーザの発音により音声コマンドを取得し、無線ＬＡＮによる第１の通信３０２を介して、カメラ１０１の音声処理部２１４に認識させるための特定音声コマンドとして登録することもできる。

【0034】

ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）受信部４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、外部装置３０１の現在位置（経度・緯度情報）を推定する。もしくは、ＷＰＳ（Ｗｉ－Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、外部装置３０１の現在位置を推定するようにしてもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（検出位置を中心といて所定半径の範囲以内）に位置している場合や、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御部４０２を介してカメラ１０１へ移動情報を通知する。そして、後述する自動撮影や自動編集のためのパラメータとして使用する。

【0035】

上記のようにカメラ１０１と外部装置３０１は、無線ＬＡＮ制御部４０１、及び、ＢＬＥ制御部４０２を用いた通信により、データのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部装置３０１からカメラ１０１への撮影指示などの送信、音声コマンド登録データの送信、ＧＰＳ位置情報に基づいた所定位置検出通知の送信、場所移動通知の送信等を行う。また、外部装置３０１内の専用のアプリケーションを用いての学習用データの送受信も行う。

【0036】

＜アクセサリ類の構成＞
図５は、カメラ１０１と通信可能である外部装置５０１の構成例を示す図である。カメラ１０１は撮影機能を有するデジタルカメラであり、外部装置５０１は、例えばＢｌｕｅｔｏｏｔｈ通信モジュールなどによりカメラ１０１と通信可能である各種センシング部を含むウエアラブルデバイスである。

【0037】

外部装置５０１は、例えばユーザの腕などに装着できるように構成されており、所定の周期でユーザの脈拍、心拍、血流等の生体情報を検出するセンサやユーザの運動状態を検出できる加速度センサ等が搭載されている。

【0038】

生体情報検出部６０２は、例えば、脈拍を検出する脈拍センサ、心拍を検出する心拍センサ、血流を検出する血流センサ、導電性高分子を用いた皮膚の接触によって電位の変化を検出するセンサを含む。本実施形態では、生体情報検出部６０２として心拍センサを用いて説明する。心拍センサは、例えばＬＥＤ等を用いて皮膚に赤外光を照射し、体組織を透過した赤外光を受光センサで検出して信号処理することによりユーザの心拍を検出する。生体情報検出部６０２は、検出した生体情報を信号として制御部６０７（図６参照）へ出力する。

【0039】

ユーザの運動状態を検出する揺れ検出部６０３は、例えば、加速度センサやジャイロセンサを備えており、加速度の情報に基づきユーザが移動しているか、腕を振り回してアクションをしているかなどのモーションを検出することができる。また、ユーザによる外部装置５０１の操作を受け付ける操作部６０５や、ＬＣＤやＬＥＤのように視覚で認知可能な情報を出力するモニタなどの表示部６０４が搭載されている。

【0040】

図６は、外部装置５０１の構成を示す図である。上述したように、外部装置５０１は、例えば、制御部６０７、通信部６０１、生体情報検出部６０２、揺れ検出部６０３、表示部６０４、操作部６０５、電源部６０６、記憶部６０８を有する。

【0041】

制御部６０７は、例えば、記憶部６０８に記憶された制御プログラムを実行することにより、外部装置５０１全体を制御する。記憶部６０８は、例えば制御部６０７が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶している。後述する各種動作は、例えば記憶部６０８に記憶された制御プログラムを制御部６０７が実行することにより、実現される。

【0042】

電源部６０６は、外部装置５０１に電力を供給する。表示部６０４は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力部、又はスピーカー等の音出力が可能な出力部を有し、各種情報の表示を行う。操作部６０５は、例えばユーザによる外部装置５０１の操作を受け付けるボタン等を備える。なお、表示部６０４及び操作部６０５は、例えばタッチパネルなどの共通する部材によって構成されていてもよい。また、操作部６０５は、例えば外部装置５０１に内蔵された汎用的なマイクによりユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を識別するように構成されていてもよい。

【0043】

生体情報検出部６０２や揺れ検出部６０３により取得され制御部６０７で処理された各種検出情報は、通信部６０１により、カメラ１０１へ送信される。例えば、ユーザの心拍の変化を検出したタイミングで検出情報をカメラ１０１に送信したり、歩行移動／走行移動／立ち止まりなどの移動状態の変化のタイミングで検出情報を送信したりすることができる。また、予め設定された腕ふりのモーションを検出したタイミングで検出情報を送信したり、予め設定された距離の移動を検出したタイミングで検出情報を送信したりすることもできる。

【0044】

＜カメラの動作シーケンス＞
図７は、本実施形態におけるカメラ１０１の第１制御部２２３が受け持つ動作の例を説明するフローチャートである。

【0045】

ユーザがカメラ１０１に設けられた電源ボタンを操作すると、第１電源部２１０から第１制御部２２３及びカメラ１０１の各ブロックに電力が供給される。また、同様に、第２電源部２１２から第２制御部２１１に電力が供給される。第２制御部２１１の動作の詳細については、図８のフローチャートを用いて後述する。

【0046】

電力が供給されると、図７の処理がスタートする。ステップＳ７０１では、起動条件の読み込みが行われる。本実施形態においては、電源が起動される条件には以下の３つの場合がある。
（１）電源ボタンが手動で押下されて電源が起動される
（２）外部装置（例えば外部装置３０１）から外部通信（例えばＢＬＥ通信）により起動指示が送られ、電源が起動される
（３）第２制御部２１１の指示により、電源が起動される
ここで、（３）の第２制御部２１１の指示により電源が起動される場合は、第２制御部２１１内で演算された起動条件が読み込まれることになるが、詳細は図８を用いて後述する。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の１つのパラメータ要素として用いられるが、それについても後述する。起動条件読み込みが終了するとステップＳ７０２に進む。

【0047】

ステップＳ７０２では、各種センサの検出信号の読み込みが行われる。ここで読み込まれるセンサの信号は、１つは、装置揺れ検出部２０９におけるジャイロセンサや加速度センサなどの振動を検出するセンサの信号である。また、チルト回転ユニット１０４やパン回転ユニット１０５の回転位置の信号である。さらには、音声処理部２１４で検出される音声信号、特定音声認識の検出トリガー信号、音方向検出信号、環境センサ２２６で検出される環境情報の検出信号などである。ステップＳ７０２で各種センサの検出信号の読み込みが行われると、ステップＳ７０３に進む。

【0048】

ステップＳ７０３では、外部装置から通信指示が送信されているかを検出し、通信指示があった場合、外部装置との通信を行う。例えば、外部装置３０１からの、無線ＬＡＮやＢＬＥを介したリモート操作、音声信号、画像信号、圧縮音声信号、圧縮画像信号などの送受信、外部装置３０１からの撮影などの操作指示、音声コマンド登録データの送信、ＧＰＳ位置情報に基づいた所定位置検出通知、場所移動通知、学習用データの送受信等の読み込みを行う。また、外部装置５０１から、ユーザの運動情報、腕のアクション情報、心拍などの生体情報の更新がある場合、ＢＬＥを介した情報の読み込みを行う。なお、上述した環境センサ２２６は、カメラ１０１に搭載されていてもよいが、外部装置３０１或いは外部装置５０１に搭載されていてもよい。その場合、ステップＳ７０３では、ＢＬＥを介した環境情報の読み込みも行う。ステップＳ７０３で外部装置からの通信読み込みが行われると、ステップＳ７０４に進む。

【0049】

ステップＳ７０４では、モード設定判定が行われ、ステップＳ７０５に進む。ステップＳ７０５ではステップＳ７０４で動作モードが低消費電力モードに設定されているか否かを判定する。後述する「自動撮影モード」、「自動編集モード」、「画像自動転送モード」、「学習モード」、「ファイル自動削除モード」、の何れのモードでもない場合は、低消費電力モードになるように判定される。ステップＳ７０５で、低消費電力モードであると判定されると、ステップＳ７０６に進む。

【0050】

ステップＳ７０６では、第２制御部２１１（ＳｕｂＣＰＵ）へ、第２制御部２１１内で判定する起動要因に係る各種パラメータ（揺れ検出判定用パラメータ、音検出用パラメータ、時間経過検出パラメータ）を通知する。各種パラメータは後述する学習処理で学習されることによって値が変化する。ステップＳ７０６の処理を終了すると、ステップＳ７０７に進み、第１制御部２２３（ＭａｉｎＣＰＵ）の電源をＯＦＦして、処理を終了する。

【0051】

ステップＳ７０５で、低消費電力モードでないと判定されると、ステップＳ７０４におけるモード設定が自動撮影モードか否かを判定する。ここで、ステップＳ７０４でのモード設定判定の処理について説明する。判定されるモードは、以下の中から選択される。

【0052】

（１）自動撮影モード
＜モード判定条件＞
学習設定された各検出情報（画像、音、時間、振動、場所、身体の変化、環境変化）、自動撮影モードに移行してからの経過時間、過去の撮影情報・撮影枚数などの情報から、自動撮影を行うべきと判定されると、自動撮影モードに設定される。

【0053】

＜モード内処理＞
自動撮影モード処理（ステップＳ７１０）では、各検出情報（画像、音、時間、振動、場所、体の変化、環境変化）に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると自動で撮影が行われる。

【0054】

（２）自動編集モード
＜モード判定条件＞
前回自動編集を行ってからの経過時間、過去の撮影画像情報から、自動編集を行うべきと判定されると、自動編集モードに設定される。

【0055】

＜モード内処理＞
自動編集モード処理（ステップＳ７１２）では、学習に基づいた静止画像や動画像の選抜処理を行い、学習に基づいて、画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。

【0056】

（３）画像転送モード
＜モード判定条件＞
外部装置３０１内の専用のアプリケーションを用いた指示により、画像自動転送モードに設定されている場合、前回画像転送を行ってからの経過時間と過去の撮影画像情報から、自動転送を行うべきと判定されると、自動画像転送モードに設定される。

【0057】

＜モード内処理＞
画像自動転送モード処理（ステップＳ７１４）では、カメラ１０１は、ユーザの好みに合うであろう画像を自動で抽出し、外部装置３０１にユーザの好みと思われる画像を自動で転送する。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアにより行われる。

【0058】

（４）学習モード
＜モード判定条件＞
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に一体となった情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習送モードに設定される。または、外部装置３０１からの通信を介して学習モードが設定されるように指示があった場合もこのモードに設定される。

【0059】

＜モード内処理＞
学習モード処理（ステップＳ７１６）では、外部装置３０１での各操作情報（カメラからの画像取得情報、専用アプリケーションを介して手動編集した情報、カメラ内の画像に対してユーザが入力した判定値情報）、外部装置３０１からの学習情報の通知などに基づいて、ニューラルネットワークを用いて、ユーザの好みに合わせた学習を行う。また、個人認証の登録、音声登録、音シーン登録、一般物体認識登録などの、検出に関する学習や、上述した低消費電力モードの条件などの学習も同時に行われる。

【0060】

（５）ファイル自動削除モード
＜モード判定条件＞
前回ファイル自動削除を行ってからの経過時間と、画像を記録している不揮発性メモリ２１６の残容量とに基づいて、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。

【0061】

＜モード内処理＞
ファイル自動削除モード処理（ステップＳ７１８）では、不揮発性メモリ２１６内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるべきファイルを指定し削除する。

【0062】

以上の各モードにおける処理の詳細については、後述する。

【0063】

図７の説明に戻り、ステップＳ７０５で低消費電力モードでないと判定されると、ステップＳ７０９に進み、モード設定が自動撮影モードであるか否かを判定する。判定の結果、自動撮影モードであればステップＳ７１０に進み、自動撮影モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７０９で、自動撮影モードでないと判定されると、ステップＳ７１１に進む。

【0064】

ステップＳ７１１では、モード設定が自動編集モードであるか否かを判定し、自動編集モードであればステップＳ７１２に進み、自動編集モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１１で、自動編集モードでないと判定されると、ステップＳ７１３に進む。なお、自動編集モードは、本発明の主旨に直接関係しないため、詳細な説明は省略する。

【0065】

ステップＳ７１３では、モード設定が画像自動転送モードであるか否かを判定し、画像自動転送モードであればステップＳ７１４に進み、画像自動転送モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１３で、画像自動転送モードでないと判定されると、ステップＳ７１５に進む。なお、画像自動転送モードは、本発明の主旨に直接関係しないため、詳細な説明は省略する。

【0066】

ステップＳ７１５では、モード設定が学習モードであるか否かを判定し、学習モードであればステップＳ７１６に進み、学習モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１５で、学習モードでないと判定されると、ステップＳ７１７に進む。

【0067】

ステップＳ７１７では、モード設定がファイル自動削除モードであるか否かを判定し、ファイル自動削除モードであればステップＳ７１８に進み、ファイル自動削除モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１７で、ファイル自動削除モードでないと判定されると、ステップＳ７０２に戻り、処理を繰り返す。なお、ファイル自動削除モードは、本発明の主旨に直接関係しないため、詳細な説明は省略する。

【0068】

図８は、本実施形態におけるカメラ１０１の第２制御部２１１が受け持つ動作の例を説明するフローチャートである。

【0069】

ユーザがカメラ１０１に設けられた電源ボタンを操作すると、第１電源部２１０から第１制御部２２３及びカメラ１０１の各ブロックに電力が供給される。また、同様に、第２電源部２１２から第２制御部２１１に電力が供給される。

【0070】

電力が供給されると、第２制御部（ＳｕｂＣＰＵ）２１１が起動され、図８の処理がスタートする。ステップＳ８０１では、所定サンプリング周期が経過したか否かを判定する。所定サンプリング周期は、例えば１０ｍｓｅｃに設定され、１０ｍｓｅｃ周期で、ステップＳ８０２に進む。所定サンプリング周期が経過していないと判定されると、第２制御部２１１はそのまま待機する。

【0071】

ステップＳ８０２では、学習情報の読み込みが行われる。学習情報は、図７のステップＳ７０６での第２制御部２１１へ情報を通信する際に転送された情報であり、例えば以下の情報が含まれる。
（１）特定揺れ検出の判定（後述するステップＳ８０４で用いる）
（２）特定音検出の判定（後述するステップＳ８０５で用いる）
（３）時間経過の判定（後述するステップＳ８０７で用いる）
ステップＳ８０２で学習情報が読み込まれると、ステップＳ８０３に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部２０９におけるジャイロセンサや加速度センサなどの出力値である。

【0072】

ステップＳ８０３で揺れ検出値が取得されると、ステップＳ８０４に進み、予め設定された特定の揺れ状態の検出処理を行う。ここでは、ステップＳ８０２で読み込まれた学習情報によって、判定処理を変更する。いくつかの例について説明する。

【0073】

＜タップ検出＞
ユーザがカメラ１０１を例えば指先などで叩いた状態（タップ状態）を、カメラ１０１に取り付けられた加速度センサ１０７の出力値から検出することが可能である。３軸の加速度センサ１０７の出力を、所定サンプリング周期で、特定の周波数領域に設定したバンドパスフィルタ（ＢＰＦ）に通すことで、タップによる加速度変化の信号領域を抽出することができる。ＢＰＦに通した後の加速度信号が、所定時間ＴｉｍｅＡの間に、所定閾値ＴｈｒｅｓｈＡを超えた回数が、所定回数ＣｏｕｎｔＡであるか否かにより、タップ検出を行う。ダブルタップの場合は、ＣｏｕｎｔＡは２に設定され、トリプルタップの場合は、ＣｏｕｎｔＡは３に設定される。また、ＴｉｍｅＡやＴｈｒｅｓｈＡについても、学習情報によって変化させることができる。

【0074】

＜揺れ状態の検出＞
カメラ１０１の揺れ状態を、カメラ１０１に取り付けられたジャイロセンサ１０６や加速度センサ１０７の出力値から検出することが可能である。ジャイロセンサ１０６や加速度センサ１０７の出力の高周波成分をハイパスフィルタ（ＨＰＦ）でカットし、低周波成分をローパスフィルタ（ＬＰＦ）でカットした後、絶対値変換を行う。算出した絶対値が、所定時間ＴｉｍｅＢの間に、所定閾値ＴｈｒｅｓｈＢを超えた回数が、所定回数ＣｏｕｎｔＢ以上であるか否かにより、振動検出を行う。これにより、例えばカメラ１０１を机などに置いたような揺れが小さい状態か、カメラ１０１をウエアラブルカメラとして体に装着して歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数設けることにより、揺れレベルに応じた細かい揺れ状態を検出することも可能である。ＴｉｍｅＢやＴｈｒｅｓｈＢやＣｏｕｎｔＢについても、学習情報によって変化させることができる。

【0075】

上記では、揺れ検出センサの検出値を判定することにより、特定の揺れ状態を検出する方法について説明した。しかし、所定時間内でサンプリングされた揺れ検出センサのデータから、ニューラルネットワークを用いた揺れ状態判定器に入力することで、学習させたニューラルネットワークにより、事前に登録しておいた特定の揺れ状態を検出することも可能である。その場合、ステップＳ８０２での学習情報読み込みはニューラルネットワークの重みパラメータとなる。

【0076】

ステップＳ８０４で特定の揺れ状態の検出処理が行われると、ステップＳ８０５に進み、予め設定された特定の音の検出処理を行う。ここでは、ステップＳ８０２で読み込まれた学習情報によって、検出判定処理を変更する。いくつかの例について説明する。

【0077】

＜特定音声コマンド検出＞
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる。

【0078】

＜特定音シーン認識＞
予め大量の音声データに基づいて、機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。検出するシーンは学習によって変化する。

【0079】

＜音レベル判定＞
音声レベルの大きさが所定時間の間、所定の大きさを超えているかを判定することよって、音レベルの検出を行う。所定時間や所定の大きさなどが学習によって変化する。

【0080】

＜音方向判定＞
平面上に配置された複数のマイクにより、所定の大きさの音について、音の方向を検出する。

【0081】

音声処理部２１４内で上記の判定処理が行われ、事前に学習された各設定により、特定の音の検出がされたかをステップＳ８０５で判定する。

【0082】

ステップＳ８０５で特定の音の検出処理が行われると、ステップＳ８０６に進み、第１制御部２２３の電源がＯＦＦ状態であるか否かを判定する。第１制御部２２３（ＭａｉｎＣＰＵ）がＯＦＦ状態であれば、ステップＳ８０７に進み、予め設定された時間の経過検出処理を行う。ここでは、ステップＳ８０２で読み込まれた学習情報によって、検出判定処理を変更する。学習情報は、図７で説明したステップＳ７０６での第２制御部２１１へ情報を通信する際に転送された情報である。第１制御部２２３がＯＮからＯＦＦへ遷移したときからの経過時間が計測され、経過時間が所定の時間ＴｉｍｅＣ以上であれば、時間が経過したと判定し、ＴｉｍｅＣより短かければ、時間が経過していないと判定される。ＴｉｍｅＣは、学習情報によって変化するパラメータである。

【0083】

ステップＳ８０７で時間経過検出処理が行われると、ステップＳ８０８に進み、低消費電力モードを解除する条件が成立したか否かを判定する。低消費電力モード解除は以下の条件によって判定される。
（１）特定の揺れが検出されたこと
（２）特定の音が検出されたこと
（３）所定の時間が経過したこと
（１）については、ステップＳ８０４での特定揺れ状態検出処理により、特定の揺れが検出されたか否かが判定されている。（２）については、ステップＳ８０５での特定音検出処理により、特定の音が検出されたか否かが判定されている。（３）については、ステップＳ８０７での時間経過検出処理により、所定の時間が経過したか否かが判定されている。（１）～（３）の少なくとも１つが成立すれば、低消費電力モード解除を行うように判定される。

【0084】

ステップＳ８０８で低消費電力モードの解除が判定されると、ステップＳ８０９に進み第１制御部２２３の電源をＯＮし、ステップＳ８１０で、低消費電力モードの解除が判定された条件（揺れ、音、時間のいずれか）を第１制御部２２３に通知する。そして、ステップＳ８０１に戻り処理をループする。ステップＳ８０８で何れの解除条件にも当てはまらず、低消費電力モード解除の条件ではないと判定されると、ステップＳ８０１に戻り処理をループする。

【0085】

一方、ステップＳ８０６で、第１制御部２２３がＯＮ状態であると判定された場合、ステップＳ８１１に進み、ステップＳ８０３～Ｓ８０５までで取得した情報を第１制御部２２３に通知し、ステップＳ８０１に戻り処理をループする。

【0086】

本実施形態においては、第１制御部２２３がＯＮ状態である場合でも、揺れ検出や特定音の検出を第２制御部２１１で行い、検出結果を第１制御部２２３に通知する構成にしている。しかし、第１制御部２２３がＯＮの場合は、ステップＳ８０３～Ｓ８０５の処理を行わず、第１制御部２２３内の処理（図７のステップＳ７０２）で揺れ検出や特定音の検出を行う構成にしてもよい。

【0087】

上述したように、図７のステップＳ７０４～Ｓ７０７や、図８の処理を行うことにより、低消費電力モードに移行する条件や低消費電力モードを解除する条件が、ユーザの操作に基づいて学習される。そして、カメラ１０１を所有するユーザの使い勝手に合わせたカメラ動作を行うことが可能となる。学習の方法については後述する。

【0088】

なお、上記において、揺れ検出や音検出や時間経過により低消費電力モードを解除する方法について詳しく説明したが、環境情報により低消費電力モードの解除を行ってもよい。環境情報は、温度、気圧、明るさ、湿度、紫外線量の絶対量や変化量が所定閾値を超えたか否かにより判定することができ、後述する学習により閾値を変化させることもできる。

【0089】

また、揺れ検出や音検出や時間経過の検出情報や、各環境情報の絶対値や変化量をニューラルネットワークに基づいて判断し、低消費電力モードを解除する判定をしてもよい。この判定処理は、後述する学習によって、判定条件を変更することができる。

【0090】

＜自動撮影モード処理＞
図９を用いて、自動撮影モード処理について説明する。まず、ステップＳ９０１において、撮像部２０６により取り込まれた信号に対して、画像処理部２０７で画像処理を行い、被写体検出用の画像を生成する。生成された画像に対して、人物や物体などを検出する被写体検出処理が行われる。

【0091】

人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内においてそのパターンに一致する箇所を、人物の顔領域として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出する。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致程度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。

【0092】

また、撮像された画像内の色相や彩度等のヒストグラムを用いて特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けされ、同一の区間の組み合わせに属する領域において撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法で、撮像情報から各被写体情報を得ることができる。

【0093】

ステップＳ９０２では、像ブレ補正量の算出を行う。具体的には、まず、装置揺れ検出部２０９において取得した角速度および加速度情報に基づいてカメラの揺れの絶対角度を算出する。そして、その絶対角度を打ち消す角度方向にチルト回転ユニット１０４およびパン回転ユニット１０５を動かして像ブレを補正する角度を求め、像ブレ補正量とする。なお、ここでの像ブレ補正量算出処理は、後述する学習処理によって、算出方法を変更することが出来る。

【0094】

ステップＳ９０３では、カメラの状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報などで検出したカメラ角度やカメラ移動量などにより、現在カメラがどのような振動／動き状態なのかを判定する。例えば、車にカメラ１０１を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用する。また、カメラの角度の変化が大きいか否かを判定し、カメラ１０１の揺れがほとんどない「置き撮り状態」であるのかを判定する。「置き撮り状態」である場合は、カメラ１０１自体の位置変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。また、比較的カメラの角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。

【0095】

ステップＳ９０４では、被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
（１）エリア分割
（２）エリア毎の重要度レベルの算出
（３）探索対象エリアの決定
以下、各処理について順次説明する。

【0096】

（１）エリア分割
図１０Ａを用いて、エリア分割について説明する。図１０Ａ（ａ）のようにカメラ（原点Ｏがカメラ位置とする）位置を中心として、全周囲でエリア分割を行う。図１０Ａ（ａ）の例においては、チルト方向、パン方向をそれぞれ２２．５度ごとに分割している。図１０Ａ（ａ）のように分割すると、チルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図１０Ａ（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲を２２．５度よりも大きく設定している。

【0097】

図１０Ａ（ｃ）、１０Ａ（ｄ）に撮影画角内でのエリア分割された領域の例を示す。軸１３０１は初期化時のカメラ１０１の向きであり、この方向を基準位置としてエリア分割が行われる。１３０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図１０Ａ（ｄ）に示す。撮像されている画角の画像内では、エリア分割に基づいて、図１０Ａ（ｄ）で符号１３０３～１３１８で示されるように画像が分割される。

【0098】

（２）エリア毎の重要度レベルの算出
上記のように分割した各エリアについて、エリア内に存在する被写体の状況やシーンの状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果等に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等に基づいて算出される。

【0099】

また、図９のカメラ状態判定（ステップＳ９０３）で、カメラの振動が検出されている場合、振動状態に応じても重要度レベルが変化するようにすることもできる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体（例えばカメラの所有者）を中心に被写体探索が行われるように判定される。また、後述する自動撮影も例えばカメラの所有者の顔を優先して行われる。これにより、カメラの所有者がカメラを身に着けて持ち歩き撮影を行っている時間が多くても、カメラを取り外して机の上などに置くことで、所有者が写った画像も多く残すことができる。このときパン・チルトにより顔の探索が可能であることから、カメラの置き角度などを考えなくても、適当に設置するだけで所有者が写った画像やたくさんの顔が写った集合写真などを残すことができる。

【0100】

なお、上記の条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するステップＳ９１０において撮影を行ったエリアでは、所定時間の間重要度レベルを下げてもよい。

【0101】

（３）探索対象エリアの決定
上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。

【0102】

図９の説明に戻って、ステップＳ９０５では、パン・チルト駆動を行う。具体的には、制御サンプリング周波数での、像ブレ補正量と、パン・チルト探索目標角度に基づいた駆動角度とを加算することにより、パン・チルト駆動量を算出する。そして、鏡筒回転駆動部２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。

【0103】

ステップＳ９０６ではズームユニット２０１を制御し、ズーム駆動を行う。具体的には、ステップＳ９０４で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔である場合、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出が出来ず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体やカメラ自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことが出来る。

【0104】

ステップＳ９０７では、手動による撮影指示があったか否かを判定し、手動撮影指示があった場合、ステップＳ９１０に進む。この時、手動による撮影指示は、シャッターボタン押下によるもの、カメラ筺体を指等で軽く叩くこと（タップ）によるもの、音声コマンド入力によるもの、外部装置からの指示によるものなどのいずれでもよい。タップ操作をトリガーとする撮影指示は、ユーザがカメラ筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知することにより判定される。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理部２１４で音声を認識し、撮影のトリガーとする撮影指示方法である。外部装置からの指示は、例えばカメラとＢｌｕｅＴｏｏｔｈ接続したスマートフォン等から、専用のアプリケーションを用いて送信されたシャッター指示信号をトリガーとする撮影指示方法である。

【0105】

ステップＳ９０７で手動による撮影指示がなかった場合には、ステップＳ９０８に進み、自動撮影判定を行う。自動撮影判定では、自動撮影を行うか否かの判定と、撮影方法の判定（静止画撮影、動画撮影、連写、パノラマ撮影などの内どれを実行するかの判定）を行う。

【0106】

＜自動撮影を行うか否かの判定＞
自動撮影（撮像部によって出力された画像データを記録する撮影動作）を行うか否かの判定は以下のように行われる。具体的には、以下の２つの場合に、自動撮影を実行すると判定する。１つは、ステップＳ９０４において得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施すると判定する。２つめは、ニューラルネットワークに基づく判定であるが、これについては後述する。なお、ここでいう記録は、メモリ２１５への画像データの記録でもよいし、不揮発性メモリ２１６への画像データの記録でもよい。また、外部装置３０１に画像を自動で転送し、外部装置３０１側に画像データを記録するものも含む。

【0107】

本実施形態では、上記のように、重要度レベルのような自動撮影判定パラメータにより撮影を自動的に行うように制御する。所定条件を満たした場合に自動撮影を行う撮像装置では、以下の問題が発生する。

【0108】

１つは、自動撮影の頻度が高い場合である。決められた時間内でまんべんなく撮影したい場合でも、所定条件を満たせば撮影が行われてしまうため、前半の時間帯に撮影頻度が非常に高くなってしまって、 後半の時間帯には、バッテリー残量/カード残量が不足して、撮影できなくなってしまうことが起こり得る。

【0109】

また、もう１つは、自動撮影の頻度が低い場合である。業者などが、予め決まった枚数を撮影したい場合でも、自動撮影の所定条件がなかなか満たされず、撮影枚数が不足してしまうことが起こり得る。

【0110】

そこで、撮影頻度をコントロールするために、その場の状況やカメラの状況によっては、自動撮影の判定パラメータを変更したほうがよい場合がある。

【0111】

例えば時間が限られた結婚式等のイベントでは、以下のような自動撮影制御が好まれる傾向にある。
（１）人やモノも含めて多めの枚数の画像を撮影したい
（２）短時間の撮影なのでバッテリーの残量、記録メディアの残量を気にせず撮影を行いたい
（３）パン、チルトを積極的に行い、被写体を探索したい
一方、このような限られた時間の撮影に対して、一日中の出来事を記録したい場合は、以下のような自動撮影制御が好まれる傾向にある。
（１）長時間の撮影なのである程度被写体は選別したい
（２）バッテリーの残量、記録メディアの残量を考慮し、省エネで撮影を行いたい
（３）パン、チルト制御は通常制御よりバッテリーを消費してしまうので制限したい
上述の制御例として図１０Ｂ（ａ）を用いて説明する。まず、ユーザの指示（例えば外部装置３０１や音声入力）により撮影時間Ｔ（総撮影時間）などの撮影条件（例えば結婚式：２時間）の入力を行う。この入力情報とバッテリー（第１電源部２１０など）の残量、記録メディア（記録媒体２２１など）の残量に基づいて目標撮影枚数Ｓを決定する。

【0112】

一定の時間間隔で監視を行い、監視結果に基づいて自動撮影の判定閾値、カメラ制御パラメータを随時更新していく。なお、自動撮影の判定閾値、カメラ制御パラメータの初期値は、それまでの学習結果あるいはニューラルネットワークを用いた判定により決定される。

【0113】

図１０Ｂ（ａ）に示す例では、図中破線で示す領域Ｒ内に撮影枚数が入るようにパラメータを更新していく。図１０Ｂ（ａ）では、横軸に経過時間、縦軸に累積の撮影枚数を示している。撮影枚数が領域Ｒ内に入るように制御するのは、時間の経過とともに累積の撮影枚数が概略リニア（直線的）に増加するように撮影を行えば、撮影時間全体にわたって、ほぼ万遍なく撮影を行うことができると考えられるからである。

【0114】

図１０Ｂ（ａ）の例では、監視時刻Ａでは撮影枚数が不足していると判断し、自動撮影の判定閾値を下げ、パン、チルト可動範囲を拡げて積極的に主被写体を探索し、自動撮影頻度を上げていく。一方、監視時刻Ｂでは撮影枚数が多いと判断し、自動撮影の判定閾値を上げ、パン、チルト可動範囲を狭めて撮影頻度を下げていく。監視時刻Ｃでは適切な撮影枚数が得られていると判断して、自動撮影の判定閾値、パン、チルトの可動範囲の制御パラメータを維持していく。このように一定間隔で、一定期間ごとの撮影枚数の監視を行い、所定期間である撮影時間Ｔにおける目標枚数Ｓに向かって撮影頻度を随時制御していく。

【0115】

例えば、カメラ１０１を制御するＣＰＵは、画像情報を基に被写体の顔を検出する検出部や、顔の表情を認識して表情が特定の状態（例えば、喜び、悲しみ、怒り、驚きの状態の特徴値が閾値を超えた場合）になっているかを判定する判定部、更には該判定部の判定結果に応じて被写体記録動作（自動撮影）を行う制御部を有する。この場合において、自動撮影の判定閾値を撮影頻度に応じて調整する。この調整により、判定部により判定された被写体の顔の表情が同じであっても、撮影頻度が第１の頻度だった場合には撮影動作を実施し、撮影頻度が第２の頻度の場合には撮影動作を実施しないように制御することになる。これにより、所望の撮影枚数を得るとともに記録メモリ不足の低減が図れる。

【0116】

また、例えば、カメラ１０１を制御するＣＰＵは、画像情報を基に被写体の顔を検出する検出部や、顔の向きを認識して、顔が特定の方向、特に正面を向いた状態になっているかを判定する判定部、更には該判定部の判定結果に応じて自動撮影を行う制御部を有する。この場合において、自動撮影の判定閾値（正面を向いた状態になっているか否かの判定をする閾値）を撮影頻度に応じて調整する。この調整により、判定部により判定された被写体の顔の向きが同じであっても、撮影頻度が第１の頻度だった場合には撮影動作を実施し、撮影頻度が第２の頻度の場合には撮影動作を実施しないように制御することになる。これにより、所望の撮影枚数を得るとともに記録メモリ不足の低減が図れる。

【0117】

その他にも、被写体の目の状態を認識し、目が所定の状態、特に目をしっかり開けて、カメラに目線が向いている状態になったときに自動撮影を行う場合も同様である。また、被写体の姿勢を認識し、被写体が所定の姿勢になったときに自動撮影を行う場合も同様である。また、被写体の動作を認識し、被写体が所定の動作を行ったときに自動撮影を行う場合も同様である。

【0118】

このように、被写体の状態を認識して、被写体の状態が特定の状態になっているかを判定し、判定結果に応じて自動撮影を行う場合に、撮影頻度が第１の頻度だった場合には撮影動作を実施し、撮影頻度が第２の頻度の場合には撮影動作を実施しないように制御する。これにより、撮影時間Ｔにおいて、所望の撮影枚数を得るとともに、撮影時間の途中での記録メモリ不足の低減が図れる。

【0119】

他の制御例として、図１０Ｂ（ｂ）に示す例について説明する。図１０Ｂ（ａ）の制御例と同様に、まずユーザの指示により撮影時間Ｔの入力を行い、目標枚数Ｓが決定される。一定の時間間隔で監視を行いその結果を保持する。ここで保持する内容は監視期間内に自動撮影の判定に用いられた、ユーザにとって撮影する価値がある画像かを示す評価値を保持する。図１０Ｂ（ｂ）では、閾値Ｔｈ以上の評価値の画像（１枚のみ）が自動撮影された結果となっている。そのため、時刻Ｔ１では撮影枚数が足りないと判断し、評価値の判定閾値を下げる制御を行う。一方、時刻Ｔ２では評価値の閾値を下げた結果、５枚の画像が自動撮影されて目標枚数に対して撮影枚数が過多と判断され、評価値の判定閾値を上げて撮影頻度を下げた結果となっている。このように過去の自動撮影の判定で用いた評価値を監視していき、適切な撮影枚数を得られるように随時判定閾値を更新していく。これにより、短時間内の過多な撮影処理が抑制される。また、撮影時間Ｔにおいて、所望の撮影枚数を得るとともに、撮影時間の途中での記録メモリ不足の低減が図れる。

【0120】

また、別の制御例として、画像の評価値が閾値を超えた場合だけ撮像した画像データを保存する構成について説明する。自動撮影中、一定間隔（例えば、時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４）で撮影枚数の監視を行い、目標枚数に向かって、画像の評価値の閾値を変更する。例えば、時刻Ｔ１の時点で、撮影枚数が不足している場合は、画像の評価値の閾値を下げて、保存しやすくする。また、例えば、時刻Ｔ２の時点で、撮影枚数が方と判断された場合は、画像の評価値の閾値を上げて、保存されにくくする。これにより、撮影時間Ｔにおいて、所望の撮影枚数を得るとともに、撮影時間の途中での記録メモリ不足の低減が図れる。

【0121】

このように撮影状況に応じて撮影頻度をコントロールする（変更する）ことにより、適切な撮影枚数が得られる自動撮影を行うことができる。これにより、自動撮影を行う撮像装置において、ユーザが撮影したい映像の撮り逃しを極力抑制できる。

【0122】

なお、上述では、撮影状況に応じて撮影頻度を変更するように制御したが、合わせて、カメラ１０１と外部装置との間の通信の性能も考慮して、撮影頻度を変更するように制御してもよい。

【0123】

次に、２つめの判定である、ニューラルネットワークに基づく判定について説明する。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図１１に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。図１１の１２０１およびその縦に並ぶ丸は入力層のニューロンを示し、１２０３およびその縦に並ぶ丸は中間層のニューロンを示し、１２０４は出力層のニューロンを示す。１２０２で示すような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンやカメラの状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴としては、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度、目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か、振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用する。更に、外部装置５０１からの情報通知がある場合、通知情報（ユーザの運動情報、腕のアクション情報、心拍などの生体情報など）も特徴として使用する。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。

【0124】

なお、このニューラルネットワークに基づく判断は、後述する学習処理で各ニューロン間の結合重みを変化させることによって、出力値を変化させることができ、判断の結果を学習結果に適応させることが出来る。

【0125】

また、図７のステップＳ７０２で読み込んだ第１制御部２２３の起動条件によって、自動撮影の判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合は、ユーザが現在撮影してほしいための操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定される。

【0126】

＜撮影方法の判定＞
撮影方法の判定では、ステップＳ９０１～Ｓ９０４において検出した、カメラの状態や周辺の被写体の状態に基づいて、静止画撮影、動画撮影、連写撮影、パノラマ撮影などの内どれを実行するかを判定する。例えば、被写体（人物）が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写撮影を実行する。また、被写体がカメラを取り囲むように複数存在している場合や、前述したＧＰＳ情報に基づいて景勝地であるということが判断出来ている場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。なお、＜自動撮影を行うか否かの判定＞での判定方法と同様に、撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、撮影方法を決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。

【0127】

図９の説明に戻って、ステップＳ９０９では、ステップＳ９０８の自動撮影判定により自動撮影する判定が下された場合、ステップＳ９１０に進み、自動撮影する判定が下されなかった場合、自動撮影モード処理を終了する。

【0128】

ステップＳ９１０では、自動撮影を開始する。この時、ステップＳ９０８において判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理が行われ、画像が生成される。

【0129】

なお、この撮影の際に、所定の条件を満たした場合、カメラが撮影対象となる人物に対し撮影を行う旨を報知した上で撮影するようにしてもよい。報知の方法として、例えば、音声出力部２１８からの発音やＬＥＤ制御部２２４によるＬＥＤ点灯等を使用してもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度、目瞑り度、被写体人物の視線角度や顔角度、顔認証ＩＤ番号、個人認証登録されている人物の数、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否か、振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等である。これらの条件に基づいて報知撮影を行うことによって、重要性が高いシーンにおいて好ましいカメラ目線の画像を残すことが出来る。

【0130】

このような撮影前の報知についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、報知の方法やタイミングを決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。

【0131】

ステップＳ９１１では、ステップＳ９１０において生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果処理、ボケ効果処理、色変換フィルタ効果処理などである。画像加工では、ステップＳ９１０において生成した画像に基づいて、上記の処理の組み合わせによって複数の加工画像を生成し、ステップＳ９１０において生成した画像とは別に保存するようにしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。ステップＳ９１１での編集についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、画像加工の方法を決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。

【0132】

ステップＳ９１２では、撮影画像の学習情報生成処理を行う。ここでは、後述する学習処理に使用する情報を生成し、記録する。具体的には、今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数、顔の笑顔度、目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否か、振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）、動画撮影時間、手動撮影指示によるものか否か、等である。更にユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアも演算する。これらの情報を生成し、撮影画像ファイルへタグ情報として記録する。あるいは、不揮発性メモリ２１６へ書き込むか、記録媒体２２１内に、所謂カタログデータとして各々の撮影画像の情報をリスト化した形式で保存するようにしてもよい。

【0133】

ステップＳ９１３では過去の撮影情報の更新を行う。具体的には、ステップＳ９０８で説明したエリア毎の撮影枚数、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。

【0134】

＜学習処理＞
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。本実施形態では、図１１に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理部２１９においてユーザの好みに合わせた学習を行う。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や自動編集、被写体探索に対して、ユーザの好みに合わせた学習を行う。また、ニューラルネットワークに入力する特徴データともなる被写体情報（顔認証や一般物体認識などの結果）の登録や、撮影報知制御や低消費電力モード制御やファイル自動削除を学習により変更する動作も行う。

【0135】

本実施形態において、学習処理が適用される動作は、以下の動作である。
（１）自動撮影
（２）自動編集
（３）被写体探索
（４）被写体登録
（５）撮影報知制御
（６）低消費電力モード制御
（７）ファイル自動削除
（８）像ブレ補正
（９）画像自動転送
なお、上記の学習処理が適用される動作のうち、自動編集、ファイル自動削除、画像自動転送については、本発明の主旨と直接関係しないので、説明を省略する。

【0136】

＜自動撮影＞
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図９のフローチャートを用いて説明したように、撮影後（ステップＳ９１０の後）に学習用情報生成処理（ステップＳ９１２）が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報に基づいて、ニューラルネットワークの重みを変化させることにより学習を行わせる。

【0137】

学習は、自動撮影タイミングの判定を行うニューラルネットワークの変更と、撮影方法（静止画撮影、動画撮影、連写、パノラマ撮影など）の判定を行うニューラルネットワークの変更により行われる。

【0138】

＜被写体探索＞
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動的に行うための学習を行う。図９のフローチャートを用いて説明したように、被写体探索処理（ステップＳ９０４）において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行う。学習は撮影画像や探索中の検出情報に基づいて行われ、ニューラルネットワークの重みを変化させることで学習結果として反映される。探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの判定を行うことにより、学習を反映した被写体探索を行う。また、重要度レベルの算出以外にも、例えば、パン・チルト探索方法（速度、動かす頻度）の制御も行う。

【0139】

＜被写体登録＞
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動的に行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。人と物体に対する認証登録を行い、画像の取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク付けの設定を行う。登録された情報は、各ニューラルネットワークを用いた判定のための入力として登録されることになる。

【0140】

＜撮影報知制御＞
撮影報知に対する学習について説明する。図９のステップＳ９１０で説明したように、撮影直前に、所定の条件を満たしたとき、カメラが撮影対象となる人物に対して撮影を行う旨を報知した上で撮影することを行う。例えば、パン・チルトを駆動することにより視覚的に被写体の視線を誘導したり、音声出力部２１８から発するスピーカー音や、ＬＥＤ制御部２２４によるＬＥＤ点灯光を使用して被写体の注意を誘導したりする。上記の報知の直後に、被写体の検出情報（例えば、笑顔度、目線検出、ジェスチャー）が得られたか否かに基づいて、検出情報を学習に使用するかを判定し、ニューラルネットワークの重みを変化させることで学習する。

【0141】

撮影直前の各検出情報をニューラルネットワークに入力し、報知を行うか否かの判定や、各動作（音（音レベル／音の種類／タイミング）、光（点灯時間、スピード）、カメラの向き（パン・チルトモーション））の判定を行う。

【0142】

＜低消費電力モード制御＞
図７、図８を用いて、説明したようにＭａｉｎＣＰＵ（第１制御部２２３）への電源供給をＯＮ／ＯＦＦする制御を行うが、低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習も行う。低消費電力モードを解除する条件の学習について説明する。

【0143】

＜音検出＞
ユーザが特定音声や検出したい特定音シーンや特定音レベルを、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。また、複数の検出方法を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させ、画像に含まれる前後音情報を学習し、起動要因とする音判定（特定音コマンドや、「歓声」、「拍手」などの音シーン）を設定することで学習することもできる。

【0144】

＜環境情報検出＞
ユーザが起動条件としたい環境情報変化を、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。例えば、温度、気圧、明るさ、湿度、紫外線量の絶対量や変化量等の特定条件によって起動させることができる。各環境情報に基づく判定閾値を学習することもできる。環境情報による起動後のカメラ検出情報から、起動要因ではなかったと判定されると、各判定閾値のパラメータを環境変化を検出し難いように設定する。

【0145】

また、上記の各パラメータは、電池の残容量によっても変化する。例えば、電池残量が少ないときは各種判定に入り難くなり、電池残量が多いときは各種判定に入り易くなる。具体的には、ユーザが必ずカメラを起動してほしい要因ではない揺れ状態検出結果や、音シーン検出結果でも、電池残量が多い場合には、カメラを起動すると判定されてしまう場合もある。

【0146】

また、低消費電力モード解除条件の判定は、揺れ検出、音検出、時間経過検出の情報、各環境情報、電池残量等からニューラルネットワークに基づいて行うこともできる。その場合、後述する方法により学習させる画像を選択させ、画像に含まれる学習情報に基づいて、ニューラルネットワークの重みを変化させることにより学習する。

【0147】

次に、低消費電力状態への遷移条件の学習について説明する。図７に示したとおり、ステップＳ７０４のモード設定判定において、「自動撮影モード」「自動編集モード」「画像自動転送モード」「学習モード」「ファイル自動削除モード」の何れでもないと判定されると、低消費電力モードに入る。各モードの判定条件については、上述したとおりであるが、各モードが判定される条件についても学習によって変化する。

【0148】

＜自動撮影モード＞
上述したとおり、エリア毎の重要度レベルを判定し、パン・チルトで被写体探索をしながら自動撮影を行うが、撮影される被写体が存在しないと判定されると、自動撮影モードが解除される。例えば、すべのエリアの重要度レベルや、各エリアの重要度レベルを加算した値が、所定閾値以下になったとき、自動撮影モードを解除する。このとき、自動撮影モードに遷移してからの経過時間によって所定閾値を下げていくことも行われる。自動撮影モードに遷移してからの経過時間が長くなるにつれて低消費電力モードへ移行し易くしている。

【0149】

また、電池の残容量によって所定閾値を変化させることにより、電池もちを考慮した低消費電力モード制御を行うことができる。例えば、電池残量が少ないときは閾値を大きくして低消費電力モードに移行しやすくし、電池残量が多いときは閾値を小さくして低消費電力モードに移行し難くする。ここで、前回自動撮影モードに遷移してからの経過時間と撮影枚数によって、第２制御部２１１（ＳｕｂＣＰＵ）に対して、次回の低消費電力モード解除条件のパラメータ（経過時間閾値ＴｉｍｅＣ）を設定する。上記の各閾値は学習によって変化する。学習は、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で撮影頻度や起動頻度などを設定することで行われる。

【0150】

また、カメラ１０１の電源ボタンをＯＮしてから、電源ボタンをＯＦＦするまでの経過時間の平均値や時間帯ごとの分布データを蓄積し、各パラメータを学習する構成にしてもよい。その場合、電源ＯＮからＯＦＦまでの時間が短いユーザに対しては低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、電源ＯＮからＯＦＦまでの時間が長いユーザに対しては間隔が長くなるように学習される。

【0151】

また、探索中の検出情報によっても学習される。学習によって設定された重要となる被写体が多いと判断されている間は、低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、重要となる被写体が少ない間は、間隔が長くなるように学習される。

【0152】

＜像ブレ補正＞
像ブレ補正に対する学習について説明する。像ブレ補正は、図９のステップＳ９０２で補正量を算出し、補正量に基づいてステップＳ９０５でパン・チルトを駆動することにより行われる。像ブレ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習を行う。撮影画像に対して、例えば、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いることにより、ブレの方向及び大きさを推定することが可能である。図９のステップＳ９１２の学習用情報生成では、推定したブレの方向と大きさが、情報として画像に付加される。

【0153】

図７のステップＳ７１６での学習モード処理内で、推定したブレの方向と大きさを出力として、撮影時の各検出情報（撮影前所定時間における画像の動きベクトル情報、検出した被写体（人や物体）の動き情報、振動情報（ジャイロ出力、加速度出力、カメラ状態）を入力として、像ブレ補正用のニューラルネットワークの重みを学習させる。他にも、環境情報（温度、気圧、照度、湿度）、音情報（音シーン判定、特定音声検出、音レベル変化）、時間情報（起動からの経過時間、前回撮影時からの経過時間）、場所情報（ＧＰＳ位置情報、位置移動変化量）なども入力に加えて判定してもよい。

【0154】

ステップＳ９０２での像ブレ補正量の算出時において、上記各検出情報をニューラルネットワークに入力することにより、その瞬間撮影したときのブレの大きさを推定することができる。そして、推定したブレの大きさが大きいときは、シャッター速度を速くするなどの制御が可能となる。また、推定したブレの大きさが大きいときはブレ画像になってしまうので撮影を禁止するなどの方法もとることができる。

【0155】

また、パン・チルト駆動角度には制限があるため、駆動端に到達してしまうとそれ以上補正を行うことができないが、撮影時のブレの大きさと方向を推定することにより、露光中の像ブレを補正するためのパン・チルト駆動に必要な範囲を推定することができる。露光中の可動範囲の余裕がない場合は、像ブレ補正量を算出するフィルタのカットオフ周波数を大きくして、可動範囲を超えないように設定することにより、大きなブレを抑制することもできる。また、可動範囲を超えそうな場合は、露光直前にパン・チルトの角度を可動範囲を超えそうな方向とは逆の方向に回転してから露光開始することにより、可動範囲を確保してブレのない撮影を行うこともできる。これにより、ユーザの撮影時の特徴や使い方に合わせて像ブレ補正を学習することができるので、撮影画像がブレてしまうことを防止できる。

【0156】

また、上述した＜撮影方法の判定＞において、動いている被写体はブレがなく、動いていない背景が流れる撮影を行う、流し撮り撮影を行うか否かを判定してもよい。その場合、撮影前までの検出情報から、被写体をブレなく撮影するためのパン・チルト駆動速度を推定して、被写体ブレ補正を行ってもよい。この時、上記各検出情報を既に学習させているニューラルネットワークに入力することにより、駆動速度を推定することができる。学習は、画像を各ブロックに分割して、各ブロックのＰＳＦを推定することにより、主被写体が位置するブロックでのブレの方向及び大きさを推定し、その情報に基づいて行われる。

【0157】

また、ユーザが選択した画像の情報から、背景流し量を学習することもできる。その場合、主被写体が位置しないブロックでのブレの大きさを推定し、その情報に基づいてユーザの好みを学習することができる。学習した好みの背景流し量に基づいて、撮影時のシャッター速度を設定することにより、ユーザの好みにあった流し撮り効果が得られる撮影を自動で行うことができる。

【0158】

次に、学習方法について説明する。学習方法としては、「カメラ内の学習」と「通信機器との連携による学習」がある。

【0159】

カメラ内学習の方法について、以下説明する。本実施形態におけるカメラ内学習には、以下の方法がある。
（１）手動撮影時の検出情報による学習
（２）被写体探索時の検出情報による学習
＜手動撮影時の検出情報による学習＞
図９のステップＳ９０７～ステップＳ９１３で説明したとおり、本実施形態においては、カメラ１０１は、手動撮影と自動撮影の２つの撮影を行うことができる。ステップＳ９０７で手動撮影指示があった場合には、ステップＳ９１２において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、ステップＳ９０９において自動撮影ＯＮと判定されて撮影された場合においては、ステップＳ９１２において、撮影画像は自動で撮影された画像であると情報が付加される。

【0160】

ここで、手動撮影される場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔に基づいて撮影された可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習情報を基にした学習が行われるようにする。また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習を行う。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、近くの人や物体の重要度を変更するような学習を行う。

【0161】

＜被写体探索時の検出情報による学習＞
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を算出しておく。例えば、個人認証登録被写体の人物Ａが、個人認証登録被写体の人物Ｂと同時に写っている時間比率を計算する。そして、人物Ａと人物Ｂが画角内に入る場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理（ステップＳ７１６）で学習する。

【0162】

他の例では、個人認証登録被写体の人物Ａが、一般物体認識により判定された被写体「猫」と同時に写っている時間比率を計算する。そして、人物Ａと「猫」が画角内に入る場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理（ステップＳ７１６）で学習する。

【0163】

また、個人認証登録被写体の人物Ａの高い笑顔度を検出した場合や、「喜び」「驚き」などの表情が検出された場合に、同時に写っている被写体は重要であると学習される。あるいは、「怒り」「真顔」などの表情が検出された場合に、同時に写っている被写体は重要である可能性が低いので学習することはしないなどの処理が行われる。

【0164】

次に、本実施形態における外部装置との連携による学習について説明する。本実施形態における外部装置との連携による学習には、以下の方法がある。
（１）外部装置で画像を取得したことによる学習
（２）外部装置を介して画像に判定値を入力することによる学習
（３）外部装置内の保存されている画像を解析することによる学習
（４）外部装置でＳＮＳのサーバにアップロードされた情報からの学習
（５）外部装置でカメラパラメータを変更することによる学習
（６）外部装置で画像が手動編集された情報からの学習
＜外部装置で画像を取得したことによる学習＞
図３で説明したとおり、カメラ１０１と外部装置３０１は、第１及び第２の通信３０２，３０３を行う通信手段を有している。そして、主に第１の通信３０２によって画像の送受信が行われ、外部装置３０１内の専用のアプリケーションを介して、カメラ１０１内の画像を外部装置３０１に送信することができる。また、カメラ１０１内の保存されている画像データのサムネイル画像を外部装置３０１内の専用のアプリケーションを用いて、閲覧可能である。ユーザは、このサムネイル画像の中から、自分が気に入った画像を選んで、画像確認し、画像取得指示を操作することで外部装置３０１に画像を送信させることができる。

【0165】

このとき、ユーザが画像を選んで取得しているので、取得された画像はユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定し、取得された画像の学習情報に基づいて学習することにより、ユーザの好みの各種学習を行うことができる。

【0166】

ここで、操作例について説明する。外部装置３０１の専用のアプリケーションを用いて、カメラ１０１内の画像を閲覧している例を図１２に示す。表示部４０７にカメラ内に保存されている画像データのサムネイル画像（１６０４～１６０９）が表示されており、ユーザは自分が気に入った画像を選択し取得することができる。このとき、表示方法を変更する表示方法変更部を構成するボタン１６０１，１６０２，１６０３が設けられている。

【0167】

ボタン１６０１を押下すると日時優先表示モードに変更され、カメラ１０１内の画像の撮影日時の順番で表示部４０７に画像が表示される。例えば、１６０４で示される位置には日時が新しい画像が表示され、１６０９で示される位置には日時が古い画像が表示される。

【0168】

ボタン１６０２を押下すると、おすすめ画像優先表示モードに変更される。図９のステップＳ９１２で演算した各画像に対するユーザの好みを判定したスコアに基づいて、カメラ１０１内の画像が、スコアの高い順番で表示部４０７に表示される。例えば、１６０４で示される位置にはスコアが高い画像が表示され、１６０９で示される位置にはスコアが低い画像が表示される。

【0169】

ボタン１６０３を押下すると、人物や物体被写体を指定でき、続いて特定の人物や物体被写体を指定すると特定の被写体のみを表示することもできる。ボタン１６０１～１６０３は同時に設定をＯＮすることもできる。例えばすべての設定がＯＮされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先され、表示されることになる。このように、撮影画像に対してもユーザの好みを学習しているため、撮影された大量の画像の中から簡単な確認作業でユーザの好みの画像のみを抽出することが可能である。

【0170】

＜外部装置を介して画像に判定値を入力することによる学習＞
上記で説明したとおり、カメラ１０１と外部装置３０１は、通信手段を有しており、カメラ１０１内に保存されている画像を外部装置３０１内の専用のアプリケーションを用いて、閲覧可能である。ここで、ユーザは、各画像に対して点数付けを行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数（例えば５点）を付けたり、好みでないと思った画像に対して低い点数（例えば１点）を付けることができ、ユーザの操作によって、カメラが学習していくような構成にする。各画像の点数は、カメラ内で学習情報と共に再学習に使用される。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。

【0171】

本実施形態では、外部装置３０１を介して、撮影済み画像にユーザが判定値を入力する構成にしたが、カメラ１０１を操作して、直接、画像に判定値を入力する構成にしてもよい。その場合、例えば、カメラ１０１にタッチパネルディスプレイを設け、タッチパネルディスプレイの画面表示部に表示されたＧＵＩボタンをユーザが押下して、撮影済み画像を表示するモードに設定する。そして、ユーザは撮影済み画像を確認しながら、各画像に判定値を入力するなどの方法により、同様の学習を行うことができる。

【0172】

＜外部装置内の保存されている画像を解析することによる学習＞
外部装置３０１は、記憶部４０４を有し、記憶部４０４にはカメラ１０１で撮影された画像以外の画像も記録される構成とする。このとき、外部装置３０１内に保存されている画像は、ユーザが閲覧し易く、公衆無線制御部４０６を介して、共有サーバに画像をアップロードすることも容易なため、ユーザの好みの画像が多く含まれる可能性が非常に高い。

【0173】

外部装置３０１の制御部４１１は、専用のアプリケーションを用いて、記憶部４０４に保存されている画像を、カメラ１０１内の学習処理部２１９と同等の能力で処理可能に構成される。そして、処理された学習用データをカメラ１０１に通信することにより、学習を行う。あるいは、カメラ１０１に学習させたい画像やデータを送信して、カメラ１０１内で学習するような構成にしてもよい。また、専用のアプリケーションを用いて、記録部４０４に保存されている画像の中から、学習させたい画像をユーザが選択して学習する構成にすることもできる。

【0174】

＜外部装置でＳＮＳのサーバにアップロードされた情報からの学習＞
次に、人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス（ＳＮＳ）における情報を学習に使用する方法について説明する。画像をＳＮＳにアップロードする際に、外部装置３０１から画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いを入力する技術もあり、他のユーザがアップロードした画像が、外部装置３０１を所有するユーザの好みの写真であるかも判定できる。

【0175】

外部装置３０１内にダウンロードされた専用のＳＮＳアプリケーションで、上記のようにユーザが自らアップロードした画像と画像についての情報を取得することができる。また、ユーザが他のユーザがアップロードした画像に対して好きか否かを入力することにより、ユーザの好みの画像やタグ情報を取得することもできる。それらの画像やタグ情報を解析し、カメラ１０１内で学習できるようにする。

【0176】

外部装置３０１の制御部４１１は、上記のようにユーザがアップロードした画像や、ユーザが好きと判定した画像を取得し、カメラ１０１内の学習処理部２１９と同等の能力で処理可能に構成される。そして、処理された学習用データをカメラ１０１に通信することで、学習を行う。あるいは、カメラ１０１に学習させたい画像を送信して、カメラ１０１内で学習するような構成にしてもよい。

【0177】

また、タグ情報に設定された被写体情報（例えば、犬、猫などの被写体物体情報、ビーチなどのシーン情報、スマイルなどの表情情報など）から、ユーザが好みであろう被写体情報を推定する。そして、ニューラルネットワークに入力する検出すべき被写体として登録することによる学習を行う。

【0178】

また、上記ＳＮＳでのタグ情報（画像フィルタ情報や被写体情報）の統計値から、世の中で今現在流行っている画像情報を推定し、カメラ１０１内で学習できる構成にすることもできる。

【0179】

＜外部装置でカメラパラメータを変更することによる学習＞
上記で説明したとおり、カメラ１０１と外部装置３０１は、通信手段を有している。そして、カメラ１０１内に現在設定されている学習パラメータ（ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択など）を外部装置３０１に通信し、外部装置３０１の記憶部４０４に保存することができる。また、外部装置３０１内の専用のアプリケーションを用いて、専用のサーバにセットされた学習パラメータを公衆無線制御部４０６を介して取得し、カメラ１０１内の学習パラメータに設定することもできる。これにより、ある時点でのパラメータを外部装置３０１に保存しておいて、カメラ１０１に設定することで、学習パラメータを戻すこともできる。また、他のユーザが持つ学習パラメータを、専用のサーバを介して取得し、自身のカメラ１０１に設定することもできる。

【0180】

また、外部装置３０１の専用のアプリケーションを用いて、ユーザが登録した音声コマンドや認証登録、ジェスチャーを登録できるようにしてもよいし、重要な場所を登録してもよい。これらの情報は、自動撮影モード処理（図９）で説明した撮影トリガーや自動撮影判定の入力データとして扱われる。また、撮影頻度や起動間隔、静止画と動画の割合や好みの画像などを設定することができる構成とし、＜低消費電力モード制御＞で説明した起動間隔などの設定を行ってもよい。

【0181】

＜外部装置で画像が手動編集された情報からの学習＞
外部装置３０１の専用のアプリケーションにユーザの操作により手動で編集できる機能を持たせ、編集作業の内容を学習にフィードバックすることもできる。例えば、画像効果付与（トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、ＢＧＭ）の編集が可能である。そして、画像の学習情報に対して、手動で編集した画像効果付与が判定されるように、自動編集のニューラルネットワークを学習させる。

【0182】

次に、学習処理シーケンスについて説明する。図７のステップＳ７０４のモード設定判定において、学習処理を行うべきか否かを判定し、学習処理を行うべきと判定された場合、ステップＳ７１６の学習モード処理を行う。

【0183】

学習モードの判定条件について説明する。学習モードに移行するか否かは、前回学習処理を行ってからの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理指示があったかなどから判定される。ステップＳ７０４のモード設定判定処理内で判定される、学習モードに移行すべきか否かの判定処理フローを図１３に示す。

【0184】

ステップＳ７０４のモード設定判定処理内で学習モード判定が開始指示されると、図１３の処理がスタートする。ステップＳ１４０１では、外部装置３０１からの登録指示があるか否かを判定する。ここでの登録は、上記で説明した＜外部装置で画像を取得したことによる学習＞や、＜外部装置を介して画像に判定値を入力することによる学習＞や、＜外部装置内の保存されている画像を解析することによる学習＞などの、学習するための登録指示があったか否かの判定である。

【0185】

ステップＳ１４０１で、外部装置３０１からの登録指示があった場合、ステップＳ１４０８に進み、学習モード判定をＴＲＵＥにして、ステップＳ７１６の処理を行うように設定し、学習モード判定処理を終了する。ステップＳ１４０１で外部装置からの登録指示がない場合、ステップＳ１４０２に進む。

【0186】

ステップＳ１４０２では外部装置からの学習指示があるか否かを判定する。ここでの学習指示は＜外部装置でカメラパラメータを変更することによる学習＞のように、学習パラメータをセットする指示があったか否かの判定である。ステップＳ１４０２で、外部装置からの学習指示があった場合、ステップＳ１４０８に進み、学習モード判定をＴＲＵＥにして、ステップＳ７１６の処理を行うように設定し、学習モード判定処理を終了する。ステップＳ１４０２で外部装置からの学習指示がない場合、ステップＳ１４０３に進む。

【0187】

ステップＳ１４０３では、前回の学習処理（ニューラルネットワークの重みの再計算）が行われてからの経過時間ＴｉｍｅＮを取得し、ステップＳ１４０４に進む。ステップＳ１４０４では、学習する新規のデータ数ＤＮ（前回の学習処理が行われてからの経過時間ＴｉｍｅＮの間で、学習するように指定された画像の数）を取得し、ステップＳ１４０５に進む。ステップＳ１４０５では、経過時間ＴｉｍｅＮから学習モードに入るか否かを判定する閾値ＤＴを演算する。閾値ＤＴの値が小さいほど学習モードに入りやすく設定されている。例えば、ＴｉｍｅＮが所定値よりも小さい場合の閾値ＤＴの値であるＤＴａが、ＴｉｍｅＮが所定値よりも大きい場合の閾値ＤＴの値であるＤＴｂよりも大きく設定されており、時間の経過とともに、閾値が小さくなるように設定されている。これにより、学習データが少ない場合においても、時間経過が大きいと学習モードに入りやすくして、再度学習することで、使用時間に応じてカメラが学習変化し易いようにされている。

【0188】

ステップＳ１４０５で閾値ＤＴを演算すると、ステップＳ１４０６に進み、学習するデータ数ＤＮが、閾値ＤＴよりも大きいか否かを判定する。データ数ＤＮが、閾値ＤＴよりも大きい場合、ステップＳ１４０７に進み、ＤＮを０に設定する。その後、ステップＳ１４０８に進み、学習モード判定をＴＲＵＥにして、ステップＳ７１６（図７）の処理を行うように設定し、学習モード判定処理を終了する。

【0189】

ステップＳ１４０６でＤＮが閾値ＤＴ以下の場合、ステップＳ１４０９に進む。外部装置からの登録指示も、外部装置からの学習指示もなく、且つ学習データ数も所定値以下であるので、学習モード判定をＦＡＬＳＥにし、ステップＳ７１６の処理は行わないように設定し、学習モード判定処理を終了する。

【0190】

次に、学習モード処理（ステップＳ７１６）内の処理について説明する。学習モード処理の動作を示す詳細なフローチャートを図１４に示す。

【0191】

図７のステップＳ７１５で学習モードと判定され、ステップＳ７１６に進むと、図１４の処理がスタートする。ステップＳ１５０１では、外部装置３０１からの登録指示があるか否かを判定する。ステップＳ１５０１で、外部装置３０１からの登録指示があった場合、ステップＳ１５０２に進む。ステップＳ１５０２では、各種登録処理を行う。

【0192】

各種登録は、ニューラルネットワークに入力する特徴の登録であり、例えば顔認証の登録や、一般物体認識の登録や、音情報の登録や、場所情報の登録などである。登録処理を終了すると、ステップＳ１５０３に進み、ステップＳ１５０２で登録された情報から、ニューラルネットワークへ入力する要素を変更する。ステップＳ１５０３の処理を終了すると、ステップＳ１５０７に進む。

【0193】

ステップＳ１５０１で外部装置３０１からの登録指示がない場合、ステップＳ１５０４に進み、外部装置３０１からの学習指示があるか否かを判定する。外部装置３０１からの学習指示があった場合、ステップＳ１５０５に進み、外部装置３０１から通信された学習パラメータを各判定器（ニューラルネットワークの重みなど）に設定し、ステップＳ１５０７に進む。

【0194】

ステップＳ１５０４で外部装置３０１からの学習指示がない場合、ステップＳ１５０６で学習（ニューラルネットワークの重みの再計算）を行う。ステップＳ１５０６の処理に入るのは、図１３を用いて説明したように、学習するデータ数ＤＮが閾値ＤＴを超えて、各判定器の再学習を行う場合である。誤差逆伝搬法或いは、勾配降下法などの方法を使って再学習させ、ニューラルネットワークの重みを再計算して、各判定器のパラメータを変更する。学習パラメータが設定されると、ステップＳ１５０７に進む。

【0195】

ステップＳ１５０７では、ファイル内の画像を再スコア付けする。本実施形態においては、学習結果に基づいてファイル（記録媒体２２１）内に保存されている全ての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成となっている。よって、再学習や外部装置からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアも更新を行う必要がある。よって、ステップＳ１５０７では、ファイル内に保存されている撮影画像に対して新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。

【0196】

本実施形態においては、ユーザが好むと思われるシーンを抽出し、その特徴を学習し、自動撮影や自動編集といったカメラ動作に反映させることにより、ユーザの好みの映像を提案する方法を説明したが、本発明はこの用途に限定されるものではない。例えば、あえてユーザ自身の好みとは異なる映像を提案する用途に用いることもできる。その実現方法の例としては、以下のとおりである。

【0197】

＜好みを学習させたニューラルネットワークを用いる方法＞
学習については、上記で説明したとおりの方法により、ユーザの好みを学習する。そして、＜自動撮影＞のＳ９０８において、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値であるときに自動撮影を行う。例えば、ユーザが好んだ画像を教師画像とし、教師画像と類似する特徴を示すときに高い値が出力されように学習をさせた場合は、逆に出力値が所定値より低いことを条件として自動撮影を行う。また、同様に被写体探索処理や自動編集処理においても、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値となる処理を実行する。

【0198】

＜好みとは異なる状況を学習させたニューラルネットワークを用いる方法＞
この方法では、学習処理の時点で、ユーザの好みとは異なる状況を教師データとして学習する。例えば、上記では、手動で撮影した画像はユーザが好んで撮影したシーンであるとして、これを教師データとする学習方法について説明した。しかし、ここでは、逆に手動撮影した画像は教師データとして使用せず、所定時間以上手動撮影が行われなかったシーンを教師データとして追加する。あるいは、教師データの中に手動撮影した画像と特徴が類似するシーンがあれば、教師データから削除するようにしてもよい。また、外部装置で取得した画像と特徴が異なる画像を教師データに加えるか、取得した画像と特徴が似た画像を教師データから削除するようにしてもよい。このようにすることで、教師データには、ユーザの好みと異なるデータが集まり、学習の結果、ニューラルネットワークは、ユーザの好みと異なる状況を判別することができるようになる。そして、自動撮影ではそのニューラルネットワークの出力値に応じて撮影を行うことで、ユーザの好みとは異なるシーンを撮影することができる。

【0199】

上記のように、あえてユーザ自身の好みとは異なる映像を提案することにより、ユーザが手動で撮影をしないであろうシーンが撮影され、撮り逃しを減少させることができる。また、ユーザ自身の発想にないシーンでの撮影を提案することで、ユーザに気付きを与えたり、嗜好の幅を広げたりする効果が期待できる。

【0200】

また、上記の方法を組み合わせることにより、ユーザの好みと多少似ているが一部違う状況の提案もでき、ユーザの好みに対する適合度合いを調節することも容易である。ユーザの好みに対する適合度合いは、モード設定や、各種センサの状態、検出情報の状態に応じて変更してもよい。

【0201】

本実施形態においては、カメラ１０１内で学習する構成について説明した。しかし、外部装置３０１側に学習機能を持ち、学習に必要なデータを外部装置３０１に通信し、外部装置側でのみ学習を実行する構成でも同様の学習効果を実現可能である。その場合、上記の＜外部装置でカメラパラメータを変更することによる学習＞で説明したように、外部装置側で学習したニューラルネットワークの重みなどのパラメータをカメラ１０１に通信により設定することで学習を行う構成にしてもよい。

【0202】

また、カメラ１０１内と、外部装置３０１内の両方に、それぞれ学習機能を持つ構成にし、例えばカメラ１０１内で学習モード処理（ステップＳ７１６）が行われるタイミングで外部装置３０１が持つ学習情報をカメラ１０１に通信し、学習パラメータをマージすることで学習を行う構成にしてもよい。

【0203】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0204】

本発明の実施様態の例を以下に列挙する。

【0205】

（実施様態１） 被写体像を撮像して画像データを出力する撮像手段と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、
前記撮影動作の頻度に関する情報を取得する取得手段と、
を備え、
前記制御手段は、前記頻度に関する情報に応じて、前記撮影動作を実施するか否かを決定するための閾値を変更することを特徴とする撮像装置。

【0206】

（実施様態２）
被写体の情報を検出する検出手段を更に備え、
前記制御手段は、前記撮影動作を実施するか否かを、前記被写体の情報を前記閾値と比較することにより決定することを特徴とする実施様態１に記載の撮像装置。

【0207】

（実施様態３）
前記検出手段は、検出された音および前記撮像手段により撮像された画像データの少なくとも一方に基づいて、被写体の情報を検出することを特徴とする実施様態２に記載の撮像装置。

【0208】

（実施様態４）
前記閾値の初期値は、過去の学習の結果に基づいて決定されることを特徴とする実施様態１乃至３のいずれか１つに記載の撮像装置。

【0209】

（実施様態５）
前記撮影動作の頻度に関する情報は、一定期間ごとの撮影枚数であることを特徴とする実施様態１乃至４のいずれか１つに記載の撮像装置。

【0210】

（実施様態６）
前記制御手段は、過去の撮影枚数に基づいて、次の一定期間の前記閾値を決定することを特徴とする実施様態５に記載の撮像装置。

【0211】

（実施様態７）
所定期間における目標撮影枚数を決定する決定手段を更に備え、
前記制御手段は、前記目標撮影枚数と、前記頻度に関する情報とに基づいて、前記撮影動作を実施するか否かを判定するための閾値を変更することを特徴とする実施様態１乃至６のいずれか１つに記載の撮像装置。

【0212】

（実施様態８）
前記制御手段は、撮影時間の経過とともに前記目標撮影枚数に向けて、撮影枚数が直線的に増加するように前記閾値を変更することを特徴とする実施様態７に記載の撮像装置。

【0213】

（実施様態９）
前記決定手段は、ユーザによる手動による入力または音声による入力に基づいて設定された撮影条件に基づいて前記目標撮影枚数を決定することを特徴とする実施様態７または８に記載の撮像装置。

【0214】

（実施様態１０）
前記ユーザによる手動による入力または音声による入力は、スマートデバイスを用いて行われることを特徴とする実施様態９に記載の撮像装置。

【0215】

（実施様態１１）
前記撮影条件は、総撮影時間の情報を含むことを特徴とする実施様態９または１０に記載の撮像装置。

【0216】

（実施様態１２）
前記撮影条件は、さらに記録媒体およびバッテリーの残量の情報を含むことを特徴とする実施様態１１に記載の撮像装置。

【0217】

（実施形態１３）
被写体像を撮像して画像データを出力する撮像手段と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御手段と、
被写体の顔を検出する検出手段と、
前記検出手段により検出された被写体の顔の状態を判定する判定手段と、
前記撮影動作の頻度に関する情報を取得する取得手段と、
を備え、
前記制御手段は、前記判定手段により判定された被写体の顔の状態が同じであっても、前記頻度が第１の頻度の場合には撮影動作を実施し、前記頻度が第２の頻度の場合には撮影動作を実施しないように制御することを特徴とする撮像装置。

【0218】

（実施形態１４）
前記被写体の顔の状態とは、被写体の顔の表情、被写体の顔の向き、被写体の目の開き具合、被写体の視線、被写体の姿勢、被写体の動作の状態であることを特徴とする実施形態１３に記載の撮像装置。

【0219】

（実施形態１５）
前記撮像手段の向きを被写体に向けるために、前記撮像手段の向きを変更する変更手段を更に備え、
前記変更手段は、前記頻度に応じて、前記撮像手段の向きを変更する可動範囲を変更することを特徴とする実施形態１乃至１４のいずれか１つに記載の撮像装置。

【0220】

（実施形態１６）
前記変更手段は、前記撮像手段を、パン方向およびチルト方向に回動させることを特徴とする実施形態１５に記載の撮像装置。

【0221】

（実施形態１７）
前記撮像手段への被写体像を拡大あるいは縮小するためのズーム手段をさらに備え、
前記ズーム手段は、前記頻度に応じて、前記拡大あるいは縮小の制御を変更することを特徴とする実施形態１乃至１６のいずれか１つに記載の撮像装置。

【0222】

（実施形態１８）
被写体像を撮像して画像データを出力する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御工程と、
前記撮影動作の頻度に関する情報を取得する取得工程と、を有し、
前記制御工程では、前記頻度に関する情報に応じて、前記撮影動作を実施するか否かを決定するための閾値を変更することを特徴とする撮像装置の制御方法。

【0223】

（実施形態１９）
被写体像を撮像して画像データを出力する撮像手段を備える撮像装置を制御する方法であって、
被写体の顔を検出する検出工程と、
前記検出工程により検出された被写体の顔の状態を判定する判定工程と、
前記撮像手段によって出力された画像データを記録する撮影動作を実施するか否か制御する制御工程と、
前記撮影動作の頻度に関する情報を取得する取得工程と、を有し、
前記制御工程では、前記判定工程により判定された被写体の顔の状態が同じであっても、前記頻度が第１の頻度の場合には撮影動作を実施し、前記頻度が第２の頻度の場合には撮影動作を実施しないように制御することを特徴とする撮像装置の制御方法。

【0224】

（実施形態２０）
実施形態１８または１９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【0225】

（実施形態２１）
実施形態１８または１９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【符号の説明】

【0226】

１０１：カメラ、３０１：スマートデバイス、５０１：ウエアラブルデバイス、１０４：チルト回転ユニット、１０５：パン回転ユニット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】