特開2024-164703撮像装置、撮像システム、撮像装置の制御方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164703
(43)【公開日】2024-11-27
(54)【発明の名称】撮像装置、撮像システム、撮像装置の制御方法、およびプログラム
(51)【国際特許分類】
H04N 23/66 20230101AFI20241120BHJP
H04N 23/695 20230101ALI20241120BHJP
H04N 23/69 20230101ALI20241120BHJP
G03B 15/00 20210101ALI20241120BHJP
G03B 17/00 20210101ALI20241120BHJP
G03B 17/38 20210101ALI20241120BHJP
G03B 17/56 20210101ALI20241120BHJP
【ＦＩ】
H04N23/66
H04N23/695
H04N23/69
G03B15/00 R
G03B15/00 Q
G03B17/00 Q
G03B17/38 B
G03B17/56 A
G03B15/00 P
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023080375
(22)【出願日】2023-05-15
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】水野 聖也
【テーマコード（参考）】
2H105
5C122
【Ｆターム（参考）】
2H105AA13
5C122DA03
5C122DA04
5C122EA65
5C122EA67
5C122FA06
5C122FA16
5C122FA18
5C122FE02
5C122FH10
5C122FH14
5C122GC75
5C122GD04
5C122GF03
5C122HA13
5C122HA35
5C122HA46
5C122HA48
5C122HA82
5C122HA86
5C122HA88
5C122HB01
5C122HB05
(57)【要約】
【課題】他の撮像装置とともに追尾対象の複数の被写体を撮影する際に、複数の被写体を適切に撮影可能な撮像装置を提供する。
【解決手段】撮像装置（１０１）は、第１被写体を追尾しながら第１画像データを取得する撮像手段（２０６）と、第１画像データから第１被写体の第１評価値を取得する取得手段（２０７）と、第１被写体を追尾している他の撮像装置との通信により、他の撮像装置により取得された第２画像データから取得された第１被写体の第２評価値を受信する受信手段（２２２）と、第２評価値が第１評価値よりも大きい場合、第１画像データに関する重みづけを変更して第１評価値を再計算する制御手段（２２３）とを有する。
【選択図】図８
【解決手段】撮像装置（１０１）は、第１被写体を追尾しながら第１画像データを取得する撮像手段（２０６）と、第１画像データから第１被写体の第１評価値を取得する取得手段（２０７）と、第１被写体を追尾している他の撮像装置との通信により、他の撮像装置により取得された第２画像データから取得された第１被写体の第２評価値を受信する受信手段（２２２）と、第２評価値が第１評価値よりも大きい場合、第１画像データに関する重みづけを変更して第１評価値を再計算する制御手段（２２３）とを有する。
【選択図】図８
【特許請求の範囲】
【請求項1】
第１被写体を追尾しながら第１画像データを取得する撮像手段と、
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算する制御手段とを有することを特徴とする撮像装置。
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算する制御手段とを有することを特徴とする撮像装置。
【請求項2】
第１被写体を追尾しながら第１画像データを取得する撮像手段と、
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能な制御手段とを有することを特徴とする撮像装置。
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能な制御手段とを有することを特徴とする撮像装置。
【請求項3】
前記第１評価値は、前記第１画像データの複数の領域のそれぞれに関して取得された複数の評価値のうち最も高い評価値であることを特徴とする請求項１または２に記載の撮像装置。
【請求項4】
前記制御手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域の少なくとも一つの領域に関する重みづけを変更し、変更後の重みづけで前記第１評価値を再計算することを特徴とする請求項３に記載の撮像装置。
【請求項5】
前記取得手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域のうち前記第１被写体が存在する領域に関する前記重みづけを小さくすることを特徴とする請求項４に記載の撮像装置。
【請求項6】
前記取得手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域のうち前記第１被写体が存在する領域とは異なる領域に関する前記重みづけを大きくすることを特徴とする請求項４に記載の撮像装置。
【請求項7】
前記制御手段は、
再計算された前記第１評価値が所定の閾値よりも小さい場合、前記第１被写体を追尾し、
再計算された前記第１評価値が前記所定の閾値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾することを特徴とする請求項４に記載の撮像装置。
再計算された前記第１評価値が所定の閾値よりも小さい場合、前記第１被写体を追尾し、
再計算された前記第１評価値が前記所定の閾値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾することを特徴とする請求項４に記載の撮像装置。
【請求項8】
前記第１評価値は、前記第１画像データの複数の領域のそれぞれに関して取得された複数の評価値のうち最も高い評価値であり、
前記制御手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の評価値のうち二番目に高い評価値を示す前記第２被写体を追尾することを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の評価値のうち二番目に高い評価値を示す前記第２被写体を追尾することを特徴とする請求項２に記載の撮像装置。
【請求項9】
前記制御手段は、パン・チルト駆動により被写体追尾を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項10】
前記制御手段は、ズーム駆動により被写体追尾を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項11】
前記受信手段は、前記他の撮像装置から、該他の撮像装置の電池残量に関する情報を受信し、
前記制御手段は、前記電池残量に応じて、前記第１被写体の追尾を継続するか否かを判定することを特徴とする請求項１または２に記載の撮像装置。
前記制御手段は、前記電池残量に応じて、前記第１被写体の追尾を継続するか否かを判定することを特徴とする請求項１または２に記載の撮像装置。
【請求項12】
前記制御手段は、
前記電池残量が所定量よりも小さい場合、前記第１被写体の追尾を継続し、
前記電池残量が前記所定量よりも多い場合、前記第１被写体とは異なる第２被写体の追尾への変更を可能にすることを特徴とする請求項１１に記載の撮像装置。
前記電池残量が所定量よりも小さい場合、前記第１被写体の追尾を継続し、
前記電池残量が前記所定量よりも多い場合、前記第１被写体とは異なる第２被写体の追尾への変更を可能にすることを特徴とする請求項１１に記載の撮像装置。
【請求項13】
第１撮像装置と、該第１撮像装置と通信可能な第２撮像装置とを有する撮像システムであって、
前記第１撮像装置または前記第２撮像装置は、請求項１または２に記載の撮像装置であることを特徴とする撮像システム。
前記第１撮像装置または前記第２撮像装置は、請求項１または２に記載の撮像装置であることを特徴とする撮像システム。
【請求項14】
第１被写体を追尾しながら取得された第１画像データから、前記第１被写体の第１評価値を取得するステップと、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算するステップとを有することを特徴とする撮像装置の制御方法。
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算するステップとを有することを特徴とする撮像装置の制御方法。
【請求項15】
第１被写体を追尾しながら取得された第１画像データから、前記第１被写体の第１評価値を取得するステップと、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能なステップとを有することを特徴とする撮像装置の制御方法。
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能なステップとを有することを特徴とする撮像装置の制御方法。
【請求項16】
請求項１４または１５に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像システム、撮像装置の制御方法、およびプログラムに関する。
【背景技術】
【0002】
従来、ユーザの操作を受けることなく、撮像装置自体が被写体の追尾などユーザの好みに合わせて映像を取得可能な撮像装置が知られている。特許文献１には、撮影された画像情報から、被写体の顔、特徴、または身体の変化などの情報を取得し、取得した情報に基づいて特定被写体を重点的に自動で撮影することが可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１０６６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された構成では、複数の被写体が存在する場合、追尾対象の被写体を中心として撮影範囲が決定される。このため、追尾対象ではない被写体が撮影範囲外となり撮影されない場合や、すべての被写体を撮影範囲内に収めようとして被写体が小さく撮影される場合がある。
【0005】
また、複数の撮像装置を用いた撮像システムでは、撮像装置ごとに撮影範囲および被写体を判定して撮影状況を変更または設定する必要がある。このため、被写体を満遍なく撮影したい場合でも撮影結果にばらつきが生じる場合がある。また、特定被写体を重点的な撮影対象にした場合、特定被写体以外の被写体の写りが良い状態であってもそのような被写体は撮影されず、良好な写真の撮影の成功確率が低くなり、煩わしい場合がある。
【0006】
そこで本発明は、他の撮像装置とともに追尾対象の複数の被写体を撮影する際に、複数の被写体を適切に撮影可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一側面としての撮像装置は、第１被写体を追尾しながら第１画像データを取得する撮像手段と、前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算する制御手段とを有する。
【0008】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【0009】
本発明によれば、他の撮像装置とともに追尾対象の複数の被写体を撮影する際に、複数の被写体を適切に撮影可能な撮像装置を提供することができる。
【図面の簡単な説明】
【0010】
【図1】各実施形態における撮像装置を模式図である。
【図2】各実施形態における撮像装置のブロック図である。
【図3】各実施形態における撮像装置および外部装置の構成図である。
【図4】各実施形態における外部装置のブロック図である。
【図5】各実施形態における撮像装置の基本動作を示すフローチャートである。
【図6】各実施形態における撮影画像内のエリア分割の説明図である。
【図7】各実施形態におけるニューラルネットワークの説明図である。
【図8】第１実施形態における撮像装置が他の撮像装置との通信から重要度レベルを再計算する方法を示すフローチャートである。
【図9】第１実施形態における重要度レベルの再計算処理の一例の説明図である。
【図10】第１実施形態における重要度レベルの再計算処理の一例の説明図である。
【図11】第１実施形態における重要度レベルの再計算処理の一例の説明図である。
【図12】第１実施形態における重要度レベルの再計算処理による撮影方向の変更動作の説明図である。
【図13】第２実施形態における撮像装置が他の撮像装置の電力情報受信した際の動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0012】
（第１実施形態）
＜撮像装置の構成＞
まず、図１（ａ）、（ｂ）を参照して、本発明の第１実施形態における撮像装置１０１の概略構成について説明する。図１（ａ）、（ｂ）は本実施形態における撮像装置１０１の説明図であり、図１（ａ）は撮像装置１０１の模式図、図１（ｂ）は撮像装置１０１の固定部１０３の位置を基準とした軸の定義の説明図である。
＜撮像装置の構成＞
まず、図１（ａ）、（ｂ）を参照して、本発明の第１実施形態における撮像装置１０１の概略構成について説明する。図１（ａ）、（ｂ）は本実施形態における撮像装置１０１の説明図であり、図１（ａ）は撮像装置１０１の模式図、図１（ｂ）は撮像装置１０１の固定部１０３の位置を基準とした軸の定義の説明図である。
【0013】
撮像装置１０１は、電源スイッチの操作が可能な操作部材などを有する。なお本実施形態において、操作部材は、例えば電源ボタンであるが、タッチパネルへのタップ、フリック、またはスワイプなどの操作が可能な操作部材でもよい。撮像を行う撮影レンズ群および撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられている。
【0014】
撮像装置１０１は、鏡筒１０２を固定部１０３に対して回転駆動可能なチルト回転ユニット１０４およびパン回転ユニット１０５を含む回転機構を有する。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示されるピッチ方向に回転可能なモータ駆動機構である。パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転可能なモータ駆動機構である。このように鏡筒１０２は、２つの軸方向に回転可能である。
【0015】
角速度計１０６および加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。撮像装置１０１は、角速度計１０６および加速度計１０７からの出力信号に基づいて撮像装置１０１の振動（揺れ角度）を検出し、検出した揺れ角度に応じて、チルト回転ユニット１０４およびパン回転ユニット１０５を回転駆動する。これにより、可動部である鏡筒１０２の振れまたは傾きを補正することができる。
【0016】
次に、図２を参照して、撮像装置１０１の内部構成について説明する。図２は、撮像装置１０１のブロック図である。第１制御部（制御手段）２２３は、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、またはＭＰＵなど）、およびメモリ（例えば、ＤＲＡＭまたはＳＲＡＭなど）を有する。第１制御部２２３のプロセッサおよびメモリは、各種処理を実行して撮像装置１０１の各ブロックを制御するとともに、各ブロック間でのデータ転送を制御する。不揮発性メモリ（ＥＥＰＲＯＭ）２１６は、第１制御部２２３の動作用の定数およびプログラム等を記憶している。
【0017】
ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。
【0018】
撮像部（撮像手段）２０６は、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部（取得手段）２０７に出力する。画像処理部２０７は、Ａ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換し、メモリ２１５や後述する映像出力部２１７に送信される。
【0019】
鏡筒回転駆動部２０５は、チルト回転ユニット１０４およびパン回転ユニット１０５を駆動し、鏡筒１０２をチルト方向およびパン方向に駆動する。装置揺れ検出部２０９は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６、または装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７を有する。装置揺れ検出部２０９は、検出された信号に基づいて、装置の回転角度または装置のシフト量などを演算する。
【0020】
音声入力部２１３は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７および音声処理部２１４により得られた画像信号および音声信号を一時的に記憶する。
【0021】
画像処理部２０７および音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。
【0022】
記録再生部２２０は、記録媒体２２１に対して画像処理部２０７および音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。
【0023】
記録媒体２２１は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２２１は、撮像装置１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１６よりも大容量な媒体が一般的に使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
【0024】
記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、第１制御部２２３は画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７、音声出力部２１８に送信する。
【0025】
音声入力部２１３は、例えば、撮像装置１０１に搭載された複数のマイクである。音声処理部２１４は、複数のマイクが設置された平面上の音の方向を検出する。検出された音の方向は、後述する探索または自動撮影等に用いられる。また音声処理部２１４は、特定の音声コマンドを検出する。音声コマンドは、事前に登録された複数のコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識を行ってもよい。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、第１制御部２２３または第２制御部２１１に、検出トリガ信号が出力される。
【0026】
第２制御部２１１は、撮像装置１０１のメインシステム全体を制御する第１制御部２２３とは別に設けられた制御部であり、第１制御部２２３の供給電源を制御する。第１電源部２１０および第２電源部２１２は、第１制御部２２３および第２制御部２１１を動作させるための電源をそれぞれ供給する。撮像装置１０１に設けられた電源ボタンの押下により、まず第１制御部２２３および第２制御部２１１の両方に電源が供給される。ただし、後述するように、第１制御部２２３は、第１電源部２１０へ自らの電源供給をＯＦＦするように制御される。第１制御部２２３が動作していない間も、第２制御部２１１は動作しており、装置揺れ検出部２０９および音声処理部２１４からの情報が入力される。第２制御部２１１は、各種入力情報に基づいて、第１制御部２２３を起動するか否かの判定処理を行う。第２制御部２１１は、第１制御部２２３を起動すると判定した場合、第１電源部２１０に電源の供給を指示する。
【0027】
音声出力部２１８は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。ＬＥＤ制御部２２４は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンを制御する。映像出力部２１７は、例えば映像出力端子を有し、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部２１８および映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子であってもよい。学習処理部２１９は、ニューラルネットワークを用い、機械学習アルゴリズムを使用して、ユーザの好みに合わせた学習を行う。
【0028】
通信部（受信手段、送信手段）２２２は、撮像装置１０１と外部装置との間で通信を行う。通信部２２２は、例えば、音声信号、画像信号、圧縮音声信号、または圧縮画像信号などのデータを送信または受信する。また通信部２２２は、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部装置の指示から撮像装置１０１を駆動する。また通信部２２２は、撮像装置１０１と外部装置との間で、学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信または受信する。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。
【0029】
＜外部通信機器との構成＞
次に、図３を参照して、撮像装置１０１と外部装置３０１との無線通信システムについて説明する。図３は、撮像装置１０１および外部装置３０１の構成図である。撮像装置１０１は撮影機能を有するデジタルカメラ、外部装置３０１はＢｌｕｅｔｏｏｔｈ（登録商標）通信モジュールまたは無線ＬＡＮ通信モジュール等を含むスマートデバイスであるが、本実施形態はこれに限定されるものではない。
次に、図３を参照して、撮像装置１０１と外部装置３０１との無線通信システムについて説明する。図３は、撮像装置１０１および外部装置３０１の構成図である。撮像装置１０１は撮影機能を有するデジタルカメラ、外部装置３０１はＢｌｕｅｔｏｏｔｈ（登録商標）通信モジュールまたは無線ＬＡＮ通信モジュール等を含むスマートデバイスであるが、本実施形態はこれに限定されるものではない。
【0030】
撮像装置１０１と外部装置３０１は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信３０２と、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）など、制御局と従属局の主従関係を有する通信３０３とが可能である。なお、無線ＬＡＮおよびＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。
【0031】
次に、図４を参照して、外部装置（スマートデバイス）３０１の構成を説明する。図４は、外部装置３０１のブロック図である。外部装置３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、およびＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆回線制御部４０６を有する。また外部装置３０１は、パケット送受信部４０３を有する。
【0032】
無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。
【0033】
公衆回線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。
【0034】
パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお本実施形態では、外部装置３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うスマートデバイスとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。
【0035】
また外部装置３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、音声入力音声処理部４０９、および電源部４１０を有する。制御部４１１は、例えば、記憶部４０４に記憶される制御プログラムを実行することにより、外部装置３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。電源部４１０は外部装置３０１に電源を供給する。
【0036】
表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによる外部装置３０１の操作を受け付けるボタン等である。なお、表示部４０７および操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。
【0037】
音声入力音声処理部４０９は、例えば外部装置３０１に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。また、スマートデバイス内の専用のアプリケーションを介して、ユーザの発音により音声コマンドを取得する。そして、無線ＬＡＮによる通信３０２を介して、撮像装置１０１の音声処理部２１４に特定音声コマンド認識させるための特定音声コマンドとして登録することもできる。
【0038】
ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、外部装置３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ－Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、外部装置３０１の現在位置を推定してもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（所定半径の範囲以内）に位置している場合に、ＢＬＥ制御部４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影ためのパラメータとして使用する。また、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御部４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影ためのパラメータとして使用する。
【0039】
前述のように、撮像装置１０１と外部装置３０１は、無線ＬＡＮ制御部４０１、及び、ＢＬＥ制御部４０２を用いた通信により、撮像装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信または受信する。また、外部装置３０１から撮像装置１０１の撮影などの操作指示、音声コマンド登録データ送信、またはＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知を行う。また、外部装置３０１内の専用のアプリケーションを介しての学習用データの送受信を行う。
【0040】
なお本実施形態において、外部装置３０１は、スマートデバイスに限定されるものではない。例えば、表示部４０７または操作部４０８などを省き、音声入力に特化した装置であってもよい。この装置では、前述したマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得し、撮像装置１０１へ通知する。このほかに、この装置では、音声認識と、クラウドとの通信機能、スピーカーを利用したニュースの読み上げ機能を有してもよい。また、検索エンジンを用いた調べものの音出力や、対話システムの機能を有してもよい。
【0041】
【0042】
まずステップＳ５０１において、画像処理部２０７は、撮像部２０６により取り込まれた信号に基づいて、被写体検出用に画像処理した画像を生成する。生成された画像からは、人物や物体検出などの被写体検出が行われる（画像認識処理）。人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判定するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。
【0043】
また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。また、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＣＮＮ）などを用いて予め検出したい被写体を学習しておき、顔認識や物体認識に対してＣＮＮを適用してもよい。以上の方法で、撮像情報から各被写体情報を得ることができる。
【0044】
続いてステップＳ５０２において、画像処理部２０７は、被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
【0045】
（１）エリア分割
（２）エリア毎の重要度レベルの算出
（３）探索対象エリアの決定
以下、被写体探索処理について、順次説明する。
（２）エリア毎の重要度レベルの算出
（３）探索対象エリアの決定
以下、被写体探索処理について、順次説明する。
【0046】
（１）エリア分割
まず、図６（ａ）～（ｄ）を参照して、エリア分割を説明する。図６（ａ）～（ｄ）は、撮影画像内のエリア分割の説明図である。図６（ａ）のように撮像装置１０１の位置（原点Ｏ）を中心として、全周囲でエリア分割を行う。図６（ａ）の例においては、チルト方向およびパン方向をそれぞれ２２．５度で分割している。図６（ａ）のように分割すると、撮像装置１０１のチルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図６（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。
まず、図６（ａ）～（ｄ）を参照して、エリア分割を説明する。図６（ａ）～（ｄ）は、撮影画像内のエリア分割の説明図である。図６（ａ）のように撮像装置１０１の位置（原点Ｏ）を中心として、全周囲でエリア分割を行う。図６（ａ）の例においては、チルト方向およびパン方向をそれぞれ２２．５度で分割している。図６（ａ）のように分割すると、撮像装置１０１のチルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図６（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。
【0047】
図６（ｃ）、（ｄ）は、撮影画角内でのエリア分割された例を示す。軸６０１は初期化時の撮像装置１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。６０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図６（ｄ）に示す。画角に写し出されている画像内ではエリア分割に基づいて、図６（ｄ）の６１１～６２６のように画像分割される。
【0048】
（２）エリア毎の重要度レベルの算出
前述のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベル（評価値）を算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。また、ユーザによる撮影領域の指定が行われている場合、指定された撮影領域内で各撮像装置が探索、フレーミング動作を行うように、指定されていない領域に位置するエリアの重要度レベルを最小値に固定する。これにより、そのエリア方向の探索は行わないように設定する。
前述のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベル（評価値）を算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。また、ユーザによる撮影領域の指定が行われている場合、指定された撮影領域内で各撮像装置が探索、フレーミング動作を行うように、指定されていない領域に位置するエリアの重要度レベルを最小値に固定する。これにより、そのエリア方向の探索は行わないように設定する。
【0049】
なお、前述の条件だけでは、各エリアに変化がない限り、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらない。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するステップＳ５０９にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。但し、ユーザによる撮影領域の指定が行われていないエリアは可変させず最小値を保持させる。
【0050】
（３）探索対象エリアの決定
前述のように各エリアの重要度レベルが算出された後、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
前述のように各エリアの重要度レベルが算出された後、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
【0051】
続いて、図５のステップＳ５０３において、第１制御部２２３は、鏡筒回転駆動部２０５を用いてパン・チルト駆動を行う。第１制御部２２３は、パン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出する。そして鏡筒回転駆動部２０５は、算出されたパン・チルト駆動量に基づいて、チルト回転ユニット１０４およびパン回転ユニット１０５をそれぞれ駆動制御する。
【0052】
続いてステップＳ５０４において、第１制御部２２３は、ズーム駆動制御部２０２を用いてズームユニット２０１を制御することで、ズーム駆動を行う。具体的には、第１制御部２２３は、ステップＳ５０２にて決定された探索対象被写体の状態に応じて、ズーム駆動を行う。例えば、探索対象被写体が人物の顔である場合、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出ができず、見失う可能性がある。そのような場合、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方、画像上の顔が大きすぎる場合、被写体や撮像装置自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム駆動を行うことで、被写体を追尾するのに適した状態を保つことができる。
【0053】
以上のように、撮像部２０６は、特定被写体（第１被写体）を追尾しながら画像データ（第１画像データ）を取得する。なおステップＳ５０２～Ｓ５０４では、パン・チルト駆動およびズーム駆動により被写体探索を行う方法を説明したが、広角なレンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位撮像装置の場合、撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うと膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。前述の方法と同様にエリア毎の重要レベルを算出し、重要レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。
【0054】
なお、追尾被写体を手動で指定された場合、または自動で特定被写体を検出したら追尾するように設定されている場合、前述の探索動作は行わない。指定された被写体を画面の所定位置（例えば画面中央付近）に保持するようにパン・チルト駆動を行ったり、被写体が所定の大きさになるようにズーム駆動が行われる。
【0055】
続いてステップＳ５０５において、第１制御部２２３は、後述する他の撮像装置との通信からの重要度レベル再計算によって他の撮像装置からの位置・角度・被写体との距離情報、または最も高い重要度レベル情報に基づいて、エリア別の重要度レベルを再計算する。再計算によって、最も高い重要度レベルのエリアが変更された場合、ステップＳ５０３に戻り処理を繰り返す。最も高い重要度レベルのエリアの変更がされなかった場合や追尾被写体が異なると判定された場合、ステップＳ５０６へ進む。
【0056】
続いてステップＳ５０６において、第１制御部２２３は、手動による撮影指示があったか否かを判定する。手動による撮影指示があったと判定された場合、ステップＳ５０９に進む。一方、手動による撮影指示がないと判定された場合、ステップＳ５０７に進む。このとき、手動による撮影指示は、シャッターボタン押下によるものや、撮像装置筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部装置からの指示などによってもよい。タップ操作による撮影指示は、ユーザが撮像装置筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知し、撮影トリガとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理部２１４で音声を認識し、撮影のトリガとする撮影指示方法である。外部装置からの指示は、例えば撮像装置と無線通信で接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガとする撮影指示方法である。
【0057】
ステップＳ５０７において、第１制御部２２３は、自動撮影判定を行う。自動撮影判定では、撮影を行うか否かの判定が行われる。自動撮影を行うか否かの判定は、以下の２つの判定に基づいて行う。１つ目は、ステップＳ５０２にて得られたエリア別の重要度レベル、またはステップＳ５０５にて再計算されたエリア別の重要度レベルの何れかに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。
【0058】
２つ目は、ニューラルネットワークに基づく判定である。図７は、ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。
【0059】
図７において、７０１およびその縦に並ぶ丸は入力層のニューロンであり、７０３およびその縦に並ぶ丸は中間層のニューロンであり、７０４は出力層のニューロンである。７０２のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。
【0060】
なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、等を使用する。その他、シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等を使用してもよい。
【0061】
また、振動情報（加速度情報、前記撮像装置状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。なお、このニューラルネットワークに基づく判断は、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることができる。
【0062】
自動撮影を行うか否かの判定がされると、次に撮影モードについて判定する。ステップＳ５０１にて検出された、周辺の被写体の状態に基づいて、静止画撮影、動画撮影の何れかを実行するかの判定を行う。例えば、被写体（人物）が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。ニューラルネットワークによる判定を行ってもよい。また、専用のアプリケーションを用いて、撮像装置の設定を手動で変更することもでき、静止画のみを撮影するように指定もできるし、動画のみを指定することもできるし、両方を撮影として残すように設定することも可能である。
【0063】
続いてステップＳ５０８において、ステップＳ５０７の自動撮影判定により撮影する判定が下されたと判定された場合（自動撮影ＯＮと判定された場合）、ステップＳ５０９に進む。一方、自動撮影ＯＮと判定されていない場合、撮影モード処理（本フロー）を終了する。
【0064】
ステップＳ５０９において、第１制御部２２３は、撮影を開始する。このとき、ステップＳ５０７にて判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理を行い、画像を生成する。
【0065】
また、動画撮影の場合、撮影記録中においてもステップＳ５０１～Ｓ５０４にて説明したように、被写体検出に基づいたパン・チルトとズーム駆動によるフレーミング動作を行いながら撮影する。前述の方法のようにエリア分割した重要度レベルに基づいて探索を行ってもよいし、動画中は大きな探索動作を禁止するようにしてもよい。また、特定の被写体を登録し、登録した被写体を画面中心付近に保持するように、指定された撮影領域内でパン・チルト、ズームで追尾しながら動画撮影してもよい。
【0066】
続いてステップＳ５１０において、第１制御部２２３は、画像処理部２０７を用いて、ステップＳ５０９にて生成した画像を加工し、または動画に追加する等の編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などである。画像加工は、ステップＳ５０９にて生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記ステップＳ５０９にて生成した画像とは別に保存するとしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。
【0067】
続いてステップＳ５１１において、第１制御部２２３は、過去撮影情報の更新を行う。具体的には、ステップＳ５０７の説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。
【0068】
＜他の撮像装置との通信からの重要度レベル再計算＞
次に、図８を参照して、本実施形態の撮像装置１０１が他の撮像装置と通信して取得した情報に基づいて、重要度レベルを再計算する方法について説明する。図８は、撮像装置１０１が他の撮像装置との通信から重要度レベルを再計算する方法を示すフローチャートである。なお本実施形態では、撮像装置Ａが撮像装置Ｂからの情報を受信して重要度レベルを再計算する動作を例として説明するが、撮像装置Ｂが撮像装置Ａからの情報を受信して重要度レベルを再計算してもよい。または、互いに通信を行う撮像装置が３台以上でもよく、本実施形態の要旨の範囲内で種々の変形及び変更が可能である。
次に、図８を参照して、本実施形態の撮像装置１０１が他の撮像装置と通信して取得した情報に基づいて、重要度レベルを再計算する方法について説明する。図８は、撮像装置１０１が他の撮像装置との通信から重要度レベルを再計算する方法を示すフローチャートである。なお本実施形態では、撮像装置Ａが撮像装置Ｂからの情報を受信して重要度レベルを再計算する動作を例として説明するが、撮像装置Ｂが撮像装置Ａからの情報を受信して重要度レベルを再計算してもよい。または、互いに通信を行う撮像装置が３台以上でもよく、本実施形態の要旨の範囲内で種々の変形及び変更が可能である。
【0069】
また、他の撮像装置との通信から重要度レベルの再計算をする処理は本実施形態の機能を搭載した撮像装置同士が通信可能な範囲に設置された際に自動で行う設定にしてもよく、または、外部装置３０１のユーザ操作によって起動してもよい。通信可能範囲内に複数の撮像装置が設置されていても通信設定がＯＦＦである場合、他の撮像装置との通信から重要度レベルの再計算をする処理を行うことなく、各撮像装置が単独で動作する。
【0070】
また、図９（ａ）～（ｃ）乃至図１２（ａ）～（ｃ）は、図８のフローチャートを説明する上での一例であり、撮像装置Ａが撮像装置Ｂからの情報を受信して重要度レベルを再計算した際の動作例を示す。複数の撮像装置が互いに通信可能な範囲で被写体を取り囲むように設置して、通信結果に基づいて撮像装置がチルト回転ユニット１０４、パン回転ユニット１０５、およびズームユニット２０１を駆動制御しながら自動フレーミング撮影する場合を考える。
【0071】
まずステップＳ８０１において、撮像装置Ａ（撮像装置１０１）の画像処理部２０７は、ステップＳ５０２にて得られたエリア別の重要度レベルから最も高い重要度レベルａと該当するエリア情報とを取得する。すなわち画像処理部２０７は、撮像装置Ａで取得された第１画像データから特定被写体（第１被写体）の評価値（第１評価値）を取得する。図９（ｃ）は、重力方向で上から見た場合の撮像装置Ａ、Ｂの配置と被写体との位置関係を示す一例である。図９（ａ）は、撮像装置Ａの撮影範囲、図９（ｂ）は撮像装置Ｂの撮影範囲をそれぞれ示す。このとき、撮像装置Ａでは顔検出処理によってエリア９２０とエリア９２２について人物を検出する。また、被写体の大きさや被写体までの距離情報より、エリア９２０の人物がより撮像装置Ａに近いことからはエリア９２０を重要度レベルが最も高いと算出している。撮像装置Ａは、エリア９２０を重要度レベルが最も高いと算出しているため、エリア９２０の重要度レベルとエリア情報とを取得する。
【0072】
続いてステップＳ８０２において、撮像装置Ａは、通信部２２２を介して他の撮像装置（撮像装置Ｂ）と通信を行う。そして撮像装置Ａは、撮像装置Ｂから被写体までの距離、光軸方位角度、被写体検出情報（物体検出情報や顔情報や画像内の色相や彩度などの特徴情報）を取得する。
【0073】
続いてステップＳ８０３において、撮像装置Ａは、ステップＳ８０２にて得た撮像装置Ｂの被写体までの距離、光軸方位角度、被写体検出情報に基づいて、撮像装置Ａが追尾している被写体と同一の被写体を撮像装置Ｂが追尾しているか否かを判定する。被写体が同一と判定された場合、ステップＳ８０４へ進む。ステップＳ８０４において、撮像装置Ａは、通信部２２２を介して撮像装置Ｂから最も高い重要度レベルｂの情報を追加で取得する。すなわち撮像装置Ａは、特定被写体（第１被写体）を追尾している撮像装置Ｂ（他の撮像装置）との通信により、撮像装置Ｂにより取得された画像データ（第２画像データ）から取得された特定被写体（第１被写体）の評価値（第２評価値）を受信する。一方、被写体が同一と判定されなかった場合、本フローを終了し、ステップＳ５０６の手動撮影指示の判定へ進む。
【0074】
図９（ｂ）において、撮像装置Ｂはエリア９４１を重要度が最も高いエリアであると算出しており、撮像装置Ａと同一の被写体を追尾している。このため撮像装置Ａは、撮像装置Ｂから受信した被写体までの距離、光軸方位角度、被写体検出情報に基づいて同一被写体を追尾していると判定し、撮像装置Ｂからエリア９４１の重要度レベルｂを受信する。
【0075】
続いてステップＳ８０５において、撮像装置Ａは、ステップＳ８０１にて取得した撮像装置Ａの重要度レベルａが、ステップＳ８０４にて取得した撮像装置Ｂの重要度レベルｂよりも大きい（ａ＞ｂ）か否かを判定する。ａ＞ｂと判定された場合、撮像装置Ａは、撮像装置Ｂよりも、より被写体の特徴を捉えた撮影が可能である。そこで撮像装置Ａは、追尾対象エリアを変更せずに撮影を続けるために本フローを終了し、ステップＳ５０６の手動撮影指示の判定へ進む。一方、ａ≦ｂであると判定された場合、撮像装置Ｂは、撮像装置Ａよりも、より被写体の特徴を捉えた撮影が可能である。このため、現在の追尾対象エリアの被写体撮影は撮像装置Ｂに任せて、撮像装置Ａは別の被写体の撮影へ移行可能にする。すなわち撮像装置Ａは、第２評価値が第１評価値よりも大きい場合、第１被写体とは異なる第２被写体を追尾するように変更可能である。これにより、特定の被写体に偏ることなく満遍なく被写体を撮影することができ、全体としてよりよい撮影結果が得られる可能性が高くなるため、ステップＳ８０６へ移行する。
【0076】
ステップＳ８０６において、撮像装置Ａは、各エリアの重要度レベルの重みづけを変更し、再計算により重要度レベルａ´を算出する。すなわち撮像装置Ａの第１制御部２２３は、第２評価値（重要度レベルｂ）が第１評価値（重要度レベルａ）よりも大きい場合、第１画像データに関する重みづけを変更して第１評価値を再計算する。例えば、エリア９２０の重要度レベルを下げるか、または、エリア９１１～９２６のうちエリア９２０を除くエリアの重要度レベルを上げてもよい。重要度レベルａ´の再計算が終了すると、ステップＳ８０７に進む。
【0077】
ステップＳ８０７において、ステップＳ８０６にて再計算された重要度レベルａ´が追尾閾値（信頼度の閾値、所定の閾値）よりも大きいか否かを判定する。ステップＳ８０５にて現在の追尾対象エリアの撮影を撮像装置Ｂに任せて撮像装置Ａが別の被写体探索をしたとしても、別のエリアに注目すべき被写体がいないなどの場合が考えられる。追尾閾値は前記のような場面で撮像装置Ａが特徴の少ないエリアを探索することを防ぐために設けられる。重要度レベルａ´が追尾閾値よりも大きいと判定された場合、ステップＳ８０８に進む。一方、重要度レベルａ´が追尾閾値以下であると判定された場合、本フローを終了し、ステップＳ５０６の手動撮影指示の判定へ進む。
【0078】
図１０（ａ）～（ｃ）を例にして詳述する。図１０（ａ）～（ｃ）は、図９（ａ）～（ｃ）に対してエリア１０２２の被写体の顔が撮像装置Ａに写らない向きに存在する場合を示す。このとき、エリア１０２２の被写体の顔が見えないことに付随して、エリア１０１１～１０２６のすべてのエリアで再計算後の重要度レベルａ´が追尾閾値を上回らない場合が考えられる。このような場合、再計算の結果を反映せずに本フローを終了し、再計算前の重要度レベルａに基づいてステップＳ５０６の手動撮影指示判定へ進む。なお、信頼度の閾値として、出荷時にメモリ２１５に予め記憶させておいた値を使用してもよく、またはユーザによる外部装置３０１からの入力値を反映させてもよい。また、前述したニューラルネットワークに基づき、撮像装置Ａが自動で閾値を算出してもよい。
【0079】
ステップＳ８０８において、撮像装置Ａは、ステップＳ８０６にて再計算されたことにより、最も高い重要度レベルのエリアが変更されたか否かを判定する。最も高い重要度レベルのエリアが変更されたと判定された場合、ステップＳ８０９に進む。ステップＳ８０９において、撮像装置Ａは、重要度レベルａ´に基づいて探索対象エリアを変更する。そしてステップＳ５０３へ戻り、重要度レベルａ´によって変更された探索対象エリアを画角に捉える駆動を行う。一方、最も高い重要度レベルのエリアが変更されていないと判定された場合、本フローを終了し、ステップＳ５０６の手動撮影指示の判定へ進む。
【0080】
図１１（ａ）～（ｃ）を例に詳述する。図１１（ａ）～（ｃ）は、図９（ａ）～（ｃ）に対して一方の被写体が他方の被写体の陰に隠れる位置に存在する場合を示す。このとき、ステップＳ８０６にてエリア１１２０の重要度レベルを下げる、またはエリア１１１１～１１２６のうちエリア１１２０を除くエリアの重要度レベルを上げる処理が行われる。しかし、一方の被写体が死角に入ることで、再計算を行ってもエリア１１２０が最も高い重要度レベルだと算出される。このような場合、最も高い重要度レベルのエリアは変更されないと判定される。
【0081】
次に、図９（ａ）～（ｃ）および図１２（ａ）～（ｃ）を例に、最も高い重要度レベルのエリアが変更されたと判定された場合の動作を説明する。図９（ａ）～（ｃ）の状態で重要度レベルの再計算によりエリア１０２０の重要度レベルを下げる、またはエリア１０１１～１０２６のうちエリア１０２０を除くエリアの重要度レベルを上げると、エリア９２２が最も高い重要度レベルであると算出される。このような場合、エリア９２２を探索対象エリアと設定し、撮像装置Ａはエリア９２２を撮影範囲の略中心に位置するようにパン・チルト駆動を行う。図１２（ａ）～（ｃ）は、図９（ａ）～（ｃ）に対して探索対象エリアが変更され、撮像装置Ａがパン・チルト駆動した後の様子を示す。撮像装置Ａは、パン・チルト駆動によって撮影範囲を変更したことで、エリア１２２１を探索対象エリアとして被写体の追尾を行う。
【0082】
本実施形態によれば、複数の撮像装置が設置され、撮影したい被写体が複数存在する場合でも、被写体を取り逃すことなく自動でフレーミング調整および撮影を行うことができる。また本実施形態において、図１に示される構成のパン・チルト、およびズームを有する撮像装置１０１を複数台使用する例で説明したが、これに限定されるものではない。例えば、パン・チルトがないズームを有する撮像装置、または、ズームのないパン・チルトを有する撮像装置を用いてもよい。また、複数の撮像装置の一部の撮像装置として、ズームもパン・チルトもない固定焦点距離の撮像装置を用いてもよい。また、複数の撮像素子および広角な光学系を有し、全方位を一度に撮影する全方位撮像装置を用いてもよい。
【0083】
また本実施形態において、図９（ａ）～（ｃ）乃至図１２（ａ）～（ｃ）にて複数の撮像装置が互いに通信可能な範囲で被写体を取り囲むように設置し、通信結果に基づき撮像装置が自動フレーミング撮影する場合を説明したが、これに限定されるものではない。例えば、複数の撮像装置が重力方向と垂直な方向に並んで配置してもよく、または重力方向と同一の方向に配置してもよい。
【0084】
（第２実施形態）
＜電力情報受信時の動作＞
次に、図１３を参照して、本発明の第２実施形態について説明する。図１３は、撮像装置Ａが他の撮像装置（撮像装置Ｂ）の電力情報受信した際の動作を示すフローチャートである。図１３は、ステップＳ１３０１、Ｓ１３０２が追加されている点で、図８と異なる。図１３における他のフローは、図８と同様であるため、それらの説明を省略する。なお本実施形態において、第１実施形態と同様に、撮像装置Ａと撮像装置Ｂとは入れ替え可能であり、または、３台以上の撮像装置を用いてもよい。
＜電力情報受信時の動作＞
次に、図１３を参照して、本発明の第２実施形態について説明する。図１３は、撮像装置Ａが他の撮像装置（撮像装置Ｂ）の電力情報受信した際の動作を示すフローチャートである。図１３は、ステップＳ１３０１、Ｓ１３０２が追加されている点で、図８と異なる。図１３における他のフローは、図８と同様であるため、それらの説明を省略する。なお本実施形態において、第１実施形態と同様に、撮像装置Ａと撮像装置Ｂとは入れ替え可能であり、または、３台以上の撮像装置を用いてもよい。
【0085】
まずステップＳ１３０１において、撮像装置Ａは、通信部２２２を介して、撮像装置Ｂから電池残量に関する情報（電池残量情報）を取得する。続いてステップＳ１３０２において、撮像装置Ａは、撮像装置Ｂの電池残量が所定量以上であるか否かを判定する。電池残量が所定量以上であると判定された場合、ステップＳ８０１に進む。一方、電池残量が所定量未満であると判定された場合、本フローを終了し、ステップＳ５０６の手動撮影指示判定へ進む。このように本実施形態において、撮像装置Ａは、撮像装置Ｂの電池残量に応じて、第１被写体の追尾を継続するか否かを判定する。なお、ステップＳ８０１以降の処理は第１実施形態と同様のため、その説明を省略する。
【0086】
なお各実施形態では、第２評価値が第１評価値よりも大きい場合、撮像装置Ａは第１画像データに関する重みづけを変更して第１評価値を再計算するが、これに限定されるものではない。撮像装置Ａは、第２評価値が第１評価値よりも大きい場合、例えば、第１画像データにおける複数の評価値のうち二番目に高い評価値（第１評価値の次に高い評価値）を示す第２被写体を追尾するように追尾被写体を変更してもよい。
【0087】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0088】
各実施形態によれば、複数の撮像装置が設置され、個々の撮像装置で撮影する範囲、被写体を判定して撮影状況の変更・設定をした場合でも、被写体を取り逃すなどの煩わしさを低減することができる。このため各実施形態によれば、他の撮像装置とともに追尾対象の複数の被写体を撮影する際に、複数の被写体を適切に撮影可能な撮像装置を提供することができる。また、そのような撮像装置および他の撮像装置を含む撮像システム、撮像装置の制御方法、およびプログラムを提供することができる。
【0089】
各実施形態の開示は、以下の構成および方法を含む。
【0090】
（構成１）
第１被写体を追尾しながら第１画像データを取得する撮像手段と、
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算する制御手段とを有することを特徴とする撮像装置。
（構成２）
第１被写体を追尾しながら第１画像データを取得する撮像手段と、
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能な制御手段とを有することを特徴とする撮像装置。
（構成３）
前記第１評価値は、前記第１画像データの複数の領域のそれぞれに関して取得された複数の評価値のうち最も高い評価値であることを特徴とする構成１または２に記載の撮像装置。
（構成４）
前記制御手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域の少なくとも一つの領域に関する重みづけを変更し、変更後の重みづけで前記第１評価値を再計算することを特徴とする構成３に記載の撮像装置。
（構成５）
前記取得手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域のうち前記第１被写体が存在する領域に関する前記重みづけを小さくすることを特徴とする構成４に記載の撮像装置。
（構成６）
前記取得手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域のうち前記第１被写体が存在する領域とは異なる領域に関する前記重みづけを大きくすることを特徴とする構成４または５に記載の撮像装置。
（構成７）
前記制御手段は、
再計算された前記第１評価値が所定の閾値よりも小さい場合、前記第１被写体を追尾し、
再計算された前記第１評価値が前記所定の閾値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾することを特徴とする構成４乃至６のいずれかに記載の撮像装置。
（構成８）
前記第１評価値は、前記第１画像データの複数の領域のそれぞれに関して取得された複数の評価値のうち最も高い評価値であり、
前記制御手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の評価値のうち二番目に高い評価値を示す前記第２被写体を追尾することを特徴とする構成２に記載の撮像装置。
（構成９）
前記制御手段は、パン・チルト駆動により被写体追尾を行うことを特徴とする構成１乃至８のいずれかに記載の撮像装置。
（構成１０）
前記制御手段は、ズーム駆動により被写体追尾を行うことを特徴とする構成１乃至９のいずれかに記載の撮像装置。
（構成１１）
前記受信手段は、前記他の撮像装置から、該他の撮像装置の電池残量に関する情報を受信し、
前記制御手段は、前記電池残量に応じて、前記第１被写体の追尾を継続するか否かを判定することを特徴とする構成１乃至１０のいずれかに記載の撮像装置。
（構成１２）
前記制御手段は、
前記電池残量が所定量よりも小さい場合、前記第１被写体の追尾を継続し、
前記電池残量が前記所定量よりも多い場合、前記第１被写体とは異なる第２被写体の追尾への変更を可能にすることを特徴とする構成１１に記載の撮像装置。
（構成１３）
第１撮像装置と、該第１撮像装置と通信可能な第２撮像装置とを有する撮像システムであって、
前記第１撮像装置または前記第２撮像装置は、構成１乃至１２のいずれかに記載の撮像装置であることを特徴とする撮像システム。
（方法１）
第１被写体を追尾しながら取得された第１画像データから、前記第１被写体の第１評価値を取得するステップと、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算するステップとを有することを特徴とする撮像装置の制御方法。
（方法２）
第１被写体を追尾しながら取得された第１画像データから、前記第１被写体の第１評価値を取得するステップと、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能なステップとを有することを特徴とする撮像装置の制御方法。
（構成１４）
方法１または２に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
第１被写体を追尾しながら第１画像データを取得する撮像手段と、
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算する制御手段とを有することを特徴とする撮像装置。
（構成２）
第１被写体を追尾しながら第１画像データを取得する撮像手段と、
前記第１画像データから前記第１被写体の第１評価値を取得する取得手段と、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を受信する受信手段と、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能な制御手段とを有することを特徴とする撮像装置。
（構成３）
前記第１評価値は、前記第１画像データの複数の領域のそれぞれに関して取得された複数の評価値のうち最も高い評価値であることを特徴とする構成１または２に記載の撮像装置。
（構成４）
前記制御手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域の少なくとも一つの領域に関する重みづけを変更し、変更後の重みづけで前記第１評価値を再計算することを特徴とする構成３に記載の撮像装置。
（構成５）
前記取得手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域のうち前記第１被写体が存在する領域に関する前記重みづけを小さくすることを特徴とする構成４に記載の撮像装置。
（構成６）
前記取得手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の領域のうち前記第１被写体が存在する領域とは異なる領域に関する前記重みづけを大きくすることを特徴とする構成４または５に記載の撮像装置。
（構成７）
前記制御手段は、
再計算された前記第１評価値が所定の閾値よりも小さい場合、前記第１被写体を追尾し、
再計算された前記第１評価値が前記所定の閾値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾することを特徴とする構成４乃至６のいずれかに記載の撮像装置。
（構成８）
前記第１評価値は、前記第１画像データの複数の領域のそれぞれに関して取得された複数の評価値のうち最も高い評価値であり、
前記制御手段は、前記第２評価値が前記第１評価値よりも大きい場合、前記複数の評価値のうち二番目に高い評価値を示す前記第２被写体を追尾することを特徴とする構成２に記載の撮像装置。
（構成９）
前記制御手段は、パン・チルト駆動により被写体追尾を行うことを特徴とする構成１乃至８のいずれかに記載の撮像装置。
（構成１０）
前記制御手段は、ズーム駆動により被写体追尾を行うことを特徴とする構成１乃至９のいずれかに記載の撮像装置。
（構成１１）
前記受信手段は、前記他の撮像装置から、該他の撮像装置の電池残量に関する情報を受信し、
前記制御手段は、前記電池残量に応じて、前記第１被写体の追尾を継続するか否かを判定することを特徴とする構成１乃至１０のいずれかに記載の撮像装置。
（構成１２）
前記制御手段は、
前記電池残量が所定量よりも小さい場合、前記第１被写体の追尾を継続し、
前記電池残量が前記所定量よりも多い場合、前記第１被写体とは異なる第２被写体の追尾への変更を可能にすることを特徴とする構成１１に記載の撮像装置。
（構成１３）
第１撮像装置と、該第１撮像装置と通信可能な第２撮像装置とを有する撮像システムであって、
前記第１撮像装置または前記第２撮像装置は、構成１乃至１２のいずれかに記載の撮像装置であることを特徴とする撮像システム。
（方法１）
第１被写体を追尾しながら取得された第１画像データから、前記第１被写体の第１評価値を取得するステップと、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１画像データに関する重みづけを変更して前記第１評価値を再計算するステップとを有することを特徴とする撮像装置の制御方法。
（方法２）
第１被写体を追尾しながら取得された第１画像データから、前記第１被写体の第１評価値を取得するステップと、
前記第１被写体を追尾している他の撮像装置との通信により、前記他の撮像装置により取得された第２画像データから取得された前記第１被写体の第２評価値を取得するステップと、
前記第２評価値が前記第１評価値よりも大きい場合、前記第１被写体とは異なる第２被写体を追尾するように変更可能なステップとを有することを特徴とする撮像装置の制御方法。
（構成１４）
方法１または２に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
【0091】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0092】
１０１ 撮像装置
２０６ 撮像部（撮像手段）
２０７ 画像処理部（取得手段）
２２２ 通信部（受信手段）
２２３ 第１制御部（制御手段）
２０６ 撮像部（撮像手段）
２０７ 画像処理部（取得手段）
２２２ 通信部（受信手段）
２２３ 第１制御部（制御手段）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
