知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025038771
(43)【公開日】2025-03-19
(54)【発明の名称】撮影制御装置および撮影制御方法、ならびに撮像システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20250312BHJP
H04N 23/69 20230101ALI20250312BHJP
H04N 23/695 20230101ALI20250312BHJP
H04N 23/661 20230101ALI20250312BHJP
G03B 15/00 20210101ALI20250312BHJP
G03B 17/00 20210101ALI20250312BHJP
【ＦＩ】
H04N23/60 100
H04N23/69
H04N23/695
H04N23/60 300
H04N23/661
G03B15/00 F
G03B15/00 P
G03B15/00 Q
G03B15/00 H
G03B17/00 B
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023145574
(22)【出願日】2023-09-07
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】山岸 正治
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA02
5C122EA42
5C122EA65
5C122EA66
5C122FA18
5C122FE02
5C122FH04
5C122FH09
5C122FH11
5C122FH14
5C122FK37
5C122FK41
5C122GC07
5C122GC52
5C122GD06
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB05
5C122HB09
5C122HB10
(57)【要約】
【課題】省力化を実現しつつ、より自由度の高い自動撮影制御が可能な撮影制御装置および撮影制御方法を提供すること。
【解決手段】撮影制御装置は、複数のカメラのうち、メインカメラの状態または映像から情報を取得する。撮影制御装置は、複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、情報とに基づいて制御する。撮影制御装置は情報として、メインカメラの注目被写体の情報及びメインカメラの画角に関する情報を取得する。撮影制御装置は、サブカメラに設定された役割と情報とに基づいて、サブカメラの撮影方向及び画角を制御する。
【選択図】図１
【解決手段】撮影制御装置は、複数のカメラのうち、メインカメラの状態または映像から情報を取得する。撮影制御装置は、複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、情報とに基づいて制御する。撮影制御装置は情報として、メインカメラの注目被写体の情報及びメインカメラの画角に関する情報を取得する。撮影制御装置は、サブカメラに設定された役割と情報とに基づいて、サブカメラの撮影方向及び画角を制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のカメラのうち、メインカメラの状態または映像から情報を取得する取得手段と、
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御する制御手段と、を有し、
前記取得手段は、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得し、
前記制御手段は、前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御する、
ことを特徴とする撮影制御装置。
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御する制御手段と、を有し、
前記取得手段は、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得し、
前記制御手段は、前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御する、
ことを特徴とする撮影制御装置。
【請求項2】
前記制御手段は、前記サブカメラに設定された役割に応じて、前記注目被写体または前記注目被写体とは別の被写体を前記サブカメラの追尾被写体に決定し、前記追尾被写体を追尾するように前記サブカメラの撮影方向を制御することを特徴とする請求項１に記載の撮影制御装置。
【請求項3】
前記制御手段は、前記追尾被写体を含む複数の被写体を追尾するように前記サブカメラの撮影方向を制御することを特徴とする請求項２に記載の撮影制御装置。
【請求項4】
前記制御手段は、前記追尾被写体を含む複数の被写体を追尾するように前記サブカメラの撮影方向を制御する際、前記複数の被写体の位置の重心を追尾するように前記サブカメラの撮影方向を制御することを特徴とする請求項３に記載の撮影制御装置。
【請求項5】
前記サブカメラが複数である場合、前記制御手段は、複数の前記サブカメラに異なる追尾被写体を決定することを特徴とする請求項１に記載の撮影制御装置。
【請求項6】
前記メインカメラと前記サブカメラとは動的に変更可能であることを特徴とする請求項１に記載の撮影制御装置。
【請求項7】
前記サブカメラが手動操作されると、前記メインカメラと前記サブカメラとが変更されることを特徴とする請求項６に記載の撮影制御装置。
【請求項8】
前記複数のカメラのうち、映像が外部装置で選択されているカメラを前記メインカメラとすることを特徴とする請求項６に記載の撮影制御装置。
【請求項9】
前記制御手段は、前記複数のカメラの撮影範囲の全体を撮影する、前記複数のカメラとは別のカメラで撮影された映像に基づいて、前記サブカメラの撮影方向を決定することを特徴とする請求項１に記載の撮影制御装置。
【請求項10】
前記サブカメラは外部からパンおよびチルト動作を制御可能であることを特徴とする請求項１に記載の撮影制御装置。
【請求項11】
前記制御手段は、前記サブカメラに設定された役割に応じて、前記メインカメラの画角変化と同位相で、あるいは逆位相で前記サブカメラの画角を制御する、
ことを特徴とする請求項１に記載の撮影制御装置。
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項12】
前記メインカメラの画角に関する情報は、前記メインカメラのズーム状態を表す情報であって、
前記制御手段は、前記サブカメラに設定された役割と前記メインカメラのズーム状態を表す情報とに基づいて、前記サブカメラのズーム動作を制御することを特徴とする請求項１に記載の撮影制御装置。
前記制御手段は、前記サブカメラに設定された役割と前記メインカメラのズーム状態を表す情報とに基づいて、前記サブカメラのズーム動作を制御することを特徴とする請求項１に記載の撮影制御装置。
【請求項13】
前記サブカメラは外部からズーム動作を制御可能であることを特徴とする請求項１に記載の撮影制御装置。
【請求項14】
請求項１から１３のいずれか１項に記載の撮影制御装置と、
前記複数のカメラと、
前記撮影制御装置と前記複数のカメラとを通信可能に接続する通信ネットワークと、
を有することを特徴とする撮像システム。
前記複数のカメラと、
前記撮影制御装置と前記複数のカメラとを通信可能に接続する通信ネットワークと、
を有することを特徴とする撮像システム。
【請求項15】
撮影制御装置が実行する撮影制御方法であって、
複数のカメラのうち、メインカメラの状態または映像から情報を取得することと、
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御することと、を有し、
前記取得することは、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得することを含み、
前記制御することは、
前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御することと、を含む、ことを特徴とする撮影制御方法。
複数のカメラのうち、メインカメラの状態または映像から情報を取得することと、
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御することと、を有し、
前記取得することは、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得することを含み、
前記制御することは、
前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御することと、を含む、ことを特徴とする撮影制御方法。
【請求項16】
コンピュータを、請求項１から１３のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮影制御装置および撮影制御方法、ならびに撮像システムに関し、特には複数の撮像装置を制御する技術に関する。
【背景技術】
【0002】
特許文献１には、複数のカメラをメインカメラとサブカメラとに分け、メインカメラの被写体と同じ被写体を撮影するようにサブカメラを制御する撮像システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－２５２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、サブカメラの撮影を自動制御可能であるため、省力化が実現できる。しかしながら、サブカメラの撮影制御の自由度に改善の余地があった。
【0005】
そこで、本発明はその一態様において、省力化を実現しつつ、より自由度の高い自動撮影制御が可能な撮影制御装置および撮影制御方法を提供する。
【課題を解決するための手段】
【0006】
本発明はその一態様において、複数のカメラのうち、メインカメラの状態または映像から情報を取得する取得手段と、複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、情報とに基づいて制御する制御手段と、を有し、取得手段は、情報として、メインカメラの注目被写体の情報及びメインカメラの画角に関する情報を取得し、制御手段は、サブカメラに設定された役割と情報とに基づいて、サブカメラの撮影方向及び画角を制御する、ことを特徴とする撮影制御装置を提供する。
【発明の効果】
【0007】
本発明によれば、省力化を実現しつつ、より自由度の高い自動撮影制御が可能な撮影制御装置および撮影制御方法を提供することができる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る撮像システムの模式図
【図2】第１実施形態に係る撮像システムの各装置の機能構成例を示すブロック図
【図3】実施形態に係る撮影制御装置を主要な動作と信号の流れに着目して表した図
【図4】実施形態においてサブカメラに設定可能な役割と制御内容の例を示す図
【図5】第１実施形態における役割決定処理に関するフローチャート
【図6】実施形態に係る撮像システムの各装置の動作に関するフローチャート
【図7】実施形態における座標変換を説明するための図
【図8】実施形態における被写体検出と座標変換に関する図
【図9】第１実施形態におけるサブカメラの動作制御の模式図
【図10】第１実施形態におけるサブカメラの別の動作制御の模式図
【図11】実施形態におけるパン値算出を説明するための図
【図12】実施形態におけるチルト値算出を説明するための図
【図13】第１実施形態におけるメインカメラとサブカメラとのズーム値のマッピング例を示す図
【図14】第１実施形態におけるサブカメラの役割に応じた制御内容の決定処理に関するフローチャート
【図15】第１実施形態におけるサブカメラの役割に応じた制御の模式図
【図16】第１実施形態におけるサブカメラの役割に応じた制御の模式図
【図17】第１実施形態の変形例における複数被写体の追尾動作の模式図
【図18】第２実施形態に係る撮像システムの模式図
【図19】第２実施形態で設定可能な役割と制御内容の例を示す図
【図20】第２実施形態におけるサブカメラの追尾被写体に関する制御の例を示す模式図
【発明を実施するための形態】
【0009】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
●＜第１実施形態＞
（マルチカメラ撮像システムの概要）
図１は、本実施形態に係るマルチカメラ撮像システム１０（以下、単に撮像システムという）の構成例を示す模式図である。撮像システム１０は、複数のカメラ３００、４００、５００と、撮影制御装置１００と、役割制御装置６００とを有する。複数のカメラ３００、４００、５００、撮影制御装置１００、および役割制御装置６００は、通信ネットワーク７００を通じて通信可能に接続されている。
（マルチカメラ撮像システムの概要）
図１は、本実施形態に係るマルチカメラ撮像システム１０（以下、単に撮像システムという）の構成例を示す模式図である。撮像システム１０は、複数のカメラ３００、４００、５００と、撮影制御装置１００と、役割制御装置６００とを有する。複数のカメラ３００、４００、５００、撮影制御装置１００、および役割制御装置６００は、通信ネットワーク７００を通じて通信可能に接続されている。
【0011】
通信ネットワーク７００は、ＩＥＥＥ８０２．３シリーズ、１ＥＥＥ８０２．１１シリーズなど公知の有線または無線通信規格に準拠している。また、複数のカメラ３００、４００、５００のそれぞれと、撮影制御装置１００と、役割制御装置６００とは、通信ネットワーク７００の規格に準拠した通信インタフェースを有する。
【0012】
複数のカメラ３００、４００、５００のうち、カメラ３００は予め定められた撮影範囲の全体を撮影する。撮影範囲は例えばスタジオにおいて撮影対象の被写体が存在しうる範囲として設定されている。したがって、カメラ３００の映像には、撮影範囲内の被写体がすべて撮影されている。
【0013】
カメラ３００の目的は、撮影範囲内に存在する撮影対象の被写体を検出するための画像を撮影することである。したがって、カメラ３００の撮影方向および画角はカメラ３００の位置と撮影範囲とに応じて定まり、撮影中は基本的に固定である。また、カメラ３００は、撮影範囲の全体を、撮影範囲外の物体で隠されないように撮影することが好ましい。そのため、ここではカメラ３００を撮影範囲の全体を俯瞰する位置に設けている。撮影中の撮影方向や画角が基本的に固定でない他のカメラ４００および５００と区別するため、以下ではカメラ３００を俯瞰カメラと呼ぶ。ただし、カメラ３００の設置位置は、撮影範囲を俯瞰する位置に限定されない。俯瞰カメラ３００の動作は撮影制御装置１００から制御可能である。
【0014】
カメラ４００および５００は例えばＰＴＺカメラであり、撮影方向（パンおよびチルト角度）、画角（ズーム）を含む動作を外部装置から制御可能である。ここではカメラ５００の動作を撮像システムのユーザが制御し、カメラ４００の動作を撮影制御装置１００が制御するものとする。以下では、撮影制御装置１００が、カメラ５００の状態に基づいてカメラ４００の動作を制御するため、カメラ５００をメインカメラ、カメラ４００をサブカメラと呼ぶ。説明および理解を容易にするため、サブカメラ４００を１台のみ示しているが、サブカメラの台数は複数であってよい。なお、メインカメラ５００はユーザが直接操作してもよい。また、カメラ４００および５００は、カメラ本体を雲台に取り付けることで撮影方向（パンおよびチルト角度）を制御可能にした構成であってもよい。また、カメラ４００および５００は、カメラ本体にズーム可能な交換レンズを装着した構成であってもよい。
【0015】
ここで、本実施形態では、役割制御装置６００には操作者が存在するものとする。また、撮影制御装置１００にも操作者（ユーザ）が存在してもよいが、必須ではない。役割制御装置６００の操作者が撮影制御装置１００のユーザであってもよい。俯瞰カメラ３００およびサブカメラ４００の撮影は撮影制御装置１００が制御するため、撮影者は不要である。メインカメラ５００は操作者または撮影者が存在するものとする。このように、いくつかの装置の操作者または撮影者を必要としない構成により、省力化を実現することができる。
【0016】
なお、図１では通信ネットワーク７００ですべての信号が通信されるように記載しているが、例えば映像信号と制御信号とは別の方法で通信されてもよい。例えば、複数のカメラ３００、４００、５００のそれぞれは、映像信号をケーブルで撮影制御装置１００に直接供給してもよい。カメラ３００、４００、５００および撮影制御装置１００は、映像信号の規格に応じた通信回路を有する。映像信号の規格は、例えばＳＤＩ(Serial Digital Interface)規格やＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）などがあるが、これらに限定されない。
【0017】
撮影制御装置１００は、俯瞰カメラ３００から受信した映像信号から被写体を検出する。撮影制御装置１００は、被写体の検出結果と、メインカメラ５００の状態と、サブカメラ設定された役割とに基づいて、サブカメラの撮影方向および画角を決定する。撮影制御装置１００は、決定した撮影方向および画角を含んだ制御コマンドをサブカメラ４００に送信する。役割の設定を変更することにより、サブカメラ４００の撮影方向および画角の決定方法を異ならせることができ、サブカメラ４００の動作制御の自由度を高めることができる。
【0018】
（各装置の機能構成例）
図２は、図１に示したマルチカメラ撮像システムを構成する各機器の機能構成例を示すブロック図である。なお、図面において機能ブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つの機能ブロックが複数の集積回路パッケージによって実現されてもよいし、複数の機能ブロックが１つの集積回路パッケージによって実現されてもよい。また、同一の機能ブロックが、動作環境や要求される能力などに応じて異なる構成で実施されてもよい。
図２は、図１に示したマルチカメラ撮像システムを構成する各機器の機能構成例を示すブロック図である。なお、図面において機能ブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つの機能ブロックが複数の集積回路パッケージによって実現されてもよいし、複数の機能ブロックが１つの集積回路パッケージによって実現されてもよい。また、同一の機能ブロックが、動作環境や要求される能力などに応じて異なる構成で実施されてもよい。
【0019】
（撮影制御装置１００）
まず、撮影制御装置１００の機能構成例について説明する。撮影制御装置１００は、例えばパーソナルコンピュータやワークステーションといった汎用コンピュータ機器であってよい。撮影制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、推論部１０４、ネットワークインタフェース（Ｉ／Ｆ）１０５、ユーザ入力部１０６、表示部１０８が内部バス１１０を介して相互に接続された構成を有する。
まず、撮影制御装置１００の機能構成例について説明する。撮影制御装置１００は、例えばパーソナルコンピュータやワークステーションといった汎用コンピュータ機器であってよい。撮影制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、推論部１０４、ネットワークインタフェース（Ｉ／Ｆ）１０５、ユーザ入力部１０６、表示部１０８が内部バス１１０を介して相互に接続された構成を有する。
【0020】
ＣＰＵ１０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ１０１は、例えば、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０２に読み込んで実行することにより、後述する撮影制御装置１００の機能を実現する。ＣＰＵ１０１は、例えば、基本ソフト（ＯＳ）上で稼働する撮影制御アプリケーションを実行することにより、撮影制御装置１００の機能を実現することができる。
【0021】
ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムをロードしたり、ＣＰＵ１０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ１０２の一部は表示部１０８のビデオメモリとして用いられてもよい。
【0022】
ＲＯＭ１０３は書き換え可能な不揮発性メモリであり、ＣＰＵ１０１が実行するプログラム（ＯＳおよびアプリケーション）、ユーザデータなどを記憶する。
【0023】
推論部１０４は、俯瞰カメラ３００の映像に対して、機械学習モデルを用いた被写体領域の検出処理を実行する。推論部１０４は例えばＧＰＵ(Graphics Processing Unit)、ＮＰＵ(Neural network Processing Unit)など、機械学習モデルの演算を高速に実行可能なハードウェア回路を用いて実施することができる。あるいは推論部１０４はＦＰＧＡ(Field-Programmable Gate Array)といった再構成可能な論理回路を用いて実施してもよい。ＣＰＵ１０１がプログラムを実行して推論部１０４の機能を実現してもよい。
【0024】
機械学習モデルは、検出する被写体の種類に応じて学習した畳み込みニューラルネットワーク（ＣＮＮ）であってよい。ここでは推論部１０４が、入力画像から人体領域または人間の顔領域を被写体領域として検出するものとする。また、推論部１０４は、検出した被写体領域ごとに、被写体領域が内接する矩形領域の位置および大きさ、検出信頼度を出力するものとする。なお、複数種の機械学習モデルを用い、同一の入力画像に対して種類の異なる被写体領域の検出処理を実行してもよい。なお、推論部１０４は、機械学習モデルを使用しない公知の方法で被写体領域の検出処理を実施してもよい。推論部１０４は、例えば、SIFTやSURFといった局所特徴量を用いる方法や、パターンマッチングを用いる方法などを用いて被写体領域を検出することができる。
【0025】
ネットワークＩ／Ｆ１０５は撮影制御装置１００を通信ネットワーク７００に接続するためのインタフェースである。撮影制御装置１００（ＣＰＵ１０１）は、ネットワークＩ／Ｆ１０５を通じて、俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、役割制御装置６００など、通信ネットワーク７００上の外部装置と通信することができる。なお、撮影制御装置１００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を通じて外部装置と通信してもよい。
【0026】
ＣＰＵ１０１は、通信ネットワーク７００上の各装置（俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、役割制御装置６００）と通信するため、各装置のネットワークアドレスを任意のタイミングで取得し、ＲＡＭ１０２に記憶する。また、ＣＰＵ１０１は、各装置の情報（装置の種類、機種名など）も、任意のタイミング（例えば最初の通信時）に取得し、ＲＡＭ１０２に記憶する。このように、ＣＰＵ１０１は、俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、役割制御装置６００について、少なくとも識別情報と装置の種類について既知であるものとする。なお、ユーザが個々の装置に任意の名称を付与できるようにしてもよい。
【0027】
ユーザ入力部１０６は、マウス、キーボード、タッチパネルなどの入力デバイス（不図示）である。撮影制御装置１００は、ユーザ入力部１０６を通じてユーザの指示を受け付ける。
【0028】
表示部１０８は、液晶ディスプレイ（ＬＣＤ）などの表示装置である。表示部１０８は、ＯＳや撮影制御アプリケーションなどが提供するＧＵＩ画面を表示する。
【0029】
（俯瞰カメラ３００）
次に、俯瞰カメラ３００の機能構成例について説明する。
ＣＰＵ３０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ３０１は、例えば、ＲＯＭ３０３に記憶されたプログラムをＲＡＭ３０２に読み込んで実行することにより、各機能ブロックの動作を制御し、後述する俯瞰カメラ３００の機能を実現する。
次に、俯瞰カメラ３００の機能構成例について説明する。
ＣＰＵ３０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ３０１は、例えば、ＲＯＭ３０３に記憶されたプログラムをＲＡＭ３０２に読み込んで実行することにより、各機能ブロックの動作を制御し、後述する俯瞰カメラ３００の機能を実現する。
【0030】
ＲＡＭ３０２は、ＣＰＵ３０１が実行するプログラムをロードしたり、ＣＰＵ３０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ３０２は撮影で得られた映像信号のバッファとして用いられてもよい。
【0031】
ＲＯＭ３０８は書き換え可能な不揮発性メモリである。ＲＯＭ３０８は、ＣＰＵ３０１が実行するプログラム、俯瞰カメラ３００の設定値、ユーザデータなどを記憶する。なお、ＲＯＭ３０８は、映像信号の記録先としても用いることができる。ＲＯＭ３０８は、内蔵メモリと着脱可能なメモリカードとを含んでもよい。
【0032】
画像センサ３０７は、撮影光学系と撮像素子とを有する。撮像素子は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子は複数の画素が２次元配列された画素アレイと、各画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された被写体像を表す画素信号群（アナログ画像信号）が得られる。
【0033】
画像処理部３０６は、画像センサ３０７が出力するアナログ画像信号に対して予め定められた信号処理および画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。
【0034】
画像処理部３０６が適用する処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、Ａ／Ｄ変換、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、画像センサ３０７にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補間処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系の周辺減光の影響の補正、色補正などの処理が含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。外部に出力する映像信号や、ＲＯＭ３０８に記録する映像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。ＡＦやＡＥはＣＰＵ３０１が実行する。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部３０６が適用可能な処理の例示であり、画像処理部３０６が適用する処理を限定するものではない。
画像処理部３０６は、取得もしくは生成した情報やデータを、用途に応じてＣＰＵ３０１、ＲＡＭ３０２などに出力する。
前処理には、Ａ／Ｄ変換、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、画像センサ３０７にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補間処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系の周辺減光の影響の補正、色補正などの処理が含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。外部に出力する映像信号や、ＲＯＭ３０８に記録する映像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。ＡＦやＡＥはＣＰＵ３０１が実行する。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部３０６が適用可能な処理の例示であり、画像処理部３０６が適用する処理を限定するものではない。
画像処理部３０６は、取得もしくは生成した情報やデータを、用途に応じてＣＰＵ３０１、ＲＡＭ３０２などに出力する。
【0035】
なお、画像処理部３０６で適用する処理の種類や設定は、撮影制御装置１００から俯瞰カメラ３００にコマンドを送信することによって制御可能である。
【0036】
ネットワークＩ／Ｆ３０５は、俯瞰カメラ３００を通信ネットワーク７００に接続するためのインタフェースである。俯瞰カメラ３００（ＣＰＵ３０１）は、ネットワークＩ／Ｆ３０５を通じて、撮影制御装置１００、サブカメラ４００、メインカメラ５００、役割制御装置６００など、通信ネットワーク７００上の外部装置と通信することができる。なお、俯瞰カメラ３００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなど）を通じて外部装置と通信してもよい。
【0037】
（サブカメラ４００）
次に、サブカメラ４００の機能構成例について説明する。サブカメラ４００と俯瞰カメラ３００とで同じ名称の機能ブロックは同じ機能を有するものとし、説明を省略する。
次に、サブカメラ４００の機能構成例について説明する。サブカメラ４００と俯瞰カメラ３００とで同じ名称の機能ブロックは同じ機能を有するものとし、説明を省略する。
【0038】
上述の通り、サブカメラ４００はＰＴＺカメラであり、撮影の方向および画角を外部から制御可能である。そのため、サブカメラ４００は、パンおよびチルト動作とズーム動作が可能な駆動部４０９と、駆動Ｉ／Ｆ４０８とを有している。駆動Ｉ／Ｆ４０８は駆動部４０９とＣＰＵ４０１との通信インタフェースである。
【0039】
駆動部４０９は、サブカメラ４００をパンおよびチルト可能に支持するパン／チルト機構と、撮影光学系の画角を変化させるズーム機構と、これらの機構を駆動するモータなどを有する。ズーム機構は画像処理部４０６による画像の拡大・縮小を用いてもよい。駆動部４０９は駆動Ｉ／Ｆ４０８を通じてＣＰＵ４０１から受信する指示に従ってモータを駆動し、撮影光学系の光軸方向および画角を調整する。
【0040】
（メインカメラ５００）
次に、メインカメラ５００の機能構成例について説明する。メインカメラ５００とサブカメラ４００とで同じ名称の機能ブロックは同じ機能を有するものとし、説明を省略する。メインカメラ５００はユーザが操作する。ここでは、ユーザが通信ネットワーク７００を通じてコマンドを送信することによりメインカメラ５００を遠隔操作するものとする。しかし、メインカメラ５００がＰＴＺカメラでない場合などには、メインカメラ５００をユーザが直接操作してもよい。
次に、メインカメラ５００の機能構成例について説明する。メインカメラ５００とサブカメラ４００とで同じ名称の機能ブロックは同じ機能を有するものとし、説明を省略する。メインカメラ５００はユーザが操作する。ここでは、ユーザが通信ネットワーク７００を通じてコマンドを送信することによりメインカメラ５００を遠隔操作するものとする。しかし、メインカメラ５００がＰＴＺカメラでない場合などには、メインカメラ５００をユーザが直接操作してもよい。
【0041】
撮影制御装置１００（ＣＰＵ１０１）は、サブカメラ４００およびメインカメラ５００の撮影方向や画角の情報を、ネットワークＩ／Ｆ５０５を通じてサブカメラ４００およびメインカメラ５００から取得可能である。なお、撮影方向は、予め定められた基準方向を０°とした、駆動部４０９および５０９のパンおよびチルト角度であってよい。基準方向は、撮影範囲に正対する方向であってよい。
【0042】
（役割制御装置６００）
次に、役割制御装置６００の機能構成例について説明する。
ＣＰＵ６０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ６０１は、例えば、ＲＯＭ６０３に記憶された役割設定プログラムをＲＡＭ６０２に読み込んで実行することにより、各機能ブロックの動作を制御し、役割制御装置６００の機能を実現する。
次に、役割制御装置６００の機能構成例について説明する。
ＣＰＵ６０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ６０１は、例えば、ＲＯＭ６０３に記憶された役割設定プログラムをＲＡＭ６０２に読み込んで実行することにより、各機能ブロックの動作を制御し、役割制御装置６００の機能を実現する。
【0043】
ＲＡＭ６０２は、ＣＰＵ６０１が実行するプログラムをロードしたり、ＣＰＵ６０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ６０２の一部は表示部６０８のビデオメモリとして用いられてもよい。
【0044】
ＲＯＭ６０３は書き換え可能な不揮発性メモリであり、ＣＰＵ６０１が実行するプログラム、役割制御装置６００の設定値、ユーザデータなどを記憶する。
【0045】
ユーザ入力部６１１は、例えばボタン、ダイヤル、ジョイスティック、タッチパネルなどの入力デバイスである。役割制御装置６００は、ユーザ入力部６１１を通じて、サブカメラ４００の役割の設定に関するユーザの指示を受け付ける。
【0046】
ネットワークＩ／Ｆ６０５は、役割制御装置６００を通信ネットワーク７００に接続するためのインタフェースである。役割制御装置６００（ＣＰＵ６０１）は、ネットワークＩ／Ｆ６０５を通じて、俯瞰カメラ３００、サブカメラ４００、撮影制御装置１００など、通信ネットワーク７００上の外部装置と通信することができる。なお、役割制御装置６００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなど）を通じて外部装置と通信してもよい。
【0047】
表示部６０８は、液晶ディスプレイ（ＬＣＤ）などの表示装置である。表示部６０８は、ＯＳや役割設定アプリケーションなどが提供するＧＵＩ画面を表示する。
【0048】
役割制御装置６００は、例えばＲＯＭ６０３に、役割設定情報を記憶している。役割設定情報は、サブカメラ４００の識別情報と、設定されている役割を示す情報とが対応付けられた情報である。ＣＰＵ６０１は、役割設定アプリケーションを実行することにより、表示部６０８に役割設定画面を表示する。役割設定画面には、例えば、サブカメラ４００の識別情報（ネットワークアドレス、ユーザが設定した名称など）と、現在設定されている役割の名称とが対応付けて表示される。現在設定されている役割の初期値は予め設定されたデフォルトの役割であってよい。ユーザは所望のサブカメラ４００に関連付けられて表示されている現在の役割を、ユーザ入力部６１１を操作して変更することができる。
【0049】
役割設定画面に含まれるＯＫボタンの操作など、設定動作の終了を示すユーザ操作を検出すると、ＣＰＵ６０１は、役割設定画面の内容に従って、ＲＯＭ１０３に記憶されている役割設定情報を更新する。
【0050】
ＣＰＵ６０１は、ネットワークＩ／Ｆ６０５を通じて役割取得コマンドを受信すると、ＲＯＭ１０３に記憶されている役割設定情報を読み出し、役割取得コマンドの送信元に送信する。
【0051】
なお、図１および図２では、役割制御装置６００を独立した装置として記載しているが、例えば撮影制御装置１００で実行する撮影制御アプリケーションが役割制御装置６００と同様の機能を提供してもよい。また、サブカメラ４００に役割を直接設定し、撮影制御装置１００が、サブカメラ４００に割り当てられている役割をサブカメラ４００から取得してもよい。
【0052】
サブカメラ４００に設定可能な役割とは、メインカメラ５００から得られる情報をサブカメラ４００の動作制御にどのように利用するかを予め定めたものである。ここでは一例として、サブカメラ４００の追尾被写体およびズーム動作の制御にメインカメラの情報を利用するものとする。
【0053】
図４に、サブカメラ４００に設定可能な役割の種類と役割に関連付けられた制御内容との例を示す。役割ごとの制御内容は、例えば図４に示すテーブル形式で役割制御装置６００のＲＯＭ６０３および撮影制御装置１００のＲＯＭ１０３に記憶しておくことができる。ここでは役割ＲＯＬＥとして、「メインフォロー」、「メインカウンター」、「アシストフォロー」、「アシストカウンター」のいずれかを設定可能であるものとする。サブカメラ４００が複数ある場合、役割はサブカメラごとに設定可能である。
【0054】
役割ＲＯＬＥが「メインフォロー」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と同じ追尾被写体を設定し、かつメインカメラ５００がズーム操作された際には、サブカメラ４００にも同位相のズーム制御を行う。ここで、同位相とはズームの方向（望遠方向または広角方向）が等しいこと、すなわち画角変化の方向が等しいことを示す。一方、逆位相とはズームの方向（望遠方向または広角方向）が反対方向であること、すなわち画角変化の方向が反対方向であることを示す。なお、ズームの方向が同位相であっても画角はメインカメラ５００と等しくなくてもよいし、同位相および逆位相のいずれでもズームの変化度合（変化速度や変化率など）はメインカメラ５００と等しくなくてもよい。
【0055】
役割ＲＯＬＥが「メインカウンター」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と同じ追尾被写体を設定し、かつメインカメラ５００がズーム操作された際には、サブカメラ４００には逆位相のズーム制御を行う。したがって、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００でズームアップ操作された場合、この役割のサブカメラ４００についてはズームダウンするように制御する。なお、ズームアップするとは望遠方向（テレ端方向）へズームを変化させることを示し、ズームダウンするとは広角方向（ワイド端方向）へズームを変化させることを示す。画像処理部４０６によるズーム制御を行う場合、ズームアップするとは画像から切り出す領域を小さくし切り出した領域の拡大率を領域変更前より大きくすることを示す。一方、ズームダウンするとは画像から切り出す領域を大きくし切り出した領域の拡大率を領域変更前より小さくすることを示す。
【0056】
役割ＲＯＬＥが「アシストフォロー」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と別の追尾被写体を設定し、かつメインカメラ５００がズーム操作された際には、サブカメラ４００にも同位相のズーム制御を行う。
【0057】
役割ＲＯＬＥが「アシストカウンター」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と別の追尾被写体を設定する。また、撮影制御装置１００は、メインカメラ５００がズーム操作された際には、サブカメラ４００には逆位相のズーム制御を行う。
【0058】
ここでは、役割ＲＯＬＥが「アシストフォロー」および「アシストカウンター」のサブカメラ４００には、画像中、メインカメラ５００の注目被写体とは別の被写体のうち、左側に存在する被写体を、サブカメラ４００の追尾被写体として設定する。なお、サブカメラ４００の追尾被写体は別の条件に従って設定してもよい。例えば、画像中、メインカメラ５００の注目被写体とは別の被写体のうち、右側、上側、または下側に存在する被写体をサブカメラの追尾被写体としてもよい。あるいは、メインカメラ５００の注目被写体とは別の被写体のうち、最も手前または奥に存在する被写体をサブカメラ４００の追尾被写体としてもよい。
【0059】
また、追尾被写体の設定とズーム制御の一方のみを実行したり、さらに別の制御項目を追加してもよい。
【0060】
役割制御装置６００がＲＯＭ６０３に記憶する役割設定情報には、役割ＲＯＬＥを示す情報（上述した種類の名称、または種類に割り当てられた番号など）が、サブカメラ４００の識別情報と関連付けられている。撮影制御装置１００のＣＰＵ１０１は、役割制御装置６００から役割設定情報を取得し、サブカメラ４００に設定された役割ＲＯＬＥの種類に応じたサブカメラ４００の動作制御を実行する。
【0061】
なお、役割制御装置６００は、サブカメラ４００に対する役割の設定に変更があった場合、外部装置（例えば撮影制御装置１００）に通知してもよい。これにより、役割の設定の変更を、直ちにサブカメラ４００の動作制御に反映させることができる。
【0062】
＜各装置の動作の説明＞
続いて、マルチカメラ撮像システムにおける各装置の動作について説明する。ここでは、撮影制御装置１００が、俯瞰カメラ３００の映像、メインカメラ５００から得られる情報、およびサブカメラ４００に設定された役割に基づいて、サブカメラ４００の撮影動作を自動制御するものとする。
続いて、マルチカメラ撮像システムにおける各装置の動作について説明する。ここでは、撮影制御装置１００が、俯瞰カメラ３００の映像、メインカメラ５００から得られる情報、およびサブカメラ４００に設定された役割に基づいて、サブカメラ４００の撮影動作を自動制御するものとする。
【0063】
図３は、撮影制御装置１００がサブカメラ４００の動作を制御する際に実施する一連の処理を、主要な動作と信号の流れに着目して表した図である。撮影制御装置１００内に示される機能ブロックは主要な動作を模式的に示しており、撮影制御アプリケーションが提供する主要な機能に相当する。図３における各機能ブロックは、撮影制御アプリケーションを実行するＣＰＵ１０１と、図２に示した撮影制御装置１００の機能ブロックの１つ以上との組み合わせによって実現される。
【0064】
図５は、役割決定部１２０としてのＣＰＵ１０１の動作を示すフローチャートである。また、図６（ａ）～図６（ｄ）はそれぞれ、撮影制御装置１００、俯瞰カメラ３００、メインカメラ５００、サブカメラ４００の動作に関するフローチャートである。
【0065】
以下の説明において、俯瞰カメラ３００の視点位置の３次元座標値および撮影方向（光軸方向）が撮影制御装置１００に既知であるものとする。また、サブカメラ４００およびメインカメラ５００の視点位置の３次元座標値、撮影範囲に配置されたマーカの座標値など、既知の位置情報は、既定位置情報ＲＥＦ＿ＰＯＳＩとしてＲＯＭ１０３に予め格納されているものとする。なお、位置の座標系は位置の種類によって予め定められているものとする。
【0066】
（役割決定部１２０の動作）
まず、図３における役割決定部１２０としてのＣＰＵ１０１の動作について図５に示すフローチャートを参照して説明する。以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。
まず、図３における役割決定部１２０としてのＣＰＵ１０１の動作について図５に示すフローチャートを参照して説明する。以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。
【0067】
なお、図５のフローチャートに示す動作を開始するタイミングに特に制限は無いが、少なくともサブカメラ４００の撮影動作の制御を開始する前に実行する。また、役割制御装置６００から、サブカメラ４００に対する役割の設定が変更された旨の通知をネットワークＩ／Ｆ１０５を通じて受信した場合にも実行するものとする。
【0068】
Ｓ１０１で役割決定部１２０としてのＣＰＵ１０１は、サブカメラ４００に対応する役割ＲＯＬＥ（役割設定情報）を役割制御装置６００から取得する。ＣＰＵ１０１は、例えばネットワークＩ／Ｆ１０５を通じて役割制御装置６００に役割取得コマンドを送信することにより、役割制御装置６００から上述した役割設定情報を取得することができる。ＣＰＵ１０１は、取得した役割設定情報をＲＡＭ１０２に記憶する。
【0069】
Ｓ１０３でＣＰＵ１０１は、ＲＡＭ１０２に記憶された役割設定情報をサブカメラ４００の識別情報に基づいて参照し、サブカメラ４００に対する動作制御内容を取得する。そして、役割決定部１２０としてのＣＰＵ１０１は、取得した動作制御内容（ＣＡＭＥＲＡ＿ＲＯＬＥ）を追尾被写体決定部１２３へ送信する。実際には、ＣＰＵ１０１は動作制御内容をＲＡＭ１０２の特定領域に記憶し、追尾被写体決定部１２３として機能する際に参照する。
【0070】
Ｓ１０４で役割決定部１２０としてのＣＰＵ１０１は、取得した動作制御内容（ＣＡＭＥＲＡ＿ＲＯＬＥ）をズーム値算出部１２５へ送信する。実際には、ＣＰＵ１０１は動作制御内容をＲＡＭ１０２の特定領域に記憶し、ズーム値算出部１２５として機能する際に参照する。
【0071】
（撮影制御装置１００の動作）
次に、撮影制御装置１００がサブカメラ４００による撮影を制御する動作について、図３および図６（ａ）を参照して説明する。以下に説明する動作は、図３における認識部１２１、注目被写体決定部１２２、追尾被写体決定部１２３、パン・チルト値算出部１２４、およびズーム値算出部１２５としてのＣＰＵ１０１の動作に相当する。なお、以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。
次に、撮影制御装置１００がサブカメラ４００による撮影を制御する動作について、図３および図６（ａ）を参照して説明する。以下に説明する動作は、図３における認識部１２１、注目被写体決定部１２２、追尾被写体決定部１２３、パン・チルト値算出部１２４、およびズーム値算出部１２５としてのＣＰＵ１０１の動作に相当する。なお、以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。
【0072】
Ｓ２０１でＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じて、俯瞰カメラ３００に、予め定められたプロトコルで撮影指示コマンドを送信する。このコマンドに応答して、俯瞰カメラ３００から、映像入力部１０７に対する映像信号（動画データ）ＩＭＧの供給が開始される。ＣＰＵ１０１は映像入力部１０７で受信した映像信号のＲＡＭ１０２への格納を開始したのち、Ｓ２０２を実行する。
【0073】
Ｓ２０２でＣＰＵ１０１は、メインカメラ５００から撮影方向を示す情報ＡＮＧＬＥを取得する。具体的にはＣＰＵ１０１はネットワークＩ／Ｆ１０５を通じて、メインカメラ５００に、予め定められたプロトコルで撮影方向取得コマンドを送信する。メインカメラ５００のＣＰＵ５０１は、撮影方向取得コマンドに応答して、メインカメラ５００の現在の撮影方向を示す情報ＡＮＧＬＥを撮影制御装置１００に送信する。情報ＡＮＧＬＥは例えば駆動部５０９のパンおよびチルト角度であってよい。ＣＰＵ１０１は取得した情報ＡＮＧＬＥをＲＡＭ１０２に記憶する。
【0074】
Ｓ２０３で、認識部１２１は以下の処理を実行する。
（１）入力されたフレーム画像に対して被写体領域の検出処理を適用し、検出結果を記憶する
（２）検出された被写体領域ごとに、位置情報（画像座標）を座標変換する
（３）検出された被写体領域ごとに識別処理を適用し、識別情報を特定する（新たな被写体の場合には識別処理用の情報を追加する）
（４）検出された被写体領域ごとに識別情報ＩＤ[ｎ]と位置情報ＰＯＳＩＴＩＯＮ[ｎ]とを関連付けて記憶する
（１）入力されたフレーム画像に対して被写体領域の検出処理を適用し、検出結果を記憶する
（２）検出された被写体領域ごとに、位置情報（画像座標）を座標変換する
（３）検出された被写体領域ごとに識別処理を適用し、識別情報を特定する（新たな被写体の場合には識別処理用の情報を追加する）
（４）検出された被写体領域ごとに識別情報ＩＤ[ｎ]と位置情報ＰＯＳＩＴＩＯＮ[ｎ]とを関連付けて記憶する
【0075】
認識部１２１は、主にＣＰＵ１０１と推論部１０４とによって実現される。ＣＰＵ１０１は、俯瞰カメラ３００から受信した映像の１フレームをＲＡＭ１０２から読みだして推論部１０４に入力する。
【0076】
以下、認識部１２１の動作を順を追って説明する。
（１）まず、推論部１０４は、フレーム画像を機械学習モデルに入力し、被写体領域を検出する。推論部１０４は、検出結果として機械学習モデルが出力する、検出された被写体領域ごとの位置および大きさと、検出信頼度とをＲＡＭ１０２に記憶する。被写体領域の位置および大きさは、被写体領域が内接する矩形領域の位置と大きさを特定可能な任意の情報であってよい。ここでは、矩形領域の下辺の中央座標と、幅および高さを、被写体領域の位置および大きさとして用いる。
（１）まず、推論部１０４は、フレーム画像を機械学習モデルに入力し、被写体領域を検出する。推論部１０４は、検出結果として機械学習モデルが出力する、検出された被写体領域ごとの位置および大きさと、検出信頼度とをＲＡＭ１０２に記憶する。被写体領域の位置および大きさは、被写体領域が内接する矩形領域の位置と大きさを特定可能な任意の情報であってよい。ここでは、矩形領域の下辺の中央座標と、幅および高さを、被写体領域の位置および大きさとして用いる。
【0077】
また、推論部１０４は、最初のフレーム画像に対する検出結果については、被写体の識別情報ＩＤ［ｎ］と関連付けてＲＡＭ１０２に記憶する。ここで、ｎは被写体の番号であり、１から、検出した被写体領域の総数までの値を取る整数である。さらに、推論部１０４は、最初のフレーム画像から検出された被写体領域を、個々の被写体を識別するためのテンプレートとして、被写体の識別情報ＩＤ［ｎ］と関連付けてＲＡＭ１０２に記憶する。被写体の識別にテンプレートマッチングを用いない場合は、テンプレートを記憶しなくてもよい。
【0078】
図８（ａ）は、図７（ａ）に示す俯瞰カメラ３００の映像に対する推論部１０４による被写体検出処理の結果の一例を示している。ここでは、撮影範囲２０内に存在する人物被写体Ａ～Ｃの領域が検出され、被写体領域が内接する矩形領域の下辺の中央の座標（足元座標）が位置として出力される。
【0079】
なお、後述する座標変換のために、例えば図７（ｂ）に示すように撮影範囲２０内の既知の位置にマーカ(Mark)を配置している場合、ＣＰＵ１０１はフレーム画像（図７（ａ））に含まれるマーカの画像を検出し、位置をＲＡＭ１０２に記憶する。マーカ画像の検出も推論部１０４が実行するように構成してもよい。マーカ画像の検出は、マーカのテンプレートを用いたパターンマッチングなど、任意の公知の方法で実施することができる。予め記憶したマーカ検出用の機械学習モデルを用いてマーカ画像を検出してもよい。
【0080】
（２）次に、推論部１０４が実行する座標変換について説明する。図７（ａ）は俯瞰カメラ３００の映像を、図７（ｂ）は撮影範囲２０をその中心直上から見た状態をそれぞれ模式的に示している。推論部１０４は、俯瞰カメラの座標系における被写体領域の位置を、撮影範囲２０をその中心直上から見た際の座標系（平面座標系）の値に座標変換する。
【0081】
ここで、平面座標系の値に座標変換するのは、サブカメラ４００に特定の被写体を撮影させるためのパン値（水平面内の移動角度）を算出する上で都合がよいためである。なお、ここでは、駆動部４０９が撮影範囲２０の床と平行した水平面内でパン動作をするようにサブカメラ４００が設置されていることを前提としている。
【0082】
座標変換は様々な方法で実行可能であるが、ここでは、撮影範囲２０の床の既知の複数の位置にマーカを配置し、俯瞰カメラ３００で得られた映像中のマーカ位置に基づいて、俯瞰カメラ座標系から平面座標系に座標変換する。なお、俯瞰カメラ３００の視点位置と撮影方向を用いるなど、マーカを用いずに座標変換してもよい。
【0083】
座標変換は、ホモグラフィー変換行列Ｈを用いて、以下の式１に従って実行することができる。
式１において、右辺のｘ、ｙは俯瞰カメラ座標系における水平座標および垂直座標であり、左辺のＸ、Ｙは平面座標系の水平座標および垂直座標である。
【数1】
【0084】
ホモグラフィー変換行列は、映像から検出された４つのマーカの座標と、撮影範囲２０に配置された４つのマーカの座標（既知）とを、式１に代入し、連立方程式を解くことにより、算出することができる。撮影範囲２０と俯瞰カメラ３００との位置関係が固定である場合、予めテスト撮影時にホモグラフィー変換行列Ｈを算出しておき、例えばＲＯＭ１０３に保存しておくことができる。
【0085】
ＣＰＵ１０１は、ＲＡＭ１０２から被写体領域の位置を順次読み出し、平面座標系の値に座標変換する。図８（ｂ）は、図８（ａ）に示す俯瞰カメラ３００映像で検出された各被写体領域の足元座標(x, y)を、式１とＲＯＭ１０３に保存したホモグラフィー変換行列Ｈを用いて平面座標系の座標値(X, Y)に座標変換した状態を模式的に示している。ＣＰＵ１０１は、座標変換した足元座標をＰＯＳＩＴＩＯＮ［ｎ］としてＲＡＭ１０２に記憶する。
【0086】
（３）次に、推論部１０４が被写体の識別情報ＩＤ［ｎ］を特定する動作について説明する。ここでは、テンプレートマッチングを用いて被写体を識別するものとする。被写体の識別は、２回目以降の被写体検出の処理結果に対して実施する。最初の処理結果については、被写体領域に対して識別情報ＩＤ［ｎ］を新規に割り当てればよい。
【0087】
推論部１０４は、ＲＡＭ１０２に記憶されたテンプレートを用いたテンプレートマッチングにより、検出された被写体領域の識別情報ＩＤ［ｎ］を特定する。これにより、撮影範囲内の被写体が識別される。推論部１０４は例えば、検出された被写体領域ごとに、個々のテンプレートの相関を表す評価値を算出する。そして、推論部１０４は、一定以上の相関を有し、かつ最も相関が高いテンプレートに対応する識別情報ＩＤ［ｎ］を、被写体領域の識別情報ＩＤ［ｎ］として特定する。評価値は例えば画素値の差分絶対値和など、公知の値を用いることができる。
【0088】
なお、推論部１０４は、すべてのテンプレートに対して一定以上の相関を有しない被写体領域については、新たな識別情報ＩＤ［ｎ］を割り当て、被写体領域の画像をテンプレートに追加する。
【0089】
また、推論部１０４は、直近のフレーム画像で検出された被写体領域を用いて既存のテンプレートを更新したり、一定以上の相関を有する被写体領域が一定期間存在しないテンプレートを削除したりしてもよい。さらに、推論部１０４は、頻繁に登場する識別情報ＩＤ［ｎ］に対応したテンプレートについてはＲＯＭ１０３に記憶してもよい。
【0090】
なお、テンプレートマッチング以外の方法で被写体を識別してもよい。例えば直前の検出位置および大きさの少なくとも一方が最も近い被写体領域と同じ識別情報ＩＤ［ｎ］と特定してもよい。また、同一の識別情報に関連付けられた過去複数回の検出結果における位置の推移から現在のフレーム画像における位置をカルマンフィルタ等により予測し、予測位置に最も近い被写体領域に同じ識別情報ＩＤを特定してもよい。また、これらの方法を組み合わせてもよい。テンプレートマッチングを用いないことで、見た目が似ている異なる被写体の識別精度を高めることができる。
【0091】
（４）推論部１０４は、特定した識別情報ＩＤ［ｎ］と、対応する被写体領域の位置（平面座標系）ＰＯＳＩＴＩＯＮ［ｎ］とを関連付けて、ＲＡＭ１０２に記憶する。
【0092】
なお、（１）～（４）の処理のうち、被写体検出以外の処理については、推論部１０４の代わりにＣＰＵ１０１が実行してもよい。
【0093】
ここでは、俯瞰カメラ３００の映像を用いて、撮影範囲２０内の被写体に関する識別情報ＩＤ［ｎ］と位置ＰＯＳＩＴＩＯＮ[ｎ]を求めた。しかし、サブカメラ４００の映像を用いてもよい。サブカメラ４００が複数の場合、ＣＰＵ１０１は、サブカメラ４００ごとに図６（ａ）のフローチャートに示した動作を実行する。被写体領域の位置はサブカメラ４００ごとの座標系における値で出力する。このように、俯瞰カメラ３００は必須ではないが、俯瞰カメラ３００を用いた方が被写体の検出精度はよいと考えられる。
【0094】
図６（ａ）の説明に戻り、Ｓ２０４では、図３の注目被写体決定部１２２としてのＣＰＵ１０１が、メインカメラ５００の追尾被写体としての注目被写体を判定する。ＣＰＵ１０１は、Ｓ２０３で検出された被写体のうち、Ｓ２０２で取得したメインカメラ５００の撮影方向に基づいて、メインカメラ５００の注目被写体を判定することができる。ＣＰＵ１０１は、メインカメラ５００の注目被写体として判定した被写体領域に対応する識別情報ＩＤ［ｎ］を、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとしてＲＡＭ１０２に記憶する。
【0095】
例えばＣＰＵ１０１は、平面座標系においてメインカメラ５００の撮影方向に最も近い被写体を、メインカメラ５００の注目被写体と判定することができる。なお、メインカメラ５００の撮影方向との距離が閾値以下の被写体が複数存在する場合には、その中から注目被写体をユーザに選択させてもよい。
【0096】
注目被写体をユーザに選択させる場合、ＣＰＵ１０１は、表示部１０８または外部表示装置に、Ｓ２０２で被写体検出処理を適用したフレーム画像を、撮影方向を示す指標と、注目被写体の候補となる被写体領域を示す指標と共に表示させる。被写体領域の指標は、例えば図８（ａ）に示すような被写体領域の外縁を示す矩形枠であってよいが、他の指標であってもよい。また、ＣＰＵ１０１は、画像内の注目被写体を選択するように促すメッセージなども表示部１０８に表示させてもよい。
【0097】
ユーザは、ユーザ入力部１０６（入力デバイス）を操作して、所望の注目被写体に対応する被写体領域を選択することができる。選択方法に特に制限はないが、マウスやキーボードを操作して、所望の被写体領域を指定する操作であってよい。
【0098】
ＣＰＵ１０１は、被写体領域を指定するユーザ操作を検出すると、指定された被写体領域に対応する識別情報ＩＤ［ｎ］を、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとしてＲＡＭ１０２に記憶する。
【0099】
次にＳ２０５で図３の追尾被写体決定部１２３としてのＣＰＵ１０１は、サブカメラ４００に設定されている役割に応じた制御内容ＣＡＭＥＲＡ＿ＲＯＬＥを取得する。具体的にはＣＰＵ１０１は、図５を用いて説明した役割決定処理で取得され、ＲＡＭ１０２に記憶されている制御内容ＣＡＭＥＲＡ＿ＲＯＬＥを読み出す。なお、サブカメラ４００が複数の場合、ＣＰＵ１０１はＳ２０５～Ｓ２０７の処理はサブカメラごとに実行する。
【0100】
Ｓ２０６で、追尾被写体決定部１２３としてのＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに従って、サブカメラ４００に追尾撮影させる被写体を決定する。ＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる追尾被写体の規定（図４）に従って、サブカメラ４００の追尾被写体を決定する。
【0101】
サブカメラ４００の追尾被写体をメインカメラ５００の注目被写体と同じにする場合、ＣＰＵ１０１は、Ｓ２０３で決定した注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴをサブカメラ４００の追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤとして設定する。
【0102】
サブカメラ４００の追尾被写体を、メインカメラ５００の注目被写体とは別の被写体のうち左側に位置する被写体とする場合、ＣＰＵ１０１は、Ｓ２０３で検出された被写体領域のうち、注目被写体以外の被写体領域の左端に位置する被写体領域を検出する。そして、ＣＰＵ１０１は、検出した被写体領域に対応する識別情報ＩＤ［ｎ］を、サブカメラ４００の追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤとして設定する。
【0103】
ＣＰＵ１０１は、決定した追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを、ＲＡＭ１０２に書き出す。サブカメラによって追尾被写体が異なり得る場合、ＣＰＵ１０１は、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤをサブカメラの識別情報と関連付けて記憶する。なお、追尾被写体が変化した場合、ＣＰＵ１０１は、以前の追尾被写体の情報は消去せずにＲＡＭ１０２に保持しておく。
【0104】
ここで、サブカメラ４００に設定されている役割が「メインフォロー」の場合の動作について、図９を用いて説明する。役割「メインフォロー」が設定されているサブカメラ４００について撮影制御装置１００は、メインカメラ５００の注目被写体を追尾するように制御する。
【0105】
従って、図９（ａ）に示すようにメインカメラ５００の注目被写体が被写体Ｂと判定された場合、ＣＰＵ１０１は、被写体Ｂをサブカメラ４００の追尾被写体に決定する。その後、図９（ｂ）に示すようにメインカメラ５００の注目被写体が被写体Ａに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ａに変更する。同様に、図９（ｃ）に示すようにメインカメラ５００の注目被写体が被写体Ｃに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ｃに変更する。
【0106】
サブカメラ４００に設定されている役割が「アシストフォロー」の場合の動作について、図１０を用いて説明する。役割「アシストフォロー」が設定されているサブカメラ４００について撮影制御装置１００は、メインカメラ５００の注目被写体とは別の被写体のうち、左側に位置する被写体を追尾するように制御する。
【0107】
従って、図１０（ａ）に示すようにメインカメラ５００の注目被写体が被写体Ｂと判定された場合、ＣＰＵ１０１は、被写体Ａ、Ｃのうち左側の被写体Ａをサブカメラ４００の追尾被写体に決定する。その後、図１０（ｂ）に示すようにメインカメラ５００の注目被写体が被写体Ａに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ｂ、Ｃのうち左側の被写体Ｂに変更する。また、図１０（ｃ）に示すようにメインカメラ５００の注目被写体が被写体Ｃに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ａ、Ｂのうち左側の被写体Ａに変更する。
【0108】
役割制御装置６００により、サブカメラ４００に設定する役割を動的に変更することで、サブカメラ４００の追尾被写体を変更することができ、柔軟な自動撮影が可能になる。
【0109】
図６（ａ）に戻り、Ｓ２０７で、パン・チルト値算出部１２４としてのＣＰＵ１０１は、サブカメラ４００がＳ２０６で決定された追尾被写体を追尾撮影するために必要なパン角およびチルト角の変更量を算出する。また、ズーム値算出部１２５としてのＣＰＵ１０１は、メインカメラ５００の画角変化に応じたサブカメラ４００のズーム値を算出する。以下ではサブカメラ４００が１台の場合について説明するが、サブカメラ４００が複数の場合、サブカメラごとにパン角およびチルト角の変更量の算出と、ズーム値の算出とを実行する。
【0110】
まず、パン・チルト値算出部１２４としてのＣＰＵ１０１の動作について説明する。ここでは、サブカメラ４００ごとに、以下の情報が既定位置情報ＲＥＦ＿ＰＯＳＩとしてＲＯＭ１０３に予め格納されているものとする。
・設置位置の３次元座標（平面座標系での値）
・駆動部のパン角度およびチルト角度の初期値に対応する撮影方向
・パンおよびチルト角の制御可能範囲
・設置位置の３次元座標（平面座標系での値）
・駆動部のパン角度およびチルト角度の初期値に対応する撮影方向
・パンおよびチルト角の制御可能範囲
【0111】
ＣＰＵ１０１は、サブカメラ４００の追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤに対応する位置情報ＰＯＳＩＴＩＯＮ＿ＯＨをＲＡＭ１０２から読み出す。そして、ＣＰＵ１０１は、位置情報ＰＯＳＩＴＩＯＮ＿ＯＨとサブカメラ４００の設置位置とから、まずパン角度を決定する。
【0112】
図１１は、サブカメラ４００と追尾被写体との位置関係の一例を平面座標系で示した図である。ここでは、サブカメラ４００の光軸方向を被写体位置に向けるパン角度θを決定するものとする。ＣＰＵ１０１は、パン角度θを以下の式２を用いて算出する。
【数2】
【0113】
式２におけるｐｘ、ｐｙは、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤに対応する位置情報ＰＯＳＩＴＩＯＮ＿ＯＨの水平座標および垂直座標である。また、ｓｕｂｘ、ｓｕｂｙはサブカメラの設置位置の水平座標および垂直座標である。ここでは、現在のパン角が初期値０°であり、光軸方向が垂直方向（Ｙ軸方向）であるものとする。現在の光軸方向が垂直方向でない場合、式２で得られた角度に、現在の光軸方向と垂直方向との角度差を反映させればよい。また、パンの方向はsubx＞pxであれば反時計方向、subx＜pxであれば時計方向である。
【0114】
次に、図１２を用いて、チルト角の決定方法について説明する。図８は、サブカメラと追尾被写体とを側方から見た状態を示している。サブカメラ４００の現在の光軸が水平方向であり高さがｈ１であり、光軸を向ける追尾被写体の顔の高さがｈ２であるものとする。現在の光軸方向と目標の光軸方向との高さ方向の角度差（チルト角）をρとする。ＣＰＵ１０１はチルト角ρを以下の式３および式４を用いて算出する。
【数3】
【0115】
式４に用いる座標値は、式２に用いる座標値と同じである。ｈ１およびｈ２は、予め撮影制御アプリケーションに入力され、ＲＡＭ１０２に記憶されているものとする。この場合、被写体ごとのｈ２に関連付ける識別番号と、被写体検出処理で割り当てる識別番号とが等しくなるようにする。あるいは、ｈ２は不図示のセンサを用いてリアルタイムに測定した値を用いてもよい。
【0116】
ここでは、現在のチルト角が初期値０°であり、光軸方向が水平方向（高さが一定）であるものとする。現在の光軸方向が水平方向でない場合、式４で得られた角度に、現在の光軸方向と水平方向との角度差を反映させればよい。また、チルトの方向はh1＞h2であれば下方向、h1＜h2であれば上方向である。
【0117】
ＣＰＵ１０１は、サブカメラ４００と通信ネットワーク７００を通じて周期的に通信し、現在の光軸方向（駆動部のパン角およびチルト角）を取得してＲＡＭ１０２に記憶する。なお、通信周期は例えばフレームレートの逆数以下とすることができる。あるいは、ＣＰＵ１０１が、サブカメラ４００について初期状態から制御したパン角およびチルト角の合計値をＲＡＭ１０２に保持しておき、現在の光軸方向として用いてもよい。
【0118】
ＣＰＵ１０１は、このようにしてサブカメラ４００のパン角およびチルト角の変更量を算出し、ＲＡＭ１０２に記憶する。なお、サブカメラ４００が複数の場合、ＣＰＵ１０１はサブカメラごとにパン角およびチルト角の変更量を算出する。
【0119】
パン角およびチルト角の変更量は、サブカメラ４００が追尾被写体の方向に回動するための角速度としてもよい。例えば、ＣＰＵ１０１は、通信ネットワーク７００を通じてサブカメラ４００から現在のパン角およびチルト角を取得する。そして、ＣＰＵ１０１は、ＲＡＭ１０２から読み出したパン角θと、現在のパン角との差に比例したパンの角速度を求める。また、ＣＰＵ１０１は、ＲＡＭ１０２から読み出したチルト角ρと現在のチルト角との差に比例したチルトの角速度を求める。このように算出した角速度を、ＣＰＵ１０１はＲＡＭ１０２に記憶する。
【0120】
なお、俯瞰カメラ３００の映像の代わりにサブカメラ４００の映像を用いてパン角およびチルト角の変更量を算出してもよい。この場合ＣＰＵ１０１は、サブカメラ４００の座標系における現在の光軸方向と追尾被写体方向との水平方向の差からパン角の変化量を算出し、垂直方向の差からチルト角の変化量を算出してもよい。また、追尾被写体を追尾撮影するための撮影方向の変更をパン方向及びチルト方向の一方だけで行う撮像システムであってもよく、そのような撮像システムではパン角およびチルト角の一方の変更量だけを算出するようにしてもよい。
【0121】
次に、ズーム値算出部１２５としてのＣＰＵ１０１の動作について説明する。ズーム値算出部１２５としてのＣＰＵ１０１は、メインカメラ５００の画角を示す情報ＭＡＩＮ＿ＺＯＯＭを周期的に取得し、ＲＡＭ１０２に記憶する。そして、情報ＭＡＩＮ＿ＺＯＯＭが変化した場合、ＣＰＵ１０１はサブカメラ４００に設定されている役割に応じた制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに従って、サブカメラ４００に対するズーム値Ｚ＿ＶＡＬＵＥを算出する。
【0122】
なお、ＣＰＵ１０１は、メインカメラ５００のズーム操作およびその位相を、例えばメインカメラ５００の映像の画角変化を検出することによって判定することができる。例えば、被写体領域の大きさや間隔の経時変化などから画角の変化を検出してもよい。
【0123】
図１３は、メインカメラとサブカメラのズーム値のマッピング例を示す。ここではメインカメラ５００およびサブカメラ４００が光学的に画角を変更する（撮影光学系がズーム機能を有する）ものとする。しかし、画像処理部４０６、５０６を用いたデジタルズームで同様の機能を実現してもよい。
【0124】
なお、ズーム値は、画角と対応した値を有するパラメータであり、本実施形態では画角が小さい（狭い）ほどズーム値は小さい値となり、望遠側のズーム値は広角側のズーム値よりも小さい。サブカメラ４００およびメインカメラ５００は、ズーム値を指定したコマンドを送信することにより、撮影光学系をズーム値に対応した画角に制御可能であるものとする。すなわち、ズーム値は画角に関する情報であってズーム状態を表す情報である。ズーム値は例えば３５ｍｍフルサイズの撮像素子に対応した撮影光学系の焦点距離(mm)であってもよく、その場合は望遠側のズーム値は広角側のズーム値よりも大きくなる。
【0125】
図１３において、メインカメラ５００のズーム値ＭＡＩＮ＿ＺＯＯＭの範囲はｍａｉｎ＿ｍｉｎ～ｍａｉｎ＿ｍａｘである。また、サブカメラ４００のズーム範囲はｓｕｂ＿ｍｉｎ～ｓｕｂ＿ｍａｘである。ｍａｉｎ＿ｍｉｎ、ｓｕｂ＿ｍｉｎは、それぞれメインカメラ５００およびサブカメラ４００の望遠端、ｍａｉｎ＿ｍａｘ、ｓｕｂ＿ｍａｘは、それぞれメインカメラ５００およびサブカメラ４００の広角端に対応するズーム値である。図１３では、メインカメラ５００のズーム値の範囲が望遠端および広角端の両方についてサブカメラ４００のズーム値の範囲より広い例を示している。
【0126】
サブカメラ４００のズーム値ＳＵＢ＿ＺＯＯＭをメインカメラ５００のズーム値ＭＡＩＮ＿ＺＯＯＭと同位相に制御する場合、ＣＰＵ１０１は、現在のＭＡＩＮ＿ＺＯＯＭに対応するＳＵＢ＿ＺＯＯＭを以下の式５を用いて算出する。
【数4】
【0127】
一方、サブカメラ４００のズーム値ＳＵＢ＿ＺＯＯＭをメインカメラ５００のズーム値ＭＡＩＮ＿ＺＯＯＭと逆位相に制御する場合、現在のＭＡＩＮ＿ＺＯＯＭに対応するＳＵＢ＿ＺＯＯＭを以下の式６を用いて算出する。具体的にはＣＰＵ１０１は、式５で算出したＳＵＢ＿ＺＯＯＭを以下の式６の右辺に代入することにより、現在のＭＡＩＮ＿ＺＯＯＭに対応するＳＵＢ＿ＺＯＯＭを算出する。
SUB_ZOOM=sub_max-(SUB_ZOOM-sub_min) ・・・（式６）
SUB_ZOOM=sub_max-(SUB_ZOOM-sub_min) ・・・（式６）
【0128】
メインカメラ５００がデジタルズームを行いクロッピングによって画角を制御する場合、ＣＰＵ１０１は、メインカメラ５００でクロップする範囲のサイズにしたがってサブカメラ４００のズーム値ＳＵＢ＿ＺＯＯＭを決定することができる。具体的には、ＣＰＵ１０１はメインカメラ５００でクロップする範囲のサイズが小さいほどズーム値ＳＵＢ＿ＺＯＯＭを小さく（高倍率に）、サイズが大きい程ズーム値ＳＵＢ＿ＺＯＯＭを大きく（低倍率に）設定する。
【0129】
また、サブカメラ４００の役割と関連付けるズーム制御の内容は、メインカメラ５００と同相または逆位相の制御に限定されない。例えば、メインカメラ５００の画角変化とは独立したズーム動作を役割に関連付けてもよい。例えば追尾被写体の大きさを一定に維持するようなオートズーム動作を役割に関連付けてもよい。また、サブカメラ４００の画角を特定の画角に固定させるようにしてもよい。図４に示した、役割ごとの制御内容に、これらのズーム制御を関連付けた役割を追加するか、図４に示した役割のズーム制御の内容を変更することで、サブカメラ４００に対する様々なズーム制御が可能になる。
【0130】
図６（ａ）に戻り、Ｓ２０７でＣＰＵ１０１は、ＲＡＭ１０２からＳ２０６で算出したパンおよびチルト角の変更量と、ズーム値とを読み出す。そして、ＣＰＵ１０１は、サブカメラ４００に、これらの変更量に相当するパン角およびチルト角の変更を指示する制御コマンドＰＴ＿ＶＡＬＵＥを生成する。また、ＣＰＵ１０１は、サブカメラ４００に、ズーム値に相当する画角の変更を指示する制御コマンドＺ＿ＶＡＬＵＥを生成する。制御コマンドの形式は予め定められているものとする。ＣＰＵ１０１は、生成した制御コマンドＰＴ＿ＶＡＬＵＥおよびＺ＿ＶＡＬＵＥをＲＡＭ１０２に記憶する。なお、追尾被写体が静止している場合や、メインカメラ５００の画角が変わらない場合など、制御コマンドを生成する必要がない場合には、Ｓ２０７をスキップしてもよい。
【0131】
そして、ＣＰＵ１０１は、制御コマンドＰＴ＿ＶＡＬＵＥおよびＺ＿ＶＡＬＵＥをＲＡＭ１０２から読み出し、ネットワークＩ／Ｆ１０５を通じて通信ネットワーク７００に送信する。サブカメラ４００は、ネットワークＩ／Ｆ４０５を通じて制御コマンドＰＴ＿ＶＡＬＵＥおよびＺ＿ＶＡＬＵＥを受信する。
【0132】
ＣＰＵ１０１は、俯瞰カメラ３００の映像の次のフレーム画像について、Ｓ２０１からの処理を実行する。なお、図６（ａ）に示した処理は、必ずしも毎フレーム実行しなくてもよい。
【0133】
（俯瞰カメラ３００の動作）
次に、俯瞰カメラ３００の動作について、図６（ｂ）を参照して説明する。以下に説明する動作は、ＣＰＵ３０１がプログラムを実行することによって実現される。
次に、俯瞰カメラ３００の動作について、図６（ｂ）を参照して説明する。以下に説明する動作は、ＣＰＵ３０１がプログラムを実行することによって実現される。
【0134】
俯瞰カメラ３００の電源が投入されると、ＣＰＵ３０１により各機能ブロックが初期化されたのち、撮影スタンバイ状態となる。撮影スタンバイ状態でＣＰＵ３０１は、ライブビュー表示用の動画撮影処理を開始し、画像処理部３０６で生成された表示用画像データをネットワークＩ／Ｆ３０５を通じて撮影制御装置１００に出力してもよい。
【0135】
撮影スタンバイ状態においてＣＰＵ３０１は、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ３０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、撮影制御装置１００から制御コマンドとして撮影コマンドを受信した場合の動作について説明する。
【0136】
Ｓ３０１でＣＰＵ３０１はネットワークＩ／Ｆ３０５を通じて撮影制御装置１００から撮影コマンドを受信する。
【0137】
なお、撮影コマンドにはフレームレートや解像度などの撮影パラメータが指定されていてもよい。また、画像処理部３０６で適用する処理に関する設定が含まれていてもよい。
【0138】
Ｓ３０２でＣＰＵ３０１は、撮影コマンドの受信に応答して、撮影制御装置１００に供給するための動画撮影処理を開始する。この動画撮影処理では、ライブビュー表示用の動画撮影処理よりも高画質な動画を撮影する。例えば、動画の解像度および撮影フレームレートの少なくとも一方がライブビュー表示用の動画よりも高い。画像処理部３０６は、撮影制御装置１００に供給する動画用の設定に基づいて画像に処理を適用する。画像処理部３０６は、生成した動画データをＲＡＭ３０２に順次格納する。
【0139】
Ｓ３０３でＣＰＵ１０１は、動画データをＲＡＭ３０２から読み出し、ネットワークＩ／Ｆ３０５を通じて撮影制御装置１００に送信する。以降、撮影停止の制御コマンドを受信するまで、撮影から動画データの供給までの処理を継続する。
【0140】
（メインカメラ５００の動作）
次に、メイン５００の動作について、図６（ｃ）を参照して説明する。以下に説明する動作は、ＣＰＵ５０１がプログラムを実行することによって実現される。
次に、メイン５００の動作について、図６（ｃ）を参照して説明する。以下に説明する動作は、ＣＰＵ５０１がプログラムを実行することによって実現される。
【0141】
メインカメラ５００の電源が投入されると、ＣＰＵ５０１により各機能ブロックが初期化されたのち、撮影制御装置１００に供給するための動画撮影処理を開始する。画像処理部５０６は、画像センサ５０７から得られるアナログ画像信号に対して、撮影制御装置１００に供給する動画用の設定に基づいて処理を適用する。画像処理部５０６は、生成した動画データをＲＡＭ５０２に順次格納する。ＣＰＵ５０１は、動画データをＲＡＭ５０２から読み出し、ネットワークＩ／Ｆ５０５を通じて撮影制御装置１００に供給する。
【0142】
ＣＰＵ５０１は、動画データを撮影制御装置１００に供給しながら、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ５０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、撮影方向取得コマンドを受信した場合の動作について説明する。なお、パン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥ、ズームの制御コマンドＺ＿ＶＡＬＵＥを受信した場合、ＣＰＵ５０１はコマンドに応じて駆動部５０９を駆動させる。
【0143】
Ｓ５０１でＣＰＵ５０１は、ネットワークＩ／Ｆ５０５を通じて撮影方向取得コマンドを受信する。ＣＰＵ５０１は、受信した撮影方向取得コマンドをＲＡＭ５０２に記憶する。
【0144】
Ｓ５０２でＣＰＵ５０１は、撮影方向取得コマンドの受信に応答して、現在のパン角およびチルト角を駆動部５０９から駆動Ｉ／Ｆ５０８を通じて取得し、ＲＡＭ５０２に記憶する。
【0145】
Ｓ５０３でＣＰＵ５０１は、現在のパン角およびチルト角をＲＡＭ５０２から読み出し、撮影方向の情報ＡＮＧＬＥとして、ネットワークＩ／Ｆ３０５を通じて撮影制御装置１００に送信する。
【0146】
（サブカメラ４００の動作）
次に、サブカメラ４００の動作について、図６（ｄ）を参照して説明する。以下に説明する動作は、ＣＰＵ４０１がプログラムを実行することによって実現される。
次に、サブカメラ４００の動作について、図６（ｄ）を参照して説明する。以下に説明する動作は、ＣＰＵ４０１がプログラムを実行することによって実現される。
【0147】
サブカメラ４００の電源が投入されると、ＣＰＵ４０１により各機能ブロックが初期化されたのち、撮影制御装置１００に供給するための動画撮影処理を開始する。画像処理部４０６は、画像センサ４０７から得られるアナログ画像信号に対して、撮影制御装置１００に供給する動画用の設定に基づいて処理を適用する。画像処理部４０６は、生成した動画データをＲＡＭ４０２に順次格納する。ＣＰＵ４０１は、動画データをＲＡＭ４０２から読み出し、ネットワークＩ／Ｆ４０５を通じて撮影制御装置１００に供給する。
【0148】
ＣＰＵ４０１は、動画データを撮影制御装置１００に供給しながら、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ４０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、撮影制御装置１００からパン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥおよびズームの制御コマンドＺ＿ＶＡＬＵＥを受信した場合の動作について説明する。
【0149】
Ｓ４０１でＣＰＵ４０１はネットワークＩ／Ｆ４０５を通じて撮影制御装置１００からパン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥおよびズームの制御コマンドＺ＿ＶＡＬＵＥの少なくとも一方を受信する。ＣＰＵ４０１は受信した制御コマンドをＲＡＭ４０２に記憶する。
【0150】
Ｓ４０２でＣＰＵ４０１は、ＲＡＭ４０２に記憶した制御コマンドから操作方向と対応する操作量とを読み出し、ＲＡＭ４０２に記憶する。ここで、パン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥの場合、操作方向はパンおよび／またはチルトの方向、操作量は目標角度である。また、ズームの制御コマンドＺ＿ＶＡＬＵＥの場合、操作量はズーム値であり、ズーム値から操作方向を特定できるため操作方向の読み出しおよび記憶は不要である。
【0151】
Ｓ４０３でＣＰＵ４０１は、Ｓ４０３で読み出した操作方向および操作量に基づいて、駆動部４０９の駆動パラメータを生成する。ＣＰＵ４０１は例えば操作方向と操作量との組み合わせに応じた駆動パラメータを、予めＲＯＭ４０３に保持されたテーブルを用いて取得してもよい。なお、操作量が目標値（目標角度やズーム値）で与えられる場合、ＣＰＵ４１０は現在の値との差分から駆動パラメータを取得する。
【0152】
Ｓ４０４でＣＰＵ４０１は、Ｓ４０４にて取得した駆動パラメータに基づいて、駆動Ｉ／Ｆ４０８を通じて駆動部４０９を制御する。これにより、駆動部４０９が、パン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥで指定された操作方向および角度にサブカメラ４００の撮影方向を変更する。また、駆動部４０９は、ズームの制御コマンドＺ＿ＶＡＬＵＥで指定されたズーム値に撮影光学系の画角を変更する。
【0153】
次に、図１４に示すフローチャートを用いて、撮影制御装置１００がサブカメラ４００に設定された役割に応じてサブカメラの撮影方向（パンおよびチルト）および画角（ズーム値）を制御する動作について、より詳細に説明する。図１４のフローチャートに示す動作は図６（ａ）におけるＳ２０５～Ｓ２０７の動作の一部として実行される。
【0154】
Ｓ６０１はＳ２０５に相当し、ＣＰＵ１０１は、図５のＳ１０３でＲＡＭ１０２に記憶した制御内容ＣＡＭＥＲＡ＿ＲＯＬＥを読み出す。
【0155】
Ｓ６０２～Ｓ６０７は例えばＳ２０６で実施される。
Ｓ６０２でＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体（注目被写体）を示しているかどうか判定する。例えば、サブカメラ４００の追尾被写体の規定が「メインと同じ」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体を示していると判定してＳ６０３を実行する。一方、サブカメラ４００の追尾被写体の規定が「メインと別（左側）」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体を示していないと判定してＳ６０４を実行する。
Ｓ６０２でＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体（注目被写体）を示しているかどうか判定する。例えば、サブカメラ４００の追尾被写体の規定が「メインと同じ」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体を示していると判定してＳ６０３を実行する。一方、サブカメラ４００の追尾被写体の規定が「メインと別（左側）」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体を示していないと判定してＳ６０４を実行する。
【0156】
Ｓ６０３でＣＰＵ１０１は、サブカメラ４００の撮影方向を、メインカメラ５００の追尾被写体（注目被写体）を追尾するように制御することを決定する。
Ｓ６０４でＣＰＵ１０１は、サブカメラ４００の撮影方向を、メインカメラ５００の注目被写体とは別の被写体のうち、左側に位置する被写体を追尾するように制御することを決定する。
Ｓ６０４でＣＰＵ１０１は、サブカメラ４００の撮影方向を、メインカメラ５００の注目被写体とは別の被写体のうち、左側に位置する被写体を追尾するように制御することを決定する。
【0157】
Ｓ６０５でＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示しているかどうか判定する。例えば、サブカメラ４００のズーム制御の規定が「メインと同位相」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示していると判定してＳ６０６を実行する。一方、サブカメラ４００の追尾被写体の規定が「メインと逆位相」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示していないと判定してＳ６０７を実行する。
【0158】
Ｓ６０６でＣＰＵ１０１は、サブカメラ４００のズーム値（画角）を、メインカメラ５００のズーム値の変化と同位相で制御することを決定する。
Ｓ６０７でＣＰＵ１０１は、サブカメラ４００のズーム値（画角）を、メインカメラ５００のズーム値の変化と逆位相で制御することを決定する。
Ｓ６０７でＣＰＵ１０１は、サブカメラ４００のズーム値（画角）を、メインカメラ５００のズーム値の変化と逆位相で制御することを決定する。
【0159】
図１５を用いて、サブカメラ４００に設定された役割が「メインフォロー」の場合のサブカメラの制御の例を説明する。図１５は、撮影中、時間の経過とともにメインカメラ５００の注目被写体および画角が変化する場合に、撮影制御装置１００がサブカメラ４００の撮影方向および画角をどのように制御するかを模式的に示している。図中、時間は左から右方向に経過している。なお、図１５においてズーム状態を「望遠端」、「中間」、「広角端」の３段階で示している。これは、図１３に示したように、サブカメラとメインカメラとでズーム値の範囲が異なりうるためである。「望遠端」が望遠端までズームアップした状態、「広角端」が広角端までズームダウンした状態、「中間」が望遠端と広角端の中間のズーム状態に対応するが、実際のズーム値はサブカメラとメインカメラでは異なり得る。例えば、ズーム状態が「望遠端」のとき、メインカメラのズーム値はｍａｉｎ＿ｍｉｎ、サブカメラのズーム値はｓｕｂ＿ｍｉｎとなる。
【0160】
当初、メインカメラ５００の注目被写体（追尾被写体）は被写体Ｂ、ズーム状態は「中間」である。そのため、ＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂに決定し、サブカメラ４００が被写体Ｂを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態を「中間」に制御する。
【0161】
その後、メインカメラ５００の注目被写体が被写体Ｂから被写体Ａに、ズーム状態が「望遠端」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂから被写体Ａに変更し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態を「望遠端」に制御する。
【0162】
その後、メインカメラ５００の注目被写体が被写体Ａから被写体Ｃに、ズーム状態が「広角端」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ａから被写体Ｃに変更し、サブカメラ４００が被写体Ｃを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態を「広角端」に制御する。
【0163】
このように、サブカメラ４００の役割が「メインフォロー」の場合、ＣＰＵ１０１は、メインカメラ５００の注目被写体および画角（ズーム値）の変化に追従するようにサブカメラ４００の追尾被写体およびズーム値を自動で変更する。なお、図１５に示す例ではサブカメラ４００のズーム状態の変化度合がメインカメラ５００のズーム状態の変化度合と同等になるように制御しているが、ズーム値の変化方向が同位相であれば実際のズーム値は異なってもよい。例えば、メインカメラ５００のズーム状態が望遠端のときにメインカメラ５００のズーム状態が望遠端でなくてもよい。サブカメラ４００のズーム値をメインカメラ５００のズーム値に合わせるかどうかは、役割設定情報を用いて設定可能としてもよい。
【0164】
【0165】
当初、メインカメラ５００の注目被写体（追尾被写体）は被写体Ｂ、ズーム状態は「望遠端」である。そのため、ＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂ以外の被写体Ａ、Ｃのうち、左側の被写体Ａに決定し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態をメインカメラ５００と逆位相となる「広角端」に制御する。
【0166】
その後、メインカメラ５００の注目被写体が被写体Ｂから被写体Ａに、ズーム状態が「中間」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂ以外の被写体Ｂ、Ｃのうち、左側の被写体Ｂに変更し、サブカメラ４００が被写体Ｂを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、メインカメラ５００のズーム状態が「望遠端」から「中間」に変化したため、サブカメラ４００のズーム状態を「広角端」から「中間」に（逆位相に）制御する。
【0167】
その後、メインカメラ５００の注目被写体が被写体Ａから被写体Ｃに、ズーム状態が「広角端」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｃ以外の被写体Ａ、Ｂのうち、左側の被写体Ａに変更し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、メインカメラ５００のズーム状態が「中間」から「広角端」に変化したため、サブカメラ４００のズーム状態を「中間」から「望遠端」に（逆位相に）制御する。
【0168】
このように、サブカメラ４００の役割が「アシストカウンター」の場合、ＣＰＵ１０１は、メインカメラ５００の注目被写体の変化に応じてサブカメラ４００の追尾被写体をメインカメラ５００の注目被写体とは別の被写体の中で自動で変更する。また、ＣＰＵ１０１は、メインカメラ５００の画角（ズーム値）の変化と逆方向にサブカメラ４００のズーム値を自動で変更する。
【0169】
なお、図１６に示す例ではサブカメラ４００のズーム状態をメインカメラ５００のズーム状態の変化度合と同等の変化度合で制御しているが、ズーム値の変化方向が逆位相であればズーム値の変化量は異なってもよい。例えば、例えば、メインカメラ５００のズーム状態が望遠端のときにメインカメラ５００のズーム状態が広角端でなくてもよい。メインカメラ５００のズーム状態の変化度合に対するサブカメラ４００のズーム状態の変化度合は、役割設定情報を用いて設定可能としてもよい。
【0170】
（変形例）
ここまで、メインカメラ５００の注目被写体およびズーム値に基づいてサブカメラ４００の追尾被写体およびズーム値を自動制御する例を説明した。上述した例では、サブカメラが単一の被写体を追尾するように自動制御するものであったが、撮影範囲内の複数の被写体を追尾するように自動制御することもできる。
ここまで、メインカメラ５００の注目被写体およびズーム値に基づいてサブカメラ４００の追尾被写体およびズーム値を自動制御する例を説明した。上述した例では、サブカメラが単一の被写体を追尾するように自動制御するものであったが、撮影範囲内の複数の被写体を追尾するように自動制御することもできる。
【0171】
サブカメラ４００に設定された役割が「アシストフォロー」の場合に、サブカメラ４００で単一の被写体を追尾させる場合と、複数の被写体を追尾させる場合の制御の例を、図１７を用いて説明する。ここでは理解および説明を容易にするため、メインカメラ５００の画角が変化せず、追尾被写体の制御だけが実行される場合について説明する。また、サブカメラ４００の画角が、撮影方向に係わらず撮影範囲２０内の全被写体を常に撮影可能であるものとする。なお、図１７の最上段に示したサブカメラ４００の撮影方向は、単一の被写体を追尾させる場合の撮影方向を示している。
【0172】
図１６と同様、当初、メインカメラ５００の注目被写体（追尾被写体）は被写体Ｂである。そのため、ＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂ以外の被写体Ａ、Ｃのうち、左側の被写体Ａに決定し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。追尾被写体が画面の中心に位置するように撮影方向を制御すると、下から２段目に示すように、サブカメラ４００の映像は被写体Ａ～Ｃが右に寄った映像になり、バランスが悪い。そのため、サブカメラ４００の映像に追尾被写体を含む複数の被写体が存在する場合、それら複数の被写体を追尾するように撮影方向を制御することができる。例えばＣＰＵ１０１は、サブカメラ４００の映像に含まれる複数の被写体Ａ～Ｃの位置の重心を追尾するように撮影方向を制御することができる。この結果、サブカメラ４００では最下段に示すような映像が撮影される。
【0173】
図１７に示す例では、サブカメラ４００が被写体Ａ～Ｃのいずれを追尾しても、すべての被写体Ａ～Ｃが撮影されるため、メインカメラ５００の注目被写体が変化しても、サブカメラ４００の撮影方向はほぼ一定になる。
【0174】
（変形例２）
また、サブカメラ４００の追尾被写体を決定した後、ＣＰＵ１０１は、追尾被写体に合焦するようにサブカメラ４００を制御してもよい。基本的にサブカメラ４００では指定された追尾被写体に合焦するようにＣＰＵ４０１が継続的に合焦距離を制御しているが、撮影制御装置１００からサブカメラ４００のＡＦ枠を追尾被写体の位置に設定することができる。これにより、サブカメラ４００を、素早く、また確実に追尾被写体に合焦させることができる。なお、パンの速度が遅く（閾値以下に）なった際にＡＦ枠を設定すると、追尾対象が画面の中央に位置する可能性が高いため、合焦に要する時間を短縮できる可能性がある。
また、サブカメラ４００の追尾被写体を決定した後、ＣＰＵ１０１は、追尾被写体に合焦するようにサブカメラ４００を制御してもよい。基本的にサブカメラ４００では指定された追尾被写体に合焦するようにＣＰＵ４０１が継続的に合焦距離を制御しているが、撮影制御装置１００からサブカメラ４００のＡＦ枠を追尾被写体の位置に設定することができる。これにより、サブカメラ４００を、素早く、また確実に追尾被写体に合焦させることができる。なお、パンの速度が遅く（閾値以下に）なった際にＡＦ枠を設定すると、追尾対象が画面の中央に位置する可能性が高いため、合焦に要する時間を短縮できる可能性がある。
【0175】
（変形例３）
また、俯瞰カメラ３００を用いなくてもサブカメラ４００の制御は可能である。この場合、メインカメラ５００とサブカメラ４００の設置位置と、メインカメラ５００の撮影方向（追尾被写体に対するメインカメラ５００の向き）とから、サブカメラ４００の撮影方向を決定することができる。メインカメラ５００で被写体検出処理を実行し、その結果をＣＰＵ１０１が取得して用いることで、サブカメラ４００を制御することができる。例えばＣＰＵ１０１は被写体検出処理の結果として被写体領域の画像をメインカメラ５００から取得する。そして、ＣＰＵ１０１は、取得した画像をテンプレートとして用いた被写体追尾処理を実行するようにサブカメラ４００を制御することができる。あるいは、ＣＰＵ１０１は、取得した画像をテンプレートとして用い、テンプレートの相関度が低い被写体領域を追尾するようにサブカメラ４００を制御してもよい。
また、俯瞰カメラ３００を用いなくてもサブカメラ４００の制御は可能である。この場合、メインカメラ５００とサブカメラ４００の設置位置と、メインカメラ５００の撮影方向（追尾被写体に対するメインカメラ５００の向き）とから、サブカメラ４００の撮影方向を決定することができる。メインカメラ５００で被写体検出処理を実行し、その結果をＣＰＵ１０１が取得して用いることで、サブカメラ４００を制御することができる。例えばＣＰＵ１０１は被写体検出処理の結果として被写体領域の画像をメインカメラ５００から取得する。そして、ＣＰＵ１０１は、取得した画像をテンプレートとして用いた被写体追尾処理を実行するようにサブカメラ４００を制御することができる。あるいは、ＣＰＵ１０１は、取得した画像をテンプレートとして用い、テンプレートの相関度が低い被写体領域を追尾するようにサブカメラ４００を制御してもよい。
【0176】
（変形例４）
撮影制御装置１００と役割制御装置６００とをメインカメラ５００とを独立した装置として説明したが、メインカメラ５００内に撮影制御装置１００と役割制御装置６００の機能を組み込むこともできる。この場合、俯瞰カメラ３００の映像をメインカメラ５００に供給する。このような構成により、マルチカメラ撮像システムを実現するために必要な機器を削減することができる。
撮影制御装置１００と役割制御装置６００とをメインカメラ５００とを独立した装置として説明したが、メインカメラ５００内に撮影制御装置１００と役割制御装置６００の機能を組み込むこともできる。この場合、俯瞰カメラ３００の映像をメインカメラ５００に供給する。このような構成により、マルチカメラ撮像システムを実現するために必要な機器を削減することができる。
【0177】
以上説明したように、本実施形態によれば、メインカメラの状態や映像に基づいてサブカメラの動作を自動制御する際、サブカメラに設定された役割に応じた自動制御を実行するようにした。そのため、本実施形態の撮影制御装置は、省力化を実現しつつ、より自由度の高い自動撮影制御を実現することができる。
【0178】
●＜第２実施形態＞
次に本発明の第2実施形態について説明する。本実施形態ではメインカメラの状態または映像に基づく情報と、サブカメラに設定されている役割とに加え、サブカメラの映像を考慮してサブカメラの追尾被写体を決定する。
次に本発明の第2実施形態について説明する。本実施形態ではメインカメラの状態または映像に基づく情報と、サブカメラに設定されている役割とに加え、サブカメラの映像を考慮してサブカメラの追尾被写体を決定する。
【0179】
図１８は、本実施形態に撮像システム１０’の構成例を示す模式図である。図１８において第１実施形態の撮像システム１０と同様の構成には図１と同じ参照数字を付して説明を省略する。本実施形態の撮像システム１０’は、２台のサブカメラＡ８００およびサブカメラＢ９００を有する。サブカメラＡ８００およびサブカメラＢ９００の機能構成は第１実施形態で説明したサブカメラ４００と同様であるため説明を省略する。
【0180】
本実施形態では、役割が役割制御装置６００から撮影制御装置１００に設定され、役割設定情報がサブカメラごとに異なる制御内容を含む。ＣＰＵ１０１は、撮影制御装置１００に設定された役割にしたがって、サブカメラごとに動作を制御する。
図１９は、本実施形態における役割設定情報の例を示す図である。ここでは一例として役割「アシストフォロー」と対応するサブカメラごとの制御内容のみを示している。しかし、撮影制御装置１００に設定可能な役割の種類および役割の種類に対応する制御内容は図１９に示す例に限定されない。
図１９は、本実施形態における役割設定情報の例を示す図である。ここでは一例として役割「アシストフォロー」と対応するサブカメラごとの制御内容のみを示している。しかし、撮影制御装置１００に設定可能な役割の種類および役割の種類に対応する制御内容は図１９に示す例に限定されない。
【0181】
ここでは、サブカメラＡ８００については、メインカメラの追尾被写体と異なる被写体のうち左側の被写体を追尾被写体とし、かつ追尾被写体に合焦するように制御することが規定されている。また、サブカメラＢ９００については、メインカメラの追尾被写体と異なる被写体のうち右側の被写体を追尾被写体とし、かつ追尾被写体に合焦するように制御することが規定されている。ここでは被写体の総数が３であることが事前に分かっているため、２人のうち左側または右側と規定されているが、単に左側、右側と規定してもよい。なお、第１実施形態と同様にズーム制御について規定してもよいが、説明の簡略化のためズーム制御については省略する。
【0182】
図１９に示す役割設定情報は、撮影制御装置１００のＲＯＭ１０３に予め記憶されている。あるいは役割設定情報は役割制御装置６００から撮影制御装置１００に供給され、ＣＰＵ１０１がＲＡＭ１０２に記憶してもよい。
【0183】
図２０を用いて、撮影制御装置１００が役割設定情報に基づいてサブカメラＡ８００およびサブカメラＢ９００をどのように制御するかを説明する。
【0184】
図２０（ａ）は、撮影開始時における撮影範囲２０とメインカメラ５００、サブカメラＡ８００、サブカメラＢ９００の位置関係と、撮影範囲２０内の被写体Ａ～Ｃとを示している。図２０（ｂ）は、撮影開始後、被写体Ａが被写体Ｂの左側から右側に移動し、被写体Ｃが被写体Ｂの右側から左側に移動した状態を示している。
【0185】
図２０（ａ）の段階で撮影制御装置１００のＣＰＵ１０１は、図１９に示した役割設定情報に基づいて、サブカメラＡ８００およびサブカメラＢ９００の動作を制御する。すなわち、ＣＰＵ１０１は、メインカメラ５００の注目被写体（被写体Ｂ）以外の被写体Ａ、Ｃのうち左側の被写体ＡをサブカメラＡ８００の追尾被写体に、右側の被写体ＣをサブカメラＢ９００の追尾被写体に、それぞれ決定する。
【0186】
ＣＰＵ１０１は、決定した追尾被写体を追尾するようにサブカメラＡ８００およびサブカメラＢ９００の撮影方向を制御する。また、ＣＰＵ１０１は、決定した追尾被写体に合焦するよう、サブカメラＡ８００およびサブカメラＢ９００を制御する。
【0187】
図２０（ｂ）の状態になると、サブカメラＡ８００が追尾している被写体Ａは、（メインカメラ５００の注目被写体以外の）「左側の被写体」という条件を満たさない。そのため、ＣＰＵ１０１は、サブカメラＡ８００の追尾被写体を、メインカメラ５００の注目被写体（被写体Ｂ）以外の被写体Ａ、Ｃのうち左側の被写体Ｃに変更する。同様に、サブカメラＢ９００が追尾している被写体Ｃも「右側の被写体」という条件を満たさない。そのため、ＣＰＵ１０１は、サブカメラＢ９００の追尾被写体を、メインカメラ５００の注目被写体（被写体Ｂ）以外の被写体Ａ、Ｃのうち右側の被写体Ａに変更する。また、ＣＰＵ１０１は、決定した追尾被写体に合焦するよう、サブカメラＡ８００およびサブカメラＢ９００を制御する。
【0188】
図２０（ｂ）のように被写体が大きく移動した場合、手前に他の被写体が存在する可能性が高くなるため、追尾対象の被写体が隠されやすくなる。撮影範囲２０に対して左よりに配置されたサブカメラは左側に存在する被写体を追尾するように設定することで、追尾被写体が右方向に大きく移動した場合に追尾被写体が効果的に変更されることが規定できる。撮影範囲２０に対して右よりに配置されたサブカメラについても同様である。
【0189】
本実施形態では、同じ役割についてサブカメラごとに異なる被写体を追尾するような制御内容を規定できるようにした。そのため、本実施形態の撮影制御装置１００によれば、メインカメラの状態や映像から得られる情報に基づきつつ、様々な被写体を追尾した映像を撮影するようにサブカメラを自動制御することが可能になる。
【0190】
（変形例）
本実施形態では、俯瞰カメラ３００の映像から検出された被写体領域の位置を座標変換することにより、特定の被写体を追尾するためのサブカメラの撮影方向を推定する。しかし、サブカメラＡ８００、サブカメラＢ９００の映像に基づいて同様の推定を行ってもよい。この場合、撮影制御装置１００の処理負荷は増えるが、座標変換が不要であるため、サブカメラの撮影方向の制御の精度を高めることができる。
本実施形態では、俯瞰カメラ３００の映像から検出された被写体領域の位置を座標変換することにより、特定の被写体を追尾するためのサブカメラの撮影方向を推定する。しかし、サブカメラＡ８００、サブカメラＢ９００の映像に基づいて同様の推定を行ってもよい。この場合、撮影制御装置１００の処理負荷は増えるが、座標変換が不要であるため、サブカメラの撮影方向の制御の精度を高めることができる。
【0191】
（変形例２）
また、本実施形態でサブカメラＡ８００およびサブカメラＢ９００を制御するパン・チルト値は、追尾対象を自動追尾するように算出されていた。しかし、自動追尾は必須でない。例えば、役割設定情報において、メインカメラ５００のズーム値に応じて、サブカメラＡ８００およびサブカメラＢ９００のパン値を制御するように規定してもよい。
また、本実施形態でサブカメラＡ８００およびサブカメラＢ９００を制御するパン・チルト値は、追尾対象を自動追尾するように算出されていた。しかし、自動追尾は必須でない。例えば、役割設定情報において、メインカメラ５００のズーム値に応じて、サブカメラＡ８００およびサブカメラＢ９００のパン値を制御するように規定してもよい。
【0192】
一例として、メインカメラ５００のズーム状態が「広角端」の場合に、サブカメラＡ８００は左斜め４５度の方向を向き、サブカメラＢ９００は右斜め４５度の方向を向くように制御することができる。一方で、メインカメラ５００のズーム状態が「望遠端」の場合には、サブカメラＡ８００およびサブカメラＢ９００が、どちらも中央０度の方向を向くように制御することができる。
【0193】
このような制御を行うことで、複数のサブカメラの撮影方向をメインカメラ５００のズーム状態に同期させて制御することが可能になり、演出効果を高めることができる。例えば、メインカメラ５００が特定の被写体にズームアップしていくと、それに連動して、サブカメラＡ８００とサブカメラＢ９００が同じ被写体をズームアップしながら撮影方向を変更することも可能になる。このような制御を行うことで、複数台のカメラ画像を、複数台のモニターに表示するような演出において、複数カメラが同期制御された複数の撮影画像を同時に視聴することが可能になる。また、同じ役割を持たせて各カメラを自動制御することで、個々のカメラを手動操作する場合に比べて、カメラ間の画角の時間変化のばらつきが小さく、画角変化の一体感が強くなり、より臨場感を高めるような演出上の効果が望める。
【0194】
（変形例３）
また、本実施形態では、メインカメラ５００を主、サブカメラＡ８００およびサブカメラＢ９００を従として制御する例を示したが、メインカメラ５００とサブカメラＡ８００の主従関係を動的に変更可能としてもよい。例えば、メインカメラ５００、サブカメラＡ８００、サブカメラＢ９００のうち、本線映像を撮影しているカメラを主とし、他のカメラを従として制御するようにしてもよい。この場合、撮影制御装置１００はどのカメラの映像が本線映像をとして選択されているかを示す情報を、映像を選択するスイッチャなどの外部装置から取得するか、タリー信号に基づいて判別すればよい。本線映像に限らず、記録用の映像など、視聴者の視聴や記録に関わる映像として選択された際にも同様の制御を実行してもよい。
また、本実施形態では、メインカメラ５００を主、サブカメラＡ８００およびサブカメラＢ９００を従として制御する例を示したが、メインカメラ５００とサブカメラＡ８００の主従関係を動的に変更可能としてもよい。例えば、メインカメラ５００、サブカメラＡ８００、サブカメラＢ９００のうち、本線映像を撮影しているカメラを主とし、他のカメラを従として制御するようにしてもよい。この場合、撮影制御装置１００はどのカメラの映像が本線映像をとして選択されているかを示す情報を、映像を選択するスイッチャなどの外部装置から取得するか、タリー信号に基づいて判別すればよい。本線映像に限らず、記録用の映像など、視聴者の視聴や記録に関わる映像として選択された際にも同様の制御を実行してもよい。
【0195】
また、サブカメラＡ８００もしくはサブカメラＢ９００が手動操作された際にカメラ間の主従関係を切り換えてもよい。この場合、サブカメラのいずれかをユーザが手動操作した時点で、そのサブカメラを主とした他のカメラの制御か開始されるため、使い勝手がよい。
【0196】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0197】
本実施形態の開示は、以下の撮影制御装置、撮影制御方法、撮像システム、およびプログラムを含む。
（項目１）
複数のカメラのうち、メインカメラの状態または映像から情報を取得する取得手段と、
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御する制御手段と、を有し、
前記取得手段は、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得し、
前記制御手段は、前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御する、
ことを特徴とする撮影制御装置。
（項目２）
前記制御手段は、前記サブカメラに設定された役割に応じて、前記注目被写体または前記注目被写体とは別の被写体を前記サブカメラの追尾被写体に決定し、前記追尾被写体を追尾するように前記サブカメラの撮影方向を制御することを特徴とする項目１に記載の撮影制御装置。
（項目３）
前記制御手段は、前記追尾被写体を含む複数の被写体を追尾するように前記サブカメラの撮影方向を制御することを特徴とする項目２に記載の撮影制御装置。
（項目４）
前記制御手段は、前記追尾被写体を含む複数の被写体を追尾するように前記サブカメラの撮影方向を制御する際、前記複数の被写体の位置の重心を追尾するように前記サブカメラの撮影方向を制御することを特徴とする項目３に記載の撮影制御装置。
（項目５）
前記サブカメラが複数である場合、前記制御手段は、複数の前記サブカメラに異なる追尾被写体を決定することを特徴とする項目１から４のいずれか１項に記載の撮影制御装置。
（項目６）
前記メインカメラと前記サブカメラとは動的に変更可能であることを特徴とする項目１から５のいずれか１項に記載の撮影制御装置。
（項目７）
前記サブカメラが手動操作されると、前記メインカメラと前記サブカメラとが変更されることを特徴とする項目６に記載の撮影制御装置。
（項目８）
前記複数のカメラのうち、映像が外部装置で選択されているカメラを前記メインカメラとすることを特徴とする項目６に記載の撮影制御装置。
（項目９）
前記制御手段は、前記複数のカメラの撮影範囲の全体を撮影する、前記複数のカメラとは別のカメラで撮影された映像に基づいて、前記サブカメラの撮影方向を決定することを特徴とする項目１から８のいずれか１項に記載の撮影制御装置。
（項目１０）
前記サブカメラは外部からパンおよびチルト動作を制御可能であることを特徴とする項目１から９のいずれか１項に記載の撮影制御装置。
（項目１１）
前記制御手段は、前記サブカメラに設定された役割に応じて、前記メインカメラの画角変化と同位相で、あるいは逆位相で前記サブカメラの画角を制御する、
ことを特徴とする項目１から１０のいずれか１項に記載の撮影制御装置。
（項目１２）
前記メインカメラの画角に関する情報は、前記メインカメラのズーム状態を表す情報であって、
前記制御手段は、前記サブカメラに設定された役割と前記メインカメラのズーム状態を表す情報とに基づいて、前記サブカメラのズーム動作を制御することを特徴とする請求項１から１１のいずれか１項に記載の撮影制御装置。
（項目１３）
前記サブカメラは外部からズーム動作を制御可能であることを特徴とする項目１から１２のいずれか１項に記載の撮影制御装置。
（項目１４）
項目１から１３のいずれか１項に記載の撮影制御装置と、
前記複数のカメラと、
前記撮影制御装置と前記複数のカメラとを通信可能に接続する通信ネットワークと、
を有することを特徴とする撮像システム。
（項目１５）
撮影制御装置が実行する撮影制御方法であって、
複数のカメラのうち、メインカメラの状態または映像から情報を取得することと、
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御することと、を有し、
前記取得することは、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得することを含み、
前記制御することは、
前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御することと、を含む、ことを特徴とする撮影制御方法。
（項目１６）
コンピュータを、項目１から１３のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
（項目１）
複数のカメラのうち、メインカメラの状態または映像から情報を取得する取得手段と、
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御する制御手段と、を有し、
前記取得手段は、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得し、
前記制御手段は、前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御する、
ことを特徴とする撮影制御装置。
（項目２）
前記制御手段は、前記サブカメラに設定された役割に応じて、前記注目被写体または前記注目被写体とは別の被写体を前記サブカメラの追尾被写体に決定し、前記追尾被写体を追尾するように前記サブカメラの撮影方向を制御することを特徴とする項目１に記載の撮影制御装置。
（項目３）
前記制御手段は、前記追尾被写体を含む複数の被写体を追尾するように前記サブカメラの撮影方向を制御することを特徴とする項目２に記載の撮影制御装置。
（項目４）
前記制御手段は、前記追尾被写体を含む複数の被写体を追尾するように前記サブカメラの撮影方向を制御する際、前記複数の被写体の位置の重心を追尾するように前記サブカメラの撮影方向を制御することを特徴とする項目３に記載の撮影制御装置。
（項目５）
前記サブカメラが複数である場合、前記制御手段は、複数の前記サブカメラに異なる追尾被写体を決定することを特徴とする項目１から４のいずれか１項に記載の撮影制御装置。
（項目６）
前記メインカメラと前記サブカメラとは動的に変更可能であることを特徴とする項目１から５のいずれか１項に記載の撮影制御装置。
（項目７）
前記サブカメラが手動操作されると、前記メインカメラと前記サブカメラとが変更されることを特徴とする項目６に記載の撮影制御装置。
（項目８）
前記複数のカメラのうち、映像が外部装置で選択されているカメラを前記メインカメラとすることを特徴とする項目６に記載の撮影制御装置。
（項目９）
前記制御手段は、前記複数のカメラの撮影範囲の全体を撮影する、前記複数のカメラとは別のカメラで撮影された映像に基づいて、前記サブカメラの撮影方向を決定することを特徴とする項目１から８のいずれか１項に記載の撮影制御装置。
（項目１０）
前記サブカメラは外部からパンおよびチルト動作を制御可能であることを特徴とする項目１から９のいずれか１項に記載の撮影制御装置。
（項目１１）
前記制御手段は、前記サブカメラに設定された役割に応じて、前記メインカメラの画角変化と同位相で、あるいは逆位相で前記サブカメラの画角を制御する、
ことを特徴とする項目１から１０のいずれか１項に記載の撮影制御装置。
（項目１２）
前記メインカメラの画角に関する情報は、前記メインカメラのズーム状態を表す情報であって、
前記制御手段は、前記サブカメラに設定された役割と前記メインカメラのズーム状態を表す情報とに基づいて、前記サブカメラのズーム動作を制御することを特徴とする請求項１から１１のいずれか１項に記載の撮影制御装置。
（項目１３）
前記サブカメラは外部からズーム動作を制御可能であることを特徴とする項目１から１２のいずれか１項に記載の撮影制御装置。
（項目１４）
項目１から１３のいずれか１項に記載の撮影制御装置と、
前記複数のカメラと、
前記撮影制御装置と前記複数のカメラとを通信可能に接続する通信ネットワークと、
を有することを特徴とする撮像システム。
（項目１５）
撮影制御装置が実行する撮影制御方法であって、
複数のカメラのうち、メインカメラの状態または映像から情報を取得することと、
前記複数のカメラのうち、サブカメラの動作を、サブカメラに設定された役割と、前記情報とに基づいて制御することと、を有し、
前記取得することは、前記情報として、前記メインカメラの注目被写体の情報及び前記メインカメラの画角に関する情報を取得することを含み、
前記制御することは、
前記サブカメラに設定された役割と前記情報とに基づいて、前記サブカメラの撮影方向及び画角を制御することと、を含む、ことを特徴とする撮影制御方法。
（項目１６）
コンピュータを、項目１から１３のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
【0198】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0199】
１００…制御装置、３００…俯瞰カメラ、４００…サブカメラ、５００…メインカメラ、６００…役割制御装置、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…推論部、１０５…ネットワークＩ／Ｆ、１０６…ユーザー入力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【手続補正書】
【提出日】2024-09-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮影制御装置であって、
複数の撮像装置に含まれる第１の撮像装置に関する情報を取得する取得手段と、
前記複数の撮像装置に含まれる第２の撮像装置の動作を、設定された前記第２の撮像装置の役割と前記第１の撮像装置に関する情報とに基づいて制御する制御手段と、を有し、
前記取得手段は、前記第１の撮像装置に関する情報として、前記第１の撮像装置の注目被写体の情報及び前記第１の撮像装置の画角に関する情報を取得し、
前記制御手段は、設定された前記第２の撮像装置の役割が第１の役割である場合と前記第１の役割とは異なる第２の役割の場合とで、前記第２の撮像装置の追尾対象とする被写体及び画角の少なくとも一方が異なるように、前記第２の撮像装置の追尾対象とする被写体及び画角を制御する、ことを特徴とする撮影制御装置。
複数の撮像装置に含まれる第１の撮像装置に関する情報を取得する取得手段と、
前記複数の撮像装置に含まれる第２の撮像装置の動作を、設定された前記第２の撮像装置の役割と前記第１の撮像装置に関する情報とに基づいて制御する制御手段と、を有し、
前記取得手段は、前記第１の撮像装置に関する情報として、前記第１の撮像装置の注目被写体の情報及び前記第１の撮像装置の画角に関する情報を取得し、
前記制御手段は、設定された前記第２の撮像装置の役割が第１の役割である場合と前記第１の役割とは異なる第２の役割の場合とで、前記第２の撮像装置の追尾対象とする被写体及び画角の少なくとも一方が異なるように、前記第２の撮像装置の追尾対象とする被写体及び画角を制御する、ことを特徴とする撮影制御装置。
【請求項2】
前記制御手段は、前記設定された前記第２の撮像装置の役割に応じて、前記第１の撮像装置の画角の広さを変更する方向と前記第２の撮像装置の画角の広さを変更する方向の関係を異ならせることを特徴とする請求項１に記載の撮影制御装置。
【請求項3】
前記制御手段は、前記設定された前記第２の撮像装置の役割に応じて、前記第１の撮像装置の画角の広さを大きくする場合に前記第２の撮像装置の画角の広さを大きくするか否かを異ならせることを特徴とする請求項２に記載の撮影制御装置。
【請求項4】
前記制御手段は、前記設定された前記第２の撮像装置の役割に応じて、前記第１の撮像装置の注目被写体と前記第２の撮像装置の追尾対象とする被写体の関係を異ならせることを特徴とする請求項１に記載の撮影制御装置。
【請求項5】
前記制御手段は、前記設定された前記第２の撮像装置の役割に応じて、前記第１の撮像装置の注目被写体を前記第２の撮像装置の追尾対象とする被写体とするか否かを異ならせることを特徴とする請求項４に記載の撮影制御装置。
【請求項6】
前記制御手段は、前記設定された前記第２の撮像装置の役割に応じて、前記第１の撮像装置の画角の広さを変更する方向と前記第２の撮像装置の画角の広さを変更する方向の関係及び前記第１の撮像装置の注目被写体と前記第２の撮像装置の追尾対象とする被写体の関係の組合わせを異ならせることを特徴とする請求項１に記載の撮影制御装置。
【請求項7】
前記制御手段は、前記設定された前記第２の撮像装置の役割に応じて、前記第１の撮像装置の画角の広さを大きくする場合に前記第２の撮像装置の画角の広さを大きくするか否か及び前記第１の撮像装置の注目被写体を前記第２の撮像装置の追尾対象とする被写体とするか否かの組合わせを異ならせることを特徴とする請求項６に記載の撮影制御装置。
【請求項8】
前記制御手段は、前記追尾対象とする被写体を含む複数の被写体を追尾するように前記第２の撮像装置の撮影方向を制御することを特徴とする請求項１に記載の撮影制御装置。
【請求項9】
前記制御手段は、前記追尾対象とする被写体を含む複数の被写体を追尾するように前記第２の撮像装置の撮影方向を制御する際、前記複数の被写体の位置の重心を追尾するように前記第２の撮像装置の撮影方向を制御することを特徴とする請求項８に記載の撮影制御装置。
【請求項10】
前記第１の撮像装置の注目被写体及び画角は、ユーザの操作によって制御されることを特徴とする請求項１に記載の撮影制御装置。
【請求項11】
前記複数の撮像装置には複数の前記第２の撮像装置が含まれ、
前記制御手段は、複数の前記第２の撮像装置それぞれの追尾対象とする被写体及び画角を制御する、ことを特徴とする請求項１に記載の撮影制御装置。
前記制御手段は、複数の前記第２の撮像装置それぞれの追尾対象とする被写体及び画角を制御する、ことを特徴とする請求項１に記載の撮影制御装置。
【請求項12】
前記制御手段は、前記第１の撮像装置および前記第２の撮像装置の撮影範囲の全体を撮影する、前記第１の撮像装置及び前記第２の撮像装置とは別の撮像装置で撮影された映像に基づいて、前記第２の撮像装置の撮影方向を決定することを特徴とする請求項１に記載の撮影制御装置。
【請求項13】
請求項１から１２のいずれか１項に記載の撮影制御装置と、
前記複数の撮像装置と、
前記撮影制御装置と前記複数の撮像装置とを通信可能に接続する通信ネットワークと、
を有することを特徴とする撮像システム。
前記複数の撮像装置と、
前記撮影制御装置と前記複数の撮像装置とを通信可能に接続する通信ネットワークと、
を有することを特徴とする撮像システム。
【請求項14】
撮影制御装置が実行する撮影制御方法であって、
複数の撮像装置に含まれる第１の撮像装置に関する情報を取得することと、
前記複数の撮像装置に含まれる第２の撮像装置の動作を、設定された前記第２の撮像装置の役割と前記第１の撮像装置に関する情報とに基づいて制御することと、を有し、
前記取得することは、前記第１の撮像装置に関する情報として、前記第１の撮像装置の注目被写体の情報及び前記第１の撮像装置の画角に関する情報を取得することを含み、
前記制御することは、設定された前記第２の撮像装置の役割が第１の役割である場合と前記第１の役割とは異なる第２の役割の場合とで、前記第２の撮像装置の追尾対象とする被写体及び画角の少なくとも一方が異なるように、前記第２の撮像装置の追尾対象とする被写体及び画角を制御することを含む、ことを特徴とする撮影制御方法。
複数の撮像装置に含まれる第１の撮像装置に関する情報を取得することと、
前記複数の撮像装置に含まれる第２の撮像装置の動作を、設定された前記第２の撮像装置の役割と前記第１の撮像装置に関する情報とに基づいて制御することと、を有し、
前記取得することは、前記第１の撮像装置に関する情報として、前記第１の撮像装置の注目被写体の情報及び前記第１の撮像装置の画角に関する情報を取得することを含み、
前記制御することは、設定された前記第２の撮像装置の役割が第１の役割である場合と前記第１の役割とは異なる第２の役割の場合とで、前記第２の撮像装置の追尾対象とする被写体及び画角の少なくとも一方が異なるように、前記第２の撮像装置の追尾対象とする被写体及び画角を制御することを含む、ことを特徴とする撮影制御方法。
【請求項15】
コンピュータを、請求項１から１２のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本発明はその一態様において、撮影制御装置であって、複数の撮像装置に含まれる第１の撮像装置に関する情報を取得する取得手段と、複数の撮像装置に含まれる第２の撮像装置の動作を、設定された第２の撮像装置の役割と第１の撮像装置に関する情報とに基づいて制御する制御手段と、を有し、取得手段は、第１の撮像装置に関する情報として、第１の撮像装置の注目被写体の情報及び第１の撮像装置の画角に関する情報を取得し、制御手段は、設定された第２の撮像装置の役割が第１の役割である場合と第１の役割とは異なる第２の役割の場合とで、第２の撮像装置の追尾対象とする被写体及び画角の少なくとも一方が異なるように、第２の撮像装置の追尾対象とする被写体及び画角を制御する、ことを特徴とする撮影制御装置を提供する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【0114】
次に、図１２を用いて、チルト角の決定方法について説明する。図１２は、サブカメラと追尾被写体とを側方から見た状態を示している。サブカメラ４００の現在の光軸が水平方向であり高さがｈ１であり、光軸を向ける追尾被写体の顔の高さがｈ２であるものとする。現在の光軸方向と目標の光軸方向との高さ方向の角度差（チルト角）をρとする。ＣＰＵ１０１はチルト角ρを以下の式３および式４を用いて算出する。
【数3】
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】変更
【補正の内容】
【0157】
Ｓ６０５でＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示しているかどうか判定する。例えば、サブカメラ４００のズーム制御の規定が「メインと同位相」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示していると判定してＳ６０６を実行する。一方、サブカメラ４００のズーム制御の規定が「メインと逆位相」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示していないと判定してＳ６０７を実行する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【0163】
このように、サブカメラ４００の役割が「メインフォロー」の場合、ＣＰＵ１０１は、メインカメラ５００の注目被写体および画角（ズーム値）の変化に追従するようにサブカメラ４００の追尾被写体およびズーム値を自動で変更する。なお、図１５に示す例ではサブカメラ４００のズーム状態の変化度合がメインカメラ５００のズーム状態の変化度合と同等になるように制御しているが、ズーム値の変化方向が同位相であれば実際のズーム値は異なってもよい。例えば、メインカメラ５００のズーム状態が望遠端のときにサブカメラ４００のズーム状態が望遠端でなくてもよい。サブカメラ４００のズーム値をメインカメラ５００のズーム値に合わせるかどうかは、役割設定情報を用いて設定可能としてもよい。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０１６６
【補正方法】変更
【補正の内容】
【0166】
その後、メインカメラ５００の注目被写体が被写体Ｂから被写体Ａに、ズーム状態が「中間」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ａ以外の被写体Ｂ、Ｃのうち、左側の被写体Ｂに変更し、サブカメラ４００が被写体Ｂを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、メインカメラ５００のズーム状態が「望遠端」から「中間」に変化したため、サブカメラ４００のズーム状態を「広角端」から「中間」に（逆位相に）制御する。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【0169】
なお、図１６に示す例ではサブカメラ４００のズーム状態をメインカメラ５００のズーム状態の変化度合と同等の変化度合で制御しているが、ズーム値の変化方向が逆位相であればズーム値の変化量は異なってもよい。例えば、例えば、メインカメラ５００のズーム状態が望遠端のときにサブカメラ４００のズーム状態が広角端でなくてもよい。メインカメラ５００のズーム状態の変化度合に対するサブカメラ４００のズーム状態の変化度合は、役割設定情報を用いて設定可能としてもよい。
【手続補正8】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図2】