知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025038772
(43)【公開日】2025-03-19
(54)【発明の名称】撮影制御装置および撮影制御方法、ならびに撮像システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20250312BHJP
H04N 23/63 20230101ALI20250312BHJP
H04N 23/69 20230101ALI20250312BHJP
H04N 23/695 20230101ALI20250312BHJP
H04N 23/661 20230101ALI20250312BHJP
H04N 7/18 20060101ALI20250312BHJP
G03B 15/00 20210101ALI20250312BHJP
G03B 17/00 20210101ALI20250312BHJP
G03B 17/18 20210101ALI20250312BHJP
【ＦＩ】
H04N23/60 100
H04N23/63 300
H04N23/69
H04N23/695
H04N23/60 300
H04N23/661
H04N7/18 F
G03B15/00 F
G03B15/00 P
G03B15/00 Q
G03B15/00 H
G03B17/00 B
G03B17/18
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023145576
(22)【出願日】2023-09-07
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】堀 卓也
【テーマコード（参考）】
2H102
5C054
5C122
【Ｆターム（参考）】
2H102AA41
2H102BB08
2H102CA06
5C054CA04
5C054CC02
5C054CF06
5C054CF07
5C054CH08
5C054EA01
5C054EA05
5C054EA07
5C054FC12
5C054FC15
5C054FD03
5C054FD07
5C054FE05
5C054FE12
5C054FF02
5C054GB01
5C054HA31
5C122DA02
5C122EA42
5C122EA65
5C122EA66
5C122FA18
5C122FD00
5C122FF00
5C122FH04
5C122FH10
5C122FH11
5C122FH14
5C122FK37
5C122FK41
5C122GC07
5C122GC52
5C122GD06
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB05
5C122HB09
5C122HB10
(57)【要約】
【課題】複数のカメラの動作を自動制御する撮影制御装置において、ユーザの意図しないカメラ動作を抑制することが可能な撮影制御装置を提供すること。
【解決手段】撮影制御装置は、撮影範囲内の特定の被写体を追尾被写体として決定する。また、撮影制御装置は、追尾被写体を追尾して撮影するようにカメラの撮影方向を制御する。撮影制御装置は、カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、カメラが追尾すべき追尾被写体を変更しない。
【選択図】図１
【解決手段】撮影制御装置は、撮影範囲内の特定の被写体を追尾被写体として決定する。また、撮影制御装置は、追尾被写体を追尾して撮影するようにカメラの撮影方向を制御する。撮影制御装置は、カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、カメラが追尾すべき追尾被写体を変更しない。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮影範囲内の特定の被写体を追尾被写体として決定する決定手段と、
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御する制御手段と、を有する撮影制御装置であって、
前記決定手段は、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しない、
ことを特徴とする撮影制御装置。
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御する制御手段と、を有する撮影制御装置であって、
前記決定手段は、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しない、
ことを特徴とする撮影制御装置。
【請求項2】
前記特定の映像が、前記選択装置が出力する映像であることを特徴とする請求項１に記載の撮影制御装置。
【請求項3】
前記特定の映像が、前記選択装置が出力する映像または前記選択装置が次に出力する予定の映像であることを特徴とする請求項１に記載の撮影制御装置。
【請求項4】
前記決定手段は、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されていない場合、前記カメラが追尾すべき前記追尾被写体の変更を可能とする、ことを特徴とする請求項１に記載の撮影制御装置。
【請求項5】
前記決定手段は、前記撮影範囲を撮影する、前記カメラとは別のカメラの追尾被写体に応じて前記カメラの前記追尾被写体を決定することを特徴とする請求項１に記載の撮影制御装置。
【請求項6】
前記制御手段は、前記撮影範囲を撮影する、前記カメラとは別のカメラの画角に応じて前記カメラの画角を制御することを特徴とする請求項５に記載の撮影制御装置。
【請求項7】
前記カメラに設定されている役割の種類に応じて、前記別のカメラの追尾被写体および画角を前記カメラの制御にどのように利用するかが異なることを特徴とする請求項６に記載の撮影制御装置。
【請求項8】
前記撮影範囲を撮影した映像から、前記撮影範囲内の被写体を識別する識別手段をさらに有し、
前記決定手段は、前記識別された被写体のうち、注目被写体として決定された被写体を前記追尾被写体として決定する、
ことを特徴とする請求項１に記載の撮影制御装置。
前記決定手段は、前記識別された被写体のうち、注目被写体として決定された被写体を前記追尾被写体として決定する、
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項9】
前記注目被写体が、前記撮影制御装置のユーザによって決定されることを特徴とする請求項８に記載の撮影制御装置。
【請求項10】
前記注目被写体が、前記撮影制御装置によって決定されることを特徴とする請求項８に記載の撮影制御装置。
【請求項11】
前記撮影範囲を撮影した映像が、前記撮影範囲の全体を固定の方向および画角で撮影した映像であることを特徴とする請求項８に記載の撮影制御装置。
【請求項12】
前記撮影範囲を撮影した映像が、前記カメラとは別の、前記撮影制御装置が撮影を制御しないカメラで撮影した映像であることを特徴とする請求項８に記載の撮影制御装置。
【請求項13】
前記撮影範囲を撮影した画像に前記注目被写体と前記追尾被写体とを示す指標を重畳した画像を表示装置に表示させることを特徴とする請求項８に記載の撮影制御装置。
【請求項14】
前記注目被写体と前記追尾被写体が同一の場合と異なる場合とで、前記指標を視覚的に異ならせることを特徴とする請求項１３に記載の撮影制御装置。
【請求項15】
前記決定手段は、前記注目被写体が変化した際、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されていたことによって前記追尾被写体を変更しなかった場合、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されなくなった後、最新の前記注目被写体を前記追尾被写体として決定する、ことを特徴とする請求項８に記載の撮影制御装置。
【請求項16】
外部から、前記カメラの映像に影響を与える変更の指示を受信した場合、前記制御手段は、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されている場合、前記変更が許可されていなければ前記指示を実行しない、ことを特徴とする請求項１に記載の撮影制御装置。
【請求項17】
前記カメラの映像に影響を与える変更が、前記カメラの画角、合焦距離、および露出条件のいずれかの変更であることを特徴とする請求項１６に記載の撮影制御装置。
【請求項18】
撮影制御装置が実行する撮影制御方法であって、
撮影範囲内の特定の被写体を追尾被写体として決定することと、
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御することと、を有し、
前記決定することは、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しないことを含む、
ことを特徴とする撮影制御方法。
撮影範囲内の特定の被写体を追尾被写体として決定することと、
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御することと、を有し、
前記決定することは、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しないことを含む、
ことを特徴とする撮影制御方法。
【請求項19】
請求項１から１７のいずれか１項に記載の撮影制御装置と、
前記撮影制御装置が撮影を制御する１つ以上のカメラと、
前記選択装置と、
前記撮影制御装置と、前記カメラと、前記選択装置とを通信可能に接続する通信ネットワークと、を有することを特徴とする撮像システム。
前記撮影制御装置が撮影を制御する１つ以上のカメラと、
前記選択装置と、
前記撮影制御装置と、前記カメラと、前記選択装置とを通信可能に接続する通信ネットワークと、を有することを特徴とする撮像システム。
【請求項20】
コンピュータを、請求項１から１７のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮影制御装置および撮影制御方法、ならびに撮像システムに関し、特には複数の撮像装置を制御する技術に関する。
【背景技術】
【0002】
ライブ配信や収録では、複数のカメラで並行して撮像された映像から、放送や収録に用いる映像（本線映像）を、ビデオスイッチャを用いて動的に選択または切り替えて出力するマルチカメラ撮像システムが用いられる（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－４５５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような撮像システムにおいて、カメラの動作を集中制御する撮影制御装置を導入することにより、省力化が実現できる。例えば、撮影制御装置が、特定の１台のカメラから得られる情報に基づいて他のカメラの動作を自動制御すれば、少人数でも多彩な撮影が可能になる。
【0005】
一方で、本線映像を動的に選択するユーザ（ビデオスイッチャの操作者）の意図に沿わない自動制御が実行されないような工夫が必要となる。したがって本発明はその一態様において、複数のカメラの動作を自動制御する撮影制御装置において、ユーザの意図しないカメラ動作を抑制することが可能な撮影制御装置および撮影制御方法を提供する。
【課題を解決するための手段】
【0006】
本発明はその一態様において、撮影範囲内の特定の被写体を追尾被写体として決定する決定手段と、追尾被写体を追尾して撮影するようにカメラの撮影方向を制御する制御手段と、を有する撮影制御装置であって、決定手段は、カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、カメラが追尾すべき追尾被写体を変更しない、ことを特徴とする撮影制御装置を提供する。
【発明の効果】
【0007】
本発明によれば、複数のカメラの動作を自動制御する撮影制御装置において、ユーザの意図しないカメラ動作を抑制することが可能な撮影制御装置および撮影制御方法を提供することができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る撮像システムの模式図
【図2】実施形態に係る撮像システムの各装置の機能構成例を示すブロック図
【図3】実施形態に係る撮影制御装置を主要な動作と信号の流れに着目して表した図
【図4】実施形態に係る撮像システムの各装置の動作に関するフローチャート
【図5】実施形態における座標変換を説明するための図
【図6】実施形態における被写体検出と座標変換に関する図
【図7】実施形態におけるパン値算出を説明するための図
【図8】実施形態におけるチルト値算出を説明するための図
【図9】第１実施形態における撮影制御装置の動作に関するフローチャート
【図10】第１実施形態の外接矩形枠の表示例を示す図である。
【図11】第２実施形態における撮影制御装置の動作に関するフローチャート
【図12】第２実施形態における撮影制御装置の動作に関するフローチャート
【図13】第３実施形態における撮影制御装置の動作に関するフローチャート
【図14】実施形態においてサブカメラに設定可能な役割の例を示す図
【発明を実施するための形態】
【0009】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
＜第１実施形態＞
（マルチカメラ撮像システムの概要）
図１は、本実施形態に係るマルチカメラ撮像システム１０（以下、単に撮像システムという）の構成例を示す模式図である。撮像システム１０は、複数のカメラ３００、４００ａ～４００ｃと、撮影制御装置１００と、ビデオスイッチャ（以下、単にスイッチャという）１０００とを有する。複数のカメラ３００、４００ａ～４００ｃ、撮影制御装置１００、およびスイッチャ１０００は、通信ネットワーク６００を通じて通信可能に接続されている。
（マルチカメラ撮像システムの概要）
図１は、本実施形態に係るマルチカメラ撮像システム１０（以下、単に撮像システムという）の構成例を示す模式図である。撮像システム１０は、複数のカメラ３００、４００ａ～４００ｃと、撮影制御装置１００と、ビデオスイッチャ（以下、単にスイッチャという）１０００とを有する。複数のカメラ３００、４００ａ～４００ｃ、撮影制御装置１００、およびスイッチャ１０００は、通信ネットワーク６００を通じて通信可能に接続されている。
【0011】
ここで、スイッチャ１０００には操作者が存在する。また、撮影制御装置１００にも操作者（ユーザ）が存在してもよいが、必須ではない。スイッチャ１０００の操作者が撮影制御装置１００のユーザであってもよい。サブカメラ４００ａ～４００ｃの撮影は撮影制御装置１００が制御するため、撮影者は不要である。俯瞰カメラ３００についても撮影者は不要である。
【0012】
通信ネットワーク６００は、ＩＥＥＥ８０２．３シリーズ、１ＥＥＥ８０２．１１シリーズなど公知の有線または無線通信規格に準拠している。また、複数のカメラ３００、４００ａ～４００ｃのそれぞれと、撮影制御装置１００と、スイッチャ１０００とは、通信ネットワーク６００の規格に準拠した通信インタフェースを有する。
【0013】
なお、図１では通信ネットワーク６００ですべての信号が通信されるように記載しているが、例えば映像信号と制御信号とは別の方法で通信されてもよい。例えば、複数のカメラ３００、４００ａ～４００ｃのそれぞれは、映像信号をケーブルで撮影制御装置１００またはスイッチャ１０００に直接供給してもよい。
【0014】
複数のカメラ３００、４００ａ～４００ｃのうち、カメラ３００は予め定められた撮影範囲２０の全体を撮影する。撮影範囲２０は例えばスタジオにおいて撮影対象の被写体が存在しうる範囲として設定されている。したがって、カメラ３００の映像には、撮影範囲内の被写体がすべて撮影されている。
【0015】
カメラ３００の目的は、撮影範囲内に存在する撮影対象の被写体を検出するための画像を撮影することである。したがって、カメラ３００の撮影方向および画角はカメラ３００の位置と撮影範囲２０とに応じて定まり、撮影中は基本的に固定である。また、カメラ３００は、撮影範囲２０の全体を、撮影範囲２０外の物体で隠されないように撮影することが好ましい。そのため、ここではカメラ３００を撮影範囲２０の全体を俯瞰する位置に設けている。撮影中の撮影方向や画角が基本的に固定でない他のカメラ４００ａ～４００ｃと区別するため、以下ではカメラ３００を俯瞰カメラと呼ぶ。ただし、カメラ３００の設置位置は、撮影範囲を俯瞰する位置に限定されない。俯瞰カメラ３００の動作は撮影制御装置１００から制御可能である。
【0016】
カメラ４００ａ～４００ｃは、例えばＰＴＺカメラであり、撮影方向（パンおよびチルト角度）、画角（ズーム）を含む動作を撮影制御装置１００によって制御可能である。また、カメラ４００ａ～４００ｃは、カメラ本体を雲台に取り付けることで撮影方向（パンおよびチルト角度）を制御可能にした構成であってもよい。また、カメラ４００ａ～４００ｃは、カメラ本体にズーム可能な交換レンズを装着した構成であってもよい。以下では、カメラ４００ａ～４００ｃをサブカメラと呼ぶ。また、以下ではサブカメラ４００ａ～４００ｃをまとめてサブカメラ４００と呼ぶ。サブカメラ４００の台数は３台に限定されず、２台以下であっても４台以上であってもよい。
【0017】
スイッチャ１０００は、サブカメラ４００ａ～４００ｃのそれぞれから映像信号を受信し、ユーザが指定した１台のサブカメラからの映像を選択して本線映像として出力する選択装置である。
【0018】
撮影制御装置１００は、俯瞰カメラ３００から受信した映像信号から被写体を検出する。撮影制御装置１００は、検出結果に基づいて、サブカメラ４００ａ～４００ｃのそれぞれが追尾すべき被写体を決定する。そして、撮影制御装置１００は、サブカメラ４００ａ～４００ｃのそれぞれが決定した被写体を撮影するよう、サブカメラ４００ａ～４００ｃのそれぞれの目標撮影方向（必要に応じてさらに目標画角）を決定する。撮影制御装置１００は、決定した目標撮影方向を含んだ制御コマンドをサブカメラ４００ａ～４００ｃに送信する。撮影制御装置１００が被写体検出、目標撮影方向の決定、および制御コマンドの送信を継続して実行することにより、特定の被写体を追尾して撮影するようにサブカメラ４００ａ～４００ｃのそれぞれを制御することができる。
【0019】
（各装置の機能構成例）
図２は、図１に示したマルチカメラ撮像システムを構成する各機器の機能構成例を示すブロック図である。なお、図面において機能ブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つの機能ブロックが複数の集積回路パッケージによって実現されてもよいし、複数の機能ブロックが１つの集積回路パッケージによって実現されてもよい。また、同一の機能ブロックが、動作環境や要求される能力などに応じて異なる構成で実施されてもよい。
図２は、図１に示したマルチカメラ撮像システムを構成する各機器の機能構成例を示すブロック図である。なお、図面において機能ブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つの機能ブロックが複数の集積回路パッケージによって実現されてもよいし、複数の機能ブロックが１つの集積回路パッケージによって実現されてもよい。また、同一の機能ブロックが、動作環境や要求される能力などに応じて異なる構成で実施されてもよい。
【0020】
（撮影制御装置１００）
まず、撮影制御装置１００の機能構成例について説明する。撮影制御装置１００は、例えばパーソナルコンピュータやワークステーションといった汎用コンピュータ機器であってよい。撮影制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、推論部１０４、ネットワークインタフェース（Ｉ／Ｆ）１０５、ユーザ入力Ｉ／Ｆ１０６、映像入力部１０７、表示部１０８が内部バス１１０を介して相互に接続された構成を有する。
まず、撮影制御装置１００の機能構成例について説明する。撮影制御装置１００は、例えばパーソナルコンピュータやワークステーションといった汎用コンピュータ機器であってよい。撮影制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、推論部１０４、ネットワークインタフェース（Ｉ／Ｆ）１０５、ユーザ入力Ｉ／Ｆ１０６、映像入力部１０７、表示部１０８が内部バス１１０を介して相互に接続された構成を有する。
【0021】
ＣＰＵ１０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ１０１は、例えば、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０２に読み込んで実行することにより、後述する撮影制御装置１００の機能を実現する。ＣＰＵ１０１は、例えば、基本ソフト（ＯＳ）上で稼働する撮影制御アプリケーションを実行することにより、撮影制御装置１００の機能を実現することができる。
【0022】
ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムをロードしたり、ＣＰＵ１０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ１０２の一部は表示部１０８のビデオメモリとして用いられてもよい。
【0023】
ＲＯＭ１０３は書き換え可能な不揮発性メモリであり、ＣＰＵ１０１が実行するプログラム（ＯＳおよびアプリケーション）、ユーザデータなどを記憶する。
【0024】
推論部１０４は、俯瞰カメラ３００の映像に対して、機械学習モデルを用いた被写体領域の検出処理を実行する。推論部１０４は例えばＧＰＵ(Graphics Processing Unit)、ＮＰＵ(Neural network Processing Unit)など、機械学習モデルの演算を高速に実行可能なハードウェア回路を用いて実施することができる。あるいは推論部１０４はＦＰＧＡ(Field-Programmable Gate Array)といった再構成可能な論理回路を用いて実施してもよい。ＣＰＵ１０１がプログラムを実行して推論部１０４の機能を実現してもよい。
【0025】
機械学習モデルは、検出する被写体の種類に応じて学習した畳み込みニューラルネットワーク（ＣＮＮ）であってよい。ここでは推論部１０４が、入力画像から人体領域または人間の顔領域を被写体領域として検出するものとする。また、推論部１０４は、検出した被写体領域ごとに、被写体領域が内接する矩形領域の位置および大きさ、検出信頼度を出力するものとする。なお、複数種の機械学習モデルを用い、同一の入力画像に対して種類の異なる被写体領域の検出処理を実行してもよい。なお、推論部１０４は、機械学習モデルを使用しない公知の方法で被写体領域の検出処理を実施してもよい。推論部１０４は、例えば、SIFTやSURFといった局所特徴量を用いる方法や、パターンマッチングを用いる方法などを用いて被写体領域を検出することができる。
【0026】
ネットワークＩ／Ｆ１０５は撮影制御装置１００を通信ネットワーク６００に接続するためのインタフェースである。撮影制御装置１００（ＣＰＵ１０１）は、ネットワークＩ／Ｆ１０５を通じて、俯瞰カメラ３００、サブカメラ４００ａ～４００ｃ、スイッチャ１０００など、通信ネットワーク６００上の外部装置と通信することができる。なお、撮影制御装置１００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を通じて外部装置と通信してもよい。
【0027】
ＣＰＵ１０１は、通信ネットワーク６００上の各装置（俯瞰カメラ３００、サブカメラ４００ａ～４００ｃ、スイッチャ１０００）と通信するため、各装置のネットワークアドレスを任意のタイミングで取得し、ＲＡＭ１０２に記憶する。また、ＣＰＵ１０１は、各装置の情報（装置の種類、機種名など）も、任意のタイミング（例えば最初の通信時）に取得し、ＲＡＭ１０２に記憶する。このように、ＣＰＵ１０１は、俯瞰カメラ３００、サブカメラ４００ａ～４００ｃ、スイッチャ１０００について、少なくとも識別情報と装置の種類について既知であるものとする。なお、ユーザが個々の装置に任意の名称を付与できるようにしてもよい。
【0028】
ユーザ入力Ｉ／Ｆ１０６は、マウス、キーボード、タッチパネルなどの入力デバイス（不図示）を接続するインタフェースである。撮影制御装置１００は、ユーザ入力Ｉ／Ｆ１０６を通じてユーザの指示を受け付ける。
【0029】
映像入力部１０７は、映像信号の入力インタフェースである。映像入力部１０７は例えばＳＤＩ(Serial Digital Interface)規格やＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）規格に準拠したレシーバであってよい。映像入力部１０７は俯瞰カメラ３００からの映像信号を受信する。
【0030】
表示部１０８は、液晶ディスプレイ（ＬＣＤ）などの表示装置である。表示部１０８は、ＯＳや撮影制御アプリケーションなどが提供するＧＵＩ画面を表示する。
【0031】
（スイッチャ１０００）
次に、スイッチャ１０００の機能構成例について説明する。
ＣＰＵ１００１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ１００１は、例えば、ＲＯＭ１００８に記憶されたプログラムをＲＡＭ１００２に読み込んで実行することにより、各機能ブロックの動作を制御し、後述するスイッチャ１０００の機能を実現する。
次に、スイッチャ１０００の機能構成例について説明する。
ＣＰＵ１００１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ１００１は、例えば、ＲＯＭ１００８に記憶されたプログラムをＲＡＭ１００２に読み込んで実行することにより、各機能ブロックの動作を制御し、後述するスイッチャ１０００の機能を実現する。
【0032】
ＲＡＭ１００２は、ＣＰＵ１００１が実行するプログラムをロードしたり、ＣＰＵ１００１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ１００２はサブカメラ４００から受信した映像信号のバッファとして用いられてもよい。
【0033】
ＲＯＭ１００８は書き換え可能な不揮発性メモリであり、ＣＰＵ１００１が実行するプログラム、スイッチャ１０００の設定値、ユーザデータなどを記憶する。
【0034】
映像入力部１００３ａ～１００３ｃは、映像信号の入力インタフェースである。映像入力部１００３ａ～１００３ｃは、例えばＳＤＩ規格やＨＤＭＩ規格に準拠したレシーバであってよい。映像入力部１００３ａはサブカメラ４００ａからの映像信号を、映像入力部１００３ｂはサブカメラ４００ｂからの映像信号を、映像入力部１００３ｃはサブカメラ４００ｃからの映像信号を、それぞれ受信する。なお、映像入力部１００３の数はサブカメラ４００の数以上であればよい。
【0035】
図２では映像入力部１００３とサブカメラ４００とが１対１で接続されている構成を示している。しかし、サブカメラ４００ａ～４００ｃの１つ以上からの映像信号が、通信ネットワーク６００を通じてスイッチャ１０００に供給されてもよい。この場合スイッチャ１０００はネットワークＩ／Ｆ１００７を通じて映像信号を受信する。なお、映像入力部１００３に映像信号を供給するサブカメラ４００と、通信ネットワーク６００を通じて映像信号を供給するサブカメラ４００が混在していてもよい。
【0036】
映像スイッチ制御部１００４は、映像入力部１００３ａ～１００３ｃに入力されている複数の映像信号のうち、ユーザ入力Ｉ／Ｆ１００６を通じて選択された映像信号を特定の映像として選択する。ここで映像スイッチ制御部１００４は、特定の映像として、本線映像およびプレビュー映像を選択可能である。また、映像スイッチ制御部１００４は、本線映像として選択した映像信号を映像出力部１００５に出力する。プレビュー映像は、次に本線映像とする予定の映像である。
【0037】
映像出力部１００５は、映像スイッチ制御部１００４で選択された映像信号を外部（例えばライブ配信機器や番組録画装置）に出力するインタフェースである。映像出力部１００５は例えばＳＤＩ規格やＨＤＭＩ規格に準拠したトランスミッタであってよい。
【0038】
モニタ出力部１００９は、映像入力部１００３またはネットワークＩ／Ｆ１００７を通じて受信したサブカメラ４００ａ～４００ｃからの映像信号を並べて表示する画面の映像を生成し、図示しない外部表示装置に出力する。また、モニタ出力部１００９は、スイッチャ１０００の設定画面の映像も外部表示装置に出力する。
【0039】
ユーザ入力Ｉ／Ｆ１００６は、例えばボタン、ダイヤル、ジョイスティック、タッチパネルなどの入力デバイス（不図示）を接続するインタフェースである。スイッチャ１０００は、ユーザ入力Ｉ／Ｆ１００６を通じて、本線映像およびプレビュー映像の選択やスイッチャ１０００の設定に関するユーザの指示を受け付ける。プレビュー映像は、次に本線映像とする予定の映像である。
【0040】
ＣＰＵ１００１は、ユーザ入力Ｉ／Ｆ１０６を通じたユーザ指示に基づいて、サブカメラ４００ａ～４００ｃのそれぞれの状態を、配信中、プレビュー中、待機中のいずれかに分類する。そして、ＣＰＵ１００１は、サブカメラ４００ａ～４００ｃのそれぞれの識別情報と、決定した状態を関連付けてＲＡＭ１００２に記憶する。以下、各サブカメラの状態を示す情報を、カメラ状態情報ＳＴＲＥＡＭＩＮＧと呼ぶ。ＣＰＵ１００１は、例えば映像信号の選択が変更される都度、カメラ状態情報ＳＴＲＥＡＭＩＮＧを更新する。
【0041】
ＣＰＵ１００１は、具体的には映像出力部１００５から出力中の映像（本線映像）を撮影しているサブカメラの状態を「配信中」と決定する。また、ＣＰＵ１００１は、プレビュー映像を撮影しているサブカメラの状態を「プレビュー中」と決定する。さらにＣＰＵ１００１は、残りの映像を撮影しているサブカメラの状態を「待機中」と決定する。サブカメラ４００の識別情報は、ユーザが付けた固有名称、製造番号、ネットワークアドレスなど、個々のサブカメラを識別可能な任意の情報であってよい。
【0042】
ＣＰＵ１００１は、カメラ状態情報ＳＴＲＥＡＭＩＮＧに基づいて、配信中およびプレビュー中のサブカメラに対し、タリー表示を行うための制御信号（タリー情報）を、ネットワークＩ／Ｆ１００７を通じて送信する。
【0043】
ネットワークＩ／Ｆ１００７は、スイッチャ１０００を通信ネットワーク６００に接続するためのインタフェースである。スイッチャ１０００（ＣＰＵ１００１）は、ネットワークＩ／Ｆ１００７を通じて、俯瞰カメラ３００、サブカメラ４００ａ～４００ｃ、撮影制御装置１００など、通信ネットワーク６００上の外部装置と通信することができる。なお、スイッチャ１０００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなど）を通じて外部装置と通信してもよい。
【0044】
（俯瞰カメラ３００）
次に、俯瞰カメラ３００の機能構成例について説明する。
ＣＰＵ３０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ３０１は、例えば、ＲＯＭ３０３に記憶されたプログラムをＲＡＭ３０２に読み込んで実行することにより、各機能ブロックの動作を制御し、後述する俯瞰カメラ３００の機能を実現する。
次に、俯瞰カメラ３００の機能構成例について説明する。
ＣＰＵ３０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ３０１は、例えば、ＲＯＭ３０３に記憶されたプログラムをＲＡＭ３０２に読み込んで実行することにより、各機能ブロックの動作を制御し、後述する俯瞰カメラ３００の機能を実現する。
【0045】
ＲＡＭ３０２は、ＣＰＵ３０１が実行するプログラムをロードしたり、ＣＰＵ３０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ３０２は撮影で得られた映像信号のバッファとして用いられてもよい。
【0046】
ＲＯＭ３０８は書き換え可能な不揮発性メモリである。ＲＯＭ３０８は、ＣＰＵ３０１が実行するプログラム、俯瞰カメラ３００の設定値、ユーザデータなどを記憶する。なお、ＲＯＭ３０８は、映像信号の記録先としても用いることができる。ＲＯＭ３０８は、内蔵メモリと着脱可能なメモリカードとを含んでもよい。
【0047】
画像センサ３０７は、撮影光学系と撮像素子とを有する。撮像素子は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子は複数の画素が２次元配列された画素アレイと、各画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された被写体像を表す画素信号群（アナログ画像信号）が得られる。
【0048】
画像処理部３０６は、画像センサ３０７が出力するアナログ画像信号に対して予め定められた信号処理および画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。
【0049】
画像処理部３０６が適用する処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、Ａ／Ｄ変換、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、画像センサ３０７にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補間処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系の周辺減光の影響の補正、色補正などの処理が含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。スイッチャ０００に出力する映像信号や、ＲＯＭ３０８に記録する映像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。ＡＦやＡＥはＣＰＵ３０１が実行する。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部３０６が適用可能な処理の例示であり、画像処理部３０６が適用する処理を限定するものではない。
画像処理部３０６は、取得もしくは生成した情報やデータを、用途に応じてＣＰＵ３０１、ＲＡＭ３０２、映像出力部３１１などに出力する。
前処理には、Ａ／Ｄ変換、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、画像センサ３０７にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補間処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系の周辺減光の影響の補正、色補正などの処理が含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。スイッチャ０００に出力する映像信号や、ＲＯＭ３０８に記録する映像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。ＡＦやＡＥはＣＰＵ３０１が実行する。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部３０６が適用可能な処理の例示であり、画像処理部３０６が適用する処理を限定するものではない。
画像処理部３０６は、取得もしくは生成した情報やデータを、用途に応じてＣＰＵ３０１、ＲＡＭ３０２、映像出力部３１１などに出力する。
【0050】
なお、画像処理部３０６で適用する処理の種類や設定は、撮影制御装置１００から俯瞰カメラ３００にコマンドを送信することによって制御可能である。
【0051】
ネットワークＩ／Ｆ３０５は、俯瞰カメラ３００を通信ネットワーク６００に接続するためのインタフェースである。俯瞰カメラ３００（ＣＰＵ３０１）は、ネットワークＩ／Ｆ３０５を通じて、撮影制御装置１００、スイッチャ１０００、サブカメラ４００ａ～４００ｃなど、通信ネットワーク６００上の外部装置と通信することができる。なお、俯瞰カメラ３００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなど）を通じて外部装置と通信してもよい。
【0052】
映像出力部３１１は画像センサ３０７を用いた撮像した映像信号を外部装置（ここでは撮影制御装置１００）に出力するためのインタフェースである。映像出力部３１１は例えばＳＤＩ規格やＨＤＭＩ規格に準拠したトランスミッタであってよい。
【0053】
モニタ出力部３１２は、モニタ出力が有効に設定され、かつ俯瞰カメラ３００に図示しない外部表示装置が接続されている場合、撮像によって得られた映像信号を表示する画面の映像を生成し、外部表示装置に出力する。
【0054】
（サブカメラ４００）
次に、サブカメラ４００ａ～ｃの機能構成例について説明する。なお、ここではサブカメラ４００ａ～４００ｃの機能構成が同一であるものとし、代表してサブカメラ４００ａの機能構成例について説明する。
次に、サブカメラ４００ａ～ｃの機能構成例について説明する。なお、ここではサブカメラ４００ａ～４００ｃの機能構成が同一であるものとし、代表してサブカメラ４００ａの機能構成例について説明する。
【0055】
サブカメラ４００ａと俯瞰カメラ３００とで同じ名称の機能ブロックは同じ機能を有するものとし、説明を省略する。ただし、映像出力部４１１は映像信号をスイッチャ１０００に出力する。
【0056】
上述の通り、サブカメラ４００はＰＴＺカメラであり、撮影の方向および画角を外部から制御可能である。そのため、サブカメラ４００は、パンおよびチルト動作とズーム動作が可能な駆動部４０９と、駆動Ｉ／Ｆ４０８とを有している。駆動Ｉ／Ｆ４０８は駆動部４０９とＣＰＵ４０１との通信インタフェースである。
【0057】
駆動部４０９は、サブカメラ４００をパンおよびチルト可能に支持するパン／チルト機構と、撮影光学系の画角を変化させるズーム機構と、これらの機構を駆動するモータなどを有する。ズーム機構は画像処理部４０６による画像の拡大・縮小を用いてもよい。駆動部４０９は駆動Ｉ／Ｆ４０８を通じてＣＰＵ４０１から受信する指示に従ってモータを駆動し、撮影光学系の光軸方向および画角を調整する。
【0058】
また、状態表示部４１２はいわゆるタリーランプである。ここでは状態表示部４１２が赤と緑のＬＥＤを有するものとする。状態表示部４１２の２つのＬＥＤは、いずれも点灯しないか、一方だけが点灯し、両方点灯することはない。ＣＰＵ４０１は、撮影制御装置１００から受信したタリー情報に基づいて、状態表示部４１２の表示を制御する。ここでは、受信したタリー情報が「配信中」を示す場合には赤のＬＥＤを点灯し、「プレビュー中」を示す場合には緑のＬＥＤを点灯するよう、ＣＰＵ４０１が状態表示部４１２を制御する。また、受信したタリー情報が「待機中」を示す場合には、赤および緑のＬＥＤが点灯しないようにＣＰＵ４０１が状態表示部４１２を制御する。
【0059】
なお、状態表示部４１２が有するＬＥＤの数は１つでも３つ以上でもよい。また、色に関しても、同じ色が２つ以上含まれなければどのような色を用いてもよい。ただし、タリー情報と状態表示部４１２の表示状態との関係がすべてのサブカメラ４００で統一されるようにする。
【0060】
＜各装置の動作の説明＞
続いて、マルチカメラ撮像システムにおいて、撮影制御装置１００が俯瞰カメラ３００の映像に基づいてサブカメラ４００ａ～４００ｃの撮影動作を自動制御する場合の、各装置の動作について、図３および図４を用いて説明する。
続いて、マルチカメラ撮像システムにおいて、撮影制御装置１００が俯瞰カメラ３００の映像に基づいてサブカメラ４００ａ～４００ｃの撮影動作を自動制御する場合の、各装置の動作について、図３および図４を用いて説明する。
【0061】
図３は、撮影制御装置１００がサブカメラ４００ａ～４００ｃの動作を制御する際に実施する一連の処理を、主要な動作と信号の流れに着目して表した図である。撮影制御装置１００内に示される機能ブロックは主要な動作を模式的に示しており、撮影制御アプリケーションが提供する主要な機能に相当する。図３における各機能ブロックは、撮影制御アプリケーションを実行するＣＰＵ１０１と、図２に示した撮影制御装置１００の機能ブロックの１つ以上との組み合わせによって実現される。
【0062】
また、図４（ａ）～図４（ｄ）はそれぞれ、撮影制御装置１００、俯瞰カメラ３００、サブカメラ４００、およびスイッチャ１０００の動作に関するフローチャートである。サブカメラ４００ａ～４００ｃの動作は基本的に共通であるため、まとめて説明する。
【0063】
以下の説明において、俯瞰カメラ３００の視点位置の３次元座標値および撮影方向（光軸方向）が撮影制御装置１００に既知であるものとする。また、サブカメラ４００ａ～４００ｃの視点位置の３次元座標値、撮影範囲２０に配置されたマーカの座標値など、既知の位置情報は、既定位置情報ＲＥＦ＿ＰＯＳＩとしてＲＯＭ１０３に予め格納されているものとする。なお、位置の座標系は位置の種類によって予め定められているものとする。
【0064】
（撮影制御装置１００の動作）
まず、撮影制御装置１００の動作について、図３および図４（ａ）を参照して説明する。以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。
まず、撮影制御装置１００の動作について、図３および図４（ａ）を参照して説明する。以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。
【0065】
Ｓ１０１でＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じて、俯瞰カメラ３００に、予め定められたプロトコルで撮影指示コマンドを送信する。このコマンドに応答して、俯瞰カメラ３００から、映像入力部１０７に対する映像信号（動画データ）ＩＭＧの供給が開始される。ＣＰＵ１０１は映像入力部１０７で受信した映像信号のＲＡＭ１０２への格納を開始したのち、Ｓ１０２を実行する。
【0066】
Ｓ１０２で、認識部１２１は以下の処理を実行する。
（１）入力されたフレーム画像に対して被写体領域の検出処理を適用し、検出結果を記憶する
（２）検出された被写体領域ごとに、位置情報（画像座標）を座標変換する
（３）検出された被写体領域ごとに識別処理を適用し、識別情報を特定する（新たな被写体の場合には識別処理用の情報を追加する）
（４）検出された被写体領域ごとに識別情報ＩＤ[ｎ]と位置情報ＰＯＳＩＴＩＯＮ[ｎ]とを関連付けて記憶する
（１）入力されたフレーム画像に対して被写体領域の検出処理を適用し、検出結果を記憶する
（２）検出された被写体領域ごとに、位置情報（画像座標）を座標変換する
（３）検出された被写体領域ごとに識別処理を適用し、識別情報を特定する（新たな被写体の場合には識別処理用の情報を追加する）
（４）検出された被写体領域ごとに識別情報ＩＤ[ｎ]と位置情報ＰＯＳＩＴＩＯＮ[ｎ]とを関連付けて記憶する
【0067】
認識部１２１は、主にＣＰＵ１０１と推論部１０４とによって実現される。ＣＰＵ１０１は、俯瞰カメラ３００から受信した映像の１フレームをＲＡＭ１０２から読みだして推論部１０４に入力する。
【0068】
以下、認識部１２１の動作を順を追って説明する。
（１）まず、推論部１０４は、フレーム画像を機械学習モデルに入力し、被写体領域を検出する。推論部１０４は、検出結果として機械学習モデルが出力する、検出された被写体領域ごとの位置および大きさと、検出信頼度とをＲＡＭ１０２に記憶する。被写体領域の位置および大きさは、被写体領域が内接する矩形領域の位置と大きさを特定可能な任意の情報であってよい。ここでは、矩形領域の下辺の中央座標と、幅および高さを、被写体領域の位置および大きさとして用いる。
（１）まず、推論部１０４は、フレーム画像を機械学習モデルに入力し、被写体領域を検出する。推論部１０４は、検出結果として機械学習モデルが出力する、検出された被写体領域ごとの位置および大きさと、検出信頼度とをＲＡＭ１０２に記憶する。被写体領域の位置および大きさは、被写体領域が内接する矩形領域の位置と大きさを特定可能な任意の情報であってよい。ここでは、矩形領域の下辺の中央座標と、幅および高さを、被写体領域の位置および大きさとして用いる。
【0069】
また、推論部１０４は、最初のフレーム画像に対する検出結果については、被写体の識別情報ＩＤ［ｎ］と関連付けてＲＡＭ１０２に記憶する。ここで、ｎは被写体の番号であり、１から、検出した被写体領域の総数までの値を取る整数である。さらに、推論部１０４は、最初のフレーム画像から検出された被写体領域を、個々の被写体を識別するためのテンプレートとして、被写体の識別情報ＩＤ［ｎ］と関連付けてＲＡＭ１０２に記憶する。被写体の識別にテンプレートマッチングを用いない場合は、テンプレートを記憶しなくてもよい。
【0070】
図６（ａ）は、図５（ａ）に示す俯瞰カメラ３００の映像に対する推論部１０４による被写体検出処理の結果の一例を示している。ここでは、撮影範囲２０内に存在する人物被写体Ａ～Ｃの領域が検出され、被写体領域が内接する矩形領域の下辺の中央の座標（足元座標）が位置として出力される。
【0071】
なお、後述する座標変換のために、例えば図５（ｂ）に示すように撮影範囲２０内の既知の位置にマーカ(Mark)を配置している場合、ＣＰＵ１０１はフレーム画像（図５（ａ））に含まれるマーカの画像を検出し、位置をＲＡＭ１０２に記憶する。マーカ画像の検出も推論部１０４が実行するように構成してもよい。マーカ画像の検出は、マーカのテンプレートを用いたパターンマッチングなど、任意の公知の方法で実施することができる。予め記憶したマーカ検出用の機械学習モデルを用いてマーカ画像を検出してもよい。
【0072】
（２）次に、推論部１０４が実行する座標変換について説明する。図５（ａ）は俯瞰カメラ３００の映像を、図５（ｂ）は撮影範囲２０をその中心直上から見た状態をそれぞれ模式的に示している。推論部１０４は、俯瞰カメラの座標系における被写体領域の位置を、撮影範囲２０をその中心直上から見た際の座標系（平面座標系）の値に座標変換する。
【0073】
ここで、平面座標系の値に座標変換するのは、サブカメラ４００ａ～４００ｃに特定の被写体を撮影させるためのパン値（水平面内の移動角度）を算出する上で都合がよいためである。なお、ここでは、駆動部４０９が撮影範囲２０の床と平行した水平面内でパン動作をするようにサブカメラ４００が設置されていることを前提としている。
【0074】
座標変換は様々な方法で実行可能であるが、ここでは、撮影範囲２０の床の既知の複数の位置にマーカを配置し、俯瞰カメラ３００で得られた映像中のマーカ位置に基づいて、俯瞰カメラ座標系から平面座標系に座標変換する。なお、俯瞰カメラ３００の視点位置と撮影方向を用いるなど、マーカを用いずに座標変換してもよい。
【0075】
座標変換は、ホモグラフィー変換行列Ｈを用いて、以下の式１に従って実行することができる。
式１において、右辺のｘ、ｙは俯瞰カメラ座標系における水平座標および垂直座標であり、左辺のＸ、Ｙは平面座標系の水平座標および垂直座標である。
【数1】
【0076】
ホモグラフィー変換行列は、映像から検出された４つのマーカの座標と、撮影範囲２０に配置された４つのマーカの座標（既知）とを、式１に代入し、連立方程式を解くことにより、算出することができる。撮影範囲２０と俯瞰カメラ３００との位置関係が固定である場合、予めテスト撮影時にホモグラフィー変換行列Ｈを算出しておき、例えばＲＯＭ１０３に保存しておくことができる。
【0077】
ＣＰＵ１０１は、ＲＡＭ１０２から被写体領域の位置を順次読み出し、平面座標系の値に座標変換する。図６（ｂ）は、図６（ａ）に示す俯瞰カメラ３００映像で検出された各被写体領域の足元座標(x, y)を、式１とＲＯＭ１０３に保存したホモグラフィー変換行列Ｈを用いて平面座標系の座標値(X, Y)に座標変換した状態を模式的に示している。ＣＰＵ１０１は、座標変換した足元座標をＰＯＳＩＴＩＯＮ［ｎ］としてＲＡＭ１０２に記憶する。
【0078】
（３）次に、推論部１０４が被写体の識別情報ＩＤ［ｎ］を特定する動作について説明する。ここでは、テンプレートマッチングを用いて被写体を識別するものとする。被写体の識別は、２回目以降の被写体検出の処理結果に対して実施する。最初の処理結果については、被写体領域に対して識別情報ＩＤ［ｎ］を新規に割り当てればよい。
【0079】
推論部１０４は、ＲＡＭ１０２に記憶されたテンプレートを用いたテンプレートマッチングにより、検出された被写体領域の識別情報ＩＤ［ｎ］を特定する。これにより、撮影範囲内の被写体が識別される。推論部１０４は例えば、検出された被写体領域ごとに、個々のテンプレートの相関を表す評価値を算出する。そして、推論部１０４は、一定以上の相関を有し、かつ最も相関が高いテンプレートに対応する識別情報ＩＤ［ｎ］を、被写体領域の識別情報ＩＤ［ｎ］として特定する。評価値は例えば画素値の差分絶対値和など、公知の値を用いることができる。
【0080】
なお、推論部１０４は、すべてのテンプレートに対して一定以上の相関を有しない被写体領域については、新たな識別情報ＩＤ［ｎ］を割り当て、被写体領域の画像をテンプレートに追加する。
【0081】
また、推論部１０４は、直近のフレーム画像で検出された被写体領域を用いて既存のテンプレートを更新したり、一定以上の相関を有する被写体領域が一定期間存在しないテンプレートを削除したりしてもよい。さらに、推論部１０４は、頻繁に登場する識別情報ＩＤ［ｎ］に対応したテンプレートについてはＲＯＭ１０３に記憶してもよい。
【0082】
なお、テンプレートマッチング以外の方法で被写体を識別してもよい。例えば直前の検出位置および大きさの少なくとも一方が最も近い被写体領域と同じ識別情報ＩＤ［ｎ］と特定してもよい。また、同一の識別情報に関連付けられた過去複数回の検出結果における位置の推移から現在のフレーム画像における位置をカルマンフィルタ等により予測し、予測位置に最も近い被写体領域に同じ識別情報ＩＤを特定してもよい。また、これらの方法を組み合わせてもよい。テンプレートマッチングを用いないことで、見た目が似ている異なる被写体の識別精度を高めることができる。
【0083】
（４）推論部１０４は、特定した識別情報ＩＤ［ｎ］と、対応する被写体領域の位置（平面座標系）ＰＯＳＩＴＩＯＮ［ｎ］とを関連付けて、ＲＡＭ１０２に記憶する。
【0084】
なお、（１）～（４）の処理のうち、被写体検出以外の処理については、推論部１０４の代わりにＣＰＵ１０１が実行してもよい。
【0085】
ここでは、俯瞰カメラ３００の映像を用いて、撮影範囲２０内の被写体に関する識別情報ＩＤ［ｎ］と位置ＰＯＳＩＴＩＯＮ[ｎ]を求めた。しかし、サブカメラ４００の映像を用いてもよい。この場合、ＣＰＵ１０１は、サブカメラごとに図４（ａ）のフローチャートに示した動作を実行する。被写体領域の位置はサブカメラ４００ごとの座標系における値で出力する。このように、俯瞰カメラ３００は必須ではないが、俯瞰カメラ３００を用いた方が被写体の検出精度はよいと考えられる。
【0086】
図４（ａ）の説明に戻り、Ｓ１０３では、図３の注目被写体決定部１２２としてのＣＰＵ１０１が、注目被写体を決定する。ＣＰＵ１０１は、ユーザが指定する被写体もしくは予め定められた条件に基づいて選択された被写体を注目被写体として決定することができる。
【0087】
注目被写体をユーザに選択させる場合、ＣＰＵ１０１は、表示部１０８または外部表示装置に、Ｓ１０２で被写体検出処理を適用したフレーム画像を、検出された被写体領域を示す指標と共に表示させる。指標は、例えば図６（ａ）に示すような被写体領域の外縁を示す矩形枠であってよいが、他の指標であってもよい。また、ＣＰＵ１０１は、画像内の注目被写体を選択するように促すメッセージなども表示部１０８に表示させてもよい。
【0088】
ユーザは、ユーザ入力Ｉ／Ｆ１０６に接続された入力デバイスを操作して、所望の注目被写体に対応する被写体領域を選択することができる。選択方法に特に制限はないが、マウスやキーボードを操作して、所望の被写体領域を指定する操作であってよい。
【0089】
ＣＰＵ１０１は、いずれかの被写体領域を指定するユーザ操作を検出すると、指定された被写体領域に対応する識別情報ＩＤ［ｎ］を、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとしてＲＡＭ１０２に記憶する。あるいは、ＣＰＵ１０１は、予め定められた条件に合致する１つの被写体領域に対応する識別情報を自動的に注目被写体の識別情報としてＲＡＭ１０２に記憶する。ＣＰＵ１０１は例えば、画面の中心に最も近い被写体領域、または、画面の中心からの距離が閾値以下の被写体領域のうちサイズが最も大きな被写体領域に対応する識別情報ＩＤ［ｎ］を識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとしてＲＡＭ１０２に記憶する。
【0090】
あるいは、ＣＰＵ１０１は、サブカメラ４００ａ～４００ｃのうち、予め定められた１台が撮影している被写体を注目被写体として決定してもよい。この場合、予め定められた１台のサブカメラからの映像を撮影制御装置１００に通信ネットワーク６００を通じて、あるいは映像入力部１０７を通じて供給する。
【0091】
また、ＣＰＵ１０１は、追尾被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴに対応する位置情報ＰＯＳＩＴＩＯＮ＿ＯＨをＲＡＭ１０２に記憶する。
【0092】
その後、ＣＰＵ１０１はＳ１０４を実行する。Ｓ１０４で、図３の追尾被写体決定部１２３としてのＣＰＵ１０１は、サブカメラ４００ａ～４００ｃのそれぞれに追尾撮影させる被写体を決定する。
【0093】
ここでは、すべてのサブカメラに注目被写体を追尾撮影させるものとする。したがって、ＣＰＵ１０１は、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを、Ｓ１０３で決定した注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとする。
【0094】
なお、注目被写体以外の被写体を撮影させるサブカメラがあってもよい。例えば図６（ｂ）に示すように撮影範囲２０に３人の被写体が存在する場合、サブカメラ４００ａ～４００ｃに対してそれぞれ異なる追尾被写体を決定してもよい。
【0095】
ＣＰＵ１０１は、決定した追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを、ＲＡＭ１０２に書き出す。サブカメラによって追尾被写体が異なり得る場合、ＣＰＵ１０１は、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤをサブカメラの識別情報と関連付けて記憶する。なお、追尾被写体が変化した場合、ＣＰＵ１０１は、以前の追尾被写体の情報は消去せずにＲＡＭ１０２に保持しておく。
【0096】
次に、Ｓ１０５で、パン・チルト算出部１２４としてのＣＰＵ１０１は、サブカメラがＳ１０４で決定された追尾被写体を追尾撮影するために必要なパン角およびチルト角の変更量を算出する。
【0097】
ここでは、サブカメラ４００ａ～４００ｃのそれぞれについて、以下の情報が既定位置情報ＲＥＦ＿ＰＯＳＩとしてＲＯＭ１０３に予め格納されているものとする。
・設置位置の３次元座標（平面座標系での値）
・駆動部のパン角度およびチルト角度の初期値に対応する撮影方向
・パンおよびチルト角の制御可能範囲
・設置位置の３次元座標（平面座標系での値）
・駆動部のパン角度およびチルト角度の初期値に対応する撮影方向
・パンおよびチルト角の制御可能範囲
【0098】
ＣＰＵ１０１は、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤに対応する位置情報ＰＯＳＩＴＩＯＮ＿ＯＨをＲＡＭ１０２から読み出す。そして、ＣＰＵ１０１は、位置情報ＰＯＳＩＴＩＯＮ＿ＯＨとサブカメラの設置位置とから、まずパン角度を決定する。
【0099】
図７は、１台のサブカメラと追尾被写体との位置関係の一例を平面座標系で示した図である。ここでは、サブカメラの光軸方向を被写体位置に向けるパン角度θを決定するものとする。ＣＰＵ１０１は、パン角度θを以下の式２を用いて算出する。
【数2】
【0100】
式２におけるｐｘ、ｐｙは、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤに対応する位置情報ＰＯＳＩＴＩＯＮ＿ＯＨの水平座標および垂直座標である。また、ｓｕｂｘ、ｓｕｂｙはサブカメラの設置位置の水平座標および垂直座標である。ここでは、現在のパン角が初期値０°であり、光軸方向が垂直方向（Ｙ軸方向）であるものとする。現在の光軸方向が垂直方向でない場合、式２で得られた角度に、現在の光軸方向と垂直方向との角度差を反映させればよい。また、パンの方向はsubx＞pxであれば反時計方向、subx＜pxであれば時計方向である。
【0101】
次に、図８を用いて、チルト角の決定方法について説明する。図８は、サブカメラと追尾被写体とを側方から見た状態を示している。サブカメラ４００の現在の光軸が水平方向であり高さがｈ１であり、光軸を向ける追尾被写体の顔の高さがｈ２であるものとする。現在の光軸方向と目標の光軸方向との高さ方向の角度差（チルト角）をρとする。ＣＰＵ１０１はチルト角ρを以下の式３および式４を用いて算出する。
【数3】
【0102】
式４に用いる座標値は、式２に用いる座標値と同じである。ｈ１およびｈ２は、予め撮影制御アプリケーションに入力され、ＲＡＭ１０２に記憶されているものとする。この場合、被写体ごとのｈ２に関連付ける識別番号と、被写体検出処理で割り当てる識別番号とが等しくなるようにする。あるいは、ｈ２は不図示のセンサを用いてリアルタイムに測定した値を用いてもよい。
【0103】
ここでは、現在のチルト角が初期値０°であり、光軸方向が水平方向（高さが一定）であるものとする。現在の光軸方向が水平方向でない場合、式４で得られた角度に、現在の光軸方向と水平方向との角度差を反映させればよい。また、チルトの方向はh1＞h2であれば下方向、h1＜h2であれば上方向である。
【0104】
ＣＰＵ１０１は、サブカメラ４００のそれぞれと通信ネットワーク６００を通じて周期的に通信し、現在の光軸方向（駆動部のパン角およびチルト角）を取得してＲＡＭ１０２に記憶する。なお、通信周期は例えばフレームレートの逆数以下とすることができる。あるいは、ＣＰＵ１０１が、サブカメラ４００のそれぞれについて、初期状態から制御したパン角およびチルト角の合計値をＲＡＭ１０２に保持しておき、現在の光軸方向として用いてもよい。
【0105】
ＣＰＵ１０１は、このようにしてサブカメラ４００のそれぞれについてパン角およびチルト角の変更量を算出し、ＲＡＭ１０２に記憶する。
【0106】
パン角およびチルト角の変更量は、サブカメラ４００が追尾被写体の方向に回動するための角速度としてもよい。例えば、ＣＰＵ１０１は、通信ネットワーク６００を通じてサブカメラ４００のそれぞれから現在のパン角およびチルト角を取得する。そして、ＣＰＵ１０１は、ＲＡＭ１０２から読み出したパン角θと、現在のパン角との差に比例したパンの角速度を求める。また、ＣＰＵ１０１は、ＲＡＭ１０２から読み出したチルト角ρと現在のチルト角との差に比例したチルトの角速度を求める。このように算出した角速度を、ＣＰＵ１０１はＲＡＭ１０２に記憶する。
【0107】
なお、俯瞰カメラ３００の映像の代わりにサブカメラ４００の映像を用いてパン角およびチルト角の変更量を算出してもよい。この場合ＣＰＵ１０１は、サブカメラ４００の座標系における現在の光軸方向と追尾被写体方向との水平方向の差からパン角の変化量を算出し、垂直方向の差からチルト角の変化量を算出してもよい。また、追尾被写体を追尾撮影するための撮影方向の変更をパン方向及びチルト方向の一方だけで行う撮像システムであってもよく、そのような撮像システムではパン角およびチルト角の一方の変更量だけを算出するようにしてもよい。
【0108】
次に、Ｓ１０６でＣＰＵ１０１は、ＲＡＭ１０２からＳ１０５で算出したパンおよびチルト角の変更量を読み出す。そして、ＣＰＵ１０１は、個々のサブカメラについて、これらの変更量に相当するパン角およびチルト角の変更を指示する制御コマンドＰＴ＿ＶＡＬＵＥを生成する。制御コマンドの形式は予め定められているものとする。ＣＰＵ１０１は、生成した制御コマンドＰＴ＿ＶＡＬＵＥをＲＡＭ１０２に記憶する。
【0109】
次に、Ｓ１０７でＣＰＵ１０１は、Ｓ１０６で生成した制御コマンドＰＴ＿ＶＡＬＵＥをＲＡＭ１０２から読み出し、ネットワークＩ／Ｆ１０５を通じて通信ネットワーク６００に送信する。サブカメラ４００ａ～４００ｃは、ネットワーク１／Ｆ４０５を通じて自身宛の制御コマンドＰＴ＿ＶＡＬＵＥを受信する。
【0110】
ＣＰＵ１０１は、俯瞰カメラ３００の映像の次のフレーム画像について、Ｓ１０１からの処理を実行する。なお、図４（ａ）に示した処理は、必ずしも毎フレーム実行しなくてもよい。
【0111】
（俯瞰カメラ３００の動作）
次に、俯瞰カメラ３００の動作について、図４（ｂ）を参照して説明する。以下に説明する動作は、ＣＰＵ３０１がプログラムを実行することによって実現される。
次に、俯瞰カメラ３００の動作について、図４（ｂ）を参照して説明する。以下に説明する動作は、ＣＰＵ３０１がプログラムを実行することによって実現される。
【0112】
俯瞰カメラ３００の電源が投入されると、ＣＰＵ３０１により各機能ブロックが初期化されたのち、撮影スタンバイ状態となる。撮影スタンバイ状態でＣＰＵ３０１は、ライブビュー表示用の動画撮影処理を開始する。画像処理部３０６で生成された表示用画像データは、モニタ出力部３１２を通じて出力される。
【0113】
撮影スタンバイ状態においてＣＰＵ３０１は、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ３０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、撮影制御装置１００から制御コマンドとして撮影コマンドを受信した場合の動作について説明する。
【0114】
Ｓ２０１でＣＰＵ３０１はネットワークＩ／Ｆ３０５を通じて撮影制御装置１００から撮影コマンドを受信する。
【0115】
なお、撮影コマンドにはフレームレートや解像度などの撮影パラメータが指定されていてもよい。また、画像処理部３０６で適用する処理に関する設定が含まれていてもよい。
【0116】
Ｓ２０２でＣＰＵ３０１は、撮影コマンドの受信に応答して、撮影制御装置１００に供給するための動画撮影処理を開始する。この動画撮影処理では、ライブビュー表示用の動画撮影処理よりも高画質な動画を撮影する。例えば、動画の解像度および撮影フレームレートの少なくとも一方がライブビュー表示用の動画よりも高い。画像処理部３０６は、撮影制御装置１００に供給する動画用の設定に基づいて画像に処理を適用する。画像処理部３０６は、生成した動画データをＲＡＭ３０２に順次格納する。
【0117】
Ｓ２０３でＣＰＵ１０１は、動画データをＲＡＭ３０２から読み出し、映像出力部３１１から映像信号として撮影制御装置１００の映像入力部１０７に供給する。
【0118】
以降、撮影停止の制御コマンドを受信するまで、撮影から映像信号の供給までの処理を継続する。
【0119】
（サブカメラ４００の動作）
次に、サブカメラ４００の動作について、図４（ｃ）を参照して説明する。以下に説明する動作は、ＣＰＵ４０１がプログラムを実行することによって実現される。なお、サブカメラ４００ａ～４００ｃは同じ動作を実行するため、ここではサブカメラ４００の動作として説明する。
次に、サブカメラ４００の動作について、図４（ｃ）を参照して説明する。以下に説明する動作は、ＣＰＵ４０１がプログラムを実行することによって実現される。なお、サブカメラ４００ａ～４００ｃは同じ動作を実行するため、ここではサブカメラ４００の動作として説明する。
【0120】
サブカメラ４００の電源が投入されると、ＣＰＵ４０１により各機能ブロックが初期化されたのち、スイッチャ１０００に供給するための動画撮影処理を開始する。画像処理部４０６は、画像センサ４０７から得られるアナログ画像信号に対して、スイッチャ１０００に供給する動画用の設定に基づいて処理を適用する。画像処理部４０６は、生成した動画データをＲＡＭ４０２に順次格納する。ＣＰＵ４０１は、動画データをＲＡＭ４０２から読み出し、映像出力部４１１から映像信号としてスイッチャ１０００の映像入力部１００３に供給する。
【0121】
ＣＰＵ４０１は、映像信号をスイッチャ１０００に供給しながら、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ４０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、制御コマンドとして撮影制御装置１００からのパン・チルト操作コマンド、またはスイッチャ１０００からの状態通知コマンドを受信した場合の動作について説明する。
【0122】
Ｓ３０１でＣＰＵ４０１はネットワークＩ／Ｆ４０５を通じて撮影制御装置１００またはスイッチャ１０００から制御コマンドを受信する。
【0123】
Ｓ３０２でＣＰＵ４０１は、受信した制御コマンドが、パン・チルト操作コマンドまたは状態通知コマンドであるか判定する。ＣＰＵ４０１は、パン・チルト操作コマンドであると判定されればＳ３０３を、状態通知コマンドであると判定されればＳ３０６を実行する。他の制御コマンドに対する動作については説明を省略する。
【0124】
Ｓ３０３でＣＰＵ４０１は、制御コマンドから、操作方向（パンおよび／またはチルトの方向）と、対応する操作量（角度）とを読み出し、ＲＡＭ３０２に記憶する。
【0125】
Ｓ３０４でＣＰＵ４０１は、Ｓ３０３で読み出した操作方向および操作量に基づいて、駆動部４０９の駆動パラメータを生成する。ＣＰＵ４０１は例えば操作方向と操作量との組み合わせに応じた駆動パラメータを、予めＲＯＭ４０３に保持されたテーブルを用いて取得してもよい。なお、操作量が目標値（例えば目標角度）で与えられる場合、ＣＰＵ４１０は現在の値との差分から駆動パラメータを取得する。
【0126】
Ｓ３０５でＣＰＵ４０１は、Ｓ３０４にて取得した駆動パラメータに基づいて、駆動Ｉ／Ｆ４０８を通じて駆動部４０９を制御する。これにより、駆動部４０９が、制御コマンドで指定された操作方向に、指定された操作量駆動される。
【0127】
Ｓ３０６でＣＰＵ４０１は、状態通知コマンドに含まれる状態情報を読み出し、ＲＡＭ４０２に記憶する。
【0128】
Ｓ３０７でＣＰＵ４０１は、ＲＡＭ４０２に記憶した状態情報を判別する。ここで、状態情報は「配信中」、「プレビュー中」、「待機中」のいずれかであるものとする。そして、ＣＰＵ４０１は、判別された状態情報に応じて、状態表示部４１２を制御する。
【0129】
ここでは一例として、ＣＰＵ４０１は、状態情報が「配信中」の場合は赤のＬＥＤを点灯、緑のＬＥＤを消灯させる。また、ＣＰＵ４０１は、状態情報が「プレビュー中」の場合は緑のＬＥＤを点灯、赤のＬＥＤを消灯させる。さらに、ＣＰＵ４０１は、状態情報が「待機中」の場合は赤および緑のＬＥＤを消灯させる。
【0130】
なお、状態通知コマンドは、ネットワークＩ／Ｆ４０５を通じた受信に限らず、他の通信インタフェースを通じて受信してもよい。
【0131】
（スイッチャ１０００の動作）
次に、スイッチャ１０００の動作について、図４（ｄ）を参照して説明する。以下に説明する動作は、ＣＰＵ１００１がプログラムを実行することによって実現される。ここでは、スイッチャ１０００がユーザ入力Ｉ／Ｆ１００６を通じて本線映像またはプレビュー映像の変更（切り替え）指示を検出した場合、あるいはネットワークＩ／Ｆ１００７を通じて状態情報要求コマンドを受信した場合の動作について説明する。
次に、スイッチャ１０００の動作について、図４（ｄ）を参照して説明する。以下に説明する動作は、ＣＰＵ１００１がプログラムを実行することによって実現される。ここでは、スイッチャ１０００がユーザ入力Ｉ／Ｆ１００６を通じて本線映像またはプレビュー映像の変更（切り替え）指示を検出した場合、あるいはネットワークＩ／Ｆ１００７を通じて状態情報要求コマンドを受信した場合の動作について説明する。
【0132】
Ｓ４０１でＣＰＵ１００１は、ユーザ入力Ｉ／Ｆ１００６またはネットワークＩ／Ｆ１００７を通じてユーザ指示または制御コマンドを検出する。
【0133】
Ｓ４０２でＣＰＵ１００１は、Ｓ４０１で検出した内容を判別する。ＣＰＵ４０１は、ユーザ入力Ｉ／Ｆ１００６を通じて映像切替指示を検出したと判定された場合はＳ４０３を、ネットワークＩ／Ｆ１００７を通じて状態情報要求コマンドを受信したと判定された場合はＳ４０６を実行する。
【0134】
映像切替指示は、映像入力部１００３ａ～１００３ｃにサブカメラ４００ａ～４００ｃから供給されている映像のうち、本線映像（映像出力部１００５から出力する映像）またはプレビュー映像（次に本線映像とする予定の映像）を変更する指示である。なお、本線映像およびプレビュー映像は選択されなくてもよい。例えばユーザ入力Ｉ／Ｆ１００６に接続されたマウスまたはキーボードを通じた入力映像の表示画面に対する操作として、本線映像またはプレビュー映像を変更する指示が入力される。
【0135】
Ｓ４０３でＣＰＵ１００１は、本線映像の変更指示であれば、映像スイッチ制御部１００４を制御し、本線映像として映像出力部１００５に供給する映像を切り替える。
【0136】
そして、Ｓ４０４でＣＰＵ１００１は、少なくとも、状態が変更されたサブカメラに対して、変更後の状態情報を通知する。状態に変更がないサブカメラには状態情報を通知しなくてもよい。状態情報はネットワークＩ／Ｆ１００７通じて通信ネットワーク６００に送信される。
【0137】
なお、状態情報を通知する代わりに、サブカメラ４００の状態表示部４１２の状態をスイッチャ１０００から直接制御してもよい。この場合、サブカメラ４００のそれぞれの状態表示部４１２がスイッチャ１０００に接続されていることが必要である。サブカメラ４００に対して状態情報を通知できれば、その手段については制限されない。
【0138】
Ｓ４０５でＣＰＵ１００１は、サブカメラごとに識別情報と状態とを関連付けた状態情報ＳＴＲＥＡＭＩＮＧをＲＡＭ１００２に記憶する。
【0139】
Ｓ４０６でＣＰＵ１００１は、ＲＡＭ１００２に記憶されている状態情報ＳＴＲＥＡＭＩＮＧを読み出す。
【0140】
Ｓ４０７でＣＰＵ１００１は、ネットワークＩ／Ｆ１００７を通じて状態情報ＳＴＲＥＡＭＩＮＧを撮影制御装置１００に送信する。
【0141】
なお、ユーザ入力Ｉ／Ｆ１００６を通じて状態情報の確認指示が検出された場合、ＣＰＵ４０１は、ＲＡＭ１００２に記憶されている状態情報ＳＴＲＥＡＭＩＮＧを読み出し、モニタ出力部１００９を通じて外部表示装置に状態情報の一覧画面を出力する。
【0142】
（サブカメラの状態を考慮した追尾被写体決定動作）
次に、サブカメラ４００の状態を考慮した撮影制御装置１００の追尾被写体決定動作について、図９に示すフローチャートを用いて説明する。図９に示す動作は、例えば図４（ａ）のＳ１０４の代わりに実施することができる。
次に、サブカメラ４００の状態を考慮した撮影制御装置１００の追尾被写体決定動作について、図９に示すフローチャートを用いて説明する。図９に示す動作は、例えば図４（ａ）のＳ１０４の代わりに実施することができる。
【0143】
Ｓ５０１でＣＰＵ１０１は、Ｓ１０３の処理の結果、注目被写体が変更されたか否かを判定し、変更されたと判定されればＳ５０２を実行し、判定されなければ図９に示すフローチャートの処理を終了する。
【0144】
ＣＰＵ１０１は、少なくとも直近に決定した注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴをＲＡＭ１０２に記憶しておく。そして、ＣＰＵ１０１は、Ｓ１０３で決定した注目被写体が直近に判定した注目被写体と異なる場合に、注目被写体が変更されたと判定する。
【0145】
Ｓ５０２～Ｓ５０６は撮影制御装置１００が通信可能なサブカメラごとに実行する。通信可能なサブカメラ４００の情報は、例えば撮影制御装置１００の起動時にＣＰＵ１０１がネットワークＩ／Ｆ１０５を通じて各サブカメラ４００ａ～４００ｃから取得することができる。あるいは、ＣＰＵ１０１は、各サブカメラ４００ａ～４００ｃの情報をスイッチャ１０００から取得してもよい。ＣＰＵ１０１は、取得したサブカメラの情報をＲＡＭ１０２に記憶する。
【0146】
ネットワークＩ／Ｆ１０５を通じて取得する代わりに、制御対象のサブカメラとして、識別情報（例えばネットワークアドレス、シリアル番号など）をユーザが撮影制御アプリケーションに登録するようにしてもよい。いずれにしても、ＣＰＵ１０１は、制御対象のサブカメラの識別情報を知っており、Ｓ５０２～Ｓ５０６の処理を、対象とするサブカメラを順次変更しながら実行する。
【0147】
Ｓ５０２でＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じてスイッチャ１０００に状態情報要求コマンドを送信する。ＣＰＵ１０１は、状態情報要求コマンドに応答してスイッチャ１０００から状態情報ＳＴＲＥＡＭＩＮＧを受信し、ＲＡＭ１０２に記憶する。なお、ここではサブカメラ４００ａ～４００ｃの状態をスイッチャ１０００からまとめて取得しているが、サブカメラ４００ａ～４００ｃから個別に状態を取得してもよい。この場合、スイッチャ１０００と撮影制御装置１００との間の通信量を低減させることができる。
【0148】
Ｓ５０３でＣＰＵ１０１は、ＲＡＭ１０２に記憶した状態情報ＳＴＲＥＡＭＩＮＧを参照し、処理の対象としているサブカメラ４００の状態を取得する。そして、ＣＰＵ１０１は、状態が「配信中」か否かを判定する。ＣＰＵ１０１は、状態が「配信中」と判定されればＳ５０４を、判定されなければＳ５０５を実行する。
【0149】
なお、ＣＰＵ１０１は、状態が「配信中」と判定されない場合、状態が「プレビュー中」か否かをさらに判定し、「プレビュー中」と判定されない場合にＳ５０５を実行してもよい。これにより、スイッチャ１０００の操作者が次に本線映像とすることを予定している映像の被写体が意図せず変更されることを防止することができる。
【0150】
Ｓ５０４でＣＰＵ１０１は、処理対象のサブカメラの識別情報とともに、注目被写体の変更の拒否（あるいは、注目被写体を変更しないこと）を通知する。通知は例えば表示部１０８に対するメッセージ表示であってよい。
【0151】
また、ＣＰＵ１０１は、通知を外部に送信してもよい。例えば、ＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じて俯瞰カメラ３００に通知を送信することができる。俯瞰カメラ３００はネットワークＩ／Ｆ３０５を通じて通知を受信すると、モニタ出力部３１２に接続された外部表示装置に注目被写体の変更が拒否された旨を表示する。
【0152】
さらに、ＣＰＵ１０１は認識部１２１における被写体検出結果、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴ、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤ、処理対象のサブカメラの識別情報を通知とともに俯瞰カメラ３００に送信してもよい。
【0153】
そして、俯瞰カメラ３００のＣＰＵ３０１は、被写体検出結果に基づいて、ライブビュー表示画像に、処理対象のサブカメラの識別情報と、検出された被写体を示す指標（例えば矩形枠）を重畳した画像をモニタ出力部３１２から出力することができる。また、ＣＰＵ３０１は、検出された被写体のうち、注目被写体と追尾被写体については、他の被写体と指標を視覚的に異ならせることができる。
【0154】
例えば、注目被写体と追尾被写体が同じ場合は指標を青色とし、異なる場合は注目被写体の指標を緑色、追尾被写体の指標を赤色とする。また他の被写体の指標は表示しないか、白色など他の色とする。なお、色は単なる例示であり、また色以外の視覚的要素を異ならせてもよい。青色の指標が表示されず、緑色および赤色の指標が表示されている場合、処理対象のサブカメラについて追尾被写体の変更が拒否されていることが分かる。
【0155】
あるサブカメラについて、注目被写体と追尾被写体がともに被写体Ａである場合は、被写体Ａに青色の指標が表示される（図１０（ａ））。ここでは、注目被写体でも追尾被写体でもない被写体には指標を表示しないものとする。この状態で注目被写体が被写体Ｂに変更された場合、サブカメラの状態が「配信中」（あるいは「プレビュー中」でない場合、新たな注目被写体が追尾被写体となる。したがって、被写体Ａの指標が消え、新たに被写体Ｂに青色の指標が表示される（図１０（ｂ－１））。しかし、サブカメラの状態が「配信中」（あるいは「プレビュー中」の場合、追尾被写体は変更されない。そのため、被写体Ａの指標が赤に変わり、新たに被写体Ｂに緑色の指標が表示される（図１０（ｂ－２））。
【0156】
なお、ＣＰＵ１０１は、被写体検出結果と、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴおよびサブカメラごとの追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを、注目被写体の変化にかかわらず俯瞰カメラ３００に送信してもよい。これにより、俯瞰カメラ３００に接続された外部表示装置で、継続的に上述した表示を行うことができる。また、表示対象のサブカメラを例えば一定周期で順次変更してもよい。これにより、サブカメラが複数存在する場合、サブカメラごとの追尾被写体と注目被写体を把握することができる。また、表示部１０８においても、俯瞰カメラ３００と同様の表示を行ってもよい。
【0157】
なお、追尾被写体の変更拒否の通知は必ずしも実行する必要はなく、また実行の要否をユーザがユーザ入力Ｉ／Ｆ１０６を通じて設定可能としてもよい。サブカメラ４００が複数ある場合はカメラごとに設定可能としてもよい。
【0158】
Ｓ５０５でＣＰＵ１０１は、ＲＡＭ１０２に記憶されている、処理対象のサブカメラの追尾被写体の識別情報ＳＵＢＪＥＴ＿ＩＤを、変更後の注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴに変更する。すなわち、ＣＰＵ１０１は、処理対象のサブカメラの追尾被写体を変更する。
【0159】
Ｓ５０６でＣＰＵ１０１は、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴをＲＡＭ１０２に記憶する。
【0160】
制御対象のサブカメラ４００ａ～４００ｃのそれぞれについてＳ５０２～Ｓ５０６の処理を実行すると、ＣＰＵ１０１は図９のフローチャートに示した処理を終了する。次に、ＣＰＵ１０１は、図４（ａ）のＳ１０５を実行する。
【0161】
なお、追尾被写体の変更が拒否されたサブカメラについて、図４（ａ）のＳ１０４の次回以降の実行時に追尾被写体を変更できる状態に変化していれば、注目被写体を追尾被写体とするように変更してもよい。具体的には、ＣＰＵ１０１は、追尾被写体を変更できる状態で、追尾被写体が注目被写体と異なるサブカメラについては、注目被写体を追尾被写体とするように変更することができる。
【0162】
このように、本実施形態の撮影制御装置１００は、特定の被写体を追尾撮影するように自動制御するサブカメラの状態が「配信中」の場合（すなわち、スイッチャ１０００で選択されている場合）には、特定の被写体が変更されても追尾被写体を変更しない。そのため、本線映像の被写体がスイッチャ１０００の操作者の意図しない被写体に変更されることを防止できる。また、状態が「プレビュー中」のサブカメラについても特定の被写体が変更されても追尾被写体を変更しないようにすることで、次に本線映像とする予定の被写体がスイッチャ１０００の操作者の意図しない被写体に変更されることも防止できる。
【0163】
本実施形態の撮影制御装置１００によれば、複数のサブカメラを用いた撮影を少ない人員で簡便に実施することを可能にしつつ、本線映像の被写体が意図せずに変化することを防止できるという効果を実現できる。
【0164】
（変形例）
なお、図４のＳ１０４において、追尾被写体決定部１２３（ＣＰＵ１０１）は、対象のサブカメラ４００の追尾被写体を、サブカメラ４００に設定されている役割に基づいて決定してもよい。
なお、図４のＳ１０４において、追尾被写体決定部１２３（ＣＰＵ１０１）は、対象のサブカメラ４００の追尾被写体を、サブカメラ４００に設定されている役割に基づいて決定してもよい。
【0165】
サブカメラ４００に設定可能な役割とは、メインカメラが設けられる場合、メインカメラから得られる情報をサブカメラ４００の動作制御にどのように利用するかを予め定めたものである。ここでは一例として、サブカメラ４００の追尾被写体およびズーム動作の制御にメインカメラの情報を利用するものとする。なお、メインカメラは俯瞰カメラ３００とは別のカメラであり、サブカメラとは別に設けられてもよいし、複数のサブカメラの１台をメインカメラに割り当ててもよい。メインカメラをサブカメラとは別に設ける場合、メインカメラは撮影制御装置１００が撮影を制御しない（撮影者が操作する）カメラであってよい。メインカメラを設ける場合、例えばユーザがユーザ入力Ｉ／Ｆ１０６を通じて撮影制御アプリケーションにメインカメラの識別情報と、サブカメラのそれぞれについて設定する役割とを登録する。
【0166】
メインカメラの追尾被写体は、撮影制御装置１００が決定してもよいし、俯瞰カメラ３００と同様にメインカメラの映像を撮影制御装置１００に入力し、映像からメインカメラにおける追尾被写体を判定してもよい。ＣＰＵ１０１は例えば公知の主被写体判定方法を用いて、メインカメラの追尾被写体を判定することができる。例えばＣＰＵ１０１は、画像の中心に最も近い被写体領域を識別して、追尾被写体の識別情報を特定することができる。
【0167】
また、ＣＰＵ１０１は、メインカメラのズーム操作およびその位相を、例えばメインカメラの映像の画角変化を検出することによって判定することができる。例えば、被写体領域の大きさや間隔の経時変化などから画角の変化を検出してもよい。あるいは、ＣＰＵ１０１は、メインカメラから画角の情報を周期的に取得することにより、メインカメラのズーム操作およびその位相を検出してもよい。
【0168】
図１４に、サブカメラ４００に設定可能な役割の種類と、対応する制御内容の例を示す。ここでは役割ＲＯＬＥとして、「メインフォロー」、「メインカウンター」、「アシストフォロー」、「アシストカウンター」のいずれかを設定可能であるものとする。
【0169】
役割ＲＯＬＥが「メインフォロー」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラと同じ追尾被写体を設定し、かつメインカメラがズーム操作された際には、サブカメラ４００にも同位相のズーム制御を行う。ここで、同位相とはズームの方向（望遠方向または広角方向）が等しいこと、すなわち画角変化の方向が等しいことを示す。一方、逆位相とはズームの方向（望遠方向または広角方向）が反対方向であること、すなわち画角変化の方向が反対方向であることを示す。なお、ズームの方向が同位相であっても画角はメインカメラ５００と等しくなくてもよいし、同位相および逆位相のいずれでもズームの変化度合（変化速度や変化率など）はメインカメラ５００と等しくなくてもよい。
【0170】
役割ＲＯＬＥが「メインカウンター」のサブカメラについて、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラと同じ追尾被写体を設定し、かつメインカメラがズーム操作された際には、サブカメラには逆位相のズーム制御を行う。したがって、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラでズームアップ操作された場合、この役割のサブカメラについてはズームダウンするように制御する。なお、ズームアップするとは望遠方向（テレ端方向）へズームを変化させることを示し、ズームダウンするとは広角方向（ワイド端方向）へズームを変化させることを示す。画像処理部４０６によるズーム制御を行う場合、ズームアップするとは画像から切り出す領域を小さくし切り出した領域の拡大率を領域変更前より大きくすることを示す。一方、ズームダウンするとは画像から切り出す領域を大きくし切り出した領域の拡大率を領域変更前より小さくすることを示す。
【0171】
役割ＲＯＬＥが「アシストフォロー」のサブカメラについて、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラと別の追尾被写体を設定し、かつメインカメラがズーム操作された際には、サブカメラにも同位相のズーム制御を行う。
【0172】
役割ＲＯＬＥが「アシストカウンター」のサブカメラについて、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラと別の追尾被写体を設定し、かつメインカメラがズーム操作された際には、サブカメラには逆位相のズーム制御を行う。
【0173】
ここでは、役割ＲＯＬＥが「アシストフォロー」および「アシストカウンター」のサブカメラ４００には、画像中、メインカメラの追尾被写体とは別の被写体のうち、左側に存在する被写体を、サブカメラ４００の追尾被写体として設定する。なお、サブカメラ４００の追尾被写体は別の条件に従って設定してもよい。例えば、画像中、メインカメラの追尾被写体とは別の被写体のうち、右側、上側、または下側に存在する被写体をサブカメラの追尾被写体としてもよい。あるいは、メインカメラの追尾被写体とは別の被写体のうち、最も手前または奥に存在する被写体をサブカメラ４００の追尾被写体としてもよい。
【0174】
また、追尾被写体の設定とズーム制御の一方のみを実行したり、さらに別の制御項目を追加してもよい。
【0175】
●＜第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態では、撮影制御装置１００の追尾被写体決定動作以外は第１実施形態と同様であってよい。したがって、第１実施形態と共通する装置の構成や動作についての説明は省略する。
次に、本発明の第２実施形態について説明する。本実施形態では、撮影制御装置１００の追尾被写体決定動作以外は第１実施形態と同様であってよい。したがって、第１実施形態と共通する装置の構成や動作についての説明は省略する。
【0176】
本実施形態における撮影制御装置１００の追尾被写体決定動作について図１１に示すフローチャートを用いて説明する。図１１に示す動作は、例えば図４（ａ）のＳ１０４の代わりに実施することができる。また、第１実施形態と共通する工程については図９と同じ参照数字を付して説明を省略する。
【0177】
Ｓ５０１でＣＰＵ１０１は、Ｓ１０３の処理の結果、注目被写体が変更されたか否かを判定し、変更されたと判定されればＳ６０２を、判定されなければＳ６０１を実行する。
【0178】
Ｓ６０１でＣＰＵ１０１は、追尾被写体の変更予約処理を実行する。この処理の詳細は後述する。ＣＰＵ１０１は、追尾被写体の変更予約処理を終了すると、図１１に示すフローチャートの処理を終了する。
【0179】
Ｓ６０２でＣＰＵ１０１はＲＡＭ１０２に被写体変更予約が記憶されているか否かを判定する。被写体変更予約については後述する。ＣＰＵ１０１は、被写体変更予約がＲＡＭ１０２に記憶されていると判定されればＳ６０３を、判定されなければＳ５０２を実行する。
【0180】
Ｓ６０３でＣＰＵ１０１は、ＲＡＭ１０２に記憶されている被写体変更予約を削除する。これは、予約が記憶された時点から注目被写体が変わっているからである。その後ＣＰＵ１０１はＳ５０２を実行する。
【0181】
その後ＣＰＵ１０１は、Ｓ５０３で処理対象のサブカメラの状態が「配信中」であると判定された場合にＳ５０４に代えてＳ６０６を実行することを除き、第１実施形態と同様の処理を行う。本実施形態でも、状態「プレビュー中」の場合に状態「配信中」と同様に処理してもよい。
【0182】
Ｓ６０６でＣＰＵ１０１は、Ｓ１０３で決定した注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴを、追尾被写体の変更予約に含めてＲＡＭ１０２に記憶する。
【0183】
次に、図１２に示すフローチャートを用いて、図１１のＳ６０１で行う追尾被写体の変更予約処理の詳細について説明する。図１２において、第１実施形態と共通する工程については図９と同じ参照数字を付して説明を省略する。なお、追尾被写体の変更予約処理は、図３のＳ１０４を実行するタイミングとは別の任意のタイミングで実行してもよい。追尾被写体の変更予約処理は、サブカメラごとに実行する。
【0184】
Ｓ７０１でＣＰＵ１０１はＲＡＭ１０２に追尾被写体の変更予約が記憶されているか否かを判定する。被写体変更予約については後述する。ＣＰＵ１０１は、被写体変更予約がＲＡＭ１０２に記憶されていると判定されればＳ５０２を実行し、判定されなければ処理対象のサブカメラを変更してＳ７０１を実行する。Ｓ７０１を実行していないサブカメラがなければ、ＣＰＵ１０１は図１２のフローチャートに示す処理を終了する。
【0185】
Ｓ５０２でＣＰＵ１０１は、処理対象のサブカメラの状態情報を取得する。状態情報は、サブカメラから直接取得してもよいし、スイッチャ１０００から状態情報ＳＴＲＥＡＭＩＮＧを取得してもよい。スイッチャ１０００から状態情報ＳＴＲＥＡＭＩＮＧを取得した場合、すべてのサブカメラの状態情報が含まれているため、残りのサブカメラについてはＳ５０２を実行しなくてもよい。
【0186】
Ｓ５０３、Ｓ５０５、Ｓ５０６は第１実施形態と同様である。Ｓ５０５において、注目被写体が前回変更された際に追尾被写体の変更が拒否されたサブカメラについて、状態が「配信中」から変わった（スイッチャ１０００で選択されなくなった）ことで、追尾被写体が最新の注目被写体に変更される。Ｓ５０６の後、ＣＰＵ１０１はＳ７０６を実行する。
【0187】
Ｓ７０６でＣＰＵ１０１は、ＲＡＭ１０２に記憶された被写体変更予約を削除する。そして、ＣＰＵ１０１は、対象のサブカメラを変更してＳ７０１を実行する。Ｓ７０１を実行していないサブカメラがなければ、ＣＰＵ１０１は図１２のフローチャートに示す処理を終了する。
【0188】
本実施形態によれば、第１実施形態と同様の効果に加え、追尾被写体の変更が拒否されたサブカメラについて、追尾被写体が変更可能な状態になれば自動的に追尾被写体が変更されるため、使い勝手がよいという効果が実現できる。
【0189】
●＜第３実施形態＞
次に、本発明の第３実施形態について説明する。本実施形態は、撮影制御装置１００によるサブカメラ４００の画角制御に関する。撮影制御装置１００は、サブカメラ４００に制御コマンドを送信することにより、画角を変更することが可能である。例えば、通信ネットワーク６００上の図示しない外部装置から、サブカメラ４００の画角変更指示を受信した場合、スイッチャ１０００の操作者の意図しない画角変更がなされる恐れがある。
次に、本発明の第３実施形態について説明する。本実施形態は、撮影制御装置１００によるサブカメラ４００の画角制御に関する。撮影制御装置１００は、サブカメラ４００に制御コマンドを送信することにより、画角を変更することが可能である。例えば、通信ネットワーク６００上の図示しない外部装置から、サブカメラ４００の画角変更指示を受信した場合、スイッチャ１０００の操作者の意図しない画角変更がなされる恐れがある。
【0190】
本実施形態における撮影制御装置１００は、本線映像を撮影中のサブカメラについて、スイッチャ１０００の操作者の意図しない画角変更がなされないようにする。
【0191】
撮影制御装置１００のＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じてズームコマンドを受信すると、図１３のフローチャートに示す処理を実行する。
【0192】
Ｓ８０１でＣＰＵ１０１は、受信したズームコマンドをＲＡＭ１０２に記憶する。ここでは、ズームコマンドに、対象とするサブカメラの識別情報とズーム位置情報とが含まれるものとする。そして、ＣＰＵ１０１は、ズームコマンドからズーム位置情報を取得する。
【0193】
ズーム位置は広角端と望遠端との間で変化し、画角を変更することができる。例えば、ズーム位置情報は、ズームレンズを駆動するステッピングモータのステップ数を示し、ズーム位置は”０”から”３００”ステップの間で変化する。ここで、ズーム位置情報は例えば３５ｍｍフルサイズの撮像素子に対応した撮影光学系の焦点距離(mm)であってもよく、その場合は望遠側のズーム位置情報であるズーム値は広角側のズーム位置情報であるズーム値よりも大きくなる。なお、画角を一意に示すズーム位置情報の代わりに、ズームアップまたはダウンの指示がズームコマンドに含まれてもよい。ズームアップまたはダウン指示は、現在の画角に対して一定量の画角を変化させる指示である。一定量は、例えば駆動部におけるズーム駆動単位や、デジタルズームの倍率制御単位に基づいて予め定められているものとする。
【0194】
Ｓ８０３でＣＰＵ１０１はスイッチャ１０００から状態情報ＳＴＲＥＡＭＩＮＧを取得し、ＲＡＭ１０２に 記憶する。なお、状態情報はサブカメラ４００から個別に取得してもよい。
【0195】
Ｓ８０４でＣＰＵ１０１は、ＲＡＭ１０２に記憶した状態情報ＳＴＲＥＡＭＩＮＧを参照し、ズームコマンドで指定されたサブカメラ４００の状態を取得する。そして、ＣＰＵ１０１は、状態が「配信中」か否かを判定する。ＣＰＵ１０１は、状態が「配信中」と判定されればＳ８０５を、判定されなければＳ８０７を実行する。
【0196】
Ｓ８０５でＣＰＵ１０１は、ＲＡＭ１０２から、本線映像（スイッチャ１０００が出力中の映像）を撮影中のサブカメラの画角変更（あるいは、本線映像の画角変更）が許可されているか否かを示す設定値（許可設定値）を読み出す。許可設定値は予め設定されているものとする。
【0197】
なお、許可設定値はズームコマンドを受信した際、スイッチャ１０００に対して設定画面のデータを送信し、スイッチャ１０００の操作者に設定させてもよい。ＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じてスイッチャ１０００から許可設定値を受信すると、許可設定値をＲＡＭ１０２に記憶する。
【0198】
ＣＰＵ１０１は、許可設定値を参照し、本線映像の画角変更が許可されていると判定されればＳ８０７を、判定されなければ図１３のフローチャートに示した処理を終了する。このように、本線映像の画角変更が許可されていると判定されなければ、ズームコマンドは実行されない。この場合、ＣＰＵ１０１は、ズームコマンドを送信した外部装置に対し、ズームが許可されないことを通知してもよい。
【0199】
Ｓ８０７でＣＰＵ１０１は、ズーム位置情報に基づいて、指定されたサブカメラ４００に対する制御コマンドを生成し、ＲＡＭ１０２に記憶する。
【0200】
Ｓ８０８でＣＰＵ１０１は、ＲＡＭ１０２から制御コマンドを読み出し、ネットワークＩ／Ｆ１０５を通じて、指定されたサブカメラ４００に送信する。
【0201】
本実施形態の撮影制御装置１００は、本線映像を撮影しているサブカメラに対する画角変更（あるいは本線映像の画角変更）を許可するか否かを制御可能である。そして、撮影制御装置１００は、本線映像を撮影しているサブカメラに対する画角変更指示を受信した場合、画角変更が許可されている場合のみ、画角変更を実行する。そのため、スイッチャの操作者が意図しない本線映像の画角変更を防止することができる。
【0202】
なお、画角変更に限らず、サブカメラ４００の映像に影響を与え、かつ撮影制御装置１００が制御可能なパラメータ（例えば合焦距離や露出条件など）についても、画角変更と同様に制御することができる。また、許可設定値はパラメータごとに設定することができる。
【0203】
（その他の実施形態）
上述した実施形態では、撮影制御装置１００が独立した装置である構成について説明した。しかしながら、他の装置（例えばスイッチャ１０００またはサブカメラ４００）に撮影制御装置１００と同様の機能を持たせてもよい。
上述した実施形態では、撮影制御装置１００が独立した装置である構成について説明した。しかしながら、他の装置（例えばスイッチャ１０００またはサブカメラ４００）に撮影制御装置１００と同様の機能を持たせてもよい。
【0204】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0205】
本実施形態の開示は、以下の撮影制御装置、撮影制御方法、撮像システム、およびプログラムを含む。
（項目１）
撮影範囲内の特定の被写体を追尾被写体として決定する決定手段と、
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御する制御手段と、を有する撮影制御装置であって、
前記決定手段は、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しない、
ことを特徴とする撮影制御装置。
（項目２）
前記特定の映像が、前記選択装置が出力する映像であることを特徴とする項目１に記載の撮影制御装置。
（項目３）
前記特定の映像が、前記選択装置が出力する映像または前記選択装置が次に出力する予定の映像であることを特徴とする項目１に記載の撮影制御装置。
（項目４）
前記決定手段は、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されていない場合、前記カメラが追尾すべき前記追尾被写体の変更を可能とする、ことを特徴とする項目１から３のいずれか１項に記載の撮影制御装置。
（項目５）
前記決定手段は、前記撮影範囲を撮影する、前記カメラとは別のカメラの追尾被写体に応じて前記カメラの前記追尾被写体を決定することを特徴とする項目１から４のいずれか１項に記載の撮影制御装置。
（項目６）
前記制御手段は、前記撮影範囲を撮影する、前記カメラとは別のカメラの画角に応じて前記カメラの画角を制御することを特徴とする項目５に記載の撮影制御装置。
（項目７）
前記カメラに設定されている役割の種類に応じて、前記別のカメラの追尾被写体および画角を前記カメラの制御にどのように利用するかが異なることを特徴とする項目６に記載の撮影制御装置。
（項目８）
前記撮影範囲を撮影した映像から、前記撮影範囲内の被写体を識別する識別手段をさらに有し、
前記決定手段は、前記識別された被写体のうち、注目被写体として決定された被写体を前記追尾被写体として決定する、
ことを特徴とする項目１から７のいずれか１項に記載の撮影制御装置。
（項目９）
前記注目被写体が、前記撮影制御装置のユーザによって決定されることを特徴とする項目８に記載の撮影制御装置。
（項目１０）
前記注目被写体が、前記撮影制御装置によって決定されることを特徴とする項目８に記載の撮影制御装置。
（項目１１）
前記撮影範囲を撮影した映像が、前記撮影範囲の全体を固定の方向および画角で撮影した映像であることを特徴とする項目８から１０のいずれか１項に記載の撮影制御装置。
（項目１２）
前記撮影範囲を撮影した映像が、前記カメラとは別の、前記撮影制御装置が撮影を制御しないカメラで撮影した映像であることを特徴とする項目８から１０のいずれか１項に記載の撮影制御装置。
（項目１３）
前記撮影範囲を撮影した画像に前記注目被写体と前記追尾被写体とを示す指標を重畳した画像を表示装置に表示させることを特徴とする項目８から１２のいずれか１項に記載の撮影制御装置。
（項目１４）
前記注目被写体と前記追尾被写体が同一の場合と異なる場合とで、前記指標を視覚的に異ならせることを特徴とする項目１３に記載の撮影制御装置。
（項目１５）
前記決定手段は、前記注目被写体が変化した際、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されていたことによって前記追尾被写体を変更しなかった場合、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されなくなった後、最新の前記注目被写体を前記追尾被写体として決定する、ことを特徴とする項目８から１４のいずれか１項に記載の撮影制御装置。
（項目１６）
外部から、前記カメラの映像に影響を与える変更の指示を受信した場合、前記制御手段は、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されている場合、前記変更が許可されていなければ前記指示を実行しない、ことを特徴とする項目１から１５のいずれか１項に記載の撮影制御装置。
（項目１７）
前記カメラの映像に影響を与える変更が、前記カメラの画角、合焦距離、および露出条件のいずれかの変更であることを特徴とする項目１６に記載の撮影制御装置。
（項目１８）
撮影制御装置が実行する撮影制御方法であって、
撮影範囲内の特定の被写体を追尾被写体として決定することと、
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御することと、を有し、
前記決定することは、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しないことを含む、
ことを特徴とする撮影制御方法。
（項目１９）
項目１から１７のいずれか１項に記載の撮影制御装置と、
前記撮影制御装置が撮影を制御する１つ以上のカメラと、
前記選択装置と、
前記撮影制御装置と、前記カメラと、前記選択装置とを通信可能に接続する通信ネットワークと、を有することを特徴とする撮像システム。
（項目２０）
コンピュータを、項目１から１７のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
（項目１）
撮影範囲内の特定の被写体を追尾被写体として決定する決定手段と、
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御する制御手段と、を有する撮影制御装置であって、
前記決定手段は、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しない、
ことを特徴とする撮影制御装置。
（項目２）
前記特定の映像が、前記選択装置が出力する映像であることを特徴とする項目１に記載の撮影制御装置。
（項目３）
前記特定の映像が、前記選択装置が出力する映像または前記選択装置が次に出力する予定の映像であることを特徴とする項目１に記載の撮影制御装置。
（項目４）
前記決定手段は、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されていない場合、前記カメラが追尾すべき前記追尾被写体の変更を可能とする、ことを特徴とする項目１から３のいずれか１項に記載の撮影制御装置。
（項目５）
前記決定手段は、前記撮影範囲を撮影する、前記カメラとは別のカメラの追尾被写体に応じて前記カメラの前記追尾被写体を決定することを特徴とする項目１から４のいずれか１項に記載の撮影制御装置。
（項目６）
前記制御手段は、前記撮影範囲を撮影する、前記カメラとは別のカメラの画角に応じて前記カメラの画角を制御することを特徴とする項目５に記載の撮影制御装置。
（項目７）
前記カメラに設定されている役割の種類に応じて、前記別のカメラの追尾被写体および画角を前記カメラの制御にどのように利用するかが異なることを特徴とする項目６に記載の撮影制御装置。
（項目８）
前記撮影範囲を撮影した映像から、前記撮影範囲内の被写体を識別する識別手段をさらに有し、
前記決定手段は、前記識別された被写体のうち、注目被写体として決定された被写体を前記追尾被写体として決定する、
ことを特徴とする項目１から７のいずれか１項に記載の撮影制御装置。
（項目９）
前記注目被写体が、前記撮影制御装置のユーザによって決定されることを特徴とする項目８に記載の撮影制御装置。
（項目１０）
前記注目被写体が、前記撮影制御装置によって決定されることを特徴とする項目８に記載の撮影制御装置。
（項目１１）
前記撮影範囲を撮影した映像が、前記撮影範囲の全体を固定の方向および画角で撮影した映像であることを特徴とする項目８から１０のいずれか１項に記載の撮影制御装置。
（項目１２）
前記撮影範囲を撮影した映像が、前記カメラとは別の、前記撮影制御装置が撮影を制御しないカメラで撮影した映像であることを特徴とする項目８から１０のいずれか１項に記載の撮影制御装置。
（項目１３）
前記撮影範囲を撮影した画像に前記注目被写体と前記追尾被写体とを示す指標を重畳した画像を表示装置に表示させることを特徴とする項目８から１２のいずれか１項に記載の撮影制御装置。
（項目１４）
前記注目被写体と前記追尾被写体が同一の場合と異なる場合とで、前記指標を視覚的に異ならせることを特徴とする項目１３に記載の撮影制御装置。
（項目１５）
前記決定手段は、前記注目被写体が変化した際、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されていたことによって前記追尾被写体を変更しなかった場合、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されなくなった後、最新の前記注目被写体を前記追尾被写体として決定する、ことを特徴とする項目８から１４のいずれか１項に記載の撮影制御装置。
（項目１６）
外部から、前記カメラの映像に影響を与える変更の指示を受信した場合、前記制御手段は、前記カメラの撮影した映像が前記選択装置によって前記特定の映像として選択されている場合、前記変更が許可されていなければ前記指示を実行しない、ことを特徴とする項目１から１５のいずれか１項に記載の撮影制御装置。
（項目１７）
前記カメラの映像に影響を与える変更が、前記カメラの画角、合焦距離、および露出条件のいずれかの変更であることを特徴とする項目１６に記載の撮影制御装置。
（項目１８）
撮影制御装置が実行する撮影制御方法であって、
撮影範囲内の特定の被写体を追尾被写体として決定することと、
前記追尾被写体を追尾して撮影するようにカメラの撮影方向を制御することと、を有し、
前記決定することは、前記カメラの撮影した映像が外部の選択装置によって特定の映像として選択されている場合、前記カメラが追尾すべき前記追尾被写体を変更しないことを含む、
ことを特徴とする撮影制御方法。
（項目１９）
項目１から１７のいずれか１項に記載の撮影制御装置と、
前記撮影制御装置が撮影を制御する１つ以上のカメラと、
前記選択装置と、
前記撮影制御装置と、前記カメラと、前記選択装置とを通信可能に接続する通信ネットワークと、を有することを特徴とする撮像システム。
（項目２０）
コンピュータを、項目１から１７のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
【0206】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0207】
１００…制御装置、３００…俯瞰カメラ、４００…サブカメラ、１０００…スイッチャ、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…推論部、１０５…ネットワークＩ／Ｆ、１０６…ユーザー入力Ｉ／Ｆ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】