(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162792
(43)【公開日】2024-11-21
(54)【発明の名称】制御装置、制御方法およびプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241114BHJP
H04N 23/611 20230101ALI20241114BHJP
【ＦＩ】
H04N23/60 300
H04N23/611
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023078698
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】小川 茂夫
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122FA18
5C122FE03
5C122FH11
5C122FH14
5C122FK37
5C122FK40
5C122FK42
5C122GC52
5C122HA13
5C122HA35
5C122HA86
5C122HB01
5C122HB02
5C122HB05
5C122HB09
(57)【要約】
【課題】複数の撮像装置の中で、配信用のメディアデータを受信する撮像装置を自動で切り替える。
【解決手段】制御装置は、複数の撮像装置と通信する通信手段と、前記通信手段により前記複数の撮像装置からメディアデータを受信する制御手段と、を有し、前記制御手段は、前記複数の撮像装置の中で、メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御する。
【選択図】図２
【解決手段】制御装置は、複数の撮像装置と通信する通信手段と、前記通信手段により前記複数の撮像装置からメディアデータを受信する制御手段と、を有し、前記制御手段は、前記複数の撮像装置の中で、メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御する。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数の撮像装置と通信する通信手段と、
前記通信手段により前記複数の撮像装置からメディアデータを受信する制御手段と、を有し、
前記制御手段は、前記複数の撮像装置の中で、前記メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御装置。
前記通信手段により前記複数の撮像装置からメディアデータを受信する制御手段と、を有し、
前記制御手段は、前記複数の撮像装置の中で、前記メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御装置。
【請求項2】
前記制御手段は、前記所定の撮像装置として第１の撮像装置と第２の撮像装置とを前記所定の時間に応じて切り替える制御を行い、
前記第１の撮像装置から受信した第１のメディアデータまたは前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータを配信に使用することを特徴とする請求項１に記載の制御装置。
前記第１の撮像装置から受信した第１のメディアデータまたは前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータを配信に使用することを特徴とする請求項１に記載の制御装置。
【請求項3】
前記制御手段は、前記第１の撮像装置の使用時間と前記第２の撮像装置の使用時間が同じになるように前記所定の時間を制御することを特徴とする請求項２に記載の制御装置。
【請求項4】
前記制御手段は、前記機能情報に基づいて、前記第１の撮像装置の使用時間が前記第２の撮像装置の使用時間より長くなるように前記所定の時間を制御することを特徴とする請求項２に記載の制御装置。
【請求項5】
前記第２のメディアデータは、前記第１のメディアデータにバリエーションを加えるデータであることを特徴とする請求項２に記載の制御装置。
【請求項6】
前記制御手段は、前記所定の撮像装置として第１の撮像装置と第２の撮像装置と第３の撮像装置とを前記所定の時間に応じて切り替える制御を行い、
前記第１の撮像装置から受信した第１のメディアデータ、前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータ、または、前記第３の撮像装置から受信した前記第１のメディアデータおよび前記第２のメディアデータとは異なる第３のメディアデータを配信に使用することを特徴とする請求項１に記載の制御装置。
前記第１の撮像装置から受信した第１のメディアデータ、前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータ、または、前記第３の撮像装置から受信した前記第１のメディアデータおよび前記第２のメディアデータとは異なる第３のメディアデータを配信に使用することを特徴とする請求項１に記載の制御装置。
【請求項7】
前記制御手段は、前記機能情報に基づいて、前記第１の撮像装置の使用時間が前記第２の撮像装置の使用時間より長くなり、
前記第２の撮像装置の使用時間が前記第３の撮像装置の使用時間より長くなるように前記所定の時間を制御することを特徴とする請求項６に記載の制御装置。
前記第２の撮像装置の使用時間が前記第３の撮像装置の使用時間より長くなるように前記所定の時間を制御することを特徴とする請求項６に記載の制御装置。
【請求項8】
前記第２のメディアデータおよび前記第３のメディアデータは、前記第１のメディアデータにバリエーションを加えるデータであることを特徴とする請求項６に記載の制御装置。
【請求項9】
前記機能情報は、撮影画角に関する情報と画質性能に関する情報を含み、
前記制御手段は、撮像装置ごとに前記撮影画角に関する情報と画質性能に関する情報を点数化することを特徴とする請求項１に記載の制御装置。
前記制御手段は、撮像装置ごとに前記撮影画角に関する情報と画質性能に関する情報を点数化することを特徴とする請求項１に記載の制御装置。
【請求項10】
前記撮影画角に関する情報は、レンズの焦点距離と電子ズームの倍率を含み、
前記画質性能に関する情報は、イメージセンサのサイズと画素数とレンズの開放Ｆ値とノイズ除去処理の有無を含むことを特徴とする請求項９に記載の制御装置。
前記画質性能に関する情報は、イメージセンサのサイズと画素数とレンズの開放Ｆ値とノイズ除去処理の有無を含むことを特徴とする請求項９に記載の制御装置。
【請求項11】
前記制御手段は、前記撮影画角に関する情報に基づいて、前記焦点距離が相対的に広角側の撮像装置の使用時間を長く、前記焦点距離が相対的に拡大側の撮像装置の使用時間を短くすることを特徴とする請求項１０に記載の制御装置。
【請求項12】
前記制御手段は、前記画質性能に関する情報に基づいて、相対的に高い画質性能を有する撮像装置の使用時間を長く、相対的に低い画質性能を有する撮像装置の使用時間を短くすることを特徴とする請求項１０に記載の制御装置。
【請求項13】
前記メディアデータから話者を識別する画像処理手段を有し、
前記制御手段は、前記話者を含むメディアデータを生成している撮像装置の使用時間を相対的に長くし、前記話者を含むメディアデータを生成していない撮像装置の使用時間を相対的に短くすることを特徴とする請求項１に記載の制御装置。
前記制御手段は、前記話者を含むメディアデータを生成している撮像装置の使用時間を相対的に長くし、前記話者を含むメディアデータを生成していない撮像装置の使用時間を相対的に短くすることを特徴とする請求項１に記載の制御装置。
【請求項14】
前記制御手段は、ユーザ操作に応じて前記所定の撮像装置を切り替えることを特徴とする請求項１に記載の制御装置。
【請求項15】
前記制御手段は、前記メディアデータに対するユーザの視線またはハンドジェスチャーを検出することにより前記所定の撮像装置を切り替えることを特徴とする請求項１４に記載の制御装置。
【請求項16】
前記制御手段は、前記所定の撮像装置から受信したメディアデータを配信装置による配信に適したデータ形式に変換し、前記配信装置に送信することを特徴とする請求項１に記載の制御装置。
【請求項17】
前記メディアデータは、前記撮像装置により生成された動画および音声を含むことを特徴とする請求項１に記載の制御装置。
【請求項18】
制御装置の制御方法であって、
通信手段により複数の撮像装置との間でデータの送受信を行うステップを有し、
前記ステップは、前記複数の撮像装置の中で、メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御方法。
通信手段により複数の撮像装置との間でデータの送受信を行うステップを有し、
前記ステップは、前記複数の撮像装置の中で、メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御方法。
【請求項19】
コンピュータを、請求項１から１７のいずれかに記載された制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮像装置から受信したメディアデータを配信装置に送信するシステムに関する。
【背景技術】
【0002】
複数の撮像装置により撮影された複数の異なる視点の画像を配信するシステムにおいて、複数の撮像装置の中から配信用の画像を撮影する撮像装置を切り替えることで、複数の視点の画像を配信するマルチアングル配信が知られている。
【0003】
特許文献１には、競技場のトラックなどのコース上に設置された複数の撮像装置の中で、予め設定された条件に従って配信用の画像を撮影する撮像装置を切り替える方法が記載示されている。特許文献２には、道路上に設置された複数の撮像装置から送信される画像を切り替えながら道路状況を監視し、事故や渋滞などの事象が検出された場合には特定の撮像装置に切り替えて精密映像を取得する方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１７／１１９０３４号公報
【特許文献2】特許第４１３３６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１では、マルチアングル配信を行うためには、複数の撮像装置を切り替える条件を予め設定する必要がある。特許文献２では、複数の撮像装置を順番に切り替えることしかできないため、撮像装置ごとに使用時間を設定することができない、また、事故などの事象が検出された場合には、他の撮像装置に切り替えることができなくなる。
【0006】
また、マルチアングル配信では、複数の撮像装置の接続や切り替え方法、切り替え条件の設定が必要であるため、専門知識や準備時間を要する。
【0007】
本発明は、上記課題に鑑みてなされ、その目的は、複数の撮像装置の中で、メディアデータの配信に使用する撮像装置を自動で切り替えることができる技術を実現することである。
【課題を解決するための手段】
【0008】
上記課題を解決し、目的を達成するために、本発明の制御装置は、複数の撮像装置と通信する通信手段と、前記通信手段により前記複数の撮像装置からメディアデータを受信する制御手段と、を有し、前記制御手段は、前記複数の撮像装置の中で、前記メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御する。
【発明の効果】
【0009】
本発明によれば、複数の撮像装置の中で、メディアデータの配信に使用する撮像装置を自動で切り替えることができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態のシステム構成図。
【図2】本実施形態の制御装置の構成を例示するブロック図。
【図3】本実施形態の撮像装置の構成を例示するブロック図。
【図4】本実施形態の制御装置によるメディアデータの処理シーケンスを例示する図。
【図5】本実施形態の制御装置におけるメディアデータの表示例を示す図。
【図6】本実施形態の制御装置の制御処理を示すフローチャート。
【図7】本実施形態の制御装置の制御処理を示すフローチャート。
【図8】本実施形態の撮像装置の性能を点数化する方法を説明する図。
【図9】本実施形態の撮像装置の切り替え処理を説明するタイミングチャート。
【図10】本実施形態の制御装置の制御処理を示すフローチャート。
【図11】本実施形態の制御処理における使用時間補正方法を説明する図。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
＜システム構成＞
図１を参照して、本実施形態のシステムについて説明する。
図１を参照して、本実施形態のシステムについて説明する。
【0013】
本実施形態のシステムは、配信装置１０、制御装置２０、複数の撮像装置３０を含む。複数の撮像装置３０は、第１の撮像装置３０Ａおよび第２の撮像装置３０Ｂを含むが、本実施形態では、複数の撮像装置３０Ａ，３０Ｂを撮像装置３０と総称して説明する場合もある。複数の撮像装置３０Ａ，３０Ｂは、撮像装置ごとに異なる視点の画像を撮像し、撮像装置の周辺の音声を収音して画像および音声の少なくともいずれかを含む所定の形式（例えば、ＲＴＭＰ）のメディアデータを生成し、制御装置２０に送信する。制御装置２０は、複数の撮像装置３０Ａ，３０Ｂについて、撮像装置ごとに撮影動作や録音動作を制御する。また、制御装置２０は、撮像装置ごとに撮像された画像および／または撮像装置ごとに収音された音声を含む所定の形式（例えば、ＲＴＭＰ）のメディアデータを撮像装置から受信する。そして、制御装置２０は、撮像装置から受信したメディアデータに対して所定のデータ処理を適用して、制御装置２０における再生用のデータまたは配信装置１０の配信用のデータを生成する。配信装置１０は、制御装置２０から配信用のメディアデータを受信し、インタネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのＩＰネットワークを通じてユーザ機器などの外部装置に配信する。
【0014】
複数の撮像装置３０Ａ，３０Ｂと制御装置２０は、無線ＬＡＮなどの無線接続方式または有線ＬＡＮなどの有線接続方式によりネットワークを通じて通信可能に接続される。無線接続方式の場合には、複数の撮像装置３０Ａ，３０Ｂと制御装置２０がＰ２Ｐにより直接接続され、または、ＩＰネットワークを介して接続される。撮像装置３０Ａ，３０Ｂから制御装置２０に送信されるメディアデータまたは制御装置２０から配信装置１０に送信されるメディアデータは、画像および音声の少なくともいずれかを含む。画像は、動画または静止画を含み、音声は、音声解析データや字幕データなどを含んでいてもよい。
【0015】
撮像装置３０は、画像を撮影し、音声を収音可能なデジタルカメラであるが、デジタルカメラに限らず、パーソナルコンピュータ（ノートＰＣやタブレットＰＣ）、スマートフォン、監視カメラなどのＷｅｂカメラ、医療用カメラなどでもよい。
【0016】
制御装置２０は、パーソナルコンピュータ（ノートＰＣやタブレットＰＣ）、スマートフォンなどである。制御装置２０は、撮像装置３０から受信したメディアデータに対して図４で後述するデータ変換処理を適用しない再生用のメディアデータを生成し、あるいは、データ変換処理を適用して配信装置１０による配信に適したデータ形式のメディアデータを生成し、配信装置１０に送信する。制御装置２０は、複数の撮像装置３０Ａ，３０Ｂのうち、いずれの撮像装置から受信したメディアデータを配信装置１０に送信するのかを決定する機能も備える。
【0017】
配信装置１０は、複数のユーザ端末に対して、メディアデータを同時に配信（例えば、ストリーミング配信）するサービスサイトなどのサーバコンピュータである。サービスサイトは、エンターテインメント、プロモーション、トレーニングなど、様々な目的や用途に応じたサービスが存在する。
【0018】
＜制御装置２０の構成＞
次に、図２を参照して、本実施形態の制御装置２０の構成および機能について説明する。
次に、図２を参照して、本実施形態の制御装置２０の構成および機能について説明する。
【0019】
図２は、本実施形態の制御装置２０の構成を例示するブロック図である。
【0020】
制御部２０１は、制御装置２０の全体を統括して制御するＣＰＵまたはＭＰＵなどの演算処理プロセッサを備え、不揮発性メモリ２０２に格納されたプログラムを実行することで、後述するフローチャートの制御処理を実現する。ワークメモリ２０３はＲＡＭなどであり、制御部２０１の動作用の定数、変数、不揮発性メモリ２０２から読み出したプログラムなどを展開するワークメモリとしても使用される。また、制御部２０１は、後述する表示部２０６の表示制御も行う。
【0021】
不揮発性メモリ２０２には、制御部２０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが格納されている。また、本実施形態では、不揮発性メモリ２０２には、撮像装置３０と通信するためのカメラアプリケーションと、配信装置１０と通信するための配信アプリケーションが格納されている。
【0022】
本実施形態の制御装置２０の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションは制御装置２０にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、制御装置２０のＯＳが本実施形態における制御処理を実現するためのソフトウェアを有していてもよい。アプリケーションは、撮像装置３０を遠隔操作してメディアデータを受信する機能、撮像装置３０から受信したメディアデータを配信装置１０に送信する機能を有する。
【0023】
制御部２０１は、通信部２０７により撮像装置３０から受信した機能情報に基づいて、複数の撮像装置３０Ａ，３０Ｂの中で、配信装置１０がメディアデータの配信に使用する撮像装置（以下、配信元撮像装置）を切り替える。また、制御部２０１は、撮像装置３０から受信したメディアデータに基づいて、配信撮像装置を切り替えることもできる。例えば、制御部２０１は、撮像装置から受信したメディアデータから被写体を検出し、検出された被写体に基づいて、配信撮像装置を切り替える。制御部２０１は、データ処理部２０１ａを備える。データ処理部２０１ａは、撮像装置３０から受信したメディアデータに図４で後述するデータ変換処理を適用して配信装置１０による配信に適したデータ形式のメディアデータを生成する。
【0024】
タイマー２０４は、各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。
【0025】
操作部２０５は、ユーザからの各種操作を受け付けて、制御部２０１に通知する各種スイッチ、ボタンなどの操作部材からなる。また、操作部２０５は、後述する表示部２０６に一体的に構成されるタッチスクリーンとしてのタッチ入力機能を含む。操作部２０５は、制御装置２０の電源をオンまたはオフし、システムを起動またはシャットダウンする電源スイッチを含む。
【0026】
表示部２０６は、画像の表示、対話的な操作のための文字の表示などを行う。表示部２０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスである。表示部２０６は、制御装置２０と一体化された構成であっても、制御装置２０に接続された外部装置であってもよい。
【0027】
通信部２０７は、無線アンテナまたは有線ケーブルによって配信装置１０や撮像装置３０などの外部装置と通信可能に接続し、各種の情報やデータの送受信を行う。各種の情報やデータは、例えば、撮像装置３０から受信する機能情報やメディアデータ、配信装置１０に送信するメディアデータである。通信部２０７は、外部装置と無線ＬＡＮで通信するためのインターフェースを含む。なお、制御装置２０は、通信部２０７により撮像装置３０と直接接続されてもよいし、無線ＬＡＮを介して接続されてもよい。通信部２０７は、無線ＬＡＮに限らず、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉｒｅｌｅｓｓＵＳＢなどの無線通信モジュール、あるいは、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続インターフェースを用いてもよい。また、通信部２０７は、４Ｇ／ＬＴＥ、５Ｇなどの広域ネットワーク（ＷＡＮ）を介して無線通信を行うインターフェースであってもよい。
【0028】
電源制御部２０８は、電源部、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを備え、制御部２０１の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、制御装置２０の各部へ供給する。電源部は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタなどを含む。
【0029】
＜撮像装置３０の構成＞
次に、図３を参照して、本実施形態の撮像装置３０の構成および機能について説明する。
次に、図３を参照して、本実施形態の撮像装置３０の構成および機能について説明する。
【0030】
制御部３０１は、撮像装置３０の全体を統括して制御するＣＰＵまたはＭＰＵなどの演算処理プロセッサを備え、不揮発性メモリ３０２に格納されたプログラムを実行することで、制御装置２０との通信処理および制御処理を実現する。なお、制御部３０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
【0031】
制御部３０１は、撮像部３０４による撮像処理や通信部３０７による制御装置２０との通信処理を制御する。
【0032】
撮像部３０４は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。また、撮像部３０４は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳなどで構成されるイメージセンサ、イメージセンサから出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器を有する。撮像部３０４は、制御部３０１の制御により、撮像部３０４に含まれるレンズにより結像された被写体像光を、イメージセンサにより電気信号に変換し、ノイズ低減処理などを行って、デジタル信号からなる画像データを出力する。
【0033】
制御部３０１は、撮像部３０４により撮像された画像データに対し、画素補間、縮小といったリサイズ処理や色変換処理を行う。また、制御部３０１は、画像処理を施した静止画データをＪＰＥＧなどにより圧縮符号化したり、動画データのみまたは音声データと動画データをＨ．２６４／ＭＰＥＧ－４／ＡＶＣなどの動画圧縮方式でエンコードしたりして画像ファイルを生成し、記録媒体３０９に記録する。また、制御部３０１は、撮像した画像データを用いて所定の演算処理を行い、演算結果に基づいて撮像部３０４のフォーカスレンズや絞り、シャッターを制御することで、ＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理を行う。また、制御部３０１は、画像データおよび／または音声データを含むメディアデータから所定のストリーミングデータ（例えば、ＲＴＭＰ（Ｒｅａｌ－Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ））を生成し、制御装置２０に送信する。
【0034】
不揮発性メモリ３０２は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ３０２には、制御部３０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、図６で後述する制御処理を実行するためのプログラムのことである。
【0035】
ワークメモリ３０３は、制御部３０１の動作用の定数、変数、不揮発性メモリ３０２から読み出したプログラム等を展開する作業領域として使用される。また、ワークメモリ３０３は、撮像部３０４で撮像された画像データを一時的に保持するバッファメモリや、表示部３０６の画像表示用メモリとして使用される。
【0036】
操作部３０５は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチスクリーンなどの操作部材からなる。操作部３０５は、撮像装置３０の電源をオンまたはオフし、システムを起動またはシャットダウンする電源スイッチ、画像の撮影を行う撮影スイッチ、撮影画像の再生を行う再生ボタンなどを含む。また、後述する表示部３０６に一体的に形成されるタッチスクリーンも操作部３０５に含まれる。撮影スイッチは、制御部３０１に対して静止画の撮影処理を指示するための静止画撮影スイッチ、制御部３０１に対して動画の撮影処理（記録処理）の開始または停止を指示するための動作撮影スイッチを含む。静止画撮影スイッチまたは動画撮影スイッチの指示を受けて、制御部３０１は撮像部３０４を制御することによりＡＦ処理やＡＥ処理などの撮影準備動作を実行すると共に、撮像部３０４からの信号読み出しから記録媒体３０９に画像データを書き込むまでの一連の撮影動作を実行する。
【0037】
表示部３０６は、ライビュー画像の表示、撮影した画像の表示、対話的な操作のための文字表示等を行う。表示部３０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスである。表示部３０６は、撮像装置３０と一体化された構成であっても、撮像装置３０に接続された外部装置であってもよい。撮像装置３０は、表示部３０６と接続することができ、表示部３０６の表示を制御可能であればよい。
【0038】
通信部３０７は、無線アンテナまたは有線ケーブルによって制御装置２０などの外部装置と通信可能に接続し、各種の情報やデータの送受信を行う。各種の情報やデータは、例えば、制御装置２０に送信する機能情報やメディアデータである。通信部３０７は、外部装置と無線ＬＡＮで通信するためのインターフェースを含む。なお、撮像装置３０は、通信部３０７により制御装置２０と直接接続されてもよいし、無線ＬＡＮを介して接続されてもよい。通信部３０７は、無線ＬＡＮに限らず、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉｒｅｌｅｓｓＵＳＢなどの無線通信モジュール、あるいは、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続インターフェースを用いてもよい。また、通信部２０７は、４Ｇ／ＬＴＥ、５Ｇなどの広域ネットワーク（ＷＡＮ）を介して無線通信を行うインターフェースであってもよい。
【0039】
なお、通信部３０７は、インフラストラクチャモードにおけるアクセスポイント（ＡＰ）として動作するＡＰモードと、インフラストラクチャモードにおけるクライアント（ＣＬ）として動作するＣＬモードとを含む。通信部３０７をＣＬモードで動作させることにより、撮像装置３０は、インフラストラクチャモードにおけるＣＬとして動作することが可能である。撮像装置３０がＣＬとして動作する場合、周辺のＡＰに接続することで、ＡＰが形成するネットワークに参加することが可能である。また、通信部３０７をＡＰモードで動作させることにより、撮像装置３０は、ＡＰの一種ではあるが、より機能が限定された簡易的なＡＰ（以下、簡易ＡＰ）として動作することが可能である。撮像装置３０が簡易ＡＰとして動作する場合、撮像装置３０は自らネットワークを形成する。撮像装置３０の周辺の機器は、撮像装置３０をＡＰと認識し、撮像装置３０が形成したネットワークに参加することが可能となる。また、撮像装置３０をＡＰモードまたはＣＬモードで動作させるためのプログラムは不揮発性メモリ３０２に格納されている。
【0040】
音声入力部３０８は、撮像装置３０に内蔵された、または、音声端子を通じて接続された１つまたは複数のマイクであり、撮像装置３０の周辺の音声を収音して生成されたアナログ音声信号をデジタル信号に変換して制御部３０１に出力する。制御部３０１は、音声入力部３０８により生成されたデジタル音声信号に各種の音声処理を行い、音声データを生成する。
【0041】
記録媒体３０９は、制御部３０１により生成された画像ファイルが記録されたり、記録媒体３０９に既に記録されている画像ファイルが制御部３０１により読み出される。記録媒体３０９は、撮像装置３０に装着されるメモリカードやハードディスクドライブなどであってもよいし、撮像装置３０に内蔵されたフラッシュメモリやハードディスクドライブであってもよい。撮像装置３０は少なくとも記録媒体３０９にアクセス可能であればよい。
【0042】
＜メディアデータの処理シーケンス＞
次に、図４を参照して、本実施形態の制御装置２０によるメディアデータの処理シーケンスについて説明する。
次に、図４を参照して、本実施形態の制御装置２０によるメディアデータの処理シーケンスについて説明する。
【0043】
図４の処理シーケンスは、制御装置２０の制御部２０１がデータ処理部２０１ａとして機能し、処理前後のデータをワークメモリ２０３から読み出したり、ワークメモリ２０３に書き込むことにより実現される。なお、本実施形態では、複数の撮像装置３０Ａ，３０Ｂから受信したストリーミングデータが動画と音声を含み、ストリーミングデータに対してデータ変換処理を適用しない再生用のメディアデータを生成したり、データ変換処理を適用して配信装置１０による配信に適したデータ形式のメディアデータを生成する例を説明する。
【0044】
受信処理４０２では、制御装置２０は、通信部２０７により複数の撮像装置３０Ａ，３０Ｂからストリーミングデータを受信し、ワークメモリ２０３に保存する。受信処理４０２において受信するストリーミングデータの形式は、例えばＲＴＭＰである。また、受信処理４０２では、ワークメモリ２０３に保存したストリーミングデータから動画および音声を含むメディアデータを生成する。ストリーミングデータから生成されるメディアデータの形式は、例えばＦＬＶである。
【0045】
ＤＥＭＵＸ（デマルチプレクサ）処理４０３では、受信処理４０２から入力されるメディアデータを動画データと音声データに分離する。メディアデータから分離される動画データの形式は、例えばはＨ．２６４である。メディアデータから分離される音声データの形式は、例えばＡＡＣである。
【0046】
デコード処理４０４，４０５では、ＤＥＭＵＸ処理４０３において分離された動画データおよび音声データを汎用形式に変換する。動画データおよび音声データは高度な符号化処理が適用されているため、デコード処理４０４，４０５において汎用的なデータ形式に復号化することで、再生処理４０６において再生が可能な再生用のメディアデータとして動画データおよび音声データが生成される。
【0047】
エンコード処理４０７，４０８では、デコード処理４０４，４０５において生成された動画データおよび音声データに再度高度な符号化処理を適用して、符号化した動画データおよび音声データを生成する。符号化された動画データの形式は、例えばＨ．２６４である。符号化された音声データの形式は、例えばＡＡＣである。エンコード処理４０７，４０８では、配信装置１０が受信可能なデータ形式の符号化処理が適用される。
【0048】
ＭＵＸ（マルチプレクサ）処理４０９では、エンコード処理４０７，４０８において符号化された動画データおよび音声データを合成したメディアデータを生成する。動画データおよび音声データを合成したメディアデータの形式は、例えばＦＬＶである。
【0049】
送信処理４１０では、ＭＵＸ処理４０９において生成されたメディアデータをストリーミングデータに変換して、配信装置１０に送信する。なお、ＭＵＸ処理４０９および送信処理４１０において適用されるデータ形式は、配信装置１０が受信可能なデータ形式が適用される。
【0050】
なお、図４のデータ処理フローの各処理において適用されるデータ形式は、上述した例に限られない。例えば、動画データおよび音声データの形式は、撮像装置３０が出力するデータ形式と配信装置１０が受信可能なデータ形式に従うだけでなく、復号および符号化の処理速度、動画および音声の品質特性に応じて決定してもよい。
【0051】
【0052】
表示領域５０１は、制御装置２０の表示部２０６の表示画面に対応している。画像５０２は、第１の撮像装置３０Ａから入力された画像である。画像５０３は、第２の撮像装置３０Ｂから入力された画像である。
【0053】
画像５０２は、被写体全体を含む画角の画像を例示している。画像５０３は、画像５０２とは異なる視点の画像であって、画像５０２に対して被写体の一部を拡大した画角の画像を例示している。
【0054】
画像５０２の周囲には太い破線の注目枠が表示されている。注目枠は、複数の撮像装置のうちいずれの撮像装置から受信した画像であるかを示している。なお、注目枠に加えて、注目枠が付されている画像を出力している撮像装置を識別可能な文字、図形、着色などの情報を付加して表示してもよい。複数の撮像装置から受信したメディアデータのうちいずれを配信装置１０に送信するかは、図６から図１１で後述する制御処理により決定される。また、ユーザは、画像５０２または画像５０３をタッチすることで配信装置１０が配信に使用するメディアデータを選択することが可能である。
【0055】
【0056】
図６は、本実施形態の制御装置２０の制御処理を示すフローチャートである。図６の処理は、制御部２０１が、不揮発性メモリ２０２に格納されたプログラムをワークメモリ２０３に展開して実行し、制御装置２０の各構成要素を制御することにより実現される。また、図６の処理は、制御装置２０においてカメラアプリケーションが起動され、制御装置２０と複数の撮像装置３０Ａ，３０Ｂが通信可能に接続され、複数の撮像装置３０Ａ，３０Ｂが撮影待機状態において開始される。
【0057】
本実施形態の制御装置２０は、複数の撮像装置３０Ａ，３０Ｂから受信した撮像装置ごとの機能情報に基づいて複数の撮像装置３０Ａ，３０Ｂの中で、配信装置１０がメディアデータの配信に使用する配信元撮像装置を切り替える。
【0058】
制御装置２０は、複数の撮像装置３０Ａ，３０Ｂから受信した機能情報を閾値と比較し、比較結果に基づいて自動的に切り替えられる配信画像撮像装置からメディアデータを受信し、配信装置１０に送信する。
【0059】
ステップＳ６０１では、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂに対して初期設定を行う。撮像装置の初期設定では、撮像装置の撮影モード、画像の解像度と形式、露出とフォーカスなど、配信装置１０に対してメディアデータの配信に必要な設定を行う。撮像装置の機種によっては動画撮影中のタリーランプの表示有無などの機種固有の項目があれば、それらを設定してもよい。また、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂから機能情報を受信し、撮像装置が備えるイメージセンサのサイズと画素数、レンズの開放Ｆ値、画像ノイズ除去の有無の情報を取得し、ワークメモリ２０３に保存する。
【0060】
ステップＳ６０２では、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂに対する初期設定が完了したか否かを判定する。制御部２０１は、複数の撮像装置３０Ａ，３０Ｂに対して同時に初期設定の指示を送信し、各撮像装置３０Ａ、３０Ｂから設定完了の応答を受信するまで待ち、各撮像装置３０Ａ、３０Ｂから設定完了の応答を受信すると、初期設定が完了したと判定し、処理をステップＳ６０３に進める。
【0061】
ステップＳ６０３では、制御部２０１は、配信装置１０に対して初期設定を行う。本実施形態では、制御装置２０はＩＰネットワークを介して配信装置１０と接続されるので、配信装置１０に対してＷｅｂＡＰＩまたはＲＥＳＴ ＡＰＩのインターフェースを用いて初期設定を行う。配信装置１０の初期設定では、ユーザ認証や配信セッションの指定を行う。接続する配信装置によっては初期設定を行うことでＡＰＩキーを取得する場合もある。
【0062】
ステップＳ６０４では、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂの役割分担を決定する。制御部２０１は、複数の撮像装置３０Ａ，３０Ｂの機能を判定し、配信装置１０へのメディアデータの配信の中心的な役割を担う主撮像装置と、メディアデータにバリエーションを加えて配信品質を向上する枠割を担う副撮像装置とを決定する。撮像装置の役割分担の決定方法は図７で後述する。制御部２０１は、第１の撮像装置３０Ａおよび第２の撮像装置３０Ｂに対して役割分担を決定し、ワークメモリ２０３に保存する。制御部２０１は、主撮像装置として決定した撮像装置を、配信装置１０によるメディアデータの配信開始時に、配信装置１０に最初にメディアデータを送信する配信元撮像装置として選択する。制御部２０１は、全ての撮像装置３０Ａ，３０Ｂに対して役割分担を決定した場合は処理をステップＳ６０５に進める。
【0063】
ステップＳ６０５では、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂに対してメディアデータの送信を要求する。この場合、ステップＳ６０４で決定した主撮像装置に対してのみメディアデータの送信を要求してもよい。
【0064】
ステップＳ６０６では、制御部２０１は、配信開始処理を行う。制御部２０１は、複数の撮像装置３０Ａ，３０Ｂから受信したメディアデータのうち、ステップＳ６０４で決定した主撮像装置から受信したメディアデータを配信装置１０に送信する。配信装置１０は、配信元撮像装置から受信したメディアデータを、複数のユーザ端末に対して同時に配信する。制御部２０１は、メディアデータの配信開始と共に、タイマー２０４により主撮像装置を配信元撮像装置として使用を開始してからの経過時間の計測を開始する。撮像装置からメディアデータを受信してから配信装置１０に送信するまでのデータ処理フローは図４で説明した通りである。
【0065】
ステップＳ６０７では、制御部２０１は、ユーザ操作による配信元撮像装置の切り替え指示を受けたか否かを判定し、切り替え指示を受けていないと判定した場合は処理をステップＳ６０８に進め、切り替え指示を受けたと判定した場合は処理をステップＳ６１１に進める。本実施形態では、撮像装置を配信元撮像装置として使用する時間（使用時間）に基づいて配信装置１０に送信するメディアデータを主撮像装置のメディアデータまたは副撮像装置のメディアデータに切り替えるだけでなく、ユーザが配信元撮像装置を任意に切り替えることができる。選択方法は、図５の画像領域５０２，５０３をタッチする方法、視線検出により選択する方法、ハンドジェスチャー検出により選択する方法などがある。視線検出による選択方法は、画像領域に対して視線検出を実行し、画像を所定の時間凝視しているか否かを判定することで当該画像を撮影した撮像装置を選択する方法である。ハンドジェスチャー検出による選択方法は、画像領域に対してハンドジェスチャー検出を実行し、画像に対し所定の向きおよび大きさのハンドジェスチャーを検出した場合に当該画像を撮影した撮像装置を選択する方法である。視線検出処理やハンドジェスチャー検出処理は、既知の技術を用いることができる。
【0066】
ステップＳ６０８では、制御部２０１は、ステップＳ６０６でタイマー２０４が保持している配信元撮像装置として使用を開始してからの経過時間を取得する。
【0067】
ステップＳ６０９では、制御部２０１は、配信元撮像装置を切り替えるタイミングであるか否かを判定する。制御部２０１は、配信元撮像装置を切り替えるタイミングではないと判定した場合は処理をステップＳ６１３に進め、配信元撮像装置を切り替えるタイミングであると判定した場合は処理をステップＳ６１０に進める。制御部２０１は、ワークメモリ２０３に保存されている配信元装置の使用時間（基準値または補正値）と、配信元撮像装置として使用を開始してからの経過時間とを比較する。制御部２０１は、配信元撮像装置として使用を開始してからの経過時間が配信元撮像装置の使用時間を超過した場合には、配信元撮像装置の切り替えタイミングであると判定し、処理をステップＳ６１０に進める。
【0068】
ステップＳ６１０では、制御部２０１は、次に配信元撮像装置となる撮像装置の使用時間を取得する。制御部２０１は、複数の撮像装置３０Ａ，３０Ｂの中から、次に配信元撮像装置となる撮像装置を判定し、配信元撮像装置の使用時間を決定し、ワークメモリ２０３に保存する。配信元撮像装置の使用時間の決定方法は図１０で後述する。
【0069】
ステップＳ６１１では、制御部２０１は、ユーザにより選択された配信元撮像装置の使用時間を予め決められた時間に設定し、ワークメモリ２０３に保存する。ユーザにより選択された配信元撮像装置の使用時間は固定値であるが、タッチ操作または視線検出またはハンドジェスチャー検出により変更可能としてもよい。
【0070】
ステップＳ６１２では、制御部２０１は、ステップＳ６１０またはＳ６１１で設定された配信元撮像装置の使用時間に基づいて、現在の配信元撮像装置を切り替える。制御部２０１は、配信元撮像装置以外の撮像装置がメディアデータの送信を停止していた場合は、次に配信元撮像装置となる撮像装置にメディアデータの送信を要求し、配信元撮像装置の切り替え前後のメディアデータが受信できる状態であることを確認してから切り替え処理を実行する。配信元撮像装置の切り替え処理では、直ちに配信元撮像装置の切り替えを行う以外に、配信元撮像装置が切り替えられることを画面や音声で通知することも可能である。配信元撮像装置が切り替えられたことにより、ワークメモリ２０３に保存されている切り替え前の配信元撮像装置の使用を開始してからの経過時間をリセットし計測を再開することで、次の配信元撮像装置の使用を開始しからの経過時間を計測できるようにする。
【0071】
ステップＳ６１３では、制御部２０１は、表示部２０６に表示されているカメラアプリケーションのＵＩ画面においてユーザが操作部２０５を操作することにより配信終了指示を行ったか否かを判定する。制御部２０１は、配信終了指示を受けたと判定した場合は処理をステップＳ６１４に進める。制御部２０１は、配信終了指示を受けていないと判定した場合は処理をステップＳ６０７に戻し、配信装置１０によるメディアデータの配信、配信元撮像装置によるメディアデータの送信を継続する。
【0072】
ステップＳ６１４では、制御部２０１は、配信終了処理を行う。制御部２０１は、配信装置１０へのメディアデータの送信を停止すると共に、配信装置１０に対してメディアデータの配信停止を指示し、さらに複数の撮像装置３０Ａ，３０Ｂに対してメディアデータの送信停止を要求する。
【0073】
【0074】
ステップＳ７０１では、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂから機能情報を取得する。機能情報は、撮影画角に関する情報と、画質性能に関する情報を含む。撮影画角に関する情報は、レンズの焦点距離と電子ズーム倍率を含む。画質性能に関する情報は、イメージセンサのサイズおよび画素数、レンズの開放Ｆ値、動画のノイズ除去処理の有無に関する情報を含む。レンズの開放Ｆ値は、ズームレンズの場合には画角調整を行った後の停止したズーム位置における開放Ｆ値とする。動画のノイズ除去処理は、色ノイズ除去、輝度ノイズ除去、巡回型ノイズ除去の３種のノイズ除去処理の有無を含む。
【0075】
ステップＳ７０２では、制御部２０１は、ステップＳ７０１で取得した画質性能に関する情報に基づいて、画質性能を点数化する算出処理を行う。図８は画質性能を点数化する方法を説明する図であり、図８（ａ）から図８（ｄ）は画質性能に関する情報に応じた点数を例示している。
【0076】
図８（ａ）は、イメージセンサのサイズによる点数である。３５ｍｍフルサイズのイメージセンサを備えている場合は５点、ＡＰＳ－Ｃサイズの場合には４点、１インチサイズ以下の小型センサの場合には１点とする例を示している。ＡＰＳ－ＨやフォーサーズサイズはＡＰＳ－Ｃサイズと同等とみなす。
【0077】
図８（ｂ）は、イメージセンサの画素数による点数である。２４００万画素以上の画素数のイメージセンサを備えている場合は５点、１２００万画素のイメージセンサの場合は３点、１２００万画素に満たないイメージセンサの場合は１点とする例を示している。１２００万画素以上で２４００万画素以下の場合には１２００万画素の分類に寄せて考え、例えば２０００万画素の場合には３点とする。４Ｋ解像度を出力する場合には１２００万画素が１つの基準となるが、２４００万画素以上の場合には４Ｋの倍以上の画素数であるため画素補間により解像度を維持しながらＳ／Ｎ比を向上させることも可能であることから２４００万画素以上に高い点数を割り当てる。
【0078】
図８（ｃ）は、レンズの開放Ｆ値による点数である。開放Ｆ値がＦ２．０以下の明るいレンズを備えている場合には５点、開放Ｆ値がＦ５．６の中程度の明るさである場合には３点、開放Ｆ値がＦ５．６より暗い場合には１点とする例を示している。Ｆ２．０とＦ５．６の中間に位置する例えばＦ４．０の場合にはＦ５．６と同じ分類とし３点とする。
【0079】
図８（ｄ）は、動画のノイズ除去処理による点数である。動画の色ノイズ除去処理を備えている場合は１点、動画の輝度ノイズ処理を備えている場合は１点、動画の巡回型ノイズ除去処理を備えている場合は１点とする例を示している。
【0080】
図８（ａ）から図８（ｄ）のように求めた点数を合算し、画質性能を点数化する。例えば、ＡＰＳ－Ｃサイズで２４００万画素のイメージセンサを備えており、開放Ｆ値がＦ２．８のレンズを装着し、動画のノイズ除去処理を実行可能である場合には、４＋５＋３＋（１＋１＋１）＝１５点となる。別の例として、１インチサイズの２０００万画素のイメージセンサを備えており、ズームレンズ内蔵で広角端の開放Ｆ値がＦ１．８のレンズ位置であり、動画のノイズ除去処理を実行可能である場合には、１＋３＋５＋（１＋１＋１）＝１２点となる。
【0081】
ステップＳ７０３では、制御部２０１は、全ての撮像装置３０Ａ，３０Ｂのレンズの焦点距離が同じであるか否かを判定する。制御部２０１は、複数の撮像装置３０Ａ，３０Ｂの機能情報に基づいて、全ての撮像装置のレンズの焦点距離が同じであると判定した場合は処理をステップＳ７０７に進め、焦点距離が異なると判定した場合は処理をステップＳ７０４に進める。
【0082】
ステップＳ７０４では、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂについて、判定対象の撮像装置のレンズの焦点距離が最も広角側であると判定した場合は処理をＳ７０５に進め、最も広角側ではないと判定した場合は処理をＳ７０６に進める。
【0083】
ステップＳ７０５では、制御部２０１は、判定対象の撮像装置のレンズの焦点距離が最も広角側であり、メディアデータが被写体全体を含む画角の画像を含むため、判定対象の撮像装置を主撮像装置として役割分担を決定する。
【0084】
ステップＳ７０６では、制御部２０１は、判定対象の撮像装置のレンズの焦点距離が拡大側であり、メディアデータが被写体の一部を拡大した画角の画像を含み、被写体全体を含む画角の画像を含むメディアデータのバリエーションを生み出すものであるため、副撮像装置として役割分担を決定する。
【0085】
ステップＳ７０７では、全ての撮像装置のレンズの焦点距離が同じであり、画角の違いによる役割分担を決めることができないため、画質性能によって撮像装置の役割分担を決定する。制御部２０１は、ステップＳ７０２によって算出した画質性能値に基づいて、判定対象の撮像装置の画質性能値が判定対象ではない他の像装置の画質性能値より高い点数（最高点）であると判定した場合は処理をＳ７０８に進め、最高点ではないと判定した場合は処理をＳ７０９に進める。
【0086】
ステップＳ７０８では、制御部２０１は、判定対象の撮像装置の画質性能値が最高点であるため、より高画質のメディアデータが配信の中心となるように、判定対象の撮像装置を主撮像装置として役割分担を決定する。
【0087】
ステップＳ７０９では、制御部２０１は、判定対象の撮像装置の画質性能値が最高点ではないため、相対的に画質性能の低いメディアデータが配信のバリエーションとなるように、判定対象の撮像装置を副撮像装置として役割分担を決定する。
【0088】
【0089】
図９（ａ）～（ｃ）は横軸を時間とし、時間軸方向で配信元撮像装置が順番に切り替わる状態を例示している。
【0090】
図９（ａ）は、撮像装置１，２の切り替え時間が一定の状態を例示している。図９（ａ）では、撮像装置１と撮像装置２が同じ時間間隔で切り替わり、ステップＳ６０８で取得した配信元撮像装置として使用を開始してからの経過時間に基づいて、ステップＳ６０９において配信元撮像装置の切り替えタイミングであるか否かを判定する。配信元撮像装置の使用時間は任意の値に設定可能であるが、例えば６０秒といった時間が初期値として設定される。
【0091】
図９（ｂ）は、撮像装置１，２のいずれか一方を主撮像装置に割り当て、もう一方の撮像装置を副撮像装置として割り当てた場合に撮像装置１，２が切り替えられる例を示している。図９（ｂ）は撮像装置１を主撮像装置、撮像装置２を副撮像装置として割り当てた場合を例示している。主撮像装置である撮像装置１からメディアデータの送信が開始され、撮像装置１のメディアデータの間に、定期的に副撮像装置である撮像装置２の短時間のメディアデータが送信される。
【0092】
図９（ｃ）は、撮像装置１～３のうち主撮像装置を撮像装置１に割り当て、副撮像装置を撮像装置２および撮像装置３に割り当てた場合に撮像装置１～３が切り替えられる例を示している。主撮像装置である撮像装置１の使用時間は、副撮像装置である撮像装置２および撮像装置３の使用時間よりも長く設定されている。副撮像装置である撮像装置２および撮像装置３のメディアデータは、使用時間がより長い撮像装置２のメディアデータを撮像装置３よりも前に配信されるメディアデータとなるように、複数の副撮像装置についても使用時間に応じた切り替えを行う。
【0093】
【0094】
【0095】
ステップＳ１００３では、制御部２０１は、複数の撮像装置３０Ａ，３０Ｂの役割分担を判定する。制御部２０１は、図６のステップＳ６０４および図７の処理で決定された結果を参照し、判定対象の撮像装置が主撮像装置であると判定した場合は処理をＳ１００４に進め、副撮像装置であると判定した場合は処理をＳ１００５に進める。
【0096】
ステップＳ１００４では、制御部２０１は、主撮像装置の使用時間の基準値（基準使用時間）を取得する。
【0097】
ステップＳ１００５では、制御部２０１は、副撮像装置の使用時間の基準値（基準使用時間）を取得する。
【0098】
主撮像装置の使用時間の基準値は、副撮像装置の使用時間の基準値より長い。
【0099】
図７のステップＳ７０４では、焦点距離が相対的に広角側の撮像装置が主撮像装置に設定され、焦点距離が相対的に拡大側の撮像装置が副撮像装置に設定されるので、焦点距離が相対的に広角側の撮像装置の使用時間が長く、焦点距離が相対的に拡大側の撮像装置の使用時間が短くなる。
【0100】
また、図７のステップＳ７０７では、画質性能値が相対的に高い撮像装置が主撮像装置に設定され、画質性能値が相対的に低い撮像装置が副撮像装置に設定されるので、画質性能値が相対的に高い撮像装置の使用時間が長く、画質性能値が相対的に低い撮像装置の使用時間が短くなる。
【0101】
ステップＳ１００６では、制御部２０１は、ステップＳ１００２で算出した画質性能値に基づいて、判定対象の撮像装置の画質性能値が判定対象ではない他の撮像装置の画質性能値よりも高い点数（最高点）であるか否かを判定する。制御部２０１は、判定対象の撮像装置の画質性能値が最高点であると判定した場合は処理をＳ１００７に進め、最高点ではないと判定した場合は処理をＳ１００８に進める。
【0102】
ステップＳ１００７では、制御部２０１は、ステップＳ１００４またはＳ１００５で取得した基準使用時間について画質性能に基づいて補正する。図１１は、画質性能に基づいて基準使用時間を補正する例を示している。主撮像装置と副撮像装置のいずれかについて、画質性能が高い場合には基準時間に１０％の時間追加を行う。
【0103】
ステップＳ１００８では、制御部２０１は、判定対象の撮像装置から受信したメディアデータを解析し、撮影対象の被写体が発話しているか否かを識別する。識別方法は、メディアデータに対して顔器官検出を実行して唇と口角の特徴点の動きを見て識別する方法、深層学習を用いて発話者の顔特徴量を機械学習で求める方法など周知の方法を使用することが可能である。
【0104】
ステップＳ１００９では、制御部２０１は、ステップＳ１００８での話者の識別結果に基づいて、判定対象の撮像装置から受信したメディアデータの撮影画角範囲内に話者が存在するか否かを判定する。制御部２０１は、話者が存在すると判定した場合は処理をステップＳ１０１０に進め、話者が存在しないと判定した場合は処理を終了する。
【0105】
ステップＳ１０１０では、制御部２０１は、判定対象の撮像装置が副撮像装置であるか否かを判定し、副撮像装置であると判定した場合は処理をステップＳ１０１１に進め、副撮像装置ではないと判定した場合は処理を終了する。
【0106】
ステップＳ１０１１では、制御部２０１は、判定対象の撮像装置の副撮像装置としの使用時間の補正を行う。図１１は、副撮像装置のメディアデータの撮影画角範囲内に話者が存在する場合に副撮像装置の使用時間を補正する例を示している。副撮像装置のメディアデータの撮影画角内に話者が存在する場合には基準時間に１０％の時間追加を行う。つまり、副撮像装置の使用時間は、画質性能が高い場合と話者が存在する場合には２回の補正が行われることになる。そして、話者を含むメディアデータを撮影している副撮像装置の使用時間が相対的に長くなり、話者を含むメディアデータを撮影していない副撮像装置の使用時間が相対的に短くなる。
【0107】
上述した実施形態によれば、複数の撮像装置３０Ａ，３０Ｂの機能情報に基づいて、配信装置１０がメディアデータの配信に使用する配信元撮像装置の使用時間を補正する。このようにして、複数の撮像装置３０Ａ，３０Ｂの中で、配信元撮像装置を自動で切り替えることができる。
【0108】
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0109】
発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【0110】
本明細書の開示は、以下の制御装置、制御方法およびプログラムを含む。
［構成１］
複数の撮像装置と通信する通信手段と、
前記通信手段により前記複数の撮像装置からメディアデータを受信する制御手段と、を有し、
前記制御手段は、前記複数の撮像装置の中で、前記メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御装置。
［構成２］
前記制御手段は、前記所定の撮像装置として第１の撮像装置と第２の撮像装置とを前記所定の時間に応じて切り替える制御を行い、
前記第１の撮像装置から受信した第１のメディアデータまたは前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータを配信に使用することを特徴とする構成１に記載の制御装置。
［構成３］
前記制御手段は、前記第１の撮像装置の使用時間と前記第２の撮像装置の使用時間が同じになるように前記所定の時間を制御することを特徴とする構成２に記載の制御装置。
［構成４］
前記制御手段は、前記機能情報に基づいて、前記第１の撮像装置の使用時間が前記第２の撮像装置の使用時間より長くなるように前記所定の時間を制御することを特徴とする構成２に記載の制御装置。
［構成５］
前記第２のメディアデータは、前記第１のメディアデータにバリエーションを加えるデータであることを特徴とする構成２から４のいずれか１項に記載の制御装置。
［構成６］
前記制御手段は、前記所定の撮像装置として第１の撮像装置と第２の撮像装置と第３の撮像装置とを前記所定の時間に応じて切り替える制御を行い、
前記第１の撮像装置から受信した第１のメディアデータ、前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータ、または、前記第３の撮像装置から受信した前記第１のメディアデータおよび前記第２のメディアデータとは異なる第３のメディアデータを配信に使用することを特徴とする構成１に記載の制御装置。
［構成７］
前記制御手段は、前記機能情報に基づいて、前記第１の撮像装置の使用時間が前記第２の撮像装置の使用時間より長くなり、
前記第２の撮像装置の使用時間が前記第３の撮像装置の使用時間より長くなるように前記所定の時間を制御することを特徴とする構成６に記載の制御装置。
［構成８］
前記第２のメディアデータおよび前記第３のメディアデータは、前記第１のメディアデータにバリエーションを加えるデータであることを特徴とする構成６または７に記載の制御装置。
［構成９］
前記機能情報は、撮影画角に関する情報と画質性能に関する情報を含み、
前記制御手段は、撮像装置ごとに前記撮影画角に関する情報と画質性能に関する情報を点数化することを特徴とする構成１から８のいずれか１項に記載の制御装置。
［構成１０］
前記撮影画角に関する情報は、レンズの焦点距離と電子ズームの倍率を含み、
前記画質性能に関する情報は、イメージセンサのサイズと画素数とレンズの開放Ｆ値とノイズ除去処理の有無を含むことを特徴とする構成９に記載の制御装置。
［構成１１］
前記制御手段は、前記撮影画角に関する情報に基づいて、前記焦点距離が相対的に広角側の撮像装置の使用時間を長く、前記焦点距離が相対的に拡大側の撮像装置の使用時間を短くすることを特徴とする構成１０に記載の制御装置。
［構成１２］
前記制御手段は、前記画質性能に関する情報に基づいて、相対的に高い画質性能を有する撮像装置の使用時間を長く、相対的に低い画質性能を有する撮像装置の使用時間を短くすることを特徴とする構成１０に記載の制御装置。
［構成１３］
前記メディアデータから話者を識別する画像処理手段を有し、
前記制御手段は、前記話者を含むメディアデータを生成している撮像装置の使用時間を相対的に長くし、前記話者を含むメディアデータを生成していない撮像装置の使用時間を相対的に短くすることを特徴とする構成１から１２のいずれか１項に記載の制御装置。
［構成１４］
前記制御手段は、ユーザ操作に応じて前記所定の撮像装置を切り替えることを特徴とする構成１から１３のいずれか１項に記載の制御装置。
［構成１５］
前記制御手段は、前記メディアデータに対するユーザの視線またはハンドジェスチャーを検出することにより前記所定の撮像装置を切り替えることを特徴とする構成１４に記載の制御装置。
［構成１６］
前記制御手段は、前記所定の撮像装置から受信したメディアデータを配信装置による配信に適したデータ形式に変換し、前記配信装置に送信することを特徴とする構成１から１５のいずれか１項に記載の制御装置。
［構成１７］
前記メディアデータは、前記撮像装置により生成された動画および音声を含むことを特徴とする構成１から１６のいずれか１項に記載の制御装置。
［構成１８］
制御装置の制御方法であって、
通信手段により複数の撮像装置からメディアデータを受信するステップを有し、
前記ステップは、前記複数の撮像装置の中で、前記メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御方法。
［構成１９］
コンピュータを、構成１から１７のいずれかに記載された制御装置として機能させるためのプログラム。
［構成１］
複数の撮像装置と通信する通信手段と、
前記通信手段により前記複数の撮像装置からメディアデータを受信する制御手段と、を有し、
前記制御手段は、前記複数の撮像装置の中で、前記メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御装置。
［構成２］
前記制御手段は、前記所定の撮像装置として第１の撮像装置と第２の撮像装置とを前記所定の時間に応じて切り替える制御を行い、
前記第１の撮像装置から受信した第１のメディアデータまたは前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータを配信に使用することを特徴とする構成１に記載の制御装置。
［構成３］
前記制御手段は、前記第１の撮像装置の使用時間と前記第２の撮像装置の使用時間が同じになるように前記所定の時間を制御することを特徴とする構成２に記載の制御装置。
［構成４］
前記制御手段は、前記機能情報に基づいて、前記第１の撮像装置の使用時間が前記第２の撮像装置の使用時間より長くなるように前記所定の時間を制御することを特徴とする構成２に記載の制御装置。
［構成５］
前記第２のメディアデータは、前記第１のメディアデータにバリエーションを加えるデータであることを特徴とする構成２から４のいずれか１項に記載の制御装置。
［構成６］
前記制御手段は、前記所定の撮像装置として第１の撮像装置と第２の撮像装置と第３の撮像装置とを前記所定の時間に応じて切り替える制御を行い、
前記第１の撮像装置から受信した第１のメディアデータ、前記第２の撮像装置から受信した前記第１のメディアデータとは異なる第２のメディアデータ、または、前記第３の撮像装置から受信した前記第１のメディアデータおよび前記第２のメディアデータとは異なる第３のメディアデータを配信に使用することを特徴とする構成１に記載の制御装置。
［構成７］
前記制御手段は、前記機能情報に基づいて、前記第１の撮像装置の使用時間が前記第２の撮像装置の使用時間より長くなり、
前記第２の撮像装置の使用時間が前記第３の撮像装置の使用時間より長くなるように前記所定の時間を制御することを特徴とする構成６に記載の制御装置。
［構成８］
前記第２のメディアデータおよび前記第３のメディアデータは、前記第１のメディアデータにバリエーションを加えるデータであることを特徴とする構成６または７に記載の制御装置。
［構成９］
前記機能情報は、撮影画角に関する情報と画質性能に関する情報を含み、
前記制御手段は、撮像装置ごとに前記撮影画角に関する情報と画質性能に関する情報を点数化することを特徴とする構成１から８のいずれか１項に記載の制御装置。
［構成１０］
前記撮影画角に関する情報は、レンズの焦点距離と電子ズームの倍率を含み、
前記画質性能に関する情報は、イメージセンサのサイズと画素数とレンズの開放Ｆ値とノイズ除去処理の有無を含むことを特徴とする構成９に記載の制御装置。
［構成１１］
前記制御手段は、前記撮影画角に関する情報に基づいて、前記焦点距離が相対的に広角側の撮像装置の使用時間を長く、前記焦点距離が相対的に拡大側の撮像装置の使用時間を短くすることを特徴とする構成１０に記載の制御装置。
［構成１２］
前記制御手段は、前記画質性能に関する情報に基づいて、相対的に高い画質性能を有する撮像装置の使用時間を長く、相対的に低い画質性能を有する撮像装置の使用時間を短くすることを特徴とする構成１０に記載の制御装置。
［構成１３］
前記メディアデータから話者を識別する画像処理手段を有し、
前記制御手段は、前記話者を含むメディアデータを生成している撮像装置の使用時間を相対的に長くし、前記話者を含むメディアデータを生成していない撮像装置の使用時間を相対的に短くすることを特徴とする構成１から１２のいずれか１項に記載の制御装置。
［構成１４］
前記制御手段は、ユーザ操作に応じて前記所定の撮像装置を切り替えることを特徴とする構成１から１３のいずれか１項に記載の制御装置。
［構成１５］
前記制御手段は、前記メディアデータに対するユーザの視線またはハンドジェスチャーを検出することにより前記所定の撮像装置を切り替えることを特徴とする構成１４に記載の制御装置。
［構成１６］
前記制御手段は、前記所定の撮像装置から受信したメディアデータを配信装置による配信に適したデータ形式に変換し、前記配信装置に送信することを特徴とする構成１から１５のいずれか１項に記載の制御装置。
［構成１７］
前記メディアデータは、前記撮像装置により生成された動画および音声を含むことを特徴とする構成１から１６のいずれか１項に記載の制御装置。
［構成１８］
制御装置の制御方法であって、
通信手段により複数の撮像装置からメディアデータを受信するステップを有し、
前記ステップは、前記複数の撮像装置の中で、前記メディアデータの配信に使用する所定の撮像装置を所定の時間に応じて切り替える制御を行い、
前記複数の撮像装置から受信した機能情報に基づいて前記所定の時間を制御することを特徴とする制御方法。
［構成１９］
コンピュータを、構成１から１７のいずれかに記載された制御装置として機能させるためのプログラム。
【符号の説明】
【0111】
１０…配信装置、２０…制御装置、３０，３０Ａ，３０Ｂ…撮像装置、２０１…制御部、２０７…通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】