(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】情報処理装置、及び情報処理方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20240709BHJP
H04N 23/695 20230101ALI20240709BHJP
【FI】
H04N23/60 300
H04N23/695
(21)【出願番号】P 2022509947
(86)(22)【出願日】2021-03-15
(86)【国際出願番号】 JP2021010327
(87)【国際公開番号】W WO2021193189
(87)【国際公開日】2021-09-30
【審査請求日】2024-01-22
(31)【優先権主張番号】P 2020051485
(32)【優先日】2020-03-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】青合 翔介
(72)【発明者】
【氏名】乾 翼
(72)【発明者】
【氏名】堀内 浩太
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開2003-264729(JP,A)
【文献】特開2004-032636(JP,A)
【文献】特開2006-270537(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 23/695
(57)【特許請求の範囲】
【請求項1】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部
と、
前記判定部が前記無線伝送動作を優先させると判定した場合に、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる第1の制御部と、
を備える情報処理装置。
【請求項2】
前記判定部は、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定する、
請求項1に記載の情報処理装置。
【請求項3】
前記通信状態情報は、前記無線伝送の伝搬路に関する情報を含み、
前記判定部は、前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記伝搬路の状態が所定の基準を満たさない状態の場合には、前記無線伝送動作を優先させると判定する、
請求項2に記載の情報処理装置。
【請求項4】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、を備え、
前記判定部は、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記通信状態情報は、前記無線伝送の伝送路に関する情報として電波強度の情報を含み、
前記判定部は、前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記電波強度が所定の基準より低い場合には、前記無線伝送動作を優先させると判定する、
情報処理装置。
【請求項5】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、を備え、
前記判定部は、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記通信状態情報は、前記無線伝送に関する通信速度の情報を含み、
前記判定部は、
前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記通信速度が所定の基準より低い場合には、前記無線伝送動作を優先させると判定する、
情報処理装置。
【請求項6】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、を備え、
前記判定部は、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記撮影状態情報は、前記所定の装置がオンエア映像の撮影動作中か否かを判別するための情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置がオンエア映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
情報処理装置。
【請求項7】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、を備え、
前記判定部は、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記撮影状態情報は、前記所定の装置がネクスト映像の撮影動作中か否かを判別するための情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置がネクスト映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
情報処理装置。
【請求項8】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、を備え、
前記判定部は、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記撮影状態情報は、前記所定の装置が撮影中の被写体に関する情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置が被写体に関する基準を満たす映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
情報処理装置。
【請求項9】
前記撮影状態情報は、前記所定の装置が撮影中の被写体の数に関する情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置が予め定められた数より多くの被写体を撮影中の場合には、前記撮影動作を優先させると判定する、
請求項8に記載の情報処理装置。
【請求項10】
前記撮影状態情報として、前記所定の装置が撮影中の被写体を特定するための情報を含み、
前記判定部は、前記通信状態が所定の基準より悪い状態であり、少なくとも前記特定された被写体が所定の被写体を示す場合には、前記撮影動作を優先させると判定する、
請求項8
又は9に記載の情報処理装置。
【請求項11】
前記判定部が前記無線伝送動作を優先させると判定した場合に、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる第1の制御部、を備える、
請求項
4~10のいずれか1項に記載の情報処理装置。
【請求項12】
前記所定の装置は、雲台に設置される撮像装置であり、
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した場合に、前記雲台の動作を制御することにより前記撮像装置の姿勢を前記無線伝送動作に係る姿勢に変化させる、
請求項11に記載の情報処理装置。
【請求項13】
前記所定の装置は、撮影機能を有する移動体又は移動体に配置される撮像装置であり、
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した場合に、前記移動体を前記無線伝送動作に係る位置に移動させる、
請求項11に記載の情報処理装置。
【請求項14】
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した後、所定時間が経過したタイミングで、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる制御を開始する、
請求項11
~13のいずれか1項に記載の情報処理装置。
【請求項15】
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した後、撮影機能を有する前記所定の装置とは異なる他の装置の撮影動作の状態又は前記他の装置の撮像データの無線伝送動作の状態に基づくタイミングで、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる制御を開始する、
請求項11
~13のいずれか1項に記載の情報処理装置。
【請求項16】
前記第1の制御部は、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させた後、所定時間が経過したタイミングで、前記所定の装置が前記撮影データの転送を完了しているか否かに関わらず、前記所定の装置の位置及び姿勢の少なくとも一方を前記撮影動作に係る位置又は姿勢に変化させる制御を開始する、
請求項11
~15のいずれか1項に記載の情報処理装置。
【請求項17】
前記第1の制御部は、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させた後、撮影機能を有する前記所定の装置とは異なる他の装置の撮影動作の状態又は前記他の装置の撮像データの無線伝送動作の状態に基づくタイミングで、前記所定の装置が前記撮影データの転送を完了しているか否かに関わらず、前記所定の装置の位置及び姿勢の少なくとも一方を前記撮影動作に係る位置又は姿勢に変化させる制御を開始する、
請求項11
~15のいずれか1項に記載の情報処理装置。
【請求項18】
前記撮影データの無線伝送を制御する第2の制御部を備え、
前記第2の制御部は、前記所定の装置が撮影した撮影データのうち、オンエアに使用される区間の撮影データを含む所定の基準を満たす撮影データを前記無線伝送に係る撮影データとして前記無線伝送を制御する、
請求項1
~17のいずれか1項に記載の情報処理装置。
【請求項19】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定し、
前記無線伝送動作を優先させると判定した場合に、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる、
情報処理方法。
【請求項20】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定ステップ、を有し、
前記判定ステップでは、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記通信状態情報は、前記無線伝送の伝送路に関する情報として電波強度の情報を含み、
前記判定ステップでは、前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記電波強度が所定の基準より低い場合には、前記無線伝送動作を優先させると判定する、
情報処理方法。
【請求項21】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定ステップ、を有し、
前記判定ステップでは、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記通信状態情報は、前記無線伝送に関する通信速度の情報を含み、
前記判定ステップでは、
前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記通信速度が所定の基準より低い場合には、前記無線伝送動作を優先させると判定する、
情報処理方法。
【請求項22】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定ステップ、を有し、
前記判定ステップでは、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記撮影状態情報は、前記所定の装置がオンエア映像の撮影動作中か否かを判別するための情報を含み、
前記判定ステップでは、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置がオンエア映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
情報処理方法。
【請求項23】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定ステップ、を有し、
前記判定ステップでは、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記撮影状態情報は、前記所定の装置がネクスト映像の撮影動作中か否かを判別するための情報を含み、
前記判定ステップでは、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置がネクスト映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
情報処理方法。
【請求項24】
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定ステップ、を有し、
前記判定ステップでは、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定し、
前記撮影状態情報は、前記所定の装置が撮影中の被写体に関する情報を含み、
前記判定ステップでは、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置が被写体に関する基準を満たす映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、及び情報処理方法に関する。
【背景技術】
【0002】
撮影データを無線伝送する要求が高まっている。例えば、近年では、高解像度なスポーツ映像を会場から無線伝送する要求が高まっている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2007-81752号公報
【文献】特開2015-220683号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
無線伝送は有線伝送と比べ、低コストで装置間の伝送路を形成できるという利点がある一方で、通信が不安定になり易いという欠点がある。例えば、映像等の撮影データは情報量が多いため、その伝送には、高い伝送レートが期待できる高周波の電波(例えば、ミリ波)を使用することが望ましい。しかしながら、高周波の電波は、直進性が高かったり減衰量が大きかったり等、周波数が高くなればなるほど電波が届き難くなる。そのため、無線伝送に高周波の電波を使った場合、撮像データの送信元の装置の状態(例えば、姿勢や位置)によっては、送信元の装置が発射した電波が、送信先の装置に届かない可能性がある。
【0005】
例えば、送信元の装置が、スポーツ施設に設置された無線通信機能付きのカメラであるとする。この場合、撮影中のカメラの向きによっては、カメラが発射した電波が、例えばスポーツ施設に設置された基地局に届かない可能性がある。このように、撮影データの伝送に無線を使用した場合、撮影データを効率よく伝送できない可能性がある。
【0006】
そこで、本開示では、撮影データを効率よく無線伝送可能な情報処理装置、及び情報処理方法を提案する。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、を備える。
【図面の簡単な説明】
【0008】
【
図1】本実施形態の情報処理システムの一例である無線伝送システムを示す図である。
【
図2】本開示の実施形態に係る情報処理システム1の構成例を示す図である。
【
図3】本開示の実施形態に係るサーバ装置の構成例を示す図である。
【
図4】本開示の実施形態に係る基地局装置の構成例を示す図である。
【
図5】本開示の実施形態に係る中継装置の構成例を示す図である。
【
図6】本開示の実施形態に係る撮像装置の構成例を示す図である。
【
図7】撮像装置が指向性ビームを発射する様子を示す図である。
【
図8】本開示の実施形態に係る雲台の構成例を示す図である。
【
図9】本開示の実施形態に係る情報処理装置の構成例を示す図である。
【
図10】基地局装置及び撮像装置のスポーツ施設への配置例を示す図である。
【
図11】本実施形態に係る判定処理を示すフローチャートである。
【
図12】1又は複数の情報処理装置が、4つの撮像装置それぞれに、優先モードを設定した様子を示す図である。
【
図13】本実施形態に係る姿勢制御処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0010】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて撮像装置401、402及び403のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、撮像装置401、402及び403を特に区別する必要が無い場合には、単に撮像装置40と称する。
【0011】
また、以下に示す項目順序に従って本開示を説明する。
1.はじめに
2.情報処理システムの構成
2-1.サーバ装置の構成
2-2.基地局装置の構成
2-3.中継装置の構成
2-4.撮像装置の構成
2-5.雲台の構成
2-6.情報処理装置の構成
3.情報処理システムの動作
3-1.判定処理
3-2.判定処理の具体的適用例
3-3.姿勢制御処理
4.変形例
5.まとめ
【0012】
<<1.はじめに>>
LTE(Long Term Evolution)、NR(New Radio)等の無線アクセス技術(RAT:Radio Access Technology)が急速に進歩している。近年では、高周波の周波数帯の電波を使用することで、情報量の大きなデータも無線伝送可能になっている。例えば、5G NR(5th Generation New Radio)で使用可能な周波数帯域のうち、ミリ波帯(例えば、28GHz帯)は従来の4G/LTEで利用されている周波数帯(例えば、700MHz~3.5GHz帯)や、5GのSub-6(6GHz未満の周波数帯)と比べて、極めて大きなデータの無線伝送が可能である。4K、8Kと高解像度化が進み、且つライブ映像(ニアライブも含む。)が求められるスポーツ制作でも、高周波帯(例えば、3.6GHz~45GHz)の電波の利用が期待される。
【0013】
しかしながら、高周波帯の電波は、直進性が高かったり減衰量が大きかったり等、電波が届き難いという性質を有する。ここで、無線通信機能を有するカメラがミリ波を使って基地局に撮影データを無線伝送する場合を想定する。ミリ波は直進性が非常に高いことが知られている。そのため、ミリ波を無線伝送に使用する場合、電波の届きやすい方向と届き難い方向が少なからず生じると考えられる。ミリ波を使って撮影データを無線伝送する場合、スムーズに撮影データを基地局に届けるには、カメラオペレータは、電波が届きやすい方向を常に意識しながら、撮影を行わなくてはならない。しかしながら、電波が届きやすい方向を意識しながらの撮影は極めて困難である。
【0014】
そこで、本実施形態では、撮影データを効率よく無線伝送できるようにする。例えば、本実施形態では、高周波の電波を使った無線伝送であっても、撮影データをスムーズに無線伝送できるようにする。
【0015】
以下、本実施形態の概要を、
図1を参照しながら説明する。
図1は、本実施形態の情報処理システムの一例である無線伝送システムを示す図である。
図1に示す無線伝送システムは、スポーツなどのライブ映像を無線伝送するシステムである。
【0016】
撮影が行われる会場(例えば、スポーツ施設)には、雲台(platform)に設置されたカメラが配置されている。
図1の例ではカメラは1つしか示されていないが、カメラは複数あってもよい。カメラは無線通信機能を有し、ミリ波等の高周波の電波を使って制作側システムに撮影データ(例えば、映像データやメタデータ)を伝送可能である。雲台はカメラの姿勢を変更可能に構成されている。例えば、雲台は、カメラをパン(水平方向移動)、チルト(垂直方向移動)させることが可能である。雲台制御装置は、このような雲台の駆動制御を行う。雲台制御装置は、雲台内、カメラ内、又は制作側システム内の情報処理装置(例えば、プロセッサ等の制御装置)であってもよい。また、雲台制御装置は、これら以外の個別の情報処理装置であってもよい。
【0017】
制作側システムは、スイッチャ装置(
図1に示すSW’er)と、編集装置(
図1に示すEdit)と、を有している。スイッチャ装置は、例えば、オンエア(On-Air)に用いられる映像(以下、オンエア映像という。)、及び、次にオンエアとなる映像(以下、ネクスト映像という。)の切り替えを行う装置である。編集装置は、例えば、グラフィックス重畳、事前撮影情報やハイライト・リプレイ映像の編集処理を行う装置である。編集装置によって編集された映像データはスイッチャ装置を介して放送システムに伝送される。なお、放送システムは、電波を使ったブロードバンド放送が可能であってもよいし、動画コンテンツや音声通話などをインターネット経由で提供するいわゆるOTT(Over The Top)サービスが可能であってもよい。なお、制作側システムから放送システムへのデータ伝送は無線伝送であってもよいし有線伝送であってもよい。
【0018】
カメラは、撮影した映像を制作側システムに送信する。例えば、カメラは、オンエア映像となる映像のデータをベストエフォートで送信する。オンエア映像は、例えば、ライブ映像用ストリームデータである。ここでオンエアとは、放送局あるいはOTTから映像又は音声が放送中(送信中)であることを示す。カメラは、スイッチャ装置に対して、ライブ映像用ストリームデータをベストエフォートで転送する。このとき、転送に使用する電波は、4G/LTEで利用されている周波数帯の電波であってもよいし、5GのSub-6やミリ波帯の電波であってもよい。また、カメラは、高解像度の映像ファイルを作成し、カメラ内のメモリに記憶してもよい。そして、カメラは、高解像度ファイルを編集装置に転送してもよい。この転送には、大きな情報量のデータを高速に送信できるミリ波帯の電波が使用されてもよい。なお、カメラは、編集装置に対して、ライブ映像用ストリームデータを送信してもよい。
【0019】
雲台制御装置は、カメラ情報をカメラから取得する。例えば、雲台制御装置は、カメラの通信状態を示す情報と撮影状態を示す情報とを取得する。ここで、カメラの通信状態を示す情報は、例えば、無線伝送の伝搬路に関する情報である。例えば、無線伝送の伝搬路に関する情報は、受信側装置(例えば、基地局)で計測された受信情報(伝送強度情報や実効伝送レート情報)である。また、撮影状態を示す情報は、例えば、オンエア映像の撮影動作中か否か、ネクスト映像の撮影動作中か否か、所定の被写体を撮影動作中か否か、を示す情報である。なお、所定の被写体は、サッカー等のスポーツにおけるスター選手であってもよい。なお、カメラ情報は、上記に限られない。例えば、カメラ情報は、カメラの役割を示す情報であってもよいし、カメラが撮像した画像の解析情報であってもよいし、カメラが撮像した画像自体であってもよい。
【0020】
そして、雲台制御装置は、通信状態が所定の基準を満たさない状態であり、カメラが所定の撮影動作中(例えば、オンエア映像の撮影動作中、ネクスト映像の撮影動作中、及び/又は所定の被写体を撮影動作中)の場合には、カメラの撮影動作を優先させると判定する。一方、雲台制御装置は、通信状態が所定の基準を満たさない状態であり、カメラが所定の撮影動作中でない場合には、カメラの無線伝送動作を優先させると判定する。
【0021】
無線伝送動作を優先させると判定した場合、雲台制御装置は、撮影データの無線伝送を容易にするため、カメラの姿勢(カメラの方向)を制御する。カメラの姿勢が無線伝送に適した状態に変化したら、カメラは、撮影データ(例えば、高解像度の映像ファイル)の無線伝送を開始する。なお、ここで送信された高解像度のファイルは、例えばサッカーのハーフタイム時のリプレイ、ハイライト映像作成などに用いられてもよい。
【0022】
本実施形態によれば、カメラの姿勢は適切なタイミング(例えば、あまり撮影が必要でないタイミング)で無線伝送に適した姿勢に変更される。そのため、カメラは、例え高周波の電波を使ったとしても、撮影データを効率よく制作側システムに無線伝送できる。その結果、制作側システムは、ハイライト生成などの処理を迅速に行うことができる。
【0023】
以上、本実施形態の概要を述べたが、以下、本実施形態に係る情報処理システムを詳細に説明する。
【0024】
<<2.情報処理システムの構成>>
図2は、本開示の実施形態に係る情報処理システム1の構成例を示す図である。情報処理システム1は、撮像装置40が撮影した撮影データ(例えば、映像データやメタデータ)を、基地局装置20及び/又は中継装置30を介してサーバ装置10に伝送する。撮像装置40と基地局装置20又は、撮像装置40と中継装置30は、例えば、LTE、NR等の無線アクセス技術を使って無線接続が可能である。
【0025】
なお、以下の説明では、基地局装置20及び/又は中継装置30のことを、「中継装置30」の記載を省略し、単に「基地局装置20」と表現することがある。以下の説明で登場する基地局装置20の記載は、適宜、中継装置30に置き換え可能である。
【0026】
撮像装置40は、高周波帯(例えば、3.6GHz~45GHz、望ましくは6GHz~45GHz)の電波を使って基地局装置20に撮影データを無線伝送する。例えば、撮像装置40は、ミリ波帯(例えば、28GHz帯)の電波を使って基地局装置20に撮影データを無線伝送する。撮像装置40は、4G/LTEで利用されている周波数帯(例えば、700MHz~3.5GHz帯)や、5GのSub-6(6GHz未満の周波数帯)の電波を使って撮影データを無線伝送するよう構成されていてもよい。
【0027】
なお、以下の説明では、「LTE」には、LTE-A(LTE-Advanced)、LTE-A Pro(LTE-Advanced Pro)、及びEUTRA(Evolved Universal Terrestrial Radio Access)が含まれるものとする。また、NRには、NRAT(New Radio Access Technology)、及びFEUTRA(Further EUTRA)が含まれるものとする。なお、単一の基地局は複数のセルを管理してもよい。以下の説明において、LTEに対応するセルはLTEセルと称され、NRに対応するセルはNRセルと称される。
【0028】
NRは、LTE(LTE-Advanced、LTE-Advanced Proを含む第4世代通信)の次の世代(第5世代)の無線アクセス技術である。NRは、eMBB(Enhanced Mobile Broadband)、mMTC(Massive Machine Type Communications)及びURLLC(Ultra-Reliable and Low Latency Communications)を含む様々なユースケースに対応できる無線アクセス技術である。NRは、これらのユースケースにおける利用シナリオ、要求条件、及び配置シナリオなどに対応する技術フレームワークを目指して検討されている。
【0029】
なお、撮像装置40と基地局装置20は、LTE、NR以外の無線アクセス技術を使って無線通信を行ってもよい。例えば、撮像装置40と基地局装置20は、LPWA(Low Power Wide Area)通信を行ってもよいし、独自規格の無線通信を行ってもよい。
【0030】
ここで、LPWA通信とは、小電力の広範囲通信を可能とする無線通信のことである。例えば、LPWA無線とは、特定小電力無線(例えば、920MHz帯)やISM(Industry-Science-Medical)バンドを使用したIoT(Internet of Things)無線通信のことである。なお、撮像装置40と基地局装置20が使用するLPWA通信はLPWA規格に準拠したものであってもよい。LPWA規格としては、例えば、ELTRES、ZETA、SIGFOX、LoRaWAN、NB-Iot等が挙げられる。勿論、LPWA規格はこれらに限定されず、他のLPWA規格であってもよい。
【0031】
基地局装置20に伝送された撮影データは、ネットワークNを介してサーバ装置10に伝送される。サーバ装置10は、撮像装置40が撮影した撮影データに各種処理を実行する情報処理装置である。例えば、撮影データに含まれる映像データを編集する制作側システムが備える情報処理装置である。或いは、サーバ装置10は、例えば、撮影データに含まれるメタデータに基づいて、編集された映像データを放送する放送システムが備える情報処理装置である。
【0032】
ネットワークNは、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等の通信ネットワークである。ネットワークNには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、ネットワークNには、コアネットワークが含まれていてもよい。コアネットワークは、例えば、EPC(Evolved Packet Core)や5GC(5G Core network)である。
【0033】
以下、情報処理システム1の構成を具体的に説明する。
【0034】
情報処理システム1は、
図2に示すように、サーバ装置10と、基地局装置20と、中継装置30と、撮像装置40と、雲台50と、情報処理装置60と、を備える。情報処理システム1は、情報処理システム1を構成する複数の無線通信装置が連携して動作することで、撮像装置40が撮影した撮影データのサーバ装置10への伝送を可能にする。なお、無線通信装置は、無線通信の機能を有する装置のことである。
図2の例では、少なくとも、基地局装置20、中継装置30、及び撮像装置40が無線通信装置に該当する。
【0035】
情報処理システム1は、サーバ装置10と、基地局装置20と、中継装置30と、撮像装置40と、雲台50と、情報処理装置60と、をそれぞれ複数備えていてもよい。
図5の例では、情報処理システム1は、サーバ装置10としてサーバ装置10
1、10
2等を備えている。また、情報処理システム1は、基地局装置20として基地局装置20
1、20
2、20
3等を備えており、中継装置30として中継装置30
1、30
2等を備えている。また、情報処理システム1は、撮像装置40として撮像装置40
1、40
2、40
3、40
4等を備えており、雲台50として雲台50
1、50
2、50
3、50
4等を備えている。また、情報処理システム1は、情報処理装置60として情報処理装置60
1、60
2、60
3等を備えている。
【0036】
なお、図中の装置は、論理的な意味での装置と考えてもよい。つまり、同図の装置の一部が仮想マシン(VM:Virtual Machine)、コンテナ(Container)、ドッカー(Docker)などで実現され、それらが物理的に同一のハードウェア上で実装されてもよい。
【0037】
なお、LTEの基地局は、eNodeB(Evolved Node B)又はeNBと称されることがある。また、NRの基地局は、NGRAN Node(Next Generation RAN node)、gNodeB又はgNBと称されることがある。また、LTE及びNRでは、端末装置はUE(User Equipment)と称されることがある。
図2の例では、少なくとも撮像装置40は端末装置である。端末装置は、通信装置の一種であり、移動可能なのであれば、移動局とも称される。
【0038】
本実施形態において、通信装置という概念には、携帯端末等の持ち運び可能な移動体装置(端末装置)のみならず、構造物や移動体に設置される装置も含まれる。構造物や移動体そのものを通信装置とみなしてもよい。また、通信装置という概念には、端末装置のみならず、基地局装置及び中継装置も含まれる。通信装置は、情報処理装置の一種である。通信装置は、送信装置又は受信装置と言い換えることが可能である。
【0039】
以下、情報処理システム1を構成する各装置の構成を具体的に説明する。なお、以下に示す各装置の構成はあくまで一例である。各装置の構成は、以下に示す構成とは異なっていてもよい。
【0040】
<2-1.サーバ装置の構成>
最初に、サーバ装置10の構成を説明する。
【0041】
サーバ装置10は、撮像装置40が撮影した撮影データに各種処理を実行する情報処理装置(コンピュータ)である。例えば、サーバ装置10は、制作側システムが備える情報処理装置である。或いは、サーバ装置10は、放送システムが備える情報処理装置である。サーバ装置10は、PCサーバであってもよいし、ミッドレンジサーバであってもよいし、メインフレームサーバであってもよい。サーバ装置10は、撮影データに含まれる映像データの編集処理を行う。或いは、サーバ装置10は、撮影データに含まれるメタデータに基づいて、編集処理された映像データの放送処理を行う。勿論、サーバ装置10が行う処理はこれらに限られない。撮影データに基づき処理を行う種々の情報処理装置をサーバ装置10とみなすことができる。
【0042】
図3は、本開示の実施形態に係るサーバ装置10の構成例を示す図である。サーバ装置10は、通信部11と、記憶部12と、制御部13と、を備える。なお、
図3に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、サーバ装置10の機能は、複数の物理的に分離された構成に分散して実装されてもよい。例えば、サーバ装置10は、複数のサーバ装置により構成されていてもよい。
【0043】
通信部11は、他の装置と通信するための通信インタフェースである。通信部11は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、通信部11は、NIC(Network Interface Card)等のLAN(Local Area Network)インタフェースであってもよいし、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインタフェースであってもよい。また、通信部11は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部11は、サーバ装置10の通信手段として機能する。通信部11は、制御部13の制御に従って基地局装置20と通信する。
【0044】
記憶部12は、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部12は、サーバ装置10の記憶手段として機能する。記憶部12は、例えば、撮像装置40から基地局装置20を介して伝送された撮影データ(例えば、映像データやメタデータ)を記憶する。
【0045】
制御部13は、サーバ装置10の各部を制御するコントローラ(controller)である。制御部13は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサにより実現される。例えば、制御部13は、サーバ装置10内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM(Random Access Memory)等を作業領域として実行することにより実現される。なお、制御部13は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
【0046】
<2-2.基地局装置の構成>
次に、基地局装置20の構成を説明する。
【0047】
基地局装置20は、撮像装置40と無線通信する無線通信装置である。基地局装置20は、例えば、撮像装置40が撮影を行う会場(以下、撮影会場という。)に設置される。撮影会場としては、例えば、スポーツ施設やコンサート会場が挙げられる。なお、スポーツ施設としては、例えば、サッカースタジアム、野球場(baseball stadium)、体育館、テニス施設が挙げられる。勿論、撮影会場はこれらに限られず、基地局装置20を使って撮影データの伝送サービス(例えば、ライブ中継)を行う種々の会場を撮影会場とみなすことができる。
【0048】
基地局装置20は通信装置の一種である。より具体的には、基地局装置20は、無線基地局(Base Station、Node B、eNB、gNB、など)或いは無線アクセスポイント(Access Point)に相当する装置である。基地局装置20は、無線リレー局であってもよい。また、基地局装置20は、RRH(Remote Radio Head)と呼ばれる光張り出し装置であってもよい。また、基地局装置20は、FPU(Field Pickup Unit)等の受信局装置であってもよい。また、基地局装置20は、無線アクセス回線と無線バックホール回線を時分割多重、周波数分割多重、或いは、空間分割多重で提供するIAB(Integrated Access and Backhaul)ドナーノード、或いは、IABリレーノードであってもよい。
【0049】
なお、基地局装置20が使用する無線アクセス技術は、セルラー通信技術であってもよいし、無線LAN技術であってもよい。勿論、基地局装置20が使用する無線アクセス技術は、これらに限定されず、他の無線アクセス技術であってもよい。例えば、基地局装置20が使用する無線アクセス技術は、LPWA通信技術であってもよい。勿論、基地局装置20が使用する無線通信は、ミリ波を使った無線通信であってもよい。また、基地局装置20が使用する無線通信は、電波を使った無線通信であってもよいし、赤外線や可視光を使った無線通信(光無線)であってもよい。
【0050】
基地局装置20は、撮像装置40とNOMA(Non-Orthogonal Multiple Access)通信が可能であってもよい。ここで、NOMA通信は、非直交リソースを使った通信(送信、受信、或いはその双方)のことである。なお、基地局装置20は、他の基地局装置20及び中継装置30とNOMA通信可能であってもよい。
【0051】
なお、基地局装置20は、基地局装置-コアネットワーク間インタフェース(例えば、S1 Interface等)を介してお互いに通信可能であってもよい。このインタフェースは、有線及び無線のいずれであってもよい。また、基地局装置は、基地局装置間インタフェース(例えば、X2 Interface、S1 Interface等)を介して互いに通信可能であってもよい。このインタフェースは、有線及び無線のいずれであってもよい。
【0052】
なお、基地局装置(基地局ともいう。)という概念には、ドナー基地局のみならず、リレー基地局(中継局、或いは中継局装置ともいう。)も含まれる。また、基地局という概念には、基地局の機能を備えた構造物(Structure)のみならず、構造物に設置される装置も含まれる。
【0053】
構造物は、例えば、高層ビル、家屋、鉄塔、駅施設、空港施設、港湾施設、スタジアム等の建物である。なお、構造物という概念には、建物のみならず、トンネル、橋梁、ダム、塀、鉄柱等の構築物(Non-building structure)や、クレーン、門、風車等の設備も含まれる。また、構造物という概念には、陸上(狭義の地上)又は地中の構造物のみならず、桟橋、メガフロート等の水上の構造物や、海洋観測設備等の水中の構造物も含まれる。基地局装置は、情報処理装置と言い換えることができる。
【0054】
基地局装置20は、ドナー局であってもよいし、リレー局(中継局)であってもよい。また、基地局装置20は、固定局であってもよいし、移動局であってもよい。移動局は、移動可能に構成された無線通信装置(例えば、基地局装置)である。このとき、基地局装置20は、移動体に設置される装置であってもよいし、移動体そのものであってもよい。例えば、移動能力(Mobility)をもつリレー局装置は、移動局としての基地局装置20とみなすことができる。また、車両、ドローン、スマートフォンなど、もともと移動能力がある装置であって、基地局装置の機能(少なくとも基地局装置の機能の一部)を搭載した装置も、移動局としての基地局装置20に該当する。
【0055】
ここで、移動体は、スマートフォンや携帯電話等のモバイル端末であってもよい。また、移動体は、陸上(狭義の地上)を移動する移動体(例えば、自動車、自転車、バス、トラック、自動二輪車、列車、リニアモーターカー等の車両)であってもよいし、地中(例えば、トンネル内)を移動する移動体(例えば、地下鉄)であってもよい。
【0056】
また、移動体は、水上を移動する移動体(例えば、旅客船、貨物船、ホバークラフト等の船舶)であってもよいし、水中を移動する移動体(例えば、潜水艇、潜水艦、無人潜水機等の潜水船)であってもよい。
【0057】
また、移動体は、大気圏内を移動する移動体(例えば、飛行機、飛行船、ドローン等の航空機)であってもよいし、大気圏外を移動する移動体(例えば、人工衛星、宇宙船、宇宙ステーション、探査機等の人工天体)であってもよい。大気圏外を移動する移動体は宇宙移動体と言い換えることができる。
【0058】
また、基地局装置20は、地上に設置される地上基地局装置(地上局装置)であってもよい。例えば、基地局装置20は、地上の構造物に配置される基地局装置であってもよいし、地上を移動する移動体に設置される基地局装置であってもよい。より具体的には、基地局装置20は、ビル等の構造物に設置されたアンテナ及びそのアンテナに接続する信号処理装置であってもよい。勿論、基地局装置20は、構造物や移動体そのものであってもよい。「地上」は、陸上(狭義の地上)のみならず、地中、水上、水中も含む広義の地上である。なお、基地局装置20は、地上基地局装置に限られない。基地局装置20は、空中又は宇宙を浮遊可能な非地上基地局装置(非地上局装置)であってもよい。例えば、基地局装置20は、航空機局装置や衛星局装置であってもよい。
【0059】
航空機局装置は、航空機等、大気圏内を浮遊可能な無線通信装置である。航空機局装置は、航空機等に搭載される装置であってもよいし、航空機そのものであってもよい。なお、航空機という概念には、飛行機、グライダー等の重航空機のみならず、気球、飛行船等の軽航空機も含まれる。また、航空機という概念には、重航空機や軽航空機のみならず、ヘリコプターやオートジャイロ等の回転翼機も含まれる。なお、航空機局装置(又は、航空機局装置が搭載される航空機)は、ドローン等の無人航空機であってもよい。
【0060】
なお、無人航空機という概念には、無人航空システム(UAS:Unmanned Aircraft Systems)、つなぎ無人航空システム(tethered UAS)も含まれる。また、無人航空機という概念には、軽無人航空システム(LTA:Lighter than Air UAS)、重無人航空システム(HTA:Heavier than Air UAS)が含まれる。その他、無人航空機という概念には、高高度無人航空システムプラットフォーム(HAPs:High Altitude UAS Platforms)も含まれる。
【0061】
衛星局装置は、大気圏外を浮遊可能な無線通信装置である。衛星局装置は、人工衛星等の宇宙移動体に搭載される装置であってもよいし、宇宙移動体そのものであってもよい。衛星局装置となる衛星は、低軌道(LEO:Low Earth Orbiting)衛星、中軌道(MEO:Medium Earth Orbiting)衛星、静止(GEO:Geostationary Earth Orbiting)衛星、高楕円軌道(HEO:Highly Elliptical Orbiting)衛星の何れであってもよい。勿論、衛星局装置は、低軌道衛星、中軌道衛星、静止衛星、又は高楕円軌道衛星に搭載される装置であってもよい。
【0062】
基地局装置20のカバレッジの大きさは、マクロセルのような大きなものから、ピコセルのような小さなものであってもよい。勿論、基地局装置20のカバレッジの大きさは、フェムトセルのような極めて小さなものであってもよい。また、基地局装置20はビームフォーミングの能力を有していてもよい。この場合、基地局装置20はビームごとにセルやサービスエリアが形成されてもよい。
【0063】
図2の例では、基地局装置20
1は、中継装置30
1と接続されており、基地局装置20
2は、中継装置30
2と接続されている。基地局装置20
1は中継装置30
1を介して撮像装置40と間接的に無線通信することが可能である。同様に、基地局装置20
2は、中継装置30
2を介して撮像装置40と間接的に無線通信することが可能である。
【0064】
図4は、本開示の実施形態に係る基地局装置20の構成例を示す図である。基地局装置20は、無線通信部21と、記憶部22と、制御部23と、ネットワーク通信部24と、を備える。なお、
図4に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、基地局装置20の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0065】
無線通信部21は、他の無線通信装置(例えば、撮像装置40、中継装置30)と無線通信するための信号処理部である。無線通信部21は、制御部23の制御に従って動作する。無線通信部21は1又は複数の無線アクセス方式に対応する。例えば、無線通信部21は、NR及びLTEの双方に対応する。無線通信部21は、NRやLTEに加えて、W-CDMAやcdma2000に対応していてもよい。また、無線通信部21は、HARQ(Hybrid Automatic Repeat reQuest)等の自動再送技術に対応していてもよい。
【0066】
無線通信部21は、受信処理部211、送信処理部212、アンテナ213を備える。無線通信部21は、受信処理部211、送信処理部212、及びアンテナ213をそれぞれ複数備えていてもよい。なお、無線通信部21が複数の無線アクセス方式に対応する場合、無線通信部21の各部は、無線アクセス方式毎に個別に構成されうる。例えば、受信処理部211及び送信処理部212は、LTEとNRとで個別に構成されてもよい。また、アンテナ213は複数のアンテナ素子(例えば、複数のパッチアンテナ)で構成されていてもよい。この場合、無線通信部21は、ビームフォーミング可能に構成されていてもよい。垂直偏波(V偏波)と水平偏波(H偏波)とを使用した偏波ビームフォーミングが可能に構成されていてもよい。
【0067】
受信処理部211は、アンテナ213を介して受信された上りリンク信号の処理を行う。例えば、受信処理部211は、上りリンク信号に対して、ダウンコンバート、不要な周波数成分の除去、増幅レベルの制御、直交復調、デジタル信号への変換、ガードインターバル(サイクリックプレフィックス)の除去、高速フーリエ変換による周波数領域信号の抽出等を行う。そして、受信処理部211は、これらの処理が行われた信号から、PUSCH(Physical Uplink Shared Channel)、PUCCH(Physical Uplink Control Channel)等の上りリンクチャネル及び上りリンク参照信号を分離する。また、受信処理部211は、上りリンクチャネルの変調シンボルに対して、BPSK(Binary Phase Shift Keying)、QPSK(Quadrature Phase shift Keying)等の変調方式を使って受信信号の復調を行う。復調に使用される変調方式は、16QAM(Quadrature Amplitude Modulation)、64QAM、又は256QAMであってもよい。この場合、コンステレーション上の信号点は必ずしも等距離である必要はない。コンステレーションは、不均一コンステレーション(NUC:Non Uniform Constellation)であってもよい。そして、受信処理部211は、復調された上りリンクチャネルの符号化ビットに対して、復号処理を行う。復号された上りリンクデータ及び上りリンク制御情報は制御部23へ出力される。
【0068】
送信処理部212は、下りリンク制御情報及び下りリンクデータの送信処理を行う。例えば、送信処理部212は、制御部23から入力された下りリンク制御情報及び下りリンクデータを、ブロック符号化、畳み込み符号化、ターボ符号化等の符号化方式を用いて符号化を行う。そして、送信処理部212は、符号化ビットをBPSK、QPSK、16QAM、64QAM、256QAM等の所定の変調方式で変調する。この場合、コンステレーション上の信号点は必ずしも等距離である必要はない。コンステレーションは、不均一コンステレーションであってもよい。そして、送信処理部212は、各チャネルの変調シンボルと下りリンク参照信号とを多重化し、所定のリソースエレメントに配置する。そして、送信処理部212は、多重化した信号に対して、各種信号処理を行う。例えば、送信処理部212は、高速フーリエ変換による時間領域への変換、ガードインターバル(サイクリックプレフィックス)の付加、ベースバンドのデジタル信号の生成、アナログ信号への変換、直交変調、アップコンバート、余分な周波数成分の除去、電力の増幅等の処理を行う。送信処理部212で生成された信号は、アンテナ213から送信される。
【0069】
アンテナ213は、電流と電波を相互に変換するアンテナ装置(アンテナ部)である。アンテナ213は、1つのアンテナ素子(例えば、1つのパッチアンテナ)で構成されていてもよいし、複数のアンテナ素子(例えば、複数のパッチアンテナ)で構成されていてもよい。アンテナ213が複数のアンテナ素子で構成される場合、無線通信部21は、ビームフォーミング可能に構成されていてもよい。例えば、無線通信部21は、複数のアンテナ素子を使って無線信号の指向性を制御することで、指向性ビームを生成するよう構成されていてもよい。なお、アンテナ213は、デュアル偏波アンテナであってもよい。アンテナ213がデュアル偏波アンテナの場合、無線通信部21は、無線信号の送信にあたり、垂直偏波(V偏波)と水平偏波(H偏波)とを使用してもよい。そして、無線通信部21は、垂直偏波と水平偏波とを使って送信される無線信号の指向性を制御してもよい。
【0070】
記憶部22は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部22は、基地局装置20の記憶手段として機能する。
【0071】
制御部23は、基地局装置20の各部を制御するコントローラ(controller)である。制御部23は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサにより実現される。例えば、制御部23は、基地局装置20内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM(Random Access Memory)等を作業領域として実行することにより実現される。なお、制御部23は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
【0072】
ネットワーク通信部24は、他の装置と通信するための通信インタフェースである。例えば、ネットワーク通信部24は、NIC等のLANインタフェースである。ネットワーク通信部24は、有線インタフェースであってもよいし、無線インタフェースであってもよい。ネットワーク通信部24は、基地局装置20のネットワーク通信手段として機能する。ネットワーク通信部24は、制御部23の制御に従って中継装置30と通信する。
【0073】
<2-3.中継装置の構成>
次に、中継装置30の構成を説明する。
【0074】
中継装置30は、基地局の中継局となる装置である。中継装置30は、例えば、基地局装置20とともに、撮像会場に設置される。
【0075】
中継装置30は、基地局装置の一種である。中継装置は、リレー基地局と言い換えることができる。中継装置30は、撮像装置40とNOMA通信することが可能である。中継装置30は、基地局装置20と撮像装置40との通信を中継する。なお、中継装置30は、他の中継装置30及び基地局装置20とNOMA通信可能に構成されていてもよい。中継装置30は、地上局装置であってもよいし、非地上局装置であってもよい。中継装置30は基地局装置20とともに無線アクセスネットワークを構成する。
【0076】
図5は、本開示の実施形態に係る中継装置30の構成例を示す図である。中継装置30は、撮像装置40とNOMA通信が可能であってもよい。中継装置30は、無線通信部31と、記憶部32と、制御部33と、ネットワーク通信部34と、を備える。なお、
図5に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、中継装置30の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0077】
無線通信部31は、他の無線通信装置(例えば、基地局装置20、撮像装置40、及び他の中継装置30)と無線通信するための信号処理部である。無線通信部31は、制御部33の制御に従って動作する。無線通信部31は、受信処理部311、送信処理部312、アンテナ313を備える。無線通信部31、受信処理部311、送信処理部312、及びアンテナ313の構成は、基地局装置20の無線通信部21、受信処理部211、送信処理部212及びアンテナ213と同様であってもよい。
【0078】
記憶部32は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部32は、中継装置30の記憶手段として機能する。
【0079】
制御部33は、中継装置30の各部を制御するコントローラである。制御部33の構成は、基地局装置20の制御部23と同様であってもよい。
【0080】
ネットワーク通信部34は、他の装置と通信するための通信インタフェースである。ネットワーク通信部34の構成は、基地局装置20のネットワーク通信部24と同様であってもよい。
【0081】
<2-4.撮像装置の構成>
次に、撮像装置40の構成を説明する。
【0082】
撮像装置40は、無線通信機能と撮像機能を備えた端末装置である。例えば、撮像装置40は、無線通信機能を具備した業務用カメラである。撮像装置40は、基地局装置20或いは中継装置30と無線通信する。撮像装置40は、通信装置の一種である。撮像装置40は、撮影会場(例えば、スポーツ施設)に設置され、撮影データ(例えば、スポーツ映像)を、基地局装置20を介してサーバ装置10に伝送する。
【0083】
なお、撮像装置40は、基地局装置20及び中継装置30とNOMA通信が可能であってもよい。また、撮像装置40は、基地局装置20及び中継装置30と通信する際、HARQ等の自動再送技術を使用可能であってもよい。撮像装置40は、他の撮像装置40とサイドリンク通信が可能であってもよい。撮像装置40は、サイドリンク通信を行う際も、HARQ等の自動再送技術を使用可能であってもよい。なお、撮像装置40は、他の撮像装置40との通信(サイドリンク)においてもNOMA通信が可能であってもよい。また、撮像装置40は、他の通信装置(例えば、基地局装置20、中継装置30、及び他の撮像装置40)とLPWA通信が可能であってもよい。また、撮像装置40が使用する無線通信は、ミリ波を使った無線通信であってもよい。なお、撮像装置40が使用する無線通信(サイドリンク通信を含む。)は、電波を使った無線通信であってもよいし、赤外線や可視光を使った無線通信(光無線)であってもよい。
【0084】
撮像装置40は、同時に複数の基地局装置または複数のセルと接続して通信を実施してもよい。例えば、1つの基地局装置が複数のセル(例えば、pCell、sCell)を介して通信エリアをサポートしている場合に、キャリアアグリゲーション(CA:Carrier Aggregation)技術やデュアルコネクティビティ(DC:Dual Connectivity)技術、マルチコネクティビティ(MC:Multi-Connectivity)技術によって、それら複数のセルを束ねて基地局装置20と撮像装置40とで通信することが可能である。或いは、異なる基地局装置20のセルを介して、協調送受信(CoMP:Coordinated Multi-Point Transmission and Reception)技術によって、撮像装置40とそれら複数の基地局装置20が通信することも可能である。
【0085】
図6は、本開示の実施形態に係る撮像装置40の構成例を示す図である。撮像装置40は、無線通信部41と、記憶部42と、制御部43と、ネットワーク通信部44と、撮像部45と、を備える。なお、
図6に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、撮像装置40の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0086】
無線通信部41は、他の無線通信装置(例えば、基地局装置20、中継装置30、及び他の撮像装置40)と無線通信するための信号処理部である。無線通信部41は、制御部43の制御に従って動作する。無線通信部41は、受信処理部411、送信処理部412、アンテナ413を備える。無線通信部41、受信処理部411、送信処理部412、及びアンテナ413の構成は、基地局装置20の無線通信部21、受信処理部211、送信処理部212及びアンテナ213と同様であってもよい。
【0087】
無線通信部41は、無線通信部21と同様に、ビームフォーミング可能に構成されていてもよい。
図7は、撮像装置40が指向性ビームを発射する様子を示す図である。
図7の例では、撮像装置40は、異なる位置に配置された4つのアンテナ413を備える。例えば、撮像装置40は、図面上方向に電波の送受信方向を有するアンテナ413aと、図面右方向に電波の送受信方向を有するアンテナ413bと、図面下方向に電波の送受信方向を有するアンテナ413cと、図面左方向に電波の送受信方向を有するアンテナ413dと、を備える。アンテナ413a、413b、413c、及び413dは、それぞれ複数のアンテナ素子を備え、指向性ビームを射出可能である。
図7の例では、アンテナ413bがビームBMを射出している。なお、無線通信部21はビーム方向を制御可能である。アンテナ413b、413c、及び413dは、それぞれ、
図7に示すD1、D2、D3、及びD4の範囲でビーム方向を変更可能である。ビーム方向は、水平方向のみならず、垂直方向にも変更可能であってもよい。
【0088】
図6に戻り、記憶部42は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部42には、撮像部45によって撮影された撮影データ(例えば、映像データやメタデータ)が格納される。なお、撮影データはファイル形式であってもよい。この場合、解像度が異なる複数のファイルが記憶部42に格納されてもよい。例えば、記憶部42に記録されるファイルには、標準解像度の映像が記録された標準解像度ファイル(例えば、リアルタイム放送用のファイル)と、標準解像度よりも高解像度な映像が記録された高解像度ファイル(例えば、リプレイやハイライト作成のための編集用ファイル)とがあってもよい。なお、以下の説明では、撮像装置40が他の装置(例えば、サーバ装置10)に伝送すべき撮影データのことを転送ファイルということがある。転送ファイルは、標準解像度ファイルであってもよいし、高解像度ファイルであってもよい。記憶部42は、撮像装置40の記憶手段として機能する。他の装置はサーバ装置10に限られず、例えば、他の撮像装置40であってもよい。
【0089】
制御部43は、撮像装置40の各部を制御するコントローラである。制御部43は、例えば、CPU、MPU等のプロセッサにより実現される。例えば、制御部43は、撮像装置40内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM等を作業領域として実行することにより実現される。なお、制御部43は、ASICやFPGA等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
【0090】
ネットワーク通信部44は、他の装置と通信するための通信インタフェースである。例えば、ネットワーク通信部44は、NIC等のLANインタフェースである。ネットワーク通信部44は、有線インタフェースであってもよいし、無線インタフェースであってもよい。ネットワーク通信部44は、撮像装置40のネットワーク通信手段として機能する。ネットワーク通信部44は、制御部43の制御に従って、他の装置と通信する。
【0091】
撮像部45は、光像を電気信号に変換する変換部である。撮像部45は、例えば、イメージセンサと、イメージセンサから出力されたアナログの画素信号の処理を行う信号処理回路等を備え、レンズから入ってきた光をデジタルデータ(画像データ)に変換する。なお、撮像部45が撮像する画像は、映像(動画)に限られず、静止画であってもよい。
【0092】
<2-5.雲台の構成>
次に、雲台50の構成を説明する。
【0093】
雲台50は、撮像装置40を設置するためのカメラプラットフォームである。雲台50は、撮像装置40の姿勢を変更する。例えば、雲台50は、撮像装置40のパン(水平方向移動)及びチルト(垂直方向移動)を可能にするパン/チルト機構を備え、情報処理装置60の指示に従って、パン/チルト機構を制御することで撮像装置40のパン及びチルトを可能にする。なお、雲台50は、撮像装置40を回転させるロール機構を備えていてもよい。
【0094】
図8は、本開示の実施形態に係る雲台50の構成例を示す図である。雲台50は、通信部51と、記憶部52と、制御部53と、駆動部54と、を備える。なお、
図8に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、雲台50の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0095】
なお、撮像装置40と雲台50は、一体の装置であってもよいし、別体の装置であってもよい。撮像装置40と雲台50を一体の装置とする場合、雲台50の通信部51は、撮像装置40の無線通信部41及び/又はネットワーク通信部44と同一ブロックとみなすことができる。また、撮像装置40と雲台50を一体の装置とする場合、雲台50の記憶部52は、撮像装置40の記憶部42と同一ブロックとみなすことができる。また、撮像装置40と雲台50を一体の装置とする場合、雲台50の制御部53は、撮像装置40の制御部43と同一ブロックとみなすことができる。
【0096】
通信部51は、他の装置と通信するための通信インタフェースである。通信部51は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、通信部51は、NIC等のLANインタフェースであってもよいし、USBホストコントローラ、USBポート等により構成されるUSBインタフェースであってもよい。また、通信部51は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部51は、雲台50の通信手段として機能する。通信部51は、制御部53の制御に従って情報処理装置60と通信する。
【0097】
記憶部52は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部52は、雲台50の記憶手段として機能する。
【0098】
制御部53は、サーバ装置10の各部を制御するコントローラである。制御部13は、例えば、CPU、MPU等のプロセッサにより実現される。例えば、制御部13は、サーバ装置10内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM等を作業領域として実行することにより実現される。なお、制御部53は、ASICやFPGA等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
【0099】
駆動部54は、雲台50が備える各種機構を駆動する装置である。駆動部54は、例えば、パン/チルト/ロール機構を駆動するモータである。駆動部54は、雲台50の駆動手段として機能する。駆動部54は、制御部53の制御に従って各種機構を駆動する。
【0100】
<2-6.情報処理装置の構成>
次に、情報処理装置60の構成を説明する。
【0101】
情報処理装置60は、撮像装置40の姿勢を制御する制御装置である。情報処理装置60は、例えば、雲台50が有するパン/チルト/ロール機構の雲台50による駆動を制御することで、撮像装置40の姿勢(例えば、撮像装置40の向く方向)を制御する。
図1の例であれば、情報処理装置60は雲台制御装置に相当する。なお、撮像装置40が移動可能なのであれば、情報処理装置60は、撮像装置40の姿勢のみならず、撮像装置40の位置を制御するよう構成されていてもよい。
【0102】
図9は、本開示の実施形態に係る情報処理装置60の構成例を示す図である。情報処理装置60は、通信部61と、記憶部62と、制御部63と、を備える。なお、
図9に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置60の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0103】
なお、情報処理装置60は他の装置と一体の装置であってもよい。すなわち、情報処理装置60は他の装置そのものであってもよい。例えば、情報処理装置60は、雲台50と一体の装置であってもよいし、撮像装置40と一体の装置であってもよい。また、撮像装置40と雲台50と情報処理装置60の3つが一体の装置であってもよい。この場合、撮像装置40及び雲台50は、適宜、情報処理装置60と言い換えることができる。
【0104】
なお、撮像装置40と雲台50とが一体の装置で、情報処理装置60がそれとは別体の装置であってもよい。また、撮像装置40と情報処理装置60が一体の装置で、雲台50がそれとは別体の装置であってもよい。また、雲台50と情報処理装置60が一体の装置で、撮像装置40がそれとは別体の装置であってもよい。
【0105】
情報処理装置60が雲台50と一体の装置の場合、情報処理装置60の通信部61は、雲台50の通信部51と同一ブロックとみなすことができる。また、情報処理装置60が雲台50と一体の装置の場合、情報処理装置60の記憶部62は、雲台50の記憶部52と同一ブロックとみなすことができる。また、情報処理装置60が雲台50と一体の装置の場合、情報処理装置60の制御部63は、雲台50の制御部53と同一ブロックとみなすことができる。
【0106】
また、情報処理装置60が撮像装置40と一体の装置の場合、情報処理装置60の通信部61は、撮像装置40の無線通信部41及び/又はネットワーク通信部44と同一ブロックとみなすことができる。また、情報処理装置60が撮像装置40と一体の装置の場合、情報処理装置60の記憶部62は、撮像装置40の記憶部42と同一ブロックとみなすことができる。また、情報処理装置60が撮像装置40と一体の装置の場合、情報処理装置60の制御部63は、撮像装置40の制御部43と同一ブロックとみなすことができる。
【0107】
なお、情報処理装置60は、複数の雲台50を制御するよう構成されていてもよい。この場合、情報処理装置60が制御する雲台50は2つに限られない。情報処理装置60は2つより多くの雲台50を制御してもよい。情報処理装置60が複数の雲台50を制御する場合、情報処理装置60は制御対象となる複数の雲台50の1つに搭載され、他の雲台50を、通信(有線通信及び/又は無線通信)を介して制御してもよい。また、情報処理装置60は制御対象となる複数の雲台50の外部に配置され、外部から通信を介して複数の雲台50それぞれを制御してもよい。なお、情報処理装置60は、複数の情報処理装置60で連携して1又は複数の雲台50を制御するよう構成されていてもよい。
【0108】
また、情報処理装置60は、基地局装置20と一体の装置であってもよいし、中継装置30と一体の装置であってもよい。また、情報処理装置60は、サーバ装置10と一体の装置であってもよい。勿論、情報処理装置60は、これらとは異なる独立の装置であってもよい。この場合、情報処理装置60は、ネットワークN及び/又は基地局装置20を介して雲台50を制御してもよい。
【0109】
情報処理装置60が基地局装置20と一体の装置の場合、情報処理装置60の通信部61は、基地局装置20の無線通信部21及び/又はネットワーク通信部24と同一ブロックとみなすことができる。また、情報処理装置60が基地局装置20と一体の装置の場合、情報処理装置60の記憶部62は、基地局装置20の記憶部22と同一ブロックとみなすことができる。また、情報処理装置60が基地局装置20と一体の装置の場合、情報処理装置60の制御部63は、基地局装置20の制御部23と同一ブロックとみなすことができる。
【0110】
また、情報処理装置60が中継装置30と一体の装置の場合、情報処理装置60の通信部61は、中継装置30の無線通信部31及び/又はネットワーク通信部34と同一ブロックとみなすことができる。また、情報処理装置60が中継装置30と一体の装置の場合、情報処理装置60の記憶部62は、中継装置30の記憶部32と同一ブロックとみなすことができる。また、情報処理装置60が中継装置30と一体の装置の場合、情報処理装置60の制御部63は、中継装置30の制御部33と同一ブロックとみなすことができる。
【0111】
また、情報処理装置60がサーバ装置10と一体の装置の場合、情報処理装置60の通信部61は、サーバ装置10の通信部11と同一ブロックとみなすことができる。また、情報処理装置60がサーバ装置10と一体の装置の場合、情報処理装置60の記憶部62は、サーバ装置10の記憶部12と同一ブロックとみなすことができる。また、情報処理装置60がサーバ装置10と一体の装置の場合、情報処理装置60の制御部63は、サーバ装置10の制御部13と同一ブロックとみなすことができる。
【0112】
以下、情報処理装置60が有する各ブロックを詳述する。
【0113】
通信部61は、他の装置と通信するための通信インタフェースである。通信部61は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、通信部61は、NIC(Network Interface Card)等のLAN(Local Area Network)インタフェースであってもよいし、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインタフェースであってもよい。また、通信部61は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部61は、情報処理装置60の通信手段として機能する。通信部61は、制御部13の制御に従って他の装置と通信する。
【0114】
記憶部62は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部62は、情報処理装置60の記憶手段として機能する。
【0115】
制御部63は、情報処理装置60の各部を制御するコントローラである。制御部63は、例えば、CPU、MPU等のプロセッサにより実現される。例えば、制御部63は、情報処理装置60内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM等を作業領域として実行することにより実現される。なお、制御部63は、ASICやFPGA等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
【0116】
制御部63は、
図9に示すように、第1の取得部631と、第2の取得部632と、第3の取得部633と、判定部634と、第1の制御部635と、第2の制御部636と、を備える。制御部63を構成する各ブロック(第1の取得部631~第2の制御部636)はそれぞれ制御部63の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法は任意である。
【0117】
なお、制御部63は上述の機能ブロックとは異なる機能単位で構成されていてもよい。また、制御部63を構成する各ブロック(第1の取得部631~第2の制御部636)の一部又は全部の動作を、他の装置が行ってもよい。例えば、制御部63を構成する各ブロックの一部又は全部の動作を、サーバ装置10の制御部13、基地局装置20の制御部23、中継装置30の制御部33、撮像装置40の制御部43、又は雲台50の制御部53が行ってもよい。一例を挙げると、第1の取得部631~判定部634までの動作を情報処理装置60の制御部63が行い、第1の制御部635及び第2の制御部636の動作を雲台50の制御部53又は撮像装置40の制御部43が行ってもよい。制御部63を構成する各ブロックの動作は後述する。
【0118】
<<3.情報処理システムの動作>>
以上、情報処理システム1の構成について述べたが、次に、情報処理システム1の動作を説明する。
【0119】
情報処理システム1は、例えば、スポーツ施設等の撮影会場で撮影された映像をユーザに届けるシステムである。上述したように情報処理システム1は、1又は複数の撮像装置40を備える。撮像装置40は、撮影会場(例えば、スポーツ施設)に設置され、撮影会場で撮影を行うとともに、撮影データ(映像、メタデータ)を、基地局装置20を介して、サーバ装置10に伝送する。サーバ装置10は撮影データを編集してユーザに伝送する。
【0120】
図10は、基地局装置20及び撮像装置40のスポーツ施設への配置例を示す図である。
図10の例では、スポーツ施設はサッカースタジアムとなっている。サッカースタジアムには、基地局装置20
1と基地局装置20
2の2つの基地局装置が配置されている。また、サッカースタジアムには、撮像装置40
1~撮像装置40
4の4つの撮像装置がサッカースタジアムに配置されている。なお、
図10はあくまで一例である。スポーツ施設はサッカースタジアムに限られない。勿論、撮影会場はスポーツ施設に限られない。また、基地局装置20及び撮像装置40の配置は
図10に示す配置に限られない。
【0121】
なお、撮像装置40は、ビームフォーミングに対応していてもよい。この場合、撮像装置40は、
図7に示すように、指向性ビームを射出する。しかし、撮像装置40がビームフォーミングに対応していたとしても、撮像装置40は、必ずしもすべての方向にビームを射出できるとは限らない。また、撮像装置40が出力可能なビームの強度は必ずしも全ての方向で一定であるとは限らない。また、ビームの向きによっては、電波が構造物に遮られて基地局装置20に届かない可能性もある。このことから、撮像装置40は、ビームフォーミングに対応していても、その姿勢や位置によっては、基地局装置20に出力信号を届けることができない可能性がある。なお、撮像装置40は必ずしもビームフォーミングに対応していなくてもよい。この場合も、撮像装置40は、その姿勢や位置によっては、基地局装置20に出力信号を届けることができない可能性がある。
【0122】
そのため、効率よく撮影データを基地局装置20に届けるには、カメラオペレータは、電波が届きやすい方向を常に意識しながら、撮像装置40の撮影制御(例えば、パン/チルト等の撮像装置40の姿勢制御)を行わなくてはならない。しかしながら、人が、電波が届きやすい方向を意識しながら撮影制御を行うことは極めて困難である。
【0123】
そこで、本実施形態では、撮影データを効率よく無線伝送できるようにするため、情報処理装置60は、撮像装置40が行う複数の動作のいずれを優先させるべきであるかを判定する。例えば、情報処理装置60は、通信状態と撮影状態とに基づいて、撮像装置40が撮影動作と撮影データの無線伝送動作のいずれを優先させるべきであるかを判定する。そして、情報処理装置60は、その判定結果に基づいて撮像装置40の姿勢を制御する。例えば、情報処理装置60は、撮影を優先させるべきタイミングでは、撮影に適した姿勢に撮像装置40の姿勢を制御し、無線伝送を優先させるべきタイミングでは無線伝送に適した姿勢に撮像装置40の姿勢を制御する。これにより、撮像装置40は、撮影を継続しつつも、その撮影により得られた撮影データを効率よくサーバ装置10に無線伝送できるようになる。
【0124】
以下、情報処理システム1の動作を詳細に説明する。情報処理システム1の動作は、撮像装置40が行う複数の動作のいずれを優先させるべきであるかを判定する判定処理と、撮像装置40の姿勢を制御する姿勢制御処理と、に分けられる。最初に判定処理について説明する。
【0125】
<3-1.判定処理>
図11は、本実施形態に係る判定処理を示すフローチャートである。
【0126】
判定処理は、撮像装置40が撮影動作を優先させるべきであるか、撮影データの無線伝送動作を優先させるべきであるか、を判定するための処理である。以下の説明では、撮像装置40が撮影動作を優先させるべき状況であるとき、判定処理は判定結果として撮影優先モードを設定するものとする。また、撮像装置40が撮影データの無線伝送動作を優先させるべき状況であるとき、判定処理は判定結果として転送優先モードを設定するものとする。
【0127】
なお、以下の説明では、撮像装置40の動作は、撮影動作と撮影データの無線伝送動作の2つであるものとするが、撮像装置40の動作はこれら2つに限られない。情報処理装置60は、他の動作も含めた優先モードを判定してもよい。
【0128】
図11に示す判定処理は、例えば、情報処理装置60の制御部63によって実行される。判定処理は、例えば、撮像装置40の撮影開始が検出された後、一定時間間隔で繰り返し実行される。情報処理装置60は、撮像装置40が撮影開始されたことを示す情報(開始信号)を、通信部61を介して撮像装置40から取得してもよい。勿論、判定処理は、上記以外のタイミング、例えば、撮像装置40の撮影開始前に実行されてもよい。以下、
図11のフローチャートを参照しながら判定処理を説明する。
【0129】
まず、制御部63は、撮像装置40の記憶部42に転送ファイルが存在するか判別する(ステップS101)。上述したように、転送ファイルは、撮像装置40が他の装置(例えば、サーバ装置10)に伝送すべき撮影データのことである。転送ファイルの例としては、リプレイやハイライト作成のための高解像度のファイルが挙げられる。なお、他の装置に伝送すべき撮影データは必ずしもファイル形式でなくてもよい。以下の説明では、他の装置に転送すべき撮影データのことを転送ファイルというが、転送ファイルのワードは適宜他のワード(例えば、撮影データ)に置き換え可能である。
【0130】
転送ファイルが存在しない場合(ステップS101:No)、制御部63は、優先モードの設定を行うことなく、処理を終了する。なお、転送ファイルが存在しないので、制御部63の判定部634は、撮影動作を優先すべき状況にあると判定し、優先モードを転送優先モードに設定してもよい。
【0131】
一方、転送ファイルが存在する場合(ステップS101:Yes)、制御部63の第1の取得部631は、撮像装置40の現在の状態が転送ファイルを送信可能な状態か否かを判定できるようにするため、撮像装置40の通信状態を示す通信状態情報を取得する(ステップS102)。このとき、第1の取得部631は、記憶部62から通信状態情報を取得してもよいし、撮像装置40から通信部61を介して通信状態情報を取得してもよい。なお、情報処理装置60が撮像装置40の近くに配置されている、或いは、情報処理装置60が撮像装置40と一体の装置なのであれば、第1の取得部631は、通信部61が自ら検出した情報を通信状態情報として取得してもよい。
【0132】
なお、通信状態情報は、撮像装置40が無線通信の相手側とする装置(以下、相手装置という。)からのデータ受信に係る通信状態の情報であってもよい。これは、相手装置から受信した信号(例えば、ブロードバンド信号や各種参照信号)の状態によっても、撮像装置40が転送ファイルを送信可能な状態にあるか否かを推定可能だからである。勿論、通信状態情報は、相手装置へのデータ送信に係る通信状態の情報であってもよい。この場合には、第1の取得部631は、撮像装置40が送信した信号の状態を示す情報を相手装置から取得し、その取得した情報を通信状態情報としてもよい。ここで、相手装置は、例えば、基地局装置20や中継装置30である。サイドリンク通信を使って転送ファイルをサーバ装置10等に送信するのであれば、相手装置は他の撮像装置40であってもよい。
【0133】
第1の取得部631は、様々な情報を通信状態情報として取得可能である。例えば、第1の取得部631は、転送ファイルの送信に使用する周波数帯(例えば、ミリ波帯)を撮像装置40が現在利用可能であるか否かを示す情報(以下、電波利用可否情報という。)を通信状態情報として取得してもよい。この情報は、撮像装置40の無線通信部41から通信部61を介して取得してもよい。
【0134】
また、第1の取得部631は、通信状態情報として、無線伝送の伝搬路に関する情報を取得してもよい。例えば、第1の取得部631は、伝搬路に関する情報として、無線伝送に係る電波強度の情報を取得してもよい。より具体的には、第1の取得部631は、撮像装置40が相手装置に送信した信号の電波強度の情報を相手装置から通信状態情報として取得してもよい。また、第1の取得部631は、相手装置から受信した信号の電波強度の情報を通信状態情報として取得してもよい。また、電波強度の情報は、予め撮像装置40を駆動可能な範囲(パン、チルト方向)動かして実測しておいた強度情報であってもよいし、アンテナ配備位置(例えば、撮像装置40のアンテナ413と基地局装置20のアンテナ213の配置位置)から予測される強度情報であってもよい。
【0135】
なお、無線伝送の伝搬路に関する情報は、転送ファイルの送信に使用する周波数帯の電波に係る情報であってもよい。例えば、転送ファイルの送信にミリ波帯の電波を使用するのであれば、第1の取得部631は、ミリ波帯の電波を使用して送信或いは受信した信号の電波強度の情報を無線伝送の伝搬路に関する情報として取得してもよい。
【0136】
また、第1の取得部631は、通信状態情報として、無線伝送に関する通信速度の情報を取得してもよい。例えば、第1の取得部631は、通信速度の情報として、相手装置との通信に係る転送レートの情報を取得してもよい。より具体的には、第1の取得部631は、通信速度の情報として、相手装置へのデータ送信に係る転送レートの情報を取得してもよいし、相手装置からのデータ受信に係る転送レートの情報を取得してもよい。大容量のファイルを無線伝送してもよいかを判定するには、転送レートの情報は極めて有用である。
【0137】
なお、通信速度の情報は、転送ファイルの送信に使用する周波数帯の電波に係る情報であってもよい。例えば、転送ファイルの送信にミリ波帯の電波を使用するのであれば、第1の取得部631は、ミリ波帯の電波を使用して送信或いは受信したデータの転送レートの情報を通信状態情報として取得してもよい。
【0138】
第1の取得部631は、上記情報のうちの1又は複数の情報を通信状態情報として取得する。通信状態情報には上記以外の情報が含まれていてもよい。
【0139】
次に、制御部63の第2の取得部632は、撮像装置40が撮影を中断してもよい状態か否かを判定できるようにするため、撮像装置40の撮影状態を示す撮影状態情報を取得する(ステップS103)。このとき、第2の取得部632は、記憶部62から撮影状態情報を取得してもよいし、撮像装置40から通信部61を介して撮影状態情報を取得してもよい。
【0140】
第2の取得部632は、様々な情報を撮影状態情報として取得可能である。例えば、第2の取得部632は、撮影状態情報として、撮像装置40が現在撮影動作中か否かを示す情報を取得してもよい。
【0141】
また、撮像装置40がすでに撮影動作中なのであれば、第1の取得部631は、撮影状態情報として、撮像装置40に現在与えられている役割を示す情報を取得してもよい。例えば、第2の取得部632は、撮影状態情報として、撮像装置40がオンエア映像の撮影動作中か否かを判別するための情報を取得してもよい。また、第2の取得部632は、撮影状態情報として、撮像装置40がネクスト映像の撮影動作中か否かを判別するための情報を取得してもよい。オンエア映像とは、現在放送中(例えば、ライブ配信中)の映像であり、ネクスト映像とは、次にオンエアとなる映像のことである。第1の取得部631は、これらの情報を、例えば、制作側システムが備えるスイッチャ装置から取得してもよい。また、第2の取得部632は、撮影状態情報として、撮像装置40が所定の目的のための映像解析用映像(例えばVideo Assistant Referee用映像)を撮影動作中か否かを判別するための情報を取得してもよい。第1の取得部631は、これらの情報を、例えば、制作側システムが備える編集装置から取得してもよい。
【0142】
また、第2の取得部632は、撮影状態情報として、撮像装置40の撮影に係る被写体に関する情報を取得してもよい。例えば、第2の取得部632は、撮影状態情報として、撮像装置40が撮影中の被写体に関する情報を取得してもよい。例えば、第2の取得部632は、撮影状態情報として、撮像装置40が撮影中の被写体の数の情報(例えば、撮影画像に映るプレーヤー数の情報)を取得してもよい。また、第2の取得部632は、撮影状態情報として、撮像装置40が撮影中の被写体を特定するための情報を取得してもよい。例えば、第2の取得部632は、被写体を特定するための情報として、撮影画像に映る物体が何か(例えば、ボールか、プレーヤーか、それ以外か)を示す情報を取得してもよい。また、撮影画像に映る物体がプレーヤーの場合、第2の取得部632は、被写体を特定するための情報として、プレーヤーが誰かを示す情報(例えば、背番号)を取得してもよい。第2の取得部632は、これらの情報を、撮像装置40が撮影した画像を解析することにより取得してもよい。
【0143】
その他、第2の取得部632は、撮影状態情報として、撮像装置40が撮影する可能性がある被写体の動きの予測結果の情報を取得してもよい。第2の取得部632は、被写体の動きを、例えば、会場に設置された複数の撮像装置40のうちのいずれかの撮像装置40で撮影された被写体の、過去及び現在のフレーム中での変化の情報に基づき予測してもよい。
【0144】
第2の取得部632は、上記情報のうちの1又は複数の情報を撮影状態情報として取得する。撮影状態情報には上記以外の情報が含まれていてもよい。
【0145】
次に、制御部63の判定部634は、ステップS102で取得した通信状態情報に基づいて、撮像装置40の通信状態が基準を満たさない状態か否かを判定する(ステップS104)。
【0146】
例えば、第1の取得部631が通信状態情報として電波利用可否情報を取得したとする。この場合、判定部634は、電波利用可否情報が電波の利用不可を示していれば、通信状態が基準を満たしていないと判定し、電波利用可否情報が電波の利用可能を示していれば、通信状態が基準を満たしていると判定する。
【0147】
また、第1の取得部631が通信状態情報として無線伝送の伝搬路に関する情報を取得したとする。この場合、判定部634は、伝搬路の状態が撮影データを無線伝送できない状態か否かを判定する。例えば、伝搬路に関する情報が電波強度の情報であるとする。この場合、判定部634は、電波強度が所定の閾値より低い場合には、通信状態が基準を満たしていないと判定し、電波強度が所定の閾値より高い場合には、通信状態が基準を満たしていると判定する。
【0148】
また、第1の取得部631が通信状態情報として通信速度の情報を取得したとする。この場合、判定部634は、通信速度が所定の閾値より低い場合には、通信状態が基準を満たしていないと判定し、通信速度が所定の閾値より高い場合には、通信状態が基準を満たしていると判定する。
【0149】
なお、判定部634は、複数の情報を組み合わせて撮像装置40の通信状態が基準を満たす状態か否かを判定してもよい。例えば、判定部634は、一定時間内に高容量ファイルの転送が成功する可能性が高いか否かを判定できるようにするため、電波強度が第1の閾値より低い場合、又は、通信速度が第2の閾値より低い場合には、通信状態が基準を満たしていないと判定し、それ以外の場合には、通信状態が基準を満たしていると判定してもよい。また、判定部634は、一定時間内に高容量ファイルの転送が成功する可能性が少しでもあるか否かを判定できるようにするため、電波強度が第1の閾値より低く、かつ、通信速度が第2の閾値より低い場合には、通信状態が基準を満たしていないと判定し、それ以外の場合には、通信状態が基準を満たしていると判定してもよい。判定部634は、電波強度及び通信速度以外の情報を組み合わせて通信状態が基準を満たす状態か否かを判定してもよい。
【0150】
撮像装置40の通信状態が基準を満たす状態の場合(ステップS104:No)、制御部63は、優先モードの設定を行うことなく、処理を終了する。この場合、撮像装置40は、情報処理装置60の指示に基づいて、現在の撮影状態を維持しつつ、転送ファイルの送信を実行する。例えば、撮像装置40は、ライブ映像の撮影動作を行いつつ、高周波帯(例えば、ミリ波帯)の電波を使って高解像度ファイルを送信する。なお、撮像装置40は、ライブ映像ストリームの送信と並行して高解像度ファイルの送信を行ってもよい。このとき、撮像装置40は、ライブ映像の送信と高解像度ファイルの送信とで、異なる周波数帯の電波を使用してもよい。例えば、撮像装置40は、高解像度ファイルの送信には、高周波数帯の電波を使用し、ライブ映像の送信には、高解像度ファイルの送信に使用する周波帯よりも低い周波数帯を使用する。例えば、撮像装置40は、ミリ波帯の電波を使用して高解像度ファイルを送信し、4Gの周波数帯域を使ったベストエフォートでライブ映像ストリームを送信する。
【0151】
なお、撮像装置40は、ライブ映像と高解像度ファイルとを異なるスライスで送ってもよい。スライスとは、ネットワークスライシングにおけるスライスである。例えば、基地局装置20が接続されたコアネットワークが、高信頼低遅延用のスライス、及び大容量用のスライスを含む複数のスライスに分割されているとする。ここで、高信頼低遅延用のスライスは、例えば、URLLC(Ultra-Reliable and Low Latency Communications)用のスライスであり、大容量用のスライスは、例えば、eMBB(enhanced Mobile Broadband)用のスライスである。このとき、撮像装置40は、ライブ映像の送信には、例えば、高信頼低遅延用のスライスを使用し、高解像度ファイルの送信には、例えば、大容量用のスライスを使用する。
【0152】
なお、通信状態が基準を満たす状態は、撮影動作と無線伝送動作が両立する状態であるといえる。そのため、制御部63の判定部634は、優先モードを撮影優先モードと転送優先モードのいずれかに設定してもよい。例えば、判定部634は、通信状態が基準を満たす場合には、撮影逃し防止のため、優先モードを撮影優先モードとしてもよい。
【0153】
撮像装置40の通信状態が基準を満たさない状態の場合(ステップS104:Yes)、判定部634は、ステップS103で取得した撮影状態情報に基づいて、撮像装置40の撮影状態が第1の基準を満たす状態か否か判定する(ステップS105)。
【0154】
例えば、第2の取得部632が撮影状態情報として撮像装置40が撮影動作中か否かを示す情報を取得したとする。この場合、判定部634は、撮像装置40が現在撮影動作中なのであれば、撮影状態が第1の基準を満たしていると判定し、撮像装置40が現在撮影動作中でないのであれば、撮影状態が第1の基準を満たしていないと判定する。
【0155】
なお、撮像装置40がすでに撮影動作中なのであれば、第1の基準は、撮像装置40に現在与えられている役割に関する基準であってもよい。例えば、第2の取得部632が、撮影状態情報として、撮像装置40がオンエア映像の撮影動作中か否かを判別するための情報を取得したとする。この場合、判定部634は、撮像装置40が、現在、オンエア映像の撮影動作中なのであれば、撮影状態が第1の基準を満たしていると判定し、撮像装置40が、現在、オンエア映像の撮影動作中でないのであれば、撮影状態が第1の基準を満たしていないと判定する。
【0156】
また、第2の取得部632が、撮影状態情報として、撮像装置40がネクスト映像の撮影動作中か否かを判別するための情報を取得したとする。この場合、判定部634は、撮像装置40が、現在、ネクスト映像の撮影動作中(例えば、現在のオンエア映像の次にオンエアとなるフラグが立っている状態)なのであれば、撮影状態が第1の基準を満たしていると判定し、撮像装置40が、現在、ネクスト映像の撮影動作中でないのであれば、撮影状態が第1の基準を満たしていないと判定する。
【0157】
また、第2の取得部632が、撮影状態情報として、撮像装置40が映像解析用映像の撮影動作中か否かを判別するための情報を取得したとする。この場合、判定部634は、撮像装置40が、現在、映像解析用の映像の撮影動作中なのであれば、撮影状態が第1の基準を満たしていると判定し、撮像装置40が、現在、映像解析用の映像の撮影動作中でないのであれば、撮影状態が第1の基準を満たしていないと判定する。
【0158】
なお、判定部634は、複数の情報を組み合わせて撮像装置40の撮影状態が第1の基準を満たす状態か否かを判定してもよい。例えば、判定部634は、オンエア映像、ネクスト映像、及び映像解析用映像の少なくとも1つを含む複数の映像(例えば、オンエア映像及びネクスト映像)のいずれかを撮影動作中なのであれば、撮影状態が第1の基準を満たしていると判定し、それ以外の場合には、撮影状態が第1の基準を満たしていないと判定してもよい。
【0159】
撮像装置40の撮影状態が第1の基準を満たす状態の場合(ステップS105:Yes)、判定部634は、撮像装置40が撮影動作を優先すべき状態であると判定し、優先モードを撮影優先モードに設定する(ステップS106)。このとき、判定部634の動作は、撮影優先モードを示す内部フラグを立てるだけの動作であってもよいし、情報処理装置60の内部の機能ブロック、若しくは情報処理装置60の外部の装置に通知する動作であってもよい。設定が完了したら、制御部63はステップS102に戻る。判定処理が一定時間間隔で繰り返し実行されるのであれば、制御部63は一旦判定処理を終了してもよい。
【0160】
一方、撮像装置40の撮影状態が第1の基準を満たさない状態の場合(ステップS105:No)、判定部634は、ステップS103で取得した撮影状態情報に基づいて、撮像装置40の撮影状態が、第2の基準を満たす状態か否か判定する(ステップS107)。このとき、第2の基準は、撮像装置40の撮影に係る被写体に関する基準であってもよい。
【0161】
例えば、第2の取得部632が、撮影状態情報として、撮像装置40が撮影中の被写体の数の情報を取得したとする。この場合、判定部634は、被写体の数が所定の閾値より多いのであれば、撮影状態が第2の基準を満たしていると判定し、被写体の数が所定の閾値より少ないのであれば、撮影状態が第2の基準を満たしていないと判定する。
【0162】
また、第2の取得部632が、撮影状態情報として、撮像装置40が撮影中の被写体を特定するための情報を取得したとする。この場合、制御部63の第3の取得部633は、各種設定が記録された設定情報を取得する。設定情報には、ユーザ、開発者、又は運営者の設定に係る被写体の情報が記録されている。例えば、設定情報には、ユーザが注目しているプレーヤーの情報、及び/又は、所定のスポーツで使用されるボールの特徴を示す情報が含まれている。勿論、設定情報にはこれら以外の情報が含まれていてもよい。なお、第3の取得部633は設定情報を記憶部62から取得してもよいし、通信部61を介して他の装置から取得してもよい。判定部634は、設定に係る被写体(例えば、スタープレーヤーやボール)を撮影中なのであれば、撮影状態が第2の基準を満たしていると判定し、設定に係る被写体を撮影中でないのであれば、撮影状態が第2の基準を満たしていないと判定する。
【0163】
また、第2の取得部632が、撮影状態情報として、被写体の動きの予測結果の情報を取得したとする。この場合、判定部634は、予測に係る被写体が一定時間内に撮像装置40が撮影する画像に含まれる確率が所定の閾値より高いのであれば、撮影状態が第2の基準を満たしていると判定し、確率が所定の閾値より低いのであれば、撮影状態が第2の基準を満たしていないと判定する。
【0164】
なお、判定部634は、複数の情報を組み合わせて撮像装置40の撮影状態が第2の基準を満たす状態か否かを判定してもよい。例えば、判定部634は、撮像装置40の撮影状態が上記基準(被写体の数に関する基準、設定に係る被写体に関する基準、被写体の動きの予測に関する基準)の少なくとも1つを含む複数の基準のいずれかを満たすのであれば、撮影状態が第2の基準を満たしていると判定し、それ以外の場合には、撮影状態が第2の基準を満たしていないと判定してもよい。
【0165】
撮像装置40の撮影状態が第2の基準を満たす状態の場合(ステップS107:Yes)、判定部634は、撮像装置40が撮影動作を優先すべき状態であると判定し、優先モードを撮影優先モードに設定する(ステップS106)。設定が完了したら、制御部63は判定処理を終了する。
【0166】
撮像装置40の撮影状態が第2の基準を満たさない状態の場合(ステップS107:No)、判定部634は、撮像装置40が無線伝送動作を優先すべき状態であると判定し、優先モードを転送優先モードに設定する(ステップS108)。このとき、判定部634の動作は、転送優先モードを示す内部フラグを立てるだけの動作であってもよいし、情報処理装置60の内部の機能ブロック、若しくは情報処理装置60の外部の装置に通知する動作であってもよい。設定が完了したら、制御部63は判定処理を終了する。
【0167】
<3-2.判定処理の具体的適用例>
以上、判定処理を説明したが、次に、理解を容易にするため、判定処理によって優先モードが設定される様子を、具体例を使って説明する。
【0168】
図12は、1又は複数の情報処理装置60が、4つの撮像装置40
1~40
4それぞれに、優先モードを設定した様子を示す図である。
図12に示す4つの撮像装置40
1~40
4は、
図10に示す4つの撮像装置40
1~40
4に対応している。撮像装置40
1、40
2は、基地局装置20
1、20
2のいずれからも遠く、通信状態が悪い。撮像装置40
3は、撮影方向に応じて通信状態が良くなったり悪くなったりする。撮像装置40
4は、基地局装置20
1、20
2の中間に位置しており、撮影方向に関係なく通信状態が良い。
【0169】
図12に示すH、Lは、4つの撮像装置40
1~40
4それぞれの通信状態を示している。Hは通信状態が良い(例えば、電波強度が高い)ことを示し、Lは通信状態が悪い(例えば、電波強度が低い)ことを示す。
図12を見れば分かるように、撮像装置40
1、40
2は、常に通信状態が悪いので、全期間でLが続いている。撮像装置40
3は、通信状態が良くなったり悪くなったりするので、Lの期間とHの期間が交互に現れている。また、撮像装置40
4は、常に通信状態が良いので、全期間でHが続いている。
【0170】
図12において、白地の期間は撮影優先モードが設定された期間を示している。また、グレーの地の期間は転送優先モードが設定された期間を示している。また、太線の枠が付された期間は、該当の撮像装置40がオンエア映像の撮影動作中であることを示している。また、破線の枠が付された期間は、該当の撮像装置40がネクスト映像の撮影動作中であることを示している。また、一点鎖線の枠が付された期間は該当の撮像装置40が撮影する映像中に特定被写体が存在することを示している。特定被写体は、ステップS107で説明した、設定に係る被写体のことである。
【0171】
撮像装置401、402は、全期間で通信状態が悪い。そのため、撮像装置401、402は、オンエア、ネクスト、及び、特定被写体の存在の場合に、撮影優先モードが設定され、それ以外の場合は転送優先モードが設定されている。これにより、撮像装置401、402は、撮影動作が必要な時は撮影を実行し、撮影が必要でないときは姿勢変更等によるスムーズなファイル転送を実行すること可能になる。
【0172】
撮像装置403は、通信状態が良くなったり悪くなったりする。通信状態が良いときは撮影動作と無線伝送動作が両立するので、撮像装置403には、撮影優先モードが設定されている。しかしながら、通信状態が悪いときは撮影動作と無線伝送動作が両立しないので、撮像装置403には、撮像装置401、402と同様に、オンエア、ネクスト、及び、特定被写体の存在の場合のみ、撮影優先モードが設定されている。これにより、撮像装置403は、通信状態が悪い時であっても、姿勢変更等によりスムーズなファイル転送ができる。
【0173】
撮像装置404は、全期間で通信状態が良い。撮影動作と無線伝送動作が常に両立するので、撮像装置404には全期間で撮影優先モードが設定されている。撮像装置404は中断することなく撮影を継続できる。
【0174】
<3-3.姿勢制御処理>
次に、姿勢制御処理を説明する。
図13は、本実施形態に係る姿勢制御処理を示すフローチャートである。
【0175】
姿勢制御処理は、撮像装置40の姿勢を制御するための処理である。姿勢制御処理は、情報処理装置60の制御部63によって実行される。姿勢制御処理は、例えば、撮像装置40の撮影開始が検出された後、一定時間間隔で繰り返し実行される。このとき、情報処理装置60は、撮像装置40が撮影開始されたことを示す情報(開始信号)を、通信部61を介して撮像装置40から取得してもよい。勿論、姿勢制御処理は、上記以外のタイミング、例えば、撮像装置40の撮影開始前に実行されてもよい。
【0176】
なお、以下の説明では、以下に示す姿勢制御処理が開始される前は、撮像装置40は、カメラオペレータ(若しくはカメラオペレータに替わる制御装置)によって、撮影動作に係る姿勢制御がなされているものとする。撮影動作に係る姿勢制御とは、例えば、カメラオペレータ等によるパン/チルト/ロールの制御である。
【0177】
以下、
図13のフローチャートを参照しながら姿勢制御処理を説明する。
【0178】
まず、制御部63は、制御開始タイミングに関する情報を取得する(ステップS201)。例えば、制御部63は、撮像装置40の現在の優先モードの情報を制御開始タイミングに関する情報として取得してもよい。優先モードの情報は、撮像装置40が、現在、転送優先モードに設定されているか、設定されていないかを示す情報であってもよい。優先モードの情報は、撮像装置40の優先モードが撮影優先モードから転送優先モードに変わったことを示す情報(例えば、割り込み信号)であってもよい。
【0179】
また、制御部63は、姿勢制御対象の撮像装置40以外の撮像装置40(以下、他の撮像装置40という。)の状態を示す情報を制御開始タイミングに関する情報として取得してもよい。例えば、制御部63は、他の撮像装置40の撮影動作の状態又は他の撮像装置40の撮像データの無線伝送動作の状態を示す情報を制御開始タイミングに関する情報として取得してもよい。
【0180】
次に、制御部63は、現在が制御開始タイミングであるか否かを判別する(ステップS202)。このとき、制御開始タイミングは、撮像装置40の優先モードが転送優先モードに変化した直後のタイミングであってもよい。
【0181】
また、制御開始タイミングは、撮像装置40の優先モードが転送優先モードに変化してから一定時間経過後であってもよい。これにより、撮像装置40の優先モードが転送優先モードに変化しても、撮像装置40が一定時間撮影に適した状態を維持するようになる。つまり、無線伝送動作に係る姿勢への変化開始の反応を意図的に鈍くすることにより、転送優先モードになってから短時間で撮影優先モードに戻るような事態が発生しても、撮像装置40は、撮影開始までの遅延を発生させることなく撮影を実行できる。結果として、撮影逃しを少なくすることができる。
【0182】
また、制御開始タイミングは、撮像装置40の優先モードが転送優先モードに変化した後の、他の撮像装置40の撮影動作の状態に基づくタイミングであってもよい。例えば、他の撮像装置40のいずれかがネクスト映像の撮影動作中なのであれば、しばらく、制御対象の撮像装置40の映像がオンエアになることはないと考えられる。この場合、制御部63は、制御対象の撮像装置40の優先モードが転送優先モードに変化した直後(或いは、変化して所定時間経過後)のタイミングを制御開始タイミングとする。一方、他の撮像装置40のいずれもネクスト映像の撮影動作中となっていないのであれば、制御対象の撮像装置40の映像が突然オンエアになることがありうる。この場合、制御部63は、制御対象の撮像装置40の優先モードが転送優先モードに変化した後、他の撮像装置40のいずれかがネクスト映像の撮影動作中となったタイミングを制御開始タイミングとする。
【0183】
また、制御開始タイミングは、撮像装置40の優先モードが転送優先モードに変化した後の、他の撮像装置40の無線伝送動作の状態に基づくタイミングであってもよい。例えば、他の撮像装置40が撮像データを無線伝送中なのであれば、他の撮像装置40はしばらく撮影動作に戻れないことが想定される。この場合、制御部63は、制御対象の撮像装置40の優先モードが転送優先モードに変化した後、他の撮像装置40が無線伝送動作を終了したタイミング(或いは、撮影動作に復帰したタイミング)を制御開始タイミングとする。一方、他の撮像装置40が撮像データを無線伝送中でないのであれば、制御対象の撮像装置40が撮影動作を実行できなくても他の撮像装置40が代わりに撮影動作を実行できると推定される。この場合、制御部63は、制御対象の撮像装置40の優先モードが転送優先モードに変化した直後(或いは、変化して所定時間経過後)のタイミングを制御開始タイミングとする。
【0184】
なお、転送優先モードに設定された撮像装置40が複数ある場合、制御部63は、複数の撮像装置40に優先度をつけ、その優先度にしたがって制御開始タイミングを判別してもよい。制御部63は、自身が管理する撮像装置40が複数あるのであれば、自身が管理する複数の撮像装置40内で優先度をつけてもよい。また、他の情報処理装置60が管理する撮像装置40を含めた複数の撮像装置40内で優先度を決定してもよい。この場合、制御部63は他の情報処理装置60の制御部63と協働して撮像装置40の優先度を決定してもよい。
【0185】
なお、優先度の決定基準はさまざまな基準を採用可能である。例えば、制御部63は、転送対象となるデータ(例えば、高解像度ファイル)の内容に基づき優先度を判別してもよい。例えば、制御部63は、重要度が高いデータを転送対象として保持している撮像装置40ほど優先度を高く設定する。例えば、撮像装置40が転送対象として保持しているデータの中に、オンエア像映像に用いられた、特定のシーン情報(例えば、ゴールシーン)が含まれるとする。この場合、当該データを保持する撮像装置40には優先度を高く設定する。その他、制御部63は、撮像装置40が保持している未転送データ(転送待ちデータ)の情報量に基づき優先度を判別してもよい。例えば、制御部63は、保持している未転送データの情報量が多い撮像装置40ほど優先度を高く設定する。
【0186】
また、優先度に基づく制御開始タイミングの決定基準もさまざまな基準を採用可能である。例えば、転送優先モードに設定された撮像装置40が複数ある場合、制御部63は、優先度が最も高い撮像装置40のみ制御開始タイミングであると判別してもよい。例えば、10台の撮像装置40があるとする。そして10台の撮像装置40うち、転送優先モードに設定された撮像装置40が3台あるとする。この場合、制御部63は、3台の撮像装置40のうち、優先度が最も高い撮像装置40のみ制御開始タイミングであると判別する。その他の撮像装置40については、優先度順位が1番になったのちに、制御開始タイミングであると判別する。
【0187】
現在が制御開始タイミングでない場合(ステップS202:No)、制御部63は、無線伝送動作に係る姿勢制御を行うことなく、処理を終了する。一方、現在が制御開始タイミングの場合(ステップS202:Yes)、制御部63の第1の制御部635は、無線伝送動作に係る姿勢制御を開始する(ステップS203)。
【0188】
ここで「無線伝送動作に係る姿勢制御」とは、撮像装置40の現在の姿勢を無線伝送するのに適した姿勢に変化させるための制御のことである。例えば、第1の制御部635は、雲台50が有するパン/チルト/ロール機構の雲台50による駆動を制御することで、撮像装置40の姿勢(例えば、撮像装置40の向く方向)を無線伝送するのに適した姿勢に変化させる。このとき、情報処理装置60は、撮像装置40の姿勢と撮像装置40の無線通信状態(例えば、電波強度)とを関連づけた情報に基づいて、撮像装置40の姿勢制御を行ってもよい。なお、撮像装置40が移動可能なのであれば、第1の制御部635は、無線伝送動作に係る姿勢制御のみならず、無線伝送動作に係る位置制御を行ってもよい。ここで「無線伝送動作に係る位置制御」とは、撮像装置40の現在の位置を無線伝送するのに適した位置に変化させるための制御のことである。
【0189】
なお、制御部63は、撮像装置40の姿勢制御のみならず、撮像装置40の無線伝送動作そのものを制御してもよい。例えば、制御部63の第2の制御部636は、ポストプロセス(例えば、リプレイ、ハイライトの編集)で必要な情報のみを撮像装置40が無線伝送するように撮像装置40の無線伝送を制御する。例えば、制御部63の第2の制御部636は、撮像装置40が撮影した撮影データのうち、オンエアに使用される区間の撮影データを含む所定の基準を満たす撮影データを、撮像装置40の無線伝送に係る撮影データとして決定する。そして、第2の制御部636は、撮影データ全てでではなく、決定に係る撮影データを無線伝送するよう撮像装置40を制御する。これにより、ポストプロセスを考慮しつつも、撮像装置40の無線伝送動作の時間を少なくすることができる。結果として、撮影逃しを少なくできる。
【0190】
次に、制御部63は、制御終了タイミングに関する情報を取得する(ステップS204)。例えば、制御部63は、撮像装置40が無線伝送を完了したことを示す情報を制御終了タイミングの情報として取得してもよい。また、制御部63は、ステップS203で無線伝送を開始してから所定時間後を示す情報(終了予定時間の情報)を制御終了タイミングの情報として取得してもよい。
【0191】
また、制御部63は、撮像装置40の現在の優先モードの情報を制御開始タイミングに関する情報として取得してもよい。優先モードの情報は、撮像装置40が、現在、撮影優先モードに設定されているか、設定されていないかを示す情報であってもよい。また、優先モードの情報は、撮像装置40の優先モードが転送優先モードから撮影優先モードに変わったことを示す情報(例えば、割り込み信号)であってもよい。
【0192】
また、制御部63は、他の撮像装置40の状態を示す情報を制御開始タイミングに関する情報として取得してもよい。例えば、制御部63は、他の撮像装置40の撮影動作の状態又は他の撮像装置40の撮像データの無線伝送動作の状態を示す情報を制御開始タイミングに関する情報として取得してもよい。
【0193】
次に、制御部63は、現在が制御終了タイミングであるか否かを判別する(ステップS205)。このとき、制御終了タイミングは、撮像装置40の優先モードが撮影優先モードに変化した直後のタイミングであってもよい。また、制御終了タイミングは、撮像装置40が無線伝送を完了したタイミング(データの転送を完了したタイミング)であってもよい。
【0194】
また、制御終了タイミングは、撮像装置40が撮影データの転送を完了しているか否かに関係なく、撮像装置40が無線伝送動作を開始してから一定時間経過後(例えば、上述の終了予定時間)であってもよい。これにより、撮像装置40が、長時間、撮影に適した姿勢を外れることを抑制できる。結果として、撮影逃しを少なくすることができる。
【0195】
また、制御開始タイミングは、撮像装置40が無線伝送動作に係る姿勢に変化した後の、他の撮像装置40の撮影動作の状態に基づくタイミングであってもよい。例えば、他の撮像装置40のいずれかがネクスト映像の撮影動作中なのであれば、しばらく、制御対象の撮像装置40の映像がオンエアになることはない。一方で、他の撮像装置40の全てがネクスト映像の撮影動作中でないのであれば、制御対象の撮像装置40の映像が突然オンエアになることがありうる。そこで、制御部63は、他の撮像装置40の全てがネクスト映像の撮影動作中でなくなったタイミングを制御開始タイミングとする。
【0196】
また、制御開始タイミングは、撮像装置40が無線伝送動作に係る姿勢に変化した後の、他の撮像装置40の無線伝送動作の状態に基づくタイミングであってもよい。例えば、他の撮像装置40が撮像データを無線伝送中でないのであれば、制御対象の撮像装置40が撮影動作を実行できなくても他の撮像装置40が代わりに撮影動作を実行できると推定される。一方で、他の撮像装置40が撮像データを無線伝送中なのであれば、他の撮像装置40はしばらく撮影動作に戻れないことが想定される。そこで、制御部63は、他の撮像装置40が無線動作伝送を開始したタイミングを制御終了タイミングとする。
【0197】
現在が制御終了タイミングでない場合(ステップS205:No)、制御部63は、制御終了タイミングとなるまで、ステップS204とステップS205の処理を繰り返す。一方、現在が制御終了タイミングの場合(ステップS205:Yes)、制御部63の第1の制御部635は、撮影動作に係る姿勢制御を開始する(ステップS206)。
【0198】
ここで「撮影動作に係る姿勢制御」とは、撮像装置40の現在の姿勢を撮影するのに適した姿勢に変化させるための制御のことである。或いは、「撮影動作に係る姿勢制御」とは、撮像装置40の現在の姿勢をカメラオペレータ或いはそれに代わる制御装置が指示する姿勢に変化させるための制御のことである。なお、撮像装置40が移動可能なのであれば、第1の制御部635は、撮影動作に係る姿勢制御のみならず、撮影動作に係る位置制御を行ってもよい。ここで「撮影動作に係る位置制御」とは、撮像装置40の現在の位置を撮影するのに適した位置に変化させるための制御のことである。或いは、「撮影動作に係る姿勢制御」とは、撮像装置40の現在の位置をカメラオペレータ或いはそれに代わる制御装置が指示する位置に変化させるための制御のことである。
【0199】
撮影動作に係る姿勢制御を開始したら、制御部63は姿勢制御処理を終了する。
【0200】
本実施形態によれば、情報処理装置60は、撮影を優先させるべき状況であるか、無線伝送を優先させてもよい状況か、を判断しながら、撮像装置40の姿勢を無線伝送に適した姿勢に制御している。そのため、撮像装置40は、撮影を継続しつつも、撮影データを効率よくサーバ装置10に無線伝送できる。
【0201】
また、情報処理装置60が他の撮像装置40の状態も踏まえて撮像装置40の制御を行うことで、全体的に撮影情報が不足することを抑制できる。
【0202】
<<4.変形例>>
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
【0203】
例えば、上述の実施形態(
図11に示す判別処理)では、情報処理装置60は、撮像装置40の撮影状態が第1の基準と第2の基準のいずれも満たさない状態の場合(ステップS105:No、及び、ステップS107:No)に、撮像装置40が転送を優先すべき状態にあると判定した。しかしながら、情報処理装置60は、撮像装置40の撮影状態が第1の基準と第2の基準のいずれかを満たさない状態の場合(ステップS105:No、又は、ステップS107:No)に、撮像装置40が転送を優先すべき状態にあると判定してもよい。
【0204】
なお、
図11に示すフローでは、ステップS105とステップS107の両方を設けていたが、第1、第2の基準のいずれか一方しか判断フローとして設けない実施形態であってもよい。例えば、撮像状態に関する判断(
図11の例では、ステップS105、S107)に関し、
図11に示すフローを、第1の基準のみ(例えば、ステップS105のみ)又は第2の基準のみ(例えば、ステップS107のみ)判断するフローに変形してもよい。
【0205】
また、上述の実施形態(
図11に示す判別処理)では、情報処理装置60は、自身の制御下にある1の撮像装置40(以下、制御対象の撮像装置40という。)の通信状態と撮影状態とに基づいて、制御対象の撮像装置40の優先モード(転送優先モード、撮影優先モード)を設定した。しかしながら、情報処理装置60は、制御対象の撮像装置40の通信状態及び/又は撮影状態のみならず、制御対象の撮像装置40とは異なる他の撮像装置40の通信状態及び/又は撮影状態とに基づいて制御対象の撮像装置40の優先モードを設定してもよい。
図10の例で、制御対象の撮像装置40が、例えば、撮像装置40
2であるとすると、他の撮像装置40は、例えば、撮像装置40
1、40
3、40
4である。
【0206】
このとき、情報処理装置60の第2の取得部632は、
図11に示す判定処理のステップS103で、他の撮像装置40の撮影状態情報を取得してもよい。そして、情報処理装置60の判定部634は、制御対象の撮像装置40の通信状態が所定の基準を満たさない状態であり(ステップS104:Yes)、他の撮像装置40が基準(例えば、上述の第1の基準、又は、第2の基準)を満たす撮影状態の場合(ステップS105:Yes、又は、ステップS107:Yes)には、制御対象の撮像装置40が無線伝送動作を優先すべき状態にあると判定し、撮像装置40の優先モードを転送優先モードに設定する。
【0207】
一方、判定部634は、制御対象の撮像装置40の通信状態が所定の基準を満たさない状態であり(ステップS104:Yes)、他の撮像装置40の撮影状態が基準(例えば、上述の第1の基準、及び/又は、第2の基準)を満たさない状態の場合(ステップS105:No、及び/又は、ステップS107:No)には、制御対象の撮像装置40が撮影を優先すべき状態にあると判定し、撮像装置40の優先モードを撮影優先モードに設定する。このとき、他の撮像装置40が基準を満たす撮影状態か否かは、<3-1.判定処理>のステップS105、S107の箇所で説明した、第1の基準及び/又は第2の基準と同様であってもよい。
【0208】
他の装置の状態を踏まえて優先すべき動作を判定できるので、撮像装置40は、より効率的に撮影データを転送できるようになる。
【0209】
また、上述の実施形態では、撮像装置40は雲台50に設置されるものとした。しかしながら、撮像装置40は移動体に設置されてもよい。この場合、上述の実施形態で登場する「雲台」は適宜「移動体」と言い換えることができる。
【0210】
なお、撮像装置40が設置される移動体は、<2-2.基地局装置の構成>の箇所で例示した移動体と同様であってもよい。すなわち、移動体は、モバイル端末であってもよいし、陸上を移動する移動体であってもよいし、地中を移動する移動体であってもよい。また、移動体は、水上を移動する移動体であってもよいし、水中を移動する移動体であってもよい。また、移動体は、大気圏内を移動する移動体であってもよいし、大気圏外を移動する移動体であってもよい。
【0211】
なお、移動体は、撮像装置40を搭載した撮像装置40とは別体の装置であってもよい。この場合、移動体は、1の撮像装置40を搭載していてもよいし、複数の撮像装置40を搭載していてもよい。また、移動体は、撮像装置40と一体の装置であってもよい。すなわち、撮像装置40が移動体そのものであってもよい。なお、情報処理装置60は移動体及と一体の装置であってもよい。また、情報処理装置60は移動体及び撮像装置40と一体の装置であってもよい。また、撮像装置40と情報処理装置60が一体の装置で、移動体がそれとは別体の装置であってもよい。また、移動体と情報処理装置60が一体の装置で、撮像装置40がそれとは別体の装置であってもよい。移動体、及び撮像装置40は、適宜、情報処理装置と言い換えることができる。
【0212】
また、上述の実施形態(
図13に示す姿勢制御処理)では、情報処理装置60は、撮像装置40の姿勢を制御するものとした。しかしながら、雲台50を移動体に置き換える等により、撮像装置40が移動可能なのであれば、情報処理装置60は、撮像装置40の姿勢に加えて、又は姿勢に代えて、撮像装置40の位置を制御してもよい。この場合、上述の「姿勢」は適宜「位置」又は「位置及び姿勢」に言い換えることができる。これにより、情報処理装置60は、撮像装置40を撮影データの送信に適した位置に制御できる。結果として、撮像装置40は効率よく撮影データを送信できる。
【0213】
本実施形態のサーバ装置10、基地局装置20、中継装置30、撮像装置40、雲台50、移動体、又は情報処理装置60を制御する制御装置は、専用のコンピュータシステムにより実現してもよいし、汎用のコンピュータシステムによって実現してもよい。
【0214】
例えば、上述の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、サーバ装置10、基地局装置20、中継装置30、撮像装置40、雲台50、移動体、又は情報処理装置60の外部の装置(例えば、パーソナルコンピュータ)であってもよい。また、制御装置は、サーバ装置10、基地局装置20、中継装置30、撮像装置40、雲台50、移動体、又は情報処理装置60の内部の装置(例えば、制御部13、制御部23、制御部33、制御部43、制御部53、又は制御部63)であってもよい。
【0215】
また、上記プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、OS(Operating System)とアプリケーションソフトとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
【0216】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0217】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0218】
また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態のフローチャートに示された各ステップは、適宜順序を変更することが可能である。
【0219】
また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
【0220】
なお、本実施形態において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0221】
また、例えば、本実施形態は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0222】
<<5.むすび>>
以上説明したように、本開示の一実施形態によれば、情報処理装置60は、撮影を優先させるべき状況であるか、無線伝送を優先させてもよい状況か、を判断しながら、撮像装置40の位置及び姿勢の少なくとも一方を無線伝送に適した位置又は姿勢に制御している。そのため、撮像装置40は、撮影を継続しつつも、撮影データを効率よくサーバ装置10に無線伝送できる。
【0223】
以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0224】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0225】
なお、本技術は以下のような構成も取ることができる。
(1)
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、
を備える情報処理装置。
(2)
前記判定部は、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が所定の撮影動作中の場合には、前記撮影動作を優先させると判定し、
前記通信状態が所定の基準を満たさない状態であり、前記所定の装置が前記所定の撮影動作中でない場合には、前記無線伝送動作を優先させると判定する、
前記(1)に記載の情報処理装置。
(3)
前記通信状態情報は、前記無線伝送の伝搬路に関する情報を含み、
前記判定部は、前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記伝搬路の状態が所定の基準を満たさない状態の場合には、前記無線伝送動作を優先させると判定する、
前記(2)に記載の情報処理装置。
(4)
前記通信状態情報は、前記無線伝送の伝送路に関する情報として電波強度の情報を含み、
前記判定部は、前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記電波強度が所定の基準より低い場合には、前記無線伝送動作を優先させると判定する、
前記(3)に記載の情報処理装置。
(5)
前記通信状態情報は、前記無線伝送に関する通信速度の情報を含み、
前記判定部は、
前記所定の装置が前記所定の撮影動作中ではなく、少なくとも前記通信速度が所定の基準より低い場合には、前記無線伝送動作を優先させると判定する、
前記(2)~(4)のいずれか1つに記載の情報処理装置。
(6)
前記撮影状態情報は、前記所定の装置がオンエア映像の撮影動作中か否かを判別するための情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置がオンエア映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
前記(2)~(5)のいずれか1つに記載の情報処理装置。
(7)
前記撮影状態情報は、前記所定の装置がネクスト映像の撮影動作中か否かを判別するための情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置がネクスト映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
前記(2)~(6)のいずれか1つに記載の情報処理装置。
(8)
前記撮影状態情報は、前記所定の装置が撮影中の被写体に関する情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置が被写体に関する基準を満たす映像の撮影動作中の場合には、前記撮影動作を優先させると判定する、
前記(2)~(7)のいずれか1つに記載の情報処理装置。
(9)
前記撮影状態情報は、前記所定の装置が撮影中の被写体の数に関する情報を含み、
前記判定部は、前記通信状態が所定の基準を満たさない状態であり、少なくとも前記所定の装置が予め定められた数より多くの被写体を撮影中の場合には、前記撮影動作を優先させると判定する、
前記(8)に記載の情報処理装置。
(10)
前記撮影状態情報として、前記所定の装置が撮影中の被写体を特定するための情報を含み、
前記判定部は、前記通信状態が所定の基準より悪い状態であり、少なくとも前記特定された被写体が所定の被写体を示す場合には、前記撮影動作を優先させると判定する、
前記(8)又は(9)に記載の情報処理装置。
(11)
前記判定部が前記無線伝送動作を優先させると判定した場合に、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる第1の制御部、を備える、
前記(1)~(10)のいずれか1つに記載の情報処理装置。
(12)
前記所定の装置は、雲台に設置される撮像装置であり、
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した場合に、前記雲台の動作を制御することにより前記撮像装置の姿勢を前記無線伝送動作に係る姿勢に変化させる、
前記(11)に記載の情報処理装置。
(13)
前記所定の装置は、撮影機能を有する移動体又は移動体に配置される撮像装置であり、
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した場合に、前記移動体を前記無線伝送動作に係る位置に移動させる、
前記(11)に記載の情報処理装置。
(14)
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した後、所定時間が経過したタイミングで、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる制御を開始する、
前記(11)~(13)のいずれか1つに記載の情報処理装置。
(15)
前記第1の制御部は、前記判定部が前記無線伝送動作を優先させると判定した後、撮影機能を有する前記所定の装置とは異なる他の装置の撮影動作の状態又は前記他の装置の撮像データの無線伝送動作の状態に基づくタイミングで、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させる制御を開始する、
前記(11)~(13)のいずれか1つに記載の情報処理装置。
(16)
前記第1の制御部は、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させた後、所定時間が経過したタイミングで、前記所定の装置が前記撮影データの転送を完了しているか否かに関わらず、前記所定の装置の位置及び姿勢の少なくとも一方を前記撮影動作に係る位置又は姿勢に変化させる制御を開始する、
前記(11)~(15)のいずれか1つに記載の情報処理装置。
(17)
前記第1の制御部は、前記所定の装置の位置及び姿勢の少なくとも一方を前記無線伝送動作に係る位置又は姿勢に変化させた後、撮影機能を有する前記所定の装置とは異なる他の装置の撮影動作の状態又は前記他の装置の撮像データの無線伝送動作の状態に基づくタイミングで、前記所定の装置が前記撮影データの転送を完了しているか否かに関わらず、前記所定の装置の位置及び姿勢の少なくとも一方を前記撮影動作に係る位置又は姿勢に変化させる制御を開始する、
前記(11)~(15)のいずれか1つに記載の情報処理装置。
(18)
前記撮影データの無線伝送を制御する第2の制御部を備え、
前記第2の制御部は、前記所定の装置が撮影した撮影データのうち、オンエアに使用される区間の撮影データを含む所定の基準を満たす撮影データを前記無線伝送に係る撮影データとして前記無線伝送を制御する、
前記(1)~(17)のいずれか1つに記載の情報処理装置。
(19)
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する、
情報処理方法。
(20)
コンピュータを、
撮像機能を有する所定の装置が送信又は受信するデータの無線伝送に関する通信状態の情報を示す通信状態情報と前記所定の装置の撮像状態の状態を示す撮影状態情報とに基づいて、撮影動作と撮影データの無線伝送動作とを少なくとも含む前記所定の装置の複数の動作のいずれを優先させるかを判定する判定部、
として機能させるための情報処理プログラム。
【符号の説明】
【0226】
1 情報処理システム
10 サーバ装置
20 基地局装置
30 中継装置
40 撮像装置
50 雲台
60 情報処理装置
11、51、61 通信部
21、31、41 無線通信部
12、22、32、42、52、62 記憶部
13、23、33、43、53、63 制御部
24、34、44 ネットワーク通信部
45 撮像部
54 駆動部
211、311、411 受信処理部
212、312、412 送信処理部
213、313、413 アンテナ
631 第1の取得部
632 第2の取得部
633 第3の取得部
634 判定部
635 第1の制御部
636 第2の制御部