IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7537425情報処理装置、情報処理方法、及びプログラム
<>
  • 特許-情報処理装置、情報処理方法、及びプログラム 図1
  • 特許-情報処理装置、情報処理方法、及びプログラム 図2
  • 特許-情報処理装置、情報処理方法、及びプログラム 図3
  • 特許-情報処理装置、情報処理方法、及びプログラム 図4
  • 特許-情報処理装置、情報処理方法、及びプログラム 図5
  • 特許-情報処理装置、情報処理方法、及びプログラム 図6
  • 特許-情報処理装置、情報処理方法、及びプログラム 図7
  • 特許-情報処理装置、情報処理方法、及びプログラム 図8
  • 特許-情報処理装置、情報処理方法、及びプログラム 図9
  • 特許-情報処理装置、情報処理方法、及びプログラム 図10
  • 特許-情報処理装置、情報処理方法、及びプログラム 図11A
  • 特許-情報処理装置、情報処理方法、及びプログラム 図11B
  • 特許-情報処理装置、情報処理方法、及びプログラム 図12
  • 特許-情報処理装置、情報処理方法、及びプログラム 図13
  • 特許-情報処理装置、情報処理方法、及びプログラム 図14
  • 特許-情報処理装置、情報処理方法、及びプログラム 図15
  • 特許-情報処理装置、情報処理方法、及びプログラム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20240814BHJP
   G03B 15/00 20210101ALI20240814BHJP
   G03B 17/00 20210101ALI20240814BHJP
【FI】
H04N23/60 300
G03B15/00 P
G03B15/00 H
G03B17/00 Q
【請求項の数】 22
(21)【出願番号】P 2021511155
(86)(22)【出願日】2020-01-30
(86)【国際出願番号】 JP2020003417
(87)【国際公開番号】W WO2020202756
(87)【国際公開日】2020-10-08
【審査請求日】2023-01-18
(31)【優先権主張番号】P 2019066171
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山田 直秀
(72)【発明者】
【氏名】服部 博憲
(72)【発明者】
【氏名】神谷 浩二
(72)【発明者】
【氏名】椿 聡史
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開平05-048964(JP,A)
【文献】特開2001-094860(JP,A)
【文献】特開2002-247568(JP,A)
【文献】特開2015-195627(JP,A)
【文献】特開2002-064815(JP,A)
【文献】特開2003-158663(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
G03B 15/00
G03B 17/00
(57)【特許請求の範囲】
【請求項1】
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部と、
前記撮像装置位置情報の表示を制御する情報表示制御部と、
前記撮像装置位置情報の変化履歴を示す履歴情報を格納する格納部と、を備え、
前記撮像位置情報算出部は、複数の前記撮像装置から受信された前記カメラデータに基づいて、前記複数の撮像装置に対応する前記撮像装置位置情報を算出し、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報と前記撮像装置位置情報とを対応付け、
前記情報表示制御部は、前記複数の撮像装置に対応する前記撮像装置位置情報の表示と、前記撮像装置位置情報に対する前記オブジェクト位置情報の表示と、を制御し、
前記情報表示制御部は、前記カメラデータに基づいた前記撮像装置の位置若しくは向きの少なくとも一方が前記履歴情報を満たさない撮像装置の前記撮像装置位置情報を、他の撮像装置の前記撮像装置位置情報とは異なるように表示態様を制御する、
報処理装置。
【請求項2】
前記情報表示制御部は、前記複数の撮像装置のうち、生成した前記映像データが主映像として選択された前記撮像装置の前記撮像装置位置情報を、他の前記撮像装置の前記撮像装置位置情報と異なるように表示態様を制御する、
請求項に記載の情報処理装置。
【請求項3】
前記主映像として選択された撮像装置から、前記複数の撮像装置のうち、生成した前記映像データが次の主映像として選択された前記他の撮像装置への切替え処理を後段処理装置に要求する後段処理要求部、
をさらに備える、
請求項に記載の情報処理装置。
【請求項4】
前記撮像装置位置情報に対する入力操作を受け付ける情報入力部、
をさらに備え、
前記後段処理要求部は、前記情報入力部が受け付けた前記切替え処理に係るユーザからの入力に基づいて前記切替え処理を前記後段処理装置に要求する、
請求項に記載の情報処理装置。
【請求項5】
前記情報入力部は、ハイライト映像の作成要求の入力をさらに受け付け、
前記後段処理要求部は、前記複数の撮像装置の前記映像データに基づく前記ハイライト映像の作成を前記後段処理装置に要求する、
請求項に記載の情報処理装置。
【請求項6】
前記ハイライト映像は、所定のオブジェクトを映している前記撮像装置の前記映像データを用いて構成され、
前記後段処理要求部は、前記所定のオブジェクトの映像を含む前記ハイライト映像の作成を前記後段処理装置に要求する、
請求項に記載の情報処理装置。
【請求項7】
前記カメラデータおよび前記オブジェクトに係るデータを含む補助データに基づいて、前記後段処理要求部に前記ハイライト映像の作成を前記後段処理装置に要求させる映像作成制御部、
をさらに備える、
請求項5または6に記載の情報処理装置。
【請求項8】
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部と、
前記撮像装置位置情報の表示を制御する情報表示制御部と、
撮像装置の切替え処理を後段処理装置に要求する後段処理要求部と、
前記撮像装置位置情報に対する入力操作を受け付ける情報入力部と、を備え、
前記撮像位置情報算出部は、複数の前記撮像装置から受信された前記カメラデータに基づいて、前記複数の撮像装置に対応する前記撮像装置位置情報を算出し、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報と前記撮像装置位置情報とを対応付け、
前記情報表示制御部は、前記複数の撮像装置に対応する前記撮像装置位置情報の表示と、前記撮像装置位置情報に対する前記オブジェクト位置情報の表示と、を制御し、
前記情報表示制御部は、前記複数の撮像装置のうち、生成した前記映像データが主映像として選択された前記撮像装置の前記撮像装置位置情報を、他の前記撮像装置の前記撮像装置位置情報と異なるように表示態様を制御し、
前記後段処理要求部は、前記情報入力部が受け付けた前記切替え処理に係るユーザからの入力に基づいて、前記主映像として選択された撮像装置から、複数の前記撮像装置のうち、生成した前記映像データが次の主映像として選択された前記他の撮像装置への前記切替え処理を前記後段処理装置に要求し、
前記情報入力部は、ハイライト映像の作成要求の入力をさらに受け付け、
前記後段処理要求部は、前記複数の撮像装置の前記映像データに基づく前記ハイライト映像の作成を前記後段処理装置に要求する、
報処理装置。
【請求項9】
前記ハイライト映像は、所定のオブジェクトを映している前記撮像装置の前記映像データを用いて構成され、
前記後段処理要求部は、前記所定のオブジェクトの映像を含む前記ハイライト映像の作成を前記後段処理装置に要求する、
請求項に記載の情報処理装置。
【請求項10】
前記カメラデータおよび前記オブジェクトに係るデータを含む補助データに基づいて、前記後段処理要求部に前記ハイライト映像の作成を前記後段処理装置に要求させる映像作成制御部、
をさらに備える、
請求項8または9に記載の情報処理装置。
【請求項11】
前記撮像位置情報算出部は、前記複数の撮像装置のうち、生成した前記映像データが次の主映像候補である撮像装置を特定し、
前記情報表示制御部は、前記撮像位置情報算出部が特定した前記次の主映像候補である前記撮像装置の前記撮像装置位置情報を、前記他の撮像装置の前記撮像装置位置情報と異なるように表示態様を制御する、
請求項2~10のいずれか1項に記載の情報処理装置。
【請求項12】
前記撮像位置情報算出部は、前記撮像装置位置情報および前記オブジェクト位置情報に基づいて、前記次の主映像候補である撮像装置を特定する、
請求項11に記載の情報処理装置。
【請求項13】
前記カメラデータは、前記撮像装置の画角およびフォーカス距離を示す情報を含み、
前記撮像位置情報算出部は、前記撮像装置の画角およびフォーカス距離を示す情報に基づいて、前記撮像装置位置情報として前記撮像装置の撮像範囲をさらに算出し、
前記情報表示制御部は、前記撮像範囲を含む前記撮像装置位置情報の表示を制御する、
請求項1~12のいずれか1項に記載の情報処理装置。
【請求項14】
前記カメラデータは、前記撮像装置に装着されたレンズの特性をさらに含み、
前記撮像位置情報算出部は、前記レンズの特性に基づいて、前記撮像範囲を算出する、
請求項13に記載の情報処理装置。
【請求項15】
前記撮像位置情報算出部は、前記撮像装置の垂直位置にさらに基づいて、前記撮像範囲を算出する、
請求項13または14に記載の情報処理装置。
【請求項16】
前記撮像位置情報算出部は、前記映像データに基づいて、前記オブジェクト位置情報を算出する、
請求項1~15のいずれか1項に記載の情報処理装置。
【請求項17】
前記撮像位置情報算出部は、前記オブジェクトに係るデータを含む補助データに基づいて、前記オブジェクト位置情報を算出する、
請求項1~15のいずれか1項に記載の情報処理装置。
【請求項18】
前記情報表示制御部は、前記カメラデータに基づいて、位置および向きの少なくとも一方が所定時間以上変化しない前記撮像装置位置情報を、他の撮像装置の前記撮像装置位置情報と異なるように表示態様を制御する、
請求項1~17のいずれか1項に記載の情報処理装置。
【請求項19】
プロセッサにより実行される情報処理方法であって
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出ステップと、
前記撮像装置位置情報の表示を制御する情報表示制御ステップと、
前記撮像装置位置情報の変化履歴を示す履歴情報を格納する格納ステップと、を有し、
前記撮像位置情報算出ステップでは、複数の前記撮像装置から受信された前記カメラデータに基づいて、前記複数の撮像装置に対応する前記撮像装置位置情報を算出し、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報と前記撮像装置位置情報とを対応付け、
前記情報表示制御ステップでは、前記複数の撮像装置に対応する前記撮像装置位置情報の表示と、前記撮像装置位置情報に対する前記オブジェクト位置情報の表示と、を制御し、
前記情報表示制御ステップでは、前記カメラデータに基づいた前記撮像装置の位置若しくは向きの少なくとも一方が前記履歴情報を満たさない撮像装置の前記撮像装置位置情報を、他の撮像装置の前記撮像装置位置情報とは異なるように表示態様を制御する、
情報処理方法。
【請求項20】
プロセッサにより実行される情報処理方法であって、
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出ステップと、
前記撮像装置位置情報の表示を制御する情報表示制御ステップと、
撮像装置の切替え処理を後段処理装置に要求する後段処理要求ステップと、
前記撮像装置位置情報に対する入力操作を受け付ける情報入力ステップと、を備え、
前記撮像位置情報算出ステップでは、複数の前記撮像装置から受信された前記カメラデータに基づいて、前記複数の撮像装置に対応する前記撮像装置位置情報を算出し、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報と前記撮像装置位置情報とを対応付け、
前記情報表示制御ステップでは、前記複数の撮像装置に対応する前記撮像装置位置情報の表示と、前記撮像装置位置情報に対する前記オブジェクト位置情報の表示と、を制御し、
前記情報表示制御ステップでは、前記複数の撮像装置のうち、生成した前記映像データが主映像として選択された前記撮像装置の前記撮像装置位置情報を、他の前記撮像装置の前記撮像装置位置情報と異なるように表示態様を制御し、
前記後段処理要求ステップでは、前記情報入力ステップで受け付けた前記切替え処理に係るユーザからの入力に基づいて、前記主映像として選択された撮像装置から、複数の前記撮像装置のうち、生成した前記映像データが次の主映像として選択された前記他の撮像装置への前記切替え処理を前記後段処理装置に要求し、
前記情報入力ステップでは、ハイライト映像の作成要求の入力をさらに受け付け、
前記後段処理要求ステップでは、前記複数の撮像装置の前記映像データに基づく前記ハイライト映像の作成を前記後段処理装置に要求する、
情報処理方法。
【請求項21】
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部、
前記撮像装置位置情報の表示を制御する情報表示制御部、
前記撮像装置位置情報の変化履歴を示す履歴情報を格納する格納部、として機能させ、
前記撮像位置情報算出部は、複数の前記撮像装置から受信された前記カメラデータに基づいて、前記複数の撮像装置に対応する前記撮像装置位置情報を算出し、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報と前記撮像装置位置情報とを対応付け、
前記情報表示制御部は、前記複数の撮像装置に対応する前記撮像装置位置情報の表示と、前記撮像装置位置情報に対する前記オブジェクト位置情報の表示と、を制御し、
前記情報表示制御部は、前記カメラデータに基づいた前記撮像装置の位置若しくは向きの少なくとも一方が前記履歴情報を満たさない撮像装置の前記撮像装置位置情報を、他の撮像装置の前記撮像装置位置情報とは異なるように表示態様を制御する、
プログラム。
【請求項22】
コンピュータを、
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部、
前記撮像装置位置情報の表示を制御する情報表示制御部、
撮像装置の切替え処理を後段処理装置に要求する後段処理要求部、
前記撮像装置位置情報に対する入力操作を受け付ける情報入力部、として機能させ、
前記撮像位置情報算出部は、複数の前記撮像装置から受信された前記カメラデータに基づいて、前記複数の撮像装置に対応する前記撮像装置位置情報を算出し、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報と前記撮像装置位置情報とを対応付け、
前記情報表示制御部は、前記複数の撮像装置に対応する前記撮像装置位置情報の表示と、前記撮像装置位置情報に対する前記オブジェクト位置情報の表示と、を制御し、
前記情報表示制御部は、前記複数の撮像装置のうち、生成した前記映像データが主映像として選択された前記撮像装置の前記撮像装置位置情報を、他の前記撮像装置の前記撮像装置位置情報と異なるように表示態様を制御し、
前記後段処理要求部は、前記情報入力部が受け付けた前記切替え処理に係るユーザからの入力に基づいて、前記主映像として選択された撮像装置から、複数の前記撮像装置のうち、生成した前記映像データが次の主映像として選択された前記他の撮像装置への前記切替え処理を前記後段処理装置に要求し、
前記情報入力部は、ハイライト映像の作成要求の入力をさらに受け付け、
前記後段処理要求部は、前記複数の撮像装置の前記映像データに基づく前記ハイライト映像の作成を前記後段処理装置に要求する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
スポーツ中継などにおいて、放送や配信、記録、転送が行われる映像(主映像)は、撮像装置の撮像により生成された映像のうちから選択される。主映像の選択は、映像の処理を行うシステムのユーザが、それぞれの映像を確認し、いずれの映像が主映像として適切であるかを判断することにより行われる。
【0003】
その際、当該ユーザが撮像装置の状態を把握することで、主映像の選択をより容易に行うことが可能となる。例えば、特許文献1では、表示画面上のマップに、撮像装置の位置や向き、撮像範囲を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平9-289606号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、撮像装置の位置や向きなどの状態の変更は、上記システムにより行われる場合や、現場の作業者により行われる場合がある。しかし、特許文献1では、撮像現場にいる作業者が撮像装置を移動させたり向きを変えたりすることについては、考慮されていない。
【課題を解決するための手段】
【0006】
本開示によれば、映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部と、前記撮像装置位置情報の表示を制御する情報表示制御部と、を備える情報処理装置、が提供される。
【0007】
また、本開示によれば、プロセッサが、映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出することと、前記撮像装置位置情報の表示を制御することと、を含む、情報処理方法、が提供される。
【0008】
また、本開示によれば、コンピュータを、映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部と、前記撮像装置位置情報の表示を制御する情報表示制御部と、を備える、情報処理装置、として機能させるためのプログラム、が提供される。
【図面の簡単な説明】
【0009】
図1】本実施形態に係るシステム1の全体構成の一例について説明するための図である。
図2】同実施形態に係る撮像装置10によるカメラデータの取得の一例について説明するための図である。
図3】同実施形態に係る撮像装置10およびCCU20によるカメラデータの重畳の一例について説明するための図である。
図4】同実施形態に係る情報処理装置30の機能構成の一例について説明するための図である。
図5】同実施形態に係る撮像位置情報算出部340による撮像装置10の撮像範囲の算出処理の一例について説明するための図である。
図6】同実施形態に係る情報表示制御部360による表示制御の一例について説明するための図である。
図7】同実施形態に係る情報表示制御部360による次の主映像候補の表示制御の一例について説明するための図である。
図8】同実施形態に係る情報表示制御部360による表示制御のさらなる一例について説明するための図である。
図9】同実施形態に係る情報表示制御部360による次の主映像候補の表示制御の一例について説明するための図である。
図10】同実施形態に係る情報表示制御部360による所定状況にある撮像装置10の表示制御の一例について説明するための図である。
図11A】同実施形態に係る情報表示制御部360による撮像装置10の位置若しくは向きの少なくとも一方が履歴情報を満たさない場合の表示態様の制御の一例について説明するための図である。
図11B】同実施形態に係る情報表示制御部360による撮像装置10の位置若しくは向きの少なくとも一方が履歴情報を満たさない場合の表示態様の制御の一例について説明するための図である。
図12】同実施形態に係る情報表示制御部360による情報入力部370の入力操作の受付けに係る表示制御、および情報入力部370による入力操作の受付けの一例について説明するための図である。
図13】同実施形態に係る情報処理装置30による複数の撮像装置10の撮像装置位置情報の算出処理に係る動作の流れの一例について説明するための図である。
図14】同実施形態に係る撮像位置情報算出部340による撮像装置10の撮像範囲の算出処理および情報表示制御部360による撮像範囲の表示処理に係る動作の流れの一例について説明するための図である。
図15】同実施形態に係る情報処理装置30による複数の撮像装置10のうちいずれの撮像装置10の映像データを主映像として選択するかの処理に係る動作の流れの一例について説明するための図である。
図16】本開示の一実施形態に係る情報処理装置30のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
なお、説明は以下の順序で行うものとする。
1.背景
2.実施形態
2.1.全体構成例
2.2.情報処理装置30の機能構成例
2.3.表示制御例
2.3.1.表示制御例1
2.3.2.表示制御例2
2.3.3.表示制御例3
2.3.4.表示制御例4
2.3.5.表示制御例5
2.3.6.表示制御例6
2.3.7.表示制御例7
2.4.動作例
2.4.1.動作例1
2.4.2.動作例2
2.4.3.動作例3
3.ハードウェア構成例
4.まとめ
【0012】
<1.背景>
まず、本開示に係る背景について説明する。スポーツ観戦などの分野において、映像の放送や配信、記録、転送を行うシステムにおいて、ユーザは、複数の撮像装置の撮像により生成された映像を確認しながら、いずれの映像を放送や配信、記録、転送を行う主映像とするかの選択を行っている。そのため、ユーザは、生成された映像が複数存在する場合に、それぞれの映像を確認して、いずれの映像を主映像として選択すればよいのかをリアルタイムに判断する。例えばスポーツ中継の場面において、ユーザは、撮像対象の選手がより大きく写されている映像を選択したり、所定の選手が写されている映像を選択したりする。
【0013】
また、撮像現場に配置された撮像装置の位置や向きなどが、ユーザにより把握可能な状態であると、より適した映像を選択することできるようになる。特許文献1では、表示画面上のマップに、撮像装置の位置や向き、撮像範囲を表示する技術が開示されている。しかし、特許文献1では、撮像現場に存在する作業者が撮像装置を移動させたり向きを変えたりすることに応じた表示の変化ついては考慮されていない。
【0014】
本開示に係る技術思想は上記の点に鑑みて発想されたものであり、撮像装置の位置や向き、撮像範囲をリアルタイムに視覚的に把握することができ、いずれの撮像装置で生成された映像データを選択すればよいかを直観的に判断することが可能となる。
【0015】
<2.実施形態>
<<2.1.全体構成例>>
続いて、図1を参照して、本実施形態に係るシステム1の全体構成の一例について説明する。本実施形態に係るシステム1は、撮像装置10、CCU(Camera Control Unit)20、情報処理装置30、ネットワーク40、および後段処理装置50、を備える。
【0016】
撮像装置10は、撮像により映像データを生成する。また、撮像装置10は、撮像装置10の状態を示す情報をカメラデータとして取得してもよい。カメラデータは、映像データに例えば重畳される形で紐づけられ、後述するCCU20へ送信される。
【0017】
CCU20は、撮像装置10の制御および撮像装置10から映像データおよび映像データに紐づけられたカメラデータを受信する。また、CCU20は、当該映像データを後述する情報処理装置30へ送信する。
【0018】
なお、図1に示されるように、システム1は、複数の撮像装置10a~10nと複数のCCU20a~20nを、それぞれ組み合わせて備えてもよい。撮像装置10とCCU20とは、例えばカメラケーブルにより接続され得る。ここで、図2および図3を参照して、本実施形態に係る撮像装置10およびCCU20によるカメラデータの取得および重畳の一例について説明する。
【0019】
図2は、本実施形態に係る撮像装置10によるカメラデータの取得の一例について説明するための図である。図2には、撮像装置10が概略的に示されている。撮像装置10は、各部から種々の情報を取得する。例えば、撮像装置10が備えるCPU(Central Processing Unit)は、レンズからズーム値やフォーカス距離などのデータを、モーションセンサから撮像装置10の加速度情報や角度情報を、撮像装置10に装着された三脚からパンやチルトに関する情報を、カメラデータとして取得してよい。撮像装置10のCPUは、上記の取得した情報を後述するCCU20へ送信する。
【0020】
図3は、本実施形態に係る撮像装置10およびCCU20によるカメラデータの重畳の一例について説明するための図である。図3には、撮像装置10およびCCU20が概略的に示されている。撮像装置10は、図2で示されたカメラデータを、カメラケーブルを介してCCU20のCPUへ送信する。一方で、撮像装置10のカメラプロセッサは、撮像により生成された撮像データを、カメラケーブルを介して、CCU20のビデオプロセッサに送信する。CCU20のビデオフォーマタ(ソフトウェア)は、カメラデータを映像データに重畳させて、カメラデータが重畳された映像データをSDI(Serial Digital Interface)形式で情報処理装置30へ送信する。なお、映像データには、タイムコードが重畳されている。
【0021】
なお、映像データおよびカメラデータは、イーサネット(登録商標)などのネットワークを介して、カメラデータが映像ストリーミングフォーマットのヘッダに重畳されることにより情報処理装置30へ送信されてもよい。また、以下明細書において、SDI形式でカメラデータが情報処理装置30に送信される例について説明するが、カメラデータの送受信は係る例に限定されない。例えば、情報処理装置30は、GPS(Global Positioning System)を利用することにより、撮像装置10のカメラデータを取得してもよい。
【0022】
再び、図1を参照して、本実施形態に係るシステム1の全体構成の一例について説明する。
【0023】
情報処理装置30は、SDI形式でCCU20から受信したカメラデータに基づいて、撮像装置10の位置および向きを算出し、算出結果に基づいて撮像装置の位置および向きを示す情報を表示する。ここで以下、撮像装置の位置および向きを示す情報を撮像装置位置情報とも称する。また、情報処理装置30は、カメラデータに基づいて撮像装置10の撮像範囲を算出し、算出した撮像範囲を示す情報を表示してもよい。すなわち、撮像装置位置情報は、撮像装置10の位置や向き、撮像範囲を示す情報を含む。情報処理装置30は、例えばディスプレイ装置を備え、上記情報を表示してもよい。
【0024】
情報処理装置30は、後述するネットワーク40を介して外部のデータベースサーバから補助データを受信してよい。ここで、補助データとは、撮像現場に存在する撮像対象であるオブジェクトに係る情報をいう。オブジェクトに係る情報は、例えばオブジェクトの位置を示すオブジェクト位置情報を含む。オブジェクトは、例えばシステム1がスポーツ中継に用いられる場合、選手やボールなどである。
【0025】
情報処理装置30は、映像データ、カメラデータ、および補助データに基づいて、フィールド(撮像現場)に係る情報、オブジェクト位置情報、および撮像装置位置情報を互いに対応付けて表示してよい。情報処理装置30による種々の処理についての詳細は後述する。
【0026】
ネットワーク40は、情報処理装置30と外部のデータベースサーバとを接続する機能を有する。ネットワーク40は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク40は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク40は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。補助データは、ネットワーク40を介して、外部のデータベースサーバから情報処理装置30へと送信される。
【0027】
後段処理装置50は、情報処理装置30からの要求に基づいて、情報処理装置30から送信された種々のデータを用いて、主映像のスイッチングやハイライト映像の作成を実行する。なお、後段処理装置50は、一部の映像データやカメラデータを撮像装置10もしくはCCU20から情報処理装置30を介さずに受信してもよい。
【0028】
<<2.2.情報処理装置30の機能構成例>>
続いて、図4を参照して、本実施形態に係る情報処理装置30の機能構成の一例について説明する。本実施形態に係る情報処理装置30は、データ通信部310、映像カメラデータ取得部320、補助データ取得部330、撮像位置情報算出部340、制作用データ解析部350、情報表示制御部360、情報入力部370、後段処理要求部380、格納部391および記憶部392を備える。
【0029】
データ通信部310は、映像データおよび映像データに紐づけられたカメラデータをCCU20から受信する。また、データ通信部310は、ネットワーク40を介して外部のデータベースサーバから補助データを受信してよい。なお、データ通信部310は、その他必要とされる通信をCCU20や外部のデータベースサーバとの間で実行してもよい。
【0030】
映像カメラデータ取得部320は、データ通信部310が受信したデータから映像データおよびカメラデータを取得する。映像カメラデータ取得部320は、取得した映像データおよびカメラデータを、撮像位置情報算出部340および制作用データ解析部350のそれぞれへ送信する。
【0031】
補助データ取得部330は、データ通信部310が受信したデータから補助データを取得する。補助データ取得部330は、取得した補助データのうち、例えばオブジェクト位置情報などを撮像位置情報算出部340へ送信し、また、後段処理装置50による後段処理に用いられるデータを制作用データ解析部350へ送信する。
【0032】
撮像位置情報算出部340は、映像データに紐づけられた、撮像装置10から受信されたカメラデータに基づいて、撮像装置位置情報として撮像装置位置情報として撮像装置10の位置および向きを算出する。また、撮像位置情報算出部340は、受信されたカメラデータが含む撮像装置10の画角およびフォーカス距離を示す情報に基づいて、撮像装置10の撮像範囲をさらに算出してもよい。
【0033】
ここで、撮像位置情報算出部340による撮像装置10の撮像範囲の算出例について説明する。まず、撮像位置情報算出部340は、撮像装置10の特性を示す情報と撮像装置10に装着されたレンズの特性を示す情報をデータテーブルとして予め保持しておく。撮像装置10の特性とレンズの特性は、それぞれ撮像装置10の型番とレンズの型番に対応付けられるように保持されてもよい。
【0034】
撮像位置情報算出部340は、例えばカメラデータが含むズーム値に基づいて画角を算出する。撮像位置情報算出部340は、ズーム値およびフォーカス距離に基づいて、撮像装置10からどの程度の水平距離だけ離れたオブジェクトが撮像の対象であるのかを算出する。最終的に、撮像位置情報算出部340は、画角とピント位置に基づいて、撮像範囲を算出する。
【0035】
また、撮像装置10とオブジェクトとの間で垂直距離が存在する(高さが異なる)ときなどのような、撮像装置10が上下方向に向きを変えている場合、撮像装置10が水平方向に向いている場合と比較して、撮像装置10の撮影範囲の水平距離は短くなる。
【0036】
ここで、図5を参照して、本実施形態に係る撮像位置情報算出部340による撮像装置10の撮像範囲の算出処理の一例について説明する。図5左側には、撮像装置10の撮像範囲を示す図CA1および撮像装置10とオブジェクトとの間で垂直距離が存在する場合の各距離を示す図CVが示されている。
【0037】
図5左側の撮像装置10の撮像範囲を示す図CA1において、ピント距離Lおよび画角θaの撮像範囲が示されている。ここで示される撮像範囲は、高低差が存在しない場合、すなわち撮像装置10が水平を向いている場合の範囲である。また、図5左側の撮像装置10とオブジェクトとの間で垂直距離が存在する場合の各距離を示す図CVにおいて、ピント距離L、仰角θb、水平距離D、垂直距離hが示されている。ここでの、ピント距離Lは、撮像装置10の撮像範囲を示す図CA1に示されたピント距離Lと同一である。
【0038】
垂直距離hは、例えば撮像現場であるフィールドにおけるそれぞれの位置に予め計測された高さを用いて算出されてもよい。他にも、垂直距離hは、撮像装置10およびオブジェクトに備えられたセンサに基づいて検出される高さを用いて算出されてもよい。また、例えばサッカーコートのようなフィールドの大部分が同じ高さである場合などにおいて、所定位置の高さをフィールド全体の高さとみなし、当該高さと撮像装置10やオブジェクトの高さとの差分を用いることにより、垂直距離hが算出されてもよい。
【0039】
撮像位置情報算出部340は、ピント距離Lにおよび上述するような方法で算出された垂直距離hに基づいて、水平距離Dを算出する。次に、撮像位置情報算出部340は、算出した水平距離Dに基づいて、図5右側に示される撮像装置10の撮像範囲を示す図CA2のように、撮像装置10とオブジェクトとの高低差がある場合、すなわち撮像装置10が上下方向に向きを変えている場合の撮像範囲を算出する。
【0040】
このように、撮像装置10とオブジェクトとの間に高さの差が存在する場合でも、水平距離でどの程度の撮像範囲かを確認することができ、主映像として選択すべき映像を撮像している撮像装置10をより正確に選択することが可能となる。
【0041】
他にも、撮像位置情報算出部340は、例えば映像データや補助データに基づいて、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報を算出し、オブジェクト位置情報と撮像装置位置情報とを対応付けてもよい。オブジェクト位置情報は、映像データに撮影対象のオブジェクトが映っているか否か、映っている場合はどの程度の大きさで映っているかに基づいて、算出されてよい。また、撮像位置情報算出部340は、カメラデータおよび補助データに基づいて、主映像とすべき映像データに対応する撮像装置10や次に主映像とすべき映像データを生成すると予想される撮像装置10を特定してもよい。また、撮像位置情報算出部340は、撮像対象であるオブジェクトの位置と撮像装置10の位置とを対応付けてさらに算出してもよい。
【0042】
なお、撮像位置情報算出部340は、複数の撮像装置10がCCU20を介して情報処理装置30と接続されている場合、それぞれの撮像装置10に関して上記処理を実行してもよい。
【0043】
再び、図4を参照して、本実施形態に係る情報処理装置30の機能構成の一例について説明する。
【0044】
制作用データ解析部350は、映像カメラデータ取得部320から映像データ、カメラデータおよび補助データを、補助データ取得部330から補助データを取得し、後述する記憶部392に記憶させる。また、制作用データ解析部350は、映像データおよびカメラデータをタイムコードに紐づけて記憶部392に記憶させてよい。
【0045】
制作用データ解析部350は、後述する後段処理要求部380からの要求に基づいて所定の映像データおよびカメラデータを後段処理要求部380へ提供する映像作成制御部の一例である。制作用データ解析部350が提供した映像データやカメラデータ、補助データは、後段処理要求部380を介して後段処理装置50に送信され、主映像のスイッチングやハイライト映像の作成などに用いられ得る。
【0046】
情報表示制御部360は、撮像位置情報算出部340が算出した撮像装置10の位置および向きを示す情報の表示を制御する。情報表示制御部360は、撮像位置情報算出部340が撮像装置10の撮像範囲を算出していた場合、算出された撮像範囲の表示を制御してもよい。また、情報表示制御部360は、撮像位置情報算出部340がオブジェクトの位置を算出していた場合、算出されたオブジェクトの位置の表示を撮像装置10の位置と対応するように制御してもよい。
【0047】
情報表示制御部360による表示制御例については具体例を後述する。
【0048】
情報入力部370は、情報表示制御部360が表示した情報に対する入力操作を受け付ける。例えば情報入力部370は、タッチパネルを情報表示制御部360に重畳するように備え、情報表示制御部360が表示した情報に対するタッチ操作を受け付けてもよい。また、情報入力部370は、撮像装置10による撮像により生成された映像データを用いてハイライト映像の作成要求を受け付けてもよい。
【0049】
後段処理要求部380は、主映像として選択された撮像装置10の切替え処理を後段処理装置50に要求する。また、後段処理要求部380は、複数の撮像装置10が生成した撮像データを用いてハイライト映像を作成するように後段処理装置50に要求してもよい。撮像装置10の切替え処理やハイライト映像の作成処理の要求は、例えば情報入力部370が受け付けた入力に基づいて、後段処理要求部380が実行し得る。なお、後段処理要求部380は、ハイライト映像の作成要求に際し、ハイライト映像の生成に必要な映像データ、当該映像データに紐づけられたカメラデータ、および補助データを制作用データ解析部350から受信する。
【0050】
格納部391は、撮像装置10の変化履歴を示す履歴情報を格納する。格納部391が格納する履歴情報は、情報表示制御部360による撮像装置10の位置もしくは向きの少なくとも一方が履歴情報を満たさない場合の表示制御に用いられる。
【0051】
記憶部392は、撮像装置10から送信された映像データ、当該映像データに紐づけられたカメラデータ、およびネットワーク40を介して外部のデータベースサーバから送信された補助データを記憶する。記憶部392は、制作用データ解析部350の制御に基づいて適宜上記データを制作用データ解析部350へ提供する。
【0052】
以上、本実施形態に係る情報処理装置30の機能構成例について説明した。なお、図4を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置30の機能構成は係る例に限定されない。
【0053】
<<2.3.表示制御例>>
続いて、図6図11を参照して、本実施形態に係る情報表示制御部360による表示制御の具体例について説明する。
【0054】
[2.3.1.表示制御例1]
まず、図6を参照して、本実施形態に係る情報表示制御部360による表示制御の一例について説明する。情報表示制御部360は、撮像位置情報算出部340が算出した、撮像装置位置情報としての撮像装置10の位置および向きを示す情報の表示を制御する。例えば、撮像装置10の位置および向きを示す情報の表示制御は、撮像装置10のアイコンが、フィールド内の対応する位置に、また、実際に撮像装置10が向いている方向が分かるような向きで表示されることで、表現されてもよい。また、情報表示制御部360は、複数の撮像装置10のうちの主映像として選択された撮像装置10の位置および向きを示す情報を、他の撮像装置10の位置および向きを示す情報と異なるように表示を制御してもよい。
【0055】
図6の一例について説明する。図6には、情報表示制御部360による画面表示例が示されている。具体的には図6に、撮像現場であるフィールドを示す情報、撮像装置10のアイコン10a~10k、アイコン10a~10kのそれぞれに対応する撮像範囲ARa~ARk、およびレーシングカーであるオブジェクトO1~O3が示されている。ここで、撮像装置10gは、例えば主映像として選択されている映像データを生成している。ここで、映像データが主映像として選択されているが他の撮像装置10と異なるように表示されている。
【0056】
このように、撮像位置情報算出部340が算出した撮像装置10およびオブジェクトに係る情報を、情報表示制御部360ひとつの画面上に表示することで、ユーザは撮像範囲を含む撮像装置10とオブジェクトとの位置関係を直観的に把握することが可能となる。
【0057】
なお、情報表示制御部360は、上記情報の表示をリアルタイムに制御してよい。具体的には、情報表示制御部360は、撮像装置10が移動したり回転したりするなどにより位置や向きの変化が起こった場合に、当該変化をリアルタイムに反映するように表示を制御してもよい。なお、上述したように映像データおよび当該映像データに紐づけられたカメラデータが撮像装置10からCCU20を介して情報処理装置30に送信される。そのため、撮像現場の操作者により撮像装置10が移動したり回転したりする場合などのように、情報処理装置30のユーザが撮像装置10の位置や向きの制御を行わない場合でも、情報表示制御部360は、撮像装置10の位置や向きをリアルタイムに表示することができる。
【0058】
また、情報入力部370は、情報表示制御部360が表示した撮像装置10の位置および向きを示す情報に対して、入力操作を受け付けてもよい。ここでの入力操作は、例えばタッチパネルが重畳されたディスプレイに表示された、撮像装置位置情報としての撮像装置10の位置および向きを示す情報に対するタッチ操作などである。後段処理要求部380は、情報入力部370が受け付けた撮像装置10の位置および向きを示す情報に対する入力操作に基づいて、主映像として選択された撮像装置10の切替え処理を後段処理装置50へ要求してもよい。
【0059】
図6の一例において、情報入力部370が例えば情報表示制御部360が表示している撮像装置10kのアイコンに対するタッチ操作を受け付けた場合、後段処理要求部380は、撮像装置10kの映像データを主映像として切り替える処理を後段処理装置50に要求してもよい。
【0060】
このように、主映像としての映像データを生成する撮像装置10を、視覚的な情報に基づいて選択することができ、余計な手間をかけることなくスイッチング処理を行うことが可能となる。
【0061】
[2.3.2.表示制御例2]
続いて、図7を参照して、本実施形態に係る情報表示制御部360による次の主映像候補の表示制御の一例について説明する。情報表示制御部360は、カメラデータおよび補助データに基づいて、次の主映像候補である撮像装置10の出力態様を制御してもよい。例えば、情報表示制御部360は、現在オブジェクトが撮像範囲内に存在する撮像装置10を、次の主映像候補としての映像データを生成する撮像装置10として出力態様を変化させてもよい。
【0062】
図7の一例について説明する。図7には、情報表示制御部360による画面表示例が示されている。具体的には図7に、撮像現場であるフィールドを示す情報、撮像装置10のアイコン10a~10k、アイコン10a~10kのそれぞれに対応する撮像範囲ARa~ARk、およびオブジェクトO1~O3が示されている。撮像装置10gの映像データが主映像として選択されている状況であり、また撮像装置10の撮像範囲ARbにオブジェクトO1が存在している。ここで、情報表示制御部360は、このような状況に基づいて、撮像装置10bおよび撮像範囲ARbの表示態様を変化させている。
【0063】
このように、カメラデータに基づいて、オブジェクトが撮像範囲に入っている撮像装置10の出力態様を変化させることで、オブジェクトを映すタイミングを逃すことを防止することが可能となる。
【0064】
[2.3.3.表示制御例3]
続いて、図8を参照して、本実施形態に係る情報表示制御部360による表示制御のさらなる一例について説明する。図6図7では、オブジェクトがレーシングカーである例について説明したが、他にもスポーツ分野において、オブジェクトはボールでもよい。図8に示される一例において、情報表示制御部360は、ボールであるオブジェクトO4を表示し、オブジェクトO4が撮像範囲に入っている撮像装置10の表示態様が他の撮像装置10とは異なるように表示を制御してもよい。
【0065】
図8の一例について説明する。図8において、撮像範囲にオブジェクトO4が存在している撮像装置10nの映像データが主映像として選択されている状況である。なお、撮像装置10mおよび撮像装置10pの撮像範囲にもオブジェクトO4が存在している。このような場合、例えば複数の撮像装置10の撮像データうち、オブジェクトを一番大きく撮像できている撮像データを主映像として選択されてもよい。
【0066】
[2.3.4.表示制御例4]
続いて、図9を参照して、本実施形態に係る情報表示制御部360による次の主映像候補の表示制御の一例について説明する。情報表示制御部360は、複数の撮像装置10のうち生成する映像データが主映像として選択された撮像装置10の撮像装置位置情報を、他の撮像装置10の撮像装置位置情報と異なるように表示態様を制御してもよい。また、情報表示制御部360は、当該撮像装置位置情報およびオブジェクト位置情報に基づいて、次の主映像候補である撮像装置10を特定してもよい。例えば、情報表示制御部360は、所定時間後に、オブジェクトが撮像範囲内に存在することが予想される撮像装置10を、次の主映像候補としての映像データを生成する撮像装置10として特定してもよい。
【0067】
図9の一例について説明する。図9には、情報表示制御部360による画面表示例が示されている。図9では、オブジェクトO1が撮像装置10bの撮像範囲ARbの近くに存在し、所定時間後に撮像範囲ARbの中に移動することが予想される点が図6とは異なる。
【0068】
図9の一例において、情報表示制御部360は、オブジェクトO1が撮像装置10bの撮像範囲ARbの中に移動することが予想されるため、撮像装置10bの撮像装置位置情報他の撮像装置10の撮像装置位置情報と異なるように(判別できるように)表示態様を制御している。
【0069】
このように、カメラデータおよび補助データに基づいて、次の主映像候補である撮像装置10の撮像装置位置情報を他の撮像装置10の撮像装置位置情報と異なる表示態様で表示することで、ユーザは次に選択すべき撮像装置10を短時間で判断することが可能となる。
【0070】
[2.3.5.表示制御例5]
続いて、図10を参照して、本実施形態に係る情報表示制御部360による所定状況における撮像装置10の表示制御の一例について説明する。情報表示制御部360は、カメラデータに基づいて、位置および向きの少なくとも一方が所定時間以上変化しない撮像装置10の撮像装置位置情報を、他の撮像装置10の位置情報と異なるように表示態様を制御してもよい。または、情報表示制御部360は、カメラデータに基づいて、位置および向きの少なくとも一方を変化させるべき撮像装置10の撮像装置位置情報を、他の撮像装置10の位置情報と異なるように表示態様を制御してもよい。例えば、情報表示制御部360は、複数の撮像装置10のうちの、オブジェクトの撮像に適する撮像装置10が当該オブジェクトを撮像できていないことを示すように表示態様を制御してもよい。
【0071】
図10の一例について説明する。図10には、情報表示制御部360による画面表示例が示されている。具体的には図10に、撮像現場であるフィールドを示す情報と、撮像装置10のアイコン10a~10kとそれぞれに対応する撮像範囲ARa~ARk、オブジェクトO1~O3とが示されている。図10において、撮像装置10bは、撮像範囲ARbがオブジェクトO1を含まない方向に向いている状況が所定時間以上維持されていることがカメラデータにより示される状況である。ここで、情報表示制御部360は、このような状況に基づいて、撮像装置10bおよび撮像範囲ARbの表示態様を変化させている。
【0072】
このように、カメラデータに基づいて、所定時間以上動かされていない、または動かされるべき撮像装置10の出力態様を変化させることで、オペレータは、撮像現場における撮像装置10の作業者に指示を出したり、情報処理装置30のユーザが直接撮像装置10をしかるべき位置や向きに制御したりすることが可能となる。
【0073】
[2.3.6.表示制御例6]
ところで、撮像装置10が撮像するオブジェクトは、周期的に移動することがある。例えば、上記までに具体例として説明したレーシングカーは、予め定められたコースを走る。オブジェクトが周期的に移動する他の例として、野球では、ボールは、ピッチャーとキャッチャーとの間を行き来することが多い。これらのようなオブジェクトがそれらの周期的な動きとは異なる動きが起こった場合、注目すべきシーンである可能性があり、すなわち当該シーンを撮像している映像データは主映像とすべき可能性がある。例えば、野球にいて、通常ピッチャーとキャッチャーとの間でボールが行き来するが、ヒットなどのイベントが発生した際はボールが外野に移動するなどの通常とは異なる位置変化が起こり得る。
【0074】
例えば、オブジェクトを追いかけるように撮像している撮像装置10による、行われることが多い位置若しくは向きの変化とは異なる変化が発生している場合に、当該撮像装置10の撮像装置位置情報の表示態様が変化することで、現在ユーザに注目すべきシーンが発生している可能性を通知してもよい。
【0075】
従って、情報表示制御部360は、撮像装置10の位置若しくは向きの少なくとも一方が履歴情報を満たさない撮像装置10の撮像装置位置情報を、他の撮像装置10の撮像装置位置情報とは異なるように表示態様を制御してもよい。例えば、情報表示制御部360は、格納部391が格納している撮像装置10の撮像装置位置情報の変化履歴が示す履歴情報に基づいて、オブジェクトが周期的な位置変化と比較して所定距離以上の変化をしていることが示される場合、当該オブジェクトが撮像範囲に存在している撮像装置10の撮像装置位置情報を、他の撮像装置10の位置情報とは異なるように表示態様を制御してもよい。
【0076】
ここで、図11Aおよび図11Bを参照して、本実施形態に係る情報表示制御部360による撮像装置10の位置若しくは向きの少なくとも一方が履歴情報を満たさない場合の表示態様の制御の一例について説明する。図11Aおよび図11Bは、野球の試合における撮像装置10の位置および向き並びにボールの位置が表示される例である。
【0077】
図11Aには、情報表示制御部360により、撮像装置10rおよび撮像装置10rの撮像範囲ARrおよびオブジェクトO5が表示されている。ここで、オブジェクトO5は、図11A左側と右側とに示されるように、所定の2地点間を周期的に移動している。このオブジェクトO5の周期的な位置の変化は、格納部391によりオブジェクトO5を追従するように向きを変化させている撮像装置10rの撮像情報位置情報として格納されている。また、オブジェクトO5の位置の変化に追従するように、すなわち撮像範囲ARrにオブジェクトO5が位置するように、撮像装置10rは自身の向きを変化させている。
【0078】
ここで、図11Aに示されたオブジェクトO5の周期的な位置変化と異なる位置変化が発生した場合、情報表示制御部360は、撮像装置10rおよび撮像範囲ARrの表示態様を変化させる。図11Bに示される一例において、情報表示制御部360は、ボールであるオブジェクトO5が外野方面へ移動したことが格納部391から提供される撮像装置10rの変化履歴により示される場合、撮像装置10rおよび撮像範囲ARrの表示態様を変化させている。
【0079】
このように、撮像装置10の撮像装置位置情報に基づいてオブジェクトの周期的な位置変化とは異なる位置変化をユーザに知らせることで、ユーザは所定のシーンが映っている映像を逃すことなく主映像として選択することが可能となる。
【0080】
なお上述した履歴情報は、所定のタイミングで、撮像装置10の撮像装置位置情報の周期的な変化を示す変化履歴として格納部391に格納されてもよい。また、履歴情報は、格納部391に格納された後、撮像装置10の位置変化に基づいて適宜更新されてもよい。また一方で、履歴情報は、ユーザにより情報入力部370を介して、確認されたり修正されたりすることも可能である。
【0081】
なお例えば、周期的な位置変化とは異なる位置変化は、撮像装置10の作業者が、撮像装置10が備えるボタン等を押下することで、検知されてもよい。撮像装置10が備えるボタン等が押下されることで映像に所定の信号が重畳され、情報処理装置30は当該所定の信号に基づいて所定のシーンが発生したと判断してもよい。
【0082】
また他にも、周期的な位置変化とは異なる位置変化は、例えば撮像装置10の向きの変化のみに基づいて検知されてもよい。また、情報表示制御部360は、履歴情報を満たさない撮像装置10の位置および向きを示す情報ならびに撮像範囲を示す情報の双方の表示態様を変化させてもよいし、いずれか片方を変化させてもよい。
【0083】
[2.3.7.表示制御例7]
続いて、図12を参照して、本実施形態に係る情報表示制御部360による情報入力部370の入力操作の受付けに係る表示制御、および情報入力部370による入力操作の受付けの一例について説明する。図12には、フィールド情報、撮像装置位置情報およびオブジェクト位置情報が画像Gとして示されている。また、図12には、画像Gの下側に時系列スライダS、スイッチングボタンB1およびハイライト映像作成ボタンB2が示されている。
【0084】
以下、図12の一例について説明する。画像Gは、図6図11で示された表示画面と同様である。スライダSは、映像データの時系列において、撮像開始時から現在もしくは撮像終了時までの時間のうち、いずれの時間を画像Gとして表示させるかを選択することができるスライダである。スイッチングボタンB1は、画像Gにおいて選択された撮像装置10の映像データを主映像として切り替える要求を後段処理装置50に行うことができるボタンである。ハイライト映像作成ボタンB2は、所定の条件を満たすようにハイライト映像の生成を後段処理装置50に要求することができるボタンである。
【0085】
このように、情報表示制御部360が表示した情報に対する入力操作を情報入力部370が受け付けることにより、種々の編集操作をより簡便に行うことが可能となる。もちろん、情報表示制御部360による情報入力部370の入力操作の受付けに係る表示制御、および情報入力部370による入力操作の受付けは、係る例に限定されない。
【0086】
<<2.4.動作例>>
[2.4.1.動作例1]
続いて、図13を参照して、本実施形態に係る情報処理装置30による複数の撮像装置10の撮像装置位置情報の算出処理に係る動作の流れの一例について説明する。まず、映像カメラデータ取得部320は、データ通信部310からいずれかの撮像装置10のカメラデータを取得する(S101)。次に、映像カメラデータ取得部320は、ステップS101で取得されたカメラデータをタイムコードと共にメモリへ格納する(S102)。次に、全ての撮像装置10のカメラデータがタイムコードと共にメモリへ格納された状態ではない場合(S103:NO)、ステップS101へ復帰する。
【0087】
一方、全ての撮像装置10のカメラデータがタイムコードと共にメモリへ格納された状態である場合(S103:YES)、補助データ取得部330は、データ通信部310から補助データを取得する(S104)。なお、ステップS104は、ステップS101、S102の実行前に実行されてもよいし、またステップS101、S102と並行して実行されてもよい。次に、撮像位置情報算出部340は、ステップS102で格納された複数の撮像装置10のカメラデータに基づいて、撮像現場であるフィールド全体の領域を算出する(S105)。
【0088】
次に、撮像位置情報算出部340は、ステップS101で取得されたカメラデータに基づいて、いずれかの撮像装置10の位置および向きを算出する(S106)。次に、情報表示制御部360は、ステップS106で算出された撮像装置10の位置および向きを示す情報を表示する(S107)。
【0089】
次に、撮像位置情報算出部340は、ステップS101で取得されたカメラデータおよびステップS106で取得された補助データに基づいて、ステップS107で位置および向きを示す情報が表示された撮像装置10の撮像範囲を算出する(S108)。次に、情報表示制御部360は、ステップS108で算出された撮像装置10の撮像範囲を示す情報を表示する(S109)。
【0090】
次に、撮像装置位置情報として全ての撮像装置10の位置、向き、および撮像範囲を示す情報が表示されていない場合(S110:NO)、ステップS106へ復帰する。一方、撮像装置位置情報として全ての撮像装置10の位置、向き、および撮像範囲を示す情報が表示された場合(S110:YES)、情報処理装置30は動作を終了する。
【0091】
[2.4.2.動作例2]
続いて、図14を参照して、本実施形態に係る撮像位置情報算出部340による撮像装置10の撮像範囲の算出処理および情報表示制御部360による撮像範囲の表示処理に係る動作の流れの一例について説明する。まず、撮像位置情報算出部340は、映像カメラデータ取得部320から撮像装置10および撮像装置10に装着されたレンズの特性を示す情報を取得する(S201)。次に、撮像位置情報算出部340は、映像カメラデータ取得部320から撮像装置10におけるズーム値と画角とのテーブルを取得する(S202)。
【0092】
次に、撮像位置情報算出部340は、図13のステップS101で取得されたカメラデータが含む撮像装置10のズーム値およびステップS202で取得されたテーブルを用いて、当該ズーム値に対応する画角を算出する(S203)。次に、撮像位置情報算出部340は、図13のステップS101で取得されたカメラデータが含むズーム値またはフォーカス距離に基づいて、ピント位置を算出する(S204)。次に、撮像位置情報算出部340は、図13のステップS101で取得されたカメラデータに基づいて、撮像装置10とオブジェクトとの垂直距離を算出する(S205)。
【0093】
次に、撮像位置情報算出部340は、ステップS204で算出されたピント位置およびステップS205で算出された垂直距離から、撮像装置10とオブジェクトとの水平距離を算出する(S206)。次に、ステップS203で算出された画角とステップS206で算出された水平距離とに基づいて、撮像装置10の撮像範囲を扇形に表示させる(S207)。次に、全ての撮像装置10で撮像範囲が表示された状態でない場合(S208:NO)、ステップS203へ復帰する。一方、全ての撮像装置10で撮像範囲が表示された状態である場合(S208:YES)、情報処理装置30は動作を終了する。
【0094】
[2.4.3.動作例3]
続いて、図15を参照して、本実施形態に係る情報処理装置30による複数の撮像装置10のうちいずれの撮像装置10の映像データを主映像として選択するかの処理に係る動作の流れの一例について説明する。まず、いずれかの撮像装置10の撮像範囲内にオブジェクトが存在する場合(S301:YES)、制作用データ解析部350は撮像装置10の位置および向きを示す情報を撮像装置位置情報としてメモリへ格納し(S302)、ステップS303へ進む。一方、いずれかの撮像装置10の撮像範囲内にオブジェクトが存在しない場合(S301:NO)、ステップS303へ進む。
【0095】
全ての撮像装置10でステップS301の処理が実行された状態でない場合(S303:NO)、ステップS301へ復帰する。一方、全ての撮像装置10でステップS301の処理が実行された状態であり(S303:YES)、かつオブジェクトが写されている映像データを生成した撮像装置10が存在しない場合(S304:NO)、情報処理装置30は動作を終了する。
【0096】
一方、全ての撮像装置10でステップS301の処理が実行された状態であり(S303:YES)、かつオブジェクトが映っている映像データを生成した撮像装置10が存在しない場合(S304:NO)、情報処理装置30は動作を終了する。また一方、全ての撮像装置10でステップS301の処理が実行された状態であり(S303:YES)、かつオブジェクトが映っている映像データを生成した撮像装置10が存在する場合(S304:YES)、撮像位置情報算出部340は、映っているオブジェクトの大きさを算出する(S305)。
【0097】
次に、直近のステップS305で算出されたオブジェクトの大きさが今までのステップS305で算出されたオブジェクトの大きさと比較して最大である場合(S306:YES)、撮像位置情報算出部340は、直近のステップS305で算出されたオブジェクトの大きさに対応する撮像装置10を選択候補としてメモリへ格納する(S307)。一方、直近のステップS305で算出されたオブジェクトの大きさが今までのステップS305で算出されたオブジェクトの大きさと比較して最大でない場合(S306:NO)、ステップS308へ進む。
【0098】
次に、オブジェクトが映っている全ての撮像装置10で大きさが算出されていない場合(S308:NO)、ステップS304へ復帰する。一方、オブジェクトが映っている全ての撮像装置10で大きさが算出されていない場合(S308:YES)、後段処理要求部380は、ステップS307でメモリに格納された撮像装置10の映像データを主映像として後段処理装置50にスイッチングするように要求し(S309)、情報処理装置30は動作を終了する。
【0099】
<3.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理装置30のハードウェア構成例について説明する。図16は、本開示の一実施形態に係る情報処理装置30のハードウェア構成例を示すブロック図である。図16を参照すると、情報処理装置30は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【0100】
(プロセッサ871)
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【0101】
(ROM872、RAM873)
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【0102】
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
【0103】
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
【0104】
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【0105】
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【0106】
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
【0107】
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
【0108】
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
【0109】
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
【0110】
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
【0111】
<4.まとめ>
以上、説明したように、本開示の情報処理装置30は、ユーザが撮像装置の位置や向き、撮像範囲をリアルタイムに視覚的に把握し、いずれの撮像装置で生成された映像データを選択すればよいかを直観的に判断することを可能とする。
【0112】
なお、上記までは主にスポーツ分野における撮像装置10であるカメラに関する具体例ついて説明したが、本開示に係る適用例は、係る例に限定されない。例えば、システム1における撮像装置10は、代わりにウェアラブルカメラやドローンでもよい。作業者が装着したウェアラブルカメラや、自動で移動するドローンの撮像装置位置情報が情報表示制御部360によりユーザに表示されることで、スポーツ分野に限らず、例えば報道などのような種々の場面に対し適用することが可能となる。
【0113】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0114】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0115】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部と、
前記撮像装置位置情報の表示を制御する情報表示制御部と、
を備える情報処理装置。
(2)
前記カメラデータは、前記撮像装置の画角およびフォーカス距離を示す情報を含み、
前記撮像位置情報算出部は、前記撮像装置の画角およびフォーカス距離を示す情報に基づいて、前記撮像装置位置情報として前記撮像装置の撮像範囲をさらに算出し、
前記情報表示制御部は、前記撮像範囲を含む前記撮像装置位置情報の表示を制御する、
前記(1)に記載の情報処理装置。
(3)
前記カメラデータは、前記撮像装置に装着されたレンズの特性をさらに含み、
前記撮像位置情報算出部は、前記レンズの特性に基づいて、前記撮像範囲を算出する、
前記(2)に記載の情報処理装置。
(4)
前記撮像位置情報算出部は、前記撮像装置の垂直位置にさらに基づいて、前記撮像範囲を算出する、
前記(2)または(3)に記載の情報処理装置。
(5)
前記撮像位置情報算出部は、撮像対象であるオブジェクトの位置を示すオブジェクト位置情報と前記撮像装置位置情報とを対応付け、
前記情報表示制御部は、前記撮像装置位置情報に対する前記オブジェクト位置情報の表示を制御する、
前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記撮像位置情報算出部は、前記映像データに基づいて、前記オブジェクト位置情報を算出する、
前記(5)に記載の情報処理装置。
(7)
前記撮像位置情報算出部は、前記オブジェクトに係るデータを含む補助データに基づいて、前記オブジェクト位置情報を算出する、
前記(5)に記載の情報処理装置。
(8)
前記撮像位置情報算出部は、複数の前記撮像装置から受信された前記カメラデータに基づいて、前記複数の撮像装置に対応する前記撮像装置位置情報を算出し、
前記情報表示制御部は、前記複数の撮像装置に対応する前記撮像装置位置情報の表示を制御する、
前記(5)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記情報表示制御部は、前記複数の撮像装置のうち、生成した前記映像データが主映像として選択された前記撮像装置の前記撮像装置位置情報を、他の前記撮像装置の前記撮像装置位置情報と異なるように表示態様を制御する、
前記(8)に記載の情報処理装置。
(10)
前記撮像位置情報算出部は、前記複数の撮像装置のうち、生成した前記映像データが次の主映像候補である撮像装置を特定し、
前記情報表示制御部は、前記撮像位置情報算出部が特定した前記次の主映像候補である前記撮像装置の前記撮像装置位置情報を、前記他の撮像装置の前記撮像装置位置情報と異なるように表示態様を制御する、
前記(9)に記載の情報処理装置。
(11)
前記撮像位置情報算出部は、前記撮像装置位置情報および前記オブジェクト位置情報に基づいて、前記次の主映像候補である撮像装置を特定する、
前記(10)に記載の情報処理装置。
(12)
前記情報表示制御部は、前記カメラデータに基づいて、位置および向きの少なくとも一方が所定時間以上変化しない前記撮像装置位置情報を、他の撮像装置の前記撮像装置位置情報と異なるように表示態様を制御する、
前記(8)に記載の情報処理装置。
(13)
前記撮像装置位置情報の変化履歴を示す履歴情報を格納する格納部と、をさらに備え、
前記情報表示制御部は、前記カメラデータに基づいた前記撮像装置の位置若しくは向きの少なくとも一方が前記履歴情報を満たさない撮像装置の前記撮像装置位置情報を、他の撮像装置の前記撮像装置位置情報とは異なるように表示態様を制御する、
前記(8)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記主映像として選択された撮像装置から、前記複数の撮像装置のうち、生成した前記映像データが次の主映像として選択された前記他の撮像装置への切替え処理を後段処理装置に要求する後段処理要求部、
をさらに備える、
前記(9)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記撮像装置位置情報に対する入力操作を受け付ける情報入力部、
をさらに備え、
前記後段処理要求部は、前記情報入力部が受け付けた前記切替え処理に係るユーザからの入力に基づいて前記切替え処理を前記後段処理装置に要求する、
前記(14)に記載の情報処理装置。
(16)
前記情報入力部は、ハイライト映像の作成要求の入力をさらに受け付け、
前記後段処理要求部は、前記複数の撮像装置の前記映像データに基づく前記ハイライト映像の作成を前記後段処理装置に要求する、
前記(15)に記載の情報処理装置。
(17)
前記ハイライト映像は、所定のオブジェクトを映している前記撮像装置の前記映像データを用いて構成され、
前記後段処理要求部は、前記所定のオブジェクトの映像を含む前記ハイライト映像の作成を前記後段処理装置に要求する、
前記(16)に記載の情報処理装置。
(18)
前記カメラデータおよび前記オブジェクトに係るデータを含む補助データに基づいて、前記後段処理要求部に前記ハイライト映像の作成を前記後段処理装置に要求させる映像作成制御部、
をさらに備える、
前記(16)または(17)に記載の情報処理装置。
(19)
プロセッサが、
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出することと、
前記撮像装置位置情報の表示を制御することと、
を含む、
情報処理方法。
(20)
コンピュータを、
映像データに紐づけられた、撮像装置から受信されたカメラデータに基づいて、撮像装置位置情報として前記撮像装置の位置および向きを算出する撮像位置情報算出部と、
前記撮像装置位置情報の表示を制御する情報表示制御部と、
を備える、
情報処理装置、
として機能させるためのプログラム。
【符号の説明】
【0116】
1 システム
10 撮像装置
20 CCU
30 情報処理装置
310 データ通信部
320 映像カメラデータ取得部
330 補助データ取得部
340 撮像位置情報算出部
350 制作用データ解析部
360 情報表示制御部
370 情報入力部
380 後段処理要求部
391 格納部
392 記憶部
40 ネットワーク
50 後段処理装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図12
図13
図14
図15
図16