(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162794
(43)【公開日】2024-11-21
(54)【発明の名称】制御装置およびその制御方法
(51)【国際特許分類】
H04N 21/2187 20110101AFI20241114BHJP
H04N 23/66 20230101ALI20241114BHJP
H04N 23/69 20230101ALI20241114BHJP
H04N 23/695 20230101ALI20241114BHJP
【FI】
H04N21/2187
H04N23/66
H04N23/69
H04N23/695
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023078700
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】寺見 明久
【テーマコード(参考)】
5C122
5C164
【Fターム(参考)】
5C122EA63
5C122EA66
5C122EA67
5C122FA16
5C122FA18
5C122FH11
5C122FH14
5C122GC52
5C122GD06
5C122HA13
5C122HA35
5C122HA86
5C122HB01
5C122HB05
5C122HB09
5C164FA06
5C164SA25P
5C164SC01S
(57)【要約】
【課題】複数のカメラから撮影に適したカメラを選択する。
【解決手段】配信映像を撮影するための複数のカメラを制御する制御装置は、配信映像における新規の被写体となる目標物体の位置を取得する物体位置取得手段と、複数のカメラのそれぞれが現在配信映像を撮影しているカメラであるか否かを示す状態情報を取得する状態取得手段と、状態情報に基づいて目標物体を撮影する候補となる1以上のカメラを含むカメラリストを生成する生成手段と、カメラリストに含まれる各々のカメラの位置を取得するカメラ位置取得手段と、目標物体の位置とカメラの位置とに基づいて、カメラリストに含まれる1以上のカメラの中から目標物体を撮影するカメラを決定する決定手段と、を有する。生成手段は、複数のカメラから現在配信映像を撮影しているカメラを除外したカメラリストを生成する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
配信映像を撮影するための複数のカメラを制御する制御装置であって、
配信映像における新規の被写体となる目標物体の位置を取得する物体位置取得手段と、
前記複数のカメラのそれぞれが現在配信映像を撮影しているカメラであるか否かを示す状態情報を取得する状態取得手段と、
前記状態情報に基づいて前記目標物体を撮影する候補となる1以上のカメラを含むカメラリストを生成する生成手段と、
前記カメラリストに含まれる各々のカメラの位置を取得するカメラ位置取得手段と、
前記目標物体の位置と前記カメラの位置とに基づいて、前記カメラリストに含まれる1以上のカメラの中から前記目標物体を撮影するカメラを決定する決定手段と、
を有し、
前記生成手段は、前記複数のカメラから現在配信映像を撮影しているカメラを除外した前記カメラリストを生成する
ことを特徴とする制御装置。
【請求項2】
前記決定手段により決定されたカメラに対して前記目標物体を撮影するための撮影制御を行う制御手段をさらに有し、
前記撮影制御は、パン、チルト、ズームの少なくとも1つの制御を含む
ことを特徴とする請求項1に記載の制御装置。
【請求項3】
前記複数のカメラは、イベントが行われるイベント領域の周囲の互いに異なる位置に配置されており、
前記物体位置取得手段は、
前記複数のカメラとは異なる俯瞰カメラにより撮影された前記イベント領域の俯瞰映像に含まれる前記目標物体の指定をユーザから受け付ける受付手段と、
前記受付手段が受け付けた前記目標物体の指定と前記俯瞰映像とに基づいて前記目標物体の位置を算出する位置算出手段と、
を含む
ことを特徴とする請求項1に記載の制御装置。
【請求項4】
前記物体位置取得手段は、前記俯瞰映像に基づいて前記目標物体の移動方向を算出する方向算出手段をさらに含み、
前記決定手段は、前記カメラリストに含まれる1以上のカメラの各々について優先度スコアを算出する算出手段をさらに有し、
前記優先度スコアは、前記目標物体とカメラとの間の距離と、前記目標物体とカメラとを結ぶ線分に対する前記目標物体の移動方向の角度と、に基づいて算出され、
前記決定手段は、優先度スコアが最も高いカメラを前記目標物体を撮影するカメラとして決定する
ことを特徴とする請求項3に記載の制御装置。
【請求項5】
前記生成手段は、前記カメラリストから、現在配信映像を撮影しているカメラの位置と前記イベント領域に対して反対側に位置するカメラをさらに除外する
ことを特徴とする請求項3に記載の制御装置。
【請求項6】
前記生成手段は、前記カメラリストから、ユーザが指定したカメラをさらに除外する
ことを特徴とする請求項3に記載の制御装置。
【請求項7】
前記物体位置取得手段は、前記目標物体の位置を所定時間ごとに取得するよう構成されており、
前記目標物体を撮影するカメラを決定した後、前記目標物体が所定距離以上移動した場合、前記物体位置取得手段、前記生成手段、前記決定手段を再度動作させ前記目標物体を撮影するカメラを更新する更新手段をさらに有する
ことを特徴とする請求項1に記載の制御装置。
【請求項8】
配信映像を撮影するための複数のカメラを制御する制御装置の制御方法であって、
配信映像における新規の被写体となる目標物体の位置を取得する物体位置取得工程と、
前記複数のカメラのそれぞれが現在配信映像を撮影しているカメラであるか否かを示す状態情報を取得する状態取得工程と、
前記状態情報に基づいて前記目標物体を撮影する候補となる1以上のカメラを含むカメラリストを生成する生成工程と、
前記カメラリストに含まれる各々のカメラの位置を取得するカメラ位置取得工程と、
前記目標物体の位置と前記カメラの位置とに基づいて、前記カメラリストに含まれる1以上のカメラの中から前記目標物体を撮影するカメラを決定する決定工程と、
を含み、
前記生成工程では、前記複数のカメラから現在配信映像を撮影しているカメラを除外した前記カメラリストを生成する
ことを特徴とする制御方法。
【請求項9】
請求項8に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、複数のカメラを用いた撮影の制御に関するものである。
【背景技術】
【0002】
近年、ライブ映像のオンライン配信の需要が増加している。それに伴い、映像制作の現場においては撮影および映像編集の自動化あるいは省人化が進んでいる。特にカメラマンやスイッチャーなど多くの人手を必要とするスポーツ中継では省人化が顕著である。例えば、被写体の自動追尾技術によるカメラマンの負担の軽減や、ハイライト動画の自動生成による映像編集の効率化といった取り組みがなされている。
【0003】
ところで、スポーツ中継など複数のカメラを利用したライブ配信における課題の一つとして、視聴者にとってより魅力的かつ迫力のある映像を取得するためにどのカメラを選択すべきか、という課題がある。特許文献1には、複数のカメラで撮影する状況において、被写体を撮影するカメラを決定する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1では、被写体を撮影するカメラを被写体の位置情報に基づいて割り当てている。そのため、スポーツのライブ配信などのユースケースにおいては問題が発生し得る。例えば、撮影すべき目標物体(新規の被写体)が出現した場合、映像配信に利用するカメラを変えずに被写体を切り替えた場合には視聴者にとって違和感のある配信映像となる。
【0006】
本開示は、このような問題に鑑みてなされたものであり、複数のカメラから撮影に適したカメラを選択する技術を提供することを目的としている。
【課題を解決するための手段】
【0007】
上述の問題点を解決するため、本開示に係る制御装置は以下の構成を備える。すなわち、配信映像を撮影するための複数のカメラを制御する制御装置は、
配信映像における新規の被写体となる目標物体の位置を取得する物体位置取得手段と、
前記複数のカメラのそれぞれが現在配信映像を撮影しているカメラであるか否かを示す状態情報を取得する状態取得手段と、
前記状態情報に基づいて前記目標物体を撮影する候補となる1以上のカメラを含むカメラリストを生成する生成手段と、
前記カメラリストに含まれる各々のカメラの位置を取得するカメラ位置取得手段と、
前記目標物体の位置と前記カメラの位置とに基づいて、前記カメラリストに含まれる1以上のカメラの中から前記目標物体を撮影するカメラを決定する決定手段と、
を有し、
前記生成手段は、前記複数のカメラから現在配信映像を撮影しているカメラを除外した前記カメラリストを生成する。
【発明の効果】
【0008】
本開示によれば、複数のカメラから撮影に適したカメラを選択する技術を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】撮影システムのハードウェア構成を示す図である。
【
図3】情報処理装置の動作を示すフローチャートである。
【
図5】被写体選択のUI画面の一例を示す図である。
【
図6】被写体の選択処理(S301)および被写体情報の取得処理(S302)を示すフローチャートである。
【
図7】優先度スコアの算出方法を説明する図である。
【
図8】優先度スコアの算出処理(S306)を示すフローチャートである。
【
図9】第2実施形態における撮影状況を説明する図である。
【
図10】カメラリストの生成処理(S304)を示すフローチャートである(第2実施形態)。
【
図11】カメラリストの生成処理(S304)を示すフローチャートである(第3実施形態)。
【
図12】情報処理装置の動作を示すフローチャートである(第4実施形態)。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本開示を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが本開示に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
(第1実施形態)
本開示に係る制御装置の第1実施形態として、ライブ配信する映像を取得するカメラを決定する情報処理装置を例に挙げて以下に説明する。
【0012】
<システム構成>
図1は、撮影システムのハードウェア構成を示す図である。撮影システムは、複数の撮像装置(カメラ)を含むカメラ群108および、カメラ群108と通信可能に接続された情報処理装置101、選択装置109、切替装置111を含む。
【0013】
カメラ群108は、ライブ配信の映像を撮影するための複数のカメラを含み、例えば、サッカーの試合の撮影する場合は、試合が行われるフィールドを様々な視点から撮影可能なように配置される。
【0014】
選択装置109は、例えばタブレットやパーソナルコンピュータ(PC)などのユーザ端末であり、ユーザが撮影したい被写体を選択するための装置である。切替装置111は、例えばライブスイッチャーなどの、配信する映像を切り替える装置である。情報処理装置101、カメラ群108、選択装置109、切替装置111は、ネットワーク110で接続されている。なお、接続形態は特に限定されず、例えばLANケーブルによる有線接続でもよいし、無線LANなどの無線接続であってもよい。
【0015】
図4は、複数のカメラの配置を例示的に示す図である。
図4では、サッカーの試合が行われるイベント領域であるフィールド401の周囲に5台のカメラ(カメラ404~408)が配置されている。カメラ404~407は、切替装置111による切り替え制御の対象となるカメラでありパン・チルト・ズームが可能なカメラである。一方、カメラ408は、フィールド401全体の様子を撮影する俯瞰カメラである。
【0016】
選手402、選手403には位置情報を取得できるデバイス(全地球測位システム(GPS)受信機など)を取り付けており、情報処理装置410(情報処理装置101)は、各選手の位置情報を取得可能に構成されている。なお、選手の位置情報の取得方法はGPSに限定されない。例えば、カメラ408により得られる俯瞰映像から各選手の位置算出を行う方法を用いてもよい。
【0017】
情報処理装置101は、PC(パーソナルコンピュータ)などのコンピュータ装置である。情報処理装置101は、CPU102、ROM103、RAM104、記憶部105、通信部106を有し、それぞれはバス107を介して互いに接続されている。
【0018】
CPU102は、ROM103に格納されたプログラムを実行し情報処理装置101内の各部の動作を制御する。また、CPU102は、記憶部105に格納されたプログラムをRAM104にロードして実行し、
図2を参照して説明する各機能部を実現する。
【0019】
ROM103は、読み出し専用メモリであり、ブートプログラムやファームウェアを格納している。RAM104は、CPU102にて処理を行うために一時的にプログラムやデータを格納しておくワークメモリであり、CPU102により各種処理プログラムやデータがロードされる。
【0020】
記憶部105は、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などの、変更可能なデータを大量に記憶するための記録媒体である。記憶部105は、後述する機能部を実現するための各種処理プログラム、各種データを格納している。
【0021】
通信部106は、ネットワーク110を介して外部の装置と通信を行う。例えば、情報処理装置101は、通信部106を介してカメラ群108あるいは選択装置109から情報を取得し、RAM104あるいは記憶部105に格納する。また、情報処理装置101は、通信部106を介して、後述する撮影の割り当てに決定したカメラに対して制御指示を送信する。
【0022】
図2は、情報処理装置101の機能構成を示す図である。情報処理装置101は、状態取得部201、リスト生成部202、位置情報取得部203、被写体受付部204、被写体情報取得部205、優先度算出部206、カメラ決定部207を有する。上述したように、各機能部は、CPU102がプログラムを実行することにより実現することができる。ただし、上述した機能部の一部又は全部を特定用途向け集積回路(ASIC)などの専用のハードウェアによって実現してもよい。また、情報処理装置101は、単体の装置として構成してもよいし、例えばネットワークを介して接続された複数の装置によって構成されていてもよい。
【0023】
状態取得部201は、各カメラの撮影状態についての状態情報を取得する。ここでは、状態情報は、撮影した映像が配信に使用されているかどうかを示す状態であり切替装置111から取得するものとする。
【0024】
リスト生成部202は、状態取得部201が取得した状態情報に基づいて、撮影に割り当てることが可能なカメラの一覧(リスト)を生成する。位置情報取得部203は、各カメラの位置情報を取得する。
【0025】
被写体受付部204は、新規の撮影対象となる目標物体(ここでは選手)の指定を受け付ける。被写体情報取得部205は、被写体受付部204が受け付けた被写体の情報を、カメラ群108に含まれる俯瞰カメラ(カメラ408)による俯瞰映像に基づいて取得する。
【0026】
優先度算出部206は、位置情報取得部203が取得した各カメラの位置情報と被写体情報取得部205が取得した被写体情報とに基づいて、各カメラに対して割り当ての優先度スコアの算出を行う。カメラ決定部207は、優先度算出部206が算出した優先度スコアに基づいて撮影するカメラを決定する。
【0027】
<装置の動作>
以下の説明では、ボールを保持している選手402(現在の被写体)をカメラ407が撮影し、当該撮影された映像が配信されている状況において、選手403(新規の被写体)を新たな目標物体として撮影すると決定した場合の動作について説明する。具体的には、情報処理装置101が、選手403をどのカメラで撮影するかを決定する方法について述べる。
【0028】
図3は、第1実施形態に係る情報処理装置101の動作を示すフローチャートである。
【0029】
S301では、被写体受付部204は、被写体の指定を受け付ける。詳細は後述するが、被写体受付部204は、ユーザが選択装置109を介して選択した被写体を、選択装置109から取得する。
【0030】
S302では、被写体情報取得部205は、S301で受け付けた被写体の情報を取得する。詳細は後述するが、被写体情報取得部205は、S301で選択した被写体に関して選択装置109がカメラ408による俯瞰映像に基づいて算出した被写体の位置および移動方向の情報を選択装置109から取得する(物体位置取得)。
【0031】
S303では、状態取得部201は、カメラ群108に含まれる各カメラの状態情報を取得する。ここでは、各カメラが現在配信映像を撮影しているか否かの情報を取得する。S304では、状態取得部201は、S303で取得した状態情報に基づいて、S301で受け付けた被写体を撮影する候補となる1以上のカメラを含むカメラリストを生成する。具体的には、全てのカメラ(ここではカメラ404~407)のうち現在配信映像を撮影しているカメラ(ここではカメラ407)を除外したカメラリストを生成する。
【0032】
S305では、位置情報取得部203は、カメラ群108に含まれる各カメラの位置情報を取得する(カメラ位置取得)。位置情報の取得方法は特に限定されない。例えば、各カメラの設置個所が固定されている場合は、あらかじめ位置情報を登録していてもよい。あるいは、各カメラにGPS受信機を搭載しておき、各カメラが測位を行い決定した位置情報を位置情報取得部203が取得するよう構成してもよい。
【0033】
S306では、優先度算出部206は、S304で生成したカメラリストに登録されている各カメラに対して、優先度スコアを算出する。優先度スコアの算出の詳細については後述するが、S302で取得した被写体情報とS305で取得したカメラの位置情報に基づいて優先度スコアを算出する。
【0034】
S307では、カメラ決定部207は、カメラリストに登録されているカメラの中で、優先度スコアが最大であるカメラを撮影に使用するカメラとして決定する。そして、情報処理装置101は、決定されたカメラに撮影を指示する。例えば、パン・チルト・ズーム等の撮影制御を行い映像出力を行うよう指示する。その後、切替装置111は、配信に使用するカメラを切り替える。
【0035】
<被写体の選択および被写体情報の取得>
以下では、被写体の選択処理(S301)および被写体情報の取得処理(S302)の詳細について説明する。なお、ここでは、被写体の選択処理(S301)および被写体情報の取得処理(S302)は選択装置109が実行し、情報処理装置101の被写体受付部204および被写体情報取得部205は選択装置109から情報を取得するように説明する。ただし、選択装置109と情報処理装置101を一体の装置とし、情報処理装置101がこれらの処理を直接実行する構成としてもよい。
【0036】
図5は、被写体選択のユーザインタフェース(UI)画面の一例を示す図である。
図5に示すUI画面は、選択装置109であるタブレットPCのタッチスクリーン501に表示されることを想定しているが、特に限定されない。例えば、映像を表示するモニタと入力操作を行うためのマウスが接続されている一般的なPCであってもよい。
【0037】
タッチスクリーン501には、試合が行われているフィールド401全体の様子を撮影するカメラ408による俯瞰映像が表示される。ユーザは、タッチスクリーン501に表示される映像に含まれる選手を指やスタイラスでタップすることにより被写体とすべき(新たに撮影を行う対象の)選手を指定する。選択装置109が一般的なPCの場合は、映像に含まれる選手にマウスカーソルを合わせマウスのクリックを行う。
【0038】
図6は、被写体の選択処理(S301)および被写体情報の取得(S302)に対応する選択装置109における詳細フローチャートである。
【0039】
S601では、選択装置109は、カメラ408が撮影している俯瞰映像を取得する。S602では、選択装置109は、タッチスクリーン501においてユーザによりタップされた位置を示す位置情報を算出する(位置算出)。
【0040】
S603では、選択装置109は、S602で取得した位置情報に基づいて、当該位置情報が示す位置に対応する選手のフィールドにおける位置情報を画像フレームを解析して算出する。なお、位置情報は、S305で取得されるカメラ群108の位置情報と対応付けが可能な座標系での位置情報である。また、時間軸方向に隣接する複数の画像フレームを解析することで、当該選手の移動方向を算出する(方向算出)。
【0041】
<優先度スコアの算出>
以下では、優先度スコアの算出処理(S306)の詳細について説明する。
図7は、優先度スコアの算出方法を説明する図である。
【0042】
図7(a)は、優先度スコアの算出に用いる情報を説明する図である。
図7(a)は、被写体である選手403の位置を示す座標を(x0、y0)とし、選手403の移動方向の基準線に対する角度をθaとしている。また、カメラリストに登録されている3台のカメラ(カメラ404~406)に含まれるカメラ406のカメラ位置を示す座標を(x1、y1)としている。
【0043】
図8は、優先度スコアの算出処理(S306)を示すフローチャートである。ここでは、選手403が近づいてくる映像を撮影したいケースを想定する。
【0044】
S801では、優先度算出部206は、1つのカメラを選択する。具体的にはカメラリストに登録されている中で、優先度スコアの計算を完了していないカメラを1つ選択する。
【0045】
S802では、優先度算出部206は、被写体(選手403)の位置座標とS801で選択したカメラの位置座標とに基づいて被写体とカメラの距離Lを計算する。
【0046】
S803では、優先度算出部206は、被写体(選手403)の位置座標とS801で選択したカメラの位置座標とを結ぶ線分の基準線に対する角度θbを算出する。なお、ここでは、基準線を
図7(a)の下方向としているが他の基準線を用いてもよい。
【0047】
S804では、優先度算出部206は、優先度スコアの計算を行う。優先度スコアの計算式の一例を以下に示す。
【0048】
(優先度スコア)=(α/L)+(β/|θb-θa|)
上述のように、ここでは「選手403が近づいてくる映像を撮影したい」という要求がある。そのため、優先度スコアは、被写体とカメラの距離が近いほど高いスコアとなり、また、被写体の移動方向により一致するカメラほど高いスコアとなるようなものが設定される。なお、αは距離に対する重み係数であり、βは角度に対する重み係数である。ユーザは、距離と角度のどちらの重要度を高めるかをαおよびβを設定することにより調整することが出来る。
【0049】
S805では、優先度算出部206は、カメラリストに登録されている全てのカメラについて優先度スコアを計算したかを判定する。全てのカメラについて優先度スコアの計算を完了していれば、本フローを終了する。そうでなければ、S801に戻る。
【0050】
図8(b)は、カメラリストに含まれる3台のカメラ(カメラ404~406)に対して算出した優先度スコアの一例である。なお、カメラ407は、現在映像配信に使用しているカメラであり、S304で生成されたカメラリストから除外されているため、優先度スコア算出の対象外となっている
図8(b)では、カメラ406が最も大きな優先度スコアを有するため、S307では、選手403を撮影に使用するカメラとしてカメラ406を決定する。その後、情報処理装置101は、カメラ406に対して、選手403の撮影に適したパン・チルト・ズームの制御を行い映像出力を行うよう指示する。その後、切替装置111は、配信に使用するカメラをカメラ407からカメラ406に切り替える。
【0051】
以上説明したとおり第1実施形態によれば、複数のカメラを用いた撮影において、新規の被写体を撮影する場合、現在映像配信に使用しているカメラを除外したカメラリストの中から、新規の被写体の撮影に適したカメラを選択する。この制御により、視聴者にとって違和感のある映像が配信されることを低減することが出来る。また、より迫力のある映像を視聴者に配信することが可能となる。
【0052】
(第2実施形態)
第2実施形態では、カメラリストの生成処理(S304)の他の手法について説明する。サッカーのように異なる2チームが互いのエンド(陣地)を攻めるスポーツ競技では、配信映像においてエンドの逆転(左右の反転)が発生してしまうと、視聴者にとって見苦しいものとなってしまう。そこで、第2実施形態では、エンドの逆転が発生するカメラを除外したカメラリストを生成し、撮影するカメラを決定する形態について説明する。
【0053】
図9は、第2実施形態における撮影状況を説明する図である。まず、エンドの逆転が発生するケースの具体例を、
図9(a)および
図9(b)を参照して説明する。まず、カメラ406で撮影された映像901が視聴者端末に配信されているとする。映像901においては、選手903が相手チームのエンドに向かって右方向に走っている姿がアップで映されている。
【0054】
ここで、配信する映像を、カメラ406の映像901からカメラ404の映像902に切り替えるとする。カメラ404は、カメラ406に対してフィールドの向かい側から撮影しているため、映像902においては、選手903が相手チームのエンドに向かって左方向に走っている姿がアップで映されることになる。すなわち、映像901から映像902に切り替えた場合、選手903は相手チームのエンドに向かって走り続けているにも関わらず、配信映像における「相手チームのエンド」の方向が変化(左右逆)してしまうため視聴者に戸惑いを与えてしまう。
【0055】
そこで、第2実施形態ではカメラリストの生成処理(S304)において、各カメラの位置/撮影方向を考慮してカメラリストを生成する。なお、撮影システムのハードウェア構成や情報処理装置の機能構成は第1実施形態と同様のため説明を省略する。また、情報処理装置101の全体動作についても第1実施形態と同様であるため説明を省略する。
【0056】
図10は、第2実施形態におけるカメラリストの生成処理(S304)を示すフローチャートである。
【0057】
S1001では、状態取得部201は、S303で取得した各カメラの状態情報に基づいてカメラリストを生成する。処理はS304と同様である。
【0058】
S1002では、状態取得部201は、映像配信中のカメラの位置情報を取得する。
図9の例ではカメラ406の位置情報を取得する。また、S1003では、状態取得部201は、カメラリスト内の各カメラの位置情報を取得する。
図9の例ではカメラ404、405、407の位置情報を取得する。
【0059】
S1004では、状態取得部201は、S1002で取得した位置情報とS1003で取得した各カメラの位置情報とを比較する。そして、S1002で取得したカメラの位置に対してフィールドの向かい側(反対側)にあるカメラを除外する。すなわち、映像配信中のカメラがバックスタンド側に配置されていれば、メインスタンド側のカメラを除外する。また、映像配信中のカメラがメインスタンド側に配置されていれば、バックスタンド側のカメラを除外する。したがって、カメラリストには同じサイドのカメラのみが含まれることになる。
【0060】
なお、優先度スコアの算出処理(S306)においては、被写体の位置情報を取得し、被写体に近いカメラの優先度スコアが高く計算するものとする。
【0061】
以上説明したとおり第2実施形態によれば、映像を切り替えるときに、配信映像においてエンドが逆転する状況を防ぐことが可能となる。
【0062】
(第3実施形態)
第3実施形態では、カメラリストの生成処理(S304)のさらに他の手法について説明する。上述の実施形態に従って切替後のカメラを決定する場合、「選手がゴール前でボールを持っており、ゴールが決まりそうなタイミング」などの特定の状況において弊害が発生する場合がある。例えば、上述の実施形態に従った場合、ゴール裏カメラが切替後のカメラとして決定され得る。しかし、映像制作者(スイッチャーの操作担当者など)としては、ゴール裏カメラは、ゴールした瞬間を撮影するために確保しておき、選手の撮影に割り当てたくないという場合がある。
【0063】
そこで、第3実施形態では、カメラリストから除外するカメラの指定を映像制作者であるユーザから受け付ける形態について説明する。なお、撮影システムのハードウェア構成や情報処理装置の機能構成は第1実施形態と同様のため説明を省略する。また、情報処理装置101の全体動作についても第1実施形態と同様であるため説明を省略する。
【0064】
図11は、カメラリストの生成処理(S304)を示すフローチャートである(第3実施形態)。
【0065】
S1101では、状態取得部201は、S303で取得した各カメラの状態情報に基づいてカメラリストを生成する。処理はS304と同様である。
【0066】
S1102では、状態取得部201は、カメラリストから除外すべきカメラの指定をユーザから受け付ける。S1103では、状態取得部201は、S1101で生成したカメラリストからS1202で取得したカメラを除外する。
【0067】
以上説明したとおり第3実施形態によれば、映像を切り替えるときに、カメラ決定部207が切替後のカメラとして特定のカメラ(例えばゴール裏カメラ)を選択することを防ぐことが可能となる。すなわち、特定のカメラを特定の撮影(ゴールシーンの撮影)のために確保しておくことが可能となる。
【0068】
ユーザによる具体的なカメラの指定方法は特に限定されない。例えば、選択装置109に対するタッチ操作により指定する方法でもよい。また、音声解析を利用した音声入力により指定してもよい。また、選択装置109以外の装置を介して指定を行ってもよい。
【0069】
(第4実施形態)
第4実施形態では、時間経過と被写体の位置情報を契機として、優先度スコアの算出処理および撮影に利用するカメラの決定処理を再度動作させる形態について説明する。
【0070】
上述の実施形態では、ある被写体を撮影するカメラを一度割り当てたら、そのカメラで当該被写体の撮影をし続けることになる。しかしながら、サッカーやバスケットボールなどのスポーツにおいては、被写体である選手は移動しているため、被写体となる選手を撮影し続ける場合に弊害が発生する場合がある。
【0071】
例えば、被写体を撮影するカメラが選手の視点と同じ高さに設置されているとする。その場合、被写体(特定の選手)がカメラから遠くなってしまうと、他の選手によって被写体が遮蔽されてしまう可能性が高まる。
【0072】
そこで、第4実施形態では、優先度スコアの算出およびカメラの決定を繰り返し実行し、配信に利用するカメラを更新する形態について説明する。なお、撮影システムのハードウェア構成や情報処理装置の機能構成は第1実施形態と同様のため説明を省略する。
【0073】
<装置の動作>
図12は、第4実施形態に係る情報処理装置101の動作を示すフローチャートである。ここでは、選択装置109において被写体が予め指定されており、選択装置109は被写体の位置および移動方向の情報をカメラ408による俯瞰映像に基づいて逐次算出しているものとする。
【0074】
S1201では、被写体情報取得部205は、被写体の情報を取得する。処理方法はS302と同様である。S1202では、状態取得部201は、カメラ群108に含まれる各カメラの状態情報を取得する。処理方法はS303と同様である。S1203では、状態取得部201は、S1202で取得した状態情報に基づいて、カメラリストを生成する。処理方法はS304と同様である。
【0075】
S1204では、位置情報取得部203は、カメラ群108に含まれる各カメラの位置情報を取得する。処理方法はS305と同様である。S1205では、優先度算出部206は、S1203で生成したカメラリストに登録されている各カメラに対して、優先度スコアを算出する。処理方法はS306と同様である。S1206では、カメラ決定部207は、カメラリストに登録されているカメラの中で、優先度スコアが最大であるカメラを撮影に使用するカメラとして決定する。処理方法はS307と同様である。
【0076】
S1207では、情報処理装置101は、S1206の処理後に所定時間経過したか否かを判定する。所定時間経過したと判定した場合S1208に進む。なお、所定時間は、ユーザが予め設定した任意の時間でもよいし、情報処理装置101が(例えば機械学習に基づいて)自律的に決定した時間でもよい。S1208では、被写体情報取得部205は、被写体の情報を取得する。処理方法はS302と同様である。
【0077】
S1209では、情報処理装置101は、S1202で取得した被写体の位置情報とS1208で取得した被写体の位置情報とに基づいて被写体の移動距離を算出する。そして、移動距離が所定距離以上であるか否かを判定する。所定距離以上であると判定した場合S1202に進み、そうでなければS1210に進む。なお、所定距離は、ユーザが予め設定した任意の距離でもよいし、情報処理装置101が(例えば機械学習に基づいて)自律的に決定した距離でもよい。
【0078】
S1210では、情報処理装置101は、ユーザから終了指示があったかどうかを判定する。終了指示があれば、本フローを終了する。そうでなければS1208に戻る。ユーザによる終了指示のタイミングおよび指示方法は特に限定されない。例えば、選択装置109に対するタッチ操作により指示する方法でもよい。また、音声解析を利用した音声入力により指示してもよい。また、選択装置109以外の装置を介し指示定を行ってもよい。
【0079】
以上説明したとおり第4実施形態によれば、現在の配信に利用しているカメラを決定した時点での被写体の位置から所定距離以上移動した場合に、優先度スコアの算出およびカメラの決定を再度実行する。これにより、被写体が移動した場合に、配信に利用しているカメラが更新(変更)されることになり、被写体が他の選手によって遮蔽されてしまうといった事態の発生を低減することが可能となる。
【0080】
本明細書の開示は、以下の制御装置、制御方法およびプログラムを含む。
(項目1)
配信映像を撮影するための複数のカメラを制御する制御装置であって、
配信映像における新規の被写体となる目標物体の位置を取得する物体位置取得手段と、
前記複数のカメラのそれぞれが現在配信映像を撮影しているカメラであるか否かを示す状態情報を取得する状態取得手段と、
前記状態情報に基づいて前記目標物体を撮影する候補となる1以上のカメラを含むカメラリストを生成する生成手段と、
前記カメラリストに含まれる各々のカメラの位置を取得するカメラ位置取得手段と、
前記目標物体の位置と前記カメラの位置とに基づいて、前記カメラリストに含まれる1以上のカメラの中から前記目標物体を撮影するカメラを決定する決定手段と、
を有し、
前記生成手段は、前記複数のカメラから現在配信映像を撮影しているカメラを除外した前記カメラリストを生成する
ことを特徴とする制御装置。
(項目2)
前記決定手段により決定されたカメラに対して前記目標物体を撮影するための撮影制御を行う制御手段をさらに有し、
前記撮影制御は、パン、チルト、ズームの少なくとも1つの制御を含む
ことを特徴とする項目1に記載の制御装置。
(項目3)
前記複数のカメラは、イベントが行われるイベント領域の周囲の互いに異なる位置に配置されており、
前記物体位置取得手段は、
前記複数のカメラとは異なる俯瞰カメラにより撮影された前記イベント領域の俯瞰映像に含まれる前記目標物体の指定をユーザから受け付ける受付手段と、
前記受付手段が受け付けた前記目標物体の指定と前記俯瞰映像とに基づいて前記目標物体の位置を算出する位置算出手段と、
を含む
ことを特徴とする項目1または2に記載の制御装置。
(項目4)
前記物体位置取得手段は、前記俯瞰映像に基づいて前記目標物体の移動方向を算出する方向算出手段をさらに含み、
前記決定手段は、前記カメラリストに含まれる1以上のカメラの各々について優先度スコアを算出する算出手段をさらに有し、
前記優先度スコアは、前記目標物体とカメラとの間の距離と、前記目標物体とカメラとを結ぶ線分に対する前記目標物体の移動方向の角度と、に基づいて算出され、
前記決定手段は、優先度スコアが最も高いカメラを前記目標物体を撮影するカメラとして決定する
ことを特徴とする項目3に記載の制御装置。
(項目5)
前記生成手段は、前記カメラリストから、現在配信映像を撮影しているカメラの位置と前記イベント領域に対して反対側に位置するカメラをさらに除外する
ことを特徴とする項目3または4に記載の制御装置。
(項目6)
前記生成手段は、前記カメラリストから、ユーザが指定したカメラをさらに除外する
ことを特徴とする項目3または4に記載の制御装置。
(項目7)
前記物体位置取得手段は、前記目標物体の位置を所定時間ごとに取得するよう構成されており、
前記目標物体を撮影するカメラを決定した後、前記目標物体が所定距離以上移動した場合、前記物体位置取得手段、前記生成手段、前記決定手段を再度動作させ前記目標物体を撮影するカメラを更新する更新手段をさらに有する
ことを特徴とする項目1乃至7の何れか1項目に記載の制御装置。
(項目8)
配信映像を撮影するための複数のカメラを制御する制御装置の制御方法であって、
配信映像における新規の被写体となる目標物体の位置を取得する物体位置取得工程と、
前記複数のカメラのそれぞれが現在配信映像を撮影しているカメラであるか否かを示す状態情報を取得する状態取得工程と、
前記状態情報に基づいて前記目標物体を撮影する候補となる1以上のカメラを含むカメラリストを生成する生成工程と、
前記カメラリストに含まれる各々のカメラの位置を取得するカメラ位置取得工程と、
前記目標物体の位置と前記カメラの位置とに基づいて、前記カメラリストに含まれる1以上のカメラの中から前記目標物体を撮影するカメラを決定する決定工程と、
を含み、
前記生成工程では、前記複数のカメラから現在配信映像を撮影しているカメラを除外した前記カメラリストを生成する
ことを特徴とする制御方法。
(項目9)
項目8に記載の制御方法をコンピュータに実行させるためのプログラム。
【0081】
(その他の実施例)
本開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0082】
本開示は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0083】
101 情報処理装置; 108 カメラ群; 109 選択装置; 111 切替装置; 201 状態取得部; 202 リスト生成部; 203 位置情報取得部; 204 被写体受付部; 205 被写体情報取得部; 206 優先度算出部; 207 カメラ決定部