知財求人 - 知財ポータルサイト「IP Force」
特開2023-70220カメラ操作模擬装置およびそのプログラム、ならびに、カメラ映像生成装置およびそのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023070220
(43)【公開日】2023-05-19
(54)【発明の名称】カメラ操作模擬装置およびそのプログラム、ならびに、カメラ映像生成装置およびそのプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230512BHJP
H04N 7/18 20060101ALI20230512BHJP
【ＦＩ】
H04N5/232 300
H04N7/18 U
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021182252
(22)【出願日】2021-11-09
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】▲高▼橋 康太
(72)【発明者】
【氏名】三ツ峰 秀樹
(72)【発明者】
【氏名】洗井 淳
(72)【発明者】
【氏名】三須 俊枝
【テーマコード（参考）】
5C054
5C122
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FD07
5C054HA16
5C122DA02
5C122DA21
5C122EA55
5C122FA02
5C122FA03
5C122FH04
5C122FH20
5C122FK23
5C122HA01
5C122HA13
5C122HA35
5C122HA75
5C122HA88
5C122HB01
5C122HB05
5C122HB10
(57)【要約】
【課題】カメラやカメラマンを中継現場に配置しなくても、カメラの操作を行うことが可能なカメラ操作模擬装置を提供する。
【解決手段】カメラ操作模擬装置１は、俯瞰映像を表示装置に出力する俯瞰映像出力部１１と、パン角およびチルト角とカメラの撮影空間における予め設定されたカメラ位置とから注視点を算出する注視点算出部１４と、ズーム量を視野角に変換する視野角変換部１５と、俯瞰映像のフレームから、射影変換により、注視点を中心として視野角の範囲に対応する画像をフレーム画像として生成するフレーム画像生成部１６と、操作データを俯瞰映像のフレーム番号に対応付けるフレーム対応付け部１８と、を備える。
【選択図】図２
【解決手段】カメラ操作模擬装置１は、俯瞰映像を表示装置に出力する俯瞰映像出力部１１と、パン角およびチルト角とカメラの撮影空間における予め設定されたカメラ位置とから注視点を算出する注視点算出部１４と、ズーム量を視野角に変換する視野角変換部１５と、俯瞰映像のフレームから、射影変換により、注視点を中心として視野角の範囲に対応する画像をフレーム画像として生成するフレーム画像生成部１６と、操作データを俯瞰映像のフレーム番号に対応付けるフレーム対応付け部１８と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
カメラマンによる撮影空間を仮想的に撮影するダミーカメラの操作を模擬するカメラ操作模擬装置であって、
前記撮影空間を俯瞰して撮影した俯瞰映像を外部の表示装置に出力する俯瞰映像出力部と、
前記ダミーカメラの操作データであるパン角およびチルト角と、前記ダミーカメラの前記撮影空間における予め設定されたカメラ位置とから、前記ダミーカメラの地平面における注視点を算出する注視点算出部と、
前記操作データであるズーム量を視野角に変換する視野角変換部と、
前記俯瞰映像のフレームから、前記注視点を中心として前記視野角の範囲に対応する画像をフレーム画像として生成するフレーム画像生成部と、
前記フレーム画像を前記ダミーカメラのモニタに表示するカメラ映像のフレームとして出力するカメラ映像出力部と、
前記操作データを前記俯瞰映像のフレーム番号に対応付けるフレーム対応付け部と、
を備えることを特徴とするカメラ操作模擬装置。
前記撮影空間を俯瞰して撮影した俯瞰映像を外部の表示装置に出力する俯瞰映像出力部と、
前記ダミーカメラの操作データであるパン角およびチルト角と、前記ダミーカメラの前記撮影空間における予め設定されたカメラ位置とから、前記ダミーカメラの地平面における注視点を算出する注視点算出部と、
前記操作データであるズーム量を視野角に変換する視野角変換部と、
前記俯瞰映像のフレームから、前記注視点を中心として前記視野角の範囲に対応する画像をフレーム画像として生成するフレーム画像生成部と、
前記フレーム画像を前記ダミーカメラのモニタに表示するカメラ映像のフレームとして出力するカメラ映像出力部と、
前記操作データを前記俯瞰映像のフレーム番号に対応付けるフレーム対応付け部と、
を備えることを特徴とするカメラ操作模擬装置。
【請求項2】
前記フレーム画像生成部は、
前記俯瞰映像のフレームを射影変換し、上空視点画像を生成する上空視点画像生成部と、
前記上空視点画像から前記注視点を中心として前記視野角の範囲に対応する画像を切り出して前記フレーム画像を生成するフレーム画像切り出し部と、
を備えることを特徴とする請求項１に記載のカメラ操作模擬装置。
前記俯瞰映像のフレームを射影変換し、上空視点画像を生成する上空視点画像生成部と、
前記上空視点画像から前記注視点を中心として前記視野角の範囲に対応する画像を切り出して前記フレーム画像を生成するフレーム画像切り出し部と、
を備えることを特徴とする請求項１に記載のカメラ操作模擬装置。
【請求項3】
前記フレーム対応付け部は、前記ズーム量に代えて前記視野角を前記俯瞰映像のフレーム番号に対応付けることを特徴とする請求項１または請求項２に記載のカメラ操作模擬装置。
【請求項4】
前記フレーム対応付け部は、前記ズーム量に代えて表示範囲の半値を前記俯瞰映像のフレーム番号に対応付けることを特徴とする請求項１または請求項２に記載のカメラ操作模擬装置。
【請求項5】
コンピュータを、請求項１から請求項４のいずれか一項に記載のカメラ操作模擬装置として機能させるためのカメラ操作模擬プログラム。
【請求項6】
請求項１から請求項４のいずれか一項に記載のカメラ操作模擬装置で収集された前記操作データと、前記操作データを収集した際の前記俯瞰映像とから、前記操作データを用いて切り出したカメラ映像を生成するカメラ映像生成装置であって、
前記俯瞰映像のフレームが再生開始時点から何フレーム目かを示すフレーム番号を記憶するフレーム番号記憶部と、
前記操作データから現在のフレーム番号に対応する撮影領域情報を抽出する撮影領域特定部と、
前記俯瞰映像のフレームから、前記撮影領域情報に対応する画像をフレーム画像として生成するフレーム画像生成部と、
前記フレーム画像をカメラ映像のフレームとして出力するカメラ映像出力部と、
を備えることを特徴とするカメラ映像生成装置。
前記俯瞰映像のフレームが再生開始時点から何フレーム目かを示すフレーム番号を記憶するフレーム番号記憶部と、
前記操作データから現在のフレーム番号に対応する撮影領域情報を抽出する撮影領域特定部と、
前記俯瞰映像のフレームから、前記撮影領域情報に対応する画像をフレーム画像として生成するフレーム画像生成部と、
前記フレーム画像をカメラ映像のフレームとして出力するカメラ映像出力部と、
を備えることを特徴とするカメラ映像生成装置。
【請求項7】
前記フレーム画像生成部は、
前記俯瞰映像のフレームから、射影変換により上空視点画像を生成する上空視点画像生成部と、
前記上空視点画像から前記撮影領域情報に基づいて画像を切り出して前記フレーム画像を生成するフレーム画像切り出し部と、
を備えることを特徴とする請求項６に記載のカメラ映像生成装置。
前記俯瞰映像のフレームから、射影変換により上空視点画像を生成する上空視点画像生成部と、
前記上空視点画像から前記撮影領域情報に基づいて画像を切り出して前記フレーム画像を生成するフレーム画像切り出し部と、
を備えることを特徴とする請求項６に記載のカメラ映像生成装置。
【請求項8】
前記撮影領域情報は、注視点と視野角の情報であることを特徴とする請求項６または請求項７に記載のカメラ映像生成装置。
【請求項9】
コンピュータを、請求項６から請求項８のいずれか一項に記載のカメラ映像生成装置として機能させるためのカメラ映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ操作模擬装置およびそのプログラム、ならびに、カメラ映像生成装置およびそのプログラムに関する。
【背景技術】
【0002】
スポーツ番組制作において、カメラ（撮像装置）の操作に関するノウハウの習得には中継番組での豊富な経験が必要である。しかし、熟練したカメラマンの人的リソースは限られている。また、中継現場では、低コストで効率よく、かつ、高品質な番組制作が求められている。これらの理由から、カメラ操作のノウハウを備えたＡＩ（Artificial intelligence：人工知能）ロボットカメラによるカメラワークの自動化が求められている。
【0003】
非特許文献１には、中継番組に携わるカメラマンのカメラ操作データと測定対象(選手、ボール等)の情報を収集し学習させることによって、カメラワークの自動生成を行う手法が記載されている。
この手法は、撮影対象の情報（競技フィールド全体）を撮影するためのセンサカメラと、カメラ操作データ（カメラのパン角およびチルト角、ズームリングの回転量）を取得するための雲台およびカメラとを中継現場に設置し、実際にカメラマンがカメラを操作することで、カメラワークに伴う操作データを学習データとして収集している。
この手法は、撮影対象の情報（競技フィールド全体）を撮影するためのセンサカメラと、カメラ操作データ（カメラのパン角およびチルト角、ズームリングの回転量）を取得するための雲台およびカメラとを中継現場に設置し、実際にカメラマンがカメラを操作することで、カメラワークに伴う操作データを学習データとして収集している。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】荒井敦志ら，“サッカー中継における熟練カメラマンのカメラワーク推定”，電子情報通信学会技術研究報告，vol.119，No.447，pp.23-28，2020年2月26日発行
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１に記載の手法は、カメラを中継現場に設置する準備に時間と手間がかかるとともに、中継現場にカメラマンを配置するため、カメラマンを長時間拘束することになる。
そこで、実際に撮影する現場にカメラやカメラマンを配置しなくても、効率的にカメラの操作データを収集する手法が望まれていた。
また、実際に撮影する現場に行かなくても、カメラマンの撮影スキルを向上させる手法が望まれていた。
そこで、実際に撮影する現場にカメラやカメラマンを配置しなくても、効率的にカメラの操作データを収集する手法が望まれていた。
また、実際に撮影する現場に行かなくても、カメラマンの撮影スキルを向上させる手法が望まれていた。
【0006】
本発明は、このような要望に鑑みてなされたもので、カメラやカメラマンを中継現場に配置しなくても、カメラの操作を行うことが可能なカメラ操作模擬装置およびそのプログラム、ならびに、カメラ操作を行った操作データにより再生されるカメラ映像を生成することが可能なカメラ映像生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係るカメラ操作模擬装置は、カメラマンによる撮影空間を仮想的に撮影するダミーカメラの操作データを模擬するカメラ操作模擬装置であって、俯瞰映像出力部と、注視点算出部と、視野角変換部と、フレーム画像生成部と、フレーム対応付け部と、を備える構成とした。
【0008】
かかる構成において、カメラ操作模擬装置は、俯瞰映像出力部によって、撮影空間を俯瞰して撮影した俯瞰映像を外部の表示装置に出力する。これによって、カメラマンは、撮影空間の全体像を表示装置に表示された映像で確認することができる。
【0009】
また、カメラ操作模擬装置は、注視点算出部によって、ダミーカメラの操作データであるパン角およびチルト角と、ダミーカメラの撮影空間における予め設定されたカメラ位置とから、ダミーカメラの地平面における注視点を算出する。
さらに、カメラ操作模擬装置は、視野角変換部によって、操作データであるズーム量を予めズーム量に対応付けた視野角に変換する。
この注視点と視野角とによって、ダミーカメラが撮影空間を撮影した際の撮影領域が特定されることになる。
さらに、カメラ操作模擬装置は、視野角変換部によって、操作データであるズーム量を予めズーム量に対応付けた視野角に変換する。
この注視点と視野角とによって、ダミーカメラが撮影空間を撮影した際の撮影領域が特定されることになる。
【0010】
そして、カメラ操作模擬装置は、フレーム画像生成部によって、俯瞰映像のフレームから、注視点を中心として視野角の範囲に対応する画像をフレーム画像として生成する。
そして、カメラ操作模擬装置は、カメラ映像出力部によって、フレーム画像をダミーカメラのモニタに表示するカメラ映像のフレームとして出力する。
これによって、カメラマンは、自身が操作するダミーカメラの映像を確認することができる。
そして、カメラ操作模擬装置は、カメラ映像出力部によって、フレーム画像をダミーカメラのモニタに表示するカメラ映像のフレームとして出力する。
これによって、カメラマンは、自身が操作するダミーカメラの映像を確認することができる。
【0011】
そして、カメラ操作模擬装置は、フレーム対応付け部によって、操作データを俯瞰映像のフレーム番号に対応付ける。
これによって、カメラ操作模擬装置は、カメラマンが俯瞰映像とダミーカメラの映像とを確認しながらカメラ操作を行うことができ、その操作時の操作データをフレーム番号に対応付けて収集することができる。
これによって、カメラ操作模擬装置は、カメラマンが俯瞰映像とダミーカメラの映像とを確認しながらカメラ操作を行うことができ、その操作時の操作データをフレーム番号に対応付けて収集することができる。
【0012】
なお、カメラ操作模擬装置は、コンピュータを、前記した各手段として機能させるためのカメラ操作模擬プログラムで動作させることができる。
【0013】
また、前記課題を解決するため、本発明に係るカメラ映像生成装置は、カメラ操作模擬装置で収集された操作データと、前記操作データを収集した際の俯瞰映像とから、前記操作データを用いて切り出したカメラ映像を生成するカメラ映像生成装置であって、フレーム番号記憶部と、撮影領域特定部と、フレーム画像生成部と、カメラ映像出力部と、を備える構成とした。
【0014】
かかる構成において、カメラ映像生成装置は、俯瞰映像のフレームが再生開始時点から何フレーム目かを示すフレーム番号をフレーム番号記憶部に記憶しておく。
そして、カメラ映像生成装置は、撮影領域特定部によって、操作データから現在のフレーム番号に対応する撮影領域情報を抽出する。
そして、カメラ映像生成装置は、フレーム画像生成部によって、 俯瞰映像のフレームから、撮影領域情報に対応する画像をフレーム画像として生成する。
そして、カメラ映像生成装置は、撮影領域特定部によって、操作データから現在のフレーム番号に対応する撮影領域情報を抽出する。
そして、カメラ映像生成装置は、フレーム画像生成部によって、 俯瞰映像のフレームから、撮影領域情報に対応する画像をフレーム画像として生成する。
【0015】
そして、カメラ映像生成装置は、カメラ映像出力部によって、フレーム画像をカメラ映像のフレームとして出力する。
これによって、カメラ映像生成装置は、俯瞰映像から、カメラマンが操作した操作データよって撮影されたカメラ映像を生成することができる。
これによって、カメラ映像生成装置は、俯瞰映像から、カメラマンが操作した操作データよって撮影されたカメラ映像を生成することができる。
【0016】
なお、カメラ映像生成装置は、コンピュータを、前記した各手段として機能させるためのカメラ映像生成プログラムで動作させることができる。
【発明の効果】
【0017】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、カメラマンが俯瞰映像とカメラ映像とを確認して、ダミーカメラを操作することができるとともに、ダミーカメラの操作データを収集することができる。
これによって、本発明は、カメラやカメラマンを中継現場に配置しなくても、カメラの操作データを収集することができる。
また、本発明によれば、現場に行かなくても、疑似的にカメラ操作を行うことができ、カメラマンの撮影スキルを向上させることができる。
また、本発明によれば、俯瞰映像と収集したカメラの操作データとから、操作データによって撮影されるカメラ映像を生成することができる。
これよって、本発明は、収集した操作データから、高品質な映像が再生されるか否かを確認することができる。
本発明によれば、カメラマンが俯瞰映像とカメラ映像とを確認して、ダミーカメラを操作することができるとともに、ダミーカメラの操作データを収集することができる。
これによって、本発明は、カメラやカメラマンを中継現場に配置しなくても、カメラの操作データを収集することができる。
また、本発明によれば、現場に行かなくても、疑似的にカメラ操作を行うことができ、カメラマンの撮影スキルを向上させることができる。
また、本発明によれば、俯瞰映像と収集したカメラの操作データとから、操作データによって撮影されるカメラ映像を生成することができる。
これよって、本発明は、収集した操作データから、高品質な映像が再生されるか否かを確認することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係るカメラ操作模擬装置を含む学習データ収集システムの全体構成示す概要図である。
【図2】本発明の実施形態に係るカメラ操作模擬装置の構成を示すブロック構成図である。
【図3】撮影空間の座標系とカメラ位置との関係を示すとともに、パン角を説明するための説明図である。
【図4】撮影空間の座標系とカメラ位置との関係を示すとともに、チルト角を説明するための説明図である。
【図6】本発明の実施形態に係るカメラ操作模擬装置の動作を示すフローチャートである。
【図8】本発明の実施形態に係るカメラ映像生成装置の構成を示すブロック構成図である。
【図9】本発明の実施形態に係るカメラ映像生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について図面を参照して説明する。
［学習データ収集システムの構成］
最初に、図１を参照して、本発明の実施形態に係るカメラ操作模擬装置１を含む学習データ収集システム１００の構成について説明する。
［学習データ収集システムの構成］
最初に、図１を参照して、本発明の実施形態に係るカメラ操作模擬装置１を含む学習データ収集システム１００の構成について説明する。
【0020】
学習データ収集システム１００は、カメラマンＭが撮影対象を撮影する際のダミーカメラ３に対する操作データを、ＡＩロボットカメラ（不図示）の機械学習用の学習データとして収集するものである。
学習データ収集システム１００は、カメラ操作模擬装置１と、雲台２と、ダミーカメラ３と、表示装置４と、を備える。
学習データ収集システム１００は、カメラ操作模擬装置１と、雲台２と、ダミーカメラ３と、表示装置４と、を備える。
【0021】
カメラ操作模擬装置１は、カメラマンＭによるダミーカメラ３の操作データを収集するものである。カメラ操作模擬装置１は、撮影対象をすべて含んだ俯瞰映像を表示装置４に出力するとともに、ダミーカメラ３に対する操作データに基づいて俯瞰映像から切り出したカメラ映像をダミーカメラ３に出力し、操作データを学習データとして収集する。
なお、カメラ操作模擬装置１は、カメラマンＭが熟練したカメラマンでない場合には、カメラ操作を習熟するための装置としても機能する。
なお、カメラ操作模擬装置１は、カメラマンＭが熟練したカメラマンでない場合には、カメラ操作を習熟するための装置としても機能する。
【0022】
俯瞰映像は、カメラワークによる撮影対象を俯瞰して撮影した映像である。例えば、サッカー競技を撮影対象とした場合、俯瞰映像は、中継現場でフィールド全体を俯瞰して見渡せるようなスタンドや放送席等の高い位置から撮影した映像（フィールド映像）である。
俯瞰映像は、１台のカメラ（放送カメラ）で撮影したものに限らない。例えば、俯瞰映像は、複数台のカメラで撮影対象を部分的に撮影した映像をスティッチング処理で繋げた映像でもよい。また、俯瞰映像は、１台の全天球カメラで撮影し、カメラワークによる撮影対象を抽出した映像でもよい。以下、俯瞰映像を、サッカーのフィールド全体を撮影したフィールド映像として説明する。
俯瞰映像は、１台のカメラ（放送カメラ）で撮影したものに限らない。例えば、俯瞰映像は、複数台のカメラで撮影対象を部分的に撮影した映像をスティッチング処理で繋げた映像でもよい。また、俯瞰映像は、１台の全天球カメラで撮影し、カメラワークによる撮影対象を抽出した映像でもよい。以下、俯瞰映像を、サッカーのフィールド全体を撮影したフィールド映像として説明する。
【0023】
カメラ操作模擬装置１は、収録済みの俯瞰映像をフレームごとに表示装置４に出力する。また、カメラ操作模擬装置１は、俯瞰映像の各フレームから、雲台２の操作データに基づいて撮影範囲となる画像を切り出し、カメラ映像として、ダミーカメラ３のモニタ３１に出力する、
なお、カメラ操作模擬装置１の詳細な構成および動作については、後記する。
なお、カメラ操作模擬装置１の詳細な構成および動作については、後記する。
【0024】
雲台２は、ダミーカメラ３を載置し、ダミーカメラ３のパン角、チルト角およびズームリングの回転量（以下、ズーム量）を検知するロータリーエンコーダ付きのカメラ載置台である。
雲台２は、検知したパン角、チルト角およびズーム量をダミーカメラ３の操作データとして、カメラ操作模擬装置１に出力する。
雲台２は、検知したパン角、チルト角およびズーム量をダミーカメラ３の操作データとして、カメラ操作模擬装置１に出力する。
【0025】
ダミーカメラ３は、モニタ（ビューファインダ）３１を備え、カメラマンＭがカメラワークを行い、撮影空間を仮想的に撮影する撮像装置である。
なお、ダミーカメラ３は、実際の撮影は行わず、カメラ操作模擬装置１から入力されるカメラ映像Ｐｃをモニタ３１に表示する。カメラ映像Ｐｃは、俯瞰映像Ｐｆの撮影空間をカメラマンＭのカメラワークによって仮想的に撮影された映像である。
なお、ダミーカメラ３は、実際の撮影は行わず、カメラ操作模擬装置１から入力されるカメラ映像Ｐｃをモニタ３１に表示する。カメラ映像Ｐｃは、俯瞰映像Ｐｆの撮影空間をカメラマンＭのカメラワークによって仮想的に撮影された映像である。
【0026】
表示装置４は、カメラ操作模擬装置１から入力される俯瞰映像Ｐｆを表示するものである。表示装置４は、カメラマンＭがダミーカメラ３のモニタ３１と対比して確認できるように、大型モニタが好ましい。また、表示装置４は、スクリーンに投影する投影装置であっても構わない。また、表示装置４は、カメラマンＭが、モニタ３１の映像と対比して確認できれば、俯瞰映像をＶＲ（Virtual Reality）映像として表示する透過型のヘッドマウントディスプレイでも構わない。
【0027】
以上のように構成することで、学習データ収集システム１００は、カメラマンＭがモニタ３１のカメラ映像Ｐｃと表示装置４の俯瞰映像Ｐｆとを対比して、ダミーカメラ３の操作を行った操作データがカメラ操作模擬装置１で収集されることになる。
以下、カメラ操作模擬装置１の詳細な構成および動作について説明する。
以下、カメラ操作模擬装置１の詳細な構成および動作について説明する。
【0028】
［カメラ操作模擬装置の構成］
まず、図２を参照（適宜図１参照）して、本発明の実施形態に係るカメラ操作模擬装置１の構成について説明する。
カメラ操作模擬装置１は、俯瞰映像取得部１０と、俯瞰映像出力部１１と、フレーム番号記憶部１２と、操作データ取得部１３と、注視点算出部１４と、視野角変換部１５と、フレーム画像生成部１６と、カメラ映像出力部１７と、フレーム対応付け部１８と、フレーム番号付き操作データ記憶部１９と、を備える。
まず、図２を参照（適宜図１参照）して、本発明の実施形態に係るカメラ操作模擬装置１の構成について説明する。
カメラ操作模擬装置１は、俯瞰映像取得部１０と、俯瞰映像出力部１１と、フレーム番号記憶部１２と、操作データ取得部１３と、注視点算出部１４と、視野角変換部１５と、フレーム画像生成部１６と、カメラ映像出力部１７と、フレーム対応付け部１８と、フレーム番号付き操作データ記憶部１９と、を備える。
【0029】
俯瞰映像取得部１０は、俯瞰映像を取得するものである。なお、俯瞰映像に、音声（例えば、声援、ホイッスルの音等のスタジアムの音声、実況音声等）が付加されている場合、俯瞰映像取得部１０は、音声とともに俯瞰映像を取得する。
俯瞰映像取得部１０は、例えば、複数の俯瞰映像（映像データファイル）から、指定された俯瞰映像のフレームレートｆ［ｆｐｓ］を取得し、１／ｆの周期で、予め設定された再生開始フレームから再生終了フレームまで、順次、フレーム単位で俯瞰映像から取得する。もちろん、俯瞰映像取得部１０は、再生開始フレームおよび再生終了フレームが設定されていない場合、先頭フレームから最終フレームまでを順次俯瞰映像から取得することとしてもよい。
俯瞰映像取得部１０は、取得したフレームを俯瞰映像出力部１１と、フレーム画像生成部１６とに出力し、再生開始時点から何フレーム目かを示すフレーム番号をフレーム番号記憶部１２に記憶する。
俯瞰映像取得部１０は、例えば、複数の俯瞰映像（映像データファイル）から、指定された俯瞰映像のフレームレートｆ［ｆｐｓ］を取得し、１／ｆの周期で、予め設定された再生開始フレームから再生終了フレームまで、順次、フレーム単位で俯瞰映像から取得する。もちろん、俯瞰映像取得部１０は、再生開始フレームおよび再生終了フレームが設定されていない場合、先頭フレームから最終フレームまでを順次俯瞰映像から取得することとしてもよい。
俯瞰映像取得部１０は、取得したフレームを俯瞰映像出力部１１と、フレーム画像生成部１６とに出力し、再生開始時点から何フレーム目かを示すフレーム番号をフレーム番号記憶部１２に記憶する。
【0030】
俯瞰映像出力部１１は、撮影空間を俯瞰して撮影した俯瞰映像を外部の表示装置４（図１参照）等に出力するものである。
俯瞰映像出力部１１は、俯瞰映像取得部１０で順次取得されるフレームを、俯瞰映像取得部１０で取得したフレームレートｆで順次切り替えて出力することで、俯瞰映像を出力する。なお、俯瞰映像に音声が付加されている場合、俯瞰映像出力部１１は、音声も外部の表示装置４（図１参照）等に出力する。もちろん、俯瞰映像出力部１１は、表示装置４以外の別途用意したスピーカに音声を出力することとしてもよい。
俯瞰映像出力部１１は、俯瞰映像取得部１０で順次取得されるフレームを、俯瞰映像取得部１０で取得したフレームレートｆで順次切り替えて出力することで、俯瞰映像を出力する。なお、俯瞰映像に音声が付加されている場合、俯瞰映像出力部１１は、音声も外部の表示装置４（図１参照）等に出力する。もちろん、俯瞰映像出力部１１は、表示装置４以外の別途用意したスピーカに音声を出力することとしてもよい。
【0031】
フレーム番号記憶部１２は、俯瞰映像の再生開始時点から何フレーム目かを示すフレーム番号を記憶するものである。このフレーム番号記憶部１２は、半導体メモリ等の一般的な記憶媒体で構成することができる。
フレーム番号記憶部１２は、俯瞰映像取得部１０によってフレーム番号が更新され、フレーム対応付け部１８によってフレーム番号が参照される。
フレーム番号記憶部１２は、俯瞰映像取得部１０によってフレーム番号が更新され、フレーム対応付け部１８によってフレーム番号が参照される。
【0032】
操作データ取得部１３は、雲台２から、ダミーカメラ３のパン角、チルト角およびズーム量をダミーカメラ３の操作データとして取得するものである。
操作データ取得部１３は、取得したパン角およびチルト角を注視点算出部１４に出力し、取得したズーム量を視野角変換部１５に出力する。
操作データ取得部１３は、取得したパン角およびチルト角を注視点算出部１４に出力し、取得したズーム量を視野角変換部１５に出力する。
【0033】
注視点算出部１４は、操作データ取得部１３で取得された操作データである雲台２のパン角およびチルト角と、ダミーカメラ３の撮影空間における予め設定されたカメラ位置とから、ダミーカメラ３の地平面（フィールド平面）における注視点を算出するものである。
なお、ダミーカメラ３のカメラ位置は、フィールドの座標系（世界座標系）における位置として予め設定されるものとする。
なお、ダミーカメラ３のカメラ位置は、フィールドの座標系（世界座標系）における位置として予め設定されるものとする。
【0034】
例えば、図３，図４に示すように、サッカー競技場のフィールド中央（センターサークルの中心）を原点Ｏとし、フィールドの長手方向をＸ軸、短手方向をＹ軸、高さ方向をＺ軸とする。フィールド平面は、Ｚ＝０の平面とする。
ここで、パン角をα［°］、チルト角をδ［°］、ダミーカメラ３のカメラ位置を（ｔｘ，ｔｙ，ｔｚ）とする。注視点算出部１４は、ダミーカメラ３の光軸とフィールド平面（Ｘ，Ｙ，０）とが交わる点を注視点（Ｃｘ，Ｃｙ，０）とし、Ｃｘ，Ｃｙを、以下の式（１），式（２）により算出する。
ここで、パン角をα［°］、チルト角をδ［°］、ダミーカメラ３のカメラ位置を（ｔｘ，ｔｙ，ｔｚ）とする。注視点算出部１４は、ダミーカメラ３の光軸とフィールド平面（Ｘ，Ｙ，０）とが交わる点を注視点（Ｃｘ，Ｃｙ，０）とし、Ｃｘ，Ｃｙを、以下の式（１），式（２）により算出する。
【0035】
【数1】
【0036】
なお、パン角αは、雲台２の正面方向をＹ軸と平行としたときの正面を０°とし、右方向を正、左方向を負とした角度である。チルト角δは、フィールド平面と水平な角度を０°とし、上向きを正、下向きを負とした角度である。
この注視点（Ｃｘ，Ｃｙ，０）は、ダミーカメラ３で撮影された範囲のフィールド平面上の中心座標となる。
注視点算出部１４は、算出した注視点（Ｃｘ，Ｃｙ，０）をフレーム画像生成部１６に出力し、パン角およびチルト角をフレーム対応付け部１８に出力する。
この注視点（Ｃｘ，Ｃｙ，０）は、ダミーカメラ３で撮影された範囲のフィールド平面上の中心座標となる。
注視点算出部１４は、算出した注視点（Ｃｘ，Ｃｙ，０）をフレーム画像生成部１６に出力し、パン角およびチルト角をフレーム対応付け部１８に出力する。
【0037】
視野角変換部１５は、操作データ取得部１３で取得された操作データであるズーム量を、このズーム量に予め対応付けた視野角に変換するものである。
ズーム量と視野角との関係は、予めＬＵＴ（ルックアップテーブル）に記憶しておけばよい。なお、ズーム量から視野角への変換はＬＵＴに限定されず、数値演算によって変換することとしてもよい。
視野角変換部１５は、ＬＵＴからズーム量に対応する視野角を取得することで、ズーム量を視野角に変換する。
視野角変換部１５は、変換後の視野角を、フレーム画像生成部１６およびフレーム対応付け部１８に出力する。
ズーム量と視野角との関係は、予めＬＵＴ（ルックアップテーブル）に記憶しておけばよい。なお、ズーム量から視野角への変換はＬＵＴに限定されず、数値演算によって変換することとしてもよい。
視野角変換部１５は、ＬＵＴからズーム量に対応する視野角を取得することで、ズーム量を視野角に変換する。
視野角変換部１５は、変換後の視野角を、フレーム画像生成部１６およびフレーム対応付け部１８に出力する。
【0038】
フレーム画像生成部１６は、俯瞰映像のフレームから、注視点を中心として視野角の範囲に対応する画像をフレーム画像として生成するものである。ここでは、フレーム画像生成部１６は、上空視点画像生成部１６０と、フレーム画像切り出し部１６１と、を備える。
【0039】
上空視点画像生成部１６０は、俯瞰映像のフレームから、射影変換により上空視点画像を生成するものである。
上空視点画像生成部１６０は、例えば、図５に示すように、フレームＦ内のサッカーコートの各コーナーの４頂点（Ｐ１，Ｐ２，Ｐ３，Ｐ４）を、サッカーコートの予め定めた縦横比（ゴールラインの長さとタッチラインの長さの比）の矩形の４頂点（Ｐ５，Ｐ６，Ｐ７，Ｐ８）となるように、射影変換を行うことで、サッカーフィールドを真上から見た画像（上空視点画像Ｕ）を生成する。なお、図５では、選手の図示を省略している。
このフレームＦ内のサッカーコートのコーナーの４頂点（Ｐ１，Ｐ２，Ｐ３，Ｐ４）は、例えば、Ｈａｒｒｉｓ、Ｓｔｅｐｈｅｎｓ等の一般的なコーナー検出アルゴリズムを用いて検出することができる。
上空視点画像生成部１６０は、生成した上空視点画像を、フレーム画像切り出し部１６１に出力する。
上空視点画像生成部１６０は、例えば、図５に示すように、フレームＦ内のサッカーコートの各コーナーの４頂点（Ｐ１，Ｐ２，Ｐ３，Ｐ４）を、サッカーコートの予め定めた縦横比（ゴールラインの長さとタッチラインの長さの比）の矩形の４頂点（Ｐ５，Ｐ６，Ｐ７，Ｐ８）となるように、射影変換を行うことで、サッカーフィールドを真上から見た画像（上空視点画像Ｕ）を生成する。なお、図５では、選手の図示を省略している。
このフレームＦ内のサッカーコートのコーナーの４頂点（Ｐ１，Ｐ２，Ｐ３，Ｐ４）は、例えば、Ｈａｒｒｉｓ、Ｓｔｅｐｈｅｎｓ等の一般的なコーナー検出アルゴリズムを用いて検出することができる。
上空視点画像生成部１６０は、生成した上空視点画像を、フレーム画像切り出し部１６１に出力する。
【0040】
フレーム画像切り出し部１６１は、上空視点画像生成部１６０で生成された上空視点画像から、注視点算出部１４で算出された注視点を中心として、視野角変換部１５で変換された視野角の範囲に対応する画像を切り出して、ダミーカメラ３のカメラ映像のフレームとなるフレーム画像を生成するものである。
フレーム画像切り出し部１６１は、上空視点画像を、図３，図４に示したフィールドの座標系におけるフィールド平面（Ｚ＝０）の画像とし、ダミーカメラ３の注視点（Ｃｘ，Ｃｙ，０）に対して、カメラ位置（ｔｘ，ｔｙ，ｔｚ）から視野角の範囲の画像を切り出し、予め定めたアスペクト比のフレームの画像（フレーム画像）に射影変換する。
フレーム画像切り出し部１６１は、生成したフレーム画像をカメラ映像出力部１７に出力する。
フレーム画像切り出し部１６１は、上空視点画像を、図３，図４に示したフィールドの座標系におけるフィールド平面（Ｚ＝０）の画像とし、ダミーカメラ３の注視点（Ｃｘ，Ｃｙ，０）に対して、カメラ位置（ｔｘ，ｔｙ，ｔｚ）から視野角の範囲の画像を切り出し、予め定めたアスペクト比のフレームの画像（フレーム画像）に射影変換する。
フレーム画像切り出し部１６１は、生成したフレーム画像をカメラ映像出力部１７に出力する。
【0041】
ここでは、フレーム画像生成部１６は、上空視点画像生成部１６０によって、俯瞰映像のフレームを上空視点画像に射影変換した後、フレーム画像切り出し部１６１によって、注視点および視野角によりフレーム画像を切り出すこととした。しかし、フレーム画像生成部１６は、上空視点画像を生成せずに、射影変換と切り出しの処理とを一度の演算で行うこととしてもよい。
【0042】
カメラ映像出力部１７は、フレーム画像生成部１６で生成されるフレーム画像をカメラ映像として、ダミーカメラ３に出力するものである。
カメラ映像出力部１７は、フレーム画像を、順次、俯瞰映像と同じフレームレートｆで切り替えることで、カメラ映像として出力する。
これによって、カメラ映像出力部１７は、俯瞰映像に対応して、ダミーカメラ３のモニタ３１に表示するカメラ映像を出力することができる。そして、カメラマンは、カメラ映像でフィールド上のどの場所を撮影しているのかを確認しながらダミーカメラ３を操作することができる。
カメラ映像出力部１７は、フレーム画像を、順次、俯瞰映像と同じフレームレートｆで切り替えることで、カメラ映像として出力する。
これによって、カメラ映像出力部１７は、俯瞰映像に対応して、ダミーカメラ３のモニタ３１に表示するカメラ映像を出力することができる。そして、カメラマンは、カメラ映像でフィールド上のどの場所を撮影しているのかを確認しながらダミーカメラ３を操作することができる。
【0043】
フレーム対応付け部１８は、操作データを俯瞰映像のフレーム番号に対応付けるものである。
ここでは、フレーム対応付け部１８は、操作データとして、パン角およびチルト角と視野角とを、現在のフレーム番号に対応付けて、フレーム番号付き操作データ記憶部１９に記憶する。
ここでは、フレーム対応付け部１８は、操作データとして、パン角およびチルト角と視野角とを、現在のフレーム番号に対応付けて、フレーム番号付き操作データ記憶部１９に記憶する。
【0044】
なお、ここでは、操作データとして視野角を含ませることとしたが、ＡＩロボットカメラ（不図示）を機械学習するための学習データであれば、視野角に限定されない。
例えば、フレーム対応付け部１８は、非特許文献１に記載のように、視野角の代わりに、ダミーカメラ３の水平方向の表示範囲の半値を操作データとして対応付けてもよい。
その場合、フレーム対応付け部１８は、図３，図４に示したフィールドの座標系において、ダミーカメラ３のレンズ主点から注視点（Ｃｘ，Ｃｙ，０）までの光軸長をＬ、視野角をθとしたとき、ダミーカメラ３の水平方向の表示範囲の半値Ｃｓを、以下の式（３）で算出することができる。
例えば、フレーム対応付け部１８は、非特許文献１に記載のように、視野角の代わりに、ダミーカメラ３の水平方向の表示範囲の半値を操作データとして対応付けてもよい。
その場合、フレーム対応付け部１８は、図３，図４に示したフィールドの座標系において、ダミーカメラ３のレンズ主点から注視点（Ｃｘ，Ｃｙ，０）までの光軸長をＬ、視野角をθとしたとき、ダミーカメラ３の水平方向の表示範囲の半値Ｃｓを、以下の式（３）で算出することができる。
【0045】
【数2】
【0046】
もちろん、フレーム対応付け部１８は、操作データとして、ダミーカメラ３の操作データそのもの、すなわち、パン角、チルド角およびズーム量を現在のフレーム番号に対応付けることとしてもよい。また、フレーム対応付け部１８は、操作データとして、注視点算出部１４で算出された注視点を加えることとしてもよい。
【0047】
フレーム番号付き操作データ記憶部１９は、フレーム対応付け部１８でフレーム番号に対応付けられた操作データを記憶するものである。このフレーム番号付き操作データ記憶部１９は、半導体メモリ等の一般的な記憶媒体で構成することができる。
以上のように構成することで、カメラ操作模擬装置１は、俯瞰映像からカメラワークに対応した映像をカメラ映像として切り出するとともに、ダミーカメラ３の操作データを収集することができる。
また、カメラ操作模擬装置１は、カメラマンＭのカメラ操作を習熟させる装置としても機能する。
なお、カメラ操作模擬装置１は、コンピュータを、前記した各部として機能させるためのプログラム（カメラ操作模擬プログラム）で動作させることができる。
以上のように構成することで、カメラ操作模擬装置１は、俯瞰映像からカメラワークに対応した映像をカメラ映像として切り出するとともに、ダミーカメラ３の操作データを収集することができる。
また、カメラ操作模擬装置１は、カメラマンＭのカメラ操作を習熟させる装置としても機能する。
なお、カメラ操作模擬装置１は、コンピュータを、前記した各部として機能させるためのプログラム（カメラ操作模擬プログラム）で動作させることができる。
【0048】
【0049】
ステップＳ１において、カメラ操作模擬装置１は、外部から指定されるカメラワークを行う対象となるダミーカメラ３の世界座標系におけるカメラ位置（ｔｘ，ｔｙ，ｔｚ）（図３，図４参照）を内部メモリに設定する。
ステップＳ２において、カメラ操作模擬装置１は、外部から指定される俯瞰映像のファイル名等の識別情報を内部メモリに設定する。
ステップＳ３において、カメラ操作模擬装置１は、ステップＳ２で指定された俯瞰映像を再生する開始フレーム番号ｓと終了フレーム番号ｅとを外部から指定され、内部メモリに設定する。なお、カメラ操作模擬装置１は、フレーム番号の代わりに、俯瞰映像を再生する時間（再生開始時間，再生終了時間）を指定されることとしてもよい。その場合、俯瞰映像の開始フレームおよび終了フレームは、フレームレートから算出することができる。
ステップＳ２において、カメラ操作模擬装置１は、外部から指定される俯瞰映像のファイル名等の識別情報を内部メモリに設定する。
ステップＳ３において、カメラ操作模擬装置１は、ステップＳ２で指定された俯瞰映像を再生する開始フレーム番号ｓと終了フレーム番号ｅとを外部から指定され、内部メモリに設定する。なお、カメラ操作模擬装置１は、フレーム番号の代わりに、俯瞰映像を再生する時間（再生開始時間，再生終了時間）を指定されることとしてもよい。その場合、俯瞰映像の開始フレームおよび終了フレームは、フレームレートから算出することができる。
【0050】
ステップＳ４において、カメラ操作模擬装置１は、ダミーカメラ３のズーム量と視野角との対応を示すＬＵＴ（ルックアップテーブル）を内部メモリに設定する。
ステップＳ５において、カメラ操作模擬装置１は、フレームをカウントする変数ｉを“０”に初期化する。
以上の初期設定の後、カメラ操作模擬装置１は、各部によって以下の動作を行う。
ステップＳ５において、カメラ操作模擬装置１は、フレームをカウントする変数ｉを“０”に初期化する。
以上の初期設定の後、カメラ操作模擬装置１は、各部によって以下の動作を行う。
【0051】
ステップＳ６において、俯瞰映像取得部１０は、ステップＳ２で設定した俯瞰映像のファイルから、俯瞰映像のフレームレートｆ［ｆｐｓ］を取得する。
ステップＳ７において、俯瞰映像取得部１０は、現在時刻を変数である処理開始時間ｔｓ［ｓ］に記録する。
ステップＳ７において、俯瞰映像取得部１０は、現在時刻を変数である処理開始時間ｔｓ［ｓ］に記録する。
【0052】
ステップＳ８において、カメラ操作模擬装置１は、俯瞰映像のフレームごとの処理（フレーム区間処理）を行う。
ここで、図７を参照して、フレーム区間処理の動作について説明する。
ここで、図７を参照して、フレーム区間処理の動作について説明する。
【0053】
以下のステップＳ２０からＳ２３までの処理とステップＳ２４からＳ２６までの処理とは並列に実施される。
ステップＳ２０において、俯瞰映像取得部１０は、ステップＳ２で設定された俯瞰映像から（ｓ＋ｉ）番目のフレームを取得する。
ステップＳ２１において、俯瞰映像取得部１０は、俯瞰映像の再生開始時点からのフレーム番号として、（ｓ＋ｉ）をフレーム番号記憶部１２に記憶する。
ステップＳ２０において、俯瞰映像取得部１０は、ステップＳ２で設定された俯瞰映像から（ｓ＋ｉ）番目のフレームを取得する。
ステップＳ２１において、俯瞰映像取得部１０は、俯瞰映像の再生開始時点からのフレーム番号として、（ｓ＋ｉ）をフレーム番号記憶部１２に記憶する。
【0054】
以下のステップＳ２２の処理とステップＳ２３の処理とは並列に実施される。
ステップＳ２２において、俯瞰映像出力部１１は、ステップＳ２０で取得したフレームを表示装置４に出力して表示させる。
ステップＳ２３において、フレーム画像生成部１６の上空視点画像生成部１６０は、ステップＳ２０で取得したフレームから、上空視点画像を生成する。
ステップＳ２２において、俯瞰映像出力部１１は、ステップＳ２０で取得したフレームを表示装置４に出力して表示させる。
ステップＳ２３において、フレーム画像生成部１６の上空視点画像生成部１６０は、ステップＳ２０で取得したフレームから、上空視点画像を生成する。
【0055】
ステップＳ２４において、操作データ取得部１３は、雲台２から、ダミーカメラ３のパン角、チルト角およびズーム量を操作データとして取得する。
ステップＳ２５において、注視点算出部１４は、ステップＳ２４で取得されたパン角およびチルト角と、ステップＳ１で設定されたダミーカメラ３のカメラ位置とから、フィールド平面上の注視点を算出する。
ステップＳ２６において、視野角変換部１５は、ステップＳ４で設定されたＬＵＴを参照して、ステップＳ２４で取得されたズーム量を視野角に変換する。
ステップＳ２５において、注視点算出部１４は、ステップＳ２４で取得されたパン角およびチルト角と、ステップＳ１で設定されたダミーカメラ３のカメラ位置とから、フィールド平面上の注視点を算出する。
ステップＳ２６において、視野角変換部１５は、ステップＳ４で設定されたＬＵＴを参照して、ステップＳ２４で取得されたズーム量を視野角に変換する。
【0056】
以下のステップＳ２７，Ｓ２８の処理とステップＳ２の処理とは並列に実施される。
ステップＳ２７において、フレーム画像生成部１６のフレーム画像切り出し部１６１は、ステップＳ２３で生成された上空視点画像から、ステップＳ２５で算出された注視点を中心にして、ステップＳ２６で変換された視野角の範囲に対応する画像（フレーム画像）を生成する。
ステップＳ２８において、カメラ映像出力部１７は、ステップＳ２７で生成されたフレーム画像をカメラ映像のフレームとして、ダミーカメラ３のモニタ３１に表示させる。
ステップＳ２７において、フレーム画像生成部１６のフレーム画像切り出し部１６１は、ステップＳ２３で生成された上空視点画像から、ステップＳ２５で算出された注視点を中心にして、ステップＳ２６で変換された視野角の範囲に対応する画像（フレーム画像）を生成する。
ステップＳ２８において、カメラ映像出力部１７は、ステップＳ２７で生成されたフレーム画像をカメラ映像のフレームとして、ダミーカメラ３のモニタ３１に表示させる。
【0057】
ステップＳ２９において、フレーム対応付け部１８は、フレーム番号記憶部１２に記憶される現在のフレーム番号（ｓ＋ｉ）に、操作データを対応付けてフレーム番号付き操作データ記憶部１９に記憶する。ここでは、フレーム対応付け部１８は、操作データとして、ステップＳ２４で取得したパン角およびチルト角と、ステップＳ２６で変換された視野角とを、フレーム番号付き操作データ記憶部１９に記憶する。
図６に戻って、動作の説明を続ける。
図６に戻って、動作の説明を続ける。
【0058】
ステップＳ９において、俯瞰映像取得部１０は、フレーム番号（ｓ＋ｉ）が、ステップＳ３で設定された終了フレーム番号ｅ未満であるか否か（ｓ＋ｉ＜ｅ）を判定する。
ここで、フレーム番号（ｓ＋ｉ）が終了フレーム番号ｅ未満の場合（ステップＳ９でＹｅｓ）、ステップＳ１０において、現在時刻を変数である処理終了時間ｔｅ［ｓ］に記録する。
ステップＳ１１において、俯瞰映像取得部１０は、フレームをカウントする変数ｉに“１”を加算する。
ここで、フレーム番号（ｓ＋ｉ）が終了フレーム番号ｅ未満の場合（ステップＳ９でＹｅｓ）、ステップＳ１０において、現在時刻を変数である処理終了時間ｔｅ［ｓ］に記録する。
ステップＳ１１において、俯瞰映像取得部１０は、フレームをカウントする変数ｉに“１”を加算する。
【0059】
ステップＳ１２において、俯瞰映像取得部１０は、(１／ｆ)－（ｔｅ－ｔｓ）秒間待機する。（１／ｆ）はフレーム周期［ｓ］であり、（ｔｅ－ｔｓ）はフレーム画像の生成等、フレーム区間処理に要する時間である。
ステップＳ１２の後、カメラ操作模擬装置１は、ステップＳ７に戻って動作を継続する。
このように、ステップＳ１２において、俯瞰映像取得部１０が(１／ｆ)－（ｔｅ－ｔｓ）秒間待機することで、俯瞰映像とカメラ映像とが同じフレームレートで表示されることになる。
一方、フレーム番号（ｓ＋ｉ）が終了フレーム番号ｅとなった場合（ステップＳ９でＮｏ）、カメラ操作模擬装置１は、動作を終了する。
ステップＳ１２の後、カメラ操作模擬装置１は、ステップＳ７に戻って動作を継続する。
このように、ステップＳ１２において、俯瞰映像取得部１０が(１／ｆ)－（ｔｅ－ｔｓ）秒間待機することで、俯瞰映像とカメラ映像とが同じフレームレートで表示されることになる。
一方、フレーム番号（ｓ＋ｉ）が終了フレーム番号ｅとなった場合（ステップＳ９でＮｏ）、カメラ操作模擬装置１は、動作を終了する。
【0060】
以上の動作によって、カメラ操作模擬装置１は、俯瞰映像からカメラワークに対応した映像をカメラ映像として生成するとともに、ダミーカメラ３の操作データを収集することができる。
これによって、本実施形態のカメラ操作模擬装置１は、カメラやカメラマンを中継現場に配置しなくても、カメラの操作データを収集することができる。
これによって、本実施形態のカメラ操作模擬装置１は、カメラやカメラマンを中継現場に配置しなくても、カメラの操作データを収集することができる。
【0061】
以上説明したカメラ操作模擬装置１の動作によって、カメラ操作の学習データを収集することができる。しかし、その学習データが高品質なものか否かを視覚的に確認できることがさらに好ましい。
そこで、カメラ操作模擬装置１で収集される学習データを用いたカメラワークを確認するため、俯瞰映像から再生される映像（カメラ映像）を生成するカメラ映像生成装置について説明する。
そこで、カメラ操作模擬装置１で収集される学習データを用いたカメラワークを確認するため、俯瞰映像から再生される映像（カメラ映像）を生成するカメラ映像生成装置について説明する。
【0062】
［カメラ映像生成装置の構成］
図８を参照して、本発明の実施形態に係るカメラ映像生成装置５の構成について説明する。
図８を参照して、本発明の実施形態に係るカメラ映像生成装置５の構成について説明する。
【0063】
カメラ映像生成装置５は、カメラ操作模擬装置（図２参照）で収集された操作データと、操作データを収集した際における俯瞰映像とから、俯瞰映像の撮影空間が操作データのカメラワークによって仮想的に撮影されたときのカメラ映像を生成するものである。
カメラ映像生成装置５は、俯瞰映像取得部５０と、フレーム番号記憶部５１と、操作データ取得部５２と、撮影領域特定部５３と、フレーム画像生成部５４と、カメラ映像出力部５５と、を備える。
カメラ映像生成装置５は、俯瞰映像取得部５０と、フレーム番号記憶部５１と、操作データ取得部５２と、撮影領域特定部５３と、フレーム画像生成部５４と、カメラ映像出力部５５と、を備える。
【0064】
俯瞰映像取得部５０は、俯瞰映像を取得するものである。俯瞰映像取得部５０は、図２で説明した俯瞰映像取得部１０と同じ機能を有する。
俯瞰映像取得部５０は、取得した俯瞰映像をフレームごとにフレーム画像生成部５４に出力し、再生開始時点から何フレーム目かを示すフレーム番号をフレーム番号記憶部５１に記憶する。
俯瞰映像取得部５０は、取得した俯瞰映像をフレームごとにフレーム画像生成部５４に出力し、再生開始時点から何フレーム目かを示すフレーム番号をフレーム番号記憶部５１に記憶する。
【0065】
フレーム番号記憶部５１は、俯瞰映像の再生開始時点から何フレーム目かを示すフレーム番号を記憶するものである。このフレーム番号記憶部５１は、半導体メモリ等の一般的な記憶媒体で構成することができる。
フレーム番号記憶部５１は、俯瞰映像取得部５０によってフレーム番号が更新され、撮影領域特定部５３によって参照される。
フレーム番号記憶部５１は、俯瞰映像取得部５０によってフレーム番号が更新され、撮影領域特定部５３によって参照される。
【0066】
操作データ取得部５２は、俯瞰映像に対応するフレーム番号付き操作データを取得するものである。フレーム番号付き操作データは、パン角およびチルト角と視野角とをフレーム番号に対応付けたデータである。もちろん、操作データは、視野角の代わりに、ダミーカメラ３の水平方向の表示範囲の半値であってもよいし、ズーム量であっても構わない。
操作データ取得部５２は、取得した操作データを撮影領域特定部５３に出力する。
操作データ取得部５２は、取得した操作データを撮影領域特定部５３に出力する。
【0067】
撮影領域特定部５３は、操作データ取得部５２で取得したフレーム番号記憶部５１に記憶される現在のフレーム番号に対応する操作データから、俯瞰映像内の撮影領域情報を特定するものである。撮影領域情報は、例えば、注視点および視野角を含んで構成される。
なお、注視点が操作データに含まれていない場合、撮影領域特定部５３は、図２の注視点算出部１４と同様の手法で、パン角およびチルト角と、ダミーカメラ３の位置とから、注視点を算出する。
また、視野角が操作データに含まれていない場合、撮影領域特定部５３は、図２の視野角変換部１５と同様、予め設定されたＬＵＴにより、ズーム量を視野角に変換する。
撮影領域特定部５３は、特定した撮影領域をフレーム画像生成部５４に出力する。
なお、注視点が操作データに含まれていない場合、撮影領域特定部５３は、図２の注視点算出部１４と同様の手法で、パン角およびチルト角と、ダミーカメラ３の位置とから、注視点を算出する。
また、視野角が操作データに含まれていない場合、撮影領域特定部５３は、図２の視野角変換部１５と同様、予め設定されたＬＵＴにより、ズーム量を視野角に変換する。
撮影領域特定部５３は、特定した撮影領域をフレーム画像生成部５４に出力する。
【0068】
フレーム画像生成部５４は、俯瞰映像のフレームから、撮影領域特定部５３で特定される領域の画像をフレーム画像として生成するものである。ここでは、フレーム画像生成部５４は、上空視点画像生成部５４０と、フレーム画像切り出し部５４１と、を備える。
【0069】
上空視点画像生成部５４０は、俯瞰映像のフレームから、射影変換により上空視点画像を生成するものである。上空視点画像生成部５４０は、図２で説明した上空視点画像生成部１６０と同じ機能を有する。
上空視点画像生成部５４０は、生成した上空視点画像を、フレーム画像切り出し部５４１に出力する。
上空視点画像生成部５４０は、生成した上空視点画像を、フレーム画像切り出し部５４１に出力する。
【0070】
フレーム画像切り出し部５４１は、上空視点画像生成部５４０で生成された上空視点画像から、撮影領域特定部５３で特定された撮影領域情報に基づいて画像を切り出し、カメラ映像のフレームとして生成するものである。
なお、フレーム画像切り出し部５４１は、図２で説明したフレーム画像切り出し部１６１と同じ機能を有する。
なお、フレーム画像切り出し部５４１は、図２で説明したフレーム画像切り出し部１６１と同じ機能を有する。
【0071】
ここでは、フレーム画像生成部５４は、上空視点画像生成部５４０によって、俯瞰映像のフレームを上空視点画像に射影変換した後、フレーム画像切り出し部５４１によって、撮影領域情報に基づく範囲のフレーム画像を切り出すこととした。しかし、フレーム画像生成部５４は、上空視点画像を生成せずに、射影変換と切り出しの処理とを一度の演算で行うこととしてもよい。
【0072】
以上のように構成することで、カメラ映像生成装置５は、操作データを用いたカメラワークによって、俯瞰映像からカメラ映像を生成することができる。
これによって、カメラ映像生成装置５で生成されたカメラ映像を、表示装置（不図示）に表示することで、カメラマンＭのカメラ操作の良し悪しを確認することが可能になる。カメラ操作を誤る等、品質の悪いシーンについては、再度、カメラ操作模擬装置１（図２）によって操作データを収集し直すことで、高品質な操作データを収集することができる。また、習熟していないカメラマンの場合は、カメラ映像生成装置５で生成されるカメラ映像によってカメラワークの確認を行うことができる。
なお、カメラ映像生成装置５は、コンピュータを、前記した各部として機能させるためのプログラム（カメラ映像生成プログラム）で動作させることができる。
これによって、カメラ映像生成装置５で生成されたカメラ映像を、表示装置（不図示）に表示することで、カメラマンＭのカメラ操作の良し悪しを確認することが可能になる。カメラ操作を誤る等、品質の悪いシーンについては、再度、カメラ操作模擬装置１（図２）によって操作データを収集し直すことで、高品質な操作データを収集することができる。また、習熟していないカメラマンの場合は、カメラ映像生成装置５で生成されるカメラ映像によってカメラワークの確認を行うことができる。
なお、カメラ映像生成装置５は、コンピュータを、前記した各部として機能させるためのプログラム（カメラ映像生成プログラム）で動作させることができる。
【0073】
［カメラ映像生成装置の動作］
次に、図９，図１０を参照（構成については、適宜図８参照）して、本発明の実施形態に係るカメラ映像生成装置５の動作について説明する。
カメラ映像生成装置５の図９の動作は、図６で説明したカメラ操作模擬装置１の動作からステップＳ４を除いた動作と同じであり、俯瞰映像取得部５０は、俯瞰映像取得部１０と同じ動作を行うため、説明を省略する。
図１０を参照して、カメラ映像生成装置５のステップＳ３６（図９）のフレーム区間処理の動作について説明する。
次に、図９，図１０を参照（構成については、適宜図８参照）して、本発明の実施形態に係るカメラ映像生成装置５の動作について説明する。
カメラ映像生成装置５の図９の動作は、図６で説明したカメラ操作模擬装置１の動作からステップＳ４を除いた動作と同じであり、俯瞰映像取得部５０は、俯瞰映像取得部１０と同じ動作を行うため、説明を省略する。
図１０を参照して、カメラ映像生成装置５のステップＳ３６（図９）のフレーム区間処理の動作について説明する。
【0074】
ステップＳ５０において、俯瞰映像取得部５０は、ステップＳ３１で設定された俯瞰映像から（ｓ＋ｉ）番目のフレームを取得する。
ステップＳ５１において、俯瞰映像取得部５０は、再生開始時点から何フレーム目かを示すフレーム番号として、（ｓ＋ｉ）をフレーム番号記憶部５１に記憶する。
ステップＳ５１において、俯瞰映像取得部５０は、再生開始時点から何フレーム目かを示すフレーム番号として、（ｓ＋ｉ）をフレーム番号記憶部５１に記憶する。
【0075】
ステップＳ５２において、フレーム画像生成部５４の上空視点画像生成部５４０は、ステップＳ５０で取得したフレームから、上空視点画像を生成する。
ステップＳ５３において、撮影領域特定部５３は、ステップＳ５１で記憶された現在のフレーム番号に対応する撮影領域（注視点、視野角）を、操作データ取得部５２を介して操作データから取得し、抽出する。なお、注視点が操作データに含まれていない場合、撮影領域特定部５３は、操作データのパン角およびチルト角と、ダミーカメラ３の位置とから、注視点を算出する。また、視野角が操作データに含まれていない場合、撮影領域特定部５３は、予め設定されたＬＵＴにより、ズーム量を視野角に変換する。
ステップＳ５３において、撮影領域特定部５３は、ステップＳ５１で記憶された現在のフレーム番号に対応する撮影領域（注視点、視野角）を、操作データ取得部５２を介して操作データから取得し、抽出する。なお、注視点が操作データに含まれていない場合、撮影領域特定部５３は、操作データのパン角およびチルト角と、ダミーカメラ３の位置とから、注視点を算出する。また、視野角が操作データに含まれていない場合、撮影領域特定部５３は、予め設定されたＬＵＴにより、ズーム量を視野角に変換する。
【0076】
ステップＳ５４において、フレーム画像生成部５４のフレーム画像切り出し部５４１は、ステップＳ５２で生成された上空視点画像から、ステップＳ５３で抽出された注視点を中心にして、ステップＳ５３で抽出された視野角の範囲に対応する画像を切り出してフレーム画像を生成する。
ステップＳ５５において、カメラ映像出力部５５は、ステップＳ５４で生成されたフレーム画像を、カメラ映像のフレームとして、表示装置（不図示）に表示させる。
これによって、カメラ映像生成装置５は、俯瞰映像と操作データとから、この操作データによって撮影されるカメラ映像を生成することができる。
ステップＳ５５において、カメラ映像出力部５５は、ステップＳ５４で生成されたフレーム画像を、カメラ映像のフレームとして、表示装置（不図示）に表示させる。
これによって、カメラ映像生成装置５は、俯瞰映像と操作データとから、この操作データによって撮影されるカメラ映像を生成することができる。
【0077】
以上、本発明の実施形態に係るカメラ操作模擬装置１，カメラ映像生成装置５の構成および動作について説明したが、本発明はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更なども含まれる。
【0078】
ここでは、俯瞰映像を、サッカーのフィールド全体を撮影したフィールド映像としたが、これに限定されるものではない。
本発明は、サッカー以外でも、ラグビー、アメリカンフットボールのように、ボールに関連して動作する選手の動き、選手のプレーの先読みをした動き等を捉えた、高度なカメラワークを要するスポーツ映像（ラグビー、アメリカンフットボール等）の操作データの収集に適している。
本発明は、サッカー以外でも、ラグビー、アメリカンフットボールのように、ボールに関連して動作する選手の動き、選手のプレーの先読みをした動き等を捉えた、高度なカメラワークを要するスポーツ映像（ラグビー、アメリカンフットボール等）の操作データの収集に適している。
【0079】
また、ここでは、カメラ操作模擬装置１は、ロータリーエンコーダ付きの雲台２から操作データを取得することとした。しかし、操作データは雲台２以外の装置から取得することとしてもよい。
例えば、カメラ操作模擬装置１は、慣性センサを備えたスマートフォンから、操作データを取得することができる。また、この場合、ダミーカメラ３をスマートフォンの内蔵カメラとし、カメラ操作模擬装置１は、切り出したカメラ映像を、スマートフォンの表示画面に表示させることとしてもよい。
例えば、カメラ操作模擬装置１は、慣性センサを備えたスマートフォンから、操作データを取得することができる。また、この場合、ダミーカメラ３をスマートフォンの内蔵カメラとし、カメラ操作模擬装置１は、切り出したカメラ映像を、スマートフォンの表示画面に表示させることとしてもよい。
【符号の説明】
【0080】
１ カメラ操作模擬装置
１０ 俯瞰映像取得部
１１ 俯瞰映像出力部
１２ フレーム番号記憶部
１３ 操作データ取得部
１４ 注視点算出部
１５ 視野角変換部
１６ フレーム画像生成部
１６０ 上空視点画像生成部
１６１ フレーム画像切り出し部
１７ カメラ映像出力部
１８ フレーム対応付け部
１９ フレーム番号付き操作データ記憶部
２ 雲台
３ ダミーカメラ
３１ モニタ（ビューファインダ）
４ 表示装置
５ カメラ映像生成装置
５０ 俯瞰映像取得部
５１ フレーム番号記憶部
５２ 操作データ取得部
５３ 撮影領域特定部
５４０ 上空視点画像生成部
５４１ フレーム画像切り出し部
５５ カメラ映像出力部
１００ 学習データ収集システム
１０ 俯瞰映像取得部
１１ 俯瞰映像出力部
１２ フレーム番号記憶部
１３ 操作データ取得部
１４ 注視点算出部
１５ 視野角変換部
１６ フレーム画像生成部
１６０ 上空視点画像生成部
１６１ フレーム画像切り出し部
１７ カメラ映像出力部
１８ フレーム対応付け部
１９ フレーム番号付き操作データ記憶部
２ 雲台
３ ダミーカメラ
３１ モニタ（ビューファインダ）
４ 表示装置
５ カメラ映像生成装置
５０ 俯瞰映像取得部
５１ フレーム番号記憶部
５２ 操作データ取得部
５３ 撮影領域特定部
５４０ 上空視点画像生成部
５４１ フレーム画像切り出し部
５５ カメラ映像出力部
１００ 学習データ収集システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】