知財求人 - 知財ポータルサイト「IP Force」
特許7449715フレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-06
(45)【発行日】2024-03-14
(54)【発明の名称】フレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240307BHJP
G03B 15/00 20210101ALI20240307BHJP
G06N 3/04 20230101ALI20240307BHJP
G06N 20/00 20190101ALI20240307BHJP
G06T 7/00 20170101ALI20240307BHJP
H04N 23/69 20230101ALI20240307BHJP
H04N 23/695 20230101ALI20240307BHJP
【ＦＩ】
H04N23/60 100
G03B15/00 P
G06N3/04
G06N20/00
G06T7/00 350C
H04N23/69
H04N23/695
【請求項の数】
10
(21)【出願番号】P 2020027891
(22)【出願日】2020-02-21
(65)【公開番号】P2021132349
(43)【公開日】2021-09-09
【審査請求日】2023-01-05
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】荒井 敦志
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】三ツ峰 秀樹
(72)【発明者】
【氏名】洗井 淳
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開２０１９－１４０５６１（ＪＰ，Ａ）
【文献】特開２００６－１９１５２４（ＪＰ，Ａ）
【文献】特開２０１８－０７７８０７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｇ０３Ｂ １５／００
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ２０／００
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ２３／６９
Ｈ０４Ｎ ２３／６９５
(57)【特許請求の範囲】
【請求項1】
カメラの姿勢と画角とを示すカメラパラメータを、前記カメラがフレーミングするフレーミング領域を示すフレーミングパラメータに変換し、前記フレーミングパラメータと、被写体の位置又は速度の少なくとも一方を示す被写体情報とに対応付けて学習するフレーミング領域学習装置であって、予め設定した変換規則に基づいて、前記被写体情報に同期させて取得した前記カメラパラメータを前記フレーミングパラメータに変換する変換部と、
前記被写体情報と前記フレーミングパラメータとを対応付けて学習することにより、前記フレーミングパラメータの学習済み推論モデルを生成する学習部と、
を備えることを特徴とするフレーミング領域学習装置。
【請求項2】
予め、前記被写体情報を記憶する被写体情報記憶部と、前記被写体情報記憶部から所定時刻の前記被写体情報を読み出す被写体情報読出部と、
予め、前記カメラパラメータを記憶するカメラパラメータ記憶部と、
前記被写体情報の読出時刻に対して、予め設定したオフセット時刻だけオフセットした未来時刻の前記カメラパラメータを読み出すカメラパラメータ読出部と、をさらに備え、
前記変換部は、前記カメラパラメータ読出部が読み出したカメラパラメータを、前記未来時刻のフレーミングパラメータに変換し、
前記学習部は、前記読出時刻の被写体情報と前記未来時刻のフレーミングパラメータとを対応付けて学習することを特徴とする請求項1に記載のフレーミング領域学習装置。
【請求項3】
前記被写体情報は、世界座標系で前記被写体の位置を画像化した位置マップ、又は、前記世界座標系で前記被写体の速度を画像化した速度マップの少なくとも一方を含むことを特徴とする請求項１又は請求項２に記載のフレーミング領域学習装置。
【請求項4】
前記学習部は、推論モデルとして、畳み込みニューラルネットワークを用いることを特徴とする請求項３に記載のフレーミング領域学習装置。
【請求項5】
前記変換部から前記フレーミングパラメータを世界座標系上の連続値として入力し、予め設定した量子化規則に基づいて、前記フレーミングパラメータを前記世界座標系上の離散値に量子化する量子化部、をさらに備え、前記学習部は、前記フレーミングパラメータの離散値と前記被写体情報とを対応付けて学習することを特徴とする請求項１から請求項４の何れか一項に記載のフレーミング領域学習装置。
【請求項6】
請求項１から請求項５の何れか一項に記載のフレーミング領域学習装置で生成した学習済み推論モデルを用いて、カメラのフレーミング領域を示すフレーミングパラメータを推定するフレーミング領域推定装置であって、被写体の位置又は速度の少なくとも一方を示す被写体情報を入力し、前記学習済み推論モデルにより、前記被写体情報に応じた前記フレーミングパラメータの推定値を出力する推定部と、
前記推定部が出力したフレーミングパラメータの推定値を、予め設定した逆変換規則に基づいて、前記カメラの姿勢と画角とを示すカメラパラメータの推定値に逆変換する逆変換部と、
を備えることを特徴とするフレーミング領域推定装置。
【請求項7】
前記被写体情報は、世界座標系で前記被写体の位置を画像化した位置マップ、又は、前記世界座標系で前記被写体の速度を画像化した速度マップの少なくとも一方を含むことを特徴とする請求項６に記載のフレーミング領域推定装置。
【請求項8】
前記推定部は、前記フレーミングパラメータの推定値を世界座標系上の離散値として出力し、予め設定した逆量子化規則に基づいて、前記推定部から入力したフレーミングパラメータの推定値を前記世界座標系上の連続値に逆量子化する逆量子化部、をさらに備えることを特徴とする請求項６又は請求項７に記載のフレーミング領域推定装置。
【請求項9】
コンピュータを、請求項１から請求項５の何れか一項に記載のフレーミング領域学習装置として機能させるためのプログラム。
【請求項10】
コンピュータを、請求項６から請求項８の何れか一項に記載のフレーミング領域推定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラのフレーミングパラメータを学習するフレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラムに関する。
【背景技術】
【0002】
雲台などの駆動機構に取り付けられたカメラや固定カメラからの切り出しにより自動撮影を行うことは、カメラの構図となるフレーミングを順次決定していくことに相当する。例えば、特許文献１には、カメラからの画像データから注視対象が含まれる構図を決定し、駆動機構を制御する手法が提案されている。また、特許文献２には、構図情報を学習させて、元画像からの切り出しルールを更新していく手法が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第４４６４９０２号公報
【文献】特許第５０１６５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１，２に記載の従来技術は、ある撮影意図に対して最終的な構図を決定し、駆動機構の制御及び画像の切り出しを行うものである。これら従来技術において、実際のカメラマンによるカメラワークを模倣しようとした場合を考える。カメラマンは、被写体とそれを取り巻く状況に応じて最適な構図を連続的に決定している。この場合、前記した従来技術では、カメラマンのような状況に応じた構図を自動的に決定するのは困難である。
【0005】
そこで、本発明は、様々なカメラ位置から実際のカメラマンがフレーミングしたようなフレーミング領域を自動で決定できるフレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係るフレーミング領域学習装置は、カメラの姿勢と画角とを示すカメラパラメータを、カメラがフレーミングするフレーミング領域を示すフレーミングパラメータに変換し、フレーミングパラメータと、被写体の位置又は速度の少なくとも一方を示す被写体情報とに対応付けて学習するフレーミング領域学習装置であって、変換部と、学習部と、を備える構成とした。
【0007】
かかる構成によれば、変換部は、予め設定した変換規則に基づいて、被写体情報に同期させて取得したカメラパラメータをフレーミングパラメータに変換する。
そして、学習部は、被写体情報とフレーミングパラメータとを対応付けて学習することにより、フレーミングパラメータの学習済み推論モデルを生成する。
そして、学習部は、被写体情報とフレーミングパラメータとを対応付けて学習することにより、フレーミングパラメータの学習済み推論モデルを生成する。
【0008】
このように、フレーミング領域学習装置は、カメラ位置に依存するカメラパラメータではなく、カメラ位置に依存しない世界座標系でフレーミングパラメータを学習する。従って、フレーミング領域学習装置は、カメラ位置に依存しない学習済み推論モデルを生成できる。
【0009】
また、前記課題を解決するため、本発明に係るフレーミング領域推定装置は、本発明に係るフレーミング領域学習装置で生成した学習済み推論モデルを用いて、カメラのフレーミング領域を示すフレーミングパラメータを推定するフレーミング領域推定装置であって、推定部と、逆変換部と、を備える構成とした。
【0010】
かかる構成によれば、推定部は、被写体の位置又は速度の少なくとも一方を示す被写体情報を入力し、学習済み推論モデルにより、被写体情報に応じたフレーミングパラメータの推定値を出力する。
そして、逆変換部は、推定部が出力したフレーミングパラメータの推定値を、予め設定した逆変換規則に基づいて、カメラの姿勢と画角とを示すカメラパラメータの推定値に逆変換する。
そして、逆変換部は、推定部が出力したフレーミングパラメータの推定値を、予め設定した逆変換規則に基づいて、カメラの姿勢と画角とを示すカメラパラメータの推定値に逆変換する。
【0011】
このように、フレーミング領域推定装置は、学習済み推論モデルを用いて、カメラ位置に依存しない世界座標系でフレーミングパラメータを推定し、推定したフレーミングパラメータをカメラパラメータに変換する。従って、フレーミング領域推定装置は、カメラ位置に依存しない学習済み推論モデルを用いて、各カメラで固有のカメラパラメータを推定できる。
【0012】
なお、本発明は、コンピュータを、前記したフレーミング領域学習装置又はフレーミング領域推定装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0013】
本発明は、カメラ位置に依存しない推論モデルを用いるので、様々なカメラ位置から実際のカメラマンがフレーミングしたようなフレーミング領域を自動で決定できる。
【図面の簡単な説明】
【0014】
【図1】従来のカメラの一例を説明する説明図であり、（ａ）はカメラの外観図であり、（ｂ）はセンサのブロック図である。
【図2】第１実施形態に係るフレーミング領域学習装置の構成を示すブロック図である。
【図3】第１実施形態に係るフレーミング領域推定装置の構成を示すブロック図である。
【図4】第１実施形態において、世界座標系及びカメラ座標系を説明する説明図である。
【図5】カメラ位置を移動する前後において、画角及びスケールの変換を説明する説明図である。
【図6】状況データの一例として、サッカーの試合映像を説明する説明図である。
【図7】位置マップを説明する説明図であり、（ａ）は選手及びボールの位置を示す位置マップであり、（ｂ）は一方のチームの選手の位置を示す位置マップであり、（ｃ）は他方のチームの選手の位置を示す位置マップであり、（ｄ）はボールの位置を示す位置マップである。
【図8】速度マップを説明する説明図であり、（ａ）は一方のチームの選手の位置と速度成分とを示す図であり、（ｂ）は一方のチームの選手の速度成分をドットで示す速度マップであり、（ｃ）は一方のチームの選手の速度成分を円領域で示す速度マップである。
【図9】第１実施形態に係るフレーミング領域学習装置の動作を示すフローチャートである。
【図10】第１実施形態に係るフレーミング領域推定装置の動作を示すフローチャートである。
【図11】第２実施形態に係る学習部の構成を示すブロック図である。
【図12】第３実施形態に係る学習部の構成を示すブロック図である。
【発明を実施するための形態】
【0015】
（第１実施形態）
以下、本発明の各実施形態について図面を参照して説明する。
まず、第１実施形態に関連したカメラ３の一例を説明した後、第１実施形態に係るフレーミング領域学習装置１及びフレーミング領域推定装置２の構成を順に説明する。
以下、本発明の各実施形態について図面を参照して説明する。
まず、第１実施形態に関連したカメラ３の一例を説明した後、第１実施形態に係るフレーミング領域学習装置１及びフレーミング領域推定装置２の構成を順に説明する。
【0016】
［カメラ］
図１を参照し、カメラ３について説明する。
カメラ３は、遠隔操作可能に構成されるカメラである。図１（ａ）に示すように、カメラ３は、雲台などの駆動機構３０に搭載されており、この駆動機構３０によって、パン、チルト、ズーム及びフォーカスが制御されている。なお、ズーム及びフォーカスの制御は、カメラ３の内部機構によって行われ、この駆動機構３０で包括しているものとして説明する。
図１を参照し、カメラ３について説明する。
カメラ３は、遠隔操作可能に構成されるカメラである。図１（ａ）に示すように、カメラ３は、雲台などの駆動機構３０に搭載されており、この駆動機構３０によって、パン、チルト、ズーム及びフォーカスが制御されている。なお、ズーム及びフォーカスの制御は、カメラ３の内部機構によって行われ、この駆動機構３０で包括しているものとして説明する。
【0017】
また、図１（ｂ）に示すように、カメラ３は、そのカメラ操作を検出するセンサ３１を備える。このセンサ３１は、カメラ３の姿勢、図示を省略したレンズの画角、焦点位置を測定するためのものである。このセンサ３１には、カメラ３が固定されている雲台のパン角を検出するパン角センサ３１ａと、カメラ３のチルト角を検出するチルト角センサ３１ｂと、カメラ３のズーム量（画角）を検出するズームセンサ３１ｃと、カメラ３に内蔵されているレンズの焦点位置（フォーカス）を検出するフォーカスセンサ３１ｄとが含まれている。
【0018】
例えば、パン角センサ３１ａ及びチルト角センサ３１ｂは、雲台に取り付けられたロータリエンコーダ、ポテンショメータ又はジャイロセンサによって構成できる。また、ズームセンサ３１ｃ及びフォーカスセンサ３１ｄは、ズームリング及びフォーカスリングの回転角をロータリエンコーダ、ポテンショメータで読みとる方式によって構成できる。この他、ズームセンサ３１ｃ及びフォーカスセンサ３１ｄは、カメラ３のレンズ摺動部に設置されるリニアセンサを用いることができる。
【0019】
［フレーミング領域学習装置の構成］
図２を参照し、フレーミング領域学習装置１の構成について説明する。
フレーミング領域学習装置１は、カメラ３のカメラパラメータを、カメラ３のフレーミングパラメータに変換し、変換したフレーミングパラメータと被写体の位置又は速度の少なくとも一方を示す状況データ（被写体情報）ｊとを対応付けて学習するものである。
図２を参照し、フレーミング領域学習装置１の構成について説明する。
フレーミング領域学習装置１は、カメラ３のカメラパラメータを、カメラ３のフレーミングパラメータに変換し、変換したフレーミングパラメータと被写体の位置又は速度の少なくとも一方を示す状況データ（被写体情報）ｊとを対応付けて学習するものである。
【0020】
ここで、フレーミングパラメータとは、カメラ３がフレーミングしているフレーミング領域（構図）を示すパラメータのことであり、世界座標系で示されている。
また、世界座標系とは、被写体が存在する空間に対応した３次元座標系のことであり、各カメラ３で共通する座標系である。
また、カメラパラメータとは、カメラ３の姿勢と画角とを示すパラメータのことであり、カメラ座標系で示されている。
また、カメラ座標系とは、カメラ３を基準とした３次元座標系のことであり、各カメラ３で固有の座標系である。
なお、フレーミングパラメータ、世界座標系、カメラパラメータ及びカメラ座標系の詳細は、後記する。
また、世界座標系とは、被写体が存在する空間に対応した３次元座標系のことであり、各カメラ３で共通する座標系である。
また、カメラパラメータとは、カメラ３の姿勢と画角とを示すパラメータのことであり、カメラ座標系で示されている。
また、カメラ座標系とは、カメラ３を基準とした３次元座標系のことであり、各カメラ３で固有の座標系である。
なお、フレーミングパラメータ、世界座標系、カメラパラメータ及びカメラ座標系の詳細は、後記する。
【0021】
図２に示すように、フレーミング領域学習装置１は、状況データ記憶部（被写体情報記憶部）１０Ａと、カメラパラメータ記憶部１０Ｂと、データ選択部１１と、時刻調整部１２と、状況データ読出部（被写体情報読出部）１３と、カメラパラメータ読出部１４と、変換部１５と、量子化部１６と、学習部１７とを備える。
【0022】
状況データ記憶部１０Ａは、予め、後記する状況データｊを記憶するＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、メモリ等の記憶装置である。ここでは、状況データ記憶部１０Ａは、各時刻νの状況データｊ（ν）を記憶している（｛ｊ（ν）｝ν∈（１，２，…，Ｎ））。
【0023】
カメラパラメータ記憶部１０Ｂは、予め、後記するカメラパラメータを記憶するＨＤＤ、ＳＳＤ、メモリ等の記憶装置である。ここで、カメラパラメータ記憶部１０Ｂは、各時刻νのカメラパラメータθ（ν）を記憶している（｛θ（ν）｝ν∈（１，２，…，Ｎ））。
【0024】
なお、状況データｊ（ν）及びカメラパラメータθ（ν）は、同時刻に同期して取得されているものとする。
また、図２では、状況データ記憶部１０Ａ及びカメラパラメータ記憶部１０Ｂを別々に図示したが、記憶部として一体化してもよい。
また、図２では、状況データ記憶部１０Ａ及びカメラパラメータ記憶部１０Ｂを別々に図示したが、記憶部として一体化してもよい。
【0025】
データ選択部１１は、状況データｊ（ν）とカメラパラメータθ（ν）とに紐づけられている時刻ν＝ｎを順次選択するものである（ｎ＝１，２，…，Ｎ）。そして、データ選択部１１は、選択した時刻ｎを時刻調整部１２及び状況データ読出部１３に出力する。
【0026】
時刻調整部１２は、オフセット時刻Δｎが予め設定され、データ選択部１１から入力された時刻ｎにオフセット時刻Δを加算し、未来時刻（ｎ＋Δｎ）を算出するものである。このオフセット時刻Δｎは、任意の値で設定できる。そして、時刻調整部１２は、生成した未来時刻（ｎ＋Δｎ）をカメラパラメータ読出部１４に出力する。
【0027】
状況データ読出部１３は、データ選択部１１より入力された所定時刻ｎの状況データｊ（ｎ）を状況データ記憶部１０Ａから読み出すものである。そして、状況データ読出部１３は、読み出した状況データｊ（ｎ）を学習部１７に出力する。
【0028】
カメラパラメータ読出部１４は、状況データｊ（ｎ）の読出時刻ｎに対して、予め設定したオフセット時刻Δｎだけオフセットした未来時刻（ｎ＋Δｎ）のカメラパラメータθ（ｎ＋Δｎ）を読み出すものである。このカメラパラメータ読出部１４は、時刻調整部１２より入力された未来時刻（ｎ＋Δｎ）のカメラパラメータθ（ｎ＋Δｎ）を読み出す。そして、カメラパラメータ読出部１４は、読み出したカメラパラメータθ（ｎ＋Δｎ）を変換部１５及び学習部１７に出力する。
【0029】
ここで、カメラパラメータθ（ｎ＋Δｎ）の読み出し時刻をオフセット時刻Δｎだけ先の時刻（未来）にオフセットさせる理由について説明する。
カメラマンのカメラワークが遅れた場合、カメラパラメータθにも遅れが反映されてしまう。そこで、カメラパラメータθの読み出し時刻をオフセットさせると、カメラマンによるカメラワークの遅れを先読みでき、カメラパラメータθの遅延の影響を低減できる。
さらに、カメラパラメータθの読み出し時刻をオフセットさせることで、フレーミング領域推定装置２で発生する処理遅延の影響を低減できる。
カメラマンのカメラワークが遅れた場合、カメラパラメータθにも遅れが反映されてしまう。そこで、カメラパラメータθの読み出し時刻をオフセットさせると、カメラマンによるカメラワークの遅れを先読みでき、カメラパラメータθの遅延の影響を低減できる。
さらに、カメラパラメータθの読み出し時刻をオフセットさせることで、フレーミング領域推定装置２で発生する処理遅延の影響を低減できる。
【0030】
変換部１５は、状況データｊ（ｎ）に同期したカメラパラメータθ（ｎ＋Δｎ）をカメラパラメータ読出部１４から入力する。そして、変換部１５は、予め設定した変換規則Ｔに基づいて、入力されたカメラ座標系のカメラパラメータθ（ｎ＋Δｎ）を世界座標系のフレーミングパラメータの連続値ｇ（ｎ＋Δｎ）＝Ｔ（θ（ｎ＋Δｎ））に変換するものである。さらに、変換部１５は、変換したフレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を量子化部１６に出力する。
なお、変換部１５による変換処理の詳細は、後記する。
なお、変換部１５による変換処理の詳細は、後記する。
【0031】
量子化部１６は、フレーミングパラメータを世界座標系上の連続値ｇ（ｎ＋Δｎ）として変換部１５から入力する。そして、量子化部１６は、予め設定した量子化規則Ｑに基づいて、入力されたフレーミングパラメータを世界座標系上の離散値ｑ（ｎ＋Δｎ）＝Ｑ（ｇ（ｎ＋Δｎ））に量子化するものである。さらに、量子化部１６は、量子化したフレーミングパラメータの離散値ｑ（ｎ＋Δｎ）を学習部１７に出力する。
なお、量子化部１６による量子化処理の詳細は、後記する。
なお、量子化部１６による量子化処理の詳細は、後記する。
【0032】
ここで、離散値とは、推論モデルがフレーミングパラメータを世界座標系上の離散値（空間的な離散値）に変換した値をいう。例えば、離散値は、０．２５メートル刻み、０．５メートル刻み、又は、１．０メートル刻みのようにメッシュオーダとなる。
また、連続値とは、推論モデルがフレーミングパラメータを世界座標系上の連続値（空間的な連続値）に変換した値をいう。
また、連続値とは、推論モデルがフレーミングパラメータを世界座標系上の連続値（空間的な連続値）に変換した値をいう。
【0033】
学習部１７は、状況データ読出部１３から状況データｊ（ｎ）を入力し、量子化部１６からフレーミングパラメータの離散値ｑ（ｎ＋Δｎ）を入力する。そして、学習部１７は、状況データｊ（ｎ）とフレーミングパラメータの離散値ｑ（ｎ＋Δｎ）とを対応付けて学習することにより、フレーミングパラメータの学習済み推論モデルを生成するものである。つまり、学習部１７は、状況データｊ（ｎ）及びフレーミングパラメータの離散値ｑ（ｎ＋Δｎ）のデータ対を取り込み、学習済みパラメータＰを出力する。
なお、学習部１７の構成は、第２実施形態及び第３実施形態で説明する。
なお、学習部１７の構成は、第２実施形態及び第３実施形態で説明する。
【0034】
推論モデルは、任意に選択できる。例えば、推論モデルとして、サポートベクターマシン（ＳＶＭ：support vector machine）やｋ近傍法（ｋ－ＮＮ：k-nearest neighbor）などの機械学習を用いてもよい。また、推論モデルとして、ニューラルネットワークを用いてもよい。状況データｊが画像化されたデータの場合、推論モデルとして、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いることが好ましい。
【0035】
ここで、フレーミングパラメータの離散値ｑ（ｎ＋Δｎ）又は連続値ｇ（ｎ＋Δｎ）の何れで学習するかは、推論モデルの種類に応じて任意に選択できる。
なお、学習部１７がフレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を直接学習する場合、フレーミング領域学習装置１は、量子化部１６を備えなくともよい。この場合、変換部１５は、フレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を学習部１７に出力する。
なお、学習部１７がフレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を直接学習する場合、フレーミング領域学習装置１は、量子化部１６を備えなくともよい。この場合、変換部１５は、フレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を学習部１７に出力する。
【0036】
以上のように、フレーミング領域学習装置１は、カメラ位置に依存するカメラパラメータθではなく、カメラ位置に依存しない世界座標系でフレーミングパラメータの離散値ｑ又は連続値ｇを学習するので、カメラ位置に依存しない学習済み推論モデルを生成できる。従って、フレーミング領域学習装置１は、様々なカメラ位置から実際のカメラマンがフレーミングしたようなフレーミング領域を自動で決定できる。
【0037】
従来の推論モデルは、カメラパラメータθをそのまま学習しているので、カメラパラメータθをそのまま出力するため、カメラパラメータθがカメラ位置に依存し、学習時及び推定時でカメラ位置が同一でなければ、この推論モデルを利用できない。現実的には、学習時及び推定時にカメラ位置が異なるため、従来の推論モデルの利用が困難である。その一方、フレーミング領域学習装置１の学習済み推論モデルは、世界座標系のフレーミングパラメータを学習しているので、学習時及び推定時でカメラ位置が異なる場合にも利用できる。
【0038】
さらに、フレーミング領域学習装置１は、カメラパラメータθ（ｎ＋Δｎ）の読み出し時刻を未来にオフセットさせるので、カメラパラメータθの遅延の影響やフレーミング領域推定装置２の処理遅延の影響を低減できる。
【0039】
［フレーミング領域推定装置の構成］
図３を参照し、フレーミング領域推定装置２の構成について説明する。
フレーミング領域推定装置２は、フレーミング領域学習装置１で生成した学習済み推論モデルを用いて、フレーミングパラメータを推定し、推定したフレーミングパラメータをカメラパラメータに変換するものである。図３に示すように、フレーミング領域推定装置２は、推定部２０と、逆量子化部２１と、逆変換部２２とを備える。
図３を参照し、フレーミング領域推定装置２の構成について説明する。
フレーミング領域推定装置２は、フレーミング領域学習装置１で生成した学習済み推論モデルを用いて、フレーミングパラメータを推定し、推定したフレーミングパラメータをカメラパラメータに変換するものである。図３に示すように、フレーミング領域推定装置２は、推定部２０と、逆量子化部２１と、逆変換部２２とを備える。
【0040】
推定部２０は、後記する状況データｊを入力し、学習済み推論モデルにより、入力した状況データｊに応じたフレーミングパラメータの推定値を世界座標系で出力するものである。つまり、推定部２０は、学習済みパラメータＰによって構成される学習済みの推論モデルであり、状況データｊを入力すると、フレーミングパラメータの離散推定値ｑｅｓｔを逆量子化部２１に出力する。
【0041】
以後、フレーミングパラメータの推定値が離散値であるものを「離散推定値」と記載し、フレーミングパラメータの推定値が連続値であるものを「連続推定値」と記載する場合がある。
【0042】
逆量子化部２１は、予め設定した逆量子化規則Ｑ－１に基づいて、推定部２０から入力されたフレーミングパラメータの離散推定値ｑｅｓｔを連続推定値ｇｅｓｔ＝Ｑ－１（ｑｅｓｔ）に逆量子化するものである。そして、逆量子化部２１は、逆量子化したフレーミングパラメータの連続推定値ｇｅｓｔを逆変換部２２に出力する。
【0043】
なお、逆量子化部２１による逆量子化の詳細は、後記する。
また、推定部２０がフレーミングパラメータの連続推定値ｇｅｓｔを直接出力する場合、フレーミング領域推定装置２は、逆量子化部２１を備えなくともよい。この場合、推定部２０は、フレーミングパラメータの連続推定値ｇｅｓｔを逆変換部２２に出力する。
また、推定部２０がフレーミングパラメータの連続推定値ｇｅｓｔを直接出力する場合、フレーミング領域推定装置２は、逆量子化部２１を備えなくともよい。この場合、推定部２０は、フレーミングパラメータの連続推定値ｇｅｓｔを逆変換部２２に出力する。
【0044】
逆変換部２２は、逆量子化部２１から入力された世界座標系のフレーミングパラメータの連続推定値ｇｅｓｔを、予め設定した逆変換規則Ｔ－１に基づいて、カメラ座標系のカメラパラメータの推定値θｅｓｔ＝Ｔ－１（ｇｅｓｔ）に逆変換するものである。そして、逆変換部２２は、逆変換したカメラパラメータの推定値θｅｓｔを外部に出力する。
なお、逆変換部２２による逆変換処理の詳細は、後記する。
なお、逆変換部２２による逆変換処理の詳細は、後記する。
【0045】
以上のように、フレーミング領域推定装置２は、カメラ位置に依存しない推論モデルを用いるので、様々なカメラ位置から実際のカメラマンがフレーミングしたようなフレーミング領域を自動で決定できる。すなわち、フレーミング領域推定装置２は、学習済み推論モデルを用いて、カメラ位置に依存しない世界座標系でフレーミングパラメータの離散推定値ｑｅｓｔを推定し、推定したフレーミングパラメータの離散推定値ｑｅｓｔをカメラパラメータの推定値θｅｓｔに変換する。このカメラパラメータの推定値θｅｓｔからカメラ３の制御信号を生成すれば、様々なカメラ位置でカメラ３の姿勢を制御できる。
【0046】
【0047】
＜世界座標系のフレーミングパラメータ、カメラ座標系のカメラパラメータ＞
図４には、サッカーフィールドを一例として、被写体が存在する世界座標系と、カメラ３の位置及び姿勢が反映されたカメラ座標系との関係を図示した。
図４には、サッカーフィールドを一例として、被写体が存在する世界座標系と、カメラ３の位置及び姿勢が反映されたカメラ座標系との関係を図示した。
【0048】
図４に示すように、世界座標系は、サッカーフィールド９０の中央９１を原点とし、原点を通りサイドライン９２と平行な軸をＸ軸とし、センターライン９３と平行な軸をＹ軸とし、サッカーフィールド９０の平面に垂直かつ上向きの軸を＋Ｚ軸とする。従って、世界座標系は、Ｘ軸、Ｙ軸、Ｚ軸の順に右手系となる。
【0049】
カメラ座標系は、カメラ３の光軸方向を＋ｚ軸とする。カメラ座標系の原点が世界座標系の原点と一致し、かつ、各軸の回転がない場合を考える。この場合、カメラ座標系＋ｘ軸と世界座標系＋Ｘ軸、カメラ座標系＋ｙと世界座標系－Ｚ軸、カメラ座標系＋ｚ軸と世界座標系＋Ｙ軸が一致する関係となる。従って、カメラ座標系は、ｘ軸、ｙ軸、ｚ軸の順に右手系となる。
【0050】
カメラ座標系において、ｙ軸の回転角をパン角α［ｒａｄ］とし、ｘ軸の回転角をチルト角δ［ｒａｄ］とし、ｚ軸の回転角をロール角φ［ｒａｄ］とする。この場合、カメラ座標系における世界座標系の姿勢Ｒは、以下の式（１）で表される。つまり、カメラ座標系のパン角α、チルト角δ及びロール角φと世界座標系の姿勢Ｒとの間には、式（１）の関係がある。
【0051】
【数1】
【0052】
図５に示すように、世界座標系におけるカメラ座標系の原点（カメラ３の位置）をｔｗ＝［ｔｗｘ，ｔｗｙ，ｔｗｚ］とする。この場合、カメラ座標系における世界座標系の原点ｔｃ＝［ｔｃｘ，ｔｃｙ，ｔｃｚ］は、ｔｃ＝－Ｒｔｗで表すことができる。
【0053】
カメラ３のフレーミング領域は、カメラ３の位置ｔｗ、姿勢Ｒ及び画角（正確にはカメラ３に装着されているレンズの水平画角）βによって決定される。
カメラ３の位置ｔｗは、撮影現場で実際に測定すればよい。また、カメラ３の位置ｔｗは、その位置で撮影された画像内の対象物と、この対象物の実際の地上のデータであるグラウンドトゥルースとの対応関係から推定できる。
カメラ３の位置ｔｗは、撮影現場で実際に測定すればよい。また、カメラ３の位置ｔｗは、その位置で撮影された画像内の対象物と、この対象物の実際の地上のデータであるグラウンドトゥルースとの対応関係から推定できる。
【0054】
カメラ３の姿勢Ｒは、カメラ３に接続されているセンサ３１（パン角センサ３１ａ及びチルト角センサ３１ｂ）から取得できる。一般的に使用される雲台にはロール角φを操作する回転機構がないため、ロール角φ＝０とすればよい。従って、カメラ座標系のパン角α及びチルト角δが分かれば、世界座標系でカメラ３の姿勢Ｒを求められる。
【0055】
カメラ３の画角βは、ズームレンズを使用している場合、ズームリングの回転量に応じて変化する。ズームセンサ３１ｃの出力値を入力とし、カメラ３の画角βを出力とした場合、カメラ３のセンササイズやズームレンズの組み合わせに応じて、入出力値が変化する。そこで、入出力値を予め測定し、それら入出力値をルックアップテーブル化することで、カメラ３の画角βを求められる。
この他、カメラ３の画角βは、カメラ３のセンササイズから一意に定まる焦点距離ｆとしてもよい。
この他、カメラ３の画角βは、カメラ３のセンササイズから一意に定まる焦点距離ｆとしてもよい。
【0056】
以上より、フレーミング領域の決定に最低限必要、かつ、取得可能なカメラパラメータは、パン角α、チルト角δ及び画角βの３つとなる。つまり、カメラ３のパン角α、チルト角δ及び画角βが、カメラパラメータθに相当する。
【0057】
カメラ３の位置が固定という条件であれば、カメラパラメータθを教師データとして学習した推論モデルによって、状況データｊに応じたフレーミングパラメータを推定できる。カメラ位置に依存せずフレーミングパラメータを推定するためには、カメラ３のフレーミングパラメータとスケールｓとを世界座標系に変換して学習し、これらの推定値をカメラ座標系に逆変換し、カメラパラメータの推定値θｅｓｔを求める必要がある。
【0058】
カメラ３のチルト角δ＜０の場合、図４及び図５に示すように、カメラ３の光軸（ｚ軸）と世界座標系におけるＸＹ平面（Ｚ＝０）とが交わる交差位置をｃｗ＝［ｃｗｘ，ｃｗｙ，０］とする。この場合、交差位置ｃｗは、以下の式（２）で算出できる。
【0059】
【数2】
【0060】
スケールｓは、世界座標系におけるフレーミング領域のサイズを示している。図５に示すように、スケールｓは、カメラ３の位置ｔｗから交差位置ｃｗまでの光軸長ｌとカメラ３の画角βとから、以下の式（３）で算出できる。つまり、交点位置ｃｗｘ，ｃｗｙ及びスケールｓが、フレーミングパラメータの連続値ｇに相当する。
【0061】
【数3】
【0062】
なお、図５では、カメラ３の移動後の位置をｔｗ＿ｎｅｗとし、カメラ３の移動後に推定される画角をβｅｓｔとする。また、カメラ３の移動後に推定されたスケールをｓｅｓｔとし、光軸長をｌｅｓｔとし、交点位置をｃｗ＿ｅｓｔとする。
【0063】
＜変換処理及び逆変換処理＞
以上より、前記した式（２）及び式（３）が、変換部１５に予め設定されている変換規則Ｔに相当する。すなわち、変換部１５は、前記した式（２）及び式（３）を用いて、カメラ座標系のカメラパラメータθ＝［α，δ，β］を世界座標系のフレーミングパラメータの連続値ｇ＝［ｃｗｘ，ｃｗｙ，ｓ］に変換する。
以上より、前記した式（２）及び式（３）が、変換部１５に予め設定されている変換規則Ｔに相当する。すなわち、変換部１５は、前記した式（２）及び式（３）を用いて、カメラ座標系のカメラパラメータθ＝［α，δ，β］を世界座標系のフレーミングパラメータの連続値ｇ＝［ｃｗｘ，ｃｗｙ，ｓ］に変換する。
【0064】
また、世界座標系のフレーミングパラメータの連続推定値ｇｅｓｔからカメラパラメータの推定値θｅｓｔへの逆変換についても検討する。ここでは、パン角の推定値αｅｓｔが式（４）で算出でき、チルト角の推定値δｅｓｔが式（５）で算出できる。
【0065】
【数4】
【数5】
【0066】
図５に示すように、カメラ３の画角の推定値βｅｓｔは、カメラ３の位置ｔｗ＿ｎｅｗから交差位置ｃｗ＿ｅｓｔまでの光軸長ｌｅｓｔとすると、以下の式（６）で算出できる。
【0067】
【数6】
【0068】
前記した式（４）～式（６）が、逆変換部２２に予め設定されている逆変換規則Ｔ－１に相当する。すなわち、逆変換部２２は、前記した式（４）～式（６）を用いて、フレーミングパラメータの連続推定値ｇｅｓｔ＝［ｃｗｘ＿ｅｓｔ，ｃｗｙ＿ｅｓｔ，ｓｅｓｔ］をカメラ座標系のカメラパラメータの推定値θｅｓｔ＝［αｅｓｔ，δｅｓｔ，βｅｓｔ］に逆変換する。
【0069】
＜量子化処理及び逆量子化処理＞
推論モデルが連続値ではなく離散値を扱う場合、連続値から離散値への量子化、及び、離散値から連続値への逆量子化が必要になる。前記したように、フレーミングパラメータの連続推定値ｇｅｓｔがｃｗｘ，ｃｗｙ，ｓという３つのパラメータで構成されている。この場合、ベクトル次元数ｋ＝３であることから、フレーミングパラメータの連続値ｇ＝［ｇ１，ｇ２，ｇ３］と表される。このとき、フレーミングパラメータの離散値ｑ＝［ｑ１（ｇ１），ｑ２（ｇ２），ｑ３（ｇ３）］は、以下の式（７）で算出できる。なお、Ａｋ及びＢｋは、各次元ｋにおいて、任意に設定できるパラメータである。
推論モデルが連続値ではなく離散値を扱う場合、連続値から離散値への量子化、及び、離散値から連続値への逆量子化が必要になる。前記したように、フレーミングパラメータの連続推定値ｇｅｓｔがｃｗｘ，ｃｗｙ，ｓという３つのパラメータで構成されている。この場合、ベクトル次元数ｋ＝３であることから、フレーミングパラメータの連続値ｇ＝［ｇ１，ｇ２，ｇ３］と表される。このとき、フレーミングパラメータの離散値ｑ＝［ｑ１（ｇ１），ｑ２（ｇ２），ｑ３（ｇ３）］は、以下の式（７）で算出できる。なお、Ａｋ及びＢｋは、各次元ｋにおいて、任意に設定できるパラメータである。
【0070】
【数7】
【0071】
前記した式（７）が、量子化部１６に予め設定されている量子化規則Ｑに相当する。すなわち、量子化部１６は、前記した式（７）を用いて、フレーミングパラメータを連続値ｇから離散値ｑに量子化する。
【0072】
逆量子化部２１は、以下の式（８）で表されるように逆量子化する。この式（８）が、逆量子化部２１に予め設定されている逆量子化規則Ｑ－１に相当する。すなわち、逆量子化部２１は、式（８）を用いて、フレーミングパラメータの離散推定値ｑｋ＿ｅｓｔを連続推定値ｇｋ＿ｅｓｔに逆量子化する。
【0073】
【数8】
【0074】
＜状況データ＞
図６～図８を参照し、サッカーの試合映像を一例として、状況データｊについて説明する。
状況データｊは、被写体の状況として、被写体の位置又は速度の少なくとも一方を示すデータである。例えば、状況データｊは、図６に示すように、サッカーの試合映像ｊ１である。図６の試合映像ｊ１は、被写体である選手９Ａやボール９Ｂの位置を示している。なお、図６では、図面を見やすくするため、一部の選手９Ａのみ符号を付した。
図６～図８を参照し、サッカーの試合映像を一例として、状況データｊについて説明する。
状況データｊは、被写体の状況として、被写体の位置又は速度の少なくとも一方を示すデータである。例えば、状況データｊは、図６に示すように、サッカーの試合映像ｊ１である。図６の試合映像ｊ１は、被写体である選手９Ａやボール９Ｂの位置を示している。なお、図６では、図面を見やすくするため、一部の選手９Ａのみ符号を付した。
【0075】
また、状況データｊは、被写体の位置又は速度の少なくとも一方を画像化したマップであってもよい。図７には、状況データｊの一例として、選手やボールの位置を示す位置マップを図示した。
【0076】
図７（ａ）の位置マップｊ２は、全選手とボールの位置を示している。このマップでは、〇が一方のチームの選手の位置を示し、×が他方のチームの選手の位置を示し、●がボールの位置を示している。
図７（ｂ）の位置マップｊ３は、一方のチームの選手の位置を示している。この位置マップｊ３では、各選手の位置を、中心側から外周側にかけて濃淡を有する円領域で示した。この位置マップｊ３によれば、ぼかした円領域で各選手の位置を大まかに示すので、推論モデルの精度を向上させることができる。
図７（ｃ）の位置マップｊ４は、他方のチームの選手の位置を、位置マップｊ３と同様の円領域で示している。この位置マップｊ４によれば、位置マップｊ３と同様、推論モデルの精度を向上させることができる。
図７（ｄ）の位置マップｊ５は、ボールの位置を位置マップｊ３と同様の円領域で示している。
図７（ｂ）の位置マップｊ３は、一方のチームの選手の位置を示している。この位置マップｊ３では、各選手の位置を、中心側から外周側にかけて濃淡を有する円領域で示した。この位置マップｊ３によれば、ぼかした円領域で各選手の位置を大まかに示すので、推論モデルの精度を向上させることができる。
図７（ｃ）の位置マップｊ４は、他方のチームの選手の位置を、位置マップｊ３と同様の円領域で示している。この位置マップｊ４によれば、位置マップｊ３と同様、推論モデルの精度を向上させることができる。
図７（ｄ）の位置マップｊ５は、ボールの位置を位置マップｊ３と同様の円領域で示している。
【0077】
図８には、状況データｊの一例として、選手の速度を示す速度マップを図示した。
図８（ａ）は、一方のチームの選手の位置と速度成分（Ｘ軸成分、Ｙ軸成分）とを図示した。この速度成分は、所定の規則で正規化した値を示している。
図８（ａ）の速度マップｊ６は、図８（ａ）の各選手の位置を無視し、各選手の速度成分を点で示している。
図８（ｃ）の速度マップｊ７は、図８（ａ）の各選手の速度成分をぼかした円領域で示している。この速度マップｊ７によれば、ぼかした円領域で各選手の速度を大まかに示すので、推論モデルの精度を向上させることができる。
なお、図８（ｂ）及び図８（ｃ）では、説明のために縦軸及び横軸を図示したものであり、速度マップｊ６，ｊ７に軸線を含める必要はない。
図８（ａ）は、一方のチームの選手の位置と速度成分（Ｘ軸成分、Ｙ軸成分）とを図示した。この速度成分は、所定の規則で正規化した値を示している。
図８（ａ）の速度マップｊ６は、図８（ａ）の各選手の位置を無視し、各選手の速度成分を点で示している。
図８（ｃ）の速度マップｊ７は、図８（ａ）の各選手の速度成分をぼかした円領域で示している。この速度マップｊ７によれば、ぼかした円領域で各選手の速度を大まかに示すので、推論モデルの精度を向上させることができる。
なお、図８（ｂ）及び図８（ｃ）では、説明のために縦軸及び横軸を図示したものであり、速度マップｊ６，ｊ７に軸線を含める必要はない。
【0078】
ここで、状況データｊとして、試合映像ｊ１、位置マップｊ２～ｊ５又は速度マップｊ６，ｊ７の何れを用いてもよい。例えば、状況データｊとして、試合映像ｊ１、位置マップｊ２～ｊ５又は速度マップｊ６，ｊ７の何れか１つのみを用いてもよい。また、状況データｊとして、試合映像ｊ１、位置マップｊ２～ｊ５又は速度マップｊ６，ｊ７の２つ以上を任意に組み合わせてもよい。さらに、状況データｊとして、両チームの選手の位置マップｊ３，ｊ４を組み合わせると、推論モデルの精度を向上させることができる。
【0079】
［フレーミング領域学習装置の動作］
図９を参照し、フレーミング領域学習装置１の動作について説明する。
ステップＳ１０において、データ選択部１１は、状況データｊ（ν）とカメラパラメータθ（ν）とに紐づけられている時刻ν＝ｎを選択する。
ステップＳ１１において、時刻調整部１２は、オフセット時刻Δｎが予め設定される。そして、時刻調整部１２は、時刻ｎにオフセット時刻Δを加算し、未来時刻（ｎ＋Δｎ）を算出する。
図９を参照し、フレーミング領域学習装置１の動作について説明する。
ステップＳ１０において、データ選択部１１は、状況データｊ（ν）とカメラパラメータθ（ν）とに紐づけられている時刻ν＝ｎを選択する。
ステップＳ１１において、時刻調整部１２は、オフセット時刻Δｎが予め設定される。そして、時刻調整部１２は、時刻ｎにオフセット時刻Δを加算し、未来時刻（ｎ＋Δｎ）を算出する。
【0080】
ステップＳ１２において、状況データ読出部１３は、時刻ｎの状況データｊ（ｎ）を状況データ記憶部１０Ａから読み出す。
ステップＳ１３において、カメラパラメータ読出部１４は、未来時刻（ｎ＋Δｎ）のカメラパラメータθ（ｎ＋Δｎ）をカメラパラメータ記憶部１０Ｂから読み出す。
ステップＳ１３において、カメラパラメータ読出部１４は、未来時刻（ｎ＋Δｎ）のカメラパラメータθ（ｎ＋Δｎ）をカメラパラメータ記憶部１０Ｂから読み出す。
【0081】
ステップＳ１４において、変換部１５は、カメラパラメータθ（ｎ＋Δｎ）を世界座標系のフレーミングパラメータの連続値ｇ（ｎ＋Δｎ）に変換する。
ステップＳ１５において、量子化部１６は、フレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を離散値ｑ（ｎ＋Δｎ）に量子化する。
ステップＳ１５において、量子化部１６は、フレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を離散値ｑ（ｎ＋Δｎ）に量子化する。
【0082】
ステップＳ１６において、学習部１７は、ステップＳ１２で読み出した状況データｊ（ｎ）と、ステップＳ１５で量子化したフレーミングパラメータの離散値ｑ（ｎ＋Δｎ）とを対応付けて学習することにより、フレーミングパラメータの学習済み推論モデルを生成する。
なお、ステップＳ１６において、学習部１７がフレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を直接学習する場合、ステップＳ１５の処理を実行しなくともよい。
なお、ステップＳ１６において、学習部１７がフレーミングパラメータの連続値ｇ（ｎ＋Δｎ）を直接学習する場合、ステップＳ１５の処理を実行しなくともよい。
【0083】
［フレーミング領域推定装置の動作］
図１０を参照し、フレーミング領域推定装置２の動作について説明する。
ステップＳ２０において、推定部２０は、状況データｊを入力する。
ステップＳ２１において、推定部２０は、学習済み推論モデルにより、状況データｊに応じたフレーミングパラメータの離散推定値ｑｅｓｔを出力する。
図１０を参照し、フレーミング領域推定装置２の動作について説明する。
ステップＳ２０において、推定部２０は、状況データｊを入力する。
ステップＳ２１において、推定部２０は、学習済み推論モデルにより、状況データｊに応じたフレーミングパラメータの離散推定値ｑｅｓｔを出力する。
【0084】
ステップＳ２２において、逆量子化部２１は、フレーミングパラメータの離散推定値ｑｅｓｔを連続推定値ｇｅｓｔに逆量子化する。
ステップＳ２３において、逆変換部２２は、フレーミングパラメータの連続推定値ｇｅｓｔをカメラパラメータの推定値θｅｓｔに逆変換する。
なお、ステップＳ２１において、推定部２０がフレーミングパラメータの連続推定値ｇｅｓｔを直接出力する場合、ステップＳ２２の処理を実行しなくともよい。
ステップＳ２３において、逆変換部２２は、フレーミングパラメータの連続推定値ｇｅｓｔをカメラパラメータの推定値θｅｓｔに逆変換する。
なお、ステップＳ２１において、推定部２０がフレーミングパラメータの連続推定値ｇｅｓｔを直接出力する場合、ステップＳ２２の処理を実行しなくともよい。
【0085】
（第２実施形態）
図１１を参照し、第２実施形態に係る学習部１７の構成の一例を説明する。
学習部１７は、学習の過程において学習パラメータを更新し、最終的な学習パラメータを学習済みパラメータＰとして出力するものである。図１１に示すように、学習部１７は、推定部１７０と、逆量子化部１７１と、逆量子化部１７２と、誤差評価部１７３と、パラメータ更新部１７４と、パラメータ記憶部１７５とを備える。
図１１を参照し、第２実施形態に係る学習部１７の構成の一例を説明する。
学習部１７は、学習の過程において学習パラメータを更新し、最終的な学習パラメータを学習済みパラメータＰとして出力するものである。図１１に示すように、学習部１７は、推定部１７０と、逆量子化部１７１と、逆量子化部１７２と、誤差評価部１７３と、パラメータ更新部１７４と、パラメータ記憶部１７５とを備える。
【0086】
推定部１７０は、パラメータ記憶部１７５の学習パラメータで構成される推論モデルであり、図３の推定部２０と同様、状況データｊを入力すると、フレーミングパラメータの離散推定値ｑｅｓｔを逆量子化部１７１に出力する。
【0087】
逆量子化部１７１は、図３の逆量子化部２１と同様、推定部１７０から入力されたフレーミングパラメータの離散推定値ｑｅｓｔを連続推定値ｇｅｓｔに逆量子化するものである。そして、逆量子化部１７１は、逆量子化したフレーミングパラメータの連続推定値ｇｅｓｔを誤差評価部１７３に出力する。
【0088】
逆量子化部１７２は、図３の逆量子化部２１と同様、図２の量子化部１６から入力されたフレーミングパラメータの離散値ｑを連続値ｇに逆量子化するものである。そして、逆量子化部１７２は、逆量子化したフレーミングパラメータの連続値ｇを誤差評価部１７３に出力する。
【0089】
なお、推定部１７０がフレーミングパラメータの連続推定値ｇｅｓｔを直接出力する場合、学習部１７は、逆量子化部１７１及び逆量子化部１７２を備えなくともよい。この場合、推定部１７０は、フレーミングパラメータの連続推定値ｇｅｓｔを誤差評価部１７３に出力し、図２の変換部１５からフレーミングパラメータの連続値ｇを誤差評価部１７３に入力すればよい。
【0090】
誤差評価部１７３は、逆量子化部１７１から入力されたフレーミングパラメータの連続推定値ｇｅｓｔと、逆量子化部１７２から入力されたフレーミングパラメータの連続値ｇとの誤差を算出するものである。例えば、誤差評価部１７３は、２乗和誤差や交差エントロピー誤差を算出する。そして、誤差評価部１７３は、算出した誤差をパラメータ更新部１７４に出力する。
【0091】
パラメータ更新部１７４は、誤差評価部１７３で算出したフレーミングパラメータの連続推定値ｇｅｓｔとフレーミングパラメータの連続値ｇとの誤差から学習信号を生成し、パラメータ記憶部１７５の学習パラメータを更新するものである。つまり、パラメータ更新部１７４は、誤差評価部１７３で算出した誤差が最小となるように、パラメータ記憶部１７５の学習パラメータを逆伝搬で更新する。
【0092】
パラメータ記憶部１７５は、教師データとして、パラメータ更新部１７４が更新した学習パラメータを記憶する記憶装置である。パラメータ記憶部１７５の学習パラメータは、推定部１７０によって参照される。
【0093】
このように、学習部１７は、推定部１７０が出力したフレーミングパラメータの推定値ｑｅｓｔをカメラ座標系に変換する必要がないので、演算量を抑えることができる。
【0094】
（第３実施形態）
図１２を参照し、第３実施形態に係る学習部１７Ｂの構成の一例を説明する。
第２実施形態に係る学習部１７では、世界座標系でフレーミングパラメータの連続推定値ｇｅｓｔとフレーミングパラメータの連続値ｇとの誤差を評価している。これに対し、第３実施形態に係る学習部１７Ｂでは、カメラ座標系でカメラパラメータの推定値θｅｓｔとカメラパラメータθとの誤差を評価する点が、第２実施形態と異なっている。
図１２を参照し、第３実施形態に係る学習部１７Ｂの構成の一例を説明する。
第２実施形態に係る学習部１７では、世界座標系でフレーミングパラメータの連続推定値ｇｅｓｔとフレーミングパラメータの連続値ｇとの誤差を評価している。これに対し、第３実施形態に係る学習部１７Ｂでは、カメラ座標系でカメラパラメータの推定値θｅｓｔとカメラパラメータθとの誤差を評価する点が、第２実施形態と異なっている。
【0095】
図１２に示すように、学習部１７Ｂは、推定部１７０と、逆量子化部１７１と、逆量子化部１７２と、パラメータ更新部１７４と、パラメータ記憶部１７５と、逆変換部１７６と、誤差評価部１７７とを備える。
なお、逆変換部１７６及び誤差評価部１７７以外の構成は、第２位実施形態と同様のため、説明を省略する。
なお、逆変換部１７６及び誤差評価部１７７以外の構成は、第２位実施形態と同様のため、説明を省略する。
【0096】
逆変換部１７６は、図３の逆変換部２２と同様、逆量子化部１７１から入力されたフレーミングパラメータの連続推定値ｇｅｓｔをカメラパラメータθｅｓｔに逆変換するものである。そして、逆変換部１７６は、逆変換したカメラパラメータの推定値θｅｓｔを誤差評価部１７７に出力する。
【0097】
誤差評価部１７７は、逆変換部１７６から入力されたカメラパラメータの推定値θｅｓｔと、図２のカメラパラメータ読出部１４から入力されたカメラパラメータθとの誤差を算出するものである。例えば、誤差評価部１７７は、２乗和誤差や交差エントロピー誤差を算出する。そして、誤差評価部１７７は、算出した誤差をパラメータ更新部１７４に出力する。
【0098】
このように、学習部１７Ｂは、カメラマンが構図を決めるカメラ座標系で誤差を評価するので、推定精度を向上させることができる。
【0099】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第２実施形態及び第３実施形態では、学習部の具体的な構成を説明したが、これに限定されない。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第２実施形態及び第３実施形態では、学習部の具体的な構成を説明したが、これに限定されない。
【0100】
前記した各実施形態では、サッカーの試合映像を一例として説明したが、これに限定されない。特に、本発明は、カメラマンのカメラワークと被写体の位置との間に相関がある映像であれば、高精度なカメラパラメータを推定できるので好ましい。例えば、本発明は、バスケットボールやラグビーなどの試合映像、コンサートや舞台などの撮影映像に最適である。
さらに、本発明は、世界座標系が共通する場合、学習済み推論モデルをそのまま利用できる。例えば、国際規格に対応したサッカーフィールドであれば、同一の世界座標系を設定できるので、学習済み推論モデルをそのまま利用できる。
さらに、本発明は、世界座標系が共通する場合、学習済み推論モデルをそのまま利用できる。例えば、国際規格に対応したサッカーフィールドであれば、同一の世界座標系を設定できるので、学習済み推論モデルをそのまま利用できる。
【0101】
前記した第１実施形態では、カメラパラメータの読み出し時刻をオフセットさせるものとして説明したが、これに限定されない。つまり、オフセット時刻を０に設定してもよい。この場合、学習部は、同一時刻の状況データとフレーミングパラメータとを対応付けて学習することになる。
前記した第１実施形態では、変換規則及び逆変換規則の一例と、量子化規則及び逆量子化規則の一例とを説明したが、これに限定されない。
前記した第１実施形態では、変換規則及び逆変換規則の一例と、量子化規則及び逆量子化規則の一例とを説明したが、これに限定されない。
【0102】
前記した各実施形態では、フレーミング領域学習装置及びフレーミング領域推定装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0103】
１ フレーミング領域学習装置
１０Ａ 状況データ記憶部（被写体情報記憶部）
１０Ｂ カメラパラメータ記憶部
１１ データ選択部
１２ 時刻調整部
１３ 状況データ読出部（被写体情報読出部）
１４ カメラパラメータ読出部
１５ 変換部
１６ 量子化部
１７ 学習部
２ フレーミング領域推定装置
２０ 推定部
２１ 逆量子化部
２２ 逆変換部
１７０ 推定部
１７１ 逆量子化部
１７２ 変換部
１７３，１７７ 誤差評価部
１７４ パラメータ更新部
１７５ パラメータ記憶部
１７６ 逆変換部
１０Ａ 状況データ記憶部（被写体情報記憶部）
１０Ｂ カメラパラメータ記憶部
１１ データ選択部
１２ 時刻調整部
１３ 状況データ読出部（被写体情報読出部）
１４ カメラパラメータ読出部
１５ 変換部
１６ 量子化部
１７ 学習部
２ フレーミング領域推定装置
２０ 推定部
２１ 逆量子化部
２２ 逆変換部
１７０ 推定部
１７１ 逆量子化部
１７２ 変換部
１７３，１７７ 誤差評価部
１７４ パラメータ更新部
１７５ パラメータ記憶部
１７６ 逆変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】