特許7281767認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-18
(45)【発行日】2023-05-26
(54)【発明の名称】認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステム
(51)【国際特許分類】
G06T 7/55 20170101AFI20230519BHJP
A63B 69/02 20060101ALI20230519BHJP
G01B 11/00 20060101ALI20230519BHJP
A63B 71/06 20060101ALN20230519BHJP
【ＦＩ】
G06T7/55
A63B69/02 G
G01B11/00 H
A63B71/06 M
【請求項の数】
4
(21)【出願番号】P 2019198587
(22)【出願日】2019-10-31
(65)【公開番号】P2021071953
(43)【公開日】2021-05-06
【審査請求日】2022-06-09
(73)【特許権者】
【識別番号】519011485
【氏名又は名称】株式会社アブストラクトエンジン
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(74)【代理人】
【識別番号】100194836
【弁理士】
【氏名又は名称】長谷部 優一
(72)【発明者】
【氏名】真鍋 大度
(72)【発明者】
【氏名】花井 裕也
(72)【発明者】
【氏名】カイル マクドナルド
【審査官】小太刀 慶明
(56)【参考文献】
【文献】特表２０１４－５１２９０３（ＪＰ，Ａ）
【文献】特開２０１２－１７０５３２（ＪＰ，Ａ）
【文献】国際公開第２００９／０６１２８３（ＷＯ，Ａ２）
【文献】特開２０１９－１０１８９２（ＪＰ，Ａ）
【文献】高橋 正樹 Masaki TAKAHASHI，スポーツ中継番組における画像処理技術 Image Processing Technologies in Live Sports Broadcasting，画像電子学会誌 Ｖｏｌ．４８ Ｎｏ．１ ２０１９ ［ＣＤ－ＲＯＭ］ The Journal of the Institute of，日本，一般社団法人画像電子学会，2019年01月30日，Vol. 48, No. 1，180-181
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／５５
Ｇ０１Ｂ １１／００
Ａ６３Ｂ ６９／０２
Ａ６３Ｂ ７１／０６
(57)【特許請求の範囲】
【請求項1】
棒形状の器具を所持する１又は複数の所持者を複数の撮像装置で撮像された撮像画像のそれぞれについて、前記器具が写っている位置を認識する器具認識処理を行う器具認識手段と、それぞれの前記撮像画像から、前記器具認識処理の結果を利用して、前記器具とその近傍のみを含む器具近傍領域の器具近傍領域画像を取得する第１の画像取得手段と、
それぞれの前記器具近傍領域画像から、前記器具の所定部分が写っている位置を認識する器具部分認識処理を行う器具部分認識手段と、
前記器具部分認識処理の結果に基づいて、前記撮像画像上で前記所定部分の位置に対応する２Ｄ座標を取得する２Ｄ座標認識手段と、
それぞれの前記撮像画像に基づいて前記２Ｄ座標認識手段が認識した前記所定部分の２Ｄ座標を、前記所持者が存在する３Ｄ空間上の３Ｄ座標に変換して取得し、取得した前記所定部分の３Ｄ座標に基づき、前記３Ｄ空間内における前記所定部分の位置に対応する３Ｄ座標を認識して取得する３Ｄ座標認識手段と
を有することを特徴とする認識処理装置。
【請求項2】
コンピュータを、棒形状の器具を所持する１又は複数の所持者を複数の撮像装置で撮像された撮像画像のそれぞれについて、前記器具が写っている位置を認識する器具認識処理を行う器具認識手段と、
それぞれの前記撮像画像から、前記器具認識処理の結果を利用して、前記器具とその近傍のみを含む器具近傍領域の器具近傍領域画像を取得する第１の画像取得手段と、
それぞれの前記器具近傍領域画像から、前記器具の所定部分が写っている位置を認識する器具部分認識処理を行う器具部分認識手段と、
前記器具部分認識処理の結果に基づいて、前記撮像画像上で前記所定部分の位置に対応する２Ｄ座標を取得する２Ｄ座標認識手段と、
それぞれの前記撮像画像に基づいて前記２Ｄ座標認識手段が認識した前記所定部分の２Ｄ座標を、前記所持者が存在する３Ｄ空間上の３Ｄ座標に変換して取得し、取得した前記所定部分の３Ｄ座標に基づき、前記３Ｄ空間内における前記所定部分の位置に対応する３Ｄ座標を認識して取得する３Ｄ座標認識手段と
して機能させることを特徴とする認識処理プログラム。
【請求項3】
認識処理装置が行う認識処理方法において、前記認識処理装置は、器具認識手段、第１の画像取得手段、器具部分認識手段、２Ｄ座標認識手段、及び３Ｄ座標認識手段を有し、
前記器具認識手段は、棒形状の器具を所持する１又は複数の所持者を複数の撮像装置で撮像された撮像画像のそれぞれについて、前記器具が写っている位置を認識する器具認識処理を行い
前記第１の画像取得手段は、それぞれの前記撮像画像から、前記器具認識処理の結果を利用して、前記器具とその近傍のみを含む器具近傍領域の器具近傍領域画像を取得し、
前記器具部分認識手段は、それぞれの前記器具近傍領域画像から、前記器具の所定部分が写っている位置を認識する器具部分認識処理を行い、
前記２Ｄ座標認識手段は、前記器具部分認識処理の結果に基づいて、前記撮像画像上で前記所定部分の位置に対応する２Ｄ座標を取得し、
前記３Ｄ座標認識手段は、それぞれの前記撮像画像に基づいて前記２Ｄ座標認識手段が認識した前記所定部分の２Ｄ座標を、前記所持者が存在する３Ｄ空間上の３Ｄ座標に変換して取得し、取得した前記所定部分の３Ｄ座標に基づき、前記３Ｄ空間内における前記所定部分の位置に対応する３Ｄ座標を認識して取得する
ことを特徴とする認識処理方法。
【請求項4】
棒形状の器具を所持する１又は複数の所持者を複数の撮像装置と、それぞれの前記撮像装置が撮像した撮像画像に基づいて前記所持者が所持する前記器具の位置を認識する認識処理装置と、前記認識処理装置が行った認識処理の結果に基づいて前記撮像画像又は前記撮像画像を加工した画像に前記器具の位置に応じた画像を合成した合成画像を生成するビジュアル処理装置とを有するビジュアライズシステムであって、前記認識処理装置として請求項１に記載の認識処理装置を適用したことを特徴とするビジュアライズシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステムに関し、例えば、剣術系の競技（例えば、フェンシング、剣道等のスポーツや武道）において競技者（所持者）が所持する器具（例えば、剣、刀／竹刀等）を含む認識処理を伴うシステムに適用し得る。
【背景技術】
【0002】
従来、剣術系の競技において競技者の動作を認識する技術としては、特許文献１の記載技術が存在する。
【0003】
特許文献１の記載技術では、４色以下のカラーマーカが装着された競技者の体を撮像することにより、着衣の色又は照明環境によらず、競技者の動作解析を行う。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－１４１２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来は、特許文献１の記載技術のように、剣術系の競技において競技者の動作を認識する際には、競技者に動作を認識するための目印となるマーカを取り付ける必要があった。競技者にマーカを取り付けることで、競技者の動作を認識しやすくすることができるが、マーカ自体が競技の妨げとなるため、正規の試合や大会で適用することができない等の問題が存在する。
【0006】
上記のような問題に鑑みて、剣術系の競技において、マーカを用いずに競技者が所持する器具を含む動作を認識することができる認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステムが望まれている。
【課題を解決するための手段】
【0007】
第１の本発明の認識処理装置は、（１）棒形状の器具を所持する１又は複数の所持者を複数の撮像装置で撮像された撮像画像のそれぞれについて、前記器具が写っている位置を認識する器具認識処理を行う器具認識手段と、（２）それぞれの前記撮像画像から、前記器具認識処理の結果を利用して、前記器具とその近傍のみを含む器具近傍領域の器具近傍領域画像を取得する第１の画像取得手段と、（３）それぞれの前記器具近傍領域画像から、前記器具の所定部分が写っている位置を認識する器具部分認識処理を行う器具部分認識手段と、（４）前記器具部分認識処理の結果に基づいて、前記撮像画像上で前記所定部分の位置に対応する２Ｄ座標を取得する２Ｄ座標認識手段と、（５）それぞれの前記撮像画像に基づいて前記２Ｄ座標認識手段が認識した前記所定部分の２Ｄ座標を、前記所持者が存在する３Ｄ空間上の３Ｄ座標に変換して取得し、取得した前記所定部分の３Ｄ座標に基づき、前記３Ｄ空間内における前記所定部分の位置に対応する３Ｄ座標を認識して取得する３Ｄ座標認識手段とを有することを特徴とする。
【0008】
第２の本発明の認識処理プログラムは、コンピュータを、（１）棒形状の器具を所持する１又は複数の所持者を複数の撮像装置で撮像された撮像画像のそれぞれについて、前記器具が写っている位置を認識する器具認識処理を行う器具認識手段と、（２）それぞれの前記撮像画像から、前記器具認識処理の結果を利用して、前記器具とその近傍のみを含む器具近傍領域の器具近傍領域画像を取得する第１の画像取得手段と、（３）それぞれの前記器具近傍領域画像から、前記器具の所定部分が写っている位置を認識する器具部分認識処理を行う器具部分認識手段と、（４）前記器具部分認識処理の結果に基づいて、前記撮像画像上で前記所定部分の位置に対応する２Ｄ座標を取得する２Ｄ座標認識手段と、（５））それぞれの前記撮像画像に基づいて前記２Ｄ座標認識手段が認識した前記所定部分の２Ｄ座標を、前記所持者が存在する３Ｄ空間上の３Ｄ座標に変換して取得し、取得した前記所定部分の３Ｄ座標に基づき、前記３Ｄ空間内における前記所定部分の位置に対応する３Ｄ座標を認識して取得する３Ｄ座標認識手段として機能させることを特徴とする。
【0009】
第３の本発明は、認識処理装置が行う認識処理方法において、（１）前記認識処理装置は、器具認識手段、第１の画像取得手段、器具部分認識手段、２Ｄ座標認識手段、及び３Ｄ座標認識手段を有し、（２）前記器具認識手段は、棒形状の器具を所持する１又は複数の所持者を複数の撮像装置で撮像された撮像画像のそれぞれについて、前記器具が写っている位置を認識する器具認識処理を行い、（３）前記第１の画像取得手段は、それぞれの前記撮像画像から、前記器具認識処理の結果を利用して、前記器具とその近傍のみを含む器具近傍領域の器具近傍領域画像を取得し、（４）前記器具部分認識手段は、それぞれの前記器具近傍領域画像から、前記器具の所定部分が写っている位置を認識する器具部分認識処理を行い、（５）前記２Ｄ座標認識手段は、前記器具部分認識処理の結果に基づいて、前記撮像画像上で前記所定部分の位置に対応する２Ｄ座標を取得し、（６）前記３Ｄ座標認識手段は、それぞれの前記撮像画像に基づいて前記２Ｄ座標認識手段が認識した前記所定部分の２Ｄ座標を、前記所持者が存在する３Ｄ空間上の３Ｄ座標に変換して取得し、取得した前記所定部分の３Ｄ座標に基づき、前記３Ｄ空間内における前記所定部分の位置に対応する３Ｄ座標を認識して取得することを特徴とする。
【0010】
第４の本発明は、棒形状の器具を所持する１又は複数の所持者を複数の撮像装置と、それぞれの前記撮像装置が撮像した撮像画像に基づいて前記所持者が所持する前記器具の位置を認識する認識処理装置と、前記認識処理装置が行った認識処理の結果に基づいて前記撮像画像又は前記撮像画像を加工した画像に前記器具の位置に応じた画像を合成した合成画像を生成するビジュアル処理装置とを有するビジュアライズシステムであって、前記認識処理装置として第１の本発明の認識処理装置を適用したことを特徴とする。
【発明の効果】
【0011】
本発明によれば、棒形状の器具（例えば、フェンシング等の剣術系の競技で用いられる剣）を所持する所持者（例えば、フェンシング等の競技者）について、マーカを用いずに所持者が所持する器具を含む動作を認識することができる。
【図面の簡単な説明】
【0012】
【図1】実施形態に係るビジュアライズシステムの全体構成について示したブロック図である。
【図2】実施形態に係るビジュアライズシステムで、処理される３Ｄ空間のモデル（構成例）について示した斜視図である。
【図3】実施形態に係るビジュアライズシステムにおける各装置の配置位置の例（その１）について示した図（その１）である。
【図4】実施形態に係るビジュアライズシステムにおける各装置の配置位置の例（その１）について示した図（その２）である。
【図5】実施形態に係る各カメラで撮像の対象となる撮像空間について示した図（斜視図）である。
【図6】実施形態に係るキャリブレーションオブジェクトの斜視図である。
【図7】実施形態に係るキャリブレーションオブジェクトの吊下げ部を拡大して示す正面図である。
【図8】実施形態に係るキャリブレーションオブジェクトを、競技領域内に設置した状態について示した図（斜視図）である。
【図9】実施形態に係る認識処理装置のキャリブレーション処理部で行われるキャリブレーション処理の流れについて示したフローチャートである。
【図10】実施形態に係る認識処理装置のキャリブレーションで用いられる基準位置の例について示した図である。
【図11】実施形態に係る認識処理装置の動作の例について示したフローチャートである。
【図12】実施形態に係るＬｉｄｅｒセンサと撮像領域（競技領域）内で競技中の競技者との位置関係について示した図（上側から見た図）である。
【図13】実施形態に係るＬｉｄｅｒセンサによる検知結果の例について示した図である。
【図14】実施形態に係る第１ステージ認識処理部で処理される画像の例について示した図（その１）である。
【図15】実施形態に係る第１ステージ認識処理部で剣認識処理により検出されたバウンディングボックスと剣近傍領域の例について示した図（その１）である。
【図16】実施形態に係る第２ステージ認識処理部で剣近傍領域画像から、各競技者が所持する剣の剣先及び剣元の２Ｄ座標を認識する処理の例について示した図（その１）である。
【図17】実施形態に係る第２ステージ認識処理部が行う剣先／剣元認識処理の流れについて示したフローチャートである。
【図18】実施形態に係る第１ステージ認識処理部で処理される画像の例について示した図（その２）である。
【図19】実施形態に係る第１ステージ認識処理部で剣認識処理により検出されたバウンディングボックスと剣近傍領域の例について示した図（その２）である。
【図20】実施形態に係る第２ステージ認識処理部で剣近傍領域画像から、各競技者が所持する剣の剣先及び剣元の２Ｄ座標を認識する処理の例について示した図（その２）である。
【図21】実施形態に係る第２ステージ認識処理部が行う左右判断処理の流れについて示したフローチャートである。
【図22】実施形態に係る第２ステージ認識処理部で処理される剣先角度の設定例について示した図である。
【図23】実施形態に係る第２ステージ認識処理部（第３の識別器）による剣先角度の識別処理の例について示した図である。
【図24】実施形態に係るビジュアル処理装置が出力する出力画像の例について示した図である。
【図25】実施形態に係る教師データ処理装置の機能的構成について示した図である。
【図26】実施形態に係る教師データ処理装置で用いられるカメラの設置環境の例について示した図である。
【図27】実施形態に係る教師データ処理装置（サンプル位置入力受付部）がオペレータからサンプル画像に対するサンプル位置情報の入力を受け付ける際の操作画面の例について示した図である。
【発明を実施するための形態】
【0013】
（Ａ）主たる実施形態
以下、本発明による認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステムの一実施形態を、図面を参照しながら詳述する。
以下、本発明による認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステムの一実施形態を、図面を参照しながら詳述する。
【0014】
（Ａ－１）実施形態の構成
図１は、この実施形態のビジュアライズシステム１の全体構成を示すブロック図である。
図１は、この実施形態のビジュアライズシステム１の全体構成を示すブロック図である。
【0015】
ビジュアライズシステム１は、フェンシングの競技者について剣を含む動作を認識する処理（以下、「動作認識処理」と呼ぶ）を行い、動作認識処理の結果に基づいて競技者を撮像した画像を処理するシステムである。
【0016】
ビジュアライズシステム１は、動作認識処理を行う認識処理装置１００、競技中に競技者が位置する領域（以下、「競技領域」と呼ぶ）における競技者の位置を検知（光学的に検知）する２台のＬｉＤａｒセンサ２０（２０－１、２０－２）、ビジュアル処理を行うビジュアル処理装置２００と、競技領域を含む領域を撮像する２４台のカメラ３０（３０－１～３０－２４）、及び競技者の有効な攻撃（競技のルール上有効な攻撃）を電気的に検出する審判器４０を有している。なお、ＬｉＤａｒセンサ２０及びカメラ３０を設置する台数は上記の数に限定されないものである。
【0017】
各カメラ３０としては、動画撮像が可能な種々のデジタルカメラを適用することができる。ここでは、カメラ３０は、４Ｋ６０Ｐの動画撮影が可能なデジタルカメラであるものとする。ビジュアライズシステム１において、各カメラ３０には、固有のカメラＩＤが付与されているものとする。ここでは、カメラ３０－１～３０－２４にはそれぞれ１～２４のカメラＩＤが付与されているものとする。また、ビジュアライズシステム１では、各カメラ３０で撮像される画像（フレーム）について時系列を特定するフレームＩＤが付与されているものとする。各カメラ３０において同一時系列の画像には同一のフレームＩＤが付与されるように同期した管理がなされているものとする。すなわち、ビジュアライズシステム１では、カメラＩＤとフレームＩＤにより、いずれのカメラ３０でいつの時点で撮像されたフレームであるかを特定することが可能となっているものとする。
【0018】
図２は、ビジュアライズシステム１で、処理される３Ｄ空間ＣＳのモデル（構成例）について示した斜視図である。
【0019】
３Ｄ空間ＣＳは、図２に示すように、互いに直交する３つの軸（Ｘ軸、Ｙ軸、Ｚ軸）の座標系により位置が定まる空間である。以下では、各カメラ３０で撮像される画像等二次元的な画像を「２Ｄ画像」と呼び、２Ｄ画像上の各座標（２次元座標）の画素をそれぞれ２Ｄ画素と呼ぶものとする。
【0020】
図２に示すように、３Ｄ空間ＣＳでは、床面ＦＲに設定された原点Ｐ０を基準とする座標系が設定されている。３Ｄ空間ＣＳでは、原点Ｐ０を基準として、図２の方向から見て右方向が＋Ｘ方向、左方向が－Ｘ方向、手前側の方向が－Ｙ方向、奥側の方向が＋Ｙ方向、上方向が＋Ｚ方向、下方向が－Ｚ方向となっている。以下では、３Ｄ空間ＣＳ内の座標を示す場合（Ｘ，Ｙ，Ｚ）の形式で示すものとする。例えば、Ｘ軸の位置が１、Ｙ軸の位置が１、Ｚ軸の位置が１の座標は（１，１，１）と表されるものとする。したがって、原点Ｐ０の座標は（０，０，０）となる。３Ｄ空間ＣＳの各３Ｄ座標に対応する実際の位置（原点Ｐ０からの物理的な距離（実寸））は、３Ｄ空間ＣＳにおける３Ｄ画像の解像度（各３Ｄ画素の実寸）に応じた位置となる。例えば、各３Ｄ画素のＸ軸方向の実寸が５ｍｍであった場合、座標（１，０，０）に対応する物理的な位置は、原点Ｐ０から右方向に５ｍｍの位置ということになる。以上のように、３Ｄ空間ＣＳの各座標は原点Ｐ０を基点とする実際の位置と対応付けられる。
【0021】
図２では、床面ＦＲ上に、フェンシングの競技中にルール上競技者が存在を許されるピストを含む領域（以下、「競技領域」と呼ぶ）としてＦＢ１が図示されている。競技領域ＦＢ１は、原点Ｐ０を中心点とするフェンシングのルールに従った長方形（矩形）の形状である。図２では、競技領域の各頂点の座標をＰ１０１、Ｐ１０２、Ｐ１０３、Ｐ１０４と図示している。競技領域ＦＢ１は、フェンシングのルール（ピストの形状に関するルール）に従う場合、短手方向の寸法が１．５ｍ～２．０ｍ、長手方向の寸法が１７ｍ～１８ｍ（ピストの全長１４ｍに、３ｍ～４ｍのランバック（ピストの延長部分）を加えた寸法）となる。ここでは、競技領域ＦＢ１の長手方向の寸法は１８ｍとし、短手方向の寸法を２．０ｍであるものとして説明する。
【0022】
以下では、図２に示すように、フェンシングの競技中に競技領域ＦＢ１に存在する第１の競技者を「ＦＰ１」と表し、第２の競技者を「ＦＰ２」と表すものとする。また、以下では、図２にしめすように、第１の競技者ＦＰ１が所持する剣（第１の競技者の剣）を「ＳＷ１」と表し、第２の競技者ＦＰ２が所持する剣（第２の競技者の剣）を「ＳＷ２」と表すものとする。以下では、図２の方から見て左側の競技者をＦＰ１と表し、右側の競技者をＦＰ２と表すものとする。
【0023】
ここでは、図２に示すように、競技領域ＦＢ１の長手方向の辺はＸ軸と並行（短手方向の辺はＹ軸と並行）であるものとする。また、図２では、競技領域ＦＢ１の中心点（原点Ｐ０）を通りＹ軸と並行（競技領域ＦＢ１の短手方向の辺と並行）な中心線Ｌ１と、競技領域ＦＢ１の中心点（原点Ｐ０）を通りＸ軸と並行（競技領域ＦＢ１の長手方向の辺と並行）となる中心線Ｌ２を図示している。
【0024】
また、図２では、床面ＦＲ上に、カメラ３０により撮像が行われる際の目安となる領域（以下、「撮像領域」と呼ぶ）として競技領域ＦＢ１よりやや広い長方形（矩形）の領域ＦＢ２が図示されている。図２では、撮像領域ＦＢ２の各頂点の座標をＰ１１１、Ｐ１１２、Ｐ１１３、Ｐ１１４と図示している。ここでは、撮像領域ＦＢ２は、競技領域ＦＢ１と同じく原点Ｐ０を中心点とする長方形であるものとする。撮像領域ＦＢ２は、例えば、長手方向で競技領域ＦＢ１より２ｍ長く、短手方向で０．５ｍ長い領域としてもよい。
【0025】
【0026】
図３、図４に示すように、各カメラ３０は、競技領域ＦＢ１の周囲を囲うように配置されている。図３、図４に示すように２４台のカメラ３０－１～３０－２４のうち、競技領域ＦＢ１から近距離の位置（中心線Ｌ２から８ｍ程度の位置）に半分の１２台のカメラ３０－１～３０－１２が配置されており、競技領域ＦＢ１から遠距離の位置（中心線Ｌ２から３０ｍ程度の位置）に、もう半分の１２台のカメラ３０－１３～３０－２４が配置されている。なお、カメラ３０及びＬｉＤａｒセンサ２０の数や配置位置は、競技中に各競技者が所持する剣について死角が発生しないような構成とすることが望ましい。
【0027】
まず、図３を用いて、近距離に配置されたカメラ３０－１～３０－１２の配置例について説明する。
【0028】
図３では、中心線Ｌ１から－Ｘ方向に距離Ｄ２１、Ｄ２２、Ｄ２３、Ｄ２４、Ｄ２５離れた位置の線（Ｙ軸と並行となる線）をそれぞれ線ＬＬ１、ＬＬ２、ＬＬ３、ＬＬ４、ＬＬ５と図示している。なお、図３に示すように、線ＬＬ４は、競技領域ＦＢ１の短手方向の辺（－Ｘ方向の辺）と一致する線であり、線ＬＬ５は撮像領域ＦＢ２の短手方向の辺（－Ｘ方向の辺）と一致する線である。
【0029】
また、図３では、中心線Ｌ１から＋Ｘ方向に距離Ｄ２１、Ｄ２２、Ｄ２３、Ｄ２４、Ｄ２５離れた位置の線（Ｙ軸と並行となる線）をそれぞれ線ＬＲ１、ＬＲ２、ＬＲ３、ＬＲ４、ＬＲ５と図示している。なお、図３に示すように、線ＬＲ４は、競技領域ＦＢ１の短手方向の辺（＋Ｘ方向の辺）と一致する線であり、線ＬＲ５は撮像領域ＦＢ２の短手方向の辺（＋Ｘ方向の辺）と一致する線である。
【0030】
さらに、図３では、中心線Ｌ２から－Ｙ方向に距離Ｄ１１離れた位置の線（Ｘ軸と並行となる線）をＬ３、中心線Ｌ２から＋Ｙ方向に距離Ｄ１１離れた位置の線（Ｘ軸と並行となる線）をＬ４と図示している。
【0031】
図３に示すように、６台のカメラ３０－１～３０－６は、線Ｌ３に沿った位置Ｐ３０１～Ｐ３０６に配置されている。そして、図３に示すように線Ｌ３に沿った位置Ｐ３０１～Ｐ３０６は、それぞれＸ方向で線ＬＬ３、ＬＬ２、ＬＬ１、ＬＲ１、ＬＬ２、ＬＬ３の位置となっている。また、図３に示すように、６台のカメラ３０－７～３０－１２は、線Ｌ４に沿った位置Ｐ３０７～Ｐ３１２配置されている。さらに、図３に示すように線Ｌ４に沿った位置Ｐ３０７～Ｐ３１２は、それぞれＸ方向で線ＬＬ３、ＬＬ２、ＬＬ１、ＬＲ１、ＬＬ２、ＬＬ３の位置となっている。
【0032】
次に、図４を用いて、遠距離に配置されたカメラ３０－１３～３０－２４の配置例について説明する。
【0033】
図４では、中心線Ｌ２から－Ｙ方向に距離Ｄ３１離れた位置の線（Ｘ軸と並行となる線）をＬ５、中心線Ｌ２から＋Ｙ方向に距離Ｄ３２離れた位置の線（Ｘ軸と並行となる線）をＬ６と図示している。Ｄ３１、Ｄ３２は、３０～４０ｍ程度であることが望ましい。
【0034】
図４に示すように、６台のカメラ３０－１３～３０－１８は、線Ｌ５に沿った位置Ｐ３１３～Ｐ３１８となっている。また、図４に示すように、６台のカメラ３０－１９～３０－２４は、線Ｌ６に沿った位置Ｐ３１９～Ｐ３２４となっている。遠距離に配置されたカメラ３０－１３～３０－２４の高さは、床面ＦＲから高さ５ｍ～８ｍ程度であるものとする。遠距離に配置されたカメラ３０－１３～３０－２４は、斜め上から各競技者を見下ろす位置とすることでシステム全体としての死角を低減できる。なお、遠距離に配置されたカメラ３０－１３～３０－２４は、ピストからの距離から必然的に観客席に設置することになるため床面ＦＲよりも高い位置となる。遠距離に配置されたカメラ３０－１３～３０－２４の具体的な配置位置は、観客席の都合により詳細な位置を変更するようにしてもよい。
【0035】
図４に示すように、カメラ３０－１３、３０－１４、３０－１９、３０－２０の位置Ｐ３１３、Ｐ３１４、Ｐ３１９、Ｐ３２０は、Ｘ軸方向で撮像領域ＦＢ２よりもやや－Ｘ方向に配置されている。なお、位置Ｐ３１３、Ｐ３１４は、実際には隣接した位置（ほぼ同じ位置）であることが望ましい。また、位置Ｐ３１９、Ｐ３２０は、実際には隣接した位置（ほぼ同じ位置）であることが望ましい。
【0036】
また、図４に示すように、カメラ３０－１５、３０－１６、３０－２１、３０－２２の位置Ｐ３１５、Ｐ３１６、Ｐ３２１、Ｐ３２２は、Ｘ軸方向で撮像領域ＦＢ２の範囲内（ＬＬ５～ＬＲ５の範囲内）に配置されている。なお、位置Ｐ３１５、Ｐ３１６は、実際には隣接した位置（ほぼ同じ位置）であることが望ましい。また、位置Ｐ３２１、Ｐ３２２は、実際には隣接した位置（ほぼ同じ位置）であることが望ましい。
【0037】
さらに、図４に示すように、カメラ３０－１７、３０－１８、３０－２３、３０－２４の位置Ｐ３１７、Ｐ３１８、Ｐ３２３、Ｐ３２４は、Ｘ軸方向で撮像領域ＦＢ２よりもやや＋Ｘ方向に配置されている。なお、位置Ｐ３１７、Ｐ３１８は、実際には隣接した位置（ほぼ同じ位置）であることが望ましい。また、位置Ｐ３２３、Ｐ３２４は、実際には隣接した位置（ほぼ同じ位置）であることが望ましい。
【0038】
次に、ＬｉＤａｒセンサ２０－１、２０－２の配置位置について説明する。
【0039】
この実施形態において、ＬｉＤａｒセンサ２０－１、２０－２は、それぞれ位置Ｐ３０２とＰ３０３との間の位置２０１、位置Ｐ３０４とＰ３０５との間の位置２０２に配置されている。
【0040】
次に、各カメラ３０の設定（光軸の方向、焦点位置（焦点距離）、及び視野角）の例について説明する。
【0041】
図５は、各カメラ３０で主として撮像の対象となる空間（以下、「撮像空間」と呼ぶ）ＩＳについて示した図（斜視図）である。
【0042】
図５に示すように、撮像空間ＩＳは、撮像領域ＦＢを底面とし、高さ（Ｚ軸方向の寸法）をＨ１１とする空間である。Ｈ１１の高さは競技者の身長に応じた寸法とすることが望ましい。例えば、高さＨ１１は、３ｍ～４ｍ程度とするようにしてもよい。
【0043】
すなわち、各カメラ３０の光軸は撮像空間ＩＳを通るように設定されることが望ましい。また、各カメラ３０の焦点位置は、撮像空間ＩＳの中に納まるように設定されることが望ましい。さらに、各カメラ３０の視野には主として撮像空間ＩＳが収まるような視野角が設定されることが望ましい。なお、以下では、各カメラ３０の光軸に対応するベクトル（各カメラ３０が撮像する視線際の視線のベクトル）を「視線ベクトル」とも呼ぶものとする。
【0044】
なお、各カメラ３０の設定は以下のようになされることで、各カメラ３０で撮像される画像を総合した場合の死角を少なくすることができる。
【0045】
以下では、撮像空間ＩＳを、左から順に線ＬＬ３、ＬＬ２、ＬＬ１、ＬＲ１、ＬＲ２、ＬＲ３で区切った空間（以下、撮像空間ＩＳが区切られた空間を「ブロック空間」と呼ぶものとする）。以下では、図３、図４に示すように、撮像空間ＩＳを「線ＬＬ１と線ＬＲ１」で区切られたブロック空間をＢＣと表すものとする。また、以下では、図３、図４に示すように、「線ＬＬ１と線ＬＬ２」、「線ＬＬ２と線ＬＬ３」、「線ＬＬ３（線ＬＬ３と線ＬＬ５）」で区切られたブロック空間を、それぞれＢＬ１、ＢＬ２、ＢＬ３と表すものとする。また、以下では、図３、図４に示すように、撮像空間ＩＳを「線ＬＲ１と線ＬＲ２」、「線ＬＲ２と線ＬＲ３」、「線ＬＲ３（線ＬＲ３と線ＬＲ５）」で区切られたブロック空間を、それぞれＢＲ１、ＢＲ２、ＢＲ３と表すものとする。
【0046】
まず、図３を用いて、近距離に設置されたカメラ３０－１～３０－１２の設定について説明する。
【0047】
各カメラ３０（３０－１～３０－１２）は、図示しないレンズ部分（光軸の根本部分）の高さ（Ｚ軸方向の寸法）が概ね競技者の胴体部分の高さ（例えば、約１ｍ程度の高さ）となるように設置されているものとする。そして、各カメラ３０（３０－１～３０－１２）の光軸は、水平（Ｘ軸－Ｙ軸により形成される平面と並行）となるように設定されているものとする。図３では、各カメラ３０（３０－１～３０－１２）を示す円形のシンボルから伸びる矢印（一点鎖線の矢印）が、各カメラ３０の光軸（視線ベクトル）の方向を示している。図３に示すように各カメラ３０（３０－１～３０－１２）の光軸は、線Ｌ２と直交する方向に設定されているものとする。以上のように、各カメラ３０（３０－１～３０－１２）の光軸は、高さが概ね１ｍの位置から水平に線Ｌ２の方向（線Ｌ２により切断される面と直交する方向）に伸びていることが望ましい。
【0048】
各カメラ３０の焦点位置は、光軸と線Ｌ１（線Ｌ１により切断される面）との交点となるような焦点距離が設定されていることが望ましい。
【0049】
各カメラ３０の視野角は、主として光軸の左右に隣接する２つのブロック空間を含むように設定することが望ましい。例えば、カメラ３０－１には、視野に主として光軸の左右に隣接する２つのブロック空間ＢＬ３、ＢＬ２が納まるような視野角が設定されることが望ましい。また、例えば、カメラ３０－２には、視野に主として光軸の左右に隣接する２つのブロック空間ＢＬ２、ＢＬ１が納まるような視野角が設定されることが望ましい。以下、カメラ３０－３～３０－１２についても同様であるため詳しい説明を省略する。
【0050】
【0051】
図３、図４に示すように遠距離に設置されたカメラ３０－１３～３０－２４の焦点位置は、原点Ｐ０、床面ＦＲ上で中心線Ｌ２と線ＬＬ１との交点である位置ＰＬ２、床面ＦＲ上で中心線Ｌ２と線ＬＲ１との交点である位置ＰＲ２のいずれかに設定されているものとする。したがって、距離に設置されたカメラ３０－１３～３０－２４の光軸もそれぞれの焦点位置の方向に設定されることになる。すなわち、ここでは、遠距離に設置されたカメラ３０－１３～３０－２４の焦点位置は、撮像空間ＩＳ内で左側の代表位置ＰＬ２と中央の代表位置原点Ｐ０と右側の代表位置ＰＲ２に分散して設定されている。ここでは、カメラ３０－１３、３０－１５、３０－１９、３０－２１の焦点位置が中央の左側の位置ＰＬ２に設定されているものとする。また、ここでは、カメラ３０－１４、３０－１７、３０－２０、３０－２３の焦点位置が中央の原点Ｐ０に設定されているものとする。さらに、ここでは、カメラ３０－１６、３０－１８、３０－２２、３０－２４の焦点位置が右側の位置ＰＲ２に設定されているものとする。
【0052】
ここでは、焦点位置がＰＬ２のカメラ３０－１３、３０－１５、３０－１９、３０－２１において、視野に主として左側のブロック空間ＢＬ３、ＢＬ２、ＢＬ１が含まれるような視野角が設定されているものとする。なお、カメラ３０－１３、３０－１５、３０－１９、３０－２１の視野には、左端のブロック空間ＢＬ３の全てが含まれている必要はなく、少なくとも競技領域ＦＢ１の左側の端部（線ＬＬ４）までの空間が含まれていればよい。
【0053】
また、ここでは、焦点位置が原点Ｐ０のカメラ３０－１４、３０－１７、３０－２０、３０－２３において、視野に主として中央のブロック空間ＢＬ１、ＢＣ、ＢＲ１が含まれるような視野角が設定されているものとする。
【0054】
さらに、ここでは、焦点位置がＰＲ２のカメラ３０－１６、３０－１８、３０－２２、３０－２４において、視野に主として右側のブロック空間ＢＬ３、ＢＬ２、ＢＬ１が含まれるような視野角が設定されているものとする。なお、カメラ３０－１６、３０－１８、３０－２２、３０－２４の視野には、右端のブロック空間ＢＲ３の全てが含まれている必要はなく、少なくとも競技領域ＦＢ１の右側の端部（線ＬＲ４）までの空間が含まれていればよい。
【0055】
次に、ビジュアライズシステム１のキャリブレーション（例えば、動作認識処理やビジュアル処理に必要となるキャリブレーション）の際に、基準として用いられるオブジェクト（以下、「キャリブレーションオブジェクト」と呼ぶ）について説明する。
【0056】
図６は、ビジュアライズシステム１のキャリブレーションに用いることができるキャリブレーションオブジェクト５０の斜視図である。
【0057】
キャリブレーションオブジェクト５０は、三脚５１と、三脚５１から吊り下げられた吊下げ部５２とを有している。
【0058】
三脚５１は、種々のカメラ用の三脚を適用することができるため詳しい構成の説明を省略する。この実施形態の三脚５１は、雲台部５１１と雲台部５１１を支持する３つの脚部５１２、５１３、５１４を有している。雲台部５１１と脚部５１２、５１３、５１４とを連結する構成については限定されないものであり種々のカメラ用の三脚と同様の構成（例えば、図示しない関節部材）を適用することができる。ここでは、脚部５１２、５１３、５１４は、それぞれ雲台部５１１と、図示しない関節部材により回動自在（間接部材の回転軸により回動自在）に取り付け（連結）されているものとする。すなわち、三脚５１では、雲台部５１１に対する脚部５１２、５１３、５１４の角度の設定等により、雲台部５１１を任意の高さに設定することが可能である。
【0059】
そして、吊下げ部５２は、支持部としての雲台部５１１の下面から吊り下げられている。
【0060】
なお、この実施形態では、吊下げ部５２を所定の高さから吊り下げるための支持部材（吊下げ部５２の上端を吊り下げるための支持部材）として三脚５１を適用するものとして説明するが、三脚５１以外の物を用いて吊下げ部５２を所定の高さから吊り下げる支持手段を構成するようにしてもよい。例えば、脚立やクレーン等を用いて支持手段を構成するようにしてもよい。
【0061】
吊下げ部５２には、３つのＬＥＤランプ５２１（５２１－１～５２１－３）が取り付けされている。ＬＥＤランプ５２１－１～５２１－３は、それぞれリード線５４により電源部５３に電気的に接続されている。この実施形態では、電源部５３は三脚５１に固定されているが、三脚５１の配置位置や三脚５１を支持する構成については限定されないものである。ただし、キャリブレーションオブジェクト５０を使用する際に、電源部５３及びリード線５４が吊下げ部５２の吊下げ（雲台部５１１から正確に鉛直下方向へ吊下げ部５２を吊り下げること）の妨げとならないように配置・構成されていることが望ましい。例えば、リード線５４は十分な余長をもって吊下げ部５２と電源部５３との間が接続されていることが望ましい。
【0062】
なお、ＬＥＤランプ５２１－１～５２１－３の色は、緑色等撮像画像上検出しやすい色で発光するものであることが望ましい。
【0063】
また、吊下げ部５２の下側の端には、吊下げ部５２の吊下げ（雲台部５１１から正確に鉛直下方向へ吊下げ部５２を吊り下げること）を促すと共に吊下げ部５２を静止させるために、錘５２２（重り）が取り付けされている。錘５２２は、いわゆる下げ振り用の錘を適用することができる。
【0064】
すなわち、吊下げ部５２は下げ振りの構成となっており、三脚５１（雲台部５１１）から吊下げ部５２を吊り下げることで、正確に錘５２２の位置の垂直上に、ＬＥＤランプ５２１－１～５２１－３を静止させることが可能な構成となっている。
【0065】
そして、この実施形態では、図６に示すように、吊下げ部５２では、上からＬＥＤランプ５２１－１、５２１－２、５２１－３の順に取り付けされている。
【0066】
図７は、吊下げ部５２の詳細構成について示した図である。
【0067】
図７では、雲台部５１１と吊下げ部５２のみを正面からみた図（正面図）となっている。
【0068】
図７に示すように、吊下げ部５２では、細長い板形状（例えば、短手方向の幅が３ｃｍ程度）の吊下げ部材５２３に、ＬＥＤランプ５２１（５２１－１～５２１－３）が取り付けされている。ＬＥＤランプ５２１（５２１－１～５２１－３）は、それぞれ固定部材５２６（５２６－１～５２６－３）により吊下げ部材５２３の所定の位置に固定されている。固定部材５２６の構成については限定されないものであるが、例えば、粘着テープや結束部材（いわゆるタイラップ等）を適用することができる。また、ＬＥＤランプ５２１－１～５２１－３には、それぞれリード線５４が接続されているため、この実施形態では、図７に示すようにＬＥＤランプ５２１－１～５２１－３は、それぞれリード線５４と共に固定部材５２６－１～５２６－３で吊下げ部材５２３に固定（巻き付け固定）されているものとする。なお、各ＬＥＤランプ５２１を吊下げ部材５２３に固定する方法は上記の方法に限定されないものであり、接着剤や固定用の治具等種々の方式を適用することができる。
【0069】
吊下げ部材５２３の材質については限定されないものであるが、例えば、アルミニウム板やステンレス板等の高剛性の金属板を適用することができる。
【0070】
吊下げ部材５２３の上端は、連結部材５２４を介して雲台部５１１の下面から連結（吊下げ）されている。吊下げ部材５２３の上端には、連結部材５２４を取り付けるための連結孔５２３ａが形成されている。また、吊下げ部材５２３の下端には、連結部材５２５を介して錘５２２が吊下げられている。吊下げ部材５２３の下端には、連結部材５２５を取り付けるための連結孔５２３ｂが形成されている。
【0071】
連結部材５２４、５２５は、例えば、図７に示すような鎖形状の部材（例えば、複数の環が連結された部材）や紐形状の部材等、吊下げ部５２（吊下げ部材５２３）の正確な吊下げを促す（妨げない）ものを適用することが望ましい。
【0072】
そして、図６では、錘５２２の下端からＬＥＤランプ５２１－３までの寸法をＤ２０１、ＬＥＤランプ５２１－３からＬＥＤランプ５２１－２までの寸法をＤ２０２、ＬＥＤランプ５２１－２からＬＥＤランプ５２１－１までの寸法をＤ２０３と図示している。寸法Ｄ２０１、Ｄ２０２、Ｄ２０３は限定されないものであるが、ここでは、競技者の身長を考慮して、寸法Ｄ２０１＋Ｄ２０２＋Ｄ２０３＝１８０ｃｍとなるように設定されているものとする。具体的には、例えば、Ｄ２０１＝０．３ｍ、Ｄ２０２＝１．０ｍ、Ｄ２０３＝０．５ｍに設定するようにしてもよい。
【0073】
これにより、キャリブレーションオブジェクト５０において、錘５２２の下端が、「床面ＦＲにわずかに接触する位置」又は「床面ＦＲとわずかな隙間が発生する位置」で静止させることで、ＬＥＤランプ５２１－１、５２１－２、５２１－３の高さをそれぞれ床面ＦＲから０．３ｍ、１．３ｍ、１．８ｍとすることができる。このように、Ｄ２０１、Ｄ２０２、Ｄ２０３をそれぞれ異なる比率に設定することで、カメラ３０が逆さまになった状態で撮像されたとしても、その画像から各ＬＥＤランプ５２１の位置を正確に把握することが可能となる。
【0074】
例えば、図６に示すように、錘５２２の下端が原点Ｐ０で静止するようにキャリブレーションオブジェクト５０を設置（三脚５１を設置）することで、ＬＥＤランプ５２１－１、５２１－２、５２１－３の位置を、それぞれ原点Ｐ０の垂直上の所定の高さに位置させることができる。この場合、原点Ｐ０の位置は３Ｄ空間上で既知であるので、各ＬＥＤランプ５２１－１、５２１－２、５２１－３の位置も既知となる。
【0075】
図８は、キャリブレーションオブジェクト５０を、競技領域ＦＢ１内に設置した状態について示した図（斜視図）である。
【0076】
ビジュアライズシステム１では、キャリブレーションオブジェクト５０（吊下げ部５２の錘５２２）を、３Ｄ座標が既知の位置（例えば、原点Ｐ０や原点Ｐ０との相対的な位置関係が明確な位置等）に設置して、各カメラ３０で撮像させた２Ｄ画像を得ることにより、キャリブレーション（例えば、各カメラ３０の２Ｄ画像上の２Ｄ座標と３Ｄ空間上の３Ｄ座標との変換係数を得る処理）を行うことができる。例えば、図８では、キャリブレーションオブジェクト５０（吊下げ部５２の錘５２２）を、原点Ｐ０に合わせて設置した状態について示している。ビジュアライズシステム１におけるキャリブレーション処理の詳細については後述する。
【0077】
次に、認識処理装置１００の内部構成について説明する。
【0078】
図１では、認識処理装置１００の機能的構成のブロック図も図示されている。
【0079】
図１に示すように認識処理装置１００は、機能的には、スイッチコントロール部１１０、ディスパッチャ１２０、認識処理部１３０、３Ｄ構成処理部１４０、及びキャリブレーション処理部１５０を有している。
【0080】
認識処理装置１００を構成する各要素は、それぞれコンピュータを用いてソフトウェア的に構成するようにしてもよいし、一部又は全部をハードウェア(例えば、専用の半導体チップ）を用いて構成するようにしてもよい。この実施形態では、認識処理装置１００は１又は複数のコンピュータにプログラム（実施形態に係る認識処理プログラムを含む）をインストールすることにより構成されているものとする。すなわち、認識処理装置１００を構成するハードウェア（コンピュータ）の数は限定されないものであり、複数のハードウェア群で構成される場合もあり得るものとする。
【0081】
スイッチコントロール部１１０は、各カメラ３０から供給される撮像画像の信号（映像信号；動画像信号）を受信し、一部又は全部の信号を後段のディスパッチャ１２０に供給する機能を担っている。スイッチコントロール部１１０は、ＬｉＤａｒセンサ２０（２０－１、２０－２）の検知結果に基づいて、各競技者の位置を推定し、その結果に基づいて動作認識処理に用いるカメラ３０を選択し、選択したカメラ３０からの信号を後段（ディスパッチャ１２０）に供給（スイッチング）する。この実施形態の例では、スイッチコントロール部１１０は、同時に最大８つのカメラ３０を選択するものとして説明する。なお、認識処理装置１００において、常に全てのカメラ３０からの信号について処理する前提であれば、スイッチコントロール部１１０やＬｉＤａｒセンサ２０の構成は省略するようにしてもよい。認識処理装置１００では、スイッチコントロール部１１０やＬｉＤａｒセンサ２０を備えることで、常に競技者が視野内に映っていると推定されるカメラ３０からの信号のみを処理することが可能（効率的なリアルタイム処理が可能）となる。
【0082】
ディスパッチャ１２０は、スイッチコントロール部１１０から供給される各信号から、時系列ごとの撮像画像を取得し、取得した撮像画像又は撮像画像を加工した画像について後段（認識処理部１３０）に供給して動作認識処理を実行させる。
【0083】
認識処理部１３０は、ディスパッチャ１２０から供給された撮像画像（２Ｄ画像）について動作認識処理を行い、動作認識処理による検出結果を後段の３Ｄ構成処理部１４０に供給する。具体的には、認識処理部１３０は、動作認識処理として、供給された撮像画像上で、各競技者の剣ＳＷ（ＳＷ１、ＳＷ２）の位置に関する認識（検出）処理を行うものであり、第１ステージ認識処理部１３１、第２ステージ認識処理部１３２、及び認識結果出力処理部１３３を有している。また、認識処理部１３０には、動作認識処理の過程で機械学習された学習モデルにより識別する第１の識別器１６１、第２の識別器１６２、及び第３の識別器１６３を有している。
【0084】
３Ｄ構成処理部１４０は、認識処理部１３０から供給される動作認識処理の認識結果に基づいて、時系列ごとの各競技者の剣ＳＷ（ＳＷ１、ＳＷ２）の剣先及び剣元の３Ｄ座標（３Ｄ空間ＣＳ上の３Ｄ座標）を推定する処理（以下、「３Ｄ推定処理」とも呼ぶ）を行う。そして、３Ｄ構成処理部１４０は、時系列ごとの３Ｄ推定処理の結果をビジュアル処理装置２００に供給する。
【0085】
キャリブレーション処理部１５０は、各カメラ３０で撮像された画像に基づいて、各カメラ３０のキャリブレーション（内部パラメータ及び外部パラメータを取得する処理を含む）の処理を行う。キャリブレーション処理部１５０は、３Ｄ座標が既知の位置（例えば、原点Ｐ０や原点Ｐ０との相対的な位置関係が明確な位置等）に設置されたキャリブレーションオブジェクト５０（マーカとして機能する点灯した各ＬＥＤランプ５２１を含む）を各カメラ３０に撮像させた２Ｄ画像（以下、「キャリブレーション用画像」と呼ぶ）を取得すると、当該キャリブレーション用画像に基づいて各カメラ３０のキャリブレーション処理を行う。例えば、キャリブレーション処理部１５０は、キャリブレーション用画像上のマーカ（点灯した各ＬＥＤランプ５２１）の位置と、それぞれのマーカの３Ｄ座標等に基づいてキャリブレーション処理を行う。キャリブレーション処理部１５０におけるキャリブレーション処理の詳細については後述する。
【0086】
次に、ビジュアル処理装置２００の内部構成について説明する。
【0087】
図１では、ビジュアル処理装置２００の機能的構成のブロック図も図示されている。
【0088】
図１に示すようにビジュアル処理装置２００は、機能的には、アダプタ２１０及びビジュアル処理部２２０を有している。
【0089】
ビジュアル処理装置２００を構成する各要素は、それぞれコンピュータを用いてソフトウェア的に構成するようにしてもよいし、一部又は全部をハードウェア(例えば、専用の半導体チップ）を用いて構成するようにしてもよい。この実施形態では、ビジュアル処理装置２００は１又は複数のコンピュータにプログラム（実施形態に係るビジュアル処理プログラムを含む）をインストールすることにより構成されているものとする。すなわち、ビジュアル処理装置２００を構成するハードウェア（コンピュータ）の数は限定されないものであり、複数のハードウェア群で構成される場合もあり得るものとする。
【0090】
アダプタ２１０は、ビジュアル処理装置２００に供給される各データ／信号を集約してビジュアル処理部２２０に供給する処理を担っている。アダプタ２１０は、認識処理装置１００から供給されるデータ（時系列ごとの撮像画像、及び３Ｄ推定処理の結果を含むデータ）を取得してビジュアル処理部２２０に供給する。また、アダプタ２１０は、審判器４０からの信号を取得してビジュアル処理部２２０に供給する。ここでは、審判器４０は、一般的にフェンシングの試合で用いられる装置であり、審判器４０からは所定のプロトコルに従った信号（例えば、競技者による攻撃の有効性を示す信号；以下「審判信号」と呼ぶ）が出力されるものとして説明する。
【0091】
ビジュアル処理部２２０は、取得した撮像画像又は撮像画像を加工した画像に、３Ｄ推定処理の結果及び又は審判信号に応じたエフェクト処理を行った画像（ビジュアル処理済画像）を出力する機能を担っている。
【0092】
（Ａ－２）実施形態の動作
次に、以上のような構成を有するこの実施形態におけるビジュアライズシステム１の動作（実施形態に係る認識処理方法）について説明する。
次に、以上のような構成を有するこの実施形態におけるビジュアライズシステム１の動作（実施形態に係る認識処理方法）について説明する。
【0093】
図９は、認識処理装置１００のキャリブレーション処理部１５０で行われるキャリブレーション処理の流れについて示したフローチャートである。
【0094】
なお、ここでは、オペレータにより、撮像領域ＦＢ２内（競技領域ＦＢ１内）でキャリブレーションオブジェクト５０の移動が行われるものとする。また、ここでは、キャリブレーション処理部１５０では、キャリブレーションオブジェクト５０が設置された基準位置（錘５２２の位置）の３Ｄ座標（以下、単に「基準座標」とも呼ぶ）が保持されているものとして説明する。キャリブレーション処理部１５０が、キャリブレーションオブジェクト５０が設置された基準座標を保持する方法については限定されないものである。例えば、キャリブレーション処理部１５０は、オペレータから現在の基準座標の入力を受けるようにしてもよい。基準座標の数（以下、「ポジション数」とも呼ぶ）は限定されないものであるが、例えば、図１０に示すように、原点Ｐ０、中心線Ｌ２と線ＬＬ１との交点ＰＬ１、中心線Ｌ２と線ＬＬ２との交点ＰＬ２、中心線Ｌ２と線ＬＬ３との交点ＰＬ３、中心線Ｌ２と線ＬＲ１との交点ＰＲ１、中心線Ｌ２と線ＬＲ２との交点ＰＲ２、中心線Ｌ３と線ＬＲ１との交点ＰＲ３の７点を設定するようにしてもよい。ポジション数としては、６～１８程度設定することが望ましい。
【0095】
まず、オペレータにより、キャリブレーションオブジェクト５０が、最初の基準位置（３Ｄ座標が既知の位置）が設置されたものとする（Ｓ１０１）。なお、このとき、キャリブレーションオブジェクト５０のＬＥＤランプ５２１－１～５２１－３はオペレータの操作により点灯した状態であるものとする。また、このとき、キャリブレーション処理部１５０では、基準座標（キャリブレーションオブジェクト５０の設置位置）が保持されているものとして説明する。
【0096】
次に、キャリブレーション処理部１５０が、キャリブレーション処理の対象となるカメラ３０（視野内にキャリブレーションオブジェクト５０が存在するカメラ３０）が撮像した画像を取得したものとする（Ｓ１０２）。
【0097】
キャリブレーション処理部１５０が、ある時点でキャリブレーション対象となるカメラ３０を特定し、キャリブレーション対象となるカメラ３０が撮像した画像を取得する手順については限定されないものである。例えば、オペレータが、スイッチコントロール部１１０に対して、手動でキャリブレーション対象となるカメラ３０の情報を入力し、スイッチコントロール部１１０にキャリブレーション対象となるカメラ３０の信号のみをキャリブレーション処理部１５０に供給（スイッチ）させるようにしてもよいし、スイッチコントロール部１１０がＬＥＤランプ５２１（ＬＥＤランプ５２１が点灯した際の特定の色（この実施形態では緑色））の写っているカメラ３０の信号を選択してキャリブレーション処理部１５０に供給（スイッチ）させるようにしてもよい。
【0098】
キャリブレーション処理部１５０は、キャリブレーション対象のカメラ３０が撮像した２Ｄ画像（以下、「サンプル画像」と呼ぶ）に基づいて、キャリブレーション対象のカメラ３０の２Ｄ座標（２Ｄ画素）と、３Ｄ座標の対応付けのサンプル（以下、このサンプルについても「座標サンプル」と呼ぶ）を取得する（Ｓ１０３）。具体的には、キャリブレーション処理部１５０は、サンプル画像ごとに各ＬＥＤランプ５２１画写っている位置（例えば、各ＬＥＤランプ５２１が写っている領域の中心点）の２Ｄ座標を取得し、予め把握されている各ＬＥＤランプ５２１の３Ｄ座標と対応付け、座標サンプルとして取得する。
【0099】
次に、キャリブレーション処理部１５０は、今までに座標サンプルを取得したポジション数（キャリブレーションオブジェクト５０を設置した基準座標（基準位置）の数）が閾値（例えば、６～１８程度）に達したか否かを確認し（Ｓ１０４）、ポジション数が閾値に達した場合には後述するステップＳ１０５の処理に移行し、ポジション数が閾値未満の場合には後述するステップＳ１０６の処理に移行する。また、キャリブレーション処理部１５０では、閾値に基づく制御ではなく、オペレータからの手動の操作に応じて当該ループの処理をブレイクして後述するステップＳ１０５に移行するようにしてもよい。
【0100】
上述のステップＳ１０４で、ポジション数が閾値未満の場合、キャリブレーション処理部１５０は、オペレータによりキャリブレーションオブジェクト５０のポジション変更（移動）がなされるまで待機し（Ｓ１０６）、上述のステップＳ１０２の処理に戻って次のポジションでのサンプル座標取得の処理に移行する。
【0101】
例えば、キャリブレーション処理部１５０は、オペレータからポジション変更が終了したことを示す所定の入力（例えば、図示しないキーボードやＧＵＩを用いた所定の操作入力）が行われるまで待機するようにしてもよい。
【0102】
上述のステップＳ１０４で、ポジション数が閾値以上となったと判断された場合、キャリブレーション処理部１５０は、上述のステップＳ１０３で取得した座標サンプルに基づいて、各カメラ３０について、キャリブレーション処理（カメラ３０の内部パラメータ及び外部パラメータを算出する処理）を行い（Ｓ１０５）、一連のキャリブレーションの処理を終了する。
【0103】
次に、上述のステップＳ１０５で、キャリブレーション処理部１５０が行う処理の具体例について説明する。
【0104】
カメラ３０のキャリブレーションについては種々の方式を適用することができる。カメラ３０等のカメラモデルにおいて、座標サンプルに基づき内部パラメータ及び外部パラメータを取得際には、既存の理論やオープンソースの環境（ライブラリ）を用いたプログラムによる処理を適用することができる。カメラモデルにおいて座標サンプルに基づいたキャリブレーションを行うことが可能なオープンソースの環境としては、例えば、ＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）等を適用することができる。以下では、カメラ３０の内部パラメータ取得には、このＯｐｅｎＣＶのカメラモデルを適用するものとして説明する。
【0105】
まず、キャリブレーション処理部１５０が、上述のステップＳ１０３で取得した座標サンプルのリストに基づき、カメラ３０の内部パラメータを取得する処理について説明する。カメラ３０において、キャリブレーション対象となる内部パラメータとしては、例えば、焦点距離、主点（光学的な中心位置〉、ゆがみ係数が挙げられる。ＯｐｅｎＣＶのカメラモデルには、キャリブレーション処理用の関数として、ｃａｌｉｂｒａｔｅＣａｍｅｒａ関数等が用意されており、カメラ３０の内部パラメータ取得にも適用することができる。
【0106】
一般的なカメラモデルでは、内部パラメータは、いわゆるカメラ行列を構成する焦点距離［ｆｘ，ｆｙ］、主点［ｃｘ，ｃｙ］、及び歪み係数［ｋ１，・・・，ｋ６，ｐ１，ｐ２，ｓ１，・・・，ｓ４］で表現される。例えば、このＯｐｅｎＣＶの、ｃａｌｉｂｒａｔｅＣａｍｅｒａ関数に、得られた座標サンプルのリスト、カメラ３０の解像度、内部パラメータの初期値（例えば、カメラ３０のスペックに基づく所定値）を入力して所定の処理を行うことで、求めるべき内部パラメータ（焦点距離、主点、及び歪み係数）を得ることができる。
【0107】
次に、キャリブレーション処理部１５０が、上述のステップＳ１０３で取得した座標サンプルのリストに基づき、カメラ３０の外部パラメータを取得する処理について説明する。
【0108】
キャリブレーション処理部１５０は、外部パラメータとして、各カメラ３０の位置及び姿勢を取得する。一般的なカメラモデルにおいて、位置はｔ、姿勢（回転）はＲと表される。一般的なカメラモデルにおいて、座標サンプルに基づき外部パラメータ（位置ｔ及び回転Ｒ）を取得する方法としては、例えば、Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ（以下、「ＰｎＰ」と呼ぶ）問題の解法を利用する方法が挙げられる。ＰｎＰ問題とは、３Ｄ空間中にある点群と，２Ｄ画像上にある点群の関係からカメラの位置姿勢を推定する問題であり種々の解法が存在する。すなわち、キャリブレーション処理部１５０は、得られた座標サンプルのリストを、このＰｎＰ問題の解法に当てはめることにより、カメラ３０の外部パラメータ（位置ｔ及び回転Ｒ）を得ることができる。ＰｎＰ問題の解法について種々の方式を適用することができるため、ここでは詳しい説明を省略する。
【0109】
以上のように、キャリブレーション処理部１５０は、各カメラ３０に対するキャリブレーション処理（内部パラメータ及び外部パラメータの取得）を行う。以下では、カメラ３０のキャリブレーションで処理されるパラメータ（内部パラメータ及び外部パラメータを含むパラメータ）を総称して「カメラキャリブレーションパラメータ」と呼ぶ。キャリブレーション処理部１５０は、カメラ３０ごとにカメラキャリブレーションパラメータを保持し、３Ｄ構成処理部１４０に供給する。その際、キャリブレーション処理部１５０は、カメラキャリブレーションパラメータにカメラＩＤを付加して保持する。
【0110】
次に、認識処理装置１００において、撮像領域ＦＢ２（競技領域ＦＢ１）内に存在する競技者（ＦＰ１、ＦＰ２）の動作の認識処理の例について図１１のフローチャートを用いて説明する。
【0111】
図１１のフローチャートでは、任意の時点（以下、「注目時点」と呼ぶ）で、各カメラ３０で撮像された２Ｄ画像に基づいて、当該次点における競技者ＦＰ１、ＦＰ２が所持する剣ＳＷ１、ＳＷ２の位置に関する認識処理を行う際の動作について示している。
【0112】
まず、認識処理装置１００のスイッチコントロール部１１０が、注目時点におけるＬｉＤａｒセンサ２０－１、２０－２の検知結果を取得して、撮像領域ＦＢ２内の検知結果を抽出して統合（ＬｉＤａｒセンサ２０－１、２０－２の検知結果を統合（マージ））する処理を行う（Ｓ２０１）。
【0113】
図１２は、撮像領域ＦＢ２（競技領域ＦＢ１）と、撮像領域ＦＢ２（競技領域ＦＢ１）内で競技中の競技者ＦＰ１、ＦＰ２と、ＬｉＤａｒセンサ２０－１、２０－２との位置関係について示した図（上側から見た図）である。
【0114】
ここでは、ＬｉＤａｒセンサ２０－１、２０－２は、概ね競技者ＦＰ１、ＦＰ２の胴体部分の高さ（例えば、床面ＦＲから１ｍ）について、水平方向の物体を検知するように調整されているものとする。そうすると、スイッチコントロール部１１０では、ＬｉＤａｒセンサ２０－１、２０－２の検知結果から撮像領域ＦＢ２内の検知結果（サンプル点）のみを抽出することで、撮像領域ＦＢ２内における各競技者の位置を認識することができる。この実施形態では、２台のＬｉＤａｒセンサ２０を設置する例について示しているが、設置するＬｉＤａｒセンサ２０の数は限定されないものである。設置するＬｉＤａｒセンサ２０の数は１台としてもよいが、１台のみであると視野内で二人の競技者が重なった場合等に一方の競技者が死角に位置することになってしまうため、複数のＬｉＤａｒセンサ２０の検知結果をマージすることでより死角を少なくすることができる。
【0115】
図１３は、撮像領域ＦＢ２内で競技者ＦＰ１、ＦＰ２が図１２のように位置している場合における２つのＬｉＤａｒセンサ２０－１、２０－２の検知結果（撮像領域ＦＢ２内で物体を検知した位置）を図示している。実際には、ＬｉＤａｒセンサ２０が検知するデータは、レーザ光を反射する物体が存在する方向及び距離であるが、図１３では各ＬｉＤａｒセンサ２０が物体を検知した方向及び距離を位置として可視化した状態で図示している。
【0116】
図１３では、競技者ＦＰ１、ＦＰ２の胴体部分の輪郭を一点鎖線で図示している。また、図１２では、ＬｉＤａｒセンサ２０－１が物体を検知した位置を三角形のマーカで図示し、ＬｉＤａｒセンサ２０－２が物体を検知した位置を四角形のマーカで図示している。
【0117】
図１３（ａ）は、ＬｉＤａｒセンサ２０－１による検知結果を示しており、図１３（ｂ）はＬｉＤａｒセンサ２０－２による検知結果を示しており、図１３（ｃ）は２つのＬｉＤａｒセンサ２０－１、２０－２の検知結果（１３（ａ）、１３（ｂ）の検知結果）をマージした状態について図示している。
【0118】
図１３（ｃ）に示すように、２つのＬｉＤａｒセンサ２０－１、２０－２の検知結果をマージすることで、各ＬｉＤａｒセンサ２０間の死角を補う結果が得られる。
【0119】
以上のように、認識処理装置１００のスイッチコントロール部１１０が、注目時点における各競技者の位置を検知することができる。
【0120】
次に、スイッチコントロール部１１０が、各ＬｉＤａｒセンサ２０の検知結果を統合した内容（以下、「統合検知結果」と呼ぶ）に基づいて、競技者ＦＰ１、ＦＰ２が視野内に映っているカメラ（以下、「注目カメラ」と呼ぶ）を選択し、選択した注目カメラの信号がディスパッチャ１２０に供給されるように制御する（Ｓ２０２）。
【0121】
この実施形態の例では、スイッチコントロール部１１０は、統合検知結果に基づいて、第１の競技者ＦＰ１の位置と第２の競技者ＦＰ２の位置を含む空間を視野に収めているカメラ３０を注目カメラとして選択するものとして説明する。例えば、統合検知結果が図１３（ｃ）のような内容であった場合を想定する。図１３（ｃ）の例では、第１の競技者ＦＰ１と第２の競技者ＦＰ２は、Ｘ軸方向でＬ＿Ｌ＿ｅｎｄとＬ＿Ｒ＿ｅｎｄとの間であるＤ＿ｂａｎｄの範囲内に存在していることが認識可能である。この場合、スイッチコントロール部１１０は、図１３（ｃ）に示すように、中心線Ｌ２上（Ｘ軸方向）で、範囲Ｄ＿ｂａｎｄの中間点であるＬ＿ｍｉｄの位置（以下、「注目位置」と表す）ＰＴを視野内に収めるカメラ３０を選択するようにしてもよい。
【0122】
例えば、スイッチコントロール部１１０は、焦点位置（視線ベクトル）が注目位置ＰＴと近いカメラ３０を注目カメラとして選択するようにしてもよい。例えば、スイッチコントロール部１１０は、各カメラ３０について、焦点位置（視線ベクトル）と注目位置ＰＴとの最短距離を算出し、距離の短いカメラ３０から順に８つを注目カメラとして選択するようにしてもよい。このとき、スイッチコントロール部１１０は、近距離のカメラ３０（３０－１～１０－１２）から焦点位置との注目位置ＰＴが近い順に４台選択し、遠距離のカメラ３０（３０－１３～１０－２４）から焦点位置との注目位置ＰＴが近い順に４台選択するようにしてもよい。例えば、注目位置ＰＴが図１３（ｃ）に示すような位置（原点Ｐ０からやや＋Ｘ方向にずれた位置）である場合、スイッチコントロール部１１０は、近距離のカメラ３０からカメラ３０－３、３０－４、３０－９、３０－１０を選択し、遠距離のカメラ３０からカメラ３０－１４、３０－１７、３０－２０、３０－２３を選択することになる。また、例えば、スイッチコントロール部１１０は、算出した注目位置ＰＴの範囲ごと（Ｘ軸方向の位置の範囲ごと）に、予め適用する注目カメラのリストを設定しておくようにしてもよい。
【0123】
次に、ディスパッチャ１２０は、注目時点において注目カメラで撮像された２Ｄ画像（以下、「撮像２Ｄ画像」と呼ぶ）を、認識処理部１３０での処理に適したサイズにリサイズ（解像度を変更）して、認識処理部１３０（第１ステージ認識処理部１３１）に供給する（Ｓ２０３）。
【0124】
以下では、ディスパッチャ１２０がリサイズした２Ｄ画像を「リサイズ画像」と呼ぶものとする。ここでは、各カメラ３０から出力される信号（ストリーム）は４Ｋ６０Ｐの２Ｄ画像（例えば、解像度３８４０×２１６０の画像）で構成されているものとする。そして、ここでは、リサイズ画像の解像度は、５７６ｘ３２０であるものとする。なお、リサイズ画像の解像度は限定されないものであるが、認識処理部１３０における認識処理に適当な解像度（例えば、処理速度や処理精度を鑑みて適当な解像度）であることが望ましい。また、認識処理部１３０の処理能力が十分であれば、撮像２Ｄ画像をリサイズ画像に変換する処理は省略するようにしてもよい。
【0125】
次に、認識処理部１３０の第１ステージ認識処理部１３１が、ディスパッチャ１２０から供給されたリサイズ画像を取得し、取得した各リサイズ画像から各競技者ＦＰ１、ＦＰ２の剣ＳＷ１、ＳＷ２全体の領域を認識する処理（以下、「剣認識処理」と呼ぶ）を行う（Ｓ２０４）。
【0126】
具体的には、第１ステージ認識処理部１３１は、取得したリサイズ画像から剣ＳＷ１、ＳＷ２のそれぞれの部分を含むバウンディングボックスを認識する処理を試みる。
【0127】
第１ステージ認識処理部１３１が、剣ＳＷ１、ＳＷ２のバウンディングボックスを認識する具体的な処理については限定されないものであるが、例えば、予め教師データを用いて学習させた学習モデルを用いた第１の識別器１６１（ＡＩを用いた識別器）を用いて認識するようにしてもよい。剣検出処理には、種々のＡＩによる物体検出の識別器を適用することができるが、この実施形態では、ＹＯＬＯ（Ｙｏｕ Ｌｏｏｋ Ｏｎｌｙ Ｏｎｓｅ）ｖ３による物体検出の識別器を用いるものとして説明する。ＹＯＬＯｖ３を用いた識別器では、検出対象の物体を認識した領域のバウンディングボックスの位置情報（座標やサイズ）とその認識結果の確信度を含む情報を出力することができる。なお、リサイズ画像（撮像２Ｄ画像）では、カメラ３０と各競技者と各剣との位置関係によっては、一方又は両方の剣について写っていない場合が有りえるため、１つの撮像２Ｄ画像から検出される剣全体のバウンディングボックスは理論的には０～２の範囲となる。第１ステージ認識処理部１３１は、確信度順に最大２つまでの剣と認識した領域のバウンディングボックスを剣認識処理の結果として取得する。なお、第１ステージ認識処理部１３１は、確信度が所定以下のバウンディングボックスについては剣認識処理の結果から除外するようにしてもよい。
【0128】
図１４は、第１ステージ認識処理部１３１で処理されるリサイズ画像の例について示した図である。
【0129】
【0130】
なお、本明細書において図示するリサイズ画像及び撮像画像は、図２の方向（－Ｙの方向）から見た画像であり、左側（－Ｘの側）に第１の競技者ＦＰ１が写り、右側（＋Ｘの側）に第２の競技者ＦＰ２が写るものとして説明する。
【0131】
例えば、図１４に示すように、各競技者ＦＰ１、ＦＰ２及び各剣ＳＷ１、ＳＷ２が写ったリサイズ画像が得られた場合、第１ステージ認識処理部１３１は、図１５に示すように、各ＳＷ１、ＳＷ２のそれぞれについてバウンディングボックスＢＢ＿ＳＷ＿１、ＢＢ＿ＳＷ＿２を認識する。
【0132】
次に、ディスパッチャ１２０は、注目時点において注目カメラで撮像された撮像２Ｄ画像から、剣認識処理により検出されたバウンディングボックスに基づき、剣及び剣の近傍を含む領域（以下、「剣近傍領域」と呼ぶ）をクロップした画像（以下、「剣近傍領域画像」と呼ぶ）を取得して第２ステージ認識処理部１３２に供給する（Ｓ２０５）。
【0133】
ディスパッチャ１２０は、撮像２Ｄ画像から、剣認識処理により認識されたバウンディングボックスと中心位置を同じくする所定サイズ（固定サイズ）の画像を剣近傍領域画像として取得（クロップ）する。バウンディングボックスのサイズは剣認識処理の結果により変動するが、剣近傍領域画像（クロップする画像のサイズ）は後段の処理に適した所定の固定サイズとすることが望ましい。
【0134】
図１５では、剣認識処理により検出された剣ＳＷ１のバウンディングボックスＢＢ＿ＳＷ＿１、ＢＢ＿ＳＷ＿２に対応する剣近傍領域Ａ＿ＳＷ＿１、Ａ＿ＳＷ＿２が図示されている。図１５では、バウンディングボックスＢＢ＿ＳＷ＿１、ＢＢ＿ＳＷ＿２の中心位置がＰＳ＿ＳＷ＿１、ＰＳ＿ＳＷ＿２となっている。そして、剣近傍領域Ａ＿ＳＷ＿１は、バウンディングボックスＢＢ＿ＳＷ＿１と中心位置を同じくするＶ＿ＳＷ（Ｙ軸方向の長さ）×Ｈ＿ＳＷ（Ｘ軸方向の長さ）の領域となっている。また、剣近傍領域Ａ＿ＳＷ＿２は、バウンディングボックスＢＢ＿ＳＷ＿２と中心位置を同じくするＨ＿ＳＷ（Ｘ軸方向の長さ）Ｖ＿ＳＷ（Ｙ軸方向の長さ）の領域となっている。
【0135】
次に、認識処理部１３０の第２ステージ認識処理部１３２が、ディスパッチャ１２０から供給された剣近傍領域画像を取得し、取得した各剣近傍領域画像から剣先及び剣元の２Ｄ座標（撮像２Ｄ画像上の座標）を認識する処理（以下、「剣先／剣元２Ｄ認識処理」と呼ぶ）を行う（Ｓ２０６）。
【0136】
なお、以下では、撮像２Ｄ画像からクロップした画像内での２Ｄ座標を「ローカル２Ｄ座標」と呼び、撮像２Ｄ画像上の座標を「グローバル２Ｄ座標」又は単に「２Ｄ座標」と呼ぶものとする。ここでは、第２ステージ認識処理部１３２では、撮像２Ｄ画像内における剣検出領域画像の位置が把握されており、剣検出領域画像内のローカル２Ｄ座標をグローバル２Ｄ座標に変換する処理が可能であるものとして説明する。
【0137】
具体的には、第２ステージ認識処理部１３２は、取得した剣近傍領域画像について、写っている剣の剣先のバウンディングボックスと、剣元のバウンディングボックスを認識し、バウンディングボックスの認識結果に基づいて、剣近傍領域画像に映っている各剣先／剣元のグローバル２Ｄ座標を取得する。また、このとき、第２ステージ認識処理部１３２は、各剣先／剣元に対応するバウンディングボックス取得時の確信度を保持し、各剣先／剣元の情報に付加して認識結果出力処理部１３３に処理結果として供給する。
【0138】
第２ステージ認識処理部１３２が、剣近傍領域画像から剣先／剣元認識処理を行う具体的な処理については限定されないものであるが、例えば、予め教師データを用いて機械学習させた学習モデルを用いた第２の識別器１６２（ＡＩを用いた識別器）を用いて認識するようにしてもよい。
【0139】
図１６は、第２ステージ認識処理部１３２で剣近傍領域画像から、各競技者ＦＰ１、ＦＰ２が所持する剣ＳＷ１、ＳＷ２の剣先及び剣元の２Ｄ座標を認識する処理の例について示した図である。図１６では、図１５に示すような剣ＳＷ１、ＳＷ２のバウンディングボックスＢＢ＿ＳＷ＿１、ＢＢ＿ＳＷ＿２に基づいて剣ＳＷ１、ＳＷ２の剣先及び剣元の２Ｄ座標を認識する処理について示している。図１６（ａ）、図１６（ｂ）は、それぞれ競技者ＦＰ１、ＦＰ２が所持する剣ＳＷ１、ＳＷ２の剣近傍領域Ａ＿ＳＷ＿１、Ａ＿ＳＷ＿２の画像（剣近傍領域画像；クロップ画像）から、剣先及び剣元の２Ｄ座標を認識する処理について示している。
【0140】
図１６（ａ）では競技者ＦＰ１が所持する剣ＳＷ１の剣先に対応するバウンディングボックスＢＢ＿Ｔ＿１と、剣ＳＷ１の剣元に対応するバウンディングボックスＢＢ＿Ｇ＿１が図示されている。図１６（ａ）に示すような剣近傍領域画像が得られた場合、第２ステージ認識処理部１３２は、バウンディングボックスＢＢ＿Ｔ＿１の中心位置Ｐ＿Ｔ＿１を剣ＳＷ１の剣先のグローバル２Ｄ座標として認識し、バウンディングボックスＢＢ＿Ｇ＿１の中心位置Ｐ＿Ｇ＿１を剣ＳＷ１の剣元のグローバル２Ｄ座標として認識する。また、図１６（ｂ）では競技者ＦＰ２が所持する剣ＳＷ２の剣先に対応するバウンディングボックスＢＢ＿Ｔ＿２と、剣ＳＷ１の剣元に対応するバウンディングボックスＢＢ＿Ｇ＿２が図示されている。図１６（ｂ）に示すような剣近傍領域画像が得られた場合、第２ステージ認識処理部１３２は、バウンディングボックスＢＢ＿Ｔ＿２の中心位置Ｐ＿Ｔ＿２を剣ＳＷ２の剣先のグローバル２Ｄ座標として認識し、バウンディングボックスＢＢ＿Ｇ＿２の中心位置Ｐ＿Ｇ＿２を剣ＳＷ２の剣元のグローバル２Ｄ座標として認識する。
【0141】
以上のように、第２ステージ認識処理部１３２では、剣先／剣元２Ｄ認識処理が行われる。なお、剣先／剣元２Ｄ認識処理の詳細なプロセスについては後述する。
【0142】
次に、認識処理部１３０の認識結果出力処理部１３３は、剣先／剣元２Ｄ認識処理の結果に対応する撮像２Ｄ画像を特定するためのメタデータ（カメラＩＤ及びフレームＩＤを含むデータ）を付加して３Ｄ構成処理部１４０に供給する（Ｓ２０７）。
【0143】
次に、３Ｄ構成処理部１４０が、時系列（フレームＩＤ）ごとに剣先／剣元２Ｄ認識処理の結果を集計し、各競技者の剣先及び剣元の３Ｄ座標を推定し、推定した結果を取得してビジュアル処理装置２００に供給する（Ｓ２０８）。
【0144】
次に、上述のステップＳ２０６における剣先／剣元認識処理の詳細について図１７のフローチャートを用いて説明する。
【0145】
図１７のフローチャートは、１つの注目カメラの撮像２Ｄ画像から得られる１つ又は２つの剣近傍領域画像から、剣ごと（競技者ごと）に区別して剣先／剣元のグローバル２Ｄ座標のペアを取得する処理について示している。図１７のフローチャートの処理では、撮像２Ｄ画像ごとに、検出した各剣先／剣元についていずれの競技者の剣の剣先かを判別する処理も含まれる。
【0146】
まず、第２ステージ認識処理部１３２は、供給された各剣近傍領域画像から、それぞれ剣先及び剣元のバウンディングボックスを認識する（Ｓ３０１）。
【0147】
第２ステージ認識処理部１３２が、剣先及び剣元のバウンディングボックスを認識する具体的な処理については限定されないものであるが、例えば、予め教師データを用いて学習させた学習モデルを用いた識別器（ＡＩ）を用いて認識するようにしてもよい。剣先及び剣元のバウンディングボックスを認識する処理には、種々のＡＩによる物体検出の識別器を適用することができるが、この実施形態では、上述の通りＹＯＬＯｖ３の物体検出の識別器を用いるものとして説明する。１つの剣近傍領域画像では、剣先及び剣元がそれぞれ０個～２個の範囲で写り込むことになる。そのため、第２ステージ認識処理部１３２は、各剣近傍領域画像から、剣先及び剣元についてそれぞれ確信度順に最大２つまでバウンディングボックスを取得するものとする。なお、第２ステージ認識処理部１３２は、確信度が所定以下のバウンディングボックスについては剣先／剣元の認識結果から除外するようにしてもよい。
【0148】
例えば、図１８に示す撮像２Ｄ画像から、図１９に示すような２つの剣近傍領域Ａ＿ＳＷ＿１、Ａ＿ＳＷ＿２の画像がクロップされた場合、それぞれの剣近傍領域画像から図２０に示すような剣先／剣元のバウンディングボックスが検出されることになる。
【0149】
図２０の例では、剣近傍領域Ａ＿ＳＷ＿１の画像からは２つの剣先のバウンディングボックスＢＢ＿Ｔ＿１、ＢＢ＿Ｔ＿２と、１つの剣元のバウンディングボックスＢＢ＿Ｇ＿１が検出された状態について示している。また、図２０の例では、剣近傍領域Ａ＿ＳＷ＿２の画像からは２つの剣先のバウンディングボックスＢＢ＿Ｔ＿３、ＢＢ＿Ｔ＿４と、１つの剣元のバウンディングボックスＢＢ＿Ｇ＿２が検出された状態について示している。図２０に示すように、１つの剣近傍領域から複数の剣先及び又は剣元のバウンディングボックスが検出されることが有りえる。
【0150】
次に、第２ステージ認識処理部１３２は、それぞれの剣近傍領域画像で検出された剣先及び剣元のバウンディングボックスの中心位置のグローバル２Ｄ座標を取得する（Ｓ３０２）。
【0151】
次に、第２ステージ認識処理部１３２は、ステップＳ３０１の処理で、複数の剣先及び又は剣元のバウンディングボックスが検出された剣近傍領域画像があったか否かを判断し（Ｓ３０３）、複数の剣先及び又は剣元のバウンディングボックスが検出された剣近傍領域画像があった場合は後述するステップＳ３０４から動作し、そうでない場合は後述するステップＳ３０５から動作する。
【0152】
次に、第２ステージ認識処理部１３２は、それぞれの剣近傍領域画像で検出された剣先及び剣元のグローバル２Ｄ座標について距離が閾値未満となる組み合わせがあった場合マージ（いずれか一方を認識結果から捨象）する処理を行う（Ｓ３０４）。
【0153】
例えば、同じ剣先について２つの剣近傍領域画像でバウンディングボックスが検出された場合、その２つのバウンディングボックスの中心位置は計測誤差が無ければ一致することになるため、マージ（いずれか一方を捨象）することで正しく剣先と剣元のペアを検出することができる。この時設定する閾値は限定されないものであるが、実験等により予め、画像に基づく計測誤差を考慮した好適な値を設定することが望ましい。
【0154】
例えば、図２０の例の場合、剣先のバウンディングボックスＢＢ＿Ｔ＿１の中心位置Ｐ＿Ｔ＿１、同じく剣先のバウンディングボックスＢＢ＿Ｔ＿４の中心位置Ｐ＿Ｔ＿４の位置がほぼ一致することになるためマージすることができる。このとき、第２ステージ認識処理部１３２は、２つのバウンディングボックスＢＢ＿Ｔ＿１、ＢＢ＿Ｔ＿４のうち確信度が低い方の結果を捨象するようにしてもよい。
【0155】
次に、第２ステージ認識処理部１３２は、検出した剣先／剣元について、それぞれいずれの競技者の所持する剣に対応するかを判断する処理（以下、「左右判断処理」と呼ぶ）を行い（Ｓ３０５）、本フローチャートの処理を終了する。
【0156】
第２ステージ認識処理部１３２が行う左右判断処理の詳細については図２１のフローチャートを用いて説明する。
【0157】
まず、第２ステージ認識処理部１３２は、各剣先（マージ処理後の各剣先）のグローバル２Ｄ座標をディスパッチャ１２０にして、ディスパッチャ１２０から各剣先とその近傍を含む領域（以下、「剣先近傍領域」と呼ぶ）をクロップした画像（以下、「剣先近傍領域画像」と呼ぶ）を取得する（Ｓ４０１）。
【0158】
ディスパッチャ１２０は、撮像２Ｄ画像から、各剣先のバウンディングボックスと中心位置を同じくする所定サイズ（固定サイズ）の画像を剣先近傍領域画像として取得する。バウンディングボックスのサイズは剣先の認識処理の結果により変動するが、剣先近傍領域画像は後段の処理に適した所定の固定サイズとすることが望ましい。以下では、剣先近傍領域画像の縦方向（垂直方向）の長さを「Ｖ＿Ｔ」と表し、剣先近傍領域画像の横方向（水平方向）の長さを「Ｈ＿Ｔ」と表すものとする。すなわち、剣先近傍領域画像は、Ｖ＿Ｔ×Ｈ＿Ｔのサイズの画像となる。剣先近傍領域画像のサイズ（Ｖ＿Ｔ、Ｈ＿Ｔ）については限定されないものであるが、例えば、剣先近傍領域画像内に剣の先端から概ね１０ｃｍ程度の部分が写り込むように設定されていることが望ましい。
【0159】
例えば、図１６（ａ）、図１６（ｂ）では、それぞれ剣ＳＷ１、ＳＷ２の剣先のバウンディングボックスＢＢ＿Ｔ＿１、ＢＢ＿Ｔ＿２に対応する剣先近傍領域Ａ＿Ｔ＿１、Ａ＿Ｔ＿２が図示されている。図１６（ａ）、図１６（ｂ）では、剣先近傍領域Ａ＿Ｔ＿１、Ａ＿Ｔ＿２は、中心位置をバウンディングボックスＢＢ＿Ｔ＿１、ＢＢ＿Ｔ＿２と同じＰ＿Ｔ＿１、Ｐ＿Ｔ＿２とするＶ＿Ｔ×Ｈ＿Ｔのサイズの領域となる。
【0160】
次に、第２ステージ認識処理部１３２は、取得した各剣先近傍領域画像を第３の識別器１６３に入力して各剣先近傍領域画像に対応する剣先の向いている角度（以下、「剣先角度」と呼ぶ）を取得する（Ｓ４０２）。
【0161】
次に、図２２を用いて、剣先角度の設定について説明する。
【0162】
この実施形態では、図２２に示すように、剣先角度は－１８０°～＋１８０°の間で変化する角度であるものとする。図２２に示すように、剣先角度は上方向（＋Ｚの方向）を０°として時計回りに正の方向に変化し、右方向（＋Ｘの方向）が＋９０°、下方向（－Ｚの方向）が＋１８０°となる。また、図２２に示すように剣先角度は上方向を０°として反時計回りに負の方向に変化し、左方向（－Ｘの方向）が－９０°、下方向が－１８０°となる。図２２に示すように、左側に位置する第１の競技者ＦＰ１の剣ＳＷ１の剣先の剣先角度は通常正の角度となり、右側に位置する第２の競技者ＦＰ２の剣ＳＷ２の剣先の剣先角度は通常負の角度となる。すなわち、剣先角度が正の角度の剣先は第１の競技者ＦＰ１の剣ＳＷ１の剣先と判断でき、剣先角度が正の角度の剣先は第２の競技者ＦＰ２の剣ＳＷ２の剣先と判断できることになる。
【0163】
ここでは、第３の識別器１６３は、入力された剣先近傍領域画像について－１８０°～＋１８０°の間の所定範囲について所定角度単位のグリッドで判定するものとする。以下では、第３の識別器１６３が剣先角度を判定する際にグリッドされた角度を「グリッド角度」と呼ぶものとする。例えば、ここでは、第３の識別器１６３は、入力された剣先近傍領域画像について－１７０°～－１０°、＋１０°～＋１７０°の範囲で、１０°単位で変化するグリッド角度で判定するものとする。具体的には、第３の識別器１６３は、入力された剣先近傍領域画像について、－１７０°、－１６０°、…、－２０°、－１０°、＋１０°、＋２０°、…、＋１６０°、＋１７０°のいずれかのグリッド角度に分類する処理を行うものとする。なお、グリッド角度の数及び間隔については限定されないものである。すなわち、第３の識別器１６３には、それぞれのグリッド角度に対応する教師データ（剣先近傍領域画像のサンプルと剣先角度の正解データ）を用いて機械学習された学習モデルが適用されている。
【0164】
次に、第３の識別器１６３による剣先角度の識別処理の例について図２３を用いて説明する。
【0165】
例えば、剣先近傍領域画像として図２０（ａ）に示す剣先近傍領域Ａ＿Ｔ＿１の画像が第３の識別器１６３に供給されると、図２３（ａ）に示すように、第３の識別器１６３は剣先角度として５０°を判断することになる。また、例えば、剣先近傍領域画像として図２０（ｂ）に示す剣先近傍領域Ａ＿Ｔ＿２の画像が第３の識別器１６３に供給されると、図２３（ｂ）に示すように、第３の識別器１６３は剣先角度として－５０°を判断することになる。
【0166】
以上のように、第２ステージ認識処理部１３２（第３の識別器１６３）は、各剣先近傍領域画像について剣先角度を識別する。
【0167】
次に、第２ステージ認識処理部１３２は、検出した剣先／剣元（上述のステップＳ３０４のマージ処理後に残った剣先／剣元）の数を確認し（Ｓ４０３）、１組の剣先／剣元のペアのみが検出された場合（マージ後に剣先と剣元の一方又は両方が１つのみ検出された場合）には後述するステップＳ４０４に移行し、２組の剣先／剣元のペアが検出された場合（マージ後に２つの剣先と２つの剣元が検出された場合）には後述するステップＳ４０５に移行する。
【0168】
上述のステップＳ４０３で、検出した剣先／剣元が１組の剣先／剣元のペアのみである場合、当該ペアの剣先を剣先角度のみに基づいて、いずれの剣ＳＷ１、ＳＷ１に対応するかを判定する処理（左右判定処理）を行い（Ｓ４０４）本フローチャートの処理を終了する。例えば、当該ペアの剣先の剣先角度が正の場合には当該ペアの剣先／剣元は左側の第１の競技者ＦＰ１のＳＷ１のものであると判定するようにしてもよい。
【0169】
一方、上述のステップＳ４０３で、検出した剣先／剣元が２組の剣先／剣元のペアが検出された場合、各剣先の剣先角度と各剣先／剣元のグローバル２Ｄ座標に基づいて、各剣先／剣元の正しい組み合わせを判定し、各剣先の剣先角度を利用して剣ＳＷ１、ＳＷ２のいずれに対応するかを判定する（Ｓ４０５）。
【0170】
具体的には、第２ステージ認識処理部１３２は、剣元の位置のグローバル２Ｄ座標と剣先の位置のグローバル２Ｄ座標とを結ぶベクトル（以下、「ベクトル→ａ」と呼ぶ；以下の（１）式参照）と、剣先角度の方向のベクトル（以下、「ベクトル→ｂ」と呼ぶ；以下の（２）式参照）との内積（→ａ・→ｂ）がより大きくなる組み合わせを、正しい剣先／剣元の組み合わせと判定する。また、第２ステージ認識処理部１３２は、各剣元の位置に応じて左右判定処理を行うようにしてもよい。例えば、第２ステージ認識処理部１３２は、－Ｘ方向の側の剣元を第１の競技者ＦＰ１が所持する剣ＳＷ１の剣元と判定し、＋Ｘ方向の側の剣元を第２の競技者ＦＰ２が所持する剣ＳＷ２の剣元と判定するようにしてもよい。これは、フェンシングの剣では、剣先の位置から剣先角度の延長線上に剣元が存在する蓋然性が高いという傾向に基づいた判定処理である。
→ａ＝（剣先の位置）－（剣元の位置） …（１）
→ｂ＝角度を剣先角度θ＿Ｔとする単位ベクトル …（２）
→ａ＝（剣先の位置）－（剣元の位置） …（１）
→ｂ＝角度を剣先角度θ＿Ｔとする単位ベクトル …（２）
【0171】
【0172】
ここでは、第２ステージ認識処理部１３２(マージ処理後)において、剣先のグローバル２Ｄ座標としてＰ＿Ｔ＿１、Ｐ＿Ｔ＿３が検出され、剣元のグローバル２Ｄ座標としてＰ＿Ｇ＿１、Ｐ＿Ｇ＿２が検出されているものとする。そうすると、この例では剣元／剣先のペアが２組存在するためステップＳ４０５の処理に移行することになる。また、ここでは、上述の図２３に示す通り、剣先のグローバル２Ｄ座標としてＰ＿Ｔ＿１、Ｐ＿Ｔ＿３に対応する剣先角度は、それぞれ＋５０°、－５０°であったものとする。この場合、ステップＳ４０５において、第２ステージ認識処理部１３２では、剣先Ｐ＿Ｔ＿１、Ｐ＿Ｔ＿３と、剣元Ｐ＿Ｇ＿１、Ｐ＿Ｇ＿２の組み合わせを２パターンのいずれかに絞り込むことになる。ここで、仮に第２ステージ認識処理部１３２が剣先Ｐ＿Ｔ＿１に対応する剣元をＰ＿Ｇ＿１、Ｐ＿Ｇ＿２のいずれかに決定する場合を想定する。この場合、第２ステージ認識処理部１３２は、→ｂを５０°の方向の単位ベクトルとし、→ａをＰ＿Ｔ＿１とＰ＿Ｇ＿１を通るベクトルとした場合における→ａと→ｂの内積（→ａ・→ｂ）と、→ａをＰ＿Ｔ＿１とＰ＿Ｇ＿２を通るベクトルとした場合における→ａと→ｂの内積（→ａ・→ｂ）とを比較する。この場合、→ａをＰ＿Ｔ＿１とＰ＿Ｇ＿１を通るベクトルとした場合、→ａは→ｂ（５０°の方向）とほぼ並行となることから、明らかに→ａをＰ＿Ｔ＿１とＰ＿Ｇ＿２を通るベクトルとする場合よりも内積（→ａ・→ｂ）は大きくなる。したがって、この場合、第２ステージ認識処理部１３２は、ステップＳ４０５において、剣先Ｐ＿Ｔ＿１と剣元Ｐ＿Ｇ＿１のペアと、剣先Ｐ＿Ｔ＿３と剣元Ｐ＿Ｇ＿２のペアが正しいと判断する。そして、剣元Ｐ＿Ｇ＿１は剣元Ｐ＿Ｇ＿２よりも－Ｘ方向（左側）にあるため、剣先Ｐ＿Ｔ＿１と剣元Ｐ＿Ｇ＿１のペアを競技者ＦＰ１の剣ＳＷ１と判断し、剣先Ｐ＿Ｔ＿３と剣元Ｐ＿Ｇ＿２のペアを競技者ＦＰ２の剣ＳＷ２と判断することになる。
【0173】
次に、３Ｄ構成処理部１４０の動作について説明する。
【0174】
３Ｄ構成処理部１４０は、キャリブレーション処理部１５０からカメラ３０ごと（カメラＩＤごと）のカメラキャリブレーションパラメータを取得する。また、３Ｄ構成処理部１４０は、時系列ごと（フレームＩＤごと）の認識処理部１３０による動作認識処理の結果（各カメラ３０（各注目カメラ）に対応する剣先／剣元のグローバル２Ｄ座標）を取得する。３Ｄ構成処理部１４０は、カメラ３０ごとのカメラキャリブレーションパラメータと時系列ごとの動作認識処理の結果に基づいて、時系列毎の各競技者ＦＰ１、ＦＰ２の各剣ＳＷ１、ＳＷ２の剣先／剣元の３Ｄ座標を推定する処理を行う。
【0175】
具体的には、３Ｄ構成処理部１４０は、動作認識処理の結果から、各注目カメラが撮像した撮像２Ｄ画像上の剣先／剣元のグローバル２Ｄ座標を取得し、取得したグローバル２Ｄ座標をカメラキャリブレーションパラメータに基づいて３Ｄ座標（以下、「サンプル３Ｄ座標」と呼ぶ）に変換する。すなわち、３Ｄ構成処理部１４０では、各剣ＳＷ１、ＳＷ２の剣先／剣元（剣先×２点、剣元×２点）のそれぞれに対して、最大注目カメラ数分のサンプル３Ｄ座標が取得されることになる。
【0176】
そして、３Ｄ構成処理部１４０は、各剣ＳＷ１、ＳＷ２の剣先／剣元のそれぞれに対して得られた複数のサンプル３Ｄ座標から求めるべき３Ｄ座標を取得する処理を行う。サンプル３Ｄ座標群から実際の３Ｄ座標を取得する処理の具体的計算方法については限定されないものであり種々の方法を適用することができる。例えば、３Ｄ構成処理部１４０は、各注目カメラから、各３Ｄ座標サンプルへの３Ｄ空間ＣＳ（実空間）上の光線ベクトルを計算し、その複数の光線ベクトルの交わりそうな点を、求めるべき剣先／剣元の３Ｄ座標として取得するようにしてもよい。例えば、３Ｄ構成処理部１４０は、サンプル３Ｄ座標群からＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等のアルゴリズム（解法）を用いて外れ値と推定できるサンプルを除外して、より正確な３Ｄ座標を得るようにしてもよい。
【0177】
以上のように、３Ｄ構成処理部１４０では、時系列（フレームＩＤ）ごとの各競技者の剣ＳＷ１、ＳＷ２の剣先／剣元の３Ｄ座標（以下、「剣先／剣元３Ｄ座標」と呼ぶ）が取得される、そして、３Ｄ構成処理部１４０は、取得した時系列ごとの剣先／剣元３Ｄ座標をビジュアル処理装置２００に供給する。
【0178】
次に、ビジュアル処理装置２００の動作の例について説明する。
【0179】
アダプタ２１０は、認識処理装置１００のスイッチコントロール部１１０から、各注目カメラで撮像された撮像２Ｄ画像を取得するとともに、認識処理装置１００の３Ｄ構成処理部１４０から、時系列ごと（フレームＩＤごと）の剣先／剣元３Ｄ座標を取得する。また、アダプタ２１０は、審判器４０からの信号も取得する。そして、アダプタ２１０は、取得した各データをビジュアル処理部２２０に供給する。
【0180】
ビジュアル処理部２２０は、撮像２Ｄ画像又は撮像２Ｄ画像を加工した画像に、時系列ごとの剣先／剣元３Ｄ座標や審判器４０からの信号に基づく画像（以下、「エフェクト画像」と呼ぶ）をレンダリングした画像（以下、「出力画像」と呼ぶ）を生成して出力する。ビジュアル処理部２２０は、例えば、時系列ごとの撮像２Ｄ画像に基づいて各競技者ＦＰ１、ＦＰ２の周囲の任意の視点からの画像（以下、「自由視点画像」と呼ぶ）をレンダリングし、自由視点画像にさらにエフェクト画像をレンダリングした画像を出力画像（ビジュアル処理済画像）とするようにしてもよい。
【0181】
図２４は、出力画像の例について示した図である。
【0182】
図２４に示す出力画像（ビジュアル処理済画像）では、自由視点画像に、左側の競技者ＦＰ１が所持する剣ＳＷ１の剣先の軌跡を示すエフェクト画像Ｇ＿Ｅ＿００１と、右側の競技者ＦＰ２が所持する剣ＳＷ２の剣先の軌跡を示すエフェクト画像Ｇ＿Ｅ＿００２と、剣ＳＷ１、ＳＷ２が接触したことを示すエフェクト画像Ｇ＿Ｅ＿００３がレンダリングされた状態について示している。
【0183】
（Ａ－３）教師データの生成処理について
次に、第１の識別器１６１、第２の識別器１６２、及び第３の識別器１６３の機械学習に用いる教師データを生成する教師データ処理装置６０（実施形態に係る教師データ処理プログラム及び教師データ処理方法を含む）について説明する。教師データ処理装置６０については、ビジュアライズシステム１自体に含む構成としてもよいが、ここでは便宜上別構成として説明する。
次に、第１の識別器１６１、第２の識別器１６２、及び第３の識別器１６３の機械学習に用いる教師データを生成する教師データ処理装置６０（実施形態に係る教師データ処理プログラム及び教師データ処理方法を含む）について説明する。教師データ処理装置６０については、ビジュアライズシステム１自体に含む構成としてもよいが、ここでは便宜上別構成として説明する。
【0184】
図２５は、教師データ処理装置６０の機能的構成について示した図である。
【0185】
教師データ処理装置６０は、第１の識別器１６１、第２の識別器１６２、及び第３の識別器１６３の機械学習に用いる教師データを生成する処理を行う装置である。
【0186】
また、教師データ処理装置６０には教師データに適用するサンプル画像を撮像するための８台のカメラ７０（７０－１～７０－８）が配置されている。なお、カメラ７０の数は限定されないものである。
【0187】
図２６は、カメラ７０を設置する環境の例について示した図である。
【0188】
図２６では、２人の競技者ＦＰ１、ＦＰ２がそれぞれ実際のフェンシングの試合と同様の剣ＳＷ１、ＳＷ２を所持した状態について図示している。
【0189】
ここでは、各カメラ７０は、図２６に示すような競技者ＦＰ１、ＦＰ２が位置する領域の周囲を囲うように配置されているものとして説明する。各カメラ７０の具体的な配置位置は限定されないものである。
【0190】
教師データ処理装置６０では、各競技者ＦＰ１、ＦＰ２が剣ＳＷ１、ＳＷ２を所持した状態（図２６の状態）で撮像したサンプル画像についてオペレータから手動で、各剣ＳＷ１、ＳＷ２の剣先／剣元の位置（グローバル２Ｄ座標）の位置情報（以下、「サンプル位置情報」とも呼ぶ）の入力を受け付ける。
【0191】
次に、教師データ処理装置６０の内部構成について説明する。
【0192】
教師データ処理装置６０は、サンプル画像処理部６１０、サンプル位置情報処理部６２０、教師データ生成部６３０、及びサンプル位置入力受付部６４０を有している。
【0193】
教師データ処理装置６０を構成する各要素は、それぞれコンピュータを用いてソフトウェア的に構成するようにしてもよいし、一部又は全部をハードウェア(例えば、専用の半導体チップ）を用いて構成するようにしてもよい。この実施形態では、教師データ処理装置６０は１又は複数のコンピュータにプログラム（実施形態に係る教師データ処理プログラムを含む）をインストールすることにより構成されているものとする。すなわち、教師データ処理装置６０を構成するハードウェア（コンピュータ）の数は限定されないものであり、複数のハードウェア群で構成される場合もあり得るものとする。
【0194】
サンプル画像処理部６１０は、カメラ７０で撮像した２Ｄ画像に基づいてサンプル画像を取得する処理を行う。サンプル画像処理部６１０は、各カメラ７０で撮像した２Ｄ画像をそのままサンプル位置入力受付部６４０に供給して表示させる。
【0195】
サンプル位置入力受付部６４０は、オペレータに対してサンプル画像を提示し、提示したサンプル画像に対するサンプル位置情報（各剣先／剣元の位置）の入力を受け付ける処理を行う。サンプル位置入力受付部６４０がオペレータからサンプル位置情報の入力を受け付ける際のインタフェースは限定されないものである。例えば、サンプル位置入力受付部６４０は、図示しないタッチパネルディスプレイやマウス／ディスプレイ等のデバイスを用いて、オペレータにサンプル画像を提示すると共にサンプル位置情報の入力を受け付けるようにしてもよい。
【0196】
図２７は、サンプル位置入力受付部６４０がオペレータからサンプル画像に対するサンプル位置情報の入力を受け付ける際の操作画面の例について示した図である。
【0197】
例えば、サンプル位置入力受付部６４０は、オペレータに対して図２７（ａ）のようなサンプル画像を表示した操作画面を提示し、図示しない入力デバイス（例えば、マウスやタッチパネル）を用いて図２７（ｂ）に示すように各剣元／剣先の位置（サンプル位置情報）の入力を受け付けるようにしてもよい。図２７（ｂ）では、ラベリングを受け付けた部分にひし形のシンボルを図示している。サンプル位置入力受付部６４０は、受け付けた各剣先／剣元の位置を２Ｄ画像上の２Ｄ座標（グローバル２Ｄ座標）に変換してサンプル位置情報として取得し、サンプル位置情報処理部６２０に供給する。このとき、サンプル位置入力受付部６４０は、剣先の位置と剣元の位置を区別して入力を受け付ける必要がある。例えば、サンプル位置入力受付部６４０は、剣先／剣元の位置の入力を受ける際に、当該位置が剣先であるのか剣元であるのかの選択入力を受け付けるようにしてもよい。
【0198】
サンプル位置情報処理部６２０は、サンプル位置情報を取得して教師データ生成部６３０に供給する機能を担っている。サンプル位置情報処理部６２０は、サンプル位置入力受付部６４０から供給されるサンプル位置情報を教師データ生成部６３０に供給する。
【0199】
教師データ生成部６３０は、サンプル画像処理部６１０から取得したサンプル画像とサンプル位置情報処理部６２０から取得したサンプル位置情報とを対応づけて教師データとして蓄積する。
【0200】
第１の識別器１６１では機械学習する際は、教師データ生成部６３０で生成された教師データをそのまま適用するようにしてもよい。また、第２の識別器１６２では機械学習する際には、教師データのサンプル画像のうち剣の部分（剣先及び剣元を含む部分）とその近傍の領域を含む矩形の領域をクロップした画像を教師データのサンプル画像として置き換えて適用するようにしてもよい。さらに、第３の識別器１６３では、機械学習する際には、教師データのサンプル画像のうち剣先の部分とその近傍の領域を含む矩形の領域をクロップした画像を教師データのサンプル画像として置き換えて適用するようにしてもよい。
【0201】
なお、第１の識別器１６１、第２の識別器１６２、第３の識別器１６３では、機械学習して学習モデルを生成する機能を搭載するようにしてもよいし機械学習する機能を別の構成要素（別装置）として構築するようにしてもよい。また、教師データ処理装置６０自体に、第１の識別器１６１、第２の識別器１６２、第３の識別器１６３のそれぞれに対する教師データの加工や機械学習による学習モデルの生成処理まで含めて実行する構成を備えるようにしてもよい。
【0202】
（Ａ－４）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
この実施形態によれば、以下のような効果を奏することができる。
【0203】
この実施形態の認識処理装置１００では、２Ｄ撮像画像から剣全体の位置を認識した結果に基づく剣近傍領域画像を取得し、さらに剣近傍領域画像から剣先／剣元を認識している。このように、認識処理装置１００では、２段階に分けて剣先／剣元を認識することで、２Ｄ撮像画像から直接剣先／剣元を認識するよりも高精度かつ効率的に剣先／剣元の検知を行うことができる。
【0204】
また、この実施形態の認識処理装置１００では、剣先角度を用いることで、剣先／剣元の左右判断処理を実現している。
【0205】
さらに、この実施形態の認識処理装置１００では、１段階目に剣全体を認識する際に２Ｄ撮像画像の解像度を粗くしたリサイズ画像を用いているため、より効率的な剣先／剣元の検知を行うことができる。
【0206】
さらにまた、この実施形態では、認識処理装置１００における各カメラ３０のキャリブレーションに、キャリブレーションオブジェクト５０を用いたキャリブレーションを行っている。キャリブレーションオブジェクト５０は、三脚５１から吊り下げられた吊下げ部５２にＬＥＤランプ５２１－１～５２１－３が取り付けされており、下端に錘５２２が取り付けされている。これにより、キャリブレーションオブジェクト５０では、各ＬＥＤランプ５２１－１～５２１－３の位置を基準位置（錘５２２の下の位置）の垂直上に正確且つ容易に静止させることができる。すなわち、この実施形態では、キャリブレーションにキャリブレーションオブジェクト５０を適用することで、短時間で良好なキャリブレーション結果を得ることができる。
【0207】
（Ｂ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0208】
（Ｂ－１）上記の実施形態では、認識処理装置１００を、各装置のキャリブレーションの制御処理と、３Ｄ画像結像の処理の両方を行う装置として説明したが、キャリブレーションのみ行う装置として構成し、３Ｄ画像結像の処理については別の装置で行うようにしてもよい。すなわち、キャリブレーションの制御処理と、３Ｄ画像結像の制御処理については別装置（別プログラム）として構成するようにしてもよいことは当然である。
【0209】
（Ｂ－２）上記の実施形態では、本発明のビジュアライズシステム及び認識処理装置をフェンシングの剣を含む動作を認識する処理に適用したが、剣道等の他の棒形状の器具を用いた剣術系の競技や、演舞（例えば、剣を所持した状態で踊りや演技を行う場合）に適用するようにしてもよい。すなわち、上記の実施形態では、本発明のビジュアライズシステム及び認識処理装置をフェンシングの競技に適用するため、剣の所持者（競技者）が２人存在することを前提としたが、本発明のビジュアライズシステム及び認識処理装置を演舞等に適用する場合は、認識対象となる剣及び剣の所持者の数は２に限定されず、１や３以上であってもよいことになる。
【符号の説明】
【0210】
１…ビジュアライズシステム、１００…認識処理装置、１１０…スイッチコントロール部、１２０…ディスパッチャ、１３０…認識処理部、１３１…第１ステージ認識処理部、１３２…第２ステージ認識処理部、１３３…認識結果出力処理部、１４０…３Ｄ構成処理部、１４０…認識処理部３Ｄ構成処理部、１５０…キャリブレーション処理部、１６１…第１の識別器、１６２…第２の識別器、１６３…第３の識別器、２００…ビジュアル処理装置、２１０…アダプタ、２２０…ビジュアル処理部、２０、２０－１、２０－２…ＬｉＤａｒセンサ、２０－２…ＬｉＤａｒセンサ、３０、３０－１～３０－２４…カメラ、４０…審判器、５０…キャリブレーションオブジェクト、５１…三脚、５２…吊下げ部、５３…電源部、５４…リード線、５１２、５１３、５１４…脚部、５１１…雲台部、５２１、５２１－１～５２１－３…ＬＥＤランプ、５２２…錘、５２３…吊下げ部材、６０…教師データ処理装置、６１０…サンプル画像処理部、６２０…サンプル位置情報処理部、６３０…教師データ生成部、６４０…サンプル位置入力受付部、７０、７０－１～７０－４…カメラ、ＳＷ、ＳＷ１、ＳＷ２…剣。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】