特許 7268738 表示方法、表示プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-25

(45)【発行日】2023-05-08

(54)【発明の名称】表示方法、表示プログラムおよび情報処理装置

(51)【国際特許分類】

   A63B 71/06 20060101AFI20230426BHJP

   G06T 7/00 20170101ALI20230426BHJP

   G06T 7/20 20170101ALI20230426BHJP

【ＦＩ】

A63B71/06 E

A63B71/06 M

G06T7/00 660B

G06T7/20 300Z

【請求項の数】 15

(21)【出願番号】P 2021536483

(86)(22)【出願日】2019-07-29

(86)【国際出願番号】 JP2019029654

(87)【国際公開番号】W WO2021019641

(87)【国際公開日】2021-02-04

【審査請求日】2021-10-29

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内藤 宏久

(72)【発明者】

【氏名】尾崎 純子

【審査官】宮本 昭彦

(56)【参考文献】

【文献】国際公開第２０１８／０６９９８５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／０２２３７０７（ＵＳ，Ａ１）

【文献】特開２０１８－１５３３８８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１４６０２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ ６９／００ － ７１／１６

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

採点競技の演技に対する採点の結果を出力する表示方法であって、
前記採点競技の種目、性別、クラス区分を含む入力情報を取得し、
前記採点競技の競技者をセンシングしたセンシングデータに基づいた前記演技に含まれる技の認識結果を取得し、
前記入力情報に基づき、複数種類の採点ルールのうちの第一のルールを決定し、
前記技の認識結果および前記第一のルールに基づき、前記技の難度を決定し、
前記演技に含まれる複数の技それぞれの難度に応じて、前記採点に採用する対象を、前記複数の技の一部に限定し、
前記複数の技とそれぞれの難度を表示する第一の表示領域、前記限定された一部の技について各難度の技の個数の集計結果の第二の表示領域、前記限定された一部の技を対象にした前記演技の得点の第三の表示領域、前記センシングデータに基づき生成された前記競技者の３Ｄモデルの第四の表示領域とを含む採点画面を出力する
処理をコンピュータが実行することを特徴とする表示方法。

【請求項2】

前記限定する処理で限定された一部の技および前記一部の技の難度を基にして、前記演技の得点を算出する処理を前記コンピュータが更に実行し、
前記出力する処理は、前記演技の得点を算出する処理で算出された前記演技の得点が表示された前記第三の表示領域を含む採点画面を出力することを特徴とする請求項１に記載の表示方法。

【請求項3】

前記演技の得点を算出する処理は、前記技の認識結果と前記第一のルールに基づき、所定の技の組み合わせが含まれる場合には、前記組み合わせに対応する得点を加算することで、前記演技の得点を算出することを特徴とする請求項２に記載の表示方法。

【請求項4】

前記演技の得点を算出する処理は、前記技の認識結果と前記第一のルールに基づき、同一の技が複数含まれる場合に、複数の同一の技のうち、一つの技を前記採点に採用する対象とし、他の同一の技を前記採点に採用する対象から除外することを特徴とする請求項３に記載の表示方法。

【請求項5】

前記採点画面を出力する処理は、前記第一の表示領域において、前記採点に採用する対象の技の難度の表示を、前記採点に採用する対象の技の難度の表示よりも強調して表示することを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項6】

前記クラス区分としてシニアを含む入力情報に基づいて、前記第一のルールが決定された場合、前記限定する処理は、前記複数の技のうち、難度の高い上位Ｎ個の技を限定し、
前記クラス区分としてジュニアを含む入力情報に基づいて、前記第一のルールが決定された場合、前記限定する処理は、前記複数の技のうち、難度の高い上位Ｍ（ＭはＮよりも小さい）個の技を限定することを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項7】

前記性別として女性を含む入力情報に基づいて、前記第一のルールが決定された場合、前記技の難度を決定する処理は、決定した難度の技を、アクロバット系の技と、ダンス系の技の分類する処理を更に実行し、前記採点画面を出力する処理は、前記第二の表示領域について、前記限定された一部の技についての各難度の技の個数のうち、前記アクロバット系の技の個数と、前記ダンス系の技の個数とを表示することを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項8】

前記採点画面を出力する処理は、前記第一の表示領域について、前記複数の技とそれぞれの難度を表示する場合、前記アクロバット系の技の難度の色と、前記ダンス系の技の難度の色とを区別して表示することを特徴とする請求項７に記載の表示方法。

【請求項9】

前記技の認識結果に含まれる技は時刻情報と対応付けられ、前記採点画面を出力する処理は、前記第一の表示領域に表示する複数の技の内、いずれかの技の選択を受け付けた場合、選択された技の時刻に対応する前記競技者の３Ｄモデルを、前記第四の表示領域に表示させることを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項10】

前記採点画面を出力する処理は、前記入力情報に含まれる前記採点競技の種目が、つり輪、あん馬、鉄棒、段違い平行棒のいずれかの種目である場合、前記第四の表示領域に表示させる空間を固定して前記３Ｄモデルを表示し、前記入力情報に含まれる前記採点競技の種目が、跳馬、平均台、平行棒、ゆかのいずれかの種目である場合、前記第四の表示領域に表示させる空間を前記３Ｄモデルの位置に合わせて表示することを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項11】

前記採点画面を出力する処理は、難度の選択を受け付けた場合に、前記第一の表示領域において、選択を受け付けた難度に対応する技を、強調表示することを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項12】

前記採点画面を出力する処理は、表示切り替えの指示を受け付けた場合に、前記３Ｄモデルと基準面とを重畳した画面情報を生成し、生成した画面情報を出力する処理を更に実行することを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項13】

ユーザからの採点結果の確定指示を受け付けた場合、前記センシングデータと、前記第一の表示領域、前記第二の表示領域、前記第三の表示領域にそれぞれ表示した情報とを、記憶部に格納することを特徴とする請求項１～４のいずれか一つに記載の表示方法。

【請求項14】

採点競技の種目、性別、クラス区分を含む入力情報を取得し、
前記採点競技の競技者をセンシングしたセンシングデータに基づいた前記採点競技の演技に含まれる技の認識結果を取得し、
前記入力情報に基づき、複数種類の採点ルールのうちの第一のルールを決定し、
前記技の認識結果および前記第一のルールに基づき、前記技の難度を決定し、
前記演技に含まれる複数の技それぞれの難度に応じて、前記演技に対する採点に採用する対象を、前記複数の技の一部に限定し、
前記複数の技とそれぞれの難度を表示する第一の表示領域、前記限定された一部の技について各難度の技の個数の集計結果の第二の表示領域、前記限定された一部の技を対象にした前記演技の得点の第三の表示領域、前記センシングデータに基づき生成された前記競技者の３Ｄモデルの第四の表示領域とを含む採点画面を出力する
処理をコンピュータに実行させることを特徴とする表示プログラム。

【請求項15】

採点競技の種目、性別、クラス区分を含む入力情報を取得し、前記採点競技の競技者をセンシングしたセンシングデータに基づいた前記採点競技の演技に含まれる技の認識結果を取得する取得部と、
前記入力情報に基づき、複数種類の採点ルールのうちの第一のルールを決定するルール決定部と、
前記技の認識結果および前記第一のルールに基づき、前記技の難度を決定し、前記技を含む複数の技それぞれの難度に応じて、前記演技に対する採点に採用する対象を、前記複数の技の一部に限定する前処理部と、
前記複数の技とそれぞれの難度を表示する第一の表示領域、前記限定された一部の技について各難度の技の個数の集計結果の第二の表示領域、前記限定された一部の技を対象にした前記演技の得点の第三の表示領域、前記センシングデータに基づき生成された前記競技者の３Ｄモデルの第四の表示領域とを含む採点画面を出力する表示制御部と
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示方法等に関する。

【背景技術】

【0002】

体操競技として、男子は床運動、あん馬、つり輪、跳馬、平行棒、鉄棒の６種目、女子は跳馬、段違い平行棒、平均台、床運動の４種目が行われている。男女とも跳馬以外の種目では、複数の技を連続して行うことで、１つの演技が構成される。

【0003】

演技のスコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。たとえば、Ｄスコアは、技の成立不成立に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法により算出されるスコアである。技の成立不成立や、技の完成度は、採点規則を記したルールブックに基づく、審判員の目視により判断される。

【0004】

また、選手の演技をビデオカメラで撮影しておき、審判員が体操競技の採点を行う場合において、ビデオを再生し、演技の中の各技について、詳細に検討する場合がある。体操競技に限らず、選手の演技を採点する他の採点競技においても同様である。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０１９／０４９２１６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

採点競技では、種目、性別、大会種別、年齢等の条件によって、演技のスコアを算出するルールが異なっており、演技のスコアの精度は、審判員の力量に依存する部分が大きい。たとえば、ある技に関して、シニアの大会基準ではＡ難度であるが、ジュニア大会では、Ｂ難度と判定される。また、同一の難度の技であっても、シニア大会の点数よりも、ジュニア大会の点数の方が大きくなる技がある。さらに、女子の技には、難度に加えて「アクロバット系」、「ダンス系」に分類されるものがあり、「アクロバット系」、「ダンス系」のどちらか一方のみを演技すると、加点対象から除外するというルールがある。「アクロバット系」、「ダンス系」なる分類は、男子の演技には存在しないものである。

【0007】

なお、上記の従来技術のように、単にビデオ再生を行うことで、審判員は、演技を見直すことは可能だが、上記の種目、性別、大会種別、年齢等の条件に応じたルールを、審判員自身が正確に把握しておくことが求められる。

【0008】

しかしながら、条件に応じたルールを網羅的に把握しておくことは、審判員の負担が大きい。このため、条件に応じたルールによる演技のスコアの算出の根拠となる情報を、審判員に表示して、審判員を支援することが求められている。

【0009】

１つの側面では、本発明は、条件に応じたルールによる演技のスコアの算出の根拠となる情報を表示することができる表示方法、表示プログラムおよび情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の案では、コンピュータが次の処理を実行する。コンピュータは、採点競技の種目、性別、クラス区分を含む入力情報を取得する。コンピュータは、採点競技の競技者をセンシングしたセンシングデータに基づいた演技に含まれる技の認識結果を取得する。コンピュータは、入力情報に基づき、複数種類の採点ルールのうちの第一のルールを決定する。コンピュータは、技の認識結果および前記第一のルールに基づき、技の難度を決定する。コンピュータは、演技に含まれる複数の技それぞれの難度に応じて、採点に採用する対象を、複数の技の一部に限定する。コンピュータは、複数の技とそれぞれの難度を表示する第一の表示領域、限定された一部の技について各難度の技の個数の集計結果の第二の表示領域、限定された一部の技を対象にした演技の得点の第三の表示領域、センシングデータに基づき生成された競技者の３Ｄモデルの第四の表示領域とを含む採点画面を出力する。

【発明の効果】

【0011】

条件に応じたルールによる演技のスコアの算出の根拠となる情報を表示することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、本実施例に係るシステムの一例を示す図である。

【図2】図２は、技認識結果情報のデータ構造の一例を示す図である。

【図3】図３は、採点画面の一例を示す図（１）である。

【図4】図４は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。

【図5】図５は、難度定義テーブルのデータ構造の一例を示す図である。

【図6】図６は、グループ定義テーブルのデータ構造の一例を示す図である。

【図7】図７は、ルールテーブルのデータ構造の一例を示す図である。

【図8】図８は、前処理結果の一例を示す図（１）である。

【図9】図９は、前処理結果の一例を示す図（２）である。

【図10】図１０は、重畳画面の一例を示す図（１）である。

【図11】図１１は、採点画面の一例を示す図（２）である。

【図12】図１２は、重畳画面の一例を示す図（２）である。

【図13】図１３は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。

【図14】図１４は、採点ルールを基にしてＤスコアを算出する処理のフローチャート（１）である。

【図15】図１５は、採点ルールを基にしてＤスコアを算出する処理のフローチャート（２）である。

【図16】図１６は、採点画面の一例を示す図（３）である。

【図17】図１７は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0013】

以下に、本発明にかかる表示方法、表示プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例】

【0014】

図１は、本実施例に本実施例に係るシステムの一例を示す図である。図１に示すように、このシステムは、３Ｄ（3 Dimension）レーザーセンサ２０と、カメラ３０と、技判定装置５０と、情報処理装置１００とを有する。３Ｄレーザーセンサ２０は、技判定装置５０に接続される。情報処理装置１００は、技判定装置５０およびカメラ３０に接続される。

【0015】

選手１０は、３Ｄレーザーセンサ２０およびカメラ３０の前方で、採点対象となる所定の演技を行う。本実施例では一例として、選手１０が、体操演技を行う場合について説明するが、他の採点競技に関しても同様に適用することが可能である。選手１０は、競技者の一例である。

【0016】

たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。

【0017】

３Ｄレーザーセンサ２０は、選手１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザーセンサ２０は、センシング結果となるセンサ情報を、技判定装置５０に出力する。

【0018】

たとえば、センサ情報には、複数のフレームが時系列に含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。各フレームには、３Ｄレーザーセンサ２０から、選手１０上の各点までの距離情報が含まれる。センサ情報を用いることで、各フレームにおける選手１０の各関節の３次元位置を推定し、選手１０の３Ｄモデルを生成することができる。

【0019】

カメラ３０は、選手１０の映像を撮影するカメラである。カメラ３０は、撮影した映像情報を、情報処理装置１００に出力する。映像情報には、複数の画像情報が時系列に含まれる。映像情報に含まれる画像情報を、画像フレームと表記する。映像情報に含まれる各画像フレームには、画像フレームを一意に識別するフレーム番号が昇順に付与される。センサ情報に含まれる各フレームのフレーム番号と、映像情報に含まれる各画像フレームのフレーム番号とは同期しているものとする。

【0020】

技判定装置５０は、センサ情報を基にして、演技に含まれる技を判定する装置である。たとえば、技判定装置５０は、センサ情報を基にして、各フレームにおける選手１０の各関節の３次元位置を推定し、選手１０の３Ｄモデルを生成する。技判定装置５０は、３Ｄモデルの各骨格位置の遷移と、骨格の遷移に基づく技の種別を定義した判定テーブルとを基にして、技を認識することで、技認識結果情報を生成する。技判定装置５０は、選手１０の落下の有無も判定する。技判定装置５０は、技認識結果情報および３Ｄモデル情報を、情報処理装置１００に出力する。なお、技判定装置は、情報処理装置１００と同一のコンピュータにより実現されてもよい。

【0021】

図２は、技認識結果情報のデータ構造の一例を示す図である。図２に示すように、この技認識結果情報は、技識別情報と、開始フレーム番号と、終了フレーム番号と、落下有無とを対応付ける。技識別情報は、演技に含まれる技を一意に識別する情報である。開始フレーム番号は、技識別情報によって識別される技が開始したフレーム番号を示す。終了フレーム番号は、技識別情報によって識別される技が終了したフレーム番号を示す。落下有無は、選手１０が落下したか否かを示す。技の最中に選手が落下した場合には、落下有無が「有」となる。なお、フレーム番号は、３Ｄレーザーセンサ２０のフレーム番号であるが、センシング時刻を示す時刻情報であってもよい。

【0022】

３Ｄモデル情報は、３Ｄモデルを構成する各部位の形状情報と、３Ｄモデルの骨格位置の遷移情報とを有する。たとえば、遷移情報は、フレーム番号と、３Ｄモデルの骨格位置とを対応付けた情報である。３Ｄモデル情報のフレーム番号は、上記のセンサ情報のフレーム番号、映像情報のフレーム番号と同期しているものとする。なお、骨格位置は、複数の関節の位置を含む。

【0023】

なお、技判定装置５０は、国際公開第２０１９／０４９２１６号に記載された技術等を基にして、選手１０の技を判定してもよい。

【0024】

情報処理装置１００は、外部装置（図示略）または入力部（図示略）から、入力情報を受け付ける。入力情報は、選手１０が行った演技の種目、選手１０の性別、選手１０のクラス区分の情報を含む。たとえば、演技の種目は、つり輪、あん馬、跳馬、平均台、平行棒、鉄棒、ゆか、段違い平行棒のうち、いずれか一つの種目が含まれる。選手の性別は、男性または女性となる。クラス区分は、シニアまたはジュニアとなる。入力情報には、大会種別の情報が含まれていてもよい。なお、外部装置は、例えば、審判が操作する端末装置、トレーニング時に演技のチェックを行うための端末装置などである。

【0025】

ここで、情報処理装置１００は、複数種類の採点ルールのうち、入力情報に対応する採点ルールを決定する。情報処理装置１００は、決定した採点ルールに基づいて、技の難度の判定、採点に採用する技の絞り込みを行い、採点画面を生成して表示する。

【0026】

図３は、採点画面の一例を示す図（１）である。たとえば、図３に示す採点画面６０は、演技の種目「あん馬」、性別「男性」、クラス区分「シニア」の入力情報に対応する採点ルールに基づいて生成される画面である。採点画面６０は、表示領域６０ａ～６０ｆと、制御パネル領域６１とを含む。

【0027】

表示領域６０ａは、演技に含まれる技の種別と、技の難度と、技の分類されるグループとをそれぞれ時系列に表示する領域である。表示領域６０ａは、「第一の表示領域」に対応する。技の種別は、技の種別固有のシンボルによって表示される。実施された技は、表示領域６０ａにおいてＳＭ(Symbol Mark)の列に、時系列で表示される。技の難度は、Ａ～Ｉのいずれかによって示される。実施された技に対応する難度は、表示領域６０ａにおいてＤＶ（Difficulty Value）の列に、時系列で表示される。成立を認めない技については、バツ印によって示される。技の分類されるグループは、グループを識別する符号によって表示される。実施された技に対応するグループは、表示領域６０ａにおいてＥＧ（Element Group）の列に、時系列で表示される。

【0028】

表示領域６０ｂは、ＤＶ（Difficulty Value）の採点に採用する対象の技の難度と、各難度に分類された実施技の個数とを対応付けて表示する領域である。表示領域６０ｂは、「第二の表示領域」に対応する。図３に示す例では、３つのＥ難度の技と、２つのＤ難度の技と、１つのＣ難度の技と、１つのＢ難度の技と、２つのＡ難度の技とが、採点の対象となることが示されている。Ｅ難度の技を「０．５点」、Ｄ難度の技を「０．４点」、Ｃ難度の技を「０．３点」、Ｂ難度の技を「０．２点」、Ａ難度の技を「０．１点」とすると、ＤＶは「３点」となる。

【0029】

表示領域６０ｃは、ＥＧ（Element Group）の採点結果を表示する領域である。たとえば、Group（１）に属する技を行っていれば、０．５点がＥＧに加算される。Group（２）に属する技を行っていれば、０．５点がＥＧに加算される。Group（３）に属する技を行っていれば、０．５点がＥＧに加算される。Group（４）に属する技を行っていれば、０．５点がＥＧに加算される。図３に示す例では、Group（１）～（３）に属する技が行われており、ＥＧは、「１．５点」となる。

【0030】

表示領域６０ｄは、演技の得点（Ｄスコア）を表示する領域である。表示領域６０ｄは、「第三の表示領域」に対応する。たとえば、演技の種目「あん馬」、性別「男性」、クラス区分「シニア」の入力情報に対応する採点ルールでは、演技の得点は、ＤＶの得点と、ＥＧの得点とを加算した得点となる。

【0031】

表示領域６０ｅは、選手１０の３Ｄモデルの映像を表示する領域である。表示領域６０ｅは、「第四の表示領域」に対応する。以下の説明では、適宜、３Ｄモデルの映像を、３Ｄアニメーションと表記する。３Ｄアニメーション等の再生位置は、フレーム番号、絶対時間、相対時間など、時間に関する情報を、ユーザが指定することで、決定される。

【0032】

表示領域６０ｆは、カメラ３０に撮影された映像情報を表示する領域である。

【0033】

制御パネル領域６１は、表示領域６０ｅに表示された３Ｄアニメーションおよび表示領域６０ｆに表示された映像情報について、再生、コマ送り、早送り、巻き戻し等を行うための各制御ボタンと、スライドバー６１ａと、ポインタ６１ｂとを有する。

【0034】

スライドバー６１ａの横軸は、選手１０が演技を開始してから、演技を終了するまでの時間に対応する。情報処理装置１００は、スライドバー６１ａについて、採点に採用する対象の技を行っている期間を「第１の色」で示し、採点に採用する対象の技を行っている期間を「第２の色」で示す。たとえば、第１の色を白色とし、第２の色をグレーとする。

【0035】

スライドバー６１ａ上のポインタ６１ｂは、表示領域６０ｅに表示する３Ｄアニメーションに表示する映像情報の再生時刻（フレーム番号）を示すものである。また、ポインタ６１ｂに示される時刻において、選手１０が行った技の種別、難度は、表示領域６０ａのカーソル６１ｃによって示される。ユーザは、入力部（図示略）を操作して、ポインタ６１ｂの位置を指定することが可能であり、情報処理装置１００は、指定されたポインタ６１ｂの位置に対応する時刻に関して、３Ｄアニメーションを表示領域６０ｅに表示する。また、情報処理装置１００は、指定されたポインタ６１ｂの位置に対応する時刻に行われた技の種別、難度に対応する位置に、カーソル６１ｃを移動させる。

【0036】

上記のように、本実施例に係る情報処理装置１００は、複数種類の採点ルールのうち、入力情報に対応する採点ルールを決定し、決定した採点ルールに基づいて、技の難度の判定、採点に採用する技の絞り込みを行い、採点画面を生成して表示する。これによって、入力情報の条件に応じた採点ルールによる演技のスコアの算出の根拠となる情報を表示することができる。

【0037】

次に、図１に示した情報処理装置１００の構成の一例について説明する。図４は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図４に示すように、この情報処理装置１００は、通信部１０５と、インタフェース部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0038】

通信部１０５は、ネットワークを介して、外部装置（図示略）とデータ通信を実行する処理部である。通信部１０５は、通信装置の一例である。たとえば、情報処理装置１００は、通信部１０５を介して、入力情報を受信する。

【0039】

インタフェース部１１０は、図１に示した技判定装置５０およびカメラ３０と接続する処理部である。後述する制御部１５０は、インタフェース部１１０を介して、データをやり取りする。たとえば、情報処理装置１００は、インタフェース部１１０を介して、技判定装置５０から、技認識結果情報および３Ｄモデル情報を取得する。情報処理装置１００は、インタフェース部１１０を介して、カメラ３０から映像情報を取得する。

【0040】

入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、入力部１２０を操作して、図３に示した制御ボタンの選択や、ポインタ６１ｂの位置を操作する。なお、ユーザは、入力部１２０を操作して、入力情報を、情報処理装置１００に入力してもよい。

【0041】

表示部１３０は、制御部１５０から出力される採点画面等の情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

【0042】

記憶部１４０は、入力情報１４１と、映像情報１４２と、３Ｄモデル情報１４３と、技認識結果情報１４４と、難度定義テーブル１４５と、グループ定義テーブル１４６と、ルールテーブル１４７とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0043】

入力情報１４１は、採点ルールを一意に決定するために必要な情報を含み、たとえば、選手１０が行った演技の種目、選手１０の性別、選手１０のクラス区分の情報を含む。たとえば、演技の種目は、つり輪、あん馬、跳馬、平均台、平行棒、鉄棒、ゆか、段違い平行棒のうち、いずれか一つの種目が含まれる。選手の性別は、男性または女性となる。クラス区分は、シニアまたはジュニアとなる。

【0044】

映像情報１４２は、カメラ３０により撮影された映像の情報である。映像情報には、複数の画像フレームが時系列に含まれる。各画像フレームには、フレーム番号が付与される。

【0045】

３Ｄモデル情報１４３は、３Ｄモデルを構成する各部位の形状情報と、３Ｄモデルの各骨格位置の遷移情報とを有する。たとえば、遷移情報は、フレーム番号と、３Ｄモデルの各骨格位置とを対応付けた情報である。

【0046】

技認識結果情報１４４は、図２で説明した技認識結果情報に対応する。図２で説明したように、技認識結果情報１４４は、技識別情報と、開始フレーム番号と、終了フレーム番号と、落下有無とを対応付ける。

【0047】

難度定義テーブル１４５は、各技の難度を定義するテーブルである。図５は、難度定義テーブルのデータ構造の一例を示す図である。図５に示すように、この難度定義テーブル１４５は、技識別情報と、難度とを対応付ける。技識別情報に対応する技の難度は、Ａ～Ｉのいずれかとなる。Ａが最も難度が低く、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉの順に難度が上がる。

【0048】

グループ定義テーブル１４６は、各技の属するグループを定義するテーブルである。図６は、グループ定義テーブルのデータ構造の一例を示す図である。図６に示すように、このグループ定義テーブル１４６は、技識別情報と、技の属するグループとを対応付ける。図示を省略するが、グループ定義テーブル１４６は、技識別情報と、技の属するＣＲ（Composition Requirements）とを対応付けた情報を保持する。

【0049】

ルールテーブル１４７は、入力情報の条件に対応する採点ルールを保持するテーブルである。図７は、ルールテーブルのデータ構造の一例を示す図である。図７に示すように、このルールテーブル１４７は、条件と、採点ルールとを対応付ける。条件には、種目と、性別と、クラス区分とを含む。種目、性別、クラス区分の組み合わせに応じて、固有の採点ルールの情報が特定される。

【0050】

ここで、技認識結果情報１４４に含まれる技識別情報によって示される技の難度は、難度定義テーブル１４５で定義されるが、技の順番、技の組み合わせ等に応じて、他の技（複合技）に変換されたり、難度が上下したり、採点の対象から除外されたりする。このルールは、ルールテーブル１４７の採点ルールで定義される。採点ルールでは、所定の技の順番、技の組み合わせ、技の回数、技を行う際の前後の姿勢によって、難度の格上げ、難度の格下げを行う。また、採点ルールでは、所定の技の順番、技の組み合わせ、技の回数等によって、技成立の可否を定義する。いずれの採点ルールも、種目、性別、クラス区分によって固有のものとなる。

【0051】

採点ルールでは、シニアの場合、１０技の難度（最も難度の高い９技と終末技）の合計点をＤＶの点数とする。しかし、採点ルールでは、シニアの場合、同一グループに属する複数の技が行われた場合、５技までを有効とする。終末技は、種目毎の採点ルールで予め定義される。

【0052】

採点ルールでは、ジュニアの場合、８技の難度（最も難度の高い７技と終末技）を採点対象とする。なお、同一の技であっても、ジュニアの採点ルールで定義した技の難度と、シニアの採点ルールで定義した技の難度とが異なるものがある。

【0053】

種目固有の採点ルールの一例について説明する。たとえば、種目「つり輪」では、グループ（１）、（３）の技を連続して４回続けることができず、難度が認定されないが、３連続の後に、グループ（１）のＢ難度以上の技が入れば改めて３連続が可能であるという固有の採点ルールがある。種目「あん馬」では、技「ショーン」と技「ベスゴ」を立位から（旋回を抜きで）行うと、技の難度を２段階下げるという採点ルールがある。説明を省略するが、採点ルールでは、他の種目についても、所定の技の順番、技の組み合わせ、技の回数、技を行う際の前後の姿勢によって、難度の格上げ、難度の格下げを行う。採点ルールでは、他の種目についても、所定の技の順番、技の組み合わせ、技の回数等によって、技成立の可否を定義する。採点ルールでは、種目固有の所定の技の順番、種目固有の技の組み合わせによって、複数の技を、一つの技（複合技）に変換する。

【0054】

性別「女性」に対応する採点ルールでは、各技をアクロバット系の技と、ダンス系の技に分類する。女性に対する採点ルールでは、アクロバット系の技の組み合わせによって、組み合わせ点（ＣＶ：Connection Value）およびシリーズボーナス（ＳＢ：Series Bonus）を与える。また、ダンス系の技の組み合わせによって、組み合わせ点を与える。

【0055】

「アクロバット系」の技におけるＣＶおよびＳＢの一例について説明する、難度Ｃの技を連続して２回行うと、ＣＶとして「０．１」が与えられる。難度Ｂの技、難度Ｅの技を続けて行うと、ＣＶとして「０．１」が与えられる。難度Ｂの技、難度Ｄの技を続けて行うと、ＣＶとして「０．２」が与えられる。難度Ｂの技、難度Ｆの技を続けて行うと、ＣＶとして「０．２」が与えられる。難度Ｂ、難度Ｂ、難度Ｃの技を連続して行うと、ＳＢとして「０．１」が与えられる。なお、難度Ｃの技を連続して３回行うと、ＣＶとして「０．２」が与えられ、ＳＢとして、更に「０．１」が与えられる。

【0056】

「ダンス系」の技におけるＣＶの一例について説明する。難度Ｃの技、難度Ｃ以上の技を続けて行うと、ＣＶとして「０．１」が与えられる。難度Ａの技、難度Ｃの技を続けて行うと、ＣＶとして「０．１」が与えられる。難度Ｄの技、難度Ｄ以上の技を続いて行うと、ＣＶとして「０．２」が与えられる。

【0057】

なお、女性に対応する採点ルールでは、採点対象となる技を選択する条件として、採点対象の技のうち、一定割合以上、アクロバット系の技と、ダンス系の技を含めるという条件がある。

【0058】

性別「男性」に対応する採点ルールでは、各技をグループ（１）～（４）のいずれかに分類し、ＥＧ（Element Group）の得点を与える。グループ（１）に属する技を行うことで、「０．５」を与える。グループ（２）に属する技を行うことで、「０．５」を与える。グループ（３）に属する技を行うことで、「０．５」を与える。グループ（４）に属する技を行うことで、「０．５」を与える。各技の技識別情報と、グループとの関係は、図６に示したグループ定義テーブル１４６に定義される。

【0059】

性別「女性」に対応する採点ルールでは、各技をＣＲ１～４のいずれかに分類し、ＣＲを与える。ＣＲ１に属する技を行うことで、「０．５」を与える。ＣＲ２に属する技を行うことで、「０．５」を与える。ＣＲ３に属する技を行うことで、「０．５」を与える。ＣＲ４に属する技を行うことで、「０．５」を与える。

【0060】

ＣＲ１に属する技は、１８０度開脚または左右開脚屈身のリープ、ジャンプを１つは含む少なくとも２つの異なるダンス系の技からなる組み合わせに対応する。ＣＲ２に属する技は、グループ（２）に属する技である。ＣＲ３に属する技は、１つの宙返りを含む、少なくとも２つの空中局面を伴う技からなるアクロバット系シリーズの技に対応する。ＣＲ４に属する技は、方向の異なるアクロバット系の技に対応する。図示を省略するが、ＣＲ１～４と、各技の技識別情報が、グループ定義テーブル１４６に更に定義されているものとする。

【0061】

図４の説明に戻る。制御部１５０は、取得部１５１と、決定部１５２と、前処理部１５３とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0062】

取得部１５１は、各種の情報を取得する処理部である。取得部１５１は、通信部１０５または入力部１２０から入力情報１４１を取得し、取得した入力情報１４１を記憶部１４０に格納する。取得部１５１は、インタフェース部１１０を介して、カメラ３０から映像情報１４２を取得し、取得した映像情報１４２を記憶部１４０に格納する。取得部１５１は、インタフェース部１１０を介して、技判定装置５０から、３Ｄモデル情報１４３および技認識結果情報１４４を取得し、取得した３Ｄモデル情報１４３および技認識結果情報１４４を記憶部１４０に格納する。

【0063】

決定部１５２は、入力情報１４１を基にして、採点ルールを決定する処理部である。決定部１５２は、入力情報１４１と、ルールテーブル１４７の条件とを比較して、入力情報１４１に含まれる種目、性別、クラス区分に対応する採点ルールを決定する。決定部１５２は、決定した採点ルールの情報を、前処理部１５３に出力する。

【0064】

前処理部１５３は、採点ルールおよび技認識結果情報１４４を基にして、演技に含まれる各技の難度を判定する。前処理部１５３は、演技に含まれる複数の技それぞれの難度に応じて、採点に採用する対象を、複数の技の一部に限定する。前処理部１５３は、限定した一部の技および技の難度を基にして、演技の得点を算出する。

【0065】

前処理部１５３が、演技に含まれる各技の難度を判定する処理の一例について説明する。採点ルールでは、所定の技の組み合わせを、一つの技（複合技）に変換するルールが含まれている。前処理部１５３は、技認識結果情報１４４に含まれる各技（技識別情報）を走査し、採点ルールで定義された所定の技の組み合わせを検出した場合、一つの技に変換する。前処理部１５３は、所定の技の組み合わせに該当しない技については、そのままにする。前処理部１５３は、各技の難度を、難度定義テーブル１４５から取得する。

【0066】

また、採点ルールでは、所定の条件により、技の成立を認めないものがある。たとえば、前処理部１５３は、採点ルールに基づいて、同一の技が複数回行われている場合には、複数の技の内、最初に行われた技の成立を認め、残りの技を不成立とする。説明を省略するが、採点ルールには、他にも技の成立を認めない条件が含まれる。

【0067】

前処理部１５３は、上記の処理を実行することで、技認識結果情報１４４を更新する。たとえば、前処理部１５３は、第１の技と、続く第２の技とを、一つの第３の技に変換した場合、第１の技の開始フレーム番号を、第３の技の開始フレームに設定し、第２の技の終了フレーム番号を、第３の技の終了フレーム番号に設定する。

【0068】

続いて、前処理部１５３が、演技に含まれる複数の技それぞれの難度に応じて、採点に採用する対象を、複数の技の一部に限定する処理の一例について説明する。たとえば、前処理部１５３は、採点ルールが、性別「男性」、クラス区分「シニア」に対応する場合、更新した技認識結果情報１４４を走査し、１０個の技（最も難度の高い９技と終末技）を、採点に採用する対象とする。前処理部１５３は、採点ルールが、性別「女性」、クラス区分「シニア」に対応する場合、上記の１０個の技に、所定数以上の、アクロバット系の技およびダンス系の技を含める。

【0069】

前処理部１５３は、採点ルールが、性別「男性」、クラス区分「ジュニア」に対応する場合、更新した技認識結果情報１４４を走査し、８個の技（最も難度の高い７技と終末技）を、採点に採用する対象とする。採点ルールが、性別「男性」、クラス区分「ジュニア」に対応する場合、上記の８個の技に、所定数以上の、アクロバット系の技およびダンス系の技を含める。

【0070】

続いて、前処理部１５３が、限定した一部の技および技の難度を基にして、演技の得点を算出する処理の一例について説明する。たとえば、前処理部１５３は、採点ルールが、性別「男性」に対応する場合、ＤＶおよびＥＧを算出し、ＤＶとＥＧとを合計することで、Ｄスコアを算出する。

【0071】

前処理部１５３が、男性に対応する採点ルールのＤＶを算出する処理の一例について説明する。前処理部１５３は、採点に採用する技の難度に応じた値を合計することで、ＤＶを算出する。たとえば、Ｅ難度の技を「０．５点」、Ｄ難度の技を「０．４点」、Ｃ難度の技を「０．３点」、Ｂ難度の技を「０．２点」、Ａ難度の技を「０．１点」となる。３つのＥ難度の技と、２つのＤ難度の技と、１つのＣ難度の技と、１つのＢ難度の技と、２つのＡ難度の技とが、採点の対象となる技とすると、ＤＶは、「３点」となる。

【0072】

前処理部１５３が、ＥＧを算出する処理の一例について説明する。前処理部１５３は、更新された技認識結果情報１４４を走査し、グループ定義テーブル１４６を基にして、Group（１）～Group（４）に属する技をそれぞれ行っているか否かを判定する。前処理部１５３は、Group（１）に属する技を行っていれば、「０．５点」をＥＧに加算する。前処理部１５３は、Group（２）に属する技を行っていれば、「０．５点」をＥＧに加算する。前処理部１５３は、Group（３）に属する技を行っていれば、「０．５点」をＥＧに加算する。前処理部１５３は、Group（４）に属する技を行っていれば、「０．５点」をＥＧに加算する。

【0073】

一方、前処理部１５３は、女性に対応する採点ルールが、性別「女性」に対応する場合、ＤＶ、ＣＲ、ＣＶを算出し、ＤＶと、ＣＲと、ＣＶとを合計することで、Ｄスコアを算出する。前処理部１５３が、女性に対応する採点ルールのＤＶを算出する処理は、上述した男性に対応する採点ルールのＤＶを算出する処理と同様である。ただし、女性の技は、難度に加えて、アクロバット系の技またはダンス系の技に分類される。

【0074】

前処理部１５３が、ＣＲを算出する処理の一例について説明する。前処理部１５３は、更新された技認識結果情報１４４を走査し、グループ定義テーブル１４６を基にして、ＣＲ１～ＣＲ４に属する技をそれぞれ行っているか否かを判定する。前処理部１５３は、ＣＲ１に属する技を行っていれば、「０．５点」をＣＲに加算する。前処理部１５３は、ＣＲ２に属する技を行っていれば、「０．５点」をＣＲに加算する。前処理部１５３は、ＣＲ３に属する技を行っていれば、「０．５点」をＣＲに加算する。前処理部１５３は、ＣＲ４に属する技を行っていれば、「０．５点」をＣＲに加算する。

【0075】

前処理部１５３が、ＣＶを算出する処理の一例について説明する。前処理部１５３は、更新された技認識結果情報１４４を走査し、該当する採点ルールに定義されたＣＶを与える所定の技の組み合わせが存在するか否かを判定する。前処理部１５３は、採点ルールに定義されたＣＶを与える所定の技の組み合わせが存在する場合に、技の組み合わせに対応するＣＶを算出する。なお、ＣＶは、採点に採用する対象の技であるか否かに関わらず、採点ルールに定義されたＣＶを与える所定の技の組み合わせが存在すれば、ＣＶに対応する得点を与える。前処理部１５３は、ＳＢについても、該当する採点ルールに定義されたＳＢを与える所定の技の組み合わせが存在する場合に、ＳＢに対応する得点を与える。

【0076】

前処理部１５３が、上記の処理を実行することで、前処理結果を生成し、前処理結果を、表示制御部１５４に出力する。なお、前処理部１５３は、前処理結果の情報を、記憶部１４０に格納してもよい。前処理結果の情報を、記憶部１４０に格納することで、エビデンスとして利用することができる。なお、採点画面に、ユーザが採点結果の「確定」を指示するためのボタンを併せて設けた場合、ユーザ（たとえば審判）から「確定」の入力を受け付けると、前処理部１５３は、採点結果として前処理結果の情報を、格納することとしてもよい。さらに、前処理部１５３は、採点結果と、対象のセンシングデータも対応付けて記憶する。

【0077】

図８は、前処理結果の一例を示す図（１）である。たとえば、図８は、種目「あん馬」、性別「男性」、クラス区分「シニア」に対応する採点ルールにより生成される前処理結果の一例である。図８に示すように、この前処理結果２００には、テーブル２００Ａと、スコア算出結果情報２００Ｂとが含まれる。

【0078】

テーブル２００Ａは、技識別情報、開始フレーム番号、終了フレーム番号、不成立フラグ、採点対象フラグ、落下有無、難度、グループを対応付ける。技識別情報、開始フレーム番号、終了フレーム番号、落下有無に関する説明は、図２で行った説明と同様である。不成立フラグは、技識別情報に対応する技の成立の可否を示す情報であり、不成立となる場合に「オン」となる。採点対象フラグは、Ｄスコアの採点対象となる技を示す情報であり、採点対象となる場合に「オン」となる。難度およびグループは、技に対応する難度およびグループである。

【0079】

スコア算出結果情報２００Ｂには、Ｄスコア、ＤＶ、ＥＧの情報が含まれる。ＤＶの情報には、ＤＶの得点に加えて、採点対象となった技の難度の内訳が含まれる。ＥＧの情報には、ＥＧの得点に加えて、グループ毎に、グループに対応する技が存在していたか否かを示す情報が含まれる。

【0080】

図９は、前処理結果の一例を示す図（２）である。図９は、種目の性別「平均台」、性別「女性」、クラス区分「シニア」に対応する採点ルールにより生成される前処理結果の一例である。図９に示すように、この前処理結果２０１には、テーブル２０１Ａと、スコア算出結果情報２０１Ｂとが含まれる。

【0081】

テーブル２０１Ａは、技識別情報、開始フレーム番号、終了フレーム番号、不成立フラグ、採点対象フラグ、落下有無、難度、分類を対応付ける。技識別情報、開始フレーム番号、終了フレーム番号、落下有無に関する説明は、図２で行った説明と同様である。不成立フラグ、採点対象フラグ、難度に関する説明は、上記のテーブル２００Ａで行った説明と同様である。分類は、該当する技が、アクロバット系に分類されるか、ダンス系に分類されるかを示すものである。

【0082】

スコア算出結果情報２０１Ｂは、Ｄスコア、ＣＲ、ＣＶの情報が含まれる。ＤＶの情報には、ＤＶの得点に加えて、採点対象となった技の難度、アクロバット系の技、ダンス系の技に関する内訳が含まれる。ＣＲの情報には、ＣＲの得点に加えて、ＣＲ毎に、ＣＲに属する技が存在していたか否かを示す情報が含まれる。ＣＶの情報には、ＣＶに該当する技の組み合わせと、ＣＶの得点とが含まれる。

【0083】

図４の説明に戻る。表示制御部１５４は、前処理部１５３から取得する前処理結果の情報を基にして採点画面の情報を生成する処理部である。採点画面には、第一の表示領域、第二の表示領域、第三の表示領域、第四の表示領域が含まれる。表示制御部１５４は、生成した採点画面の情報を、表示部１３０に出力して表示させる。

【0084】

たとえば、表示制御部１５４は、図８で説明した前処理結果２００の情報を用いて、図３で説明した採点画面６０を生成する。図８で説明した前処理結果は、たとえば、演技の種目「あん馬」、性別「男性」、クラス区分「シニア」に対応する採点ルールに基づいて生成された情報である。

【0085】

図３で説明したように、採点画面６０には、表示領域６０ａ～６０ｆが含まれる。表示制御部１５４は、前処理結果２００のテーブル２００Ａを基にして、表示領域６０Ａの情報を生成する。表示制御部１５４は、表示領域６０ａについて、演技に含まれる技の種別と、技の難度と、技の分類されるグループとをそれぞれ時系列に表示する情報を設定する。表示制御部１５４は、技の種別をシンボルによって表示する。表示制御部１５４は、技識別情報と、シンボルとを対応付けたテーブル（図示略）を用いて、技の種別のシンボルを特定する。

【0086】

表示制御部１５４は、テーブル２００Ａを基にして、表示領域６０ａに時系列に表示する難度の表示を制御する。表示制御部１５４は、不成立フラグが「オン」となる技の難度については、「バツ印」で表示する。表示制御部１５４は、採点対象フラグが「オン」となる難度を、採点対象フラグが「オン」とならない難度よりも強調して表示する。たとえば、表示制御部１５４は、採点対象フラグが「オン」とならない難度を、グレーで表示する。表示制御部１５４は、落下有無が「有」となる技については、表示領域６０ａに「ｆａｌｌ」を表示する。

【0087】

表示制御部１５４は、前処理結果２００のスコア算出結果情報２００Ｂを基にして、表示領域６０ｂ、６０ｃ、６０ｄの情報を生成する。表示制御部１５４は、スコア算出結果情報２００Ｂを基にして、ＤＶの採点に採用する対象の技の難度と、難度の個数とを対応付けた情報を、表示領域６０ｂに設定する。また、表示制御部１５４は、ＤＶの得点を、表示領域６０ｂに設定する。

【0088】

表示制御部１５４は、スコア算出結果情報２００Ｂを基にして、各グループ（１）～（４）と、各グループに対応する技を行ったか否かの情報を、表示領域６０ｃに設定する。また、表示制御部１５４は、ＥＧの得点を、表示領域６０ｃに設定する。

【0089】

表示制御部１５４は、スコア算出結果情報２００Ｂを基にして、Ｄスコアの情報を、表示領域６０ｄに設定する。

【0090】

表示制御部１５４は、３Ｄモデル情報１４３を記憶部１４０から取得し、３Ｄモデル情報１４３に基づく３Ｄアニメーションを、表示領域６０ｅに表示させる。表示制御部１５４は、３Ｄアニメーションを表示領域６０ｅに表示する場合、競技の種目に応じて、表示領域６０ｅの空間を固定（フィックス）するか、選手１０の位置を中心にして空間を移動させる（トラッキング）かを切り替えてもよい。フィックスの場合には、例えば、器具を中心として空間を固定する。

【0091】

たとえば、表示制御部１５４は、競技の種目が、つり輪、あん馬、鉄棒、段違い平行棒のいずれかの種目である場合、３Ｄアニメーションを表示する空間を固定する。一方、表示制御部１５４は、種目が、跳馬、平均台、平行棒、ゆかのいずれかの種目である場合、３Ｄアニメーションを表示する区間を、３Ｄモデルに合わせて移動させる。競技者の移動が大きい協議においては、トラッキングが好ましい。一方で、、選手の異動が小さい協議は、フィックスが好ましい。

【0092】

表示制御部１５４は、映像情報１４２を記憶部１４０から取得し、映像情報を、表示領域６０ｆに表示させる。

【0093】

表示制御部１５４は、再生、コマ送り、早送り、巻き戻し等を行うための各制御ボタンと、スライドバー６１ａと、ポインタ６１ｂとを生成し、制御パネル領域６１に設定する。表示制御部１５４は、テーブル２００Ａを基にして、スライドバー６１ａについて、採点に採用する対象の技を行っている期間を「第１の色」で示し、採点に採用する対象の技を行っている期間を「第２の色」で示す。たとえば、第１の色を白色とし、第２の色をグレーとする。

【0094】

ユーザは、入力部１２０を操作して、各制御ボタンを押下し、表示制御部１５４は、押下された制御ボタンに応じて、ポインタ６１ｂを移動させ、ポインタ６１ｂに示されるフレーム番号の３Ｄアニメーションを表示領域６０ｅに表示する。表示制御部１５４は、ポインタ６１ｂに示されるフレーム番号の映像情報を、表示領域６０ｆに表示する。なお、表示制御部１５４は、フレーム番号を時刻（再生時刻）に変換して、各処理を実行してもよい。

【0095】

また、表示制御部１５４は、ポインタ６１ｂに示されるフレーム番号と、テーブル２００Ａとを比較して、開始フレーム番号から終了フレーム番号に、ポインタ６１ｂに示されるフレーム番号を含む技識別情報の技を特定する。表示制御部１５４は、特定した技識別情報に対応する表示領域６０ａ上の位置に、カーソル６１ｃを移動させる。

【0096】

ところで、ユーザは入力部１２０を走査して、表示領域６０ａに含まれるいずれかの難度を選択した場合、表示制御部１５４は、選択された難度の技のフレーム番号に対応する３Ｄアニメーションを、表示領域６０ｅに表示させてもよい。また、表示制御部１５４は、選択された難度の技のフレーム番号に対応する映像情報を、表示領域６０ｆに表示させてもよい。

【0097】

たとえば、表示制御部１５４は、表示領域６０ａに含まれるいずれかの難度（またはシンボル）が選択された場合、選択された難度と、テーブル２００Ａとを比較し、選択された難度の技の開始フレーム番号と、終了フレーム番号とを特定する。表示制御部１５４は、特定した開始フレーム番号から終了フレーム番号までのフレーム番号に対応する３Ｄアニメーションの情報を、３Ｄモデル情報１４３から取得し、表示領域６０ｅに表示させる。表示制御部１５４は、特定した開始フレーム番号から終了フレーム番号までのフレーム番号に対応する映像情報を、映像情報１４２から取得し、表示領域６０ｆに表示させる。

【0098】

ここで、ユーザは、入力部１２０を操作して、画面切換ボタン６２を押下することで、他の画面を参照することができる。たとえば、表示制御部１５４は、採点画面６０の画面切換ボタン６２の押下を受け付けると、３Ｄアニメーションと基準面とを重畳させた重畳画面６５の情報を生成し、表示部１３０に出力して表示させる。

【0099】

図１０は、重畳画面の一例を示す図（１）である。たとえば、重畳画面６５は、表示領域６５ａ～６５ｃと、制御パネル領域６６とを含む。表示領域６５ａは、映像情報を表示する領域である。表示領域６５ｂは、基準面と、３Ｄアニメーションを重畳した重畳映像を表示する領域である。表示領域６５ｃは、基準面の設置条件を指定する各アイコンを表示する領域である。ユーザは、入力部１２０を操作して、表示領域６５ｃに示されるいずれかのアイコンを選択すると、表示制御部１５４は、選択された基準面の設定条件に応じた基準面を、３Ｄアニメーションに重畳させることで、重畳画像を生成する。たとえば、基準面の設定条件には、基準面の３Ｄモデルの大きさ、基準面を配置する角度、基準面を合わせる３Ｄモデルの骨格位置等が含まれる。

【0100】

制御パネル領域６６には、表示領域６５ａに表示された映像情報および表示領域６５ｂに表示された重畳映像について、再生、コマ送り、早送り、巻き戻し等を行うための各制御ボタンと、スライドバー６６ａと、ポインタ６６ｂとを有する。スライドバー６６ａの横軸は、選手１０が演技を開始してから、演技を終了するまでの時間に対応する。

【0101】

スライドバー６６ａ上のポインタ６６ｂは、表示領域６５ｂに表示する重畳映像および表示領域６５ａに表示する映像情報の再生時刻（フレーム番号）を示すものである。ユーザは、入力部１２０を操作して、ポインタ６６ｂの位置を指定することが可能であり、表示制御部１５４は、指定されたポインタ６６ｂの位置に対応する時刻に関して、重畳映像を表示領域６５ｂに表示し、映像情報を表示領域６５ａに表示する。

【0102】

なお、本実施例においては、採点画面６０において指定された再生時刻を、切り替えられた重畳画面においても引き継ぐ。例えば、採点画面６０において、特定の技の成立不成立を、審判が詳細に確認したい場合がある。この場合、採点画面６０において審判は特定の技を指定して、画面を切り替えると、重畳画面では特定の技の実施期間から、再生が行われる。審判は、重畳画面を確認することで、特定の技を詳細に確認することができる。

【0103】

続いて、表示制御部１５４が生成する他の採点画面の一例について説明する。図１１は、採点画面の一例を示す図（２）である。図１１に示すように、採点画面７０は、表示領域７０ａ～７０ｇと、制御パネル領域７１とを有する。表示制御部１５４は、図９で説明した前処理結果を用いて、採点画面７０を生成する。図９で説明した前処理結果は、たとえば、演技の種目「平均台」、性別「女性」、クラス区分「シニア」に対応する採点ルールに基づいて生成された情報である。

【0104】

表示制御部１５４は、前処理結果２０１のテーブル２０１Ａを基にして、表示領域７０ａの情報を生成する。表示領域７０ａは「第一の表示領域」に対応する。表示制御部１５４は、表示領域６０ａについて、演技に含まれる技の種別と、技の難度とをそれぞれ時系列に表示する。表示制御部１５４は、技の種別をシンボルによって表示する。

【0105】

表示制御部１５４は、テーブル２０１Ａを基にして、表示領域７０ａに時系列に表示する難度の表示を制御する。表示制御部１５４は、不成立フラグが「オン」となる技の難度については、「バツ印」で表示する。表示制御部１５４は、採点対象フラグが「オン」となる難度を、採点対象フラグが「オン」とならない難度よりも強調して表示する。たとえば、表示制御部１５４は、採点対象フラグが「オン」とならない難度を、グレーで表示する。表示制御部１５４は、落下有無が「有」となる技については、表示領域７０ａに「ｆａｌｌ」を表示する。表示制御部１５４は、アクロバット系の技の難度と、ダンス系の技の難度とをそれぞれ異なる色で表示する。

【0106】

また、表示制御部１５４は、スコア算出結果情報２０１Ｂに含まれるＣＶの情報を基にして、ＣＶ（ＳＢ）の得点を与える技の組み合わせに対応する箇所を、表示領域７０ａに示す。たとえば、位置７２ａにおいて、難度Ｂ、難度Ｄの技の組み合わせにより、ＣＶ「０．２点」が与えられる旨が示される。位置７２ｂにおいて、難度Ａ、難度Ｂの組み合わせにより、ＣＶ「０．１点」が与えられる旨が示される。位置７２ｃにおいて、難度Ｂ、難度Ｄの組み合わせにより、ＣＶ「０．１点」が与えられる旨が示される。位置７２ｄにおいて、難度Ａ、難度Ｂ、難度Ｄの組み合わせにより、ＳＢ「０．２点」が与えられる旨が示される。

【0107】

表示制御部１５４は、前処理結果２０１のスコア算出結果情報２０１Ｂを基にして、表示領域７０ｂ，７０ｃ，７０ｄ，７０ｅの情報を生成する。表示制御部１５４は、スコア算出結果情報２０１Ｂを基にして、ＤＶの採点に採用する対象の技の難度と、難度の個数とを対応付けた情報を、表示領域７０ｂに設定する。表示領域７０ｂは、「第二の表示領域」に対応する。

【0108】

表示制御部１５４は、表示領域７０ｂに技の難度と、難度の個数とを表示する場合に、アクロバット系の技の個数と、ダンス系の技の個数とを合わせて表示する。図１１に示す例では、表示領域７０ｂにおいて、採点に採用する難度Ｅの技が１つであり、係る技はダンス系の技であることが示される。表示領域７０ｂにおいて、採点に採用する難度Ｄの技が６つであり、そのうち、アクロバット系の技が４個であり、ダンス系の技が２個であることが示される。表示領域７０ｂにおいて、採点に採用する難度Ｃの技が１つであり、係る技はアクロバット系の技であることが示される。

【0109】

表示制御部１５４は、スコア算出結果情報２０１Ｂを基にして、ＣＲ１～ＣＲ４と、各ＣＲに対応する技を行ったか否かの情報を、表示領域７０ｃに表示する。また、表示制御部１５４は、ＣＲの得点を、表示領域７０ｃに設定する。

【0110】

表示制御部１５４は、スコア算出結果情報２０１Ｂを基にして、ＣＶの得点の情報を、表示領域７０ｄに設定する。なお、ＣＶの得点の根拠となる情報は、表示領域７０ａに示される。

【0111】

表示制御部１５４は、スコア算出結果情報２０１Ｂを基にして、Ｄスコアの情報を、表示領域７０ｅに設定する。Ｄスコアは、ＤＶの得点、ＣＲの得点、ＣＶの得点を合計した得点である。表示領域７０ｅは、「第三の表示領域」に対応する。

【0112】

表示制御部１５４は、３Ｄモデル情報１４３を記憶部１４０から取得し、３Ｄモデル情報１４３に基づく３Ｄアニメーションを、表示領域７０ｆに表示させる。表示領域７０ｆは、「第四の表示領域」に対応する。

【0113】

表示制御部１５４は、映像情報１４２を記憶部１４０から取得し、映像情報を、表示領域７０ｇに表示させる。

【0114】

表示制御部１５４は、再生、コマ送り、早送り、巻き戻し等を行うための各制御ボタンと、スライドバー７１ａと、ポインタ７１ｂとを生成し、制御パネル領域７１に設定する。表示制御部１５４は、テーブル２０１Ａを基にして、スライドバー７１ａについて、採点に採用する対象の技を行っている期間を「第１の色」で示し、採点に採用する対象の技を行っている期間を「第２の色」で示す。たとえば、第１の色を白色とし、第２の色をグレーとする。

【0115】

ユーザは、入力部１２０を操作して、各制御ボタンを押下し、表示制御部１５４は、押下された制御ボタンに応じて、ポインタ７１ｂを移動させ、ポインタ７１ｂに示されるフレーム番号の３Ｄアニメーションを表示領域７０ｆに表示する。表示制御部１５４は、ポインタ６１ｂに示されるフレーム番号の映像情報を、表示領域７０ｆに表示する。なお、表示制御部１５４は、フレーム番号を時刻（再生時刻）に変換して、各処理を実行してもよい。

【0116】

また、表示制御部１５４は、ポインタ７１ｂに示されるフレーム番号と、テーブル２０１Ａとを比較して、開始フレーム番号から終了フレーム番号に、ポインタ７１ｂに示されるフレーム番号を含む技識別情報の技を特定する。表示制御部１５４は、特定した技識別情報に対応する表示領域７０ａ上の位置に、カーソル７１ｃを移動させる。

【0117】

ここで、ユーザは、入力部１２０を操作して、画面切換ボタン７３を押下することで、他の画面を参照することができる。たとえば、表示制御部１５４は、採点画面７０の画面切換ボタン７３の押下を受け付けると、３Ｄアニメーションと基準面とを重畳させた重畳画面７５の情報を生成し、表示部１３０に出力して表示させる。

【0118】

図１２は、重畳画面の一例を示す図（２）である。たとえば、重畳画面７５は、表示領域７５ａ～７５ｃと、制御パネル領域７６とを含む。表示領域７５ａは、映像情報を表示する領域である。表示領域７５ｂは、基準面と、３Ｄアニメーションを重畳した重畳映像を表示する領域である。表示領域７５ｃは、基準面の設置条件を指定する各アイコンを表示する領域である。ユーザは、入力部１２０を操作して、表示領域７５ｃに示されるいずれかのアイコンを選択すると、表示制御部１５４は、選択された基準面の設定条件に応じた基準面を、３Ｄアニメーションに重畳させることで、重畳画像を生成する。たとえば、基準面の設定条件には、基準面の３Ｄモデルの大きさ、基準面を配置する角度、基準面を合わせる３Ｄモデルの骨格位置等が含まれる。

【0119】

制御パネル領域７６には、表示領域７５ａに表示された映像情報および表示領域７５ｂに表示された重畳映像について、再生、コマ送り、早送り、巻き戻し等を行うための各制御ボタンと、スライドバー７６ａと、ポインタ７６ｂとを有する。スライドバー７６ａの横軸は、選手１０が演技を開始してから、演技を終了するまでの時間に対応する。

【0120】

スライドバー７６ａ上のポインタ７６ｂは、表示領域７５ｂに表示する重畳映像および表示領域７５ａに表示する映像情報の再生時刻（フレーム番号）を示すものである。ユーザは、入力部１２０を操作して、ポインタ７６ｂの位置を指定することが可能であり、表示制御部１５４は、指定されたポインタ７６ｂの位置に対応する時刻に関して、重畳映像を表示領域７５ｂに表示し、映像情報を表示領域７５ａに表示する。

【0121】

次に、本実施例に係る情報処理装置の処理手順の一例について説明する。図１３は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１３に示すように、情報処理装置１００の取得部１５１は、入力情報１４１を取得し、記憶部１４０に格納する（ステップＳ１０１）。

【0122】

取得部１５１は、技認識結果情報１４４を取得し、記憶部１４０に格納する（ステップＳ１０２）。取得部１５１は、３Ｄモデル情報１４３および映像情報１４２を取得し、記憶部１４０に格納する（ステップＳ１０３）。

【0123】

情報処理装置１００の決定部１５２は、入力情報１４１と、ルールテーブル１４７とを基にして、採点ルールを決定する（ステップＳ１０４）。情報処理装置１００の前処理部１５３は、決定された採点ルールと難度定義テーブル１４５と技認識結果情報１４４とを基にして、一連の演技に含まれる各技の難度を判定する（ステップＳ１０５）。併せて、前処理部１５３は、グループ定義テーブル１４６を参照し、技のグループを判定する。

【0124】

前処理部１５３は、決定された採点ルールと、各技の難度とを基にして、採点に採用する対象の技を特定する（ステップＳ１０６）。前処理部１５３は、決定された採点ルールに基づいて、Ｄスコアおよび関連スコアを算出する（ステップＳ１０７）。ステップＳ１０７において、性別が「男性」である場合、関連スコアには、ＤＶ、ＥＧが含まれる。性別が「女性」である場合、関連スコアには、ＤＶ、ＣＲ、ＣＶが含まれる。

【0125】

情報処理装置１００の表示制御部１５４は、競技の種目、性別、クラス区分に対応する採点画面のベース画像を生成し、各表示領域の情報を配置する（ステップＳ１０８）。各表示領域には、第一の表示領域、第二の表示領域、第三の表示領域、第四の表示領域が含まれる。

【0126】

表示制御部１５４は、第一の表示領域において、一連の演技に含まれる各技のシンボルと難度とを対応付けて、時系列に配置する（ステップＳ１０９）。表示制御部１５４は、第一の表示領域において、不成立の技に対応する難度をバツ印に変更する（ステップＳ１１０）。

【0127】

表示制御部１５４は、第一の表示領域において、採点に採用しない技の難度をグレー表示する（ステップＳ１１１）。表示制御部１５４は、採点情報を表示部１３０に表示させ、映像情報および３Ｄアニメーションを再生する（ステップＳ１１２）。

【0128】

次に、入力情報１４１に対応するある採点ルールを基にして、Ｄスコアを算出する処理手順の一例について説明する。図１４は、採点ルールを基にしてＤスコアを算出する処理のフローチャート（１）である。図１４の採点ルールを、種目「あん馬」、性別「男子」、クラス区分「シニア」に対応する採点ルールとする。図１４において、「技」は、「技識別情報」によって識別される技を示す。

【0129】

情報処理装置１００の前処理部１５３は、技認識結果情報１４４に含まれる開始の技から最後の技まで走査する（ステップＳ２０１）。前処理部１５３は、技「シバド」の後のロシアン技の有無に基づいて、技「シバド」を除外する（ステップＳ２０２）。

【0130】

前処理部１５３は、技「ショーン」または技「ベズゴ」の難度格下げ処理を実行する（ステップＳ２０３）。たとえば、ステップＳ２０３において、前処理部１５３は、技「ショーン」または技「ベズゴ」が演技の先頭に存在している場合、または、直前に落下している場合、２段階難度を格下げする。

【0131】

前処理部１５３は、連続技（プロップ・コンバイン）を特定する（ステップＳ２０４）。たとえば、ステップＳ２０４において、前処理部１５３は、予め定められた所定の技の組み合わせを検出した場合には、かかる所定の技の組み合わせを、複合技として認定する。

【0132】

前処理部１５３は、最後に実施した技以外の終末技を除外する（ステップＳ２０５）。前処理部１５３は、繰り返し技を除外する（ステップＳ２０６）。前処理部１５３は、３部分移動の技について、前後それぞれ１回ずつまで認定する（ステップＳ２０７）。

【0133】

前処理部１５３は、ロシアン転向技について２回まで認定する（ステップＳ２０８）。前処理部１５３は、倒立経過技について２技まで認定する（ステップＳ２０９）。前処理部１５３は、一連の演技に含まれる複数の技（認定した技）について、終末技を含む最大１０個の技を選択し、ＤＶを算出する（ステップＳ２１０）。ステップＳ２１０において、前処理部１５３は、選択した技の採点対象フラグをオンにする。

【0134】

前処理部１５３は、グループ（１）～（４）の技の有無を判定し、各グループ点（ＥＧ）を算出する（ステップＳ２１１）。前処理部１５３は、ＤＶとＥＧとを加算して、Ｄスコアを算出する（ステップＳ２１２）。

【0135】

図１５は、採点ルールを基にしてＤスコアを算出する処理のフローチャート（２）である。図１５の採点ルールを、種目「つり輪」、性別「男子」、クラス区分「シニア」に対応する採点ルールとする。図１５において、「技」は、「技識別情報」によって識別される技を示す。

【0136】

情報処理装置１００の前処理部１５３は、技認識結果情報１４４に含まれる開始の技から最後の技まで走査する（ステップＳ３０１）。前処理部１５３は、繰り返し技を除外する（不成立フラグをオンにする）（ステップＳ３０２）。前処理部１５３は、グチョギーおよびリーニン系の技を除外する（ステップＳ３０３）。

【0137】

前処理部１５３は、同一の終末姿勢技を除外する（ステップＳ３０４）。前処理部１５３は、グループ（２）、（３）の技において、つなぎ技のない４連続移行の技を除外する（ステップＳ３０５）。前処理部１５３は、一連の演技に含まれる複数の技（認定した技）について、終末技を含む最大１０個の技を選択し、ＤＶを算出する（ステップＳ３０６）。ステップＳ３０６において、前処理部１５３は、選択した技の採点対象フラグをオンにする。

【0138】

前処理部１５３は、グループ（１）～（４）の技の有無を判定し、各グループ点（ＥＧ）を算出する（ステップＳ３０７）。前処理部１５３は、ＤＶとＥＧとを加算して、Ｄスコアを算出する（ステップＳ３０８）。

【0139】

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、複数種類の採点ルールのうち、入力情報に対応する採点ルールを決定し、決定した採点ルールに基づいて、技の難度の判定、採点に採用する技の絞り込みを行い、採点画面を生成して表示する。これによって、入力情報の条件に応じた採点ルールによる演技のスコアの算出の根拠となる情報を表示することができる。

【0140】

たとえば、採点画面には、第一の表示領域と、第二の表示領域と、第三の表示領域と、第四の表示領域とが含まれる。ユーザは、第一の表示領域を参照することで、演技に含まれる技と、それぞれの難度を確認することができる。ユーザは、第二の表示領域を参照することで、採点の対象となった技の難度および難度ごとの実施技の個数の集計結果を確認することができる。ユーザは、第三の表示領域を確認することで、採点の対象となった技の難度に基づく演技の得点（Ｄスコア）を確認することができる。ユーザは、第四の表示領域を確認することで、３Ｄアニメーションを参照することで、選手１０の姿勢を確認することができる。

【0141】

情報処理装置１００は、採点ルールに基づいて、所定の技の組み合わせが含まれる場合には、組み合わせに対応する得点を演技の得点に加算するため、採点ルール固有の得点を算出することができる。情報処理装置１００は、採点ルールを基にして、同一の技が複数含まれる場合には、同一の技のうち、一つの技を採点に採用する技とし、他の同一の技を採点対象から除外するため、採点の対象から繰り返し技を除外することができる。

【0142】

情報処理装置１００は、第一の表示領域において、採点に採用する対象の技の難度の表示を、採点に採用する対象の技の難度の表示よりも強調して表示する。これによって、採点に採用する技と、採用しない技とを容易に確認することができる。

【0143】

情報処理装置１００は、クラス区分がシニアとなる採点ルール、または、クラス区分がジュニアとなる採点ルールを選択して、採点に採用する技の個数を調整するため、クラス区分に応じたＤスコアを適切に算出することができる。

【0144】

情報処理装置１００は、性別として女性を含む入力情報に対応する採点ルールを選択した場合、選択した採点ルールを基にして、各技をアクロバット系の技とダンス系の技に分類し、アクロバット系の技の個数とダンス系の技の個数とを表示する。これによって、ユーザは、アクロバット系の技の個数と、ダンス系の技の個数とを確認することができる。

【0145】

情報処理装置１００は、第一の表示領域において、複数の技とそれぞれの難度とを表示する場合に、アクロバット系の技の難度の色と、ダンス系の技の難度の色とを区別して表示する。これによって、ユーザは、演技に含まれる各技の難度の順番に加えて、アクロバット系の技の難度と、ダンス系の技の難度とを容易に区別できる。

【0146】

情報処理装置１００は、第一の表示領域に表示する複数の技の内、いずれかの技の選択を受け付けた場合、選択された技の時刻に対応する３Ｄアニメーションを、第四の表示領域に表示させる。これによって、第一の表示領域に表示した各技を、３Ｄアニメーションで確認することができる。

【0147】

情報処理装置１００は、３Ｄアニメーションを第四の表示領域に表示する場合、競技の種目に応じて、第四の表示領域の空間を固定（フィックス）するか、選手１０の位置を中心にして空間を移動（トラッキング）させるかを切り替えてもよい。これによって、種目に応じた技を評価しやすいように、３Ｄアニメーションをユーザに見せることができる。

【0148】

情報処理装置１００は、３Ｄアニメーションと基準面とを重畳した重畳画面の情報を表示するため、３Ｄモデルの各関節と、基準面との角度等の関係をわかりやすく表示することができる。

【0149】

ところで、上述した情報処理装置１００の処理は一例であり、その他の処理を実行してもよい。たとえば、情報処理装置１００が、技判定装置５０から取得する技認識結果情報のデータ構造は、図２に限定されるものではなく、各技識別情報について、係る技識別情報の確からしさを示す「尤度」を更に対応付けてもよい。技判定装置５０は、どのように尤度を算出してもよいが、たとえば、ＮＮ（Neural Network）を用いて、技を判定している場合に、かかるＮＮから出力される技の確率を、尤度として特定する。また、技判定装置５０は、センサ情報の状態が悪い（点群の数が少ない）場合等に、尤度を小さくする調整を行う。技判定装置５０は、他の技術を用いて、尤度を特定してもよい。

【0150】

情報処理装置１００の表示制御部１５４は、採点画面の情報を生成する場合に、第一の表示領域において、尤度が閾値未満となる条件下で特定された技と技の難度とを、区別可能に表示してもよい。図１６は、採点画面の一例を示す図（３）である。図１６では、図３で説明した採点画面６０において、表示領域６０ａにカーソル６１ｄが追加されている。表示制御部１５４は、表示領域６０ａに含まれる一連の技のうち、尤度が閾値未満の条件下で、技および難度の判定を行ったものついて、カーソル６１ｄによって強調表示する。ユーザが、かかる採点画面６０を参照することで、情報処理装置１００が表示する一連の技のうち、尤度の低い情報を基に難度を特定した技を容易に把握することができる。

【0151】

また、表示制御部１５４は、第一の表示領域において、ユーザによって、ある一つの難度が選択された場合に、第一の表示領域に表示する一連の難度うち、選択された難度と同じ難度を強調表示してもよい。

【0152】

次に、上述した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１７は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0153】

図１７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３と、読み取り装置３０４とを有する。また、コンピュータ３００は、技判定装置５０、カメラ３０、他の外部装置から情報を受け付けるインタフェース装置３０５を有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0154】

ハードディスク装置３０７は、取得プログラム３０７ａ、決定プログラム３０７ｂ、前処理プログラム３０７ｃ、表示制御プログラム３０７ｄを有する。ＣＰＵ３０１は、取得プログラム３０７ａ、決定プログラム３０７ｂ、前処理プログラム３０７ｃ、表示制御プログラム３０７ｄを読み出してＲＡＭ３０６に展開する。

【0155】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。決定プログラム３０７ｂは、決定プロセス３０６ｂとして機能する。前処理プログラム３０７ｃは、前処理プロセス３０６ｃとして機能する。表示制御プログラム３０７ｄは、表示制御プロセス３０６ｄとして機能する。

【0156】

取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。決定プロセス３０６ｂの処理は、決定部１５２の処理に対応する。前処理プロセス３０６ｃの処理は、前処理部１５３の処理に対応する。表示制御プロセス３０６ｄの処理は、表示制御部１５４の処理に対応する。

【0157】

なお、各プログラム３０７ａ～３０７ｄについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｄを読み出して実行するようにしてもよい。

【符号の説明】

【0158】

１０ 選手
２０ ３Ｄレーザーセンサ
３０ カメラ
１００ 情報処理装置
１０５ 通信部
１１０ インタフェース部
１２０ 入力部
１３０ 表示部
１４１ 入力情報
１４２ 映像情報
１４３ ３Ｄモデル情報
１４４ 技認識結果情報
１４５ 難度定義テーブル
１４６ グループ定義テーブル
１４７ ルールテーブル
１５０ 制御部
１５１ 取得部
１５２ 決定部
１５３ 前処理部
１５４ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】