特許 7222226 表示方法、表示プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-07

(45)【発行日】2023-02-15

(54)【発明の名称】表示方法、表示プログラムおよび情報処理装置

(51)【国際特許分類】

   A63B 71/06 20060101AFI20230208BHJP

   G06T 7/70 20170101ALI20230208BHJP

   G06T 7/00 20170101ALI20230208BHJP

【ＦＩ】

A63B71/06 Z

G06T7/70 B

G06T7/00 660B

A63B71/06 M

【請求項の数】 11

(21)【出願番号】P 2018222339

(22)【出願日】2018-11-28

(65)【公開番号】P2020081528

(43)【公開日】2020-06-04

【審査請求日】2021-08-10

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】久保田 和己

(72)【発明者】

【氏名】内藤 宏久

【審査官】早川 貴之

(56)【参考文献】

【文献】国際公開第２０１８／０６９９８５（ＷＯ，Ａ１）

【文献】特開２０１４－１３３０１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ ７１／００－７１／１６

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得し、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、
前記表示中の技または姿勢が静止姿勢を含む場合、前記静止姿勢と、前記静止姿勢の次の技または次の姿勢との境界となる時間情報を特定し、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する
処理を実行することを特徴とする表示方法。

【請求項2】

前記強調表示する処理は、前記時間情報に対応する時間から所定時間前までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報、または、前記時間情報に対応する時間から所定時間後までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報を強調表示することを特徴とする請求項１に記載の表示方法。

【請求項3】

前記評価指標の前記時間変化に係る情報は、前記３Ｄセンシングデータから認識された前記競技者の複数の関節の位置情報を含む骨格認識結果に基づく、関節間距離または関節角度の時間変化を示す情報であることを特徴とする請求項１または２に記載の表示方法。

【請求項4】

前記強調表示する処理は、前記所定時間部分に含まれる前記関節間距離または前記関節角度の最大値および最小値を更に表示する処理を含むことを特徴とする請求項３に記載の表示方法。

【請求項5】

前記強調表示する処理は、前記時間変化に係る情報を表示する際に、静止と判断される範囲をしめす情報を、前記時間変化に係る情報に重畳する処理を含むことを特徴とする請求項１乃至請求項４のいずれか一項に記載の表示方法。

【請求項6】

前記特定する処理は、再生時刻または再生停止時刻の選択を受け付け、前記再生時刻または再生停止時刻と前記認識結果とを基にして、前記再生時刻または再生停止時刻の前記選択により表示される前記表示中の技または姿勢が、静止姿勢を含むか否かを判定する処理を含み、
前記強調表示する処理において、前記表示中の技または姿勢が静止姿勢を含む場合に、前記時間情報に対応する時間から、前記所定時間部分が強調表示されることを特徴とする請求項１乃至請求項５のいずれか一項に記載の表示方法。

【請求項7】

採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得し、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、
前記表示中の技または姿勢が静止姿勢を含む場合、前記静止姿勢と、前記静止姿勢の次の技または次の姿勢との境界となる時間情報を特定し、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する
処理をコンピュータに実行させることを特徴とする表示プログラム。

【請求項8】

採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得する取得部と、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、前記表示中の技または姿勢が静止姿勢を含む場合、前記静止姿勢と、前記静止姿勢の次の技または次の姿勢との境界となる時間情報を特定する特定部と、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する表示制御部と
を有することを特徴とする情報処理装置。

【請求項9】

コンピュータが、
採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得し、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、
前記表示中の技または姿勢が静止姿勢を含む場合、前記静止姿勢と、前記静止姿勢の直前の技または直前の姿勢との境界となる時間情報を特定し、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する
処理を実行することを特徴とする表示方法。

【請求項10】

採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得し、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、
前記表示中の技または姿勢が静止姿勢を含む場合、前記静止姿勢と、前記静止姿勢の直前の技または直前の姿勢との境界となる時間情報を特定し、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する
処理をコンピュータに実行させることを特徴とする表示プログラム。

【請求項11】

採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得する取得部と、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、前記表示中の技または姿勢が静止姿勢を含む場合、前記静止姿勢と、前記静止姿勢の直前の技または直前の姿勢との境界となる時間情報を特定する特定部と、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する表示制御部と
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示方法等に関する。

【背景技術】

【0002】

体操競技として、男子は床運動、あん馬、つり輪、跳馬、平行棒、鉄棒の６種目、女子は跳馬、段違い平行棒、平均台、床運動の４種目が行われている。男女とも跳馬以外の種目では、複数の技を連続して行うことで、１つの演技が構成される。

【0003】

演技のスコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。たとえば、Ｄスコアは、技の成立不成立に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法により算出されるスコアである。技の成立不成立や、技の完成度は、採点規則を記したルールブックに基づく、審判員の目視により判断される。

【0004】

なお、Ｄスコアについて、得点表示直後、あるいは遅くとも次の選手またはチームの得点表示前に限り、得点の問合せ（Inquiries of the score)が認められている。競技エリアに入ることを許されたコーチのみが、問合せをする権利を有する。すべての問合せは上級審判員により審査される必要があり、ビデオ撮影された選手の映像を確認し、スコアが適切であるか否かを協議する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－４５７８２号公報

【文献】特開２０１５－１６７６７６号公報

【文献】特開２０１５－３３４７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

問合せがあると、審判員はビデオ撮影された選手の映像を確認することになる。たとえば、技には一連の動きの中で、一定期間（たとえば、２秒）所定の姿勢を静止させる静止姿勢を含むものがある。審判員は、かかる静止姿勢が一定期間保たれていなければ、技が失敗したと判断し、スコアを減点する。ここで、問合せの対象となった技に静止姿勢が含まれていると、巻き戻し、早送りなどを行って、静止姿勢に対応する再生箇所を見つけだし、確認することになるが、選手は一連の演技の中で複数の技を行っており、該当する静止姿勢の期間を確認することは難しく、技を評価することが難しい。

【0007】

１つの側面では、本発明は、採点の対象となる技であって、静止姿勢を含む技を評価することを支援する表示方法、表示プログラムおよび情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、コンピュータが以下の処理を実行する。コンピュータは、採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、一連の演技に含まれる複数の技または技を行う競技者の姿勢に関する認識結果を取得する。コンピュータは、認識結果を基にして、一連の演技に対応する３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定する。コンピュータは、表示中の技または姿勢について、次の技または次の姿勢との境界となる時間情報を特定する。コンピュータは、複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、時間情報に対応する時間から所定時間部分を強調表示する。

【発明の効果】

【0009】

採点の対象となる技であって、静止姿勢を含む技を評価することを支援することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、開始姿勢および静止姿勢の一例を説明するための図である。

【図2】図２は、演技に含まれる技の切れ目の一例を示す図である。

【図3】図３は、参考技術の情報処理装置が生成する表示画面の一例を示す図である。

【図4】図４は、参考技術のグラフの一例を示す図である。

【図5】図５は、本実施例に係るシステムの一例を示す図である。

【図6】図６は、本実施例に係る技認識装置の構成を示す機能ブロック図である。

【図7】図７は、本実施例に係るセンシングＤＢのデータ構造の一例を示す図である。

【図8】図８は、本実施例に係る関節定義データのデータ構造の一例を示す図である。

【図9】図９は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。

【図10】図１０は、本実施例に係る３ＤモデルＤＢのデータ構造の一例を示す図である。

【図11】図１１は、本実施例に係る技辞書データのデータ構造の一例を示す図である。

【図12】図１２は、本実施例に係る技認識結果ＤＢのデータ構造の一例を示す図である。

【図13】図１３は、本実施例に係る情報処理装置が生成する表示画面の一例を示す図である。

【図14】図１４は、本実施例に係るグラフの一例を示す図である。

【図15】図１５は、本実施例に係る情報処理装置の構成を示す図である。

【図16】図１６は、本実施例に係る映像ＤＢのデータ構造の一例を示す図である。

【図17】図１７は、本実施例に係る評価指標テーブルのデータ構造の一例を示す図である。

【図18】図１８は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。

【図19】図１９は、情報処理装置のその他の処理を説明するための図である。

【図20】図２０は、情報処理装置が表示するその他の表示画面の一例を示す図である。

【図21】図２１は、本実施例に係る技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図22】図２２は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

以下に、本願の開示する表示方法、表示プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例】

【0012】

競技者は、複数の技を連続して行い、一つの演技が構成される。また、一つの技は、技の開始姿勢から開始され、技の終末姿勢により終了する。技の終末姿勢は、一定期間（たとえば、２秒）、所定の姿勢を静止させる静止姿勢となる場合が多い。以下の説明では、一定期間、所定の姿勢を静止させる終末姿勢および静止姿勢をまとめて、「静止姿勢」と表記する。

【0013】

図１は、開始姿勢および静止姿勢の一例を説明するための図である。図１では一例として、競技者５が技「後ろ振り上がり中水平支持（２秒）」を行う例を示している。競技者５は、期間Ｔａにおいて、開始姿勢「後ろ振り上がり」を行い、期間Ｔｂにおいて、静止姿勢「中水平支持（２秒）」を行っている。この開始姿勢「後ろ振り上がり」と静止姿勢「中水平支持（２秒）」との組合せにより、技「後ろ振り上がり中水平支持（２秒）」となる。このように、開始姿勢および静止姿勢が決まると、技も決まる。なお、静止姿勢の期間Ｔｂが、２秒未満である場合には、審判員は、技「後ろ振り上がり中水平支持（２秒）」が失敗であると判断する。

【0014】

図１において、期間Ｔａの終了時刻（期間Ｔｂの開始時刻）が、技または姿勢の切れ目となる。また、図１に示した技の後に、次の技が続く場合には、期間Ｔｂの終了時刻が、技または姿勢の切れ目となる。以下の説明では、技または姿勢の切れ目を、単に、「技の切れ目」と表記する。

【0015】

図１で説明したように、開始姿勢と静止姿勢との組み合わせから１つの技が決定され、図２に示すように、競技者は複数の技を行うことで、一つの演技が構成される。図２は、演技に含まれる技の切れ目の一例を示す図である。たとえば、技の切れ目は、次の技または次の姿勢との境界に対応するものである。図２に示すように、競技者５は、技「後ろ振り上がり中水平支持（２秒）」の後に、「後ろ振り上がり水平支持（２秒）」を行い、「アザリアン：伸腕伸身逆上がり十字懸垂（２秒）」を行っている。そして、競技者５は、「アザリアン」の後に、「後ろ振り上がり十字倒立（２秒）」を行い、「後ろ振り上がり倒立（２秒）」を行っている。

【0016】

技「後ろ振り上がり中水平支持（２秒）」の技の切れ目は、静止姿勢「中水平支持（２秒）」の開始時刻Ｔａ１および終了時刻Ｔｂ１となる。技「後ろ振り上がり水平支持（２秒）」の技の切れ目は、静止姿勢「水平支持（２秒）」の開始時刻Ｔａ２および終了時刻Ｔｂ２となる。

【0017】

技「アザリアン：伸腕伸身逆上がり十字懸垂（２秒）」の技の切れ目は、静止姿勢「十字懸垂」の開始時刻Ｔａ３および終了時刻Ｔｂ３となる。技「後ろ振り上がり十字倒立（２秒）」の技の切れ目は、静止姿勢「十字倒立（２秒）」の開始時刻Ｔａ４および終了時刻Ｔｂ４となる。技「後ろ振り上がり倒立（２秒）」の技の切れ目は、静止姿勢「倒立」の開始時刻Ｔａ５および終了時刻Ｔｂ５となる。

【0018】

なお、各技は、グループと、枝番とを組み合わせた技番号により識別される。たとえば、技「後ろ振り上がり中水平支持（２秒）」の技番号は「Ｇ３（グループ）－５３（枝番）」となる。技「後ろ振り上がり水平支持（２秒）」の技番号は「Ｇ３－７０」となる。技「アザリアン：伸腕伸身逆上がり十字懸垂（２秒）」の技番号は「Ｇ２－５２」となる。技「後ろ振り上がり十字倒立（２秒）」の技番号は「Ｇ３－９４」となる。技「後ろ振り上がり倒立（２秒）」の技番号は「Ｇ１－８７」となる。

【0019】

次に、本実施例の説明を行う前に、本願発明に至る参考技術について説明する。この参考技術は、従来技術ではない。

【0020】

図３は、参考技術の情報処理装置が生成する表示画面の一例を示す図である。図３に示すように、この表示画面１０には、領域１０ａ，１１，１２，１３，１４が含まれる。

【0021】

領域１０ａは、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御するボタンを含む領域である。審判員は、領域１０ａの各ボタンを押下することで、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御する。

【0022】

領域１１は、映像データに基づく映像を表示する領域である。領域１１に表示される映像は、領域１０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

【0023】

領域１２は、予め指定される仮想視点方向から、３Ｄモデル映像を表示する領域である。領域１２に表示される３Ｄモデル映像は、領域１０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

【0024】

領域１３は、各技にそれぞれ関連する評価指標のアイコンを表示する領域である。評価指標は、技のスコアを決定するための指標であり、評価指標が理想的な値から乖離するほど、スコアが悪くなる。評価指標には、競技者の複数の関節を通るある直線と複数の直線を通る他の直線とのなす角度（関節角度）、ある直線と他の直線との距離、基準線（基準面）とある直線とのなす角度などが含まれる。一例をあげると、評価指標には、膝角度、肘角度、肩角度、膝間の距離、競技者のある関節位置と垂線との距離等が含まれる。

【0025】

審判員は、領域１３に表示される複数のアイコンのうち、いずれかのアイコンを選択する。たとえば、情報処理装置は、肩角度に対応するアイコン１３_１－３が選択されると、肩角度に関する補助情報１２_１－３を表示する。

【0026】

領域１４は、選択されたアイコンの評価指標について、時間変化に係る情報を時系列に示すグラフを表示する領域である。審判員は、領域１４のグラフを参照することで、競技者が演技した静止姿勢が成立条件を満たしているか否かを確認する。静止姿勢の成立条件には、一定期間（２秒）、競技者が静止しているという条件がある。たとえば、情報処理装置７０は、肩角度に対応するアイコン１３_１－３が選択されると、肩角度の時間変化を、グラフにより時系列に表示する。肩角度の最大値と最小値との差が小さい場合に、（肩周りに関しては）競技者が静止していると判断される。

【0027】

図４は、参考技術のグラフの一例を示す図である。グラフ１５の縦軸は、評価指数に関する値であり、たとえば、肩角度に対応するものである。グラフ１５の横軸は、時間に対応する軸である。審判員は、競技者の静止姿勢を評価する場合、図３に示した領域１２の３Ｄモデル映像を参照し、競技者の姿勢が静止姿勢となったことを確認すると、領域１０ａの停止ボタンを押下する。たとえば、審判員が停止ボタンを押下したタイミング（時刻）を「Current」とする。

【0028】

情報処理装置は、停止ボタンが押下されると、グラフ１５において、「Current」から所定時間前（たとえば、２秒）までの所定時間部分１５ａを強調表示する。また、情報処理装置は、所定時間部分１５ａにおいて、肩角度の最大値を示すマーカ１６ａと、最小値を示すマーカ１６ｂとを表示する。審判官は、領域１４に表示されるグラフ１５の所定時間部分１５ａを参照して、競技者の姿勢が、静止姿勢の成功条件を満たす「２秒」以上静止しているか否かを確認する。最大値と最小値との差が大きい場合には、競技者が静止していないと判断される。

【0029】

ここで、参考技術によれば、領域１１に現在表示されている時点を基準として、グラフ１５において、所定時間が強調表示されるため、停止時刻が実際の静止姿勢の終了時刻よりも前となる場合があり、審判員が静止姿勢の静止期間が足りないと誤判断してしまう場合がある。競技者が実際に行った静止姿勢の期間を時刻Ｔｓ～Ｔｅとすると、図４に示す例では「Current」が、静止姿勢の終了時刻Ｔｓよりも前の時刻となっており、所定時間部分１５ａにおいて、マーカ１６ａとマーカ１６ｂとの差が大きい。この場合には、審判員は、競技者が行った静止姿勢が成功条件を満たしていないと判断する場合がある。

【0030】

これに対して、競技者が実際に行った静止姿勢の期間を時刻Ｔｓ～Ｔｅとすると、時刻Ｔｓ～Ｔｅにおける最大値と最小値との差が閾値未満であるため、時刻Ｔｓ～Ｔｅにおいて、競技者は静止しているといえ、また、時刻Ｔｓ～Ｔｅの期間が２秒以上であるため、静止姿勢の成功条件を満たしている。すなわち、参考技術では、競技者の静止姿勢に対する評価を審判官が行うことを支援できない場合がある。

【0031】

次に、本実施例に係るシステムの一例について説明する。図５は、本実施例に係るシステムの一例を示す図である。図５に示すように、このシステムは、３Ｄレーザセンサ５０と、カメラ５５と、技認識装置８０と、情報処理装置１００とを有する。ここでは一例として、競技者５は、３Ｄレーザセンサ５０およびカメラ５５の前方で体操演技を行う場合について説明するが、競技者５が他の採点競技を行う場合にも同様に適用することができる。

【0032】

たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。

【0033】

３Ｄレーザセンサ５０は、競技者５に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となる３Ｄセンシングデータを、認識装置６０に出力する。以下の説明では、３Ｄセンシングデータを、単に、「センシングデータ」と表記する。センシングデータには、複数のフレームが含まる。フレームは、フレーム番号と、競技者５上の各点までの距離情報とを含む。センシングデータの各フレームには、フレーム番号が昇順に付与される。

【0034】

カメラ５５は、競技者５の映像データを撮影する装置である。カメラ５５は、映像データを、情報処理装置１００に出力する。映像データには、競技者５の画像に相当する複数のフレームが含まれ、各フレームには、フレーム番号が割り振られる。映像データのフレーム番号と、センシングデータのフレーム番号とは、同期しているものとする。また、下記の説明では、適宜、センシングデータに含まれるフレームを、「センシングフレーム」と表記し、映像データのフレームを「映像フレーム」と表記する。

【0035】

技認識装置８０は、３Ｄレーザセンサ５０がセンシングしたセンシングデータを基にして、３Ｄモデルデータを生成する。技認識装置８０は、３Ｄモデルデータを基にして、競技者５が行った種目および技を認識する。技認識装置８０は、３Ｄモデルデータおよび認識結果データを、情報処理装置１００に出力する。認識結果データには、フレーム番号と、認識した種目および技の種別とが含まれる。この認識結果データには、姿勢認識結果も含まれる。

【0036】

図６は、本実施例に係る技認識装置の構成を示す機能ブロック図である。図６に示すように、この技認識装置８０は、通信部８１と、記憶部８２と、制御部８３とを有する。

【0037】

通信部８１は、３Ｄレーザセンサ５０と、情報処理装置１００とのデータ通信を実行する処理部である。通信部８１は、通信装置に対応する。

【0038】

記憶部８２は、センシングＤＢ８２ａ、関節定義データ８２ｂ、関節位置ＤＢ８２ｃ、３ＤモデルＤＢ８２ｄ、技辞書データ８２ｅ、技認識結果ＤＢ８２ｆを有する。記憶部８２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0039】

センシングＤＢ８２ａは、３Ｄレーザセンサ５０から取得するセンシングデータを格納するＤＢである。図７は、本実施例に係るセンシングＤＢのデータ構造の一例を示す図である。図７に示すように、このセンシングＤＢ８２ａは、演技ＩＤと、フレーム番号と、フレームとを対応づける。演技ＩＤ（Identification）は、競技者５が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の演技ＩＤに対応する各センシングフレームを一意に識別する番号である。センシングフレームは、３Ｄレーザセンサ５０にセンシングされたセンシングデータに含まれるフレームである。

【0040】

関節定義データ８２ｂは、競技者５の各関節位置を定義するデータである。図８は、本実施例に係る関節定義データのデータ構造の一例を示す図である。図８に示すように、関節定義データ８２ｂは、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図８に示すように、右肩関節（SHOULDER＿RIGHT）にはＡ７番が付与され、左肘関節（ELBOW＿LEFT）にはＡ５番が付与され、左膝関節（KNEE＿LEFT）にはＡ１１番が付与され、右股関節（HIP＿RIGHT）にはＡ１４番が付与される。ここで、本実施例では、Ａ８番の右肩関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。

【0041】

関節位置ＤＢ８２ｃは、３Ｄレーザセンサ５０のセンシングデータを基に生成される競技者５の各関節の位置データである。図９は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。図９に示すように、この関節位置ＤＢ８２ｃは、演技ＩＤと、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応づける。演技ＩＤに関する説明は、センシングＤＢ８２ａで行った説明と同様である。

【0042】

図９において、フレーム番号は、同一の演技ＩＤに対応する各センシングフレームを一意に識別する番号である。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図８に示すＡ０番号の関節の３次元座標である。

【0043】

図９は、演技ＩＤ「Ｐ１０１」のセンシングデータにおける各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」あることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。

【0044】

３ＤモデルＤＢ８２ｄは、センシングデータを基に生成される競技者５の３Ｄモデルのデータを格納するデータベースである。図１０は、本実施例に係る３ＤモデルＤＢのデータ構造の一例を示す図である。図１０に示すように、３ＤモデルＤＢ８２ｄは、演技ＩＤと、フレーム番号と、骨格データと、３Ｄモデルデータとを対応づける。演技ＩＤ、フレーム番号に関する説明は、センシングＤＢ８２ａで行った説明と同様である。

【0045】

骨格データは、各関節位置を接続することで推定される競技者５の骨格を示すデータである。３Ｄモデルデータは、センシングデータから得られる情報と、骨格データとを基にして推定される競技者５の３Ｄモデルのデータである。

【0046】

技辞書データ８２ｅは、競技者５が行う演技に含まれる技を認識する場合に用いられる辞書データである。図１１は、本実施例に係る技辞書データのデータ構造の一例を示す図である。図１１に示すように、この技辞書データ８２ｅは、種目と、技番号と、技名と、成立条件とを対応付ける。種目は、演技の種目を示す。技番号は、技を一意に識別する情報である。技名は、技の名称である。成立条件は、技が成立する条件を示すものである。成立条件には、該当する技が成立するための各関節位置、各関節角度、各関節位置の推移などが含まれる。技が静止姿勢を含む場合には、成立条件には、静止姿勢が成立する条件が含まれる。図示を省略するが、技辞書データ８２ｅにおいて、枝番号毎に、静止姿勢を含むか否かの情報を設定してもよい。また、成立条件には、姿勢の成立条件が含まれていてもよい。また、技辞書データ８２ｅは、この姿勢の成立条件と、姿勢の名称とを対応付けていてもよい。

【0047】

技認識結果ＤＢ８２ｆは、技の認識結果を格納するデータベースである。図１２は、本実施例に係る技認識結果ＤＢのデータ構造の一例を示す図である。図１２に示すように、この技認識結果ＤＢ８２ｆは、種目、演技ＩＤ、技番号、第１開始時刻、第１終了時刻、フラグ、第２開始時刻、第２終了時刻、技名を対応付ける。

【0048】

種目、技番号、技名に関する説明は、技辞書データ８２ｅで説明したものと同様である。第１開始時刻は、各技の開始時刻を示す。演技ＩＤは、演技を一意に識別する情報である。第１終了時刻は、各技の終了時刻を示す。フラグは、該当する技に静止姿勢が含まれているか否かを示す情報である。技に静止姿勢が含まれている場合には、フラグは「オン」となる。技に静止姿勢が含まれていない場合には、フラグは「オフ」となる。

【0049】

第２開始時刻は、技に含まれる静止姿勢の開始時刻を示す。第２終了時刻は、技に含まれる静止姿勢の終了時刻を示す。図１２に示す例では、演技者が一連の演技で行った技の順番は、「Ｇ３－５３、Ｇ２－５２、Ｇ１－８７、Ｇ１－５１、Ｇ１－５２、Ｇ３－１６、Ｇ１－４９、Ｇ３－６９、Ｇ１－８１、Ｇ１－２６、Ｇ４－４１」となる。

【0050】

図６の説明に戻る。制御部８３は、取得部８３ａ、モデル生成部８３ｂ、技認識部８３ｃ、通知部８３ｄを有する。制御部８３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部８３は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0051】

取得部８３ａは、３Ｄレーザセンサ５０から、センシングデータを取得する処理部である。取得部８３ａは、取得した３Ｄレーザセンサ５０を、センシングＤＢ８２ａに格納する。

【0052】

モデル生成部８３ｂは、センシングＤＢ８２ａを基にして、各演技ＩＤの各フレーム番号に対応する３Ｄモデルデータを生成する処理部である。以下において、モデル生成部８３ｂの処理の一例について説明する。モデル生成部８３ｂは、センシングＤＢ８２ａのセンシングフレームと、関節定義データ８２ｂに定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。モデル生成部８３ｂは、各演技ＩＤのフレーム番号毎に上記処理を繰り返し実行することで、関節位置ＤＢ８２ｃを生成する。

【0053】

モデル生成部８３ｂは、関節位置ＤＢ８２ｃに格納された各関節の３次元座標を、関節定義データ８２ｂに定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。また、モデル生成部８３ｂは、推定した骨格データを、競技者５の体格に合わせた骨格モデルに当てはめることで、３Ｄモデルデータを生成する。モデル生成部８３ｂは、各演技ＩＤのフレーム番号毎に上記処理を繰り返し実行することで、３ＤモデルＤＢ８２ｄを生成する。

【0054】

技認識部８３ｃは、３ＤモデルＤＢ８２ｄに格納される各骨格データをフレーム番号順に辿り、各骨格データと技辞書データ８２ｅに格納される成立条件とを比較して、成立条件にヒットするか否かを認識する。技認識部８３ｃは、ある成立条件にヒットした場合には、ヒットしたある成立条件に対応する種目、技番号、技名を特定する。また、技認識部８３ｃは、予め設定されたＦＰＳ（Frames per second）を基にして、ある成立条件にヒットした一連のフレーム番号の開始フレーム番号を第１開始時刻に変換し、一連のフレーム番号の終了フレームを第１終了時刻に変換する。技認識部８３ｃは、種目、演技ＩＤ、技番号、第１開始時刻、第１終了時刻、技名を対応付けて、技認識結果Ｄ８２ｆに格納する。また、技認識部８３ｃは、各骨格データと技辞書データ８２ｅに格納される姿勢の成立条件とを比較して、成立する姿勢を更に特定してもよい。

【0055】

技認識部８３ｃは、特定した技に静止姿勢が含まれるか否かを判定する。技認識部８３ｃは、技に静止姿勢が含まれない場合には、技認識結果ＤＢ８２ｆのフラグを「オフ」に設定する。一方、技認識部８３ｃは、技に静止姿勢が含まれる場合には、技認識結果ＤＢ８２ｆのフラグを「オン」に設定する。技認識結果ＤＢ８２ｆは、静止姿勢の開始時刻を、第２開始時刻とし、静止姿勢の終了時刻を、第２終了時刻として、技認識結果ＤＢ８２ｆに格納する。なお、ここでいう、「時刻」は、時間情報の一例である。たとえば、時間情報は、日付および時刻を含む情報であってもよいし、演技開始からの経過時間を示すものでもよい。

【0056】

技認識部８３ｃは、成立条件にヒットする度に、上記処理を繰り返し実行することで、技認識結果ＤＢ８２ｆを生成する。

【0057】

通知部８３ｄは、３ＤモデルＤＢ８２ｄの情報と技認識結果ＤＢ８２ｆの情報とを、情報処理装置１００に送信する処理部である。

【0058】

図５の説明に戻る。情報処理装置１００は、映像および３Ｄモデル映像を表示する表示画面の情報を生成し、表示部（図示略）に表示させる処理部である。図１３は、本実施例に係る情報処理装置が生成する表示画面の一例を示す図である。図１３に示すように、この表示画面２０には、領域２０ａ、２１、２２ａ～２２ｄ、２３を有する。

【0059】

領域２０ａは、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御するボタンを含む領域である。審判員は、領域２０ａの各ボタンを押下することで、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御する。

【0060】

領域２１は、映像データに基づく映像を表示する領域である。領域２１に表示される映像は、領域２０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

【0061】

領域２２は、予め指定される仮想視点方向から、３Ｄモデル映像を表示する領域である。領域２２に表示される３Ｄモデル映像は、領域２０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

【0062】

領域２３は、各技にそれぞれ関連する評価指標のアイコンを表示する領域である。評価指標は、技のスコアを決定するための指標であり、評価指標が理想的な値から乖離するほど、スコアが悪くなる。評価指標には、競技者５の複数の関節を通るある直線と複数の直線を通る他の直線とのなす角度（関節角度）、ある直線と他の直線との距離、基準線（基準面）とある直線とのなす角度などが含まれる。一例をあげると、評価指標には、膝角度、肘角度、肩角度、膝間の距離、競技者のある関節位置と垂線との距離等が含まれる。

【0063】

審判員は、領域２３に表示される複数のアイコンのうち、いずれかのアイコンを選択する。たとえば、情報処理装置１００は、肩角度に対応するアイコン２３_１－３が選択されると、肩角度に関する補助情報２２_１－３を表示する。

【0064】

領域２４は、選択されたアイコンの評価指標について、時間変化に係る情報を時系列に示すグラフを表示する領域である。審判員は、領域２４のグラフを参照することで、競技者が演技した静止姿勢が成立条件を満たしているか否かを確認する。静止姿勢の成立条件には、一定期間（２秒）、競技者５が静止しているという条件がある。たとえば、情報処理装置１００は、肩角度に対応するアイコン２３_１－３が選択されると、肩角度の時間変化を、グラフにより時系列に表示する。肩角度の最大値と最小値との差が大きい場合に、（肩周りに関しては）競技者５が静止していると判断される。

【0065】

図１４は、本実施例に係るグラフの一例を示す図である。グラフ２５の縦軸は、評価指数に関する値であり、たとえば、肩角度に対応するものである。グラフ２５の横軸は、時間に対応する軸である。審判員は、競技者５の静止姿勢を評価する場合、図１４に示した領域２２の３Ｄモデル映像を参照し、競技者５の姿勢が静止姿勢となったことを確認すると、領域２０ａの停止ボタンを押下する。たとえば、審判員が停止ボタンを押下したタイミング（時刻）や、再生されている時刻を「Current」とする。

【0066】

情報処理装置１００は、停止ボタンが押下されると、「Current」において競技者５により演技されている技を特定する。なお。一時停止にかかわらず、情報処理装置１００は、再生されている時刻「Current」において、競技者５により演技されている技を特定する。情報処理装置１００は、特定した技に含まれる静止姿勢の第２終了時刻「Ｔｅ」を特定し、第２終了時刻から所定時間前（たとえば、２秒）までの所定時間部分２５ａを強調表示する。

【0067】

情報処理装置１００は、所定時間部分２５ａにおいて、肩角度の最大値を示すマーカ２６ａと、最小値を示すマーカ２６ｂとを表示する。審判官は、領域２４に表示されるグラフ２５の所定時間部分２５ａを参照して、競技者５の姿勢が、静止姿勢の成功条件を満たす「２秒」以上静止しているか否かを確認する。最大値と最小値との差が大きい場合には、競技者５が静止していないと判断される。

【0068】

図１４に示すように、本実施例に係る情報処理装置１００は、技に含まれる静止姿勢の第２静止時刻から所定時間前（たとえば、２秒）までの所定時間部分２５ａを強調表示する。図４で説明した参考技術と異なり、情報処理装置１００は、審判員が停止ボタンを押下したタイミングにおいて、競技者５の技に静止姿勢が含まれてさえいれば、第２静止時刻から所定時間前までの所定時間部分２５ａを強調表示されるので、審判員は、静止姿勢の成立条件を満たしているか否かを適切に判断することができる。また、参考技術のグラフの表示方法と比較して、審判員の誤判断を抑止できるので、スコアの採点精度が改善される。

【0069】

次に、本実施例に係る情報処理装置１００の構成について説明する。図１５は、本実施例に係る情報処理装置の構成を示す図である。図１５に示すように、情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0070】

通信部１１０は、カメラ５５および技認識装置８０とデータ通信を行う処理部である。たとえば、通信部１１０は、技認識装置８０から３ＤモデルＤＢ８２ｄの情報および技認識結果ＤＢ８２ｆの情報を受信し、受信した３ＤモデルＤＢ８２ｄの情報および技認識結果ＤＢ８２ｆの情報を制御部１５０に出力する。また、通信部１１０は、カメラ５５から映像データを受信し、受信した映像データを制御部１５０に出力する。後述する制御部１５０は、通信部１１０を介して、カメラ５５、技認識装置８０とデータをやり取りする。

【0071】

入力部１２０は、各種の情報を情報処理装置１００に入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。審判員は、入力部１２０を操作して、図１３等に示した表示画面２０の領域２０ａのボタンを選択することで、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御する。また、入力部１２０を操作して、審判員は、図１３に示した表示画面２０の領域２３に含まれるアイコンを選択する。

【0072】

表示部１３０は、制御部１５０から出力される各種の情報を表示する表示装置である。たとえば、表示部１３０は、図１３等に示した表示画面２０の情報を表示する。また、審判員が領域２３に含まれるアイコンを押下することで、領域２４に表示させる評価指標のグラフを切り替える。

【0073】

記憶部１４０は、映像ＤＢ１４０ａ、３ＤモデルＤＢ９２ｄ、技認識結果ＤＢ９２ｆ、評価指標テーブル１４０ｄを有する。記憶部１４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0074】

映像ＤＢ１４０ａは、映像フレームを格納するデータベースである。図１６は、本実施例に係る映像ＤＢのデータ構造の一例を示す図である。図１６に示すように、この映像ＤＢ１４０ａは、演技ＩＤと、フレーム番号と、映像フレームとを対応付ける。演技ＩＤは、競技者５が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の演技ＩＤに対応する各映像フレームを一意に識別する番号である。映像フレームは、カメラ５５に撮影された映像データに含まれるフレームである。図７に示したセンシングフレームのフレーム番号と、映像フレームのフレーム番号とは同期しているものとする。

【0075】

３ＤモデルＤＢ９２ｄは、技認識装置８０により生成される競技者５の３Ｄモデルの情報を格納するデータベースである。３ＤモデルＤＢ９２ｄのデータ構造は、図１０で説明した３ＤモデルＤＢ８２ｄのデータ構造と同様である。

【0076】

技認識結果ＤＢ９２ｆは、技認識装置８０により生成される一連の演技に含まれる各技の認識結果を格納するデータベースである。技認識結果ＤＢ９２ｆのデータ構造は、図１２で説明した技認識結果ＤＢ８２ｆのデータ構造と同様である。

【0077】

評価指標テーブル１４０ｂは、アイコンの評価指標に関する各種の情報を保持するテーブルである。図１７は、本実施例に係る評価指標テーブルのデータ構造の一例を示す図である。図１７に示すように、この評価指標テーブル１４０ｂは、アイコン識別番号と、アイコン画像と、評価指標と、定義とを対応付ける。

【0078】

アイコン識別番号は、アイコンを一意に識別する情報である。アイコン画像は、図１３の領域２３に示した各アイコンの画像を示すものである。評価指標は、技のスコアを決定するための指標である。定義は、競技者５の評価指標を骨格データから導くための定義を示すものである。たとえば、骨格データに含まれる複数の関節の内、ある関節とある関節とを結ぶ直線、および、２つの直線のなす角度（関節角度）などにより、評価指標が定義される。

【0079】

図１５の説明に戻る。制御部１５０は、取得部１５０ａと、表示制御部１５０ｂと、特定部１５０ｃとを有する。制御部１５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

【0080】

取得部１５０ａは、カメラ５５から映像データを取得し、取得した映像データを、映像ＤＢ１４０ａに格納する。取得部１５０ａは、技認識装置８０から３ＤモデルＤＢ８２ｄの情報および技認識結果ＤＢ８２ｆの情報を取得し、取得した３ＤモデルＤＢ８２ｄの情報を、３ＤモデルＤＢ９２ｄに格納する。また、取得部１５０ａは、技認識結果ＤＢ８２ｆの情報を技認識結果ＤＢ９２ｆに格納する。

【0081】

表示制御部１５０ｂは、図１３に示した表示画面２０の情報を生成し、表示部１３０に表示する処理部である。表示制御部１５０ｂは、映像ＤＢ１４０ａから映像フレームを順に読み出し、表示画面２０の領域２１において、映像を再生する。

【0082】

表示制御部１５０ｂは、３ＤモデルＤＢ９２ｄから３Ｄモデルデータを順に読み出し、表示画面２０の領域２２において、３Ｄモデル映像を再生する。各領域２２に表示される３Ｄモデル映像は、予め指定された仮想視点方向から、３Ｄモデルデータを撮影した映像である。

【0083】

表示制御部１５０ｂは、領域２１に表示する映像の時刻（フレーム番号）と、各領域２２に表示される各３Ｄモデル映像の時刻（フレーム番号）とを同期させて再生させるものとする。表示制御部１５０ｂは、審判員により、領域２０ａに表示されるボタンを押下された場合には、押下されたボタンに応じて、領域２１の映像、領域２２の３Ｄモデル映像に関して、再生、停止、コマ送り、早送り、巻き戻し等を行う。

【0084】

表示制御部１５０ｂは、領域２２に現在表示している３Ｄモデル映像の再生時刻の情報を、特定部１５０ｃに出力する。以下の説明では、領域２２に現在表示している３Ｄモデル映像の再生時刻を単に「再生時刻」と表記する。この再生時刻は、図１４のグラフに示した「Current」に対応するものである。なお、本実施例では、再生時刻を用いて説明するが、領域２１、２２の表示時刻であってもよい。

【0085】

表示制御部１５０ｂは、評価指標テーブル１４０ｂを参照して、アイコンのアイコン画像を取得し、各アイコンを表示画面２０の領域２３にそれぞれ表示する。表示制御部１５０ｂは、審判員により、表示画面２０の領域２３に表示した複数のアイコン（アイコン画像）のうち、いずれかのアイコンが選択されると、選択されたアイコンに対応する評価指標のグラフを生成し、領域２４に表示させる。

【0086】

表示制御部１５０ｂがグラフを生成する処理の一例について説明する。表示制御部１５０ｂは、審判員に選択されたアイコンのアイコン識別番号と、評価指標テーブル１４０ｂとを比較し、選択されたアイコンに関する評価指標を特定する。表示制御部１５０ｂは、特定した評価指標の定義と、３ＤモデルＤＢ９２ｄの骨格データとを比較して、評価指標に関する時間変化の値を算出する。たとえば、表示制御部１５０ｂは、再生時刻よりも所定時間前の時刻Ｔｈｓと、再生時刻から所定時間後の時刻Ｔｈｅとを特定する。表示制御部１５０ｂは、時刻Ｔｈｓ～Ｔｈｅの骨格データを基にして、時刻Ｔｈｓ～Ｔｈｅの評価指標に関する時間変化の値を算出し、グラフを生成する。

【0087】

表示制御部１５０ｂは、後述する特定部１５０ｃから、特定情報を取得する。特定情報には、静止姿勢の第２開始時刻と、第２終了時刻とが含まれる。表示制御部１５０ｂは、上記処理により生成したグラフにおいて、第２終了時刻から所定時間前までの所定時間部分を強調表示する。図１４で説明したグラフ２５では、所定時間部分２５ａが強調表示される。また、表示制御部１５０ｂは、所定時間部分に含まれる評価指標の時間変化の値を走査して、最大値および最小値を特定し、最大値および最小値となる部分にマーカを設定する。表示制御部１５０ｂは、所定時間部分に含まれる最大値および最小値の数値を、表示画面に表示してもよい。

【0088】

表示制御部１５０ｂは、審判員により、表示画面２０の領域２３に表示した複数のアイコン（アイコン画像）のうち、いずれかのアイコンが選択されると、選択されたアイコンのアイコン識別情報に対応する補助情報を、領域２２の３Ｄモデル映像に重畳して表示する。図１３に示す例では、肩角度に関する補助情報２２_１－３を表示されている。アイコン識別情報に対応する補助情報は、予め設定されているものとする。また、表示制御部１５０ｂは、上記のグラフを生成する際に算出した評価指標に対応する値を、３Ｄモデル映像の補足情報に合わせて表示してもよい。

【0089】

特定部１５０ｃは、表示制御部１５０ｂから再生時刻の情報を基にして、特定情報を生成し、特定情報を表示制御部１５０ｂに出力する処理部である。たとえば、特定部１５０ｃは、再生時刻と、技認識結果ＤＢ９２ｆとを比較して、再生時刻に対応する技番号を特定する。特定部１５０ｃは、技番号に対応するフラグが「オフ」である場合には、特定情報の生成を行わず、処理をスキップする。

【0090】

特定部１５０ｃは、技番号に対応するフラグが「オン」である場合には、枝番号に対応する第２開始時刻および第２終了時刻を取得し、取得した第２開始時刻および第２終了時刻を含む特定情報を生成する。特定部１５０ｃは、生成した特定情報を、表示制御部１５０ｂに出力する。特定部１５０ｃは、再生時刻の情報を受け付ける度に、上記処理を繰り返し実行する。

【0091】

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図１８は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１８に示すように、情報処理装置１００の取得部１５０ａは、映像データと、３ＤモデルＤＢ８２ｄの情報と、技認識結果ＤＢ８２ｆの情報とを取得し、記憶部１４０に格納する。

【0092】

情報処理装置１００の表示制御部１５０ｂは、映像データおよび３Ｄモデル映像の再生を開始する（ステップＳ１０２）。表示制御部１５０ｂは、再生開始時刻の変更指定を受け付けたか否かを判定する（ステップＳ１０３）。表示制御部１５０ｂは、再生開始時刻の変更指定を受け付けていない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０５に移行する。

【0093】

一方、表示制御部１５０ｂは、再生開始時刻の変更指定を受け付けた場合には（ステップＳ１０３，Ｙｅｓ）、再生時刻を変更して再生を継続し（ステップＳ１０４）、ステップＳ１０５に移行する。

【0094】

情報処理装置１００の特定部１５０ｃは、再生に同期して、再生時刻に対応する技番号を特定する（ステップＳ１０５）。特定部１５０ｃは、技認識結果ＤＢ９２ｆにおいて、枝番号に対応するフラグがオンでない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０９に移行する。

【0095】

特定部１５０ｃは、技番号に対応する技の静止姿勢の第２終了時刻（および第２開始時刻）を特定する（ステップＳ１０７）。表示制御部１５０ｂは、選択中のアイコンに対応する評価指標の時間変化の情報を、時系列に（グラフで）表示し、第２終了時刻から所定時間前までの所定時間部分を強調表示する（ステップＳ１０８）。

【0096】

表示制御部１５０ｂは、３Ｄモデル映像に、アイコンに対応する補助情報を重畳して表示する（ステップＳ１０９）。表示制御部１５０ｂは、処理を継続する場合には（ステップＳ１１０，Ｙｅｓ）、ステップＳ１０３に移行する。一方、表示制御部１５０ｂは、処理を継続しない場合には（ステップＳ１１０，Ｎｏ）、処理を終了する。

【0097】

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、再生時刻に対応する技または姿勢の切れ目となる時刻を特定する。情報処理装置１００は、複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を時系列に表示する際に、技または姿勢の切れ目となる時刻から、所定時間部分を強調表示する。これによって、競技者５の技を評価することを支援することが可能となる。

【0098】

たとえば、図１４で説明したように、情報処理装置１００は、技に含まれる静止姿勢の第２静止時刻から所定時間前（たとえば、２秒）までの所定時間部分２５ａを強調表示する。図４で説明した参考技術と異なり、情報処理装置１００は、審判員が停止ボタンを押下したタイミングにおいて、競技者５の技に静止姿勢が含まれてさえいれば、第２終了時刻から所定時間前までの所定時間部分２５ａを強調表示されるので、審判員は、静止姿勢の成立条件を満たしているか否かを適切に判断することができる。また、参考技術のグラフの表示方法と比較して、審判員の誤判断を抑止できるので、スコアの採点精度が改善される。

【0099】

情報処理装置１００は、第２静止時刻から所定時間前までの所定時間部分２５ａを強調表示する場合に、所定時間部分２５ａにおける評価指標に関する値の最大値および最小値を特定して、マーカで表示する。これによって、審判官は、最大値および最小値の比較により、競技者５が静止しているか否かを容易に判断することができる。

【0100】

情報処理装置１００は、映像または３Ｄモデル映像の再生時刻と同期して、再生時刻に対応する技が、静止姿勢を含むか否かを判定する。情報処理装置１００は、再生時刻に対応する技に、静止姿勢が含まれる場合に、第２静止時刻から所定時間前までの所定時間部分２５ａを強調表示する処理を実行するため、情報処理装置１００の処理負荷を軽減することができる。

【0101】

ところで、上述した情報処理装置１００の処理は一例であり、情報処理装置１００は、その他の処理を実行してもよい。たとえば、情報処理装置１００の表示制御部１５０ｂは、審判員が停止ボタンを押下したタイミングにおいて、競技者５の技に静止姿勢が含まれてさえいれば、第２開始時刻から所定時間後までの所定時間部分を強調表示してもよい。

【0102】

図１９は、情報処理装置のその他の処理を説明するための図である。グラフ３５の縦軸は、評価指数に関する値であり、たとえば、肩角度に対応するものである。グラフ３５の横軸は、時間に対応する軸である。たとえば、審判員が停止ボタンを押下したタイミング（時刻）や再生されている時刻を「Current」とする。表示制御部１５０ｂは、特定した技に含まれる静止姿勢の第２開始時刻「Ｔｓ」を特定し、第２開始時刻から所定時間後（たとえば、２秒）までの所定時間部分３５ａを強調表示する。また、情報処理装置１００は、所定時間部分３５ａにおいて、肩角度の最大値を示すマーカ３６ａと、最小値を示すマーカ３６ｂとを表示する。

【0103】

審判員が停止ボタンを押下したタイミングにおいて、競技者５の技に静止姿勢が含まれてさえいれば、第２開始時刻から所定時間前までの所定時間部分３５ａを強調表示されるので、審判員は、静止姿勢の成立条件を満たしているか否かを適切に判断することができる。

【0104】

図２０は、情報処理装置が表示するその他の表示画面の一例を示す図である。図２０に示すように、この表示画面３０は、領域３０ａ、３１、３２ａ～３２ｄ、３３を有する。

【0105】

領域３０ａは、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御するボタンを含む領域である。審判員は、領域２０ａの各ボタンを押下することで、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御する。

【0106】

領域３２ａ～３２ｄは、予め指定される仮想視点方向から、３Ｄモデル映像をそれぞれ表示する領域である。領域３２ａ～３２ｄに表示される３Ｄモデル映像は、領域３０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

【0107】

領域３３は、各技にそれぞれ関連する評価指標のアイコンを表示する領域である。審判員は、領域３３に表示される複数のアイコンのうち、いずれかのアイコンを選択する。

【0108】

領域３４は、選択されたアイコンの評価指標について、時間変化に係る情報を時系列に示すグラフを表示する領域である。審判員は、領域３４のグラフを参照することで、競技者が演技した静止姿勢が成立条件を満たしているか否かを確認する。たとえば、情報処理装置１００は、再生時刻において競技者５が演技している技に静止姿勢が含まれる場合に、静止姿勢の開始時刻Ｔｓから終了時刻Ｔｅの領域を強調表示してもよい。

【0109】

なお、図５に示したシステムでは、技認識装置８０と、情報処理装置１００とが別の装置に実装される場合について説明したがこれに限定されるものではなく、情報処理装置１００が、技認識装置８０の機能を有していてもよい。たとえば、情報処理装置１００が、技認識装置８０の制御部８３に示す機能を有し、記憶部８２に格納された情報を基にして、３ＤモデルＤＢ８２ｄ、技認識結果ＤＢ８２ｆを生成してもよい。

【0110】

次に、本実施例に示した技認識装置８０および情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２１は、本実施例に係る技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0111】

図２１に示すように、コンピュータ４００は、各種演算処理を実行するＣＰＵ４０１と、ユーザからのデータの入力を受け付ける入力装置４０２と、ディスプレイ４０３とを有する。また、コンピュータ４００は、記憶媒体からプログラム等を読み取る読み取り装置４０４と、有線または無線ネットワークを介して、３Ｄレーザセンサ５０等との間でデータの授受を行うインタフェース装置４０５とを有する。コンピュータ４００は、各種情報を一時記憶するＲＡＭ４０６と、ハードディスク装置４０７とを有する。そして、各装置４０１～４０７は、バス４０８に接続される。

【0112】

ハードディスク装置４０７は、取得プログラム４０７ａ、モデル生成プログラム４０７ｂ、技認識プログラム４０７ｃ、通知プログラム４０７ｄを有する。ＣＰＵ４０１は、受信プログラム４０７ａ、生成プログラム４０７ｂ、技認識プログラム４０７ｃ、通知プログラム４０７ｄを読み出してＲＡＭ４０６に展開する。

【0113】

取得プログラム４０７ａは、取得プロセス４０６ａとして機能する。モデル生成プログラム４０７ｂは、モデル生成プロセス４０６ｂとして機能する。技認識プログラム４０７ｃは、技認識プロセス４０６ｃとして機能する。通知プログラム４０７ｄは、通知プロセス４０６ｄとして機能する。

【0114】

取得プロセス４０６ａの処理は、取得部８３ａの処理に対応する。モデル生成プロセス４０６ｂの処理は、モデル生成部８３ｂの処理に対応する。技認識プロセス４０６ｃの処理は、技認識部８３ｃの処理に対応する。通知プロセス４０６ｄの処理は、通知部８３ｄの処理に対応する。

【0115】

なお、各プログラム４０７ａ～４０７ｄについては、必ずしも最初からハードディスク装置４０７に記憶させておかなくてもよい。例えば、コンピュータ４００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ４００が各プログラム４０７ａ～４０７ｄを読み出して実行するようにしてもよい。

【0116】

図２２は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0117】

図２２に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータの入力を受け付ける入力装置５０２と、ディスプレイ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラム等を読み取る読み取り装置５０４と、有線または無線ネットワークを介して、カメラ５５、技認識装置８０等との間でデータの授受を行うインタフェース装置５０５とを有する。コンピュータ５００は、各種情報を一時記憶するＲＡＭ５０６と、ハードディスク装置５０７とを有する。そして、各装置５０１～５０７は、バス５０８に接続される。

【0118】

ハードディスク装置５０７は、取得プログラム５０７ａ、表示制御プログラム５０７ｂ、特定プログラム５０７ｃを有する。ＣＰＵ５０１は、取得プログラム５０７ａ、表示制御プログラム５０７ｂ、特定プログラム５０７ｃを読み出して、ＲＡＭ５０６に展開する。

【0119】

取得プログラム５０７ａは、取得プロセス５０６ａとして機能する。表示制御プログラム５０７ｂは、表示制御プロセス５０６ｂとして機能する。特定プログラム５０７ｃは、特定プロセス５０６ｃとして機能する。

【0120】

取得プロセス５０６ａの処理は、取得部１５０ａの処理に対応する。表示制御プロセス５０６ｂの処理は、表示制御部１５０ｂの処理に対応する。特定プロセス５０６ｃの処理は、特定部１５０ｃの処理に対応する。

【0121】

なお、各プログラム５０７ａ～５０７ｃについては、必ずしも最初からハードディスク装置５０７に記憶させておかなくてもよい。例えば、コンピュータ５００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ４００が各プログラム５０７ａ～５０７ｃを読み出して実行するようにしてもよい。

【0122】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0123】

（付記１）コンピュータが、
採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得し、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、
前記表示中の技または姿勢について、次の技または次の姿勢との境界となる時間情報を特定し、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する
処理を実行することを特徴とする表示方法。

【0124】

（付記２）前記強調表示する処理は、前記時間情報に対応する時間から所定時間前までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報、または、前記時間情報に対応する時間から所定時間後までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報を強調表示することを特徴とする付記１に記載の表示方法。

【0125】

（付記３）前記評価指標の前記時間変化に係る情報は、前記３Ｄセンシングデータから認識された前記競技者の複数の関節の位置情報を含む骨格認識結果に基づく、関節間距離または関節角度の時間変化を示す情報であることを特徴とする付記１または２に記載の表示方法。

【0126】

（付記４）前記強調表示する処理は、前記所定時間部分に含まれる前記関節間距離または前記関節角度の最大値および最小値を更に表示する処理を含むことを特徴とする付記３に記載の表示方法。

【0127】

（付記５）前記強調表示する処理は、前記時間変化に係る情報を表示する際に、静止と判断される範囲をしめす情報を、前記時間変化に係る情報に重畳する処理を含むことを特徴とする付記１乃至付記４のいずれか一項に記載の表示方法。

【0128】

（付記６）前記特定する処理は、再生時刻または再生停止時刻の選択を受け付け、前記再生時刻または再生停止時刻と前記認識結果とを基にして、前記再生時刻または再生停止時刻の前記選択により表示される前記表示中の技または姿勢が、静止姿勢を含むか否かを判定する処理を含み、
前記強調表示する処理において、前記表示中の技または姿勢が静止姿勢を含む場合に、前記時間情報に対応する時間から、前記所定時間部分が強調表示されることを特徴とする付記１乃至付記５のいずれか一項に記載の表示方法。

【0129】

（付記７）採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得し、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、
前記表示中の技または姿勢について、次の技または次の姿勢との境界となる時間情報を特定し、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する
処理をコンピュータに実行させることを特徴とする表示プログラム。

【0130】

（付記８）前記強調表示する処理は、前記時間情報に対応する時間から所定時間前までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報、または、前記時間情報に対応する時間から所定時間後までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報を強調表示することを特徴とする付記７に記載の表示プログラム。

【0131】

（付記９）前記評価指標の前記時間変化に係る情報は、前記３Ｄセンシングデータから認識された前記競技者の複数の関節の位置情報を含む骨格認識結果に基づく、関節間距離または関節角度の時間変化を示す情報であることを特徴とする付記７または８に記載の表示プログラム。

【0132】

（付記１０）前記強調表示する処理は、前記所定時間部分に含まれる前記関節間距離または前記関節角度の最大値および最小値を更に表示する処理を含むことを特徴とする付記９に記載の表示プログラム。

【0133】

（付記１１）前記強調表示する処理は、前記時間変化に係る情報を表示する際に、静止と判断される範囲をしめす情報を、前記時間変化に係る情報に重畳する処理を含むことを特徴とする付記７乃至付記１０のいずれか一項に記載の表示プログラム。

【0134】

（付記１２）前記特定する処理は、再生時刻または再生停止時刻の選択を受け付け、前記再生時刻または再生停止時刻と前記認識結果とを基にして、前記再生時刻または再生停止時刻の前記選択により表示される前記表示中の技または姿勢が、静止姿勢を含むか否かを判定する処理を含み、
前記強調表示する処理において、前記表示中の技または姿勢が静止姿勢を含む場合に、前記時間情報に対応する時間から、前記所定時間部分が強調表示されることを特徴とする付記７乃至付記１１のいずれか一項に記載の表示プログラム。

【0135】

（付記１３）採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技および姿勢の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技または前記技を行う競技者の姿勢に関する認識結果を取得する取得部と、
前記認識結果を基にして、前記一連の演技に対応する前記３Ｄセンシングデータに基づく３Ｄモデル映像において、表示中の技または姿勢を特定し、前記表示中の技または姿勢について、次の技または次の姿勢との境界となる時間情報を特定する特定部と、
複数の評価指標に係る複数の選択肢の中から選択された選択肢に対応する評価指標について、時間変化に係る情報を表示する際に、前記時間情報に対応する時間から所定時間部分を強調表示する表示制御部と
を有することを特徴とする情報処理装置。

【0136】

（付記１４）前記表示制御部は、前記時間情報に対応する時間から所定時間前までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報、または、前記時間情報に対応する時間から所定時間後までの時間部分に含まれる、選択された前記選択肢に対応する前記評価指標の前記時間変化に係る情報を強調表示することを特徴とする付記１３に記載の情報処理装置。

【0137】

（付記１５）前記評価指標の前記時間変化に係る情報は、前記３Ｄセンシングデータから認識された前記競技者の複数の関節の位置情報を含む骨格認識結果に基づく、関節間距離または関節角度の時間変化を示す情報であることを特徴とする付記１３または１４に記載の情報処理装置。

【0138】

（付記１６）前記表示制御部は、前記所定時間部分に含まれる前記関節間距離または前記関節角度の最大値および最小値を更に表示する処理を含むことを特徴とする付記１５に記載の情報処理装置。

【0139】

（付記１７）前記表示制御部は、前記時間変化に係る情報を表示する際に、静止と判断される範囲をしめす情報を、前記時間変化に係る情報に重畳する処理を含むことを特徴とする付記１３乃至付記１６のいずれか一項に記載の情報処理装置。

【0140】

（付記１８）前記特定部は、再生時刻または再生停止時刻の選択を受け付け、前記再生時刻または再生停止時刻と前記認識結果とを基にして、前記再生時刻または再生停止時刻の前記選択により表示される前記表示中の技または姿勢が、静止姿勢を含むか否かを判定する処理を含み、
前記表示制御部は、前記表示中の技または姿勢が静止姿勢を含む場合に、前記時間情報に対応する時間から、前記所定時間部分が強調表示されることを特徴とする付記１３乃至付記１７のいずれか一項に記載の情報処理装置。

【符号の説明】

【0141】

５０ ３Ｄレーザセンサ
５５ カメラ
１００ 情報処理装置
８０ 技認識装置
８１，１１０ 通信部
８２，１４０ 記憶部
８２ａ センシングＤＢ
８２ｂ 関節定義データ
８２ｃ 関節位置ＤＢ
８２ｄ ３ＤモデルＤＢ
８２ｅ 技辞書データ
８２ｆ 技認識結果ＤＢ
８３，１５０ 制御部
８３ａ，１５０ａ 取得部
８３ｂ モデル生成部
８３ｃ 技認識部
８３ｄ 通知部
１２０ 入力部
１３０ 表示部
１４０ａ 映像ＤＢ
１４０ｂ 評価指標テーブル
１５０ｂ 表示制御部
１５０ｃ 特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】