特許 7419969 生成方法、生成プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】生成方法、生成プログラムおよび情報処理装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240116BHJP

   A63B 69/00 20060101ALI20240116BHJP

【ＦＩ】

G06T7/20 300Z

A63B69/00 A

【請求項の数】 7

(21)【出願番号】P 2020092400

(22)【出願日】2020-05-27

(65)【公開番号】P2021189605

(43)【公開日】2021-12-13

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】松本 剛

(72)【発明者】

【氏名】内藤 宏久

(72)【発明者】

【氏名】川人 亜矢子

(72)【発明者】

【氏名】清水 智

(72)【発明者】

【氏名】久保田 和己

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０２２－１２３８４３（ＪＰ，Ａ）

【文献】特開２０１５－０４２２４１（ＪＰ，Ａ）

【文献】特開２０２０－０３１４０６（ＪＰ，Ａ）

【文献】特開２０１２－０９４１３０（ＪＰ，Ａ）

【文献】特開２００８－１０８００８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ａ６３Ｂ ６９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する生成方法であって、
被写体の複数の関節位置を示す時系列の骨格情報を取得し、
前記骨格情報に基づき、基準点の第一の軌跡情報を生成し、
前記複数の関節位置に含まれる第一の関節位置と、前記第一の関節位置と前記基準点に対して左右対称の関係となる第二の関節位置とを、前記被写体の運動方向に基づいて回転させ、
回転させた前記第一の関節位置と前記基準点とのに基づく時系列の乖離の大きさ、および、回転させた前記第二の関節位置と前記基準点とに基づく時系列の乖離の大きさのうち、少なくとも一方の時系列の乖離の大きさを示す第二の軌跡情報を生成し、
前記第一の軌跡情報と、前記第二の軌跡情報とを出力する
処理を実行することを特徴とする生成方法。

【請求項2】

前記回転させる処理は、前記骨格情報の中心線と直角に交わる直線を前記第一の関節位置および前記第二の関節位置に基づいて設定し、前記直線に前記第一の関節位置に対応する第一のマークおよび前記第二の関節位置に対応する第二のマークを設定し、前記被写体の運動方向に合わせて前記中心線を回転させ、前記中心線との角度が直角に交わるように前記直線を回転させることを特徴とする請求項１に記載の生成方法。

【請求項3】

前記第二の軌跡情報を生成する処理は、前記基準点と、前記第一のマークの位置との距離を、前記第一の関節位置と前記基準点との時系列の乖離の大きさとして算出し、前記基準点と、前記第二のマークの位置との距離を、前記第二の関節位置と前記基準点との時系列の乖離の大きさとして算出することを特徴とする請求項２に記載の生成方法。

【請求項4】

前記被写体の映像情報に、前記第一の軌跡情報および前記第二の軌跡情報を重畳した情報を生成する処理を更に実行することを特徴とする請求項１、２または３に記載の生成方法。

【請求項5】

前記生成する処理は、回転させた前記第一の関節位置と前記基準点との時系列の乖離の大きさを示す第三の軌跡情報と、回転させた前記第二の関節位置と前記基準点との時系列の乖離の大きさを示す第四の軌跡情報とを生成し、前記出力する処理は、前記第三の軌跡情報と、前記第四の軌跡情報とを出力することを特徴とする請求項１に記載の生成方法。

【請求項6】

コンピュータに、
被写体の複数の関節位置を示す時系列の骨格情報を取得し、
前記骨格情報に基づき、基準点の第一の軌跡情報を生成し、
前記複数の関節位置に含まれる第一の関節位置と、前記第一の関節位置と前記基準点に対して左右対称の関係となる第二の関節位置とを、前記被写体の運動方向に基づいて回転させ、
回転させた前記第一の関節位置と前記基準点とのに基づく時系列の乖離の大きさ、および、回転させた前記第二の関節位置と前記基準点とに基づく時系列の乖離の大きさのうち、少なくとも一方の時系列の乖離の大きさを示す第二の軌跡情報を生成し、
前記第一の軌跡情報と、前記第二の軌跡情報とを出力する
処理を実行させることを特徴とする生成プログラム。

【請求項7】

被写体の複数の関節位置を示す時系列の骨格情報を取得する取得部と、
前記骨格情報に基づき、基準点の第一の軌跡情報を生成し、前記複数の関節位置に含まれる第一の関節位置と、前記第一の関節位置と前記基準点に対して左右対称の関係となる第二の関節位置とを、前記被写体の運動方向に基づいて回転させ、回転させた前記第一の関節位置と前記基準点とに基づく時系列の乖離の大きさ、および、回転させた前記第二の関節位置と前記基準点とに基づく時系列の乖離の大きさのうち、少なくとも一方の時系列の乖離の大きさを示す第二の軌跡情報を生成する生成部と、
前記第一の軌跡情報と、前記第二の軌跡情報とを出力する表示制御部と
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成方法等に関する。

【背景技術】

【0002】

距離センサを基にして被写体の表面までの距離を計算し、被写体の姿勢を特定する３次元センシング技術や、映像から被写体の各部位を推定する技術などを用いることで、競技スポーツの分野で、選手の動きをデータ化する取り組みが行われている。

【0003】

競技スポーツには、体操やトランポリン、水泳の高飛び込みなどのように、ひねりを伴う宙返りを行う種目がある。これらの種目では、ひねりの回数や宙返りの回数が増えるほど、高い得点となるため、選手の動きが複雑になっている。競技の専門家は、選手の複雑な動きを見分けることができるが、一般の視聴者にとっては見分けることが難しい。

【0004】

ここで、被写体のある部位を時系列でトレースした軌跡情報を生成し、軌跡情報を被写体の映像に重畳して表示する従来技術がある。かかる従来技術を利用すれば、一般の視聴者であっても、軌跡情報によって、選手の複雑な動きを見分けることが容易になる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－０４２２４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

競技スポーツにおける複雑な運動において、軌跡情報は複雑な曲線を描くことになる。たとえば、ひねりの状態を示すために被写体の左もしくは右を示す部位をトレースした場合、軌跡情報の曲線は、運動のひねりを正しく表現できない場合がある。

【0007】

図２２は、従来技術の問題を説明するための図である。例１は、被写体５が、側方倒立回転を行った場合において、被写体５の腰の左右の位置５ａおよび位置５ｂをそれぞれトレースした場合の軌跡情報を示す。被写体５の姿勢は、直立、横向き、倒立、横向き、直立の順に変化しており、ひねりの運動は行っていない。位置５ａをトレースした曲線が軌跡情報１０ａとなり、位置５ｂをトレースした曲線が軌跡情報１０ｂとなる。例１では、軌跡情報１０ａと１０ｂとの間隔は、被写体５の体の向きが「横向き」のところで最大となり、「倒立」を経過するところで一旦交差した後、さらに「横向き」で間隔が再び最大となり、「直立」の姿勢で再び交わる。

【0008】

一方、例２では、被写体６が、ロンダート回転（１／２ひねり側方回転）を行った場合において、被写体６の腰の左右の位置６ａおよび位置６ｂをそれぞれトレースした場合の軌跡情報を示す。被写体６の姿勢は、直立（左向き）、横向き、倒立、横向き、直立（右向き）の順に変化している。直立（左向き）から横向きへの変化、横向きから直立（右向き）の変化において、被写体６がひねりの運動を行っている。位置６ａをトレースした曲線が軌跡情報１１ａとなり、位置６ｂをトレースした曲線が軌跡情報１１ｂとなる。

【0009】

軌跡情報１０ａ，１０ｂは、軌跡情報１１ａ，１１ｂとそれぞれ類似しているため、軌跡情報１０ａ，１０ｂを参照した視聴者は、被写体５が、軌跡情報１１の被写体６のように、体を１／２ひねったかのように錯覚してしまう場合がある。

【0010】

図２２で説明したように、被写体６の動きが、体の上下が入れ替わる動きを伴う場合には、特定の部位をトレースしただけではひねりの動きを正しく表示することができなくなる。

【0011】

１つの側面では、本発明は、被写体の運動のひねりを正しく表示することができる装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の案では、コンピュータが次の処理を実行する。コンピュータは、被写体の複数の関節位置を示す時系列の骨格情報を取得する。コンピュータは、骨格情報に基づき、基準点の第一の軌跡情報を生成する。コンピュータは、複数の関節位置に含まれる第一の関節位置と、第一の関節位置に対して左右対称の関係となる第二の関節位置とを、被写体の運動方向に基づいて回転させる。コンピュータは、回転させた第一の関節位置と基準点とに基づく時系列の乖離の大きさ、および、回転させた第二の関節位置と基準点とに基づく時系列の乖離の大きさのうち、少なくとも一方の時系列の乖離の大きさを示す第二の軌跡情報を生成する。コンピュータは、第一の軌跡情報と、第二の軌跡情報とを出力する。

【発明の効果】

【0013】

被写体の運動のひねりを正しく表示することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施例１にかかる情報処理装置の処理を説明するための図である。

【図2】図２は、第一位置および第二位置を特定する処理を説明するための図である。

【図3】図３は、本実施例１の情報処理装置が生成する軌跡情報を説明するための図である。

【図4】図４は、本実施例１にかかるシステムの構成を示す図である。

【図5】図５は、本実施例１にかかる骨格情報生成装置の構成を示す機能ブロック図である。

【図6】図６は、本実施例１にかかるセンシングＤＢのデータ構造の一例を示す図である。

【図7】図７は、本実施例１にかかる関節定義データのデータ構造の一例を示す図である。

【図8】図８は、本実施例１にかかる骨格情報ＤＢのデータ構造の一例を示す図である。

【図9】図９は、本実施例１にかかる３ＤモデルＤＢのデータ構造の一例を示す図である。

【図10】図１０は、本実施例１にかかる情報処理装置の構成を示す機能ブロック図である。

【図11】図１１は、本実施例１にかかる軌跡情報テーブルのデータ構造の一例を示す図である。

【図12】図１２は、本実施例１にかかる表示制御部が生成する画面情報の一例を示す図である。

【図13】図１３は、本実施例１にかかる情報処理装置の処理手順を示すフローチャートである。

【図14】図１４は、本実施例２にかかるシステムの構成を示す図である。

【図15】図１５は、本実施例２にかかる骨格情報生成装置の構成を示す機能ブロック図である。

【図16】図１６は、本実施例２にかかる映像ＤＢのデータ構造の一例を示す図である。

【図17】図１７は、本実施例２にかかる骨格情報ＤＢのデータ構造の一例を示す図である。

【図18】図１８は、本実施例２にかかる情報処理装置の構成を示す機能ブロック図である。

【図19】図１９は、本実施例２にかかる軌跡情報テーブルのデータ構造の一例を示す図である。

【図20】図２０は、本実施例２にかかる情報処理装置の処理手順を示すフローチャートである。

【図21】図２１は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図22】図２２は、従来技術の問題を説明するための図である。

【発明を実施するための形態】

【0015】

以下に、本願の開示する生成方法、生成プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例1】

【0016】

図１は、本実施例１にかかる情報処理装置の処理を説明するための図である。本実施例１では、体操競技を行う選手１５を被写体の一例として説明を行う。情報処理装置は、選手１５の複数の関節位置を示す時系列の骨格情報を基にして、基準点１５ａを特定する。基準点は、骨格情報の重心または選手１５のへそに対応する。

【0017】

情報処理装置は、複数の関節位置に含まれる第一の関節位置１６ａと、第一の関節位置１６ａに対して左右対称の関係となる第二の関節位置１６ｂを、運動方向３０に基づいて回転させる。運動方向３０は、重心（基準点１５ａ）の移動方向を示す。第一の関節位置１６ａを回転させた位置を、第一位置１７ａと表記する。第二の関節位置１６ｂを回転させた位置を、第二位置１７ｂと表記する。

【0018】

たとえば、第一の関節位置１６ａが、左腰の位置である場合には、第二の関節位置１６ｂは、右腰の位置となる。第一の関節位置１６ａが、左肩の位置である場合には、第二の関節位置１６ｂは、右肩の位置となる。図１に示す例では、第一の関節位置１６ａは、左腰の位置に対応し、第二の関節位置１６ｂは、右腰の位置に対応する。

【0019】

情報処理装置は、基準点１５ａと、第一位置１７ａとの距離を第一乖離量として算出する。情報処理装置は、基準点１５ａと、第二位置１７ｂとの距離を第二乖離量として計算する。

【0020】

ここで、第一乖離量および第二乖離量は、選手１５のひねりの角度に起因した値となる。たとえば、選手１５のひねりの角度をθとすると、第一乖離量および第二乖離量は、角度θの正弦関数に比例する量となる。このため、選手１５がひねりの運動を行わない場合には、第一乖離量および第二乖離量は一定の値となる。これに対して、選手１５がひねりの運動を行う場合には、ひねりの角度θに応じて、第一乖離量および第二乖離量が変化する。

【0021】

情報処理装置は、骨格情報を基にして、上記の基準点、第一位置、第二位置を特定する処理を時系列で実行し、基準点をトレースした軌跡情報と、第一位置をトレースした軌跡情報と、第二位置をトレースした軌跡情報とを生成する。基準点をトレースした軌跡情報は「第一の軌跡情報」に対応する。第一位置をトレースした軌跡情報、および、第二位置をトレースした軌跡情報の少なくとも一方の軌跡情報が「第二の軌跡情報」に対応する。

【0022】

ここで、情報処理装置が、図１で説明した第一位置および第二位置を特定する処理の一例について説明する。図２は、第一位置および第二位置を特定する処理を説明するための図である。情報処理装置の処理をステップＳ１～Ｓ５の順に説明する。

【0023】

ステップＳ１について説明する。情報処理装置は、選手１５の骨格情報を基にして、基準点１５ａと、胴体部分の中心線１５ｂと、第一の関節位置１６ａと、第二の関節位置１６ｂとを特定する。情報処理装置は、前後の時間の骨格情報を基にして、基準点１５ａの移動方向を、運動方向３０として特定する。

【0024】

ステップＳ２について説明する。情報処理装置は、中心線１５ｂとのなす角度が９０度となり、第一の関節位置１６ａを通る直線１５ｃを設定する。

【0025】

ステップＳ３ａについて説明する。情報処理装置は、第二の関節位置１６ｂを、中心線１５ｂに平行に移動して直線１５ｃに重なる位置に調整する。ステップＳ３ａで説明した図に、基準点１５ａと、運動方向３０とを重畳すると、ステップＳ３ｂに示すものとなるステップＳ３ａにおける第一の関節位置１６ａは「第一のマーク」に対応する。第二の関節位置１６ｂは「第二のマーク」に対応する。

【0026】

ステップＳ４について説明する。情報処理装置は、運動方向３０と重なるように、中心線１５ｂを回転させる。まず、情報処理装置は、中心線１５ｂと直線１５ｃの交点が基準点１５ａに重なるように第一の間接位置１６ａおよび第二の間接位置１６ｂを平行に移動させた後、中心線１５ｂにおいて選手１５の頭部側が運動方向３０と重なるように第一の間接位置１６ａおよび第二の間接位置１６ｂと共に回転させる。

【0027】

ステップＳ５について説明する。情報処理装置は、ステップＳ４の第一の関節位置１６ａを、第一位置１７ａとして特定する。情報処理装置は、ステップＳ４の第二の関節位置１６ｂを、第一位置１７ｂとして特定する。

【0028】

ここで、基準点１５ａと第一位置１７ａとの乖離量、および、基準点１５ａと第二位置１７ｂとの乖離量は、選手１５のひねりの角度θの正弦関数に比例する量となる。以下の説明では、基準点１５ａと第一位置１７ａとの乖離量、および、基準点１５ａと第二位置１７ｂとの乖離量を、まとめて、適宜「乖離量」と表記する。

【0029】

ひねりの角度θを一定にして、選手１５が運動を行っても、乖離量は一定となる。たとえば、選手１５が正面を向いている状態のひねりの角度θを９０度とする。角度θが「９０度」、または、「２７０度」の場合には、乖離量が最大の値をとる。角度θが「０度」、または「１８０度」の場合には、乖離量が最小の値をとる。すなわち、角度θが「０度」、または「１８０度」の場合には、第一位置１７ａ、第二位置１７ｂ、基準点１５ａの位置が重なる。

【0030】

図３は、本実施例１の情報処理装置が生成する軌跡情報を説明するための図である。例３では、選手１５が側方倒立回転を行った場合を示す。情報処理装置は、選手１５の腰の左右の位置（第一の関節位置）１６ａおよび位置（第二の関節位置）１６ｂを基にして算出した第一位置および第二位置をトレースした軌跡情報を生成する。例３において、第一位置をトレースした曲線が軌跡情報２０ａとなる。第二位置をトレースした曲線が軌跡情報２０ｂとなる。基準点をトレースした曲線を、軌跡情報２０ｃとする。

【0031】

例３において、選手１５の姿勢は、直立、横向き、倒立、横向き、直立の順に変化しているが、ひねりの角度が変化していないため、軌跡情報２０ａと軌跡情報２０ｃとの間隔、軌跡情報２０ｂと軌跡情報２０ｃとの距離は変化していない。

【0032】

例４では、選手１５がロンダート回転（１／２ひねり側方回転）を行った場合を示す。情報処理装置は、選手１５の腰の左右の位置１６ａおよび位置１６ｂを基にして算出した第一位置および第二位置をトレースした軌跡情報を生成する。例４において、第一位置をトレースした曲線が軌跡情報２１ａとなる。第二位置をトレースした曲線が軌跡情報２１ｂとなる。基準点をトレースした曲線を、軌跡情報２１ｃとする。

【0033】

例４において、選手１５の姿勢は、直立（左向き）、横向き、倒立、横向き、直立（右向き）の順に変化している。ここで、直立（左向き）から横向きへの変化、横向きから直立（右向き）への変化において、選手１５がひねりの運動を行っている。このため、直立（左向き）から横向きへのひねりの角度に応じて、軌跡情報２１ａと軌跡情報２１ｃとの間隔が広がり、軌跡情報２１ｂと軌跡情報２１ｃとの間隔が広がる。また、横向きから直立（左向き）へのひねりの角度に応じて、軌跡情報２１ａと軌跡情報２１ｃとの間隔が狭まり、軌跡情報２１ｂと軌跡情報２１ｃとの間隔が狭まる。

【0034】

上記のように、情報処理装置は、選手１５の骨格情報から胴体を構成する左右対称関係の関節位置を運動方向に基づき回転させた位置と、基準点との乖離量を時系列に示す軌跡情報を生成して表示する。情報処理装置により生成される各軌跡情報は、選手が体をひねっていない場合には、各軌跡情報の幅が一定となり、選手が体をひねった場合には、ひねりの角度θに応じて、各軌跡情報の幅が変化するので、視聴者は、選手１５の体のひねり具合を認識することができる。すなわち、情報処理装置によれば、被写体の運動のひねりを正しく表示することができる。

【0035】

次に、上述した情報処理装置を含むシステムの構成について説明する。図４は、本実施例１にかかるシステムの構成を示す図である。図４に示すように、このシステムは、３Ｄレーザセンサ５０と、骨格情報生成装置６０と、情報処理装置１００とを有する。

【0036】

３Ｄレーザセンサ５０は、選手１５に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となる３Ｄセンシングデータを、骨格情報生成装置６０に出力する。以下の説明では、３Ｄセンシングデータを、単に「センシングデータ」と表記する。３Ｄレーザセンサ５０により取得される、各フレームのセンシングデータは、フレーム番号と、選手１５上の各点までの距離情報とを含む。各フレームには、フレーム番号が昇順に付与される。３Ｄレーザセンサ５０は、各フレームのセンシングデータを、順次、骨格情報生成装置６０に出力してもよいし、複数フレーム分のセンシングデータを、定期的に、骨格情報生成装置６０に出力してもよい。

【0037】

骨格情報生成装置６０は、３Ｄレーザセンサ５０がセンシングしたセンシングデータを基にして、選手１５の複数の関節位置を示す時系列の骨格情報を生成する装置である。骨格情報生成装置６０は、骨格情報を、情報処理装置１００に出力する。

【0038】

情報処理装置１００は、骨格情報生成装置６０から骨格情報を取得し、骨格情報を基にして、図１で説明した基準点、第一位置および第二位置を特定し、基準点、第一位置、第二位置をそれぞれ時系列にトレースした各軌跡情報を生成する装置である。

【0039】

図４に示した骨格情報生成装置６０の構成の一例について説明する。図５は、本実施例１にかかる骨格情報生成装置の構成を示す機能ブロック図である。図５に示すように、この骨格情報生成装置６０は、通信部６１と、記憶部６２と、制御部６３とを有する。

【0040】

通信部６１は、３Ｄレーザセンサ５０と、情報処理装置１００とのデータ通信を実行する処理部である。たとえば、通信部６１は、ＮＩＣ（Network Interface Card）等によって実現される。通信部６１は、通信装置に対応する。

【0041】

記憶部６４は、センシングＤＢ６４ａと、関節定義データ６４ｂと、骨格情報ＤＢ６４ｃと、３ＤモデルＤＢ６４ｄとを有する。記憶部６４は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0042】

センシングＤＢ６４ａは、３Ｄレーザセンサ５０から取得するセンシングデータを格納するＤＢである。図６は、本実施例１にかかるセンシングＤＢのデータ構造の一例を示す図である。図６に示すように、このセンシングＤＢ６４ａは、フレーム番号と、センシングフレームとを対応づける。フレーム番号は、センシングフレームを一意に識別する番号である。センシングフレームは、３Ｄレーザセンサ５０にセンシングされたセンシングデータに含まれるフレームである。

【0043】

関節定義データ６４ｂは、選手１５の各関節位置を定義するデータである。図７は、本実施例１にかかる関節定義データのデータ構造の一例を示す図である。図７に示すように、関節定義データ６４ｂは、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図７に示すように、右肩関節（SHOULDER＿RIGHT）にはＡ７番が付与され、左肘関節（ELBOW＿LEFT）にはＡ５番が付与され、左膝関節（KNEE＿LEFT）にはＡ１１番が付与され、右股関節（HIP＿RIGHT）にはＡ１４番が付与される。ここで、本実施例１では、Ａ７番の右肩関節のＸ座標をＸ７、Ｙ座標をＹ７、Ｚ座標をＺ７と記載する場合がある。なお、点線の数字は、より細かな動きを必要とする際に利用される間接であり、利用目的に応じて骨格情報ＤＢとして適用されるものである。全体の動きを俯瞰して把握する場合には利用されない間接等である。

【0044】

骨格情報ＤＢ６４ｃは、時系列の骨格情報を保持するデータベースである。図８は、本実施例１にかかる骨格情報ＤＢのデータ構造の一例を示す図である。図８に示すように、この骨格情報ＤＢ６４ｃは、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応づける。

【0045】

図８において、フレーム番号は、同一の演技ＩＤに対応する各センシングフレームを一意に識別する番号である。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図７に示すＡ０番号の関節の３次元座標である。

【0046】

図８は、センシングデータにおける各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」であることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。

【0047】

３ＤモデルＤＢ６４ｄは、センシングデータを基に生成される選手１５の３Ｄモデルのデータを格納するデータベースである。図９は、本実施例１にかかる３ＤモデルＤＢのデータ構造の一例を示す図である。図９に示すように、３ＤモデルＤＢ６４ｄは、フレーム番号と、３Ｄモデルデータとを対応づける。３Ｄモデルデータは、センシングデータから得られる情報と、骨格情報とを基にして推定される選手１５の３Ｄモデルのデータである。フレーム番号に関する説明は、センシングＤＢ６４ａで行った説明と同様である。

【0048】

図５の説明に戻る。制御部６５は、取得部６５ａと、生成部６５ｂと、送信部６５ｃとを有する。制御部６５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ(Micro Processing Unit)により実現される。また、制御部６５は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実行されてもよい。

【0049】

取得部６５ａは、３Ｄレーザセンサ５０から、センシングデータを取得する処理部である。取得部６５ａは、取得したセンシングデータを、センシングＤＢ６４ａに格納する。

【0050】

生成部６５ｂは、センシングＤＢ６４ａを基にして、時系列の骨格情報を生成する処理部である。生成部６５ｂは、時系列の骨格情報を、骨格情報ＤＢ６４ｃに登録する。本実施例１では、生成部６５ｂは、フレーム番号毎の複数の関節位置を、時系列の骨格情報として生成する。

【0051】

生成部６５ｂは、センシングＤＢ６４ａのセンシングフレームと、関節定義データ６４ｂに定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。生成部６５ｂは、各フレーム番号に対応するセンシングフレームについて、上記処理を繰り返し実行することで、各フレーム番号に対応する骨格情報を生成する。

【0052】

生成部６５ｂは、骨格情報ＤＢ６４ｃに格納された各関節の３次元座標を、関節定義データ８２ｂに定義された接続関係を基にしてつなぎ合わせることで、骨格構造データを生成する。また、生成部６５ｂは、推定した骨格構造データを、選手１５の体格に合わせた骨格モデルに当てはめることで、３Ｄモデルデータを生成する。生成部６５ｂは、フレーム番号毎に上記処理を繰り返し実行することで、３ＤモデルＤＢ６４ｄを生成する。

【0053】

送信部６５ｃは、骨格情報ＤＢ６４ｃに登録される時系列の骨格情報、３Ｄモデルデータを、情報処理装置１００に送信する処理部である。上記のように、骨格情報には、フレーム番号と、各関節の位置とを対応付けた情報が含まれる。

【0054】

次に、図４に示した情報処理装置１００の構成の一例について説明する。図１０は、本実施例１にかかる情報処理装置の構成を示す機能ブロック図である。図１０に示すように、この情報処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

【0055】

通信部１１０は、骨格情報生成装置６０とのデータ通信を実行する処理部である。たとえば、通信部１１０は、ＮＩＣ等によって実現される。通信部１１０は、通信装置に対応する。

【0056】

入力部１２０は、各種の情報を、情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0057】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。たとえば、表示部１３０は、制御部１５０から出力される軌跡情報等を表示する。

【0058】

記憶部１４０は、骨格情報ＤＢ１４１と、３ＤモデルＤＢ１４２と、軌跡情報テーブル１４３とを有する。記憶部１４０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0059】

骨格情報ＤＢ１４１は、選手１５の複数の関節位置を示す時系列の骨格情報を保持するデータベースである。骨格情報ＤＢ１４１のデータ構造は、図８で説明した骨格情報ＤＢ６４ｃと同様にして、フレーム番号と、各関節の３次元座標とを対応付ける。

【0060】

３ＤモデルＤＢ１４２は、骨格情報生成装置６０により生成される３Ｄモデルの情報を保持するデータベースである。３ＤモデルＤＢ１４２のデータ構造は、図９で説明した３ＤモデルＤＢ６４ｄと同様にして、フレーム番号と、３Ｄモデルデータとを対応付ける。

【0061】

軌跡情報テーブル１４３は、図３等で説明した各軌跡情報を保持するテーブルである。図１１は、本実施例１にかかる軌跡情報テーブルのデータ構造の一例を示す図である。図１１に示すように、軌跡情報テーブル１４３は、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を有する。基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報はそれぞれ、各フレーム番号における３次元位置によって示される。

【0062】

図１０の説明に戻る。制御部１５０は、取得部１５１と、生成部１５２と、表示制御部１５３とを有する。制御部１５０は、たとえば、ＣＰＵやＭＰＵにより実現される。また、制御部１５０は、たとえば、ＡＳＩＣやＦＰＧＡ等の集積回路により実行されてもよい。

【0063】

取得部１５１は、骨格情報生成装置６０から、時系列の骨格情報を取得し、取得した骨格情報を、骨格情報ＤＢ１４１に格納する。取得部１５１は、骨格情報生成装置６０から、時系列の３Ｄモデルデータを取得し、取得した３Ｄモデルデータを、３ＤモデルＤＢ１４２に格納する。

【0064】

生成部１５２は、骨格情報ＤＢ１４１に格納された骨格情報を取得し、時系列の骨格情報を基にして、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を生成する処理部である。生成部１５２は、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を、軌跡情報テーブル１４３に格納する。

【0065】

生成部１５２が、骨格情報を基にして、基準点の軌跡情報を生成する処理の一例について説明する。生成部１５２は、骨格情報の各関節の位置を基にして、重心を算出し、算出した重心の位置を、基準点の位置とする。生成部１５２は、所定の関節の位置を、基準点の位置として特定してもよい。たとえば、図７で説明したＡ１番の位置を、基準点の位置として特定する。生成部１５２は、時系列の骨格情報を基にして、上記の基準点の位置を算出する処理を繰り返し実行することで、基準点の軌跡情報を生成する。

【0066】

生成部１５２は、基準点の位置を算出する場合に、選手１５の運動方向を合わせて算出してもよい。たとえば、生成部１５２は、フレーム番号ｎ－１の骨格情報を基にした基準点の位置から、フレーム番号ｎの基準点の位置への方向を、フレーム番号ｎにおける選手１５の運動方向として算出する。

【0067】

生成部１５２が、骨格情報を基にして、第一位置の軌跡情報、第二位置の軌跡情報を生成する処理の一例について説明する。生成部１５２は、骨格情報に含まれる複数の関節位置のうち、所定の関節位置を、第一の関節位置、第二の関節位置として選択する。たとえば、生成部１５２は、Ａ１４番（右腰）の関節位置を、第一の関節位置として選択する。生成部１５２は、Ａ１０番（左腰）の関節位置を、第二の関節位置として選択する。第一の関節位置、第二の関節位置は、図２で説明した、第一の関節位置１６ａ、第二の関節位置１６ｂに対応する。

【0068】

生成部１５２は、骨格情報を基にして、中心線を計算する。たとえば、中心線は、Ａ０番、Ａ１番を結ぶ直線となる。かかる中心線は、図２で説明した中心線１５ｂに対応する。

【0069】

生成部１５２は、図２で説明したステップＳ１～Ｓ５の処理を実行することで、第一位置１７ａおよび第二位置１７ｂを算出する。なお、運動方向３０は、上記のように、基準点を基にして算出される運動方向となる。

【0070】

生成部１５２は、時系列の骨格情報を基にして、上記の第一位置を算出する処理を繰り返し実行することで、第一位置の軌跡情報を生成する。生成部１５２は、時系列の骨格情報を基にして、上記の第二位置を算出する処理を繰り返し実行することで、第二位置の軌跡情報を生成する。

【0071】

なお、上記の説明では、生成部１５２は、基準点の位置、第一位置、第二位置の情報を、軌跡情報として、軌跡情報テーブル１４３に格納したが、これに限定されるものではない。たとえば、生成部１５２は、各フレーム番号において、基準点の位置と第一位置との乖離量、基準点の位置と第に位置との乖離量を、それぞれ軌跡情報として算出し、軌跡情報テーブル１４３に格納してもよい。

【0072】

表示制御部１５３は、軌跡情報テーブル１４３に格納された基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を、表示部１３０に出力して表示させる処理部である。たとえば、表示制御部１５３は、各軌跡情報を基にして画面情報を生成し、表示部１３０に出力して表示させてもよい。

【0073】

図１２は、本実施例１にかかる表示制御部が生成する画面情報の一例を示す図である。図１２に示すように、画面情報には、グラフＧ１が含まれる。グラフＧ１の縦軸は、床からの距離に対応する軸である。グラフＧ１の横軸は、選手１５の移動方向の距離に対応する軸である。図１２に示す例では、基準点の軌跡情報７０と、第一位置の軌跡情報７１と、第二位置の軌跡情報７２とがグラフＧ１に表示されている。軌跡情報７０，７１，７２が１回交差する毎に、選手１５は体を１／２回ひねっていることを意味する。

【0074】

表示制御部１５３は、基準点の軌跡情報７０を表示させないで、第一位置の軌跡情報７１と、第二位置の軌跡情報７２とがグラフＧ１に表示させてもよい。この場合、第一位置の軌跡情報７１は、第三の軌跡情報に対応し、第二位置の軌跡情報７２は、第四の軌跡情報に対応する。これによって、ひねりの回数をより認識しやすく表示することができる。

【0075】

また、表示制御部１５３は、３Ｄモデルと、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を重畳したモデル重畳情報を生成し、表示部１３０に表示させてもよい。表示制御部１５３は、フレーム番号を用いて、３Ｄモデルの動きと、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報とを同期させる。表示制御部１５３は、モデル重畳情報を表示させる場合に、予め指定された視点方向を基準として、モデル重畳情報を表示させてもよいし、入力部１２０を介して指定される視点方向を基準として、モデル重畳情報を表示させてもよい。

【0076】

なお、表示制御部１５３は、図１２に示した画面情報や、モデル重畳情報を、一般試聴用の映像コンテンツとして、ＴＶ局のサーバ等に送信してもよい。

【0077】

次に、本実施例１にかかる情報処理装置１００の処理手順の一例について説明する。図１３は、本実施例１にかかる情報処理装置の処理手順を示すフローチャートである。図１３に示すように、情報処理装置１００の取得部１５１は、骨格情報生成装置６０から骨格情報を取得し、骨格情報ＤＢ１４１に格納する（ステップＳ１０１）。取得部１５１は、骨格情報生成装置６０から３Ｄモデルデータを取得し、３ＤモデルＤＢ１４２に格納する（ステップＳ１０２）。

【0078】

情報処理装置１００の生成部１５２は、骨格情報ＤＢ１４１から骨格情報を取得する（ステップＳ１０３）。生成部１５２は、骨格情報を基にして、基準点の位置を算出する（ステップＳ１０４）。

【0079】

生成部１５２は、骨格情報を基にして、第一の関節位置、第二の関節位置を特定する（ステップＳ１０５）。生成部１５２は、基準点の運動方向を基にして、第一の関節位置、第二の関節位置を回転させ、第一位置および第二位置を算出する（ステップＳ１０６）。

【0080】

生成部１５２は、取得した骨格情報のフレーム番号と対応付けて、基準点の位置、第一位置、第二位置を、軌跡情報テーブル１４３に格納する（ステップＳ１０７）。情報処理装置１００の表示制御部１５３は、３Ｄモデルデータと、各軌跡情報とを重畳した画面情報を生成して表示部１３０に出力する（ステップＳ１０８）。

【0081】

生成部１５２は、処理を継続する場合には（ステップＳ１０９，Ｙｅｓ）、骨格情報ＤＢ１４１から次の骨格情報を取得し（ステップＳ１１０）、ステップＳ１０４に移行する。一方、生成部１５２は、処理を継続しない場合には（ステップＳ１０９，Ｎｏ）、処理を終了する。

【0082】

次に、本実施例１にかかる情報処理装置１００の効果について説明する。情報処理装置１００は、骨格情報を基にして、第一の関節位置と第二の関節位置とを特定し、第一の関節位置と第二の関節位置とを選手１５の運動方向に基づいて回転させることで、第一位置および第二位置を算出する。情報処理装置１００は、基準点の軌跡情報と、第一位置および第二位置の軌跡情報とを出力して表示させる。上記の基準点と第一位置との乖離量および基準点と第二位置との乖離量は、選手１５のひねりの角度θの正弦関数に比例する量となる。このため、選手１５がひねりの運動を行うことで乖離量は変化し、選手１５がひねりの運動を行わないと乖離量は一定の値となる。したがって、上記処理により算出された乖離量の軌跡情報を出力して表示することで、選手１５の運動のひねりを正しくかつ視覚的に分かりやすく表示することができる。仮に第一の関節位置と第二の関節位置の間隔が小さいことによって、選手１５のひねりに伴う乖離量の変化が小さく、視覚的にひねりの状態が分かりにくい場合、算出工程において基準点から第一位置および第二位置までの乖離量を一定倍率に拡大して第一位置および第二位置を決定してもよい。

【0083】

情報処理装置１００は、骨格情報の中心線と直角に交わる直線を第一の関節位置および第二の関節位置に基づいて設定し、直線に第一の関節位置に対応する第一のマークおよび第二の関節位置に対応する第二のマークを設定し、被写体の移動方向に合わせて中心線を回転させ、中心線との角度が直角に交わるように直線を回転させる。情報処理装置１００は、基準点と、第一のマークの位置との距離を、第一の関節位置と基準点との時系列の乖離の大きさとして算出し、基準点と、第二のマークの位置との距離を、第二の関節位置と基準点との時系列の乖離の大きさとして算出する。これによって、選手１５のひねりに応じた乖離量を適切に算出することができる。

【0084】

情報処理装置１００は、基準点の軌跡情報と、第一位置の軌跡情報と、第二位置の軌跡情報とを重畳した情報を生成して、表示部１３０に表示させる。これによって、選手１５による運動の軌跡と、ひねりの状態とを同時に認識させることが可能である。なお、情報処理装置１００は、基準点の軌跡情報と、第一位置の軌跡情報とを重畳した情報を生成してもよいし、基準点の軌跡情報と、第二位置の軌跡情報とを重畳した情報を生成してもよい。

【0085】

情報処理装置１００に出力される情報を参照するとことで、一般の視聴者は、複雑な運動であってもひねりの回数を把握しやすくなる。また、選手やその指導者にとっては、運動のどこの地点でどのくらいひねっているのかを把握しやすくなる。たとえば、練習で同じ運動を繰り返し行った時の体のこなし方の良否を判断する際の補助情報として役に立つ。また、同一の運動を様々な選手で比較する場合に個人差を把握することが容易にできる。

【実施例2】

【0086】

次に、本実施例２にかかるシステムについて説明する。図１４は、本実施例２にかかるシステムの構成を示す図である。図１４に示すように、このシステムは、カメラ８０と、骨格情報生成装置９０と、情報処理装置２００とを有する。

【0087】

カメラ８０は、選手１５の映像を撮影するカメラである。カメラ８０は、撮影した映像の情報を、骨格情報生成装置９０に出力する。たとえば、カメラ８０は、フレームレート６０ｆｐｓ（frames per second）によって、時系列の画像フレームを撮影する。画像フレームは、あるタイミングにおける静止画像である。以下の説明では、カメラが撮影した映像の情報を、映像情報とを表記する。映像情報には、時系列の画像フレームが含まれ、各画像フレームには、フレーム番号が付与される。

【0088】

骨格情報生成装置９０は、カメラ８０が撮影した映像情報を基にして、選手１５の複数の関節位置を示す時系列の骨格情報を生成する装置である。骨格情報生成装置９０は、骨格情報を、情報処理装置２００に出力する。

【0089】

情報処理装置２００は、骨格情報生成装置９０から骨格情報を取得し、骨格情報を基にして、図１で説明した基準点、第一位置および第二位置を特定し、基準点、第一位置、第二位置をそれぞれ時系列にトレースした各軌跡情報を生成する装置である。

【0090】

図１４に示した骨格情報生成装置９０の構成の一例について説明する。図１５は、本実施例２にかかる骨格情報生成装置の構成を示す機能ブロック図である。図１５に示すように、この骨格情報生成装置９０は、通信部９１と、記憶部９２と、制御部９３とを有する。

【0091】

通信部９１は、カメラ８０と、情報処理装置２００とのデータ通信を実行する処理部である。たとえば、通信部９１は、ＮＩＣ等によって実現される。通信部９１は、通信装置に対応する。

【0092】

記憶部９４は、映像ＤＢ９４ａと、関節位置特定モデル９４ｂと、骨格情報ＤＢ９４ｃとを有する。記憶部６４は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0093】

映像ＤＢ９４ａは、カメラ８０から取得する映像情報を格納するＤＢである。図１６は、本実施例２にかかる映像ＤＢのデータ構造の一例を示す図である。図１６に示すように、この映像ＤＢ９４ａは、フレーム番号と、画像フレームとを対応づける。フレーム番号は、画像フレームを一意に識別する番号である。画像フレームは、カメラ８０に撮影された映像情報に含まれる画像フレームである。

【0094】

関節位置特定モデル９４ｂは、画像フレームを入力した際に、選手１５の複数の関節位置を出力するモデルデータである。関節位置特定モデル９４ｂは、ＮＮ（Neural Network）等によって実現され、事前にパラメータが学習されているものとする。

【0095】

骨格情報ＤＢ９４ｃは、時系列の骨格情報を保持するデータベースである。図１７は、本実施例２にかかる骨格情報ＤＢのデータ構造の一例を示す図である。図１７に示すように、この骨格情報ＤＢ９４ｃは、フレーム番号と、「Ｘ０、Ｙ０、・・・、Ｘ１７、Ｙ１７」を対応づける。たとえば、本実施例２に係る骨格情報は、各関節位置を２次元によって特定する。

【0096】

図１７において、フレーム番号は、画像フレームを一意に識別する番号である。「Ｘ０、Ｙ０、・・・、Ｘ１７、Ｙ１７」は、各関節のＸ、Ｙ座標であり、たとえば「Ｘ０、Ｙ０」は、実施例１の図７で説明したＡ０番号の関節の２次元座標である。図示を省略するが、骨格情報生成装置９０は、記憶部９４に、図７で説明した関節定義データ６４ｂを有していてもよい。

【0097】

図１７は、映像情報における各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、・・・、Ｘ１７＝２００、Ｙ１７＝４０」であることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９」へ移動したことを示す。

【0098】

図１５の説明に戻る。制御部９５は、取得部９５ａと、生成部９５ｂと、送信部９５ｃとを有する。制御部９５は、例えば、ＣＰＵやＭＰＵにより実現される。また、制御部９５は、例えばＡＳＩＣやＦＰＧＡ等の集積回路により実行されてもよい。

【0099】

取得部９５ａは、カメラ８０から、映像情報を取得する処理部である。取得部９５ａは、取得した映像情報を、映像ＤＢ９４ａに格納する。

【0100】

生成部９５ｂは、映像ＤＢ９４ａを基にして、時系列の骨格情報を生成する処理部である。生成部９５ｂは、時系列の骨格情報を、骨格情報ＤＢ９４ｃに登録する。本実施例２では、生成部９５ｂは、フレーム番号毎の複数の関節位置を、時系列の骨格情報として生成する。

【0101】

たとえば、生成部９５ｂは、関節位置特定モデル９４ｂに画像フレームを入力することで、画像フレームに含まれる選手１５の各関節位置の情報を算出する。実施例２では、関節位置特定モデル９４ｂを基にして、関節位置を算出する場合について説明したが、他の技術を用いて、画像フレームから、関節位置を算出してもよい。

【0102】

送信部９５ｃは、骨格情報ＤＢ９４ｃに登録される時系列の骨格情報、映像情報を、情報処理装置２００に送信する処理部である。上記のように、骨格情報には、フレーム番号と、各関節の位置とを対応付けた情報が含まれる。

【0103】

次に、図１４に示した情報処理装置２００の構成の一例について説明する。図１８は、本実施例２にかかる情報処理装置の構成を示す機能ブロック図である。図１８に示すように、この情報処理装置２００は、通信部２１０、入力部２２０、表示部２３０、記憶部２４０、制御部２５０を有する。

【0104】

通信部２１０は、骨格情報生成装置９０とのデータ通信を実行する処理部である。たとえば、通信部２１０は、ＮＩＣ等によって実現される。通信部２１０は、通信装置に対応する。

【0105】

入力部２２０は、各種の情報を、情報処理装置２００に入力する入力装置である。入力部２２０は、キーボードやマウス、タッチパネル等に対応する。

【0106】

表示部２３０は、制御部２５０から出力される情報を表示する表示装置である。表示部２３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。たとえば、表示部２３０は、制御部１５０から出力される軌跡情報等を表示する。

【0107】

記憶部２４０は、骨格情報ＤＢ２４１と、映像ＤＢ２４２と、軌跡情報テーブル２４３とを有する。記憶部２４０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0108】

骨格情報ＤＢ２４１は、選手１５の複数の関節位置を示す時系列の骨格情報を保持するデータベースである。骨格情報ＤＢ２４１のデータ構造は、図１７で説明した骨格情報ＤＢ９４ｃと同様にして、フレーム番号と、各関節の２次元座標とを対応付ける。

【0109】

映像ＤＢ２４２は、骨格情報生成装置６０により出力される映像情報を保持するデータベースである。映像ＤＢ２４２のデータ構造は、図１６で説明した映像ＤＢ９４ａと同様にして、フレーム番号と、画像フレームとを対応付ける。

【0110】

軌跡情報テーブル２４３は、図３等で説明した各軌跡情報を保持するテーブルである。図１９は、本実施例２にかかる軌跡情報テーブルのデータ構造の一例を示す図である。図１９に示すように、軌跡情報テーブル２４３は、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を有する。基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報はそれぞれ、各フレーム番号における２次元位置によって示される。

【0111】

図１８の説明に戻る。制御部２５０は、取得部２５１と、生成部２５２と、表示制御部２５３とを有する。制御部２５０は、たとえば、ＣＰＵやＭＰＵにより実現される。また、制御部２５０は、たとえば、ＡＳＩＣやＦＰＧＡ等の集積回路により実行されてもよい。

【0112】

取得部２５１は、骨格情報生成装置９０から、時系列の骨格情報を取得し、取得した骨格情報を、骨格情報ＤＢ２４１に格納する。取得部２５１は、骨格情報生成装置９０から、時系列の映像情報を取得し、取得した映像情報を、映像ＤＢ２４２に格納する。

【0113】

生成部２５２は、骨格情報ＤＢ２４１に格納された骨格情報を取得し、時系列の骨格情報を基にして、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を生成する処理部である。生成部２５２は、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を、軌跡情報テーブル２４３に格納する。

【0114】

生成部２５２が、骨格情報を基にして、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を生成する処理は、取り扱う座標が３次元から２次元に代わる以外は、実施例１で説明した生成部１５２の処理と同様である。

【0115】

表示制御部２５３は、軌跡情報テーブル２４３に格納された基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を、表示部２３０に出力して表示させる処理部である。たとえば、表示制御部２５３は、各軌跡情報を基にして画面情報を生成し、表示部２３０に出力して表示させてもよい。

【0116】

また、表示制御部２５３は、映像情報と、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報を重畳した映像重畳情報を生成し、表示部２３０に表示させてもよい。表示制御部２５３は、フレーム番号を用いて、映像情報の各画像フレームと、基準点の軌跡情報、第一位置の軌跡情報、第二位置の軌跡情報とを同期させる。

【0117】

なお、表示制御部２５３は、生成した画面情報や、映像重畳情報を、一般試聴用の映像コンテンツとして、ＴＶ局のサーバ等に送信してもよい。

【0118】

次に、本実施例２にかかる情報処理装置２００の処理手順の一例について説明する。図２０は、本実施例２にかかる情報処理装置の処理手順を示すフローチャートである。図２０に示すように、情報処理装置２００の取得部２５１は、骨格情報生成装置９０から骨格情報を取得し、骨格情報ＤＢ２４１に格納する（ステップＳ２０１）。取得部２５１は、骨格情報生成装置９０から映像情報を取得し、映像ＤＢ２４２に格納する（ステップＳ２０２）。

【0119】

情報処理装置２００の生成部２５２は、骨格情報ＤＢ２４１から骨格情報を取得する（ステップＳ２０３）。生成部２５２は、骨格情報を基にして、基準点の位置を算出する（ステップＳ２０４）。

【0120】

生成部２５２は、骨格情報を基にして、第一の関節位置、第二の関節位置を特定する（ステップＳ２０５）。生成部２５２は、基準点の運動方向を基にして、第一の関節位置、第二の関節位置を回転させ、第一位置および第二位置を算出する（ステップＳ２０６）。

【0121】

生成部２５２は、取得した骨格情報のフレーム番号と対応付けて、基準点の位置、第一位置、第二位置を、軌跡情報テーブル２４３に格納する（ステップＳ２０７）。情報処理装置２００の表示制御部２５３は、映像情報と、各軌跡情報とを重畳した画面情報を生成して表示部２３０に出力する（ステップＳ２０８）。

【0122】

生成部２５２は、処理を継続する場合には（ステップＳ２０９，Ｙｅｓ）、骨格情報ＤＢ２４１から次の骨格情報を取得し（ステップＳ２１０）、ステップＳ２０４に移行する。一方、生成部２５２は、処理を継続しない場合には（ステップＳ２０９，Ｎｏ）、処理を終了する。

【0123】

次に、本実施例２にかかる情報処理装置２００の効果について説明する。情報処理装置２００は、骨格情報を基にして、第一の関節位置と第二の関節位置とを特定し、第一の関節位置と第二の関節位置とを選手１５の運動方向に基づいて回転させることで、第一位置および第二位置を算出する。情報処理装置２００は、基準点の軌跡情報と、第一位置および第二位置の軌跡情報とを出力して表示させる。上記の基準点と第一位置との乖離量および基準点と第二位置との乖離量は、選手１５のひねりの角度θの正弦関数に比例する量となる。このため、選手１５がひねりの運動を行うことで乖離量は変化し、選手１５がひねりの運動を行わないと乖離量は一定の値となる。したがって、上記処理により算出された乖離量の軌跡情報を出力して表示することで、選手１５の運動のひねりを正しくかつ視覚的に分かりやすく表示することができる。仮に第一の関節位置と第二の関節位置の間隔が小さいことによって、選手１５のひねりに伴う乖離量の変化が小さく、視覚的にひねりの状態が分かりにくい場合、算出工程において基準点から第一位置および第二位置までの乖離量を一定倍率に拡大して第一位置および第二位置を決定してもよい。

【0124】

次に、上記実施例に示した情報処理装置１００（２００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２１は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0125】

図２１に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、骨格情報生成装置６０（９０）、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0126】

ハードディスク装置３０７は、取得プログラム３０７ａ、生成プログラム３０７ｂ、学習モデル表示制御プログラム３０７ｃを有する。また、ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｃを読み出してＲＡＭ３０６に展開する。

【0127】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。生成プログラム３０７ｂは、生成プロセス３０６ｂとして機能する。表示制御プログラム３０７ｃは、表示制御プロセス３０６ｃとして機能する。

【0128】

取得プロセス３０６ａの処理は、取得部１５１，２５１の処理に対応する。生成プロセス３０６ｂの処理は、生成部１５２，２５２の処理に対応する。表示制御プロセス３０６ｃの処理は、表示制御部１５３，２５３の処理に対応する。

【0129】

なお、各プログラム３０７ａ～３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｃを読み出して実行するようにしてもよい。

【0130】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0131】

（付記１）コンピュータが実行する生成方法であって、
被写体の複数の関節位置を示す時系列の骨格情報を取得し、
前記骨格情報に基づき、基準点の第一の軌跡情報を生成し、
前記複数の関節位置に含まれる第一の関節位置と、前記第一の関節位置に対して左右対称の関係となる第二の関節位置とを、前記被写体の運動方向に基づいて回転させ、
回転させた前記第一の関節位置と前記基準点とに基づく時系列の乖離の大きさ、および、回転させた前記第二の関節位置と前記基準点とに基づく時系列の乖離の大きさのうち、少なくとも一方の時系列の乖離の大きさを示す第二の軌跡情報を生成し、
前記第一の軌跡情報と、前記第二の軌跡情報とを出力する
処理を実行することを特徴とする生成方法。

【0132】

（付記２）前記回転させる処理は、前記骨格情報の中心線と直角に交わる直線を前記第一の関節位置および前記第二の関節位置に基づいて設定し、前記直線に前記第一の関節位置に対応する第一のマークおよび前記第二の関節位置に対応する第二のマークを設定し、前記被写体の運動方向に合わせて前記中心線を回転させ、前記中心線との角度が直角に交わるように前記直線を回転させることを特徴とする付記１に記載の生成方法。

【0133】

（付記３）前記第二の軌跡情報を生成する処理は、前記基準点と、前記第一のマークの位置との距離を、前記第一の関節位置と前記基準点との時系列の乖離の大きさとして算出し、前記基準点と、前記第二のマークの位置との距離を、前記第二の関節位置と前記基準点との時系列の乖離の大きさとして算出することを特徴とする付記２に記載の生成方法。

【0134】

（付記４）前記被写体の映像情報に、前記第一の軌跡情報および前記第二の軌跡情報を重畳した情報を生成する処理を更に実行することを特徴とする付記１、２または３に記載の生成方法。

【0135】

（付記５）前記生成する処理は、回転させた前記第一の関節位置と前記基準点との時系列の乖離の大きさを示す第三の軌跡情報と、回転させた前記第二の関節位置と前記基準点との時系列の乖離の大きさを示す第四の軌跡情報とを生成し、前記出力する処理は、前記第三の軌跡情報と、前記第四の軌跡情報とを出力することを特徴とする付記１に記載の生成方法。

【0136】

（付記６）コンピュータに、
被写体の複数の関節位置を示す時系列の骨格情報を取得し、
前記骨格情報に基づき、基準点の第一の軌跡情報を生成し、
前記複数の関節位置に含まれる第一の関節位置と、前記第一の関節位置に対して左右対称の関係となる第二の関節位置とを、前記被写体の運動方向に基づいて回転させ、
回転させた前記第一の関節位置と前記基準点とに基づく時系列の乖離の大きさ、および、回転させた前記第二の関節位置と前記基準点とに基づく時系列の乖離の大きさのうち、少なくとも一方の時系列の乖離の大きさを示す第二の軌跡情報を生成し、
前記第一の軌跡情報と、前記第二の軌跡情報とを出力する
処理を実行させることを特徴とする生成プログラム。

【0137】

（付記７）前記回転させる処理は、前記骨格情報の中心線と直角に交わる直線を前記第一の関節位置および前記第二の関節位置に基づいて設定し、前記直線に前記第一の関節位置に対応する第一のマークおよび前記第二の関節位置に対応する第二のマークを設定し、前記被写体の運動方向に合わせて前記中心線を回転させ、前記中心線との角度が直角に交わるように前記直線を回転させることを特徴とする付記６に記載の生成プログラム。

【0138】

（付記８）前記第二の軌跡情報を生成する処理は、前記基準点と、前記第一のマークの位置との距離を、前記第一の関節位置と前記基準点との時系列の乖離の大きさとして算出し、前記基準点と、前記第二のマークの位置との距離を、前記第二の関節位置と前記基準点との時系列の乖離の大きさとして算出することを特徴とする付記７に記載の生成プログラム。

【0139】

（付記９）前記被写体の映像情報に、前記第一の軌跡情報および前記第二の軌跡情報を重畳した情報を生成する処理を更に実行することを特徴とする付記６、７または８に記載の生成プログラム。

【0140】

（付記１０）前記生成する処理は、回転させた前記第一の関節位置と前記基準点との時系列の乖離の大きさを示す第三の軌跡情報と、回転させた前記第二の関節位置と前記基準点との時系列の乖離の大きさを示す第四の軌跡情報とを生成し、前記出力する処理は、前記第三の軌跡情報と、前記第四の軌跡情報とを出力することを特徴とする付記６に記載の生成プログラム。

【0141】

（付記１１）被写体の複数の関節位置を示す時系列の骨格情報を取得する取得部と、
前記骨格情報に基づき、基準点の第一の軌跡情報を生成し、前記複数の関節位置に含まれる第一の関節位置と、前記第一の関節位置に対して左右対称の関係となる第二の関節位置とを、前記被写体の運動方向に基づいて回転させ、回転させた前記第一の関節位置と前記基準点とに基づく時系列の乖離の大きさ、および、回転させた前記第二の関節位置と前記基準点とに基づく時系列の乖離の大きさのうち、少なくとも一方の時系列の乖離の大きさを示す第二の軌跡情報を生成する生成部と、
前記第一の軌跡情報と、前記第二の軌跡情報とを出力する表示制御部と
を有することを特徴とする情報処理装置。

【0142】

（付記１２）前記生成部は、前記骨格情報の中心線と直角に交わる直線を前記第一の関節位置および前記第二の関節位置に基づいて設定し、前記直線に前記第一の関節位置に対応する第一のマークおよび前記第二の関節位置に対応する第二のマークを設定し、前記被写体の運動方向に合わせて前記中心線を回転させ、前記中心線との角度が直角に交わるように前記直線を回転させることを特徴とする付記１１に記載の情報処理装置。

【0143】

（付記１３）前記生成部は、前記基準点と、前記第一のマークの位置との距離を、前記第一の関節位置と前記基準点との時系列の乖離の大きさとして算出し、前記基準点と、前記第二のマークの位置との距離を、前記第二の関節位置と前記基準点との時系列の乖離の大きさとして算出することを特徴とする請求項１２に記載の情報処理装置。

【0144】

（付記１４）表示制御部は、前記被写体の映像情報に、前記第一の軌跡情報および前記第二の軌跡情報を重畳した情報を生成する処理を更に実行することを特徴とする付記１１、１２または１３に記載の情報処理装置。

【0145】

（付記１５）前記生成部は、回転させた前記第一の関節位置と前記基準点との時系列の乖離の大きさを示す第三の軌跡情報と、回転させた前記第二の関節位置と前記基準点との時系列の乖離の大きさを示す第四の軌跡情報とを生成し、前記表示制御部は、前記第三の軌跡情報と、前記第四の軌跡情報とを出力することを特徴とする付記１１に記載の情報処理装置。

【符号の説明】

【0146】

５０ ３Ｄレーザセンサ
６０，９０ 骨格情報生成装置
６１，９１，１１０ 通信部
６４，９４，１４０ 記憶部
６４ａ センシングＤＢ
６４ｂ 関節定義データ
６４ｃ，９４ｃ，１４１，２４１ 骨格情報ＤＢ
６４ｄ ３ＤモデルＤＢ
６５，９５，１５０ 制御部
６５ａ，９５ａ、１５１，２５１ 取得部
６５ｂ，９５ｂ，１５２，２５２ 生成部
６５ｃ，９５ｃ 送信部
９４ａ，２４２ 映像ＤＢ
９４ｂ 関節位置特定モデル
１００，２００ 情報処理装置
１２０，２２０ 入力部
１３０，２３０ 表示部
１４２ ３ＤモデルＤＢ
１４３，２４３ 軌跡情報テーブル
１５３，２５３ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】