特許 6899105 動作表示装置、動作表示方法及び動作表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6899105

(24)【登録日】2021年6月16日

(45)【発行日】2021年7月7日

(54)【発明の名称】動作表示装置、動作表示方法及び動作表示プログラム

(51)【国際特許分類】

   A63B 69/00 20060101AFI20210628BHJP

   A63B 69/36 20060101ALI20210628BHJP

   A61B 5/11 20060101ALI20210628BHJP

   G06T 13/40 20110101ALI20210628BHJP

【ＦＩ】

   A63B69/00 A

   A63B69/36 541W

   A61B5/11 200

   G06T13/40

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2020-172529(P2020-172529)

(22)【出願日】2020年10月13日

【審査請求日】2020年10月13日

【早期審査対象出願】

(73)【特許権者】

【識別番号】519344969

【氏名又は名称】株式会社ＰｏｃｋｅｔＲＤ

(74)【代理人】

【識別番号】230112911

【弁護士】

【氏名又は名称】三和 圭二郎

(72)【発明者】

【氏名】香月 蔵人

(72)【発明者】

【氏名】高田 寿久

【審査官】 目黒 大地

(56)【参考文献】

【文献】 特開２０２０−００５１９２（ＪＰ，Ａ）

【文献】 特開２００５−１９８８１８（ＪＰ，Ａ）

【文献】 特開２０２０−１４４２３３（ＪＰ，Ａ）

【文献】 特開２０１３−２０２０９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００− ９／５６

１７／００−１９／２６

Ａ６３Ｂ６９／００−６９／４０

Ｇ０６Ｔ ７／００− ７／９０

(57)【特許請求の範囲】

【請求項1】

目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示装置であって、
目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成手段と、
前記動作情報生成手段によって生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成手段と、
学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する３次元データを生成する３次元データ生成手段と、
前記３次元データ生成手段によって生成された３次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記現実映像を生成する映像生成手段と、
前記映像生成手段によって生成された前記モデル映像の少なくとも一部と、学習者の現実の動作態様を示す前記現実映像の少なくとも一部とを表示する表示手段と、
を備えたことを特徴とする動作表示装置。

【請求項2】

前記差分情報生成手段は、前記差分情報として、対応関係にある特徴点間の距離が第１の閾値以上となった状態が第２の閾値以上の時間にわたり継続した場合に、前記第２の閾値以上の時間範囲における前記特徴点間の相対位置の時間変動に関する情報を生成することを特徴とする請求項１記載の動作表示装置。

【請求項3】

目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示方法であって、
目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成ステップと、
前記動作情報生成ステップにおいて生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成ステップと、
学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する３次元データを生成する３次元データ生成ステップと、
前記３次元データ生成ステップにおいて生成された３次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記現実映像を生成する映像生成ステップと、
前記映像生成ステップにおいて生成された前記モデル映像の少なくとも一部と、学習者の現実の動作態様を示す前記現実映像の少なくとも一部とを表示する表示ステップと、
を含むことを特徴とする動作表示方法。

【請求項4】

目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とをコンピュータに表示させる動作表示プログラムであって、
前記コンピュータに対し、
目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成機能と、
前記動作情報生成機能によって生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成機能と、
学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する３次元データを生成する３次元データ生成機能と、
前記３次元データ生成機能によって生成された３次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記現実映像を生成する映像生成機能と、
前記映像生成機能によって生成されたモデル映像の少なくとも一部と、学習者の現実の動作態様を示す現実映像の少なくとも一部とを表示する表示機能と、
を実現させることを特徴とする動作表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示装置に関するものである。

【背景技術】

【0002】

スポーツや舞踊等の上達には、当該スポーツ等に特化した特殊な動作の習得が必要不可欠である。このような動作を独力で習得することは容易ではなく、従来は例えば、既に動作を習得している専門家に依頼して一挙手一投足をチェックしてもらい動作を矯正してもらうなどの指導を受けるのが一般的であった。

【0003】

これに対して近年、センシング技術の向上等により、スポーツや舞踊等における特殊な動作の習得を要する分野において、独力での動作習得を補助するための技術が提案されている。

【0004】

例えば、特許文献１に開示された技術では、学習者の体に複数のモーションセンサ及び刺激提供デバイスを付属せしめる構成を採用する。当該技術においては、モーションセンサによって学習者の動作状況を把握し、刺激提供デバイスによって不適切な動作を行っている箇所を刺激することにより、学習者に対し動作の改善を促している。

【0005】

また、特許文献２に開示された技術では、バランス訓練、歩行訓練において左足、右足の足裏への荷重状況を測定し、荷重状況を視覚的に表示することを通じて直立時のバランス訓練及び歩行訓練を支援する機能が示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０−６９３５３号公報

【特許文献2】特開２０１９−１８７５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献１、２記載の技術は、モーションセンサ等の測定手段を用いて学習者の動作について正確に測定することで問題点を正確に判定できる一方で学習者が問題点を具体的に把握することは困難であり、目標とすべき動作を具体的に認識できず、かつ、どのように動作を改善すべきかについても具体的に認識できないという課題を有する。

【0008】

例えば、特許文献１記載の技術では、表示装置にて表示されるのはモーションセンサによって計測された数値データあるいは数値データに基づくグラフであり、専門知識を有さない学習者にとっては、それがいかなる意義を有するものであるか把握することは困難である。このことは特許文献２についても同様であり、足裏の荷重状況の図が表示されても、かかる荷重状況の何がどのように問題であるか把握することは困難である。

【0009】

また、特許文献１、２共に、学習者が到達すべき動作の具体的内容について示す機能を具備していない。特許文献１、２が想定する歩行、走行（特許文献１・図５参照）といった単純動作であれば目標動作の具体的態様まで示す必要性は低いものの、スポーツにおける特定動作（ゴルフのスイング、野球の投手の投球動作、空手の型等）や舞踊における特定動作では、「学習者本人が」どのような動作をすべきかについて、具体的に示すことが望ましい。

【0010】

また、特許文献１、２は、問題点に基づきどのように動作を改善すべきかに関する具体的な情報の提示がなされないという課題がある。例えば特許文献１では刺激により問題個所を指摘する構成を採用するものの、問題個所をどのように改めるべきかについて、具体的な情報を提示することはない。特許文献２に至っては、図示した足裏の荷重状況に基づき医師・指導者が具体的な指導を行う扱いであり、装置自体が改善点を指摘することはない。

【0011】

本発明は上記の課題に鑑みてなされたものであって、学習者に目標とすべき動作態様を具体的に示しつつ、学習者の動作の問題点を分かりやすく提示する技術を実現することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するため、請求項１にかかる動作表示装置は、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示装置であって、目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成手段と、前記動作情報生成手段によって生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成手段と、学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する３次元データを生成する３次元データ生成手段と、前記３次元データ生成手段によって生成された３次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記現実映像を生成する映像生成手段と、前記映像生成手段によって生成された前記モデル映像の少なくとも一部と、学習者の現実の動作態様を示す前記現実映像の少なくとも一部と、を表示する表示手段とを備えたことを特徴とする。

【0014】

また、上記目的を達成するため、請求項２にかかる動作表示装置は、上記の発明において、前記差分情報生成手段は、前記差分情報として、対応関係にある特徴点間の距離が第１の閾値以上となった状態が第２の閾値以上の時間にわたり継続した場合に、前記第２の閾値以上の時間範囲における前記特徴点間の相対位置の時間変動に関する情報を生成することを特徴とする。

【0015】

また、上記目的を達成するため、請求項３にかかる動作表示方法は、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示方法であって、目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成ステップと、前記動作情報生成ステップにおいて生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成ステップと、学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する３次元データを生成する３次元データ生成ステップと、前記３次元データ生成ステップにおいて生成された３次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記現実映像を生成する映像生成ステップと、前記映像生成ステップにおいて生成された前記モデル映像の少なくとも一部と、学習者の現実の動作態様を示す前記現実映像の少なくとも一部とを表示する表示ステップと、を含むことを特徴とする。

【0017】

また、上記目的を達成するため、請求項４にかかる動作表示プログラムは、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とをコンピュータに表示させる動作表示プログラムであって、前記コンピュータに対し、目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成機能と、前記動作情報生成機能によって生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成機能と、学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する３次元データを生成する３次元データ生成機能と、前記３次元データ生成機能によって生成された３次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記３次元データ中の特徴点の位置を時間変動して前記３次元データを動作させた映像として前記現実映像を生成する映像生成機能と、前記映像生成機能によって生成されたモデル映像の少なくとも一部と、学習者の現実の動作態様を示す現実映像の少なくとも一部とを表示する表示機能と、を実現させることを特徴とする。

【発明の効果】

【0018】

本発明によれば、学習者に目標とすべき動作態様を具体的に示しつつ、学習者の動作の問題点を分かりやすく提示するという効果を奏する。

【図面の簡単な説明】

【0019】

【図1】実施の形態１にかかる動作表示装置の構成を示す模式図である。

【図2】実施の形態１にかかる動作表示装置の動作について示すフローチャートである。

【図3】実施の形態２にかかる動作表示装置の構成を示す模式図である。

【図4】実施の形態３における動作表示装置の構成を示す模式図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態においては、本発明の実施の形態として最も適切と考えられる例について記載するものであり、当然のことながら、本発明の内容を本実施の形態にて示された具体例に限定して解すべきではない。同様の作用・効果を奏する構成であれば、実施の形態にて示す具体的構成以外のものであっても、本発明の技術的範囲に含まれることは勿論である。

【0021】

（実施の形態１）
まず、実施の形態１にかかる動作表示装置について説明する。図１に示すとおり、本実施の形態１にかかる動作改善支援装置は、学習者の動作映像を撮影するための撮影部１と、撮影された動作映像等を記録する映像データベース２と、映像データベース２に記録された動作映像等から被写体人物の特徴点を抽出する特徴点抽出部３と、当該動作映像等における特徴点の位置変動に関する情報である動作情報を生成する動作情報生成部４と、学習者に関する動作情報と指標映像（後述。特許請求の範囲における「目標とする動作態様の映像」に相当する。）における動作情報の相違点に関する情報である差分情報を生成する差分情報生成部５と、学習者の外観に関する３次元データを生成する３次元データ生成部６と、生成された差分情報に基づき、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像を生成する映像生成部７と、生成された映像を表示する表示部８とを備える。

【0022】

撮影部１は、学習者の全身静止画像と、学習者の動作映像と、学習者が目標とする動作を記録した指標映像とを撮影するためのものである。具体的には、撮影部１は、互いに異なる位置に配置された複数のカメラによって構成され、被写体に対し複数の異なる方向から画像を取得する機能を有し、これらの画像を合成することによって被写体に関する３次元画像を生成する機能を有する。撮影部１の構成としては、全方向から被写体画像を取得するための多数のカメラ及び画像合成処理を行う電子計算機によって構成されることが望ましいが、例えば、広角レンズを備えた少数のカメラによって構成してもよいし、単一のカメラによって撮影された画像を用いて所定のアルゴリズムに基づき３次元画像を生成することとしてもよい。

【0023】

本実施の形態１では、撮影部１は、学習者の全身画像を撮影すると共に、学習者の動作映像について撮影するものとする。また、本実施の形態１では、指標映像についても撮影部１を利用して生成するものとし、具体的には、学習者が習得しようとしている動作について専門的技能を備えた者の動作映像を撮影するものとする。学習者の全身画像については静止画とし、動作映像については動画とする。

【0024】

映像データベース２は、撮影部１にて撮影された静止画、動画等の映像を記憶するためのものである。具体的には、映像データベース２は、撮影部１から出力されたものの他、外部から入力された映像についても記憶する機能を有するものとする。また、映像データベース２は、記憶している映像に関して特徴点抽出部３にて抽出された特徴点及び動作情報生成部４によって生成された動作情報を、当該映像と関連付けた形式にて記憶するものとする。

【0025】

特徴点抽出部３は、学習者の全身静止画像及び動作映像と指標映像における被写体の骨格構造に関する特徴点を抽出するためのものである。ここで、「骨格構造」とは、人体における骨格等に相当する、３次元コンピュータグラフィックスにおいて動作を作出する際等において基準となる内部構造をいう。具体的な構成としては人体における骨格構造と同様に所定の太さ、大きさを有する骨や関節からなる構造とすることも可能であるが、本実施の形態ではいわゆるスケルトンと称される、人体における間接等に相当するジョイント（３次元コンピュータグラフィックス上では点として表現される。）と、ジョイント間に位置し、人体における骨に相当するボーン（線として表現される。）の集合によって表現されるものとする。

【0026】

骨格構造における「特徴点」とは、例えば人体における首、肩、ひじ、手首、指先、腰、膝、足首等のように、被写体の骨格構造の動作態様の特定に用いられる箇所をいう。主に関節（「骨格構造」における「ジョイント」）に対応した部分が特徴点として抽出されるが、それ以外の部分を特徴点と定義することも可能である。なお、動作態様の特定に資する箇所に加え、骨格構造の構成自体の特定に資する箇所を特徴点と定義づけてもよい。

【0027】

特徴点抽出部３による特徴点の抽出処理は、３次元画像から直接、深層学習、機械学習等を利用して行うこととしてもよく、また、３次元画像を２次元に投影した上で、姿勢推定技術等の画像分析技術を利用して抽出することとしてもよい。また、学習者が習得しようとする動作の種別に応じて予め特徴点の位置及び変動に関する情報を付加した基準動作モデルを生成しておき、これとの対比によって学習者の動作映像及び指標映像における被写体の特徴点抽出を行う構成としてもよい。ただし、後述する表示映像生成の際における便宜のため、学習者の動作映像と指標映像における特徴点は、同一定義にしたがって定められたものであることが望ましい。

【0028】

なお、抽出された特徴点については、被写体の３次元画像における位置と意味内容（特徴点甲は右膝に対応する特徴点である、特徴点乙は左肩に対応する特徴点である、等）に関する情報を付加された上で、被写体と関連付けた状態にて映像データベース２に記憶される。

【0029】

動作情報生成部４は、特徴点の位置変動に基づき、特徴点を含む骨格構造の動作態様を特定する動作情報を生成するためのものである。具体的には、動作情報生成部４は、特徴点抽出部３によって抽出された特徴点に関して、学習者の動作映像及び指標映像における被写体の特徴点の位置が時間経過に応じてどのように変化するかを認識する。その上で動作情報生成部４は、各特徴点と骨格構造の関係に基づき、特徴点の位置変動に応じて骨格構造がどのように動作するかを記述する。動作情報の具体的構成としては、最も簡易な構成としては、固定した３次元座標系における各特徴点の位置座標の時間変化を記述する形式が考えられ（これに予め把握した骨格構造を組み合わせることにより骨格構造の動作態様を特定できる。）、また、近接する他の特徴点に対する相対的な位置変化を記録することとしてもよい。例えば、隣接する特徴点がそれぞれ単一のボーンの両端に位置するジョイントに相当する場合は、特徴点間距離が一定となるため、他方を原点とした上でｒ、θ、φからなる３次元極座標系にてｒ＝一定とした上で相対的な位置関係の変位を記録することも可能である。もちろん、特徴点のみではなく骨格構造全体における時間経過に伴う形状変化そのものを記載する形式としてもよい。

【0030】

なお、指標映像に関する動作情報については、動作情報生成部４は、上述のとおり作成したものについて、さらに学習者の体型（より具体的には学習者の体型に基づいて生成された３次元データ）における特徴点ないし骨格構造に適合させた形式に変換したものを、動作情報として生成する。指標映像における被写体と学習者は身長、足の長さ、腕の長さ、肩幅等が一致せず、骨格構造及び特徴点の具体的な位置についても相違するのが一般的である。骨格構造等の相違について調整せぬまま動作情報を出力した場合、差分情報の生成、表示映像の生成等が煩雑となることから、本実施の形態１においては、指標映像に関する動作情報については、指標映像の被写体に関する特徴点に基づき動作態様に関する情報を生成した後、当該動作態様を学習者の骨格構造上で再現したものに変換する処理を行った上で、動作情報を生成する。具体的には、例えば隣接する特徴点間で相対的な３次元極座標系にて特徴点の位置変動を記述した場合において、骨ジョイントにおける可動範囲は同等と設定してθ、φの値をそのまま維持する一方で、格構造の異同に応じてｒの値を変化させる態様にて、動作情報生成部４は動作情報を生成する。

【0031】

差分情報生成部５は、学習者の動作映像に基づく動作情報と、指標映像にて動作する被写体映像の動作情報の相違点に関する情報である差分情報を生成するためのものである。具体的には、差分情報生成部５は、動作時における学習者の動作映像と指標映像間において、同時刻（動作開始時を起点とした時間系における同一時刻）における、対応関係にある特徴点間における相対的な位置関係（距離及び方向に関する情報を含む）の時間変動に関する情報である差分情報を生成する。なお、差分情報として動作開始から終了までのすべての時間帯における相対的な位置関係を記録することとしてもよいが、本実施の形態では、特徴点間の距離が閾値以上となる状態が所定の閾値時間以上継続した場合において、当該特徴点間の相対的な位置関係の時間変動に関する情報を、差分情報として生成することとする。

【0032】

３次元データ生成部６は、撮影部１にて撮影された学習者の全身静止画像に基づき、学習者の特徴を表示した３次元コンピュータグラフィック画像からなる３次元データを生成するためのものである。３次元データは、対象物の外表面に関する外観構造、内部構造である骨格構造及び外観構造と骨格構造の間の相関関係に関する情報によって構成される。外観構造は対象物の外表面に関する構造をいい、３次元データにおいては、表面形状、質感及びＲＧＢ画像によって構成される。

【0033】

表面形状とは、外表面形状を抽象化したものであり、具体的にはモデリング処理等によって外表面形状を所定数の頂点及び頂点間の接続態様により表現した構成からなる。頂点及び頂点間の接続態様に関する情報に基づき頂点間を結ぶ辺が形成され、３本以上の辺によって囲まれた領域が微小面（ポリゴン）として定義され、微小面の集合（メッシュ）によって、抽象化された外表面形状が表現される。質感とは、外表面における微小な凹凸を２次元的に表現したものであって、一般にテクスチャとも称される。頂点及び頂点間の接続態様により構成される表面形状は、外表面の細かな形状に関する情報までは包含しないため、元の３次元画像の質感を忠実に再現する目的で、２次元平面上に陰陽等を反映したハイトマップ、ノーマルマップ等のパターン形成を行うことにより、疑似的に微小な凹凸を表現している。ＲＧＢ画像は外表面の模様・色彩を再現したものである。外表面を概略的に表現した表面形状に質感を付加することで微小な凹凸を含めた外表面形状が再現され、これに外表面の模様・色彩を再現したＲＧＢ画像を付加することにより、データ量を大幅に圧縮しつつも、撮影部１にて撮影された３次元画像における外観構造を忠実に再現している。

【0034】

骨格構造は、スケルトン等と称される、人体における間接等に相当するジョイントと、ジョイント間に位置し、人体における骨に相当するボーンの集合によって表現されるものである。骨格構造の具体的な構成及び特徴点については、特徴点抽出部３及び動作情報生成部４におけるものと同様であり、３次元データ生成部６が生成する３次元データ中の骨格構造に動作情報を付加することによって、学習者の動作映像における動作や、指標映像中の被写体の動作を再現することが可能である。

【0035】

外観構造と骨格構造の間の相関関係とは、骨格構造に含まれるジョイント、ボーンの動作時における表面形状（具体的には表面形状を構成する各頂点）の追従態様を規定したものである。仮に表面形状がジョイント、ボーンの動作に１００％追従する構成の場合、人間等のキャラクターであるにもかかわらずブリキ製ロボットのような動作となり現実感に乏しいキャラクターとなる。そのため、人物等の３次元コンピュータグラフィックスを生成する際には、表面形状の各部分ごとに、近接するボーン、ジョイントの変位に対しどの程度追従するかに関する情報を予め設定することが望ましい。本実施の形態においても、表面形状情報を構成する各頂点に関して、これと近接するボーン及び／又はジョイントに対する追従性を示す数値情報を設定したものを相関関係として設定する。なお、相関関係の生成作業はスキニング処理、ウェイト編集等と称され本実施の形態での相関関係についてもこれらの作業で生成されるウェイト値が一般に使用されるところ、本発明における相関関係はこれらに限定されることはなく、上述の条件を満たす情報全てを含むこととする。

【0036】

以上のとおり３次元データ生成部６は、撮影部１によって撮影された学習者の静止画像に基づき、内部構造として動作情報に対応した骨格構造及び特徴点を具備し、外表面が骨格構造の変位に追従して変位する構成の３次元データを生成する。かかる３次元データを用いて、映像生成部７による映像生成が行われる。

【0037】

映像生成部７は、指標映像に基づきモデル映像を生成し、学習者による動作映像に基づき現実映像を生成するためのものである。具体的には、映像生成部７は、指標映像中における被写体の骨格構造の動作態様の移植、より具体的には指標映像における動作者の特徴点の位置の時間変動に関する情報を３次元データに移植することによってモデル映像を生成する機能を有する。また、映像生成部７は、モデル映像における特徴点の位置の時間変動情報に対し、差分情報に含まれる学習者の動作映像と指標映像中の動作主体の動作映像間の相対的な位置関係の時間変動に関する情報を付加した新たな動作情報を３次元データに移植することによって、現実映像を生成する。

【0038】

なお、モデル映像及び現実映像はいずれも学習者を模した３次元データを動作させた映像であるため、同時ではなく交互に表示する、視覚的に両者を容易に判別できるように区別するための注釈情報を表示する、それぞれの３次元データを異なる色調にて表示する、濃淡を変化させる、閲覧者の指示により閲覧者が指定しない方の映像を点滅、表示停止する等の態様とすることが好ましい。また、映像生成部７は、差分情報にて示される指標映像における被写体の動作と学習者の動作の差を強調表示するため、動作態様の変化量に応じて変化している部分の色調を変化させる、変化量に応じた大きさ・長さからなる矢印を表示する、映像上の差分を実際の差分値よりも大きく表示する、等の表示態様とすることも好ましい。また、モデル映像及び現実映像については、必ずしも常に全身の映像を表示する必要はなく一部のみ表示することとしてもよく、かつ、動作開始から終了まですべての映像を表示するのではなく、例えば現実映像とモデル映像の相違点が顕著な時間帯についてのみ表示する構成としてもよい。

【0039】

表示部８は、映像生成部７によって生成された映像を表示するためのものである。学習者は、表示部８に表示された映像を視聴することにより、指標映像と比較した自身の動作態様の問題点を視覚的に把握することが可能である。

【0040】

なお、本実施の形態１にかかる動作表示装置の各部の具体的構成としては、独立した専用機器からなるものとしてもよいが、少なくとも映像データベース２ないし表示部８については、例えばパーソナルコンピュータ、サーバコンピュータ等の電子計算機によって構成してもよく、かつ、特徴点抽出部３ないし映像生成部７に関しては、汎用的なパーソナルコンピュータ等に、本発明に示す動作を電子計算機に行わせる内容のプログラムをインストールすることによって実現してもよい。また、映像データベース２に関しては、一般的な記憶装置、例えば電子計算装置に内蔵されるハードディスクの他、外付けハードディスクやＵＳＢメモリのように着脱可能な記憶装置、さらにはオンラインストレージサービスを利用する態様としてもよい。さらに、表示部８に関しては、映像を視覚的に表示する装置、例えばＣＲＴディスプレイ、液晶表示装置、有機ＥＬ装置等により構成することが可能であり、また、他の各部と一体的に構成する場合の他に、例えば学習者が使用する携帯情報端末に備わるディスプレイを表示部８として使用する態様としてもよい。

【0041】

次に、本実施の形態１にかかる動作表示装置の動作のうち、差分情報の生成について説明する。まず、学習者による動作映像から特徴点抽出を行い（ステップＳ１０１）、抽出した特徴点の時間経過に伴う位置変動を記録することにより、各特徴点に関する動作情報を生成する（ステップＳ１０２）。特徴点の位置変動の把握に関しては、ステップＳ１０１にて抽出した特徴点を追跡する形式でも、動画のコマ毎に、又は所定時間間隔（例えば０．１秒毎）にて特徴点抽出を行って位置変化を把握する形式でもよい。生成された動作情報は、学習者による動作映像と関連付けられた状態にて映像データベース２に記憶される。

【0042】

その後、指標映像中の動作映像からも特徴点抽出を行い（ステップＳ１０３）、抽出した特徴点に関する動作情報を生成する（ステップＳ１０４）。具体的な処理内容はステップＳ１０１、Ｓ１０２と同様であり、生成された動作情報は、指標映像と関連付けられた状態にて映像データベース２に記憶される。

【0043】

そして、差分情報生成部５が、それぞれの動作情報中において対応関係にある特徴点（例えば、双方において右足の膝に相当する特徴点）の時間経過に伴う位置変動の情報を抽出し、同時刻における特徴点間距離が閾値以上となる状態の持続時間を計測して（ステップＳ１０５）、持続時間が所定の閾値以上であるか否かを判定する（ステップＳ１０６）。

【0044】

特徴点間距離が閾値以上となる持続時間の値が所定の閾値以上である場合（ステップＳ１０６、Ｙｅｓ）は、その特徴点を特定する情報（右腕の肘に相当する特徴点である、等）及び当該持続時間を含む時間帯における特徴点間距離が０以外の値となる時刻及び各時刻における特徴点間の相対位置（距離に加え方向に関する情報を含むものとする。）に関する情報を含む差分情報を生成する（ステップＳ１０７）。持続時間の値が閾値未満だった場合（ステップＳ１０６、Ｎｏ）又は差分情報が生成された後には、すべての特徴点に関する判定作業が終了したか確認し（ステップＳ１０８）、終了していない場合（ステップＳ１０８、Ｎｏ）は、ステップＳ１０５に戻って他の特徴点について同様の処理を繰り返す。すべての特徴点に関する判定作業が終了した場合（ステップＳ１０８、Ｙｅｓ）は、差分情報生成処理を終了する。

【0045】

次に、本実施の形態１にかかる動作表示装置の利点について説明する。まず、本実施の形態１では、指標映像をそのまま表示するのではなく、指標映像中の動作と同じ動作を学習者の３次元データにて再現した形式にて表示する構成を採用している。これにより、学習者は自らが目標とすべき動作の具体的態様について、自身による動作映像を通じて把握でき、より現実的に、自身が目指すべき動作の内容を認識できるという利点が生ずる。

【0046】

また、本実施の形態１にかかる動作表示装置は、自らが改善すべき点を容易に把握できるように、指標映像と比較して学習者の動作が劣る部分（差分情報にて示される部分）を視覚的に表示する機能を有する。これにより、学習者は自らの動作において改善すべき箇所がどこであり、具体的にどの程度改善すべきかについて容易に把握できるという利点が生ずる。

【0047】

また、本実施の形態１にかかる動作表示装置は、指標映像における動作態様と学習者の動作態様の相違点すべてについて表示するのではなく、対応する特徴点間の距離が閾値以上であり、かつ、その状態の継続時間が所定の閾値以上となるもののみを差分情報として生成し、表示することとしている。特に学習者が初心者である場合、指標映像における動作と一致しない動作が多く、これらの動作をすべて表示するとどの部分から改善すべきか認識できず、また、改善すべき箇所が多数に上る場合には学習者が上達をあきらめてしまう等の問題がある。このため、本実施の形態１にかかる動作表示装置では、優先的に改善すべき位置のずれが大きく、かつ一定時間その状態が維持されている箇所についてのみ差分情報を生成し表示することとしている。かかる構成を採用することにより、学習者は、自らが優先的に改善すべき箇所を容易に把握しかつ上達への動機づけを損なうことなく動作改善を行うことが可能となる。

【0048】

さらに、本実施の形態１にかかる動作表示装置は、学習者の動作映像をそのまま表示せずに、指標映像を基準として差分情報の分だけ動作態様を異ならせた映像を表示することとしている。特定の動作を習得するにあたって現時点における自らの具体的な動作態様をすべて把握することは必須ではなく、むしろ指標映像における動作態様と対比して劣る部分ばかりが表示され、学習者の意欲を損なうリスクが高くなる。本実施の形態１では、係る点に着目し、指標映像（に基づく学習者自身の３次元データによる動作表示）の比較対象としては学習者の動作映像を使用せず、差分情報の分だけ指標映像の動作態様を変化させた３次元データ表示を行うこととしている。

【0049】

（実施の形態２）
次に、実施の形態２にかかる動作表示装置について、図３を参照しつつ説明する。実施の形態２において、実施の形態１と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１における構成要素と同一の機能を発揮するものとする。本実施の形態２に係る動作表示装置は、学習者の動作状況を複数回測定することを通じて、動作の改善状況についても表示する機能を有する。

【0050】

本実施の形態２において、撮影部１１は、学習者の当初における動作映像のみならず、指標映像及び学習者の動作映像に基づく３次元データ表示を確認してから所定期間経過後における、学習者の動作映像についても撮影する機能を有する。映像データベース１２は、実施の形態１にて示したデータに加え、撮影部１１にて新たに撮影される、所定期間経過後における学習者の動作映像についても記憶する。特徴点抽出部１３及び動作情報生成部１４は、所定期間経過後における学習者の動作映像についても、特徴点抽出及び動作情報の生成を行う。

【0051】

差分情報生成部１５は、実施の形態１と同様に学習者の当初における動作映像に関する動作情報と指標映像に関する動作情報に基づき差分情報（本実施の形態では第１の差分情報という。）を生成する。これに加えて差分情報生成部１５は、第２の差分情報として、第１の差分情報にて含まれる特徴点について、第１の差分情報における時間帯における、学習者の当初における動作と所定期間経過後における動作との間における特徴点間の相対位置に関する情報を生成する。なお、第２の差分情報に関しては、第１の差分情報とは異なり、特徴点間距離及び継続時間について閾値を設けず、例えば特徴点間距離が０であっても第２の差分情報は生成される。

【0052】

映像生成部１７は、指標映像に対応した第１の３次元データ及び学習者の当初の動作映像に対応した第２の３次元データに加え、第３の３次元データとして、当初と所定期間経過後における学習者の動作映像間の情報である第２の差分情報を使用した映像を生成する機能を有する。

【0053】

第３の３次元データは、第２の３次元データの動作態様から、第２の差分情報の分だけ動作態様を変化させることによって生成される。かかる構成とすることによって、第３の３次元データは、所定期間経過後における学習者の動作映像に対応した内容を含むこととなる。

【0054】

映像生成部１７は、第１ないし第３の３次元データについて、同時に重ね合わせる形式にて表示してもよいし、区別を容易にするため、第１と第２の３次元データのみ表示する態様、第２と第３の３次元データのみ表示する態様のように、複数の表示態様を視聴者が選択できる形式にて表示してもよい。また、第２の３次元データと第３の三次元データは、いわば第１の３次元データ（指標映像に対応したもの）を見た後における動作改善の程度を示すものであるから、動作態様の変化量に応じて変化している部分の色調を変化させる、変化量に応じた大きさ・長さからなる矢印を表示する、映像上の差分を実際の差分値よりも大きく表示する、等の表示態様とすることも好ましい。

【0055】

以上のような構成とすることにより、実施の形態２にかかる動作表示装置は、学習者における動作の改善状況を視覚的かつ客観的に表示できるという利点を有する。これにより学習者は、自らの動作における修正が十分か不十分か、さらには過度の修正がなされていないかを把握することが可能となる。

【0056】

（実施の形態３）
次に、実施の形態３にかかる動作表示装置について説明する。実施の形態３において実施の形態１、２と同一名称又は／及び同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１、２における構成要素と同一の機能を発揮するものとする。

【0057】

本実施の形態３にかかる動作表示装置は、図４に示すとおり、映像データベース２２が指標映像となりうる複数の映像を記憶すると共に、学習者に適した指標映像を選択するための指標映像選択部２３をさらに備えた構成を有する。

【0058】

指標映像選択部２３は、学習者の動作映像から生成された動作情報に基づき、学習者の動作と最も近似する動作情報を有する映像を指標映像として選択する機能を有する。具体的には、指標映像選択部２３は、学習者の動作映像と任意の指標映像候補との間における、対応関係にある各特徴点間の距離を時間積分した値の合計値が最も小さくなる指標映像候補を、指標映像として選択する機能を有する。

【0059】

なお、簡易な構成としては、特徴点間距離の時間積分に代えて、単位時間（例えば０．１秒）ごとに特徴点間距離の平均値を導出し、当該平均値に０．１秒を積算した値の合計値を求める形式としてもよい。また、より簡易な構成としては、特徴点間距離が一定の閾値を超過した時間に当該閾値を乗算した値を求める形式としてもよい。本発明においてこれらの特徴点間距離の時間積分等を総称して「特徴点間距離の総和」と称する。

【0060】

次に、本実施の形態３にかかる動作表示装置の利点について説明する。まず、本実施の形態３では指標映像選択部２３が学習者の動作と近似した動作からなる指標映像を選択することにより、学習者が自身と同タイプの動作態様を手本に動作改善を行うことが可能となるという利点を有する。例えば、ゴルフスイングを習得するにあたっては、手本となりうるスイングパターンは多数存在し、唯一の正解というものはない（数多くのプロゴルファーがそれぞれ個性的なスイングで素晴らしい成果を出している。）。

【0061】

そのため、動作態様改善を効率的に行うためには、自身に適合した指標映像を選択する必要があるところ、学習者が初心者である等の場合には、適切な指標映像を選択することは困難である。本実施の形態３では、学習者の動作映像を基準として、これと近似した動作から成る指標映像を選択することにより、学習者と同タイプの、違和感等が生じにくい指標映像を使用することを可能としている。本実施の形態３にかかる動作表示装置がかかる構成を採用することによって、学習者は自らの個性に合わせた動作態様を手本に動作改善を図ることができるという利点が生ずる。

【0062】

また、本実施の形態３においては、特徴点間距離の総和の合計値が最も小さくなるものを指標映像として使用することにより、学習者は、今までの動作態様からの修正量を少なく抑制しつつ動作改善を図ることが可能となり、学習者の負担を軽減できるという利点も有する。

【0063】

以上、実施の形態において本発明の内容について説明したが、もとより本発明の技術的範囲は実施の形態に記載した具体的構成に限定して解釈されるべきではなく、本発明の機能を実現できるものであれば、上記実施の形態に対する様々な変形例、応用例についても、本発明の技術的範囲に属することはもちろんである。

【0064】

例えば、指標映像については映像そのものを映像データベース２等に保存するのではなく動作情報のみ保存する構成としてもよい。本発明においては指標映像についても学習者の３次元データに移植した上で表示することから、少なくとも移植対象である動作情報が記憶されていれば、指標映像本体がなくとも本発明の構成を実現することが可能である。

【0065】

また、３次元データの構成についても、実施の形態１にて説明した形式に限定されない。例えば、外表面の形状についてメッシュ構造とするのではなく、表面全体をボクセル等の微小単位の集合と規定し各微小単位の位置情報を記録した形式としてもよい。この場合、微小単位を点と近似した上で、３次元データの外表面形状を構成することも可能である。

【0066】

また、差分情報生成部５等における差分情報生成について、閾値の値は習得しようとする動作の種類や、学習者のレベルに応じて変化させてもよい。例えば、ゴルフスイングのように飛距離等の結果が大切であってスイングは手段にすぎないような場合は、過度に動作習得に偏重することは好ましくない。他方で、舞踊のように動作態様がすべてであって細かい動作に至るまで厳格さが求められるケースでは、徹底的に動作態様について改善する必要がある。また、学習者が初心者である場合は、あまり細かい点を指摘して学習者を混乱させたり意欲を削ぐことは極力回避すべきである一方、ある程度の熟練者であれば、より高いレベルを実現するために細かな動作態様の相違点についてまで指摘する必要がある。このように、差分情報生成時における閾値の値は、動作態様の種別、学習者の習熟度等に応じて柔軟に調整することが望ましい。

【0067】

さらに、３次元データ生成部６が学習者の3次元データを生成する際において、撮影部１等にて学習者の全身静止画像を用いるのではなく、学習者の動作映像に基づき学習者の容貌、体型等を認識した上で３次元データを生成することとしてもよい。まあ、２次元の静止画像に基づき３次元データを生成してもよい。

【0068】

また、表示部８にて表示する現実映像については、実施の形態１〜３にて説明した態様以外に、単純に、学習者の動作映像を適宜拡大・縮小等の処理を施した上で表示する態様も可能である。好ましくは差分情報等に基づき３次元データとして表示すべきであるところ、より簡易な構成としては、現実映像として実際の映像を表示することも可能である。

【0069】

さらに、モデル映像の元となる指標映像（目標とする動作態様の映像）については、習熟した人物が実際に動作を行った様子を撮影した映像のみならず、特殊撮影やアニメーション等の技術を用いて創作した映像であってもよい。

【0070】

また、実施の形態１ないし３では具体的な「装置」として本発明の説明を行ったが、もとより本発明の形態は「装置」に限定されるのではなく、「方法」又は「コンピュータプログラム」によって実現することも可能である。

【産業上の利用可能性】

【0071】

本発明は、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示装置として利用可能である。

【符号の説明】

【0072】

１、１１ 撮影部
２、１２、２２ 映像データベース
３、１３ 特徴点抽出部
４、１４ 動作情報生成部
５、１５ 差分情報生成部
６ ３次元データ生成部
７、１７ 映像生成部
８ 表示部
２３ 指標映像選択部

【要約】

【課題】学習者に目的とすべき動作態様を具体的に示しつつ、学習者の動作の問題点を分かりやすく提示する技術を実現する。
【解決手段】学習者の動作映像を撮影するための撮影部１と、撮影された動作映像等を記録する映像データベース２と、記録された動作映像等から被写体人物の特徴点を抽出する特徴点抽出部３と、当該動作映像等における特徴点の位置変動に関する情報である動作情報を生成する動作情報生成部４と、学習者に関する動作情報と指標映像における動作情報の相違点に関する情報である差分情報を生成する差分情報生成部５と、学習者の外観に関する３次元データを生成する３次元データ生成部６と、生成された差分情報に基づき、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像を生成する映像生成部７と、生成された映像を表示する表示部８とを備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】