特開 2022-88229 練習支援装置、練習支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022088229

(43)【公開日】2022-06-14

(54)【発明の名称】練習支援装置、練習支援方法及びプログラム

(51)【国際特許分類】

   A61H 1/02 20060101AFI20220607BHJP

【ＦＩ】

A61H1/02 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020200547

(22)【出願日】2020-12-02

(71)【出願人】

【識別番号】505218801

【氏名又は名称】学校法人渡辺学園

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】磯 直樹

(72)【発明者】

【氏名】鈴木 誠

【テーマコード（参考）】

4C046

【Ｆターム（参考）】

4C046AA25

4C046AA33

4C046AA45

4C046DD37

4C046DD39

4C046EE04

4C046EE13

4C046EE23

4C046EE25

4C046EE32

4C046EE33

4C046EE34

4C046FF12

4C046FF32

(57)【要約】

【課題】練習が効果的に行われているか否かを練習者がリアルタイムで認識することができる練習支援装置、練習支援方法及びプログラムを実現する。
【解決手段】練習支援装置（１００）は、体を動かす練習を支援する練習支援装置（１００）であって、練習者の動作情報を取得する動作情報取得装置（２０）と、模範動作と、動作情報取得装置から取得された練習者の動作と、の誤差を導出する誤差導出部（１２）と、練習者に提供するための、誤差の大きさに応じた刺激を生成する刺激生成部（１４）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

体を動かす練習を支援する練習支援装置であって、
練習者の動作情報を取得する動作情報取得装置と、
模範動作と、前記動作情報取得装置から取得された前記練習者の動作と、の誤差を導出する誤差導出部と、
前記練習者に提供するための、前記誤差の大きさに応じた刺激を生成する刺激生成部と、を備える、
練習支援装置。

【請求項2】

前記模範動作の映像と前記練習者の動作の映像とを重ね合わせる重ね合わせ部を更に備え、前記刺激生成部は、前記練習者に提供する視覚刺激としての映像を生成するものであり、前記模範動作の映像と前記練習者の動作の映像とが重ね合わされた映像において、前記誤差の大きさに応じて、前記模範動作の映像の透過度を変更する、請求項１に記載の練習支援装置。

【請求項3】

前記模範動作の映像と前記練習者の動作の映像は前記練習者の視線で見た映像である、請求項２に記載の練習支援装置。

【請求項4】

前記誤差導出部は、前記誤差の大きさの時間的変化を平滑化する平滑化部を備え、前記刺激生成部は、平滑化された前記誤差の大きさに応じた刺激を生成する、請求項１から３のいずれか１項に記載の練習支援装置。

【請求項5】

前記刺激生成部は、前記誤差の大きさに応じた刺激を、前記誤差を検出した時間に遅らせて生成する、請求項１から４のいずれか１項に記載の練習支援装置。

【請求項6】

前記映像は３次元映像である、請求項２又は３に記載の練習支援装置。

【請求項7】

前記動作情報取得装置は、前記練習者の動作を検出するセンサを含む、請求項１から６のいずれか１項に記載の練習支援装置。

【請求項8】

前記動作情報取得装置は、前記練習者の動作を撮像する撮像装置を含む、請求項１から７のいずれか１項に記載の練習支援装置。

【請求項9】

背景となる環境映像を生成する背景生成部を更に備える、請求項１から８のいずれか１項に記載の練習支援装置。

【請求項10】

体を動かす練習を支援する方法であって、
練習者の動作情報を取得するステップと、
模範動作と、前記練習者の動作と、の誤差を導出するステップと、
前記誤差の大きさに応じた刺激を生成するステップと、
を含む、練習支援方法。

【請求項11】

請求項１から９のいずれか１項に記載の練習支援装置としてコンピュータを機能させるための練習支援プログラムであって、前記誤差導出部及び前記刺激生成部としてコンピュータを機能させるための練習支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、練習支援装置、練習支援方法及びプログラムに関する。

【背景技術】

【0002】

けが又は加齢等により手足の運動能力が低下した人々のための、さまざまな練習方法又はリハビリテーション方法が提案されている。例えば、特許文献１（特開２０１７－１９６０９９号公報）には、撮影手段で撮影した距離画像から仮想骨画像を生成する仮想骨画像生成手段と、仮想骨画像が教示画像に重なるように表示する画像生成手段とを備える上肢運動学習装置が開示されている。この装置によれば、合成画像を見ながら教示画像の動きに合うように自分の肢を運動させることで適切なリハビリが実施できるとされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１９６０９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のような従来技術は、練習が効果的に行われているか否かの手掛かりを練習者がリアルタイムで取得することができない、という問題がある。本発明の一態様は、練習が効果的に行われているか否かを練習者がリアルタイムで認識することができる練習支援装置、練習支援方法及びプログラムを実現することを目的とする。

【課題を解決するための手段】

【0005】

上記の課題を解決するために、本発明の一態様に係る練習支援装置は、体を動かす練習を支援する練習支援装置であって、練習者の動作情報を取得する動作情報取得装置と、模範動作と、前記動作情報取得装置から取得された前記練習者の動作と、の誤差を導出する誤差導出部と、前記練習者に提供するための、前記誤差の大きさに応じた刺激を生成する刺激生成部と、を備える。

【0006】

上記の構成に係る練習支援装置によれば、練習が効果的に行われているか否かを練習者がリアルタイムで認識することができる。

【0007】

本発明の一態様に係る練習支援装置において、前記模範動作の映像と前記練習者の動作の映像とを重ね合わせる重ね合わせ部を更に備え、前記刺激生成部は、前記練習者に提供する視覚刺激としての映像を生成するものであり、前記模範動作の映像と前記練習者の動作の映像とが重ね合わされた映像において、前記誤差の大きさに応じて、前記模範動作の映像の透過度を変更するものであってもよい。

【0008】

上記の構成に係る練習支援装置によれば、模範動作との誤差が大きくなると模範動作の映像の透過度が小さくなるため、練習が効果的に行われているか否かを練習者がリアルタイムで認識することができる。さらに、模範動作を模倣しやすくなり、練習の効果を高めることができる。

【0009】

本発明の一態様に係る練習支援装置において、前記模範動作の映像と前記練習者の動作の映像は前記練習者の視線で見た映像であってもよい。

【0010】

上記の構成に係る練習支援装置によれば、練習者の目線で見た映像が表示されるため、自然な印象で練習を行うことができる。

【0011】

本発明の一態様に係る練習支援装置において、前記誤差導出部は、前記誤差の大きさの時間的変化を平滑化する平滑化部を備え、前記刺激生成部は、平滑化された前記誤差の大きさに応じた刺激を生成してもよい。

【0012】

上記の構成に係る練習支援装置によれば、誤差量の変動を平滑化することができ、模範動作の画像の急激な濃淡の変化を減らすことができる。

【0013】

本発明の一態様に係る練習支援装置において、前記刺激生成部は、前記誤差の大きさに応じた刺激を、前記誤差を検出した時間に遅らせて生成してもよい。

【0014】

上記の構成に係る練習支援装置によれば、練習者に自身の修正動作の効果をわかりやすく伝えることができる。

【0015】

本発明の一態様に係る練習支援装置において、前記映像は３次元映像であってもよい。

【0016】

上記の構成に係る練習支援装置によれば、現実の上肢を見ているように感じるため、練習者はより練習をしやすくなる。

【0017】

本発明の一態様に係る練習支援装置において、前記動作情報取得装置は、前記練習者の動作を検出するセンサを含んでもよい。

【0018】

上記の構成に係る練習支援装置によれば、センサにより練習者の動作を検出することができる。

【0019】

本発明の一態様に係る練習支援装置において、前記動作情報取得装置は、前記練習者の動作を撮像する撮像装置を含んでもよい。

【0020】

上記の構成に係る練習支援装置によれば、撮像装置により練習者の動作を検出することができる。

【0021】

本発明の一態様に係る練習支援装置において、背景となる環境映像を生成する背景生成部を更に備えてもよい。

【0022】

上記の構成に係る練習支援装置によれば、背景がないことにより練習者の気分が悪くなるという弊害をなくすことができる。

【0023】

また、本発明の一態様に係る練習支援方法は、体を動かす練習を支援する方法であって、練習者の動作情報を取得するステップと、模範動作と、前記練習者の動作と、の誤差を導出するステップと、前記誤差の大きさに応じた刺激を生成するステップと、
を含む。

【0024】

上記の構成に係る練習支援方法によれば、練習が効果的に行われているか否かを練習者がリアルタイムで認識することができる。

【0025】

本発明の練習支援装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記練習支援装置が備える各部（ソフトウェア要素）として動作させることにより前記誤差導出部及び前記刺激生成部をコンピュータにて実現させる練習支援装置の練習支援プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0026】

本発明の一態様によれば、練習が効果的に行われているか否かを練習者がリアルタイムで認識することができる練習支援装置、練習支援方法及びプログラムを実現することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態１に係る練習支援装置のブロック構成図である。

【図2】本発明の実施形態１に係るディスプレイの外観を示す斜視図である。

【図3】実施形態１に係る模範動作の３次元モデルを構築する方法と、練習者の動作の３次元モデルを構築する方法のフローチャートの一例である。

【図4】実施形態１に係る練習者が行う体を動かす練習を支援する方法と、より詳細な練習支援方法のフローチャートの一例である。

【図5】実施形態１に係るディスプレイに表示される模範動作と練習者の動作の映像と、誤差量と模範動作の映像の透過度との関係を示すグラフである。

【図6】変形例に係る動作情報取得装置の一例である。

【図7】本発明の実施形態２に係る練習支援装置のブロック構成図である。

【発明を実施するための形態】

【0028】

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。図１は、実施形態１に係る練習支援装置１００のブロック構成図である。

【0029】

本実施形態１に係る練習支援装置１００は、例えばリハビリが必要な人又は高齢者等が行う体を動かす練習を支援する装置である。練習支援装置１００は、制御装置１０を備える。また、練習支援装置１００は、動作情報取得装置２０と、ディスプレイ３０を備える。動作情報取得装置２０は、練習者の動作情報を取得する。練習者とは、けが、病気、又は加齢等により身体の一部の機能が減退した人であって、自身の体を動かす練習をする人である。ディスプレイ３０は、練習者に自身の練習の様子を映像として提供する。制御装置１０は、動作情報取得装置２０から取得した練習者の動作情報から模範動作との誤差を導出し、ディスプレイ３０に誤差の大きさに応じた刺激となる映像を表示させる。以下、各装置について詳述する。

【0030】

（制御装置）
制御装置１０は、３次元モデル構築部１１、誤差導出部１２、重ね合せ部１３、刺激生成部１４、通信部１５、及び記憶部１６を備える。制御装置１０は、例えば、デスクトップ型パソコン、ノート型パソコン等のパーソナルコンピュータでもよい。

【0031】

３次元モデル構築部１１は、動作情報取得装置２０が取得した練習者の動作情報を解析し、練習者の動作の３次元モデルを構築する。動作情報とは、どのような動きをしたかを特定できる情報である。３次元モデルとは、体の各部の３次元的な動きを映像として表示するモデルである。例えば、３次元モデルは、体の各部を模擬したコンピュータグラフィックスである。なお、３次元モデル構築部１１は、模範動作の３次元モデルも生成する。模範動作とは、体を動かす練習をする場合に、好ましいと考えられる動作、又は手本とされる動作である。模範動作は、例えば、作業療法士、理学療法士、健康運動指導士が行う動作であってもよいし、それ以外の専門家が行う動作であってもよい。以下では、作業療法士、理学療法士、健康運動指導士、又はそれ以外の専門家を模範動作者という。

【0032】

本実施形態１においては、３次元モデル構築部１１は、練習者の視線で見た、模範動作の映像と練習者の動作の映像とを生成する。つまり、３次元モデル構築部１１は、練習者から見える自身の動作の映像と、同じ方向から見た模範動作の映像を生成する。模範動作の映像と練習者の動作の映像が練習者の視線で見た映像であることにより、練習者は自然な印象で練習を行うことができる。さらに、この映像は３次元映像であることが好ましい。映像が３次元映像であることにより、現実の上肢を見ているように感じるため、練習者はより練習をしやすくなる。３次元モデル構築部１１が実行するモデルの構築方法については後述する。

【0033】

誤差導出部１２は、練習者の動作の３次元モデルと、練習者が練習する前に予め生成していた模範動作の３次元モデルとの誤差を導出する。具体的には、練習者の３次元モデルの所定の位置と、模範動作の３次元モデルの所定の位置（練習者の体の所定の位置と対応する位置）との誤差を導出する。本実施形態における誤差とは、３次元空間での距離である。具体的には、模範動作の３次元モデルの３次元位置座標から練習者の３次元モデルの３次元位置座標を差し引いて算出される。誤差を求める所定の位置は、例えば誤差が生じやすい体の位置、又は適切な動作か否かを判定し易い体の位置等を選択することができる。あるいは、特定の位置の誤差ではなく、体のいくつかの箇所の誤差を算出し、それらの合計又は平均等の処理をして求めてもよい。

【0034】

重ね合せ部１３は、予め生成していた模範動作の３次元モデルの映像と、練習者の動作の３次元モデルの映像とを重ね合わせた映像を生成する。

【0035】

刺激生成部１４は、練習者に提供するための、誤差の大きさに応じた刺激を生成する。本実施形態でいう刺激とは、練習者の動作と模範動作との誤差（ずれ）の大きさを練習者に認識させる手掛かりとなるものをいう。本実施形態においては、刺激生成部１４は、練習者に提供する視覚刺激としての映像を生成するものであり、模範動作の映像と練習者の動作の映像とが重ね合わされた映像において、誤差の大きさに応じて、模範動作の映像の透過度を変更する。具体的には、刺激生成部１４は、誤差が小さいほど、模範動作の映像の透過度を大きくする。

【0036】

より具体的には、誤差をε、映像の透過度をΦとすると、透過度Φは例えば下記式（１）を用いて算出することができる。ここで、α、βは予め定められた定数である。αとβは、誤差の大きさを練習者に認識させるために適切な透過度となるように、予め実験等により求めておくことが好ましい。なお、εが小さいほどΦは大きくなるため、βは負数である。また、式（１）は線形関数（１次式）であるが、１次式に限られず、誤差が大きい場合に透過度が小さくなるような他の関数式でもよい。

【数1】

【0037】

模範動作と練習者の動作との誤差が小さくなって透過度が大きくなると、模範動作の映像が薄くなり、目立たなくなる。模範動作の映像が薄く、目立たなくなると、練習者は自身の動作が模範動作に近いことを認識できる。逆に、映像の透過度が大きくなり、模範動作が目立ってくると、練習者は自身の動作が模範動作から大きくずれていると認識できる。

【0038】

通信部１５は、制御装置１０と動作情報取得装置２０との間の情報通信を行う。具体的には、通信部１５は、動作情報取得装置２０からのセンサデータを受信する。また、通信部１５は、制御装置１０とディスプレイ３０との間の情報通信を行う。具体的には、通信部１５は、ディスプレイ３０へ映像データを送信する。通信部１５は、例えば有線通信のためのケーブルコネクタでもよく、又はBluetooth（登録商標）等の近距離無線通信の入出力インタフェースであってもよい。

【0039】

記憶部１６は、構築した３次元モデルを記憶する。つまり、予め構築された模範動作の３次元モデルを記憶する。また、練習者の練習時に構築された、練習者の３次元モデルを記憶する。

【0040】

（動作情報取得装置）
動作情報取得装置２０は、マーカ２１、センサ２２、及び通信部２３を備える。マーカ２１は、センサ２２の検出対象となるものである。マーカ２１は、例えばセンサからの光を反射する反射板である。また、マーカ２１は、例えばＬＥＤ等の発光装置でもよい。

【0041】

マーカ２１は、上肢を動かす練習をする場合は、例えば手首、肘等の少なくとも１か所に配置される。また、下肢を動かす練習をする場合は、マーカ２１は、例えば足首、膝、腰部等の少なくとも１か所に配置される。

【0042】

センサ２２は、マーカ２１の空間位置（方向と距離）を測定できる、例えばフォトセンサである。例えば、マーカ２１が反射板の場合は、センサ２２は、光を出射して、反射板からの反射光を検出する。反射光の検出位置と、光の出射から反射光を検出するまでの時間差から反射板までの方向と距離が算出される。また、マーカ２１がＬＥＤ等の発光装置の場合は、センサ２２は２つのフォトダイオードから構成される。２つのフォトダイオードが検出するマーカ２１の光の位置から、発光装置の方向と距離が三角法によって算出される。センサ２２の検出データから、３次元モデル構築部１１は、マーカ２１の空間座標を導出することができる。

【0043】

通信部２３は、センサ２２が取得した信号を制御装置１０に送信する。通信部２３は、例えば有線通信のためのケーブルコネクタでもよく、又はBluetooth（登録商標）等の近距離無線通信の入出力インタフェースであってもよい。

【0044】

（ディスプレイ）
図２は、実施形態１に係るディスプレイ３０の外観を示す斜視図である。図２に示すように、ディスプレイ３０は、練習者Ｐの頭部に装着するゴーグル（又はヘッドマウント）の形態をとっている。ディスプレイ３０は、映像が表示される右目用の液晶表示部と左目用の液晶表示部とを内部に備えている。

【0045】

ディスプレイ３０には、重ね合せ部１３によって模範動作の映像と練習者の動作の映像とが重ね合わされた映像が表示される。さらに、ディスプレイ３０には、刺激生成部１４によって模範動作の透過度が変更された映像が表示される。

【0046】

本実施形態１におけるディスプレイ３０は、練習者の頭部に装着される。そのため、ディスプレイ３０は、自身の上肢の動きを練習者の視線で見ているような映像を提供することができる。

【0047】

なお、ディスプレイ３０の形態はゴーグルタイプに限られない。例えば、スクリーン又は壁に映像を投影する投影装置であってもよい。例えば、練習者が全身の動きの練習する場合は、スクリーン等に投影された自身の全身の映像を見ながら練習をすることができる。その場合、投影する映像を、正面から見た映像、側面から見た映像、又は斜めから見た映像等を切替えて投影、もしくは同時に複数投影できるようにしてもよい。

【0048】

本実施形態１における練習支援装置１００の制御装置１０、動作情報取得装置２０、及びディスプレイ３０は、それぞれ独立した装置として構成されている。しかし、制御装置１０、動作情報取得装置２０、及びディスプレイ３０は、これらのうちのいくつかが一体化されていてもよい。例えば、制御装置１０と動作情報取得装置２０（マーカ２１を除く）とが一体化されていてもよい。

【0049】

また、制御装置１０が、動作情報取得装置２０及びディスプレイ３０から離隔した位置にあってもよい。その場合、制御装置１０、動作情報取得装置２０及びディスプレイ３０は例えばインターネットにより接続されていてもよい。このように構成すれば、１つの制御装置１０と、複数の場所にそれぞれ動作情報取得装置２０とディスプレイ３０とを用意しておき、複数の練習者がそれぞれの場所で並行して練習をすることができる。

【0050】

（３次元モデルの構築方法）
次に、３次元モデル構築部１１が実行するモデルの構築方法について、図面を参照して説明する。以下では、上肢の運動をする場合を例にとって説明するが、下肢の運動でもよく、また全身の運動でもよい。図３は、模範動作の３次元モデルを構築する方法Ｓ１と、練習者の動作の３次元モデルを構築する方法Ｓ２のフローチャートの一例である。まず、模範動作の３次元モデルを構築する方法Ｓ１について説明する。まず、ステップＳ４０において、３次元モデル構築部１１は、模範動作者の動作情報を取得する。具体的には、３次元モデル構築部１１は、センサ２２が取得した信号から、模範的な体の各部の動きを取得する。例えば上肢の動きを取得する場合は、模範動作者の手首、肘等の少なくとも１か所に配置されたマーカ２１の動きが取得される。

【0051】

人間の上肢の構造は共通であるので、予め模範動作者の腕の上腕及び前腕等の長さを測定しておくことにより、１か所のマーカ２１の動きからでも上肢全体の３次元的な動きを取得することができる。なお、より正確に模範動作者の動きを取得するためには、２か所以上の箇所の動きを取得することが好ましい。例えば、肘と手首の２か所のマーカ２１を用いて動きを取得することにより、１か所のマーカ２１で動きを取得するよりも正確な上肢の動きを取得することができる。なお、肩の動きがあると、手首や肘の動きも変わるため、肩の位置にマーカ２１を取り付けて、肩の動きを取得することが好ましい。肩の動きが検出できれば、その動きを差し引いて、上肢だけの動きを特定することができる。

【0052】

このようにして、模範動作の肘と手首の３次元的な位置（空間座標）とその動きのデータが得られる。

【0053】

次に、ステップＳ４２において、３次元モデル構築部１１は、模範動作の３次元モデルを構築する。つまり、模範動作では上肢がどのように動くかのデータセットが構築される。なお、３次元モデルは、人の上肢の形態を模擬した３次元モデルであることが好ましい。人の上肢の形態を模擬した３次元モデルの場合、練習者は現実の上肢を見ているように感じるため、より練習をしやすくなる。

【0054】

次に、ステップＳ４４において、３次元モデル構築部１１は、構築した模範動作の３次元モデルを記憶部１６に記録する。以上で模範動作の３次元モデルの構築が終了する。なお、模範動作の３次元モデルは、練習者が練習する前に構築しておくことが好ましい。

【0055】

次に、練習者の動作の３次元モデルを構築する方法Ｓ２を説明する。まず、ステップＳ５０において、３次元モデル構築部１１は、練習者の動作情報を取得する。具体的には、３次元モデル構築部１１は、センサ２２が取得した信号から、練習者の体の各部の動きを取得する。例えば、練習者の手首、肘等の少なくとも１か所に配置されたマーカ２１の動きが取得される。前述のように、予め練習者の腕の各部の長さを測定しておくことにより、１か所のマーカ２１の動きからでも上肢全体の３次元的な動きを取得することができる。なお、２か所以上のマーカ２１を用いて動きを取得することがより好ましい。また、肩の位置にマーカ２１を取り付けて、肩の動きを取得することが好ましい。

【0056】

次に、ステップＳ５２において、３次元モデル構築部１１は、練習者の動作の３次元モデルを構築する。なお、３次元モデルは、練習者の上肢の形態を模擬した３次元モデルであることが好ましい。

【0057】

次に、ステップＳ５４において、３次元モデル構築部１１は、構築した練習者の動作の３次元モデルを記憶部１６に記録する。以上で練習者の動作の３次元モデルの構築が終了する。なお、構築された練習者の動作の３次元モデルは、リアルタイムでディスプレイ３０に送信され、表示される。

【0058】

（練習支援方法）
次に、練習者が行う体を動かす練習を支援する方法について説明する。図４は、練習者が行う体を動かす練習を支援する練習支援方法Ｓ３と、より詳細な練習支援方法Ｓ４のフローチャートの一例である。最初に、練習を支援する方法Ｓ３について説明する。

【0059】

まず、ステップＳ６０において、３次元モデル構築部１１は、練習者の動作情報を取得する。これは、図３で説明したステップＳ５０と同じである。

【0060】

次に、ステップＳ６２において、誤差導出部１２は、模範動作と練習者の動作との誤差を導出する。具体的には、誤差導出部１２は、例えば、３次元モデル構築部１１が取得した、模範動作の肘と手首の位置座標と、模範動作の肘と手首の位置座標とから、両者の空間距離を導出する。また、さらに上腕又は前腕の所定の位置の誤差を導出してもよい。

【0061】

次に、ステップＳ６４において、誤差の大きさに応じて刺激の大きさを変化させる。つまり、刺激生成部１４は、ステップＳ６２において導出された誤差の大きさに応じた刺激を生成する。これにより、以上で方法Ｓ３は終了する。

【0062】

次に、より詳細な練習支援方法Ｓ４について説明する。まず、ステップＳ７０において、３次元モデル構築部１１は、練習者の動作情報を取得する。次に、ステップＳ７２において、誤差導出部１２は、模範動作と練習者の動作との誤差を導出する。ステップＳ７０とステップＳ７２は、ステップＳ６０とステップＳ６２と同様である。

【0063】

次に、ステップＳ７４において、重ね合わせ部１３は、模範動作の映像と練習者の動作の映像とを重ねてディスプレイ３０に表示する。２つの映像は、それぞれ３次元モデルの映像である。例えば上肢の運動の場合は、重ね合わせ部１３は、模範動作の肩の位置と、練習者の肩の位置を同じ位置に配置して重ね合わせることが好ましい。なお、模範動作の３次元モデルの映像は予め記憶部１６に記憶されている。

【0064】

次に、ステップＳ７６において、刺激生成部１４は、ステップＳ７２において導出した誤差の大きさに応じて、ディスプレイ３０に表示される模範動作の映像の透過度を変更する。具体的には、刺激生成部１４は、誤差量（誤差の大きさ）が大きいほど、模範動作の映像の透過度を小さくする（図５参照）。模範動作の映像の透過度を変更させた映像は、ディスプレイ３０に送信され、表示される。

【0065】

上述のステップＳ７２からステップＳ７６までのステップは、ステップＳ７０で練習者の動きが検出された時点から順次実行される。つまり、練習者は、自身の動作とほぼ同じタイミングで、自身の動作に応じて模範動作の映像の透過度が変化することを見ることができる。

【0066】

これにより、練習者は、模範動作の映像が濃くなるほど自身の動作が模範動作からずれていることがリアルタイムで認識でき、自身の動作がその模範動作の映像に重なるように試みることができる。

【0067】

図５の５０１は、ディスプレイ３０に表示される、模範動作の３次元モデル（点線で示す）と練習者の動作の３次元モデル（実線で示す）の映像の一例である。練習者の上肢が模範動作の上肢に近づくほど、模範動作の３次元モデルの映像の透過度が大きくなる、つまり映像が薄くなる。図５の５０２は、誤差量と模範動作の映像の透過度との関係を示すグラフである。これに示すように、誤差が大きいほど、透過度は小さくなる。

【0068】

以上のように、本実施形態１に係る練習支援装置１００及び練習支援方法Ｓ３、Ｓ４によれば、練習者が自身の練習が効果的に行われているか否かをリアルタイムで認識することができる。具体的には、ディスプレイ３０に表示される模範動作の透過度が変更されることにより、練習者は自身の動きが模範動作に近いか、離れているかをリアルタイムで認識することができる。さらに、模範動作を模倣しやすくなり、練習の効果を高めることができる。従って、自身の動きが模範動作に近いかどうかがわからないまま練習するよりも、練習の効果が大きくなる。

【0069】

（変形例１）
上記の実施形態では、刺激生成部１４は、模範動作の映像の透過度を変更する。つまり、映像の透過度が刺激の大きさとなる。これによって、練習者は、自身の動作と模範動作との誤差（ずれ）の大きさをリアルタイムで認識することができる。

【0070】

しかし、刺激の種類はこれに限定されない。例えば、練習者に提供する刺激は、練習者に与える振動でもよい。その場合は、練習者の上肢又は下肢に、バイブレータを取り付ける。そして、誤差が大きいほど、刺激生成部１４は、バイブレータに大きな振動を発生させる信号を生成する。また、練習者に提供する刺激は、音響であってもよい。練習者が聞こえる位置にスピーカ又は警報装置を配置し、誤差が大きいほど、刺激生成部１４は、大きな音響を発生させる信号を生成する。このような刺激でも、自身の動作と模範動作との誤差（ずれ）の大きさをリアルタイムで練習者に知らせることができる。この場合、練習者に提示する映像はなくてもよいが、映像があったほうが練習の効果は高くなる。

【0071】

（変形例２）
上記の実施形態では、動作情報取得装置２０は、マーカ２１とセンサ２２とを備えている。しかし、動作情報取得装置２０は、練習者の動作情報を取得できる構成であればよく、その構成は限定されない。例えば、図６に示すように、動作情報取得装置２０は、撮像装置２４と通信部２５とを備える動作情報取得装置２０Ａでもよい。撮像装置２４は、練習者の動作を撮像し、練習者の体の各部の位置データを取得する。練習者の体の各部の位置データを取得する方法は、マーカを装着してその位置を検出してもよい。あるいは、練習者の視線で撮像できる位置に撮像装置を配置して、その映像に基づいて、３次元モデル構築部１１が練習者の３次元モデルを生成してもよい。

【0072】

なお、撮像装置２４は、ゴーグル型のディスプレイ３０の両側面に１つずつ配置されてもよい。これにより、右側面の撮像装置２４から右目用の映像が、左側面の撮像装置２４から左目用の映像が取得でき、ディスプレイ３０の右目用の液晶表示部と左目用の液晶表示部とにそれぞれ表示させて立体映像を表示することができる。

【0073】

また、動作情報取得装置２０は、マーカによらず練習者の動作を直接検出するセンサ２６と通信部２７とを備える動作情報取得装置２０Ｂでもよい。センサ２６は、例えば加速度センサである。加速度センサ２６を、例えば練習者の手首に装着し、加速度センサ２６の出力から、上肢の移動方向と移動速度から手首及び肘等の位置情報を導出してもよい。

【0074】

〔実施形態２〕
本発明の他の実施形態について、図面を参照して以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0075】

図７は、実施形態２に係る練習支援装置１００Ａのブロック構成図である。練習支援装置１００Ａが、実施形態１に係る練習支援装置１００と異なる点は、誤差導出部１２に平滑化部１２１を備えている点である。

【0076】

平滑化部１２１は、誤差の大きさの時間的変化を平滑化する。具体的には、平滑化部１２１は、誤差導出部１２が導出した誤差の大きさの時間移動平均を算出して、それを誤差量として出力する。刺激生成部１４は、その誤差量に応じた透過度を算出する。

【0077】

時間移動平均の誤差量は、平滑化部１２１が以下のようにして算出する。まず、平滑化部１２１は、例えば、誤差導出部１２が算出した、１０ｍｓ毎の計測時間ｉにおける誤差量εの時系列である下記式（２）を取得する。

【0078】

【数2】

【0079】

次に、平滑化部１２１は、区間数５１コマ（１コマ１０ｍｓとして０．５１秒間）とする誤差量εの移動平均ｍａを、下記式（３）に従って算出する。

【0080】

【数3】

【0081】

次に刺激生成部１４は、算出された誤差量εの移動平均ｍａから、透過度Φを下記式（４）に従って算出する。ここでα、βは予め定められた定数である。また、誤差量が大きいほど透過度を小さくするため、βは負数である。αとβは、誤差量を練習者に認識させるために適切な透過度となるように、予め実験等により求めておくことが好ましい。

【0082】

【数4】

【0083】

以上のように、透過度Φは、模範動作と練習者の３次元モデルにおける誤差量εの移動平均を含む線形関数によって表すことができる。なお、図５の５０２に示すグラフの透過度Φは、上述のようにして算出されたものである。

【0084】

誤差量を短時間ごとに算出すると、誤差量の変化が大きくなる。その誤差量に応じて透過度を変化させると、透過度の変化も大きくなるため、表示された模範動作の画像が急激に薄くなったり濃くなったりして、練習者が見づらくなる場合がある。しかし、平滑化部１２１によって誤差量の変動を平滑化することで、模範動作の画像の急激な濃淡の変化を減らすことができる。

【0085】

なお、上述の式（２）での計測時間は１０ｍｓ毎とし、式（３）の誤差量εの移動平均ｍａは、区間数５１コマ（１コマ１０ｍｓ）で算出する例を説明した。しかし、計測時間と区間コマ数はこれに限られず、平滑化が適切に行われる範囲で任意に設定することができる。また、式（４）は線形関数（１次式）であるが、１次式に限られず、誤差量が大きい場合に透過度が小さくなるような他の関数式でもよい。

【0086】

さらに、誤差量の時間移動平均を取ることにより、結果的に、刺激生成部１４は、誤差の大きさに応じた刺激を、誤差を検出した時間に遅らせて生成することができる。つまり、表示する映像の透過度の変化のタイミングを遅らせることができる。これにより次のようなメリットが得られる。つまり、誤差の大きさに合わせて透過度を変更する処理が速い場合、練習者の修正動作に対する透過度の変化が急激になりすぎて、練習者の感覚が追い付かないことがある。つまり、動作を修正した瞬間に透過度が変わると、その透過度の変化が自身で動作を修正したためなのか、修正する前の自身の動作による結果なのかが判別しにくくなる。そのため、練習者の修正動作から若干遅らせたタイミングで透過度を変更するほうが、練習者に自身の修正動作の効果をわかりやすく伝えることができる。誤差量の時間移動平均を取ることにより、このような効果も得られる。

【0087】

誤差量に対する透過度の変化のタイミングは、移動平均を取る時間を大きくすることにより、結果的に遅らせることができる。そのため、移動平均を取る時間を調整することにより、練習者の修正の感覚が適切に反映されるように遅らせる時間を調整することができる。

【0088】

なお、誤差量に対する透過度の変化のタイミングを遅らせる方法は、誤差の移動平均を取る方法に限られない。例えば、単純に誤差を取得した時間から所定の時間だけ遅らせて、透過度を変更してディスプレイ３０に表示するようにしてもよい。

【0089】

（変形例３）
なお、図７に示すように、練習支援装置１００Ａが環境映像取得装置４０を備えており、制御装置１０Ａに背景生成部１７を備えていてもよい。

【0090】

背景生成部１７は、環境映像取得装置４０が取得した映像に基づいて、背景となる環境映像を生成する。環境映像とは、練習者が練習している場所の風景の映像である。環境映像取得装置４０は、ディスプレイ３０の側面に取り付けられている。そのため、環境映像取得装置４０は、練習者から見た背景映像を取得することができる。なお、環境映像取得装置４０は、変形例２で説明した、動作情報取得装置２０Ａの撮像装置２４と兼用してもよい。

【0091】

環境映像取得装置４０が取得した背景の映像は、制御装置１０Ａに送られ、背景生成部１７によってコンピュータグラフィックの環境映像として生成される。この環境映像は、例えば重ね合わせ部１３によって模範動作及び練習者の３次元モデルの映像にさらに背景として合成される。また、記憶部１６は、背景生成部１７によって生成された環境映像を記憶し、次回の練習時には環境映像取得装置４０を用いずに、記憶した環境映像を合成してもよい。

【0092】

ディスプレイ３０に表示される映像が、練習者の動作の映像と模範動作の映像だけで背景がない場合、練習者は自身がいる場所の感覚がつかめず、気分が悪くなる場合がある。しかし、背景となる環境映像を併せて表示することにより、そのような弊害をなくすことができる。

【0093】

以上の実施形態２においても、実施形態１で得られる効果と同様の効果が得られる。なお、実施形態１で説明した変形例１及び変形例２は、実施形態２においても適用可能であり、それぞれの効果を得ることができる。また、実施形態２で説明した変形例３は、実施形態１においても適用可能であり、その効果を得ることができる。

【0094】

〔ソフトウェアによる実現例〕
練習支援装置１００の制御装置１０（特に、３次元モデル構築部１１、誤差導出部１２、重ね合せ部１３、刺激生成部１４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0095】

後者の場合、練習支援装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0096】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0097】

１０、１０Ａ 制御装置
１１ ３次元モデル構築部
１２ 誤差導出部
１２１ 平滑化部
１３ 重ね合わせ部
１４ 刺激生成部
１５、２３、２５，２７ 通信部
１６ 記憶部
１７ 背景生成部
２０、２０Ａ、２０Ｂ 動作情報取得装置
２１ マーカ
２２ センサ
２４ 撮像装置
２６ センサ
３０ ディスプレイ
４０ 環境映像取得装置
１００、１００Ａ 練習支援装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】