特許 7494662 レッスン講習システム及びレッスン講習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】レッスン講習システム及びレッスン講習方法

(51)【国際特許分類】

   A63B 69/00 20060101AFI20240528BHJP

   G09B 19/00 20060101ALI20240528BHJP

   G06T 13/40 20110101ALI20240528BHJP

   H04N 7/18 20060101ALI20240528BHJP

【ＦＩ】

A63B69/00 514

G09B19/00 Z

A63B69/00 A

G06T13/40

H04N7/18 R

【請求項の数】 5

(21)【出願番号】P 2020145824

(22)【出願日】2020-08-31

(65)【公開番号】P2022040894

(43)【公開日】2022-03-11

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】新海 善弘

(72)【発明者】

【氏名】塩澤 秀章

(72)【発明者】

【氏名】児玉 健太朗

(72)【発明者】

【氏名】豊口 馨

(72)【発明者】

【氏名】猪俣 知英

【審査官】井上 香緒梨

(56)【参考文献】

【文献】特表２０１４－５０２１７８（ＪＰ，Ａ）

【文献】特表平１０－５０１１５６（ＪＰ，Ａ）

【文献】特開２０１３－１０３０１０（ＪＰ，Ａ）

【文献】特表２０１５－５０３９３８（ＪＰ，Ａ）

【文献】国際公開第２０１１／０８６４６６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０１２６２８４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ６９／００－６９／４０

Ａ６３Ｂ７１／００－７１／１６

Ａ６３Ｂ１／００－２６／００

Ａ６１Ｂ５／０６－５／２２

(57)【特許請求の範囲】

【請求項1】

講師の体の動きをトラッキングし、トラッキング結果に基づいて講師モーション情報を生成し、前記講師を示す講師アバターが前記講師モーション情報に基づいて動く講師アバター映像を生成し、生成した前記講師アバター映像を送信する講師側システムと、
受講者の体の動きをトラッキングし、トラッキング結果に基づいて受講者モーション情報を生成し、前記受講者を示す受講者アバターが前記受講者モーション情報に基づいて動く受講者アバター映像を生成するとともに、前記講師側システムから送信された前記講師アバター映像を受信し、生成した前記受講者アバター映像と、受信した前記講師アバター映像とを対応させて表示する受講者側システムと
を備え、
前記受講者側システムは、複数設けられ、
それぞれの前記受講者側システムは、互いに他の前記受講者側システムについての映像が表示されない
レッスン講習システム。

【請求項2】

前記受講者側システムは、前記講師アバター映像に前記受講者アバター映像または前記受講者アバター映像の透明度を高めた半透過アバター映像を重畳させて表示する
請求項１に記載のレッスン講習システム。

【請求項3】

前記講師側システムは、前記講師モーション情報を送信し、
前記受講者側システムは、前記講師側システムから送信された前記講師モーション情報を受信し、受信した前記講師モーション情報と、生成した前記受講者モーション情報とに基づいて、前記講師の動きと前記受講者の動きとのズレを検出し、検出結果を出力する
請求項１又は請求項２に記載のレッスン講習システム。

【請求項4】

前記受講者側システムは、前記検出されたズレのうち、ズレの大きさが所定値を超えた部位またはズレが大きい順に所定数の部位を振動させる
請求項３に記載のレッスン講習システム。

【請求項5】

講師の体の動きをトラッキングし、トラッキング結果に基づいて講師モーション情報を生成し、前記講師を示す講師アバターが前記講師モーション情報に基づいて動く講師アバター映像を生成し、生成した前記講師アバター映像を送信し、
複数の受講者について、それぞれ体の動きをトラッキングし、トラッキング結果に基づいて受講者モーション情報を生成し、前記受講者を示す受講者アバターが前記受講者モーション情報に基づいて動く受講者アバター映像を生成するとともに、前記送信された前記講師アバター映像を受信し、生成した前記受講者アバター映像と、受信した前記講師アバター映像とを対応させて表示するものであり、
それぞれの前記受講者に対して映像を表示する際には、互いに他の前記受講者についての映像を表示しない
レッスン講習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レッスン講習システム及びレッスン講習方法に関する。

【背景技術】

【0002】

自分のダンス映像と離れた場所にいる他人のダンス映像とを１つの表示部に投影することで、自分と他人とが一緒にダンスしているように体験できるダンス装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１７４６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、各自が互いの動作を見ることができるため、例えば他の受講者の目を気にすることなくダンス等のレッスンを受講したい場合には不向きである。

【0005】

本発明は、上記に鑑みてなされたものであり、受講者が他の受講者の目を気にすることなく、体の動かし方を習得するためのレッスンを受講することが可能なレッスン講習システム及びレッスン講習方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係るレッスン講習システムは、講師の体の動きをトラッキングし、トラッキング結果に基づいて講師モーション情報を生成し、前記講師を示す講師アバターが前記講師モーション情報に基づいて動く講師アバター映像を生成し、生成した前記講師アバター映像を送信する講師側システムと、受講者の体の動きをトラッキングし、トラッキング結果に基づいて受講者モーション情報を生成し、前記受講者を示す受講者アバターが前記受講者モーション情報に基づいて動く受講者アバター映像を生成するとともに、前記講師側システムから送信された前記講師アバター映像を受信し、生成した前記受講者アバター映像と、受信した前記講師アバター映像とを対応させて表示する受講者側システムとを備える。

【0007】

本発明に係るレッスン講習方法は、講師の体の動きをトラッキングし、トラッキング結果に基づいて講師モーション情報を生成し、前記講師を示す講師アバターが前記講師モーション情報に基づいて動く講師アバター映像を生成し、生成した前記講師アバター映像を送信し、受講者の体の動きをトラッキングし、トラッキング結果に基づいて受講者モーション情報を生成し、前記受講者を示す受講者アバターが前記受講者モーション情報に基づいて動く受講者アバター映像を生成するとともに、前記送信された前記講師アバター映像を受信し、生成した前記受講者アバター映像と、受信した前記講師アバター映像とを対応させて表示する。

【発明の効果】

【0008】

本発明によれば、受講者が他の受講者の目を気にすることなく、体の動かし方を習得するためのレッスンを受講することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態に係るレッスン講習システムの一例を示す機能ブロック図である。

【図2】図２は、講師が動作する場合の一態様を示す図である。

【図3】図３は、講師アバター映像の一例を示す図である。

【図4】図４は、受講者が動作する場合の一態様を示す図である。

【図5】図５は、受講者アバター映像の一例を示す図である。

【図6】図６は、講師側システムの表示装置に表示されるＶＲ映像の一例を示す図である。

【図7】図７は、受講者側システムの表示装置に表示されるＶＲ映像の一例を示す図である。

【図8】図８は、受講者側システムの表示装置に表示されるＶＲ映像の一例を示す図である。

【図9】図９は、本実施形態に係るレッスン講習方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明に係るレッスン講習システム及びレッスン講習方法の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0011】

図１は、本実施形態に係るレッスン講習システム１００の一例を示す機能ブロック図である。図１に示すように、レッスン講習システム１００は、講師側システム１０と、受講者側システム４０と、サーバ３０とを備える。レッスン講習システム１００は、例えばダンス、ヨガ、体操等のように、体の動かし方を習得するレッスンを受講するためのシステムである。レッスン講習システム１００は、例えば受講者側システム４０が複数設けられる構成とすることで、複数の受講者に対して講習を行うことが可能である。

【0012】

講師側システム１０は、トラッキング装置１１と、制御装置１２と、表示装置１３と、音声出力装置１４とを有する。

【0013】

トラッキング装置１１は、講師の体の動きを検出する。トラッキング装置１１は、検出部１１ａ及び振動発生部１１ｂ（図２参照）を有する。検出部１１ａは、講師の体の各部に装着され、各部の位置、速度、加速度を検出する。本実施形態において、検出部１１ａは、例えば頭、肩、胸、肘、手、腰、膝、足等に装着される。検出部１１ａの装着箇所は上記に限定されず、他の箇所に装着される態様であってもよい。検出部１１ａは、検出結果を制御装置１２に送信する。なお、検出部１１ａは、講師の体の各部の位置、速度、加速度を検出可能であれば、例えばカメラ等の他の構成であってもよい。振動発生部１１ｂは、検出部１１ａと一体で設けられ、制御装置１２の制御により振動する。

【0014】

制御装置１２は、講師側システム１０の各部を制御する。制御装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶装置を有する。制御装置１２は、モーション生成部１６と、アバター生成部１７と、ＶＲ映像生成部１８と、表示制御部１９と、通信部２０と、記憶部２１とを有する。

【0015】

モーション生成部１６は、検出部１１ａの検出結果を取得する。モーション生成部１６は、検出結果として取得した講師の体の各部の位置、速度、加速度の各情報に基づいて、講師の体の各部の動きを示す講師モーション情報を生成する。

【0016】

アバター生成部１７は、講師モーション情報に基づいて講師アバターが動く講師アバター映像を生成する。講師アバターは、予め記憶部２１等に記憶される。講師アバターは、例えば仮想空間において３次元的に表示される態様とすることができる。

【0017】

ＶＲ映像生成部１８は、後述する通信部２０がサーバ３０から受信するＶＲ（Virtual Reality：仮想現実）空間の情報を取得する。当該ＶＲ空間は、例えばダンス等のレッスンルームを示す三次元的な映像である。ＶＲ映像生成部１８は、取得したＶＲ空間の情報に基づいて、当該ＶＲ空間内に講師アバター映像又は後述する受講者アバター映像を組み合わせたＶＲ映像を生成する。

【0018】

表示制御部１９は、表示装置１３における表示動作を制御する。表示制御部１９は、例えばＶＲ映像生成部１８で生成されたＶＲ映像を表示装置１３に表示させる。

【0019】

通信部２０は、サーバ３０との間で情報の送受信を行う。通信部２０は、サーバ３０から、例えばＶＲ空間の映像の情報、後述の受講者アバター映像の情報及び受講者モーション情報等の各情報を受信する。また、通信部２０は、例えば制御装置１２で生成された講師アバター映像の情報、講師モーション情報等の各情報をサーバ３０に送信する。

【0020】

記憶部２１は、各種の情報を記憶する。記憶部２１は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部２１として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部２１は、予め設定された講師アバターを記憶する。記憶部２１は、制御装置１２の各部が処理を行うためのプログラム、データ等の情報を記憶する。記憶部２１は、サーバ３０から受信したＶＲ空間の映像情報を記憶する。

【0021】

表示装置１３は、表示制御部１９の制御により、映像等の各種情報を表示する。表示装置１３は、例えばＶＲ映像生成部１８で生成されたＶＲ映像を表示可能である。表示装置１３としては、例えばヘッドマウントディスプレイ等が挙げられるが、これに限定されず、フラットパネルディスプレイ等であってもよい。

【0022】

音声出力装置１４は、制御装置１２の制御に基づいて、音声を出力する。音声出力装置１４としては、例えばスピーカ等が用いられる。

【0023】

受講者側システム４０は、トラッキング装置４１と、制御装置４２と、表示装置４３と、音声出力装置４４とを有する。

【0024】

トラッキング装置４１は、受講者の体の動きを検出する。トラッキング装置４１は、検出部４１ａ及び振動発生部４１ｂ（図４参照）を有する。検出部４１ａは、受講者の体の各部に装着され、各部の位置、速度、加速度を検出する。本実施形態において、検出部４１ａは、例えば検出部１１ａと同様の箇所、つまり、頭、肩、胸、肘、手、腰、膝、足等に装着される。検出部４１ａの装着箇所は上記に限定されず、他の箇所に装着される態様であってもよい。検出部４１ａは、検出結果を制御装置４２に送信する。なお、検出部４１ａは、受講者の体の各部の位置、速度、加速度を検出可能であれば、例えばカメラ等の他の構成であってもよい。振動発生部４１ｂは、検出部４１ａと一体で設けられ、制御装置４２の制御により振動する。

【0025】

制御装置４２は、受講者側システム４０の各部を制御する。制御装置４２は、ＣＰＵ等の処理装置と、ＲＡＭ又はＲＯＭ等の記憶装置を有する。制御装置４２は、モーション生成部４６と、アバター生成部４７と、半透過アバター生成部４８と、ＶＲ映像生成部４９と、表示制御部５０と、ズレ情報出力部５１と、通信部５２と、記憶部５３とを有する。

【0026】

モーション生成部４６は、検出部４１ａの検出結果を取得する。モーション生成部４６は、検出結果として取得した受講者の体の各部の位置、速度、加速度の各情報に基づいて、受講者の体の各部の動きを示す受講者モーション情報を生成する。

【0027】

アバター生成部４７は、受講者モーション情報に基づいて受講者アバターが動く受講者アバター映像を生成する。アバター生成部４７は、生成した受講者アバター映像を記憶部５３に記憶する。なお、受講者アバターは、予め記憶部５３等に記憶される。受講者アバターは、例えば仮想空間において３次元的に表示される態様とすることができる。

【0028】

半透過アバター生成部４８は、生成された受講者アバター映像について透明度を高めた状態とした半透過アバター映像を生成する。半透過アバター生成部４８は、受講者アバター映像とは別個に半透過アバター映像を記憶部５３に記憶する。

【0029】

ＶＲ映像生成部４９は、後述する通信部５２で受信されるＶＲ空間の情報を取得する。ＶＲ映像生成部４９は、取得したＶＲ空間の情報に基づいて、当該ＶＲ空間内に講師アバター映像と、受講者アバター映像又は半透過アバター映像とを組み合わせたＶＲ映像を生成する。なお、講師アバター映像については、後述する通信部５２によって受信する。ＶＲ映像生成部４９は、講師アバター映像と受講者アバター映像とを組み合わせる場合、講師アバター映像に半透過アバター映像が重畳した状態で表示されるようにＶＲ映像を生成することができる。ＶＲ映像生成部４９は、例えば半透過アバターと講師アバターとをそれぞれの腰部を基準として重畳させることができる。また、ＶＲ映像生成部４９は、講師アバター映像と半透過アバター映像とを組み合わせる場合、ＶＲ空間内に講師アバター映像と受講者アバター映像とが並んだ状態で表示されるようにＶＲ映像を生成することができる。また、ＶＲ映像生成部４９は、他の受講者側システム４０で生成される受講者アバター映像についてはＶＲ映像に組み合わせないようにする。これにより、他の受講者Ｓの受講者アバター映像が表示装置４３に表示されることが回避される。なお、他の受講者側システム４０で生成される受講者アバター映像については、例えばサーバ３０から受信できないようにしてもよい。

【0030】

表示制御部５０は、表示装置４３における表示動作を制御する。表示制御部５０は、例えばＶＲ映像生成部４９で生成されたＶＲ映像を表示装置４３に表示させる。

【0031】

ズレ情報出力部５１は、講師の動きと受講者の動きとの間のズレを検出し、検出結果を出力する。ズレ情報出力部５１は、通信部５２で受信する講師モーション情報を取得する。ズレ情報出力部５１は、取得した講師モーション情報と、上記のモーション生成部４６で生成された受講者モーション情報とに基づいて、講師Ｔの動きと受講者Ｓの動きとのズレを算出する。ズレ情報出力部５１は、例えば、検出部４１ａにおいて検出された箇所ごとにズレを算出することができる。この場合、ズレ情報出力部５１は、講師Ｔに装着される各センサ１１ａ間の距離と受講者Ｓに装着される各センサ４１ａ間の距離とに基づいて、講師Ｔと受講者Ｓとの身長の比率を求める。そして、ズレ情報検出部５１は、求めた結果を用いて、講師モーション情報に含まれる各値と受講者モーション情報に含まれる各値との縮尺を一致させる。ズレ情報出力部５１は、縮尺が一致した状態で、講師Ｔの動きと受講者Ｓの動きとのズレを算出する。ズレ情報出力部５１は、ズレの大きさが所定値よりも大きい場合、該当箇所の検出部４１ａと一体で設けられる振動発生部４１ｂを振動させるように制御することができる。これにより、体のどの部位の動きを修正すればよいかを受講者に容易に知らせることができる。また、ズレ情報出力部５１は、ズレの大きさが所定値よりも小さい場合であっても、ズレが生じているすべての該当箇所、またはズレが生じている該当箇所のうちズレが大きい順に所定数の該当箇所の検出部４１ａと一体で設けられる振動発生部４１ｂを振動させるように制御してもよい。また、ズレ情報出力部５１は、表示制御部５０を介して、ズレの有無を表示装置４３に表示させてもよいし、後述する音声出力装置４４により音声として出力してもよい。

【0032】

通信部５２は、サーバ３０との間で情報の送受信を行う。通信部５２は、サーバ３０から、例えばＶＲ空間の映像の情報、講師アバター映像の情報、講師モーション情報等の各情報を受信する。また、通信部５２は、例えば制御装置４２で生成された受講者アバター映像の情報、半透過アバター映像の情報、受講者モーション情報等の各情報をサーバ３０に送信する。

【0033】

記憶部５３は、各種情報を記憶する。記憶部５３は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部５３として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部５３は、予め設定された受講者アバターを記憶する。記憶部５３は、制御装置４２の各部が処理を行うためのプログラム、データ等の情報を記憶する。記憶部５３は、サーバ３０から受信したＶＲ空間の映像情報を記憶する。

【0034】

表示装置４３は、表示制御部５０の制御により、映像等の各種情報を表示する。表示装置４３は、例えばＶＲ空間映像を表示可能である。表示装置４３としては、例えばヘッドマウントディスプレイ等が挙げられるが、これに限定されず、フラットパネルディスプレイ等であってもよい。

【0035】

音声出力装置４４は、制御装置４２の制御に基づいて、音声を出力する。音声出力装置４４としては、例えばスピーカ等が用いられる。

【0036】

サーバ３０は、通信部３１と、処理部３２と、記憶部３３とを有する。通信部３１は、講師側システム１０の通信部２０、及び後述する受講者側システム４０の通信部５２との間で情報の送受信を行う。処理部３２は、各レッスン講習を管理する。不図示の入力部等により必要な情報が入力された場合、処理部３２は、例えばレッスン講習ごとのＶＲ空間の設定、ＶＲ空間に配置する講師用アバター映像及び受講者アバター映像の位置の設定、受講可能な最大受講者数等の設定等を行うことができる。

【0037】

処理部３２は、通信部３１における情報の送受信を制御する。処理部３２の制御により、通信部３１を介してＶＲ空間に関する情報、講師モーション情報、講師アバター映像の情報、受講者モーション情報及び受講者アバター映像の情報等の各種情報が送受信される。記憶部３３は、各種の情報を記憶する。

【0038】

記憶部３３は、通信部３１により送受信される各種情報を記憶する。なお、レッスン講習システム１００は、記憶部３３が例えばレッスン講習における講師Ｔの講師用アバターと、受講者Ｓの受講者用アバターとを記憶し、処理部３２が講師用アバター映像、受講者用アバター映像、半透過アバター映像及びそれぞれのＶＲ映像を生成してもよい。この場合、講師側システム１０のアバター生成部１７及びＶＲ映像生成部１８と、受講者側システム４０のアバター生成部４７、半透過アバター生成部４８及びＶＲ映像生成部４９が設けられなくてもよい。これにより、講師側システム１０及び受講者側システム４０とサーバ３０との間の通信量を抑制できる。

【0039】

次に、上記のレッスン講習システム１００を用いたレッスン講習方法を説明する。図２から図８は、レッスン講習方法の一例を示す図である。図２は、講師Ｔが動作する場合の一態様を示す図である。図２に示すように、講師Ｔは、体の各部に検出部１１ａ及び振動発生部１１ｂを装着した状態で、見本となる動作を行う。各検出部１１ａは、講師Ｔの動作に応じて体の各部の位置、速度、加速度を検出し、検出結果を制御装置１２に送信する。制御装置１２において、モーション生成部１６は、検出部１１ａの検出結果を取得し、取得した検出結果に基づいて、講師の体の各部の動きを示す講師モーション情報を生成する。モーション生成部１６は、生成した講師モーション情報を記憶部２１に記憶する。通信部２０は、生成された講師モーション情報をサーバ３０に送信する。

【0040】

講師モーション情報が生成された後、アバター生成部１７は、当該講師モーション情報に基づいて講師アバター映像を生成する。図３は、講師アバター映像の一例を示す図である。図３に示すように、アバター生成部１７は、講師アバターＡＴが講師の動作に対応した動作を行う講師アバター映像を生成する。アバター生成部１７は、生成した講師アバター映像の情報を記憶部２１に記憶する。通信部２０は、生成された講師アバター映像の情報をサーバ３０に送信する。

【0041】

サーバ３０は、通信部３１により講師側システム１０から送信された講師モーション情報及び講師アバター映像の情報を受信する。サーバ３０は、受信した各情報を記憶部３３に記憶する。

【0042】

受講者側システム４０では、受講者Ｓの所定の操作により通信部５２がサーバ３０にアクセスし、ＶＲ空間の映像の情報、講師モーション情報、講師アバター映像の情報を受信する。ＶＲ映像生成部４９は、受信したＶＲ空間の映像の情報及び講師アバター映像の情報に基づいてＶＲ映像を生成する。表示制御部５０は、生成したＶＲ映像を表示装置４３に表示させる。

【0043】

図４に示すように、異なる場所で異なる受講者側システム４０を使用する受講者Ｓ１、Ｓ２は、それぞれ表示装置４３に表示されるＶＲ映像を見ながら、体の各部に検出部４１ａ及び振動発生部４１ｂを装着した状態で、講師アバターＡＴの動きに沿って動作を行うことができる。各検出部４１ａは、受講者Ｓ１の動作に応じて体の各部の位置、速度、加速度を検出し、検出結果を制御装置４２に送信する。制御装置４２において、モーション生成部４６は、検出部４１ａの検出結果を取得し、取得した検出結果に基づいて、受講者Ｓ１、Ｓ２の体の各部の動きを示す受講者モーション情報を生成する。モーション生成部４６は、生成した受講者モーション情報を記憶部５３に記憶する。通信部５２は、生成された受講者モーション情報をサーバ３０に送信する。

【0044】

受講者モーション情報が生成された後、アバター生成部４７は、当該受講者モーション情報に基づいて受講者アバター映像を生成する。図５は、受講者アバター映像の一例を示す図である。図５に示すように、アバター生成部４７は、受講者アバターＡＳ１、ＡＳ２が講師Ｔ（講師アバターＡＴ）の動作に対応した動作を行う受講者アバター映像を生成する。また、半透過アバター生成部４８は、生成された受講者アバター映像に基づいて、半透過アバター映像を生成する。アバター生成部４７は、生成した受講者アバター映像及び半透過アバター映像の情報を記憶部５３に記憶する。通信部５２は、生成された受講者アバター映像及び半透過アバター映像の情報をサーバ３０に送信する。

【0045】

サーバ３０は、通信部３１により受講者側システム４０から送信された受講者モーション情報、受講者アバター映像及び半透過アバター映像の情報を受信する。サーバ３０は、受信した各情報を記憶部３３に記憶する。

【0046】

図６は、講師側システム１０の表示装置１３に表示されるＶＲ映像の一例を示す図である。講師側システム１０において、制御装置１２は、サーバ３０の記憶部３３に記憶された受講者モーション情報、受講者アバター映像及び半透過アバター映像の情報を、通信部２０を介して受信する。ＶＲ映像生成部１８は、受信した各情報に基づいてＶＲ映像を生成する。表示制御部１９は、生成したＶＲ映像を表示装置１３に表示する。図６に示すように、受講者Ｓが複数の場合、表示制御部１９は、複数の受講者アバターＡＳについての受講者アバター映像を表示装置１３に表示することができる。例えば、上記の受講者Ｓ１、Ｓ２の受講者アバターＡＳ１、ＡＳ２をＶＲ空間Ｖａに並べた状態で表示装置１３に表示することができる。これにより、講師Ｔ側からは複数の受講者Ｓ（ＡＳ１、ＡＳ２）の動作をまとめて確認できる。

【0047】

図７及び図８は、受講者側システム４０の表示装置４３に表示されるＶＲ映像の一例を示す図である。受講者側システム４０において、ＶＲ映像生成部１８は、サーバ３０から受信した講師アバター映像と、生成した受講者アバター映像とがＶＲ空間内で対応して配置されるようにＶＲ映像を生成することができる。

【0048】

ＶＲ映像生成部４９は、例えば図７に示すように、講師アバターＡＴと半透過アバターＡＨとがＶＲ空間Ｖｂ内で重畳した状態のＶＲ映像を生成することができる。表示制御部１９は、生成されたＶＲ映像を表示装置１３に表示する。受講者Ｓは、表示装置４３に重畳した状態で表示される講師アバターＡＴと半透過アバターＡＨとを見比べることにより、受講者Ｓの動作と講師Ｔの動作との差異をより容易に把握できる。この場合、ＶＲ映像生成部１８は、例えば講師アバターＡＴの腰部の位置と半透過アバターＡＨの腰部の位置とを対応させることで、上半身のズレ及び下半身のズレを受講者Ｓにより明確に把握させることができる。

【0049】

また、ＶＲ映像生成部４９は、例えば図８に示すように、講師アバターＡＴと受講者アバターＡＳ１とがＶＲ空間Ｖｂ内に並んだ状態のＶＲ映像を生成することができる。表示制御部１９は、生成されたＶＲ映像を表示装置１３に表示する。受講者Ｓは、表示装置４３に並んだ状態で表示される講師アバターＡＴと受講者アバターＡＳ１とを見比べることにより、受講者Ｓの動作と講師Ｔの動作との差異を容易に把握できる。

【0050】

ズレ情報出力部５１は、通信部５２で受信した講師モーション情報を取得し、取得した講師モーション情報と、モーション生成部４６で生成された受講者モーション情報とに基づいて、講師の動きと受講者の動きとのズレを算出する。ズレ情報出力部５１は、ズレ情報出力部５１は、ズレの大きさが所定値を超えた場合、該当箇所の検出部４１ａと一体で設けられる振動発生部４１ｂを振動させるように制御することができる。

【0051】

例えば、ズレ情報出力部５１は、ズレの算出の結果、講師アバターＡＴに対して、受講者アバターＡＳ１の右肩、左肩、右肘、左肘、左足の位置については所定値よりもズレが小さいが、頭、右腕、左腕、右膝、右足、左膝の各部の位置については所定値よりもズレが大きいと判定したとする。この場合、ズレ情報出力部５１は、受講者Ｓの体に装着された検出部４１ａのうち、ズレが大きいと判定した頭、右腕、左腕、右膝、右足、左膝に装着された検出部４１ａと一体の振動発生部４１ｂを振動させる。受講者Ｓは、振動発生部４１ｂの振動により、講師Ｔの体の動きに対してズレが大きい部位を容易かつ素早く把握することが可能となり、動作修正につなげることができる。なお、ズレ情報出力部５１は、ズレが大きい順に所定数の部位のみについて、振動発生部４１ｂを振動させてもよい。この場合、受講者Ｓは、講師Ｔの体の動きに対して優先して修正すべき部位を、より容易に把握することができる。

【0052】

図９は、本実施形態に係るレッスン講習方法の一例を示すフローチャートである。図９は、講師側システム１０の動作である講師側ステップと受講者側システム４０の動作である受講者側ステップとを対応させて示している。図９に示すように、講師側システム１０において、トラッキング装置１１は、講師Ｔの体の各部に装着された検出部１１ａ及び振動発生部１１ｂにより、講師Ｔの動作に応じて体の各部の位置、速度、加速度を検出し、検出結果を制御装置１２に送信する（ステップＳ１１０）。また、受講者側システムにおいて、トラッキング装置４１は、受講者Ｓの体の各部に装着された検出部４１ａ及び振動発生部４１ｂにより、受講者Ｓの動作に応じて体の各部の位置、速度、加速度を検出し、検出結果を制御装置４２に送信する（ステップＳ２１０）。

【0053】

講師側システム１０において、モーション生成部１６は、検出部１１ａの検出結果を取得し、取得した検出結果に基づいて、講師モーション情報を生成する（ステップＳ１２０）。また、受講者側システム４０において、モーション生成部４６は、検出部４１ａの検出結果を取得し、取得した検出結果に基づいて、受講者モーション情報を生成する（ステップＳ２２０）。

【0054】

講師側システム１０において、アバター生成部１７は、当該講師モーション情報に基づいて講師アバター映像を生成する（ステップＳ１３０）。また、受講者側システム４０において、アバター生成部４７は、当該受講者モーション情報に基づいて受講者アバター映像を生成する（ステップＳ２３０）。

【0055】

講師側システム１０において、通信部２０は、サーバ３０との間で情報を送受信する（ステップＳ１４０）。ステップＳ１４０において、通信部２０は、生成された講師モーション情報、講師アバター映像をサーバ３０に送信する。また、ステップＳ１４０において、通信部２０は、後述する受講者モーション情報、受講者アバター映像をサーバ３０から受信する。また、受講者側システム４０において、通信部５２は、生成した各情報をサーバ３０に送信する（ステップＳ２４０）。ステップＳ２４０において、通信部５２は、生成された受講者モーション情報、受講者アバター映像をサーバ３０に送信する。また、ステップＳ２４０において、通信部５２は、上記の講師モーション情報、講師アバター映像をサーバ３０から受信する。

【0056】

講師側システム１０において、ＶＲ映像生成部１８は、受信した各情報に基づいてＶＲ映像を生成する。表示制御部１９は、生成したＶＲ映像を表示装置１３に表示する（ステップＳ１５０）。講師Ｔは、表示装置１３を見ることにより、受講者Ｓの動きが適正か否かを容易に把握することができる。また、受講者側システム４０において、ＶＲ映像生成部４９は、受信した各情報に基づいてＶＲ映像を生成する。表示制御部５０は、生成したＶＲ映像を表示装置４３に表示する（ステップＳ２５０）。受講者Ｓは、表示装置４３を見ることにより、見本となる講師Ｔの動きを容易に把握することができる。

【0057】

また、受講者側システムにおいて、ズレ情報出力部５１は、通信部５２で受信した講師モーション情報を取得し、取得した講師モーション情報と、モーション生成部４６で生成された受講者モーション情報とに基づいて、講師の動きと受講者の動きとのズレを算出する（ステップＳ２６０）。ズレ情報出力部５１は、ズレ情報出力部５１は、ズレの大きさが所定値より大きいか否かを判定する（ステップＳ２７０）。ズレ情報出力部５１は、ズレの大きさが所定値よりも大きいと判定した場合（ステップＳ２７０のＹｅｓ）、該当箇所の検出部４１ａと一体で設けられる振動発生部４１ｂを振動させるように制御する（ステップＳ２８０）。ズレ情報出力部５１は、ズレの大きさが所定値よりも大きくないと判定した場合（ステップＳ２７０のＮｏ）、ステップＳ２８０をスキップする。

【0058】

講師側システム１０において、制御装置１２は、ＶＲ映像を表示した後、全動作が完了したか否かを判定する（ステップＳ１６０）。制御装置１２は、全動作が完了していないと判定した場合（ステップＳ１６０のＮｏ）、ステップＳ１１０以降の動作を繰り返し行わせる。また、制御装置１２は、全動作が完了したと判定した場合（ステップＳ１６０のＹｅｓ）、動作を終了する。また、受講者側システム４０において、制御装置４２は、ＶＲ映像を表示した後又は振動を発生させた後、全動作が完了したか否かを判定する（ステップＳ２６０）。制御装置４２は、全動作が完了していないと判定した場合（ステップＳ２６０のＮｏ）、ステップＳ２１０以降の動作を繰り返し行わせる。また、制御装置４２は、全動作が完了したと判定した場合（ステップＳ２６０のＹｅｓ）、動作を終了する。

【0059】

以上のように、本実施形態に係るレッスン講習システム１００は、講師Ｔの体の動きをトラッキングし、トラッキング結果に基づいて講師モーション情報を生成し、講師Ｔを示す講師アバターが講師モーション情報に基づいて動く講師アバター映像を生成し、生成した講師アバター映像を送信する講師側システム１０と、受講者Ｓの体の動きをトラッキングし、トラッキング結果に基づいて受講者モーション情報を生成し、受講者Ｓを示す受講者アバターが受講者モーション情報に基づいて動く受講者アバター映像を生成するとともに、講師側システム１０から送信された講師アバター映像を受信し、生成した受講者アバター映像と、受信した講師アバター映像とを対応させて表示する受講者側システム４０とを備える。

【0060】

また、本実施形態に係るレッスン講習方法は、講師Ｔの体の動きをトラッキングし、トラッキング結果に基づいて講師モーション情報を生成し、講師Ｔを示す講師アバターが講師モーション情報に基づいて動く講師アバター映像を生成し、受講者Ｓの体の動きをトラッキングし、トラッキング結果に基づいて受講者モーション情報を生成し、受講者Ｓを示す受講者アバターが受講者モーション情報に基づいて動く受講者アバター映像を生成し、生成した受講者アバター映像と、講師側ステップで生成された講師アバター映像とを対応させて表示する。

【0061】

この構成によれば、講師側システム１０から送信された講師アバター映像と、受講者側システム４０で生成した受講者アバター映像とが受講者システム４０の表示装置４３に表示され、他の受講者Ｓについての映像が表示されないため、受講者Ｓが他の受講者Ｓの目を気にすることなくレッスン講習を受けることができる。また、講師アバター映像と受講者アバター映像とが対応して表示されるため、受講者Ｓは、見本となる講師Ｔの動作を受講者自身の動作と容易に対応させて把握することができる。これにより、適切な動作を受講者Ｓに直感的に理解させることができる。

【0062】

本実施形態に係るレッスン講習システム１００において、受講者側システム４０は、講師アバター映像に受講者アバター映像を重畳させて表示する。これにより、受講者Ｓが講師Ｔの動作と受講者Ｓ自身の動作との一致部分又は不一致部分をより確実に把握することができる。

【0063】

本実施形態に係るレッスン講習システム１００において、講師側システム１０は、講師モーション情報を送信し、受講者側システム４０は、講師側システム１０から送信された講師モーション情報を受信し、受信した講師モーション情報と、生成した受講者モーション情報とに基づいて、講師Ｔの動きと受講者Ｓの動きとのズレを検出し、検出結果を出力する。これにより、講師Ｔの動きと受講者Ｓの動きとのズレを受講者Ｓにより確実に把握させることができる。

【0064】

本実施形態に係るレッスン講習システム１００は、受講者側システム４０は、検出されたズレのうち、ズレの大きさが所定値を超えた部位またはズレが大きい順に所定数の部位を振動させる。これにより、受講者Ｓは、講師Ｔの体の動きに対して優先して修正すべき部位を、より容易に把握することができる。

【0065】

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態に係るレッスン講習システム１００は、サーバ３０が講師側システム１０と受講者側システム４０に対して別個に設けられた構成を例に挙げて説明したが、これに限定されない。例えば、サーバ３０が設けられず、サーバ３０の機能が講師側システム１０及び受講者側システム４０の少なくとも一方に搭載された構成であってもよい。

【0066】

また、上記実施形態では、講師アバター及び受講者アバターが仮想空間に３次元的に表示させる態様を例に挙げて説明したが、これに限定されない。講師アバター及び受講者アバターは、例えば所定の方向から見た状態が仮想平面上に２次元的に表示される態様であってもよい。

【符号の説明】

【0067】

ＡＨ…半透過アバター、Ｓ，Ｓ１，Ｓ２…受講者、Ｔ…講師、ＡＳ，ＡＳ１，ＡＳ２…受講者アバター、Ｖａ，Ｖｂ…ＶＲ空間、Ｆ…ＶＲ空間の底面、１０…講師側システム、１１，４１…トラッキング装置、１１ａ，４１ａ…検出部、１１ｂ，４１ｂ…振動発生部、１２，４２…制御装置、１３，４３…表示装置、１４，４４…音声出力装置、１６，４６…モーション生成部、１７，４７…アバター生成部、１８，４９…ＶＲ映像生成部、１９，５０…表示制御部、２０，３１，５２…通信部、２１，３３，５３…記憶部、３０…サーバ、３２…ＶＲ情報処理部、４０…受講者側システム、４８…半透過アバター生成部、５１…ズレ情報出力部、１００…レッスン講習システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】