ホーム > 特許ランキング > 帝人フロンティア株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2025-5016オンラインレッスンシステム、オンラインレッスン提供装置、オンラインレッスン提供方法、コンピュータプログラム及びリストバンド
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025005016
(43)【公開日】2025-01-16
(54)【発明の名称】オンラインレッスンシステム、オンラインレッスン提供装置、オンラインレッスン提供方法、コンピュータプログラム及びリストバンド
(51)【国際特許分類】
A63B 69/00 20060101AFI20250108BHJP
A63B 69/36 20060101ALI20250108BHJP
A63B 71/06 20060101ALI20250108BHJP
G06Q 50/20 20120101ALI20250108BHJP
【ＦＩ】
A63B69/00 A
A63B69/36 541P
A63B71/06 U
G06Q50/20
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023104997
(22)【出願日】2023-06-27
(71)【出願人】
【識別番号】501270287
【氏名又は名称】帝人フロンティア株式会社
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100163902
【弁理士】
【氏名又は名称】市川 奈月
(72)【発明者】
【氏名】小梶 太士
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC34
5L050CC34
(57)【要約】
【課題】講師と生徒間にて技能の上達に向けたレッスンを遠隔で可能なオンラインレッスンシステムを提供する。
【解決手段】第１端末と、第２端末とオンラインレッスン提供装置とが接続されるオンラインレッスンシステムであって、第１端末は、ユーザの動作を示すセンサ信号をオンラインレッスン提供装置に送信し、映像をディスプレイに表示し、第１のユーザの音声を送信し、受信する音声を出力し、第２端末は、映像をディスプレイに表示し、第２のユーザの音声をオンラインレッスン提供装置に送信し、受信する音声をスピーカに出力し、オンラインレッスン提供装置は、第１端末から送信されたセンサ信号を利用して、第１のユーザの動作を表す三次元映像であるモーションデータを生成し、モーションデータを第１端末と第２端末とに送信し、モーションデータの表示のタイミングで、第１のユーザと第２のユーザとの会話を成立させる。
【選択図】図１
【解決手段】第１端末と、第２端末とオンラインレッスン提供装置とが接続されるオンラインレッスンシステムであって、第１端末は、ユーザの動作を示すセンサ信号をオンラインレッスン提供装置に送信し、映像をディスプレイに表示し、第１のユーザの音声を送信し、受信する音声を出力し、第２端末は、映像をディスプレイに表示し、第２のユーザの音声をオンラインレッスン提供装置に送信し、受信する音声をスピーカに出力し、オンラインレッスン提供装置は、第１端末から送信されたセンサ信号を利用して、第１のユーザの動作を表す三次元映像であるモーションデータを生成し、モーションデータを第１端末と第２端末とに送信し、モーションデータの表示のタイミングで、第１のユーザと第２のユーザとの会話を成立させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
オンラインレッスンの生徒である第１のユーザによって利用され、演算回路、ディスプレイ、マイク及びスピーカを有する第１端末と、
前記オンラインレッスンの講師である第２のユーザによって利用され、演算回路、ディスプレイ、マイク及びスピーカを有する第２端末と、
演算回路を備え、モーションデータを生成するオンラインレッスン提供装置と
が接続されるオンラインレッスンシステムであって、
前記第１端末の演算回路は、
前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を示すセンサ信号を受け付け、
前記センサ信号を前記オンラインレッスン提供装置に送信し、
前記オンラインレッスン提供装置から受信する映像を前記第１端末のディスプレイに表示し、
前記第１端末のマイクを介して取得する前記第１のユーザの音声を前記オンラインレッスン提供装置に送信し、
前記オンラインレッスン提供装置から受信する音声を前記第１端末のスピーカに出力し、
前記第２端末の演算回路は、
前記オンラインレッスン提供装置から受信する映像を前記第２端末のディスプレイに表示し、
前記第２端末のマイクを介して取得する前記第２のユーザの音声を前記オンラインレッスン提供装置に送信し、
前記オンラインレッスン提供装置から受信する音声を前記第２端末のスピーカに出力し、
前記オンラインレッスン提供装置の演算回路は、
前記第１端末から送信された、前記センサ信号を受け付け、
前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像である前記モーションデータを生成し、
前記モーションデータを、前記第１端末と前記第２端末とに送信し、
前記モーションデータの表示のタイミングで、前記第１端末から受信する音声を前記第２端末に送信し、前記第２端末から受信する音声を前記第１端末に送信して、前記第１のユーザと前記第２のユーザとの会話を成立させる、
オンラインレッスンシステム。
前記オンラインレッスンの講師である第２のユーザによって利用され、演算回路、ディスプレイ、マイク及びスピーカを有する第２端末と、
演算回路を備え、モーションデータを生成するオンラインレッスン提供装置と
が接続されるオンラインレッスンシステムであって、
前記第１端末の演算回路は、
前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を示すセンサ信号を受け付け、
前記センサ信号を前記オンラインレッスン提供装置に送信し、
前記オンラインレッスン提供装置から受信する映像を前記第１端末のディスプレイに表示し、
前記第１端末のマイクを介して取得する前記第１のユーザの音声を前記オンラインレッスン提供装置に送信し、
前記オンラインレッスン提供装置から受信する音声を前記第１端末のスピーカに出力し、
前記第２端末の演算回路は、
前記オンラインレッスン提供装置から受信する映像を前記第２端末のディスプレイに表示し、
前記第２端末のマイクを介して取得する前記第２のユーザの音声を前記オンラインレッスン提供装置に送信し、
前記オンラインレッスン提供装置から受信する音声を前記第２端末のスピーカに出力し、
前記オンラインレッスン提供装置の演算回路は、
前記第１端末から送信された、前記センサ信号を受け付け、
前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像である前記モーションデータを生成し、
前記モーションデータを、前記第１端末と前記第２端末とに送信し、
前記モーションデータの表示のタイミングで、前記第１端末から受信する音声を前記第２端末に送信し、前記第２端末から受信する音声を前記第１端末に送信して、前記第１のユーザと前記第２のユーザとの会話を成立させる、
オンラインレッスンシステム。
【請求項2】
オンラインレッスンの生徒である第１のユーザによって利用され、受信する映像を表示するディスプレイ、前記第１のユーザの音声を取得するマイク及び受信する音声を出力するスピーカを有する第１端末と、前記オンラインレッスンの講師である第２のユーザによって利用され、受信する映像を表示するディスプレイ、前記第２のユーザの音声を取得するマイク及び受信する音声を出力するスピーカを有する第２端末と接続され、演算回路を備えるオンラインレッスン提供装置であって、
前記演算回路は、
前記第１端末から送信された、前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を示すセンサ信号を受け付け、
前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像であるモーションデータを生成し、
前記モーションデータを、前記第１端末及び前記第２端末に送信し、
前記モーションデータが前記第１端末のディスプレイ及び前記第２端末のディスプレイに表示されるタイミングで、前記第１端末から前記第１端末のマイクを介して取得された音声を受信すると前記第２端末に送信し、前記第２端末から前記第２端末のマイクを介して取得された音声を受信すると前記第１端末に送信し、前記第１のユーザと前記第２のユーザとの会話を成立させる
オンラインレッスン提供装置。
前記演算回路は、
前記第１端末から送信された、前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を示すセンサ信号を受け付け、
前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像であるモーションデータを生成し、
前記モーションデータを、前記第１端末及び前記第２端末に送信し、
前記モーションデータが前記第１端末のディスプレイ及び前記第２端末のディスプレイに表示されるタイミングで、前記第１端末から前記第１端末のマイクを介して取得された音声を受信すると前記第２端末に送信し、前記第２端末から前記第２端末のマイクを介して取得された音声を受信すると前記第１端末に送信し、前記第１のユーザと前記第２のユーザとの会話を成立させる
オンラインレッスン提供装置。
【請求項3】
前記演算回路は、
前記第１端末から送信された、前記第１のユーザの動作を撮影した映像を受け付け、
前記映像を対応する前記モーションデータと関連付けて、前記第１端末と前記第２端末とに送信する、
請求項２に記載のオンラインレッスン提供装置。
前記第１端末から送信された、前記第１のユーザの動作を撮影した映像を受け付け、
前記映像を対応する前記モーションデータと関連付けて、前記第１端末と前記第２端末とに送信する、
請求項２に記載のオンラインレッスン提供装置。
【請求項4】
前記センサ信号は、
前記第１のユーザの背中に沿って取り付けられる第１センサ、腰に沿って取り付けられる第２センサ、ユーザの少なくとも一方の手首又は手の甲に沿って取り付けられる第３センサを含む複数のセンサによって検出された信号である
請求項２に記載のオンラインレッスン提供装置。
前記第１のユーザの背中に沿って取り付けられる第１センサ、腰に沿って取り付けられる第２センサ、ユーザの少なくとも一方の手首又は手の甲に沿って取り付けられる第３センサを含む複数のセンサによって検出された信号である
請求項２に記載のオンラインレッスン提供装置。
【請求項5】
前記第１センサは胸椎に沿って取り付けられ、
前記第２センサは仙骨に沿って取り付けられる
請求項４に記載のオンラインレッスン提供装置。
前記第２センサは仙骨に沿って取り付けられる
請求項４に記載のオンラインレッスン提供装置。
【請求項6】
前記オンラインレッスンの一連の動作は、所定順序の複数の段階に表すことが可能であって、
前記第３センサで検出された信号は、前記ユーザの動作を加速度及び角速度で示す信号であって、
前記演算回路は、
前記複数の段階のそれぞれにおける手首の状態を示す前記センサ信号の範囲が予め関連づけられる分類データを記憶する記憶装置にアクセス可能であり、
前記分類データを参照し、前記第３センサで検出された前記センサ信号が、いずれの段階であるかを分類し、
前記モーションデータに、分類された段階を関連付けて、前記第１端末と前記第２端末とに送信する
請求項４に記載のオンラインレッスン提供装置。
前記第３センサで検出された信号は、前記ユーザの動作を加速度及び角速度で示す信号であって、
前記演算回路は、
前記複数の段階のそれぞれにおける手首の状態を示す前記センサ信号の範囲が予め関連づけられる分類データを記憶する記憶装置にアクセス可能であり、
前記分類データを参照し、前記第３センサで検出された前記センサ信号が、いずれの段階であるかを分類し、
前記モーションデータに、分類された段階を関連付けて、前記第１端末と前記第２端末とに送信する
請求項４に記載のオンラインレッスン提供装置。
【請求項7】
前記演算回路は、
前記段階の動作毎にモーションデータを生成し、
前記段階毎のモーションデータを、前記第１端末と前記第２端末とに送信する
請求項６に記載のオンラインレッスン提供装置。
前記段階の動作毎にモーションデータを生成し、
前記段階毎のモーションデータを、前記第１端末と前記第２端末とに送信する
請求項６に記載のオンラインレッスン提供装置。
【請求項8】
前記演算回路は、
少なくとも、前記第１センサ及び前記第２センサで検出された信号に基づいて、前記第１のユーザを示すアバターを含む前記モーションデータを生成する
請求項５に記載のオンラインレッスン提供装置。
少なくとも、前記第１センサ及び前記第２センサで検出された信号に基づいて、前記第１のユーザを示すアバターを含む前記モーションデータを生成する
請求項５に記載のオンラインレッスン提供装置。
【請求項9】
前記第１センサ及び前記第２センサで検出された信号は、前記第１のユーザの動作を四次元数で示す信号であって、
前記演算回路は、
前記第１センサによって検出された前記センサ信号から求められる胸椎の水平軸及び胸椎の正中線と、前記第２センサによって検出された前記センサ信号から求められる仙骨の水平軸及び仙骨の正中線と、を前記アバターに追加して示すモーションデータを生成する
請求項８に記載のオンラインレッスン提供装置。
前記演算回路は、
前記第１センサによって検出された前記センサ信号から求められる胸椎の水平軸及び胸椎の正中線と、前記第２センサによって検出された前記センサ信号から求められる仙骨の水平軸及び仙骨の正中線と、を前記アバターに追加して示すモーションデータを生成する
請求項８に記載のオンラインレッスン提供装置。
【請求項10】
前記演算回路は、
前記胸椎の水平軸の傾きを表す値と、前記仙骨の傾きを表す値を関連付けたモーションデータを生成する
請求項９に記載のオンラインレッスン提供装置。
前記胸椎の水平軸の傾きを表す値と、前記仙骨の傾きを表す値を関連付けたモーションデータを生成する
請求項９に記載のオンラインレッスン提供装置。
【請求項11】
前記演算回路は、
前記ユーザの胸椎の正中線を中心とした胸椎の回旋角度と、前記ユーザの仙骨の正中線を中心とした仙骨の回旋角度とを関連付けたモーションデータを生成する
請求項９に記載のオンラインレッスン提供装置。
前記ユーザの胸椎の正中線を中心とした胸椎の回旋角度と、前記ユーザの仙骨の正中線を中心とした仙骨の回旋角度とを関連付けたモーションデータを生成する
請求項９に記載のオンラインレッスン提供装置。
【請求項12】
前記演算回路は、
理想的な動作から予め求められた、胸椎の基準水平軸と、胸椎の基準正中線と、仙骨の基準水平軸と、仙骨の基準正中線とを含む基準データを記憶する記憶装置にアクセス可能であり、
前記基準データを参照し、前記胸椎の基準水平軸と前記胸椎の水平軸、前記胸椎の基準正中線と前記胸椎の正中線、前記仙骨の基準水平軸と前記仙骨の水平軸、及び、前記仙骨の基準正中線と前記仙骨の正中線のそれぞれのコサイン類似度に基づいて前記第１のユーザの動作のスコアを求め、
求めた前記スコアを関連付けたモーションデータを生成する
請求項１１に記載のオンラインレッスン提供装置。
理想的な動作から予め求められた、胸椎の基準水平軸と、胸椎の基準正中線と、仙骨の基準水平軸と、仙骨の基準正中線とを含む基準データを記憶する記憶装置にアクセス可能であり、
前記基準データを参照し、前記胸椎の基準水平軸と前記胸椎の水平軸、前記胸椎の基準正中線と前記胸椎の正中線、前記仙骨の基準水平軸と前記仙骨の水平軸、及び、前記仙骨の基準正中線と前記仙骨の正中線のそれぞれのコサイン類似度に基づいて前記第１のユーザの動作のスコアを求め、
求めた前記スコアを関連付けたモーションデータを生成する
請求項１１に記載のオンラインレッスン提供装置。
【請求項13】
前記演算回路は、
前記第１端末又は前記第２端末から、前記アバターを表す角度を変更するリクエスト信号を受け付け、
前記リクエスト信号でリクエストされた角度で、前記アバターを表すように前記モーションデータを変更したモーションデータを生成する
前記第１端末と前記第２端末とに送信する
請求項８に記載のオンラインレッスン提供装置。
前記第１端末又は前記第２端末から、前記アバターを表す角度を変更するリクエスト信号を受け付け、
前記リクエスト信号でリクエストされた角度で、前記アバターを表すように前記モーションデータを変更したモーションデータを生成する
前記第１端末と前記第２端末とに送信する
請求項８に記載のオンラインレッスン提供装置。
【請求項14】
前記オンラインレッスン提供装置は記憶装置を備え、
前記演算回路は、
生成した前記モーションデータを前記記憶装置に記憶させ、
前記第１端末又は前記第２端末から、複数のフレームで構成される一連の前記モーションデータのうち一部の表示をリクエストするリクエスト信号を受け付け、
前記リクエスト信号でリクエストされた一部の前記モーションデータを、前記第１端末と前記第２端末とに送信する
請求項２に記載のオンラインレッスン提供装置。
前記演算回路は、
生成した前記モーションデータを前記記憶装置に記憶させ、
前記第１端末又は前記第２端末から、複数のフレームで構成される一連の前記モーションデータのうち一部の表示をリクエストするリクエスト信号を受け付け、
前記リクエスト信号でリクエストされた一部の前記モーションデータを、前記第１端末と前記第２端末とに送信する
請求項２に記載のオンラインレッスン提供装置。
【請求項15】
前記オンラインレッスン提供装置は、記憶装置を備え、
前記演算回路は、
生成した前記モーションデータを前記記憶装置に記憶させ、
前記第１端末又は前記第２端末から、前記モーションデータの表示速度を変更した表示をリクエストするリクエスト信号を受け付け、
前記リクエスト信号でリクエストされた速度で表示させるようにモーションデータを、前記第１端末と前記第２端末とに送信する
請求項２に記載のオンラインレッスン提供装置。
前記演算回路は、
生成した前記モーションデータを前記記憶装置に記憶させ、
前記第１端末又は前記第２端末から、前記モーションデータの表示速度を変更した表示をリクエストするリクエスト信号を受け付け、
前記リクエスト信号でリクエストされた速度で表示させるようにモーションデータを、前記第１端末と前記第２端末とに送信する
請求項２に記載のオンラインレッスン提供装置。
【請求項16】
改善が必要な所定の動作を示す前記センサ信号の範囲と、前記動作を改善に導く指導内容とを関連付ける指導データを記憶する記憶装置にアクセス可能であり、
前記指導データを参照し、前記センサ信号に応じた指導内容を抽出し、
前記モーションデータに、前記指導内容を関連付けて、少なくとも第１端末に送信する
請求項２に記載のオンラインレッスン提供装置。
前記指導データを参照し、前記センサ信号に応じた指導内容を抽出し、
前記モーションデータに、前記指導内容を関連付けて、少なくとも第１端末に送信する
請求項２に記載のオンラインレッスン提供装置。
【請求項17】
オンラインレッスンの生徒である第１のユーザによって利用され、受信する映像を表示するディスプレイ、前記第１のユーザの音声を取得するマイク及び受信する音声を出力するスピーカを有する第１端末と、前記オンラインレッスンの講師である第２のユーザによって利用され、受信する映像を表示するディスプレイ、前記第２のユーザの音声を取得するマイク及び受信する音声を出力するスピーカを有する第２端末と接続され、演算回路を備えるオンラインレッスン提供装置で実施されるオンラインレッスン提供方法であって、
前記演算回路に、
前記第１端末から送信された、前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を示すセンサ信号を受信すると、前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像であるモーションデータを生成させ、
前記モーションデータを、前記第１端末及び前記第２端末に送信させ、
前記モーションデータが前記第１端末のディスプレイ及び前記第２端末のディスプレイに表示されるタイミングで、前記第１端末から前記第１端末のマイクを介して取得された音声を受信すると前記第２端末に送信させ、前記第２端末から前記第２端末のマイクを介して取得された音声を受信すると前記第１端末に送信させ、前記第１のユーザと前記第２のユーザとの会話を成立させる
オンラインレッスン提供方法。
前記演算回路に、
前記第１端末から送信された、前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を示すセンサ信号を受信すると、前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像であるモーションデータを生成させ、
前記モーションデータを、前記第１端末及び前記第２端末に送信させ、
前記モーションデータが前記第１端末のディスプレイ及び前記第２端末のディスプレイに表示されるタイミングで、前記第１端末から前記第１端末のマイクを介して取得された音声を受信すると前記第２端末に送信させ、前記第２端末から前記第２端末のマイクを介して取得された音声を受信すると前記第１端末に送信させ、前記第１のユーザと前記第２のユーザとの会話を成立させる
オンラインレッスン提供方法。
【請求項18】
コンピュータに、請求項１７に記載のオンラインレッスン提供方法を実行させるコンピュータプログラム。
【請求項19】
請求項１のオンラインレッスンシステムで前記第１のユーザの手首又は手の甲に着用されるリストバンドであって
単繊維径が５０～３０００ｎｍの極細繊維を含む布帛を含み
一部に前記センサが取り付けられる
リストバンド。
単繊維径が５０～３０００ｎｍの極細繊維を含む布帛を含み
一部に前記センサが取り付けられる
リストバンド。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、技能の上達に向けた遠隔でのレッスンを可能とするオンラインレッスンシステムに関する。
【背景技術】
【0002】
ゴルフのオンラインレッスン方法として、生徒のスイング動画をサーバ経由で送信し、講師が音声によるアドバイスを行う遠隔レッスンがある（例えば、特許文献１参照）。また、センサで取得されたセンサ情報を用いて生成されたフィードバック情報を、サーバ経由で講師（トレーナー）の端末と生徒の端末間で送受信し、表示するアプリケーション内に搭載されたチャット機能等を用いてアドバイスを行う遠隔レッスンがある。（例えば、特許文献２参照）
【0003】
しかしながら、スイング動画のみでは、服装や体形によっては、生徒の体軸などのモーションを把握することが困難である。また、遠隔地からでは講師は生徒に正しいフォームを伝えにくい場合があった。したがって、遠隔地からのレッスンは困難であった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００６－２５５３２９号公報
【特許文献2】ＷＯ１８／２２０９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は上記の背景に鑑み、遠隔である場合においても生徒と講師が対面する場合と同等のレッスンをリアルタイムで実現することができるオンラインレッスンシステム、オンラインレッスン提供装置、オンラインレッスン提供方法、コンピュータプログラム及びリストバンドを提供する。
【課題を解決するための手段】
【0006】
オンラインレッスンの生徒である第１のユーザによって利用され、演算回路、ディスプレイ、マイク及びスピーカを有する第１端末と、前記オンラインレッスンの講師である第２のユーザによって利用され、演算回路、ディスプレイ、マイク及びスピーカを有する第２端末と、演算回路を備え、モーションデータを生成するオンラインレッスン提供装置と
が接続されるオンラインレッスンシステムであって、前記第１端末の演算回路は、前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を四次元数で示すセンサ信号を受け付け、前記センサ信号を前記オンラインレッスン提供装置に送信し、前記オンラインレッスン提供装置から受信する映像を前記第１端末のディスプレイに表示し、前記第１端末のマイクを介して取得する前記第１のユーザの音声を前記オンラインレッスン提供装置に送信し、前記オンラインレッスン提供装置から受信する音声を前記第１端末のスピーカに出力し、前記第２端末の演算回路は、前記オンラインレッスン提供装置から受信する映像を前記第２端末のディスプレイに表示し、前記第２端末のマイクを介して取得する前記第２のユーザの音声を前記オンラインレッスン提供装置に送信し、前記オンラインレッスン提供装置から受信する音声を前記第２端末のスピーカに出力し、前記オンラインレッスン提供装置の演算回路は、前記第１端末から送信された、前記センサ信号を受け付け、前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像である前記モーションデータを生成し、前記モーションデータを、前記第１端末と前記第２端末とに送信し、前記モーションデータの表示のタイミングで、前記第１端末から受信する音声を前記第２端末に送信し、前記第２端末から受信する音声を前記第１端末に送信して、前記第１のユーザと前記第２のユーザとの会話を成立させる。
が接続されるオンラインレッスンシステムであって、前記第１端末の演算回路は、前記第１のユーザの所定位置に取り付けられたセンサによって検出された前記ユーザの前記オンラインレッスンの対象である動作を四次元数で示すセンサ信号を受け付け、前記センサ信号を前記オンラインレッスン提供装置に送信し、前記オンラインレッスン提供装置から受信する映像を前記第１端末のディスプレイに表示し、前記第１端末のマイクを介して取得する前記第１のユーザの音声を前記オンラインレッスン提供装置に送信し、前記オンラインレッスン提供装置から受信する音声を前記第１端末のスピーカに出力し、前記第２端末の演算回路は、前記オンラインレッスン提供装置から受信する映像を前記第２端末のディスプレイに表示し、前記第２端末のマイクを介して取得する前記第２のユーザの音声を前記オンラインレッスン提供装置に送信し、前記オンラインレッスン提供装置から受信する音声を前記第２端末のスピーカに出力し、前記オンラインレッスン提供装置の演算回路は、前記第１端末から送信された、前記センサ信号を受け付け、前記センサ信号を利用して、前記第１のユーザの動作を表す三次元映像である前記モーションデータを生成し、前記モーションデータを、前記第１端末と前記第２端末とに送信し、前記モーションデータの表示のタイミングで、前記第１端末から受信する音声を前記第２端末に送信し、前記第２端末から受信する音声を前記第１端末に送信して、前記第１のユーザと前記第２のユーザとの会話を成立させる。
【発明の効果】
【0007】
本開示によれば、遠隔である場合においても対面の場合と同等のレッスンをリアルタイムで実現することができる。
【図面の簡単な説明】
【0008】
【図1】本開示に係るオンラインレッスンシステムの構成を示す概略図である。
【図2】本開示に係るオンラインレッスンシステムでセンサが取り付けられるユーザの各部を示す模式図である。
【図3】本開示に係るオンラインレッスン提供装置の構成を示すブロック図である。
【図4A】第１端末の構成を示すブロック図である。
【図4B】第２端末の構成を示すブロック図である。
【図5A】オンラインレッスン提供装置で生成されるモーションデータと映像とを連動させて表示させる一例を示す。
【図5B】オンラインレッスン提供装置で生成されるモーションデータの一例を示す。
【図6A】オンラインレッスン提供装置で生成されるモーションデータの他の例を示す。
【図7】オンラインレッスンシステムにおける処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【0009】
以下に、図面を参照して本開示に係るオンラインレッスンシステム及びオンラインレッスン提供装置について説明する。本開示に係るオンラインレッスンシステムは、生徒がスポーツ等の特定の動作に関するレッスンをリアルタイムにオンラインで受講する際に利用可能なシステムである。具体的には、オンラインレッスンシステムは、生徒の動作についてモーションデータを生成し、別々の場所にいる生徒と講師とが、モーションデータを確認しながら各々の端末を利用してコミュニケーションを図ることにより、オンラインでのレッスンの受講が実現する。以下の説明において、生徒は講師からゴルフのスイングのフォームについて指導を受ける一例で説明するが、ゴルフのスイングのレッスンに限定されない。例えば、本開示のオンラインレッスンシステムでは、ゴルフの他、ダンス、弓道、アーチェリー、野球、テニス、卓球、水泳、陸上競技、体操競技、ヨガ、ピラティス等、理想のフォームが求められる種々のスポーツを対象とすることができる。また、スポーツに限定されず熟練労働や作業標準のある動作、伝統技能、（例えば、舞踊、演舞、能）の動作の体得やリハビリテーションや日常の動作など幅広く適用されうる。
【0010】
オンラインレッスンの一連の動作は、所定順序の複数の段階（フェーズ）に表すことが可能である。以下の説明では、ゴルフのスイングのフォームを、「アドレス」、「テイクバック」、「ダウンスイング」、「インパクト」、「フォロースルー」の５つの段階に表す例で説明するが、これに限定されない。
【0011】
以下の説明において、「モーションデータ」は、ユーザである人間の動作（モーション）を表す３次元映像であるとする。
【0012】
また、「モーションキャプチャ」は、ユーザである人間の動作を測定し、モーションデータとしてコンピュータに取り込むことをいう。具体的には、本開示のオンラインレッスンシステムでは、ユーザの所定箇所に取り付けられたセンサで検出されるセンサ信号を利用する手法でモーションデータを取得する例で説明する。
【0013】
〈オンラインレッスンシステム〉
図１に示すように、本開示のオンラインレッスンシステム１は、モーションデータを生成するオンラインレッスン提供装置１０と、オンラインレッスンの生徒である第１のユーザによって利用される第１端末２０Ａと、講師である第２のユーザによって利用される第２端末２０Ｂとがネットワーク４０を介して接続される。オンラインレッスンシステム１では、第１端末２０Ａが、図２の模式図で示すように、生徒の所定位置に取り付けられた複数のセンサ３０（３０Ａ～３０Ｃ）によって検出されたセンサ信号をオンラインレッスン提供装置１０に送信する。オンラインレッスン提供装置１０は、受信するセンサ信号を利用してモーションデータを生成する。また、オンラインレッスン提供装置１０は、生成したモーションデータを第１端末２０Ａ及び第２端末２０Ｂに送信する。本開示のオンラインレッスンシステム１では、生徒は、複数のセンサ３０が取り付けられたウエアを着用する例で説明する。以下の説明では、複数のセンサは、第１のユーザの背中に沿って取り付けられる第１センサ３０Ａ、腰に沿って取り付けられる第２センサ３０Ｂ、ユーザの少なくとも一方の手首又は手の甲に沿って取り付けられる第３センサ３０Ｃを含む例で説明する。なお、以下の説明では、第３センサ３０Ｃは、手首に沿って取り付けられる一例で説明する。
図１に示すように、本開示のオンラインレッスンシステム１は、モーションデータを生成するオンラインレッスン提供装置１０と、オンラインレッスンの生徒である第１のユーザによって利用される第１端末２０Ａと、講師である第２のユーザによって利用される第２端末２０Ｂとがネットワーク４０を介して接続される。オンラインレッスンシステム１では、第１端末２０Ａが、図２の模式図で示すように、生徒の所定位置に取り付けられた複数のセンサ３０（３０Ａ～３０Ｃ）によって検出されたセンサ信号をオンラインレッスン提供装置１０に送信する。オンラインレッスン提供装置１０は、受信するセンサ信号を利用してモーションデータを生成する。また、オンラインレッスン提供装置１０は、生成したモーションデータを第１端末２０Ａ及び第２端末２０Ｂに送信する。本開示のオンラインレッスンシステム１では、生徒は、複数のセンサ３０が取り付けられたウエアを着用する例で説明する。以下の説明では、複数のセンサは、第１のユーザの背中に沿って取り付けられる第１センサ３０Ａ、腰に沿って取り付けられる第２センサ３０Ｂ、ユーザの少なくとも一方の手首又は手の甲に沿って取り付けられる第３センサ３０Ｃを含む例で説明する。なお、以下の説明では、第３センサ３０Ｃは、手首に沿って取り付けられる一例で説明する。
【0014】
《オンラインレッスン提供装置》
図３を用いて、オンラインレッスン提供装置１０について説明する。例えば、オンラインレッスン提供装置１０は、図３に示すように、演算回路１１、記憶装置１２及び通信回路１３を備えるサーバ等の情報処理装置である。
図３を用いて、オンラインレッスン提供装置１０について説明する。例えば、オンラインレッスン提供装置１０は、図３に示すように、演算回路１１、記憶装置１２及び通信回路１３を備えるサーバ等の情報処理装置である。
【0015】
演算回路１１は、オンラインレッスン提供装置１０全体の制御を司るコントローラである。演算回路１１は、記憶装置１２に記憶されるコンピュータプログラムＰ１を実行することにより各種の処理を実行する。また、演算回路１１は、所定の機能を実現する専用に設計されたハードウェア回路でもよい。演算回路１１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサであってもよい。
【0016】
記憶装置１２は、種々の情報を記録する記憶媒体である。記憶装置１２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置１２は、例えば、分類データＤ１１、基準データＤ１２、指導データＤ１３等、種々のデータを予め記憶することができる。また、記憶装置１２は、オンラインレッスンの提供の処理において各端末２０Ａ，２０Ｂから受信する種々のデータ又は演算回路１１で生成された種々のデータを記憶することができる。
【0017】
分類データＤ１１は、ゴルフのスイングのフォームの複数の段階のそれぞれにおける手首の状態を示すセンサ信号の範囲が予め関連づけられる。本開示の例では、上述したゴルフのスイングのフォームを表す「アドレス」、「テイクバック」、「ダウンスイング」、「インパクト」、「フォロースルー」の各段階について、手首の状態を表す加速度及び角速度の範囲を関連付ける。これにより、第３センサ３０Ｃで検出されるセンサ信号と対応させ、センサ信号と関連付けられる各時刻においてどの状態であったかを求めることができる。
【0018】
基準データＤ１２は、理想的な動作から求められた、胸椎の基準水平軸と、胸椎の基準正中線と、仙骨の基準水平軸と、仙骨の基準正中線とを含む。胸椎の基準水平軸は、理想的な胸椎の水平軸である。また、胸椎の基準正中線は、理想的な胸椎の正中線である。仙骨の基準水平軸は、理想的な仙骨の水平軸である。また、仙骨の基準正中線は、理想的な仙骨の正中線である。ここでは、水平軸は、胸椎又は仙骨を基準として体の左右方向を表す線分である。また、正中線は、胸椎又は仙骨を基準として体の上下方向を表す線分である。なお、水平軸及び正中線については、図５Ｂを用いて後述する。本開示の例では、基準データＤ１２は、アドレス、テイクバック、ダウンスイング、インパクト、フォロースルーのゴルフのスイングのフォームの各段階についての、胸椎の基準水平軸、胸椎の基準正中線、仙骨の基準水平軸及び仙骨の基準正中線を含む。ここで、胸椎の水平軸及び胸椎の正中線は、第１センサ３０Ａのセンサ信号から求めることができる。また、仙骨の水平軸及び仙骨の正中線は、第２センサ３０Ｂのセンサ信号から求めることができる。これら胸椎の水平軸及び正中線を、胸椎の基準水平軸及び基準正中線と比較し、仙骨の水平軸及び正中線を、仙骨の基準水平軸及び基準正中線と比較し、理想的なフォームとの差を把握することができる。例えば、この基準データＤ１２は、講師自身のゴルフのスイングの動作に応じて求められたデータであってもよい。
【0019】
指導データＤ１３は、改善が必要な所定の動作を示すセンサ信号の範囲と、動作を改善に導く指導内容とを関連付ける。または、ここで、改善が必要な所定の動作を示すセンサ信号の範囲には、センサ信号から導くことのできる動作の状態を含むことができる。例えば、センサ信号自体でなくて、センサ信号から基準データＤ１２に従って導くことのできる胸椎又は仙骨の水平軸及び正中線であってもよい。センサ信号の状態から、生徒の運動の状態を把握することができる。したがって、指導データＤ１３は、改善が必要な生徒の状態を示すセンサ信号に、そのような状態の生徒に現在の問題を解決するための情報を関連付ける。
【0020】
通信回路１３は、第１端末２０Ａや第２端末２０Ｂ等の外部の装置とのデータ通信を可能とするための通信手段である。データ通信は、ネットワーク４０を介して無線及び／又は有線による公知の通信規格にしたがって行われ得る。例えば、有線によるデータ通信は、イーサネット（登録商標）規格、及び／又はＵＳＢ（登録商標）規格等に準拠して動作する半導体集積回路の通信コントローラを通信回路１３として用いることによって行われる。また無線によるデータ通信は、ＬＡＮ（Local Area Network）に関するＩＥＥＥ８０２．１１規格、及び／又は移動体通信に関する、いわゆる４Ｇ／５Ｇと呼ばれる、第４世代／第５世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信回路１３として用いることによって行われる。
【0021】
また、オンラインレッスン提供装置１０は、図３に示すように、オペレータに操作される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力装置１４を備えてもよい。さらに、オンラインレッスン提供装置１０は、図３に示すように、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力装置１５を備えてもよい。
【0022】
演算回路１１は、第１端末２０Ａから送信された、第１のユーザの所定位置に取り付けられたセンサによって検出されたセンサ信号を、通信回路１３を介して受け付ける。演算回路１１は、受け付けたセンサ信号Ｄ１４を記憶装置１２に記憶させてもよい。ここで、受け付けたセンサ信号は、センサ信号の検出時刻を含む。
【0023】
演算回路１１は、第１端末２０Ａから送信された、第１のユーザの動作を撮影した映像を、通信回路１３を介して受け付ける。演算回路１１は、受け付けた映像Ｄ１５を記憶装置１２に記憶させてもよい。ここで、受け付けた映像は、映像の撮影時刻を含む。
【0024】
演算回路１１は、センサ信号Ｄ１４を用いて、モーションデータＤ１６を生成する。演算回路２１は、生成したモーションデータＤ１６を記憶装置１２に記憶させてもよい。このモーションデータＤ１６は、センサ信号Ｄ１４で含まれる検出時刻を含む。また、生成したモーションデータＤ１６を、通信回路１３を介して、第１端末２０Ａ及び第２端末２０Ｂに送信する。このとき、演算回路１１は、モーションデータＤ１６とともに、対応する映像Ｄ１５を、第１端末２０Ａ及び第２端末２０Ｂに送信してもよい。
【0025】
演算回路１１は、第１端末２０Ａから受信する音声を第２端末２０Ｂに送信する。また、演算回路１１は、第２端末２０Ｂから受信する音声を第１端末２０Ａに送信する。これにより、演算回路１１は、第１のユーザと第２のユーザとの会話を成立させる。
【0026】
《第１端末》
図４Ａを用いて、第１端末２０Ａについて説明する。例えば、第１端末２０Ａは、図４Ａに示すように、演算回路２１、記憶装置２２、入力装置２３、出力装置２４及び通信回路２５を備えるタブレット端末やパーソナルコンピュータ等の情報処理装置である。
図４Ａを用いて、第１端末２０Ａについて説明する。例えば、第１端末２０Ａは、図４Ａに示すように、演算回路２１、記憶装置２２、入力装置２３、出力装置２４及び通信回路２５を備えるタブレット端末やパーソナルコンピュータ等の情報処理装置である。
【0027】
演算回路２１は、第１端末２０Ａ全体の制御を司るコントローラである。演算回路２１は、記憶装置２２に記憶されるコンピュータプログラムＰ２を実行することにより各種の処理を実行する。また、演算回路２１は、所定の機能を実現する専用に設計されたハードウェア回路でもよい。演算回路２１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサであってもよい。
【0028】
記憶装置２２は、種々の情報を記録する記憶媒体である。記憶装置２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置２２は、コンピュータプログラムＰ２とともに、センサ信号Ｄ２１、映像Ｄ２２等が格納され得る。また、記憶装置２２は、情報の取得や処理の過程で利用される種々のデータを記憶し得る。
【0029】
入力装置２３は、カメラ２３１及びマイクロフォン（マイク）２３２を含むことができる。また、入力装置２３は、オペレータに操作される操作ボタン、キーボード、マウス、タッチパネル等を含むことができる。出力装置２４は、処理結果やデータの出力に利用されるディスプレイ２４１及びスピーカ２４２を含むことができる。
【0030】
通信回路２５は、オンラインレッスン提供装置１０や第２端末２０Ｂ等の外部の装置とのデータ通信を可能とする。通信回路２５は、上述した通信回路１３と同一の通信規格にしたがって行われ得る。また、通信回路２５は、接続されるセンサ３０から送信されるセンサ信号を受信し得る。
【0031】
センサ信号Ｄ２１は、各センサ３０で検出されたセンサ信号であり、センサ信号を検出した検出時刻を含む。
【0032】
映像Ｄ２２は、生徒である第１のユーザのゴルフのフォームを撮影した映像であり、映像を撮影した撮影時刻を含む。
【0033】
演算回路２１は、オンラインレッスンが開始すると、通信回路２５を介して、第１のユーザに取り付けられた複数のセンサ３０からセンサ信号を取得する。このセンサ信号は、センサ信号の検出時刻を含む。演算回路２１は、記憶装置２２に、取得したセンサ信号を記憶させる。
【0034】
演算回路２１は、オンラインレッスンが開始すると、カメラ２３１を介して、第１のユーザのゴルフのフォームの映像を撮影する。この映像は、映像の撮影時刻を含む。演算回路２１は、記憶装置２２に、撮影した映像を記憶させる。
【0035】
演算回路２１は、センサ信号と、映像とを、通信回路２５を介してオンラインレッスン提供装置１０に送信する。ここで、演算回路２１は、第１センサ３０Ａのセンサ信号として、クォータニオン情報のみを送信すれば足りる。また、演算回路２１は、第２センサ３０Ｂのセンサ信号として、四次元数で表すクォータニオン情報のみを送信すれば足りる。さらに、第３センサ３０Ｃのセンサ信号として、ｘ軸、ｙ軸、ｚ軸の加速度と、ｘ軸、ｙ軸、ｚ軸の角速度のみを送信すれば足りる。
【0036】
演算回路２１は、センサ信号Ｄ２１に対してオンラインレッスン提供装置１０で生成され、通信回路２５を介して受信したモーションデータを、ディスプレイ２４１に表示させる。例えば、演算回路２１は、図５Ａ乃至図６Ｅを用いて後述するようなモーションデータをディスプレイ２４１に表示させる。
【0037】
演算回路２１は、マイク２３２を介して入力される第１のユーザの音声を、通信回路２５を介してオンラインレッスン提供装置１０に送信する。また、演算回路２１は、通信回路２５を介してオンラインレッスン提供装置１０から受信した第２のユーザの音声を、スピーカ２４２を介して出力する。これにより、生徒である第１のユーザと、講師である第２のユーザとのリアルタイムでの会話を実現することができる。
【0038】
演算回路２１は、生徒の操作に応じて、入力装置２３を介して、モーションデータの一部分を表示するリクエスト信号や、モーションデータの表示速度を変更するリクエスト信号、アバターを表示する際の方向を変更するリクエスト信号等を受け付けることができる。また、演算回路２１は、これらのリクエスト信号を、通信回路２５を介してオンラインレッスン提供装置１０に送信することができる。
【0039】
このように、第１端末２０Ａは、オンラインレッスン提供装置１０を介して第２端末２０Ｂとの通信を可能として、リアルタイム性の高いオンラインレッスンを実現することができる。
【0040】
《第２端末》
図４Ｂに示すように、第２端末２０Ｂは、図４Ａを用いて上述した第１端末２０Ａと同一の構成である。ここでは、記憶装置２２にコンピュータプログラムＰ２が記憶される情報処理装置が、生徒に利用されることで第１端末２０Ａとなり、講師に利用されることで第２端末２０Ｂとなる例で説明する。第２端末２０Ｂは第１端末２０Ａと同一の構成であるが、第２端末２０Ｂは第２ユーザに利用されるため、第１ユーザに利用される第１端末２０Ａとは異なる処理が実行される。なお、生徒に利用される第１端末２０Ａを実行するコンピュータプログラムと、講師に利用されるコンピュータプログラムとは異なっていてもよい。
図４Ｂに示すように、第２端末２０Ｂは、図４Ａを用いて上述した第１端末２０Ａと同一の構成である。ここでは、記憶装置２２にコンピュータプログラムＰ２が記憶される情報処理装置が、生徒に利用されることで第１端末２０Ａとなり、講師に利用されることで第２端末２０Ｂとなる例で説明する。第２端末２０Ｂは第１端末２０Ａと同一の構成であるが、第２端末２０Ｂは第２ユーザに利用されるため、第１ユーザに利用される第１端末２０Ａとは異なる処理が実行される。なお、生徒に利用される第１端末２０Ａを実行するコンピュータプログラムと、講師に利用されるコンピュータプログラムとは異なっていてもよい。
【0041】
演算回路２１は、オンラインレッスン提供装置１０で生成され、通信回路２５を介して受信したモーションデータを、ディスプレイ２４１に表示させる。第２端末２０Ｂのディスプレイ２４１で表示されるモーションデータは、第１端末２０Ａのディスプレイ２４１に表示されるモーションデータと同一である。
【0042】
演算回路２１は、マイク２３２を介して入力される第２のユーザの音声を、通信回路２５を介してオンラインレッスン提供装置１０に送信する。また、演算回路２１は、通信回路２５を介してオンラインレッスン提供装置１０から受信した第１のユーザの音声を、スピーカ２４２を介して出力する。これにより、生徒である第１のユーザと、講師である第２のユーザとのリアルタイムでの会話を実現することができる。
【0043】
演算回路２１は、講師の操作に応じて、入力装置２３を介して、モーションデータの一部分を表示するリクエスト信号や、モーションデータの表示速度を変更するリクエスト信号、アバターを表示する際の方向を変更するリクエスト信号等を受け付けることができる。また、演算回路２１は、これらのリクエスト信号を、通信回路２５を介してオンラインレッスン提供装置１０に送信することができる。
【0044】
このように、第２端末２０Ｂは、オンラインレッスン提供装置１０を介して第１端末２０Ａとの通信を可能として、リアルタイム性の高いオンラインレッスンを実現することができる。
【0045】
《ウエア》
第１のユーザが着用し、センサ３０が取り付けられるウエアは、衣服の他、リストバンドのような身体装着品であり得る。図２を用いて上述したように、複数のセンサ３０を使用する場合、上半身に着用する衣服である第１のウエアと、手首又は手の甲に着用する第２のウエアとの両方を装着してもよい。その際、第１のウエアである第１のユーザの上半身に身に着ける衣服は、例えば、ベスト型の衣料であり得る。また、第２のウェアは、ユーザの手首又は手の甲に着用されるリストバンドでありうる。
第１のユーザが着用し、センサ３０が取り付けられるウエアは、衣服の他、リストバンドのような身体装着品であり得る。図２を用いて上述したように、複数のセンサ３０を使用する場合、上半身に着用する衣服である第１のウエアと、手首又は手の甲に着用する第２のウエアとの両方を装着してもよい。その際、第１のウエアである第１のユーザの上半身に身に着ける衣服は、例えば、ベスト型の衣料であり得る。また、第２のウェアは、ユーザの手首又は手の甲に着用されるリストバンドでありうる。
【0046】
例えば、第１のウエアのユーザによる着用時のユーザの背中部及び腰部にセンサ３０が取り付けられていてもよい。より具体的には、着用時のユーザの胸椎に沿った位置及び仙骨に沿った位置にセンサ３０が取り付けられていてもよい。これにより、第１のユーザの身体の主軸の動作を検出することができる。また、第１のユーザの主軸の動作を検出することで、第２のユーザは、第１のユーザのフォームの指導をしやすくなる。
【0047】
第１のウエアは、例えば、ウエアが外気側生地と肌側生地とを有していてもよい。例えば、外気側生地と肌側生地との間にセンサが設置される。また、前記肌側生地がパワーネットからなるものでもよい。具体的には、前記肌側生地は、総繊度３００～８００ｄｔｅｘ、フィラメント数５～４０本のナイロン繊維とポリウレタン繊維を用いてなるパワーネットであってもよい。または、前記肌側生地は、経編組織を有するパワーネットであってもよい。前記肌側生地において、前記外気側生地側にポケットを有し、該ポケットにセンサを挿入可能に構成されてもよい。例えば、第１のウエアには、胸椎に沿った位置及び仙骨に沿った位置に複数のポケットが設けられ、着用するユーザ毎に、最適な位置ポケットにセンサが挿入可能な構成であってもよい。また、前記ポケットに配されたセンサが面ファスナーにより前記ポケット内で固定されてもよい。または、前記肌側生地がバックル付きベルトを有していてもよい。さらに、身体の動きをより精度よく計測するために極細繊維が滑り止めとして使用されていてもよい。
【0048】
第２のウエアの形状は限定されないが、ユーザの手首又は手の甲にずれることなく固定可能であることが好ましい。例えば、手の中指を正中線とし、その正中線上とすることで、安定した結果を得ることができる。また、手の甲は、スイングに支障がなく、かつ、スイングにおける回旋を反映した結果を得ることができる。したがって、センサが手の甲に沿って配置されることで、より安定性した計測結果を得ることができる。ユーザの手首又は手の甲に沿って配置されたセンサのセンサ信号を利用することで、ユーザの手首の状態を把握することが可能となる。例えば、第２のウエアの一部に単繊維径が５０～３０００ｎｍの極細繊維を含む布帛を含んでもよい。前記第２のウエアは、例えば、特開２００９－２８５１４４号公報に記載されているような単繊維径が１０００ｎｍ以下のフィラメント糸Ａを含む布帛ａと、立毛布帛ｂとで構成される面ファスナーを含んでもよい。また、第２のウエアは、これにより、センサのずれを防止するのみならず、汗や雨でのずれを防止することができる。
【0049】
上述したように第１のウエア及び第２のウエアに取り付けた複数のセンサ３０のセンサ信号を利用してユーザの動作を解析することにより、複数のセンサ３０が取り付けられたユーザの各部位の動作の状態を連動して分析することができ、各動作状態におけるユーザの姿勢を精度よく判別することができる。
【0050】
なお、ここでは、複数のセンサ３０は、第１のユーザが着用するウエアの少なくとも１つの所定の位置に取り付けられる例で説明したが、これに限定されない。例えば、第１のユーザの所定の位置に直接取り付けることが可能であるとき、ウエアを介さず、第１のユーザに直接取り付けてもよい。また、これらの態様を組み合わせて用いてもよい。
【0051】
《センサ》
センサ３０は、例えば、モーションセンサである。具体的には、センサは、加速度センサ、ジャイロセンサ、地磁気センサ等の慣性センサ（量子慣性センサを含む。）、光学式センサ、機械式センサ、磁気式センサ、画像式センサ等であり得る。センサの種類は限定されないが、慣性センサが好ましい。例えば、特開２０１９－８８４６９号公報に記載されているような、３軸方向の加速度と、３軸回りの角速度と、３軸方向の向きを検知することのできるセンサが好ましい。
センサ３０は、例えば、モーションセンサである。具体的には、センサは、加速度センサ、ジャイロセンサ、地磁気センサ等の慣性センサ（量子慣性センサを含む。）、光学式センサ、機械式センサ、磁気式センサ、画像式センサ等であり得る。センサの種類は限定されないが、慣性センサが好ましい。例えば、特開２０１９－８８４６９号公報に記載されているような、３軸方向の加速度と、３軸回りの角速度と、３軸方向の向きを検知することのできるセンサが好ましい。
【0052】
本開示に係るオンラインレッスンシステムでは、上述したように、第１のユーザの背中に取り付けられる第１センサ３０Ａと、腰に取り付けられる第２センサ３０Ｂと、手首又は手の甲に取り付けられる第３センサ３０Ｃとを少なくとも含む。ここで、第１センサ３０Ａ及び第２センサ３０Ｂは、少なくとも３軸の方向と角度を四次元数で表すクォータニオン情報のみをセンサ信号として検出することができれば足りる。クォータニオン情報は、３つの方向ベクトルに加え、回転量を表現する情報である。したがって、クォータニオン情報を利用することで、実施例１において後述するように、第１のユーザの背中の回転と腰の回転を表すことができる。第１センサ３０Ａ及び第２センサ３０Ｂのセンサ信号を利用して、第１のユーザのモーションデータを生成することができる。また、第３センサ３０Ｃは、少なくとも、ｘ軸、ｙ軸、ｚ軸の加速度と、ｘ軸、ｙ軸、ｚ軸の角速度のみをセンサ信号として検出することができれば足りる。第３センサ３０Ｃのセンサ信号を利用して、第１のユーザのゴルフのスイングのフォームの各段階を特定することができる。各スイングのフォームの段階は、腕の状態で特定することができるため、加速度や角速度で表すことができるためである。
【0053】
続いて、オンラインレッスン提供装置１０の演算回路１１における動作について説明する。
【0054】
（モーションデータの生成）
演算回路１１は、センサ信号Ｄ１４を利用して、第１のユーザの動作を表す三次元映像であるモーションデータＤ１６を生成する。具体的には、演算回路１１は、センサ信号Ｄ１４からモーションキャプチャ技術を利用して、モーションデータＤ１６を生成する。演算回路１１は、生成したモーションデータＤ１６を記憶装置１２に記憶させる。このモーションデータＤ１６は、モーションデータＤ１６の生成の元となるセンサ信号Ｄ１４に含まれる検出時刻を含む。センサ信号Ｄ１４の検出と、映像Ｄ１５の撮影とは同時に行うことが可能であり、検出時刻と撮影時刻とを用いて、モーションデータＤ１６と映像Ｄ１５とを連動させることができる。演算回路１１は、生成したモーションデータＤ１６及び対応する映像Ｄ１５を、通信回路１３を介して第１端末２０Ａ及び第２端末２０Ｂに送信する。
演算回路１１は、センサ信号Ｄ１４を利用して、第１のユーザの動作を表す三次元映像であるモーションデータＤ１６を生成する。具体的には、演算回路１１は、センサ信号Ｄ１４からモーションキャプチャ技術を利用して、モーションデータＤ１６を生成する。演算回路１１は、生成したモーションデータＤ１６を記憶装置１２に記憶させる。このモーションデータＤ１６は、モーションデータＤ１６の生成の元となるセンサ信号Ｄ１４に含まれる検出時刻を含む。センサ信号Ｄ１４の検出と、映像Ｄ１５の撮影とは同時に行うことが可能であり、検出時刻と撮影時刻とを用いて、モーションデータＤ１６と映像Ｄ１５とを連動させることができる。演算回路１１は、生成したモーションデータＤ１６及び対応する映像Ｄ１５を、通信回路１３を介して第１端末２０Ａ及び第２端末２０Ｂに送信する。
【0055】
なお、第１端末２０Ａの演算回路２１は、オンラインレッスン提供装置１０から受信したモーションデータＤ１６を、ディスプレイ２４１に表示させる。また、第２端末２０Ｂの演算回路２１も、オンラインレッスン提供装置１０から受信したモーションデータＤ１６をディスプレイ２４１に表示させる。これにより、第１端末２０Ａのディスプレイ２４１と第２端末２０Ｂのディスプレイ２４１では、同一のモーションデータＤ１６が表示される。
【0056】
（アバターを含むモーションデータ）
演算回路１１は、少なくとも、第１センサ３０Ａ及び第２センサ３０Ｂで検出された信号に基づいて、図５Ｂに示すように、第１のユーザを示すアバターＸを含むモーションデータＤ１６を生成することができる。このとき、演算回路１１は、図５Ｂに示すように、第１のユーザの胸椎に取り付けられる第１センサ３０Ａによって検出されたセンサ信号から求められる胸椎の水平軸Ｌ１１及び胸椎の正中線Ｌ１２と、第２のユーザの第２センサ３０Ｂによって検出されたセンサ信号から求められる仙骨の水平軸Ｌ２１及び仙骨の正中線Ｌ２２とをアバターＸに関連付けて示すモーションデータＤ１６を生成してもよい。また、演算回路１１は、胸椎の水平軸の傾きを表す値Ｖ１１と、仙骨の水平軸の傾きを表す値Ｖ２１とを含むモーションデータＤ１６を生成してもよい。また、演算回路１１は、図６Ａに示すようにユーザの胸椎の正中線Ｌ１２を中心とした胸椎の回旋角度Ｖ１２と、ユーザの仙骨の正中線Ｌ２２を中心とした仙骨の回旋角度Ｖ２２とを含むモーションデータＤ１６を生成してもよい。なお、図５Ｂと図６Ａとは、それぞれ異なる状態のアバターＸを表すモーションデータＤ１６の一例を示す。
演算回路１１は、少なくとも、第１センサ３０Ａ及び第２センサ３０Ｂで検出された信号に基づいて、図５Ｂに示すように、第１のユーザを示すアバターＸを含むモーションデータＤ１６を生成することができる。このとき、演算回路１１は、図５Ｂに示すように、第１のユーザの胸椎に取り付けられる第１センサ３０Ａによって検出されたセンサ信号から求められる胸椎の水平軸Ｌ１１及び胸椎の正中線Ｌ１２と、第２のユーザの第２センサ３０Ｂによって検出されたセンサ信号から求められる仙骨の水平軸Ｌ２１及び仙骨の正中線Ｌ２２とをアバターＸに関連付けて示すモーションデータＤ１６を生成してもよい。また、演算回路１１は、胸椎の水平軸の傾きを表す値Ｖ１１と、仙骨の水平軸の傾きを表す値Ｖ２１とを含むモーションデータＤ１６を生成してもよい。また、演算回路１１は、図６Ａに示すようにユーザの胸椎の正中線Ｌ１２を中心とした胸椎の回旋角度Ｖ１２と、ユーザの仙骨の正中線Ｌ２２を中心とした仙骨の回旋角度Ｖ２２とを含むモーションデータＤ１６を生成してもよい。なお、図５Ｂと図６Ａとは、それぞれ異なる状態のアバターＸを表すモーションデータＤ１６の一例を示す。
【0057】
（スコアの算出）
演算回路１１は、基準データＤ１２を参照し、センサ信号Ｄ１４に基づいて第１ユーザのゴルフのスイングのフォームに対するスコアを算出してもよい。演算回路２１は、例えば、胸椎の基準水平軸と胸椎の水平軸、胸椎の基準正中線と胸椎の正中線、仙骨の基準水平軸と仙骨の水平軸、及び、仙骨の基準正中線と仙骨の正中線のそれぞれのコサイン類似度に基づいて第１のユーザの動作のスコアを求めることができる。例えば、演算回路１１は、図５Ｂや図６Ａに示すように、求めたスコアＶ０を含むモーションデータＤ１６を第１端末２０Ａと第２端末２０Ｂとに送信してもよい。
演算回路１１は、基準データＤ１２を参照し、センサ信号Ｄ１４に基づいて第１ユーザのゴルフのスイングのフォームに対するスコアを算出してもよい。演算回路２１は、例えば、胸椎の基準水平軸と胸椎の水平軸、胸椎の基準正中線と胸椎の正中線、仙骨の基準水平軸と仙骨の水平軸、及び、仙骨の基準正中線と仙骨の正中線のそれぞれのコサイン類似度に基づいて第１のユーザの動作のスコアを求めることができる。例えば、演算回路１１は、図５Ｂや図６Ａに示すように、求めたスコアＶ０を含むモーションデータＤ１６を第１端末２０Ａと第２端末２０Ｂとに送信してもよい。
【0058】
（表示方向の変更）
演算回路１１は、第１端末２０Ａ又は第２端末２０Ｂから、アバターを表す方向を変更するリクエスト信号を受け付けることがある。例えば、アバターを正面から表すことが要求されることがある。また、アバターを背面から表すことが要求されることもあれば、左方向や、右方向から表すことが要求されることもある。演算回路１１は、リクエスト信号でリクエストされた方向で、アバターを表すように変更したモーションデータＤ１６を、第１端末２０Ａと第２端末２０Ｂとに送信してもよい。これにより、第１のユーザ及び第２のユーザは、分かりやすい方向からアバターを確認することができる。具体的には、各ユーザは、第１のユーザのフォームを分かりやすい方向から確認しながらレッスンを進行することができる。例えば、図６Ｃ乃至図６Ｅは、図６Ａと同一の状態のアバターＸを、図６Ａとは異なる方向から示す例である。
演算回路１１は、第１端末２０Ａ又は第２端末２０Ｂから、アバターを表す方向を変更するリクエスト信号を受け付けることがある。例えば、アバターを正面から表すことが要求されることがある。また、アバターを背面から表すことが要求されることもあれば、左方向や、右方向から表すことが要求されることもある。演算回路１１は、リクエスト信号でリクエストされた方向で、アバターを表すように変更したモーションデータＤ１６を、第１端末２０Ａと第２端末２０Ｂとに送信してもよい。これにより、第１のユーザ及び第２のユーザは、分かりやすい方向からアバターを確認することができる。具体的には、各ユーザは、第１のユーザのフォームを分かりやすい方向から確認しながらレッスンを進行することができる。例えば、図６Ｃ乃至図６Ｅは、図６Ａと同一の状態のアバターＸを、図６Ａとは異なる方向から示す例である。
【0059】
（会話の成立）
演算回路１１は、各端末２０Ａ，２０Ｂにおける映像Ｄ１５及び／又はモーションデータＤ１６の表示のタイミングで、各端末２０Ａ，２０Ｂからそれぞれのマイク２３２で取得された音声を受信することがある。演算回路１１は、第１端末２０Ａから音声を受信した場合には第２端末２０Ｂに送信し、第２端末２０Ｂから音声を受信した場合には第１端末２０Ａに送信する。これにより、演算回路１１は、第１のユーザと第２のユーザとの会話を成立させることができる。これにより、生徒である第１のユーザと、講師である第２のユーザは、それぞれのディスプレイ２４１に表示される同一の映像Ｄ１５及び／又はモーションデータＤ１６で第１のユーザのフォームを確認しながら、会話をすることができる。したがって、例えば、講師は、映像Ｄ１５及び／又はモーションデータＤ１６を確認しながら生徒に改善すべき点をアドバイスすることができる。また、例えば、生徒は、映像Ｄ１５及び／又はモーションデータＤ１６を確認しながら講師に疑問点を質問することができる。
演算回路１１は、各端末２０Ａ，２０Ｂにおける映像Ｄ１５及び／又はモーションデータＤ１６の表示のタイミングで、各端末２０Ａ，２０Ｂからそれぞれのマイク２３２で取得された音声を受信することがある。演算回路１１は、第１端末２０Ａから音声を受信した場合には第２端末２０Ｂに送信し、第２端末２０Ｂから音声を受信した場合には第１端末２０Ａに送信する。これにより、演算回路１１は、第１のユーザと第２のユーザとの会話を成立させることができる。これにより、生徒である第１のユーザと、講師である第２のユーザは、それぞれのディスプレイ２４１に表示される同一の映像Ｄ１５及び／又はモーションデータＤ１６で第１のユーザのフォームを確認しながら、会話をすることができる。したがって、例えば、講師は、映像Ｄ１５及び／又はモーションデータＤ１６を確認しながら生徒に改善すべき点をアドバイスすることができる。また、例えば、生徒は、映像Ｄ１５及び／又はモーションデータＤ１６を確認しながら講師に疑問点を質問することができる。
【0060】
（モーションデータの指定部分の表示）
演算回路１１は、第１端末２０Ａ又は第２端末２０Ｂから、複数のフレームで構成される一連のモーションデータＤ１６のうち一部の表示をリクエストするリクエスト信号を受け付けることがある。このとき、演算回路１１は、リクエスト信号でリクエストされた一部のモーションデータＤ１６を、第１端末２０Ａと第２端末２０Ｂとに送信する。これにより、各端末２０Ａ，２０Ｂでは、ゴルフのフォームの全体のモーションデータＤ１６ではなく、一部分のみのモーションデータＤ１６を表示することができる。したがって、例えば、生徒は、改善が必要な部分のみを確認しながら、指導を受けることができる。例えば、演算回路１１は、図６Ａに一例を示すように操作部Ｂ１を含むモーションデータＤ１６を、第１端末２０Ａ及び第２端末２０Ｂに送信することができる。このとき、例えば、第２端末２０Ｂの演算回路２１は、ディスプレイ２４１に表示される操作部Ｂ１が入力装置２３で操作されることで早送り又は巻き戻しさせるリクエスト信号を生成することができる。また、演算回路２１は、生成したリクエスト信号をオンラインレッスン提供装置１０に送信する。演算回路１１は、第２端末２０Ｂから受信したリクエスト信号に従って早送り又は巻き戻しをしてモーションデータＤ１６を第１端末２０Ａ及び第２端末２０Ｂに送信することもできる。これにより、第１端末２０Ａ及び第２端末２０Ｂでは、指定された部分のモーションデータＤ１６をそれぞれのディスプレイ２４１に表示することができる。したがって、生徒及び講師は、確認したい部分のモーションデータＤ１６を確認しながら会話をすることができる。
演算回路１１は、第１端末２０Ａ又は第２端末２０Ｂから、複数のフレームで構成される一連のモーションデータＤ１６のうち一部の表示をリクエストするリクエスト信号を受け付けることがある。このとき、演算回路１１は、リクエスト信号でリクエストされた一部のモーションデータＤ１６を、第１端末２０Ａと第２端末２０Ｂとに送信する。これにより、各端末２０Ａ，２０Ｂでは、ゴルフのフォームの全体のモーションデータＤ１６ではなく、一部分のみのモーションデータＤ１６を表示することができる。したがって、例えば、生徒は、改善が必要な部分のみを確認しながら、指導を受けることができる。例えば、演算回路１１は、図６Ａに一例を示すように操作部Ｂ１を含むモーションデータＤ１６を、第１端末２０Ａ及び第２端末２０Ｂに送信することができる。このとき、例えば、第２端末２０Ｂの演算回路２１は、ディスプレイ２４１に表示される操作部Ｂ１が入力装置２３で操作されることで早送り又は巻き戻しさせるリクエスト信号を生成することができる。また、演算回路２１は、生成したリクエスト信号をオンラインレッスン提供装置１０に送信する。演算回路１１は、第２端末２０Ｂから受信したリクエスト信号に従って早送り又は巻き戻しをしてモーションデータＤ１６を第１端末２０Ａ及び第２端末２０Ｂに送信することもできる。これにより、第１端末２０Ａ及び第２端末２０Ｂでは、指定された部分のモーションデータＤ１６をそれぞれのディスプレイ２４１に表示することができる。したがって、生徒及び講師は、確認したい部分のモーションデータＤ１６を確認しながら会話をすることができる。
【0061】
（段階毎の表示）
演算回路１１は、分類データＤ１１を参照し、第１のユーザの手首に取り付けられた第３センサ３０Ｃで検出されたセンサ信号を用いて、一連の動作のいずれの段階であるかを分類することができる。このとき、演算回路１１は、段階の動作毎にモーションデータＤ１６を生成してもよい。例えば、アドレス、テイクバック、ダウンスイング、インパクト及びフォロースルーの段階（フェーズ）に区分し、段階毎にモーションデータＤ１６を生成してもよい。また、演算回路１１は、モーションデータＤ１６に、分類された段階を関連付けて、段階毎に各端末２０Ａ，２０Ｂに送信してもよい。また例えば、図６Ａに一例を示すように、表示させる段階を操作する操作部Ｂ２を含むモーションデータＤ１６を第１端末２０Ａ及び第２端末２０Ｂに送信することができる。さらに、モーションデータＤ１６は、操作部Ｂ２で操作し、表示される段階の時間及び時間のスケールを示す表示部Ｂ３を含むことができる。図６Ａでは、操作部Ｂ２において、「全範囲」が選択されている。したがって、表示部Ｂ３の上段では、スイングの全体の時間である「２．８１（秒）」が示される。また、表示部Ｂ３の下段（フェーズ調整）では、全範囲がマークされている。これに対し、図６Ｂでは、操作部Ｂ２において、「ダウンスイング」が選択されている。したがって、表示部３Ｂの上段では、ダウンスイングの時間である「０．５６（秒）」スイング全範囲のうち、ダウンスイングに該当する時間を示す部分がマークされている。演算回路１１は、例えば、第２端末２０Ｂから送信されたリクエスト信号にしたがって、指定された段階を示すモーションデータＤ１６を送信することもできる。この場合も、生徒及び講師は、確認したい部分のモーションデータＤ１６を確認しながら会話をすることができる。
演算回路１１は、分類データＤ１１を参照し、第１のユーザの手首に取り付けられた第３センサ３０Ｃで検出されたセンサ信号を用いて、一連の動作のいずれの段階であるかを分類することができる。このとき、演算回路１１は、段階の動作毎にモーションデータＤ１６を生成してもよい。例えば、アドレス、テイクバック、ダウンスイング、インパクト及びフォロースルーの段階（フェーズ）に区分し、段階毎にモーションデータＤ１６を生成してもよい。また、演算回路１１は、モーションデータＤ１６に、分類された段階を関連付けて、段階毎に各端末２０Ａ，２０Ｂに送信してもよい。また例えば、図６Ａに一例を示すように、表示させる段階を操作する操作部Ｂ２を含むモーションデータＤ１６を第１端末２０Ａ及び第２端末２０Ｂに送信することができる。さらに、モーションデータＤ１６は、操作部Ｂ２で操作し、表示される段階の時間及び時間のスケールを示す表示部Ｂ３を含むことができる。図６Ａでは、操作部Ｂ２において、「全範囲」が選択されている。したがって、表示部Ｂ３の上段では、スイングの全体の時間である「２．８１（秒）」が示される。また、表示部Ｂ３の下段（フェーズ調整）では、全範囲がマークされている。これに対し、図６Ｂでは、操作部Ｂ２において、「ダウンスイング」が選択されている。したがって、表示部３Ｂの上段では、ダウンスイングの時間である「０．５６（秒）」スイング全範囲のうち、ダウンスイングに該当する時間を示す部分がマークされている。演算回路１１は、例えば、第２端末２０Ｂから送信されたリクエスト信号にしたがって、指定された段階を示すモーションデータＤ１６を送信することもできる。この場合も、生徒及び講師は、確認したい部分のモーションデータＤ１６を確認しながら会話をすることができる。
【0062】
（表示速度の変更）
演算回路１１は、第１端末２０Ａ又は第２端末２０Ｂから、モーションデータＤ１６の表示速度を変更した表示をリクエストするリクエスト信号を受け付けることがある。このとき、演算回路１１は、リクエスト信号でリクエストされた速度で表示させるようにモーションデータＤ１６を、第１端末２０Ａと第２端末２０Ｂとに送信する。例えば、第２端末２０Ｂの演算回路２１は、図６Ａの一例に示すモーションデータＤ１６に含まれる操作部Ｂ１を操作することで、再生速度の調整をリクエストするリクエスト信号を生成することができる。これにより、各端末２０Ａ，２０Ｂでは、同一の速度でモーションデータＤ１６をそれぞれのディスプレイ２４１に表示することができる。したがって、例えば、生徒は、スローモーションで生徒のゴルフのフォームを確認しながら、指導を受けることができる。例えば、図６Ａに示す例では、操作部Ｂ１では「×０．５」と表されており、２分の１倍速で再生される一例を示すが、操作部Ｂ１を操作することで、更に遅く表示させることもできる。
演算回路１１は、第１端末２０Ａ又は第２端末２０Ｂから、モーションデータＤ１６の表示速度を変更した表示をリクエストするリクエスト信号を受け付けることがある。このとき、演算回路１１は、リクエスト信号でリクエストされた速度で表示させるようにモーションデータＤ１６を、第１端末２０Ａと第２端末２０Ｂとに送信する。例えば、第２端末２０Ｂの演算回路２１は、図６Ａの一例に示すモーションデータＤ１６に含まれる操作部Ｂ１を操作することで、再生速度の調整をリクエストするリクエスト信号を生成することができる。これにより、各端末２０Ａ，２０Ｂでは、同一の速度でモーションデータＤ１６をそれぞれのディスプレイ２４１に表示することができる。したがって、例えば、生徒は、スローモーションで生徒のゴルフのフォームを確認しながら、指導を受けることができる。例えば、図６Ａに示す例では、操作部Ｂ１では「×０．５」と表されており、２分の１倍速で再生される一例を示すが、操作部Ｂ１を操作することで、更に遅く表示させることもできる。
【0063】
（指導データの表示）
演算回路１１は、指導データＤ１３を参照し、センサ信号に応じた指導内容を抽出する。演算回路１１は、モーションデータＤ１６に、抽出した指導内容を関連付けて、第１端末２０Ａ及び第２端末２０Ｂに送信する。これにより、センサ信号から導かれる指導内容が第１のユーザ及び第２のユーザに提示される。したがって、なお、演算回路１１は、少なくとも指導内容を第１端末２０Ａに送信することで、第１のユーザによって確認され、フォームの改善に導くことができる。
演算回路１１は、指導データＤ１３を参照し、センサ信号に応じた指導内容を抽出する。演算回路１１は、モーションデータＤ１６に、抽出した指導内容を関連付けて、第１端末２０Ａ及び第２端末２０Ｂに送信する。これにより、センサ信号から導かれる指導内容が第１のユーザ及び第２のユーザに提示される。したがって、なお、演算回路１１は、少なくとも指導内容を第１端末２０Ａに送信することで、第１のユーザによって確認され、フォームの改善に導くことができる。
【0064】
このように、オンラインレッスン提供装置１０は、第１端末２０Ａ及び第２端末２０Ｂとの通信を可能として、リアルタイム性の高いオンラインレッスンを実現することができる。
【0065】
〈オンラインレッスンシステムにおける処理〉
図７に示すシーケンス図を用いて、本開示のオンラインレッスンシステムにおける処理を説明する。
図７に示すシーケンス図を用いて、本開示のオンラインレッスンシステムにおける処理を説明する。
【0066】
オンラインレッスンにおいて、生徒である第１のユーザがゴルフのスイングを行う際に、利用する第１端末２０Ａにおいて、第１のユーザに取り付けられる複数のセンサ３０からセンサ信号を取得し、カメラ２３１で撮影される第１のユーザのスイングの映像を取得する（Ｓ１）
【0067】
第１端末２０Ａは、ステップＳ１で取得したセンサ信号及び映像を、オンラインレッスン提供装置１０に送信する（Ｓ２）。
【0068】
オンラインレッスン提供装置１０は、ステップＳ２で第１端末２０Ａから送信されたセンサ信号及び映像に基づいて、モーションデータ及びアバターを生成する（Ｓ３）。このとき、オンラインレッスン提供装置１０は、分類データＤ１１を参照し、ゴルフのスイングのフォームを複数の段階に分類し、モーションデータに関連づけてもよい。また、オンラインレッスン提供装置１０は、基準データＤ１２を参照し、第１のユーザのフォームについて、胸椎や仙骨の水平軸の傾きや回旋角度を求め、モーションデータに関連付けてもよい。
【0069】
オンラインレッスン提供装置１０は、ステップＳ３で生成した、アバターを含むモーションデータ及び／又は関連付けられる第１端末２０Ａから送信された映像を第１端末２０Ａ及び第２端末２０Ｂに送信する（Ｓ４－１，Ｓ４－２）。このとき、オンラインレッスン提供装置１０は、分類したフォームの複数段階、水平軸の傾き、回旋角度等を関連付けたモーションデータを送信してもよい。
【0070】
第１端末２０Ａ及び第２端末２０Ｂは、それぞれ、ステップＳ４－１，Ｓ４－２でオンラインレッスン提供装置１０から送信されたモーションデータ及び／又は映像を、ディスプレイ２４１に表示させる（Ｓ５－１，Ｓ５－２）。これにより、第１端末２０Ａと第２端末２０Ｂとでは、同一のモーションデータ及び／又は映像が表示される。
【0071】
第１端末２０Ａ及び第２端末２０Ｂは、オンラインレッスン提供装置１０を介して音声データを送受信する（Ｓ６－１，Ｓ６－２）。これにより、オンラインレッスンシステム１において、第１のユーザと第２のユーザとの間で会話が成立する。なお、図７では省略するが、第１のユーザと第２のユーザの会話は、オンラインレッスンがされている間は、継続される。したがって、オンラインレッスンシステム１では、リアルタイムでのレッスンが実現する。
【0072】
このとき、第２端末２０Ｂからオンラインレッスン提供装置１０にリクエスト信号が送信されることがある（Ｓ７）。例えば、第２のユーザが、第１のユーザのフォームに関し、一部分のモーションデータを低速で再生しながら指導をしたいと考えた場合、入力装置２３が操作されることによって一部分のモーションデータについて低速の再生させるリクエスト信号が送信される。
【0073】
オンラインレッスン提供装置１０は、ステップＳ７で第２端末２０Ｂから送信されたリクエスト信号に応じたモーションデータ及び／又は映像を、第１端末２０Ａ及び第２端末２０Ｂに送信する（Ｓ８－１，Ｓ８－２）。
【0074】
第１端末２０Ａ及び第２端末２０Ｂは、それぞれ、ステップＳ８－１，Ｓ８－２でオンラインレッスン提供装置１０から送信されたモーションデータ及び／又は映像を、ディスプレイ２４１に表示させる（Ｓ９－１，Ｓ９－２）。これにより、第１端末２０Ａと第２端末２０Ｂとでは、ステップＳ７で送信されたリクエスト信号に応じた同一のモーションデータ及び／又は映像が表示される。したがって、第１のユーザ及び第２のユーザは、例えば低速で表示されるモーションデータ及び／又は映像を確認しながら、会話をすることが可能となる。これにより、第１のユーザにより効果的なレッスンを実現することができる。
【0075】
また、オンラインレッスン提供装置１０は、指導データＤ１３を参照し、ステップＳ２で第１端末２０Ａから送信されたセンサ信号に応じた指導内容を抽出してもよい（Ｓ１０）。オンラインレッスン提供装置１０は、ステップＳ１０で抽出した指導内容を、第１端末２０及び第２端末２０Ｂに送信する（Ｓ１１－１，Ｓ１１－２）。第１端末２０Ａ及び第２端末２０Ｂは、それぞれ、ステップＳ１１－１，Ｓ１１－２でオンラインレッスン提供装置１０から送信された指導内容を、ディスプレイ２４１に表示させる（Ｓ１２－１，Ｓ１２－２）。
【0076】
このように、オンラインレッスンシステム１では、生徒である第１ユーザと、講師である第２ユーザとが遠隔地にいる場合であっても、リアルタイムでのオンラインレッスンを実現することができる。
【0077】
［実施例１］
以下に、実施例１に係る構築したオンラインレッスンシステム１について説明する。実施例１では、ゴルフのオンラインレッスンのため、生徒の端末である第１端末２０Ａといわゆるレッスンプロと呼ばれる講師の端末である第２端末２０ＢそれぞれにおいてコンピュータプログラムＰ２をインストールした。コンピュータプログラムＰ２は、オンラインレッスン用のアバターを用いた体の動きを表現するアプリケーションプログラム（帝人フロンティアセンシング社製）である。また実施例１では、オンライン画面共有機能によって、第１端末２０Ａと第２端末２０Ｂとを双方向的に同一時間上で同一画面の表示及び共有が可能な環境を構築した。これにより、実施例１に係るオンラインレッスンシステム１では、送受信時の情報共有を低遅延で行うことができる。
以下に、実施例１に係る構築したオンラインレッスンシステム１について説明する。実施例１では、ゴルフのオンラインレッスンのため、生徒の端末である第１端末２０Ａといわゆるレッスンプロと呼ばれる講師の端末である第２端末２０ＢそれぞれにおいてコンピュータプログラムＰ２をインストールした。コンピュータプログラムＰ２は、オンラインレッスン用のアバターを用いた体の動きを表現するアプリケーションプログラム（帝人フロンティアセンシング社製）である。また実施例１では、オンライン画面共有機能によって、第１端末２０Ａと第２端末２０Ｂとを双方向的に同一時間上で同一画面の表示及び共有が可能な環境を構築した。これにより、実施例１に係るオンラインレッスンシステム１では、送受信時の情報共有を低遅延で行うことができる。
【0078】
第１のユーザは、ゴルフのスイング時の体の動きのオンラインレッスンのために、体幹軸のモーションデータ取得のため、生徒側では体幹軸の背中部（胸椎に沿った位置）と腰部（仙骨に沿った位置）にそれぞれ第１センサ３０Ａ及び第２センサ３０Ｂ（帝人フロンティアセンシング社製のワイヤレス加速度、角速度、地磁気の各３軸の９軸モーションセンサ）を配したゴルフ用ベストウエアを着用した。
【0079】
また、ゴルフのスイングの段階の情報取得の為、左手首にはリストバンドを取り付け、面ファスナーを用いて第３センサ３０Ｃ（前述と同センサ）を固定した。
【0080】
身体の動作はベストウエアの背中部と腰部に固定した第１及び第２センサ３０Ａ，３０Ｂで計測し、背中部と腰部のセンサ３０Ａ，３０Ｂで計測されたデータは３軸の方向と角度を同時に表現できる約２４ｋＢ／秒のクォータニオン情報として、アバターの３Ｄモーション動作に用い、前記クォータニオン情報は、約８０ミリ秒で講師の第２端末２０Ｂへの送信が完了した。アバターを動作させる３Ｄ空間軸の設定のため、胸部（胸骨）の第１センサ３０Ａと腰部（仙骨）の第２センサ３０Ｂが水平方向に対して鉛直な同一線上に配置された際の同一線を任意軸とし、クォータニオンの任意軸回転の性質を用い、残りの２軸を決定した。実施例１のレッスンにおけるクォータニオンは、以下の式（１）を用いて導出した。
【0081】
【数1】
【0082】
スイングは左手首に固定した第３センサ３０Ｃで検知した、加速度、角速度を用いて、ゴルフスイングにおける段階を時系列ごとに５つ（アドレス、テイクバック、ダウンスイング、インパクト、フォロースルー）に区分し、スイングの段階を自動区分した。
【0083】
通信速度の環境の異なる環境下でもデータ送信にかかる時間に大きな差は生じず、モーションデータを用いたレッスンを良好に行うことができた。
【0084】
生徒の第１端末２０Ａから講師の第２端末２０Ｂ間に同一条件（双方向的な画面操作及びそれに伴った反映が可能な条件）下で表示されている画面上にスイング映像を表示し、講師によるスイング映像へのアドバイスによるオンラインレッスンを行った。当該レッスンは第１端末２０Ａと第２端末２０Ｂ間にて３Ｄモーションデータを用いて、３６０°視点のアバターによるスイング動作の確認を行うオンラインレッスンを行った。
【0085】
その際、見本として講師に取り付けられたセンサ３０から取得されたセンサ信号であるクォータニオン情報と、レッスンで生徒に取り付けられたセンサ３０から取得されたクォータニオン情報間のコサイン類似度を基に、見本のスイングに対する生徒のスイングの類似度を表示し、見本の動作と生徒の動作の違いを数値化できるオンラインレッスンを行った。本レッスンでは、コサイン類似度を以下の式（２）で表現した。
【0086】
【数2】
【0087】
スイングの段階ごとの３Ｄモーションデータ及びアプリケーション内に内蔵されたモーションデータは、テキストや描画等によって得られる情報も付与され視覚的にわかりやすいオンラインレッスンを行うこともできた。
【0088】
生徒の第１端末２０Ａと講師の第２端末２０Ｂ間にて同一条件下で表示されている画面上に、見本である講師のモーションデータと生徒のモーションデータとを重ね合わせる機能を用いて、講師と生徒間のスイング時の動作情報（アドレス、テイクバック、ダウンスイング、インパクト、フォロースルー）、身体情報との比較を行い、さらにアプリケーション内に内蔵されたモーションデータ編集機能によって、テキストや描画等によって得られる情報が付与された視覚的にわかりやすいオンラインレッスンを行うこともできた。
【0089】
各種情報を基にスイングの良否及び改善情報のフィードバックを行い、講師から生徒への良好かつ遅延のないオンラインレッスンを実施できた。
【0090】
［比較例１］
実施例1と同様にレッスンを行い、クォータニオン情報を用いない一例を比較例１として求めた。具体的には、比較例１では、センサ３０の加速度センサから得られるデータを単位時間毎に積分を行いｘｙｚの３軸方向の速度と更に積分から移動距離を演算した。また、ジャイロから得られるｘｙｚの３軸方向の角速度とその積分から移動量を演算し角度の変化をアバターの動作に用い、ｘｙｚの３軸方向の地磁気のデータからアバターの向きを表現した。各種取得データよりアバターを用いたオンラインでつながる端末２０Ａ，２０Ｂ間でモーションデータの送受信を実施例１と同様に実施した。
実施例1と同様にレッスンを行い、クォータニオン情報を用いない一例を比較例１として求めた。具体的には、比較例１では、センサ３０の加速度センサから得られるデータを単位時間毎に積分を行いｘｙｚの３軸方向の速度と更に積分から移動距離を演算した。また、ジャイロから得られるｘｙｚの３軸方向の角速度とその積分から移動量を演算し角度の変化をアバターの動作に用い、ｘｙｚの３軸方向の地磁気のデータからアバターの向きを表現した。各種取得データよりアバターを用いたオンラインでつながる端末２０Ａ，２０Ｂ間でモーションデータの送受信を実施例１と同様に実施した。
【0091】
その結果、前記計測データの容量は約７００ｋＢを要し、端末２０Ａ，２０Ｂ内での演算時間も含めて前記データの送信時間は約８７０ミリ秒を要した。したがって、上述実施例１のクォータニオン情報の送信時と比較して、１０倍の時間を要し、オンラインレッスンに遅延を生じレッスンに支障をきたした。また、通信速度の環境の異なる環境下ではデータ送信にかかる時間に更に大きな差が生じ、モーションデータを用いたレッスン時間により大きな支障をきたした。
【産業上の利用可能性】
【0092】
本開示によれば、講師と生徒が遠隔である場合における技能の上達を図るオンラインレッスンの提供に有用である。
【符号の説明】
【0093】
１ オンラインレッスンシステム
１０ オンラインレッスン提供装置
１１ 演算回路
１２ 記憶装置
１３ 通信回路
１４ 入力装置
１５ 出力装置
２０Ａ 第１端末
２０Ｂ 第２端末
３０ センサ
１０ オンラインレッスン提供装置
１１ 演算回路
１２ 記憶装置
１３ 通信回路
１４ 入力装置
１５ 出力装置
２０Ａ 第１端末
２０Ｂ 第２端末
３０ センサ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7】