IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特開2024-140894ジャイロモーメントを利用した動作支援プログラム、装置及び方法、並びに力覚提示装置
<>
  • 特開-ジャイロモーメントを利用した動作支援プログラム、装置及び方法、並びに力覚提示装置 図1
  • 特開-ジャイロモーメントを利用した動作支援プログラム、装置及び方法、並びに力覚提示装置 図2
  • 特開-ジャイロモーメントを利用した動作支援プログラム、装置及び方法、並びに力覚提示装置 図3
  • 特開-ジャイロモーメントを利用した動作支援プログラム、装置及び方法、並びに力覚提示装置 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024140894
(43)【公開日】2024-10-10
(54)【発明の名称】ジャイロモーメントを利用した動作支援プログラム、装置及び方法、並びに力覚提示装置
(51)【国際特許分類】
   A63B 69/00 20060101AFI20241003BHJP
【FI】
A63B69/00 506
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023052259
(22)【出願日】2023-03-28
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.PYTHON
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和4年度、国立研究開発法人情報通信研究機構、「革新的情報通信技術研究開発委託研究/Beyond 5G網におけるホログラフィ通信のための高効率圧縮伝送技術の研究開発 研究開発項目2 高度マルチモーダル情報の伝送技術の研究開発 研究開発項目2-c)マルチモーダル情報伝送の実証に関する研究開発」委託事業、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】田島 優輝
(57)【要約】
【課題】スポーツ等の活動において用いられる、ラケットといったような道具の動かし方を、具体的に提示することができる動作支援プログラムを提供する。
【解決手段】その動かし方を提示すべき道具は、ジャイロモーメントを生じさせることによって自身を動かす向きの成分を有する力を生成可能な動力部を有している。本動作支援プログラムは、この道具のとるべき動きに係る得られた道具動き情報に基づき、この道具の動力部へ送られて、とるべき動きに対応する力を生成させる駆動信号を生成し出力する駆動信号生成手段としてコンピュータを機能させる。また本動作支援プログラムは、処置対象の移動に係る移動情報、及びこの移動の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、道具動き情報を決定する道具動き情報決定手段としてコンピュータを更に機能させることも好ましい。
【選択図】図1

【特許請求の範囲】
【請求項1】
道具を動かすことを含む所定の活動における動作を支援するプログラムであって、
前記道具は、ジャイロモーメントを生じさせることによって該道具を動かす向きの成分を有する力を生成可能な動力部を有し、
前記道具のとるべき動きに係る得られた道具動き情報に基づき、当該動力部へ送られて当該とるべき動きに対応する当該力を生成させる駆動信号を生成し出力する駆動信号生成手段としてコンピュータを機能させる
ことを特徴とする動作支援プログラム。
【請求項2】
前記道具は、移動する処置対象に対し処置を行うべく動かされるものであり、
当該処置対象の移動に係る移動情報、及び当該移動の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、当該道具動き情報を決定する道具動き情報決定手段としてコンピュータを更に機能させる
ことを特徴とする請求項1に記載の動作支援プログラム。
【請求項3】
前記道具動き情報決定手段は、前記道具がとるべき速度又は加速度に係る情報を含む当該道具動き情報を決定し、
当該動力部は、前記道具に設けられた駆動部を回転させるモータであり、
前記駆動信号生成手段は、当該動力部が当該速度又は当該加速度に対応する角速度をもって当該駆動部を回転させることを可能にする駆動信号を生成する
ことを特徴とする請求項2に記載の動作支援プログラム。
【請求項4】
当該動作を行う支援対象に対し、視覚で捉えられる視覚情報を提示可能な視覚情報提示部が設けられており、
決定された当該道具動き情報に基づき、当該視覚情報提示部へ送られる、前記道具のとるべき動きに係る当該視覚情報を生成し出力する視覚情報生成手段としてコンピュータを更に機能させる
ことを特徴とする請求項2に記載の動作支援プログラム。
【請求項5】
当該動作を行う支援対象に対し、視覚で捉えられる視覚情報を提示可能な視覚情報提示部が設けられており、
前記道具動き情報決定手段は、当該処置を行う位置である処置位置、及び/又は当該処置を行う際の前記道具の姿勢である処置姿勢も決定し、
決定された当該処置位置及び/又は処置姿勢に基づき、当該視覚情報提示部へ送られる、とるべき処置位置及び/又は処置姿勢に係る当該視覚情報を生成し出力する視覚情報生成手段としてコンピュータを更に機能させる
ことを特徴とする請求項2に記載の動作支援プログラム。
【請求項6】
前記活動の状況をセンシングしたセンシング結果情報に基づき、前記活動における予め分類された複数の場面のうちの該当する場面を決定する場面決定手段としてコンピュータを更に機能させ、
前記駆動信号生成手段は、決定された場面、又は決定された場面の変遷に基づき、当該場面又は当該場面の変遷に対し予め設定された、当該力の発動パターンを具現するための駆動信号を生成する
ことを特徴とする請求項1から5のいずれか1項に記載の動作支援プログラム。
【請求項7】
前記複数の場面は、移動する処置対象に対し前記道具によって処置が行われる処置場面を含み、
前記駆動信号生成手段は、当該処置場面が決定された場合、当該処置において前記道具がとるべき動きに対応する当該力を生成させるための駆動信号を生成する
ことを特徴とする請求項6に記載の動作支援プログラム。
【請求項8】
前記駆動信号生成手段は、当該処置場面の直前となる場面が決定された場合、当該力を生成する準備を行うための駆動信号を生成することを特徴とする請求項7に記載の動作支援プログラム。
【請求項9】
前記場面決定手段は、当該センシング結果情報に基づき、当該場面の展開の速さに係る展開速さ情報も決定し、
前記駆動信号生成手段は、当該展開速さ情報にも基づき、当該場面の展開の速さに合わせた大きさを有する当該力を生成させるための駆動信号を生成する
ことを特徴とする請求項6に記載の動作支援プログラム。
【請求項10】
当該活動は競技であって、前記道具は当該競技で使用される競技用具であり、
当該道具動き情報は、当該競技において当該競技用具がとるべき速度又は加速度に係る情報である
ことを特徴とする請求項1から5のいずれか1項に記載の動作支援プログラム。
【請求項11】
道具を動かすことを含む所定の活動における動作を支援する装置であって、
前記道具は、ジャイロモーメントを生じさせることによって該道具を動かす向きの成分を有する力を生成可能な動力部を有し、
前記道具のとるべき動きに係る得られた道具動き情報に基づき、当該動力部へ送られて当該とるべき動きに対応する当該力を生成させる駆動信号を生成し出力する駆動信号生成手段を有する
ことを特徴とする動作支援装置。
【請求項12】
当該動作を行う支援対象に対し、視覚によって捉えられる視覚情報を提示可能な視覚情報提示部と、
当該道具動き情報に基づき、前記道具のとるべき動きに係る視覚情報であって、当該視覚情報提示部へ送られる視覚情報を生成する視覚情報生成手段と
を更に有することを特徴とする請求項11に記載の動作支援装置。
【請求項13】
前記動作支援装置は、前記駆動信号生成手段を備えた前記道具であることを特徴とする請求項11に記載の動作支援装置。
【請求項14】
自身を動かすべき向きの力覚を提示可能な力覚提示具であって、
ジャイロモーメントを生じさせることによって当該動かすべき向きの成分を有する力を生成可能な少なくとも2つの動力部を有し、
ある当該動力部の駆動範囲は、他の当該動力部の駆動範囲に比べて、より小さい微小範囲となっている
ことを特徴とする力学提示具。
【請求項15】
道具を動かすことを含む所定の活動における動作を支援する方法であって、
前記道具は、ジャイロモーメントを生じさせることによって該道具を動かす向きの成分を有する力を生成可能な動力部を有し、
前記道具のとるべき動きに係る得られた道具動き情報に基づき、当該とるべき動きに対応する当該力を生成させる駆動信号を生成するステップと、
当該動力部に対し、生成した当該駆動信号を送って当該力を生成させるステップと
を有することを特徴とする、コンピュータによって実施される動作支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道具を動かすことを含む所定の活動における動作を支援する技術に関する。
【背景技術】
【0002】
スポーツ分野においては、センシング技術の発達に伴い、様々なプレーヤの動作を補助する手法が提案されている。例えば特許文献1には、スポーツ用具の動き、例えばスイング動作や振り上げ動作等、の状態量の時系列情報からプレーヤ動作の欠陥を決定し、プレーヤに対し、フィードバック刺激器を用いて、この欠陥を通知したりこの欠陥の修正を促したりする技術が開示されている。ここで、スポーツ用具の動きの特徴量は、プレーヤの装着したウェアラブルデバイスやスポーツ用具に備えられたセンシングデバイスによって取得される。
【0003】
また特許文献2には、ゴルフクラブのシャフトに取り付けられてジャイロモーメントを発生させ、ゴルフプレーヤに正確な動きを学習させる力感フィードバック装置が開示されている。この装置は、例えばスイングの途中でクラブグリップを捻るような動きが加わった際、元に戻そうとする力を発生させ、この力がクラブグリップに伝わって、ゴルフプレーヤに捻れのないスイングを促す。
【0004】
またスポーツ分野に限定されないものであるが、非特許文献1には、高速に回転するフライホイールをジンバルに取り付け、フライホイールに与える角速度の大きさと方向とを制御することによりフライホイールの軸に直交するジャイロモーメントを発生させる装置が開示されている。また、この装置を把持した被験者に対し、ジャイロモーメントによる力覚を提示し、目的地への方向感を提供する手法も開示されている。
【0005】
さらに特許文献3には、回転体を回転させる第1モータと、これら回転体及び第1モータの全体を回転させる第2モータとを駆動させてジャイロモーメントを発生させる誘導装置が開示されている。また、この装置を杖に取り付け、案内すべき進路方向のトルクをこの杖に発生させて、この杖を使用する歩行者に対し、進路方向を提示する手法も開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2021-528202号公報
【特許文献2】特開2018-020002号公報
【特許文献3】特開2014-181926号公報
【非特許文献】
【0007】
【非特許文献1】吉江将之,矢野博明,岩田洋夫,「ジャイロモーメントを用いた力覚呈示装置」,日本バーチャルリアリティ学会論文誌,第7巻,第3号,pp.329-337,2002年
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上述したような従来技術では、例えばラケットやクラブといったようなスポーツ用具の動かし方そのものを提示して、スポーツ動作の支援を行うことが困難である。
【0009】
例えば、特許文献1に開示された技術は、あくまでスポーツ動作における欠陥の通知や修正情報の提示にとどまり、具体的にスポーツ用具の動かし方そのものを提示可能なものにはなっていない。また、特許文献2の力感フィードバック装置も、例えばゴルフプレーヤにスイングの修正を促すことはできるが、具体的なゴルフクラブのスイングの仕方を提示するものにはなっていない。
【0010】
この点、ヒットすべきゴルフボールは地上に停止しているので、特許文献2の力感フィードバック装置によるスイング修正の促しは、ゴルフプレーヤに対する動作支援として有効なものとなる。しかしながら、卓球のラケットのような、3次元空間を移動してくるボールをヒットしなければならないスポーツ用具の動かし方の支援については、具体的に、動かし方そのものを提示する必要が生じるのである。
【0011】
また、非特許文献1や特許文献3に開示された装置も、あくまでユーザに目的地への方向感を提供したり、進路方向を提示したりすることにとどまり、使用する道具の具体的な動かし方を提示するものにはなっていない。特に、これらの装置を用いて、例えば卓球のラケットのようなスポーツ用具における秒未満の単位の移動を伴う素早い動かし方を、具体的に提示することは、非常に困難である。
【0012】
そこで、本発明は、スポーツ等の活動において用いられる、ラケットといったような道具の動かし方を、具体的に提示することができる動作支援プログラム、装置及び方法、並びに力覚提示装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明によれば、道具を動かすことを含む所定の活動における動作を支援するプログラムであって、
上記の道具は、ジャイロモーメントを生じさせることによってこの道具を動かす向きの成分を有する力を生成可能な動力部を有し、
道具のとるべき動きに係る得られた道具動き情報に基づき、当該動力部へ送られて当該とるべき動きに対応する当該力を生成させる駆動信号を生成し出力する駆動信号生成手段としてコンピュータを機能させる
ことを特徴とする動作支援プログラムが提供される。
【0014】
この本発明による動作支援プログラムの一実施形態として、上記の道具は、移動する処置対象に対し処置を行うべく動かされるものであり、
本動作支援プログラムは、当該処置対象の移動に係る移動情報、及び当該移動の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、当該道具動き情報を決定する道具動き情報決定手段としてコンピュータを更に機能させることも好ましい。
【0015】
また上記の実施形態において、道具動き情報決定手段は、道具がとるべき速度又は加速度に係る情報を含む当該道具動き情報を決定し、
当該動力部は、道具に設けられた駆動部を回転させるモータであり、
駆動信号生成手段は、当該動力部が当該速度又は当該加速度に対応する角速度をもって当該駆動部を回転させることを可能にする駆動信号を生成することも好ましい。
【0016】
さらに上記の実施形態において、当該動作を行う支援対象に対し、視覚で捉えられる視覚情報を提示可能な視覚情報提示部が設けられており、
本動作支援プログラムは、決定された当該道具動き情報に基づき、当該視覚情報提示部へ送られる、道具のとるべき動きに係る当該視覚情報を生成し出力する視覚情報生成手段としてコンピュータを更に機能させることも好ましい。
【0017】
また上記の実施形態において、当該動作を行う支援対象に対し、視覚で捉えられる視覚情報を提示可能な視覚情報提示部が設けられており、
道具動き情報決定手段は、当該処置を行う位置である処置位置、及び/又は当該処置を行う際の道具の姿勢である処置姿勢も決定し、
本動作支援プログラムは、決定された当該処置位置及び/又は処置姿勢に基づき、当該視覚情報提示部へ送られる、とるべき処置位置及び/又は処置姿勢に係る当該視覚情報を生成し出力する視覚情報生成手段としてコンピュータを更に機能させることも好ましい。
【0018】
さらに、本発明による動作支援プログラムの他の実施形態として、活動の状況をセンシングしたセンシング結果情報に基づき、活動における予め分類された複数の場面のうちの該当する場面を決定する場面決定手段としてコンピュータを更に機能させ、
駆動信号生成手段は、決定された場面、又は決定された場面の変遷に基づき、当該場面又は当該場面の変遷に対し予め設定された、当該力の発動パターンを具現するための駆動信号を生成することも好ましい。
【0019】
また上記の他の実施形態において、複数の場面は、移動する処置対象に対し上記の道具によって処置が行われる処置場面を含み、
駆動信号生成手段は、当該処置場面が決定された場合、当該処置においてこの道具がとるべき動きに対応する当該力を生成させるための駆動信号を生成することも好ましい。
【0020】
さらに上記の他の実施形態において、駆動信号生成手段は、当該処置場面の直前となる場面が決定された場合、当該力を生成する準備を行うための駆動信号を生成することも好ましい。
【0021】
また上記の他の実施形態において、場面決定手段は、当該センシング結果情報に基づき、当該場面の展開の速さに係る展開速さ情報も決定し、
駆動信号生成手段は、当該展開速さ情報にも基づき、当該場面の展開の速さに合わせた大きさを有する当該力を生成させるための駆動信号を生成することも好ましい。
【0022】
さらに、本発明による動作支援プログラムの具体例として、当該活動は競技であって、道具は当該競技で使用される競技用具であり、当該道具動き情報は、当該競技において当該競技用具がとるべき速度又は加速度に係る情報であることも好ましい。
【0023】
本発明によれば、また、道具を動かすことを含む所定の活動における動作を支援する装置であって、
上記の道具は、ジャイロモーメントを生じさせることによってこの道具を動かす向きの成分を有する力を生成可能な動力部を有し、
道具のとるべき動きに係る得られた道具動き情報に基づき、当該動力部へ送られて当該とるべき動きに対応する当該力を生成させる駆動信号を生成し出力する駆動信号生成手段を有する
ことを特徴とする動作支援装置が提供される。
【0024】
この本発明による動作支援装置の一実施形態として、本動作支援装置は、
当該動作を行う支援対象に対し、視覚によって捉えられる視覚情報を提示可能な視覚情報提示部と、
当該道具動き情報に基づき、上記の道具のとるべき動きに係る視覚情報であって、当該視覚情報提示部へ送られる視覚情報を生成する視覚情報生成手段と
を更に有することも好ましい。
【0025】
また、本発明による動作支援装置の他の実施形態として、動作支援装置は、駆動信号生成手段を備えた、以上に述べた道具であることも好ましい。
【0026】
本発明によれば、さらに、自身を動かすべき向きの力覚を提示可能な力覚提示具であって、
ジャイロモーメントを生じさせることによって当該動かすべき向きの成分を有する力を生成可能な少なくとも2つの動力部を有し、
ある当該動力部の駆動範囲は、他の当該動力部の駆動範囲に比べて、より小さい微小範囲となっている
ことを特徴とする力学提示具が提供される。
【0027】
本発明によれば、さらにまた、道具を動かすことを含む所定の活動における動作を支援する方法であって、
上記の道具は、ジャイロモーメントを生じさせることによってこの道具を動かす向きの成分を有する力を生成可能な動力部を有し、
道具のとるべき動きに係る得られた道具動き情報に基づき、当該とるべき動きに対応する当該力を生成させる駆動信号を生成するステップと、
当該動力部に対し、生成した当該駆動信号を送って当該力を生成させるステップと
を有する、コンピュータによって実施される動作支援方法が提供される。
【発明の効果】
【0028】
本発明の動作支援プログラム、装置及び方法、並びに力覚提示装置によれば、スポーツ等の活動において用いられる、ラケットといったような道具の動かし方を、具体的に提示することが可能となる。
【図面の簡単な説明】
【0029】
図1】本発明による動作支援装置の一実施形態における機能構成を示す機能ブロック図である。
図2】本発明による力覚提示具の一実施形態における構造及び機能を説明するための模式図である。
図3】本発明による動作支援装置及び力覚提示具の一実施形態を用いた動作支援の具体例を説明するための模式図である。
図4】本発明による動作支援装置の他の実施形態を説明するための模式図である。
【発明を実施するための形態】
【0030】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0031】
[動作支援装置,動作支援システム]
図1は、本発明による動作支援装置の一実施形態における機能構成を示す機能ブロック図である。
【0032】
図1に示した、本発明による動作支援装置の一実施形態としてのAR(Augmented Reality,拡張現実)グラス1は、本実施形態において球技(図1では卓球)を行う競技者によって装着され、この競技者に対し、スポーツ用の道具(図1ではラケット2)を介して力学的な動作支援情報を提示するとともに、ディスプレイ105を介して視覚的な動作支援情報を提示する装置となっている。
【0033】
ここでラケット2は、移動する処置対象(図1ではボール3)に対し処置を行うべく動かされるものであり、また本実施形態において、ジャイロモーメントを生じさせることによってラケット2を動かす向きの成分を有する力(以下、「ガイド力」と称することもあり)を生成可能な動力部、本実施形態では第1モータ211及び第2モータ221、を備えた力覚提示具となっている。
【0034】
具体的に、本実施形態のラケット2では、後に図2を用いて詳細に説明するが、
(a)第1モータ211が駆動部としてのウェイト210を回転させることにより生じる角運動量(ベクトル)と、
(b)第2モータ221が駆動部としての「第1モータ211+ウェイト210」系を回転させることにより生じる角速度(ベクトル)と
からジャイロモーメントが発生し、このジャイロモーメントによって、上述した「ガイド力」FMが生成され、この「ガイド力」FMが、力学的な(力覚として触知される)動作支援情報として競技者へ提示されるのである。
【0035】
このような力学的な動作支援情報の提示機能を果たすべく、ARグラス1(動作支援装置)は、具体的に、
(A)道具(ラケット2)の「とるべき動き」に係る得られた「道具動き情報」に基づき、動力部(第1モータ211及び第2モータ221)へ送られてこの「とるべき動き」に対応する「ガイド力」を生成させる駆動信号を生成し出力する駆動信号生成部112
を有している。
【0036】
このように、ARグラス1(動作支援装置)は、道具に備えられた動力部に対して「とるべき動き」に対応する「ガイド力」を生成させることにより、スポーツ等の活動において用いられるラケットといったような道具の動かし方を、具体的に提示することが可能となるのである。例えば本実施形態の場合、競技者は、ラケット2の「とるべき動き」を、「ガイド力」FMという直接的な形で提示してもらえるので、例えばボール3の望ましいヒッティング動作を習得しやすくなり、卓球における自らの能力の向上を図ることも可能となる。
【0037】
ここで「道具動き情報」は、道具(ラケット2)について測定により又は人為的に予め決定された「とるべき動き」に係る情報であってもよい。例えば、望ましいとされるラケット動作の際に具現する速度又は加速度の時系列データを、実測によって生成したり、経験に基づき人為的に設定したりし、このようなデータを「道具動き情報」とすることも可能である。しかしながら本実施形態では、「道具動き情報」は、道具動き情報決定部111によって決定される。この道具動き情報決定部111は、
(B)道具(ラケット2)によって処置すべき処置対象(ボール3)の移動に係る移動情報、及びこの移動の原因となった動作に係る動作情報(例えば競技相手が使用するラケットの移動情報)のうちの取得された少なくとも1つに基づき、「道具動き情報」を決定する機能構成部
となっている。
【0038】
また、本実施形態のARグラス1は、「ガイド力」の提示だけではなく、それに合わせて道具(ラケット2)の「とるべき動き」に係る視覚情報や、処置対象(ボール3)の処置位置や処置姿勢に係る視覚情報を生成し、ディスプレイ105に表示することもできる。この視覚情報の生成及び支援対象(競技者)への提示については、後に詳細に説明する。
【0039】
なお、ARグラス1を適用可能な分野は勿論、卓球に限定されるものではない。例えば、野球やテニスといったような「道具」を用いる球技や、さらには球技以外の、剣道、フェンシング、スキーやスノーボードといったような「道具」を用いる競技(スポーツ)においても、ARグラス1を適用することができる。ちなみにこの場合、
(a)「道具」は、この競技(スポーツ)で使用されるバット、竹刀やスキー板等の競技用具であり、
(b)「道具動き情報」は、この競技(スポーツ)において競技用具がとるべき速度又は加速度に係る情報とすることができる。
ここで、例えばサッカーにおいて、サッカーシューズを「道具」として(シューズ内に動力部等を仕込んで)、ARグラス1を、このサッカーシューズ(力覚提示具)に駆動信号を送信するサッカー練習用装置として使用することも可能である。
【0040】
さらにARグラス1を適用可能な分野は、競技(スポーツ)に限定されるものでもない。例えば機械装置・重機等の取り扱い訓練や、フライトシミュレーション訓練といった各種訓練においても、操作すべきレバーやハンドル等を「道具」とした上で、ARグラス1を訓練用装置として使用することが可能である。
【0041】
ただし、本実施形態のARグラス1は、3次元空間内を素早く移動するボール等の処置対象に対し、ラケット等の「道具」を素早く動かすことによって処置を行う球技等の分野において、その活動(競技)の実施を支援するのに、特に適したものとなっている。
【0042】
[装置構成,動作支援プログラム・方法]
以下、ARグラス1の機能構成について詳細に説明を行う。同じく図1の機能ブロック図に示したように、本実施形態のARグラス1は、通信インタフェース(IF)101と、加速度・角速度センサユニット102と、カメラ103と、マイク104と、ディスプレイ105と、スピーカ106と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、本発明による動作支援プログラムの一実施形態を保存しており(例えば、本発明による動作支援アプリをインストールしており)、また、コンピュータ機能を有していて、この動作支援プログラムを実行することによって、動作支援処理を実施する。
【0043】
またこのことから本発明による動作支援装置は、以上述べたようなARグラスに限定されるものではなく、本発明による動作支援プログラムの一実施形態を搭載した、HMD(Head mounted Display)といったような他のディスプレイ搭載ウェアラブル端末、HUD(Head Up Display)等の各種ディスプレイ装置や、さらにはシミュレータ装置等とすることも可能である。さらに言えば、本発明による動作支援装置は、ラケット2といったような力覚提示具に対し、ガイド力を生成させる駆動信号を送信する、ディスプレイを備えていない制御装置であってもよい。
【0044】
また、プロセッサ・メモリは、機能構成部として、道具動き情報決定部111と、駆動信号生成部112と、場面決定部113と、視覚・聴覚情報生成部114と、入力制御部121と、出力制御部122とを有する。ここで、これらの機能構成部は、プロセッサ・メモリに保存された本発明による動作支援プログラムの一実施形態によって具現される機能と捉えることができる。また、図1の機能ブロック図におけるARグラス1(動作支援装置)の機能構成部間を矢印で接続して示した処理の流れは、本発明による動作支援方法の一実施形態としても理解される。
【0045】
以下、図1に示した具体例を用い、本実施形態における上述した各機能構成部について、詳細に説明を行う。ちなみに本具体例では、卓球場に設置された卓球台を用いて、卓球の練習試合が行われている。また、動作支援対象である競技者は、ARグラス1を装着し、力覚提示具としてのラケット2を用いて、処置対象であるボール3をヒットしている。
【0046】
またこの卓球場には、(a)処置対象としてのボール3、(b)競技相手(の腕、足や、頭等)、(c)競技相手の使用するラケット、(d)動作支援対象としてのARグラス1を装着した競技者(の腕、足や、頭等)や、(e)この競技者の使用するラケット2、を撮影可能であって、これらの撮影画像データを無線でARグラス1へ送信可能な少なくとも1つの(好ましくは複数の)カメラ4が設置されている。
【0047】
ここで、この撮影画像データに対し公知の画像認識技術を適用することによって、上記(a)~(e)の識別・特定や、上記(a)~(e)の位置、速度及び加速度の決定、さらには上記(a)~(e)の位置、速度及び加速度の追跡(トラッキング)が可能となる。またさらに、卓球の練習試合中における各種の音を収集可能であって、音声データを無線でARグラス1へ送信可能なマイク5も設置されている。
【0048】
ちなみに、カメラ4は、距離センサも兼ねた例えばRGB-Dカメラであって、対象までの距離情報も含む画像情報を生成するものであってもよい。また、ARグラス1は、以上に述べたカメラ4やマイク5からの情報を、無線LAN(Local Area Network)やBluetooth等を介し、通信インタフェース101で受信し、入力制御部121を介し道具動き情報決定部111や、場面決定部113へ出力することができる。また、生成した駆動信号情報を、無線LANやBluetooth等を介し、通信インタフェース101でラケット2へ送信することもできる。
【0049】
<道具動き情報決定手段>
同じく図1の機能ブロック図において、道具動き情報決定部111は、取得された
(a)ラケット2(道具)によって処置すべきボール3(処置対象)の移動に係る移動情報、及び
(b)この移動の原因となった動作に係る動作情報
のうちの少なくとも1つに基づき、「道具動き情報」を決定する。
【0050】
ここで上記(a)の移動情報は、例えばボール3の(競技相手のラケットでヒットされた直後の所定時間分の)時系列の位置データであり、カメラ4やカメラ103で生成され入力制御部121を介し取得された画像データから、上述したように公知の画像認識技術を用いて生成することができる。勿論、カメラ4やカメラ103でこの移動情報(例えば時系列位置データ)が生成される場合、移動情報は、カメラ4やカメラ103から取得されてもよい。また上記(b)の動作情報は、例えば競技相手のラケットの(ボール3をヒットする直前の所定時間分の)時系列の位置データであり、上記の移動情報と同様にして生成又は取得することができる。
【0051】
ちなみに、上述した時系列位置データの範囲を決める、ラケットでボール3をヒットした時点は、ラケット2とボール3との相対位置の変化や、ボール3の速度向きの変化から決定してもよい。また、マイク5で収集した音声データに対し公知の音声認識技術を適用して、ラケットによるボール3のヒット音を認識し、このヒット音が認識された時点を、ラケットでボール3をヒットした時点とすることも可能である。
【0052】
また、決定される「道具動き情報」は、ボール3をヒットするにあたり、ラケット2が各時点でとるべき速度に係る「時系列の速度データ」とすることができる。また、この時系列の速度データの代わりに、又はこの時系列の速度データと合わせて、ラケット2が各時点でとるべき加速度に係る「時系列の加速度データ」を含む情報であることも好ましい。ここで「時系列の加速度データ」は、ラケット2の決定された「時系列の速度データ」から生成されたものとすることもできる。さらに「時系列の速度データ」も、ラケット2の決定された「時系列の位置データ」から生成されたものであってもよい。いずれにしてもこの後、生成された「時系列の速度データ」又は「時系列の加速度データ」に基づき、駆動信号を生成するのである。
【0053】
また、上記(a)の移動情報や上記(b)の動作情報から「道具動き情報」を決定する処理は、例えば運動シミュレーションや、時系列データを説明変数とする機械学習モデルを用いて実施することができる。具体的には、移動情報(ボール3の時系列位置データ)から、競技者がボール3をヒットする位置範囲(又はヒットする時間区間)でのボール3の移動を表す時系列位置データを運動シミュレーションによって推定し、この推定した時系列位置データから、このデータに係るボール3を、たどってきた軌跡と同じ線上に返すことが可能なラケット2の移動情報(ラケット2の時系列速度データ又は時系列加速度データ)を、予め作成した所定の物理式(所定の反発係数の下の衝突・反発の式)を用いて算出して、「道具動き情報」としてもよい。ここで、運動シミュレーションエンジンとして、例えばODE(Open Dynamics Engine)を用いることができる。ODEは、例えばpythonの計算科学用ライブラリにおいてモジュールとして提供されている。
【0054】
また、移動情報をなす時系列位置データ及び動作情報をなす時系列位置データのうちの少なくとも一方を、学習済みのLSTM(Long Short-Term Memory)等のRNN(Recurrent Neural Network)アルゴリズムへ入力して、「道具動き情報」(時系列速度データや時系列加速度データ)を出力させることもできる。
【0055】
また本実施形態において、道具動き情報決定部111は、取得された上記の移動情報や動作情報から、学習済みのRNNや全結合型DDN(Fully-Connected Deep Neural Network)等のアルゴリズムを用いて、
(a)ラケット2(道具)によってボール3(処置対象)をヒット(処置)すべき位置に係る処置位置情報、及び
(b)ボール3(処置対象)をヒット(処置)する際にラケット2(道具)がとるべき姿勢に係る処置姿勢情報(例えば3DoF情報(例えばxyz各軸周りのラケット2の傾き角情報))
のうちの少なくとも1つも決定する。本実施形態では、ここで決定された処置位置情報や処置姿勢情報は、後に説明するが、視覚情報生成部114においてディスプレイ105に表示すべき視覚情報を生成するのに使用される。
【0056】
<駆動信号生成手段>
同じく図1の機能ブロック図において、本実施形態の駆動信号生成部112は、道具動き情報決定部111で決定された「道具動き情報」に基づき、ラケット2(道具,力覚提示具)の動力部(本実施形態では第1モータ211及び第2モータ221)へ送られて「(ラケット2が)とるべき動き」に対応するガイド力FMを生成させる駆動信号を生成し出力する。
【0057】
ここで本実施形態において、生成された第1モータ211用の駆動信号は、通信インタフェース101を介し、無線(例えば無線LANやBluetooth等)でラケット2の(通信IFを内蔵した)第1モータ211へ送信され、また、生成された第2モータ221用の駆動信号は、通信インタフェース101を介し、無線(例えば無線LANやBluetooth等)でラケット2の(通信IFを内蔵した)第2モータ221へ送信される。この生成される駆動信号の具体的な内容は、この後の図2を用いた力覚提示具(ラケット2)の説明において合わせて説明する。
【0058】
<力覚提示具>
図2は、本発明による力覚提示具の一実施形態における構造及び機能を説明するための模式図である。ここで図2(A2)は、この後述べるラバー付ケース21を取り外したラケット2の状態を表した図であり、また図2(B)は、ラケット2の構成の一部を仮に透明化した状態を表した図となっている。
【0059】
図2(A1)に示したように、本実施形態の力覚提示具としてのラケット2は、卓球のラケットの仕様に則った形状を有し、ラバー付ケース21とグリップ22とを備えている。ここでラバー付ケース21の内部には、図2(A2)や図2(B)に示したように、回転する円盤状の駆動部であるウェイト210と、第1動力部である第1モータ211とを含む本体駆動部21aが設けられている。また、グリップ22の内部には、図2(B)に示したように、第2動力部としての第2モータ221が設けられている。
【0060】
本実施形態において、第1モータ211は、内蔵された通信IFで受信した駆動信号に従い、ウェイト210を、その慣性主軸を回転軸として回転させることができる。また、第2モータ221は、同じく内蔵された通信IFで受信した駆動信号に従い、(ウェイト210及び第1モータ211を含む)本体駆動部21aを、上記のウェイト210の回転軸とは直交する軸を回転軸として、ラバー付ケース21内部の範囲で回転させることができる。なお図示していないが、ラケット2は、第1モータ211及び第2モータ221の電源としての蓄電池も備えている。
【0061】
ここで、図2(C)に示したように本実施形態では、
(a)第1モータ211により慣性モーメントIXのウェイト210を回転させることによって、x軸(OMを原点としたラケット打面の法線方向の軸)上に、角運動量(ベクトル)IX・Ωを発生させ、
(b)第2モータ221により本体駆動部21aを回転させることによって、y軸(OMを原点としたグリップ22の伸長方向の軸)上に、角速度(ベクトル)Ωgを発生させ、
(c)これにより、(OMを原点としx軸及びy軸と直交する)z軸上に、ジャイロモーメントMJ(=IX・Ω×Ωg,ここで‘×’はベクトル外積)を発生させ、
(d)その結果、グリップ22の把持点r(OMを原点とした位置ベクトル)を把持する競技者の手に、ガイド力(ベクトル)FMを触知させることができる。
なお、このガイド力FMは、次式
(1) MJ=r×FM
を満たす力となっており、把持点rを把持する競技者の手に作用する。ちなみにこの作用当初、グリップ22は反作用として、競技者の手から反対向きの力-FMを受けることによって静止することになる。
【0062】
以下、第1モータ211及び第2モータ221によって生成される上記(d)のガイド力FMが、ラケット2を動かすべき向きの成分を有する力となるようにする、本実施形態の手法を説明する。ちなみに以下、ラケット2が「とるべき動き」の向きは、ラケット打面の法線方向のx軸に平行であって、すなわち、ガイド力FMの向きに一致するものと仮定する(ちなみに実際には一致しない場合でも、ガイド力FMを、「とるべき動き」の向きの(十分に大きい)成分を有する力とみなすことによって、提示力、支援力や補助力として十分に機能させることができる)。
【0063】
慣性モーメントIXのウェイト210が、第1モータ211をもってx軸周りに角速度Ωで回転している際に、本体駆動部21aを、第2モータ221によって、y軸周りに角速度Ωgで回転させると、z軸上に次式
(2) MJ=[0, 0, IX・Ω・Ωg] (‘・’はスカラ掛け算を表す)
で表されるジャイロモーメントMJが発生する。したがって、このジャイロモーメントMJによって生成されるガイド力FMは、上式(1)及び(2)から、次式
(3) r×FM=[0, 0, IX・Ω・Ωg]
を満たす力となる。
【0064】
また、ラケット2が「とるべき動き」の情報として、道具動き情報決定部111から取得された「道具動き情報」が、(とるべき速度としての)速度ベクトルv(t)(の時系列情報)を含む場合、ガイド力(ベクトル)FMは、次式
(4) FM=m・dv(t)/dt (d*/dtはベクトル量の時間微分を表す)
を満たす力として設定することができる。なお上式(4)のmは、把持点rでグリップ22を把持する競技者の手にとってのラケット2(力覚提示具)の慣性質量である。ここで、上式(3)は、上式(4)を用いた上でベクトル成分で表示すると、次式
(5) [0, 0, IX・Ω・Ωg]=[0, r, 0]×[m・dv(t)/dt, 0, 0]
=[0, 0, r・m・dv/dt]
のように展開され、その結果、次式
(6) Ωg(t)=r・m・(IX・Ω)-1・dv(t)/dt (d*/dtはスカラの時間微分を表す)
が得られる。このように角速度Ωg(t)は、速度ベクトルv(t)から上記(6)を用いて導出することができるのである。
【0065】
ここで本実施形態においては、速度ベクトルv(t)(の時系列情報)に対応するガイド力FMを発生させるにあたり、ウェイト210を一定の角速度Ωで回転させた(等角速度運動を行わせた)状態で、本体駆動部21aを上式(6)で導出される角速度Ωg(t)で回転させる。すなわち本実施形態では、本体駆動部21aの角速度Ωg(t)を、第2モータ221を用いて上式(6)に従うように制御するによって、この速度ベクトルv(t)に対応するガイド力FMを具現させるのである。
【0066】
ちなみに、道具動き情報決定部111から取得された「道具動き情報」が(とるべき加速度としての)加速度ベクトルa(t)(の時系列情報)を含む場合は、上式(6)の代わりに、次式
(7) Ωg(t)=r・m・(IX・Ω)-1・a(t)
を用いて、本体駆動部21aの角速度Ωg(t)を(加速度ベクトルa(t)に応じて)制御することができる。
【0067】
以上説明したことに基づき、駆動信号生成部112(図1)は、道具動き情報決定部111から「道具動き情報」としての速度ベクトルv(t)又は加速度ベクトルa(t)を取得した際、この速度ベクトルv(t) 又は加速度ベクトルa(t)に対応した角速度Ωg(t)を上式(6)又は(7)によって算出し、第2モータ221が、この算出した角速度Ωg(t)で本体駆動部21aを回転させるような、第2モータ221用の駆動信号を生成する。またそれと同時に、第1モータ211が一定の角速度Ωでウェイト210を回転させるような、第1モータ211用の駆動信号を生成するのである。
【0068】
このような駆動信号によって第1モータ211及び第2モータ221を駆動させることによって、ラケット2が「とるべき動き」の向き及び大きさを提示可能なガイド力FMを、競技者に付与し(触知させ)、これにより、ラケット2を用いた競技動作、ここではラケット2で飛んでくるボール3をヒットする動作、を補助・支援することができるのである。
【0069】
ちなみに本実施形態では、角速度Ωg(t)によって、上述したようなガイド力FMを生成・提示できるのは、本体駆動部21aの一端がラバー付ケース21の一面側から回転して多面側に達するまでの短い時間区間に限られている。したがって、このようなガイド力FMを相当の時間だけ提示可能にすべく、ウェイト210を高速回転させて(例えば第1モータ211の最大回転数付近の回転数で回転させて)角速度Ωを十分に大きな値とし、これにより、(上式(8)で決まる)角速度Ωg(t)をより小さな値で済むようにすることも好ましい。これにより、その駆動範囲が他の動力部(第1モータ211)の駆動範囲に比べてより小さい微小範囲となっている第2モータ221に対し、その角速度Ωg(t)を制御するだけで、所望のガイド力FMが相当の時間、提示可能となるのである。
【0070】
以上、本発明による力学提示具の一実施形態としてのラケット2を説明したが、本発明による力学提示具は勿論、以上説明した形態のものに限定されるものではない。例えば、ラケット2において、回転軸をz軸とする第3モータによってウェイト210の回転軸をxy面内で捩じり、y軸上のジャイロモーメントを生じさせることの可能な回転機構を更に設けてもよい。この場合、y軸を回転軸としてグリップ22が回ろうとするガイド力を発生させることも可能となる。
【0071】
また、駆動部(ウェイト210や本体駆動部21a等)と動力部(モータ)の回転軸とは直結されていてもよく、または、両者の間に、歯車、ベルトや変速機といったような動力伝達機構が設けられていてもよい。さらに、複数の駆動部が、上記のような動力伝達機構によって1つの動力部(モータ)で駆動するものとなっていてもよい。また、ウェイト210の形状も円盤状に限定されるものではなく、その回転にムラや偏りが生じやすい形状でなければ、例えば球形状や正多角形状等であってもよい。
【0072】
さらに、本発明による力学提示具は上述したように、卓球のラケットに限定されるものではなく、例えば他の様々な競技で使用される競技用具とすることも可能である。ここで競技用具の多くは、バット、テニスラケットや、ゴルフクラブ等のように、競技者が手で把持する部分であるグリップを有し、且つ競技においてこのグリップを「動かすべき向き」は多くの場合、このグリップの伸長方向に概ね直交する向きとなっている。
【0073】
ここで、このグリップ内に仕込まれる動力部(モータ)の駆動範囲は、通常、第2モータ(図2(B))の駆動範囲と同様、他の動力部(例えば打面ケース内でウェイトを回すモータ)の駆動範囲に比べて、より小さい微小範囲となる。このような駆動範囲の限定されたグリップ内の動力部(モータ)によっても、上述した式(8)に相当する式を適用して、「動かすべき向き」を提示するガイド力FMを競技者に提供することが可能となるのである。
【0074】
<場面決定手段>
図1の機能ブロック図に戻って、場面決定部113は本実施形態において、競技(活動)の状況をセンシングしたセンシング結果情報に基づき、競技(活動)における予め分類された複数の場面(シーン)のうちの該当する場面(シーン)を決定する。ここで、センシング結果情報として例えば、カメラ4やカメラ103で生成された(競技の様子を含む)画像情報、マイク5やマイク104で生成された(競技に係る音を含む)音声情報や、加速度・角速度センサユニット102で生成された競技者(の頭部)の姿勢情報(例えば3DoF情報)が採用可能である。場面決定部113は、これらの情報を、入力制御部121を介し適宜受け取ることができる。
【0075】
本実施形態では、卓球を含め多くの球技において好適な分類結果となる、
(a)シーン1:「球をヒットする」
(b)シーン2:「移動する」
(c)シーン3:「道具を構える」
の3つのシーンが予め設定されており、このうちから各時点で(又は所定時間区間で)該当する1つが決定される。ここで競技(球技)においては、通常、
・・・→シーン1→シーン2→シーン3→シーン1→・・・
といったように順次、シーンが変遷していくことになる。
【0076】
場面決定部113は、具体的なシーン1~3の決定方法として、例えば、
(a)カメラ4で生成された、競技者を含む時系列の画像データから、姿勢推定DNNモデルであるOpenPoseやPoseNetを用いて、競技者の所定時間区間における時系列の関節位置データ(例えば身体中心を原点とした3次元座標系における各関節の位置座標データ)を生成し、
(b)この時系列の関節位置データを、学習済みのシーン推定モデルへ入力し、シーン推定モデルから出力されたシーン情報に係るシーンを、当該所定時間区間で展開しているシーンとしてもよい。
【0077】
ここで、上記(b)のシーン推定モデルは例えば、LSTM等のRNNアルゴリズムに対し、「球をヒットする」際に実際に得られた時系列の関節位置データと正解データ(シーン1を示す値)との組、「移動する」際に実際に得られた時系列の関節位置データと正解データ(シーン2を示す値)との組、及び「道具を構える」際に実際に得られた時系列の関節位置データと正解データ(シーン3を示す値)との組を含む学習データを用いて訓練を行うことによって、生成されたものとすることができる。
【0078】
なお、シーン1~3の他の決定方法として、カメラ103やカメラ4で生成された、競技相手を含む時系列の画像データから、競技相手の時系列の関節位置データを生成し、上記と同様にしてシーンを決定することもできる。また、上記の競技者の関節位置データの代わりに、加速度・角速度センサユニット102で生成された競技者(の頭部)の姿勢データ(例えば3DoFデータ)を用いて、シーン1~3を決定することも可能である。
【0079】
さらに、マイク5やマイク104で生成された音声情報から、ラケットがボール3をヒットする音や、ボール3が卓球台に当たる音、さらには競技者の足が床を踏む音等を音声認識によって抽出し、これらの音の発生時点の系列から、各時点のシーン1~3を判定することもできる。例えば、競技相手がボール3をヒットした後、最初にボール3が卓球台に当たった時点から、競技者がボール3をヒットした時点までを、シーン1:「球をヒットする」としてもよい。
【0080】
以上説明したように場面決定部113で決定されたシーン情報を受けて、駆動信号生成部112は、決定されたシーン(場面)、又は決定されたシーン(場面)の変遷に基づき、当該シーン又は当該シーンの変遷に対し予め設定された、ガイド力FMの発動パターンを具現するための駆動信号を生成する。
【0081】
ここで上述したように、予め設定された複数のシーン(場面)には、移動する処置対象(ボール3)に対し道具(ラケット2)によって処置(ヒット動作)が行われる「処置場面」、すなわちシーン1:「球をヒットする」、が含まれている場合を考える。この場合、駆動信号生成部112は、この「処置場面」(シーン1:「球をヒットする」)が決定された際、図2を用いて詳細に説明したように、この処置(ヒット動作)において道具(ラケット2)がとるべき動きに対応するガイド力FMを生成させるための駆動信号を生成するのである。
【0082】
またこの場合、駆動信号生成部112は、この「処置場面」(シーン1:「球をヒットする」)の直前となる場面(シーン3:「道具を構える」)が決定された際、ガイド力FMを生成する準備を行うための駆動信号を生成することも好ましい。なお、以上説明した、決定されたシーンに基づく駆動信号の生成、ひいてはガイド力FMの生成の具体例は、後に図3を用いて詳しく説明する。
【0083】
同じく図1の機能ブロック図において、場面決定部13はまた、上記のセンシング結果情報に基づき、場面(シーン)の展開の速さに係る展開速さ情報を決定することも好ましい。例えば、上記のシーン推定モデル(LSTM等のRNNアルゴリズム)を構築するに当たり、追加の目的変数として「シーン展開が速い」、「シーン展開が普通の速さ」、及び「シーン展開が遅い」を設定し、学習データにこれらの正解データも取り入れてもよい。これにより、この学習済みのシーン推定モデルの出力として、シーン展開の速さに係る展開速さ情報が取得されるのである。また簡便な手法とはなるが、センシング結果情報から、対象シーンにおけるボール3の平均速度情報を生成し、この平均速度情報から、この対象シーンについて予め設定された平均速度範囲と展開速さ情報との対応テーブルを用いて、展開速さ情報を決定してもよい。
【0084】
この場合、駆動信号生成部112は、受け取った展開速さ情報にも基づき、この展開速さ情報に係る展開の速さに合わせた大きさを有するガイド力FMを生成させるための駆動信号を生成することも好ましい。このような駆動信号の生成、ひいてはガイド力FMの生成の具体例についても、後に図3を用いて説明する。
【0085】
以上、場面決定部113でのシーン決定処理について説明したが、予め設定されるシーン(場面)は勿論、上記の3つ(シーン1、2及び3)に限定されるものではない。すなわち、対象となる競技(活動)に合わせて、2つ以上のシーンを任意に決定することができる。ただし、予め設定される複数のシーンは、本発明による力覚提示具(図1ではラケット2)により、各シーンにおいて当該シーンに特徴的な力覚が提示されるように適切に区分けされたシーン群であることも好ましい。
【0086】
<視覚・聴覚情報生成手段>
同じく図1の機能ブロック図において、本実施形態の視覚・聴覚情報生成部114は、道具動き情報決定部111で決定された「道具動き情報」に基づき、
(a)出力制御部122を介しディスプレイ(視覚情報提示部)105へ送られる、ラケット2のとるべき動きに係る視覚情報、及び、出力制御部122を介しスピーカ106へ送られる、ラケット2のとるべき動きに係る音声情報
を生成し出力することができる。また、道具動き情報決定部111で決定された処置位置情報及び/又は処置姿勢情報に基づき、
(b)出力制御部122を介しディスプレイ105へ送られる、ラケット2のとるべき処置位置及び/又は処置姿勢に係る視覚情報、並びに、出力制御部122を介しスピーカ106へ送られる、ラケット2のとるべき処置位置及び/又は処置姿勢に係る音声情報
を生成し出力してもよい。
【0087】
ここで以下、図3を用いて、上記の視覚情報や音声情報の提示の具体例、及び、上述したように決定されたシーン(場面)に基づく駆動信号の生成及びガイド力FMの生成の具体例を説明する。
【0088】
<動作支援の具体例>
図3は、本発明による動作支援装置及び力覚提示具の一実施形態を用いた動作支援の具体例を説明するための模式図である。ちなみに本具体例は、図1に示されたものと同様であり、卓球場に設置された卓球台を用いて、卓球の練習試合が行われている。また、動作支援対象である競技者は、ARグラス1を装着し、力覚提示具としてのラケット2を用いて、処置対象であるボール3をヒットしている。
【0089】
図3(A)によれば、競技者の装着したARグラス1のディスプレイ105には、
(a)競技相手のラケットの動作情報又はボール3の移動情報から推定された「処置位置」に相当する画面内の位置に(すなわち、表示すべき現実空間内の位置に(その座標変換先として)対応する仮想空間内の位置に)、ボール3の画像が、仮想現実として表示され、さらに、
(b)同じく競技相手のラケットの動作情報又はボール3の移動情報から推定された「処置姿勢」を表したラケット2の画像が、上記(a)のボール3の画像と重なるようにして、仮想現実として表示されている。
これにより、競技者は、ラケット2でボール3をヒットすべき位置、及びこの位置においてラケット2がとるべき姿勢を、事前に視認することができる。またここで、上記(a)のボール3の画像の表示に合わせて、ボール3が飛んでくる位置(処置位置)を事前に提示する音声、例えば「左!」や「右!」、がスピーカ106(図1)から出力されてもよい。
【0090】
さらに、上記(b)のラケット2の画像を、その表示位置まで移動させて表示させ、その際の移動の速度を、「道具動き情報」に含まれるラケット2の動かすべき速度情報に基づき決定することも好ましい。例えば、「道具動き情報」に含まれる速度情報がラケット2の速い動きを示しているほど、より速くラケット2の画像を移動させてみせてもよい。これにより、競技者は、ラケット2の動かすべき速さも、事前に視認することができる。
【0091】
ちなみに、以上説明したような視覚情報を表示するディスプレイ105は、透過型のディスプレイとなっている。ARグラス1を装着した競技者は、ディスプレイ105越しに、現実の競技環境、例えばボール3、競技の相手や、卓球台等を視認することができる。さらに競技者は、この競技環境の視界内に、処置位置を示すボール3の仮想的な画像や、処置姿勢を示すラケット2の仮想的な画像を見て、競技を行いながら当該競技に係るガイダンスを受けることができるのである。なお変更態様として、ディスプレイ105は非透過型であって、カメラ103で生成された競技環境のカメラ画像を表示し、さらに、それに合わせて上記の仮想的な画像を表示するものであってもよい。
【0092】
次に図3(B)によれば、シーン1~3の中から現在のシーン(場面)として決定されたシーン毎に、ラケット2による当該シーンに合った力覚提示が実施されている。ここで決定されたシーンは通常、競技の進展とともに、・・・ → シーン1:「球をヒットする」 → シーン2:「移動する」 → シーン3:「道具を構える」 → シーン1:「球をヒットする」 → ・・・といったように変遷する。
【0093】
このうち、シーン1:「球をヒットする」において、図2(C)及び上式(8)を用いて説明した、ラケット2のとるべき速度ベクトルv(t)(又は加速度ベクトルa(t))に合わせたガイド力FMの提示が実施され、さらにそれに合わせて、図3(A)を用いて説明した、ボール3の画像やラケット2の画像の表示が実施されるのである。これにより競技者は、望まれる動作のガイダンスとしての力覚情報とそれに合った視覚情報とを、直観的に理解される形で同時に合わせて受け取ることができ、その結果、競技におけるパフォーマンスを効率的に向上させることも可能となる。以下、シーン1~3の各シーンにおけるラケット2による力覚提示の具体例を説明する。
【0094】
最初に、シーン1:「球をヒットする」においては、
(1a)(該当する駆動信号を第1モータ211へ送信して)第1モータ211の回転を高速一定にして、ウェイト210を一定の高角速度(Ω)で回転させつつ、
(1b)(上式(6)(又は上式(7))によって算出された角速度Ωg(t)を具現させるように生成された駆動信号を第2モータ221へ送信して)第2モータ221を回転させて、本体駆動部21a(図2)を、ラケット2を動かすべき速度v(t)(又は加速度a(t))に応じた角速度Ωg(t)をもって回転させる。
これによりすでに説明したように、競技者に対し、ラケット2がとるべき動きの向き及び大きさを提示可能なガイド力FMを付与する(触知させる)ことができる。
【0095】
次いで、シーン2:「移動する」においては、
(2a)(該当する駆動信号を第1モータ211へ送信して)第1モータ211の回転を急減速させ、さらに停止させ、
(2b)(該当する駆動信号を第2モータ221へ送信して)第2モータ221の回転を、上記(2a)の第1モータ211の回転停止に合わせ、速やかに停止させる。
このように、シーン2:「移動する」の開始にあたり、ラケット2におけるジャイロモーメントMJの発生を速やかに終了させ、競技者に不要な力覚を提示しないようにすることによって、競技者は、プレーの障害になるような力覚を感じることがなく、またそれにより、状況がシーン2:「移動する」に入ったことを覚知することができる。
【0096】
なお変更態様として、シーン3:「道具を構える」への移行をよりスムーズにするため、シーン3の直前となるシーン2:「移動する」において、第2モータ221の回転位置を、回転範囲(駆動範囲)における中点位置付近にしておくことも好ましい。言い換えると、本体駆動部21a(図2)を、ラバー付ケース21の真ん中付近に(ラバー面に平行となる位置付近 に)戻しておくことも好ましい。
【0097】
次いで、シーン3:「道具を構える」においては、
(3a)(該当する駆動信号を第1モータ211へ送信して)第1モータ211の回転を、上記(1a)の高速一定に向けて開始させ、
(3b)(該当する駆動信号を第2モータ221へ送信して)第2モータ221の回転位置を、回転範囲(駆動範囲)における一方の端の位置(シーン1における回転の開始位置)とする。言い換えると、(第2モータ221によって)ラバー付ケース21内部の範囲で回転する本体駆動部21a(図2)の一端が、ラバー付ケース21の一面側の位置(シーン1における回転の開始位置)となるように、本体駆動部21aを、シーン1における回転とは逆向きに回転させておく。
【0098】
これにより、シーン1の直前のシーン3:「道具を構える」において、シーン1:「球をヒットする」におけるウェイト210の高角速度(Ω)回転の準備を行うので、シーン1:「球をヒットする」での力覚提示を、よりスムーズに且つ違和感なく実施することが可能となる。また、シーン1の直前となるシーン3:「道具を構える」において、第2モータ221の回転範囲(駆動範囲)を、シーン1の事前準備として最大限確保するので、シーン1:「球をヒットする」におけるガイド力FMの提示時間を十分にとることができる。また、取り得る角速度Ωg(t)値の範囲、したがって提示し得るガイド力FM値の範囲、を拡大することも可能となる。
【0099】
ところで、以上に述べたシーン1~3の展開の速さは、通常、試合の流れの中で大きく変化する。そこで、この展開の速さに合わせて各シーンにおけるモータ駆動を制御することも好ましい。例えば、シーン3:「道具を構える」において、場面決定部113で決定された展開速さ情報が「シーン展開が速い」、「シーン展開が普通の速さ」及び「シーン展開が遅い」の場合に、ウェイト210(第1モータ211)の回転開始時の角加速度をそれぞれ「大」、「中」及び「小」としてもよい。また、第2モータ221における逆回転の速度を、それぞれ「大」、「中」及び「小」とすることも好ましい。これにより、シーン展開が速い場合には、シーン3におけるシーン1のための準備動作を速やかに実施し、一方、シーン展開が遅い場合には、この準備動作を急がずに実施して、競技者に、ラケット2の操作性を損なう不要な反作用力や慣性力を極力与えないようにすることができる。なお、上述したウェイト210(第1モータ211)の角加速度や第2モータ221の逆回転速度における「大」、「中」及び「小」の具体的な設定・調整は、競技者が(図示していない)ユーザインタフェースを介し適宜行うことができることも好ましい。
【0100】
以上、卓球の練習試合の具体例を用いて、シーン1~3の各々における第1モータ211及び第2モータ221の制御、すなわち提示する力覚の制御を説明した。ここで卓球の場合、シーン1:「球をヒットする」からシーン3:「道具を構える」までのシーンの変遷は、実際には3秒以内で完了する。これに対し、約1Nmのトルク出力を持つ第1モータ211及び第2モータ221を備えたラケット2を用いれば、この短時間(3秒以内)での各シーンにおける力覚の制御が好適に実施されることが確認されている。なお、以上説明したシーンの変遷に合わせた動力部による力覚の制御は、あくまで好適な例であって、これ以外にも当然に、その活動(競技)に合った種々様々な力覚制御が可能である。
【0101】
<動作支援装置の他の実施形態>
図4は、本発明による動作支援装置の他の実施形態を説明するための模式図である。
【0102】
図4(A)に示された、本発明による動作支援装置の他の実施形態であるラケット7は、本発明による力覚提示具の他の実施形態にもなっている競技用具(道具)である。具体的にラケット7は、
(a)グリップ74内に搭載された、通信インタフェース(IF)701と、スピーカ706と、
(b)搭載された本発明による動作支援プログラムを実行することによって、道具動き情報決定部711、駆動信号生成部712、場面決定部713、視覚・聴覚情報生成部714、入力制御部721、及び出力制御部722として機能する、グリップ74内に搭載されたプロセッサ・メモリと、
(c)ウェイト730と、第1モータ731と、第2モータ741と
を備えている。
【0103】
ここで、上記(a)~(c)の各(機能)構成部は、ARグラス1(図1)及びラケット2(図1図2)における同名の(機能)構成部と同様の構造・構成・仕組みを有し同様の機能を果たす。ただし、本実施形態の駆動信号生成部712は、無線通信に頼ることなく、生成した駆動信号を第1モータ731及び第2モータ741へ出力する。また、通信インタフェース701は、視覚・聴覚情報生成部714で生成された視覚情報を、競技者の装着したARグラス8へ無線(例えば無線LANやBluetooth等)で送信し、この視覚情報をARグラス8のディスプレイに表示させる。
【0104】
このようなラケット7においても、ラケット7のとるべき動きに対応するガイド力FMを生成することによって、ラケット7を把持する競技者に対し、ラケット7の動かし方を具体的に提示することができるのである。また、ラケット7のとるべき動きに係る視覚情報や、処置対象(ボール3)の処置位置や処置姿勢に係る視覚情報を、同じ競技者の装着するARグラス8のディスプレイを介し、この競技者に提示することも可能となる。
【0105】
次に、図4(B)に示された、本発明による動作支援装置の更なる他の実施形態であるスマートフォン9は、本発明による動作支援プログラムを搭載しており(例えば、本発明による動作支援アプリをインストールしており)、
(a)生成した駆動信号を、競技者の把持するラケット2へ無線(例えば無線LANやBluetooth等)で送信し、さらに、
(b)生成した視覚情報を、同じ競技者の装着するARグラス8へ無線(例えば無線LANやBluetooth等)で送信する
ことができる装置である。
【0106】
すなわち、スマートフォン9はいわば、図4(A)に示されたラケット7から、本発明による動作支援プログラムを搭載したプロセッサ・メモリと、通信インタフェース(701)と、スピーカ(706)とを取り出し、自らに移管させた装置となっているのである。ちなみにスマートフォン9は、図4(B)に示したように、ARグラス8を装着し且つラケット2を把持する競技者に携帯されて使用されてもよい。
【0107】
このようなスマートフォン9によっても、ラケット2のとるべき動きに対応するガイド力FMを生成させることによって、ラケット2を把持する競技者に対し、ラケット2の動かし方を具体的に提示することができるのである。また、ラケット2のとるべき動きに係る視覚情報や、処置対象(ボール3)の処置位置や処置姿勢に係る視覚情報を、同じ競技者の装着するARグラス8のディスプレイを介し、この競技者に提示することも可能となる。
【0108】
以上詳細に説明したように、本発明によれば、道具(力覚提示具)に備えられた動力部に対し、とるべき動きに対応する力(図2(C)ではガイド力FM)を生成させることにより、スポーツ等の活動において用いられるラケットといったような道具の動かし方を、具体的に提示することが可能となるのである。例えばあくまで1つの実施形態の場合とはなるが、競技者は、ラケットのとるべき動きを、ガイド力という直接的な形で提示してもらえるので、例えばボールの望ましいヒッティング動作を習得しやすくなり、例えば球技における自らの能力の向上を図ることも可能となる。
【0109】
また、学校や民間のスポーツ教室におけるスポーツの所定動作に係る授業や、プロスポーツにおける所定動作の訓練の場面において、さらには、所定動作を伴う仕事の実践又は訓練の場面において、これらの場面で使用される道具を本発明による力覚提示具とし、さらに本発明の動作支援技術を適用することによって、より多くの子供達や大人達に対しスポーツや仕事における所定動作の向上を促すこともできる。すなわち本発明によれば、国連が主導する持続可能な開発目標(SDGs)の目標4「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」や、目標8「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」の達成に貢献することも可能となるのである。
【0110】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0111】
1 ARグラス(動作支援装置)
101、701 通信インタフェース(IF)
102 加速度・角速度センサユニット
103、4 カメラ
104、5 マイク
105 ディスプレイ
106、706 スピーカ
111、711 道具動き情報決定部
112、712 駆動信号生成部
113、713 場面決定部
114、714 視覚・聴覚情報生成部
121、721 入力制御部
122、722 出力制御部
2 ラケット(力覚提示具,道具)
21 ラバー付ケース
210、730 ウェイト(駆動部)
211、731 第1モータ(第1動力部)
21a 本体駆動部
22、74 グリップ
221、741 第2モータ(第2動力部)
3 ボール(処置対象)
7 ラケット(動作支援装置,力覚提示具)
8 ARグラス
9 スマートフォン(動作支援装置)
図1
図2
図3
図4