(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126176
(43)【公開日】2024-09-20
(54)【発明の名称】処置対象に対する処置を提案するプログラム、装置、システム及び方法
(51)【国際特許分類】
A63B 71/06 20060101AFI20240912BHJP
A63B 69/00 20060101ALI20240912BHJP
【FI】
A63B71/06 T
A63B69/00 506
A63B69/00 509
A63B69/00 A
A63B69/00 510
A63B69/00 504A
A63B71/06 M
A63B69/00 504K
A63B69/00 505G
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023034398
(22)【出願日】2023-03-07
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】ハニフ フェルマンダ プトラ
(57)【要約】
【課題】ボールといったような処置対象に対し処置を行う処置主体、例えば球技の競技者に対し、処置に係る提案を提供することが可能な処置提案プログラムを提供する。
【解決手段】本処置提案プログラムは、処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、処置対象に対する処置の処置位置を推定する処置位置推定手段と、推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定する処置態様推定手段と、推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力する処置提案生成手段としてコンピュータを機能させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定する処置位置推定手段と、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定する処置態様推定手段と、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力する処置提案生成手段と
してコンピュータを機能させることを特徴とする処置提案プログラム。
【請求項2】
前記処置位置推定手段は、処置主体が当該処置対象に対し行った処置の処置位置である取得された主体処置位置と、推定した処置位置との差異に係る量を算出し、当該差異に係る量に基づいて当該処置の処置位置を新たに推定し、
前記処置態様推定手段は、新たに推定された処置位置に基づいて、当該処置の処置態様を新たに推定し、
前記処置提案生成手段は、新たに推定された処置位置及び処置態様に基づいて、当該処置提案情報を新たに生成する
ことを特徴とする請求項1に記載の処置提案プログラム。
【請求項3】
当該処置位置推定モデルは、処置を行う時点である処置時点も含む当該正解データによって訓練されていて、前記処置位置推定手段は、当該処置の処置時点も推定し、
前記処置提案生成手段は、推定された処置時点にも基づいて、当該処置の処置時点にも係る当該処置提案情報を生成する
ことを特徴とする請求項1に記載の処置提案プログラム。
【請求項4】
前記処置位置推定手段は、処置主体が当該処置対象に対し行った処置の処置時点である取得された主体処置時点と、推定した処置時点との差異に係る量を算出し、当該差異に係る量に基づいて当該処置の処置位置及び処置時点を新たに推定し、
前記処置態様推定手段は、新たに推定された処置位置に基づいて、当該処置の処置態様を新たに推定し、
前記処置提案生成手段は、新たに推定された処置位置、処置時点及び処置態様に基づいて、当該処置提案情報を新たに生成する
ことを特徴とする請求項3に記載の処置提案プログラム。
【請求項5】
当該処置態様推定モデルは、処置を行う速度である処置速度も含む当該正解データによって訓練されていて、前記処置態様推定手段は、当該処置の処置速度も含む処置態様を推定し、
前記処置提案生成手段は、当該処置の処置速度も含む推定された処置態様にも基づいて、当該処置の処置速度にも係る当該処置提案情報を生成する
ことを特徴とする請求項1に記載の処置提案プログラム。
【請求項6】
前記処置態様推定手段は、処置主体が当該処置対象に対し行った処置の処置態様である取得された主体処置態様と、推定した処置態様との差異に係る量を算出し、当該差異に係る量に基づいて当該処置の処置態様を新たに推定し、
前記処置提案生成手段は、新たに推定された処置態様にも基づいて、当該処置提案情報を新たに生成する
ことを特徴とする請求項1から5のいずれか1項に記載の処置提案プログラム。
【請求項7】
前記処置態様推定手段は、当該処置主体が行った当該処置の後における当該処置対象に係る情報である取得された処置結果情報にも基づいて、当該処置の処置態様を新たに推定することを特徴とする請求項6に記載の処置提案プログラム。
【請求項8】
前記処置態様推定手段は、処置主体における当該処置を行う前の態様である主体処置前態様にも基づいて、当該処置の処置態様を推定することを特徴とする請求項1から5のいずれか1項に記載の処置提案プログラム。
【請求項9】
生成される当該処置提案情報は、処置主体に対し表示される画像に係る情報、処置主体に対し出力される音声に係る情報、及び処置主体の触覚によって感知される情報のうちの少なくとも1つであることを特徴とする請求項1から5のいずれか1項に記載の処置提案プログラム。
【請求項10】
当該処置対象は、球技で用いられる球であり、当該動作情報は、当該球技における競技相手の当該球に対する動作に係る情報であり、
当該処置は、処置主体である競技者による、当該競技相手から移動してきた当該球に対し作用を及ぼすための行為であり、
当該処置態様は、当該球に対し作用を及ぼすための当該行為を行う際の当該競技者の姿勢、又は当該競技者の用いる道具の姿勢であり、
当該処置提案情報は、当該球に対し作用を及ぼすべき位置である処置位置と、当該球に対し作用を及ぼすための当該行為を行う際にとるべき当該競技者の姿勢、又は当該道具の姿勢とに係る情報である
ことを特徴とする請求項1から5のいずれか1項に記載の処置提案プログラム。
【請求項11】
処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定する処置位置推定手段と、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定する処置態様推定手段と、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力する処置提案生成手段と
を有することを特徴とする処置提案装置。
【請求項12】
処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定する処置位置推定手段と、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定する処置態様推定手段と、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力する処置提案生成手段と
を有することを特徴とする処置提案システム。
【請求項13】
処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定するステップと、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定するステップと、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力するステップと
を有することを特徴とする、コンピュータによって実施される処置提案方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処置対象に対する処置についての提案を行う技術に関する。
【背景技術】
【0002】
近年、AR(Augmented reality,拡張現実)技術の研究開発が精力的に進められている。ARは、単に現実以上の情報を人間に提供するだけでなく、人間の能力を開拓し向上させるのに有効である。例えば、各種スポーツ分野においてAR技術の応用が進められている。
【0003】
例えば特許文献1には、ARディスプレイを装着したバスケットボールの競技者に対し、ゴールリング上に、シュートの際のターゲットを示す矢印を表示する技術が開示されている。また、例えば特許文献2には、HUD(Head Up Display)を用いて、サッカーの競技者に対し、そこにボールを蹴るべきスポットを表示する技術が開示されている。このような技術によって、競技者は自らの視界において、どの方向にボールを放つべきかを知ることが可能となる。
【0004】
また、例えば非特許文献1には、カルマンフィルタ(Kalman filter)を用いて、移動するボールの将来の軌跡を予測し、HMD(Head-Mounted Display)に予測した軌跡を表示させる技術が開示されている。これによりユーザは、ボールの動きに対する知覚を高めることが可能となる。
【0005】
さらに、例えば非特許文献2には、卓球における相手の姿勢の情報を用いて、向かってくるボールにおける卓球台への着地点を予測する技術が開示されている。この技術では具体的に、CNN(Convolutional Neural Network)モデルを用いて、相手のRGB画像から10個の上半身関節位置画像を生成し、次いでLSTM(Long Short-Term Memory)モデルを用いて、ボールの着地点を予測し、最後に天井に設置されたプロジェクタによって、卓球台上における予測した着地点にマークを投影するのである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許出願特開第2013/0095924号公報
【特許文献2】米国特許出願特開第2017/0251160号公報
【非特許文献】
【0007】
【非特許文献1】Yuta Itoh, Jason Orlosky, Kiyoshi Kiyokawa, Gudrun Klinker, “Laplacian Vision: Augmenting Motion Prediction via Optical See-Through Head-Mounted Displays”, Proceedings of the 7th Augmented Human International Conference 2016, No. 16, pp.1-8, <https://doi.org/10.1145/2875194.2875227>, 2016年
【非特許文献2】Erwin Wu, Hideki Koike, “FuturePong: Real-time Table Tennis Trajectory Forecasting using Pose Prediction Network”, CHI EA '20: Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems, pp.1-8, <https://doi.org/10.1145/3334480.3382853>, 2020年
【発明の概要】
【発明が解決しようとする課題】
【0008】
以上述べたように従来、ボール等の将来の位置・軌跡を予測し、その予測情報をユーザに提示する技術が進展してきた。しかしながら、このような予測情報を提供するだけでは、例えば人間の能力向上に十分に資することは困難である。
【0009】
例えば球技において、特許文献1及び2や非特許文献1及び2に係る技術を用いて、ボールの将来位置やゴールのための目標位置を提示したとしても、それだけでは、ユーザが最適若しくは好適な応答行動を実施可能になるとは限らない。すなわち、例えばボールの予測される軌跡や将来位置を、眼前のディスプレイに表示されたとしても、それだけでは通常、訓練中のユーザ(特に初級レベルの競技者)が、ボールに対する最適若しくは好適な応答を行えるものではない。
【0010】
そこで、本発明は、ボールといったような処置対象に対し処置を行う処置主体、例えば球技の競技者に対し、当該処置に係る提案を提供することが可能な処置提案プログラム、装置、システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明によれば、処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定する処置位置推定手段と、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定する処置態様推定手段と、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力する処置提案生成手段と
してコンピュータを機能させる処置提案プログラムが提供される。
【0012】
この本発明による処置提案プログラムにおいて、処置位置推定手段は、処置主体が当該処置対象に対し行った処置の処置位置である取得された主体処置位置と、推定した処置位置との差異に係る量を算出し、当該差異に係る量に基づいて当該処置の処置位置を新たに推定し、
処置態様推定手段は、新たに推定された処置位置に基づいて、当該処置の処置態様を新たに推定し、
処置提案生成手段は、新たに推定された処置位置及び処置態様に基づいて、当該処置提案情報を新たに生成することも好ましい。
【0013】
また、本発明による処置提案プログラムの一実施形態として、当該処置位置推定モデルは、処置を行う時点である処置時点も含む当該正解データによって訓練されていて、処置位置推定手段は、当該処置の処置時点も推定し、
処置提案生成手段は、推定された処置時点にも基づいて、当該処置の処置時点にも係る当該処置提案情報を生成することも好ましい。
【0014】
さらに上記の実施形態において、処置位置推定手段は、処置主体が当該処置対象に対し行った処置の処置時点である取得された主体処置時点と、推定した処置時点との差異に係る量を算出し、当該差異に係る量に基づいて当該処置の処置位置及び処置時点を新たに推定し、
処置態様推定手段は、新たに推定された処置位置に基づいて、当該処置の処置態様を新たに推定し、
処置提案生成手段は、新たに推定された処置位置、処置時点及び処置態様に基づいて、当該処置提案情報を新たに生成することも好ましい。
【0015】
また、本発明による処置提案プログラムの他の実施形態として、当該処置態様推定モデルは、処置を行う速度である処置速度も含む当該正解データによって訓練されていて、処置態様推定手段は、当該処置の処置速度も含む処置態様を推定し、
処置提案生成手段は、当該処置の処置速度も含む推定された処置態様にも基づいて、当該処置の処置速度にも係る当該処置提案情報を生成することも好ましい。
【0016】
さらに、本発明による処置提案プログラムの更なる他の実施形態として、処置態様推定手段は、処置主体が当該処置対象に対し行った処置の処置態様である取得された主体処置態様と、推定した処置態様との差異に係る量を算出し、当該差異に係る量に基づいて当該処置の処置態様を新たに推定し、
処置提案生成手段は、新たに推定された処置態様にも基づいて、当該処置提案情報を新たに生成することも好ましい。
【0017】
また、上記の実施形態において、処置態様推定手段は、当該処置主体が行った当該処置の後における当該処置対象に係る情報である取得された処置結果情報にも基づいて、当該処置の処置態様を新たに推定することも好ましい。
【0018】
さらに、本発明による処置提案プログラムにおいて、処置態様推定手段は、処置主体における当該処置を行う前の態様である主体処置前態様にも基づいて、当該処置の処置態様を推定することも好ましい。
【0019】
また、本発明に係る処置提案情報の具体例として、生成される当該処置提案情報は、処置主体に対し表示される画像に係る情報、処置主体に対し出力される音声に係る情報、及び処置主体の触覚によって感知される情報のうちの少なくとも1つであることも好ましい。
【0020】
さらに、本発明を適用した一具体例として、当該処置対象は、球技で用いられる球であり、当該動作情報は、当該球技における競技相手の当該球に対する動作に係る情報であり、
当該処置は、処置主体である競技者による、当該競技相手から移動してきた当該球に対し作用を及ぼすための行為であり、
当該処置態様は、当該球に対し作用を及ぼすための当該行為を行う際の当該競技者の姿勢、又は当該競技者の用いる道具の姿勢であり、
当該処置提案情報は、当該球に対し作用を及ぼすべき位置である処置位置と、当該球に対し作用を及ぼすための当該行為を行う際にとるべき当該競技者の姿勢、又は当該道具の姿勢とに係る情報であることも好ましい。
【0021】
本発明によれば、また、処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定する処置位置推定手段と、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定する処置態様推定手段と、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力する処置提案生成手段と
を有する処置提案装置が提供される。
【0022】
本発明によれば、さらに、処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定する処置位置推定手段と、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定する処置態様推定手段と、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力する処置提案生成手段と
を有する処置提案システムが提供される。
【0023】
本発明によれば、さらにまた、処置対象の移動又は相対的変位に係る移動情報、及び当該移動又は相対的変位の原因となった動作に係る動作情報のうちの取得された少なくとも1つに基づき、処置を行う位置である処置位置の正解データによって訓練された処置位置推定モデルを用いて、当該処置対象に対する処置の処置位置を推定するステップと、
推定された処置位置に基づき、処置を行う態様である処置態様の正解データによって訓練された処置態様推定モデルを用いて、当該処置の処置態様を推定するステップと、
推定された処置位置及び処置態様に基づいて、当該処置の処置位置及び処置態様に係る処置提案情報を生成し出力するステップと
を有する、コンピュータによって実施される処置提案方法が提供される。
【発明の効果】
【0024】
本発明の処置提案プログラム、装置、システム及び方法によれば、処置対象に対し処置を行う処置主体に対し、当該処置に係る提案を提供することができる。
【図面の簡単な説明】
【0025】
【
図1】本発明による処置提案装置の一実施形態における機能構成を示す機能ブロック図である。
【
図2】本発明に係る処置位置推定モデルの一実施形態を説明するための模式図である。
【
図3】本発明に係る処置提案情報の具体例を説明するための模式図である。
【
図4】本発明に係る処置提案情報の具体例を説明するための模式図である。
【
図5】本発明に係る処置提案情報生成処理の他の実施形態を説明するための模式図である。
【
図6】本発明に係る処置提案情報生成処理の更なる他の実施形態を説明するための模式図である。
【
図7】本発明による処置提案方法の一実施形態を概略的に示すフローチャートである。
【発明を実施するための形態】
【0026】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0027】
[処置提案装置]
図1は、本発明による処置提案装置の一実施形態における機能構成を示す機能ブロック図である。
【0028】
図1に示した、本発明による処置提案装置の一実施形態としてのAR(Augmented Reality,拡張現実)グラス1は、本実施形態において球技(
図1では卓球)を行う競技者によって装着され、この競技者に対し、「処置提案情報」を提供する装置となっている。
【0029】
ここで、この「処置提案情報」の提供は、例えばこの競技者に対し、
(a)「処置対象」である卓球のボール2に対する処置を行う位置である「処置位置」を示す画像、例えばラケット32でヒットすべき位置を示すボール2の画像を、拡張現実としてディスプレイ105に表示し、
(b)上記の「処置位置」での処置を行う態様である「処置態様」を示す画像、例えばボール2をヒットする際にとるべきラケット32の姿勢を示す画像を、拡張現実としてディスプレイ105に表示する
ことであってもよい。
【0030】
ちなみに「処置提案情報」は、上記(b)の「処置態様」を示す画像(例えばラケット32の姿勢を示す画像)だけであってもよいが、上記(a)の「処置位置」を示す画像(例えば処置対象(ボール2)の画像)も含むことによって、より好適な提案を行うことが可能となる。
【0031】
また、「処置提案情報」を表示するディスプレイ105は、本実施形態において透過型のディスプレイである。ARグラス1を装着した競技者は、ディスプレイ105越しに、現実の競技環境、例えばボール2、競技の相手や、卓球台等を視認することができる。さらに競技者は、この競技環境の視界内に、ディスプレイ105に映し出された仮想的な(a)「処置位置」を示す画像(ボール2の画像)や、(b)「処置態様」を示す画像(ラケット32の姿勢を示す画像)を見て、競技を行いながら当該競技に係るガイダンスを受けることができるのである。
【0032】
なお変更態様として、ディスプレイ105は非透過型であって、カメラ103で生成された競技環境のカメラ画像を表示し、さらに、それに合わせて上記の仮想的な画像を表示するものであってもよい。
【0033】
いずれにしてもARグラス1(処置提案装置)は、以上に述べたような「処置提案情報」の提供機能を果たすため、具体的に、
(A)「処置対象」(
図1ではボール2)の移動に係る取得された移動情報(例えばボール2の時系列位置データ)に基づき、「処置位置」の正解データによって訓練された「処置位置推定モデル」を用いて、「処置対象」(ボール2)に対する処置の「処置位置」を推定する処置位置推定部111と、
(B)推定された「処置位置」に基づき、「処置態様」の正解データによって訓練された「処置態様推定モデル」を用いて、「処置対象」(ボール2)に対する処置の「処置態様」(例えばラケット32のとるべき姿勢)を推定する処置態様推定部112と、
(C)推定された「処置位置」及び「処置態様」に基づいて、「処置対象」(ボール2)に対する処置の「処置位置」及び「処置態様」に係る「処置提案情報」(例えば上記(a)及び(b)の画像)を生成し出力する処置提案生成部113と
を有している。
【0034】
このようにARグラス1は、「処置対象」(例えばボール2)に対する
(ア)「処置位置」、例えば処置対象であるボール2をヒットすべき位置、及び
(イ)「処置態様」、例えば競技者の扱うラケット32のとるべき姿勢
を推定することによって、「処置対象」(ボール2)に対する処置(例えばボール2をヒットして返球する行為)を行う処置主体(例えば競技者)に対し、この処置に係る提案、すなわち「処置提案情報」(例えば上記(a)及び(b)の画像)を生成・出力し、提供することができる。またこれにより、
図1の例でいえば、競技者は「処置提案情報」を参考にする又は手本にすることによって卓球における返球が上手くなり、卓球における自らの能力の向上を図ることも可能となるのである。
【0035】
ここで、上記(A)の移動情報は、「処置対象」の相対的変位に係る情報でもよい。例えばスキーのダウンヒル(滑降)競技において、「処置対象」をコースに立てられたポールとする場合、「処置位置」であるスキー板のエッジを利かす位置(カーブを始める位置)を推定するに当たって使用する移動情報は、「処置対象」であるポールの相対的変位に係る情報、例えば競技者の視界空間におけるポールの時系列位置(相対位置)データやポールまでの距離の時系列データ、とすることができる。
【0036】
また、上記(A)の「処置位置」を推定するに当たって用いる情報は、「処置対象」の移動又は相対的変位に係る移動情報に限定されるものではない。具体的には、この移動又は相対的変位の原因となった動作(
図1では、例えばラケット31を用いた相手の動作)に係る動作情報(例えばラケット31の時系列位置データ)を、単独で又は移動情報とともに用いて、「処置位置」を推定してもよい。
【0037】
さらに、上記(C)の「処置提案情報」は、上述したように、処置主体(
図1ではARグラスを装着した競技者)に対し表示される画像に係る情報に限定されるものではない。例えば、処置主体(競技者)に対し出力される音声に係る情報、例えば(出力制御部122を介して)スピーカ106から出力される「(ボール2は)右側低め(に来る)!」との音声とすることもできる。
【0038】
また、処置主体(競技者)の触覚によって感知される情報、例えば(出力制御部122を介して)振動デバイス107から出力される「処置位置が高い(スマッシュするのに好適な位置である)」ことを示す振動パルスであってもよい。さらに、以上に述べた画像、音声や、振動に係る情報を合わせた情報を「処置提案情報」として提供することも好ましい。
【0039】
また、ARグラス1を適用可能な分野は勿論、卓球に限定されるものではない。例えば、サッカー、野球、バスケットボールや、バレーボール等の球技においても、ARグラス1を適用することができる。ちなみにこの場合、
(a)「処置対象」は、球技で用いられる「球」であり、
(b)移動情報は「球」の移動に係る情報であって、動作情報は競技相手の「球」に対する動作に係る情報であり、
(c)処置とは、処置主体であるARグラス1を装着した競技者による、競技相手から移動してきた「球」に対し作用を及ぼすための行為であり、
(d)「処置位置」は「球」に対し作用を及ぼす(べき)位置であって、「処置態様」は「球」に対し作用を及ぼすための行為を行う際の(ARグラス1を装着した)競技者の(とるべき)姿勢、又はこの競技者の用いる道具の(とるべき)姿勢であり、
(e)「処置提案情報」は、「球」に対し作用を及ぼすべき位置(処置位置)と、「球」に対し作用を及ぼすための行為を行う際にとるべき(ARグラス1を装着した)競技者の姿勢(処置姿勢)、又は用いる道具の姿勢(処置姿勢)とに係る情報である
ことも好ましいのである。
【0040】
さらにARグラス1を適用可能な分野は勿論、球技に限定されるものでもない。すなわち、(例えば相手の拳を処置対象とした)ボクシングや、(例えばコース上のポールを処置対象とした)スキー・スノーボードの各種競技といったような非球技のスポーツにおいても、ARグラス1を使用することができる。また、各種訓練、例えば機械装置・重機等の取り扱い訓練や、フライトシミュレーション訓練においても、処置対象を適宜設定することによって、ARグラス1を訓練用装置として使用することが可能である。さらに、演劇やダンス等、処置対象としての他の演者の動作に合わせて、適切な演技を行う必要がある芸能分野においても、ARグラス1を適用することができる。
【0041】
さらに、ARグラス1の機能構成部である上記(A)の処置位置推定部111、及び上記(B)の処置態様推定部112のうちの少なくとも1つが、外部の別装置、例えば外部サーバやクラウドサーバ等、における機能構成部となっており、当該別装置から、上記(C)の処置提案生成部113を有するARグラスへ、例えば無線通信ネットワークを介して推定情報が送信されるような実施形態をとることも可能である。この場合、当該別装置と、処置提案生成部113を有するARグラスとが、本発明による処置提案システムを構成することになる。
【0042】
また当然ながら、本発明による処置提案装置・システムは、ARグラス等のディスプレイを備えたウェアラブル端末(を含む構成)に限定されるものではない。すなわち、その適用分野によっては、処置対象や処置主体の存在する環境内に設置された(透過型の又は非透過型の)各種ディスプレイ装置(を含む構成)とすることもできる。また、ディスプレイを備えたシミュレータ装置(を含む構成)とすることも可能である。さらに言えば、「処置提案情報」が音声情報や触覚(振動)情報のみである場合、ディスプレイを備えていない(スピーカや振動デバイス等を備えた)装置・システムであってもよい。
【0043】
[装置構成,処置提案プログラム・方法]
以下、ARグラス1の機能構成について詳細に説明を行う。同じく
図1の機能ブロック図に示したように、本実施形態のARグラス1は、通信インタフェース(IF)101と、加速度・角速度センサ102と、カメラ103と、マイク104と、ディスプレイ105と、スピーカ106と、振動デバイス107と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、本発明による処置提案プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この処置提案プログラムを実行することによって、処置提案処理を実施する。
【0044】
またこのことから本発明による処置提案装置は、上述したようにARグラス(1)に限定されるものではなく、本発明による処置提案プログラムの一実施形態を搭載した、HMD(Head mounted Display)といったような他のディスプレイ搭載ウェアラブル端末、HUD(Head Up Display)等の各種ディスプレイ装置や、さらにはシミュレータ装置等とすることも可能である。
【0045】
また、プロセッサ・メモリは、機能構成部として、処置位置推定部111と、処置態様推定部112と、処置提案生成部113と、入力制御部121と、出力制御部122とを有する。ここで、これらの機能構成部は、プロセッサ・メモリに保存された本発明による処置提案プログラムの一実施形態によって具現される機能と捉えることができる。また、
図1の機能ブロック図におけるARグラス1(処置提案装置)の機能構成部間を矢印で接続して示した処理の流れは、本発明による処置提案方法の一実施形態としても理解される。
【0046】
以下、
図1に示した具体例を用い、本実施形態における上述した各機能構成部について、詳細に説明を行う。ちなみに本具体例では、卓球場に設置された卓球台を用いて、卓球の練習試合が行われており、処置対象はボール2となっている。またこの卓球場には、(a)処置対象としてのボール2、(b)競技相手(の腕、足や、頭等)、(c)競技相手の使用するラケット31、(d)処置主体としてのARグラス1を装着した競技者(の腕、足や、頭等)や、(e)この競技者の使用するラケット32、を撮影可能であって、これらの撮影画像データを無線でARグラス1へ送信可能な少なくとも1つのカメラ4が設置されている。ここで、この撮影画像データに対し公知の画像認識技術を適用することによって、上記(a)~(e)の識別・特定や、上記(a)~(e)の位置及び速度の決定、さらには上記(a)~(e)の位置の追跡(トラッキング)が可能となる。またさらに、卓球の練習試合中における各種の音を収集可能であって、音声データを無線でARグラス1へ送信可能なマイク5も設置されている。
【0047】
また本具体例では、ラケット31及びラケット32においては、ボール2をヒットした事象の検出結果を無線でARグラス1へ送信可能な接触センサ、例えば圧電(ピエゾ)センサが、ラケット本体とラバーとの間に設けられている。ちなみに、このように圧電センサを仕込んだラケットは、例えば非特許文献:Takahiro Yamashita and Takeshi Kobayashi, “Smart Table Tennis Racket Using a Rubber Mounted Ultrathin Piezoelectric Sensor Array”, Sensors and Materials, Vol. 33, No. 3, pp.1081-1089, 2021年 に開示されている。
【0048】
さらに、ラケット31及びラケット32においては、ラケットの姿勢・位置(6DoF)の検出結果を無線でARグラス1へ送信可能な姿勢センサ、例えば加速度センサ・角速度(ジャイロ)センサユニットが、例えばラケット本体の柄頭に設けられている。ちなみに、本具体例のARグラス1は、以上に述べたカメラ4やマイク5を含む各種センサからの情報を、無線LAN(Local Area Network)やBluetooth等を介し、通信インタフェース101で受信する。
【0049】
<処置位置推定手段>
同じく
図1の機能ブロック図において、処置位置推定部111は、
(a)相手がラケット31でヒットした後のボール2の移動情報である「ボール2の時系列位置データ」を取得し、
(b)取得した時系列位置データを「処置位置推定モデル」へ入力し、その出力として、ボール2に対して処置(ヒットして返球すること)を行うべき位置に係る「処置位置データ」を生成する。
【0050】
ここで、上記(a)の「ボール2の時系列位置データ」は例えば、ラケット31の接触センサでボール2のヒットが検出された時点から所定時間が経過するまでの間に、カメラ4やカメラ103で生成された画像データから、(ボール2を認識対象とした)公知の画像認識処理を用いて生成することができる。また、ボール2のヒット検出は、マイク5やマイク104で生成された音声データから、公知の音声認識処理を用いて実施することができる。ちなみに本実施形態において、このような画像認識処理や音声認識処理を含む「ボール2の時系列位置データ」の生成処理は、入力制御部121で実施される。
【0051】
次に、上記(b)の「処置位置推定モデル」について、
図2を用いて詳細に説明する。
図2は、本発明に係る処置位置推定モデルの一実施形態を説明するための模式図である。
【0052】
図2に示したように、本実施形態の処置位置推定モデル111Mは、
(a)入力データとしての時系列位置データ{P
t=1, P
t=2, P
t=3, P
t=4, P
t=5}の各々から、埋め込み(embedding)表現ベクトルを順次生成する埋め込み層と、生成された埋め込み表現ベクトルを順次取り込み、位置情報の内部表現である隠れ(hidden)状態ベクトルを順次生成するLSTM(Long Short-Term Memory)セルとを備えたエンコード部111Ma、及び
(b)エンコード部111Maから最後に出力された隠れ状態ベクトルを取り込み、前時点の埋め込み表現ベクトル(又はnull)も用いて、推定される位置の埋め込み表現ベクトルを順次生成するLSTMセルと、生成された埋め込み表現ベクトルから、処置位置データ{P
t=T^-2, P
t=T^-1, P
t=T^, P
t=T^+1, P
t=T^+2}を順次出力する出力層とを備えたデコード部111Mb
を有している。なお入力データ(時系列位置データ)及び出力データ(時系列処置位置データ)の数(本実施形態では5つ)は、予め任意に設定される。
【0053】
ここで、処置位置推定モデル111Mは、ボール2における実測の時系列位置データ(x1, y1, z1)~(x5, y5, z5)と、正解の処置位置データである実測のヒット位置データ(x, y, z, T)との多数の組を含む学習データによって訓練されている。ここで、正解の処置位置データ(x, y, z, T)は、ボール2の実際のヒットが、時点Tにおいて位置(x、y、z)で行われたことを示す。すなわち本実施形態において、処置位置推定モデル111Mは、処置を行う時点である処置時点(T)も含む正解データを用い、出力する処置位置データ{Pt=T^-2, Pt=T^-1, Pt=T^, Pt=T^+1, Pt=T^+2}のうち、真ん中(本実施形態では3番目)の時点における位置データPt=T^(x^, y^, z^, T^)が推定される処置位置となるように訓練されている。
【0054】
したがって、本実施形態の処置位置推定部111は、処置位置推定モデル111Mから出力された位置データPt=T^(x^, y^, z^, T^)に基づき、推定される処置位置データ(x^, y^, z^)を生成するのである。
【0055】
<処置態様推定手段>
図1の機能ブロック図に戻って、本実施形態の処置態様推定部112は、処置位置推定部111で生成された処置位置データ(x^, y^, z^)を「処置態様推定モデル」へ入力し、その出力として、ボール2に対して処置(ヒットして返球すること)を行う際にとるべき態様に係る「処置態様データ」を生成する。
【0056】
ここで
図1の具体例において、「処置態様データ」は、ARグラス1を装着した競技者がボール2をヒットする際に、ラケット32のとるべき姿勢(3DoF)と、ラケット32のとるべき位置(x
r, y
r, z
r)とに係る姿勢・位置(6DoF)データとすることができる。なお、処置態様データとして、ラケット32のとるべき姿勢に係る姿勢(3DoF)データだけを採用することも可能である。なお、姿勢(3DoF)データは、例えばx軸、y軸及びz軸周りの角度座標データ(θ
r, θ
p, θ
y)とすることができる。
【0057】
次に、上述した「処置態様推定モデル」について説明する。「処置態様推定モデル」は、処置位置データ(x^, y^, z^)を入力(説明変数)とし、姿勢・位置(6DoF)データを出力(目的変数)とする機械学習モデルである。ここで本実施形態では、ARグラス1を装着した競技者(処置主体)における処置を行う前の態様(主体処置前態様)であるラケット32の初期位置データ、例えばラケット31がボール2をヒットした時点でのラケット32の位置データ(xri, yri, zri)も、「処置態様推定モデル」への入力(説明変数)とされる。
【0058】
また「処置態様推定モデル」は、姿勢・位置(6DoF)データとともに、ARグラス1を装着した競技者(処置主体)が処置を行う速度である処置速度データ、例えばボール2をヒットする時点でのラケット31の速度に係る処置速度データvr^を、目的変数として出力することも好ましい。
【0059】
さらに「処置態様推定モデル」は、本実施形態において主体処置前態様であるラケット32の初期位置データも入力(説明変数)としているので、予め設定された「より具体的な処置態様情報」も目的変数として出力するように訓練されていることも好ましい。ここで、この「より具体的な処置態様情報」は、例えば
図1の具体例のように卓球であれば、「スマッシュ」や「バックハンド」といったような情報とすることができる。この場合、「処置態様推定モデル」は、例えばラケット32の初期位置が右側であってボール2の処置位置が左側であれば例えば「バックハンド」を出力したり、ラケット32の初期位置もボール2の処置位置も右側であれば例えば「スマッシュ」を出力したりするように訓練されることになる。
【0060】
また「より具体的な処置態様情報」として、例えばボクシングであれば、「ガード」や「パンチをかわす動作」といったような情報であってもよい。この場合、「処置態様推定モデル」は、例えばボクサー(処置主体)のグローブの初期位置と相手の拳の処置位置とが所定以上に近ければ例えば「ガード」を出力したり、所定以上に遠ければ例えば「パンチをかわす動作」を出力したりするように訓練されることになる。
【0061】
いずれにしても本実施形態の「処置態様推定モデル」は、例えば全結合型のDNN(Fully-connected Deep Neural Network)アルゴリズムによって構成されており、説明変数データと正解の目的変数データとの多数の組を含む学習データによって訓練されている。なお、「処置態様推定モデル」が処置速度データも推定(出力)する場合、その訓練に用いられる学習データは、実際に処置を行った際の処置速度データを正解データとして含んだものとなっている。
【0062】
本実施形態の処置態様推定部112は、このような「処置態様推定モデル」から出力された姿勢・位置(6DoF)データに基づき、推定される処置態様データである、ラケット32のとるべき姿勢・位置(6DoF)データを生成するのである。なお変更態様として、推定される処置態様データとして、ラケット32のとるべき姿勢(3DoF)データが生成されてもよい。
【0063】
また、「処置態様推定モデル」が処置速度データも推定(出力)する場合、処置態様推定部112は、推定される処置態様データとしての処置速度データ、例えばラケット31がボール2をヒットする時点でとるべき速度に係る処置速度データを生成することも好ましい。さらに、「処置態様推定モデル」が上述したように「より具体的な処置態様情報」も推定(出力)する場合、処置態様推定部112は、推定される処置態様データとしての「より具体的な処置態様データ」、例えば競技者(処置主体)がボール2をヒットする時点でとるべき具体的態様、例えば「スマッシュ」や「バックハンド」、に係るデータを生成してもよい。
【0064】
<処置提案生成手段>
同じく
図1の機能ブロック図において、本実施形態の処置提案生成部113は、
(a)処置位置推定部111で推定(生成)された処置位置データ、及び
(b)処置態様推定部112で推定(生成)された処置態様データ(姿勢・位置(6DoF)データや、処置速度データ等)
に基づいて、処置の処置位置及び処置態様に係る「処置提案情報」を生成し出力する。
【0065】
ここで、生成される処置提案情報の典型例として、上記(a)の処置位置データに相当する位置に「ボール2の画像、又は処置位置を示すマーク」を配しており、さらに、この「ボール2の画像、又は処置位置を示すマーク」に対し、上記(b)の処置態様データに相当する態様・位置をもって処置を行う「ラケット32の様子を示した画像」を重ねた画像情報を、処置提案情報とすることができる。
【0066】
なお本実施形態において、この画像情報としての処置提案情報は、出力制御部122を介して、ディスプレイ105へ出力され、そこで仮想現実として(すなわち、表示すべき現実空間内の位置に(その座標変換先として)対応する仮想空間内の位置に)表示される。また、処置提案情報の提供(表示)されるタイミングは、例えば上記(a)の処置位置データや上記(b)の処置態様データが生成され次第、「速やかに(できるだけ早く)」に設定されてもよい。これにより、処置提案情報が速やかに提供されるので、競技者(処置主体)は、提供された処置提案情報に合わせて処置を行うまでに、時間の猶予を得ることができるのである。
【0067】
また上述したように、処置位置推定モデルが、処置を行う時点である処置時点も含む正解データによって訓練されていて、処置位置推定部111は処置の処置時点も推定する場合、処置提案生成部113は、推定された処置時点にも基づいて、処置時点にも係る処置提案情報を生成してもよい。
【0068】
例えば、推定された(処置時点である)ラケット32でボール2をヒットすべき時点が、予め設定された基準時点よりも所定以上に早い場合、処置提案情報は例えば、ディスプレイ105の画面の上方に表示される「素早く!」とのテキストのメッセージを含むものであってもよい。また、このメッセージを意味する(スピーカ106から出力される)アラーム音情報や、このメッセージを意味する(振動デバイス107から出力される)バイブレーション情報とすることも可能である。
【0069】
さらに上述したように、処置態様推定モデルが処置を行う速度である処置速度も含む正解データによって訓練されていて、処置態様推定部112は処置の処置速度も含む処置態様を推定する場合、処置提案生成部113は、この処置速度も含む推定された処置態様にも基づいて、処置速度にも係る処置提案情報を生成してもよい。
【0070】
例えば、推定された(処置態様の1つである)ラケット32でボール2をヒットする際のとるべき処置速度が、予め設定された基準速度よりも所定以上に大きい場合、処置提案情報は例えば、ディスプレイ105の画面の上方に表示される「スマッシュ!」や「強く!」とのテキストのメッセージを含むものとすることができる。また、このメッセージを意味する(スピーカ106から出力される)アラーム音情報や、このメッセージを意味する(振動デバイス107から出力される)バイブレーション情報であってもよい。
【0071】
さらに、処置速度を含む処置提案情報として例えば、野球のバッティング練習におけるARグラス1を装着したバッター(処置主体)に対し、処置態様としてのバットスイングの速度(処置速度)を提示する(例えば当該速度を示した速度ゲージの画像を表示する)ことも好ましい。ここで、例えばそれまでに取得されたバットスイングの実際の速度の最大値(例えば27m/sec)を把握しておき、提示しようとするバットスイングの速度(処置速度)が例えば30m/secであって、この最大値(27m/sec)以上となっている場合、この最大値(27m/sec)を、バットスイングにおいてとるべき処置速度とした処置提案情報を提示することも好ましい。これにより、バッター(処置主体)が無理なスイングを試みる事態を、極力回避することが可能となる。
【0072】
また上述したように、処置態様推定モデルが「より具体的な処置態様情報」も含む正解データによって訓練されていて、処置態様推定部112は「より具体的な処置態様情報」も含む処置態様を推定する場合、処置提案生成部113は、この「より具体的な処置態様情報」も含む推定された処置態様にも基づいて、より具体的な処置態様、例えば「スマッシュ」の提案や「バックハンド」の提案を含む処置提案情報を生成してもよい。ここで、例えば「スマッシュ」の提案を含む処置提案情報の提示は、それまでに取得されたラケット32の実際の速度の最大値が所定閾値(例えば20m/sec)未満である場合、(競技者がスマッシュを打つことは困難であるとして)取り止められてもよい。
【0073】
図3及び
図4は、本発明に係る処置提案情報の具体例を説明するための模式図である。ここで
図3の具体例は、
図1と同じく卓球の練習試合における例となっており、一方、
図4の具体例は、サッカーのゴールキーパーの練習における例となっている。
【0074】
最初に、
図3(A)及び(B)に示した卓球の練習試合における具体例においては、
(a)相手がラケット31でボール2をヒットした後の、このボール2の移動情報(時系列位置データ)から、ボール2の処置位置が推定され、
(b)ARグラス1(
図1)のディスプレイ105の画面における、推定された処置位置に相当する(画面空間内の)位置に、「ボール2の画像」が表示され、
(c)推定された処置位置(さらには測定されたラケット32(
図1)の初期位置)から、処置態様としてのラケット32の姿勢・位置(6DoF)が推定され、
(d)ARグラス1のディスプレイ105の画面において、推定された姿勢・位置(6DoF)に相当する(画面空間内での)姿勢・位置をとった「ラケット32の画像」が表示されている。
【0075】
ここで、上記(b)の「ボール2の画像」及び上記(d)の「ラケット32の画像」は、ARグラス1を装着した競技者(処置主体)に対する処置提案情報としての「反応ガイダンス画像」となっている。実際、この競技者は、上記(b)の「ボール2の画像」を見て、まもなく飛んでくるボール2をヒットすべき位置を、この「ボール2の画像」の位置として前もって知ることができる。また上記(d)の「ラケット32の画像」を見て、「ボール2の画像」の位置に飛んでくるボール2に対し、ラケット32をどのような姿勢・位置をもって繰り出せばよいのかを予め知ることもできる。すなわち、「ラケット32の画像」のような姿勢・位置をもってラケット32を繰り出せばよいことが分かるのである。
【0076】
ちなみに、本具体例の上記(a)において、ヒット後のボール2の移動情報(時系列位置データ)に代えて、又は当該移動情報とともに、ヒット前のラケット31の動作情報(ラケット31の時系列位置データ)を用いて、ボール2の処置位置を推定してもよい。具体的に例えば、これらの説明変数としての時系列データを、予め設定された順序で、処置位置推定モデル111Mのエンコード部111Ma(
図2)へ入力し、デコード部111Mb(
図2)から目的変数としてのボール2の処置位置を取り出してもよいのである。
【0077】
次に、
図4(A)~(C)を用いて、サッカーのゴールキーパーの練習における具体例を説明する。本具体例においては、
図4(A)に示したように、処置主体としてのゴールキーパーがARグラス1を装着している。その上で、
図4(B)及び(C)に示したように、
(a)相手がシュートとしてボール2を蹴る前の、この相手の足(例えば爪先や踵)の動作情報(時系列位置データ)から、ボール2の処置位置が推定され、
(b)ARグラス1のディスプレイ105の画面における、推定された処置位置に相当する(画面空間内の)位置に、「ボール2の画像」が表示され、さらにARグラス1のスピーカ106(
図1)から、この表示位置を表す、例えば「右上!」との音声が出力され、
(c)推定された処置位置(さらには測定されたゴールキーパーの初期位置)から、処置態様としてのゴールキーパーの姿勢・位置(6DoF)が推定され、
(d)ARグラス1のディスプレイ105の画面において、推定された姿勢・位置(6DoF)に相当する(画面空間内での)姿勢・位置をとった「ゴールキーパーの画像」が表示されている。
【0078】
ここで、上記(b)の「ボール2の画像」及び例えば「右上!」との音声、並びに上記(d)の「ゴールキーパーの画像」は、ARグラス1を装着したゴールキーパー(処置主体)に対する処置提案情報としての反応ガイダンス画像及び音声となっている。実際、このゴールキーパーは、上記(b)の「ボール2の画像」を見たり、上記(b)の例えば「右上!」との音声を聞いたりして、まもなく飛んでくるボール2を止めるべき位置(ボール2に触るべき位置)を、この「ボール2の画像」の位置や当該音声の示す位置として、前もって知ることができる。また上記(d)の「ゴールキーパーの画像」を見て、「ボール2の画像」の位置に飛んでくるボール2に対し、自らがどのような姿勢・位置をもってボール2に対すればよいのかを予め知ることもできる。すなわち、「ゴールキーパーの画像」のような姿勢・位置をもってボール2を止めに入ればよい(ボール2に触りにいけばよい)ことが分かるのである。
【0079】
ちなみに、本具体例の上記(a)において、蹴る前の相手の足(例えば爪先や踵)の動作情報(時系列位置データ)に代えて、又は当該動作情報とともに、蹴った後のボール2の移動情報(ボール2の時系列位置データ)を用いて、ボール2の処置位置を推定してもよい。また変更態様として、非特許文献2に開示された技術を適用し、蹴る前の相手の脚部の動作情報(脚部関節位置画像の時系列データ)を用いて、ボール2の処置位置を推定してもよい。具体的には、CNN(Convolutional Neural Network)モデルを用いて、蹴る前における相手の刻々の画像データから脚部関節位置画像の時系列データを生成し、次いでLSTMモデルを用いて、この時系列データからボール2の処置位置を推定することができるのである。
【0080】
[処置提案の調整を行う実施形態]
以下、以上に説明した処置提案情報生成処理における他の実施形態、具体的には処置主体の行った実際の処置の内容に基づき処置提案情報の調整(修正)を行う実施形態、について説明する。
【0081】
図1の機能ブロック図に戻って、本実施形態の処置位置推定部111は、
(a)ARグラス1を装着した競技者(処置主体)が、処置提案情報を受けた後、ボール2(処置対象)に対し行った処置の処置位置である取得された「主体処置位置」と、
(b)先に推定した(上記(a)の処置提案情報の基となった)処置位置と
の差異に係る量、例えばRMSE(Root Mean Squared Error,二乗平均平方根誤差)を算出し、この差異に係る量(RMSE)に基づいて処置の処置位置を新たに推定することも好ましい。
【0082】
この場合、処置態様推定部112は、この新たに推定された処置位置に基づいて、処置の処置態様を新たに推定し、次いで、処置提案生成部113は、これらの新たに推定された処置位置及び処置態様に基づいて、処置提案情報を新たに生成するのである。
【0083】
また、本実施形態の処置位置推定部111は、
(a)ARグラス1を装着した競技者(処置主体)が、処置提案情報を受けた後、ボール2(処置対象)に対し行った処置の処置時点である取得された「主体処置時点」と、
(b)先に推定した(上記(a)の処置提案情報の基となった)処置時点と
の差異に係る量、例えばRMSEを算出し、この差異に係る量(RMSE)に基づいて処置の処置位置及び処置時点を新たに推定することも好ましい。
【0084】
この場合、処置態様推定部112は、この新たに推定された処置位置に基づいて、処置の処置態様を新たに推定し、次いで、処置提案生成部113は、これらの新たに推定された処置位置、処置時点及び処置態様に基づいて、処置提案情報を新たに生成するのである。
【0085】
さらに、本実施形態の処置態様推定部112は、
(a)ARグラス1を装着した競技者(処置主体)が、処置提案情報を受けた後、ボール2(処置対象)に対し行った処置の処置態様である取得された「主体処置態様」と、
(b)先に推定した(上記(a)の処置提案情報の基となった)処置態様と
の差異に係る量、例えばRMSEを算出し、この差異に係る量(RMSE)に基づいて処置の処置態様を新たに推定することも好ましい。この場合、処置提案生成部113は、この新たに推定された処置態様にも基づいて、処置提案情報を新たに生成するのである。
【0086】
またさらに、本実施形態の処置態様推定部112は、ARグラス1を装着した競技者(処置主体)が行った処置の後におけるボール2(処置対象)に係る情報である取得された「処置結果情報」にも基づいて、処置の処置態様を新たに推定することも好ましい。この場合、処置提案生成部113は、この新たに推定された処置態様にも基づいて、処置提案情報を新たに生成するのである。
【0087】
図5及び
図6は、以上に述べた処置提案情報生成処理の他の実施形態を説明するための模式図である。
【0088】
最初に
図5(A)によれば、ARグラス1(
図1)を装着した競技者(処置主体)に対し、処置提案情報としての反応ガイダンス画像(ボール2及びラケット32の画像)が表示され、これを見た競技者(処置主体)が、これを参考にラケット32を繰り出してボール2をヒットしている。ここで、表示された反応ガイダンス画像は、t=36(=T^)での画像である。一方、ボール2をヒットした実際の位置(主体処置位置)は、この反応ガイダンス画像の位置よりも後方(処置主体寄り)となっている。したがって、ボール2をヒットした実際の時点(主体処置時点)も、t=36(=T^)よりも後の時点となっている。
【0089】
また
図5(B)においても、競技者(処置主体)に対し、処置提案情報としての反応ガイダンス画像(ボール2及びラケット32の画像)が表示され、これを見た競技者(処置主体)が、これを参考にラケット32を繰り出してボール2をヒットしている。ここで、表示された反応ガイダンス画像は、t=40(=T^)での画像である。一方、ボール2をヒットした実際の位置(主体処置位置)は、この反応ガイダンス画像の位置よりも前方(対戦相手寄り)となっている。したがって、ボール2をヒットした実際の時点(主体処置時点)も、t=40(=T^)よりも前の時点となっている。
【0090】
このように、反応ガイダンス画像が要求する内容と、競技者の実際の能力・調子や競技者が意図する返球内容との兼ね合いによって、反応ガイダンス画像の提示する処置位置や処置時点と、実際にボール2をヒットした位置(主体処置位置)や時点(主体処置時点)との間に差異が生じることは十分にあり得る。そこで本実施形態においては、次式
(1) RMSE=(Σi=1
n(Yi-Y^i)2/n)0.5
を用いてこの差異に係る量であるRMSE(RMSE)を算出し、このRMSEを用いてこの差異の補償を図るのである。
【0091】
ここで上式(1)において、nは、反応ガイダンス画像の提示とそれを見て行われた処置(反応)との組が実施された回数であり、Y^iは、i番目の反応ガイダンス画像に係る時点であって、Yiは、i番目の反応ガイダンス画像を見た競技者(処置主体)による処置(反応)に係る時点(主体処置時点)である。
【0092】
本実施形態の処置位置推定部111(
図1)は、n回の反応ガイダンス画像の提示について算出された上記のRMSE値に基づき、n+1回目の反応ガイダンス画像生成のための処置位置(本実施形態では、さらに処置時点)を新たに推定する。例えば、RMSE値が2であって(Y
i-Y^
i)のn回の平均が正値である場合(実際の反応が平均で(時間=)2ほど遅い場合)、処置位置推定部111は、(処置位置推定モデル111Mの)デコード部111Mb(
図2)における(デフォルトである)3番目の出力P
t=T^に代えて、5(=3+2)番目の出力P
t=T^+2を取り出し、新たな(修正された)処置位置及び処置時点の推定結果とするのである。
【0093】
この場合、例えば処置時点の(デフォルトの)推定値が36(=T^)であるならば、
図5(C)に示したように、時点t=38(=36+2)の反応ガイダンス画像(ボール2の処置位置がP
t=T^+2となっている画像)が表示される。反応が(時間=)2ほど遅れる傾向にある競技者(処置主体)は、これを見て、より適切にラケット32を繰り出す可能性が高まるのである。なおこの場合において、n+2回目以降は、そこからみて過去n回分に係るRMSE値を算出し、上記と同様にして、新たな(修正された)処置位置及び処置時点を推定することも好ましい。
【0094】
また変更態様として、処置位置の差異に係る量(RMSE)に基づき、上記と同様にして、新たな(修正された)処置位置及び処置時点を推定することも可能である。この場合、上式(1)におけるY^iは、i番目の反応ガイダンス画像に係る処置位置の(相手から処置主体への向きの位置座標軸をy座標軸として)y座標値であって、Yiは、i番目の反応ガイダンス画像を見た競技者(処置主体)における主体処置位置のy座標値とすることができる。
【0095】
次に、処置態様の差異に係る量(RMSE)に基づき、新たな(修正された)処置態様を推定する実施形態を説明する。
【0096】
最初に
図6(A)によれば、ARグラス1(
図1)を装着した競技者(処置主体)に対し、処置提案情報としての反応ガイダンス画像(ラケット32の画像)が表示され、これを見た競技者(処置主体)が、これを参考にラケット32を繰り出してボール2をヒットしている。ここで、反応ガイダンス画像のラケット32の姿勢と、実際に繰り出されたラケット32の姿勢とは異なっており、その結果、競技者(処置主体)が打ち返したボール2は、実際に卓球台のコート外に出てしまっている。すなわち、ガイダンスの提示は、返球がなされたことをもって「奏功」したといえるが、実際の返球は、コート外に出てしまったことをもって「不正確」となっているのである。
【0097】
このように、反応ガイダンス画像が要求する内容と、競技者の実際の能力・調子や競技者が意図する返球内容との兼ね合いによって、反応ガイダンス画像の提示する処置態様と、実際にボール2をヒットした際の処置態様(ラケット32の実際の姿勢,主体処置態様)との間に差異が生じることは十分にあり得る。そこで本実施形態においては、次式
(2) RMSEpose=(Σi=1
n(Zi-Z^i)2/n)0.5
を用いてこの差異に係る量であるRMSE(RMSEpose)を算出し、このRMSEを用いてこの差異の補償を図るのである。
【0098】
ここで上式(2)において、nは、反応ガイダンス画像の提示とそれを見て行われた処置(反応)とが実施された回数であり、Z^iは、i番目の反応ガイダンス画像のラケット32の姿勢情報、例えばラケット32の(柄頭からラケット先端へ伸長する軸についての)ロール角θr^値とすることができる。またZiは、i番目の反応ガイダンス画像を見た競技者(処置主体)が繰り出したラケット32の実際の姿勢情報、例えば(柄頭からラケット先端へ伸長する軸についての)ロール角θr値とすることができる。
【0099】
本実施形態の処置態様推定部112(
図1)は、上記のように算出されたRMSE
pose値に基づき、新たな(修正された)処置態様(例えばラケット32のロール角θ
r^を含む姿勢)を推定する。例えば、提示した反応ガイダンス画像におけるラケット32のロール角θ
r値をZ
kとして、上記の(Z
i-Z^
i)の平均が正であってラケット32の実際のロール角θ
rが大きすぎる場合に、例えば次式
(3) Z
k+1=Z
k-RMSE
pose/2
によって、次に提示する反応ガイダンス画像における(ラケット32のロール角θ
rである)Z
k+1を決定する。
【0100】
次いで、決定したZk+1に係る反応ガイダンス画像を見た競技者(処置主体)が打ち返した後(処置を行った後)におけるボール2(処置対象)に係る情報(処置結果情報)が「正確である」(ボール2がコート内に入った)である場合、このZk+1を正解データとするのである。このようにして所定数の正解データが収集された段階で、これらの正解データをもって、処置態様推定部112が使用する「処置態様推定モデル」を逐次、追加で訓練する。
【0101】
この逐次訓練された「処置態様推定モデル」によって、競技者(処置主体)の実際の処置態様の傾向を勘案した、新たな処置態様を推定することができる。またこれにより、例えば
図6(B)に示したように、新たに表示した反応ガイダンス画像(処置提案情報)のラケット32の姿勢と、ラケット32の実際の姿勢とが概ね一致し、その結果、実際の返球が相手のコート内に入る可能性、すなわち返球が「正確」となる可能性を高めることもできるのである。
【0102】
ちなみに上述した、競技者(処置主体)が打ち返したボール2の処置結果情報、例えば「ボール2がコート外に出た」との情報は、例えば、ラケット32のヒット事象が圧電センサによって検出された後、所定時間以内に、「ボール2がコート上でバウンドした音」と認識される音が、マイク5(
図1)やマイク104(
図1)によって収集されなかった場合に生成してもよい。また逆に、そのような音が所定時間以内に収集された場合、「ボール2がコート内に入った」旨の処置結果情報を生成することができる。
【0103】
また、以上の具体例では、競技者(処置主体)の実際の処置態様として、ラケット32の実際の姿勢が用いられているが、例えば、
図4で説明したサッカーのゴールキーパーに係る実際の処置態様には、ゴールキーパー自身の実際の姿勢が採用されてもよい。この場合、ゴールキーパー自身の実際の姿勢は、例えば姿勢センサである加速度・角速度センサ102(
図1)によって測定することができる。さらに、ラケット32の姿勢にしても、ゴールキーパーの姿勢にしても、それらの姿勢は例えば、外部に設けられたカメラ4の撮影画像データを、公知の画像認識技術で解析することによって決定することも可能である。
【0104】
さらに、競技者(処置主体)の実際の処置態様として、ラケット32の速度を採用することも可能である。ここで、「処置態様推定モデル」で推定される処置態様には、(ラケット32の)速度情報が含まれ、表示される反応ガイダンス画像(処置提案情報)にはこの速度情報(例えば、該当速度の大きさを示した速度ゲージの画像)が含まれていてもよい。
【0105】
この場合、上式(2)におけるZ^iを、i番目の反応ガイダンス画像の速度情報に係る速度とし、またZiを、i番目の反応ガイダンス画像を見た競技者(処置主体)が繰り出したラケット32の実際の速度として、速度の差異に係る量としてのRMSEposeを算出することができる。またこれにより、上記と同様にして、表示した反応ガイダンス画像(処置提案情報)に係る速度と、ラケット32の実際の速度とが概ね一致するように反応ガイダンス画像(処置提案情報)を調整し、実際の返球が相手のコート内に入る可能性、すなわち返球が「正確」となる可能性を高めることも可能となるのである。
【0106】
[処置提案方法]
図7は、本発明による処置提案方法の一実施形態を概略的に示すフローチャートである。ちなみに本実施形態は、具体的に、実際の主体処置位置及び主体処置態様を用いて新たな処置提案情報、すなわち「更新処置提案情報」を生成する実施形態となっている。
【0107】
(S11)処置対象(例えばボール2)の当初の移動情報を取得する。
(S12)取得した当初の移動情報に基づき、処置対象の処置位置を推定する。
(S13)推定した処置位置に基づき、処置対象に対する処置態様を推定する。
(S14)推定した処置位置及び処置態様に基づき、処置対象に対する処置提案情報を生成し提示する。
(S15)処置提案情報を受けた処置主体(例えば競技者)による、処置対象の実際の処置位置(主体処置位置)を取得する。
(S16)処置提案情報を受けた処置主体による、処置対象に対する実際の処置態様(主体処置態様)を取得する。
【0108】
(S17)処置提案情報の提示、ひいてはステップS11~S16の実施の回数が、所定回数未満か否かを判定する。ここで所定回数未満ならば、ステップS11へ戻り、ステップS11~S16を繰り返す。一方、所定回数に達したならば、次のステップS21へ移行する。
【0109】
(S21)処置対象の当初の移動情報を取得する。
(S22)取得した当初の移動情報と、これまで取得された(最近の)所定回数分の主体処置位置に係るRMSE値とに基づき、処置対象の新たな処置位置を推定する。
(S23)推定した新たな処置位置と、これまで取得された(最近の)所定回数分の主体処置態様に係るRMSEpose値とに基づき、処置対象に対する新たな処置態様を推定する。
(S24)推定した新たな処置位置及び新たな処置態様に基づき、処置対象に対する「更新処置提案情報」を生成し提示する。
(S25)「更新処置提案情報」を受けた処置主体による、処置対象の実際の処置位置(主体処置位置)を取得する。
(S26)「更新処置提案情報」を受けた処置主体による、処置対象に対する実際の処置態様(主体処置態様)を取得する。
【0110】
(S27)「更新処置提案情報」の提示、ひいてはステップS21~S26の実施の回数が、所定回数未満か否かを判定する。ここで所定回数未満ならば、ステップS21へ戻り、ステップS21~S26を繰り返す。一方、所定回数に達したならば、本処置提案情報生成・提示処理を終了する。
【0111】
以上詳細に説明したように、本発明によれば、処置対象(例えば球技のボール)に対する処置位置及び処置態様を推定することによって、処置対象(ボール)に対する処置(例えばボールをヒットする行為)を行う処置主体(例えば競技者)に対し、この処置に係る提案、すなわち処置提案情報を生成・出力し、提供することができる。またこれにより、例えば本発明が球技に適用された場合において、この球技の競技者は、提供された処置提案情報を参考にする又は手本にすることによって、この球技における自らの能力の向上を図ることも可能となる。
【0112】
また、学校や民間のスポーツ教室におけるスポーツの所定動作に係る授業や、プロスポーツにおける所定動作の訓練の場面において、さらには所定動作を伴う仕事の実践又は訓練の場面において、本発明の処置提案技術を適用することによって、より多くの子供達や大人達に対しスポーツや仕事における所定動作の向上を促すこともできる。すなわち本発明によれば、国連が主導する持続可能な開発目標(SDGs)の目標4「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」や、目標8「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」の達成に貢献することも可能となるのである。
【0113】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0114】
1 ARグラス(処置提案装置)
101 通信インタフェース(IF)
102 加速度・角速度センサ
103、4 カメラ
104、5 マイク
105 ディスプレイ
106 スピーカ
107 振動デバイス
111 処置位置推定部
112 処置態様推定部
113 処置提案生成部
121 入力制御部
122 出力制御部
2 ボール(処置対象)
31、32 ラケット