(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035087
(43)【公開日】2024-03-13
(54)【発明の名称】心身状態評価システムおよび心身状態評価方法
(51)【国際特許分類】
A63B 69/36 20060101AFI20240306BHJP
A63B 71/06 20060101ALI20240306BHJP
G06T 7/20 20170101ALI20240306BHJP
G06V 40/20 20220101ALI20240306BHJP
【FI】
A63B69/36 541W
A63B71/06 U
G06T7/20 300Z
G06V40/20
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023110567
(22)【出願日】2023-07-05
(31)【優先権主張番号】P 2022137591
(32)【優先日】2022-08-31
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000000310
【氏名又は名称】株式会社アシックス
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(72)【発明者】
【氏名】阿部 悟
(72)【発明者】
【氏名】高島 慎吾
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096CA04
5L096DA02
5L096FA12
5L096FA32
5L096FA33
5L096FA59
5L096FA64
5L096FA67
5L096FA69
5L096HA02
5L096JA11
(57)【要約】
【課題】手軽に自分自身で心的状態と運動パフォーマンスの関係性を把握して改善を図ることができる技術を提供する。
【解決手段】心身状態評価システム100において、動作情報取得部70は、所定の身体動作を繰り返し実施する被検者の動作状態を示す情報を取得する。再現性評価部94は、所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する。心的情報取得部80は、被検者の心的状態を示す情報を取得する。心的評価部96は、被検者の心的状態に関する分析結果に基づいて心的評価値を決定する。評価値記憶部98は、再現性評価値と心的評価値とを対応付けて記憶する。結果出力部99は、再現性評価値の良否と心的評価値の関連性を示す情報を出力する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
被検者による所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する再現性評価部と、
前記被検者の心的状態に関する分析結果に基づいて心的評価値を決定する心的評価部と、
前記再現性評価値と前記心的評価値とを対応付けて記憶する評価値記憶部と、
前記再現性評価値の良否と前記心的評価値の関連性を示す情報を出力する結果出力部と、
を備えることを特徴とする心身状態評価システム。
【請求項2】
前記所定の身体動作を繰り返し実施する前記被検者の動作状態を示す情報を取得する動作情報取得部と、
前記被検者の心的状態を示す情報を取得する心的情報取得部と、
をさらに備え、
前記再現性評価部は、前記動作状態を示す情報に基づき、前記所定の身体動作の再現性に関する所定のパラメータにより前記再現性を定量化する分析を実行し、その分析結果に基づいて前記再現性評価値を決定し、
前記心的評価部は、前記心的状態を示す情報に基づき、前記心的状態の傾向に関する所定のパラメータにより前記心的状態を定量化する分析を実行し、その分析結果に基づいて前記心的評価値を決定することを特徴とする請求項1に記載の心身状態評価システム。
【請求項3】
前記再現性評価部は、前記再現性に関する所定のパラメータとして、所定の動作特徴量を前記動作状態を示す情報に基づいて抽出し、時間経過における前記動作特徴量の一致度により前記再現性を定量化することを特徴とする請求項2に記載の心身状態評価システム。
【請求項4】
前記心的評価部は、前記心的状態の傾向に関する所定のパラメータとして、前記被検者の所定の生体情報の変動傾向、心的情報に関する質問への前記被検者の回答傾向、および、前記被検者の集中力または注意力を測る認知課題に対する結果のうち少なくともいずれかにより前記心的状態を定量化することを特徴とする請求項2に記載の心身状態評価システム。
【請求項5】
前記心的情報取得部は、前記被検者の心的状態に影響を与え得る外乱刺激の度合いを示す情報をさらに取得し、
前記心的評価部は、前記外乱刺激の度合いに応じた前記心的状態の傾向に関する所定のパラメータにより前記心的状態を定量化することを特徴とする請求項2に記載の心身状態評価システム。
【請求項6】
前記評価値記憶部は、前記再現性評価値および前記心的評価値に基づいて生成された予測モデルをさらに記憶し、
前記結果出力部は、前記再現性が良好な状態を示す前記再現性評価値に対応する前記心的評価値を前記予測モデルに基づいて予測した結果をさらに出力することを特徴とする請求項1または2に記載の心身状態評価システム。
【請求項7】
被検者による所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する過程と、
前記被検者の心的状態に関する分析結果に基づいて心的評価値を決定する過程と、
前記再現性評価値と前記心的評価値とを対応付けて記録する過程と、
前記再現性評価値の良否と前記心的評価値の関連性を示す情報を出力する過程と、
を備えることを特徴とする心身状態評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、心身状態評価システムに関する。特に、身体動作と心的状態の関係性を評価する技術に関する。
【背景技術】
【0002】
一般に、スポーツ選手の運動パフォーマンスの善し悪しを決める要因には、様々な要素が絡んでいる。特に、選手がスランプに陥ったり怪我や故障をしたりするとき、その選手の心的状態の安定性が影響している場合が多いと考えられている。ここで、ユーザの感情を定量的に評価する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
選手の不調の原因が心的状態にあると自身で認識していても、相談できる専門家を見つけるのは簡単ではなく、カウンセリングを受けられたとしても、効果があるかどうかは受けてみなければわからない。カウンセリングの効果を見極めるにも比較的長期間を要することが予測される。したがって、手軽にこうした心的状態の改善を図ることは容易でない。
【0005】
本発明は、こうした状況に鑑みてなされたものであり、その目的は、手軽に自分自身で心的状態と運動パフォーマンスの関係性を把握して改善を図ることができる技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある態様の心身状態評価システムは、被検者による所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する再現性評価部と、被検者の心的状態に関する分析結果に基づいて心的評価値を決定する心的評価部と、再現性評価値と心的評価値とを対応付けて記憶する評価値記憶部と、再現性評価値の良否と心的評価値の関連性を示す情報を出力する結果出力部と、を備える。
【0007】
本発明の別の態様は、心身状態評価方法である。この方法は、被検者による所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する過程と、被検者の心的状態に関する分析結果に基づいて心的評価値を決定する過程と、再現性評価値と心的評価値とを対応付けて記録する過程と、再現性評価値の良否と心的評価値の関連性を示す情報を出力する過程と、を備える。
【0008】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0009】
本発明によれば、手軽に自分自身で心的状態と運動パフォーマンスの関係性を把握して改善を図ることができる。
【図面の簡単な説明】
【0010】
【
図1】被検者の動作状態を示す情報と心的状態を示す情報を取得して分析する心身状態評価システムの概略的な構成を示す図である。
【
図2】心身状態評価システムの各構成を示す機能ブロック図である。
【
図3】被検者がゴルフのパット動作をする様子を撮影した画像から解剖学的な特徴点の位置を推定する過程を例示する図である。
【
図4】同じパット動作を3回繰り返した場合の複数の特徴点の位置を二次元座標で示す例を示す図である。
【
図5】同じパット動作を3回繰り返した場合の動作特徴量の時間履歴特性をグラフで示す。
【
図6】心的状態が好調な場合の動作再現性と心的状態が不調な場合の動作再現性とを比較して表示する画面例を示す図である。
【
図7】被検者がランニング動作をする様子を撮影した画像から解剖学的な特徴点の位置を推定する過程を例示する図である。
【
図8】被検者がトリックをする試技の様子を撮影した画像から解剖学的な特徴点の位置を推定する過程を例示する図である。
【発明を実施するための形態】
【0011】
以下、本発明を好適な実施形態をもとに各図面を参照しながら心身状態評価システムおよび心身状態評価プログラムを例示的に説明する。実施形態、変形例では、同一または同等の構成要素には、同一の符号を付するものとし、適宜重複した説明は省略する。
【0012】
(第1実施形態)
図1は、被検者の動作状態を示す情報と心的状態を示す情報を取得して分析する心身状態評価システムの概略的な構成を示す。本実施形態の例では、被検者10がゴルフのパット動作をする様子を情報端末12のカメラ機能で撮影し、動作状態を示す情報として撮影画像を心身状態評価サーバ50へ送信する。被検者10には、生体情報、例えば心拍数や血中酸素濃度、瞳孔反応のような心的状態を示す情報や、腕の動き等の動作状態を示す情報を取得するスマートウォッチ等の計測デバイス20が例えば手首等に装着されている。被検者10の心的状態を示す情報および動作状態を示す情報は、計測デバイス20から所定の通信経路を介して心身状態評価サーバ50へ送信される。例えば、計測デバイス20を情報端末12の所定プログラムと短距離無線通信で接続して情報を同期させ、情報端末12から心身状態評価サーバ50へ情報を送信するようにしてもよい。
【0013】
心身状態評価サーバ50は、動作状態を示す情報と心的状態を示す情報に基づいて、被検者10の動作の再現性を定量化して評価するとともに、被検者10の心的状態を定量化して評価するネットワーク上のサーバである。情報端末12と心身状態評価サーバ50は、無線通信やインターネット等のネットワークを介して接続される。心身状態評価サーバ50は、複数の被検者10から情報を受信し、被検者10ごとに評価値を決定して情報を管理する。心身状態評価サーバ50は、再現性評価値と心的評価値とを対応付けて記憶し、再現性評価値の良否と心的評価値の関連性を示す情報を情報端末12に出力する。被検者10は、情報端末12に表示される結果を閲覧して、動作の再現性と心的状態の関連性を把握できる。心的状態の良否と動作再現性の良否の関連性が可視化され、また、心的状態が異なる複数の状況に対応する再現性評価値が比較表示される。したがって、被検者10は、例えば運動のパフォーマンスが低下したような場合に、心的状態の面における改善の手がかりを自身で探ることが可能となる。
【0014】
図2は、心身状態評価システム100の各構成を示す機能ブロック図である。本図では機能に着目したブロック図を描いており、これらの機能ブロックはハードウェア、ソフトウェア、またはそれらの組合せによっていろいろな形で実現することができる。情報端末12および心身状態評価サーバ50は、主にCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置、表示装置、通信装置、カメラモジュール等からなる携帯端末やコンピュータ、および携帯端末やコンピュータに記憶されたプログラムで構成されてよい。
【0015】
本実施形態における心身状態評価システム100は、計測デバイス20、情報端末12、心身状態評価サーバ50により構成される。ただし、心身状態評価システム100は、様々なハードウェア構成やソフトウェア構成にて実現することが考えられる。例えば、心身状態評価システム100の構成として計測デバイス20を含むことは必須ではなく、計測デバイス20として様々な汎用的なデバイスを用いることもでき、または情報端末12が持つ各種機能を活用して情報端末12を計測デバイス20として用いることもできる。計測デバイス20として汎用的なデバイスや情報端末12の機能を用いて被検者の動作状態または心的状態を計測することを前提に、情報端末12および心身状態評価サーバ50だけで心身状態評価システム100を構成してもよい。
【0016】
あるいは、情報端末12の機能と心身状態評価サーバ50の特徴的な機能をすべて情報端末12に持たせることで、計測デバイス20と情報端末12の組み合わせで構成してもよいし、実質的に情報端末12のみで構成してもよい。あるいは、本実施形態の特徴的な機能をすべて心身状態評価サーバ50に持たせ、情報端末12と計測デバイス20としては汎用的なデバイスを用いることで、実質的に心身状態評価サーバ50のみで心身状態評価システム100を構成してもよい。心身状態評価システム100は、そのハードウェア構成の態様にかかわらず、少なくとも本図の情報端末12および心身状態評価サーバ50が持つソフトウェア構成を含んでいれば足りる。
【0017】
計測デバイス20は、通信部21、心拍検出部22、音声検出部24、動作検出部26を有する。計測デバイス20は、例えば被検者の手首に装着するスマートウォッチや眼鏡やサングラスのように目元に装着するスマートグラス等のウェアラブルデバイスである。心拍検出部22は、計測デバイス20を身につけた被検者の心拍数を検出する機能であり、ハードウェアとしては例えば光学式心拍計を含んで構成される。音声検出部24は、周囲の音声を入力する機能であり、ハードウェアとしては例えばマイクロフォンを含む音声処理装置を有して構成される。動作検出部26は、計測デバイス20を身につけた被検者の動作を検出する機能であり、ハードウェアとしては例えば腕の動きを検出する9軸センサ等のモーションセンサや、被検者10の視線を検出するカメラモジュール、被検者10の足圧や握力を検出する圧力センサ等を含んで構成される。
【0018】
情報端末12は、動作情報取得部30、心的情報取得部40、結果出力部51、通信部52を有する。情報端末12は、動画像の撮影、画像の表示、録音や音声入出力、動作の検出、情報の送受信ができる、例えばスマートフォンやタブレット端末等の携帯型端末である。
【0019】
動作情報取得部30は、所定の身体動作を繰り返し実施する被検者10の動作状態を示す情報を取得する。動作情報取得部30は、動画取得部32、音声取得部34、動作検出部36を含む。
【0020】
動画取得部32は、所定の身体動作を繰り返し実施する被検者10を撮影した画像を取得する機能であり、ハードウェアとしては例えばカメラモジュールを含んで構成される。例えば、動画取得部32は
図1に示すように被検者10がゴルフのパット動作やスイング動作を複数回繰り返す様子を撮影した映像を取得する。
【0021】
音声取得部34は、周囲の音声を入力する機能であり、ハードウェアとしては例えばマイクロフォンを含む音声処理装置を有して構成される。音声取得部34は、計測デバイス20によって入力された音声情報を通信部52を介して取得してもよい。例えば、音声取得部34は
図1に示すように被検者10がゴルフのパット時やスイング時のボールインパクト音やスイング音等を取得する。
【0022】
動作検出部36は、情報端末12を所持した被検者の動作を検出する機能であり、ハードウェアとしては例えば9軸センサ等のモーションセンサを含んで構成される。動作検出部36は、計測デバイス20で検出された動作情報を通信部52を介して取得してもよい。計測デバイス20がスマートグラスである場合は、動作情報として計測デバイス20で検出された被検者10の視線の動きの情報を取得してもよい。
【0023】
心的情報取得部40は、被検者10の心的状態を示す情報を取得する。心的情報取得部40は、被検者10の心的状態に影響を与え得る外乱刺激の度合いを示す外乱情報をさらに取得する。心的情報取得部40が被検者10の心的状態を示す情報を取得するタイミングは、所定の身体動作の実施時であってもよい。
【0024】
心的情報取得部40は、生体情報取得部41、視線取得部42、外乱情報取得部43、質問回答取得部44、課題結果取得部45、行動情報取得部46を含む。生体情報取得部41は、計測デバイス20から心拍数や血中酸素濃度等の生体情報を含む心的状態を示す情報を通信部52を介して取得する。視線取得部42は、動作情報取得部30により取得された動画像から被検者の視線の動きを検出する。あるいは、視線取得部42は、スマートグラス等の計測デバイス20により検出された被検者の視線の動きの情報を取得してもよい。
【0025】
外乱情報取得部43は、被検者10が所定の身体動作を実施する際の心的状態に影響を与え得る外乱刺激の度合いを示す外乱情報を取得する。外乱情報は、被検者10によるタッチパネル操作により入力される。外乱刺激は、例えば騒音のような聴覚刺激、注意の誘導となるような視覚刺激などである。外乱刺激は、被検者10の所定の身体動作を実施する際の外部環境を示す情報であってもよいし、心的状態への影響を測るために意図的に与えられる外的影響としての刺激であってもよい。外部環境を示す情報としては、例えば天気、気温、湿度、日付、時刻、曜日、季節、芝の種類、緯度、経度、高度といった客観的な値であってもよい。被検者の集中力に対する外乱刺激は、例えば記憶課題や計算課題などの被検者の意識を乱すような刺激である。被検者の注意力に対する外乱刺激は、例えば被検者の視覚、聴覚、触覚等の感覚を乱す刺激である。外乱情報は、例えば外的刺激の項目を被検者10が選択して入力し、刺激の度合いを被検者10が主観で判断して数値を入力する情報であってもよい。
【0026】
質問回答取得部44は、心的情報に関する質問に対する回答を被検者10のタッチパネル操作による入力を介して取得する。心的情報に関する質問は、例えば心的状態を推し量るためのアンケートの質問項目である。質問の例としては、自覚的な心の調子を測る質問項目として、「Q.私は緊張している。」「Q.私は集中している。」「Q.私は気分が良い。」が挙げられる。これらの質問に対する回答として、「1.まったくそう思わない。」「2.そう思わない。」「3.どちらでもない。」「4.そう思う。」「5.とてもそう思う。」の5段階の尺度で回答する例が挙げられる。
【0027】
課題結果取得部45は、集中力または注意力を測る認知課題に対する結果を被検者10のタッチパネル操作による入力を介して取得する。集中力または注意力を測る認知課題に対する結果とは、例えば集中力や注意の引っ張られやすさを測定するテストにおける被検者10の入力に基づいて算出される、正答率や反応時間等の成績である。認知課題としては、例えば「黄」「青」「緑」「赤」といった色の名前を示す文字を、その文字が示した通りの表示色で表示させたものと、わざとその文字が示す色とは異なる表示色で表示させた文字とを混在させて多数並べた画面を表示し、文字と表示色とが整合するものを選ばせるテストが挙げられる。被検者10は、文字と表示色とが整合するものを選択していき、その正答率とすべて正答した時間がテスト結果として検出される。このように、一見して見間違えそうなテストによって、被検者10の集中力や注意力を測ることができ、その時点での心的な状態を推し量ることができる。
【0028】
行動情報取得部46は、被検者10が身体動作や心的状態を改善または維持するために実施した行動や取り組みに関する情報を被検者10のタッチパネル操作による入力を介して取得する。行動情報は、例えば練習量、マインドフルネスといった行動の種類を表す項目名や数値である。
【0029】
結果出力部51は、動作情報取得部30により取得された動作状態を示す情報や、心的情報取得部40により取得された心的状態を示す情報を、画面に表示するとともに通信部52を介して心身状態評価サーバ50へ送信する。また、結果出力部51は、心身状態評価サーバ50によって決定された各種の評価値を通信部52を介して取得し、画面に表示する。結果出力部51は、取得した動画像等の動作状態を示す情報や心的状態を示す情報、心身状態評価サーバ50から取得した評価値等の情報を、各種のSNS(Social Networking Service)に投稿して特定の範囲で公開したり、SNSから情報を収集して表示する機能を有してもよい。
【0030】
心身状態評価サーバ50は、通信部62、動作情報取得部70、心的情報取得部80、評価決定部90、評価値記憶部98、結果出力部99を有する。
【0031】
動作情報取得部70は、情報端末12の動作情報取得部30に相当する機能であり、動画取得部72、音声取得部74、動作取得部76を含む。動画取得部72は、所定の身体動作を繰り返し実施する被検者10を撮影した画像を通信部62を介して情報端末12から取得する。音声取得部74は、音声情報を通信部62を介して情報端末12から取得する。動作取得部76は、モーションセンサによる検出結果や視線の検出結果等の動きを示す情報を通信部62を介して情報端末12から取得する。
【0032】
心的情報取得部80は、情報端末12の心的情報取得部40に相当する機能であり、生体情報取得部81、視線取得部82、外乱情報取得部83、質問回答取得部84、課題結果取得部85、行動情報取得部86を含む。生体情報取得部81は、スマートウォッチ等の計測デバイス20により検出された被検者の心拍数や血中酸素濃度等の生体情報を含む心的状態を示す情報を通信部62を介して情報端末12から取得する。視線取得部82は、通信部62を介して情報端末12から取得する動画像から被検者の視線の動きを検出する。あるいは、視線取得部82は、スマートグラス等の計測デバイス20により検出された被検者の視線の動きの情報を通信部62を介して情報端末12から取得してもよい。なお、本実施形態では同様の機能として情報端末12における動作情報取得部30および心的情報取得部80と、心身状態評価サーバ50における動作情報取得部70および心的情報取得部80と、を記載している。ただし、動作情報取得部および心的情報取得部は、情報端末12側と心身状態評価サーバ50側のうち一方のみに設ける形で構成されてもよいし、双方に機能を分散させて設ける形で構成されてもよい。
【0033】
外乱情報取得部83は、被検者10が所定の身体動作を実施する際の心的状態に影響を与え得る外乱刺激の度合いを示す外乱情報を通信部62を介して情報端末12から取得する。質問回答取得部84は、心的情報に関する質問に対する回答を通信部62を介して情報端末12から取得する。課題結果取得部45は、集中力または注意力を測る認知課題に対する結果を通信部62を介して情報端末12から取得する。行動情報取得部46は、被検者10が身体動作や心的状態を改善または維持するために実施した行動や取り組みに関する情報を通信部62を介して情報端末12から取得する。
【0034】
評価決定部90は、動作状態を示す情報や心的状態を示す情報を分析して定量化し、評価値を決定し、評価値記憶部98に記憶させる。評価決定部90は、再現性評価部94、心的評価部96、モデル処理部97を含む。
【0035】
再現性評価部94は、被検者10による所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する。本実施形態における再現性評価部94は、被検者10によるゴルフのパット動作やスイング動作の動画像から、パット動作やスイング動作の再現性を分析し、その分析結果に基づいて再現性評価値を決定する。
【0036】
再現性評価部94は、再現性に関する所定のパラメータとして、所定の動作特徴量を動作状態を示す情報に基づいて抽出し、時間経過における動作特徴量の一致度により再現性を定量化する。ここでいう動作状態を示す情報は、被検者10によるゴルフのパット動作やスイング動作の動画像である。再現性評価部94は、動画像に含まれる被検者10の画像から解剖学的な特徴点の三次元座標を推定する。ここでいう解剖学的な特徴点には、被検者10の関節等の身体部位だけでなく、被検者10が着用するシューズの特徴点や被検者10が保持するゴルフクラブ等の道具の特徴点が含まれる。再現性評価部94は、動画像において推定される特徴点の時間変化に基づいて特徴点の位置、軌跡、および、移動速度のうち少なくともいずれかの動作特徴量を抽出する。再現性評価部94は、時間経過における動作特徴量の一致度により被検者10の動作の再現性を定量化する。
【0037】
再現性評価部94が抽出する動作特徴量は、身体動作の時間経過全体にわたって変化し得る時間履歴特性としての特徴量の他、身体動作における特定の瞬間に生じる瞬間特性としての特徴量も含む。
【0038】
時間履歴特性としての特徴量には、例えば特徴点の位置とその軌跡、移動速度履歴、関節角度、関節角速度、関節角加速度、上肢可動速度、上肢可動軌跡、体幹姿勢の時間履歴、スタンス幅、顔の向きがある。その他の時間履歴特性としての特徴量には、スイング音または打音におけるリズムまたは速度、視線から求まる顔の向き、視線の軌跡、瞳孔径、モーションセンサで検出されたスイング速度、上肢可動速度、上肢可動軌跡、打撃強さ等がある。身体動作における特定の瞬間に生じる瞬間特性としての特徴量には、例えば最大スイング速度、インパクト係数、可動範囲、スイング音や打音等がある。
【0039】
再現性評価部94が抽出する各種の動作特徴量は、標準偏差によって標準化してもよいし、標準偏差を平均値で割った変動係数値としてもよい。例えば、所定の身体動作の実施において生じ得る明らかなミス等、再現性が著しく劣る場合の試技であることが標準化によって検出された場合、このような試技が評価対象から除外されるように処理してもよい。
【0040】
再現性評価部94は、特徴量の種類ごとに、複数回の動作における一致度により再現性評価値を決定し得る。また、再現性評価部94は、複数の特徴量またはそれぞれの再現性評価値にそれぞれの重要度に応じた重み係数を掛けた和によって、全体的な再現性評価値を決定し得る。例えば、瞬間特性としての特徴量には重み係数αを与え、時間履歴特性としての特徴量には重み係数βを与え、重み係数αを重み係数β以上となるように(α≧β)する。これにより、運動パフォーマンスに直接影響を与える瞬間の特徴量に対する重みを他の時刻より高くなるようにすることができる。
【0041】
また、瞬間特性としての特徴量として複数種類の特徴量を評価する場合、それらに与える重み係数αを共通化するために、特徴量の種類ごとに個別の標準化係数を掛けることで、瞬間特性としての特徴量を標準化してもよい。同様に、時間履歴特性としての特徴量として複数種類の特徴量を評価する場合、それらに与える重み係数βを共通化するために、特徴量の種類ごとに個別の標準化係数を掛けることで、時間履歴特性としての特徴量を標準化してもよい。なお、重み係数α,βや、特徴量ごとの標準化係数としての適切な値およびそれらの数値差には個人差があるため、様々な特徴量を機械学習させて適切な値を被検者別に割り出してもよい。
【0042】
心的評価部96は、被検者10の心的状態に関する分析結果に基づいて心的評価値を決定する。本実施形態における心的評価部96は、被検者10の生体情報や被検者10によって入力された回答情報等の心的状態を示す情報に基づき、心的状態の傾向に関する所定のパラメータにより心的状態を定量化する分析を実行する。ここでいう生体情報は、例えばスマートウォッチ等のウェアラブルデバイスで計測される心拍数や血中酸素濃度、スマートグラス等のウェアラブルデバイスで検出される視線の動き等である。心的評価部96は、心的状態の傾向に関する所定のパラメータとして、生体情報の変動傾向、心的情報に関する質問への被検者10の回答傾向、および、被検者10の集中力または注意力を測る認知課題に対する結果のうち少なくともいずれかにより心的状態を定量化する。心的評価部96は、外乱刺激の度合いに応じた心的状態の傾向に関する所定のパラメータにより心的状態を定量化してもよい。
【0043】
心的評価部96は、心的評価値を、短期指標としての評価値と中長期指標としての評価値の和によって求めてもよい。短期指標としての評価値は、例えば被検者の集中力を示す心的状態の値と注意力を示す心的状態の値との和に所定の重み係数が掛けられた値である。中長期指標としての評価値は、被検者のモチベーションを示す心的状態の値に所定の重み係数が掛けられた値である。短期指標と中長期指標に与えられるそれぞれの重み係数としての適切な値には個人差があるため、様々な特徴量を機械学習させて適切な値を被検者別に割り出してもよい。また、短期指標としての評価値は、再現性が良い状態での集中力および注意力を示す心的状態の値と、外乱刺激下で動作実施した時の集中力および注意力を示す心的状態の値との差分の絶対値であってもよい。中長期指標としての評価値は、再現性が良い状態でのモチベーションを示す心的状態の値と、日常生活で動作実施した時のモチベーションを示す心的状態の値との差分の絶対値であってもよい。
【0044】
モデル処理部97は、再現性評価値および心的評価値を教師データとして機械学習して予測モデルを生成し、生成した予測モデルを被検者10の個人特性として評価値記憶部98に記憶させる。モデル処理部97は、再現性評価値と心的評価値のうち一方を説明変数とし、他方を目的変数とする回帰モデルとして予測モデルを生成してもよい。モデル処理部97は、被検者10に対応する予測モデルに基づいて、再現性が良好な状態を示す再現性評価値に対応する心的評価値を推定できる。
【0045】
評価値記憶部98は、被検者10ごとの情報として、再現性評価値と心的評価値とを対応付けて記憶する。評価値記憶部98は、被検者10ごとの情報として、再現性評価値および心的評価値に基づいて生成された予測モデルをさらに記憶する。
【0046】
結果出力部99は、再現性評価値の良否と心的評価値の関連性を示す情報を出力する。結果出力部99は、例えば心的評価値が低いときの再現性評価値と、心的評価値が高いときの再現性評価値を並べて表示することで、再現性評価値の良否と心的評価値の関連性を可視化する。結果出力部99は、外乱刺激の有無による再現性評価値を比較し、外乱刺激がある場合の再現性評価値と、外乱刺激がない場合の再現性評価値とを並べて表示することで、再現性評価値の良否と外乱刺激の有無との関連性を可視化する。結果出力部99は、再現性が良好な状態を示す再現性評価値に対応する心的評価値を予測モデルに基づいて予測した結果をさらに出力する。
【0047】
図3は、被検者がゴルフのパット動作をする様子を撮影した画像から解剖学的な特徴点の位置を推定する過程を例示する。画像110には、ゴルフのパット動作をする被検者10が映っている。画像110に対する画像処理によって、被検者10の身体の画像部分から解剖学的な特徴点である主要な関節等の位置が三次元座標として推定される。
図3においては、推定した特徴点の座標が複数の円112で示される。特徴点を示す複数の円112を太線114で結ぶことで、被検者10の骨格が、いわゆるスティックピクチャーの形で示される。画像110における被検者10の動きに応じて円112や太線114の位置が特徴点の移動に追随するように示される。このような特徴点の位置や動きが再現性評価部94により推定され、推定される特徴点の時間変化に基づいて特徴点の位置、軌跡、移動速度といった動作特徴量として抽出される。
【0048】
再現性評価部94は、動画像に含まれる被検者10の画像から解剖学的な特徴点の三次元座標を推定する。再現性評価部94は、動画像において推定される特徴点の時間変化に基づいて特徴点の位置、軌跡、および、移動速度のうち少なくともいずれかの動作特徴量を抽出する。再現性評価部94は、時間経過における動作特徴量の一致度により被検者10の動作の再現性を定量化する。
【0049】
図4は、同じパット動作を3回繰り返した場合の複数の特徴点の位置を二次元座標で示す例を示す。
図4(a)は被検者10の正面側を撮影した画像であり、
図4(b)は被検者10の左側面側を撮影した画像である。これらの画像から、既知の動作解析技術により推定した、解剖学的な特徴点である複数の円112を太線114で結んで形成するスティックピクチャー116を示す。スティックピクチャー116は、骨盤の中心が横軸および縦軸の原点に位置するように配置され、各特徴点は原点に対する相対位置にて示される。
【0050】
破線120で囲んだ点群は、複数回のパット動作における被検者10の顔の特徴点の位置を示し、点群の分布範囲が特徴点の動きの範囲を示す。同様に、破線121で囲んだ点群は被検者10の右肘の位置とその動きを示し、破線122で囲んだ点群は被検者10の左肘の位置とその動きを示す。破線123で囲んだ点群は被検者10の右手首の位置とその動きを示し、破線124で囲んだ点群は被検者10の左手首の位置とその動きを示す。
【0051】
図5は、同じパット動作を3回繰り返した場合の動作特徴量の時間履歴特性をグラフで示す。グラフは特徴量を縦軸にとり、時間を横軸にとる。ここでいう動作特徴量は、
図3、
図4に示す解剖学的な特徴点の位置の情報に限らず、動作を示す情報であれば他の値、例えば音響解析で得られる周波数や音量であってもよい。あるいは、視線の情報を分析して得られる瞳孔径や視線軌跡等であってもよいし、動作速度や動作加速度、打撃などの振幅強さであってもよい。
【0052】
図5(a)の例では、各動作における平均データとの差分の平均により、動作再現性を評価する。線131は1回目の動作における特徴量を示し、線132は2回目の動作における特徴量を示し、線133は3回目の動作における特徴量を示し、線130は動作特徴量の平均値を示す。3回の動作を示す線131~133は、所定タイミング、例えばパターがボールにインパクトする瞬間を基準にして時間軸上に配置する。
【0053】
線131~133で示される1回の動作における時刻ごとの特徴量と、線130で示される平均データの動作における時刻ごとの特徴量との差分の絶対値を時間で平均することで、1回の動作の特徴量の平均値を割り出す。1回の動作の特徴量の平均値を、さらに3回分の動作で平均した値を動作再現性の評価値として算出する。この評価値が小さいほど動作再現性が相対的に高いことを示し、評価値が大きいほど動作再現性が相対的に低いことを示す。
【0054】
3回の動作において動作のばらつきが小さいほど、評価値が小さくなるとともに、線131,132,133が平均値を示す線130に収束し、動作再現性が高いことを示す。3回の動作において動作のばらつきが大きいほど、評価値が大きくなるとともに、線131,132,133が線130に収束せずに互いの距離に開きが生じ、動作再現性が低いことを示す。
【0055】
また、1回の身体動作の中でも、時間経過において部分的に動作再現性が高い箇所と低い箇所が含まれる場合がある。例えば、時間軸上において、線131,132,133の相互間隔が狭い部分は、動作再現性が相対的に高い動作部分を示し、線131,132,133の相互間隔が広い部分は、動作再現性が相対的に低い動作部分を示す。
【0056】
図5(b)の例では、時間履歴における動作特徴量の差分の積和により、動作再現性を評価する。線131は1回目の動作における特徴量を示し、線132は2回目の動作における特徴量を示し、線133は3回目の動作における特徴量を示す。
図5(b)では、線131~133が示す時間ごとの最小特徴量から最大特徴量までの範囲にハッチングを加える。このハッチング領域の面積が広いほど動作再現性が低いことを示し、ハッチング領域の面積が狭いほど動作再現性が高いことを示す。ハッチング領域の面積は、時刻kでの最大特徴量と最小特徴量の差分を積分する区分求積法により求めることで、動作再現性の評価値とする。この評価値が小さいほど動作再現性が相対的に高いことを示し、評価値が大きいほど動作再現性が相対的に低いことを示す。
【0057】
図6は、心的状態が好調な場合の動作再現性と心的状態が不調な場合の動作再現性とを比較して表示する画面例を示す。左欄140には、心的状態が好調な場合の動作再現性として、「再現性90」といった再現性評価値を文字と円グラフで表示する。右欄141には、心的状態が不調な場合の動作再現性として、「再現性30」といった再現性評価値を文字と円グラフで表示する。また、左欄140には心的状態が好調な場合の動作再現性を示すスティックピクチャー116がアニメーション表示され、右欄141には心的状態が不調な場合の動作再現性を示すスティックピクチャー116がアニメーション表示される。左欄140には、心的状態が好調な場合において特徴的な評価値を示す特徴量を例示するコメントが表示される。右欄141には、心的状態が不調な場合において特徴的な評価値を示す特徴量を例示するコメントが表示される。
【0058】
(第2実施形態)
第2実施形態は、被検者10がランニングフォームの再現性と心的状態との関連性に本発明を適用している点で、ゴルフのパット動作やスイング動作の再現性と心的状態との関連性に本発明を適用している第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明し、共通点の説明を省略する。
【0059】
第2実施形態の例では、被検者10がランニング動作をする様子を情報端末12のカメラ機能で撮影し、動作状態を示す情報として撮影画像を心身状態評価サーバ50へ送信する。被検者10には、生体情報、例えば心拍数や血中酸素濃度、瞳孔反応のような心的状態を示す情報や、腕振りのリズムや速度等の動作状態を示す情報を取得するスマートウォッチやフットポッド等の計測デバイス20が例えば手首や足等に装着されている。
【0060】
図7は、被検者がランニング動作をする様子を撮影した画像から解剖学的な特徴点の位置を推定する過程を例示する。画像110には、ランニング動作をする被検者10が映っている。画像110に対する画像処理によって、被検者10の身体の画像部分から解剖学的な特徴点である主要な関節等の位置が三次元座標として推定される。
図7においては、推定した特徴点の座標が複数の円112で示される。特徴点を示す複数の円112を太線114で結ぶことで、被検者10の骨格が、いわゆるスティックピクチャーの形で示される。画像110における被検者10の動きに応じて円112や太線114の位置が特徴点の移動に追随するように示される。
【0061】
図2を参照して説明する。計測デバイス20は、例えば被検者の手首に装着するスマートウォッチ、眼鏡やサングラスのように目元に装着するスマートグラス、足首や靴に装着するフットポッド等のウェアラブルデバイスであってもよい。計測デバイス20を足首や靴に装着する場合における動作検出部26または動作取得部76は、例えば9軸センサ等のモーションセンサにより検出される脚の動きの加速度、ピッチ、ストライド等の情報を取得する。動画取得部32または動画取得部72は、被検者10がランニング動作をする様子を撮影した映像を取得する。音声取得部34または音声取得部74は、被検者10のランニング動作時における呼吸音や着地音等を取得する。
【0062】
再現性評価部94は、被検者10によるランニング動作の動画像や動作検出部26または動作取得部76が取得する動作の情報から、ランニングフォーム、ピッチ、ストライド等の動作の再現性を分析し、その分析結果に基づいて再現性評価値を決定する。再現性評価部94は、再現性に関する所定のパラメータとして、所定の動作特徴量を動作状態を示す情報に基づいて抽出し、時間経過における動作特徴量の一致度により再現性を定量化する。ここでいう動作状態を示す情報は、被検者10によるランニング動作の動画像や動作検出部26または動作取得部76が取得する動作の情報である。再現性評価部94は、動画像に含まれる被検者10の画像から解剖学的な特徴点の三次元座標を推定する。ここでいう解剖学的な特徴点には、被検者10の関節等の身体部位だけでなく、被検者10が着用するシューズの特徴点が含まれる。
図7のような特徴点の位置や動きが再現性評価部94により推定され、推定される特徴点の時間変化に基づいて特徴点の位置、軌跡、移動速度といった動作特徴量として抽出される。
【0063】
再現性評価部94が抽出する時間履歴特性としての特徴量には、例えば特徴点の位置とその軌跡、移動速度履歴、関節角度、関節角速度、関節角加速度、上肢可動速度、上肢可動軌跡、体幹姿勢の時間履歴、ピッチ、ストライド、顔の向きがある。その他の時間履歴特性としての特徴量には、呼吸音または着地音における腕振りや着地のピッチやリズム、視線から求まる顔の向き、視線の軌跡、瞳孔径、モーションセンサで検出された腕や脚のスイング速度、上肢可動速度、上肢可動軌跡、ランニングペース等がある。ランニングペースは、ピッチおよびストライドに基づいて算出されてもよいし、計測デバイス20がGPS(Global Positioning System)等の衛星測位システムから受信する位置情報が記録された走行履歴に基づいて算出されてもよい。身体動作における特定の瞬間に生じる瞬間特性としての特徴量には、例えば腕や脚の最大スイング速度、着地衝撃、可動範囲、呼吸音や着地、蹴り出しの強さ等がある。
【0064】
第2実施形態においても、心的状態の良否と動作再現性の良否の関連性が可視化され、また、心的状態が異なる複数の状況に対応する再現性評価値が比較表示される。したがって、被検者10は、例えばランニングのパフォーマンスが低下したような場合に、心的状態の面における改善の手がかりを自身で探ることが可能となる。
【0065】
(第3実施形態)
第3実施形態は、被検者10がスケートボードにおけるトリックの再現性と心的状態との関連性に本発明を適用している点で、ゴルフのパット動作やスイング動作、または、ランニング動作の再現性と心的状態との関連性に本発明を適用している第1,2実施形態と相違する。以下、第1,2実施形態との相違点を中心に説明し、共通点の説明を省略する。
【0066】
第3実施形態の例では、被検者10がスケートボードのトリックと呼ばれる技の動作を実施する試技を情報端末12のカメラ機能で撮影し、動作状態を示す情報として撮影画像を心身状態評価サーバ50へ送信する。被検者10には、生体情報、例えば心拍数や血中酸素濃度、瞳孔反応のような心的状態を示す情報や、回転角度、高度、速度、滞空時間等の動作状態を示す情報を取得するスマートウォッチその他の計測デバイス20が例えば手首やヘルメット、膝当て、足首、スケートボード等に装着されている。
【0067】
図8は、被検者がトリックをする試技の様子を撮影した画像から解剖学的な特徴点の位置を推定する過程を例示する。画像110には、トリック動作をする被検者10が映っている。画像110に対する画像処理によって、被検者10の身体の画像部分から解剖学的な特徴点である主要な関節等の位置が三次元座標として推定される。
図8においては、推定した特徴点の座標が複数の円112で示される。特徴点を示す複数の円112を太線114で結ぶことで、被検者10の骨格が、いわゆるスティックピクチャーの形で示される。画像110における被検者10の動きに応じて円112や太線114の位置が特徴点の移動に追随するように示される。
【0068】
図2を参照して説明する。計測デバイス20は、例えば被検者の手首に装着するスマートウォッチ、眼鏡やサングラスのように目元に装着するスマートグラス、ヘルメット、膝当て、足首、スケートボードに装着するセンサ等のウェアラブルデバイスであってもよい。計測デバイス20をヘルメット、膝当て、足首、スケートボード等に装着する場合における動作検出部26または動作取得部76は、例えば9軸センサ等のモーションセンサにより検出される回転角度、高度、速度、滞空時間等の情報を取得する。動画取得部32または動画取得部72は、被検者10がトリック動作をする試技の様子を撮影した映像を取得する。音声取得部34または音声取得部74は、被検者10のトリック動作時における呼吸音、走行音、着地音等を取得する。
【0069】
再現性評価部94は、被検者10によるトリック動作の動画像や動作検出部26または動作取得部76が取得する動作の情報から、特定の試技におけるトリックを基準とした姿勢や動作の逸脱度に基づくトリックの再現性を分析し、その分析結果に基づいて再現性評価値を決定する。ここでいう特定の試技は、例えば被検者10自身が実施した過去の試技の動画像や動作の情報であってよい。あるいは、被検者10自身の試技の代わりに、例えばオリンピック選手などの他者が実施した過去の試技の動画像や動作の情報や、手本として理想的なトリックを人為的に操作ないし設定したスティックピクチャーによる動きの動画像および動作の情報であってもよい。
【0070】
再現性評価部94は、再現性に関する所定のパラメータとして、所定の動作特徴量を動作状態を示す情報に基づいて抽出し、時間経過における動作特徴量の一致度により再現性を定量化する。トリックの再現性の高さをトリックの成功率と定義してもよい。ここでいう動作状態を示す情報は、被検者10による試技の動画像や動作検出部26または動作取得部76が取得する動作の情報である。再現性評価部94は、動画像に含まれる被検者10の画像から解剖学的な特徴点の三次元座標を推定する。ここでいう解剖学的な特徴点には、被検者10の関節等の身体部位だけでなく、被検者10が着用するシューズやスケートボード等の用具の特徴点が含まれる。
図8のような特徴点の位置や動きが再現性評価部94により推定され、推定される特徴点の時間変化に基づいて特徴点の位置、軌跡、移動速度といった動作特徴量として抽出される。
【0071】
再現性評価部94が抽出する時間履歴特性としての特徴量には、例えば特徴点の位置とその軌跡、移動速度、移動方向、体の向き、姿勢、回転角度、セクションとの距離、高度、滞空時間、関節角度、関節角速度、関節角加速度、上肢可動速度、上肢可動軌跡、体幹姿勢の時間履歴、顔の向きがある。その他の時間履歴特性としての特徴量には、走行音または着地音におけるトリックのタイミング、セクションとコンタクトするスケートボードの箇所、視線から求まる顔の向き、視線の軌跡、瞳孔径、モーションセンサで検出されたトリック動作の方向および加速度、移動速度、上肢可動速度、上肢可動軌跡等がある。身体動作における特定の瞬間に生じる瞬間特性としての特徴量には、例えばジャンプの速度や強さ、着地衝撃、可動範囲等がある。
【0072】
第2実施形態においても、心的状態の良否と動作再現性の良否の関連性が可視化され、また、心的状態が異なる複数の状況に対応する再現性評価値が比較表示される。したがって、被検者10は、例えばトリックの成功率が低下したような場合に、心的状態の面における改善の手がかりを自身で探ることが可能となる。
【0073】
本発明は上述した実施形態に限られるものではなく、各構成は本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【0074】
上記の各実施形態では、ゴルフのパット動作やスイング動作、ランニング動作、スケートボードにおけるトリックの再現性と心的状態との関連性に応用した例を説明した。変形例においては、その他の身体動作、例えば野球のスイングやサッカーのキック、武道、バスケットボール等の球技におけるシュート動作、フィギュアスケートやダンス、体操のような採点競技、跳躍や投擲のような陸上競技等の他のスポーツの動作再現性に適用してもよいし、ピアノ等の楽器演奏の再現性に適用してもよい。
【0075】
また、上述した実施形態を一般化すると以下の態様が得られる。
【0076】
〔態様1〕
被検者による所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する再現性評価部と、
前記被検者の心的状態に関する分析結果に基づいて心的評価値を決定する心的評価部と、
前記再現性評価値と前記心的評価値とを対応付けて記憶する評価値記憶部と、
前記再現性評価値の良否と前記心的評価値の関連性を示す情報を出力する結果出力部と、
を備えることを特徴とする心身状態評価システム。
【0077】
〔態様2〕
前記所定の身体動作を繰り返し実施する前記被検者の動作状態を示す情報を取得する動作情報取得部と、
前記被検者の心的状態を示す情報を取得する心的情報取得部と、
をさらに備え、
前記再現性評価部は、前記動作状態を示す情報に基づき、前記所定の身体動作の再現性に関する所定のパラメータにより前記再現性を定量化する分析を実行し、その分析結果に基づいて前記再現性評価値を決定し、
前記心的評価部は、前記心的状態を示す情報に基づき、前記心的状態の傾向に関する所定のパラメータにより前記心的状態を定量化する分析を実行し、その分析結果に基づいて前記心的評価値を決定することを特徴とする態様1に記載の心身状態評価システム。
【0078】
〔態様3〕
前記再現性評価部は、前記再現性に関する所定のパラメータとして、所定の動作特徴量を前記動作状態を示す情報に基づいて抽出し、時間経過における前記動作特徴量の一致度により前記再現性を定量化することを特徴とする態様2に記載の心身状態評価システム。
【0079】
〔態様4〕
前記心的評価部は、前記心的状態の傾向に関する所定のパラメータとして、前記被検者の所定の生体情報の変動傾向、心的情報に関する質問への前記被検者の回答傾向、および、前記被検者の集中力または注意力を測る認知課題に対する結果のうち少なくともいずれかにより前記心的状態を定量化することを特徴とする態様2または3に記載の心身状態評価システム。
【0080】
〔態様5〕
前記心的情報取得部は、前記被検者の心的状態に影響を与え得る外乱刺激の度合いを示す情報をさらに取得し、
前記心的評価部は、前記外乱刺激の度合いに応じた前記心的状態の傾向に関する所定のパラメータにより前記心的状態を定量化することを特徴とする態様2から4のいずれかに記載の心身状態評価システム。
【0081】
〔態様6〕
前記評価値記憶部は、前記再現性評価値および前記心的評価値に基づいて生成された予測モデルをさらに記憶し、
前記結果出力部は、前記再現性が良好な状態を示す前記再現性評価値に対応する前記心的評価値を前記予測モデルに基づいて予測した結果をさらに出力することを特徴とする態様1から5のいずれかに記載の心身状態評価システム。
【0082】
〔態様7〕
被検者による所定の身体動作の再現性に関する分析結果に基づいて再現性評価値を決定する過程と、
前記被検者の心的状態に関する分析結果に基づいて心的評価値を決定する過程と、
前記再現性評価値と前記心的評価値とを対応付けて記録する過程と、
前記再現性評価値の良否と前記心的評価値の関連性を示す情報を出力する過程と、
を備えることを特徴とする心身状態評価方法。
【符号の説明】
【0083】
10 被検者、 30 動作情報取得部、 40 心的情報取得部、 51 結果出力部、 70 動作情報取得部、 80 心的情報取得部、 94 再現性評価部、 96 心的評価部、 98 評価値記憶部、 99 結果出力部、 100 心身状態評価システム。