特開 2024-164991 姿勢推定装置、姿勢推定システム、および姿勢推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164991

(43)【公開日】2024-11-28

(54)【発明の名称】姿勢推定装置、姿勢推定システム、および姿勢推定方法

(51)【国際特許分類】

   A61B 5/11 20060101AFI20241121BHJP

【ＦＩ】

A61B5/11 200

A61B5/11 230

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023080778

(22)【出願日】2023-05-16

(71)【出願人】

【識別番号】000000310

【氏名又は名称】株式会社アシックス

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】岡本 利彰

(72)【発明者】

【氏名】阿部 悟

(72)【発明者】

【氏名】山縣 俊亮

(72)【発明者】

【氏名】阪口 正律

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038VA04

4C038VA12

4C038VB01

4C038VB14

4C038VB35

4C038VC20

(57)【要約】

【課題】日常的に継続して全身姿勢を把握することが可能な姿勢推定装置、姿勢推定システム、および姿勢推定方法を提供する。
【解決手段】姿勢推定装置１０は、被測定者Ｐに取り付けられ、被測定者Ｐの少なくとも一箇所の３軸の加速度および３軸の角速度に基づく歩行データを取得する少なくとも１つのセンサモジュール２１と、機械学習により訓練済みの推定モデルを用いて、センサモジュール２１で取得した歩行データから所定動作時の被測定者Ｐの全身姿勢を推定する演算装置１と、演算装置１で推定した被測定者Ｐの全身姿勢の推定データを出力する出力インターフェースと、を備える。推定モデルは、所定動作時にセンサモジュール２１で取得した歩行データと、当該歩行データを取得したタイミングの被測定者Ｐの全身姿勢を測定した姿勢データとに基づき機械学習による訓練であらかじめ生成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定動作時の被測定者の全身姿勢を推定する姿勢推定装置であって、
前記被測定者に取り付けられ、前記被測定者の少なくとも一箇所の３軸の加速度および３軸の角速度に基づく測定データを取得する少なくとも１つのセンサと、
機械学習により訓練済みの推定モデルを用いて、前記センサで取得した前記測定データから前記所定動作時の前記被測定者の全身姿勢を推定する演算回路と、
前記演算回路で推定した前記被測定者の全身姿勢の推定データを出力する出力装置と、を備え、
前記推定モデルは、
前記所定動作時に前記センサで取得した前記測定データと、当該測定データを取得したタイミングの前記被測定者の全身姿勢を測定した姿勢データとに基づき機械学習による訓練であらかじめ生成される、姿勢推定装置。

【請求項2】

前記推定モデルは、前記姿勢推定装置を使用する前記被測定者毎に機械学習による再訓練が行われる、請求項１に記載の姿勢推定装置。

【請求項3】

前記所定動作は、前記センサを取り付けた前記被測定者の箇所の動きに、前記被測定者の全身が連動する動作である、請求項１に記載の姿勢推定装置。

【請求項4】

前記センサは、前記被測定者が使用する靴に設けられる、請求項１～請求項３のいずれか１項に記載の姿勢推定装置。

【請求項5】

前記センサは、３軸の加速度および３軸の角速度から求めた前記被測定者の歩行または走行に基づく複数のパラメータを前記測定データとして取得する、請求項４に記載の姿勢推定装置。

【請求項6】

前記被測定者の歩行または走行に基づく前記複数のパラメータは、ストライド、ピッチ、歩行速度または走行速度、一歩にかかる時間、立脚期期間、遊脚期期間、接地時のつま先角度、プロネーション、最大足高さ、および着地衝撃のうち少なくとも１つのパラメータを含む、請求項５に記載の姿勢推定装置。

【請求項7】

前記姿勢データを測定する測定装置と、
請求項１～請求項３のいずれか１項に記載の前記姿勢推定装置と、を備え、
機械学習による前記推定モデルの訓練を行う際に前記測定装置で測定した前記姿勢データを使用する、姿勢推定システム。

【請求項8】

前記測定装置は、モーションキャプチャーカメラであり、
前記姿勢データは、前記モーションキャプチャーカメラを用いて取得した骨格座標データである、請求項７に記載の姿勢推定システム。

【請求項9】

前記骨格座標データを主成分分析により次元圧縮して、機械学習による前記推定モデルの訓練を行う、請求項８に記載の姿勢推定システム。

【請求項10】

所定動作時の被測定者の全身姿勢を推定する姿勢推定方法であって、
前記被測定者に取り付けられた少なくとも１つのセンサから、前記被測定者の少なくとも一箇所の３軸の加速度および３軸の角速度に基づく測定データを取得するステップと、
機械学習により訓練済みの推定モデルを用いて、前記センサで取得した前記測定データから前記所定動作時の前記被測定者の全身姿勢を推定するステップと、
推定した前記被測定者の全身姿勢の推定データを出力するステップと、を含み、
前記推定モデルは、所定動作時に前記センサで取得した前記測定データと、当該測定データを取得したタイミングの前記被測定者の全身姿勢を測定した姿勢データとに基づき機械学習による訓練であらかじめ生成される、姿勢推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、姿勢推定装置、姿勢推定システム、および姿勢推定方法に関する。

【背景技術】

【0002】

歩行やランニングのフォームを改善するためには、継続して歩行時やランニング時の全身姿勢を計測することが必要になる。また、歩行時の姿勢から精神疾患を検知したり、転倒リスクを推定したりする研究も行われており、これらの研究においては歩行時の姿勢を日常的に計測することが必要になる。全身姿勢を計測する方法として、モーションキャプチャを用いる方法、動画像を用いる方法、ウェアラブルデバイスを用いる方法などが知られている。

【0003】

たとえば、特開２０２３－１６８２５号公報（特許文献１）には、ウェアラブルデバイスを用いて全身姿勢を計測するシステムが開示されている。このシステムでは、被測定者の身体の６箇所の部位、具体的に身体の基準となる関節部位（たとえば腰や頭部）、あるいは身体の末端近傍（手首、足首、頭部等）に６つのセンサ装置を装着し、当該センサ装置からの測定値に基づいて全身姿勢を計測している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２３－１６８２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、モーションキャプチャを用いる方法や動画像を用いる方法では、全身を常に撮影範囲に含めて撮影を継続する必要があり、日常的に継続して全身姿勢を把握するために全身を常に撮影範囲に含めて撮影し続けることは困難であった。一方、ウェアラブルデバイスを用いる方法では、被測定者にウェアラブルデバイスを装着させることで姿勢を計測することができるので、日常的に継続して姿勢を把握することに適しているが、ウェアラブルデバイスを装着した部位を含む部分的な姿勢を把握することしかできない。そのため、ウェアラブルデバイスを用いて全身姿勢を把握するためには、特開２０２０－１２０９０８号公報（特許文献１）で示されているように身体の関節部位や末端近傍に多くのセンサ装置を装着する必要があり、日常的に継続して全身姿勢を把握するために多くのセンサを装着し続けることは困難であった。

【0006】

本開示は、かかる問題を解決するためになされたものであり、その目的は、日常的に継続して全身姿勢を把握することが可能な姿勢推定装置、姿勢推定システム、および姿勢推定方法を提供することである。

【課題を解決するための手段】

【0007】

本開示のある局面に従う姿勢推定装置は、所定動作時の被測定者の全身姿勢を推定する姿勢推定装置である。姿勢推定装置は、被測定者に取り付けられ、被測定者の少なくとも一箇所の３軸の加速度および３軸の角速度に基づく測定データを取得する少なくとも１つのセンサと、機械学習により訓練済みの推定モデルを用いて、センサで取得した測定データから所定動作時の被測定者の全身姿勢を推定する演算回路と、演算回路で推定した被測定者の全身姿勢の推定データを出力する出力装置と、を備える。推定モデルは、所定動作時にセンサで取得した測定データと、当該測定データを取得したタイミングの被測定者の全身姿勢を測定した姿勢データとに基づき機械学習による訓練であらかじめ生成される。

【0008】

本開示のある局面に従う姿勢推定システムは、姿勢データを測定する測定装置と、上記の姿勢推定装置と、を備え、機械学習による推定モデルの訓練を行う際に測定装置で測定した姿勢データを使用する。

【0009】

本開示のある局面に従う姿勢推定方法は、所定動作時の被測定者の全身姿勢を推定する姿勢推定方法である。姿勢推定方法は、被測定者に取り付けられた少なくとも１つのセンサから、被測定者の少なくとも一箇所の３軸の加速度および３軸の角速度に基づく測定データを取得するステップと、機械学習により訓練済みの推定モデルを用いて、センサで取得した測定データから所定動作時の被測定者の全身姿勢を推定するステップと、推定した被測定者の全身姿勢の推定データを出力するステップと、を含む。推定モデルは、所定動作時にセンサで取得した測定データと、当該測定データを取得したタイミングの被測定者の全身姿勢を測定した姿勢データとに基づき機械学習による訓練であらかじめ生成される。

【発明の効果】

【0010】

本開示によれば、機械学習により訓練済みの推定モデルを用いて、センサで取得した測定データから所定動作時の被測定者の全身姿勢を推定するので、少ない数のセンサで日常的に継続して全身姿勢を把握することが可能となる。

【図面の簡単な説明】

【0011】

【図1】実施の形態に係る姿勢推定装置を含む姿勢推定システムの構成を示す概略図である。

【図2】実施の形態に係るスマートシューズを説明するための模式図である。

【図3】実施の形態に係る姿勢推定装置の構成を示すブロック図である。

【図4】実施の形態に係る姿勢推定システムで実行する姿勢推定方法の処理を説明するためのフローチャートである。

【図5】実施の形態に係る姿勢推定システムでの訓練フェーズおよび運用フェーズを模式化した図を示す。

【図6】実施の形態に係る姿勢推定システムでのキャリブレーションフェーズを模式化した図を示す。

【図7】１歩行周期を説明するための概略図である。

【図8】実施の形態に係る姿勢推定システムでの推定モデルの演算を模式化した図である。

【図9】実施の形態に係る姿勢推定装置で推定した全身の骨格座標データを正面から表示した図である。

【図10】実施の形態に係る姿勢推定装置で推定した全身の骨格座標データを側面から表示した図である。

【図11】実施の形態に係る姿勢推定装置で推定した腕の骨格座標データの１歩行周期での誤差の変化を示すグラフである。

【図12】実施の形態に係る姿勢推定装置で推定した下半身の骨格座標データの１歩行周期での誤差の変化を示すグラフである。

【図13】実施の形態に係る姿勢推定装置で推定した頭の骨格座標データの１歩行周期での誤差の変化を示すグラフである。

【発明を実施するための形態】

【0012】

本開示では、靴に設けたセンサの情報から所定動作（たとえば、歩行動作、ランニング動作（走行動作））時の全身姿勢を推定することができる姿勢推定装置、姿勢推定システム、および姿勢推定方法を提供する。以下の説明では、センサを靴に設け、歩行時の全身姿勢を推定する場合について説明するが、推定する全身姿勢の動作は歩行時に限定されず、センサを装着する位置は靴に限定されない。特に、センサを装着する部位および個数は、日常的に継続して測定することが被測定者に負担とならない部位、個数であることが好ましい。たとえば、両腕にそれぞれセンサを装着したり、片腕と腰にそれぞれセンサを装着したり、さらに片腕と靴とのそれぞれセンサを装着したりしてもよい。そのため、本開示に係る姿勢推定装置、姿勢推定システム、および姿勢推定方法では、日常の活動における被測定者の負担を軽減しつつ、所定動作時の全身姿勢を把握することができ、歩行やランニングのフォームの改善などに利用することができる。

【0013】

以下、実施の形態に係る姿勢推定装置、姿勢推定システム、および姿勢推定方法について図面に基づいて説明する。以下の説明では、同一の構成には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0014】

（実施の形態）
［姿勢推定システムの構成］
図１は、実施の形態１に係る姿勢推定装置１０を含む姿勢推定システム１００の構成を示す概略図である。姿勢推定装置１０は、測定データから所定動作時の全身姿勢を推定する演算装置１（演算回路の一例）と、被測定者Ｐの歩行時または走行時の動きを測定するセンサを含むスマートシューズ２とを含む。姿勢推定システム１００は、姿勢推定装置１０と、所定動作時の全身姿勢を推定する推定モデルを機械学習により訓練するために必要になる姿勢データを取得するための測定装置３と、を含む。

【0015】

姿勢推定装置１０は、スマートシューズ２で測定した被測定者Ｐの歩行データ（測定データの一例）から歩行時の被測定者Ｐの全身姿勢を推定するために、機械学習の訓練によりあらかじめ生成され推定モデルを含む。言い換えると、当該推定モデルは、歩行データから歩行時の被測定者Ｐの全身姿勢の推定より前に、機械学習の訓練により生成されている。そのため、姿勢推定システム１００では、推定モデルを訓練するため、歩行時にスマートシューズ２で測定した歩行データと、当該歩行データの測定時の全身姿勢を測定装置３で取得した姿勢データとを対応付けた訓練データを、複数の被測定者について集めておく。本開示では、姿勢推定システム１００で複数の被測定者の訓練データを用いて推定モデルを訓練し、訓練後の推定モデルを使って被測定者Ｐの全身姿勢を推定する姿勢推定装置１０の例を説明する。

【0016】

なお、姿勢推定装置１０は、属性（たとえば、性別、年代、人種など）に関係なく選んだ複数の被測定者の訓練データで訓練した推定モデルを使用してもよいし、属性ごとの被測定者の訓練データで訓練した推定モデルを使用してもよい。つまり、姿勢推定装置１０は、被測定者Ｐの全身姿勢を推定する場合に、被測定者Ｐの属性に応じて適切な推定モデルを選択する構成でもよい。また、後述するように、姿勢推定システム１００は、複数の被測定者の訓練データで訓練した推定モデルを、被測定者Ｐの個別の訓練データでキャリブレーションを行い、パーソナライズされた推定モデルを生成してもよい。

【0017】

まず、姿勢推定システム１００において、歩行時または走行時の動作を測定するセンサを含むスマートシューズ２について説明する。図２は、実施の形態に係るスマートシューズ２を説明するための模式図である。図２に図示されているスマートシューズ２には、センサモジュール２１（センサの一例）が組み込まれており、当該センサモジュール２１で被測定者Ｐの歩行データを測定する。

【0018】

センサモジュール２１は、図示していないが、加速度センサ、角速度センサ、これらのセンサの測定値から歩行パラメータを演算する演算回路、演算回路で演算した歩行パラメータや測定値を演算装置１に無線で送信するための通信回路などを含んでいる。なお、加速度センサは、たとえば、Ｘ，Ｙ，Ｚの３軸の加速度を測定でき、角速度センサは、たとえば、Ｘ，Ｙ，Ｚの３軸それぞれの角速度を測定できる。そのため、センサモジュール２１は、被測定者Ｐの歩行データとして、加速度センサの測定値および角速度センサの測定値に基づいて、ストライド、ピッチ、歩行速度、一歩にかかる時間、立脚期期間、遊脚期期間、接地時のつま先角度、プロネーション、最大足高さ、および着地衝撃の歩行パラメータを得ることができる。ここで、着地衝撃は、着地時において足に加わる衝撃であり、着地時の鉛直方向の加速度の最大値で評価する歩行パラメータの一例である。なお、センサモジュール２１は、被測定者Ｐの走行時、走行データとして、加速度センサの測定値および角速度センサの測定値に基づいて、ストライド、ピッチ、走行速度、一歩にかかる時間、立脚期期間、遊脚期期間、接地時のつま先角度、プロネーション、最大足高さ、および着地衝撃の走行パラメータを得ることができる。

【0019】

センサモジュール２１から演算装置１への歩行パラメータなどのデータ移行は、無線による通信で行うと説明したが、これに限られない。たとえば、センサモジュール２１から演算装置１への歩行パラメータなどのデータ移行を有線による通信で行っても、記録媒体（たとえば、メモリチップ，ＵＳＢメモリなど）で行ってもよい。

【0020】

また、センサモジュール２１は、加速度センサの測定値および角速度センサの測定値から歩行パラメータを演算すると説明したが、これに限られない。たとえば、センサモジュール２１は、加速度センサの測定値（３軸の加速度の値）および角速度センサの測定値（３軸の角速度の値）を演算装置１へ送信するだけでもよく、演算装置１がセンサモジュール２１より取得した加速度センサの測定値および角速度センサの測定値から歩行パラメータを演算してもよい。

【0021】

本開示では、歩行データを測定するセンサモジュール２１を靴に組み込んだスマートシューズ２を一例として以下説明するが、被測定者Ｐの歩行データを測定するセンサモジュール２１をサポータ等で被測定者Ｐの脚に直接取り付けてもよい。さらに、センサモジュール２１は、３軸の加速度を測定できる加速度センサおよび３軸の角速度を測定できる角速度センサを有するスマートフォンやスマートウォッチなどの携帯機器あってもよい。

【0022】

姿勢推定システム１００では、訓練データとして歩行データと、当該歩行データの測定時において測定した全身姿勢の姿勢データとを必要とするので、当該姿勢データを取得するために測定装置３を用いている。測定装置３は、モーションキャプチャーカメラ（たとえば、Ｖｉｃｏｎ（登録商標），Ｋｉｎｅｃｔ（登録商標）など）であり、モーションキャプチャーカメラを用いて被測定者Ｐの歩行時の骨格座標データ（姿勢データの一例）を取得する。なお、測定装置３は、モーションキャプチャーカメラに限定されず、被測定者Ｐの歩行時の動画像から姿勢データを取得する構成でも、モーションセンサで姿勢データを取得する構成であってもよい。

【0023】

［演算装置の構成］
本開示において、演算装置１は、推定モデルを訓練データで訓練するための演算を行う装置として姿勢推定システム１００の一部を構成すると共に、訓練済みの推定モデルを用いて歩行データから被測定者Ｐの全身姿勢を推定する装置として姿勢推定装置１０の一部を構成している。

【0024】

図３は、実施の形態１に係る演算装置１の構成を示すブロック図である。図３に示すように、演算装置１は、プロセッサ１１と、メモリ１２と、ストレージ１３と、入力インターフェース１４と、出力インターフェース１５と、通信インターフェース１６と、メディア読取装置１７とを備える。これらの各構成は、プロセッサバス１９を介して接続されている。

【0025】

プロセッサ１１は、ストレージ１３に記憶されたプログラム（たとえば、ＯＳ（Operating System）１３０、訓練プログラム１３１、推定プログラム１３３）を読み出し、読み出したプログラムをメモリ１２に展開して実行するコンピュータである。プロセッサ１１は、たとえば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＭＰＵ（Multi Processing Unit）などで構成される。なお、プロセッサ１１は、演算回路（Processing Circuitry）で構成されていてもよい。

【0026】

メモリ１２は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリ、あるいは、ＲＯＭ（Read Only Memory）またはフラッシュメモリなどの不揮発性メモリなどで構成される。

【0027】

ストレージ１３は、たとえば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの不揮発性記憶装置などで構成される。ストレージ１３は、ＯＳ１３０、訓練プログラム１３１、推定プログラム１３３以外に、訓練データ１３２、推定モデル１３４などを記憶する。

【0028】

訓練プログラム１３１は、訓練データ１３２を用いて機械学習による訓練で推定モデル１３４を生成するためのプログラムである。推定プログラム１３３は、推定モデル１３４を用いて被測定者Ｐの歩行データから被測定者Ｐの全身姿勢を推定するためのプログラムである。訓練プログラム１３１および推定モデル１３４を合わせて姿勢推定方法を実行するためのプログラムである。

【0029】

入力インターフェース１４は、キーボード、マウス、およびタッチデバイスなどの入力操作を受け付ける。出力インターフェース１５（出力装置の一例）は、ディスプレイ、スピーカなどに演算装置１で推定した被測定者Ｐの全身姿勢の推定データを出力する。

【0030】

通信インターフェース１６は、有線通信または無線通信を行うことによって、センサモジュール２１から歩行データの入力を受け付けたり、他の装置との間でデータを送受信したりする。通信インターフェース１６は、他の装置と通信することによって、推定した被測定者Ｐの全身姿勢の推定データを他の装置へ出力してもよい。

【0031】

メディア読取装置１７は、リムーバブルディスク１８、メモリチップ、ＵＳＢメモリなどの記憶媒体を受け入れ、リムーバブルディスク１８、メモリチップ、ＵＳＢメモリなどに格納されているデータを取得する。なお、メディア読取装置１７は、リムーバブルディスク１８に記憶されている訓練データを読み出したり、推定した被測定者Ｐの全身姿勢の推定データをリムーバブルディスク１８などに格納して出力したりしてもよい。

【0032】

なお、演算装置１は、訓練データ１３２を用いて機械学習による訓練で推定モデル１３４を生成すると説明したが、一般化された推定モデル１３４が事前に用意されているのであれば通信インターフェース１６を介してサーバ等から受け付けてもよい。また、演算装置１は、メディア読取装置１７によってリムーバブルディスク１８などに記憶された推定モデル１３４を読み取ってもよい。

【0033】

また、演算装置１は、スマートシューズ２（センサモジュール２１）と組み合わせることで姿勢推定装置１０を構成しているが、姿勢推定装置１０の装置構成はこれに限られない。たとえば、姿勢推定装置１０の装置構成として、演算装置１とセンサモジュール２１と一体化した装置構成であっても、センサモジュール２１を含まない演算装置１のみの装置構成であってもよい。

【0034】

［姿勢推定方法］
次に、姿勢推定システム１００で実行される姿勢推定方法の処理について、フローチャートを参照しながら説明する。図４は、実施の形態１に係る姿勢推定システム１００（特に演算装置１）が実行する姿勢推定方法の処理を説明するためのフローチャートである。なお、図４に示す各ステップは、演算装置１のプロセッサ１１が訓練プログラム１３１および推定プログラム１３３を実行することによって実現される。

【0035】

まず、演算装置１は、訓練プログラム１３１による訓練フェーズの処理を行うか否かを判断する（ステップＳ１０１）。姿勢推定システム１００が、まだ推定モデル１３４を有していない場合、または推定モデル１３４について十分な訓練が行われていない場合に、演算装置１は訓練フェーズの処理を行う。訓練フェーズの処理を行わない場合（ステップＳ１０１でＮＯの場合）、演算装置１は、処理をステップＳ１０７に進める。一方、訓練フェーズの処理を行う場合（ステップＳ１０１でＹＥＳの場合）、演算装置１は、歩行データから歩行時の被測定者Ｐの全身姿勢を推定するための推定モデル１３４を生成する訓練フェーズ処理Ａを実行する。

【0036】

訓練フェーズ処理Ａでは、推定モデル１３４を生成するために、Ｎ名の訓練データ１３２の入力を受け付ける（ステップＳ１０２）。なお、ステップＳ１０２で受け付ける訓練データ１３２には、スマートシューズ２で測定した被測定者の歩行データと、当該歩行データの測定時の全身姿勢を測定装置３で取得した姿勢データとが含まれる。図５は、実施の形態に係る姿勢推定システムでの訓練フェーズおよび運用フェーズを模式化した図を示す。図５に示す訓練データ収集処理Ａ１のように、訓練データ１３２を入力するために、スマートシューズ２を履いたＮ名の被測定者に測定装置３の前で歩行を行って貰い、歩行データと姿勢データとを取得する。

【0037】

次に、演算装置１は、訓練データ１３２を用いて機械学習により、歩行時の全身姿勢を推定する推定モデル１３４を訓練する（ステップＳ１０３）。ここで、推定モデル１３４は、たとえば、公知のニューラルネットワークやサポートベクターマシン（Support Vector Machine：SVM）、あるいはベイジアンネットワーク（Bayesian Network）などのネットワーク構造と、当該ネットワーク構造によって用いられる内部パラメータとを含み、被測定者Ｐの歩行データから推定した全身姿勢の推定データと、当該歩行データの測定時の全身姿勢の姿勢データとに基づく訓練により内部パラメータが最適化（調整）される。図５に示す推定モデル訓練処理Ａ２のように、歩行データと姿勢データとを対応付けたＮ名の訓練データを用いて推定モデル１３４を訓練することで、歩行データから姿勢データ（全身姿勢）を推定する推定モデル１３４が構築される。

【0038】

次に、演算装置１は、個別のキャリブレーションを行うか否かを判断する（ステップＳ１０４）。被測定者Ｐによるパーソナライズ化された推定モデルを希望しない入力を演算装置１が受け付けた場合（ステップＳ１０４でＮＯ）、演算装置１は、処理をステップＳ１０７に進める。一方、被測定者Ｐによるパーソナライズ化された推定モデルを希望する入力を演算装置１が受け付けた場合（ステップＳ１０４でＹＥＳの場合）、演算装置１は、推定モデル１３４を被測定者Ｐの個別の訓練データで再訓練するキャリブレーション処理Ｂを実行する。

【0039】

キャリブレーション処理Ｂでは、推定モデル１３４を生成するために、被測定者Ｐの個別の訓練データ１３２の入力を受け付ける（ステップＳ１０５）。なお、ステップＳ１０５で受け付ける被測定者Ｐの個別の訓練データ１３２には、スマートシューズ２で測定した被測定者Ｐ自身の歩行データと、当該歩行データの測定時の被測定者Ｐ自身の全身姿勢を測定装置３で取得した姿勢データとが含まれる。図６は、実施の形態に係る姿勢推定システムでのキャリブレーションフェーズを模式化した図を示す。図６に示す補正訓練データ収集処理Ｂ１のように、被測定者Ｐの個別の訓練データ１３２を入力するために、スマートシューズ２を履いた被測定者Ｐ自身に測定装置３の前で歩行を行って貰い、歩行データと姿勢データとを取得する。

【0040】

次に、演算装置１は、被測定者Ｐの個別の訓練データ１３２を用いて機械学習により、全身姿勢を推定する推定モデル１３４を再訓練する（ステップＳ１０６）。図６に示す再訓練処理Ｂ２のように、被測定者Ｐの歩行データと被測定者Ｐの姿勢データとを対応付けた個別の訓練データを用いて推定モデル１３４を再訓練することで、被測定者Ｐの歩行データから被測定者Ｐの姿勢データ（全身姿勢）を精度良く推定することができる推定モデル１３４が構築できる。つまり、被測定者Ｐの個別の訓練データ１３２で推定モデル１３４を再訓練することで、推定モデル１３４を被測定者Ｐ用にパーソナライズ化できる。

【0041】

次に、演算装置１は、推定プログラム１３３による運用フェーズの処理を行うか否かを判断する（ステップＳ１０７）。訓練フェーズ処理Ａで十分に訓練された推定モデル１３４が生成された場合、またはキャリブレーション処理Ｂで被測定者Ｐ用にパーソナライズ化された推定モデル１３４が生成された場合に、演算装置１は運用フェーズの処理を行う。運用フェーズの処理を行わない場合（ステップＳ１０７でＮＯの場合）、演算装置１は、処理をステップＳ１１２に進める。一方、運用フェーズの処理を行う場合（ステップＳ１０７でＹＥＳの場合）、演算装置１は、推定モデル１３４を用いて歩行データのみから歩行時の被測定者Ｐの全身姿勢を推定する運用フェーズ処理Ｃを実行する。

【0042】

運用フェーズ処理Ｃでは、歩行時の被測定者Ｐの全身姿勢を推定するために、被測定者Ｐの歩行データの入力を受け付ける（ステップＳ１０８）。なお、ステップＳ１０８では、被測定者Ｐのスマートシューズ２（センサモジュール２１）から送られてくる歩行データのみが必要であるため測定装置３は不要である。図５に示す測定処理Ｃ１のように、被測定者Ｐの歩行データを入力するために、スマートシューズ２を履いた被測定者Ｐに歩行を行って貰い、スマートシューズ２から送られてくる歩行データを演算装置１で入力を受け付ける。図１に示す演算装置１はノートパソコンであるが、運用フェーズ処理Ｃでは、訓練済みの推定モデル１３４をスマートフォンに格納し、当該スマートフォンを演算装置１としてスマートシューズ２から送られてくる歩行データの入力を受け付け、歩行時の被測定者Ｐの全身姿勢を推定してもよい。

【0043】

次に、演算装置１は、推定モデル１３４を用いて被測定者Ｐの歩行データから歩行時の被測定者Ｐの全身姿勢を推定する（ステップＳ１０９）。演算装置１は、ステップＳ１０９で推定した歩行時の被測定者Ｐの全身姿勢の骨格座標データ（推定データの一例）を演算装置１に接続したディスプレイに画像として表示する。図５に示す推定処理Ｃ２のように、被測定者Ｐの歩行データを推定モデル１３４に入力することで歩行時の被測定者Ｐの全身姿勢を推定した骨格座標データをディスプレイに画像として表示する。

【0044】

演算装置１は、スマートシューズ２から新たな歩行データの入力を受け付けたか否かを判断する（ステップＳ１１１）。演算装置１は、歩行データに基づいて被測定者Ｐの全身姿勢を逐次推定するので、新たに入力を受け付けた歩行データに基づいて推定する被測定者Ｐの骨格座標データを更新する。そのため、新たな歩行データの入力を受け付けた場合（ステップＳ１１１でＹＥＳ）、演算装置１は、処理をステップＳ１０９に戻し、新たな歩行データから歩行時の被測定者Ｐの全身姿勢を推定する。

【0045】

一方、新たな歩行データの入力を受け付けていない場合（ステップＳ１１１でＮＯ）、演算装置１は、姿勢推定方法の処理を終了するか否かを判断する（ステップＳ１１２）。姿勢推定方法の処理を終了する入力を演算装置１が受け付けていない場合（ステップＳ１１２でＮＯ）、演算装置１は、処理をステップＳ１０１に戻す。一方、姿勢推定方法の処理を終了する入力を演算装置１が受け付けた場合（ステップＳ１１２でＹＥＳの場合）、演算装置１は、姿勢推定方法の処理を終了する。

【0046】

次に、姿勢推定方法の処理について、さらに詳しく説明する。本開示では、スマートシューズ２から取得した歩行データから歩行動作時の全身姿勢を推定することを説明する。しかし、姿勢推定方法の処理において、全身姿勢を推定する動作の対象は歩行動作に限定されず、全身が連動する動作（たとえば、ランニングのような協調運動（locomotion））であれば同様に適用することができる。また、全身が連動する動作以外の動作であっても、たとえば、スマートシューズ２から取得した歩行データから下半身の姿勢を推定し、腕や上半身に装着した別のセンサから取得した測定データから上半身の姿勢を推定することで、下半身と上半身とが連動しない動作時の全身姿勢を推定することは可能である。これは、姿勢推定方法の処理において、訓練フェーズ処理Ａで所定動作時の全身姿勢の姿勢データと、体のある部分に装着したセンサの測定データとの対応関係を機械学習によって訓練した推定モデル１３４を生成し、運用フェーズ処理Ｃで当該推定モデル１３４を用いて、体のある部分に装着したセンサの測定データから所定動作時の全身姿勢を推定することができるためである。

【0047】

まず、全身姿勢を推定する動作の対象が歩行動作の場合、１歩行周期を単位として被測定者の姿勢データを測定装置３（モーションキャプチャーカメラ）で取得する。図７は、１歩行周期を説明するための概略図である。図７では、被測定者の左足の踵接地タイミングから、右足の踵接地タイミングを経て左足の踵接地タイミングに至る一連の動作を１歩行周期としている。歩行動作は、図７に示すパターンの動作を繰り返す動作である。さらに、被測定者の全身姿勢を特徴点である２１点の骨格座標データとして表現する。測定装置３から約５ｍ程度離れた位置で被測定者に１歩行周期となる歩行動作（１ｍ～４．５ｍ程度の歩行）を行って貰い、測定装置３で全身姿勢の２１点の３次元座標を１０１フレーム分のデータとして取得する。なお、骨格座標データを２１点の身体部位として表現するのは一例であり、より精度の高い全身姿勢の情報を得るのであれば２１点より点数を増やし、より演算処理を軽減するのであれば２１点より点数を減らしてもよい。同様に、１歩行周期を１０１フレーム分のデータとして取得するのは一例であり、より精度の高い全身姿勢の情報を得るのであれば１０１フレームよりフレーム数を増やし、より演算処理を軽減するのであれば１０１フレームよりフレーム数を減らしてもよい。

【0048】

前述の例では、骨格座標データは、２１点×３座標×１０１フレームで６３６３個のデータとなる。しかし、この６３６３個のデータをそのまま訓練データとして採用した場合、演算処理の負担が大きいので主成分分析による次元圧縮を行う。ここで、主成分分析とは、相関のある多数の変数から相関のない少数で全体のばらつきを最も表す変数（主成分）を合成し、次元圧縮する統計的手法の一つである。もちろん、演算処理の負担を気にしないのであれば６３６３個のデータをそのまま訓練データとして採用してもよい。

【0049】

より具体的に骨格座標データの次元圧縮処理について説明する。演算装置１は、測定装置３から取得したＮ名の歩行動作の骨格座標データに対して、それぞれ１歩行周期のデータを抽出して、１歩行周期を０～１００％にリサンプリングして時間の正規化を行う。つまり、演算装置１は、１歩行周期を１０１フレームの骨格座標データとして正規化している。また演算装置１は、ある基準座標からの個々の座標までの距離の総和をノルム（norm）ｄとして求め、個々の座標をノルムｄで除すことで位置の正規化を行っている。演算装置１は、こうして得られた６３６３個の骨格座標データに対して主成分分析を行い、歩行動作を説明する主成分（変数）のうちで寄与度の高い（たとえば９５％以上）成分（たとえば１６個の変数）の情報に圧縮する次元圧縮を行う。つまり、演算装置１は、６３６３個の骨格座標データを１６個の成分（変数）に次元圧縮した姿勢データとして算出する。もちろん、骨格座標データに対する主成分分析の成分の個数は一例であり、１６個の成分に限定されない。

【0050】

本開示では、この１６個の成分に次元圧縮した姿勢データと、当該姿勢データと対応する歩行データとを訓練データとして採用する。歩行データには、ストライド、ピッチ、歩行速度、一歩にかかる時間、立脚期期間、遊脚期期間、接地時のつま先角度、プロネーション、最大足高さ、および着地衝撃の歩行パラメータの１０個の歩行パラメータを採用する。もちろん、歩行データは、１０個の歩行パラメータでなく、加速度センサの測定値および角速度センサの測定値そのものであってもよい。なお、歩行データに１０個の歩行パラメータを採用することで、演算処理の負担が軽減される他に、歩行動作の特徴を表す歩行パラメータに基づいて推定モデルの機械学習を行うので、推定モデルを収束させやすい。また、１０個の歩行パラメータは一例であり、より少ない歩行パラメータを歩行データとしても、より多い歩行パラメータを歩行データとしてもよい。

【0051】

図８は、実施の形態に係る姿勢推定システム１００での推定モデルの演算を模式化した図である。姿勢推定システム１００では、図８に示すように、１０個の歩行パラメータを含む歩行データから推定モデル１３４を用いて１６個の成分の姿勢データを推定する。ここで、推定モデル１３４は、１００次元の全結合層を３層含むニューラルネットワーク構造を有している。姿勢推定システム１００では、訓練データの１６個の成分の姿勢データと推定された１６個の成分の姿勢データとの損失関数が最小化するように機械学習が行われ訓練済みの推定モデル１３４が構築される。

【0052】

訓練済みの推定モデル１３４を用いることで、姿勢推定装置１０は、センサモジュール２１で測定した被測定者Ｐの歩行データから、１６個の成分の姿勢データを推定することができ、推定した１６個の成分から骨格座標を再構築して被測定者Ｐの全身姿勢の骨格座標データを推定データとして求める。これにより、姿勢推定装置１０は、訓練済みの推定モデル１３４を用いることで、スマートシューズ２を履いて被測定者Ｐが歩行するだけで、測定装置３（モーションキャプチャーカメラ）を用いなくても、歩行時の被測定者Ｐの全身姿勢を日常的に継続して把握することが可能となる。

【0053】

訓練済みの推定モデル１３４を用いて姿勢推定装置１０が推定した歩行時の被測定者Ｐの全身姿勢の精度について説明する。図９は、実施の形態に係る姿勢推定装置１０で推定した全身の骨格座標データを正面から表示した図である。図１０は、実施の形態に係る姿勢推定装置１０で推定した全身の骨格座標データを側面から表示した図である。図９および図１０には、姿勢推定装置１０で推定した被測定者Ｐの全身姿勢の骨格座標データＩが実線で示されている。また、図９および図１０には、比較対象として、測定装置３で測定した被測定者Ｐの全身姿勢の骨格座標データＩＩが破線で示されている。

【0054】

正面から表示した図９では、実線の骨格座標データＩと破線の骨格座標データＩＩに差がなく、姿勢推定装置１０が精度良く被測定者Ｐの骨格座標データＩを推定していることが分かる。一方、側面から表示した図１０では、実線の骨格座標データＩと破線の骨格座標データＩＩとを比べると腕や足に差はあるが、姿勢推定装置１０が適切に被測定者Ｐの骨格座標データＩを推定していることが分かる。

【0055】

より詳しく、姿勢推定装置１０が推定した被測定者Ｐの全身姿勢の精度について説明する。図１１は、実施の形態に係る姿勢推定装置１０で推定した腕の骨格座標データの１歩行周期での誤差の変化を示すグラフである。図１２は、実施の形態に係る姿勢推定装置１０で推定した下半身の骨格座標データの１歩行周期での誤差の変化を示すグラフである。図１３は、実施の形態に係る姿勢推定装置１０で推定した頭の骨格座標データの１歩行周期での誤差の変化を示すグラフである。

【0056】

図１１～図１３に示すグラフは、姿勢推定装置１０で推定した被測定者Ｐの全身姿勢の特徴点（２１点）と、測定装置３で測定した被測定者Ｐの全身姿勢の特徴点（２１点）とを比較して精度検証を行った結果を示している。なお、図１１～図１３に示すグラフでは、横軸が１歩行周期を示し、縦軸は誤差（Error）を示している。また、図１１～図１３に示すグラフでは、腕、下半身および頭（体幹）のそれぞれの平均誤差を実線で示し、それぞれの標準偏差を破線で示している。姿勢推定装置１０では、スマートシューズ２に設けたセンサモジュール２１の情報のみから全身姿勢を推定しているので、身体部位に対して精度の違いが見られる可能性が考えられるため、全身姿勢の特徴点（２１点）を頭（体幹）、下半身、腕の３つの部位に分けて平均誤差を求め、当該誤差の時間的変化を検証するために図１１～図１３のグラフを示している。

【0057】

図１１～図１３に示すグラフから、全身姿勢の特徴点（２１点）のすべての平均誤差は３．８ｃｍ（標準偏差：３．３ｃｍ）と精度の高い結果が得られた。最も大きな誤差が認められた図１１に示す腕の平均誤差は７．６ｃｍ（標準偏差：４．５ｃｍ）であった。なお、歩幅の平均が約７０ｃｍであり、姿勢推定装置１０で推定した歩幅に対する誤差は５％程度であった。姿勢推定装置１０で推定した特徴点の誤差は、腕、下半身、頭（体幹）の順に大きく、下半身の特徴点と腕の特徴点の誤差は、足の接地タイミングでピーク値を持つことが分かった。

【0058】

［変形例］
（１）前述の実施の形態では、姿勢推定装置１０がセンサモジュール２１の歩行データ（測定データの一例）から歩行時の全身姿勢の骨格座標データ（推定データの一例）を推定しているが推定する骨格座標データは下半身や上半身などの体の一部であってもよい。

【0059】

（２）前述の実施の形態では、センサモジュール２１（３軸の加速度センサおよび３軸角速度センサを含む）を靴に組み込んだスマートシューズ２で被測定者の動作を測定したが、センサモジュール２１を取り付ける位置は被測定者の動作に合わせて動く位置であればいずれの位置であってもよい。また、前述の実施の形態では、１種類のセンサを左右の靴にそれぞれ設けられた合計２個のセンサモジュール２１を使用しているが、左右の靴のいずれか一方に設けられた１個のセンサモジュール２１を使用してもよいし、異なる種類のセンサを複数使用してもよい。さらに、左右の靴にそれぞれ設け合計２個のセンサモジュール２１を設けても、姿勢推定装置１０は、いずれか一方のセンサモジュール２１からの測定データを使用する構成でもよい。

【0060】

（３）前述の実施の形態では、センサモジュール２１から取得できる１０個の歩行パラメータ（歩容指標ともいう）を歩行データとして使用したが、３軸加速度センサおよび３軸角速度センサから導出される歩行データであれば、どのようなデータであってもよく、３軸加速度センサおよび３軸角速度センサの値そのものであってもよい。

【0061】

（４）前述の実施の形態では、全身姿勢を推定する動作の対象が歩行動作であると説明したが、全身が連動する動作（たとえば、ランニングのような協調運動（locomotion））であれば同様に適用することができる。また、全身が連動する動作以外の特定動作（たとえば、ゴルフのスイングなど周期性を持った動作など）であっても、たとえば、足と腕とにそれぞれセンサモジュール２１を設けて訓練データを作成して、推定モデルを訓練させれば特定動作における全身姿勢を推定することが可能である。

【0062】

（５）前述の実施の形態では、運用フェーズ処理Ｃで推定した歩行時の被測定者Ｐの全身姿勢をディスプレイに画像として表示すると説明したが、画像以外にスピーカから音声として出力したり、振動機構を使って振動として出力したりするなどで被測定者Ｐにフィードバックしてもよい。

【0063】

（６）前述の実施の形態では、スマートシューズ２から取得した歩行データから姿勢データを、ニューラルネットワーク構造を有する推定モデル１３４を用いて回帰したが、ニューラルネットワーク構造以外の他の機械学習の手法を用いてもよい。

【0064】

（７）前述の実施の形態では、姿勢推定装置１０は、スマートシューズ２から取得した歩行データから被測定者Ｐの全身姿勢を推定したが、スマートシューズ２以外のデバイス（たとえば、３軸の加速度センサおよび３軸角速度センサを内蔵したスマートフォン、スマートウォッチなど）から取得した被測定者Ｐの動作の測定データから所定動作時の被測定者Ｐの全身姿勢を推定してもよい。また、姿勢推定装置１０は、スマートシューズ２と、スマートフォン、スマートウォッチなどのデバイスとを組み合わせて被測定者Ｐの動作の測定データから所定動作時の被測定者Ｐの全身姿勢を推定してもよい。

【0065】

（８）前述の実施の形態では、便宜上、訓練データ１３２及び被測定者Ｐの歩行データのいずれもセンサモジュール２１を含むスマートシューズ２を用いて取得すると説明したが、訓練データ１３２と被測定者Ｐの歩行データを取得するセンサは互いに異なっていてもよい。

【0066】

［態様］
（１）本開示に係る姿勢推定装置は、所定動作時の被測定者の全身姿勢を推定する姿勢推定装置であって、
被測定者に取り付けられ、被測定者の少なくとも一箇所の３軸の加速度および３軸の角速度に基づく測定データを取得する少なくとも１つのセンサと、
機械学習により訓練済みの推定モデルを用いて、センサで取得した測定データから所定動作時の被測定者の全身姿勢を推定する演算回路と、
演算回路で推定した被測定者の全身姿勢の推定データを出力する出力装置と、を備え、
推定モデルは、
所定動作時にセンサで取得した測定データと、当該測定データを取得したタイミングの被測定者の全身姿勢を測定した姿勢データとに基づき機械学習による訓練であらかじめ生成される。

【0067】

これにより、本開示に係る姿勢推定装置は、機械学習により訓練済みの推定モデルを用いて、センサで取得した測定データから所定動作時の被測定者の全身姿勢を推定するので、少ない数のセンサで日常的に継続して全身姿勢を把握することが可能となる。

【0068】

（２）（１）に記載の姿勢推定装置であって、推定モデルは、姿勢推定装置を使用する被測定者毎に機械学習による再訓練が行われる。

【0069】

（３）（１）または（２）に記載の姿勢推定装置であって、所定動作は、センサを取り付けた被測定者の箇所の動きに、被測定者の全身が連動する動作である。

【0070】

（４）（１）～（３）のいずれか１項に記載の姿勢推定装置であって、センサは、被測定者が使用する靴に設けられる。

【0071】

（５）（４）に記載の姿勢推定装置であって、センサは、３軸の加速度および３軸の角速度から求めた被測定者の歩行または走行に基づく複数のパラメータを測定データとして取得する。

【0072】

（６）（５）に記載の姿勢推定装置であって、被測定者の歩行または走行に基づく前記複数のパラメータは、ストライド、ピッチ、歩行速度または走行速度、一歩にかかる時間、立脚期期間、遊脚期期間、接地時のつま先角度、プロネーション、最大足高さ、および着地衝撃のうち少なくとも１つのパラメータを含む。

【0073】

（７）本開示に係る姿勢推定システムは、姿勢データを測定する測定装置と、（１）～（６）のいずれか１項に記載の姿勢推定装置と、を備え、
機械学習による推定モデルの訓練を行う際に測定装置で測定した姿勢データを使用する。

【0074】

（８）（７）に記載の姿勢推定システムであって、
測定装置は、モーションキャプチャーカメラであり、
姿勢データは、モーションキャプチャーカメラを用いて取得した骨格座標データである。

【0075】

（９）（８）に記載の姿勢推定システムであって、
骨格座標データを主成分分析により次元圧縮して、機械学習による推定モデルの訓練を行う。

【0076】

（１０）本開示に係る姿勢推定方法は、所定動作時の被測定者の全身姿勢を推定する姿勢推定方法であって、
被測定者に取り付けられた少なくとも１つのセンサから、被測定者の少なくとも一箇所の３軸の加速度および３軸の角速度に基づく測定データを取得するステップと、
機械学習により訓練済みの推定モデルを用いて、センサで取得した測定データから所定動作時の被測定者の全身姿勢を推定するステップと、
推定した被測定者の全身姿勢の推定データを出力するステップと、を含み、
推定モデルは、所定動作時にセンサで取得した測定データと、当該測定データを取得したタイミングの被測定者の全身姿勢を測定した姿勢データとに基づき機械学習による訓練であらかじめ生成される。

【0077】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0078】

１ 演算装置、２ スマートシューズ、３ 測定装置、１０ 姿勢推定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 入力インターフェース、１５ 出力インターフェース、１６ 通信インターフェース、１７ メディア読取装置、１８ リムーバブルディスク、１９ プロセッサバス、２１ センサモジュール、１００ 姿勢推定システム、１３１ 訓練プログラム、１３２ 訓練データ、１３３ 推定プログラム、１３４ 推定モデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】