特開 2020-168120 動作評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-168120(P2020-168120A)

(43)【公開日】2020年10月15日

(54)【発明の名称】動作評価システム

(51)【国際特許分類】

   A63B 71/06 20060101AFI20200918BHJP

   A63B 69/00 20060101ALI20200918BHJP

   A61H 99/00 20060101ALI20200918BHJP

【ＦＩ】

   A63B71/06 E

   A63B71/06 K

   A63B69/00 B

   A61H99/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【全頁数】6

(21)【出願番号】特願2019-70260(P2019-70260)

(22)【出願日】2019年4月1日

(71)【出願人】

【識別番号】318006033

【氏名又は名称】山下 克宏

(72)【発明者】

【氏名】山下 克宏

【テーマコード（参考）】

4C046

【Ｆターム（参考）】

4C046AA47

4C046BB01

4C046EE04

4C046EE25

(57)【要約】

【課題】
リハビリ後の運動機能回復程度やダンスパフォーマンスの正確性を簡便に定量化評価する方法の開発
【解決手段】
お手本となる動作者の加速度センサーデータを参照データとし、評価対象となる加速度センサーデータとの一致度で運動機能やパフォーマンスの評価をする。この際に、音楽やリズムに合わせて動作する運動やダンスパフォーマンスを前提とし、その音源に加速度センサーデータ取得のトリガー音を合成しておき、そのトリガー音を高速フーリエ変換で検出して加速度センサーデータ取得を行うことで参照データと評価対象データの同時性を担保する運動や動作の質を定量評価するシステム
【選択図】なし

【特許請求の範囲】

【請求項1】

加速度センサーを用いる動作評価システムにおいて、参照となる加速度センサーデータとの一致度で評価することを特徴とする動作評価システム

【請求項2】

加速度センサーデータ取得のタイミングが、所定の音声情報と同期して取得されることを特徴とする請求項１に記載の動作評価システム

【請求項3】

加速度センサーデータ取得のタイミングが、音声情報の周波数解析をもとに決定されることを特徴とする請求項２に記載の動作評価システム

【請求項4】

加速度センサーデータ取得のタイミングを決定する音声情報が、１０，０００Hzから５０，０００Hzの範囲の周波数の音であることを特徴とする請求項３に記載の動作評価システム

【請求項5】

加速度センサーと音声解析システムが一体のデバイスであることを特徴とする請求項２から４に記載の動作評価システム

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、加速度センサーを用いた動作評価システムに関するものであり、評価のアルゴリズムとして、お手本となる参照の加速度センサーデータとの一致度の比較によって対象となる動作の評価を実施するシステムである。

【背景技術】

【0002】

人間の動作・運動を評価することは様々な分野で行われている。例えばオリンピックにおいては、体操競技、新体操、シンクロナイズドスイミング、トランポリン、フィギュアスケート等の競技が、採点基準はあるにせよ最終的には主観的な評価で採点されている。ダンスパフォーマンスなどの評価も同様である。また、医療の分野ではリハビリによる回復度の評価は診療報酬額にも関わり、客観的で再現性のある評価が求められ、明文化された基準がある。しかしながら評価者の主観的尺度に影響されるものであるし、評価者の負担も大きく評価の頻度を上げることは難しい。リハビリの成果を定量化することは、リハビリのモチベーションを高めることにも繋がり、さらには有効なリハビリ方法を選別し、普及させていくことに役立つと考えられ、簡便で有効かつ低コストな評価方法が求められていた。

【0003】

しかしながら機器計測等を用いてリハビリの成果を客観的に定量評価することは、少なくとも一般的な病院、介護施設では行われていない。その理由は、リハビリの多忙な現場においては日常的に使用可能な簡便かつ有効な機器計測・定量評価手法が確立されていないためと考えられる。
動作・運動を機器計測する方法としては、特許文献１や非特許文献１では3次元のレーザーセンサーで関節位置を計測し、解析する方法が用いられている。関節の位置を３次元で計測するため、データの解釈は比較的容易であるが、計測が大掛かりになること、データから動作や運動の定量的評価に結び付けるにはさらなる検討が必要である。

【0004】

動作・運動を計測する別の手段としては、加速度センサーを利用する方法が知られている。非特許文献２では、関節疾患の術後リハビリに対する歩行介助ロボットの有効性を調べる方法として、加速度センサーを用いて歩行の分析を行っている。加速度センサーは近年のMEMS技術の発達により比較的安価に入手できるようになったが、加速度センサーのデータは主観的に得られる位置情報データとは異なり、位置情報の時間変化の２回微分の値であるため、位置情報に変換するための積分過程で誤差が伴い、蓄積していくことが問題である。この誤差を修正するための工夫が様々に検討されているが、未だ十分ではない。一方、加速度データそのものを評価対象とすれば、誤差の蓄積の問題は全く生じないが、加速度データそのものをどう評価すればよいのかのアルゴリズムがなく、これまでは有効な評価手法・システムが確立されていなかった。

【0005】

本発明は、運動計測において比較的安価な加速度センサーを用い、その加速度センサーのデータそのものを運動・動作の定量評価に結び付けるシステムおよびアルゴリズムの開発にかかわる。

【0006】

【特許文献1】特開2007-018388

【特許文献2】特開2012-212245

【非特許文献1】桝井昇一ほか、３Dセンシングがスポーツを変える。電子情報通信学会誌、Vol.100, No.11, p1182-1188

【非特許文献2】小林哲平ほか、加速度センサを用いた運動学的歩行分析システムー股関節疾患の術後リハビリにおけるWalk-Mate有効性評価への適用ー 計測自動制御学会論文集、Vol.42, No.5, p567-576

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、加速度センサーデータを用いた簡便な動作の質の定量化システムの開発である。
本発明のポイントは、お手本となる動作を行った人の加速度センサーデータを参照データとし、評価対象である人の行った動作の加速度データとお手本の加速度データとの一致度合いで評価することである。この方法では、どのような加速度データが評価の高い加速度データなのかは全く考慮する必要がない。何を参照データとするか、だけ決めればよいことになる。
しかし、参照の加速とセンサーデータと、評価対象の人の加速度センサーデータの同時性、すなわち、ある時間に同じ動作をすることが決められていて、その時間に合わせて加速度データが取得されていること、が極めて重要なカギとなる。

【0008】

これを実現するために、本発明では、運動・動作を音楽、リズムに合わせて行うものとし、音楽・リズムと一緒に加速度センサーを同期させることが必要である。
スマートフォンのように音楽の再生機能と加速度センサーを同一のデバイスで有する場合に、音楽の再生に合わせて加速度センサーデータ取得を開始する方法が、好ましい形態の１つである。
また、別の好ましい形態としては、音声情報をトリガーとして加速度データ取得を開始する方法である。この場合には音楽・リズムの再生は、加速度センサーと同一デバイスで行ってもよいが、好ましくは外部のデバイスで再生することである。音声情報を加速度センサーデータ取得のトリガーとする方法としては、（データ取得を開始させる）信号（トリガー音）を音源に埋め込むことが好ましい。
例えば、もともとの音楽に特徴的な音（周波数）を検知して、加速度データ取得を開始する方法もありうるが、好ましくは人間に聞こえにくい周波数の音をもともとの音源に合成しておくことである。人間に聞こえにくい周波数とは1から５０Hzくらいの低周波数か、５０００Hzを超えるような高周波数の音のことをいう。加速度センサーにトリガーをかけることが目的であり、時間分解能が高いほうが好ましいため、高周波数側の方が好ましい。また、一般的な音響設備で再生できることが好ましいため、１５０００Hzから２２０００Hzの周波数が好ましく、特に好ましくは音響機器の規格範囲である１９０００Hzから２００００Hzである。一方、ハイレゾ音源の場合にはさらに高周波数の音の再生を保証しているため、それらの音響設備を前提により高い周波数音をトリガー音とすることも好ましい。

【0009】

トリガー音の持続時間には制限はないが、音として検知しない周波数であっても敏感な人は不快に感じる可能性があるため、３秒以下にとどめることが好ましい。さらに好ましくは１秒以下であり、特に好ましくは０．１秒以下である。また、トリガー音の検出の精度を確保するため、一定以上の持続が必要であり、好ましくは、０．００１秒以上、特に好ましくは０．０１秒以上持続させることである。
トリガー音は、音源の中に１か所入っていればよいが、複数個所に入れておくことも好ましい。これは音源が複数の動作・運動に対応しており、音楽の途中から動作・運動を実施することも想定されるからである。この場合には、すべて同じ周波数のトリガー音でもよいし、音楽の位置を区別するために、周波数を変更することも好ましい方法である。
また、音源中に複数のトリガー音を導入し、音源再生と加速度センサーデータとの時間的なズレを修正することも好ましい方法である。

【0010】

トリガー音を検知する方法は、高速フーリエ変換が好ましい。高速フーリエ変換はよく知られたアルゴリズムであり、このこと自体には新規性はないが、トリガー音を受けてから可能な限り早く加速度センサーデータ取得にトリガーをかけることが重要であり、音声処理（高速フーリエ変換処理）がコンピュータのハードウエアに近い低レベルソフトウエアで実施され、かつ音声処理を行う演算機能部分と音声入力デバイス（マイク）および加速度センサーが一体となったデバイスであることがより好ましい。例えばスマートフォンはこれに相当するデバイスであり、上記の機能が一体となったウエアラブルデバイスも該当する。

【0011】

本発明においては、音声の取得（マイク）、トリガー音の検出（高速フーリエ変換）およびトリガー音判別（高速フーリエ変換結果からトリガーを判別するアルゴリズム）を一体として、音声解析システムという。音声解析システムは加速度センサーを含むデバイスと別に構築してもよいが、好ましくは加速度センサーと同一のデバイスに構築されることである。

【0012】

本発明の重要なポイントは、音楽に合わせて動作した加速度データを、比較できるように時間的に正確に記録することである。デバイスごとに加速度データのサンプリング時間がずれてしまってはこの目的は達せられない。このために、加速度データのサンプリング時間（設定時間ではなく実際に取得している時間間隔）でデバイス間の補正を行うことが好ましい。例えば、設定値としてサンプリング時間０．１秒で加速度データ取得を行っても、実際の１００秒間の測定で、１００００回のデータ取得が行われるとは限らない。実際に加速度データ取得のサンプリング時間にはデバイスごとの癖があり、測定前にこの補正をすることが好ましい。

【0013】

参照データは、評価対象者のデータ取得に先だって行われてもよいし、全く同時に取得してもよいし、場合によっては評価対象者のデータ取得の後に行っても構わない。また、あらかじめ参照データとして決める必要もなく、データ取得後のデータ解析の段階で参照データとして用いて解析してもよい。
動作の加速度データを取得するデバイスは、本システム用に構成された加速度センサーシステムでもよいが、好ましくはスマートフォンやスマートウオッチ等に内蔵される加速度センサーである。スマートフォンの場合はスマートフォンを手に保持して動作するのが好ましい。
別の好ましい形態としては、加速度センサーを身体や衣服に装着することであり、複数個所の加速度センサーデータを用いることで動作評価の精度を高めることも好ましい。

【0014】

本発明においては、音源（音響発生装置及び音楽ソフト）がスマートフォンやスマートウオッチに内蔵されることが一つの好ましい形態である。音楽ソフトがスマートフォンやスマートウオッチに内蔵されるとは、インターネット経由でストリーミング再生される音楽および映像等も含まれる。
また別の好ましい形態は、音楽がスマートフォンやスマートウオッチに内蔵されておらず、ライブ会場等の複数人が同時に聞くことのできる音響に対して手本となる動作者と評価対象者が同時に動作することにより、そのデータの一致性を評価することも可能である。

【0015】

本発明において、音声トリガーを導入した音源は、いかなる形で再生されてもかまわないが、ダンス等の動画と一緒に再生されることが好ましい。

【0016】

参照データと評価対象者データとの一致性の評価を行うプログラムは、加速度データを取得するスマートフォンやスマートウオッチなどに内蔵してもよいし、インターネットを介したサーバー（クラウド）上においても構わない。スマートフォンやスマートウオッチに内蔵のプログラムで評価を行う場合は、参照データをライブラリからダウンロードするなどして、スマートフォンやスマートウオッチに保持しておくことが必要となる。別の好ましい形態としては、教師データと評価対象者データとの一致性の評価をサーバー（クラウド）上で行うことである。

【0017】

教師データと評価対象者データとの一致性の評価方法は限定されないが、好ましい１つの例を以下に示す。
教師データとなる加速度データ（３次元データ）をfx(t)、fy(t)、fz(t)、評価対象となるデータをgx(t)、gy(t)、gz(t)に対して、
hx(t) = (gx(t) - fx(t))^2
hy(t) = (gy(t) - fy(t))^2
hz(t) = (gz(t) - fz(t))^2
を評価値として設定する。加速度データが完全に一致すれば0であり最高パフォーマンス点、静止状態のgx(t)、gy(t)、gz(t)（定数）を代入した際のhx(t)、hy(t)、hz(t)を最低パフォーマンス点として、実施されたパフォーマンスを得点化することができる。

【産業上の利用可能性】

【0018】

本発明は様々な分野で利用することが可能である。例えばエンターテイメント分野では、振り付けやダンスの正確性を評価するスマートフォンのアプリケーションや、コンサートやカラオケ等において、複数人が同一の動作を模倣する際にその動作の正確性を評価し提示するシステムなどとして利用可能である。またヘルスケア分野では、所定の動作の実施有無やその正確性に関する評価結果を元に健康管理や指導を行うなどの利用が考えられる。

【実施例1】

【0019】

本発明にて採用したシステムの構成は以下のとおりであるが、スマートフォンの機種や音楽プレーヤー、音楽ソフト等は本発明の機能を有するものであればいかなるものであっても実施可能である。
参照加速度データの取得
（１） 加速度センサー：スマートフォン内蔵の加速度センサー
（２） 音響発生装置：上記スマートフォン内蔵のMP3プレーヤー
（３） 音楽ソフト：ラジオ体操第一のmp3ファイル。（無償公開版）
（４） 手本となる体操実演者が（１）のスマートフォンを右手に持ち、（３）の音楽に合わせてラジオ体操を行い、加速度センサーデータを１００ミリ秒間隔で取得し、ネットワーク上に保存する。
評価対象者の加速度データ取得および評価
（５） （４）の参照加速度データおよび（３）の音楽ソフトを評価対象者のスマートフォンにダウンロードする。
（６） 評価対象者が（６）のスマートフォンを右手に持ち、音楽に合わせてラジオ体操を行い、同様に１００ミリ秒間隔で加速度データを取得する。
（７） 以下のアルゴリズムで点数付けを行い、結果を表示する。
３次元ベクトルで取得されている加速度データをベクトルの絶対値に変換し、時刻tに置ける教師及び評価対象者の加速度絶対値をそれぞれA(t)、B(t)として、以下の評価にて得点化する。
得点（１００点満点） = ( 1 - {A(t) - B(t)}2 / {A(t)}2) x 100

【実施例2】

【0020】

（１）音源へのトリガー音の導入
動画編集ソフトを用いて、周波数２００００Hzで１秒間のパルス音をダンス動画の開始点に合成する。この動画をDVDに保存する。
（２）トリガー音の検出および加速度センサーデータの取得
低レベルでの音声解析ライブラリを用いて高速フーリエ変換アルゴリズムを作成し、 １８０００Hzに対して２００００Hzのパワーが５０倍となった場合に信号検出とし、４４１００Hzのサンプリング時間で３回連続信号検出した場合に加速度センサーデータの取得を開始する。
（３）加速度センサーの校正
加速度センサーのデータ取得間隔の設定値と実際の取得間隔とのずれを補正するため、測定前に１０秒間加速度センサーデータ取得を行い、その際のデータ数で実取得間隔を決定する。
（４）加速度センサーデータ比較アルゴリズム
３次元の並進加速度、回転、姿勢について、参照データと評価対照データの差の２乗を分子とし、参照データの分散を分母とした値の対数を評価値とする。値が小さいほど参照データに近いパフォーマンスと解釈される。