特開 2022-57540 バイオフィードバックシステム、バイオフィードバック方法、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022057540

(43)【公開日】2022-04-11

(54)【発明の名称】バイオフィードバックシステム、バイオフィードバック方法、及び、コンピュータプログラム

(51)【国際特許分類】

   A61B 5/389 20210101AFI20220404BHJP

【ＦＩ】

A61B5/04 330

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020165854

(22)【出願日】2020-09-30

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和二年度、国立研究開発法人科学技術振興機構、研究成果展開事業、センター・オブ・イノベーションプログラム『運動の生活カルチャー化により活力ある未来をつくるアクティブ・フォー・オール拠点』委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】岡田 志麻

(72)【発明者】

【氏名】田中 孝英

(72)【発明者】

【氏名】小林 達矢

【テーマコード（参考）】

4C127

【Ｆターム（参考）】

4C127AA04

4C127BB03

4C127DD07

4C127GG15

4C127HH06

4C127JJ03

(57)【要約】

【課題】運動負荷以外の要素も考慮してユーザの運動に基づく出力を行うバイオフィードバックシステムを提供する。
【解決手段】バイオフィードバックシステム１００は、ユーザの筋電を測定する筋電センサ３０から入力される筋電信号を用いた演算を実行するバイオフィードバックシステムであって、演算は、入力された筋電信号と他の信号とに基づき、ユーザの運動に応じた出力信号を生成する、ことを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの筋電を測定する筋電センサから入力される筋電信号を用いた演算を実行するバイオフィードバックシステムであって、
前記演算は、
前記入力された筋電信号と他の信号とに基づき、前記ユーザの運動に応じた出力信号を生成する、ことを含む
バイオフィードバックシステム。

【請求項2】

前記他の信号は、前記ユーザの身体の部位の形状の検出結果に基づく信号を含む
請求項１に記載のバイオフィードバックシステム。

【請求項3】

前記部位の形状は、前記部位の角度を含む
請求項２に記載のバイオフィードバックシステム。

【請求項4】

前記他の信号は、特定のリズムを示す信号を含む
請求項１に記載のバイオフィードバックシステム。

【請求項5】

出力データごとに出力条件を予め規定しておき、
前記出力条件は、前記ユーザの動作タイミングの判定基準である前記筋電信号の値の閾値と、前記出力データごとに規定された前記特定のリズムからの前記動作タイミングの許容範囲と、を含む
請求項４に記載のバイオフィードバックシステム。

【請求項6】

前記他の信号は、前記ユーザとは異なる第２のユーザの筋電信号を測定する、前記筋電センサとは異なる第２の筋電センサから得られる第２の筋電信号を含む
請求項１に記載のバイオフィードバックシステム。

【請求項7】

出力データごとに出力条件を予め規定しておき、
前記出力条件は、動作タイミングの判定基準である前記筋電信号の値の閾値と、前記出力データごとに規定された前記第２のユーザの前記動作タイミングからの、前記ユーザの前記動作タイミングの許容範囲と、を含む
請求項６に記載のバイオフィードバックシステム。

【請求項8】

前記出力信号は音声出力を行わせる信号を含む
請求項１～６のいずれか一項に記載のバイオフィードバックシステム。

【請求項9】

ユーザの筋電を測定する筋電センサから入力される筋電信号を用いたバイオフィードバック方法であって、
前記入力された筋電信号と他の信号とに基づき、前記ユーザの運動に応じた出力信号を生成する、ことを含む
バイオフィードバック方法。

【請求項10】

コンピュータに、ユーザの筋電を測定する筋電センサから入力される筋電信号を用いた演算を実行させるコンピュータプログラムであって、
前記演算は、
前記入力された筋電信号と他の信号とに基づき、前記ユーザの運動に応じた出力信号を生成する、ことを含む
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、バイオフィードバックシステム、バイオフィードバック方法、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

例えば、特開２０１１－５６２４３号公報(以下、特許文献１）にも開示されているように、筋電信号を用いたバイオフィードバックシステムが知られている。バイオフィードバックシステムで用いられる筋電信号は、皮膚表面に設置された電極を用いて生体から直接検出される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－５６２４３号公報

【発明の概要】

【0004】

筋電信号の値は、ユーザの運動負荷の測定に用いることができる。しかしながら、運動負荷以外の要素をさらに加えてユーザの運動を評価したい場合もある。

【0005】

本開示は、運動負荷以外の要素も考慮してユーザの運動に基づく出力を行うバイオフィードバックシステム、バイオフィードバック方法、及び、コンピュータプログラムを提供するものである。

【0006】

ある実施の形態に従うと、バイオフィードバックシステムは、ユーザの筋電を測定する筋電センサから入力される筋電信号を用いた演算を実行するバイオフィードバックシステムであって、演算は、入力された筋電信号と他の信号とに基づき、ユーザの運動に応じた出力信号を生成する、ことを含む。

【0007】

他の実施の形態に従うと、バイオフィードバック方法は、ユーザの筋電を測定する筋電センサから入力される筋電信号を用いたバイオフィードバック方法であって、入力された筋電信号と他の信号とに基づき、ユーザの運動に応じた出力信号を生成する、ことを含む。

【0008】

他の実施の形態に従うと、コンピュータプログラムは、コンピュータに、ユーザの筋電を測定する筋電センサから入力される筋電信号を用いた演算を実行させるコンピュータプログラムであって、演算は、入力された筋電信号と他の信号とに基づき、ユーザの運動に応じた出力信号を生成する、ことを含む。

【0009】

更なる詳細は、後述の実施形態として説明される。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係るバイオフィードバックシステムの構成の概略図である。

【図2】図２は、バイオフィードバックシステムに含まれる演算装置の構成を表した概略ブロック図である。

【図3】図３は、パルス生成処理を説明するための図である。

【図4】図４は、音ごとに設定された出力条件を説明するための図である。

【図5】図５は、第１の実施の形態に係るバイオフィードバックシステムでのバイオフィードバック方法を表したフローチャートである。

【図6】図６は、第２の実施の形態に係る演算装置での音認識処理を説明するための図である。

【図7】図７は、第２の実施の形態に係るバイオフィードバックシステムでのバイオフィードバック方法を表したフローチャートである。

【図8】図８は、第３の実施の形態に係る演算装置での音認識処理を説明するための図である。

【図9】図９は、第３の実施の形態に係るバイオフィードバックシステムでのバイオフィードバック方法を表したフローチャートである。

【発明を実施するための形態】

【0011】

＜１．バイオフィードバックシステム、バイオフィードバック方法、及び、コンピュータプログラムの概要＞

【0012】

（１）実施の形態に係るバイオフィードバックシステムは、ユーザの筋電を測定する筋電センサから入力される筋電信号を用いた演算を実行するバイオフィードバックシステムであって、演算は、入力された筋電信号と他の信号とに基づき、ユーザの運動に応じた出力信号を生成する、ことを含む。

【0013】

筋電信号によってユーザの運動負荷が測定される。ここでの運動とは、筋活動を伴う動作を指す。筋電信号と他の信号とに基づき出力信号を識別することによって、運動負荷以外の要素も考慮してユーザの運動に基づく出力を行うことができる。

【0014】

（２）好ましくは、他の信号は、ユーザの身体の部位の形状の検出結果に基づく信号を含む。これにより、運動負荷とユーザの身体の部位の形状とに基づいてユーザの運動に応じた出力を行うことができる。そのため、例えば、適切な運動負荷であり、かつ、適切な部位の形状であるか否か、に基づいた出力が行われる。

【0015】

（３）好ましくは、部位の形状は、部位の角度を含む。これにより、特に適切な角度であるか否か、に基づいた出力が行われる。

【0016】

（４）好ましくは、他の信号は、特定のリズムを示す信号を含む。これにより、運動負荷と特定のリズムとに基づいてユーザの運動に応じた出力を行うことができる。そのため、例えば、適切な運動負荷であること、かつ、特定のリズムとの関係を出力によって知ることができる。

【0017】

（５）好ましくは、出力データごとに出力条件を予め規定しておき、出力条件は、ユーザの動作タイミングの判定基準である筋電信号の値の閾値と、出力データごとに規定された特定のリズムからの動作タイミングの許容範囲と、を含む。これにより、運動負荷と、特定のリズムとに基づいた出力が行われる。

【0018】

（６）好ましくは、他の信号は、ユーザとは異なる第２のユーザの筋電信号を測定する、筋電センサとは異なる第２の筋電センサから得られる第２の筋電信号を含む。これにより、運動負荷と他の筋電センサから得られる筋電信号とに基づいてユーザの運動に応じた出力を行うことができる。そのため、例えば、適切な運動負荷であること、及び、他の筋電センサから得られる筋電信号との関係に基づいた出力が行われる。

【0019】

（７）好ましくは、出力データごとに出力条件を予め規定しておき、出力条件は、動作タイミングの判定基準である筋電信号の値の閾値と、出力データごとに規定された第２のユーザの動作タイミングからの、ユーザの動作タイミングの許容範囲と、を含む。これにより、運動負荷と、ユーザの動作タイミングと第２のユーザの動作タイミングとの関係に基づいた出力が行われる。

【0020】

（８）好ましくは、出力信号は音声出力を行わせる信号を含む。これにより、音声出力によって、運動負荷以外の要素も考慮したユーザの運動に関する情報を知ることができる。

【0021】

（９）実施の形態に係るバイオフィードバック方法は、ユーザの筋電を測定する筋電センサから入力される筋電信号を用いたバイオフィードバック方法であって、入力された筋電信号と他の信号とに基づき、ユーザの運動に応じた出力信号を生成することを含む。これにより、運動負荷以外の要素も考慮してユーザの運動に基づく出力を行うことができる。

【0022】

（１０）実施の形態に係るコンピュータプログラムは、コンピュータに、ユーザの筋電を測定する筋電センサから入力される筋電信号を用いた演算を実行させるコンピュータプログラムであって、演算は、入力された筋電信号と他の信号とに基づき、ユーザの運動に応じた出力信号を生成することを含む。これにより、汎用のコンピュータに（１）～（１２）のバイオフィードバックシステムの演算を実行させることができる。

【0023】

＜２．バイオフィードバックシステム、バイオフィードバック方法、及び、コンピュータプログラムの例＞

【0024】

［第１の実施の形態］

【0025】

本実施の形態に係るバイオフィードバックシステム（以下、システムと略する）１００は、被験者の生体情報として、被験者の行っている運動に応じた出力を行う。ここでの運動とは、筋活動を伴う動作であって、筋電信号によって運動負荷が測定されるものを指す。出力は、出力用のデータ（以下、出力データ）を出力することである。出力データは、例えば、音、画像、バイブレーションなどの所定の動作、これらの組み合わせ、などである。また、音は、言葉を音で表現した音声、言葉を伴わないベル音などの音、及び、その組み合わせ、などを含む。

【0026】

運動に応じた出力は、一例として、運動負荷を表す出力である。運動負荷を表す出力は、一例として、目標運動に対する乖離度合の出力であってもよい。乖離度合は、言い換えると、目標運動に対する一致度合でもある。又は、一致度合と乖離度合との両方であってもよい。これにより、ユーザに乖離度合い、又は、一致度合を報知する。

【0027】

目標運動とは、ある運動について、目標とする運動の状態を指す。運動の状態とは、運動量、運動時の姿勢、動作の速度、などである。運動時の姿勢は運動時の身体の形状であって、例えば、ランニング中の上体の角度、スクワット時の膝の角度などである。

【0028】

運動量や運動姿勢などの運動の状態は、特定の筋肉に対して負荷をかける。例えば、ジョギング中の上体が目標とする角度よりも前傾している場合、人体の背面側の負荷が目標とする角度時の負荷よりも高くなる。そのため、背面側の所定位置の筋電信号を上体が前傾していないか否かの判定に用いることができる。動作の速度についても同様に、筋電信号を判定に用いることができる。

【0029】

システム１００は、例えば介護施設や保育施設などのケア施設における運動を伴うレクリエーション、音楽教室や特別支援教室などにおける、いわゆるリトミックなどと呼ばれる身体動作による音楽教育、集合又は遠隔で行われるフィットネス、音楽などの特定のリズムに合わせて行うダンスや行進などの動作時、などの運動を伴うシーンに用いられることが想定されている。そのようなシーンにおいて、本システム１００は、運動中の被験者の運動と目標運動との一致度合に応じた出力を行う。又は、乖離度合に応じた出力を行ってもよいし、両方に応じてそれぞれの出力を行ってもよい。出力は例えば音声出力であって、一例として、目標運動に一致している場合や、乖離している場合に特定の音声を出力する。又は、一致している場合と乖離している場合とで、それぞれ異なる音声を出力する。

【0030】

図１を参照して、システム１００は、筋電を測定する筋電センサ３０と、筋電センサ３０から入力される筋電信号を用いた演算を実行する演算装置１０と、を含む。演算装置１０は、例えば、スマートフォンなどの端末装置や、コンピュータなどであってよい。

【0031】

筋電センサ３０は、被験者の身体Ｓに取り付け、取り付けられた部位にて身体Ｓの筋電を測定する。筋電センサ３０は、測定部３１と送信部３２とを含む。

【0032】

測定部３１は、図示しない電極を含む。電極は筋電センサ３０の、身体Ｓに装着時に被検者の測定部位に直接接する外周面に配置される。これにより、身体Ｓの表面より筋電が測定される。送信部３２は、測定結果を含む筋電信号を演算装置１０に送信する。好ましくは、送信部３２は演算装置１０と無線通信を行って筋電信号を送信する。

【0033】

システム１００は、さらに、他の信号を演算装置１０に入力する装置を含む。第１の実施の形態に係るシステム１００では、他の信号を演算装置１０に入力する装置は、被験者の身体Ｓの部位の形状を検出する装置である。身体Ｓの部位の形状は、例えば、部位の角度である。角度を示す信号を演算装置１０に入力する装置として、システム１００は、角度センサ５０を含む。

【0034】

角度センサ５０は、被験者の身体Ｓに取り付け、取り付けられた部位の角度を測定する。角度センサ５０は、測定部５１と送信部５２とを含む。測定部５１での角度の測定方法は特定の方法に限定されない。例えば、角度の変化を静電容量の変化として測定するものであってもよい。送信部５２は、測定された角度を示すセンサ信号を演算装置１０に送信する。好ましくは、送信部５２は演算装置１０と無線通信を行ってセンサ信号を送信する。

【0035】

好ましくは、システム１００は、さらに、被験者の身体Ｓに関する測定を行うセンサ７０を含む。身体Ｓに関する測定は、筋電センサ３０での筋電の測定に影響する身体Ｓの環境の測定であって、例えば、身体Ｓの表面の湿度、温度、粗さなどである。このような環境の条件によって筋電センサ３０での筋電の測定が影響を受けるためである。センサ７０は、一例として、湿度センサとする。センサ７０もまた、測定された湿度を示すセンサ信号を演算装置１０に送信する。好ましくは、この送信もまた、無線通信による送信である。

【0036】

演算装置１０は、スマートフォンなどの端末装置や、インターネットなどの通信回線を介して接続されるサーバなどである。図２を参照して、演算装置１０は、プロセッサ１１とメモリ１２とを有するコンピュータで構成される。メモリ１２は、一次記憶装置であってもよいし、二次記憶装置であってもよい。メモリ１２は、プロセッサ１１によって実行されるプログラム１２１を記憶している。

【0037】

メモリ１２は、さらに、後述するプロセッサ１１で実行される処理において用いられる１つまたは複数の閾値を記憶する閾値記憶部１２２を有している。一例として、閾値記憶部１２２には、複数の閾値ＴＨ１，ＴＨ２が記憶されている。また、メモリ１２は、後述するプロセッサ１１で実行される処理において用いられる条件を記憶する条件記憶部１２３を有している。

【0038】

演算装置１０は、さらに、通信装置１３を含む。通信装置１３は、筋電センサ３０や角度センサ５０やセンサ７０と通信する。好ましくは、通信装置１３はこれらセンサと無線通信する。その場合、通信装置１３は、例えば、無線通信モジュールである。通信装置１３は、これらセンサから受信したセンサ信号をプロセッサ１１に入力する。

【0039】

演算装置１０は、さらに、出力装置の一例であるスピーカ１４を含む。スピーカ１４に替えて、又は加えて、ディスプレイを含んでもよい。また、カメラをさらに含み、カメラがセンサ７０として機能してもよい。スピーカ１４はプロセッサ１１に接続され、プロセッサ１１の制御に従って音声出力する。

【0040】

プロセッサ１１は、メモリ１２に記憶されているプログラム１２１を実行することで、筋電センサ３０から入力される筋電信号を用いた演算を実行する。筋電信号を用いた演算は、筋電信号に基づく音声出力をスピーカ１４に行わせる出力信号である音声信号を生成し、スピーカ１４に出力させるための演算である。

【0041】

プロセッサ１１が実行する演算は、パルス生成処理１１１を含む。パルス生成処理１１１は、筋電センサ３０から得られる筋電信号の値を、設定された閾値との比較に基づいてパルス信号に変換する処理である。

【0042】

パルス生成処理１１１について、図３を用いて説明する。パルス生成処理１１１では、設定された閾値として、閾値記憶部１２２に記憶されている閾値を読み出して用いられる。具体的には、パルス生成処理１１１は、筋電センサ３０からの筋電信号の値より得られる波形と、閾値記憶部１２２に記憶されている閾値とを比較し、閾値を超えている期間をオン期間、超えていない期間をオフ期間とすることによって、筋電センサ３０から得られる筋電信号の値をパルス信号に変換する。

【0043】

閾値記憶部１２２に記憶されている閾値は、図２に示されたように、閾値ＴＨ１，ＴＨ２の複数であってもよい。この場合、パルス生成処理１１１では、閾値ＴＨ１，ＴＨ２の少なくとも１つを用いてパルス信号を生成する。以降の説明では、一例として、図３に示されるように、パルス生成処理１１１は、筋電センサ３０からの筋電信号より得られる、波形ＳＧで表されるセンサ値と、閾値記憶部１２２に記憶されている閾値ＴＨ１，ＴＨ２それぞれとを比較するものとする。

【0044】

閾値ＴＨ１，ＴＨ２は、波形Ｍで表される、目標運動の実行時の筋電信号の値の時間変化に基づいて設定されるものである。一例として、閾値ＴＨ１は、図３に示されたように、波形Ｍのピーク値Ｐである。閾値ＴＨ２は、目標運動の実行時の筋電信号の値に基づいて段階的に設けられており、一例として、閾値ＴＨ１の２倍の値である。段階的に複数の閾値が設定されることで、筋電信号によって表される被検者の運動の負荷を段階的に検出できる。

【0045】

なお、他の例として、パルス生成処理１１１では、閾値ＴＨ１，ＴＨ２のうちの１つ（例えば閾値ＴＨ１のみ）を用いてパルス信号を生成してもよいし、閾値ＴＨ１，ＴＨ２のうちの２以上を用いて１つの段階的に変化するパルス信号を生成してもよい。

【0046】

パルス生成処理１１１においてプロセッサ１１は、波形Ｍに対して閾値ＴＨ１を用いて、パルス信号ＰＵ１を生成する。また、閾値ＴＨ２を用いてパルス信号ＰＵ２を生成する。パルス信号ＰＵ１は、波形Ｍのうち、閾値ＴＨ１を超える期間ｔ１１～ｔ１２，ｔ１３～ｔ１４，ｔ１５～ｔ１６，ｔ１７～ｔ１８をオン期間、超えない期間ｔ１２～ｔ１３，ｔ１４～ｔ１５，ｔ１６～ｔ１７，ｔ１８～ｔ１９をオフ期間としたパルス波形である。パルス信号ＰＵ２は、波形Ｍのうち、閾値ＴＨ２を超える期間ｔ２１～ｔ２２，ｔ２３～ｔ２４，ｔ２５～ｔ２６，ｔ２７～ｔ２８をオン期間、超えない期間ｔ２２～ｔ２３，ｔ２４～ｔ２５，ｔ２６～ｔ２７，ｔ２８～ｔ２９をオフ期間としたパルス波形である。

【0047】

筋電センサ３０から入力された筋電信号に基づく波形ＳＧは、一般的に周期ごとの振幅の変化が大きく、最大値などの特定の特徴値の変動が大きい。その点、閾値を用いてパルス信号を生成することで、周期ごとの変動が抑えられる。その結果、波形ＳＧの特徴点を用いるよりも、後述する音識別処理１１２での判定精度を向上させることができる。

【0048】

プロセッサ１１が実行する演算は、音識別処理１１２を含む。音識別処理１１２は、パルス信号に変換された筋電信号と他の信号とに基づいて対応する出力データを識別する、つまり、スピーカ１４に出力させるべき音を識別する処理である。

【0049】

音識別処理１１２について、図４を用いて説明する。音識別処理１１２では、条件記憶部１２３に記憶されている条件を用いる。条件は、出力データ、つまり、音ごとに規定された出力条件であって、条件記憶部１２３には、音の識別データごとに出力条件が記憶されている。第１の実施の形態に係るシステム１００では、出力条件は被験者の身体Ｓの部位の形状である。部位の形状は、例えば角度（関節角度）である。図４の例では、音の識別データとして音の名前ごとに、スクワット運動における膝の角度が出力条件として記憶されている。

【0050】

具体的には、図４を参照して、第１の条件Ｃ１は、角度α１に対して識別データ「ラ」に相当する４４０Ｈｚである音の出力データを対応付けている。第２の条件Ｃ２は、角度α２に対して識別データ「シ」に相当する４９３．８８Ｈｚである音の出力データを対応付けている。第３の条件Ｃ３は、角度α３に対して識別データ「ド」に相当する４９３．８８Ｈｚである音の出力データを対応付けている。なお、角度α１～α３は、それぞれ、１つの角度に限定されず、角度の許容範囲であってもよい。

【0051】

また、条件は１つのみであってもよい。例えば、目標運動とする角度又はその角度の許容範囲のみ、音と対応付けた条件が用意されていてもよい。この場合、目標運動となった場合に音によって通知されることになり、音が出力されないときには目標運動から乖離していることが通知されていることになる。以下の他の実施の形態でも同様である。

【0052】

音識別処理１１２は、パルス生成処理１１１で生成されたパルス信号のオン期間に角度センサ５０からのセンサ信号に示されるセンシング角度を第１の条件Ｃ１～第３の条件Ｃ３それぞれに規定される角度又は角度の許容範囲と比較することを含む。音識別処理１１２においてプロセッサ１１は、センシング角度に相当する角度又は含む許容範囲に該当する条件を識別し、その条件に示されている出力データを出力する音と識別する。

【0053】

プロセッサ１１が実行する演算は、信号生成処理１１３を含む。信号生成処理１１３は、音識別処理１１２によって識別された出力データである音をスピーカ１４に出力させるための音声信号を生成する処理である。

【0054】

プロセッサ１１が実行する演算は、出力制御処理１１４を含む。出力制御処理１１４は、音識別処理１１２で識別された音をスピーカ１４に出力させる制御を行う処理である。具体的に、出力制御処理１１４は、信号生成処理１１３で生成した音声信号をスピーカ１４に渡し、音声信号に基づく音出力を指示する処理である。

【0055】

好ましくは、プロセッサ１１が実行する演算は、さらに、補正処理１１５を含む。補正処理１１５は、被験者の身体Ｓからセンサ７０によって得られる測定値に応じて閾値記憶部１２２に記憶されている閾値ＴＨ１，ＴＨ２を補正する処理である。測定値は、一例として、身体Ｓ表面の湿度である。

【0056】

補正処理１１５は、一例として、予め記憶している補正式にセンサ７０から得られた湿度を代入することによって補正後の閾値ＴＨ１，ＴＨ２を得る処理であってもよいし、実験などによって予め得られている湿度と閾値ＴＨ１，ＴＨ２の補正量との関係に基づいて補正量を得る処理であってもよい。

【0057】

図５を用いて、第１の実施の形態に係るシステム１００でのバイオフィードバック方法について説明する。図５のフローチャートに示されるバイオフィードバック方法は、演算装置１０のプロセッサ１１がプログラム１２１を実行して各処理１１１～１１５を行うことで実現される。

【0058】

本システム１００でのバイオフィードバック方法は、一例として介護施設などで被検者の運動を指導する場合に行われるものであって、図１に示されたように被検者の身体Ｓにセンサ３０，５０，７０を取り付け、スマートフォンなどである演算装置１０と通信可能な状態として行われる。演算装置１０ではプログラム１２１が起動され、処理可能な状態となることで図５の処理が開始される。

【0059】

図５を参照して、プログラム１２１に従う処理を開始すると、プロセッサ１１は、筋電センサ３０からの筋電信号の入力を受け付ける（ステップＳ１０１）。ステップＳ１０１は、通信装置１３が受信した、筋電センサ３０から無線通信で送信される筋電信号を、通信装置１３から受け取ることであってもよいし、すでに受け取ってメモリ１２に記憶されている筋電信号をメモリ１２から読み出すことであってもよい。

【0060】

また、プロセッサ１１は、角度センサ５０から角度を表すセンサ信号の入力を受け付ける（ステップＳ１０３）。角度センサ５０からのセンサ信号もまた、メモリ１２に記憶されていてもよい。なお、角度センサ５０からのセンサ信号は、筋電信号との時間的な関係を示すデータに関連付けられている。一例として、筋電信号と角度センサ５０からのセンサ信号とのいずれも、測定時を示すタイムスタンプが付加されている。これにより、後の処理において筋電信号とセンシング角度との時間的な関係を用いることができる。

【0061】

プロセッサ１１は、ステップＳ１０１で入力した筋電信号からパルス信号を生成する（ステップＳ１０７）。ステップＳ１０７でのパルス信号の生成は、言い換えると、音を出力させるか否かの第１の判定、つまり、音を出力させる期間とさせない期間との判別に相当する。このとき、プロセッサ１１は、閾値記憶部１２２から記憶されている閾値ＴＨ１，ＴＨ２を読み出して、図３に示されたように用いる。

【0062】

好ましくは、プロセッサ１１は、ステップＳ１０７でパルス信号を生成するにあたって、用いる閾値ＴＨ１，ＴＨ２を、被験者の身体Ｓ表面の湿度など、身体Ｓから測定された値を用いて補正する（ステップＳ１０５）。これにより、ステップＳ１０７で生成されるパルス信号の精度を向上させることができる。なお、以降の第２、第３の実施の形態に係るバイオフィードバック方法においても、同様に補正を行ってもよい。

【0063】

ステップＳ１０７でパルス信号が生成されると、プロセッサ１１は、ステップＳ１０３で角度センサ５０から入力したセンサ信号に示されるセンシング角度を用いて音を識別する（ステップＳ１０９）。ステップＳ１０９での音の識別は、言い換えると、出力させる音を判定する第２の判定、つまり、出力させる音を決定することに相当する。ステップＳ１０９でプロセッサ１１は、条件記憶部１２３に記憶されている条件を読み出して、ステップＳ１０７で生成したパルス信号のオン期間において測定されたセンシング角度が許容範囲となっている音を識別する。

【0064】

ステップＳ１０９で音が識別されると、プロセッサ１１は、識別された音を出力させるための音声信号を生成する（ステップＳ１１１）。プロセッサ１１、スピーカ１４に音声信号を渡して出力を指示することで、スピーカ１４からの音出力を行わせる（ステップＳ１１３）。

【0065】

以上のバイオフィードバック方法によって本システム１００では、被験者の身体Ｓから得られた筋電信号をパルス信号化して演算に用いることで、筋電信号の値から得られる特徴量を用いるよりも、演算への筋電信号の値の変動の影響を抑えることができる。そのため、筋電信号の値に基づいてユーザの運動に応じた音を出力させることができる。

【0066】

また、以上のバイオフィードバック方法によって本システム１００では、筋電信号に加えて身体Ｓの形状の検出結果に基づいた音を出力することができる。たとえ負荷の高い運動を行っていても、その運動が目標運動とする身体の形状とは異なる場合がある。例えば、図４の例において、スクワット時の目標運動の膝の角度が条件Ｃ２で表された角度α２であるとする。この場合、運動の負荷が目標運動の負荷以上で、かつ、膝の角度が角度α２であると、「シ」の音がスピーカ１４から出力される。そのため、ユーザは、「シ」の音を聞くことで被検者のスクワットが目標運動に近いことを知ることができる。

【0067】

膝の角度が角度α２より大きかったり（条件Ｃ１）、小さかったり（条件Ｃ２）する場合、たとえ運動の負荷が目標運動の負荷以上であっても、目標運動の形状から乖離している。その場合、ユーザは、「シ」以外の「ラ」や「ド」の音を聞くことになり、音によって被験者のスクワットが目標運動から乖離していることを知ることができる。

【0068】

［第２の実施の形態］

【0069】

他の信号の他の例として、特定のリズムを示す信号であってもよい。第２の実施の形態に係るシステム１００では、演算装置１０は、例えば図示しない発振器を含み、又は、接続され、特定のリズムを示す信号の入力を受け付ける。この場合、演算装置１０のプロセッサ１１は、音識別処理１１２において、パルス信号のオン期間において、筋電信号から得られる運動のタイミングと、入力された特定のリズムと、に基づいて出力する音を認識する。

【0070】

詳しくは、図６を参照して、プロセッサ１１は、音識別処理１１２において、一例として、パルス生成処理１１１で生成されたパルス信号のオン期間の開始のタイミングｔ１１、ｔ１３、ｔ１５、ｔ１７を、筋電信号に基づくパルス信号から得られる運動のタイミングとする。プロセッサ１１は、得られた上記のタイミングと、入力された特定のリズムに示されるタイミングＴ１，Ｔ２，Ｔ３，Ｔ４とを比較することによって、それぞれ、時間差ｓ１１～ｓ１４を得る。

【0071】

この場合、条件記憶部１２３に記憶されている条件は、音ごとに、特定のリズムに示されるタイミングからの時間差、又は、時間差の許容範囲を規定している。プロセッサ１１は、時間差ｓ１１～ｓ１４に対応した条件によって規定される音を識別する。

【0072】

図７を用いて、第２の実施の形態に係るシステム１００でのバイオフィードバック方法について説明する。図７を参照して、プログラム１２１に従う処理を開始すると、プロセッサ１１は、筋電センサ３０からの筋電信号の入力を受け付ける（ステップＳ２０１）。また、プロセッサ１１は、リズム信号の入力を受け付ける（ステップＳ２０３）。ステップＳ２０３でプロセッサ１１は、一例として、演算装置１０に搭載された、図示しない発振器からリズム信号の入力を受け付ける。プロセッサ１１は、ステップＳ２０１で入力した筋電信号からパルス信号を生成する（ステップＳ２０７）。

【0073】

第２の実施の形態に係るバイオフィードバック方法では、プロセッサ１１は、ステップＳ２０７で生成したパルス信号のオン期間の特定のタイミングから、被験者の運動のタイミングを識別する。一例として、運動のタイミングをパルス信号のオン期間の開始時ｔ１１、ｔ１３、ｔ１５、ｔ１７とする。

【0074】

ステップＳ２０７でパルス信号が生成されると、プロセッサ１１は、ステップＳ２０３で入力したリズム信号に示されるリズムに基づいて音を識別する（ステップＳ２０９）。ステップＳ２０９でプロセッサ１１は、パルス信号から得られた運動のタイミングと、リズム信号に示されるリズムとを比較して、時間差ｓ１１～ｓ１４を得る。そして、プロセッサ１１は、条件記憶部１２３に記憶されている条件の音ごとに規定する時間差の許容範囲のうちの、得られた時間差ｓ１１～ｓ１４を含む許容範囲が規定されている音を識別する。

【0075】

ステップＳ２０９で音が識別されると、プロセッサ１１は、識別された音を出力させるための音声信号を生成する（ステップＳ２１１）。プロセッサ１１、スピーカ１４に音声信号を渡して出力を指示することで、スピーカ１４からの音出力を行わせる（ステップＳ２１３）。

【0076】

以上のバイオフィードバック方法によって第２の実施の形態に係るシステム１００では、筋電信号に加えて、特定のリズムに対する一致度合に応じて音を出力することができる。この場合の運動としては、例えば、ダンスなどの、音楽に合わせた動きが必要な運動が挙げられる。

【0077】

このような運動においては、たとえ負荷の高い運動を行っていても、その運動が目標運動とするリズムに一致していないと目標運動とは乖離している。この点、本システム１００では、被験者の運動のタイミングのリズムからの乖離度合に応じた音が出力される。すなわち、音楽から得られたリズムに一致していたらそれを表す音がスピーカ１４から出力される。逆に、リズムに一致していなかったらそれを表す音がスピーカ１４から出力される。そのため、ユーザは、音によって被検者の運動のタイミングのリズムからの乖離度合を知ることができる。

【0078】

［第３の実施の形態］

【0079】

他の信号の他の例として、他の筋電センサからの筋電信号であってもよい。第３の実施の形態に係るシステム１００では、演算装置１０は、筋電センサ３０とは異なる、図示しない他の筋電センサからの筋電信号の入力を受け付ける。

【0080】

この場合、演算装置１０のプロセッサ１１は、音識別処理１１２において、パルス信号のオン期間において、筋電信号から得られる運動のタイミングと、入力された他の筋電センサからの筋電信号から得られる運動のタイミングと、に基づいて出力する音を識別する。

【0081】

詳しくは、図８を参照して、プロセッサ１１は、パルス生成処理１１１において、筋電センサ３０から得られた筋電信号ＳＧ１からパルス信号ＰＵ１を生成するとともに、他の筋電センサから得られた筋電信号ＳＧ２から、同様にしてパルス信号ＰＵ３を生成する。ここで用いられる閾値ＴＨ１は、同一の閾値であってもよいし、筋電センサを取り付けた被験者や部位に応じた異なる閾値であってもよい。

【0082】

プロセッサ１１は、音識別処理１１２において、一例として、パルス生成処理１１１で生成されたパルス信号ＰＵ１のオン期間の開始のタイミングｔ１１、ｔ１３、ｔ１５、ｔ１７を、パルス信号ＰＵ１から得られる運動のタイミングとする。同様に、パルス信号ＰＵ３のオン期間の開始のタイミングｔ３１、ｔ３３、ｔ３５、ｔ３７を、パルス信号ＰＵ３から得られる運動のタイミングとする。そして、プロセッサ１１は、タイミングｔ１１、ｔ１３、ｔ１５、ｔ１７を、それぞれ、タイミングｔ３１、ｔ３３、ｔ３５、ｔ３７と比較する。プロセッサ１１は、タイミングｔ１１、ｔ１３、ｔ１５、ｔ１７とタイミングｔ３１、ｔ３３、ｔ３５、ｔ３７とを比較することによって、それぞれ、時間差ｓ２１～ｓ２４を得る。

【0083】

この場合、条件記憶部１２３に記憶されている条件は、音ごとに、２つの筋電信号それぞれから得られた運動のタイミングの時間差、又は、時間差の許容範囲を規定している。プロセッサ１１は、時間差ｓ２１～ｓ２４に対応した条件によって規定される音を識別する。

【0084】

図９を用いて、第３の実施の形態に係るシステム１００でのバイオフィードバック方法について説明する。図９を参照して、プログラム１２１に従う処理を開始すると、プロセッサ１１は、筋電センサ３０からの筋電信号の入力を受け付けるとともに（ステップＳ３０１）、他の筋電センサからも筋電信号の入力を受け付ける（ステップＳ３０３）。プロセッサ１１は、ステップＳ３０１，Ｓ３０３で入力した筋電信号からそれぞれパルス信号ＰＵ１，ＰＵ３を生成する（ステップＳ３０７）。

【0085】

ステップＳ３０７でパルス信号ＰＵ１，ＰＵ３が生成されると、プロセッサ１１は、ステップＳ３０７で生成した両パルス信号ＰＵ１，ＰＵ３に基づいて音を識別する（ステップＳ３０９）。

【0086】

第３の実施の形態に係るバイオフィードバック方法では、プロセッサ１１は、ステップＳ３０７で生成したパルス信号ＰＵ１，ＰＵ３のそれぞれのオン期間の特定のタイミングから運動のタイミングを識別する。一例として、パルス信号ＰＵ１から得られる運動のタイミングをｔ１１、ｔ１３、ｔ１５、ｔ１７、パルス信号ＰＵ３から得られる運動のタイミングをｔ３１、ｔ３３、ｔ３５、ｔ３７とする。

【0087】

ステップＳ３０９でプロセッサ１１は、タイミングｔ１１、ｔ１３、ｔ１５、ｔ１７とタイミングｔ３１、ｔ３３、ｔ３５、ｔ３７とを比較することによって、それぞれ、時間差ｓ２１～ｓ２４を得る。そして、プロセッサ１１は、条件記憶部１２３に記憶されている条件の音ごとに規定する時間差の許容範囲のうちの、得られた時間差ｓ２１～ｓ２４を含む許容範囲が規定されている音を識別する。

【0088】

ステップＳ３０９で音が識別されると、プロセッサ１１は、認識された音を出力させるための音声信号を生成する（ステップＳ３１１）。プロセッサ１１、スピーカ１４に音声信号を渡して出力を指示することで、スピーカ１４からの音出力を行わせる（ステップＳ３１３）。

【0089】

以上のバイオフィードバック方法によって第３の実施の形態に係るシステム１００では、運動負荷と、複数の筋電信号で得られる運動のタイミングの一致度合と、に応じて音を出力することができる。

【0090】

使用方法の一例は、複数の被験者それぞれの身体に筋電センサを取り付け、それぞれの筋電信号を用いた演算を演算装置１０で行うものである。この場合、システム１００では、被験者による運動のタイミングの、他のユーザの運動のタイミングへの一致度合に応じて音が出力される。この場合の運動としては、ダンスや行進などタイミングを合わせた運動が想定される。

【0091】

使用方法の他の例は、同一の被験者の身体Ｓの複数個所に筋電センサを取り付け、それぞれの筋電信号を用いた演算を演算装置１０で行うものである。この場合、システム１００では、同一の被験者による運動において、対象となる部位の運動タイミングの他の部位の運動のタイミングへの一致度合に応じて音が出力される。この場合の運動としては、身体の複数部位の関連したタイミングでの動きが必要となる運動であって、例えば、運動のフォームや、ダンスの振り付けなどである。

【0092】

このような運動においては、たとえ負荷の高い運動を行っていても、その運動のタイミングが目標運動とするように他のユーザの運動のタイミングや、他の部位の運動のタイミングに一致していないと目標運動とは乖離している。この点、本システム１００では、被験者の運動の目標運動からの乖離度合に応じた音が出力される。すなわち、他のユーザや他の部位の運動のタイミングに一致していたらそれを表す音がスピーカ１４から出力される。逆に、他のユーザや他の部位の運動のタイミングに一致していなかったらそれを表す音がスピーカ１４から出力される。そのため、ユーザは、音によって被検者の運動のタイミングの他のユーザや他の部位の運動のタイミングからの乖離度合を知ることができる。

【0093】

＜３．付記＞
開示された演算装置１０の処理は、上の説明ではプロセッサ１１がプログラム１２１を実行することによって実現されるものとしているが、少なくとも一部が回路素子その他のハードウェアによって実現されてもよい。

【0094】

演算装置１０での処理を実現するプログラム１２１は、コンピュータ読取り可能である非一時的な記録媒体に記録されたプログラム製品として提供されてもよい。又は、プログラム１２１は、ネットワークを介したダウンロードによって提供されてもよい。

【0095】

演算装置１０での処理を実現するプログラム１２１は、演算装置１０での処理のためのプログラムコードを有する。プログラム１２１は、プログラム１２１が格納されたメモリ１２に接続されたプロセッサ１１によって読み取られ、実行される。

【0096】

演算装置１０での処理を実現するプログラム１２１は、アプリケーションプログラムとして提供されてもよいし、その一部または全部が、コンピュータのオペレーティングシステム（ＯＳ）に含まれていてもよい。

【0097】

本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0098】

１０ ：演算装置
１１ ：プロセッサ
１２ ：メモリ
１３ ：通信装置
１４ ：スピーカ
３０ ：筋電センサ
３１ ：測定部
３２ ：送信部
５０ ：角度センサ
５１ ：測定部
５２ ：送信部
７０ ：センサ
１００ ：システム
１１１ ：パルス生成処理
１１２ ：音識別処理
１１３ ：信号生成処理
１１４ ：出力制御処理
１１５ ：補正処理
１２１ ：プログラム
１２２ ：閾値記憶部
１２３ ：条件記憶部
Ｃ１ ：第１の条件
Ｃ２ ：第２の条件
Ｃ３ ：第３の条件
Ｍ ：波形
Ｐ ：ピーク値
ＰＵ１ ：パルス信号
ＰＵ２ ：パルス信号
ＰＵ３ ：パルス信号
Ｓ ：身体
ＳＧ ：波形
ＳＧ１ ：筋電信号
ＳＧ２ ：筋電信号
Ｔ１ ：タイミング
Ｔ２ ：タイミング
Ｔ３ ：タイミング
Ｔ４ ：タイミング
ＴＨ１ ：閾値
ＴＨ２ ：閾値
ｓ１１ ：時間差
ｓ１２ ：時間差
ｓ１３ ：時間差
ｓ１４ ：時間差
ｓ２１ ：時間差
ｓ２２ ：時間差
ｓ２３ ：時間差
ｓ２４ ：時間差
ｔ１１ ：タイミング
ｔ１２ ：タイミング
ｔ１３ ：タイミング
ｔ１４ ：タイミング
ｔ１５ ：タイミング
ｔ１６ ：タイミング
ｔ１７ ：タイミング
ｔ２１ ：タイミング
ｔ２２ ：タイミング
ｔ２３ ：タイミング
ｔ２４ ：タイミング
ｔ２５ ：タイミング
ｔ２６ ：タイミング
ｔ２７ ：タイミング
ｔ３１ ：タイミング
ｔ３３ ：タイミング
ｔ３４ ：タイミング
ｔ３５ ：タイミング
ｔ３６ ：タイミング
ｔ３７ ：タイミング
α１ ：角度
α２ ：角度
α３ ：角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】