(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133526
(43)【公開日】2023-09-22
(54)【発明の名称】検出装置および検出方法
(51)【国際特許分類】
A61B 5/11 20060101AFI20230914BHJP
【FI】
A61B5/11 230
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023126669
(22)【出願日】2023-08-03
(62)【分割の表示】P 2019134848の分割
【原出願日】2019-07-22
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】佐野 佑子
(72)【発明者】
【氏名】神鳥 明彦
(57)【要約】
【課題】周期的時系列データについて、より詳細な評価結果を提供する。
【解決手段】周期的時系列データ異常部分検出システム1は、周期的時系列データである全体データ44Aを分割して部分データ45Aを生成し、その部分データ特徴量45Bを算出して、当該部分データ特徴量45Bに基づいて、部分データ45Aの異常を検出した結果である部分データ異常検出結果45Cを表示出力する。このように、異常部分検出システム1は、全体データ44Aを分割した部分データ45A毎に、異常を検出するので、周期的時系列データのどの部分が異常であるのか特定し得る情報を提示することができる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
生体の状態を示す周期的情報を用いて異常を検出する検出装置であって、
前記周期的情報を取得する周期的情報取得部と、
前記周期的情報取得部により取得された周期的情報から、周期に基づいた時系列的な複数の部分情報を生成する部分情報生成部と、
前記生成された時系列的な複数の部分情報の各々について特徴量を算出する部分情報特徴量算出部と、
前記生成された時系列的な複数の部分情報の各々について、該部分情報の特徴量に基づいて異常を検出する処理を行う部分情報異常検出部と、
前記部分情報異常検出部による検出結果に基づいた情報を出力する出力部と、
を備え、
前記部分情報異常検出部は、前記生成された時系列的な複数の部分情報のうち異常であることを検出された部分情報について、前記部分情報が異常であることを検出する元になった特徴量である異常特徴量を示す情報を生成し、
前記出力部は、前記取得された周期的情報と、前記異常が検出された部分情報を示す情報と、前記異常が検出された部分情報に対応した前記異常特徴量と、を出力する、
検出装置。
【請求項2】
請求項1に記載の検出装置において、
前記部分情報異常検出部は、前記異常が検出された部分情報の異常の度合いを生成し、
前記出力部は、前記生成された異常の度合いを出力する、
検出装置。
【請求項3】
請求項1に記載の検出装置において、
前記部分情報異常検出部は、機械学習の一種である1-class Support Vector Machine(SVM)を用いて、前記部分情報の異常を検出する、
検出装置。
【請求項4】
請求項1に記載の検出装置において、
前記部分情報異常検出部は、前記部分情報の特徴量分布の平均を中心とする正規分布を仮定し、前記正規分布の中心からの距離が一定レベルより大きい場合に、当該部分情報を異常と検出する、
検出装置。
【請求項5】
請求項1に記載の検出装置において、
前記周期的情報は、指の閉動作と開動作とを複数回繰り返す指タップ動作に基づく指の動きを表す、
検出装置。
【請求項6】
請求項5に記載の検出装置において、
前記特徴量は、指同士の間の距離、指の総移動距離、両手の指タップ動作の位相差、指タップ動作のマーカーからの遅延時間、指タップ動作の1周期の時間、指の速度、および指の加速度のうち、少なくとも一つを含む、
検出装置。
【請求項7】
生体の状態を示す周期的情報を用いて異常を検出する検出装置で実行する検出方法であって、
前記周期的情報を取得する周期的情報取得ステップと、
前記周期的情報取得ステップで取得した周期的情報から、周期に基づいた時系列的な複数の部分情報を生成する部分情報生成ステップと、
前記部分情報生成ステップで生成した時系列的な複数の部分情報の各々について特徴量を算出する部分情報特徴量算出ステップと、
前記部分情報特徴量算出ステップで算出した時系列的な複数の部分情報の各々についての特徴量に基づいて、前記部分情報生成ステップで生成した時系列的な複数の部分情報の各々について異常を検出する処理を行う部分情報異常検出ステップと、
前記部分情報異常検出ステップで得られた検出結果に基づいた情報を出力する出力ステップと、
を含み、
前記部分情報異常検出ステップは、前記生成された時系列的な複数の部分情報のうち異常であることを検出された部分情報について、前記部分情報が異常であることを検出する元となった特徴量である異常特徴量を示す情報を生成し、
前記出力ステップは、前記取得された周期的情報と、前記異常が検出された部分情報を示す情報と、前記異常が検出された部分情報に対応した前記異常特徴量と、を出力する、
検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理サービス技術に関する。また、本発明は、周期的時系列データの異常部分を検出する検出装置および検出方法を実現するための技術に関する。
【背景技術】
【0002】
ヘルスケア分野・医療分野・介護分野等の分野において、人を対象としたデータ計測を行うシステムが増えている。これらのシステムでは、得られたデータから解析結果を算出してユーザにフィードバックしたりすることで、ユーザに価値のある情報を提供する。上記のデータとしては、周期的な時系列データであることが多い。
【0003】
このようなシステムの一例として、ユーザの指タップ運動の計測・解析によって認知機能や運動機能を簡易的に評価するシステム(指タップ計測解析システム)が挙げられる(例えば特許文献1)。
【0004】
ここで、指タップ運動とは、親指と人差し指を繰り返し開閉する運動である。指タップ運動を計測することで、周期的時系列データが得られる。指タップ運動は、認知症やパーキンソン病等の脳機能障害の有無や重症度によって、その出来が異なることが知られている。上記システムで計測された周期的時系列データの解析結果から、ユーザが有する脳機能障害の早期発見や重症度推定等の評価を行える可能性が指摘されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
指タップ運動の周期的時系列データを解析して得られた評価結果が悪かった場合、その評価結果について、より詳細な結果が得られることが望ましい。
【0007】
本発明の目的は、周期的時系列データについて、より詳細な評価結果を提供することを目的とする。
【0008】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【0009】
前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。
【0010】
一例を挙げるならば、生体の状態を示す周期的情報を用いて異常を検出する検出装置であって、周期的情報を取得する周期的情報取得部と、周期的情報取得部により取得された周期的情報から、周期に基づいた部分情報を生成する部分情報生成部と、部分情報生成部により生成された部分情報の特徴量を算出する部分情報特徴量算出部と、部分情報特徴量算出部により算出された特徴量に基づいて、部分情報生成部により生成された部分情報の異常を検出する部分情報異常検出部と、部分情報異常検出部による検出結果に基づいた情報を出力する出力部と、を備える。
【発明の効果】
【0011】
本発明の技術を用いることにより、周期的時系列データについて、より詳細な評価結果を提供することができる。
【図面の簡単な説明】
【0012】
【
図1】第1実施形態の周期的時系列データ異常部分検出システムを含む、人データ計測システムの構成図である。
【
図2】第1実施形態の周期的時系列データ異常部分検出システムの構成図である。
【
図5】ユーザの手指に運動センサである磁気センサが装着された状態を示す図である。
【
図6】計測装置の運動センサ制御部等の詳細構成例を示す図である。
【
図7】第1実施形態の人データ計測システムにおける処理全体の手順を示すフローチャートである。
【
図10】全体データ特徴量リストの続きを示す図である。
【
図13】異常検出された部分データの例を示す図である。
【
図16】サービスの初期画面であるメニュー画面の例を示す図である。
【
図20】第2実施形態の周期的時系列データ異常部分検出システムを示す図である。
【
図22】サーバがDBに管理するユーザ情報のデータ構成例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態の例を、図面を用いて説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
【0014】
実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0015】
本明細書等における「第1」、「第2」、「第3」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【0016】
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
【0017】
(第1実施形態)
図1~
図18を用いて、第1実施形態の周期的時系列データ異常部分検出システム(検出装置)について説明する。第1実施形態の周期的時系列データ異常部分検出システムは、被験者を計測して得られた周期的時系列データ(生体の状態を示す周期的情報)の中の異常部分を検出する機能を有する。この機能により、高精度に異常部分を検出できる。
【0018】
[人データ計測システム]
図1は、第1実施形態の周期的時系列データ異常部分検出システムを含む、人データ計測システムの構成図である。第1実施形態では、病院や高齢者施設などの施設やユーザ自宅等に、人データ計測システムを有する。人データ計測システムは、周期的時系列データ異常部分検出システム1と、磁気センサ型指タップ運動システムである計測システム2とを有し、それらが通信線を通じて接続されている。計測システムは、計測装置3と端末装置4とを有し、それらが通信線を通じて接続されている。施設内に複数の計測システム2が設けられてもよい。
【0019】
計測システム2は、磁気センサ型の運動センサを用いて手指運動を計測するシステムである。計測装置3には運動センサが接続されている。ユーザの手指にはその運動センサが装着される。計測装置3は、運動センサを通じて手指運動を計測し、時系列の波形信号を含む計測データを得る。端末装置4は、部分データ異常検出結果を含んだ各種の情報を表示画面に表示し、ユーザによる操作入力を受け付ける。第1実施形態では、端末装置4はPCである。
【0020】
周期的時系列データ異常部分検出システム1は、情報処理によるサービスとして、異常部分検出サービスを提供する機能を有する。周期的時系列データ異常部分検出システム1は、その機能として、部分データ異常検出機能を有する。部分データ異常検出機能は、計測システム2で計測された周期的時系列データの中の異常な部位を検出する機能である。
【0021】
周期的時系列データ異常部分検出システム1は、計測システム2からの入力データとして、例えば、周期的時系列データ等を入力する。周期的時系列データ異常部分検出システム1は、計測システム2への出力データとして、例えば、部分データ異常検出結果等を出力する。部分データ異常検出結果には、部分データ異常判定結果の他に、部分データ異常度や部分データ異常特徴量が含まれる。
【0022】
第1実施形態の人データ計測システムは、病院や高齢者施設等の施設及びその被験者等に限らずに、広く一般的な施設や人に適用可能である。計測装置3と端末装置4が一体型の計測システムとして構成されてもよい。計測システム2と周期的時系列データ異常部分検出システム1が一体型の装置として構成されてもよい。端末装置4と周期的時系列データ異常部分検出システム1が一体型の装置として構成されてもよい。計測装置3と周期的時系列データ異常部分検出システム1が一体型の装置として構成されてもよい。
【0023】
[周期的時系列データ異常部分検出システム]
図2は、第1実施形態の周期的時系列データ異常部分検出システム1の構成図である。周期的時系列データ異常部分検出システム1は、制御部101、記憶部102、入力部103、出力部104、通信部105等を有し、それらがバスを介して接続されている。入力部103は、周期的時系列データ異常部分検出システム1の管理者等による操作入力を行う部分である。出力部104は、周期的時系列データ異常部分検出システム1の管理者等に対する画面表示等を行う部分である。通信部105は、通信インタフェースを有し、計測装置3及び端末装置4との通信処理を行う部分である。
【0024】
制御部101は、周期的時系列データ異常部分検出システム1の全体を制御し、Central Processing Unit(CPU)、Read Only Memory(ROM)、Random Access Memory(RAM)等により構成され、ソフトウェアプログラム処理に基づいて、部分データ異常検出等を行うデータ処理部を実現する。制御部101のデータ処理部は、ユーザ情報管理部11、タスク処理部12、全体データ評価部13、部分データ異常評価部14、練習メニュー決定部15、結果出力部16を有する。制御部101は、計測装置3から計測データを入力する機能、計測データを処理して解析する機能、計測装置3や端末装置4へ制御指示を出力する機能、端末装置4へ表示用のデータを出力する機能等を実現する。
【0025】
ユーザ情報管理部11は、ユーザにより入力されたユーザ情報をDB40のユーザ情報41に登録して管理する処理や、ユーザのサービス利用の際に、DB40のユーザ情報41を確認する処理等を行う。ユーザ情報41は、ユーザ個人毎の属性値、利用履歴情報、ユーザ設定情報、等を含む。属性値は、性別、年齢等がある。利用履歴情報は、本システムが提供するサービスをユーザが利用した履歴を管理する情報である。ユーザ設定情報は、本サービスの機能に関してユーザにより設定された設定情報である。
【0026】
タスク処理部12は、運動機能等の解析評価のためのタスクに関する処理を行う部分である。タスクは言い換えると所定の手指運動である。タスク処理部12は、DB40のタスクデータ42に基づいて、端末装置4の画面にタスクを出力する。また、タスク処理部12は、計測装置3で計測されたタスクの計測データ(生体の状態を示す周期的情報)を取得して、全体データ44AとしてDB40に格納する。ここで、全体データとは、所定の時間計測された周期的時系列データの全体を意味している。このように、タスク処理部12(周期的情報取得部)は、生体の状態を示す周期的情報を取得する。
【0027】
全体データ評価部13は、全体データ特徴量算出部13A(周期的情報特徴量算出部)と全体データ評価部13B(周期的情報異常検出部)とを有する。全体データ特徴量算出部13Aは、ユーザの全体データ44Aに基づいて、全体データ44A(周期的時系列データ)の性質を表す特徴量を算出し、全体データ特徴量44BとしてDB40に格納する。全体データ評価部13Bは、全体データDB43を参照しながら全体データ特徴量44Bに基づいて全体データを評価し、全体データ評価結果44CとしてDB40に格納する。
【0028】
部分データ異常評価部14は、部分データ生成部14A(部分情報生成部)、部分データ特徴量算出部14B(部分情報特徴量算出部)、部分データ異常検出部14C(部分情報異常検出部)を含む。部分データ生成部14Aは、全体データ44Aを分割して部分データ45Aを生成し、当該部分データ45AをDB40に格納する。部分データ特徴量算出部14Bは、個々の部分データ45Aに対して特徴量を算出し、部分データ特徴量45BとしてDB40に格納する。部分データ異常検出部14Cは、全体データDB43から得られた部分データを参照しながら部分データ特徴量45Bに基づいて部分データの異常を判定し、部分データ異常検出結果45CとしてDB40に格納する。部分データ異常検出結果45Cには、部分データ異常度45Ca、部分データ異常有無45Cb、部分データ異常特徴量45Ccが含まれる。
【0029】
このように、部分データ異常検出部14Cは、部分データ生成部14Aにより生成された部分情報の異常の度合いと、部分データ生成部14Aにより生成された部分情報が異常であるか否かを示す情報と、及び部分データ生成部14Aにより生成された部分情報が異常であることを検出する元となった特徴量である異常特徴量を示す情報とを生成する。この場合、周期的時系列データ異常部分検出システム1は、部分情報の異常に関する詳細な情報を生成するので、異常が発生した部分を特定できる情報より、さらに詳細な情報を提供することができる。
【0030】
練習メニュー決定部15は、部分データ異常特徴量45Ccから、練習メニューリスト50Cと練習メニュー対応表50Dに基づいて練習メニュー46を決定し、DB40に格納する。このように、練習メニュー決定部15は、部分データ異常検出部14Cにより算出された異常特徴量を改善するための練習メニューを決定する。
【0031】
結果出力部16は、全体データ評価結果44C、部分データ異常検出結果45C、練習メニュー46を、端末装置4の画面に出力する処理を行う。全体データ評価部13および部分データ異常評価部14は、練習メニュー決定部15および結果出力部16と連携して画面出力処理を行う。このように、結果出力部16は、練習メニュー決定部15により決定されたメニューをさらに出力する。この場合、周期的時系列データ異常部分検出システム1は、部分データの異常部分に関する練習メニューを提示するので、当該異常部分を解消するのに役立つ情報を提示することができる。
【0032】
また、結果出力部16は、全体データ評価結果44Cを出力するので、全体としての結果も出力するので、周期的時系列データに基づいて、複数の観点の情報を提供することができる。
【0033】
記憶部102のDB40に格納されるデータや情報として、ユーザ情報41、タスクデータ42、全体データDB43、全体データ44A、全体データ特徴量44B、全体データ評価結果44C、部分データ45A、部分データ特徴量45B、部分データ異常検出結果45C、等を有する。制御部101は、記憶部102に管理表50を保持し管理する。
【0034】
管理者は、管理表50の内容を設定可能である。管理表50は、全体データの特徴量を設定する全体データ特徴量リスト50A、部分データの特徴量を設定する部分データ特徴量リスト50B、練習メニューの候補を設定する練習メニューリスト50C、部分データ異常特徴量45Ccと練習メニューの対応を設定する練習メニュー対応表50D等が格納されている。
【0035】
[計測装置]
図3は、第1実施形態の計測装置3の構成図である。計測装置3は、運動センサ20、収容部301、計測部302、通信部303等を有する。収容部301は、運動センサ20が接続されている運動センサインタフェース部311、運動センサ20を制御する運動センサ制御部312を有する。計測部302は、運動センサ20及び収容部301を通じて、波形信号を計測し、計測データとして出力する。計測部302は、計測データを得るタスク計測部321を含む。通信部303は、通信インタフェースを有し、周囲的時系列データ異常部分検出システム1と通信して計測データを周囲的時系列データ異常部分検出システム1へ送信する。運動センサインタフェース部311は、アナログデジタル変換回路を含み、運動センサ20により検出されたアナログ波形信号を、サンプリングによりデジタル波形信号に変換する。そのデジタル波形信号は、運動センサ制御部312に入力される。
【0036】
なお、計測装置3で各計測データを記憶手段に保持する形態としてもよいし、計測装置3では各計測データを保持せずに周期的時系列データ異常部分検出システム1のみで保持する形態としてもよい。
【0037】
[端末装置]
図4は、第1実施形態の端末装置4の構成図である。端末装置4は、制御部401、記憶部402、通信部403、入力機器404、表示機器405を有する。制御部401は、ソフトウェアプログラム処理に基づいた制御処理として、全体データ評価結果表示、部分データ異常検出結果表示等を行う。記憶部402は、周期的時系列データ異常部分検出システム1から得た、ユーザ情報、タスクデータ、全体データ(周期的時系列データ)、全体データ評価結果、部分データ異常検出結果等を格納する。通信部403は、通信インタフェースを有し、周期的時系列データ異常部分検出システム1と通信して周期的時系列データ異常部分検出システム1から各種データを受信し、周期的時系列データ異常部分検出システム1へユーザ指示入力情報等を送信する。入力機器404は、キーボードやマウス等がある。表示機器405は、表示画面406に各種情報を表示する。なお、表示機器405をタッチパネルとしてもよい。
【0038】
[手指、運動センサ、指タップ計測]
図5は、ユーザの手指に運動センサ20である磁気センサが装着された状態を示す図である。運動センサ20は、計測装置3に接続されている信号線23を通じて、対になるコイル部である、発信コイル部21と受信コイル部22とを有する。発信コイル部21は、磁場を発生し、受信コイル部22は、その磁場を検知する。
図5の例では、ユーザの右手において、親指の爪付近に発信コイル部21が装着されており、人差し指の爪付近に受信コイル部22が装着されている。装着する指は他の指に変更可能である。装着する箇所は爪付近に限らず可能である。
【0039】
図5のように、ユーザの対象手指、例えば左手の親指と人差し指との二指に、運動センサ20を装着した状態とする。ユーザは、その状態で、二指の開閉の繰り返しの運動である指タップを行う。指タップでは、二指を閉じた状態、即ち二指の指先が接触した状態と、二指を開いた状態、即ち二指の指先を開いた状態との間で遷移する運動が行われる。その運動に伴い、二指の指先間の距離に対応する、発信コイル部21と受信コイル部22とのコイル部間の距離が変化する。計測装置3は、運動センサ20の発信コイル部21と受信コイル部22との間の磁場変化に応じた波形信号を計測する。
【0040】
なお、運動センサ20としては、二指の間の距離が計測できれば、磁気センサ以外の他のセンサでもよい。例えば、タブレット端末やタッチパネル式PCに二指を付けて繰り返し開閉させることで二指の距離波形を得てもよい。また、赤外線センサによって手の形状や指先の位置を検出して、二指の距離波形を得てもよい。
【0041】
指タップは、詳しくは以下の各種類のタスクが含まれる。その運動は、例えば、片手フリーラン、片手メトロノーム、両手同時フリーラン、両手交互フリーラン、両手同時メトロノーム、両手交互メトロノーム等が挙げられる。片手フリーランは、片手の二指でできる限り素早く何回も指タップを行うことを指す。片手メトロノームは、片手の二指で一定のペースの刺激に合わせて指タップを行うことを指す。両手同時フリーランは、左手の二指と右手の二指とで同じタイミングで指タップを行うことを指す。両手交互フリーランは、左手の二指と右手の二指とで交互のタイミングで指タップを行うことを指す。他にも、マーカーに追従して行わせる指タップもある。
【0042】
[運動センサ制御部及び指タップ計測]
図6は、計測装置3の運動センサ制御部312等の詳細構成例を示す図である。運動センサ20において、発信コイル部21と受信コイル部22との間の距離Dを示す。運動センサ制御部312は、交流発生回路312a、電流発生用アンプ回路312b、プリアンプ回路312c、検波回路312d、LPF回路312e、位相調整回路312f、アンプ回路312g、出力信号端子312hを有する。
【0043】
交流発生回路312aには、電流発生用アンプ回路312b及び位相調整回路312fが接続されている。電流発生用アンプ回路312bには、信号線23を通じて、発信コイル部21が接続されている。プリアンプ回路312cには、信号線23を通じて、受信コイル部22が接続されている。プリアンプ回路312cの後段には、順に、検波回路312d、LPF回路312e、アンプ回路312g、出力信号端子312hが接続されている。位相調整回路312fには検波回路312dが接続されている。
【0044】
交流発生回路312aは、所定の周波数の交流電圧信号を生成する。電流発生用アンプ回路312bは、交流電圧信号を所定の周波数の交流電流に変換して発信コイル部21へ出力する。発信コイル部21は、交流電流によって磁場を発生する。その磁場は、受信コイル部22に誘起起電力を発生させる。受信コイル部22は、誘起起電力によって発生した交流電流を出力する。その交流電流は、交流発生回路312aで発生した交流電圧信号の所定の周波数と同じ周波数を持つ。
【0045】
プリアンプ回路312cは、検出した交流電流を増幅する。検波回路312dは、増幅後の信号を、位相調整回路312fからの参照信号312iに基づいて検波する。位相調整回路312fは、交流発生回路312aからの所定の周波数または2倍周波数の交流電圧信号の位相を調整し、参照信号312iとして出力する。LPF回路312eは、検波後の信号を帯域制限して出力し、アンプ回路312gは、その信号を所定の電圧に増幅する。そして、出力信号端子312hからは、計測された波形信号に相当する出力信号が出力される。
【0046】
出力信号である波形信号は、二指の距離Dを表す電圧値を持つ信号となっている。距離Dと電圧値は所定の計算式に基づいて変換可能である。その計算式は、キャリブレーションにより得ることもできる。キャリブレーションでは、例えばユーザが所定長のブロックを対象手の二指で持った状態で計測される。その計測値における電圧値と距離値とのデータセットから、誤差を最小にする近似曲線として、所定の計算式が得られる。また、キャリブレーションによってユーザの手の大きさを把握し、特徴量の正規化等に用いてもよい。第1実施形態では、運動センサ20として上記磁気センサを用い、その磁気センサに対応した計測手段を用いた。これに限らず、加速度センサ、ストレインゲージ、高速度カメラ等の他の検出手段及び計測手段を適用してもよい。
【0047】
[処理フロー]
図7は、第1実施形態の人データ計測システムにおける主に周期的時系列データ異常部分検出システム1により行われる処理全体の手順を示すフローチャートである。
図7は、ステップS1~S10を有する。以下、ステップの順に説明する。
【0048】
(ステップS1)まず、ユーザは、計測システム2を操作する。具体的に、端末装置4は、当該ユーザの操作に応じて、表示画面に初期画面を表示する。ユーザは、初期画面で所望の操作項目を選択する。例えば、異常データ検出・処理を行うための操作項目が選択される。端末装置4は、その選択に対応する指示入力情報を周期的時系列データ異常部分検出システム1へ送信する。また、ユーザは、初期画面に対する操作により、性別や年齢等のユーザ情報を入力して登録することもできる。その場合、端末装置4は、入力されたユーザ情報を周期的時系列データ異常部分検出システム1へ送信する。周期的時系列データ異常部分検出システム1のユーザ情報管理部11は、そのユーザ情報をユーザ情報41に登録する。
【0049】
(ステップS2)周期的時系列データ異常部分検出システム1のタスク処理部12は、S1の指示入力情報及び指タップのタスクデータ42に基づいて、ユーザに対するタスクデータを端末装置4へ送信する。そのタスクデータは、片手フリーラン、両手同時フリーラン、両手交互フリーランなど、手指運動に関する1種類以上のタスクの情報を含む。端末装置4は、受信したタスクデータに基づいて、表示画面に、手指運動のタスク情報を表示する。ユーザは、表示画面のタスク情報に従って手指運動のタスクを行う。計測装置3は、そのタスクを計測し、計測データとして、周期的時系列データ異常部分検出システム1へ送信する。周期的時系列データ異常部分検出システム1は、その計測データを計測データ42Bに格納する。
【0050】
(ステップS3)周期的時系列データ異常部分検出システム1の全体データ特徴量算出部13Aは、全体データ特徴量リスト50Aに基づいて、全体データ44Aから全体データ特徴量44Bを算出する。そして、全体データ評価部13Bでは、全体データ特徴量44Bに多変量解析や機械学習などの統計的な手法を適用して、全体データ評価結果44Cを得る。このように、全体データ評価部13Bは、全体データ特徴量算出部13Aにより算出された特徴量に基づいて、周期的情報の異常を検出する。
【0051】
(ステップS4)周期的時系列データ異常部分検出システム1の結果出力部16は、全体データ評価結果44Cを端末装置4に送り、画面に表示する。このように、結果出力部16は、全体データ評価部13Bによる検出結果に基づいた情報を出力する。ユーザは、画面で自身の周期的時系列データの評価結果を確認できる。
【0052】
(ステップS5)周期的時系列データ異常部分検出システム1の部分データ生成部14Aは、全体データ44Aから部分データ45Aを生成する。部分データ生成部14Aは、上記全体データ44Aから、周期に基づいた部分情報(例えば、1周期分の情報)を生成する。そして、部分データ特徴量算出部14Bは、部分データ特徴量リスト50Bに基づいて、部分データ45Aから部分データ特徴量45Bを算出する。そして、部分データ異常検出部14Cは、部分データ特徴量45Bに多変量解析や機械学習などの統計的な手法を適用して、部分データ異常検出結果45Cを得る。上述のように、部分データ異常検出部14Cは、部分データ特徴量算出部14Bにより算出された特徴量に基づいて、部分データ45Aの異常を検出する。
【0053】
(ステップS6)周期的時系列データ異常部分検出システム1の結果出力部16は、部分データ異常検出結果45Cを端末装置4に送り、画面に表示する。ユーザは、画面で自身の周期的時系列データの異常部分を確認できる。
【0054】
(ステップS7)周期的時系列データ異常部分検出システム1の練習メニュー決定部15は、練習メニューリスト50Cと練習メニュー対応表50Dを参照しながら、部分データ異常特徴量45Ccに基づいて練習メニュー46を生成する。
【0055】
(ステップS8)周期的時系列データ異常部分検出システム1の結果出力部16は、練習メニュー46を端末装置4に送り、画面に表示する。このように、結果出力部16は、検出結果に基づいた情報を出力する。この結果、ユーザは、画面で自身の行うべき練習メニューを確認できる。
【0056】
[全体データ特徴量算出]
図8は、特徴量の波形信号の例を示す。
図8(a)は、二指の距離Dの波形信号を示し、
図8(b)は、二指の速度の波形信号を示し、
図8(c)は、二指の加速度の波形信号を示す。
図8(b)の速度は、
図8(a)の距離の波形信号の時間微分により得られる。
図8(c)の加速度は、
図8(b)の速度の波形信号の時間微分により得られる。全体データ特徴量算出部13Aは、全体データ44Aの波形信号から、微分や積分等の演算に基づいて、本例のような所定の特徴量の波形信号を得る。また、全体データ特徴量算出部13Aは、特徴量から所定の計算による値を得る。
【0057】
図8(d)は、
図8(a)の拡大で、特徴量の例を示す。指タップの距離Dの最大値Dmaxや、タップインターバルTI等を示す。横破線は、全計測時間における距離Dの平均値Davを示す。最大値Dmaxは、全計測時間における距離Dの最大値を示す。タップインターバルTIは、1回の指タップの周期TCに対応する時間であり、特に極小点Pminから次の極小点Pminまでの時間を示す。その他、距離Dの1周期内の極大点Pmaxや極小点Pmin、後述のオープニング動作の時間T1やクロージング動作の時間T2を示す。
【0058】
以下では、更に、特徴量の詳細例について示す。第1実施形態では、上記距離、速度、加速度の波形から得られる複数の特徴量を用いる。なお、他の実施の形態では、それらの複数の特徴量のうちのいくつかの特徴量のみを用いてもよいし、他の特徴量を用いてもよいし、特徴量の定義の詳細についても限定しない。
【0059】
図9は、全体データ特徴量リスト50Aを示す図である。この関連付けの設定は一例であり、変更可能である。
図9の全体データ特徴量リスト50Aにおいて、列として、特徴量分類、識別番号、特徴量パラメータを有する。特徴量分類は、[距離]、[速度]、[加速度]、[タップインターバル]、[位相差]、[マーカー追従]を有する。
【0060】
例えば、特徴量[距離]において、識別番号(A1)~(A11)で識別される複数の特徴量パラメータを有する。特徴量パラメータの括弧[]内は単位を示す。(A1)「距離の最大振幅」[mm]は、距離の波形(
図8の(a))における、振幅の最大値と最小値との差分である。(A2)「総移動距離」[mm]は、1回の計測の全計測時間における、距離変化量の絶対値の総和である。
【0061】
(A3)「距離の極大値の平均」[mm]は、各周期の振幅の極大値の平均である。(A4)「距離の極大値の標準偏差」[mm]は、上記値に関する標準偏差である。(A5)「距離の極大点の近似曲線の傾き(減衰率)」[mm/秒]は、振幅の極大点を近似した曲線の傾きである。このパラメータは、主に計測時間中の疲労による振幅変化を表している。(A6)「距離の極大値の変動係数」は、振幅の極大値の変動係数であり、単位は無次元量([-]で示す)である。このパラメータは、標準偏差を平均で正規化した値であり、そのため、指の長さの個人差を排除できる。(A7)「距離の局所的な極大値の標準偏差」[mm]は、隣り合う三箇所の振幅の極大値についての標準偏差である。
【0062】
このパラメータは、局所的な短時間における振幅のばらつきの度合いを評価するためのパラメータである。(A8)「距離の極小値の平均」[mm]は、各周期の振幅の極小値の平均である。(A9)「距離の極小値の標準偏差」[mm]は、上記値に関する標準偏差である。(A10)「距離の極小値の変動係数」は、振幅の極小値の変動係数であり、単位は無次元量([-]で示す)である。このパラメータは、標準偏差を平均で正規化した値であり、そのため、指の長さの個人差を排除できる。(A11)「距離の局所的な極小値の標準偏差」[mm]は、隣り合う三箇所の振幅の極小値についての標準偏差である。このパラメータは、局所的な短時間における振幅のばらつきの度合いを評価するためのパラメータである。
【0063】
特徴量[速度]について、以下の識別番号(A12)~(A26)で示す特徴量パラメータを有する。(A12)「速度の最大振幅」[m/秒]は、速度の波形(
図8の(b))における、速度の最大値と最小値との差分である。(A13)「オープニング速度の極大値の平均」[m/秒]は、各指タップ波形のオープニング動作時の速度の最大値の平均である。オープニング動作とは、二指を閉状態から最大の開状態にする動作である(
図8の(d))。(A14)「クロージング速度の極小値の平均」[m/秒]は、クロージング動作時の速度の最小値の平均である。クロージング動作とは、二指を最大の開状態から閉状態にする動作である。(A15)「オープニング速度の極大値の標準偏差」[m/秒]は、上記オープニング動作時の速度の最大値の標準偏差である。
【0064】
(A16)「クロージング速度の極小点の平均」[m/秒]は、上記クロージング動作時の速度の最小値の標準偏差である。(A17)「エネルギーバランス」[-]は、オープニング動作中の速度の二乗和と、クロージング動作中の速度の二乗和との比率である。(A18)「総エネルギー」[m2/秒2]は、全計測時間中の速度の二乗和である。(A19)「オープニング速度の極大値の変動係数」[-]は、オープニング動作時の速度の最大値の変動係数であり、標準偏差を平均で正規化した値である。(A20)「クロージング速度の極小値の平均」[m/秒]は、クロージング動作時の速度の最小値の変動係数である。 (A21)「ふるえ回数」[-]は、速度の波形の正負が変わる往復回数から、大きな開閉の指タップの回数を減算した数である。(A22)「オープニング速度ピーク時の距離比率の平均」[-]は、オープニング動作中の速度の最大値の時の距離に関する、指タップの振幅を1。0とした場合の比率に関する平均値である。(A23)「クロージング速度ピーク時の距離比率の平均」[-]は、クロージング動作中の速度の最小値の時の距離に関する、同様の比率に関する平均である。(A24)「速度ピーク時の距離比率の比」[-]は、(A22)の値と(A23)の値との比である。(A25)「オープニング速度ピーク時の距離比率の標準偏差」[-]は、オープニング動作中の速度の最大値の時の距離に関する、指タップの振幅を1.0とした場合の比率に関する標準偏差である。(A26)「クロージング速度ピーク時の距離比率の標準偏差」[-]は、クロージング動作中の速度の最小値の時の距離に関する、同様の比率に関する標準偏差である。
【0065】
特徴量[加速度]について、以下の識別番号(A27)~(A36)で示す特徴量パラメータを有する。(A27)「加速度の最大振幅」[m/秒2]は、加速度の波形(
図8の(c))における、加速度の最大値と最小値との差分である。(A28)「オープニング加速度の極大値の平均」[m/秒2]は、オープニング動作中の加速度の極大値の平均であり、指タップの1周期中に現れる4種類の極値のうちの第1値である。(A29)「オープニング加速度の極小値の平均」[m/秒2]は、オープニング動作中の加速度の極小値の平均であり、4種類の極値のうちの第2値である。
【0066】
(A30)「クロージング加速度の極大値の平均」[m/秒2]は、クロージング動作中の加速度の極大値の平均であり、4種類の極値のうちの第3値である。(A31)「クロージング加速度の極小値の平均」[m/秒2]は、クロージング動作中の加速度の極小値の平均であり、4種類の極値のうちの第4値である。(A32)「接触時間の平均」[秒]は、二指の閉状態における接触時間の平均である。(A33)「接触時間の標準偏差」[秒]は、上記接触時間の標準偏差である。(A34)「接触時間の変動係数」[-]は、上記接触時間の変動係数である。(A35)「加速度のゼロ交差数」[-]は、指タップの1周期中に加速度の正負が変わる平均回数である。この値は理想的には2回となる。(A36)「すくみ回数」[-]は、指タップの1周期中に加速度の正負が変わる往復回数から、大きな開閉の指タップの回数を減算した値である。
【0067】
続いて、
図10は、全体データ特徴量リスト50Aの続きを示す図である。[タップインターバル]について、以下の識別番号(A37)~(A45)で示す特徴量パラメータを有する。(A37)「タップ回数」[-]は、1回の計測の全計測時間中の指タップの回数である。(A38)「タップインターバル平均」[秒]は、距離の波形における前述のタップインターバル(
図8の(d))に関する平均である。(A39)「タップ周波数」[Hz]は、距離の波形をフーリエ変換した場合に、スペクトルが最大になる周波数である。(A40)「タップインターバル標準偏差」[秒]は、タップインターバルに関する標準偏差である。(A41)「タップインターバル変動係数」[-]は、タップインターバルに関する変動係数であり、標準偏差を平均値で正規化した値である。(A42)「タップインターバル変動」[mm2]は、タップインターバルをスペクトル分析した場合の、周波数が0.2~2.0Hzの積算値である。
【0068】
(A43)「タップインターバル分布の歪度」[-]は、タップインターバルの頻度分布における歪度であり、頻度分布が正規分布と比較して歪んでいる程度を表す。(A44)「局所的なタップインターバルの標準偏差」[秒]は、隣り合う三箇所のタップインターバルに関する標準偏差である。(A45)「タップインターバルの近似曲線の傾き(減衰率)」[-]は、タップインターバルを近似した曲線の傾きである。この傾きは、主に計測時間中の疲労によるタップインターバルの変化を表す。
【0069】
特徴量[位相差]について、以下の識別番号(A46)~(A49)で示す特徴量パラメータを有する。(A46)「位相差の平均」[度]は、両手の波形における、位相差の平均である。位相差は、右手の指タップの1周期を360度とした場合に、右手に対する左手の指タップのズレを角度として表した指標値である。ズレが無い場合を0度とする。(A47)「位相差の標準偏差」[度]は、上記位相差に関する標準偏差である。(A46)や(A47)の値が大きいほど、両手のズレが大きく不安定であることを表している。(A48)「両手の類似度」[-]は、左手と右手の波形に相互相関関数を適用した場合に、時間ずれが0の場合の相関を表す値である。(A49)「両手の類似度が最大となる時間ずれ」[秒]は、(A48)の相関が最大となる時間ずれを表す値である。
【0070】
特徴量[マーカー追従]について、以下の識別番号(A50)~(A51)で示す特徴量パラメータを有する。(A50)「マーカーからの遅延時間の平均」[秒]は、周期的なマーカーで示す時間に対する指タップの遅延時間に関する平均である。マーカーは、視覚刺激、聴覚刺激、触覚刺激等の刺激と対応している。このパラメータ値は、二指の閉状態の時点を基準とする。(A51)「マーカーからの遅延時間の標準偏差」[秒]は、上記遅延時間に関する標準偏差である。
【0071】
[全体データ評価]
全体データ評価部13Bでは、全体データ特徴量算出部13Aによって算出された全体データ特徴量44Bに基づいて、全体データの良し悪しを表す全体データ評価結果44Cを得る。例えば、全体データDB43を用いて、全体データ特徴量44Bの中の複数の特徴量を説明変数とし、異常度を目的変数として重回帰分析を適用し、異常度を推定する推定式を得る。異常度は、正常であるほど小さく、異常であるほど大きくなる指標と定義する。異常度の例としては、脳機能障害の重症度スコアなどとし、認知症の重症度を表すMini Mental State Examination(MMSE)やパーキンソン病の重症度を表すUnified Parkinson‘s Disease Rating Scale(UPDRS)が挙げられる。しかし、これらの重症度は正常であるほど大きな値となり、異常であるほど小さくなるという性質がある。例えば、MMSEは、30点満点で最も認知機能が高く、0点に近づくにつれて認知機能が低下する。そこで、前処理としてMMSEやUPDRSの正負を反転させてから、異常度として用いる。ここで、重症度スコアを推定するために、重回帰分析ではなく、その類似手法でもよい。例えば、線形モデルによって判別と回帰を同時に行う判別回帰分析でもよい。
【0072】
また、サポートベクターマシン回帰やニューラルネットワークなどの他の回帰手法を用いてもよい。また、より単純な方法として、全体データ特徴量44Bの中の一特徴量を選んで、その大小で全体データの良し悪しを決めてもよい。
【0073】
[部分データ生成]
部分データ生成部14Aでは、1周期毎に指タップ波形を切り出して部分データ45Aを得る。部分データ45Aを切り出すために、
図11に示すように、指タップの1周期は全体データ44Aの平均値を上から下に横切った時点から次に上から下に横切る時点までと定義する。このように、全体データ44Aの平均値を基準として1周期を定義することで、二指を開き切ったときの距離値(極大値)が小さ過ぎる場合や、二指を閉じたときの距離値(極小値)が大きすぎる場合など、指タップ運動とまでは言えない中途半端な上下運動を排除できる。1周期の定義は他の方法でもよく、極小点から次の極小点としてもよいし、極大点から次の極大点としてもよい。部分データ45Aの切り出し方として、1周期毎ではなく、複数周期毎に区切って切り出してもよい。
【0074】
なお、後述する部分データ特徴量算出部14Bでは、両手の波形を用いる特徴量(P19)~(P20)も算出されるが、これらの特徴量を計算するには、同一の時間帯の両手の波形が必要となる。そのためには、右手の波形において1周期を抽出し、もう左手の波形から同じ時間帯の波形を抽出すればよい。右手と左手を逆にしても求めてもよい。
【0075】
[部分データ特徴量算出]
図12は、部分データ特徴量リスト50Bを示す図である。このリストに基づいて、部分データ特徴量算出部14Bでは、部分データ特徴量45Bを算出する。列として、特徴量分類、識別番号、特徴量パラメータを有する。特徴量分類は、[距離]、[速度]、[加速度]、[タップインターバル]、[位相差]、[マーカー追従]を有する。部分データ特徴量算出部14Bは、部分データ特徴量リスト50Bの全ての特徴量を算出してもよいし、一部の特徴量を選択して算出してもよい。
【0076】
例えば、特徴量[距離]において、識別番号(P1)~(P3)で識別される複数の特徴量パラメータを有する。特徴量パラメータの括弧[]内は単位を示す。(P1)「距離の最小値」[mm]は、部分データの振幅の最小値である。(P2)「距離の最大値」[mm]は、部分データの振幅の最大値である。(P3)「総移動距離」[mm]は、部分データの全計測時間中の距離変化量の絶対値の総和である。
【0077】
特徴量[速度]について、以下の識別番号(P4)~(P11)で示す特徴量パラメータを有する。(P4)「オープニング速度の最大値」[m/秒]は、部分データのオープニング動作時の速度の最大値である。オープニング動作とは、二指を閉状態から最大の開状態にする動作である。(P5)「クロージング速度の最小値」[m/秒]は、クロージング動作時の速度の最小値である。クロージング動作とは、二指を最大の開状態から閉状態にする動作である。(P6)「エネルギーバランス」[-]は、オープニング動作中の速度の二乗和と、クロージング動作中の速度の二乗和との比率である。(P7)「総エネルギー」[m2/秒2]は、部分データの全計測時間中の速度の二乗和である。(P8)「ふるえ回数」[-]は、速度の波形の正負が変わる往復回数から、指タップの回数である1を減算した数である。(P9)「オープニング速度ピーク時の距離比率」[-]は、指タップの振幅を1とした場合の、オープニング動作中の速度の最大値の時の距離である。(P10)「クロージング速度ピーク時の距離比率」[-]は、指タップの振幅を1とした場合の、クロージング動作中の速度の最小値の時の距離である。(P11)「速度ピーク時の距離比率の比」[-]は、(9)の値と(10)の値との比である。
【0078】
特徴量[加速度]について、以下の識別番号(P12)~(P17)で示す特徴量パラメータを有する。(P12)「オープニング加速度の最大値」[m/秒2]は、オープニング動作中の加速度の最大値であり、指タップの1周期中に現れる4種類の極値のうちの第1値である。(P13)「オープニング加速度の最小値」[m/秒2]は、オープニング動作中の加速度の最小値であり、4種類の極値のうちの第2値である。(P14)「クロージング加速度の最大値」[m/秒2]は、クロージング動作中の加速度の極大値であり、4種類の極値のうちの第3値である。(P15)「クロージング加速度の最小値」[m/秒2]は、クロージング動作中の加速度の極小値であり、4種類の極値のうちの第4値である。(P16)「接触時間」[秒]は、二指の閉状態における接触時間である。(P17)「すくみ数」[-]は、指タップの1周期中に加速度の正負が変わる往復回数から、大きな開閉の指タップの回数である1を減算した値である。
【0079】
特徴量[タップインターバル]については、以下の識別番号(P18)で示す特徴量パラメータを有する。(P18)「タップインターバル」[秒]は、指タップの1周期の時間である。
【0080】
特徴量[位相差]については、以下の識別番号(P19)~(P20)で示す特徴量パラメータを有する。(P19)「位相差」[度]は、両手の波形における位相差である。位相差は、右手の指タップの1周期を360度とした場合に、右手に対する左手の指タップのズレを角度として表した指標値である。ズレが無い場合を0度とする。(P20)「両手の類似度」[-]は、左手と右手の波形に相互相関関数を適用した場合に、時間ずれが0の場合の相関を表す値である。
【0081】
特徴量[マーカー追従]について、以下の識別番号(P21)で示す特徴量パラメータを有する。この特徴量は、マーカーに追従して運動させるタスクで計算される。(P21)「マーカーからの遅延時間」[秒]は、周期的なマーカーで示す時間に対する指タップの遅延時間である。マーカーは、視覚刺激、聴覚刺激、触覚刺激等の刺激と対応している。このパラメータ値は、二指の閉状態の時点を基準とする。
【0082】
[部分データ異常検出]
部分データ異常検出部14Cで部分データ45Aの異常検出を行うために、機械学習の一種である1-class Support Vector Machine(SVM)を採用する。本手法の前提となるSVMとは、2クラスの分類において、分類境界(線形な式であらわされる超平面)と各クラスのデータとのマージンを最大化するように分類境界を定める手法である。しかし、分類境界が超平面であると2群の分類境界が複雑な形状である場合に分離できないことから、SVMではカーネル関数を導入して複雑な形状の分類境界にも対応できるように工夫されている。1-class SVMは、SVMの2クラス分類問題と考え方は同じであるが、1クラスの中で一定割合の異常データとその他の正常データに分類する手法である。
【0083】
前節の特徴量データに1-class SVMを適用する前に、前処理として特徴量を平均が0、標準偏差が1となるよう標準化する。標準化することで、1-class SVMの計算において、特徴量毎にレンジが異なることによって特徴量に対する重みが不均一になるのを防ぐことができる。カーネル関数には一般的に用いられることが多いRBFカーネルを使用した。マージン最適化アルゴリズムは逐次最小問題最適化法(SMO: sequential minimal optimization)を用いる。外れ値の割合は8%とする。
【0084】
なお、部分データの異常検出は1-class SVM以外の手法を用いてもよい。例えば、部分データ46Aの特徴量分布の平均を中心とする正規分布を仮定し、正規分布の中心からの距離が大きいデータを異常と検出してもよい。
【0085】
[部分データ異常検出結果]
1-class SVMでは分類スコアyが算出され、分類スコアyが負値である場合に異常と判定される。この判定によって検出された結果を、部分データ異常有無45Cbとする。
【0086】
分類スコアyは、0から離れて小さくなるほど、異常度は大きくなると考えられる。そこで、この分類スコアyを、y=0でz=0%、y=-∞でz=100%に漸近するような関数で変換し、zを部分データ異常度45Caとする。
【0087】
また、1-class SVMで異常と判定された周期別指タップ波形に対して、全ての特徴量の中でどの特徴量が異常判定に寄与していたのか調べるため、平均値から標準偏差SD=2.0以上外れていた特徴量を部分データ異常特徴量45Ccとする。
【0088】
[部分データ異常評価部の実行例]
健常者228名の右手指タップの全体データを格納した全体データDB43に対して、上述の部分データ異常生成部を実行したところ、12898個の部分データ45Aが得られた。そして、個々の部分データ45Aに対して、部分データ特徴量算出部14Bによって、部分データ特徴量45Bを得た。ここでは、部分データ特徴量リスト50Bの中から、P1-P8、P12-P18の15個の特徴量を選択して算出した。そして、得られた部分データ特徴量45Bを用いて部分データ異常検出部14Cを実行したところ、部分データ異常検出結果45Cが得られた。その結果、異常検出された部分データ45Aは、12898個中1032個となった。
【0089】
図13に異常検出された部分データ45Aの例を示す図である。一番上の波形は、異常検出された部分データ45Aが一つもなかった全体データ44Aである。下の4つの波形は、異常検出された部分データ45Aが一つ以上あった全体データ44Aである。指タップ運動の距離波形の上に、異常検出された部分データ45Aは太線で重ね書きしている。その上部には、部分データ異常特徴量が示されている。
【0090】
[練習メニュー決定]
図14は、指タップ運動の性質を表す指標項目と、その指標項目を改善するための練習メニューを示した練習メニューリスト50Cである。指標項目としては、[運動量]、[持久性]、[リズム性]、[両側協調性]、[マーカー追従性]、[運動大きさ]、[波形バランス]、[振幅制御]がある。この指標項目および練習メニューの設定は一例であり、変更可能である。
【0091】
図15は、特徴量と練習メニュー項目との関連付けの設定情報に関する練習メニュー対応表50Dを示す図である。この関連付けの設定は一例であり、変更可能である。本表では、列として、特徴量分類、識別番号、特徴量パラメータ、指標項目を有する。特徴量分類は、[距離]、[速度]、[加速度]、[タップインターバル]、[位相差]、[マーカー追従]を有する。本リストの特徴量は、部分データ特徴量リスト50Bと一致し、練習メニューリスト50Cで設定された指標項目の少なくとも一つ以上と関連付けられている。
【0092】
[表示画面(1)-メニュー]
図16は、端末装置4の表示画面の例として、サービスの初期画面であるメニュー画面の例を示す図である。このメニュー画面では、ユーザ情報欄1501、操作メニュー欄1502、設定欄1503等を有する。
【0093】
ユーザ情報欄1501では、ユーザによりユーザ情報を入力して登録可能である。なお、電子カルテ等に入力済みのユーザ情報が存在する場合、そのユーザ情報と連携するようにしてもよい。入力可能なユーザ情報の例として、ユーザID、氏名、生年月日または年齢、性別、利き手、疾患/症状、メモ等がある。利き手は、右手、左手、両手、不明、等から選択入力可能である。疾患/症状は、例えばリストボックスの選択肢から選択入力可能としてもよいし、任意のテキストで入力可能としてもよい。病院等で本システムを利用する場合、ユーザではなく医師等がユーザの代わりに入力を行うようにしてもよい。本周囲的時系列データ異常部分検出システム1は、ユーザ情報の登録が無い場合にも適用可能である。
【0094】
操作メニュー欄1502では、サービスが提供する機能の操作項目を表示する。操作項目は、「キャリブレーション」、「手指運動の計測」、「異常データ検出・処理」、「終了」等を有する。「キャリブレーション」の選択の場合、前述のキャリブレーション、即ちユーザの手指に対する運動センサ20等の調整に係わる処理が行われる。調整済みか否かの状態も表示される。「手指運動の計測」の選択の場合、指タップなどの手指運動のタスクを計測するためのタスク計測画面に遷移する。「異常データ検出・処理」の選択の場合、計測されたデータを対象として異常を検出し、その異常データ検出結果を表示し、検出された異常データの処理を実施する画面に遷移する。「終了」の選択の場合、本サービスを終了する。
【0095】
設定欄1503では、ユーザ設定が可能である。例えば、ユーザまたは計測者または管理者が検出を希望する異常検出項目の種類がある場合には、選択肢からその異常検出項目を選択して設定可能である。また、各々の異常検出項目に対応した処理を選択することが出来る。また、異常データ検出の閾値なども設定可能である。これらの設定内容は通信部105を通して周期的時系列データ異常部分検出システム1に送られ、周期的時系列データ異常部分検出システム1はここで指定された設定を参照して異常データを検出・処理する。
【0096】
[表示画面(2)-タスク計測]
図17は、他の例として、タスク計測画面を示す図である。この画面では、タスク情報を表示する。例えば、左右の手それぞれについて、横軸に時間、縦軸に二指の距離をとったグラフ1600を表示する。画面には、タスク内容を説明するための他の教示情報を出力してもよい。例えば、タスク内容を映像音声で説明するビデオの領域を設けてもよい。画面内には、「計測開始」、「計測やり直し」、「計測終了」、「保存(登録)」等の操作ボタンを有し、ユーザが選択できる。ユーザは、画面のタスク情報に従い、「計測開始」を選択して、タスクの運動を行う。計測装置3は、タスクの運動を計測して波形信号を得る。端末装置4は、計測中の波形信号に対応する計測波形1602をリアルタイムでグラフ1600上に表示する。ユーザは、運動後、「計測終了」を選択し、確定する場合には「保存(登録)」を選択する。計測装置3は、計測データを周囲的時系列データ異常部分検出システム1へ送信する。
【0097】
[表示画面(3)-評価結果]
図18は、他の例として、評価結果画面を示す図である。本画面では、タスクの解析評価結果情報が表示される。タスクの解析評価後、自動的に本画面が表示される。本例では、A~Eの5個の指タップ運動の特徴量について、レーダーチャート形式のグラフで表示する場合を示す。実線の枠線1701は、今回のタスク計測後の解析評価結果を示す。全体データ評価部13Bで算出された全体データ評価結果44Cの推定重症度スコアを表示する。また、複数の特徴量をレーダーチャートで表示する。その他に、解析評価結果に関する評価コメント等を表示してもよい。全体データ評価部13はその評価コメントを作成する。例えば、「(B)、(E)は良好です」等のメッセージが表示される。画面内に、「指タップ波形の異常部分を確認する」、「終了」等の操作ボタンを有する。周期的時系列データ異常部分検出システム1は、「指タップ波形の異常部分を確認する」が選択された場合、異常部分検出結果画面へ遷移させ、「終了」が選択された場合、初期画面へ遷移させる。
【0098】
[表示画面(4)-異常部分検出結果]
図19は、他の例として、異常部分検出結果画面を示す図である。本画面では、部分データ異常検出部14Cで算出された部分データ異常検出結果45Cをユーザに提示する。全体データ44Aの波形を細線で表示する。そして、部分データ異常有無45Cbの中で異常があった部分データ45Aを波形上に太線で表示する。その上部に、部分データ異常特徴量45Ccと部分データ異常度45Caを表示する。部分データ異常特徴量45Ccは、特徴量値が大きすぎる場合は上向きの矢印を付し、小さすぎる場合は下向きの矢印を付す。部分データ異常度45Caを異常度として表示する。そして、部分データ異常特徴量45Ccに関する評価コメントも表示する。さらに、それを改善するための練習メニュー46を提示する。
【0099】
図19に示される部分データ評価結果の画面表示は時間と距離のグラフに限定されるものではなく、時間と速度、時間と加速度等のグラフであってもよい。また、グラフ表示に限定されるものではなく、数値データの表示であってもよく、指タップ運動の動画表示であってもよい。動画表示の場合は異常部分が認識できるように、異常部分で警告音の発生あるいは、異常部分の動画の背景を変更させるものであってもよい。
【0100】
また、
図18に示される全体データ評価結果の画面表示と、
図19に示される異常部分検出結果画面を、一つの画面上に並列して表示させるのが、より好ましい。これにより全体データ評価結果のスコアの原因を異常部分検出結果画面から推測することができ、被験者にはスコアをと原因を理解あるいは受け入れてもらいやすいという効果が得られる。
【0101】
この全体データ評価結果の内容と異常部分検出結果の内容の並列表示における全体データ評価結果は、スコアのみでもよいし、レーダーチャートのみでもよいし、スコアとレーダーチャートの両方でもよく、あるいは別の表示方法を用いてもよい。同様に異常部分検出結果の表示についても
図19に示されるグラフ表示に限定されるものではなく、全体のデータの中で異常部分が視覚的に認識される表示態様であれば、別の表示方法を用いることができる。
【0102】
[効果等]
第1実施形態の周期的時系列データ異常部分検出システム1は、周期的時系列データである全体データ44Aを分割して部分データ45Aを生成し、その部分データ特徴量45Bを算出して、当該部分データ特徴量45Bに基づいて、部分データ45Aの異常を検出した結果である部分データ異常検出結果45Cを表示出力する。このように、異常部分検出システム1は、全体データ44Aを分割した部分データ45A毎に、異常を検出するので、周期的時系列データのどの部分が異常であるのか特定し得る情報を提示することができる。すなわち、周期的時系列データ異常部分検出システム1は、より詳細な評価結果を提供することができる。
【0103】
この結果、ユーザは、全体データ評価結果44Cが悪かった場合に、具体的にどの部分に問題があったのかを知ることができる。さらに、練習メニュー決定部15で得られた練習メニュー46を提示することで、ユーザはその問題を改善するための練習方法を知ることができる。
【0104】
なお、本実施形態では、指タップ運動の時系列データを対象とした異常部分検出について説明したが、周期的な時系列データであれば他のデータでもよい。例えば、心電信号、心磁信号、脈波、呼吸、脳波、歩行、目の瞬き、咀嚼などを計測した時系列データが挙げられる。
【0105】
(第2実施形態)
図20~
図22を用いて、第2実施形態の周期的時系列データ異常部分検出システムについて説明する。第2実施形態の基本的な構成は、第1実施形態と同様であり、以下、第2実施形態の構成における実施の形態1の構成とは異なる部分について説明する。
【0106】
[システム]
図20は、第2実施形態の周期的時系列データ異常部分検出システムを示す図である。周期的時系列データ異常部分検出システムは、サービス事業者のサーバ6と、複数の施設のシステム7とを有し、それらが通信網8を介して接続されている。通信網8やサーバ6は、クラウドコンピューティングシステムを含むものとしてもよい。
【0107】
施設は、病院や健康診断センタ、公共施設、娯楽施設等、あるいはユーザ自宅等、各種が可能である。施設にはシステム7が設けられている。施設のシステム7の例として、病院H1のシステム7A、病院H2のシステム7B等を有する。例えば、各病院のシステム7Aおよびシステム7Bは、実施の形態1と同様の計測システム2を構成する計測装置3及び端末装置4を有する。各システム7の構成は同じでもよいし、異なってもよい。施設のシステム7は、病院の電子カルテ管理システム等を含んでもよい。システム7の計測装置は、専用端末としてもよい。
【0108】
サーバ6は、サービス事業者が管轄している装置である。サーバ6は、情報処理によるサービスとして、施設及びユーザに対し、実施の形態1の周期的時系列データ異常部分検出システム1と同様の部分データ異常検出サービスを提供する機能を有する。サーバ6は、計測システムに対してクライアントサーバ方式でサービス処理を提供する。サーバ6は、そのような機能に加え、ユーザ管理機能等を有する。ユーザ管理機能は、複数の施設のシステム7を通じて得られた、ユーザ群のユーザ情報、計測データや解析評価データ等を、DBに登録、蓄積して管理する機能である。
【0109】
[サーバ]
図21は、サーバ6の構成を示す図である。サーバ6は、制御部601、記憶部602、入力部603、出力部604、通信部605を有し、それらがバスを介して接続されている。入力部603は、サーバ6の管理者等による操作入力を行う部分である。出力部604は、サーバ6の管理者等に対する画面表示等を行う部分である。通信部605は、通信インタフェースを有し、通信網8との通信処理を行う部分である。記憶部602にはDB640が格納されている。DB640は、サーバ6とは別のDBサーバ等で管理されてもよい。
【0110】
制御部601は、サーバ6の全体を制御し、CPU、ROM、RAM等により構成され、ソフトウェアプログラム処理に基づいて、異常データ検出や異常データ処理決定等を行うデータ処理部600を実現する。データ処理部600は、ユーザ情報管理部11、タスク処理部12、全体データ評価部13、部分データ異常評価部14、練習メニュー決定部15、結果出力部16を有する。
【0111】
ユーザ情報管理部11は、複数の施設のシステム7のユーザ群に関するユーザ情報を、DB640にユーザ情報41として登録し管理する。ユーザ情報41は、ユーザ個人毎の属性値、利用履歴情報、ユーザ設定情報等を含む。利用履歴情報は、各ユーザが過去に異常部分検出サービスを利用した実績情報を含む。
【0112】
[サーバ管理情報]
図22は、サーバ6がDB640に管理するユーザ情報41のデータ構成例を示す図である。このユーザ情報41の表において、ユーザID、施設ID、施設内ユーザID、性別、年齢、疾患、重症度スコア、症状、履歴情報、等を有する。ユーザIDは、本システムでのユーザの一意の識別情報である。施設IDは、システム7が設けられている施設の識別情報である。なお、別に、各システム7の計測装置の通信アドレス等も管理されている。施設内ユーザIDは、その施設またはシステム7内で管理されているユーザ識別情報が存在する場合のそのユーザ識別情報である。即ち、ユーザIDと施設内ユーザIDとが関連付けられて管理されている。疾患項目や症状項目は、ユーザが選択入力した疾患や症状を表す値、あるいは病院で医師等が診断した値が格納される。重症度スコアは、疾患に関する度合いを表す値である。
【0113】
履歴情報項目は、そのユーザの異常部分検出サービス利用の実績を管理する情報であり、各回の利用の日時、等の情報が時系列で格納されている。また、履歴情報項目には、その回で練習が行われた場合における各データ、即ち前述の計測データ、解析評価データ、異常データ検出結果、異常データ処理内容等のデータが格納されている。履歴情報項目には、各データが格納されているアドレスの情報を格納してもよい。
【0114】
[効果等]
第2実施形態の周囲的時系列データ異常部分検出システム1によれば、第1実施形態と同様に、周期的時系列データである全体データ44Aを分割して部分データ45Aを生成し、その部分データ特徴量45Bを算出して部分データ異常検出結果45Cを得ることで、全体データ44Aの中の異常な部位を検出し、ユーザに提示することができる。これによって、ユーザは全体データ評価結果44Cが悪かった場合に、具体的にどの部分に問題があったのかを知ることができる。さらに、練習メニュー決定部15で得られた練習メニュー46を提示することで、ユーザはその問題を改善するための練習方法を知ることができる。
【0115】
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。
【0116】
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0117】
1…周期的時系列データ異常部分検出システム、2…計測システム、3…計測装置、4…端末装置。