ホーム > 特許ランキング > 公立大学法人会津大学
▶ 公立大学法人会津大学の特許一覧 ▶ 株式会社 情報システムエンジニアリングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-10-20
(45)【発行日】2022-10-28
(54)【発明の名称】心拍分類装置及び入浴者見守りシステム
(51)【国際特許分類】
A61B 5/346 20210101AFI20221021BHJP
【ＦＩ】
A61B5/346
【請求項の数】
10
(21)【出願番号】P 2022125488
(22)【出願日】2022-08-05
【審査請求日】2022-08-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】506301140
【氏名又は名称】公立大学法人会津大学
(73)【特許権者】
【識別番号】510050557
【氏名又は名称】株式会社 情報システムエンジニアリング
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】セネヴィラッナ ムディヤンセラゲ イスル ニロシャナ
(72)【発明者】
【氏名】陳 文西
(72)【発明者】
【氏名】黒田 聡
【審査官】門田 宏
(56)【参考文献】
【文献】実開平５－６２２０２（ＪＰ，Ｕ）
【文献】国際公開第２０１３／１１４５９６（ＷＯ，Ａ１）
【文献】特開２００９－２４０６６１（ＪＰ，Ａ）
【文献】特開２００２－２６９６５４（ＪＰ，Ａ）
【文献】特開２０１９－２０１９９７（ＪＰ，Ａ）
【文献】Md. Rashed-Al-Mahfuz et al.，Deep convolutional neural networks based ECG beats classification to diagnose cardiovascular conditi，Biomedical Engineering letters，Vol.11，2021年，p.147-162，https://doi.org/10.1007/s13534-021-00185-w
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ５／３１８－５／３６７
(57)【特許請求の範囲】
【請求項1】
心電信号に基づいて、心電信号の各心拍の分類を示す所属分類を推定する心拍分類装置において、前記心電信号から前記心電信号の一部を含む部分信号を抽出する抽出手段と、
前記抽出手段により抽出された部分信号が心電信号のピークを含む参照用部分信号である確率を算出する確率算出手段と、
前記確率算出手段により算出された確率が閾値以上となる部分信号に基づいて、１周期分の心電信号を示す心電ビート信号を分離する分離手段と、
前記分離手段により分離された心電ビート信号に基づいて、前記所属分類を推定する所属分類推定手段とを備えること
を特徴とする心拍分類装置。
【請求項2】
前記確率算出手段は、前記参照用部分信号に基づく入力データ、及び前記入力データに紐づく確率を一対の確率学習用データとして、複数の前記確率学習用データを用いて機械学習により生成された確率モデルを参照し、前記抽出手段により抽出された部分信号に基づく確率を算出することを特徴とする請求項１に記載の心拍分類装置。
【請求項3】
前記抽出手段は、心拍に関する心拍情報に基づいて、前記部分信号を抽出することを特徴とする請求項１に記載の心拍分類装置。
【請求項4】
前記抽出手段は、前記分離手段により分離された心電ビート信号に基づいて、新たに部分信号を抽出することを特徴とする請求項１に記載の心拍分類装置。
【請求項5】
前記分離手段は、前記心電信号における複数のピーク間の距離に基づいて、前記心電ビート信号の１周期分の長さを算出することを特徴とする請求項１に記載の心拍分類装置。
【請求項6】
前記所属分類推定手段は、前記分離手段により分離された心電ビート信号をスカログラム画像に変換し、予め取得された学習用スカログラム画像に基づく入力データ、及び前記入力データに紐づく所属分類を一対の学習用データとして、複数の前記学習用データを用いて生成されたニューラルネットワークモデルを参照し、変換した前記スカログラム画像を入力として、所属分類を推定することを特徴とする請求項１～５の何れか１項に記載の心拍分類装置。
【請求項7】
浴室内に設けられる温度、湿度、照度、響度、香り又は気圧のうちの何れか１以上を示す環境データを計測する浴室環境センサと、前記浴室に入浴する入浴者の健康データを取得する入浴者情報取得手段と、
請求項６に記載された心拍分類装置により推定された１又は複数の所属分類と、前記浴室環境センサにより計測された環境データ及び前記入浴者情報取得手段により取得された健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、前記入浴者の状態データを判定する状態判定手段と、
予め取得された状態データと状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、前記状態判定手段によって判定された状態データに対する処置データを判断する処置判断手段と、を備えること
を特徴とする入浴者見守りシステム。
【請求項8】
前記処置判断手段により判断された処置データを外部機器に送信する送信手段と、前記処置判断手段により判断された処置データを入浴者に提示する提示手段と、をさらに備えること
を特徴とする請求項７に記載の入浴者見守りシステム。
【請求項9】
前記処置判断手段により判断された処置データに基づき、前記浴室に設けられた浴槽を排水する排水手段をさらに備えることを特徴とする請求項７に記載の入浴者見守りシステム。
【請求項10】
前記処置判断手段により判断された処置データに対する処置結果を示す結果データを取得する処置結果取得手段と、前記処置結果取得手段により取得された結果データに応じて、前記状態判定手段によって判定された状態データと、前記処置判断手段により判断された処置データとを１対の判断用学習データとし、新たに前記処置情報データベースに記録する記録手段とを備えること
を特徴とする請求項７に記載の入浴者見守りシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、心拍分類装置及び入浴者見守りシステムに関する。
【背景技術】
【0002】
従来、ユーザの心拍を分類する技術が注目されている。また、これに伴い、ユーザの心拍を分類するためのユーザの心拍の１周期分の心電信号を示す心電ビート信号を分離する技術が必要とされている。心電ビート信号を分離する技術として、例えば特許文献１のような技術が提案されている。
【0003】
特許文献１では、ユーザが選択した固定サイズの抽出ウィンドウにより抽出された部分信号に基づいて、心電ビート信号を分離する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１１／０９４１０５号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら心電信号等の非決定論的信号の場合、心拍の間隔が常に変化するため、心電信号から最適な心電ビート信号を分離するには、心拍の間隔の変化に対応した心電ビート信号の分離が必要とされている。しかしながら、特許文献１に開示されている心電ビート信号を分離する技術では、ユーザが選択した固定サイズの抽出ウィンドウにより抽出された部分信号に基づいて、心電ビート信号を分離する。このため、心拍の間隔の変化に対応した心電ビート信号の分離ができないという問題点があった。
【0006】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、心拍の間隔の変化に対応した心電ビート信号の分離ができる心拍分類装置及び入浴者見守りシステムを提供することにある。
【課題を解決するための手段】
【0007】
第１発明に係る心拍分類装置は、心電信号に基づいて、心電信号の各心拍の分類を示す所属分類を推定する心拍分類装置において、前記心電信号から前記心電信号の一部を含む部分信号を抽出する抽出手段と、前記抽出手段により抽出された部分信号と心電信号のピークを含む参照用部分信号との確率を算出する確率算出手段と、前記確率算出手段により算出された確率が閾値以上となる部分信号に基づいて、１周期分の心電信号を示す心電ビート信号を分離する分離手段と、前記分離手段により分離された心電ビート信号に基づいて、前記所属分類を推定する所属分類推定手段とを備えることを特徴とする。
【0008】
第２発明に係る心拍分類装置は、第１発明において、前記参照用部分信号に基づく入力データ、及び前記入力データに紐づく確率を一対の確率学習用データとして、複数の前記確率学習用データを用いて機械学習により生成された確率モデルを参照し、前記抽出手段により抽出された部分信号に基づく確率を算出することを特徴とする。
【0009】
第３発明に係る心拍分類装置は、第１発明において、前記抽出手段は、心拍に関する心拍情報に基づいて、前記部分信号を抽出することを特徴とする。
【0010】
第４発明に係る心拍分類装置は、第１発明において、前記抽出手段は、前記分離手段により分離された心電ビート信号に基づいて、新たに部分信号を抽出することを特徴とする。
【0011】
第５発明に係る心拍分類装置は、第１発明において、前記分離手段は、前記心電信号における複数のピーク間の距離に基づいて、前記心電ビート信号の１周期分の長さを算出することを特徴とする。
【0012】
第６発明に係る心拍分類装置は、第１発明～第５発明の何れかにおいて、前記所属分類推定手段は、前記分離手段により分離された心電ビート信号をスカログラム画像に変換し、予め取得された学習用スカログラム画像に基づく入力データ、及び前記入力データに紐づく所属分類を一対の学習用データとして、複数の前記学習用データを用いて生成されたニューラルネットワークモデルを参照し、変換した前記スカログラム画像を入力として、所属分類を推定することを特徴とする。
【0013】
第７発明に係る入浴者見守りシステムは、浴室内に設けられる温度、湿度、照度、響度、香り又は気圧のうちの何れか１以上を示す環境データを計測する浴室環境センサと、前記浴室に入浴する入浴者の健康データを取得する入浴者情報取得手段と、第６発明に記載された心拍分類装置により推定された１又は複数の所属分類と、前記浴室環境センサにより計測された環境データ及び前記入浴者情報取得手段により取得された健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、前記入浴者の状態データを判定する状態判定手段と、予め取得された状態データと状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、前記状態判定手段によって判定された状態データに対する処置データを判断する処置判断手段と、を備えることを特徴とする。
【0014】
第８発明に係る入浴者見守りシステムは、第７発明において、前記処置判断手段により判断された処置データを外部機器に送信する送信手段と、前記処置判断手段により判断された処置データを入浴者に提示する提示手段と、をさらに備えることを特徴とする。
【0015】
第９発明に係る入浴者見守りシステムは、第７発明において、前記処置判断手段により判断された処置データに基づき、前記浴室に設けられた浴槽を排水する排水手段をさらに備えることを特徴とする。
【0016】
第１０発明に係る入浴者見守りシステムは、第７発明において、前記処置判断手段により判断された処置データに対する処置結果を示す結果データを取得する処置結果取得手段と、前記処置結果取得手段により取得された結果データに応じて、前記状態判定手段によって判定された状態データと、前記処置判断手段により判断された処置データとを１対の判断用学習データとし、新たに前記処置情報データベースに記録する記録手段とを備えることを特徴とする。
【発明の効果】
【0017】
第１発明～第１０発明によれば、分離手段は、確率が閾値以上となる部分信号に基づいて、１周期分の心電信号を示す心電ビート信号を分離する。このため、心電信号のピークを含む参照用部分信号との確率が高い部分信号に基づいて心電ビート信号を分離することができる。これにより、心拍の間隔の変化に対応した心電ビート信号の分離が可能となる。
【0018】
特に、第２発明によれば、確率算出手段は、確率モデルを参照し、部分信号に基づく確率を算出する。このため、より高精度に確率を算出することが可能となる。
【0019】
特に、第３発明によれば、心拍に関する心拍情報に基づいて、部分信号を抽出する。これにより、例えばユーザの心拍数に基づいて、ユーザ毎に適したウィンドウの幅を有する部分信号を抽出することが可能となる。これにより、精度の良い心電ビート信号の分離が可能となる。
【0020】
特に、第４発明によれば、抽出手段は、心電ビート信号に基づいて、新たに部分信号を抽出する。これにより、ユーザの心拍の変化に伴い、適切な位置の部分信号を抽出することが可能となるため、より高速かつ効率的に心電ビート信号を分離することができ、かつ同一のピークを含む部分信号の抽出を防ぐことが可能となる。
【0021】
特に、第５発明によれば、分離手段は、複数のピーク間の距離に基づいて、心電ビート信号の１周期分の長さを算出する。これにより、例えば心拍の間隔が変化した場合においても、適切な周期の心電ビート信号の分離が可能となる。
【0022】
特に、第６発明によれば、所属分類推定手段は、ニューラルネットワークモデルを参照し、変換したスカログラム画像を入力として、所属分類を推定する。このため、スカログラム画像を入力データとして使用することにより、ＣＮＮモデルのサイズを縮小することができ、低コスト且つ高速で心拍分類が可能となる。
【0023】
第７発明～第１０発明によれば、所属分類と入浴情報とに基づいて、状態データベースを参照し、入浴者の状態データを判定する。これにより、入浴者の状態を高精度に判定することが可能となる。また、処置判断手段は、状態判定手段によって判定された状態データに対する処置データを判断する。これにより、入浴者に対する適切な処置を高精度に判断することができる。
【0024】
特に、第８発明によれば、処置データを外部機器に送信し、処置データを入浴者に提示する。これにより、入浴者及び外部端末を所有する入浴者の家族又は介護者に適切な処置方法を提示することが可能となる。
【0025】
特に、第９発明によれば、排水手段は、処置データに基づき、浴室に設けられた浴槽を排水する。これにより、入浴者の状態に応じて、自動的に排水を行うことが可能となる。
【0026】
特に、第１０発明によれば、記録手段は、結果データに応じて、状態データと処置データとを１対の判断用学習データとし、新たに処置情報データベースに記録する。これにより、結果に応じて、適切な学習データをフィードバックすることが可能となる。
【図面の簡単な説明】
【0027】
【図12】ＥＣＧトリプレットセグメントおよびクリティカルｃｐｌ、ｃｐｍ、ｃｐｒを用いて、１の確率が割り当てられる１２個の参照用部分信号を生成する方法を示す模式図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施形態における入浴者見守りシステムの一例について、図面を参照しながら説明する。
【0029】
図１は、本実施形態における入浴者見守りシステム１００の一例を示す模式図である。
【0030】
入浴者見守りシステム１００は、入浴者の状態を管理するために用いられる。
【0031】
入浴者見守りシステム１００は、例えば図１に示すように、通信網４を介して接続される心拍分類装置１と、端末２と、サーバ３と浴室５とを備える。
【0032】
端末２は、例えば入浴者見守りシステム１００により状態を管理される入浴者の家族、又は介護者等が保有し、通信網４を介して心拍分類装置１と接続される。端末２は、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられる。端末２は、例えば心拍分類装置１の備える機能のうち、少なくとも一部の機能を備えてもよい。
【0033】
サーバ３は、通信網４を介して心拍分類装置１等に接続される。サーバ３は、過去の各種データ等が記憶され、必要に応じて心拍分類装置１及び浴室５から各種データが送信される。サーバ３は、例えば心拍分類装置１の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば心拍分類装置１の代わりに少なくとも一部の処理を行ってもよい。
【0034】
通信網４は、例えば心拍分類装置１が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。また、通信網４は、ＬＡＮ（Local Area Network）であってもよい。
【0035】
浴室５は、入浴者が入浴するための閉空間である。浴室５は、図２に示すように、浴室５内に設置された浴槽５１と、浴室５内に設けられたセンサ５３と、モニタ５４と、換気扇５６と、浴槽５１に設けられた排水装置５２と、電極５５とを備える。また、浴室５は、２個又は２個以上の電極５５が備えられてもよい。また、浴室５は、図示しない空調機、照明器具、音響機器、香り発生器等を備えてもよい。また、センサ５３と、換気扇５６と、排水装置５２と、モニタ５４と、電極５５とは、通信網４を介して心拍分類装置１に接続される。
【0036】
排水装置５２は、心拍分類装置１の指令により、浴槽５１内を排水するための装置である。排水装置５２は、例えば後付けが可能な任意の排水機能を有する装置であるが、この限りではなく、任意の装置を用いてもよい。排水装置５２は、例えば心拍分類装置１の指令により、バネ等を用いて浴槽５１の水栓を開栓することにより浴槽５１内を排水する装置であってもよい。
【0037】
センサ５３は、浴室５内の温度、湿度、気圧、照度、響度（音楽等）、又は香りのうちの何れか１以上を示す環境データを計測するセンサであり、温度センサ、湿度センサ、気圧センサ等の各種センサが用いられる。センサ５３は、通信網４を介して各種機器に環境データを送信する。
【0038】
モニタ５４は、心拍分類装置１の指令に応じて、入浴者に対する処置の方法を示す処置データを提示するためのモニタである。
【0039】
電極５５は、入浴者の心電信号を測定するための電極である。電極５５は、例えば入浴者の手足や胸部等に近い複数の箇所の電位差を測定することにより、入浴者の心電信号を測定する。電極５５は、複数があり、浴槽５１に埋め込まれてもよい。また、電極５５は、浴槽５１の壁に取り付けられてもよい。なお、入浴者は電極５５に接触することなく心電波形を測定できる。
【0040】
心拍分類装置１として、例えばラップトップ（ノート）ＰＣ又はデスクトップＰＣ等の電子機器が用いられる。心拍分類装置１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各構成１０１～１０７は、内部バス１１０により接続される。
【0041】
ＣＰＵ１０１は、心拍分類装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、データベースや学習対象データ等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。なお、例えば心拍分類装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。
【0042】
Ｉ／Ｆ１０５は、通信網４を介して、必要に応じて端末２、サーバ３、ウェブサイト等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、心拍分類装置１の使用者等は、入力部１０８を介して、各種情報、又は心拍分類装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された各種情報、又はコンテンツ等を表示する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式の場合、入力部１０８と一体に設けられる。また、表示部１０９は、スピーカが用いられてもよい。
【0043】
図３（ｂ）は、心拍分類装置１の機能の一例を示す模式図である。心拍分類装置１は、取得部１１と、変換部１２と、所属分類推定部１３と、記憶部１４と、出力部１５と、処置判断部１６と、状態判定部１７と、抽出部１８、分離部１９とを備える。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現され、例えば人工知能等により制御されてもよい。
【0044】
取得部１１は、環境データ、心電信号、入浴者の健康データ等の各種データを取得する。取得部１１は、例えば入力部１０８から入力された健康データを取得するほか、例えば通信網４を介して、浴室５等から環境データと、心電信号とを取得してもよい。
【0045】
抽出部１８は、取得部１１により取得された心電信号から心電信号の一部を含む部分信号を抽出する。
【0046】
分離部１９は、抽出部１８により抽出された部分信号が心電信号のクリティカルポイントを含む参照用部分信号である確率を算出する。また、分離部１９は、算出した確率が閾値以上となる部分信号に基づいて、１周期分の心電信号を示す心電ビート信号を分離する。
【0047】
変換部１２は、分離部１９により分離された心電ビート信号をスカログラム画像に変換する。
【0048】
所属分類推定部１３は、予め取得された学習用スカログラム画像に基づく入力データ、及び入力データに紐づく所属分類の一対を学習用データとして、複数の学習用データを用いて生成されたニューラルネットワークモデルを参照し、変換部１２により変換されたスカログラム画像を入力として、所属分類を推定する。
【0049】
状態判定部１７は、所属分類推定部１３により推定された１又は複数の所属分類と、環境データ及び健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、入浴者の状態データを判定する。
【0050】
処置判断部１６は、予め取得された状態データと当該状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、状態判定部１７により判定された状態データに対する処置データを判断する。
【0051】
記憶部１４は、保存部１０４に保存されたデータベース等の各種データを必要に応じて取り出す。記憶部１４は、各構成により取得又は生成された各種データを、必要に応じて保存部１０４に保存する。
【0052】
出力部１５は、各種データを出力する。出力部１５は、Ｉ／Ｆ１０７を介して表示部１０９に各種データを出力するほか、例えばＩ／Ｆ１０５を介して、複数の端末２等に各種データを出力する。
【0053】
次に、本実施形態における入浴者見守りシステム１００の動作の一例について説明する。
【0054】
入浴者見守りシステム１００は、例えば心拍分類装置１内にインストールされたプログラムを介して実行する。即ち、心拍分類装置１にインストールされているプログラムを通じて、入浴者の状態を管理する。
【0055】
【0056】
まずステップＳ１１０において、入浴者の心電信号を測定する。例えば浴室５の電極５５は、入浴者の心電信号を測定する。かかる場合、電極５５は、全入浴時間又は予め設定された時間に亘り、心電信号を測定する。電極５５は、例えば１０分間に亘り、入浴者の心電信号を測定する。または、入浴者の入浴と出浴タイミングを自動的に検出し、入浴者の入浴から出浴までの全入浴時間に亘り、入浴者の心電信号を測定する。浴室５は、通信網４を介して、測定したデータを心拍分類装置１へ送信する。
【0057】
心電信号は、図５（ａ）に示すような、時間（ｓ）に対する心臓の電位変化（ｍＶオーダー）を示す信号であり、心房の興奮を示すＰ波、心室の興奮を示すＱＲＳ波、心室の興奮がさめるＴ波等を含む。また、心電信号の１周期は、これら特定の信号が再び観察されるまでの期間であり、例えばＰ波から次のＰ波の期間を示す。また、心電信号の１周期は、一定の時間毎に区切られた心電信号であってもよい。
【0058】
ステップＳ１１０において、心電信号を１周期分の心電信号を示す心電ビート信号に分離する。心電ビート信号は、心電信号のクリティカルポイントを含む。心電信号のクリティカルポイントは、例えばＱＲＳ波であるが、これに限らず、他の信号の最大値又は最小値を示すピーク、臨界点、極値であってもよい。心電信号のクリティカルポイントは、閾値に対する絶対値の大きさで判断してもよい。心電ビート信号は、例えば図５（ｂ）に示すように、一つのＱＲＳ波が含まれる。このステップＳ１１０における心電ビート信号の分離方法の詳細は後述する。
【0059】
次に、ステップＳ１２０において、心電ビート信号をスカログラム画像に変換する。スカログラム画像は、図５（ｃ）に示すように、心電ビート信号のスカログラムを示す画像である。ステップＳ１６０において、例えば変換部１２は、心電ビート信号をスカログラム画像、またはスペクトルグラム画像に変換してもよい。
【0060】
次にステップＳ１３０において、スカログラム画像を入力として、所属分類を推定する。かかる場合、所属分類推定部１３は、予め取得された学習用スカログラム画像に基づく入力データ、及び入力データに紐づく所属分類の一対を学習用データとして、複数の学習用データを用いて生成されたニューラルネットワークモデルを参照し、変換処理により変換されたスカログラム画像を入力として、所属分類を推定する。また、所属分類の推定において、上記のステップＳ１２０及びＳ１３０に記載された方法を用いる必要はなく、任意の方法を用いて、ステップＳ１１０により分離された心電ビート信号の所属分類を推定してもよい。
【0061】
所属分類は、心電信号の心拍分類を示すデータである。所属分類は、例えば表１に示すような分類を示すデータである。
【0062】
【表1】
【0063】
ニューラルネットワークモデルには、例えばスカログラム画像又は心電ビート信号（入力データ）と所属分類（出力データ）との間における連関度を有する連関性が記憶される。連関度は、入力データと出力データとの繋がりの度合いを示しており、例えば連関度が高いほど各データの繋がりが強いと判断することができる。連関度は、例えば百分率等で示されるほか、数段階で示されてもよい。
【0064】
例えば連関性は、多対多の情報（複数の入力データ、対、複数の出力データ）の間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ、及び複数の出力データに基づいて最適化された関数（分類器）を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。
【0065】
このため、心拍分類装置１では、例えば分類器の判定した結果を全て踏まえた連関性を用いて、入力データに適した出力データを選択する。これにより、入力データが、学習用入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。
【0066】
連関性は、例えば、複数の出力データと、複数の入力データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、複数の出力データ（「所属分類Ａ」～「所属分類Ｃ」）のそれぞれに対し、複数の入力データ（「スカログラム画像Ａ」～「スカログラム画像Ｃ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つの入力データに対して、特有な連関度で、複数の出力データを紐づけることができる。これにより、スカログラム画像に対して所属分類を取得することができる。
【0067】
連関性は、例えば各出力データと、各入力データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、入力データに含まれる「スカログラム画像Ａ」は、出力データに含まれる「所属分類Ａ」との間の連関度ＡＡ「７３％」を示し、出力データに含まれる「所属分類Ｂ」との間の連関度ＡＢ「１２％」、出力データに含まれる「所属分類Ｃ」との間の連関度ＡＣ「１５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。
【0068】
また、ニューラルネットワークモデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。
【0069】
また、ステップＳ１１０において、分離した心電ビート信号を上述したステップＳ１２０及びステップＳ１３０の方法も用いることなく分類する場合、例えば図７に示すような学習データを用いて生成されたニューラルネットワークを用いて、ステップＳ１１０により分離された心電ビート信号に基づいて、所属分類を推定してもよい。かかる場合、学習データは入力を参照用心電ビート信号とし、出力を所属分類としてもよい。参照用心電ビート信号は、学習データとして用いるために予め取得された心電ビート信号である。この場合、連関性を用いることで、複数の出力データ（「所属分類Ａ」～「所属分類Ｃ」）のそれぞれに対し、複数の入力データ（「心電ビート信号Ａ」～「心電ビート信号Ｃ」）の関係の度合いを紐づけて記憶させることができる。
【0070】
所属分類推定部１３は、上述したニューラルネットワークモデルを用いて、ステップＳ１６０により変換されたスカログラム画像を入力として、所属分類を出力する。
【0071】
また、所属分類推定部１３は、複数の学習用スカログラム画像を入力データとする学習用データを用いて生成されたニューラルネットワークモデルを参照し、ステップＳ１６０により変換された複数のスカログラム画像を入力として、所属分類を推定してもよい。このニューラルネットワークモデルは、入力データに複数のスカログラム画像が含まれる点で、上述したニューラルネットワークモデルと異なる。
【0072】
この入力データは、２以上のスカログラム画像が含まれる。また、入力データは、時系列的に連続している複数のスカログラム画像を含んでもよい。これにより、例えば時系列的に連続した複数のスカログラム画像を入力とすることにより、心電図の時間的な変化のパターンから特徴を判断することが可能となる。これによって、所属分類を推定する際の精度向上を図ることが可能となる。また、入力データは、電極５５による測定部位毎に分けられた複数のチャネルを用いて取得された複数の心電信号に基づく複数のスカログラム画像を含んでもよい。
【0073】
また、ステップＳ１３０において、所属分類推定部１３は、複数のスカログラム画像を入力として、複数の推定用所属分類を推定し、推定した複数の推定用所属分類に基づいて、所属分類を推定してもよい。推定用所属分類は、複数の所属分類から１つの所属分類を推定するための所属分類である。かかる場合、所属分類推定部１３は、例えば電極５５による測定部位毎に分けられた複数のチャネルを用いて取得された複数の心電信号に基づく複数のスカログラム画像から複数の推定用所属分類を推定し、複数の推定用所属分類の中から最も数の多い所属分類を選択してもよい。これにより、例えば複数のチャネルを用いて取得した複数のスカログラム画像から総合的に所属分類を推定することが可能となる。このため、所属分類を高精度に推定することができる。
【0074】
また、ステップＳ１３０において、所属分類推定部１３は、１のスカログラム画像を入力として、複数の推定用所属分類を推定し、推定した複数の推定用所属分類に基づいて、所属分類を推定してもよい。かかる場合、例えば入力をスカログラム画像、出力を推定用所属分類とする任意の学習済みモデルを用いて、入力したスカログラム画像と連関性がある、又は連関度が予め設定された閾値以上である複数の推定用所属分類を推定してもよい。
【0075】
また、ステップＳ１３０において、所属分類推定部１３は、変換部１２により変換された複数のスカログラム画像と予め取得された参照用スカログラム画像との類似度を算出し、算出した類似度が所定の閾値以上となる場合、所属分類の推定を行うようにしてもよい。
【0076】
参照用スカログラム画像は、例えば推定の対象となる入浴者の心電信号の基づくスカログラム画像であってもよい。この参照用スカログラム画像との類似度を比較することにより、ステップＳ１１０において、測定した心電信号が推定の対象となる入浴者の心電信号に基づくスカログラム画像であるか否かを推定することができる。このため、判定の対象となる入浴者が入浴をしているときのみ、推定を自動で行うことができるため、低コスト且つ高速で推定することができる。
【0077】
また、参照用スカログラム画像は、例えば推定の対象となる入浴者が入浴しているときの心電信号の基づくスカログラム画像であってもよい。この参照用スカログラム画像との類似度を比較することにより、ステップＳ１１０において、測定した心電信号が推定の対象となる入浴者が入浴しているときの心電信号に基づくスカログラム画像であるか否かを推定することができる。このため、判定の対象となる入浴者が入浴をしているときのみ、推定を自動で行うことができるため、低コスト且つ高速で推定することができる。
【0078】
上述した各ステップを行うことにより、入浴者見守りシステム１００の所属分類を推定する動作が完了する。これにより、スカログラム画像を入力データとして使用することにより、ＣＮＮモデルのサイズを縮小することができ、低コスト且つ高速で心拍分類が可能となる。
【0079】
次に、ステップＳ１１０において、心電信号から心電ビート信号を抽出する動作の詳細について説明する。図８は、心電信号から心電ビート信号を抽出する動作の一例を示すフローチャートである。
【0080】
まず、ステップＳ２０において、抽出部１８は、心電信号から部分信号を抽出する。図９は、心電信号から部分信号を抽出し、心電ビート信号の境界を決定するためのウィンドウの適応プロセスを示す模式図である。まずステップＳ２０において、抽出部１８は、幅ｗnのウィンドウに含まれる心電信号を部分信号として抽出する。
【0081】
次に、ステップＳ２１において、抽出部１８は、ウィンドウのパラメータを再計算及び更新する。ウィンドウのパラメータは、例えばウィンドウの幅ｗn、ウィンドウのステップ幅ｓn、推定される将来のＲＲ間隔の最大値（ｍａｘＲＲＩ）、推定される将来のＲＲ間隔の最小値（ｍｉｎＲＲＩ）、過去のｃｐ（ｃｐn-2、ｃｐn-1）と現在のｃｐn、スモールステップフォワード（ｆｗｄ）、ウィンドウの位置（ｗｐｏｓｉｔｉｏｎ）、オフセット値等である。ｗnは、ウィンドウの幅を示し、例えば過去に取得された心電信号から抽出した事前に決定された複数（例えば、１６心拍）のＲＲ間隔から算出されたＲＲ間隔の平均、又はユーザの平均心拍数（例えば、過去最新の１６心拍を用いる）により算出される。ステップ幅ｓnは、部分信号を抽出するたびにウィンドウが移動する距離を示す。ＲＲ間隔の最大値（ｍａｘＲＲＩ）は、予想される最大ＲＲＩリミットを示し、例えば過去に取得された心電信号から抽出した複数の部分信号から算出したＲＲ間隔の平均値とある定数との積により算出される。また、ＲＲ間隔の最大値（ｍａｘＲＲＩ）は、心電ビート信号が分離されるたびに更新されてもよい。ＲＲ間隔の最小値（ｍｉｎＲＲＩ）は、予想される最小ＲＲＩリミットを示し、例えば過去に取得された心電信号から抽出した複数（例えば、１６心拍）のＲＲ間隔から算出したＲＲ間隔の平均とある定数との積により算出される。また、ＲＲ間隔の最小値（ｍｉｎＲＲＩ）は、心電ビート信号が分離されるたびに更新されてもよい。スモールステップフォワード（ｆｗｄ）は、必要に応じて、ウィンドウを細かく移動させるためのパラメータである。オフセット値は、次のウィンドウの開始位置を示し、現在検出された部分信号にすでに含まれている心電信号のクリティカルポイントを除外するために使用される。これで、次の部分信号を検出するためのステップ数を最小限に抑えることが可能となる。オフセット値は、新しく自適応調整されたウィンドウの幅、現在のｃｐ、および事前設定した定数を使用して計算される。ＲＲ間隔は、心電信号において、隣接するクリティカルポイントの間の距離である。
【0082】
次に、ステップＳ２２は、Ｓ２１で計算された有効または無効な心電ビート信号であるかを部分信号の状態に基づいて評価する。評価結果が有効な心電ビート信号である場合、プロセスはステップＳ２３に移行する。評価結果が無効な心電ビート信号である場合、プロセスはステップＳ３５に移行する。この評価結果は、例えば部分信号が心電信号のクリティカルポイントを含む参照用部分信号である確率を評価値として、評価値が予め設定された閾値との比較に基づいて決定してもよい。例えば、確率が０．９よりも大きい場合、部分信号を有効な心電ビート信号とし、確率が０．９よりも小さい場合、部分信号を無効な心電ビート信号としてもよい。
【0083】
ステップＳ２２において、抽出部１８は、例えば部分信号が心電信号のクリティカルポイントを含む参照用部分信号である確率を算出する。参照用部分信号は、予め取得された心電信号のクリティカルポイントを含む部分信号である。図８は、適応ウィンドウをスライドさせながら一連の部分信号を処理して、有効な心電ビート信号を抽出する。図１０は、ウィンドウパラメータを計算し、部分信号と参照部分信号の類似性を計算した上、図８でさらに使用される。
【0084】
ステップＳ２３において、抽出部１８は、ステップＳ２２により評価した確率が閾値以上な部分信号の数が１６より多いか判断する。１６よりも多い場合、ステップＳ２４に移行し、１６以下ならステップＳ３５に移行する。これにより、ステップＳ２３により検出された１６以上の部分信号に基づいて、ウィンドウのパラメータの初期設定を決定する。また、この１６の値は一例であり、任意の値を用いてもよい。
【0085】
ステップＳ３５において、抽出部１８は、次の部分信号を抽出するためにウィンドウを移動させ、再びステップＳ２０により部分信号を抽出する。かかる場合、例えばステップＳ２１により更新したウィンドウのパラメータのウィンドウの位置からウィンドウのステップ幅ｓnだけウィンドウを移動させる。
【0086】
ステップＳ３６において、抽出部１８は、Ｓ２２により評価した部分信号のクリティカルポイントの横にウィンドウを移動させ、再びステップＳ２０により部分信号を抽出する。かかる場合、オフセット値をクリティカルポイントに基づいて算出する。抽出部１８は、例えばクリティカルポイントと定数との和をオフセット値としてもよい。これにより、クリティカルポイントよりも前の不必要な個所にウィンドウを移動させずに次の部分信号を抽出できるため、より効率よく部分信号を抽出でき、かつ同一のクリティカルポイントを含む部分信号の抽出を防ぐことが可能となる。
【0087】
また、ステップＳ３７において、ステップＳ２０～ステップＳ２３によりウィンドウのパラメータの初期設定を決定する代わりに、ウィンドウのパラメータの初期設定を見積もってもよい。
【0088】
次に、ステップＳ２４において、抽出部１８は、心拍に関する心拍情報に基づいて、実際に心電ビート信号を分離するための部分信号を抽出する。心拍情報は、例えばウィンドウのパラメータである。また、心拍情報は、ユーザの心拍数等の生体情報であってもよい。ステップＳ２４において、抽出部１８は、例えばステップＳ２３により決定したウィンドウのパラメータの初期設定を用いて、実際に心電ビート信号を分離するための部分信号を抽出する。また、ステップＳ２４において、ステップＳ３７により見積もったウィンドウのパラメータを用いて部分信号を抽出してもよい。
【0089】
次に、ステップＳ２５において、ウィンドウのパラメータを再計算及び更新する。
【0090】
次に、ステップＳ２６において、ステップＳ２４により抽出した部分信号の評価を行う。ステップＳ２６において、ステップＳ２４により抽出した部分信号の確率が閾値以上ならステップＳ２７又はステップＳ３０に移行し、確率が閾値以下ならステップＳ３８に移行する。また、ステップＳ２６において、確率が閾値以上かつ心電ビート信号の出力パターンＢを用いる場合、ステップＳ２７に移行し、確率が閾値以上かつ心電ビート信号の出力パターンＡを用いる場合、ステップＳ３０に移行してもよい。この心電ビート信号の出力パターンは必要に応じて、変更してもよい。また、心電ビート信号の出力パターンを複数用いて、それぞれの心電ビート信号を出力してもよい。これにより、複数の出力パターンを用いて出力した心電ビート信号を分類することにより、さらに分類の精度を向上させることが可能となる。また、ステップＳ２６において、評価値が閾値以上となる部分信号を心電ビート信号として分離してもよい。
【0091】
ステップＳ３８において、抽出部１８は、次の部分信号を抽出するためにウィンドウを移動させ、再びステップＳ２４により部分信号を抽出する。かかる場合、抽出部１８は、例えばステップＳ２５により更新したウィンドウのパラメータのウィンドウの位置からウィンドウのステップ幅ｓnだけウィンドウを移動させる。
【0092】
心電ビート信号の出力パターンＢを用いる場合、ステップＳ２７において、抽出部１８は、ステップＳ２５により更新したウィンドウのパラメータに基づいて、クリッピングポイントを再配置する。かかる場合、抽出部１８は、例えばクリティカルポイント、ＲＲ間隔、過去のＲＲ間隔の平均値等に基づいて、クリッピングポイントのスタート位置と終わりの位置を決定する。
【0093】
ステップＳ２８において、抽出部１８は、ステップＳ２７により再配置したクリティカルポイントのスタート位置と終わりの位置とに基づいて、心電ビート信号を抽出する。また、次の部分信号を抽出するために、ステップＳ３８に移行してもよい。
【0094】
ステップＳ２９において、抽出部１８は、抽出した心電ビート信号の確率を予測する。抽出部１８は、例えば心電ビート信号と心電信号のクリティカルポイントを含む参照用部分信号との確率を評価値として算出する。抽出部１８は、確率が閾値以上なら抽出した心電ビート信号を出力する。
【0095】
心電ビート信号の出力パターンＡを用いる場合、ステップＳ３０において、抽出部１８は、分離された心電ビート信号に基づいて、新たに部分信号を抽出する。抽出部１８は、例えばステップＳ２５により更新したウィンドウのパラメータに基づいて、新たに部分信号を抽出するためのクリッピングポイントのスタート位置を計算する。かかる場合、抽出部１８は、例えばスタート位置を過去のクリティカルポイント及び一つまたは二つ事前設定した定数から計算してもよい。また、抽出部１８は、例えばステップＳ２６又はＳ２９において、出力された心電ビート信号に基づいて、新たに部分信号を抽出するためのクリッピングポイントのスタート位置を計算してもよい。抽出部１８は、例えば過去に分離された心電ビート信号のクリティカルポイントとオフセット値に基づいて、クリッピングポイントのスタート位置を算出する。
【0096】
ステップＳ３１において、抽出部１８は、ステップＳ３０により計算したスタート位置が、クリティカルポイントよりも小さいかを判断する。抽出部１８は、クリティカルポイントよりも小さい場合、ステップＳ３２に移行する。抽出部１８は、クリティカルポイント以上の場合、ステップＳ３３に移行する。
【0097】
ステップＳ３２において、抽出部１８は、ステップＳ３０により計算したスタート位置を調整する。かかる場合、抽出部１８は、クリティカルポイントに基づいて、スタート位置を調整する。
【0098】
ステップＳ３３において、抽出部１８は、クリティカルポイントの終わりの位置を計算する。抽出部１８は、例えばＲＲ間隔とスタートの位置とに基づいて、終わりの位置を計算する。
【0099】
ステップＳ３４において、分離部１９は、ステップＳ３０により計算したクリッピングポイントのスタート位置、又はステップＳ３２により調整したクリッピングポイントのスタート位置とステップＳ３３により計算したクリッピングポイントの終わりの位置とに基づいて、心電ビート信号を抽出する。また、分離部１９は、抽出した心電ビート信号を出力してもよい。また、抽出部１８は、次の部分信号を抽出するために、ステップＳ３８に移行してもよい。
【0100】
上述した各ステップを行うことにより、心電信号から心電ビート信号を抽出する動作を終了する。これにより、心電信号のクリティカルポイントを含む参照用部分信号である確率が高い部分信号に基づいて心電ビート信号を分離することができる。このため、心拍の間隔の変化に対応した心電ビート信号の分離が可能となる。また、心電ビート信号の出力パターンＡを用いることにより、ウィンドウの境界の計算は、適合されたウィンドウ、最新のクリティカルポイントの位置、および所定の定数に基づいて行われる。つまり、境界の計算は、隣接するクリティカルポイントを考慮せずに、最新のクリティカルポイントを参照して計算される。これにより、リアルタイムの心電ビート信号の分離が可能となる。また、心電ビート信号の出力パターンＢを用いることにより、ウィンドウの境界の計算は、隣接するクリティカルポイントに基づいて計算されます。これにより、より正確なウィンドウの境界の計算が可能となります。
【0101】
次に、ウィンドウのパラメータの計算方法について説明する。図１０は、ウィンドウのパラメータの計算のフローを示す図である。
【0102】
まずステップＳ１において、抽出部１８は、抽出した部分信号のノイズ除去と正規化とを行う。かかる場合、心電ビート信号の中心にＱＲＳ波が揃うようにしてもよい。また、このとき心電ビート信号のクリティカルポイントを中心として、中心から一定時間前から後までの心電信号を含めるものを心電ビート信号としてもよい。また、必ずしもクリティカルポイントを中心とする必要はなく、中心が一定の位置となるように揃えてもよい。
【0103】
次に、ステップＳ２において、抽出部１８は、ステップＳ１によりノイズ除去と正規化とを行った部分信号のクリティカルポイントを中心に配置する。ノイズ除去は任意のフィルタを用いて行ってもよい。また、正規化は、例えば心電ビート信号の最大値を１、最小値を０として、正規化を行ってもよい。
【0104】
次に、ステップＳ３において、抽出部１８は、ステップＳ２によりクリティカルポイントを中心に配置した部分信がと心電信号のクリティカルポイントを含む参照用部分信号である確率を算出する。参照用部分信号は、予め取得された心電信号のクリティカルポイントを含む部分信号である。また、参照用部分信号は、ステップＳ１及びステップＳ２と同様にノイズ除去と正規化とを行い、クリティカルポイントを中心に配置した部分信号であってもよい。
【0105】
また、ステップＳ３において、抽出部１８は、参照用部分信号に基づく入力データ、及び入力データに紐づく確率を一対の確率学習用データとして、複数の確率学習用データを用いて機械学習により生成された確率モデルを参照し、ステップＳ２によりクリティカルポイントを中心に配置した部分信号に基づく確率を算出してもよい。
【0106】
図１１は、確率モデルの学習データである参照用部分信号を生成するための心電信号のトリプレットの一例を示す模式図である。参照用部分信号は、例えば図１１に示すような心電信号のトリプレットを用いて、学習データセットのサンプル数を増やすための処理により取得されてもよい。ＥＣＧトリプレットセグメントおよびクリティカルｃｐｌ、ｃｐｍ、ｃｐｒを用いて、１の確率が割り当てられる１２個の参照用部分信号（１個典型的標準的な有効な参照用部分信号＋１１個の代替的等価的な有効部分信号）を生成する方法を示す模式図である。図１３は、ＥＣＧトリプレットセグメントおよびクリティカルｃｐｌ、ｃｐｍ、ｃｐｒを用いて、０の確率が割り当てられる１２個の参照用部分信号（無効な参照用部分信号）を生成する方法を示す模式図である。図１３において、ｓｌは、選択された心電信号のトリプレットの左端を示し、ｓｒは選択された心電信号のトリプレットの右端を示す。ｄ１とｄ２は、心電信号の複数のクリティカルポイント間のＲＲ間隔である。心電信号のトリプレットには、図１３に示すように、クリティカルポイント（ｃｐ）やクリッピングポイント等の情報が含まれている。ｃｐは、心電信号のクリティカルポイント等の特徴点であり、具体的な位置は心電信号の形態に依存する。ほとんどの場合は、ＱＲＳ群のクリティカルポイント位置だが、必ずしもクリティカルポイントである必要はない。ｃｐｍは中央のｃｐ、ｃｐｌはｃｐｍの左側のｃｐ、ｃｐｒはｃｐｍの右側のｃｐである。ｂｌとｂｒとは、部分信号の両端の座標の位置を示す。図１３に示すように、ＲＲ間隔、ｄ１、ｄ２の値と、予め設定された任意の定数とに基づいて、自動的に部分信号を抽出することが可能となり、これにより抽出した部分信号を確率０の無効な心電ビート信号として学習データとして用いてもよい。図１２におけるこの参照用部分信号は、学習用のデータを拡張するセットを生成するための各心電信号のトリプレットの一例である。たとえば、ｂｌは部分信号の左端を示し、ｂｒは部分信号の右端を示す。ｄ１とｄ２を使用して、事前設定したセンタリング比に基づいてｂｌとｂｒを計算する。これにより、生成した部分信号を確率１の有効な参照用部分信号として、学習データに用いてもよい。上記のクリティカルポイント（ｃｐ）やクリッピングポイントは、図１２および図１３で説明されているように、左・右シフトを実行するための参照ポイント、およびサンプルサイズを増やすための拡張手順及び他の操作として使用されてもよい。これにより抽出された信号を参照用部分信号として確率モデルの学習に用いる。これにより、自動的に参照用部分信号の拡張が可能となる。
【0107】
分割処理過程において、新しく計算されたウィンドウの長さ（更新されたウィンドウパラメータ）、クリティカルポイント、および事前設定した中心比に基づいて、２つのクリッピングポイントが決定される。これらの２つのクリッピングポイントは、有効な信号セグメントが検出された後に心電ビート信号を抽出するのに使う。そのため、主要な心電信号の特徴（正常なＱＲＳまたは異常なＱＲＳのような波形など）は、分割された心電ビート信号のほぼ中央に配置される。
【0108】
確率モデルは、例えば複数の学習用データを用いた機械学習により生成された、学習済みモデルを含んでもよい。学習済みモデルは、例えばＣＮＮ（Convolutional Neural Network）等のニューラルネットワークモデルを示すほか、ＳＶＭ（Support Vector Machine）等を示す。学習済みモデルは、例えばｋ分割交差検定等を用いて学習を行ってもよい。また、機械学習として、例えば深層学習を用いることができる。また、確率モデルは、複数の参照用部分信号を用いた教師無し学習により生成されたモデルであってもよい。学習用データは、例えば参照用部分信号と、確率とが紐づけられる。
【0109】
確率モデルには、例えば参照用部分信号（入力データ）と確率（出力データ）との間における連関度を有する連関性が記憶される。このため、心拍分類装置１では、例えば分類器の判定した結果を全て踏まえた連関性を用いて、入力データに適した出力データを選択する。これにより、入力データが、学習用入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。
【0110】
連関性は、例えば複数の出力データと、複数の入力データとの間における繋がりの度合いを示してもよい。かかる場合、連関度Ａ１は、有効な参照用部分信号との連関度を示し、連関度Ａ０は、無効な心電ビート信号との連関度を示す。この場合、連関性を用いることで、複数の出力データのそれぞれに対し、複数の入力データの関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つの出力データに対して、複数の入力データを紐づけることができる。これにより、参照用部分信号に対して確率を取得することができる。また、出力データとして用いる確率は、例えば確率１と確率０との２種類だけでもよいがこの限りではなく、任意の値に設定された３以上の確率が用いられてもよい。
【0111】
また、確率モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。図１４に示すように、この確率モデルに部分信号を入力し、出力された確率と閾値との比較により、部分信号が有効な心電ビート信号か、無効な心電ビート信号かを判断することが可能となる。
【0112】
また、確率モデルの学習データとしてクリティカルポイントが含まれない確率０の無効な心電ビート信号を参照用部分信号として用いてもよい。かかる場合、図１３に示すようなクリティカルポイントが含まれない部分信号を参照用部分信号として用いてもよい。この場合、確率モデルを用いて、参照用部分信号との乖離度を算出するようにしてもよい。
【0113】
抽出部１８は、上述した確率モデルを用いて、ステップＳ２によりクリティカルポイントを中心に配置した部分信号を入力として、確率を出力する。
【0114】
次に、ステップＳ４において、抽出部１８は、ステップＳ３により算出した確率が閾値を超えているかを判断する。抽出部１８は、確率が閾値を超えている場合、ステップＳ５に移行する。抽出部１８は、確率が閾値以下の場合、ステップＳ９に移行する。
【0115】
次に、ステップＳ５において、抽出部１８は、ステップＳ３により確率を計算した部分信号のｃｐを計算する。抽出部１８は、例えば部分信号において閾値に対する差の絶対値が最も大きいポイントをｃｐとしてもよい。
【0116】
次に、ステップＳ６において、抽出部１８は、ステップＳ５により計算したｃｐと、当該ｃｐと隣接するｃｐとの間の距離であるＲＲ間隔とＲＲ間隔の予想最小値とを比較する。抽出部１８は、ＲＲ間隔がＲＲ間隔の予想最小値より大きい場合、ステップＳ１０に移行する。抽出部１８は、ＲＲ間隔がＲＲ間隔の予想最小値以下の場合、ステップＳ７に移行する。
【0117】
ステップＳ７において、抽出部１８は、ステップＳ５により計算したｃｐと、当該ｃｐと隣接するｃｐとの間の距離であるＲＲ間隔とＲＲ間隔の予想最大値とを比較する。抽出部１８は、ＲＲ間隔がＲＲ間隔の予想最大値より大きい場合、ステップＳ８に移行する。抽出部１８は、ＲＲ間隔がＲＲ間隔の予想最大値以下の場合、ステップＳ１１に移行する。
【0118】
ステップＳ８において、抽出部１８は、ウィンドウのパラメータのｃｐをステップＳ５において計算したｃｐを更新する。また、ステップＳ８において、過去のｃｐも順次更新してもよい。
【0119】
ステップＳ９において、抽出部１８は、次のウィンドウの位置を計算する。ステップＳ９において、抽出部１８は、ウィンドウのパラメータを計算したウィンドウの位置に更新する。
【0120】
ステップＳ１０において、抽出部１８は、オフセット値を計算する。抽出部１８は、例えばクリティカルポイントとｆｗｄとの和に基づいてオフセット値を計算する。また、抽出部１８は、ウィンドウのパラメータを計算したオフセット値に更新してもよい。
【0121】
ステップＳ１１において、抽出部１８は、ウィンドウのパラメータの更新を行う。ステップＳ１１において、例えばＲＲ間隔、ＲＲ間隔の予想最大値及び予想最小値、ウィンドウ幅ｗn、ステップ幅ｓnを計算する。
【0122】
ステップＳ１２において、抽出部１８は、ｆｗｄをリセットする。
【0123】
ステップＳ１３において、抽出部１８は、ウィンドウのパラメータのｃｐをステップＳ５において計算したｃｐを更新する。また、ステップＳ１３において、過去のｃｐも順次更新してもよい。
【0124】
ステップＳ１４において、抽出部１８は、オフセット値を計算する。抽出部１８は、例えばクリティカルポイントに基づいてオフセット値を計算する。また、ウィンドウのパラメータを計算したオフセット値に更新してもよい。
【0125】
上述した各ステップを行うことにより、ウィンドウのパラメータの計算の動作を終了する。
【0126】
次に、入浴者見守りシステム１００は、分類した所属分類に基づいて、入浴者の状態を管理する。図１５は、入浴者の状態を管理する動作の一例を示すフローチャートである。
【0127】
まず、ステップＳ２１０において、取得部１１は、各種データを取得する。かかる場合、取得部１１は、センサ５３により測定された浴室５の環境データ、入浴者の健康データ等を取得する。
【0128】
次に、ステップＳ２２０において、状態判定部１７は、ステップＳ１７０により分類された１又は複数の所属分類と、環境データ及び健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、入浴者の状態データを判定する。また、状態判定部１７は、入浴情報を用いることなく、所属分類のみに基づいて、状態データを判定してもよい。
【0129】
状態データベースは、所属分類と入浴情報とに対する状態データを記録したデータベースである。状態データベースは、入力データを所属分類と入浴情報とし、出力データを状態データとして、一対の入力データと出力データとを学習用データとして、複数の学習用データを用いて生成された状態モデルを記録してもよい。かかる場合、この状態モデルは、入力データを所属分類と入浴情報とし、出力データを状態データとする点で上述したニューラルネットワークモデルと異なる。
【0130】
状態データは、入浴者の状態を示すデータであり、例えば「正常」、「異常」、「熱中症」、「心筋梗塞」、「失神」等の状態を示す。
【0131】
また、ステップＳ２２０において、状態判定部１７は、ステップＳ１７０により分類された複数の所属分類に基づいて、状態データベースを参照し、入浴者の状態データを判定してもよい。かかる場合、状態判定部１７は、時系列的に連続した複数のスカログラム画像からそれぞれ推定された複数の所属分類を入力として、状態データを判定する。かかる場合、例えば状態判定部１７は、時系列的に連続した所属分類のうち、心室期外収縮が一定数観測されたとき、「異常」の状態データを出力してもよい。
【0132】
次にステップＳ２３０において、処置判断部１６は、状態データに対する処置データを判断する。処置データは、状態データに対する処置の方法を示すデータであり、例えば「浴槽５１を排水する」、「救急車を呼ぶ」、「家族に通知する」等の処置を示すデータである。
【0133】
処置判断部１６は、例えば予め取得された状態データと当該状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、ステップＳ２２０により判定された状態データに対する処置データを判断する。
【0134】
処置情報データベースは、状態データに対する処置データを記録したデータベースである。処置情報データベースは、入力データを状態データとし、出力データを処置データとして、一対の入力データと出力データとを判断用学習データとして、複数の判断用学習データを用いて生成された処置モデルを記録してもよい。かかる場合、この処置モデルは、入力データを状態データとし、出力データを処置データとする点で上述したニューラルネットワークモデルと異なる。
【0135】
次に、ステップＳ２４０において、出力部１５は、ステップＳ２３０により判断された処置データを送信する。かかる場合、出力部１５は、例えば端末２、又はモニタ５４等に処置データを送信し、入浴者の家族、介護者、又は入浴者に処置データを提示させる。これにより、入浴者の家族、介護者、又は入浴者に適切な処置方法を提示することが可能となる。
【0136】
次に、ステップＳ２５０において、ステップＳ２４０により送信された処置データに応じて、排水装置５２は、浴槽５１を排水する。かかる場合、排水装置５２は、予め各処置データに対して排水を行うか行わないかが設定されていてもよい。また、処置データに応じて、換気扇５６は、浴室５内を換気してもよい。かかる場合、予め各処置データに対して換気を行うか行わないかが設定されていてもよい。
【0137】
次に、ステップＳ２６０において、取得部１１は、ステップＳ２３０により判断された処置データに対する処置結果を示す結果データを取得する。結果データは、入浴者に処置を施した結果を示すデータであり、例えば「問題なし」、又は「問題あり」等のデータを含む。取得部１１は、例えば端末２から送信された結果データを取得してもよい。
【0138】
次に、ステップＳ２７０において、記憶部１４は、ステップＳ２６０により取得された結果データに応じて、ステップＳ２２０により判定された状態データと、ステップＳ２３０により判断された処置データとを１対の判断用学習データとし、新たに処置情報データベースに記録する。記憶部１４は、例えば結果データが「問題なし」であった場合に、判断用学習データを新たに処置情報データベースに記録し、「問題あり」であった場合、判断用学習データを新たに処置情報データベースに記録しないようにしてもよい。また、例えば結果データが「問題なし」であった場合、状態データと処置データとの連関度が高くなるように設定してもよい。これにより、結果をフィードバックさせることが可能となるため、より精度を向上させることができる。
【0139】
上述した各ステップを行うことにより、入浴者見守りシステム１００の入浴者の状態を管理する動作が終了する。これにより、入浴者の状態を高精度に判定することが可能となる。
【0140】
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。このような新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0141】
１ ：心拍分類装置
２ ：端末
３ ：サーバ
４ ：通信網
５ ：浴室
１０ ：筐体
１１ ：取得部
１２ ：変換部
１３ ：所属分類推定部
１４ ：記憶部
１５ ：出力部
１６ ：処置判断部
１７ ：状態判定部
１８ ：抽出部
１９ ：分離部
５１ ：浴槽
５２ ：排水装置
５３ ：センサ
５４ ：モニタ
５５ ：電極
５６ ：換気扇
１００ ：入浴者見守りシステム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス
２ ：端末
３ ：サーバ
４ ：通信網
５ ：浴室
１０ ：筐体
１１ ：取得部
１２ ：変換部
１３ ：所属分類推定部
１４ ：記憶部
１５ ：出力部
１６ ：処置判断部
１７ ：状態判定部
１８ ：抽出部
１９ ：分離部
５１ ：浴槽
５２ ：排水装置
５３ ：センサ
５４ ：モニタ
５５ ：電極
５６ ：換気扇
１００ ：入浴者見守りシステム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス
【要約】
【課題】心拍の間隔の変化に対応した心電ビート信号の分離ができる心拍分類装置及び入浴者見守りシステムを提供する。
【解決手段】心拍分類装置は、心電信号に基づいて、心電信号の各心拍の分類を示す所属分類を推定する心拍分類装置において、前記心電信号から前記心電信号の一部を含む部分信号を抽出する抽出手段と、前記抽出手段により抽出された部分信号が心電信号のピークを含む参照用部分信号である確率を算出する確率算出手段と、前記確率算出手段により算出された確率が閾値以上となる部分信号に基づいて、１周期分の心電信号を示す心電ビート信号を分離する分離手段と、前記分離手段により分離された心電ビート信号に基づいて、前記所属分類を推定する所属分類推定手段とを備えることを特徴とする。
【選択図】図１
【解決手段】心拍分類装置は、心電信号に基づいて、心電信号の各心拍の分類を示す所属分類を推定する心拍分類装置において、前記心電信号から前記心電信号の一部を含む部分信号を抽出する抽出手段と、前記抽出手段により抽出された部分信号が心電信号のピークを含む参照用部分信号である確率を算出する確率算出手段と、前記確率算出手段により算出された確率が閾値以上となる部分信号に基づいて、１周期分の心電信号を示す心電ビート信号を分離する分離手段と、前記分離手段により分離された心電ビート信号に基づいて、前記所属分類を推定する所属分類推定手段とを備えることを特徴とする。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】