特許 7126230 入浴者見守りシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-08-18

(45)【発行日】2022-08-26

(54)【発明の名称】入浴者見守りシステム

(51)【国際特許分類】

   A61B 5/346 20210101AFI20220819BHJP

   A61B 5/00 20060101ALI20220819BHJP

   G16H 50/30 20180101ALI20220819BHJP

   A47K 3/00 20060101ALI20220819BHJP

   A61H 33/00 20060101ALI20220819BHJP

   G08B 21/02 20060101ALI20220819BHJP

   G08B 25/04 20060101ALI20220819BHJP

【ＦＩ】

A61B5/346

A61B5/00 102C

G16H50/30

A47K3/00 Z

A61H33/00 C

G08B21/02

G08B25/04 K

【請求項の数】 7

(21)【出願番号】P 2022016161

(22)【出願日】2022-02-04

【審査請求日】2022-02-04

【早期審査対象出願】

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(73)【特許権者】

【識別番号】510050557

【氏名又は名称】株式会社 情報システムエンジニアリング

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】ニロシャナ イスル

(72)【発明者】

【氏名】陳 文西

(72)【発明者】

【氏名】黒田 聡

【審査官】藤原 伸二

(56)【参考文献】

【文献】特表２０１１－５２６５１５（ＪＰ，Ａ）

【文献】特表２０２０－５３５８８２（ＪＰ，Ａ）

【文献】特開２０１８－０９４１７２（ＪＰ，Ａ）

【文献】特開２００９－２４０６６１（ＪＰ，Ａ）

【文献】特開２００５－３３４３９４（ＪＰ，Ａ）

【文献】特開２００２－２６９６５４（ＪＰ，Ａ）

【文献】Md. Rashed-Al-Mahfuz et al.，Deep convolutional neural networks based ECG beats classification to diagnose cardiovascular conditions ，Biomedical Engineering letters，Vol.11 ，2021年，p.147-162，https://doi.org/10.1007/s13534-021-00185-w

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／３１８－５／３６７

Ａ６１Ｂ ５／０２－５／０３

Ａ６１Ｂ ５／００

Ａ４７Ｋ ３／００

Ａ６１Ｈ ３３／００

Ｇ１６Ｈ ５０／３０

Ｇ０８Ｂ ２１／００－２１／２４

Ｇ０８Ｂ ２５／００－２５／１４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＰｕｂＭｅｄ

(57)【特許請求の範囲】

【請求項1】

浴室内に設けられる温度、湿度、照度、響度、香り又は気圧のうちの何れか１以上を示す環境データを計測する浴室環境センサと、
前記浴室に入浴する入浴者の健康データを取得する入浴者情報取得手段と、
心電信号に基づいて、心電信号の各心拍の分類を示す所属分類を推定する心拍分類装置によって分類された１又は複数の所属分類と、前記浴室環境センサにより計測された環境データ及び前記入浴者情報取得手段に取得された健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、前記入浴者の状態データを判定する状態判定手段と、
予め取得された状態データと状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、前記状態判定手段によって判定された状態データに対する処置データを判断する処置判断手段と、を備え、
前記心拍分類装置は、
前記心電信号を、１心拍分の心電信号を示す心電ビート信号に分離し、分離した心電ビート信号をスカログラム画像に変換する変換手段と、
予め取得された学習用スカログラム画像に基づく入力データ、及び前記入力データに紐づく所属分類を一対の学習用データとして、複数の前記学習用データを用いて生成されたニューラルネットワークモデルを参照し、前記変換手段により変換されたスカログラム画像を入力として、前記所属分類を推定する所属分類推定手段とを有すること
を特徴とする入浴者見守りシステム。

【請求項2】

前記変換手段は、前記心電信号を複数の心電ビート信号に分離し、分離した心電ビート信号を複数のスカログラム画像に変換し、
前記所属分類推定手段は、複数の学習用スカログラム画像を入力データとする学習用データを用いて生成された前記ニューラルネットワークモデルを参照し、前記変換手段により変換された複数のスカログラム画像を入力として、所属分類を推定すること
を特徴とする請求項１に記載の入浴者見守りシステム。

【請求項3】

前記所属分類推定手段は、１以上の前記スカログラム画像を入力として、複数の推定用所属分類を推定し、推定した複数の前記推定用所属分類に基づいて、前記所属分類を推定すること
を特徴とする請求項１に記載の入浴者見守りシステム。

【請求項4】

前記所属分類推定手段は、前記変換手段により変換された複数のスカログラム画像と予め取得された参照用スカログラム画像との類似度を算出し、算出した類似度が所定の閾値以上となる場合、前記所属分類の推定を行うこと
を特徴とする請求項１～３の何れか１項に記載の入浴者見守りシステム。

【請求項5】

前記処置判断手段により判断された処置データを外部機器に送信する送信手段と、
前記処置判断手段により判断された処置データを入浴者に提示する提示手段と、をさらに備えること
を特徴とする請求項１～４の何れか１項に記載の入浴者見守りシステム。

【請求項6】

前記処置判断手段により判断された処置データに基づき、前記浴室に設けられた浴槽を排水する排水手段をさらに備えること
を特徴とする請求項１～５の何れか１項に記載の入浴者見守りシステム。

【請求項7】

前記処置判断手段により判断された処置データに対する処置結果を示す結果データを取得する処置結果取得手段と、
前記処置結果取得手段により取得された結果データに応じて、前記状態判定手段によって判定された状態データと、前記処置判断手段により判断された処置データとを１対の判断用学習データとし、新たに前記処置情報データベースに記録する記録手段とを備えること
を特徴とする請求項１～６の何れか１項に記載の入浴者見守りシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入浴者見守りシステムに関する。

【背景技術】

【0002】

従来、ユーザの心拍を分類する方法として、例えば特許文献１のような方法が提案されている。

【0003】

特許文献１では心拍波形データをＣＮＮ（Convolutional Neural Network）モデルで学習し、学習済みＣＮＮモデルで推論する人工知能に基づく心電図心拍自動識別分類方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０２０－５３５８８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら特許文献１に開示されているＣＮＮモデルを利用した心拍分類方法では、ＣＮＮモデルとして使用するＬｅｐｕＥｃｇＣａｔＮｅｔマルチラベルモデルが大規模なＣＮＮとなり、学習工程で学習するパラメータ数が膨大になるため、コストがかかるという問題点があった。また、特許文献１に開示されているＣＮＮモデルの心拍分類方法では、１次元のＥＣＧ（electrocardiogram）信号を４次元テンソルデータに変換して入力データとして使用するので、訓練データの準備が困難であるという問題点があった。

【0006】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、低コスト且つ高速でＣＮＮモデルによる心拍分類が可能であり、心電図を多様に分類することができる入浴者見守りシステムを提供することにある。

【課題を解決するための手段】

【0007】

第１発明に係る入浴者見守りシステムは、浴室内に設けられる温度、湿度、照度、響度、香り又は気圧のうちの何れか１以上を示す環境データを計測する浴室環境センサと、前記浴室に入浴する入浴者の健康データを取得する入浴者情報取得手段と、心電信号に基づいて、心電信号の各心拍の分類を示す所属分類を推定する心拍分類装置によって分類された１又は複数の所属分類と、前記浴室環境センサにより計測された環境データ及び前記入浴者情報取得手段に取得された健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、前記入浴者の状態データを判定する状態判定手段と、予め取得された状態データと状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、前記状態判定手段によって判定された状態データに対する処置データを判断する処置判断手段と、を備え、前記心拍分類装置は、前記心電信号を、１心拍分の心電信号を示す心電ビート信号に分離し、分離した心電ビート信号をスカログラム画像に変換する変換手段と、予め取得された学習用スカログラム画像に基づく入力データ、及び前記入力データに紐づく所属分類を一対の学習用データとして、複数の前記学習用データを用いて生成されたニューラルネットワークモデルを参照し、前記変換手段により変換されたスカログラム画像を入力として、前記所属分類を推定する所属分類推定手段とを有することを特徴とする。

【0008】

第２発明に係る入浴者見守りシステムは、第１発明において、前記変換手段は、前記心電信号を複数の心電ビート信号に分離し、分離した心電ビート信号を複数のスカログラム画像に変換し、前記所属分類推定手段は、複数の学習用スカログラム画像を入力データとする学習用データを用いて生成された前記ニューラルネットワークモデルを参照し、前記変換手段により変換された複数のスカログラム画像を入力として、所属分類を推定することを特徴とする。

【0009】

第３発明に係る入浴者見守りシステムは、第１発明において、前記所属分類推定手段は、１以上の前記スカログラム画像を入力として、複数の推定用所属分類を推定し、推定した複数の前記推定用所属分類に基づいて、前記所属分類を推定する。

【0010】

第４発明に係る入浴者見守りシステムは、第１発明から第３発明の何れかにおいて、前記所属分類推定手段は、前記変換手段により変換された複数のスカログラム画像と予め取得された参照用スカログラム画像との類似度を算出し、算出した類似度が所定の閾値以上となる場合、前記所属分類の推定を行うことを特徴とする。

【0012】

第５発明に係る入浴者見守りシステムは、第１発明～第４発明の何れかにおいて、前記処置判断手段により判断された処置データを外部機器に送信する送信手段と、前記処置判断手段により判断された処置データを入浴者に提示する提示手段と、をさらに備えることを特徴とする。

【0013】

第６発明に係る入浴者見守りシステムは、第１発明～第５発明の何れかにおいて、前記処置判断手段により判断された処置データに基づき、前記浴室に設けられた浴槽を排水する排水手段をさらに備えることを特徴とする。

【0014】

第７発明に係る入浴者見守りシステムは、第１発明～第６発明の何れかにおいて、前記処置判断手段により判断された処置データに対する処置結果を示す結果データを取得する処置結果取得手段と、前記処置結果取得手段により取得された結果データに応じて、前記状態判定手段によって判定された状態データと、前記処置判断手段により判断された処置データとを１対の判断用学習データとし、新たに前記処置情報データベースに記録する記録手段とを備えることを特徴とする。

【発明の効果】

【0015】

第１発明～第７発明によれば、所属分類推定手段は、ニューラルネットワークモデルを参照し、スカログラム画像を入力として、所属分類を推定する。このため、スカログラム画像を入力データとして使用することにより、ＣＮＮモデルのサイズを縮小することができ、低コスト且つ高速で心拍分類が可能となる。第１発明～第７発明によれば、所属分類と入浴情報とに基づいて、状態データベースを参照し、入浴者の状態データを判定する。これにより、入浴者の状態を高精度に判定することが可能となる。また、処置判断手段は、状態判定手段によって判定された状態データに対する処置データを判断する。これにより、入浴者に対する適切な処置を高精度に判断することができる。

【0016】

特に、第２発明によれば、複数のスカログラム画像を入力として、所属分類を推定する。このため、例えば時系列的に連続した複数のスカログラム画像を入力とすることにより、心電図の時間的な変化のパターンから特徴を判断することが可能となる。これによって、所属分類を推定する際の精度向上を図ることが可能となる。

【0017】

特に、第３発明によれば、所属分類推定手段は、複数のスカログラム画像を入力として、複数の推定用所属分類を推定し、推定した複数の推定用所属分類に基づいて、所属分類を推定する。これにより、例えば複数のチャネルを用いて取得した複数のスカログラム画像から総合的に所属分類を推定することが可能となる。このため、所属分類を高精度に推定することができる。

【0018】

特に、第４発明によれば、所属分類推定手段は、変換手段により変換された複数のスカログラム画像と予め取得された参照用スカログラム画像との類似度を算出し、算出した類似度が所定の閾値以上となる場合、所属分類の推定を行う。このため、判定の対象となる入浴者が入浴をしているときのみ、推定を自動で行うことができるため、低コスト且つ高速で推定することができる。

【0020】

特に、第５発明によれば、処置データを外部機器に送信し、処置データを入浴者に提示する。これにより、入浴者及び外部端末を所有する入浴者の家族又は介護者に適切な処置方法を提示することが可能となる。

【0021】

特に、第６発明によれば、排水手段は、処置データに基づき、浴室に設けられた浴槽を排水する。これにより、入浴者の状態に応じて、自動的に排水を行うことが可能となる。

【0022】

特に、第７発明によれば、記録手段は、結果データに応じて、状態データと処置データとを１対の判断用学習データとし、新たに処置情報データベースに記録する。これにより、結果に応じて、適切な学習データをフィードバックすることが可能となる。

【図面の簡単な説明】

【0023】

【図1】図１は、本実施形態における入浴者見守りシステムの一例を示す模式図である。

【図2】図２は、本実施形態における浴槽の一例を示す模式図である。

【図3】図３（ａ）は、本実施形態における心拍分類装置の構成の一例を示す模式図である。図３（ｂ）は、本実施形態における心拍分類装置の機能の一例を示す模式図である。

【図4】図４は、本実施形態における心拍分類装置の動作の一例を示すフローチャートである。

【図5】図５（ａ）は、心電信号の一例を示す模式図である。図５（ｂ）は、心電ビート信号の三例を示す模式図である。図５（ｃ）は、（ｂ）に対応するスカログラム画像の三例を示す模式図である。

【図6】図６は、所属分類の七例を示す模式図である。左側は心電信号を示し、右側はそれぞれの対応するスカログラム画像を示す。

【図7】図７は、ニューラルネットワークモデルの一例を示す模式図である。

【図8】図８は、複数のスカログラム画像を入力としたときのニューラルネットワークモデルの一例を示す模式図である。

【図9】図９は、本実施形態における入浴者見守りシステムの動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態における入浴者見守りシステムの一例について、図面を参照しながら説明する。

【0025】

図１は、本実施形態における入浴者見守りシステム１００の一例を示す模式図である。

【0026】

入浴者見守りシステム１００は、入浴者の状態を管理するために用いられる。

【0027】

入浴者見守りシステム１００は、例えば図１に示すように、通信網４を介して接続される心拍分類装置１と、端末２と、サーバ３と浴室５とを備える。

【0028】

端末２は、例えば入浴者見守りシステム１００により状態を管理される入浴者の家族、又は介護者等が保有し、通信網４を介して心拍分類装置１と接続される。端末２は、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられる。端末２は、例えば心拍分類装置１の備える機能のうち、少なくとも一部の機能を備えてもよい。

【0029】

サーバ３は、通信網４を介して心拍分類装置１等に接続される。サーバ３は、過去の各種データ等が記憶され、必要に応じて心拍分類装置１及び浴室５から各種データが送信される。サーバ３は、例えば心拍分類装置１の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば心拍分類装置１の代わりに少なくとも一部の処理を行ってもよい。

【0030】

通信網４は、例えば心拍分類装置１が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。また、通信網４は、ＬＡＮ（Local Area Network）であってもよい。

【0031】

浴室５は、入浴者が入浴するための閉空間である。浴室５は、図２に示すように、浴室５内に設置された浴槽５１と、浴室５内に設けられたセンサ５３と、モニタ５４と、換気扇５６と、浴槽５１に設けられた排水装置５２と、電極５５とを備える。また、浴室５は、２個又は２個以上の電極５５が備えられてもよい。また、浴室５は、図示しない暖房機、照明器具、音響機器、香り発生器等を備えてもよい。また、センサ５３と、換気扇５６と、排水装置５２と、モニタ５４と、電極５５とは、通信網４を介して心拍分類装置１に接続される。

【0032】

排水装置５２は、心拍分類装置１の指令により、浴槽５１内を排水するための装置である。排水装置５２は、例えば後付けが可能な任意の排水機能を有する装置であるが、この限りではなく、任意の装置を用いてもよい。排水装置５２は、例えば心拍分類装置１の指令により、バネ等を用いて浴槽５１の水栓を跳ね上げることにより浴槽５１内を排水する装置であってもよい。

【0033】

センサ５３は、浴室５内の温度、湿度、気圧、照度、響度（音楽等）、又は香りのうちの何れか１以上を示す環境データを計測するセンサであり、温度センサ、湿度センサ、気圧センサ等の各種センサが用いられる。センサ５３は、通信網４を介して各種機器に環境データを送信する。

【0034】

モニタ５４は、心拍分類装置１の指令に応じて、入浴者に対する処置の方法を示す処置データを提示するためのモニタである。

【0035】

電極５５は、入浴者の心電信号を測定するための電極である。電極５５は、例えば入浴者の手足や胸部等に近い複数の箇所の電位差を測定することにより、入浴者の心電信号を測定する。電極５５は、複数があり、浴槽５１に埋め込まれてもよい。また、電極５５は、浴槽５１の壁に取り付けられてもよい。なお、入浴者は電極５５に接触することなく心電波形を測定できる。

【0036】

心拍分類装置１として、例えばラップトップ（ノート）ＰＣ又はデスクトップＰＣ等の電子機器が用いられる。心拍分類装置１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各構成１０１～１０７は、内部バス１１０により接続される。

【0037】

ＣＰＵ１０１は、心拍分類装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、データベースや学習対象データ等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。なお、例えば心拍分類装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。

【0038】

Ｉ／Ｆ１０５は、通信網４を介して、必要に応じて端末２、サーバ３、ウェブサイト等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、心拍分類装置１の使用者等は、入力部１０８を介して、各種情報、又は心拍分類装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された各種情報、又はコンテンツ等を表示する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式の場合、入力部１０８と一体に設けられる。また、表示部１０９は、スピーカが用いられてもよい。

【0039】

図３（ｂ）は、心拍分類装置１の機能の一例を示す模式図である。心拍分類装置１は、取得部１１と、変換部１２と、所属分類推定部１３と、記憶部１４と、出力部１５と、処置判断部１６と、状態判定部１７とを備える。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現され、例えば人工知能等により制御されてもよい。

【0040】

取得部１１は、環境データ、心電信号、入浴者の健康データ等の各種データを取得する。取得部１１は、例えば入力部１０８から入力された健康データを取得するほか、例えば通信網４を介して、浴室５等から環境データと、心電信号とを取得してもよい。

【0041】

変換部１２は、取得部１１により取得された心電信号を、１周期分の心電信号を示す心電ビート信号に分離し、分離した心電ビート信号をスカログラム画像に変換する。

【0042】

所属分類推定部１３は、予め取得された学習用スカログラム画像に基づく入力データ、及び入力データに紐づく所属分類の一対を学習用データとして、複数の学習用データを用いて生成されたニューラルネットワークモデルを参照し、変換部１２により変換されたスカログラム画像を入力として、所属分類を推定する。

【0043】

状態判定部１７は、所属分類推定部１３により推定された１又は複数の所属分類と、環境データ及び健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、入浴者の状態データを判定する。

【0044】

処置判断部１６は、予め取得された状態データと当該状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、状態判定部１７により判定された状態データに対する処置データを判断する。

【0045】

記憶部１４は、保存部１０４に保存されたデータベース等の各種データを必要に応じて取り出す。記憶部１４は、各構成により取得又は生成された各種データを、必要に応じて保存部１０４に保存する。

【0046】

出力部１５は、各種データを出力する。出力部１５は、Ｉ／Ｆ１０７を介して表示部１０９に各種データを出力するほか、例えばＩ／Ｆ１０５を介して、複数の端末２等に各種データを出力する。

【0047】

次に、本実施形態における入浴者見守りシステム１００の動作の一例について説明する。

【0048】

入浴者見守りシステム１００は、例えば心拍分類装置１内にインストールされたプログラムを介して実行する。即ち、心拍分類装置１にインストールされているプログラムを通じて、入浴者の状態を管理する。

【0049】

図４は、本実施形態における心拍分類装置１の動作の一例を示すフローチャートである。入浴者見守りシステム１００の動作は、まず図４に示す各ステップにより、所属分類を推定する。

【0050】

まずステップＳ１１０において、入浴者の心電信号を測定する。例えば浴室５の電極５５は、入浴者の心電信号を測定する。かかる場合、電極５５は、全入浴時間又は予め設定された時間に亘り、心電信号を測定する。電極５５は、例えば１０秒間に亘り、入浴者の心電信号を測定する。浴室５は、通信網４を介して、測定したデータを心拍分類装置１へ送信する。

【0051】

心電信号は、図５（ａ）に示すような、時間（ｓ）に対する心臓の電位差（ｍＶ）を示す信号であり、心房の興奮を示すＰ波、心室の興奮を示すＱＲＳ波、心室の興奮がさめるＴ波等を含む。また、心電信号の１周期は、これら特定の信号が再び観察されるまでの期間であり、例えばＰ波から次のＰ波の期間を示す。また、心電信号の１周期は、一定の時間毎に区切られた心電信号であってもよい。

【0052】

次にステップＳ１２０において、ステップＳ１１０により測定された心電信号の特徴ピークを検出する。心電信号の特徴ピークは、例えばＱＲＳ波であるが、これに限らず、他の特徴ピークを検出してもよい。

【0053】

次にステップＳ１３０において、心電信号を１周期分の心電信号を示す心電ビート信号に分離する。心電ビート信号は、例えば図５（ｂ）に示すように、一つのＱＲＳ波が含まれる。

【0054】

次にステップＳ１４０において、心電ビート信号のピークを中心に揃える。かかる場合、心電ビート信号の中心にＱＲＳ波が揃うようにしてもよい。また、このとき心電ビート信号のピークを中心として、中心から一定時間前から後までの心電信号を含めるものを心電ビート信号としてもよい。

【0055】

次に、ステップＳ１５０において、心電ビート信号のノイズ除去と正規化とを行う。ノイズ除去は任意のフィルタを用いて行ってもよい。また、正規化は、例えば心電ビート信号の最大値を１、最小値を０として、正規化を行ってもよい。

【0056】

次に、ステップＳ１６０において、心電ビート信号をスカログラム画像に変換する。スカログラム画像は、図５（ｃ）に示すように、心電ビート信号のスカログラムを示す画像である。ステップＳ１６０において、例えば変換部１２は、心電ビート信号をスカログラム画像、またはスペクトルグラム画像に変換してもよい。

【0057】

次にステップＳ１７０において、スカログラム画像を入力として、所属分類を推定する。かかる場合、所属分類推定部１３は、予め取得された学習用スカログラム画像に基づく入力データ、及び入力データに紐づく所属分類の一対を学習用データとして、複数の学習用データを用いて生成されたニューラルネットワークモデルを参照し、変換処理により変換されたスカログラム画像を入力として、所属分類を推定する。

【0058】

所属分類は、心電信号の心拍分類を示すデータである。所属分類は、例えば表１に示すような分類を示すデータである。

【0059】

【表1】

ニューラルネットワークモデルは、例えば複数の学習用データを用いた機械学習により生成された、学習済みモデルを含んでもよい。学習済みモデルは、例えばＣＮＮ（Convolutional Neural Network）等のニューラルネットワークモデルを示すほか、ＳＶＭ（Support vector machine）等を示す。また、機械学習として、例えば深層学習を用いることができる。図６は、学習用データの一例を示す模式図である。学習用データは、例えば図６に示すように、学習用スカログラム画像と、所属分類とが紐づけられる。

【0060】

ニューラルネットワークモデルには、例えばスカログラム画像（入力データ）と所属分類（出力データ）との間における連関度を有する連関性が記憶される。連関度は、入力データと出力データとの繋がりの度合いを示しており、例えば連関度が高いほど各データの繋がりが強いと判断することができる。連関度は、例えば百分率等で示されるほか、数段階で示されてもよい。

【0061】

例えば連関性は、多対多の情報（複数の入力データ、対、複数の出力データ）の間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ、及び複数の出力データに基づいて最適化された関数（分類器）を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。

【0062】

このため、心拍分類装置１では、例えば分類器の判定した結果を全て踏まえた連関性を用いて、入力データに適した出力データを選択する。これにより、入力データが、学習用入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0063】

連関性は、例えば図７に示すように、複数の出力データと、複数の入力データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、複数の出力データ（図７では「所属分類Ａ」～「所属分類Ｃ」）のそれぞれに対し、複数の入力データ（図７では「スカログラム画像Ａ」～「スカログラム画像Ｃ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つの出力データに対して、複数の入力データを紐づけることができる。これにより、スカログラム画像に対して所属分類を取得することができる。

【0064】

連関性は、例えば各出力データと、各入力データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、入力データに含まれる「スカログラム画像Ａ」は、出力データに含まれる「所属分類Ａ」との間の連関度ＡＡ「７３％」を示し、出力データに含まれる「所属分類Ｂ」との間の連関度ＡＢ「１２％」、出力データに含まれる「所属分類Ｃ」との間の連関度ＡＣ「１５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。

【0065】

また、ニューラルネットワークモデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0066】

所属分類推定部１３は、上述したニューラルネットワークモデルを用いて、ステップＳ１６０により変換されたスカログラム画像を入力として、所属分類を出力する。

【0067】

また、所属分類推定部１３は、複数の学習用スカログラム画像を入力データとする学習用データを用いて生成されたニューラルネットワークモデルを参照し、ステップＳ１６０により変換された複数のスカログラム画像を入力として、所属分類を推定してもよい。かかる場合、ニューラルネットワークモデルは、図８に示すような連関性を学習させてもよい。このニューラルネットワークモデルは、入力データに複数のスカログラム画像が含まれる点で、上述したニューラルネットワークモデルと異なる。

【0068】

この入力データは、２以上のスカログラム画像が含まれる。また、入力データは、時系列的に連続している複数のスカログラム画像を含んでもよい。これにより、例えば時系列的に連続した複数のスカログラム画像を入力とすることにより、心電図の時間的な変化のパターンから特徴を判断することが可能となる。これによって、所属分類を推定する際の精度向上を図ることが可能となる。また、入力データは、電極５５による測定部位毎に分けられた複数のチャネルを用いて取得された複数の心電信号に基づく複数のスカログラム画像を含んでもよい。

【0069】

また、ステップＳ１７０において、所属分類推定部１３は、複数のスカログラム画像を入力として、複数の推定用所属分類を推定し、推定した複数の推定用所属分類に基づいて、所属分類を推定してもよい。推定用所属分類は、複数の所属分類から１つの所属分類を推定するための所属分類である。かかる場合、所属分類推定部１３は、例えば電極５５による測定部位毎に分けられた複数のチャネルを用いて取得された複数の心電信号に基づく複数のスカログラム画像から複数の推定用所属分類を推定し、複数の推定用所属分類の中から最も数の多い所属分類を選択してもよい。これにより、例えば複数のチャネルを用いて取得した複数のスカログラム画像から総合的に所属分類を推定することが可能となる。このため、所属分類を高精度に推定することができる。また、ステップＳ１７０において、所属分類推定部１３は、１のスカログラム画像を入力として、複数の推定用所属分類を推定し、推定した複数の推定用所属分類に基づいて、所属分類を推定してもよい。かかる場合、例えば入力をスカログラム画像、出力を推定用所属分類とする任意の学習済みモデルを用いて、入力したスカログラム画像と連関性がある、又は連関度が予め設定された閾値以上である複数の推定用所属分類を推定してもよい。

【0070】

また、ステップＳ１７０において、所属分類推定部１３は、変換部１２により変換された複数のスカログラム画像と予め取得された参照用スカログラム画像との類似度を算出し、算出した類似度が所定の閾値以上となる場合、所属分類の推定を行うようにしてもよい。

【0071】

参照用スカログラム画像は、例えば推定の対象となる入浴者の心電信号の基づくスカログラム画像であってもよい。この参照用スカログラム画像との類似度を比較することにより、ステップＳ１１０において、測定した心電信号が推定の対象となる入浴者の心電信号に基づくスカログラム画像であるか否かを推定することができる。このため、判定の対象となる入浴者が入浴をしているときのみ、推定を自動で行うことができるため、低コスト且つ高速で推定することができる。

【0072】

また、参照用スカログラム画像は、例えば推定の対象となる入浴者が入浴しているときの心電信号の基づくスカログラム画像であってもよい。この参照用スカログラム画像との類似度を比較することにより、ステップＳ１１０において、測定した心電信号が推定の対象となる入浴者が入浴しているときの心電信号に基づくスカログラム画像であるか否かを推定することができる。このため、判定の対象となる入浴者が入浴をしているときのみ、推定を自動で行うことができるため、低コスト且つ高速で推定することができる。

【0073】

上述した各ステップを行うことにより、入浴者見守りシステム１００の所属分類を推定する動作が完了する。これにより、スカログラム画像を入力データとして使用することにより、ＣＮＮモデルのサイズを縮小することができ、低コスト且つ高速で心拍分類が可能となる。

【0074】

次に、入浴者見守りシステム１００は、分類した所属分類に基づいて、入浴者の状態を管理する。図９は、入浴者の状態を管理する動作の一例を示すフローチャートである。

【0075】

まず、ステップＳ２１０において、取得部１１は、各種データを取得する。かかる場合、取得部１１は、センサ５３により測定された浴室５の環境データ、入浴者の健康データ等を取得する。

【0076】

次に、ステップＳ２２０において、状態判定部１７は、ステップＳ１７０により分類された１又は複数の所属分類と、環境データ及び健康データを組み合わせた入浴情報とに基づいて、予め取得された所属分類と入浴情報とに対する入浴者の状態を示す状態データを記録した状態データベースを参照し、入浴者の状態データを判定する。また、状態判定部１７は、入浴情報を用いることなく、所属分類のみに基づいて、状態データを判定してもよい。

【0077】

状態データベースは、所属分類と入浴情報とに対する状態データを記録したデータベースである。状態データベースは、入力データを所属分類と入浴情報とし、出力データを状態データとして、一対の入力データと出力データとを学習用データとして、複数の学習用データを用いて生成された状態モデルを記録してもよい。かかる場合、この状態モデルは、入力データを所属分類と入浴情報とし、出力データを状態データとする点で上述したニューラルネットワークモデルと異なる。

【0078】

状態データは、入浴者の状態を示すデータであり、例えば「正常」、「異常」、「熱中症」、「心筋梗塞」、「失神」等の状態を示す。

【0079】

また、ステップＳ２２０において、状態判定部１７は、ステップＳ１７０により分類された複数の所属分類に基づいて、状態データベースを参照し、入浴者の状態データを判定してもよい。かかる場合、状態判定部１７は、時系列的に連続した複数のスカログラム画像からそれぞれ推定された複数の所属分類を入力として、状態データを判定する。かかる場合、例えば状態判定部１７は、時系列的に連続した所属分類のうち、心室期外収縮が一定数観測されたとき、「異常」の状態データを出力してもよい。

【0080】

次にステップＳ２３０において、処置判断部１６は、状態データに対する処置データを判断する。処置データは、状態データに対する処置の方法を示すデータであり、例えば「浴槽５１を排水する」、「救急車を呼ぶ」、「家族に通知する」等の処置を示すデータである。

【0081】

処置判断部１６は、例えば予め取得された状態データと当該状態データに対する処置の方法を示す処置データとを１対の判断用学習データとし、複数の判断用学習データが記録された処置情報データベースを参照し、ステップＳ２２０により判定された状態データに対する処置データを判断する。

【0082】

処置情報データベースは、状態データに対する処置データを記録したデータベースである。処置情報データベースは、入力データを状態データとし、出力データを処置データとして、一対の入力データと出力データとを判断用学習データとして、複数の判断用学習データを用いて生成された処置モデルを記録してもよい。かかる場合、この処置モデルは、入力データを状態データとし、出力データを処置データとする点で上述したニューラルネットワークモデルと異なる。

【0083】

次に、ステップＳ２４０において、出力部１５は、ステップＳ２３０により判断された処置データを送信する。かかる場合、出力部１５は、例えば端末２、又はモニタ５４等に処置データを送信し、入浴者の家族、介護者、又は入浴者に処置データを提示させる。これにより、入浴者の家族、介護者、又は入浴者に適切な処置方法を提示することが可能となる。

【0084】

次に、ステップＳ２５０において、ステップＳ２４０により送信された処置データに応じて、排水装置５２は、浴槽５１を排水する。かかる場合、排水装置５２は、予め各処置データに対して排水を行うか行わないかが設定されていてもよい。また、処置データに応じて、換気扇５６は、浴室５内を換気してもよい。かかる場合、予め各処置データに対して換気を行うか行わないかが設定されていてもよい。

【0085】

次に、ステップＳ２６０において、取得部１１は、ステップＳ２３０により判断された処置データに対する処置結果を示す結果データを取得する。結果データは、入浴者に処置を施した結果を示すデータであり、例えば「問題なし」、又は「問題あり」等のデータを含む。取得部１１は、例えば端末２から送信された結果データを取得してもよい。

【0086】

次に、ステップＳ２７０において、記憶部１４は、ステップＳ２６０により取得された結果データに応じて、ステップＳ２２０により判定された状態データと、ステップＳ２３０により判断された処置データとを１対の判断用学習データとし、新たに処置情報データベースに記録する。記憶部１４は、例えば結果データが「問題なし」であった場合に、判断用学習データを新たに処置情報データベースに記録し、「問題あり」であった場合、判断用学習データを新たに処置情報データベースに記録しないようにしてもよい。また、例えば結果データが「問題なし」であった場合、状態データと処置データとの連関度が高くなるように設定してもよい。これにより、結果をフィードバックさせることが可能となるため、より精度を向上させることができる。

【0087】

上述した各ステップを行うことにより、入浴者見守りシステム１００の入浴者の状態を管理する動作が終了する。これにより、入浴者の状態を高精度に判定することが可能となる。

【0088】

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。このような新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。本発明の実施形態は、例えば第１実施形態～第８実施形態の内の、複数の実施形態を組み合わせてなるものでもよい。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0089】

１ ：心拍分類装置
２ ：端末
３ ：サーバ
４ ：通信網
５ ：浴室
１０ ：筐体
１１ ：取得部
１２ ：変換部
１３ ：所属分類推定部
１４ ：記憶部
１５ ：出力部
１６ ：処置判断部
１７ ：状態判定部
５１ ：浴槽
５２ ：排水装置
５３ ：センサ
５４ ：モニタ
５５ ：電極
５６ ：換気扇
１００ ：入浴者見守りシステム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス

【要約】      （修正有）

【課題】低コスト且つ高速でＣＮＮモデルによる心拍分類が可能であり、心電図を多様に分類することができる入浴者見守りシステムを提供する。
【解決手段】心電信号に基づいて、心電信号の心拍分類を示す所属分類を推定する心拍分類装置において、前記心電信号を、１周期分の心電信号を示す心電ビート信号に分離し、分離した心電ビート信号をスカログラム画像に変換する変換手段と、予め取得された学習用スカログラム画像に基づく入力データ、及び前記入力データに紐づく所属分類の一対を学習用データとして、複数の前記学習用データを用いて生成されたニューラルネットワークモデルを参照し、前記変換処理により変換されたスカログラム画像を入力として、所属分類を推定する所属分類推定手段とを備えることを特徴とする入浴者見守りシステム。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】