(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-19
(45)【発行日】2023-12-27
(54)【発明の名称】転倒検知端末及びプログラム
(51)【国際特許分類】
G08B 21/02 20060101AFI20231220BHJP
G08B 25/04 20060101ALI20231220BHJP
A61B 5/11 20060101ALI20231220BHJP
G06N 3/02 20060101ALI20231220BHJP
G06N 20/00 20190101ALI20231220BHJP
H04M 1/00 20060101ALI20231220BHJP
【FI】
G08B21/02
G08B25/04 K
A61B5/11 200
G06N3/02
G06N20/00
H04M1/00 R
(21)【出願番号】P 2019239550
(22)【出願日】2019-12-27
【審査請求日】2022-11-18
(73)【特許権者】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(74)【代理人】
【識別番号】100104215
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100117330
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100160989
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100168181
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100168745
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【氏名又は名称】白鹿 智久
(72)【発明者】
【氏名】今田 翔平
(72)【発明者】
【氏名】青木 秀行
【審査官】瀬戸 康平
(56)【参考文献】
【文献】特開2016-177459(JP,A)
【文献】国際公開第2019/067424(WO,A1)
【文献】米国特許出願公開第2019/0231280(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06- 5/22
G06F 18/00-18/40
G06N 3/00-99/00
G08B 19/00-31/00
H04M 1/00,99/00
(57)【特許請求の範囲】
【請求項1】
ユーザにより携帯され、当該ユーザの転倒を検知する転倒検知端末であって、
当該転倒検知端末の動きを検出し、当該動きを示す動きデータを出力する動きセンサと、
前記動きデータを基に前記ユーザの転倒の有無を判定する転倒判定手段と、
前記動きデータを基に前記ユーザの体動の有無を判定する体動判定手段と、
前記転倒が有ったと判定され、かつ、前記体動が無かったと判定された場合、前記ユーザに転倒異常が発生したと判定する転倒監視手段と
を具備し、
前記転倒判定手段は、前記動きデータを入力データとし前記転倒の有無を出力データとする機械学習によって生成された判定モデルに第1の時点に対応する第1の期間の前記動きデータを入力することで前記転倒の有無を判定し、
前記体動判定手段は、前記第1の期間以後の第2の期間の前記動きデータの値が所定の条件を満たすか否かにより前記体動の有無を判定する
転倒検知端末。
【請求項2】
請求項1に記載の転倒検知端末であって、
前記動きセンサは、3軸の加速度センサであり、
前記転倒判定手段は、前記3軸の各加速度データをそれぞれ入力データとして生成された前記判定モデルに前記第1の期間の前記3軸の各加速度データをそれぞれ入力することで前記転倒の有無を判定し、
前記体動判定手段は、前記3軸の各加速度データから求めたスカラー値に基づいて前記体動の有無を判定する
転倒検知端末。
【請求項3】
請求項1または2に記載の転倒検知端末であって、
前記動きデータを基に当該転倒検知端末に加わった衝撃を検出する衝撃検出手段をさらに具備し、
前記第1の時点は、前記衝撃の検出時点である
転倒検知端末。
【請求項4】
請求項3に記載の転倒検知端末であって、
前記第1の期間は、前記衝撃の検出前後の期間であって、
前記第1の期間において、前記衝撃の検出前の期間よりも検出後の期間の方が長い
転倒検知端末。
【請求項5】
請求項3又は4に記載の転倒検知端末であって、
前記動きセンサは、3軸の加速度センサであり、
前記衝撃検出手段は、前記3軸の各加速度データから求めたスカラー値に基づいて前記衝撃を検出する
転倒検知端末。
【請求項6】
請求項3乃至5のいずれかに記載の転倒検知端末であって、
前記動きデータを逐次記憶する記憶手段を有し、
前記転倒判定手段は、前記衝撃が検出された場合に、当該衝撃の検出時よりも所定時間前に記憶されていた動きデータから逐次前記判定モデルへの入力を開始する
転倒検知端末。
【請求項7】
ユーザにより携帯され、当該ユーザの転倒を検知する転倒検知端末に、
前記転倒検知端末の動きを検出する動きセンサから出力された動きデータを基に、前記ユーザの転倒の有無を判定するステップと、
前記動きデータを基に前記ユーザの体動の有無を判定するステップと、
前記転倒が有ったと判定され、かつ、前記体動が無かったと判定された場合、前記ユーザに転倒異常が発生したと判定するステップと、
を実行させるプログラムであって、
前記転倒の有無を判定するステップは、前記動きデータを入力データとし前記転倒の有無を出力データとする機械学習によって生成された判定モデルに第1の時点に対応する第1の期間の前記動きデータを入力することで前記転倒の有無を判定し、
前記体動の有無を判定するステップは、前記第1の期間以後の第2の期間の前記動きデータの値が所定の条件を満たすか否かにより前記体動の有無を判定する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の転倒を検出可能な転倒検知端末及び当該転倒検知端末に用いられるプログラムに関する。
【背景技術】
【0002】
従来から、高齢者等の健康異常や転倒等の事故を検出し通報するシステムが存在する。下記特許文献1には、ユーザに携帯される転倒検知端末において、動きセンサによって出力された動きデータを基に、ユーザの転倒を検出し、転倒の検出後に所定の取消信号が入力された場合に、当該転倒の検出を取り消し、転倒の検出が取り消されない場合にユーザに異常が発生したと判定し、転倒の検出が取り消された後の所定の第1の期間、体動の検出を監視し、当該監視中に体動が検出されない場合にユーザに異常が発生したと判定することが記載されている。
【0003】
ここで、上記転倒の検出や体動の検出は、動きセンサの出力値が所定の条件を満たすか否かというルールベース処理で行われる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に記載のルールベース処理においては、ユーザの動き方(倒れ方)、動きセンサの装着位置、ユーザの体形等によって、実際にはユーザが転倒していないのに転倒したと判定して誤報したり、実際に転倒したのに転倒したと判定せず、失報したりしてしまう場合があった。
【0006】
本発明の目的は、ユーザの転倒を高精度かつ高効率に判定することが可能な転倒検知端末及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の一形態に係る転倒検知端末は、ユーザにより携帯され、当該ユーザの転倒を検知する転倒検知端末であって、当該転倒検知端末の動きを検出し、当該動きを示す動きデータを出力する動きセンサと、上記動きデータを基に上記ユーザの転倒の有無を判定する転倒判定手段と、上記動きデータを基に上記ユーザの体動の有無を判定する体動判定手段と、上記転倒が有ったと判定され、かつ、上記体動が無かったと判定された場合、上記ユーザに転倒異常が発生したと判定する転倒監視手段とを有する。上記転倒判定手段は、上記動きデータを入力データとし上記転倒の有無を出力データとする機械学習によって生成された判定モデルに第1の時点に対応する第1の期間の上記動きデータを入力することで上記転倒の有無を判定する。上記上記体動判定手段は、上記第1の期間以後の第2の期間の上記動きデータの値が所定の条件を満たすか否かにより上記体動の有無を判定する。
【0008】
この構成により、転倒の仕方によって動きデータの大きな変化が起こりやすい転倒判定処理においては機械学習によって訓練された判定モデルを用い、動きデータに変化が無いことを判定する体動判定処理においてはルールベース処理を用い、判定基準を適切に使い分けることで、ユーザの転倒(ユーザが意識を失って転倒したこと)を高精度かつ高効率に判定することができる。
【0009】
上記動きセンサは、3軸の加速度センサであってもよい。この場合上記転倒判定手段は、上記3軸の各加速度データをそれぞれ入力データとして生成された上記判定モデルに上記第1の期間の上記3軸の各加速度データをそれぞれ入力することで上記転倒の有無を判定してもよい。またこの場合上記体動判定手段は、上記3軸の各加速度データから求めたスカラー値に基づいて上記体動の有無を判定してもよい。
【0010】
これにより、複雑な動きを伴う転倒の判定には3軸の各加速度データで機械学習させた判定モデルを用いることでより高精度に転倒を判定することができ、単純な体動の有無の判定には3軸の各加速度のスカラー値を用いることで、機械学習を用いる場合に比べて計算量を大幅に削減し誤判定を防ぐことができる。
【0011】
上記動きデータを基に当該転倒検知端末に加わった衝撃を検出する衝撃検出手段をさらに有してもよい。この場合上記第1の時点は、上記衝撃の検出時点であってもよい。
【0012】
これにより、転倒に伴う衝撃の検出前後の動きデータを機械学習された判定モデルに入力することで高精度に転倒を検出することができる。
【0013】
上記第1の期間は、上記衝撃の検出前後の期間であって、上記第1の期間においては、上記衝撃の検出前の期間よりも検出後の期間の方が長くてもよい。
【0014】
これにより、衝撃の検出前の期間を短くすることで、日常生活における動きデータが入力され誤報や失報の要因となるのを防ぐことができ、衝撃の検出後の期間を長くすることで、衝撃後の加速度が落ち着くまでのデータが入力され、転倒以外のユーザの大きな動きと転倒を区別して判定するのに十分な時間を確保することができる。
【0015】
上記衝撃検出手段は、上記3軸の各加速度データから求めたスカラー値に基づいて上記衝撃を検出してもよい。
【0016】
これにより、ベクトルとしての加速度を検出する必要がなく加速度の大きさが検出できればよい衝撃検出処理において、3軸の各加速度データを用いることで無駄な計算量が増加するのを防止することができる。
【0017】
上記動きデータを逐次記憶する記憶手段を有してもよい。この場合上記転倒判定手段は、上記衝撃が検出された場合に、当該衝撃の検出時よりも所定時間前に記憶されていた動きデータから逐次上記判定モデルへの入力を開始してもよい。
【0018】
これにより、転倒に伴う衝撃検出時にそれよりも少し前の動きデータから判定処理を開始することで、処理対象の動きデータが蓄積されるまで待機することなく効率的に転倒判定処理を開始することができる。
【0019】
本発明の他の形態に係るプログラムは、ユーザにより携帯され、当該ユーザの転倒を検知する転倒検知端末に、
上記転倒検知端末の動きを検出する動きセンサから出力された動きデータを基に、上記ユーザの転倒の有無を判定するステップと、
上記動きデータを基に上記ユーザの体動の有無を判定するステップと、
上記転倒が有ったと判定され、かつ、上記体動が無かったと判定された場合、上記ユーザに転倒異常が発生したと判定するステップと、を実行させるプログラムである。
上記転倒の有無を判定するステップは、上記動きデータを入力データとし上記転倒の有無を出力データとする機械学習によって生成された判定モデルに第1の時点に対応する第1の期間の上記動きデータを入力することで上記転倒の有無を判定する。
上記体動の有無を判定するステップは、上記第1の期間以後の第2の期間の上記動きデータの値が所定の条件を満たすか否かにより上記体動の有無を判定する。
【発明の効果】
【0020】
以上説明したように、本発明によれば、ユーザの転倒を高精度かつ高効率に判定することができる。ただし、当該効果は本発明を限定するものではない。
【図面の簡単な説明】
【0021】
【
図1】本発明の一実施形態に係る転倒検知端末の構成を示す図である。
【
図2】上記転倒検知端末が用いる判定モデルの機械学習に用いられる加速度データの波形例を示した図である。
【
図3】上記判定モデルの機械学習について説明した図である。
【
図4】上記転倒検知端末による転倒監視処理の流れを示したフローチャートである。
【
図5】上記転倒監視処理のうち衝撃検出処理において用いられる加速度のスカラー値の波形例を示した図である。
【
図6】上記加速度のスカラー値の算出方法を示した図である。
【
図7】上記衝撃検出処理におけるピーク値の算出処理について示した図である。
【
図8】上記転倒監視処理のうち転倒判定処理に用いられる加速度データの波形例を示した図である。
【
図9】上記転倒監視処理のうち体動判定処理に用いられる加速度のスカラー値の波形例を示した図である。
【発明を実施するための形態】
【0022】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0023】
<転倒検知端末の構成>
図1は、本発明の一実施形態に係る転倒検知端末の構成を示す図である。
【0024】
本実施形態に係る転倒検知端末100は、例えばリストバンド型(腕時計型)のウェアラブル端末であり、例えば高齢者等のユーザの手首や腕に装着される。リストバンド型以外にも、例えば首からぶら下げ可能なペンダント型、耳等に頭部に装着可能なヘッドマウント型、ベルト形状やベルトループ吊下げ形状等の腰装着型等の形態もとり得る。
【0025】
同図に示すように、この転倒検知端末100は、加速度センサ11、装着センサ12、バッテリ13、無線通信部14、報知部15、操作表示部16、記憶部17及び制御部18を有する。
【0026】
加速度センサ11は、例えば3軸のセンサで構成され、転倒検知端末100の動き(転倒検知端末100を装着したユーザの動き)を検出する。加速度センサ11は、所定のサンプリング周期で検出した加速度データ(動きデータ)を出力する。この加速度センサ11に代えて、例えば角速度センサ等の他の動きセンサが用いられても構わない。
【0027】
装着センサ12は、例えば転倒検知端末100のリストバンド部分に設けられ、転倒検知端末100のユーザの人体(腕)への装着状態を検出する。装着センサ12の検出方式としては、例えば静電容量型が採用されるが、誘導型、超音波型、光電型、磁気型等の他のタイプのセンサが用いられてもよい。なお、転倒検知端末100が帯状であって、その両端部を接続してユーザの手首に装着する構造である場合、端部同士の接続を接点スイッチ又は通電状態により検知し、それにより装着/非装着を検出することもできる。
【0028】
バッテリ13は、転倒検知端末100の各部へ電力を供給する。バッテリ13としては、例えばリチウムポリマー電池、リチウムイオン電池、ニッケル水素電池等の充電可能なものが用いられる。
【0029】
無線通信部14は、例えば3GやLTE(Long Term Evolution)等の携帯通信網を介して、遠隔の監視センタCと無線通信し、転倒検知端末100(制御部18)によって検出されたユーザの異常を監視センタCへ通報する。また無線通信部14は、例えばBLE(Bluetooth(登録商標) Low Energy)や特定小電力無線等により、監視センタCと接続された宅内のセキュリティ端末と無線通信することも可能である。
【0030】
監視センタCには、管制員が常駐しており、転倒検知端末100から(または宅内のセキュリティ端末を経由して)異常通報を受信すると、ユーザの現場へ救急隊員の派遣等の必要な措置が取られる。
【0031】
報知部15は、例えばバイブレーション装置として構成され、振動による刺激によってユーザへ異常や操作受付を報知する。振動以外にも、音声によって報知がなされても構わない。
【0032】
操作表示部16は、例えばタッチパネルディスプレイとして構成され、上記報知部15による報知と共に、または当該報知に代えて、異常報知等の各種の表示処理を実行する。
【0033】
記憶部17は、上記加速度センサ11によって検出された加速度データ及びそのスカラーデータを記憶する。記憶部17は例えば所定量の上記加速度データ等を一時的に記憶するリングバッファとして構成されてもよい。
【0034】
制御部18は、転倒検知端末100の各部を統括的に制御し、上記各センサや操作部からの入力に応じて各種演算を実行する。当該制御部18は、転倒監視手段181、衝撃検出手段182、転倒判定手段183、及び体動判定手段184として機能する。各手段はそれぞれ専用のハードウェア回路として構成されていてもよいし、ソフトウェア(プログラム)として構成されていてもよい。
【0035】
転倒監視手段181は、転倒判定手段183と体動判定手段184の判定結果に基づいて、ユーザに転倒異常が発生したか否かを監視し、転倒異常が発生した場合は監視センタCへ異常通報する。
【0036】
衝撃検出手段182は、加速度センサ11によって検出された加速度データのスカラー値から、加速度のピーク値(例えば40m/s2以上)を検出することで、ユーザの転倒時にユーザに加わった衝撃を検出する。
【0037】
転倒判定手段183は、加速度センサ11によって検出された3軸の加速度データのうち、上記ピーク値前後の加速度データのそれぞれを、学習手段200による機械学習によって生成された判定モデル(学習済みモデル)に入力することで、転倒事象(ユーザが転倒したか否か)を判定する。
【0038】
体動判定手段184は、上記加速度センサ11によって検出された加速度データのうち、上記判定モデルに入力された加速度データより後の加速度データのスカラー値が所定の条件を満たすか否かに基づいて、転倒後のユーザの体動の有無を判定する。
【0039】
学習手段200は、例えばPC(Personal Computer)等の汎用コンピュータまたは学習処理専用のコンピュータで構成され、転倒検知端末100を装着した人や人形から、転倒時における上記加速度センサ11の3軸の加速度データを入力データとして、例えば畳み込みニューラルネットワーク(CNN)等のディープラーニング等の機械学習により上記転倒判定手段183による転倒の判定に用いられる判定モデル(学習済みモデル)を事前に生成する。生成された判定モデルは、上記転倒判定手段183にインストールされる。
【0040】
<転倒検知端末の動作>]
次に、以上のように構成された転倒検知端末100の監視動作について説明する。
【0041】
[学習処理]
まず、上記学習手段200による学習処理について説明する。
図2は、上記転倒検知端末100が用いる判定モデルの機械学習に用いられる加速度データの波形例を示した図である。また
図3は、上記判定モデルの機械学習について説明した図である。
【0042】
上述した通り、学習手段200は、転倒検知端末100を装着した人や人形などから、転倒したときの加速度データを取得し、その加速度データを入力データとして機械学習により事前に学習する。
【0043】
図3に示すように、機械学習方法としてニューラルネットワークを用いる場合、学習手段200は、
図2に示すように、上記人や人形の転倒時の加速度ピーク前後の3軸の加速度データ(x軸:同
図A、y軸:同
図B、z軸:同
図C)を切出し、その切り出した加速度値を入力データとして入力層に入力して、転倒時の加速度データの特徴抽出及び当該特徴点データの次元圧縮を行う。
【0044】
図示しないが、例えば、中間層(隠れ層)にConv層及びPooling層を有する畳み込みニューラルネットワークを用いて、フィルタを用いた畳み込み演算による特徴点抽出及び当該特徴点データの次元圧縮などを行い、特徴点を抽出する手法が一般的に行われている。
【0045】
学習手段200は、同図に示すように、各軸の加速度値を入力層に入力する際、所定時間分の加速度値をまとめて入力し、次の入力は、前回入力した加速度値を時系列順に一つずらした所定時間分の加速度値を入力する。
【0046】
例えば、加速度センサ11が1秒間に50回加速度値を検出している場合、学習手段200は、3回分(0.02秒~0.06秒まで)の加速度値を1つの入力データセットとしてまず入力し、その後、時系列に沿って入力する加速度値を1つずらしたもの(0.04~0.08秒まで)を次の入力データセットとして入力する。
【0047】
続いて学習手段200は、転倒と判定したか非転倒と判定したかを出力層から出力する(転倒を1、非転倒を0とした場合、出力層からは1又は0が出力される)。
【0048】
そして学習手段200は、入力層に入力するデータと出力層のデータのマッチ/アンマッチに基づいてバックプロパゲーションを行い、畳み込みニューラルネットワークのニューロン間の重み付け係数などを更新する。係数を更新し、入力と出力の誤差が一定以下に小さくなったら学習を終了させ、転倒検知端末100にインストールする。
【0049】
また学習手段200は、ユーザの非転倒時(日常生活、又は転倒と同様の衝撃を伴う動きを行ったとき)の各軸の加速度値も上記と同様に入力して学習する。
【0050】
学習手段200は、これを多数のデータセット(例えば、転倒データ1000-1500個、非転倒データ1000-1500個)について繰り返すことで、判定モデルを生成し、生成した判定モデルを転倒検知端末100の転倒判定手段183にインストールする。なお、転倒データのみを用いて学習を行い、判定モデルを生成してもよい。
【0051】
[転倒監視処理]
次に、上記転倒検知端末100の制御部18(転倒監視手段181)による転倒監視処理について説明する。転倒監視手段181は、加速度センサ11の出力データに基づいてユーザの転倒の有無を判定する。当該転倒監視処理においては、ユーザの転倒の仕方によって加速度データが大きく変化する範囲については上記学習手段200によって機械学習された判定モデルを用いて判定し、ユーザの転倒の仕方によって加速度データが大きく変化しない範囲については加速度データが所定の条件を満たすか否かを確認するルールベースによって判定することとしている。
【0052】
以降の説明においては、転倒検知端末100の制御部18または各手段を主な動作主体として説明するが、この動作は当該制御部18の制御下において実行されるプログラムとも協働して行われる。
【0053】
図4は、上記転倒監視手段181による転倒監視処理の流れを示したフローチャートである。
【0054】
(転倒判定処理)
まず、ユーザの転倒の有無を判定する転倒判定処理について説明する。転倒は、地面等へのユーザの身体の衝突を伴うため、転倒検知端末100に加わる衝撃によって加速度が大きく変化する。そこで、制御部18はまず、転倒判定処理のトリガとなる閾値以上の加速度ピークを検出したか否か判断する(
図4のステップ41)。
【0055】
具体的には制御部18(衝撃検出手段182)は、加速度センサ11で計測された3軸の加速度データからスカラー値を求め、求めたスカラー値が閾値Thp(例えば、40m/s2)以上となる加速度ピークを検出する。
【0056】
図5は、3軸の加速度データのスカラー値の波形例を示した図であり、
図6は、当該スカラー値の算出方法を示した図である。
【0057】
図6に示すように、ある時刻における加速度成分A(Ax、Ay、Az)のベクトルのスカラー値は、x軸、y軸、z軸の各加速度成分の二乗和平方根によって算出できる。
【0058】
ここで当該加速度のスカラー値は、加速度の大きさのみを持つ物理量であり、転倒検知端末100に加わった加速度の絶対的な大きさを判定可能な値である。
【0059】
上記加速度センサ11の3軸の各成分で加速度の大きさを判定しようとすると、転倒検知端末100に加わった加速度の大きさが3軸それぞれに分散されてしまい、正確な大きさを測ることが難しい。また、ユーザがどの方向にどのような腕の向きで倒れるかが不明なため、3軸のうちどの軸にピーク値が検出されるか不明となる。一方、スカラー化することで、3軸に分散された加速度の大きさをまとめることができ、転倒検知端末100に加わった絶対的な大きさを判定することで、
図5に示すようなピーク値Pを検出することができる。
【0060】
また、3軸の加速度をそのまま用いる場合は、3軸それぞれの加速度の変化を確認しなければならないが、スカラーであればスカラー値のみの変化を確認すれば済むため、処理を効率化することができる。
【0061】
またユーザが転倒した場合、その転倒の仕方が異なっても、閾値以上のピーク値は必ず検出される(転倒の仕方によって加速度データが変化しない)ため、衝撃検出手段182は、ルールベースでピーク値の検出処理を行う。
【0062】
このように、ピークの検出をトリガとして転倒判定を開始することで、常に上記機械学習に基づく判定モデルによって転倒の可能性を判定するものと比べて、計算量を軽減することができ、バッテリ13の寿命を延ばすことで、ユーザの長時間の見守りを実現できる。
【0063】
図7は、ユーザの転倒時における加速度のピークの検出方法を説明するために上記
図5の波形を一部簡略化して示した図である。
【0064】
同図に示すように、衝撃検出手段182は、上記閾値Thpから立ち下がるポイントPaを求める。同様に、衝撃検出手段182は、上記閾値Thpから立ち上がるポイントPbを求める。このポイントPaとポイントPbの間で加速度の値が最大となるポイントP(ピーク時)を加速度ピークとして検出し、このピーク時における加速度の値をピーク値Pとして求める。
【0065】
上記加速度ピークを検出した場合(ステップ41のYes)、制御部18は、上記判定モデルを用いた転倒の有無の判定処理に移る。
図8は、転倒判定処理に用いられる加速度データ(x軸)の波形例を示した図である。
【0066】
転倒判定手段183は、上記検出したピーク値Pの前後の加速度データを上記判定モデルに入力することで、転倒可能性を判定する(ステップ42)。
【0067】
具体的には、転倒判定手段183は、上記ピーク値P(第1の時点)前後の3軸それぞれの波形データのうち、所定期間分の波形データを入力データとして上記判定モデルに入力する。ここで、当該所定期間(以下、転倒判定期間(第1の期間)という)を設定するに際し、転倒判定手段183は、上記ピーク前の期間よりもピーク検出後の期間の方を長く設定する。例えば、
図8に示すように、ピークPの検出時から1秒前までの波形データと、これから計測するピーク検出後3秒間の波形データを入力データとして判定モデルに入力する。
【0068】
ここで、転倒前(ピーク値Pより前)のデータを入力データとして入力しすぎると(例えば転倒前3秒間など)、転倒前のユーザの日常生活のデータも判定モデルに取り込んでしまい、誤報/失報の要因となる。そのため、ピーク値Pの前は、自由落下特性を確認できる1秒前程度が好ましい。
【0069】
また、ピーク値Pの後から加速度が落ち着くまでの間の3軸の波形を確認することで、各軸間の関係や各軸の加速度値を判定でき、例えばバットを振ったときや物にぶつかったときなど、他の衝撃を伴う動きとは異なる転倒した際の動きの加速度値を捉えることができる。
【0070】
一方、上記衝撃検出時のようなスカラー値で転倒の判定を行うと、加速度の方向まで判定できないため、衝撃と伴うような転倒とは異なる動きの加速度の大きさが転倒の動きの大きさと類似してしまい、誤報の要因となってしまう。
【0071】
また、転倒後に入力する波形は、ピーク値Pから加速度が落ち着くまでの間の波形から転倒の有無を判定するため、判定モデルに入力するピーク後の加速度データの期間は、長すぎず、短すぎない時間(3秒程度)が好ましい。
【0072】
またユーザが転倒した場合、その転倒の仕方に応じて、検出される3軸の加速度データも変化するため、閾値を用いたルールベースの判定では、誤報/失報を抑制しつつあらゆる転倒を判定できる閾値を設定することは難しい。そのため、転倒判定手段183は、機械学習された判定モデルにて転倒の有無を判定する。
【0073】
ここで、判定モデルに入力される加速度データは、加速度センサ11によって検出され記憶部17に記憶されたものである。記憶部17には、
図3の上部に示すように、加速度データが時系列順に軸毎に記憶される。
【0074】
転倒判定手段183は、例えば、上記ピーク前後の加速度値について、転倒判定期間分の加速度データのうち、時間的に連続する所定数のデータをまとめて入力データとして入力する。例えば、加速度センサ11が1秒間に50回加速度値を検出している場合、上記学習手段200のよる入力手法と同様に、3回分(0.02秒~0.06秒まで)を1つの入力データセットとしてまず入力し、続いて、時系列に沿って入力する加速度値を1つずらしたもの(0.04~0.08秒まで)を次の入力データセットとして入力する。
【0075】
また転倒判定手段183は、既に計測して記憶部17に記憶されているピーク検出時からピーク検出前1秒までの加速度値から逐次入力を開始し、ピーク検出時からピーク検出後3秒までの加速度値については、計測されて記憶部17に記憶され入力するデータセットが揃い次第入力する。これにより入力対象の加速度データが記憶部17に蓄積されるまで待機することなく転倒判定処理を開始することができる。
【0076】
転倒判定手段183は、入力された加速度データに基づいて判定モデルによりユーザの転倒を判定し、出力データとして、「転倒可能性有り」、又は、「転倒可能性無し」を出力する(ステップ43)。
【0077】
転倒無しと判定された場合(ステップ43のNo)、制御部18は、転倒判定処理を終了する。
【0078】
転倒有りと判定された場合(ステップ43のYes)、制御部18は、体動判定処理に移る。
【0079】
(体動判定処理)
次に、上述のように転倒が検出された後に転倒異常を確定するための体動検出処理について説明する。
【0080】
上記転倒判定手段183によってユーザに転倒(可能性)有りと判定された場合、体動判定手段184は、加速度データのスカラー値に基づいて、所定期間(例えば10秒間、以下、体動判定期間(第2の期間)ともいう)の間にユーザの体動が検出されないか否かを判定する。
図9は、当該体動判定処理に用いられる加速度のスカラー値の波形例を示した図である。
【0081】
具体的には、体動判定手段184は、同図に示すように、転倒判定処理において判定モデルに入力した加速度データから所定時間(例えば2秒)経過後から開始する上記体動判定期間の加速度データのスカラー値から体動の有無を判定する(ステップ44)。なお、所定時間の経過を待たず、判定モデルに入力した加速度データの直後の加速度データのスカラー値から体動の有無を判定してもよい。また体動判定期間は、転倒判定期間以後の期間であればよく、転倒判定期間と体動判定期間とは連続していてもよく、転倒判定期間の一部と体動判定期間の一部が重複してもよい。
【0082】
ここで3軸のデータではなくスカラー値から体動の有無を判定するのは、体動判定処理においては、衝撃時の大きな加速度データではなく転倒後のユーザのわずかな動きを検出できればよく、また転倒時のように方向によって異なる複雑な動きを判定するものではなく単にユーザが動いたか否かを検出できればよいためである。
【0083】
また、ユーザが意識を失って転倒したことを判定する場合、転倒後にユーザは動かない(加速度データが変化しない)ことを判定するため、体動判定手段184は、機械学習された判定モデルではなく、ルールベースで体動の有無を判定する。
【0084】
具体的には、体動判定手段184は、例えば以下の1)~4)の条件が満たされた場合にユーザに体動が有ったと判定する。体動判定手段184は、以下の条件のいずれか1つを用いてもよく、また、複数条件を用いていずれかを満たす場合に体動有りと判定してもよい。
1)体動判定期間内に一定以上(例えば12m/s2)のピーク値が所定回数検出されたとき
2)体動判定期間内に上記ピーク値の合計が所定値を超えたとき
3)体動判定期間内に加速度の変化量を積算した合計値が一定値を超えたとき
4)体動判定期間内に単位時間当たりの加速度変化量が一定値を超えたとき
【0085】
上記転倒判定後、所定時間経過後に、上記の条件が満たされることでユーザの体動が有ると判断された場合(ステップ45のYes)、ユーザは危険な状態ではないと考えられるため、制御部18(転倒監視部181)は転倒事象とは判断せず終了する。
【0086】
一方、転倒判定後、所定時間経過後に、上記のような条件によってユーザの体動が検出されていない場合には、転倒監視部181は、ユーザの転倒異常を確定し、監視センタCへ通報する(ステップ46)。
【0087】
[まとめ]
以上説明したように、本実施形態によれば、転倒の仕方によって加速度データの大きな変化が起こりやすい転倒判定処理においては機械学習によって訓練された判定モデルを用い、加速度データに大きな変化が起こりにくい体動判定処理においてはルールベース処理を用い、判定基準を適切に使い分けることで、誤報や失報を抑制して、ユーザの転倒(ユーザが意識を失って転倒したこと)を高精度かつ高効率に判定することができる。また、全てに判定モデルを用いる場合に比べて計算処理の負荷を軽減することで、長時間の見守りを実現できる。
【0088】
[変形例]
本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更され得る。
【0089】
上述の実施形態では、転倒判定手段183は、ピーク前後の転倒判定期間分の加速度データのうち、時間的に連続する所定数のデータをまとめて入力データとして入力していた。しかし転倒判定手段は、転倒判定期間分の加速度データをまとめて判定モデルに入力してもよい。
【0090】
上述の実施形態において、転倒判定手段183は、加速度センサ11によって検出された加速度値を判定モデルへの入力データとしていた。しかし、入力データは加速度値以外でもよい。例えば、上記
図2等で示したような加速度データを時系列で表した各軸の波形データをグラフ化した画像データを入力データとしてもよい。この場合、学習手段200による学習も、同様の画像データにて行われる。
【0091】
上述の実施形態において、学習手段200は、転倒検知端末100の外部に設けられたが、学習手段200は転倒検知端末100内に設けられてもよい。この場合学習手段200は、転倒判定手段183による判定処理を実行しながら同じ入力データで学習処理を実行し、都度判定モデルを更新してもよい。
【0092】
上述の実施形態において、学習手段200は、衝撃検出時点を含む衝撃検出前後の加速度データを入力データとして学習していた。しかし、入力するデータの期間はこれ以外でもよい。例えば、衝撃検出時を除く衝撃検出前後の加速度データをそれぞれ入力データとして学習してもよいし、衝撃検出前のみ又は衝撃検出後のみの加速度データを入力データとして学習してもよい。この場合、転倒監視処理において判定モデルに入力される入力データは、学習した入力データの期間に対応する。
【0093】
上述の実施形態では、転倒検知端末100は、ウェアラブル端末として各種センサや報知部、操作表示部、無線通信部等を有する構成とされたが、上記転倒検知端末100のそれら各部のうち少なくとも一部が別の機器(例えばユーザが携帯するスマートフォン等のモバイル端末)に備えられており、当該別の機器との連携処理によって上記実施形態と同様の処理が実行されてもよい。
【符号の説明】
【0094】
11…加速度センサ
12…装着センサ12
14…無線通信部14
18…制御部
181…転倒監視手段
182…衝撃検出手段
183…転倒判定手段
184…体動判定手段
100…転倒検知端末
200…学習手段
C…監視センタ