(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-31
(54)【発明の名称】転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20241024BHJP
A61B 5/11 20060101ALI20241024BHJP
【FI】
G06N20/00
A61B5/11 200
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024524656
(86)(22)【出願日】2022-10-28
(85)【翻訳文提出日】2024-05-13
(86)【国際出願番号】 EP2022080160
(87)【国際公開番号】W WO2023073149
(87)【国際公開日】2023-05-04
(32)【優先日】2021-10-29
(33)【優先権主張国・地域又は機関】SE
(81)【指定国・地域】
(71)【出願人】
【識別番号】503358097
【氏名又は名称】オートリブ ディベロップメント エービー
(74)【代理人】
【識別番号】100114557
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】アフメド,ジャワッド
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB01
4C038VB12
4C038VB24
4C038VC20
(57)【要約】
【解決手段】 転倒評価訓練環境のための転倒検出を含む転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法であって、方法は、機械学習モデルを実施すること(S100)と、訓練データを準備すること(S200)とを含む。訓練データを準備すること(S200)は、対象(1)からデータを収集するセンサ(2,3;6,7)から生成されたセンサデータを取得し、自動的に注釈を付けること(S210)と、データ点を含む時系列(400)を生成するためにセンサデータを使用して(S220)、各対象(1)の値を、それらの具体的に取得され、注釈が付けられたセンサデータにそれぞれ結合することと、を含む。各データ点が対応するセンサデータをそれぞれ反映して注釈付けられるように、データ点に自動的に注釈を付ける(S230)。注釈付きデータ点を使用して(S240)、時系列(400)を少なくとも転倒イベントに関連付けられたイベントセグメント(401)と転倒イベントに関連付けられていないイベントセグメント(402、403)とに動的にセグメント化する。時系列(400)が離散化されるように、時系列(400)に沿って時間ウィンドウ(404a~404f)を構築するためにイベントセグメントを使用し(S250)、各時間ウィンドウ(404a~404f)は複数の時間ステップ(t
a、t
b、t
c、t
d、t
e)を含む。構築された時間ウィンドウ(404a~404f)に自動的に注釈を付け(S260)、時間ウィンドウ(404a~404f)の自動注釈は、各時間ウィンドウ(404a~404f)内の時間ステップ(t
a、t
b、t
c、t
d、t
e)に関連付けられたデータ点が転倒イベント(401)に属するか、又は非転倒イベント(402、403)に属するかを識別する情報を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
転倒評価訓練環境のための転倒検出を含む転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法であって、前記方法は、前記機械学習モデルを実施すること(S100)と、訓練データを準備すること(S200)とを含み、
訓練データを準備すること(S200)は、
対象(1)からデータを収集するセンサ(2,3;6,7)から生成されたセンサデータを取得し、自動的に注釈を付けること(S210)と、データ点を含む時系列(400)を生成するために前記センサデータを使用して(S220)、各対象(1)の値を、それらの具体的に取得され、注釈が付けられたセンサデータにそれぞれ結合することと、
各データ点が前記対応するセンサデータをそれぞれ反映して注釈付けられるように、前記データ点に自動的に注釈を付けること(S230)と、
前記注釈付きデータ点を使用して(S240)、前記時系列(400)を少なくとも転倒イベントに関連付けられたイベントセグメント(401)と転倒イベントに関連付けられていないイベントセグメント(402、403)とに動的にセグメント化することと、
前記時系列(400)が離散化されるように、前記時系列(400)に沿って時間ウィンドウ(404a~404f)を構築するために前記イベントセグメントを使用すること(S250)であって、各時間ウィンドウ(404a~404f)は複数の時間ステップ(t
a、t
b、t
c、t
d、t
e)を含む、ことと、
前記構築された時間ウィンドウ(404a~404f)に自動的に注釈を付けること(S260)であって、前記時間ウィンドウ(404a~404f)の前記自動注釈は、各時間ウィンドウ(404a~404f)内の前記時間ステップ(t
a、t
b、t
c、t
d、t
e)に関連付けられた前記データ点が転倒イベント(401)に属するか、又は非転倒イベント(402、403)に属するかを識別する情報を含む、ことと、を含む、コンピュータ実施方法。
【請求項2】
前記時間ウィンドウ(404a~404f)の前記自動注釈は、
-各時間ウィンドウ(404a~404f)内の前記転倒セグメント(401)に属する前記時間ステップ(t
a、t
b、t
c、t
d、t
e)の位置を識別する情報と、
-各時間ウィンドウ(404a~404f)に割り当てられた重みに関する情報であって、前記割り当てられた重みは、前記位置に応じて決定されている、情報と、を含む、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記準備された訓練データを含む情報を前記機械学習モデルに通信すること(S300)と、
転倒評価において前記準備された訓練データを含む前記訓練データを用いて、前記機械学習モデルを訓練すること(S400)と、を更に含む、請求項1又は2に記載のコンピュータ実施方法。
【請求項4】
前記取得され、注釈が付けられたセンサデータは、前記訓練者対象(1)の行動中に生成されたセンサデータを含み、前記行動は、実際の転倒イベント及び/又はシミュレートされた転倒を含む日常生活活動(ADL)を含む、請求項1~3のいずれか一項に記載のコンピュータ実施方法。
【請求項5】
前記センサ(2,3;6,7)は、モーションセンサ、3Dセンサ、加速度計、ジャイロスコープ、及び/又はカメラのうちの少なくとも1つを含む、請求項1~4のいずれか一項に記載のコンピュータ実施方法。
【請求項6】
前記訓練データの準備は、センサデータについて転倒閾値を設定することと、関連するセンサデータが前記転倒閾値よりも大きい場合に転倒イベントセグメントを割り当てることとを更に含む、請求項1~5のいずれか一項に記載のコンピュータ実施方法。
【請求項7】
前記訓練データの準備は、各注釈付きデータ点に対する前記対応するセンサデータを決定し、イベントセグメント(401、402、403)への前記動的セグメント化を決定するための多数決方式の利用を更に含む、請求項1~6のいずれか一項に記載のコンピュータ実施方法。
【請求項8】
前記訓練者対象プロフィールのプロフィール特性は、身長、体重及び/又は肥満度指数(BMI)などのプロフィール特性を含み、前記プロフィール特性の値は、
-訓練者対象プロフィールと対応するユーザプロフィールとの相関関係と、
-より正確な動的セグメント化とを有効にする、請求項1~7のいずれか一項に記載のコンピュータ実施方法。
【請求項9】
請求項1~8のいずれか一項に記載のコンピュータ実施方法及び/又は訓練データの準備を適用するためのコンピュータ可読命令(820)を含むコンピュータプログラム(810)、及び/又は前記コンピュータプログラム(810)を含むコンピュータ可読媒体(830)。
【請求項10】
請求項1~8のいずれか一項に記載の機械学習モデルのためのコンピュータ可読命令(820)を含むコンピュータプログラム(810)、及び/又は前記コンピュータプログラム(810)を含むコンピュータ可読媒体(830)。
【請求項11】
機械学習モデルの訓練のための制御ユニット装置(700)であって、少なくとも、請求項1~8のいずれか一項に記載の機械学習モデルの実施、及び/又は請求項1~8のいずれか一項に記載の訓練データの準備を制御するように適合されている、制御ユニット装置。
【請求項12】
転倒評価における機械学習モデルの訓練のため、情報の通信のため、請求項1~8のいずれか一項に記載の機械学習モデルの実施を可能にするため、及び請求項1~8のいずれか一項に記載の訓練データの準備を可能にするためのシステムであって、
前記転倒評価は転倒検出を含み、
前記システムは、機械学習モデルと、訓練者対象(1)と、前記訓練者対象からデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、
前記システムは、請求項9又は10に記載のコンピュータプログラム(810)、及び/又は請求項9又は10に記載のコンピュータ可読媒体(830)を利用する、システム。
【請求項13】
転倒評価のための、及び前記転倒評価からの情報の通信のための、転倒評価環境のためのコンピュータ実施方法であって、
前記転倒評価は転倒検出を含み、
前記転倒評価環境は、機械学習モデルであって、請求項1~8のいずれか一項に記載のコンピュータ実施方法に従って訓練されており、及び/又は請求項1~8のいずれか一項に記載の訓練データの準備を含むコンピュータ実施方法に従って訓練されている前記訓練された機械学習モデルを含む、機械学習モデルと、ユーザと、前記ユーザからデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを含み、
前記コンピュータ実施方法は、ユーザからデータを収集するセンサから生成されるユーザセンサデータを取得し、注釈を付けることを含む前記機械学習モデルを実施することを含み、前記ユーザはユーザプロフィールを有し、前記コンピュータ実施方法は、前記ユーザプロフィール特性の値を取得することと、前記ユーザセンサデータに結合することと、前記結合されたユーザセンサデータを、前記訓練された機械学習モデルを含む、及び/又は訓練されている前記機械学習モデルによって処理することと、を更に含み、
前記コンピュータ実施方法は、前記転倒評価と、前記転倒評価からの情報の前記通信とを含み、前記転倒評価は転倒検出を含む、コンピュータ実施方法。
【請求項14】
請求項13に記載のコンピュータ実施方法を適用するためのコンピュータ可読命令(820)を含むコンピュータプログラム(810)、及び/又は前記コンピュータプログラム(810)を含むコンピュータ可読媒体(830)。
【請求項15】
転倒評価のための制御ユニット装置(700)であって、少なくとも、請求項13に記載の転倒評価のためのコンピュータ実施方法の有効化、及び/又は、請求項13に記載の前記訓練された機械学習モデルを含む機械学習モデルの実施を制御するように適合された、制御ユニット装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、転倒評価における機械学習モデルの訓練のための改善されたコンピュータ実施方法及び/又は訓練データの準備を適用するためのコンピュータ可読命令を含むコンピュータプログラム、機械学習モデルのためのコンピュータ可読命令を含むコンピュータプログラム、コンピュータプログラムを含むコンピュータ可読媒体、並びに機械学習モデルの訓練のための制御ユニット装置、デバイス、及びシステムに関する。更に、本開示はまた、転倒評価のためのコンピュータ実施方法、並びにコンピュータプログラム、コンピュータ可読媒体、制御ユニット装置、デバイス、及びシステムに関する。
【背景技術】
【0002】
転倒は、人間の傷害及び傷害関連死の主要な原因の1つである。転倒検出及び転倒予測は、有用性が増大した機械学習手法とともに行われる。機械学習手法は、例えば、転倒活動と非転倒活動とを区別するために今日使用されている。高レベルでは、これらの手法は、ライブフィードビデオに基づいてリアルタイムで転倒を分類することができる視覚ベースの装置を伴う手法を含んでもよい。視覚ベースの装置は、場合によっては、例えば外部環境ではあまり実用的でないことがあり、潜在的なプライバシー問題を伴うこともある。更に、非干渉的で普及している装着型デバイスセンサに基づくより普及した解決策に焦点を当てた機械学習手法も存在する。この分野では、例えば、このためのカスケード分類器手法を提案する「A Cascade-Classifier Approach for Fall Detection,Putra et al,MOBIHEALTH 2015,October 14-16,London,Great Britain,January 2015,DOI:10.4108/eai.14-10-2015.2261619」を参照されたい。他の例としては、M.Musci,D.D.Martini,N.Blago,T.Facchinetti,and M.Piastra,「Fall Detection using Recurrent Neural Networks,」p.7 並びに F.J.Gonzalez-Cahete and E.Casilari,「A Feasibility Study of the Use of Smartwatches in Wearable Fall Detection Systems,」Sensors,vol.21,no.6,p.2254,Mar.2021,doi:10.3390/s21062254が挙げられる。
【0003】
しかしながら、この領域には依然として改善の余地がある。特に、様々な転倒及び非転倒シナリオを学習するための転倒検出ベースのアルゴリズムによって使用される適切に注釈を付けられたデータの利用可能性に関する要件に関する。しかしながら、データ駆動型機械学習アルゴリズムのための、すなわちデータ駆動型機械学習コンピュータプログラムのための注釈付き訓練データを作成することは、些細な作業ではなく、通常、慎重な分析の手作業、及び特に新しいデータが常に流れ込むリアルタイム設定において、時間がかかり、費用がかかる可能性がある手作業を必要とする。
【0004】
転倒は、例えば、家庭環境又は家庭外で歩いている人に対して発生し得る。これに関連して、転倒は、自転車、スクータ、バイクなどに乗っているときに、例えば横滑り、スリップ、車両の制御不能、別の車両又は物体との衝突などに起因して生じる転倒も含む。走行中の車両に関連する転倒は、多くの場合、より急であり、例えば、つまずく又はスリップする歩行している人に対して生じる転倒よりも迅速な対処を必要とする。
【発明の概要】
【0005】
これは、転倒評価訓練環境のための転倒検出を含む転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法によって達成される。方法は、機械学習モデルを実施することと、訓練データを準備することとを含む。訓練データを準備することは、対象からデータを収集するセンサから生成されたセンサデータを取得して自動的に注釈を付けることと、データ点を含む時系列を生成するためにセンサデータを使用して、各対象の値を、それらの具体的に取得され、注釈が付けられたセンサデータにそれぞれ結合することと、を含む。
【0006】
訓練データを準備することは、各データ点が対応するセンサデータをそれぞれ反映して注釈付けられるように、データ点に自動的に注釈を付けることと、注釈付きデータ点を使用して、当該時系列を少なくとも転倒イベントに関連付けられたイベントセグメントと転倒イベントに関連付けられていないイベントセグメントとに動的にセグメント化することと、を更に含む。
【0007】
訓練データを準備することはまた、時系列が離散化されるように、時系列に沿って時間ウィンドウを構築するためにイベントセグメントを使用することであって、各時間ウィンドウは複数の時間ステップを含む、ことと、構築された時間ウィンドウに自動的に注釈を付けることであって、時間ウィンドウの自動注釈は、各ウィンドウ内の時間ステップに関連付けられたデータ点が転倒イベントに属するか、又は非転倒イベントに属するかを識別する情報を含む、ことと、を含む。
【0008】
これにより、転倒者/対象及び/又は転倒のタイプからの利用可能な情報を使用して、転倒セッションにおける転倒セグメントのより正確な自動識別を可能にする。これは、時間ウィンドウ注釈の品質がセグメント化注釈の品質に依存するので、時間ウィンドウのより正確な注釈品質につながる。
【0009】
いくつかの態様によれば、時間ウィンドウの自動注釈は、各時間ウィンドウ内の転倒セグメントに属する時間ステップの位置を識別する情報と、各時間ウィンドウに割り当てられた重みに関する情報であって、割り当てられた重みは、当該位置に応じて決定されている、情報と、を含む。
【0010】
これらの重みは、機械学習モデルの品質を改善し、転倒が始まるとすぐに転倒を検出することがより重要であることを訓練アルゴリズムに通知する方法を構成する。
【0011】
いくつかの態様によれば、コンピュータ実施方法は、準備された訓練データを含む情報を機械学習モデルに通信することと、転倒評価において準備された訓練データを含む訓練データを用いて、機械学習モデルを訓練することと、を更に含む。
【0012】
いくつかの態様によれば、取得され、注釈が付けられたセンサデータは、訓練者対象の行動中に生成されたセンサデータを含み、当該行動は、実際の転倒イベント及び/又はシミュレートされた転倒を含む日常生活活動(ADL)を含む。
【0013】
これは、センサデータが、制御された環境において、制御された状況の間に生成され得ることを意味する。制御されていない環境も考えられる。シミュレートされた転倒及び身体活動データは、仮想ソフトウェアベースのシミュレーションから得ることができる。
【0014】
いくつかの態様によれば、訓練データの準備は、センサデータの取得及び自動注釈を含み、センサデータはセンサから適切に取得される。センサデータは、典型的には、例えば、モーションセンサ、3Dセンサ、加速度計、ジャイロスコープを含むセンサ及び/又はカメラ、例えば、モーションセンサ、3Dセンサ、加速度計及び/又はジャイロスコープから取得される。センサは、例えば、モーションセンサ、3Dセンサ、加速度計及び/又はジャイロスコープを含む装着型センサであってもよい。センサデータは、センサ、例えば、モーションセンサ、3Dセンサ、加速度計、及び/又はジャイロスコープを含む装着型センサから取得されてもよい。
【0015】
これは、多くのタイプのセンサを使用できることを意味する。
【0016】
装着型デバイスは、加速度計である3Dセンサを含み、3次元で加速を測定するために使用されてもよく、装着型デバイスは、ジャイロスコープである3Dセンサを含み、いずれも本開示に従って、そのような装着型デバイスを装着している人/対象、すなわち訓練者対象/ユーザからの回転速度を3次元で測定するために使用されてもよい。装着型デバイスは、適切にはエッジデバイスであってもよい。いくつかの態様によれば、センサは、モーションセンサ、3Dセンサ、加速度計、ジャイロスコープ、及び/又はカメラのうちの少なくとも1つを含む。
【0017】
いくつかの態様によれば、訓練データの準備は、各訓練者対象の値を、それらの具体的に取得され、注釈が付けられたセンサデータに結合することを含む。
【0018】
例えば3dセンサであり、適切にはエッジデバイスでもある装着型デバイスを用いて、実験中、すなわち当該行動中に、データは、これらの3dセンサによって、通常25HZ~200HZの範囲の特定の周波数で、多変量時系列の形態で生成され、この多変量時系列は、オフラインストレージに移動する前に、又は更なる処理のためにクラウドデバイスにアップロードされる前に、エッジデバイスにおいて取得、すなわち収集及びバッファリングされ得る。
【0019】
取得された収集データは、関心のあるイベント、すなわち転倒などのイベントの開始及び終了に関して注釈を付けられて、収集された実験のための、すなわち訓練者対象の当該行動から取得されたデータのためのセグメントを定義する。すなわち、動的セグメント化を使用して、訓練者対象の当該行動から取得されたデータのセグメントが定義され、これにより、「ユニバーサル」長パラメータを有する、例えばデフォルト長を有するセグメントが適切に定義される。データが実験から収集される、すなわち取得されると、データは、データ品質チェック、クリーニング、データのスケーリング(正規化)を含む様々な段階を含む前処理を必要とする。
【0020】
いくつかの態様によれば、訓練データの準備は、センサデータについて転倒閾値を設定することと、関連するセンサデータが当該転倒閾値よりも大きい場合に転倒イベントセグメントを割り当てることとを更に含む。
【0021】
これは、実際には、転倒検出コンピュータプログラムの学習プロセス、すなわち、本明細書で説明されるような転倒評価における機械学習モデルの訓練を容易にして、より良好な転倒検出性能を達成するように、時間ウィンドウ及び/又はデータサンプルに対してより適切な注釈を可能にする。
【0022】
いくつかの態様によれば、訓練データの準備は、各注釈付きデータ点に対する当該対応するセンサデータを決定し、及びイベントセグメントへの当該動的セグメント化を決定するための多数決方式の利用を更に含む。
【0023】
いくつかの態様によれば、訓練者対象プロフィールのプロフィール特性は、身長、体重及び/又は肥満度指数(BMI)などのプロフィール特性を含み、プロフィール特性の値は、訓練者対象プロフィールと対応するユーザプロフィールとの相関関係と、より正確な動的セグメント化とを有効にする。
【0024】
これらのプロフィール特性の値は、訓練者対象プロフィールを対応するユーザプロフィールに相関させることを可能にする。これらのプロフィール特性はまた、この衝撃までの時間に影響を及ぼし得、したがって、各対象/人及び転倒シナリオに対する時間セグメントの長さのより正確な定義を可能にする。
【0025】
本開示はまた、上記の利点に関連付けられたコンピュータプログラム、制御ユニット、デバイス及びシステムに関する。
【0026】
したがって、全て本明細書に記載され、本開示によるコンピュータ実施方法、コンピュータプログラム、及びコンピュータ可読媒体は、全て本明細書に記載される制御ユニット装置及びデバイスなどのハードウェアにおいて、並びに本明細書に記載されるシステムにおいて実現されてもよいことが理解される。本明細書で説明されるような制御ユニット装置及びデバイスなどのハードウェア、並びに本明細書で説明されるようなシステムは、次いで、コンピュータ実施方法及びコンピュータプログラムを実行するように構成され、それによって、本明細書でコンピュータ実施方法について説明されるのと同じ利点及び効果が得られる。
【0027】
「注釈を付ける(annotating)」、「注釈付き(annotated)」、及び「注釈(annotation)」という用語は、本明細書において互換的に使用され得ることに留意されたい。
【図面の簡単な説明】
【0028】
ここで、添付の図面を参照して本開示をより詳細に説明する。
【
図1】
図1は、センサを装着した歩行ユーザを概略的に示す図である。
【
図2】
図2は、バイクに乗っているユーザ及び装着型センサを概略的に示す。
【
図3】
図3は、本開示による、「機械学習モデルの訓練のためのコンピュータ実施方法」、すなわち、「転倒データ処理及び注釈システム」の態様にわたる概略図を概略的に図示する。
【
図4】
図4は、動的セグメント化の第1のステップを概略的に示す。
【
図5】
図5は、動的セグメント化の第2のステップを概略的に示す。
【
図6】
図6は、動的セグメント化の第3のステップを概略的に示す。
【
図8】
図8は、例示的コンピュータプログラム製品を示す。
【
図9】
図9は、本開示による方法のフローチャートを示す。
【発明を実施するための形態】
【0029】
本開示の態様を、添付の図面を参照して以下により完全に説明する。しかしながら、本明細書に開示される異なる装置、デバイス、システム、コンピュータプログラム、及び方法は、多くの異なる形態で実現することができ、本明細書に記載される態様に限定されるものとして解釈されるべきではない。図面における同様の番号は、全体を通して同様の要素を指す。
【0030】
本明細書で使用される用語は、本開示の態様を説明するためだけのものであり、本発明を限定することを意図するものではない。本明細書で使用される場合、単数形の「a(1つ、一)」、「an(1つ、一)」、及び「the(その、この)」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。
【0031】
図1を参照すると、少なくとも1つのセンサデバイス2、3、ここでは1つの手首センサデバイス2及び1つの腰センサデバイス3を装着しているユーザ1が存在する。この場合、ユーザ1は歩行している。
【0032】
図2を参照すると、少なくとも1つのセンサデバイス、ここでは保護ベスト10などの保護衣服に含まれる1つの手首センサデバイス6及び1つのベストセンサデバイス7を装着しているユーザ1が存在する。この場合、ユーザ1はバイク8に乗っている。
【0033】
本開示は、歩行、又は自転車、バイク8、自動車などの任意の種類の車両上又は車両内で移動しているユーザに適用可能である。
【0034】
図3~
図6も参照して、本開示の「機械学習モデルの訓練のためのコンピュータ実施方法」、「機械学習モデルの実施」、及び「訓練データの準備」、すなわち「転倒データ処理及び注釈システム」及び「転倒データ処理及び注釈システムのための主要フェーズ」の詳細な態様が説明される。センサデータは、典型的には、センサ2、3、6、7、例えば装着型デバイスに含まれる、例えば取り付けられるモーションセンサ、例えば3次元の加速度を測定する加速度計などの3dセンサ、並びにそのような装着型デバイス2、3、6、7を装着している本開示による人/対象1、すなわち訓練者対象、及び/又はユーザ1から3次元の回転速度を測定するジャイロスコープから収集される、すなわち取得されるが、これらに限定されない。センサデータが取得され、これは
図3において「時系列センサデータを有する単一の転倒データファイル」によって示される。
【0035】
データを収集するための実験中及び他の方法の間、すなわち、本開示による訓練者対象の行動の間、例えば3dセンサであり、適切にはエッジデバイスでもある装着型デバイスを用いて、データは、これらの3dセンサによって、通常25HZ~200HZの範囲の特定の周波数で、多変量時系列の形態で生成され、この多変量時系列は、オフラインストレージに移動する前に、又は更なる処理のためにクラウドデバイスにアップロードされる前に、エッジデバイスにおいて取得、すなわち収集及びバッファリングされ得る。
【0036】
取得されたデータは、センサ以外のソースから取得されたデータを含んでもよい。取得されたデータは、現在及び過去の履歴データを参照してもよい。これは、GPSシステムからのユーザの地理的位置情報並びに気象情報を含むことができる。
【0037】
いくつかの態様によれば、ユーザ1は、ユーザ1の位置を提供し、当該位置を通信するための手段11を装着する。そのような手段11は、例えばGPS又はGNSS(全地球的航法衛星システム)などの任意のタイプの適切な測位システム、及び任意のタイプの無線通信システムを備えることができる。当該手段は、ベスト11又は任意の適切なタイプの衣服若しくは装着型デバイスに含まれ得る。
【0038】
多くの場合、この収集されたデータは注釈を付けられていないことに留意されたい(収集された実験のためのセグメント、すなわちセグメント化を定義するために転倒などの関心のあるイベントの開始及び終了を記述する)。このセグメント化は、後にデータ処理/クリーニング段階においてオフラインで行うことができるが、これは、通常、多くの手作業を必要とする(M.Musci,D.D.Martini,N.Blago,T.Facchinetti,and M.Piastra,「Fall Detection using Recurrent Neural Networks」)。
【0039】
図9を参照すると、本開示は、転倒評価訓練環境のための転倒検出を含む転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法に関する。方法は、機械学習モデルを実施することS100と、訓練データを準備することS200とを含む。
【0040】
訓練データを準備することS200は、対象1からデータを収集するセンサ2、3、6、7から生成されたセンサデータを取得して自動的に注釈を付けることSS210と、データ点を含む時系列400を生成するためにセンサデータを使用してS220、各対象1の値を、それらの具体的に取得され、注釈が付けられたセンサデータにそれぞれ結合することと、を含む。
【0041】
データを準備することは、各データ点が対応するセンサデータをそれぞれ反映して注釈付けられるように、データ点に自動的に注釈を付けることS230と、注釈付きデータ点を使用してS240、当該時系列を少なくとも転倒イベントに関連付けられたイベントセグメント401と転倒イベントに関連付けられていないイベントセグメント402、403とに動的にセグメント化することと、を更に含む。
【0042】
データを準備することはまた、時系列400が離散化されるように、時系列400に沿って時間ウィンドウ404a~404fを構築するためにイベントセグメント401を使用することS250であって、各時間ウィンドウ404a~404fは複数の時間ステップta、tb、tc、ta、teを含む、ことと、構築された時間ウィンドウ404a~404fに自動的に注釈を付けることS260であって、時間ウィンドウ404a~404fの自動注釈は、各時間ウィンドウ404a~404f内の時間ステップta、tb、tc、ta、teに関連付けられたデータ点が転倒イベントに属するか、又は非転倒イベントに属するかを識別する情報を含む、ことと、を含む。
【0043】
これにより、転倒者/対象及び/又は転倒のタイプからの利用可能な情報を使用して、転倒セッションにおける転倒セグメント401のより正確な自動識別を可能にする。これは、時間ウィンドウ注釈の品質がセグメント化注釈の品質に依存するので、時間ウィンドウのより正確な注釈品質につながる。
【0044】
いくつかの態様によれば、時間ウィンドウ404a~404fの自動注釈は、
-各時間ウィンドウ404a~404f内の転倒セグメントに属する時間ステップの位置を識別する情報と、
-各時間ウィンドウ404a~404fに割り当てられた重みに関する情報であって、割り当てられた重みは、当該位置に応じて決定されている、情報と、を含む。
これらの重みは、機械学習モデルの品質を改善し、転倒が始まるとすぐに転倒を検出することがより重要であることを訓練アルゴリズムに通知する方法を構成する。
【0045】
いくつかの態様によれば、
図9を参照し、方法は、準備された訓練データを含む情報を機械学習モデルに通信することS300と、転倒評価において準備された訓練データを含む訓練データを用いて、機械学習モデルを訓練することS400と、を更に含む。
【0046】
いくつかの態様によれば、取得され、注釈が付けられたセンサデータは、訓練者対象の行動中に生成されたセンサデータを含み、当該行動は、実際の転倒イベント及び/又はシミュレートされた転倒を含む日常生活活動(ADL)を含む。
【0047】
これは、センサデータが、制御された環境において、制御された状況の間に生成され得ることを意味する。制御されていない環境も考えられる。シミュレートされた転倒及び身体活動データは、仮想ソフトウェアベースのシミュレーションから得ることができる。したがって、実際の転倒及びシミュレートされた転倒の両方を、歩いているユーザ1及び自転車又はバイク8に乗っているユーザ1の両方について考慮することができる。
【0048】
本開示は、転倒及び非転倒時間セグメントが実際の転倒及び/又はシミュレートされた転倒のセッション全体において推定されるので、時間ウィンドウの自動注釈を可能にする。次いで、この情報は、時間ウィンドウ/サンプルに自動的に注釈を付けるために使用され、次いで、時間ウィンドウ/サンプルは、MLモデルを訓練するために使用される。重みを割り当てることによって、訓練/学習プロセス中にどのサンプル(複数可)に対してより多くの焦点を当てるかについてのMLモデル訓練をガイドすることが可能である。
【0049】
本開示はまた、他の情報の中でも、転倒者/対象及び/又は転倒のタイプからの利用可能な情報を使用して、転倒セッションにおける転倒セグメントのより正確な自動識別を可能にする。これは、時間ウィンドウ注釈の品質がセグメント化注釈の品質に依存するので、時間ウィンドウのより正確な注釈品質につながる。
【0050】
いくつかの態様によれば、データは、所定のプロトコルを使用して様々な日常生活活動を実行し、様々なタイプの転倒などを実行する訓練者対象1を含む様々な設計された実験の下で、転倒検出コンピュータプログラムを訓練するために、すなわち機械学習モデルを訓練するために、すなわち設定されたプロトコルに従って当該行動を実行するために、収集される、すなわち取得される。
【0051】
いくつかの態様によれば、本明細書で説明する本開示によるコンピュータ実施方法が開示され、センサ2、3、6、7は、モーションセンサ、3Dセンサ、加速度計、ジャイロスコープ、及び/又はカメラのうちの少なくとも1つを備える。これは、多くのタイプのセンサを使用できることを意味する。
【0052】
いくつかの態様によれば、本明細書で説明されるような本開示によるコンピュータ実施方法が開示され、訓練者対象1は、例えば、モーションセンサ、3Dセンサ、加速度計、及び/又はジャイロスコープを含む、例えば装着型センサであるセンサ2、3、6、7を提供される。
【0053】
データが、例えば、実験から収集される、すなわち取得されると、データは、データ品質チェック、クリーニング、データのスケーリング(正規化)を含む様々な段階を含む前処理を必要とする。しかしながら、データ処理の最も重要な面は、機械学習コンピュータプログラムに供給すること、すなわち、訓練のために機械学習モデルに通信することができる形式でデータを準備すること、を含む。これは、少なくとも2つの主なステップ、すなわち、データセグメント化、すなわち、時系列がイベントセグメントに動的にセグメント化される動的セグメント化と、時間ウィンドウ化とを必要とする。
【0054】
各時系列データファイルについて、以下を行う(
図3の「時系列センサデータを有する単一の転倒データファイル」を参照)。例えば、時系列データ内のセンサ読み取り値に基づいて、各時間ステップにおける3軸加速度の大きさを求める(300)。3軸加速度に基づいて、ピーク(最大値)を見つけ(310)、(転倒)イベント401の開始とともに時間インデックスtOを識別する。これは、ステップ320及び330に従って動的時間セグメントを構築するためのピボット点として使用される。
【0055】
図3は、ステップ300~350による入力と、出力とを含み、本開示による転倒データ処理及び注釈システムの概略図を示す。
入力:時系列センサデータを有する単一の転倒データファイル。
ステップ300:(3軸加速度などを使用して)各時間ステップにおけるセンサ読み取り値の大きさを計算する。
ステップ310:時間ステップにおける「大きさのピーク」を有する時間インデックスを見つけ、これは、周りの転倒セグメントを構築するための「転倒基準点」(ピボット点)を提供する。
ステップ320:経験的研究に基づいて、又は実験ごとの転倒イベントの長さを表す転倒実験データから計算されたセグメントの長さを決定することができるfallseg_duration()関数を使用して、特定の計算された持続時間を有する識別されたピークの周りの「転倒イベント」セグメントを構築する。
ステップ330:データ、例えば実験データが、関心のあるイベント(すなわち転倒)に基づいてセグメント化される。
【0056】
3軸加速度の使用は一例にすぎないことに留意されたい。本開示によれば、例えば、(ジャイロスコープからの)3軸回転速度の大きさ及びこれらの組み合わせを含む尺度など、他の適切な尺度を使用することができた。本開示はモーションセンサに限定されず、他のタイプのセンサ/カメラデバイスも転倒基準点を見つけるために使用することができる。
【0057】
主な意図は、ピボット時点及び/又はマーキングステップを見つけ、それに応じて入力時系列データの動的セグメント化のために注釈を付けることである。このピボット時点並びにセグメント持続時間が識別されると、入力時系列データに対して動的セグメント化を行うことができる。
【0058】
入力時系列データに対する動的セグメント化は、時間セグメント化データを生成する。時間セグメント104、402、403、すなわち(関心のあるイベントの)転倒時間セグメント401、すなわちイベントセグメントは、識別されたピーク(tO)の前に開始し、識別されたピーク(t1)の後の時間t2で終了することに留意されたい。言い換えれば、上述した時間セグメントの持続時間はt2-t0に等しい。本開示による動的セグメント生成概念、すなわち動的セグメント化が
図4に示されている。
図4において、識別されたイベント時間インデックスは、例えば、時間ステップにおける「大きさのピーク」を有する時間インデックスを見つけることに関連する。
図4において、「計算された転倒セグメント長」は、「fallseg_duration()関数を使用して特定の計算された持続時間を有する識別されたピークの周りの「転倒イベント」セグメントを構築する」こと、及び「実験データは、関心のあるイベント(すなわち、転倒)に基づいてセグメント化される」ことに関連する。
【0059】
更に、入力時系列データの動的セグメント化は、本開示の態様では、必要に応じて、(転倒前と転倒後の両方を含む)ただ1つの転倒セグメントの代わりに、より詳細な転倒前セグメント(すなわち、(tO)~(tl))及び転倒後セグメント(すなわち、(t1)~(t2))を識別するためにも容易に使用され得る。
【0060】
更に
図3を参照すると、入力、ステップ300~350、及び出力を含み、ステップ340、350、及び出力は以下の通りである。
ステップ340:
図4~
図6も参照して、特定のウィンドウオーバーラップサイズo
s及びウィンドウサイズw
sを有するデータからスライディング時間ウィンドウ404a~404fを抽出する。ウィンドウサイズw
s及び「ウィンドウオーバーラップサイズo
3」は、
図3のステップ340の「特定のスライド長及びウィンドウサイズを有するデータから時間ウィンドウを抽出する」に関連する。
【0061】
時間ウィンドウの形成に関して、時系列400、言い換えれば時系列データ400の限られたビューを示す。例えば、5秒の長さの時間ウィンドウは、時間ウィンドウ全体が一度に5秒のデータを収容できることを意味する。
図5の例では、時間ウィンドウは、5つの時間ステップt
a、t
b、t
c、t
d、t
eを収容することができる。
【0062】
時間ウィンドウは、オーバーラップを有しても有さなくてもよい。
図5及び
図6の例では、重複する時間ウィンドウ404a~404fが存在する。オーバーラップの程度、ウィンドウオーバーラップサイズo
sは、指定されたスライドサイズに依存する。スライドサイズが小さくなるほど、ウィンドウオーバーラップサイズo
sは大きくなる。一例として、
図4及び
図5に示されるように、例えば、5秒のウィンドウサイズw
sを有する時間ウィンドウにおいて、4秒のスライドサイズを有する場合、データから次に作成される時間ウィンドウは、1秒の古いデータ及び4秒の新しいデータの現在のウィンドウと前方で重複する。言い換えれば、2つの隣接する時間ウィンドウ404a、404bは、1秒の共通時間、オーバーラップサイズo
sを共有する。
【0063】
より強いオーバーラップについては、例えば、5秒のウィンドウサイズwsを有する時間ウィンドウにおいて、1秒のスライドサイズを有する場合、データから次に作成される時間ウィンドウは、4秒の古いデータ及び1秒の新しいデータの現在の時間ウィンドウと、前方で強いオーバーラップを有することになる。
【0064】
時間ウィンドウは、例えば、指定されたウィンドウサイズw
s及び時間軸tに沿って移動/スライドするスライドサイズを有する1つの時間ウィンドウを有することによって形成される。次いで、全ての時間ウィンドウ404a~404fは、
図5の矢印で示されるように、このスライドの手順によって形成される。
【0065】
時間ウィンドウの形成、抽出、構築又は生成は、この文脈において等価であると考えられるべきである。
【0066】
ステップ350:ここで、特定の「ポリシー」関数を使用して、各時間ウィンドウについて注釈を生成する。
出力:データファイル、例えば実験ファイルからの注釈付きデータサンプル。
【0067】
本開示による、時間ウィンドウのための注釈生成概念、すなわち、構築された時間ウィンドウの注釈が、
図6「時間ウィンドウの注釈」に示される。これは、時間ウィンドウを定義、すなわち構築した後、時間ウィンドウの各々に注釈を付ける、すなわち、(データサンプルが、例えば、転倒又は非転倒イベントに属するかどうかを識別する)適切な注釈で(機械学習(ML)の文脈におけるデータサンプルに)注釈を付ける必要があり、その結果、転倒検出コンピュータプログラム、すなわち転倒検出機械学習モデルが、この注釈付きデータから学習することができる。
【0068】
時間ウィンドウごとに注釈を識別する方法の1つは、その時間ウィンドウ内の時間ステップの大部分が属する時間セグメントを識別することである。例えば、時間ステップの大部分が転倒セグメントに属する場合、その時間ウィンドウに転倒で注釈を付け、そうでない場合、その時間ウィンドウに非転倒で注釈を付ける。
図3及びステップ340を参照:特定のウィンドウオーバーラップサイズo
s及びウィンドウサイズw
sを有するデータからスライディング時間ウィンドウを抽出する。
【0069】
本開示による態様はまた、本明細書で説明されるように、転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法において閾値ベースの方式を利用することを含んでもよく、閾値ベースの方式の利用は、本明細書で説明されるような開示に加えて強化として使用されてもよい。閾値ベースの方式を利用することは、時間ウィンドウ内の転倒セグメントに属する時間ステップの数が特定の閾値(例えば、20%、30%)を上回る場合にのみ、時間ウィンドウが転倒時間ウィンドウとして注釈を付けられ得ることを意味し得る。これは、転倒セグメントに属する時間ステップが大部分でない場合であっても当てはまる。これは、実際には、転倒検出コンピュータプログラムの学習プロセス、すなわち、本明細書で説明されるような転倒評価における機械学習モデルの訓練を容易にして、より良好な転倒検出性能を達成するように、時間ウィンドウ及び/又はデータサンプルに対してより適切な注釈を可能にする。
【0070】
本開示による態様はまた、本明細書で説明されるように、転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法において閾値ベースの方式を利用することを含んでもよい。
【0071】
更に、態様では、本開示によれば、すなわち、任意選択で、閾値ベースの方式を利用することに加えて、イベント又はイベントセグメント、例えば、転倒又は転倒セグメントは、時間ウィンドウ内の「特定の位置」(例えば、時間ウィンドウの最後の25%、最後の50%内)にも属し得、時間ウィンドウ及び/又はデータサンプルのために、したがって、それに応じて更に注釈を付けられる。
【0072】
転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法は、本明細書で説明されるように、訓練データの準備を含み、各訓練者対象は、設定されたプロトコルに従って当該作業を行い、訓練データの準備は、センサデータの取得及び自動注釈と、各訓練者対象の値を、それらの具体的に取得され、注釈が付けられたセンサデータにそれぞれ結合することとを含む。
【0073】
当該行動は、設定されたプロトコルに従って、身体活動などのADLの活動、及びシミュレートされた転倒を含む。
【0074】
いくつかの態様によれば、本明細書で説明されるような本開示によるコンピュータ実施方法が開示され、訓練データの準備は訓練データの準備は、センサデータについて転倒閾値を設定することと、関連するセンサデータが当該転倒閾値よりも大きい場合に転倒イベントセグメントを割り当てることとを更に含む。
【0075】
いくつかの態様によれば、本明細書で説明されるような本開示によるコンピュータ実施方法が開示され、訓練データの準備は、スライディング時間ウィンドウ方法を使用して結合センサデータを再サンプリングすることと、時間ウィンドウ内の個々の結合センサデータセグメントの位置を識別することとを更に含む。
【0076】
いくつかの態様によれば、本明細書で説明されるような本開示によるコンピュータ実施方法が開示され、訓練データの準備は、スライディング時間ウィンドウ方法を使用して、結合されたセンサデータを再サンプリングすることと、ある時間ウィンドウ内のイベントセグメント、例えば転倒セグメントに属するセンサデータの位置を識別することと、時間ウィンドウ内の位置に関してセンサデータに注釈を付けることとを更に含む。
【0077】
これにより、本開示によれば、スライディング時間ウィンドウ方法を使用し、時間ステップ、すなわち、転倒セグメントに属する注釈付き位置を有するセンサデータが時間ウィンドウの末尾部分にあるという事実に基づいて時間ウィンドウの注釈を実行し、サンプル重み付けを達成することが可能である。
【0078】
更に、態様において、本開示によれば、イベント又はイベントセグメント、例えば転倒又は転倒セグメントの時間ウィンドウ内の位置を使用して、訓練プロセス中に利用されるサンプル重み、例えば、転倒セグメントに属する時間ステップが時間ウィンドウの最後の25%又は「末尾」内などにある、すなわち、本明細書で説明されるような転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法中の時間ウィンドウ/サンプルに割り当てられたより高い重みを割り当てることができる。これは、転倒セグメントに属するサンプルが時間ウィンドウ内で後にスポットされるほど、割り当てられる重みが高くなることを意味する。
【0079】
割り当てられたサンプル重みを使用し、転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法の間に利用することは、本明細書で説明されるように、転倒検出コンピュータプログラム、すなわち機械学習モデルに対する手がかり、例えば、転倒セグメントに属し、時間ウィンドウ内の後の位置にある時間ステップが転倒を検出するためにより重要であるという手がかりが提供され得るという効果を達成し得る。言い換えれば、転倒検出コンピュータプログラム、すなわち、本明細書で説明されるような転倒評価における機械学習モデルを奨励して、転倒事故が起こった場合に対象、すなわちユーザの最適化された保護を可能にするために、可能な限り早く転倒を検出して、任意の適切な動作及び/又は任意の適切な予防措置のための最大時間を提供する。
【0080】
本質的に、これは、
-本開示によるコンピュータプログラムであって、本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法を適用するためのコンピュータ可読命令を含むコンピュータプログラムと、
-本明細書に記載の訓練データの準備を適用するためのコンピュータ可読命令を含む、本開示によるコンピュータプログラムの両方は、
手動で時間がかかり、費用がかかり、誤りを起こしやすい人間の注釈の労力を必要とせずに、「完全に自動化された方法」、すなわち完全に自動的な方法で、適切な注釈を有する装着型センサからの時系列データの準備を可能にすることを意味する。このようにして、その後、完全に自動化された注釈を用いて、機械学習コンピュータプログラム、すなわち、本明細書に記載される機械学習モデルは、この注釈生成コンピュータプログラム、すなわち、本明細書に記載される訓練データの準備を適用するためのコンピュータプログラム、又は本明細書に記載される機械学習モデルの訓練のためのコンピュータ実施方法を適用するためのコンピュータプログラムの出力で直接訓練され得る。
【0081】
本開示はまた、転倒評価における、及び情報の通信における機械学習モデルの訓練のためのシステムに関し、情報は、転倒評価からの情報を含み、転倒評価は、転倒検出、並びに任意選択で、転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算を含む。
【0082】
このシステムは、機械学習モデルと、訓練者対象1と、訓練者対象1からデータを収集するセンサ2、3、6、7と、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備える。本システムは、コンピュータプログラム及び/又はコンピュータ可読媒体を利用して、転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法を適用することと、転倒評価からの情報を通信することとの両方を行い、本明細書で説明する。本明細書に開示される全ての実施形態について、
図8は、コンピュータ可読媒体830上のコンピュータ可読命令820を含むコンピュータプログラム810の一般的表現を開示することを理解されたい。
【0083】
いくつかの態様によれば、本開示はまた、転倒評価及び情報の通信における機械学習モデルの訓練のためのシステムに関し、情報は、本明細書に記載されるような本開示による転倒評価からの情報を含み、システムは、本明細書に記載されるような1つ以上のデバイスを含む。
【0084】
更に、本開示はまた、転倒評価のための、及び転倒評価環境のための転倒評価からの情報の通信のためのコンピュータ実施方法に関し、転倒評価は、転倒検出、並びに任意選択で転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算を含む。
【0085】
転倒評価環境は、機械学習モデルであって、本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法に従って訓練されており、及び/又は本明細書に記載の訓練データの準備を含むコンピュータ実施方法に従って訓練されている訓練された機械学習モデルを含む、機械学習モデルと、ユーザと、ユーザからデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを含む、機械学習モデルを含む。
【0086】
コンピュータ実施方法は、ユーザからデータを収集するセンサから生成されるユーザセンサデータを取得することと、注釈を付けることとを含み、ユーザはユーザプロフィールを有し、コンピュータ実施方法は、ユーザプロフィール特性の値を取得し、ユーザセンサデータに結合することと、結合されたユーザセンサデータを、訓練された機械学習モデルを含む、及び/又は訓練されている機械学習モデルによって処理することと、を更に含む。
【0087】
コンピュータ実施方法は、転倒評価と、転倒評価からの情報の通信とを含み、転倒評価は、転倒検出と、任意選択で、転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算とを含む。
【0088】
本開示はまた、本明細書で説明されるように、転倒評価のための、及び転倒評価からの情報の通信のためのコンピュータ実施方法を適用するためのコンピュータ可読命令820を含むコンピュータプログラム810に関する。
【0089】
本開示はまた、本明細書で説明されるように、転倒評価のための、及び転倒評価からの情報の通信のためのコンピュータ実施方法を適用するためのコンピュータ可読命令820を含むコンピュータプログラム810を含むコンピュータ可読媒体830に関する。
【0090】
更に、
図7を参照すると、本開示はまた、転倒評価のための制御ユニット装置700に関し、本明細書で説明されるようなものである、転倒評価のためのコンピュータ実施方法の有効化、及び/又は、本明細書で説明されるような訓練された機械学習モデルを含む機械学習モデルの実施を少なくとも制御するように適合される。
【0091】
図7は、一実施形態による制御ユニット700の構成要素を、いくつかの機能ユニットに関して概略的に示す。
【0092】
処理回路710は、例えば記憶媒体730の形態のコンピュータプログラム製品に記憶されたソフトウェア命令を実行することができる適切な中央処理装置(CPU)、マルチプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、専用ハードウェアアクセラレータなどのうちの1つ以上の任意の組み合わせを使用して提供される。処理回路710は、少なくとも1つの特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)として更に提供されてもよい。
【0093】
特に、処理回路710は、制御ユニット700に一連の動作又はステップを実行させるように構成される。これらの動作又はステップは、様々なレーダ送受信機及び方法に関連して上記で説明された。例えば、記憶媒体730は、動作のセットを記憶してもよく、処理回路710は、記憶媒体730から動作のセットを取り出して、制御ユニット700に動作のセットを実行させるように構成されてもよい。動作のセットは、実行可能命令のセットとして提供され得る。したがって、処理回路710は、本明細書で開示される方法及び動作を実行するように構成される。
【0094】
記憶媒体730はまた、例えば、磁気メモリ、光学メモリ、ソリッドステートメモリ、又は更に遠隔に搭載されたメモリのうちの任意の1つ又は組み合わせであり得る、永続記憶装置を備えてもよい。
【0095】
制御ユニット700は、少なくとも1つの他のユニットと通信するための通信インタフェース720を更に備えることができる。したがって、通信インタフェース720は、アナログ及びデジタル構成要素並びに有線又は無線通信のための好適な数のポートを備える、1つ以上の送信機及び受信機を備えていてもよい。
【0096】
処理回路710は、例えば、外部ユニット及び記憶媒体730にデータ及び制御信号を送信することによって、外部ユニットからデータ及び報告を受信することによって、並びに記憶媒体730からデータ及び命令を取り出すことによって、制御ユニット700の一般的な動作を制御するように適合される。制御ユニット700の他の構成要素及び関連する機能は、本明細書に提示される概念を不明瞭にしないために省略されている。
【0097】
前述のように、
図8は、本明細書で開示される方法のいずれかを実行するためにコンピュータ可読媒体830上に配置されたコンピュータ実行可能命令820を含むコンピュータプログラム製品810を示す。
【0098】
いくつかの態様によれば、本開示はまた、転倒評価のためのデバイス、転倒評価からの情報を含む情報の通信のためのデバイス、及び転倒評価のためのコンピュータ実施方法を可能にするためのデバイスに関し、転倒評価のためのコンピュータ実施方法は、本明細書に記載される通りであり、転倒評価は、転倒検出と、任意選択で、転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算とを含み、デバイスは、機械学習モデルと、ユーザからデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、デバイスは、本明細書に記載のコンピュータプログラム及び/又はコンピュータ可読媒体を備え、転倒評価のためのコンピュータ実施方法を適用し、情報を通信するためのものであり、情報は、本明細書に記載の転倒評価からの情報を含む。
【0099】
転倒評価は転倒検出を含む。
【0100】
いくつかの態様では、本開示によれば、本明細書で説明するように、転倒評価は、転倒検出と、更に転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算とを含むことができる。
【0101】
いくつかの態様によれば、本明細書で説明されるような本開示による転倒評価のためのデバイスが開示され、デバイスは、ユーザ1によって装着可能であり、加速度計及び/又はジャイロスコープを備えるセンサ2、3、6、7を備える。
【0102】
本開示はまた、転倒評価のためのシステム、転倒評価からの情報を含む情報の通信のためのシステム、及び転倒評価のためのコンピュータ実施方法を可能にするためのシステムに関し、転倒評価のためのコンピュータ実施方法は、本明細書に記載される通りであり、転倒評価は、転倒検出と、任意選択で、転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算とを含む。
【0103】
システムは、機械学習モデルと、ユーザと、ユーザからデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、システムは、転倒評価のためにコンピュータ実施方法を適用し、情報を通信するためのコンピュータ可読命令820を含むコンピュータプログラム810を含む。
【0104】
情報は、本明細書に記載されるような転倒評価からの情報を含み、及び/又はコンピュータ可読媒体830は、転倒評価のためのコンピュータ実施方法を適用するための、及び情報の通信のためのコンピュータ可読命令820を含むコンピュータプログラム810を含み、情報は、本明細書に記載されるような転倒評価からの情報を含む。
【0105】
いくつかの態様によれば、転倒評価のための、及び情報の通信のためのシステムが開示され、情報は、本明細書で説明されるように、本開示による転倒評価からの情報を含む。システムは、転倒評価のための、及び情報の通信のための1つ以上のデバイスを含み、情報は、本明細書に説明されるように、転倒評価からの情報を含む。
【0106】
本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法は、準備が、当該時系列が注釈付きデータ点を含み、各データ点がそれぞれ対応するセンサデータを反映して注釈を付けられ、当該時系列が動的セグメント化を含み、当該時系列がイベントセグメントに動的にセグメント化されることを含むことを含む。
【0107】
訓練データの準備は、当該時系列が注釈付きデータ点を含むことを更に含み、各データ点は、対応するセンサデータをそれぞれ反映して注釈を付けられている。当該時系列は、当該時系列がイベントセグメントに動的にセグメント化される動的セグメント化を含む。
【0108】
更に、本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法は、方法が、準備された訓練データを含む情報が機械学習モデルに通信されることと、機械学習モデルが転倒評価において準備された訓練データを含む訓練データによって訓練されることとを含むことを更に含む。
【0109】
更に、本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法は、方法が、準備された訓練データを含む情報が機械学習モデルに通信されることと、機械学習モデルが転倒評価において/転倒評価のために準備された訓練データを含む訓練データによって訓練され、開発されることとを含むことを更に含む。イベントセグメントは、時間ウィンドウを構築するために使用される。
【0110】
構築された時間ウィンドウは、注釈を付けられ、例えば自動的に注釈を付けられる。
【0111】
本開示によれば、本明細書で既に説明したように、本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法は、方法が、準備された訓練データを含む情報が機械学習モデルに通信されることと、機械学習モデルが転倒評価において準備された訓練データを含む訓練データによって訓練されることとを含むことを更に含む。
【0112】
更に、本開示によれば、本明細書で既に説明したように、本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法は、方法が、準備された訓練データを含む情報が機械学習モデルに通信されることと、機械学習モデルが転倒評価において/転倒評価のために準備された訓練データを含む訓練データによって訓練され、開発されることとを含むことを更に含む。
【0113】
機械学習モデルは訓練データを用いて訓練され、訓練データは準備された訓練データを含む。
【0114】
準備された訓練データは、構築された時間ウィンドウを含み、時間ウィンドウは、センサデータ、生成された時系列、及び動的セグメント化に基づいて構築される。時間ウィンドウの各々は、1つのデータサンプルを表し、複数の時間ステップにおけるセンサデータ及び関連する注釈を有する。次いで、この注釈付きデータは、転倒を可能な限り早期に検出するために、MLモデル、ここでは教師ありMLモデルを定式化及び訓練するために使用される。
【0115】
教師付きMLモデルは、注釈付きデータを利用し、注釈付きデータは、入力データ及び合意された出力から成る。例えば、そのような教師ありMLモデルを定式化し訓練する目的のための1つの方法では、ML問題は、注釈付きデータ上で訓練される訓練されたMLモデルが、ある時間ウィンドウが転倒又は非転倒イベントに属するかどうかの予測を出力することができる、バイナリ分類ML問題として構成されることができる。更に、ML問題は、代替的に、別の方法で容易に定式化することもでき、例えば、MLモデルが転倒前イベント、転倒イベント、及び転倒後イベントを検出することができる多クラス分類問題に定式化することができる。ML問題定式化の他の変形も可能である。
【0116】
本明細書に記載され、本開示に従う転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法によって達成される1つの主要な利点は、本方法が、注釈を付けられていない生センサデータを取り込み、それを前処理し、次いで、それに注釈を付けて、教師ありMLがデータ駆動教師ありMLモデルを訓練するためにそれを準備させることができることである。本開示による転倒評価における機械学習モデル、ここではデータ駆動型教師ありMLモデルは、転倒評価における機械学習モデルの訓練のための本コンピュータ実施方法において、適切な動作(複数可)及び/又は適切な予防措置(複数可)を行うために、初期段階における正確な転倒検出のために使用され得る。これは、転倒評価における機械学習モデルの訓練のための本コンピュータ実施方法に従って、完全に自動化された方法で行われ、任意の手動の人間の努力及び時間の必要性を排除する。
【0117】
更に、転倒評価における機械学習モデルの訓練のための本コンピュータ実施方法による手法は、転倒セグメントに属する、又は属さない時間ウィンドウ内の時間ステップの閾値に基づくだけでなく、時間ウィンドウ内の時間ステップの位置付けに基づいて注釈を割り当てるためにも、詳細に注釈を割り当てるのに十分柔軟である。更に、時間ウィンドウ内の時間ステップの位置決めに基づいて注釈を割り当てることはまた、サンプル重みを割り当てるために使用することができる。
【0118】
注釈を割り当てるこれらの方法の両方は、ML訓練プロセスが、高い転倒検出精度を達成するだけでなく、実際の転倒が起こる前であっても可能な限り早く転倒を検出するように、MLモデルを訓練するのに役立つ。したがって、本明細書で説明される転倒評価における機械学習モデルの訓練のための本コンピュータ実施方法は、したがって、本開示によるMLモデルも可能にし、任意の適切な動作及び/又は任意の適切な予防措置、例えば、
図1及び
図2に示されるように、警告信号などの任意の予防措置及び1つ以上の保護エアバッグ4、5、9の膨張などの保護措置の実行のために利用可能な十分な時間がある。
図2に示されるように、バイク8又は類似物に乗っている人又はユーザ1のために、センサ6、7、制御ユニット700、及び/又は保護エアバッグ9は全て、保護ベスト10などの保護衣服に含まれ得る。
【0119】
いくつかの態様によれば、本明細書に記載の本開示によるコンピュータ実施方法が開示され、訓練データの準備は、関心のあるイベント、例えば転倒イベントに関連して、センサデータの特定の1つ又は複数のタイプ、例えばセンサデータの1つ又は複数のタイプを選択することと、時系列内の対応する注釈付きデータ点を識別することとを更に含む。
【0120】
いくつかの態様によれば、本明細書で説明されるような本開示による訓練データの準備が開示され、コンピュータ実施方法は、各注釈付きデータ点に対する当該対応するセンサデータを決定し、イベントセグメントへの当該動的セグメント化を決定するための多数決方式の利用を更に含む。
【0121】
注釈の最終目的は、転倒検出MLアルゴリズム、すなわち転倒検出MLコンピュータプログラムを使用して訓練のためのデータを準備することである。これは、時系列から抽出された時間ウィンドウ(別名、データサンプル)に注釈を付けることを意味する。セグメント化プロセスは、時間ウィンドウ自体を抽出/作成するのに必要ではなく、これらの時間ウィンドウの注釈を準備するのに必要なステップである。
【0122】
いくつかの態様によれば、いくつかの態様によれば、本明細書で説明されるような転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法が開示され、訓練者対象プロフィールのプロフィール特性は、身長、体重及び/又は肥満度指数(BMI)などのプロフィール特性を含み、プロフィール特性の値は、訓練者対象プロフィールと対応するユーザプロフィールとの相関関係と、より動的なセグメント化とを有効にする。
【0123】
これらのプロフィール特性の値は、訓練者対象プロフィールを対応するユーザプロフィールに相関させることを可能にする。これらのプロフィール特性はまた、この衝撃までの時間に影響を及ぼし得、したがって、各対象/人及び転倒シナリオに対する時間セグメントの長さのより正確な定義を可能にする。
【0124】
いくつかの態様では、転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法は、本明細書で説明されるように、各訓練者対象プロフィールのプロフィール特性の値が、それらの具体的に取得され、注釈が付けられたセンサデータにそれぞれ結合されることを更に含む。訓練者対象プロフィールのプロフィール特性は、身長、体重及び/又は肥満度指数(BMI)などのプロフィール特性を含み、プロフィール特性の値は、訓練者対象プロフィールと対応するユーザプロフィールとの相関関係と、を有効にする。
【0125】
特に、プロフィール特性は、本明細書で説明されるように、動的時間セグメントの持続時間が、個々のユーザプロフィールに基づいてより高品質のデータ注釈をもたらすことができる各ユーザプロフィールに合わせて調整され得るなど、動的セグメント化プロセスを改善するのに役立つことができる。
【0126】
(転倒から生成される)各時系列内の時間セグメント長は、人ごとに異なり、おそらく、その人が経験する「転倒のタイプ」に基づいてカスタマイズされてもよい。一例として、身長の高い人は、転倒を経験した後に地面に当たる(衝突する)のに長い時間を要するので、その特定のタイプの転倒についてその人に対して生成される時間セグメントは、身長の低い人を除いて同様の転倒イベントと比較して長くなり得る。
【0127】
同様に、BMIもまた、この衝撃までの時間に影響を及ぼし得、したがって、各対象/人及び転倒シナリオに対する時間セグメントの長さのより正確な定義を可能にする。それは追加の強化として提案されているので、そのようなきめ細かい対象プロフィール情報が利用可能でないか、又は取得することが困難であると仮定して、全ての対象に適用される適切な「ユニバーサル」セグメント長パラメータを依然として定義することができることに留意されたい。
【0128】
機械学習モデルは、センサデータ、生成された時系列、及び動的セグメント化によって訓練され、特定のユーザプロフィール、特定の注釈ポリシーを使用する時間ウィンドウ処理に適応可能であり、それによって、当該対応する特定の転倒評価を実行し、対応する特定の転倒評価からの情報を通信する。
【0129】
次いで、入力時系列からの時間セグメント化されたデータを使用して、特定の持続時間の時間ウィンドウ、例えばスライディング時間ウィンドウを生成することができる。特定の持続時間のスライディング時間ウィンドウを生成するために、重要なパラメータは、スライディング時間ウィンドウサイズ及びスライド長であり、これらは、経験的研究又は実験に基づいて選択され得る。次に、これらのスライディングウィンドウは、転倒検出アルゴリズム、すなわちコンピュータプログラム、訓練並びに推論(予測)のために入力される実際のデータサンプルを形成する。
【0130】
いくつかの態様によれば、本明細書で説明されるような本開示によるコンピュータ実施方法が開示され、機械学習モデルの訓練は、オンライン訓練及び/又はオフライン訓練、例えば、ワンタイム訓練を含む。
【0131】
更に、いくつかの態様によれば、本明細書で説明されるような本開示によるコンピュータ実施方法が開示され、機械学習モデルの訓練は、機械学習モデルのオフライン訓練、例えば、ワンタイム訓練を含む。
【0132】
更に、機械学習モデルの訓練は、推論及び/又は予測のためにオフライン訓練を利用する。オフライン訓練の利用は、MLモデルが周期的に更新及び/又は再訓練され得るオンライン訓練の利用とは対照的であり、あるいは、入力データの分布における十分な変化/シフトが観察されたときに更新及び/又は再訓練がトリガされてもよく、当該変化/シフトは、MLモデルを訓練するために使用された訓練データと比較されたときである。
【0133】
いくつかの態様によれば、本明細書に記載の本開示によるコンピュータ実施方法が開示され、訓練データの準備は、オフライン準備及び/又はオンライン準備を含み、例えば、機械学習モデルの準備は、オフライン準備を含む。
【0134】
本開示はまた、本明細書に記載の転倒評価における機械学習モデルの訓練、及び/又は訓練データの準備のためのコンピュータ実施方法を適用するためのコンピュータ可読命令820を含むコンピュータプログラム810、及び/又は当該コンピュータプログラム810を含むコンピュータ可読媒体830に関する。
【0135】
更に、本開示はまた、本明細書に記載の転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法を適用するためのコンピュータ可読命令820を含むコンピュータプログラム810、及び/又は当該コンピュータプログラム810を含むコンピュータ可読媒体830に関する。
【0136】
更に、本開示はまた、本明細書に記載の訓練データの準備を適用するためのコンピュータ可読命令820を含むコンピュータプログラム810、及び/又は当該コンピュータプログラム810を含むコンピュータ可読媒体830に関する。
【0137】
本開示はまた、本明細書に記載の訓練データの準備のためのコンピュータ可読命令820を含むコンピュータプログラム810、及び/又は当該コンピュータプログラム810を含むコンピュータ可読媒体830に関する。
【0138】
更に、本開示はまた、本明細書で説明されるような機械学習モデルのためのコンピュータ可読命令820を含むコンピュータプログラム810、及び/又は当該コンピュータプログラム810を含むコンピュータ可読媒体830に関する。
【0139】
本開示はまた、本明細書で説明されるように、コンピュータプログラム810を含むコンピュータ可読媒体830に関する。
【0140】
更に、本開示はまた、機械学習モデルの訓練のための制御ユニット装置(700)であって、少なくとも、本明細書に記載の機械学習モデルの実施、及び/又は本明細書に記載の訓練データの準備を制御するように適合されている、制御ユニット装置に関する。
【0141】
本開示はまた、転倒評価における機械学習モデルの訓練のため、転倒評価からの情報を含む情報の通信のため、及び機械学習モデルの実装を可能にするためのデバイスであって、機械学習モデルが本明細書に記載されるようなデバイスに関する。転倒評価は、転倒検出と、任意選択で、転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算とを含む。
【0142】
デバイスは、機械学習モデルと、訓練者対象からデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、デバイスは、本明細書に記載のコンピュータプログラム810及び/又はコンピュータ可読媒体830を備え、転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法を適用し、情報を通信し、情報は、本明細書に記載の転倒評価からの情報を含む。
【0143】
更に、本開示はまた、転倒評価における機械学習モデルの訓練のため、転倒評価からの情報を含む情報の通信のため、及び機械学習モデルの実装を可能にするためのデバイスである。機械学習モデルは、本明細書に記載される通りであり、転倒評価は、転倒検出と、任意選択で、転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算とを含む。
【0144】
デバイスは、機械学習モデルと、訓練者対象からデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、デバイスは、本明細書に記載されるような、訓練データの準備のための、及び本明細書に記載されるような、コンピュータプログラム810及び/又はコンピュータ可読媒体830を含む。
【0145】
本開示はまた、転倒評価における機械学習モデルの訓練のため、転倒評価からの情報を含む情報の通信のため、及び機械学習モデルの実装を可能にするためのデバイスであって、機械学習モデルが本明細書に記載されるようなデバイスに関する。転倒評価は、転倒検出と、任意選択で、転倒の特徴付け及び/又は転倒リスク確率(FRP)の計算とを含み、デバイスは、機械学習モデルと、訓練者対象からデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、デバイスは、本明細書で説明するような、及び機械学習モデルのための、及び機械学習モデルの実装を可能にするための、両方のコンピュータプログラム810及び/又はコンピュータ可読媒体830を含む。
【0146】
いくつかの態様によれば、本明細書に記載のように、本開示による、転倒評価における機械学習モデルの訓練のため、転倒評価からの情報を含む情報の通信のため、及び機械学習モデルの実装を可能にするためのデバイスであって、機械学習モデルが本明細書に記載されるような、デバイスが開示され、デバイスは、訓練者対象1によって装着可能であり、加速度計(複数可)及び/又はジャイロスコープ(複数可)を含むセンサ2、3、6、7を含む。
【0147】
いくつかの態様によれば、デバイスは、少なくとも部分的にベスト10又は類似の衣服の形態である。デバイスはまた、制御ユニット装置700及び/又はブレスレット等によって構成することができる。
図1には、ブレスレットに含まれるセンサ2を聞いているユーザ1が示されている。一般に、本開示は、本明細書に記載の制御ユニット装置700と、本明細書に記載のデータを検出する1つ以上のセンサ2、3、6、7と、少なくとも1つのエアバッグ4、5、9とを備える15の衣服10に関する。
【0148】
いくつかの態様によれば、本開示は、転倒評価訓練環境のための転倒評価における機械学習モデルの訓練のためのコンピュータ実施方法に関し、転倒評価は転倒検出を含む。転倒評価訓練環境は、機械学習モデルと、訓練者対象と、訓練者対象からデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備える。
【0149】
コンピュータ実施方法は、機械学習モデルを実施することと、訓練データを準備することとを含み、機械学習モデルは、その実施の間、訓練データの準備を連続的に可能にする。訓練データの準備は、訓練者対象からデータを収集するセンサから生成されたセンサデータを取得し、注釈を付けることを含み、取得され、注釈が付けられたセンサデータは、訓練者対象の行動中に生成されたセンサデータを含み、当該行動は、日常生活活動(ADL)及びシミュレートされた転倒を含む。
【0150】
各訓練者対象は、設定されたプロトコルに従って当該行動を行い、訓練データの準備は、センサデータの取得及び自動注釈と、各訓練者対象の値を、それらの具体的に取得され、注釈が付けられたセンサデータにそれぞれ結合することとを含み、結合されたセンサデータは、次いで、更に処理され、それによって、時系列が生成され、当該時系列は、注釈付きデータ点を含み、各データ点は、対応するセンサデータをそれぞれ反映して注釈を付けられ、当該時系列は、動的セグメント化を含み、当該時系列は、イベントセグメントに動的にセグメント化され、イベントセグメントは、次いで、時間ウィンドウを構築するために使用され、構築された時間ウィンドウは、注釈を付けられる。
【0151】
コンピュータ実施方法は、準備された訓練データを含む情報が機械学習モデルに通信され、機械学習モデルが転倒評価において準備された訓練データを含む訓練データによって訓練されることを含む。
【0152】
いくつかの態様によれば、本開示は、転倒評価における機械学習モデルの訓練のため、情報の通信のため、請求項1~7のいずれか一項に記載の機械学習モデルの実施を可能にするため、及び請求項1~7のいずれかに記載の訓練データの準備を可能にするためのデバイスに関し、転倒評価は転倒検出を含み、デバイスは、機械学習モデルと、訓練者対象からデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、デバイスは、本明細書に記載のコンピュータプログラム810及び/又はコンピュータ可読媒体830を備える。
【0153】
いくつかの態様によれば、本開示は、転倒評価のための、情報の通信のための、及び請求項13に記載の転倒評価のためのコンピュータ実施方法を可能にするためのデバイスに関し、転倒評価は転倒検出を含み、デバイスは、機械学習モデルと、ユーザからデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、デバイスは、本明細書に記載のコンピュータプログラム810及び/又はコンピュータ可読媒体830を備える。
【0154】
いくつかの態様によれば、本開示は、転倒評価のための、情報の通信のための、及び請求項13に記載の転倒評価のためのコンピュータ実施方法を可能にするためのシステムに関し、転倒評価は転倒検出を含み、システムは、機械学習モデルと、ユーザと、ユーザからデータを収集するセンサと、データを取得する手段と、データを処理する手段と、情報を通信する手段とを備え、システムは、本明細書に記載のコンピュータプログラム810及び/又はコンピュータ可読媒体830を備える。
【国際調査報告】