(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-15
(54)【発明の名称】高齢者介護のための睡眠及び覚醒期間の非接触識別
(51)【国際特許分類】
A61B 5/16 20060101AFI20220805BHJP
A61B 5/107 20060101ALI20220805BHJP
A61B 5/113 20060101ALI20220805BHJP
A61B 5/08 20060101ALI20220805BHJP
A61B 5/11 20060101ALI20220805BHJP
【FI】
A61B5/16 130
A61B5/107 300
A61B5/113
A61B5/08
A61B5/11 110
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021568117
(86)(22)【出願日】2020-04-23
(85)【翻訳文提出日】2022-01-06
(86)【国際出願番号】 US2020029482
(87)【国際公開番号】W WO2020236395
(87)【国際公開日】2020-11-26
(32)【優先日】2019-05-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】519078721
【氏名又は名称】テルース ユー ケア インコーポレーション
【氏名又は名称原語表記】Tellus You Care, Inc.
【住所又は居所原語表記】642 Alvarado St, Apt. 206 San Francisco, California 94114 United States of America
(74)【代理人】
【識別番号】100151448
【氏名又は名称】青木 孝博
(74)【代理人】
【識別番号】230121016
【氏名又は名称】小笠原 匡隆
(72)【発明者】
【氏名】ユアン・タン
(72)【発明者】
【氏名】スー・ケビン
(72)【発明者】
【氏名】コーク,タニア・アルベディアン
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038PP05
4C038PS07
4C038SS08
4C038SV01
4C038VA04
4C038VA15
4C038VB33
4C038VB35
4C038VC05
(57)【要約】
ユーザーの睡眠パターンを決定することは、複数の点群であって、それぞれが、異なる時間におけるユーザーの異なる位置に対応する、複数の点群を検出することと、複数の境界ボックスであって、それぞれが、点群のうちの1つの点群の取り込まれる点の座標に対応する、複数の境界ボックスを形成すること、点群の特徴に基づいて覚醒/睡眠分類器を作成することと、境界ボックスに基づいて時間の関数としてユーザーの睡眠姿勢を決定することと、ユーザーの睡眠姿勢及び覚醒/睡眠分類器の結果に基づいてユーザーの睡眠パターンを決定することとを含む。複数の点群を検出することは、ユーザーの動きを取り込むために追跡デバイスを使用することを含むことができる。点群の特徴は、点群の点のスカラー速度、点群の点の絶対速度、及び/又は点群の点のカウントを使用して決定される中間データを含むことができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザーの睡眠パターンを決定する方法であって、
複数の点群であって、それぞれが、異なる時間における前記ユーザーの異なる位置に対応する、複数の点群を検出することと、
複数の境界ボックスであって、それぞれが、前記点群のうちの1つの点群の取り込まれる点の座標に対応する、複数の境界ボックスを形成することと、
前記点群の特徴に基づいて覚醒/睡眠分類器を作成することと、
前記境界ボックスに基づいて時間の関数として前記ユーザーの睡眠姿勢を決定することと、
前記ユーザーの前記睡眠姿勢及び前記覚醒/睡眠分類器の結果に基づいて前記ユーザーの睡眠パターンを決定することと、
を含む、方法。
【請求項2】
複数の点群を検出することは、前記ユーザーの動きを取り込むために追跡デバイスを使用することを含む、請求項1に記載の方法。
【請求項3】
前記追跡デバイスはレーダーを使用する、請求項2に記載の方法。
【請求項4】
前記点群の前記特徴は、前記点群の点のスカラー速度、前記点群の点の絶対速度、及び前記点群の点のカウントのうちの少なくとも1つを使用して決定される中間データを含む、請求項1に記載の方法。
【請求項5】
前記特徴のうちの少なくとも一部は、前記複数の点群を検出するために使用される追跡デバイスからの距離に応じてフィルタリングされる、請求項4に記載の方法。
【請求項6】
前記中間データは、一連の逐次時間フレームにおける点カウントのセットに対応する点カウントのバッグ、一連の逐次時間フレームにおける点速度のセットに対応する速度のバッグ、一連の逐次時間フレームにおける絶対速度のセットに対応する絶対速度のバッグのうちの少なくとも1つを含む、請求項5に記載の方法。
【請求項7】
集計、スケーリング、及びフィルタリング関数のセットは、短期特徴集計値及び中期特徴集計値を提供するために前記中間データに適用される、請求項6に記載の方法。
【請求項8】
前記短期特徴集計値は、比較的少ない数の逐次時間フレームに対応する時間スロットに基づいて決定される、請求項7に記載の方法。
【請求項9】
前記特徴集計値は、平均値、中央値、値の合計、最小値、及び最大値のうちの少なくとも1つを含み、スケーリング関数は、対数スケーリング関数値を含む、請求項8に記載の方法。
【請求項10】
前記中期特徴集計値は、前記短期特徴集計値から導出される、請求項8に記載の方法。
【請求項11】
前記中期特徴集計値は、時間スロットの連続集合体を表すエポックに基づいて決定される、請求項10に記載の方法。
【請求項12】
前記点群の前記特徴は、相対的特徴重要度の評価を提供するために機械学習用の訓練データとしてトゥルース情報とともに使用される、請求項1に記載の方法。
【請求項13】
相対的特徴重要度の前記評価は、ランダムフォレスト機械学習を使用して決定される、請求項12に記載の方法。
【請求項14】
睡眠姿勢を決定することは、前記ユーザーの呼吸方向が垂直であるか、又は水平であるかを判定することを含む、請求項1に記載の方法。
【請求項15】
前記呼吸方向が垂直である場合、前記睡眠姿勢は、前記ユーザーの心臓エリアが前記ユーザーの左側で検出されることに応答して、前記ユーザーが仰向けで横たわっているということであると判定され、前記睡眠姿勢は、前記ユーザーの前記心臓エリアが前記ユーザーの右側で検出されることに応答して、前記ユーザーがうつ伏せで横たわっているということであると判定される、請求項14に記載の方法。
【請求項16】
前記呼吸方向が水平である場合、前記睡眠姿勢は、前記ユーザーの心臓エリアが比較的下方の配置で検出されることに応答して、前記ユーザーが前記ユーザーの左脇腹を下にして横たわっているということであると判定され、前記睡眠姿勢は、前記ユーザーの前記心臓エリアが比較的上方の配置で検出されることに応答して、前記ユーザーが前記ユーザーの右脇腹を下にして横たわっているということであると判定される、請求項14に記載の方法。
【請求項17】
前記ユーザーの睡眠パターンは、時間の関数として、前記ユーザーの前記睡眠姿勢と前記覚醒/睡眠分類器の前記結果との対応に基づいて決定される、請求項1に記載の方法。
【請求項18】
前記ユーザーについて毎日の睡眠パターンを追跡することを更に含む、請求項17に記載の方法。
【請求項19】
前記毎日の睡眠パターンからの有意の偏位を検出することを更に含む、請求項18に記載の方法。
【請求項20】
前記毎日の睡眠パターンからの前記有意の偏位を検出することに応答して、アラームを提供することを更に含む、請求項19に記載の方法。
【請求項21】
ユーザーの睡眠パターンを決定するソフトウェアを含む非一時的コンピュータ可読媒体であって、前記ソフトウェアは、
複数の点群であって、それぞれが、異なる時間における前記ユーザーの異なる位置に対応する、複数の点群を検出する実行可能コードと、
複数の境界ボックスであって、それぞれが、前記点群のうちの1つの点群の取り込まれる点の座標に対応する、複数の境界ボックスを形成する実行可能コードと、
前記点群の特徴に基づいて覚醒/睡眠分類器を作成する実行可能コードと、
前記境界ボックスに基づいて時間の関数として前記ユーザーの睡眠姿勢を決定する実行可能コードと、
前記ユーザーの前記睡眠姿勢及び前記覚醒/睡眠分類器の結果に基づいて前記ユーザーの睡眠パターンを決定する実行可能コードと、
を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2019年5月17日に出願された、「NON-CONTACT IDENTIFICATION OF SLEEP AND WAKE PERIODS FOR ELDERLY CARE」と題する米国仮特許出願第62/849,191号の優先権を主張し、この米国仮特許出願は、引用することにより本明細書の一部をなす。
【0002】
本出願は、相互接続されたハードウェア及びソフトウェア並びに機械学習を使用する睡眠情報及びパターンのリモートモニタリングの分野を対象とし、より詳細には、超広帯域レーダー及び機械学習を使用する、高齢者の、睡眠及び覚醒期間、睡眠中の身体位置、並びに寝返りパターン(turning pattern)のリモートモニタリングを対象とする。
【背景技術】
【0003】
健康的睡眠は、根本的な人間の欲求及びウェルネスの重要ファクターである。ここ数十年で、種々の睡眠障害の増加が見受けられている。そのため、疫学的調査によれば、高齢者の半分を超える人々は、不眠症(insomnia)に苦しみ、しばしば未処置であり、一方、高齢者の44%は、1週間当たり少なくとも数夜において不眠症の夜間症状のうちの1つ以上を経験する。
【0004】
人口のかなりのパーセント、30歳~49歳の男性の最大10%及び女性の最大4%、並びに、50歳~70歳の男性の最大17%及び女性の最大9%が、閉塞性睡眠時無呼吸(obstructive sleep apnea)に苦しむ(初期の研究におけるよりもはるかに高い数字である)。新しいデータは、全ての年齢区分において眠気(sleepiness)の自覚的な訴え(subjective complaint)のかなりの過少報告を示し、それにより、かなりの数の無呼吸事例が未診断及び未処置のままになっている。同様の問題は、過剰睡眠、睡眠時随伴症、睡眠関連運動障害、及び、睡眠覚醒リズム障害等の他の睡眠障害区分に存在する。
【0005】
睡眠医療の急速な発展は、睡眠障害に起因する公衆衛生に対する増大する課題に対処することを見据えている。睡眠専門家及び医師の数は増加しており、睡眠障害の専門的評価のための新しいタイプの入院患者健康管理施設である睡眠センターの出現が、睡眠診断の中核になってきている。
【0006】
睡眠障害の研究、診断、及び処置における重要な方向は、年齢に関連し、シニアを対象とする。睡眠パターン及びメカニズムは、年齢とともに顕著に変化している。新しい調査によれば、総睡眠時間(TST)は、40歳~50歳の範囲から開始する後続の全ての10年ベースの年齢群を通して1夜当たり平均27分だけ減少している。高齢者についての睡眠時間の短縮は、より頻繁な覚醒及び夜間のベッドからの抜け出しを含む、種々のファクターによって引き起こされる。最近の調査において、1夜当たりのEEG(脳波計で追跡される)興奮(EEG arousal:脳波覚醒)と覚醒との両方の平均回数は、40歳~50歳群と比較すると、50歳~70歳群の参加者の場合、20%を超えて高かった。総睡眠効率もまた、若年群の場合、著しく高い。睡眠問題の1つの指標は、個人が好都合な睡眠姿勢を見出すことができないときの、夜間の長い期間にわたる持続的な寝返りを打つこと(tossing and turning in bed)である。
【0007】
シニアの間の或る特定のタイプの睡眠不足が、認知症及び他の重大な病気の発症に大いに寄与していることが確証されている。したがって、老齢人口の世界的統計と組み合わせた、睡眠医学研究及び調査は、介護施設及び家庭にいるシニアについての睡眠情報を収集し処理するための新しいマスマーケット解決策の必要性を強調する。ポリソムノグラフィ(polysomnography)のための、ハイエンドで、複雑で、侵襲的な機器を供給される睡眠センターは、睡眠障害診断の基準を示すが、短期入院患者調査のために指定され、何億人ものシニアについて睡眠情報の早期の毎日の追跡に対処することができない。
【0008】
モーションセンサーを有する通常のスマートフォン、スマートウォッチ(Nokia Steel、Polar M430)、他のウェアラブルデバイス(Fitbit Versaブレスレット、Oura ring)、ベッドパッド及び同様の睡眠モニター(Withings Sleep、Beddit 3、Emfit QS)、京都大学及びPanasonicによって開発されたレーダー健康モニター、並びに、他の多数のものを含む、複数のモバイル、固定、及び半固定デバイス並びに関連するソフトウェアアプリケーションが、睡眠データを収集し分析するために提案されている。その領域の大幅な進歩にもかかわらず、現在販売されている解決策のほとんどは、侵襲的であり、そのうちの一部は永続的なメンテナンスを必要とし、多くのものは睡眠追跡の精度を欠く。
【発明の概要】
【発明が解決しようとする課題】
【0009】
したがって、睡眠及び覚醒期間、睡眠姿勢、睡眠姿勢の変化、及び寝返り(turning in bed)を含む、睡眠情報及びパターンの確実な追跡のための新しいメカニズムを開発することが有用である。
【課題を解決するための手段】
【0010】
本明細書に記載されるシステムによれば、ユーザーの睡眠パターンを決定する方法は、複数の点群であって、それぞれが、異なる時間におけるユーザーの異なる位置に対応する、複数の点群を検出することと、複数の境界ボックス(bounding boxes)であって、それぞれが、点群のうちの1つの点群の取り込まれる点の座標に対応する、複数の境界ボックスを形成することと、点群の特徴に基づいて覚醒/睡眠分類器を作成することと、境界ボックスに基づいて時間の関数としてユーザーの睡眠姿勢を決定することと、ユーザーの睡眠姿勢及び覚醒/睡眠分類器の結果に基づいてユーザーの睡眠パターンを決定することとを含む。複数の点群を検出することは、ユーザーの動きを取り込むために追跡デバイスを使用することを含むことができる。追跡デバイスはレーダーを使用することができる。点群の特徴は、点群の点のスカラー速度、点群の点の絶対速度、及び/又は点群の点のカウントを使用して決定される中間データを含むことができる。特徴のうちの少なくとも一部は、複数の点群を検出するために使用される追跡デバイスからの距離に応じてフィルタリングすることができる。中間データは、一連の逐次時間フレームにおける点カウントのセットに対応する点カウントのバッグ(bag)、一連の逐次時間フレームにおける点速度のセットに対応する速度のバッグ、及び/又は一連の逐次時間フレームにおける絶対速度のセットに対応する絶対速度のバッグを含むことができる。集計、スケーリング、及びフィルタリング関数のセットは、短期特徴集計値及び中期特徴集計値を提供するために中間データに適用することができる。短期特徴集計値は、比較的少ない数の逐次時間フレームに対応する時間スロットに基づいて決定することができる。特徴集計値は、平均値、中央値、値の合計、最小値、及び最大値を含むことができ、及び/又は、スケーリング関数は、対数スケーリング関数値を含む。中期特徴集計値は、短期特徴集計値から導出することができる。中期特徴集計値は、時間スロットの連続集合体を表すエポックに基づいて決定することができる。点群の特徴は、相対的特徴重要度の評価を提供するために機械学習用の訓練データとしてトゥルース情報(truth information)とともに使用することができる。相対的特徴重要度の評価は、ランダムフォレスト機械学習を使用して決定することができる。睡眠姿勢を決定することは、ユーザーの呼吸方向が垂直であるか、又は水平であるかを判定することを含むことができる。呼吸方向が垂直である場合、睡眠姿勢は、ユーザーの心臓エリアがユーザーの左側で検出されることに応答して、ユーザーが仰向けで横たわっているということであると判定することができ、睡眠姿勢は、ユーザーの心臓エリアがユーザーの右側で検出されることに応答して、ユーザーがうつ伏せで横たわっているということであると判定することができる。呼吸方向が水平である場合、睡眠姿勢は、ユーザーの心臓エリアが比較的下方の配置で検出されることに応答して、ユーザーがユーザーの左脇腹を下にして横たわっているということであると判定することができ、睡眠姿勢は、ユーザーの心臓エリアが比較的上方の配置で検出されることに応答して、ユーザーがユーザーの右脇腹を下にして横たわっているということであると判定することができる。ユーザーの睡眠パターンは、時間の関数として、ユーザーの睡眠姿勢と覚醒/睡眠分類器の結果との対応に基づいて決定することができる。また、ユーザーの睡眠パターンを決定することは、ユーザーについての毎日の睡眠パターンを追跡することを含むこともできる。また、ユーザーの睡眠パターンを決定することは、毎日の睡眠パターンからの有意の偏位を検出することを含むこともできる。また、ユーザーの睡眠パターンを決定することは、毎日の睡眠パターンからの有意の偏位を検出することに応答して、アラームを提供することを含むこともできる。
【0011】
更に本明細書に記載されるシステムによれば、非一時的コンピュータ可読媒体は、ユーザーの睡眠パターンを決定するソフトウェアを含む。ソフトウェアは、複数の点群であって、それぞれが、異なる時間におけるユーザーの異なる位置に対応する、複数の点群を検出する実行可能コードと、複数の境界ボックスであって、それぞれが、点群のうちの1つの点群の取り込まれる点の座標に対応する、複数の境界ボックスを形成する実行可能コードと、点群の特徴に基づいて覚醒/睡眠分類器を作成する実行可能コードと、境界ボックスに基づいて時間の関数としてユーザーの睡眠姿勢を決定する実行可能コードと、ユーザーの睡眠姿勢及び覚醒/睡眠分類器の結果に基づいてユーザーの睡眠パターンを決定する実行可能コードとを含む。複数の点群を検出することは、ユーザーの動きを取り込むために追跡デバイスを使用することを含むことができる。追跡デバイスはレーダーを使用することができる。点群の特徴は、点群の点のスカラー速度、点群の点の絶対速度、及び/又は点群の点のカウントを使用して決定される中間データを含むことができる。特徴のうちの少なくとも一部は、複数の点群を検出するために使用される追跡デバイスからの距離に応じてフィルタリングすることができる。中間データは、一連の逐次時間フレームにおける点カウントのセットに対応する点カウントのバッグ、一連の逐次時間フレームにおける点速度のセットに対応する速度のバッグ、及び/又は一連の逐次時間フレームにおける絶対速度のセットに対応する絶対速度のバッグを含むことができる。集計、スケーリング、及びフィルタリング関数のセットは、短期特徴集計値及び中期特徴集計値を提供するために中間データに適用することができる。短期特徴集計値は、比較的少ない数の逐次時間フレームに対応する時間スロットに基づいて決定することができる。特徴集計値は、平均値、中央値、値の合計、最小値、及び最大値を含むことができ、及び/又は、スケーリング関数は、対数スケーリング関数値を含む。中期特徴集計値は短期特徴集計値から導出することができる。中期特徴集計値は、時間スロットの連続集合体を表すエポックに基づいて決定することができる。点群の特徴は、相対的特徴重要度の評価を提供するために機械学習用の訓練データとしてトゥルース情報とともに使用することができる。相対的特徴重要度の評価は、ランダムフォレスト機械学習を使用して決定することができる。睡眠姿勢を決定することは、ユーザーの呼吸方向が垂直であるか、又は水平であるかを判定することを含むことができる。呼吸方向が垂直である場合、睡眠姿勢は、ユーザーの心臓エリアがユーザーの左側で検出されることに応答して、ユーザーが仰向けで横たわっているということであると判定することができ、睡眠姿勢は、ユーザーの心臓エリアがユーザーの右側で検出されることに応答して、ユーザーがうつ伏せで横たわっているということであると判定することができる。呼吸方向が水平である場合、睡眠姿勢は、ユーザーの心臓エリアが比較的下方の配置で検出されることに応答して、ユーザーがユーザーの左脇腹を下にして横たわっているということであると判定することができ、睡眠姿勢は、ユーザーの心臓エリアが比較的上方の配置で検出されることに応答して、ユーザーがユーザーの右脇腹を下にして横たわっているということであると判定することができる。ユーザーの睡眠パターンは、時間の関数として、ユーザーの睡眠姿勢と覚醒/睡眠分類器の結果との対応に基づいて決定することができる。また、ソフトウェアは、ユーザーについて毎日の睡眠パターンを追跡する実行可能コードを含むこともできる。また、ソフトウェアは、毎日の睡眠パターンからの有意の偏位を検出する実行可能コードを含むこともできる。ソフトウェアは、毎日の睡眠パターンからの有意の偏位を検出することに応答して、アラームを提供する実行可能コードを含むこともできる。
【0012】
提案されるシステムは、機械学習及び他のアルゴリズムを通して取得される分類器に基づき、かつ、ユーザーが居住する部屋又は他の施設に埋め込まれた、常にオンの追跡デバイスによって得られる点群から収集される、速度、座標、及び方向データを利用して、睡眠及び覚醒期間、睡眠姿勢、及び寝返りのパターンの非接触識別を提供し、デバイスは、1つ又はいくつかの超広帯域レーダー、チップセット、無線接続、及び場合によっては他のコンポーネントを含むことができる。
【0013】
システム機能の種々の態様が次の通りに説明される。
1.追跡デバイスは、ユーザーが居住する部屋内で動いているオブジェクトから高精度データを常に取り込むことができる。動きは、ユーザー歩行、直立、着座、ベッド又は床への横たわり等を含むことができ、より小さい振れ幅を有する動きは、呼吸及び心拍を含むことができる。
2.取り込まれるデータは、動いている点の座標を示す点群の形態で提示することができ、半径方向速度に関する情報は、取り込まれる各点について入手可能とすることもできる。
3.点群の境界ボックスは、点群を閉囲する基準座標における最小直方体であり、境界ボックスの配置及び寸法の相対的長さは、ユーザー状態を識別する(例えば、歩行(又は直立)と横たわりとを区別する)のを助けることができる。
4.点群は、多くの異なる方法でシステムによって処理されてもよく、すなわち、ユーザーの動きの状態及び位置を識別する、部屋内でのユーザーの挙動及び存在を追跡する、呼吸、心拍数等のバイタルサインを収集する、等を行ってもよい。
【0014】
睡眠/覚醒状態の分類器を生成するための機械学習用の特徴のセットを設計するために、システムは、いくつかの期間にわたって取り込まれる点群について、集計された速度情報を使用することができ、時間群化の複数の方法が使用される。最初に、点群は、例えば、4フレーム/秒のフレーム周波数でフレームごとに追跡デバイスによって収集することができる。そのようなフレームごとの点群は、ベッドに横たわっている比較的静的なユーザーの場合でさえ、不安定である場合があり、したがって、機械学習のためのフレームごとの点群の直接使用は、効率的でない場合がある。代わりに、システムは、群化時間間隔の以下のいくつかのレベルを使用することができる。
(i)時間スロット-いくつかの隣接するフレームにまたがる比較的短い間隔、例えば、4つのフレームを有する1秒時間スロット。
(ii)通常エポック-1間隔当たり60個の隣接時間スロットを有する1分間隔等の、いくつかの隣接するスロットにまたがりかつデータ収集セッションの開始から延びる均一で(単一スロットと比較して)比較的長い時間間隔。各スロットは、時間スロットを含む通常エポック内で或る特定の位置を占める。
(iii)中心エポックは、通常エポックと同じ長さを有するが、異なるように位置決めされる-中心エポックは、スライディング特徴集計(スライディング平均又はスライディング最大等)の類似物を提供するために、選択されたスロットに集中する。
【0015】
システムは、期間(i)~(iii)にわたる集計について点群に関連する以下の3つのタイプの未処理データを使用することができる。
(a)各点についてのスカラー速度-レーダーフロントに対する方向に応じた正の数又は負の数。
(b)絶対速度(方向は無視される)。
(c)各点群内の点カウント。
【0016】
集計のために使用される中間データは、次の通りに、所与の時間スロットτ={t
1,...t
n}(ここで、スロットはn個のフレームt
iを含む)について各タイプの未処理データを組み合わせる。
A.点カウントのバッグN
τ={m
1,...m
n}、ここで、m
iは、フレームt
iについて取り込まれる点群についての点カウントである。
B.速度のバッグ
【数1】
は、スロットτを形成するフレームにおける全ての点速度のセットである。
C.絶対速度のバッグV
τ
+―上記と同じ、ここで、各速度はその絶対値で表される。
【0017】
中間データを構築する前に、各フレームについて取り込まれる点群を、前処理することができ、前処理は、システムノイズの除去及び正規化を含む。
【0018】
訓練用特徴は、以下の集計及びスケーリングプロセスを使用して、中間データV
τ、V
τ
+、N
τから生成される。
I.集計、スケーリング、及びフィルタリング関数のセット
【数2】
が選択され、集計の例は、中間データの平均値、中央値、合計値、又は最小/最大値を含むことができ、スケーリングの例は、対数関数又はユーザーと追跡デバイスとの間の距離に基づく距離調整用係数を含むことができ、点フィルタリングは、距離ベース手法を含むこともできる。
II.短期特徴集計V
τ、V
τ
+、N
τ→{F
τ}は、各スロットτに関連し、特定の集計及びスケーリング関数
【数3】
によって或る特定の中間データ成分V
τ、V
τ
+、N
τから導出されるスロットベース訓練用特徴F
τをもたらす。
III.中期特徴集計
【数4】
,
【数5】
は、通常又は中心エポック内のスロットベース特徴を統合するために、それぞれが、特定の集計及びスケーリング関数
【数6】
を使用して或る特定のスロットベース特徴F
τから導出される、エポックベース訓練用特徴F
ε(通常エポック用)及び
【数7】
(中心エポック用)をもたらす。
【0019】
機械学習のために使用され、高品質睡眠/覚醒分類器をもたらす18個の短期及び中期特徴の例は、以下の表1及び表2に提示される。表1は、平均値及び中央値及び(部分的に使用される)対数スケーリング関数を含む、6個の短期スロットベース特徴F
τ
1,...F
τ
6を示す。表2は、12個の中期エポックベース特徴
【数8】
を示し、最初の6個の特徴は、通常エポックについての短期特徴から導出されており、次の6個は、中心エポックから導出されている。表2の集計関数は、合計値及び最大値を表し、追跡デバイスからの点群の距離による群の点の更なるろ過は、いくつかの事例で適用される。
【0020】
睡眠/覚醒識別のための信頼性のある分類器を構築するための機械学習は、多くの異なる方法及びアルゴリズムを使用して行うことができる。訓練データセット内のユーザーの睡眠/覚醒状態に関するトゥルース情報は、ユーザーの許可を得た上での介助要員による直接観察を含む、EEG技法若しくは他の侵襲性又は非侵襲性メカニズムを使用して得ることができる。ランダムフォレスト法等の機械学習法のカテゴリーは、結果として得られる分類器について相対的特徴重要度の評価を提供することができる。表3は、上記で説明した18個の特徴セットの上位10個の特徴についての重み付き特徴ランク付けの例を含む。
【0021】
【0022】
【0023】
【0024】
ユーザーの睡眠姿勢及び寝返りパターンを検出するために、システムは、呼吸及び心拍数等のバイタルサインを測定するために利用される座標及び方向に関する追跡データを使用することができる。特に、ユーザーの心臓エリア(心拍数が追跡データに基づいて測定される)の近似座標と組み合わせた、或る時間間隔中の呼吸方向(上下又は左右)は、現在の睡眠姿勢を検出するために有益であるものとすることができ、現在の睡眠姿勢は、次の通りに推定することができる。
・ベッドに横たわるユーザーについての呼吸方向が垂直、上下である場合、ユーザーが仰向け又はうつ伏せである可能性が高い。ほとんどのユーザーについての心臓エリアは、ユーザーの身体内で左にシフトしているため、ユーザーの上下呼吸方向に加えて、心拍が、点群の境界ボックスの左側で起こる場合、ユーザーは仰向けで睡眠している可能性が高い。
・逆に、呼吸方向がやはり垂直であるが、心拍エリアが境界ボックスの右側にシフトする場合、ユーザーは、おそらく、うつ伏せで睡眠している。
・同様に、システムは、ユーザーが左脇腹又は右脇腹を下にして睡眠していることに対応する、水平で左右の呼吸方向を有する状況を分析することができる。この場合、心臓エリアの配置の非対称性は、ユーザーがどちら側を下にして横たわっているかを識別するのを助けることができる。すなわち、心臓エリアの上方配置は右脇腹を下にして睡眠していることを示し、一方、下方配置は、左脇腹を下にする睡眠に相関する。
【0025】
システムは、ユーザーが永続的な睡眠姿勢に留まる後続の期間を追跡し、ユーザーについての睡眠姿勢パターンを導出することができる。同時に、システムは、寝返りに対応する睡眠姿勢の変化を検出することができる。そのパターンを、ユーザー睡眠アナリティクスに反映することができ、動的ユーザー睡眠挙動と連続して比較することができる。そのようなアナリティクス及び比較は、睡眠品質及び潜在的な睡眠障害に関する重要な情報を保持する。例えば、本明細書の他の所で説明したように、睡眠/覚醒分類によって検出される、睡眠することなくユーザーが頻繁に寝返りを打つ(年齢基準を超える)長期間は、システムによるアラーム及び睡眠センターにおいてユーザーの包括的調査を行うという提案につながることができる。
【0026】
本明細書で説明するシステムの実施形態は、ここで、次の通りに簡潔に説明される図面の図に従って、より詳細に説明される。
【図面の簡単な説明】
【0027】
【
図1】本明細書で説明するシステムの一実施形態による、部屋、家具、非接触追跡デバイス、及び種々のユーザー状態についての点群の概略図である。
【
図2】本明細書で説明するシステムの一実施形態による、短期特徴抽出のための未処理データからの中間データアセンブリの概略図である。
【
図3】本明細書で説明するシステムの一実施形態による、特徴構築の概略図である。
【
図4】本明細書で説明するシステムの一実施形態による、機械学習及び特徴ランク付けの概略図である。
【
図5A】本明細書で説明するシステムの一実施形態による、ユーザーの睡眠姿勢を識別することの概略図である。
【
図5B】本明細書で説明するシステムの一実施形態による、ユーザーの睡眠姿勢を識別することの概略図である。
【
図5C】本明細書で説明するシステムの一実施形態による、ユーザーの睡眠姿勢を識別することの概略図である。
【
図5D】本明細書で説明するシステムの一実施形態による、ユーザーの睡眠姿勢を識別することの概略図である。
【
図6】本明細書で説明するシステムの一実施形態による、睡眠姿勢及び睡眠中の寝返りのパターンを決定することの概略図である。
【
図7】本明細書で説明するシステムの一実施形態による、システムが睡眠/覚醒分類と関連して機能することを示すシステムフロー図である。
【
図8】本明細書で説明するシステムの一実施形態による、システムが睡眠姿勢及び寝返りパターンを識別することに関連して機能することを示すシステムフロー図である。
【発明を実施するための形態】
【0028】
本明細書で説明するシステムは、機械学習及び他のアルゴリズムを通して取得される分類器に基づき、かつ、ユーザーが居住する部屋又は他の施設に埋め込まれた、常にオンの追跡デバイスによって得られる点群から収集される、速度、座標、及び方向データを利用して、睡眠姿勢及び寝返りのパターンとともにユーザーの睡眠及び覚醒期間の連続的非接触識別のためのメカニズムを提供する。
【0029】
図1は、部屋110、家具、非接触追跡デバイス、及び種々のユーザー状態についての点群の概略
図100である。ユーザーは、壁のACコンセントに差し込まれた追跡デバイス120を有する部屋110に居住し、レーダー信号125が、部屋内のオブジェクトの動きを追跡するために使用される。部屋110は、ドア130a、窓130bを有し、ベッド140a、テーブル140b、及び2つの椅子140c、140dを備えている。
図1は、窓130bまで歩くユーザーを追跡する第1の点群150を示す。第1の点群は、ユーザーが椅子140cに着座していることに対応する第2の点群160及びユーザーがベッド140aに横たわっていることを示す第3の点群170と比較して、より密な点群及びより大きいサイズの境界ボックスを有する。
【0030】
図2は、短期特徴抽出のための未処理データからの中間データアセンブリの概略
図200である。レーダー信号125を放出する追跡デバイス120は、フレーム230a~230cについて、境界ボックス220a~220cを有する点群210a~210cを生成する。点群210a~210cの各点240は、座標及び半径方向スカラー速度
【数9】
(
【数10】
は3次元座標ベクトルであり、vは、追跡デバイスへの/追跡デバイスからの半径方向に依存する符号を有する速度である)によって特徴付けることができる。
【0031】
時間スロット250 τ={t
1,...t
n}は、i番目のフレームに対応する点群内にm
i個の点を有するn個のフレームt
iを含むため、第1の点群260はm
1個の点を有し、最後であるn番目の点群265はm
n個の点を有する。スロットτについての速度のバッグ270は、スロット内の点群についての全ての点速度
【数11】
を含み、一方、点カウントのバッグ280は、スロット内の全ての点カウントN
τ={m
1,...m
n}を含む。
【0032】
図3は、訓練のための特徴構築の概略
図300である。時間スロットτに対応し、追跡デバイスによって取り込まれる中間データは、本明細書の他の所で説明するように、あらゆる速度270(V
τ)、点カウントのバッグ280(N
τ)、及び、速度のバッグ270(V
τ)に対応する符号なし値である絶対速度のバッグ275(V
τ
+)を含む。1つ又は複数の集計、スケーリング、及びフィルタリング関数310は、中間データに適用することができ、機械学習における訓練用セットとして使用される短期(スロット関連)特徴320(F
τ)のセットをもたらす。その後、短期特徴は、次の通りに、中期エポック関連特徴になるように集計される。(i)通常エポック330(ε)はいくつかの隣接スロット250を組み合わせ、通常エポックは、データ収集セッションの始めからの同じ長さの時間間隔のシーケンスを形成し、(ii)中心エポック340(ε
C)は、スライディング平均の構成と同様に、スロット255の中心に設置された特定のスロット255を囲み、(iii)集計、スケーリング、及びフィルタリング関数の別のセット350は、中期エポック関連特徴360(F
ε)、370(
【数12】
)を生成するために、通常又は中心エポック内の全ての短期特徴に適用される。中期特徴も、訓練用セットに付加される。
【0033】
表380、表390は、短期及び中期特徴集計を示し、上記で説明した表1、表2と同様である。表380において、中間データV
τ、N
τ、V
τ
+は、4つの集計及びスケーリング関数を使用して6個の短期特徴F
τ
1~F
τ
6になるように集計される。すなわち、関数のうちの2つは、スケーリングなしで、平均値及び中央値を通した集計を使用し、一方、関数のうちの他の2つは、対数スケーリングを付加する。表390は、4つの異なる集計及びフィルタリング関数を使用する、12個の中期特徴、すなわち通常エポック用の6個の特徴及び中心エポック用の6個の特徴になる、表380からの2個の短期特徴F
τ
5及びF
τ
6の集計を示す。すなわち、本明細書の他の所で説明するように、フィルタリング関数のうちの2つは、フィルタリングなしで、合計値及び最大値を通した集計を使用し、一方、フィルタリング関数のうちの他の2つは、
図1の追跡デバイス120からの距離によるフィルタリングを付加する。
【0034】
図4は、機械学習及び特徴ランク付けの概略
図400である。訓練フェーズにおいて、機械学習モジュール410は、多次元特徴空間420において訓練用セットを処理する。訓練用セットは、スロットτについて1つずつの複数の点430を含み、点430のそれぞれの座標は、スロットτについて短期特徴F
τ、スロットτを含む通常エポックεのみについて中期特徴F
ε、及び、中心エポックε
Cの中心としてのスロットτを有する中心エポックε
Cのみについての中期特徴
【数13】
を組み合わせる(詳細について
図2、
図3、及び付随するテキスト参照)。訓練用セットの各点は、睡眠状態435(非塗りつぶし形状で示す)又は覚醒状態437(塗りつぶし形状)に対応する。
【0035】
機械学習モジュールは、睡眠/覚醒状態分類器440を構築する。機械学習は、ランダムフォレスト法450を使用することができ、それにより、睡眠結果470及び覚醒結果480に対応する決定木460は、分類のために作成される。ランダムフォレスト法はまた、表490によって示される特徴ランク付けを可能にし、表490は、
図3の表390からの上位10個の最も重要な特徴を含む(表490は、上記で論じた表3と同様である)。
【0036】
図5A~
図5Dは、ユーザーの睡眠姿勢を識別することの概略図である。
【0037】
図5Aは、ピクトグラム520で示すように、ユーザーが、ベッド510に横たわっており、仰向けで睡眠しているときのユーザーの睡眠姿勢の識別を示す。この場合、点群の境界ボックスの上側面560cによって表されるユーザーの胸部は、垂直ライン580udで示すように、上方位置590i(完全吸気)と下方位置590e(完全呼気)との間で上下に移動する。垂直の動きは追跡デバイス120によって取り込まれる。心拍を検出する追跡デバイス120によって同様に識別されるユーザーの心臓エリア570は、境界ボックスの左面560lで表すユーザーの身体の左脇腹にシフトする。したがって、次の2つの特徴、すなわち、点群の境界ボックスの垂直ライン580udで示す上下振動、及び、点群の境界ボックスの左面560lに近い心臓エリア570の場所は、
図5Aの睡眠姿勢の指標として役立つことができる。
【0038】
図5Bは、ピクトグラム530で示すように、うつ伏せでのユーザーの睡眠姿勢の識別を示す。この場合、点群の境界ボックスの上側面560bによって表されるユーザーの背中は、
図5Aに関連して説明したように、垂直ライン580udで示すように、上下に移動し、一方、心臓エリア570は、境界ボックスの右面560r(ユーザーの身体の右脇腹に対応する)から更に遠くにシフトする。そのため、点群の境界ボックスの垂直ライン580udで示す上下振動と点群の境界ボックスの右面560rから更に遠い心臓エリア570の場所との組み合わせは、
図5Bの睡眠姿勢の指標として役立つことができる。
【0039】
図5Cは、ピクトグラム540で示すように、右脇腹を下にしたユーザーの睡眠姿勢の識別を示す。
図5Cの睡眠姿勢において、ユーザーの胸部及び背中は、水平ライン580lrで示すように左右に移動する。ユーザーの背中に対応する境界ボックスの面560bについての2つの極値座標は、完全吸気595i及び完全呼気595eに対応する。心臓エリア570は、ユーザーの身体の左脇腹に対応する境界ボックスの上側面560lに近い。したがって、境界ボックスの水平ライン580lrで示す左右振動と境界ボックスの上面560lに近い心臓エリア570の場所との組み合わせは、
図5Cの睡眠姿勢の指標とすることができる。
【0040】
図5Dは、ピクトグラム550で示すように、左脇腹を下にしたユーザーの睡眠姿勢の識別を示す。
図5Dの睡眠姿勢において、ユーザーの胸部及び背中は、水平ライン580lrで示すようにまた
図5Cに関連して説明したように左右に移動する。心臓エリア570は、ユーザーの身体の右脇腹に対応する境界ボックスの上側面560rから更に遠くにシフトする。したがって、境界ボックスの水平ライン580lrで示す左右振動と境界ボックスの上面560rから更に遠い心臓エリア570の場所との組み合わせは、
図5Dの睡眠姿勢の2つの指標を表す。
【0041】
図6は、睡眠姿勢及び睡眠中の寝返りのパターンを決定する概略
図600である。姿勢540、520、550、530のそれぞれにおける睡眠の間隔610及び覚醒間隔620は、ユーザーが寝る時間から目覚める時間630まで記録することができる。十分に長い期間を通して取集され、統計的に処理される、睡眠間隔及び睡眠姿勢に関するデータに基づいて、システムは、各睡眠姿勢の平均時間647による睡眠姿勢645の時間分布関数640、及び、寝返りの確率657による寝返りの間の睡眠間隔655の確率分布関数650等の、睡眠パターンの分析表現を生成することができる。
【0042】
システムは、その後、毎日のユーザー挙動665に対応するフィールドデータ660を追跡し処理し、それぞれの毎日の睡眠期間について類似の分布関数670、680を構築することができる。フィールド分布が長期パターン640、650から著しく偏位する(
図6の例において、関数670、680の両方が、パターン640、650からの劇的な差を立証する)場合、システムは、アラーム690を生成し、ユーザーが遭遇する考えられる睡眠問題について介護要員に警告することができる。
【0043】
図7を参照すると、システムフロー
図700は、システムが睡眠/覚醒分類と関連して機能することを示す。処理はステップ710において始まり、1秒あたりのフレームレート並びにスロット及びエポック継続時間等の重要タイミングパラメーターが規定される。ステップ710の後に、処理はステップ715に進み、訓練用データセットを収集するためのユーザーの数及び1ユーザー当たりのセッションの数が規定される。ステップ715の後に、処理はステップ720に進み、複数のユーザーが選択され、デバイス設置が実施される。ステップ720の後に、処理はステップ725に進み、第1のユーザーが選択される。
【0044】
ステップ725の後に、処理はステップ730に進み、現在のユーザーについての第1のデータ収集セッションが選択される。ステップ730の後に、処理はステップ735に進み、システムは、非接触デバイスを使用して、ユーザーを追跡し、点速度を含むセッションデータを記録する。ステップ735の後に、処理はステップ740に進み、本明細書の他の所で説明するように、システムは、トゥルース情報、すなわち、(機械学習のための)各フレームについての実際のユーザー睡眠覚醒状態を得るとともに記録する。ステップ740の後に、処理はステップ745に進み、種々のフレームについての点群は、ノイズをなくされ、正規化される。ステップ745の後に、処理はステップ750に進み、本明細書の他の所で説明するように、複数のフレームは、複数のスロットに群化される(例えば、
図2及び付随するテキスト参照)。ステップ750の後に、処理はステップ755に進み、複数のスロットは、複数のエポックに群化される(例えば、
図3及び付随するテキスト参照)。ステップ755の後に、処理はステップ760に進み、本明細書の他の所で説明するように、システムは、任意選択で、距離関連補正又はフィルタリングを適用する(例えば、
図3の表390及び付随する説明参照)。ステップ760の後に、処理はステップ765に進み、短期スロット関連特徴は、セッションの全てのスロットについて計算される。ステップ765の後に、処理はステップ770に進み、通常及び中心中期エポック関連特徴が計算される。ステップ770の後に、処理はステップ775に進み、(
図4及び付随するテキストを含んで)本明細書の他の所で説明するように、新しい点が、特徴空間内の訓練用データセットに付加される。
【0045】
ステップ775の後に、処理はステップ780に進み、選択されたデータ収集セッションが、現在のユーザーについての最後のセッションであるか否かが判定される。そうでない場合、処理はステップ782に進み、現在のユーザーについての次のデータ収集セッションが選択される。ステップ782の後に、処理は、ステップ730から独立に達することができる、上記で説明したステップ735に戻るように進む。選択されたデータ収集セッションが、現在のユーザーについての最後のセッションであると、試験ステップ780において判定される場合、処理は試験ステップ785に進み、現在のユーザーが最後のユーザーであるか否かが判定される。そうでない場合、処理はステップ787に進み、次のユーザーが選択される。ステップ787の後に、処理は、ステップ725から独立に達することができる、上記で説明したステップ730に戻るように進む。現在のユーザーが最後のユーザーであると、試験ステップ785において判定される場合、処理はステップ790に進み、システムは、蓄積された訓練用セットについて機械学習を使用する。ステップ790の後に、処理はステップ792に進み、最適睡眠覚醒分類器が、機械学習の結果として決定される。ステップ792の後に、処理はステップ795に進み、本明細書の他の所で説明するように、特徴ランク付けが得られる(例えば、
図4及び付随するテキスト参照)。ステップ795の後に、処理は完了する。
【0046】
図8を参照すると、システムフロー
図800は、システムが睡眠姿勢及び寝返りパターンを識別することに関連して機能することを示す。処理はステップ810において始まり、訓練用セットについてのユーザーセッションの数が決定される。ステップ810の後に、処理はステップ815に進み、ユーザーのための第1の訓練用セッションが選択される。ステップ815の後に、処理はステップ820に進み、システムは訓練用セッションを開始する。ステップ820の後に、処理はステップ825に進み、非接触追跡デバイスはユーザーをモニタリングする。ステップ825の後に、処理はステップ830に進み、システムは、点速度、呼吸方向、及び心臓位置を有するセッションデータ(点群)を記録する。ステップ830の後に、処理はステップ835に進み、特徴が、ユーザー睡眠/覚醒分類器を適用するために計算される(特に、
図7及び付随するテキストに関連して、詳細を参照。フロー図のこのステップは、睡眠/覚醒分類器が既に利用可能であると仮定する)。
【0047】
ステップ835の後に、処理はステップ840に進み、システムは、睡眠/覚醒分類器を、ステップ835において計算された特徴に適用する。ステップ840の後に、処理は試験ステップ845に進み、ユーザーが就寝中であるか否かが判定される。そうでない場合、処理は、ステップ820から独立に達することができる、上記で説明したステップ825に進み、そうでなければ、処理はステップ850に進み、本明細書の他の所で説明するように、ユーザーの睡眠姿勢が、呼吸方向及び心臓エリアの場所を利用して識別される(
図5A~
図5D及び付随するテキスト参照)。ステップ850の後に、処理は試験ステップ855に進み、現在の睡眠姿勢が、現在の訓練用セッションにおける最初に取り込まれた睡眠姿勢であるか否かが判定される。そうである場合、処理はステップ862に進み、現在の睡眠姿勢の継続時間が、増分的に増加される。ステップ862の後に、処理は、ステップ820、845から独立に達することができる、上記で説明したステップ825に戻るように進む。
【0048】
識別された睡眠姿勢が、現在のセッション中の最初の睡眠姿勢でないと、試験ステップ855において判定される場合、処理は試験ステップ860に進み、ユーザーの睡眠姿勢が変化したか否か(すなわち、識別された睡眠姿勢が、直前に登録された睡眠姿勢と異なるか否か)が判定される。そうでない場合、処理は、ステップ855から独立に達することができる、上記で説明したステップ862に進み、そうでなければ、処理はステップ865に進み、システムは、直前の睡眠姿勢の全継続時間及び寝返りの間の間隔を記録する。ステップ865の後に、処理はステップ870に進み、システムは、睡眠姿勢及び寝返りの間の間隔の統計量を更新する。ステップ870の後に、処理は試験ステップ875に進み、現在のセッションが終わりに達したか否かが判定される。達しない場合、処理は、ステップ820、845、862から独立に達することができるステップ825に進み、そうでなければ、処理はステップ880に進み、完了した訓練用セッションについての睡眠姿勢及び寝返りの間の間隔の統計量が訓練用セットに付加される。ステップ880の後に、処理は試験ステップ885に進み、現在のセッションが最後のセッションであるか否かが判定される。そうでない場合、処理はステップ890に進み、次のセッションが選択される。ステップ890の後に、処理は、ステップ815から独立に達することができる、上記で説明したステップ820に戻るように進む。現在のセッションが最後のセッションであると、試験ステップ885において判定される場合、処理はステップ895に進み、システムは、睡眠姿勢及び寝返りのパターンを識別するために、構築された訓練用セットについて機械学習を使用する。ステップ895の後に、処理は完了する。
【0049】
本明細書で論じた種々の実施形態は、本明細書で説明したシステムと関連して適切な組み合わせで互いに組み合わせることができる。さらに、いくつかの事例において、フローチャート、フロー図、及び/又は説明されるフロー処理におけるステップの順序は、適切な場合には修正することができる。その後、システム構成及び機能は、本明細書で提示される例証から変動する場合がある。さらに、本明細書で説明されたシステムの種々の態様は、種々のアプリケーションを使用して実装することができ、種々のデバイス上に配備することができる。種々のデバイスは、スマートフォン、タブレット、及び他のモバイルコンピュータを含むが、それに限定されない。スマートフォン及びタブレットは、iOS、Android OS、Windows Phone OS、Blackberry OS、及びLinux OSのモバイルバージョンからなる群から選択されるオペレーティングシステム(複数の場合もある)を使用することができる。モバイルコンピュータ及びタブレットは、Mac OS、Windows OS、Linux OS、Chrome OSからなる群から選択されるオペレーティングシステムを使用することができる。
【0050】
本明細書で説明するシステムのソフトウェア実施態様は、コンピュータ可読媒体に記憶され、1つ以上のプロセッサによって実行される実行可能コードを含むことができる。コンピュータ可読媒体は、非一時的とするとともに、コンピュータハードドライブ、ROM、RAM、フラッシュメモリ、ポータブルコンピュータ記憶媒体、例えば、CD-ROM、DVD-ROM、フラッシュドライブ、SDカード、及び/又は、例えばユニバーサルシリアルバス(USB)インターフェースを有する他のドライブ、及び/又は、その上で、実行可能コードを、記憶し、プロセッサによって実行することができる任意の他の適切な有形の又は非一時的コンピュータ可読媒体又はコンピュータメモリを含むことができる。ソフトウェアを、バンドル(プレロード)する、app storeからインストールする、又は、ネットワーク事業者の場所からダウンロードすることができる。本明細書で説明されるシステムは、任意の適切なオペレーティングシステムに関連して使用することができる。
【0051】
本発明の他の実施形態は、本明細書に開示する本発明の詳細又は実施を考慮することから当業者には明らかとなろう。詳細及び例は、単に例示的であるものとしてみなされるように意図されており、本発明の真の範囲及び趣旨は添付の特許請求の範囲によって示されている。
【国際調査報告】