(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-28
(54)【発明の名称】発話によって制御される健康モニタリングのシステム及び方法
(51)【国際特許分類】
A61B 5/00 20060101AFI20230721BHJP
G10L 15/10 20060101ALI20230721BHJP
G10L 15/00 20130101ALI20230721BHJP
G06F 3/01 20060101ALI20230721BHJP
G06F 3/16 20060101ALI20230721BHJP
A61B 5/08 20060101ALI20230721BHJP
【FI】
A61B5/00 G
G10L15/10 200W
G10L15/00 200Z
G06F3/01 510
G06F3/16 630
G06F3/16 650
A61B5/08
A61B5/00 102A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022560298
(86)(22)【出願日】2020-12-04
(85)【翻訳文提出日】2022-11-28
(86)【国際出願番号】 US2020063338
(87)【国際公開番号】W WO2021201925
(87)【国際公開日】2021-10-07
(32)【優先日】2020-04-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515257368
【氏名又は名称】スリープ ナンバー コーポレイション
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100098475
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100144451
【氏名又は名称】鈴木 博子
(74)【代理人】
【識別番号】100107537
【氏名又は名称】磯貝 克臣
(72)【発明者】
【氏名】サヤディ オミッド
(72)【発明者】
【氏名】ヤング スティーヴン ジェイ
(72)【発明者】
【氏名】ヒューウィット カール
(72)【発明者】
【氏名】ラッコウ アラン
【テーマコード(参考)】
4C038
4C117
5E555
【Fターム(参考)】
4C038SS08
4C038ST01
4C038SV01
4C038SV05
4C117XB02
4C117XB04
4C117XC02
4C117XE13
4C117XE24
4C117XE26
4C117XE27
4C117XE28
4C117XE29
4C117XE30
4C117XG05
4C117XJ13
5E555AA11
5E555AA46
5E555BA01
5E555BA21
5E555BB01
5E555BB21
5E555BC04
5E555CA41
5E555CA44
5E555CA47
5E555CB64
5E555CB69
5E555DA23
5E555FA00
(57)【要約】
発話により制御される、または、発話により可能とされる、被験者の健康モニタリングのためのシステム及び方法が、開示される。装置は、被験者を支持するように構成された基板と、前記被験者に関する音響信号及び力信号を捕捉するように構成された複数の非接触式センサと、前記被験者と通信するように構成された音響インタフェースと、前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサと、を備える。プロセッサは、被験者の健康状態をモニタリングするために、前記音響信号及び前記力信号のうちの1または複数から生体信号を判定し、前記音響信号中の発話の存在を検出する、ように構成される。前記音響インタフェースは、前記被験者の健康状態に起因して必要とされる動作、及び、検出された発話内の口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信する、ように構成される。
【特許請求の範囲】
【請求項1】
被験者を支持するように構成された基板と、
前記被験者に関する音響信号及び力信号を捕捉するように構成された複数の非接触式センサと、
前記被験者と通信するように構成された音響インタフェースと、
前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサであって、
被験者の健康状態をモニタリングするために、前記音響信号及び前記力信号のうちの1または複数から生体信号を判定し、
前記音響信号中の発話の存在を検出する、
ように構成されたプロセッサと、
を備え、
前記音響インタフェースは、前記被験者の健康状態に起因して必要とされる動作、及び、検出された発話内の口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信するように構成されている
ことを特徴とする装置。
【請求項2】
前記プロセッサは、更に、デジタル化された音響信号をより低くより狭い周波数にフィルタリングすること、デジタル化された音響信号をマスクテンプレートまたは暗号鍵を用いてマスクすること、及び、デジタル化された音響信号を数式を使用して変換すること、のうちの少なくとも1つによって、当該デジタル化された音響信号を暗号化するように構成されている
ことを特徴とする請求項1に記載の装置。
【請求項3】
前記プロセッサは、更に、
前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄し、
前記口頭命令の存在を判定し、
前記口頭命令の判定時に発話の内容を特定し、
前記音響インタフェースを介して、前記口頭命令及び前記発話の内容に基づいて、前記被験者または他のエンティティの少なくとも1つとの対話型セッションを開始する、及び、前記口頭命令及び前記発話の内容に基づいて、応答動作を決定する、のうちの少なくとも一方を実行する
ように構成されている
ことを特徴とする請求項1に記載の装置。
【請求項4】
前記音響インタフェースは、更に、指定された個人からの口頭命令を認識して応答するように構成されている
ことを特徴とする請求項1に記載の装置。
【請求項5】
前記プロセッサは、更に、
前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄し、
前記口頭命令の存在を判定し、
前記音響信号を分析して、前記口頭命令の検出の失敗時に呼吸障害を検出し、
睡眠呼吸障害(SDB)の検出に対して応答動作を決定する
ように構成されている
ことを特徴とする請求項1に記載の装置。
【請求項6】
前記複数の非接触式センサは、前記基板に対する前記被験者の動作から力信号を捕捉するように構成されており、
前記プロセッサは、更に、前記被験者の健康状態を判定するために、前記力信号に基づいて、心臓分析、呼吸分析、及び、動き分析、のうちの少なくとも1つを実行するように構成されている
ことを特徴とする請求項1に記載の装置。
【請求項7】
前記被験者の健康状態を判定するために呼吸障害分析を実行する時、前記プロセッサは、更に、
1または複数の類似性メトリックに基づいて、前記力信号と前記音響信号とを融合して融合信号を生成し、
前記融合信号、前記力信号及び前記音響信号を用いて、睡眠呼吸障害(SDB)を検出し、
前記SDBの検出に対して応答動作を決定する
ように構成されている
ことを特徴とする請求項6に記載の装置。
【請求項8】
前記応答動作は、可聴トーン、可聴メッセージ、ホームオートメーション装置のトリガー、音声アシスタント装置のトリガー、エンティティまたは緊急サービスへの呼び出し、将来のアクセスのためのデータのマーキング、データベースのエントリ、及び、健康診断、のうちの1または複数である
ことを特徴とする請求項7に記載の装置。
【請求項9】
前記プロセッサは、更に、前記SDBの強度、大きさ、持続時間、及びタイプ、を判定するように構成されている
ことを特徴とする請求項7に記載の装置。
【請求項10】
被験者または当該被験者に関連付けられたエンティティのうちの少なくとも1つと通信するように構成された発話機能デバイスと、
前記発話機能デバイスと通信する装置と、
を備え、
前記装置は、
前記被験者を支持するように構成された基板と、
前記被験者に関する音響信号と前記基板に対する被験者動作からの力信号とを捕捉するように構成された複数の非接触式センサと、
前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサであって、
前記力信号及び前記音響信号に基づいて被験者の健康状態をモニタリングし、
前記音響信号中の口頭命令を検出する、
ように構成されたプロセッサと、
を有しており、
前記発話機能デバイスは、前記被験者の健康状態に起因して必要とされる応答動作、及び、前記口頭命令の検出、のうちの少なくとも1つに基づいて、少なくとも前記被験者または前記エンティティと相互に通信するように構成されている
ことを特徴とするシステム。
【請求項11】
前記プロセッサは、更に、デジタル化された音響信号をより低くより狭い周波数にフィルタリングすること、デジタル化された音響信号をマスクテンプレートまたは暗号鍵を用いてマスクすること、及び、デジタル化された音響信号を数式を使用して変換すること、のうちの少なくとも1つによって、当該デジタル化された音響信号を暗号化するように構成されている
ことを特徴とする請求項10に記載のシステム。
【請求項12】
前記プロセッサは、更に、
前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄し、
前記口頭命令の存在を判定し、
前記口頭命令の判定時に発話の内容を特定し、
前記発話機能デバイスを介して、前記口頭命令及び前記発話の内容に基づいて、前記被験者または前記エンティティの少なくとも1つとの対話型セッションを開始する、及び、前記口頭命令及び前記発話の内容に基づいて、前記応答動作を決定する、のうちの少なくとも一方を実行する
ように構成されている
ことを特徴とする請求項10に記載のシステム。
【請求項13】
前記発話機能デバイスは、更に、指定された個人からの口頭命令を認識して応答するように構成されている
ことを特徴とする請求項10に記載のシステム。
【請求項14】
前記プロセッサは、更に、
前記力信号に基づいて少なくとも呼吸分析を実施し、
前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄し、
前記口頭命令の存在を判定し、
前記口頭命令の検出の失敗時に、1または複数の類似性メトリックに基づいて、前記力信号と前記音響信号とを融合して融合信号を生成し、
前記融合信号、前記力信号及び前記音響信号を用いて、睡眠呼吸障害(SDB)を検出し、
前記SDBの検出に対して応答動作を決定する
ように構成されている
ことを特徴とする請求項10に記載のシステム。
【請求項15】
前記プロセッサは、更に、前記SDBの強度、大きさ、持続時間、及びタイプ、を判定するように構成されている
ことを特徴とする請求項14に記載のシステム。
【請求項16】
前記応答動作は、可聴トーン、可聴メッセージ、ホームオートメーション装置のトリガー、音声アシスタント装置のトリガー、エンティティまたは緊急サービスへの呼び出し、将来のアクセスのためのデータのマーキング、データベースのエントリ、及び、健康診断、のうちの1または複数である
ことを特徴とする請求項14に記載のシステム。
【請求項17】
項目固有のパラメータを決定するための方法であって、
基板上の被験者に対して置かれた複数の非接触式センサから音響信号及び力信号を捕捉する工程と、
前記音響信号及び前記力信号から少なくとも生体信号情報を決定する工程と、
前記音響信号中の発話の存在を検出する工程と、
被験者の健康状態に起因して必要とされる動作、及び、検出された発話内に見出される口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信する工程と、
を備えたことを特徴とする方法。
【請求項18】
当該方法は、更に、デジタル化された音響信号をより低くより狭い周波数にフィルタリングすること、デジタル化された音響信号をマスクテンプレートまたは暗号鍵を用いてマスクすること、及び、デジタル化された音響信号を数式を使用して変換すること、のうちの少なくとも1つによって、当該デジタル化された音響信号を暗号化する工程を備える
ことを特徴とする請求項17に記載の方法。
【請求項19】
当該方法は、更に、
前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄する工程と、
前記口頭命令の存在を判定する工程と、
前記口頭命令の判定時に発話の内容を特定する工程と、
前記音響インタフェースを介して、前記口頭命令及び前記発話の内容に基づいて、前記被験者または他のエンティティの少なくとも1つとの対話型セッションを開始する、及び、前記口頭命令及び前記発話の内容に基づいて、応答動作を決定する、のうちの少なくとも一方を実行する工程と、
を備えることを特徴とする請求項17に記載の方法。
【請求項20】
当該方法は、更に、
指定された個人からの口頭命令を認識して応答する工程
を備えることを特徴とする請求項17に記載の方法。
【請求項21】
当該方法は、更に、
前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄する工程と、
前記口頭命令の存在を判定する工程と、
前記音響信号を分析して、前記口頭命令の検出の失敗時に呼吸障害を検出する工程と、
睡眠呼吸障害(SDB)の検出に対して応答動作を決定する工程と、
を備えることを特徴とする請求項17に記載の方法。
【請求項22】
当該方法は、更に、
前記被験者の健康状態を判定するために、前記力信号に基づいて、心臓分析、呼吸分析、及び、動き分析、のうちの少なくとも1つを実行する工程
を備えることを特徴とする請求項17に記載の方法。
【請求項23】
当該方法は、更に、
前記被験者の健康状態を判定するために呼吸障害分析を実行する工程
を備え、
当該実行する工程は、更に、
1または複数の類似性メトリックに基づいて、前記力信号と前記音響信号とを融合して融合信号を生成する工程と、
前記融合信号、前記力信号及び前記音響信号を用いて、睡眠呼吸障害(SDB)を検出する工程と、
前記SDBの検出に対して応答動作を決定する工程と、
を有する
ことを特徴とする請求項22に記載の方法。
【請求項24】
前記応答動作は、可聴トーン、可聴メッセージ、ホームオートメーション装置のトリガー、音声アシスタント装置のトリガー、エンティティまたは緊急サービスへの呼び出し、将来のアクセスのためのデータのマーキング、データベースのエントリ、及び、健康診断、のうちの1または複数である
ことを特徴とする請求項23に記載の方法。
【請求項25】
当該方法は、更に、
前記SDBの強度、大きさ、持続時間、及びタイプ、を判定する工程
を備えることを特徴とする請求項23に記載の方法。
【請求項26】
当該方法は、更に、
前記捕捉された力信号に基づいて少なくとも呼吸分析を実施する工程と、
前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄する工程と、
前記口頭命令の存在を判定する工程と、
前記口頭命令の検出の失敗時に、1または複数の類似性メトリックに基づいて、前記力信号と前記音響信号とを融合して融合信号を生成する工程と、
前記融合信号、前記力信号及び前記音響信号を用いて、睡眠呼吸障害(SDB)を検出する工程と、
前記SDBの検出に対して応答動作を決定する工程と
を備えることを特徴とする請求項17に記載の方法。
【請求項27】
被験者を支持するように構成された基板と、
前記被験者に関する力信号を捕捉するように構成された複数の非接触式センサと、
前記複数のセンサに接続され、被験者の健康状態をモニタリングするために前記力信号から生体信号を判定するように構成されたプロセッサと、
前記被験者の健康状態に起因して必要とされる動作、及び、発話機能デバイスを介して受信された口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信するように構成された音響インタフェースと、
を備えたことを特徴とする装置。
【請求項28】
被験者を支持するように構成された基板と、
前記被験者に関する音響信号及び力信号を捕捉するように構成された複数の非接触式センサと、
前記被験者と通信するように構成された音響インタフェースと、
前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサであって、
被験者の健康状態をモニタリングするために、前記音響信号及び前記力信号のうちの1または複数から生体信号を判定し、
発話検出エンティティから、前記音響信号中に検出される発話を受信する
ように構成されたプロセッサと、
を備え、
前記音響インタフェースは、前記被験者の健康状態に起因して必要とされる動作、及び、検出された発話内の口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信するように構成されている
ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被験者の健康モニタリングのためのシステム及び方法に関する。
【背景技術】
【0002】
発話機能技術(発話によって可能とされる技術)は、その利便性と簡単なアクセス可能性(アクセシビリティ)とにより、消費者向け電子デバイスに対する対話(相互作用)の標準的な方法となっており、より効率的でより高速な操作を可能にしている。発話技術の医療への応用は、ケアチェックリスト、パニックコール、処方箋補充、にほぼ限定されていた。これは、主に、音声によって可能とされるこれらの装置が、被験者の生理学的パラメータを直接的に測定及びモニタリング(監視)する能力を有していないという事実による。永続的な状態とは異なり、突然または断続的に発症する発作状態は、即時に且つ継続的に使用され得る在宅スクリーニングソリューションを必要としており、健康チェックを開始するための発話などの簡単な方法を必要としている。また、多くの人々が、寝たきり状態であったり、悪い健康状態で生活している。これらの人々は、転倒したり、無呼吸、圧力、潰瘍、心房細動、心臓発作などの突然の健康エピソードを経験したり、というリスクがある。一人暮らしの場合、早期の警告に気付いて、状況を観察して、助けを求める、という人がいない。
【発明の概要】
【0003】
本明細書に開示されるのは、発話により制御される、または、発話により可能とされる、被験者の健康モニタリングのためのシステム及び方法の実装である。
【0004】
幾つかの実装形態において、装置は、被験者を支持するように構成された基板と、前記被験者に関する音響信号及び力信号を捕捉するように構成された複数の非接触式センサと、前記被験者と通信するように構成された音響インタフェースと、前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサと、を備える。プロセッサは、被験者の健康状態をモニタリングするために、前記音響信号及び前記力信号のうちの1または複数から生体信号を判定し、前記音響信号中の発話の存在を検出する、ように構成される。前記音響インタフェースは、前記被験者の健康状態に起因して必要とされる動作、及び、検出された発話内の口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信する、ように構成される。
【0005】
本開示は、添付の図面と併せて読まれる時、以下の詳細な説明から最もよく理解される。一般的な慣例によって、図面の様々な特徴は縮尺通りではないことが強調される。逆に、様々な機能の寸法は、明確化のため、任意に拡大または縮小されている。
【図面の簡単な説明】
【0006】
【
図1】
図1は、発話によって制御される健康モニタリングシステムのシステムアーキテクチャである。
【0007】
【0008】
【
図3】
図3は、センサデータを取得するための処理パイプラインである。
【0009】
【
図4】
図4は、力センサデータを分析するための処理パイプラインである。
【0010】
【
図5】
図5は、音響センサからの音響センサデータを分析するための処理パイプラインである。
【0011】
【
図6】
図6は、発話機能デバイスを用いて音響センサデータを分析するための処理パイプラインである。
【0012】
【
図7】
図7は、発話を認識するための処理パイプラインである。
【0013】
【
図8】
図8は、睡眠呼吸障害(SDB)の検出及び応答のための処理パイプラインである。
【発明を実施するための形態】
【0014】
本明細書に開示されるのは、発話により制御される、または、発話により可能とされる、被験者の健康モニタリングのためのシステム及び方法の実装である。当該システム及び方法は、被験者の健康を受動的かつ継続的にモニタリングし、被験者と口頭で(言葉で)やり取りするために利用され得て、健康チェックを開始したり、当該被験者の健康状態に関する情報を提供したり、健康関連のエピソードを記録したり緊急サービスを呼び出したりなどのアクションを実行したり、することができる。被験者の健康と幸福とが、被験者と口頭で対話するシステムを用いてモニタリングされ得る。睡眠、心臓、呼吸、運動、及び、睡眠呼吸障害、のモニタリングが例である。被験者は、自分の発話(音声)を用いてシステムと対話(やり取り)し得て、当該システムによって実行されるべき動作を要求したり、当該被験者の健康状態に関する情報を取得したりできる。当該システムは、被験者が能力発揮できないか無能力である場合、被験者のパートナーの命令に応答するように使用されることができる。
【0015】
当該システム及び方法は、音響センサ、加速度計、圧力センサ、荷重センサ、重量センサ、力センサ、運動センサ、または振動センサなどの、1または複数の非接触式のセンサを使用して、音(発話及び呼吸障害)並びに身体の機械的振動(動き並びに心臓及び肺の生理学的運動)を捕捉し、それらを健康状態及び疾患状態のスクリーニングと特定とに使用される生体信号情報に変換する。
【0016】
幾つかの実装形態において、システムは、音響信号を記録するために被験者の近くに配置された1または複数のマイクロフォンまたは音響センサと、オーディオを再生するために被験者の近くに配置された1または複数のスピーカと、加速度計、圧力センサ、荷重センサ、重量センサ、力センサ、運動センサ、または振動センサ等の、身体の機械的振動を記録するための、1または複数の非接触式センサを使用する生理学的測定システムと、発話認識システムと、発話合成装置と、被験者の音響及び生体信号を記録し、それらを処理し、被験者の発話を検出し、被験者の発話を処理し、被験者の発話への応答を開始する、ように構成されたプロセッサと、を備える。幾つかの実装形態において、1または複数のマイクロフォンまたは音響センサ、及び、1または複数の非接触式センサは、ベッド、ソファ、椅子、検査台、床などの、基板の下方に配置され得る、あるいは、基板内に組み込まれ得る。例えば、1または複数のマイクロフォンまたは音響センサ、及び、1または複数の非接触式センサは、コントロールボックス、脚部、ベッドフレーム、ヘッドボード、または壁、の内側や下方に配置ないし位置決めされ得るし、それらに取り付けられ得る。幾つかの実装形態において、プロセッサは、当該装置(コントロールボックス)内またはコンピューティングプラットフォーム(クラウド)内に存在し得る。
【0017】
幾つかの実装形態において、プロセッサは、加速度計、圧力センサ、荷重センサ、重量センサ、力センサ、運動センサ、または、振動センサ、等の1または複数の非接触式センサを用いて、動き並びに心臓及び肺の生理学的運動を含む、身体の機械的な力及び振動を記録するように構成されている。プロセッサは、そのようなデータを更に強化して、心臓分析(心拍数、心拍タイミング、変動性、心拍形態、それらのベースラインまたは範囲からの対応する変化、の決定(判定)を含む)、呼吸分析(呼吸数、呼吸位相、深さ、タイミング及び変動性、呼吸形態、それらのベースラインまたは範囲からの対応する変化、の決定(判定)を含む)、及び、動き分析(動きの振幅、時間、周期性、パターン、それらのベースラインまたは範囲からの対応する変化、の決定(判定)を含む)、を実行する。プロセッサは、音響情報を記録し、不要な干渉をフィルタリングし、分析判定のためにそれを強化するように構成されている。
【0018】
例えば、プロセッサは、強化された音響情報を用いて、睡眠呼吸障害を識別し得る。その後、プロセッサは、例えばベッド(例えば硬さ)や寝室(例えば照明)の調節可能な特徴を変更することによって、検出された睡眠呼吸障害に対する適切な応答を決定し得て、あるいは、睡眠者に位置(姿勢)を変えさせたりより軽い睡眠状態に移行させたりするために音を鳴らして、睡眠呼吸障害の停止、軽減、または変更を支援し得る。例えば、プロセッサは、強化された音響情報を使用して、不規則な肺または体の動きを肺または体の音と相関させ得る。喘鳴や他の異常音は、例である。例えば、プロセッサは、発話が開始されたか否かを検出するために強化された音響情報を使用し得る。プロセッサは、音響ストリームを電子コマンドの辞書に対して比較して、無関係な会話を破棄し、システムと対話するための口頭命令が開始されたか否かを判定する。
【0019】
幾つかの実装形態では、プロセッサは、発話認識を処理するように構成される。例えば、プロセッサは、発話認識を実行し得る。これは、トリガー(例えば事前設定されたキーワードやフレーズ)の検出とコンテキスト(内容)の判別とを含み得る。キーワードは、例えば、心臓記録の注釈付け(マーキング)やアラートの生成をトリガーする「Afib(心房細胞)」であり得る。例えば、プロセッサは、APIを介して、発話の認識と合成とを担当する他の発話機能デバイス(例えば、Alexa(登録商標)、Siri(登録商標)、Google(登録商標)など)と通信し得る。
【0020】
幾つかの実装形態では、プロセッサは、認識された発話に対する応答を分類して開始するように構成される。応答は、被験者との対話型セッションの開始(例えば、トーン(可聴音)の再生や合成発話(音声)の再生)、あるいは、応答動作の実行(例えば、ホームオートメーション機能のオン/オフ、被験者または被験者の医師の将来のアクセスのための健康状態マーカーでのデータのラベル付け、緊急サービスの呼び出し)、であり得る。応答は、ホームオートメーションシステムまたは通知システムに接続された他の発話機能デバイスとの通信も含み得る。当該システムは、分析に基づいてイベントを作成するためにも使用され得て、当該イベントは、危機的な状態のためにクラウドに送信される可聴トーンまたはメッセージであり得る。
【0021】
センサは、プロセッサに、有線、無線、または光学的、に接続されている。プロセッサは、インターネット上に存在し得て、人工知能ソフトウェアを実行し得る。センサからの信号は、ローカルに存在するプロセッサを使用してローカルに分析され得るし、あるいは、データは、有線または他の手段で、リアルタイムデータ及び/または履歴データを処理及び分析し得る他のコンピュータ及びリモートストレージとネットワーク化され得る。プロセッサは、機械的な力センサと音響センサとの両方に対応する単一のプロセッサであり得て、あるいは、機械的な力を処理して他の発話機能デバイスと相互作用(対話)する一連の(複数の)プロセッサであり得る。血圧センサ、体温センサ、血中酸素センサ、パルスオキシメトリーセンサ、等の他のセンサが、モニタリングや健康状態の評価を強化するために追加され得る。当該システムは、人工知能及び/または機械学習を使用し得て、力センサ信号、音響センサ信号、及び、他のセンサ信号、を処理するために使用される分類器を訓練し得る。
【0022】
幾つかの実装形態では、発話機能デバイスは、発話認識装置または発話合成装置として機能し得て、被験者との一方向及び双方向の通信を支援し得る。発話認識装置は、発話(音声)を用いてテキスト化し、発話合成装置は、テキストを用いて発話(音声)化する。いずれも、事前定義されたキーワードまたはフレーズの辞書に基づく。当該システムは、患者との双方向通信を可能にする双方向オーディオ(マイクとスピーカー)を含む(被験者の発話がコマンド(命令)として機能し、デバイスはコマンドの受信時に応答する)。当該システムは、他の音声アシスタントデバイス(例えば、Alexa(登録商標)、Siri(登録商標)、Google(登録商標)など)へのインタフェースを追加的に含み得て、被験者の発話を処理したり、合成された応答を再生したり、または、それらの両方を行ったりし得る。
【0023】
本明細書に記載されたシステム及び方法は、合併症を経験している時、または、健康関連状態の早期警戒兆候を示している時、被験者によって使用され得るし、あるいは、遠隔医療アプリケーションで医師によって指示される時に、使用され得る。例えば、当該システムは、家庭でのストレステストに利用され得て、その場合、センサデータが、心拍変動の指標をモニタリングして、動的な自律神経調節または心拍数回復を定量化するために利用され得る。
【0024】
当該システムは、それに対して口頭で対話できる個人の数を制限するようにプログラムされ得る。例えば、当該システムは、1人(被験者)または被験者のパートナーからの口頭命令のみを受け入れて応答し得る。このような場合、発話認識は、特定の個人にのみ応答する音声認識を含むであろう。電子コマンドは、被験者に特定の健康診断(例えば、心臓検査またはストレステスト)を実行する、被験者の健康状態に関する更新を提供する、被験者が健康上のエピソードまたは状態を経験している時にデータをマークする、被験者の医師に健康レポートを送信する、緊急サービスを呼び出す(電話する)、第三者とのAPI統合を介して製品を注文する(例えば、インターネット販売者から何かを購入する)、及び/または、ホームオートメーションの調整可能な特徴と対話する、ための口頭による要求を含み得るが、これらに限定されない。当該システムは、タブレットやスマートフォンなどの他の通信手段と統合し得て、ビデオ通信を提供し得る。
【0025】
図1は、発話によって制御されるか、または、発話によって可能とされる(有効化される)、健康モニタリングシステム(SHMS)100のシステムアーキテクチャである。SHMS100は、コンピューティングプラットフォーム120に接続されているか通信している(集合的に「接続されている」)1または複数のデバイス110を含む。幾つかの実装形態では、機械学習訓練プラットフォーム130が、コンピューティングプラットフォーム120に接続され得る。幾つかの実装形態では、発話機能デバイス150が、コンピューティングプラットフォーム120及び前記1または複数のデバイス110に接続され得る。幾つかの実装形態では、ユーザが、接続デバイス140を介してデータにアクセスし得て、当該接続デバイス140は、コンピューティングプラットフォーム120、デバイス110、発話機能デバイス150、またはそれらの組み合わせ、からデータを受信し得る。1または複数のデバイス110、コンピューティングプラットフォーム120、機械学習訓練プラットフォーム130、発話機能デバイス150及び接続デバイス140の間の接続は、有線、無線、光、それらの組み合わせ、などであり得る。SHMS100のシステムアーキテクチャは、例示であり、本明細書及び特許請求の範囲から逸脱することなく、同様にまたは異なって設計され得る、より多い(追加の)、より少ない、または異なる、デバイス、エンティティなどを含み得る。更に、図示のデバイスは、本明細書及び特許請求の範囲から逸脱することなく、他の機能を実行し得る。
【0026】
一実装形態では、デバイス110は、音響インタフェース111、1または複数のセンサ112、コントローラ114、データベース116、及び、通信インタフェース118を含み得る。一実装形態では、デバイス110は、本明細書で説明される適用可能かつ適切な機械学習技術のための分類器119を含み得る。1または複数のセンサ112は、音、波形パターン、及び/または、音と波形パターンとの組み合わせ、を検出し得る。波形パターンとは、当該1または複数のセンサ112に対する被験者の活動及び/または形態(姿勢)に起因よる、振動、圧力、力、重量、存在、及び、動き、の波形パターンである。幾つかの実装形態では、1または複数のセンサ112は、2以上のデータストリームを生成し得る。幾つかの実装形態では、1または複数のセンサ112は、同一のタイプであり得る。幾つかの実装形態では、1または複数のセンサ112は、時間同期され得る。幾つかの実装形態では、1または複数のセンサ112は、基板、家具、または他の対象物における、重力の部分的な力を測定し得る。幾つかの実装形態では、1または複数のセンサ112は、1つのストリーム(すなわち、多変量信号)内でデータの複数の外部ソース、例えば、1または複数の被験者または対象物からの体重、心拍数、呼吸数、振動、及び動き、を独立して捕捉し得る。一実装形態では、各センサ112によって捕捉されるデータは、他のセンサ112の少なくとも1つ、幾つか、全て、または、ある組合せ、によって捕捉されたデータと相関される。幾つかの実装形態では、振幅の変化が相関される。幾つかの実装形態では、変化の速度(頻度)及び大きさが相関される幾つかの実装形態では、変化の位相及び方向が相関される。幾つかの実装形態では、1または複数のセンサ112の配置は、重心の位置を三角測量する。幾つかの実装形態では、1または複数のセンサ112は、ベッド、椅子、ソファ等の脚部の下方に配置され得る、あるいは、当該脚部内に埋め込まれ得る。幾つかの実装形態では、1または複数のセンサ112は、幼児用ベッドの縁部の下方に配置され得る、あるいは、当該縁部内に埋め込まれ得る。幾つかの実装形態では、1または複数のセンサ112は、床の下方に配置され得る、あるいは、床内に埋め込まれ得る。幾つかの実装形態では、1または複数のセンサ112は、表面領域の下方に配置され得る、あるいは、表面領域内に埋め込まれ得る。幾つかの実装形態では、1または複数のセンサ112の位置は、センサによって囲まれる領域全体をカバーする表面マップを生成するように使用される。幾つかの実装形態では、1または複数のセンサ112は、当該1または複数のセンサ112によって囲まれた領域内のどこにでもあるソースからのデータを測定し得る。当該ソースは、直接的に1または複数のセンサ112の頂部上に存在してもよいし、1または複数のセンサ112の近傍に存在してもよいし、あるいは、1または複数のセンサ112から距離を置いて存在していてもよい。1または複数のセンサ112は、被験者に対して邪魔にはなっていない。
【0027】
1または複数のセンサ112は、音(発話及び睡眠呼吸障害)を捕捉するための、音響センサ、マイクロフォンまたはアコースティックセンサ等の1または複数の非接触式センサ、並びに、基板、家具または他の対象物における重力の部分的な力を測定するための、加速度計、圧力センサ、負荷センサ、重量センサ、力センサ、動きセンサ、または振動センサ及び身体の機械的振動(動き並びに心臓及び肺の生理学的運動)センサ等を含むセンサ、を含み得る。
【0028】
音響インタフェース111は、患者との双方向通信を可能にするための双方向音響インタフェース(マイクロフォン及びスピーカー)を提供する(被験者の発話がコマンドとして機能し、デバイスはコマンドを受信すると応答する)。
【0029】
コントローラ114は、
図3乃至
図8に関連して本明細書に記載されるプロセス及びアルゴリズムを、センサデータに適用し得て、安静中及び運動中の1人または複数人の被験者のバイオメトリックパラメータ及び他の個人固有の情報を決定し得る。分類器119が、
図3乃至
図8に関連して本明細書に記載されるプロセス及びアルゴリズムを、センサデータに適用し得て、安静中及び運動中の1人または複数人の被験者のバイオメトリックパラメータ及び他の個人固有の情報を決定し得る。分類器119は、センサデータに分類器を適用し得て、機械学習を介してバイオメトリックパラメータ及び他の個人固有の情報を決定し得る。幾つかの実装形態では、分類器119は、コントローラ114によって実装され得る。幾つかの実装形態では、センサデータと、バイオメトリックパラメータ及び他の個人固有の情報とは、データベース116に記憶され得る。幾つかの実装形態では、センサデータ、バイオメトリックパラメータ及び他の個人固有の情報、並びに/または、それらの組合せが、処理、記憶、及び/または、それらの組み合わせのために、通信インタフェース118を介してコンピューティングプラットフォーム120に転送または送信され得る。通信インタフェース118は、任意のインタフェースであり得て、任意の通信プロトコルを使用し得て、起点エンドポイントと宛先エンドポイントとの間でデータを通信または転送し得る。ある実装形態では、デバイス110は、本明細書に記載されたようなコントローラ114及び/またはコンピューティングプラットフォーム120による使用のために1または複数のセンサ112を使用して被験者からデータを収集する、任意のプラットフォームまたは構造であり得る。例えば、デバイス110は、
図2に示されるように、基板、フレーム、脚部、及び、複数の負荷センサまたは他のセンサ112、の組合せであり得る。デバイス110及びその内部の要素は、本明細書に記載されるデバイス、システム及び方法を実装するために望ましいかまたは必要であり得る他の要素を含み得る。もっとも、そのような要素及び工程は、当該技術分野で周知であるし、開示される実施形態のより良い理解を促進するということもないため、そのような要素及び工程の説明は本明細書では提供されない可能性がある。
【0030】
幾つかの実装形態では、コンピューティングプラットフォーム120は、プロセッサ122、データベース124、及び、通信インタフェース126、を含み得る。幾つかの実装形態では、コンピューティングプラットフォーム120は、本明細書で説明されるような適用可能かつ適切な機械学習技術のための分類器129を含み得る。プロセッサ122は、センサ112またはコントローラ114からセンサデータを取得し得て、
図3乃至
図8に関連して本明細書に記載されるプロセス及びアルゴリズムを、センサデータに適用し得て、安静中及び運動中の1人または複数人の被験者のバイオメトリックパラメータ及び他の個人固有の情報を決定し得る。幾つかの実装形態では、プロセッサ122は、コントローラ114から、バイオメトリックパラメータ及び他の個人固有の情報を取得し得て、一時的な及び他のタイプの分析のためにデータベース124に記憶し得る。幾つかの実装形態では、分類器129が、
図3乃至
図8に関連して本明細書に記載されるプロセス及びアルゴリズムを、センサデータに適用し得て、安静中及び運動中の1人または複数人の被験者のバイオメトリックパラメータ及び他の個人固有の情報を決定し得る。分類器129は、センサデータに分類器を適用し得て、機械学習を介してバイオメトリックパラメータ及び他の個人固有の情報を決定し得る。幾つかの実装形態では、分類器129は、プロセッサ122によって実装され得る。幾つかの実装形態では、センサデータと、バイオメトリックパラメータ及び他の個人固有の情報とは、データベース124に記憶され得る。通信インタフェース126は、任意のインタフェースであり得て、任意の通信プロトコルを使用し得て、起点エンドポイントと宛先エンドポイントとの間でデータを通信または転送し得る。幾つかの実装形態では、コンピューティングプラットフォーム120は、クラウドベースのプラットフォームであり得る。幾つかの実装形態では、プロセッサ122は、クラウドベースのコンピュータまたはオフサイトコントローラであり得る。幾つかの実装形態では、プロセッサ122は、機械的な力センサと音響センサとの両方に対応する単一のプロセッサであり得て、あるいは、機械的な力を処理して発話機能デバイス150と相互作用(対話)する一連の(複数の)プロセッサであり得る。コンピューティングプラットフォーム120及びその内部の要素は、本明細書に記載されるデバイス、システム及び方法を実装するために望ましいかまたは必要であり得る他の要素を含み得る。もっとも、そのような要素及び工程は、当該技術分野で周知であるし、開示される実施形態のより良い理解を促進するということもないため、そのような要素及び工程の説明は本明細書では提供されない可能性がある。
【0031】
幾つかの実装形態では、機械学習訓練プラットフォーム430は、センサデータにアクセスして処理し得て、複数の分類子を訓練及び生成し得る。当該複数の分類子は、分類器129または分類器119に転送または送信され得る。
【0032】
幾つかの実装形態では、SHMS100は、双方向発話インタフェースとして、発話機能デバイス150を交換可能または追加的に含み得る。幾つかの実装形態では、発話機能デバイス150は、音響インタフェース111を置換し得て、あるいは、音響インタフェース111と連携(協働)し得る。発話機能デバイス150は、デバイス110及び/またはコンピューティングプラットフォーム120と通信し得る。一実装形態では、発話機能デバイス150は、APIを介してデバイス110またはコンピューティングプラットフォーム120と通信する音声アシスタントデバイス(例えば、Alexa(登録商標)、Siri(登録商標)、Google(登録商標))であり得る。発話機能デバイス150は、被験者との一方向及び双方向の通信を支援する発話認識装置または発話合成装置として機能し得る。
【0033】
図2A乃至
図2Jは、センサの配置及び形態の図である。本明細書で説明されるように、SHMS100は、マイクロフォンまたは音響センサなどの1または複数の音響入力センサ200を含み得る。
図2A乃至
図2Jに示されるセンサの配置及び形態は、ベッド230及び周囲環境に関するものである。例えば、2019年10月8日に出願された米国特許出願第16/595,848号は、その開示内容全体が当該参照により本明細書に組み込まれるが、本明細書に記載されるセンサの配置及び形態に適用可能な例示的なベッド及び環境を記載している。
【0034】
図2Aは、制御ボックス(コントローラ)240内の1または複数の音響入力センサ200の一例を示す。
図2Bは、ベッド230に近接するヘッドボード250に取り付けられた1または複数の音響入力センサ200の一例を示す。
図2Cは、ベッド230に近接する壁260に取り付けられた1または複数の音響入力センサ200の一例を示す。
図2Dは、ベッド230の脚部270の内側または当該脚部270に取り付けられた1または複数の音響入力センサ200の一例を示す。
図2Eは、ベッド230の脚部270の下方の力センサボックス280内に一体化された1または複数の音響入力センサ200の一例を示す。
図2Fは、ベッド230のベッドフレーム290の内部に配置されたまたは当該ベッドフレーム290に取り付けられた1または複数の音響入力センサ200の一例を示す。
【0035】
幾つかの実装形態では、SHMS100は、1または複数のスピーカー210を含み得る。
図2Gは、制御ボックス(コントローラ)240内の1または複数のスピーカー210の一例を示す。
図2Fは、ベッド230のベッドフレーム290の内部に配置されたまたは当該ベッドフレーム290に取り付けられた1または複数のスピーカー210の一例を示す。
図2Hは、ベッド230の脚部270の下方の力センサボックス280内に一体化された1または複数のスピーカー210の一例を示す。
図2Iは、ベッド230に近接する壁260に取り付けられた1または複数のスピーカー210の一例を示す。
図2Jは、ベッド230に近接するヘッドボード250に取り付けられた1または複数のスピーカー210の一例を示す。
【0036】
【0037】
図3は、力センサデータ、音響センサデータ、及び、他のセンサデータ、など(これらに限定されない)のセンサデータを取得するための、並びに、当該力センサデータ、当該音響センサデータ、及び、当該他のセンサデータを処理するための、処理パイプライン300である。
【0038】
アナログセンサデータストリーム320が、センサ310から受信される。センサ310は、加速度計、圧力センサ、荷重センサ、重量センサ、力センサ、運動センサまたは振動センサなどの1または複数の非接触式センサを用いて、身体の機械的な力及び振動(動き並びに心臓及び肺の生理学的運動を含む)を記録し得る。デジタイザ330が、アナログセンサデータストリームをデジタルセンサデータストリーム340にデジタル化する。フレーマ350が、デジタルセンサデータストリーム340からデジタルセンサデータフレーム360を生成する。それは、固定のまたは適応型の時間ウィンドウ内の全てのデジタルセンサデータストリーム値を含む。暗号化エンジン370が、データが不正アクセスから保護されるように、デジタルセンサデータフレーム360を暗号化する。圧縮エンジン380が、暗号化されたデータを圧縮して、データベース390に保存され得るようにデータサイズを縮小する。これは、コストを低減し、読み取り時間中のより高速なアクセスを提供する。データベース390は、ローカルストレージ、オフサイトストレージ、クラウドベースストレージ、またはそれらの組合せ、であり得る。
【0039】
アナログセンサデータストリーム321が、センサ311から受信される。センサ311は、被験者の呼吸及び発話を含む音響情報を記録し得る。デジタイザ331が、アナログセンサデータストリームをデジタルセンサデータストリーム341にデジタル化する。フレーマ351が、デジタルセンサデータストリーム341からデジタルセンサデータフレーム361を生成する。それは、固定のまたは適応型の時間ウィンドウ内の全てのデジタルセンサデータストリーム値を含む。暗号化エンジン371が、データが不正アクセスから保護されるように、デジタルセンサデータフレーム361を暗号化する。幾つかの実装形態では、暗号化エンジン371は、デジタル音響センサデータフレーム361をより低くより狭い周波数帯にフィルタリングし得る。幾つかの実装形態では、暗号化エンジン371は、デジタル音響センサデータフレーム361をマスクテンプレート用いてマスクし得る。幾つかの実装形態では、暗号化エンジン371は、デジタル音響センサデータフレーム361を数式を使用して変換し得る。圧縮エンジン381が、暗号化されたデータを圧縮して、データベース390に保存され得るようにデータサイズを縮小する。これは、コストを低減し、読み取り時間中のより高速なアクセスを提供する。データベース390は、ローカルストレージ、オフサイトストレージ、クラウドベースストレージ、またはそれらの組合せ、であり得る。
【0040】
図3に示される処理パイプライン300は、例示であり、
図3に示されるブロックまたはモジュールの、任意の何れかまたは全てを含み得るし、いずれをも含まなくてもよいし、それらの組合せを含んでもよい。
図3に示される処理の順序は、例示であり、処理の順序は本明細書または特許請求の範囲から逸脱することなく変更され得る。
【0041】
図4は、力センサデータを処理するための前処理パイプライン400である。前処理パイプライン400は、デジタル力センサデータフレーム410を処理する。ノイズ低減ユニット420が、各センサに同一レベルまたは異なるレベルの影響を与え得るノイズ源を除去または減衰する。ノイズ低減ユニット420は、減算、入力データフレームの結合(組合せ)、適応フィルタリング、ウェーブレット変換、独立成分分析、主成分分析、及び/または、他の線形変換または非線形変換、を含むがこれらに限定されない様々な技術を利用し得る。信号強化ユニット430が、入力データの信号対ノイズ比を改善し得る。信号強化ユニット430は、入力データフレームの線形または非線形の結合(組合せ)として実装され得る。例えば、信号強化ユニット430は、信号デルタを結合(組合せ)し得て、より高い解像度のアルゴリズム分析のために信号強度を増大させ得る。サブサンプリングユニット440、441、及び442が、デジタル強化センサデータをサンプリングし、ダウンサンプリング、アップサンプリング、または、リサンプリングを含み得る。サブサンプリングは、多段階サンプリングまたは多相サンプリングとして実装され得て、心臓分析、呼吸分析、及び、咳分析、のために同一または異なるサンプリングレートを使用し得る。
【0042】
心臓分析450は、心拍数、心拍タイミング、変動性、及び、心拍形態、並びに、それらのベースラインまたは所定の範囲からの対応する変化、を決定(判定)する。心臓分析の例示的なプロセスが、2020年4月1日に出願された米国特許仮出願第63/003,551号に示されている。当該仮出願の開示内容全体が、当該参照により本明細書に組み込まれる。呼吸分析460は、呼吸数、呼吸位相、深さ、タイミング、変動性、及び、呼吸形態、並びに、それらのベースラインまたは所望の範囲からの対応する変化、を決定(判定)する。呼吸分析の例示的なプロセスが、2020年4月1日に出願された米国特許仮出願第63/003,551号に示されている。当該仮出願の開示内容全体が、当該参照により本明細書に組み込まれる。動き分析470は、動きの振幅、時間、周期性、及び、パターン、並びに、それらのベースラインまたは所望の範囲からの対応する変化、を決定(判定)する。健康及び睡眠状態分析480は、心臓分析450、呼吸分析460及び動き分析470からのデータを組み合わせて、被験者の健康状態、睡眠の質、異常イベント、疾患及びコンディションを決定(判定)する。
【0043】
図4に示される処理パイプライン400は、例示であり、
図4に示されるブロックまたはモジュールの、任意の何れかまたは全てを含み得るし、いずれをも含まなくてもよいし、それらの組合せを含んでもよい。
図4に示される処理の順序は、例示であり、処理の順序は本明細書または特許請求の範囲から逸脱することなく変更され得る。
【0044】
図5は、音響センサデータを分析するための例示的なプロセス500である。パイプライン500は、デジタル音響センサデータフレーム510を処理する。ノイズ低減ユニット520が、各センサに同一レベルまたは異なるレベルの影響を与え得る環境または他のノイズ源を除去または減衰する。ノイズ低減ユニット520は、減算、入力データフレームの結合(組合せ)、適応フィルタリング、ウェーブレット変換、独立成分分析、主成分分析、及び/または、他の線形変換または非線形変換、を含むがこれらに限定されない様々な技術を利用し得る。信号増強ユニット530が、入力データの信号対ノイズ比を改善し得る。発話開始ディテクタ540が、被験者が口頭でシステムと通信しているか否かを判定する。当該ディテクタ540は、音響ストリームを電子コマンドの辞書と比較して無関係な会話を廃棄(破棄)し、対話するための口頭命令が開始されたか否かを判定する(545)。
【0045】
口頭命令が開始されていない場合、強化されたデジタル音響センサデータフレームが睡眠呼吸障害アナライザ550を使用して分析され、呼吸障害を検出するであろう。睡眠呼吸障害アナライザ550は、デジタル音響センサデータフレーム510、デジタル力センサデータフレーム410、またはそれらの両方、を使用して、呼吸障害を判定する。睡眠呼吸障害アナライザ550は、エンベロープ検出アルゴリズム、時間ドメイン分析、スペクトルドメイン分析、または時間周波数ドメイン分析、を使用して、睡眠呼吸障害の存在、強度、大きさ、持続時間及びタイプを識別する。
【0046】
口頭命令が開始されたと判定される場合、発話認識装置560は、強化されたデジタル音響センサデータフレームを処理して、発話の内容を識別する。幾つかの実装形態において、発話認識装置560は、被験者の発話を電子コマンドの辞書と比較する電子コマンド認識装置を含む。幾つかの実装形態において、発話認識装置560は、人工知能アルゴリズムを使用して発話を識別する。幾つかの実装形態において、発話認識装置560は、発話(音声)からテキストへのエンジンを使用して、被験者の口頭命令をテキストの文字列に変換(翻訳)する。応答カテゴライザ570が、発話認識装置560からの出力を処理して、対話型セッションが開始される(580)べきか、あるいは、応答動作が実行される(590)べきか、を判定する。対話型セッションの例は、トーンの再生、または、合成発話(音声)の再生、である。応答動作の例は、ホームオートメーション機能のオン/オフ、被験者または被験者の医師の将来のアクセスのための健康状態マーカーでのデータのラベル付け、緊急サービスの呼び出し、別の発話機能デバイスとの対話、である。
【0047】
図5に示される処理パイプライン500は、例示であり、
図5に示される構成要素、ブロックまたはモジュールの、任意の何れかまたは全てを含み得るし、いずれをも含まなくてもよいし、それらの組合せを含んでもよい。
図5に示される処理の順序は、例示であり、処理の順序は本明細書または特許請求の範囲から逸脱することなく変更され得る。
【0048】
図6は、発話機能デバイスと対話(相互作用)することによって音響センサデータを分析するための例示的なプロセス600である。幾つかの実装形態では、発話機能デバイスは、APIを介して通信する発話認識装置として作用する、音声アシスタントデバイス(例えば、Alexa(登録商標)、Siri(登録商標)、Google(登録商標))であり得る。
【0049】
パイプライン500は、発話機能デバイスからの発話データを受信する(610)。ノイズ低減ユニット620が、発話データに同一レベルまたは異なるレベルの影響を与え得る環境または他のノイズ源を除去または減衰する。ノイズ低減ユニット620は、減算、入力データフレームの結合(組合せ)、適応フィルタリング、ウェーブレット変換、独立成分分析、主成分分析、及び/または、他の線形変換または非線形変換、を含むがこれらに限定されない様々な技術を利用し得る。信号増強ユニット630が、発話データの信号対ノイズ比を改善し得る。発話開始ディテクタ640が、被験者が口頭でシステムと通信しているか否かを判定する。当該ディテクタ640は、発話データを電子コマンドの辞書と比較して無関係な会話を廃棄(破棄)し、対話するための口頭命令が開始されたか否かを判定する(645)。
【0050】
口頭命令が開始されていない場合、強化されたデジタル発話データフレームが睡眠呼吸障害アナライザ650を使用して分析され、呼吸障害を検出するであろう。睡眠呼吸障害アナライザ650は、発話データ610、デジタル力センサデータフレーム410、またはそれらの両方、を使用して、呼吸障害を判定する。睡眠呼吸障害アナライザ650は、エンベロープ検出アルゴリズム、時間ドメイン分析、スペクトルドメイン分析、または時間周波数ドメイン分析、を使用して、睡眠呼吸障害の存在、強度、大きさ、持続時間及びタイプを識別する。
【0051】
口頭命令が開始されたと判定される場合、発話認識装置660は、発話データフレームを処理して、発話の内容を識別する。幾つかの実装形態において、発話認識装置660は、被験者の発話を電子コマンドの辞書と比較する電子コマンド認識装置を含む。幾つかの実装形態において、発話認識装置660は、人工知能アルゴリズムを使用して発話を識別する。幾つかの実装形態において、発話認識装置660は、発話(音声)からテキストへのエンジンを使用して、被験者の口頭命令をテキストの文字列に変換(翻訳)する。応答カテゴライザ670が、発話認識装置660からの出力を処理して、対話型セッション680が開始されるべきか、あるいは、応答動作690が実行されるべきか、を判定する。カテゴライズされた応答に対応する命令が、APIを介して発話機能デバイスに送信される(675)。幾つかの実装形態では、発話機能デバイスは、発話合成装置として機能し得て、対話型セッションを開始し得る(680)。幾つかの実装形態では、発話機能デバイスは、ホームオートメーションシステムまたは通知システムに接続し得て、応答動作を実行し得る(690)。対話型セッションの例は、トーンの再生、または、合成発話(音声)の再生、である。応答動作の例は、ホームオートメーション機能のオン/オフ、被験者または被験者の医師の将来のアクセスのための健康状態マーカーでのデータのラベル付け、緊急サービスの呼び出し、別の発話機能デバイスとの対話、である。
【0052】
図6に示される処理パイプライン600は、例示であり、
図6に示される構成要素、ブロックまたはモジュールの、任意の何れかまたは全てを含み得るし、いずれをも含まなくてもよいし、それらの組合せを含んでもよい。
図6に示される処理の順序は、例示であり、処理の順序は本明細書または特許請求の範囲から逸脱することなく変更され得る。
【0053】
図7は、発話認識装置によって発話(音声)を認識するための例示的なプロセス700である。発話認識装置は、
図5に記載されたように発話が開始されたと判定された後、強化された音響データストリームを受信する(710)。発話認識装置は、発話処理によって特定の要求に合致する電子コマンドの部分を検出する、すなわち、トリガーを検出する(720)。発話認識装置は、発話(音声)をテキストに変換する(730)。発話認識装置は、当該テキストの文字列を電子コマンドの辞書(750)に対して照合する(740)。発話認識装置は、発話(音声)の内容(コンテキスト)を判定する(760)。内容は、被験者の口頭要求の一般的なカテゴリである。その例は、健康診断の実行、健康関連エピソードのためのデータのラベル付けまたは注釈付け、被験者の医師との通信、救急サービスとの通信、製品の注文、ホームオートメーションとの対話、等である。発話認識装置は、当該内容を暗号化し(770)、それを応答カテゴライザ570用に準備する。
【0054】
図7に示される処理パイプライン700は、例示であり、
図7に示される構成要素、ブロックまたはモジュールの、任意の何れかまたは全てを含み得るし、いずれをも含まなくてもよいし、それらの組合せを含んでもよい。
図7に示される処理の順序は、例示であり、処理の順序は本明細書または特許請求の範囲から逸脱することなく変更され得る。
【0055】
図8は、睡眠呼吸障害(SDB)の検出及び応答のための例示的なプロセス800である。デジタル力センサフレーム810が、
図3及び
図4で処理されるように受信される。呼吸分析830が、デジタル力センサフレーム810について実行される。呼吸分析830は、フィルタリング、結合、エンベロープ検出、及び、他のアルゴリズム、を含み得る。スペクトルまたは時間周波数スペクトルが、呼吸分析830の出力について計算される(850)。デジタル音響センサフレーム820が、
図3及び
図5で処理されるように受信される。エンベロープ検出840が、デジタル音響センサフレーム820について実行される。スペクトルまたは時間周波数スペクトルが、エンベロープ検出840の出力について計算される(860)。デジタル力センサフレーム810及びデジタル音響センサフレーム820に対して、正規化された振幅または周波数パラメータ、相互相関、あるいは、コヒーレンスまたは同様の類似度のメトリクス(測定基準)、等の融合センサ処理870が実行されて、結合された(組み合わされた)信号または特徴のセットが作成される。
【0056】
睡眠呼吸障害(SDB)は、力センサと音響センサの融合からの、エンベロープ、時間ドメイン、周波数ドメイン、時間-周波数、及び、パラメータを使用して、判定される(880)。幾つかの実装形態は、睡眠呼吸障害を検出するために、閾値ベースの技法、テンプレートマッチング方法、または、分類器の使用、を含む。睡眠呼吸障害が検出されると、プロセス880は、当該睡眠呼吸障害の強度(例えば、軽度、中軽度、中等度、重度)、大きさ、持続時間、及びタイプ、を判定する。睡眠呼吸障害が検出された場合(885)、検出されたSDBに対して、適切な応答890が判定され、例えば、ベッド(例えば、硬さ)や寝室(例えば、照明)の調節可能な機能を変更して、あるいは、睡眠者をして位置(姿勢)を変えさせたりより軽い睡眠状態に移行させたりするために音を鳴らして、睡眠呼吸障害の停止、軽減、または変更を支援する。
【0057】
図8に示される処理パイプライン800は、例示であり、
図8に示される構成要素、ブロックまたはモジュールの、任意の何れかまたは全てを含み得るし、いずれをも含まなくてもよいし、それらの組合せを含んでもよい。
図8に示される処理の順序は、例示であり、処理の順序は本明細書または特許請求の範囲から逸脱することなく変更され得る。
【0058】
図7は、MSMDAデータから重量を決定(判定)するための方法700のフローチャートである。当該方法700は、MSMDAデータを取得する工程710、MSMDAデータを較正する工程720、較正されたMSMDAデータについて重ね合わせ分析を実行する工程730、MSMDAデータを重量に変換する工程740、重量をファイナライズ(確定)する工程750、及び、重量を出力する工程760、を含む。
【0059】
当該方法700は、MSMDAデータを取得する工程710を含む。MSMDAデータは、説明されるように、前処理パイプライン600から生成される。
【0060】
当該方法700は、MSMDAデータを較正する工程720を含む。当該較正プロセスは、複数のセンサ読取値を期待値または期待範囲と比較する。値が異なる場合、MSMDAデータは、期待値または期待範囲に較正するべく調整される。較正は、新しい対象物の重量を決定(判定)するために、他の全てのソースをオフにする(すなわち、それらをゼロにセットする)ことによって、実装(実施)される。例えば、ベッド、寝具及び枕の重量は、新しい対象物の前に決定される。例えば使用前に、デバイスについてベースラインが確立される。ある実装形態では、被験者または対象物(まとめて「アイテム」)がデバイス上に存在すると、アイテムベースラインが決定されて保存される。これは、複数のアイテムを有するデバイスからのデータが本明細書に説明される方法を用いて正しく処理され得るために、なされる。
【0061】
当該方法700は、較正されたMSMDAデータについて重ね合わせ分析を実行する工程730を含む。重ね合わせ分析は、各々の独立したセンサが単独で作動することによって生じる読取値の合計を提供する。重ね合わせ分析は、全てのセンサからの応答の、代数和、加重和、または非線形和、として実装され得る。
【0062】
当該方法700は、MSMDAデータを重量に変換する工程740を含む。センサデータ、すなわちMSMDAデータ、を重量に変換するために、様々な既知のまたは既知になる技術が使用され得る。
【0063】
当該方法700は、重量をファイナライズ(最終決定)する工程750を含む。一実装形態では、重量のファイナライズは、平滑化、ある範囲に対するチェック、ある辞書に対するチェック、または過去の値、を含み得る。一実装形態では、重量のファイナライズは、ベッドのタイプ、ベッドのサイズ、睡眠者の場所、睡眠者の位置(姿勢)、睡眠者の向き、等の他の要因に起因する調整を含み得る。
【0064】
当該方法700は、重量を出力する工程760を含む。重量は、本明細書に記載される方法での使用のために保存される。
【0065】
コントローラ200、コントローラ214、プロセッサ422、及び/または、コントローラ414(並びに、それらに記憶され、及び/または、それらによって実行される、アルゴリズム、方法、命令など)の実装は、ハードウェア、ソフトウェア、または、それらの任意の組合せ、で実現され得る。ハードウェアは、例えば、コンピュータ、IPコア、特定用途向け集積回路(ASIC)、プログラマブルロジックアレイ、光プロセッサ、プログラマブルロジックコントローラ、マイクロコード、マイクロコントローラ、サーバ、マイクロプロセッサ、デジタル信号プロセッサ、または、任意の他の適切な回路、を含み得る。特許請求の範囲において、「コントローラ」という用語は、前述のハードウェアのいずれかを単独でも組合せでも包含するものとして理解されるべきである。
【0066】
更に、一態様では、例えば、コントローラ200、コントローラ214、プロセッサ422、及び/または、コントローラ414は、実行される時に本明細書に記載されたそれぞれの方法、アルゴリズム及び/または命令のいずれかを実行するコンピュータプログラムを伴う、汎用コンピュータまたは汎用プロセッサを用いて実装され得る。追加的または代替的に、例えば、本明細書に記載された方法、アルゴリズムまたは命令のいずれかを実行するための他のハードウェアを含み得る、専用コンピュータ/プロセッサが利用され得る。
【0067】
コントローラ200、コントローラ214、プロセッサ422、及び/または、コントローラ414は、1または複数の、専用プロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、コントローラ、マイクロコントローラ、アプリケーションプロセッサ、中央処理装置(CPU)、グラフィック処理装置(GPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ、集積回路の任意の他のタイプまたは組み合わせ、ステートマシン、あるいは、分散型、集中型、クラウドベース型のアーキテクチャ及び/またはそれらの組合せにおける、それらの任意の組み合わせ、であり得る。
【0068】
一般に、装置は、被験者を支持するように構成された基板と、前記被験者に関する音響信号及び力信号を捕捉するように構成された複数の非接触式センサと、前記被験者と通信するように構成された音響インタフェースと、前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサと、を備える。前記プロセッサは、被験者の健康状態をモニタリングするために前記音響信号及び前記力信号のうちの1または複数から生体信号を判定し、前記音響信号中の発話の存在を検出する、ように構成される。前記音響インタフェースは、前記被験者の健康状態に起因して必要とされる動作、及び、検出された発話内の口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信するように構成される。
【0069】
幾つかの実装形態において、前記プロセッサは、更に、デジタル化された音響信号をより低くより狭い周波数にフィルタリングすること、デジタル化された音響信号をマスクテンプレートまたは暗号鍵を用いてマスクすること、及び、デジタル化された音響信号を数式を使用して変換すること、のうちの少なくとも1つによって、当該デジタル化された音響信号を暗号化するように構成される。
幾つかの実装形態において、前記プロセッサは、更に、前記音響信号を電子コマンドの辞書に対して比較して無関係な会話を廃棄し、前記口頭命令の存在を判定し、前記口頭命令の判定時に発話の内容を特定し、前記音響インタフェースを介して前記口頭命令及び前記発話の内容に基づいて前記被験者または他のエンティティの少なくとも1つとの対話型セッションを開始する、及び、前記口頭命令及び前記発話の内容に基づいて応答動作を決定する、のうちの少なくとも一方を実行する、ように構成される。
幾つかの実装形態において、前記音響インタフェースは、更に、指定された個人からの口頭命令を認識して応答するように構成される。
幾つかの実装形態において、前記プロセッサは、更に、前記音響信号を電子コマンドの辞書に対して比較して無関係な会話を廃棄し、前記口頭命令の存在を判定し、前記音響信号を分析して前記口頭命令の検出の失敗時に呼吸障害を検出し、睡眠呼吸障害(SDB)の検出に対して応答動作を決定する、ように構成される。
幾つかの実装形態において、前記複数の非接触式センサは、前記基板に対する前記被験者の動作から力信号を捕捉するように構成され、前記プロセッサは、更に、前記被験者の健康状態を判定するために、前記力信号に基づいて、心臓分析、呼吸分析、及び、動き分析、のうちの少なくとも1つを実行するように構成される。
幾つかの実装形態において、前記被験者の健康状態を判定するために呼吸障害分析を実行する時、前記プロセッサは、更に、1または複数の類似性メトリックに基づいて、前記力信号と前記音響信号とを融合して融合信号を生成し、前記融合信号、前記力信号及び前記音響信号を用いて、睡眠呼吸障害(SDB)を検出し、前記SDBの検出に対して応答動作を決定する、ように構成される。
幾つかの実装形態において、前記応答動作は、可聴トーン、可聴メッセージ、ホームオートメーション装置のトリガー、音声アシスタント装置のトリガー、エンティティまたは緊急サービスへの呼び出し、将来のアクセスのためのデータのマーキング、データベースのエントリ、及び、健康診断、のうちの1または複数である。
幾つかの実装形態において、前記プロセッサは、更に、前記SDBの強度、大きさ、持続時間、及びタイプ、を判定するように構成される。
【0070】
一般に、システムは、被験者または当該被験者に関連付けられたエンティティのうちの少なくとも1つと通信するように構成された発話機能デバイスと、前記発話機能デバイスと通信する装置と、を備える。前記装置は、前記被験者を支持するように構成された基板と、前記被験者に関する音響信号と前記基板に対する被験者動作からの力信号とを捕捉するように構成された複数の非接触式センサと、前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサと、を含む。前記プロセッサは、前記力信号及び前記音響信号に基づいて被験者の健康状態をモニタリングし、前記音響信号中の口頭命令を検出する、ように構成される。前記発話機能デバイスは、前記被験者の健康状態に起因して必要とされる応答動作、及び、前記口頭命令の検出、のうちの少なくとも1つに基づいて、少なくとも前記被験者または前記エンティティと相互に通信するように構成される。
【0071】
幾つかの実装形態において、前記プロセッサは、更に、デジタル化された音響信号をより低くより狭い周波数にフィルタリングすること、デジタル化された音響信号をマスクテンプレートまたは暗号鍵を用いてマスクすること、及び、デジタル化された音響信号を数式を使用して変換すること、のうちの少なくとも1つによって、当該デジタル化された音響信号を暗号化するように構成される。
幾つかの実装形態において、前記プロセッサは、更に、前記音響信号を電子コマンドの辞書に対して比較して無関係な会話を廃棄し、前記口頭命令の存在を判定し、前記口頭命令の判定時に発話の内容を特定し、前記発話機能デバイスを介して前記口頭命令及び前記発話の内容に基づいて前記被験者または前記エンティティの少なくとも1つとの対話型セッションを開始する、及び、前記口頭命令及び前記発話の内容に基づいて前記応答動作を決定する、のうちの少なくとも一方を実行する、ように構成される。
幾つかの実装形態において、前記発話機能デバイスは、更に、指定された個人からの口頭命令を認識して応答するように構成される。
幾つかの実装形態において、前記プロセッサは、更に、前記力信号に基づいて少なくとも呼吸分析を実施し、前記音響信号を電子コマンドの辞書に対して比較して無関係な会話を廃棄し、前記口頭命令の存在を判定し、前記口頭命令の検出の失敗時に1または複数の類似性メトリックに基づいて前記力信号と前記音響信号とを融合して融合信号を生成し、
前記融合信号、前記力信号及び前記音響信号を用いて睡眠呼吸障害(SDB)を検出し、前記SDBの検出に対して応答動作を決定する、ように構成される。
幾つかの実装形態において、前記プロセッサは、更に、前記SDBの強度、大きさ、持続時間、及びタイプ、を判定するように構成される。
幾つかの実装形態において、前記応答動作は、可聴トーン、可聴メッセージ、ホームオートメーション装置のトリガー、音声アシスタント装置のトリガー、エンティティまたは緊急サービスへの呼び出し、将来のアクセスのためのデータのマーキング、データベースのエントリ、及び、健康診断、のうちの1または複数である。
【0072】
一般に、項目固有のパラメータを決定するための方法は、基板上の被験者に対して置かれた複数の非接触式センサから音響信号及び力信号を捕捉する工程と、前記音響信号及び前記力信号から少なくとも生体信号情報を決定する工程と、前記音響信号中の発話の存在を検出する工程と、被験者の健康状態に起因して必要とされる動作、及び、検出された発話内に見出される口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信する工程と、を備える。
【0073】
幾つかの実装形態において、当該方法は、更に、デジタル化された音響信号をより低くより狭い周波数にフィルタリングすること、デジタル化された音響信号をマスクテンプレートまたは暗号鍵を用いてマスクすること、及び、デジタル化された音響信号を数式を使用して変換すること、のうちの少なくとも1つによって、当該デジタル化された音響信号を暗号化する工程を備える。
幾つかの実装形態において、当該方法は、更に、前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄する工程と、前記口頭命令の存在を判定する工程と、前記口頭命令の判定時に発話の内容を特定する工程と、前記音響インタフェースを介して、前記口頭命令及び前記発話の内容に基づいて、前記被験者または他のエンティティの少なくとも1つとの対話型セッションを開始する、及び、前記口頭命令及び前記発話の内容に基づいて、応答動作を決定する、のうちの少なくとも一方を実行する工程と、を備える。
幾つかの実装形態において、当該方法は、更に、指定された個人からの口頭命令を認識して応答する工程を備える。
幾つかの実装形態において、当該方法は、更に、前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄する工程と、前記口頭命令の存在を判定する工程と、前記音響信号を分析して、前記口頭命令の検出の失敗時に呼吸障害を検出する工程と、睡眠呼吸障害(SDB)の検出に対して応答動作を決定する工程と、を備える。
幾つかの実装形態において、当該方法は、更に、前記被験者の健康状態を判定するために、前記力信号に基づいて、心臓分析、呼吸分析、及び、動き分析、のうちの少なくとも1つを実行する工程を備える。
幾つかの実装形態において、当該方法は、更に、前記被験者の健康状態を判定するために呼吸障害分析を実行する工程を備え、当該実行する工程は、更に、1または複数の類似性メトリックに基づいて、前記力信号と前記音響信号とを融合して融合信号を生成する工程と、前記融合信号、前記力信号及び前記音響信号を用いて、睡眠呼吸障害(SDB)を検出する工程と、前記SDBの検出に対して応答動作を決定する工程と、を有する。
幾つかの実装形態において、前記応答動作は、可聴トーン、可聴メッセージ、ホームオートメーション装置のトリガー、音声アシスタント装置のトリガー、エンティティまたは緊急サービスへの呼び出し、将来のアクセスのためのデータのマーキング、データベースのエントリ、及び、健康診断、のうちの1または複数である。
幾つかの実装形態において、当該方法は、更に、前記SDBの強度、大きさ、持続時間、及びタイプ、を判定する工程を備える。
幾つかの実装形態において、当該方法は、更に、前記捕捉された力信号に基づいて少なくとも呼吸分析を実施する工程と、前記音響信号を、電子コマンドの辞書に対して比較して、無関係な会話を廃棄する工程と、前記口頭命令の存在を判定する工程と、前記口頭命令の検出の失敗時に、1または複数の類似性メトリックに基づいて、前記力信号と前記音響信号とを融合して融合信号を生成する工程と、前記融合信号、前記力信号及び前記音響信号を用いて、睡眠呼吸障害(SDB)を検出する工程と、前記SDBの検出に対して応答動作を決定する工程と、を備える。
【0074】
一般に、装置は、被験者を支持するように構成された基板と、前記被験者に関する力信号を捕捉するように構成された複数の非接触式センサと、前記複数のセンサに接続され、被験者の健康状態をモニタリングするために前記力信号から生体信号を判定するように構成されたプロセッサと、前記被験者の健康状態に起因して必要とされる動作、及び、発話機能デバイスを介して受信された口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信するように構成された音響インタフェースと、を備える。
【0075】
一般に、装置は、被験者を支持するように構成された基板と、前記被験者に関する音響信号及び力信号を捕捉するように構成された複数の非接触式センサと、前記被験者と通信するように構成された音響インタフェースと、前記複数のセンサ及び前記音響インタフェースに接続されたプロセッサと、を備える。前記プロセッサは、被験者の健康状態をモニタリングするために前記音響信号及び前記力信号のうちの1または複数から生体信号を判定し、発話検出エンティティから前記音響信号中に検出される発話を受信する、ように構成される。前記音響インタフェースは、前記被験者の健康状態に起因して必要とされる動作、及び、検出された発話内の口頭命令、のうちの少なくとも1つに基づいて、前記被験者または前記被験者に関連付けられたエンティティのうちの少なくとも1つと相互に通信するように構成される。
【0076】
「実施例」、「態様」または「実施形態」という用語は、本明細書では、一実施例、一例、または一例示、として役立つことを意味するために使用されている。これらの用語の1または複数を使用するものとして本明細書に記載される任意の態様または設計は、必ずしも、他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「実施例」、「態様」または「実施形態」という用語の使用は、具体的な態様で概念を提示することを意図している。本出願で使用される時、「または」という用語は、排他的な「または」ではなく、包括的な「または」、を意味することが意図されている。すなわち、別段の指定がない限り、または、文脈から明らかでない限り、「XはAまたはBを含む」は、自然な包括的な順列のいずれをも意味することが意図されている。すなわち、XがAを含む場合、XがBを含む場合、あるいは、XがAとBとの両方を含む場合において、「XはAまたはBを含む」が充足される。また、本明細書及び添付の特許請求の範囲で使用される時、冠詞「a」及び「an」は、別段の指定がない限り、または、文脈から単数形を指すことが明らかでない限り、一般に「1または複数」を意味するものと解釈されるべきである。
【0077】
本開示は、特定の実施形態に関連して説明されたが、本開示は、開示された実施形態に限定されるものではなく、逆に、添付の特許請求の範囲の範囲内に含まれる様々な修正及び同等の構成を包含することが意図されている、ということが理解されるべきである。特許請求の範囲は、法律の下で許される通り、そのような全ての修正及び同等の構造を包含するように、最も広い解釈が与えられるべきである。
【国際調査報告】