IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ レスメッド センサー テクノロジーズ リミテッドの特許一覧

特開2024-104301動き感知のための装置、システムおよび方法
<>
  • 特開-動き感知のための装置、システムおよび方法 図1
  • 特開-動き感知のための装置、システムおよび方法 図2
  • 特開-動き感知のための装置、システムおよび方法 図3
  • 特開-動き感知のための装置、システムおよび方法 図4A
  • 特開-動き感知のための装置、システムおよび方法 図4B
  • 特開-動き感知のための装置、システムおよび方法 図5
  • 特開-動き感知のための装置、システムおよび方法 図6
  • 特開-動き感知のための装置、システムおよび方法 図7
  • 特開-動き感知のための装置、システムおよび方法 図8
  • 特開-動き感知のための装置、システムおよび方法 図8A
  • 特開-動き感知のための装置、システムおよび方法 図8B
  • 特開-動き感知のための装置、システムおよび方法 図8C
  • 特開-動き感知のための装置、システムおよび方法 図9A
  • 特開-動き感知のための装置、システムおよび方法 図9B
  • 特開-動き感知のための装置、システムおよび方法 図9C
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024104301
(43)【公開日】2024-08-02
(54)【発明の名称】動き感知のための装置、システムおよび方法
(51)【国際特許分類】
   A61B 5/11 20060101AFI20240726BHJP
   A61B 5/16 20060101ALI20240726BHJP
   A61B 5/113 20060101ALI20240726BHJP
   A61B 5/00 20060101ALI20240726BHJP
   A61B 5/0245 20060101ALI20240726BHJP
【FI】
A61B5/11 110
A61B5/16 130
A61B5/113
A61B5/00 102A
A61B5/0245 A
【審査請求】有
【請求項の数】28
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024053605
(22)【出願日】2024-03-28
(62)【分割の表示】P 2020534898の分割
【原出願日】2018-12-21
(31)【優先権主張番号】62/610,013
(32)【優先日】2017-12-22
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
2.BLUETOOTH
3.リナックス
4.ZIGBEE
(71)【出願人】
【識別番号】508354647
【氏名又は名称】レスメッド センサー テクノロジーズ リミテッド
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(72)【発明者】
【氏名】ショルディス,レドモンド
(72)【発明者】
【氏名】マクマホン,スティーヴン
(72)【発明者】
【氏名】レン,マイケル
(57)【要約】      (修正有)
【課題】生物学的な動きのモニターを効率的かつ有効な態様で行う方法が、所望されている。
【解決手段】対話型オーディオデバイスなどに対してアクティブ音声生成により生理学的な動きの検出を提供する。プロセッサは、前記対話型オーディオデバイスへ接続されたマイクロフォンを介して、感知された可聴の言語通信を評価し得る。プロセッサは、プロセッサへ接続されたスピーカを介して音声信号をユーザの近隣に生成することを制御し得る。プロセッサは、反射された音声信号の感知をプロセッサへ接続されたマイクロフォンを介して制御し得る。この反射された音声信号は、ユーザや近隣からの生成された音声信号の反射である。プロセッサは、反射された音声を例えば復調技術によって処理して、生理学的な動きの信号を導出し得る。プロセッサは、前記感知された可聴の言語通信に応答して、前記導出された生理学的な動きの信号の評価に基づいた出力を生成させ得る。
【選択図】図1
【特許請求の範囲】
【請求項1】
プロセッサにより実行可能な命令が保存されたプロセッサにより読取可能な媒体であっ
て、前記プロセッサにより実行可能な命令は、対話型オーディオデバイスのプロセッサに
よって実行されると、前記プロセッサにユーザの生理学的な動きを検出させ、前記プロセ
ッサにより実行可能な命令は、
前記対話型オーディオデバイスへ接続されたスピーカを介して前記対話型オーディオデ
バイスの近傍への音声信号の生成を制御する命令と、
前記対話型オーディオデバイスへ接続されたマイクロフォンを介して前記近傍からの反
射された音声信号の感知を制御する命令と、
前記感知された反射音信号の少なくとも一部および前記音声信号の少なくとも一部を示
す信号を用いて生理学的な動きの信号を導出する命令と、
前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力を生成す
る命令と
を含む、プロセッサにより読取可能な媒体。
【請求項2】
前記生成された音声信号の少なくとも一部は、実質的に非可聴音のレンジ内にある、請
求項1に記載のプロセッサにより読取可能な媒体。
【請求項3】
前記生成された音声信号の一部は、低周波超音波音響信号である、請求項2に記載のプ
ロセッサにより読取可能な媒体。
【請求項4】
前記音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス
測定信号を含む、請求項1~3のいずれか一項に記載のプロセッサにより読取可能な媒体
【請求項5】
前記導出された生理学的な動きの信号は、呼吸の動き、全身の動きまたは心臓の動きの
うち1つ以上を含む、請求項1~4のいずれか一項に記載のプロセッサにより読取可能な
媒体。
【請求項6】
前記生理学的な動きの信号を導出する命令は、オシレータ信号を前記感知された反射音
信号の一部で乗算するように構成される、請求項1~5のいずれか一項に記載のプロセッ
サにより読取可能な媒体。
【請求項7】
前記対話型オーディオデバイスへ接続された前記マイクロフォンを介して感知された前
記可聴の言語通信の評価を行うようにとの旨のプロセッサにより実行可能な命令をさらに
含み、前記出力を生成する前記命令は、前記感知された可聴の言語通信に応答して前記出
力を生成するように構成される、請求項1~6のいずれか一項に記載のプロセッサにより
読取可能な媒体。
【請求項8】
前記生理学的な動きの信号の導出のために前記プロセッサにより実行可能な命令は、前
記感知された反射音信号の一部の復調を前記音声信号の少なくとも一部を用いて行うこと
を含む、請求項1~7のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項9】
前記復調は、前記音声信号の一部と、前記感知された反射音信号の一部との乗算を含む
、請求項8に記載のプロセッサにより読取可能な媒体。
【請求項10】
前記音信号の生成を制御する前記プロセッサにより実行可能な命令により、デュアルト
ーン周波数変調された連続波信号が生成される、請求項1~9のいずれか一項に記載のプ
ロセッサにより読取可能な媒体。
【請求項11】
前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸歯状周波数変
化と重複された第1の鋸歯状周波数変化を含む、請求項1~10のいずれか一項に記載の
プロセッサにより読取可能な媒体。
【請求項12】
超広帯域(UWB)音声信号を可聴ホワイトノイズとして生成するプロセッサにより実
行可能な命令をさらに含み、前記プロセッサにより読取可能な媒体は、前記UWB音声信
号を用いてユーザの動きを検出する命令を含む、請求項1~11のいずれか一項に記載の
プロセッサにより読取可能な媒体。
【請求項13】
低周波超音波エコーの距離測定の較正のためにセットアッププロセスにおいて前記スピ
ーカからプロービング音響シーケンスを生成させるプロセッサにより実行可能な命令をさ
らに含む、請求項1~12のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項14】
前記マイクロフォンと前記対話型オーディオデバイスの別のマイクロフォンとの間の距
離の推定のためにセットアッププロセスにおいて前記スピーカを含む1つ以上のスピーカ
から時間同期された較正音響信号を生成させるプロセッサにより実行可能な命令、をさら
に含む、請求項1~13のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項15】
検出される領域をさらに局所化するためにビーム形成プロセスを作動させるプロセッサ
により実行可能な命令をさらに含む、請求項1~14のいずれか一項に記載のプロセッサ
により読取可能な媒体。
【請求項16】
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力
は、モニターされたユーザ睡眠情報を含む、請求項1~15のいずれか一項に記載のプロ
セッサにより読取可能な媒体。
【請求項17】
前記導出された生理学的な動きの信号の前記部分の評価は、1つ以上の生理学的パラメ
ータを検出することを含む、請求項1~16のいずれか一項に記載のプロセッサにより読
取可能な媒体。
【請求項18】
前記1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍数、心臓の振
幅、相対的心臓の振幅および心拍数の変動性のうちいずれか1つ以上を含む、請求項17
に記載のプロセッサにより読取可能な媒体。
【請求項19】
前記モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージ
における時間のうちいずれかを含む、請求項16~18のいずれか一項に記載のプロセッ
サにより読取可能な媒体。
【請求項20】
前記生成された出力は、対話型のクエリ応答提示を含む、請求項1~19のいずれか一
項に記載のプロセッサにより読取可能な媒体。
【請求項21】
前記生成された対話型のクエリ応答提示は、スピーカを介して実行される、請求項20
に記載のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項22】
前記生成された対話型のクエリ応答提示は、モニターされたユーザ睡眠情報の向上のた
めのアドバイスを含む、請求項21に記載のプロセッサにより読取可能な媒体。
【請求項23】
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力
は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の
実行にさらに基づく、請求項1~22のいずれか一項に記載のプロセッサにより読取可能
な媒体。
【請求項24】
前記検索は、記録されたユーザデータに基づく、請求項23に記載のプロセッサにより
読取可能な媒体。
【請求項25】
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力
は、自動化された機器またはシステムの制御のための制御信号を含む、請求項1~24の
いずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項26】
前記制御信号を前記自動化された機器またはシステムへネットワークを介して送信する
プロセッサ制御命令をさらに含む、請求項25に記載のプロセッサにより読取可能な媒体
【請求項27】
前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の
少なくとも一部の評価に基づいて行うための制御信号を生成させるプロセッサ制御命令を
さらに含む、請求項1~26のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項28】
前記対話型オーディオデバイスの設定を変更するための前記制御信号は、前記対話型オ
ーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた
音量変更を含む、請求項27に記載のプロセッサにより読取可能な媒体。
【請求項29】
前記プロセッサにより実行可能な命令は、複数のユーザの睡眠特性のモニターのために
異なる音響感知範囲の動き特性を評価するように構成される、請求項1~28のいずれか
一項に記載のプロセッサにより読取可能な媒体。
【請求項30】
前記音信号の生成を制御する命令により、異なるユーザを異なる周波数で感知するため
の異なる感知周波数において同時感知信号を生成することが制御される、請求項29に記
載のプロセッサにより読取可能な媒体。
【請求項31】
前記音信号の生成を制御する命令により、異なるユーザを異なる時間において感知する
ためのインタリーブ型音響感知信号の生成が制御される、請求項30に記載のプロセッサ
により読取可能な媒体。
【請求項32】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または
不在を検出するプロセッサにより実行可能な命令をさらに含む、請求項1~32のいずれ
か一項に記載のプロセッサにより読取可能な媒体。
【請求項33】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメト
リック認識を行う旨のプロセッサにより実行可能な命令をさらに含む、請求項1~32の
いずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項34】
(a)前記導出された生理学的な動きの信号の分析から決定されたバイオメトリック評
価および/または(b)前記導出された生理学的な動きの信号の少なくとも一部の分析か
ら決定された存在検出に基づいたネットワークを介した通信を生成させるプロセッサによ
り実行可能な命令をさらに含む、請求項1~33のいずれか一項に記載のプロセッサによ
り読取可能な媒体。
【請求項35】
ユーザの動きの存在を音響的に検出すること、前記ユーザに可聴的に呼び掛けること、
前記ユーザを可聴的に認証すること、および前記ユーザに権限付与することまたは前記ユ
ーザについてのアラームメッセージを通信することを前記対話型オーディオデバイスに行
わせるように構成されたプロセッサにより実行可能な命令、をさらに含む、請求項1~3
4のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項36】
前記ユーザを可聴的に認証するプロセッサにより実行可能な命令は、前記マイクロフォ
ンによって感知された前記ユーザの言葉の音波と、事前記録された言葉の音波とを比較す
るように構成される、請求項35に記載のプロセッサにより読取可能な媒体。
【請求項37】
プロセッサにより実行可能な命令は、動きに基づいたバイオメトリック感知を用いて前
記ユーザを認証するように構成される、請求項35~36のいずれか一項に記載のプロセ
ッサにより読取可能な媒体。
【請求項38】
前記対話型オーディオデバイスに前記導出された生理学的な動きの信号の少なくとも一
部に基づいて動きジェスチャーを検出させるプロセッサにより実行可能な命令と、
前記検出された動きジェスチャーに基づいて制御信号を生成させる旨、通知を送信する
旨、または、(a)自動化された機器および/または(b)前記対話型オーディオデバイ
スの動作への変更を制御する旨のプロセッサにより実行可能な命令と
をさらに含む、請求項1~37のいずれか一項に記載のプロセッサにより読取可能な媒
体。
【請求項39】
前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記
対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフ
ォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタント
プロセスが連動される、請求項38に記載のプロセッサにより読取可能な媒体。
【請求項40】
前記対話型音声アシスタント動作の開始は、前記マイクロフォン感知による言語キーワ
ードの検出にさらに基づく、請求項39に記載のプロセッサにより読取可能な媒体。
【請求項41】
前記対話型オーディオデバイスに前記導出された生理学的な動きの信号の少なくとも一
部に基づいてユーザの呼吸動きを検出させるプロセッサにより実行可能な命令、および前
記ユーザが自身の呼吸を調節するきっかけになるような出力キューを生成させるプロセッ
サにより実行可能な命令をさらに含む、請求項1~40のいずれか一項に記載のプロセッ
サにより読取可能な媒体。
【請求項42】
別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を前記
対話型オーディオデバイスの前記マイクロフォンによって感知された非可聴音波を介して
前記対話型オーディオデバイスに受信させるためのプロセッサにより実行可能な命令をさ
らに含む、請求項1~41のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項43】
前記対話型オーディオデバイスの近傍において前記音信号の生成を制御する命令により
、前記音信号の少なくとも一部を前記通信に基づいて生成するためのパラメータが調節さ
れる、請求項42に記載のプロセッサにより読取可能な媒体。
【請求項44】
前記調節されたパラメータにより、前記対話型オーディオデバイスと前記別の対話型オ
ーディオデバイスとの間の干渉が低減される、請求項43に記載のプロセッサにより読取
可能な媒体。
【請求項45】
前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始の
検出をさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含む、請求項1
~44のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項46】
前記サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および
窓被覆材制御のうち1つ以上を含む、請求項45に記載のプロセッサにより読取可能な媒
体。
【請求項47】
フィードバックを収集するようユーザを促す旨およびこれに応答して前記導出された生
理学的な動きの信号の一部および前記フィードバックのうち少なくとも1つに基づいてア
ドバイスを生成させるプロセッサにより実行可能な命令をさらに含む、請求項1~46の
いずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項48】
環境データを決定するプロセッサにより実行可能な命令をさらに含み、前記アドバイス
は、前記決定された環境データにさらに基づく、請求項47に記載のプロセッサにより読
取可能な媒体。
【請求項49】
環境データを決定するプロセッサにより実行可能な命令と、前記決定された環境データ
および前記導出された生理学的な動きの信号の少なくとも一部に基づいて環境制御システ
ムのために制御信号を生成させるプロセッサにより実行可能な命令とをさらに含む、請求
項48に記載のプロセッサにより読取可能な媒体。
【請求項50】
睡眠向上サービスを提供するプロセッサにより実行可能な命令をさらに含み、前記睡眠
向上サービスは、(a)検出された睡眠状態および/または収集されたユーザフィードバ
ックに応答してアドバイスを生成させることおよび(b)睡眠環境状態の設定および/ま
たは睡眠に関連するアドバイスメッセージの前記ユーザへの提供のために環境用機器の制
御のための制御信号を生成すること、のうちいずれかを含む、請求項1~49のいずれか
一項に記載のプロセッサにより読取可能な媒体。
【請求項51】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてジェスチャーを検出
する旨および前記対話型オーディオデバイスの対話型音声アシスタント動作の開始のため
にマイクロフォン感知を開始させる旨のプロセッサにより実行可能な命令をさらに含む、
請求項1~50のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項52】
前記導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開
始およびモニターするプロセッサにより実行可能な命令をさらに含む、請求項1~51の
いずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項53】
ユーザの動きを前記近傍を通じて追跡するために前記生成された音信号のうち少なくと
も一部のパラメータを変動させることにより検出範囲を変動させるプロセッサにより実行
可能な命令をさらに含む、請求項1~52のいずれか一項に記載のプロセッサにより読取
可能な媒体。
【請求項54】
前記導出された生理学的な動きの信号の少なくとも一部を用いて権限付与されていない
動きを検出するプロセッサにより実行可能な命令と、前記ユーザまたは第三者への通知の
ためにアラームまたは通信を生成させるプロセッサにより実行可能な命令とをさらに含む
、請求項1~53のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項55】
前記通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される、
請求項54に記載のプロセッサにより読取可能な媒体。
【請求項56】
請求項1~55のいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアク
セスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前
記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへ
ダウンロードする命令を受信するように構成される、サーバ。
【請求項57】
対話型オーディオデバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセ
ッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと
、請求項1~55のいずれか一項に記載のプロセッサにより読取可能な媒体とを含むか、
または前記1つ以上のプロセッサは、請求項56に記載のサーバを用いて前記プロセッサ
により実行可能な命令にアクセスするように構成される、電子処理デバイス。
【請求項58】
前記対話型オーディオデバイスは、ポータブルデバイスである、請求項57に記載の対
話型オーディオデバイス。
【請求項59】
前記対話型オーディオデバイスは、携帯電話、スマートウォッチ、タブレットコンピュ
ータまたはスマートスピーカを含む、請求項57~58のいずれか一項に記載の対話型オ
ーディオデバイス。
【請求項60】
請求項1~55のいずれか一項に記載の前記プロセッサにより読取可能な媒体へアクセ
スを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の
前記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイス
へダウンロードするリクエストを前記サーバにおいて受信することと、前記リクエストに
応答して前記プロセッサにより実行可能な命令を前記対話型オーディオデバイスへ送信す
ることとを含む、方法。
【請求項61】
対話型オーディオデバイスのプロセッサの方法であって、
請求項1~55のいずれか一項に記載の前記プロセッサにより読取可能な媒体にプロセ
ッサからアクセスすることと、
前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令を前記プ
ロセッサにおいて実行することと
を含む、方法。
【請求項62】
対話型オーディオデバイスのユーザの生理学的な動きを検出する方法であって、
前記対話型オーディオデバイスへ接続されたスピーカを介して前記対話型オーディオデ
バイスの近傍への音声信号の生成することと、
対話型オーディオデバイスへ接続されたマイクロフォンを介して前記近傍からの反射さ
れた音声信号を感知することと、
プロセッサにおいて、前記感知された反射音信号の少なくとも一部および前記音声信号
の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出することと、
前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力をプロセ
ッサから生成することと
を含む、方法。
【請求項63】
前記生成された音声信号の少なくとも一部は、実質的に非可聴音のレンジ内にある、請
求項62に記載の方法。
【請求項64】
前記生成された音声信号の一部は、低周波超音波音響信号である、請求項63に記載の
方法。
【請求項65】
前記音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス
測定信号を含む、請求項62~64のいずれか一項に記載の方法。
【請求項66】
前記導出された生理学的な動きの信号は、呼吸動き、全身動きまたは心臓動きのうち1
つ以上を含む、請求項62~65のいずれか一項に記載の方法。
【請求項67】
オシレータ信号を前記感知された反射音信号の一部で乗算することにより前記生理学的
な動きの信号を導出することを含む、請求項62~66のいずれか一項に記載の方法。
【請求項68】
感知された可聴の言語通信の評価を前記対話型オーディオデバイスへ接続された前記マ
イクロフォンを介してプロセッサにおいて行うことをさらに含み、前記出力を生成させる
ことは、前記感知された可聴の言語通信に応答して行われる、請求項62~67のいずれ
か一項に記載の方法。
【請求項69】
前記生理学的な動きの信号を導出することは、前記感知された反射音信号の一部を前記
音声信号の少なくとも一部を用いて復調することを含む、請求項62~68のいずれか一
項に記載の方法。
【請求項70】
前記復調は、前記音声信号の一部と、前記感知された反射音信号の一部との乗算を含む
、請求項69に記載の方法。
【請求項71】
前記音声信号の生成は、デュアルトーン周波数変調連続波信号を生成する、請求項62
~70のいずれか一項に記載の方法。
【請求項72】
前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸歯状周波数変
化と重複された第1の鋸歯状周波数変化を含む、請求項62~71のいずれか一項に記載
の方法。
【請求項73】
超広帯域(UWB)音声信号を可聴ホワイトノイズとして生成することをさらに含み、
ユーザの動きが前記UWB音声信号を用いて検出される、請求項62~72のいずれか一
項に記載の方法。
【請求項74】
セットアッププロセスにおいてプロービング音響シーケンスを前記スピーカから生成さ
せて低周波超音波エコーの距離測定を較正することをさらに含む、請求項62~73のい
ずれか一項に記載の方法。
【請求項75】
セットアッププロセスにおいて時間同期された較正音響信号を前記スピーカを含む1つ
以上のスピーカから生成させて、前記マイクロフォンと前記対話型オーディオデバイスの
別のマイクロフォンとの間の距離を推定することをさらに含む、請求項62~74のいず
れか一項に記載の方法。
【請求項76】
ビーム形成プロセスを作動させて、検出された領域をさらに局所化させることをさらに
含む、請求項62~75のいずれか一項に記載の方法。
【請求項77】
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力
は、モニターされたユーザ睡眠情報を含む、請求項62~76のいずれか一項に記載の方
法。
【請求項78】
前記導出された生理学的な動きの信号の前記部分の評価は、1つ以上の生理学的パラメ
ータを検出することを含む、請求項62~77のいずれか一項に記載の方法。
【請求項79】
前記1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍数、相対的心
臓振幅、心臓振幅および心拍数変動性のうちいずれか1つ以上を含む、請求項78に記載
の方法。
【請求項80】
前記モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージ
における時間のうちいずれかを含む、請求項77~79のいずれか一項に記載の方法。
【請求項81】
前記生成された出力は、対話型のクエリ応答提示を含む、請求項62~80のいずれか
一項に記載の方法。
【請求項82】
前記生成された対話型のクエリ応答提示は、スピーカを介して実行される、請求項81
に記載の方法。
【請求項83】
前記生成された対話型のクエリ応答提示は、モニターされたユーザ睡眠情報の向上のた
めのアドバイスを含む、請求項82に記載の方法。
【請求項84】
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力
は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の
実行にさらに基づく、請求項62~83のいずれか一項に記載の方法。
【請求項85】
前記検索は、記録されたユーザデータに基づく、請求項84に記載の方法。
【請求項86】
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力
は、自動化された機器またはシステムの制御のための制御信号を含む、請求項62~85
のいずれか一項に記載の方法。
【請求項87】
前記制御信号を前記自動化された機器または前記システムへネットワークを介して送信
することをさらに含む、請求項86に記載の方法。
【請求項88】
前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の
少なくとも一部の評価に基づいて行うための制御信号を前記プロセッサ内において生成さ
せることをさらに含む、請求項62~87のいずれか一項に記載の方法。
【請求項89】
前記対話型オーディオデバイスの設定を変更するための前記制御信号は、前記対話型オ
ーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた
音量変更を含む、請求項88に記載の方法。
【請求項90】
異なる音響感知範囲の動き特性の評価を前記プロセッサ内において行って複数のユーザ
の睡眠特性をモニターすることをさらに含む、請求項62~89のいずれか一項に記載の
方法。
【請求項91】
異なるユーザを異なる周波数で感知するための異なる感知周波数において同時音響感知
信号の生成を制御することをさらに含む、請求項90に記載の方法。
【請求項92】
異なるユーザを異なる時間において感知するためのインタリーブ型音響感知信号の生成
を制御することをさらに含む、請求項91に記載の方法。
【請求項93】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または
不在を検出することをさらに含む、請求項62~92のいずれか一項に記載の方法。
【請求項94】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメト
リック認識を前記プロセッサにより行うことをさらに含む、請求項62~93のいずれか
一項に記載の方法。
【請求項95】
(a)前記導出された生理学的な動きの信号の分析から決定されたバイオメトリック評
価および/または(b)前記導出された生理学的な動きの信号の少なくとも一部の分析か
ら決定された存在検出に基づいてネットワークを介した通信を前記プロセッサによって生
成させることをさらに含む、請求項62~94のいずれか一項に記載の方法。
【請求項96】
ユーザの動きの存在を音響的に検出すること、前記ユーザに可聴的に呼び掛けること、
前記ユーザを可聴的に認証すること、および前記ユーザに権限付与すること、または前記
ユーザについてのアラームメッセージを通信することを前記対話型オーディオデバイスに
よって行うことをさらに含む、請求項62~95のいずれか一項に記載の方法。
【請求項97】
前記ユーザを可聴的に認証することは、前記マイクロフォンによって感知された前記ユ
ーザの言葉の音波と、事前記録された言葉の音波とを比較することを含む、請求項96に
記載の方法。
【請求項98】
動きに基づいたバイオメトリック感知により前記ユーザを認証することをさらに含む、
請求項96~97のいずれか一項に記載の方法。
【請求項99】
前記導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを
前記対話型オーディオデバイスにより検出することと、
通知を送信するためまたは(a)自動化された機器および/または(b)前記対話型オ
ーディオデバイスの動作への変更を制御するための制御信号を前記対話型オーディオデバ
イスのプロセッサ内において前記検出された動きジェスチャーに基づいて生成させること

をさらに含む、請求項62~98のいずれか一項に記載の方法。
【請求項100】
前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記
対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフ
ォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタント
プロセスが連動される、請求項99に記載の方法。
【請求項101】
前記対話型音声アシスタント動作を開始することは、前記マイクロフォン感知による言
語キーワードの検出にさらに基づく、請求項100に記載の方法。
【請求項102】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを
検出することと、前記ユーザの呼吸の調節のきっかけになる出力キューを生成させること
とを前記対話型オーディオデバイスによって行うことをさらに含む、請求項62~101
のいずれか一項に記載の方法。
【請求項103】
別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を前記
対話型オーディオデバイスの前記マイクロフォンによって感知された非可聴音波を介して
前記対話型オーディオデバイスにより受信することをさらに含む、請求項62~102の
いずれか一項に記載の方法。
【請求項104】
前記音信号の少なくとも一部を前記対話型オーディオデバイスの近隣において前記通信
に基づいて生成するためのパラメータを調節することをさらに含む、請求項103に記載
の方法。
【請求項105】
前記調節のためのパラメータにより、前記対話型オーディオデバイスと、その他の対話
型オーディオデバイスとの間の干渉が低減される、請求項104に記載の方法。
【請求項106】
前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始を
検出することをさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含む、
請求項62~105のいずれか一項に記載の方法。
【請求項107】
前記サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および
窓被覆材制御のうち1つ以上を含む、請求項106に記載の方法。
【請求項108】
フィードバックを収集するようユーザを促すことと、これに応答して、前記導出された
生理学的な動きの信号の一部および前記フィードバックのうち少なくとも1つに基づいて
アドバイスを生成させることと、をさらに含む、請求項62~107のいずれか一項に記
載の方法。
【請求項109】
環境データを決定することをさらに含み、前記アドバイスは、前記決定された環境デー
タにさらに基づく、請求項108に記載の方法。
【請求項110】
環境データを決定することと、前記決定された環境データおよび前記導出された生理学
的な動きの信号の少なくとも一部に基づいて環境制御システムのための制御信号を生成さ
せることとをさらに含む、請求項108に記載の方法。
【請求項111】
睡眠向上サービスの提供を制御することをさらに含み、前記睡眠向上サービスは、(a
)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバ
イスを生成させることと、(b)睡眠環境状態の設定および/または睡眠に関連するアド
バイスメッセージの前記ユーザへの提供のために環境用機器の制御のための制御信号を生
成することとのうちいずれかを含む、請求項62~110のいずれか一項に記載の方法。
【請求項112】
前記導出された生理学的な動きの信号に基づいてジェスチャーを検出することと、前記
対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン
感知を開始させることとをさらに含む、請求項62~111のいずれか一項に記載の方法
【請求項113】
前記導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開
始およびモニターすることをさらに含む、請求項62~112のいずれか一項に記載の方
法。
【請求項114】
ユーザの動きを前記近隣を通じて追跡するために前記生成された音信号のうち少なくと
も一部のパラメータを変動させることにより検出範囲を変動させることをさらに含む、請
求項62~113のいずれか一項に記載の方法。
【請求項115】
権限付与されていない動きの検出を前記導出された生理学的な動きの信号の少なくとも
一部を用いて行うことと、第三者前記ユーザまたは第三者への通知のためにアラームまた
は通信を生成させることをさらに含む、請求項62~114のいずれか一項に記載の方法
【請求項116】
前記通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される、
請求項115に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
1 関連出願への相互参照
本出願は、米国仮特許出願第62/610,013号(出願日:2017年12月22
日)の利益を主張する。本明細書中、その内容の全体を引用することにより本明細書の一
部とする。
【0002】
2 技術の背景
2.1 技術の分野
本技術は、オーディオ装備を用いた生体の生物学的な動き(bio-motion)の検出に関す
る。より詳細には、本技術は、オーディオ装備を用いた音響感知を利用して、生理学的な
動き(movement)(例えば、呼吸の動作、心臓動作および/または他の周期性の低い生体
の身体動作)などの生理学的な特性を検出することに関する。
【背景技術】
【0003】
2.2 関連技術の説明
例えば睡眠時において人の呼吸および身体(手足を含む)の動きを監視又はモニターす
ることは、多数の状況において有用であり得る。例えば、このようなモニターは、睡眠時
呼吸障害の状態(例えば、睡眠時無呼吸)のモニターおよび/または診断において有用で
あり得る。従来、アクティブ無線測位または関連する用途への導入の障壁としては、特別
なハードウェア回路やアンテナが必要になる点がある。
【0004】
スマートフォンおよび他のポータブルで目立たない処理デバイスまたは電子通信デバイ
スは、陸上通信線の利用が不可能な発展途上国においても、日常生活において普遍的なも
のになっている。例えば、多くの家庭において、音の放出および記録が可能なオーディオ
デバイスが用いられている(例えば、スマートスピーカ、アクティブサウンドバー、スマ
ートデバイス、スマートTVおよび他のデバイス)。このようなデバイスは、バーチャル
アシスタントを用いて音声コマンドをサポートし得る。バーチャルアシスタントは、受信
した言語(verbal)コマンドを処理し、オーディオ出力と共に応答する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
生物学的な動き(すなわち、生理学的な動き(physiological movement))のモニター
を効率的かつ有効な態様で行う方法が、所望されている。このようなシステムおよび方法
の実現は、相当な技術的チャレンジを伴う。
【課題を解決するための手段】
【0006】
3 技術の簡単な説明
本技術は、例えば対象が睡眠中のときの対象の動きを検出するシステム、方法および装
置に関する。このような動き検出(例えば、例えば呼吸の動作、対象の動作)に基づいて
、睡眠関連特性、呼吸特性、心臓の特性、睡眠状態などが検出され得る。より詳細には、
プロセッサにより作動可能なオーディオ機器(例えば、対話型オーディオデバイス)また
は他の処理デバイス(例えば、スマートフォン、タブレット、スマートスピーカ)に関連
する用途において、動き検出のために、処理デバイスセンサ(例えば、一体型のかつ/ま
たは外部から接続可能なスピーカ(単数または複数)およびマイクロフォン(単数または
複数))のオーディオ機能が適用される。本明細書中、「デバイス」という用語は広範な
意味を持つものとして用いられ、集中型または分散型のシステムを含み得る。このシステ
ムは、1つ以上のスピーカと、1つ以上のマイクロフォンと、1つ以上のプロセッサとを
含み得る。しかし、いくつかのバージョンにおいて、これは、例えばコンポーネントと本
明細書中に記載の感知方法/検出方法の機能のうち任意の1つ以上とをユニットとして実
質的に提供するための一体型デバイスであってもよい。例えば、処理デバイスならびにそ
の方法および感知機能を有するコンポーネントを、例えば、ハンドヘルドシステム(例え
ば、感知構成型スマートフォン)または他のそのようなポータブルシステムなどの一体型
ハウジング内に、一体型にすることができる。
【0007】
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含み得る。この
媒体上には、プロセッサにより実行可能な命令が保存される。これらの命令がプロセッサ
によって実行されると、プロセッサは、ユーザの生理学的な動きの検出などにより生理学
的パラメータを検出する。生理学的な動きは、呼吸動作、心臓動作、手足動作、ジェスチ
ャー動作および全身動作のうち任意の1つ以上を含み得る。生理学的パラメータは、検出
された生理学的な動きから導出される1つ以上の特性も含み得る(例えば、呼吸振幅、相
対的呼吸振幅、呼吸数(respiration rate)、呼吸数の変動性、心臓の振幅、相対的心臓
の振幅、心拍数、心拍数の変動性)、ならびに他の生理学的パラメータから導出され得る
他の特性(例えば、(a)存在状態(存在・不存在)、(b)睡眠状態(例えば、覚醒ま
たは睡眠)、(c)睡眠ステージ(例えば、N-REM1(ノンレムの浅い睡眠サブステ
ージ1)、N-REM2(ノンレムの浅い睡眠サブステージ2)、N-REM3(ノンレ
ム熟睡(徐波睡眠(SWS)とも呼ばれる))、REM睡眠など)、または、(d)疲労
および/または(e)眠気といった他の睡眠関連パラメータ)。プロセッサにより実行可
能な命令は、対話型オーディオデバイスへ接続されたスピーカを介してユーザを含み得る
近傍への音声信号の生成を制御する命令を含み得る。プロセッサにより実行可能な命令は
、対話型オーディオ処理デバイスへ接続されたマイクロフォンを介した、ユーザから反射
された音声信号の感知を制御する命令を含み得る。プロセッサにより実行可能な命令は、
感知された音声信号を処理する命令を含み得る。プロセッサにより実行可能な命令は、対
話型オーディオデバイスへ接続されたマイクロフォンを介して感知された可聴の言語(ve
rbal)通信の評価を行うようにとの旨の命令を含み得る。プロセッサにより実行可能な命
令は、生理学的な動きの信号を音信号および反射音信号を用いて導出する命令を含み得る
。プロセッサにより実行可能な命令は、感知された可聴な言語通信に応答して、導出され
た生理学的な動きの信号の評価に基づいた出力を生成させる命令を含み得る。
【0008】
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含む。この媒体
上には、プロセッサにより実行可能な命令が保存される。これらの命令が対話型オーディ
オデバイスのプロセッサによって実行されると、プロセッサは、ユーザの生理学的な動き
を検出する。プロセッサにより実行可能な命令は、対話型オーディオデバイスへ接続され
たスピーカを介して対話型オーディオデバイスの近傍の音声信号の生成を制御する命令を
含み得る。プロセッサにより実行可能な命令は、対話型オーディオデバイスへ接続された
マイクロフォンを介した、近傍からの反射された音声信号の感知を制御する命令を含み得
る。プロセッサにより実行可能な命令は、感知された反射音信号の少なくとも一部および
音声信号の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出する命令を含
み得る。プロセッサにより実行可能な命令は、導出された生理学的な動きの信号の少なく
とも一部の評価に基づいた出力を生成する命令を含み得る。
【0009】
いくつかのバージョンにおいて、生成された音声信号のうち少なくとも一部(例えば、
感知用途に用いられる一部)は、実質的に非可聴音域内にあり得る。生成された音声信号
の少なくとも一部は、低周波超音波音響信号であり得る。音声信号の一部を示す信号は、
内部生成したオシレータ信号またはダイレクトパス測定信号で含み得る。生理学的な動き
の信号を導出する命令は、生理学的な動きの信号を(a)生成された音声信号の少なくと
も一部および感知された反射音信号の少なくとも一部と共にまたは(b)感知された反射
音信号の一部および生成された音声信号の少なくとも一部と関連付けられ得る関連信号を
用いて導出するように構成され得る。任意選択的に、関連信号は、内部生成したオシレー
タ信号またはダイレクトパス測定信号であり得る。生理学的な動きの信号を導出する命令
は、オシレータ信号を感知された反射音信号の一部で乗算するように、構成され得る。導
出された生理学的な動きの信号は、呼吸動き、全身動きまたは心臓動きのうち1つ以上あ
るいはこのような動きのうちいずれか1つ以上の検出を含み得る。媒体は、対話型オーデ
ィオデバイスへ接続されたマイクロフォンを介して感知された可聴の言語(verbal)通信
の評価を行うようにとの旨のプロセッサにより実行可能な命令をさらに含み得る。出力を
生成する命令は、感知された可聴な言語通信に応答して出力を生成させるように構成され
得る。生理学的な動きの信号の導出のために前記プロセッサにより実行可能な命令は、感
知された反射音信号の一部の復調を音声信号の少なくとも一部を用いて行うことを含む。
復調は、音声信号の一部と、感知された反射音信号の一部とを乗算することを含み得る。
【0010】
音声信号の生成を制御するプロセッサにより実行可能な命令は、デュアルトーン周波数
変調の連続波信号を生成し得る。デュアルトーン周波数変調の連続波信号は、反復波形に
おいて第2の鋸歯状(sawtooth)周波数変化と重複された第1の鋸歯状周波数変化を含み
得る。この媒体は、超広帯域(UWB)音声信号を可聴のホワイトノイズとして生成する
プロセッサにより実行可能な命令を含み得る。プロセッサにより読取可能な媒体は、UW
B音声信号を用いてユーザの動きを検出する命令を含み得る。媒体は、低周波超音波エコ
ーの距離測定を較正するためにセットアッププロセスにおいてスピーカからプロービング
音響シーケンスを生成させるプロセッサにより実行可能な命令をさらに含み得る。媒体は
、マイクロフォンと対話型オーディオデバイスの別のマイクロフォンとの間の距離の推定
のためにセットアッププロセスにおいてスピーカを含む1つ以上のスピーカから時間同期
された較正(calibration)音響信号を生成させるプロセッサにより実行可能な命令を含
み得る。媒体は、検出される領域をさらに局所化するためにビーム形成プロセスを作動さ
せるプロセッサにより実行可能な命令を含み得る。導出された生理学的な動きの信号の評
価に基づいて生成された出力は、モニターされたユーザ睡眠情報を含み得る。
【0011】
いくつかのバージョンにおいて、導出された生理学的な動きの信号の部分の評価は、1
つ以上の生理学的パラメータを検出することを含み得る。1つ以上の生理学的パラメータ
は、呼吸数(breathing rate)、呼吸の相対的振幅、心臓の振幅、相対的な心臓の振幅、
心拍数および心拍数の変動性のうちいずれか1つ以上を含み得る。モニターされたユーザ
睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれか
を含み得る。生成された出力は、対話型のクエリおよび応答の提示(presenation)を含
み得る。生成された対話型のクエリおよび応答の提示は、スピーカを介して実行され得る
。生成された対話型のクエリおよび応答の提示は、モニターされたユーザ睡眠情報の向上
のためのアドバイスを含み得る。導出された生理学的な動きの信号の部分の評価に基づい
て生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワーク
リソースの検索の実行にさらに基づき得る。検索は、過去のユーザデータまたは記録され
たユーザデータ(historic user data)に基づき得る。導出された生理学的な動きの信号
の少なくとも一部の評価に基づいて生成された出力は、自動化された機器またはシステム
の制御のための制御信号を含み得る。媒体は、制御信号を自動化された機器またはシステ
ムへネットワークを介して送信するプロセッサ制御命令をさらに含み得る。ネットワーク
は、インターネットであり得る。
【0012】
任意選択的に、媒体は、対話型オーディオデバイスの設定の変更を導出された生理学的
な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を生成させるプロセ
ッサ制御命令をさらに含み得る。対話型オーディオデバイスの設定の変更のための制御信
号は、対話型オーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の
検出に基づいた音量変更を含み得る。プロセッサにより実行可能な命令は、複数のユーザ
の睡眠特性のモニターのために異なる音響感知範囲の動き特性を評価するように、構成さ
れ得る。音信号の生成を制御する命令は、異なるユーザを異なる周波数で感知するための
異なる感知周波数を持つ同時感知信号を生成するように制御し得る。音信号の生成を制御
する命令は、異なるユーザを異なる時間において感知するためのインタリーブ型音響感知
信号の生成を制御し得る。媒体は、導出された生理学的な動きの信号の少なくとも一部に
基づいてユーザの存在または不在を検出するプロセッサにより実行可能な命令をさらに含
み得る。
【0013】
いくつかのバージョンにおいて、媒体は、導出された生理学的な動きの信号の少なくと
も一部に基づいてユーザのバイオメトリック認識を行う旨のプロセッサにより実行可能な
命令をさらに含み得る。媒体は、ネットワークを介した通信の生成を(a)導出された生
理学的な動きの信号の少なくとも一部の分析から決定されたバイオメトリック評価および
/または(b)導出された生理学的な動きの信号の少なくとも一部の分析から決定された
存在検出に基づいて生成させるプロセッサにより実行可能な命令をさらに含み得る。媒体
は、プロセッサにより実行可能な命令をさらに含み得る。これらの命令は、ユーザの動き
の存在を音響的に検出すること、ユーザに可聴的に呼び掛けること、ユーザを可聴的に認
証することおよびユーザに権限付与することまたはユーザについてのアラームメッセージ
を通信することを対話型オーディオデバイスに行わせるように構成される。ユーザを可聴
的に認証するプロセッサにより実行可能な命令は、マイクロフォンによって感知されたユ
ーザの言葉の音波と、事前記録された言葉の音波とを比較するように構成され得る。任意
選択的に、プロセッサにより実行可能な命令は、動きに基づいたバイオメトリック感知を
用いてユーザを認証するように構成され得る。
【0014】
いくつかのバージョンにおいて、媒体は、導出された生理学的な動きの信号の少なくと
も一部に基づいて動きジェスチャーを検出することを対話型オーディオデバイスに行わせ
る旨のプロセッサにより実行可能な命令を含み得る。媒体は、検出された動きジェスチャ
ーに基づいて制御信号を生成させる旨、通知を送信する旨または(a)自動化された機器
および/または(b)対話型オーディオデバイスの動作への変更を制御する旨のプロセッ
サにより実行可能な命令を含み得る。対話型オーディオデバイスの動作への変更を制御す
るための制御信号により、対話型オーディオデバイスの対話型音声アシスタント動作を開
始させるためにマイクロフォン感知を起動させることが実行され得、これにより、起動し
ていない対話型音声アシスタントプロセスが連動され得る。対話型音声アシスタント動作
を開始させることは、マイクロフォン感知による言語キーワードの検出にさらに基づき得
る。この媒体は、対話型オーディオデバイスに導出された生理学的な動きの信号の少なく
とも一部に基づいてユーザの呼吸動きを検出させる旨およびユーザが自身の呼吸を調節す
るきっかけになるような出力キューを生成させる旨のプロセッサにより実行可能な命令を
含み得る。
【0015】
いくつかのバージョンにおいて、媒体は、別の処理デバイスによって制御される別の対
話型オーディオデバイスからの通信を対話型オーディオデバイスのマイクロフォンによっ
て感知された非可聴の音波を介して対話型オーディオデバイスに受信させる旨のプロセッ
サにより実行可能な命令を含み得る。対話型オーディオデバイスの近傍における音信号の
生成を制御する命令により、音信号の少なくとも一部を通信に基づいて生成するためのパ
ラメータが調節され得る。調節されたパラメータにより、対話型オーディオデバイスと別
の対話型オーディオデバイスとの間の干渉に低減される。導出された生理学的な動きの信
号の少なくとも一部の評価は、睡眠開始または覚醒開始の検出をさらに含み得る。評価に
基づいた出力は、サービス制御信号を含み得る。サービス制御信号は、照明制御、機器制
御、音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含み得る。媒体
は、フィードバックを収集するようユーザを促す旨およびこれに応答して導出された生理
学的な動きの信号の一部およびフィードバックのうち少なくとも1つに基づいてアドバイ
スを生成させるプロセッサにより実行可能な命令をさらに含み得る。媒体は、環境データ
を決定するプロセッサにより実行可能な命令を含み得る。アドバイスは、決定された環境
データにさらに基づき得る。媒体は、環境データを決定するプロセッサにより実行可能な
命令と、決定された環境データおよび導出された生理学的な動きの信号の少なくとも一部
に基づいて環境制御システムのために制御信号を生成させるプロセッサにより実行可能な
命令とを含み得る。媒体は、睡眠向上サービスを提供するプロセッサにより実行可能な命
令を含み得る。睡眠向上サービスは、以下のうちいずれかを含み得る。すなわち、(a)
検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイ
スを生成させること、および(b)睡眠環境状態の設定および/または睡眠に関連するア
ドバイスメッセージのユーザへの提供のために環境用機器の制御のための制御信号を生成
することである。
【0016】
いくつかのバージョンにおいて、媒体は、導出された生理学的な動きの信号の少なくと
も一部に基づいてジェスチャーを検出する旨および対話型オーディオデバイスの対話型音
声アシスタント動作の開始のためにマイクロフォン感知を開始させる旨のプロセッサによ
り実行可能な命令を含み得る。媒体は、導出された生理学的な動きの信号の少なくとも一
部に基づいて昼寝セッションを開始およびモニターするプロセッサにより実行可能な命令
を含み得る。媒体は、ユーザの動きを近傍を通じて追跡するために生成された音信号のう
ち少なくとも一部のパラメータを変動させることにより検出範囲を変動させるプロセッサ
により実行可能な命令を含み得る。媒体は、導出された生理学的な動きの信号の少なくと
も一部を用いて権限付与されていない動きを検出する旨のプロセッサにより実行可能な命
令と、ユーザまたは第三者への通知のためにアラームまたは通信を生成させる旨のプロセ
ッサにより実行可能な命令とを含み得る。この通信により、スマートフォンまたはスマー
トウォッチ上にアラームが提供され得る。
【0017】
本技術のいくつかのバージョンは、サーバを含み得る。サーバは、本明細書中に記載の
ような任意のプロセッサにより読取可能な媒体へのアクセスを有し得る。サーバは、プロ
セッサにより読取可能な媒体のプロセッサにより実行可能な命令をネットワークを介して
対話型オーディオデバイスへダウンロードするリクエストを受信するように、構成され得
る。
【0018】
本技術のいくつかのバージョンは、対話型オーディオデバイスを含み得る。対話型オー
ディオデバイスは、1つ以上のプロセッサを含み得る。対話型オーディオデバイスは、1
つ以上のプロセッサへ接続されたスピーカを含み得る。対話型オーディオデバイスは、1
つ以上のプロセッサへ接続されたマイクロフォンを含み得る。対話型オーディオデバイス
は、本明細書中に記載の任意のプロセッサにより読取可能な媒体を含み得、かつ/または
、1つ以上のプロセッサは、本明細書中に記載のサーバ(単数または複数)のいずれかに
よりプロセッサにより実行可能な命令へアクセスするように構成され得る。任意選択的に
、対話型オーディオデバイスは、ポータブルおよび/またはハンドヘルドデバイスであり
得る。対話型オーディオデバイスは、携帯電話、スマートウォッチ、タブレットコンピュ
ータまたはスマートスピーカを含み得る。
【0019】
本技術のいくつかのバージョンは、本明細書中に記載のプロセッサにより読取可能な媒
体(単数または複数)のうちいずれかへのアクセスを有するサーバの方法を含み得る。本
方法は、プロセッサにより読取可能な媒体のプロセッサにより実行可能な命令をネットワ
ークを介して対話型オーディオデバイスへダウンロードするリクエストをサーバにおいて
受信することを含み得る。本方法は、リクエストに応答してプロセッサにより実行可能な
命令を対話型オーディオデバイスへ送信することを含み得る。
【0020】
本技術のいくつかのバージョンは、対話型オーディオデバイスのプロセッサの方法を含
み得る。本方法は、本明細書中に記載のプロセッサにより読取可能な任意の媒体へ、プロ
セッサを用いてアクセスすることを含み得る。本方法は、プロセッサにより読取可能な媒
体のプロセッサにより実行可能な命令をプロセッサにおいて実行することを含み得る。
【0021】
本技術のいくつかのバージョンは、ユーザの生理学的な動きの検出のための対話型オー
ディオデバイスの方法を含み得る。方法は、対話型オーディオデバイスへ接続されたスピ
ーカを介して対話型オーディオデバイスの近傍の音声信号の生成することを含み得る。方
法は、対話型オーディオデバイスへ接続されたマイクロフォンを介して近傍からの反射さ
れた音声信号の感知を制御する命令を含み得る。本方法は、反射音信号の少なくとも一部
および音声信号の少なくとも一部を示す信号を用いた生理学的な動きの信号をプロセッサ
内において導出することを含み得る。方法は、導出された生理学的な動きの信号の少なく
とも一部の評価に基づいた出力をプロセッサから生成することを含み得る。
【0022】
いくつかのバージョンにおいて、生成された音声信号のうち少なくとも一部(例えば、
感知用途に用いられる一部)は、実質的に非可聴音のレンジ内にあり得る。生成された音
声信号の一部は、低周波超音波音響信号であり得る。音声信号の一部を示す信号は、内部
生成したオシレータ信号またはダイレクトパス測定信号で含み得る。方法は、(a)生成
された音声信号の少なくとも一部および感知された反射音信号の一部を用いてまたは(b
)感知された反射音信号の一部および生成された音声信号の少なくとも一部と関連付けら
れ得る関連信号を用いて生理学的な動きの信号の導出することを含み得る。任意選択的に
、関連信号は、内部生成したオシレータ信号またはダイレクトパス測定信号であり得る。
方法は、オシレータ信号を感知された反射音信号の一部で乗算することにより生理学的な
動きの信号の導出することを含み得る。本方法は、感知された可聴の言語通信の評価を対
話型オーディオデバイスへ接続されたマイクロフォンを介してプロセッサにおいて行うこ
とを含み得る。出力を生成させることは、感知された可聴の言語通信に応答して行われ得
る。方法は、感知された反射音信号の一部を音信号の少なくとも一部により復調すること
により生理学的な動きの信号を導出することを含み得る。復調は、音声信号の一部を示す
信号と、感知された反射音信号の一部とを乗算することを含み得る。音声信号の生成は、
デュアルトーン周波数変調連続波信号を生成し得る。デュアルトーン周波数変調連続波信
号は、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸歯状周波数変化を
含み得る。本方法は、超広帯域(UWB)音声信号を可聴のホワイトノイズとして生成す
ることを含み得、ユーザの動きがこのUWB音声信号を用いて検出され得る。本方法は、
セットアッププロセスにおいてプロービング音響シーケンスをスピーカから生成させて低
周波超音波エコーの距離測定を較正することを含み得る。
【0023】
いくつかのバージョンにおいて、方法は、セットアッププロセスにおいて時間同期され
た較正音響信号をスピーカを含む1つ以上のスピーカから生成させて、マイクロフォンと
対話型オーディオデバイスの別のマイクロフォンとの間の距離を推定することを含み得る
。本方法は、ビーム形成プロセスを作動させて、検出された領域をさらに局所化させるこ
とを含み得る。任意選択的に、導出された生理学的な動きの信号の少なくとも一部の評価
に基づいて生成された出力は、モニターされたユーザ睡眠情報を含み得る。導出された生
理学的な動きの信号の少なくとも一部の評価は、1つ以上の生理学的パラメータを検出す
ることを含み得る。1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍
数、心臓振幅、相対的心臓振幅および心拍数変動性のうちいずれか1つ以上を含み得る。
モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおけ
る時間のうちいずれかを含み得る。生成された出力は、対話型のクエリ応答提示を含み得
る。生成された対話型のクエリ応答提示は、スピーカを介して実行され得る。生成された
対話型のクエリおよび応答提示は、モニターされたユーザ睡眠情報の向上のためのアドバ
イスを含み得る。
【0024】
いくつかのバージョンにおいて、導出された生理学的な動きの信号の少なくとも一部の
評価に基づいて生成された出力は、ネットワーク上のサーバへのアクセスおよび/または
ネットワークリソースの検索の実行にさらに基づき得る。検索は、記録されたユーザデー
タに基づき得る。導出された生理学的な動きの信号の評価の少なくとも一部に基づいて生
成された出力は、自動化された機器またはシステムの制御のための制御信号を含み得る。
方法は、ネットワークを介して制御信号を自動化された機器またはシステムへ送信するこ
とをさらに含み得る。ネットワークは、インターネットであり得る。本方法は、対話型オ
ーディオデバイスの設定の変更を導出された生理学的な動きの信号の少なくとも一部の評
価に基づいて行うための制御信号をプロセッサ内において生成させることをさらに含み得
る。対話型オーディオデバイスの設定の変更のための制御信号は、対話型オーディオデバ
イスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた音量変更を含
み得る。本方法は、異なる音響感知範囲の動き特性の評価をプロセッサ内において行って
複数のユーザの睡眠特性をモニターすることをさらに含み得る。
【0025】
本方法は、異なるユーザを異なる周波数で感知するための異なる感知周波数において同
時音響感知信号の生成を制御することをさらに含み得る。本方法は、異なるユーザを異な
る時間において感知するためのインタリーブ型音響感知信号の生成を制御することを含み
得る。本方法は、導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの
存在または不在を検出することを含み得る。本方法は、導出された生理学的な動きの信号
の少なくとも一部に基づいてユーザのバイオメトリック認識をプロセッサにより行うこと
を含み得る。本方法は、(a)導出された生理学的な動きの信号の少なくとも一部の分析
から決定されたバイオメトリック評価および/または(b)導出された生理学的な動きの
信号の少なくとも一部の分析から決定された存在検出に基づいてネットワークを介した通
信をプロセッサにより生成させることを含み得る。本方法は、ユーザの動きの存在を音響
的に検出すること、ユーザに可聴的に呼び掛けること、ユーザを可聴的に認証すること、
およびユーザに権限付与することまたはユーザについてのアラームメッセージを通信する
ことを対話型オーディオデバイスを用いて行うことを含み得る。任意選択的に、ユーザを
可聴的に認証することは、マイクロフォンによって感知されたユーザの言葉の音波と、事
前記録された言葉の音波とを比較することを含み得る。本方法は、動きに基づいたバイオ
メトリック感知によりユーザを認証することを含み得る。
【0026】
いくつかのバージョンにおいて、方法は、導出された生理学的な動きの信号の少なくと
も一部に基づいて動きジェスチャーを対話型オーディオデバイスにより検出することを含
み得る。本方法は、通知を送信することまたは(a)自動化された機器および/または(
b)対話型オーディオデバイスの動作への変更を制御することのための制御信号を検出さ
れた動きジェスチャーに基づいて対話型オーディオデバイスのプロセッサ内において生成
させることを含み得る。対話型オーディオデバイスの動作への変更を制御するための制御
信号は、対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマ
イクロフォン感知を起動させることを含み得、これにより、起動していない対話型音声ア
シスタントプロセスが連動され得る。本方法は、マイクロフォン感知による言語キーワー
ドの検出に基づいて対話型音声アシスタント動作を開始させることを含み得る。本方法は
、導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを検出
することおよびユーザの呼吸の調節のきっかけになるような出力キューを生成させること
を対話型オーディオデバイスにより行うことを含み得る。本方法は、別の処理デバイスに
よって制御される別の対話型オーディオデバイスからの通信を対話型オーディオデバイス
のマイクロフォンによって感知された非可聴の音波を介して対話型オーディオデバイスに
より受信することを含み得る。本方法は、音信号の少なくとも一部を対話型オーディオデ
バイスの近傍において通信に基づいて生成するためのパラメータを調節することを含み得
る。調節のためのパラメータにより、対話型オーディオデバイスとその他の対話型オーデ
ィオデバイスとの間の干渉が低減され得る。導出された生理学的な動きの信号の少なくと
も一部の評価は、睡眠開始または覚醒開始を検出することをさらに含み得る。評価に基づ
いた出力は、サービス制御信号を含み得る。サービス制御信号は、照明制御、機器制御、
音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含み得る。
【0027】
本方法は、フィードバックを収集するようユーザを促すことと、応答して導出された生
理学的な動きの信号およびフィードバックのうち少なくとも1つに基づいてアドバイスを
生成させることとを含み得る。本方法は、環境データを決定することを含み得る。アドバ
イスは、決定された環境データにさらに基づき得る。本方法は、環境データを決定するこ
とと、決定された環境データおよび導出された生理学的な動きの信号の少なくとも一部に
基づいて環境制御システムのための制御信号を生成させることとを含み得る。本方法は、
睡眠向上サービスの提供を制御することをさらに含み得る。睡眠向上サービスは、以下の
うちいずれかを含み得る。すなわち、(a)検出された睡眠状態および/または収集され
たユーザフィードバックに応答してアドバイスを生成させること、および(b)睡眠環境
状態の設定および/または睡眠に関連するアドバイスメッセージのユーザへの提供のため
に環境用機器の制御のための制御信号を生成することである。本方法は、導出された生理
学的な動きの信号に基づいてジェスチャーを検出することと、対話型オーディオデバイス
の対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させることとを
含み得る。本方法は、導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝
セッションを開始およびモニターすることを含み得る。本方法は、ユーザの動きを近傍を
通じて追跡するために生成された音信号のうち少なくとも一部のパラメータを変動させる
ことにより検出範囲を変動させることを含み得る。本方法は、権限付与されていない動き
の検出を導出された生理学的な動きの信号の少なくとも一部を用いて行うことと、第三者
ユーザまたは第三者への通知のためにアラームまたは通信を生成させることとを含み得る
。通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される。
【0028】
本明細書中に記載される方法、システム、デバイスおよび装置により、プロセッサにお
ける機能(例えば、汎用または特定目的用コンピュータ、携帯用コンピュータ処理装置(
例えば、携帯電話、スマートウォッチ、タブレットコンピュータ、スマートスピーカ、ス
マートテレビなど)、呼吸モニタおよび/またはマイクロフォンおよびスピーカを利用す
るその他の処理装置のプロセッサの機能)の向上が可能になり得る。さらに、記載の方法
、システム、デバイスおよび装置により、自動化されたスマートオーディオデバイスの技
術分野における向上が可能になり得る。
【0029】
もちろん、上記態様の一部は、本技術の下位態様を形成し得る。また、下位態様および
/または態様のうち多様な1つを多様に組み合わせることができ、本技術のさらなる態様
または下位態様も構成し得る。
【0030】
本技術の他の特徴は、以下の詳細な説明、要約、図面および特許請求の範囲中に含まれ
る情報に鑑みれば明らかになる。
【0031】
4 図面の簡単な説明
本技術を、添付図面中に非限定的に一例として例示する。図面中、類似の参照符号は、
以下の類似の要素を含む。
【図面の簡単な説明】
【0032】
図1】例示的な音声により有効とされるオーディオデバイスを示す(例えば、本明細書中に記載の信号生成および処理技術を用いた低周波超音波生体動き感知)。
図2】デバイスの近傍からオーディオ情報を受信する例示的な処理デバイスと、デバイスの例示的プロセスの模式図とを示す。
図3】本技術のいくつかの形態に従って構成され得るような処理デバイス(例えば、スマートスピーカデバイス)の模式図である。
図4A】例えば周波数変調連続波感知(FMCW)のための単一トーンチャープの周波数特性を示す。
図4B】例えば周波数変調連続波感知(FMCW)のためのデュアルトーンチャープの周波数特性を示す。
図5】デュアルトーンFMCWのための例示的な復調を示す。この復調は、本技術の感知システムのために具現され得る。
図6】音声により有効とされるオーディオデバイスの例示的な動作を示す(例えば、本明細書中に記載の信号生成および処理技術を用いた低周波超音波生体動き感知)。
図7】例えば、本明細書中に記載の処理のための例示的なオーディオ処理モジュールまたはブロックを示す。
図8】音声導出された動き特性の処理によって生成された例示的出力(例えば、睡眠ステージデータ)を示す。
図8A】例えばFMCWシステムのための三角単一トーンの多様な信号特性を示す。
図8B】例えばFMCWシステムのための三角単一トーンの多様な信号特性を示す。
図8C】例えばFMCWシステムのための三角単一トーンの多様な信号特性を示す。
図9A】例えばFMCWシステムのための三角デュアルトーンの多様な信号特性を示す。
図9B】例えばFMCWシステムのための三角デュアルトーンの多様な信号特性を示す。
図9C】例えばFMCWシステムのための三角デュアルトーンの多様な信号特性を示す。
【発明を実施するための形態】
【0033】
5 本技術の実施例の詳細な説明
本技術についてさらに詳細に説明する前に、本技術は、本明細書中に記載される異なり
得る特定の実施例に限定されるのではないことが理解されるべきである。本開示中に用い
られる用語は、本明細書中に記載される特定の実施例を説明する目的のためのものであり
、限定的なものではないことも理解されるべきである。
【0034】
以下の記載は、共通の特性または特徴を共有し得る本技術の多様な形態に関連して提供
される。任意の一形態の1つ以上の特徴は、別の形態または他の形態の1つ以上の特徴と
組み合わせることが可能であることが理解されるべきである。加えて、これらの形態のう
ちのいずれかにおける任意の単一の特徴または特徴の組み合わせは、さらなる例示的な形
態を構成し得る。
【0035】
5.1 オーディオ機器によるスクリーニング、モニターおよび検出
本技術は、例えば対象が睡眠中のときの対象の動き(例えば、全身動作、呼吸の動きお
よび/または心臓に関連する胸部動き)を検出するためのオーディオシステム、方法およ
び装置に関する。より詳細には、対話型オーディオデバイス(例えば、スマートスピーカ
)と連動する処理アプリケーション。いくつかのバージョンにおいて、オーディオデバイ
スは、スマートフォン、タブレット、モバイルデバイス、携帯電話、スマートテレビジョ
ン、ラップトップコンピュータなどであり得、これは、デバイスセンサ(例えば、スピー
カおよびマイクロフォン)を用いてこのような動きを検出する。
【0036】
以下、本技術の具現に適した例示的なシステムの特に最小限的で目立たないバージョン
について、図1図3を参照して説明する。対話型オーディオデバイスは、1つ以上のプ
ロセッサ(例えば、マイクロコントローラ)を有する処理デバイス100として具現され
得る。これらのプロセッサは、対象110の動きの検出のためのアプリケーション200
と共に構成されたスマートスピーカであり得る。処理デバイス100は、対象110の近
くのベッドサイドテーブル上に配置してもよいし、あるいは室内の他の場所に配置しても
よい。あるいは、処理デバイス100は、例えばスマートフォン、タブレットコンピュー
タ、ラップトップコンピュータ、スマートテレビジョンまたは他の電子デバイスであって
もよい。処理デバイス100のプロセッサ(単数または複数)は、特に、アプリケーショ
ン200の機能を実行するように構成され得る(例えば、概してオープンのまたは無制限
の媒体(例えばデバイスの近傍の室内の媒体)としての空気を通じて典型的にオーディオ
信号を生成および送信させること)。本処理デバイスは、例えば変換器(例えば、マイク
ロフォン)による感知による送信信号のリフレクションを受信し得る。処理デバイスは、
感知された信号を処理して(例えば、送信された信号との復調によって)、身体動作(例
えば、全身動作、心臓動作および呼吸動作)を決定し得る。処理デバイス100は、典型
的には、他のコンポーネントの中でも、スピーカおよびマイクロフォンを含むであろう。
スピーカは、反射された信号を受信するために、生成されたオーディオ信号およびマイク
ロフォンを送信するために実装され得る。感知および処理のために生成されたオーディオ
信号は、国際特許出願PCT/EP2017/073613(出願日:2017年9月1
9日)に記載の技術のいずれかを用いて具現され得る。本明細書中、同文献全体を引用す
ることにより、本明細書の一部をなすものとする。図1図3に示すバージョンにおいて
は、一体化された感知装置を備えた多様な処理デバイスを示す(例えば、ハウジングに感
知装置全てまたはコンポーネント(例えば、マイクロフォンおよびスピーカ)が含まれる
場合)、いくつかのバージョンにおいて、感知装置は、別個または個々に収容されたコン
ポーネントであり得、有線および/または無線接続(単数または複数)を介して接続また
は機能する。
【0037】
本明細書中、感知装置について主に音響感知(例えば、低周波超音波感知)に関連して
記載しているが、これらの方法およびデバイスは、他の感知技術を用いて具現され得るこ
とが理解される。例えば、代替例として、処理デバイスは、感知装置として機能するよう
にRFセンサの無線周波(RF)トランシーバと共に実装され得、これにより、生成され
た信号および反射信号はRF信号となる。このようなRF感知デバイスは、処理デバイス
と一体化され得るかまたは処理デバイスへ接続され得、以下に記載の技術およびセンサコ
ンポーネントのいずれかを用いて具現され得る。すなわち、国際特許出願第PCT/US
2013/051250(タイトル:「Range Gated Radio Freq
uency Physiology Sensor」、出願日:2013年7月19日)
、国際特許出願第PCT/EP2017/070773(タイトル:「Digital
Radio Frequency Motion Detection Sensor」
、出願日:2017年8月16日)、および国際特許出願第PCT/EP2016/06
9413(タイトル:「Digital Range Gated Radio Fre
quency Sensor」、出願日:2017年8月16日)である。同様に、別の
バージョンにおいて、感知信号送信およびそのリフレクションの感知のためのこのような
感知装置は、赤外線放射生成器ならびに赤外線放射線検出器(例えば、IRエミッタおよ
びIR検出器)で具現され得る。動き検出および特性化のためのこのような信号処理も、
同様に具現され得る。
【0038】
これらの異なる感知技術のうち2つ以上の組み合わせを用いれば、各技術の利点を組み
合わせることにより、感知結果の向上が可能になる。例えば、記載の音響感知技術は、人
の日常生活のノイズの多い環境において、充分使用に耐えることができる。しかし、聴覚
が敏感なユーザの場合、本技術を夜間に使用している際はノイズが大幅に低くなり感知信
号が聞こえやすくなるため、問題になることがある。同様に、IR感知を用いれば夜間に
おいて良好なS/N信号が得られるが、日中の光(および熱)により使用が問題になり得
る。この場合、音響感知の日中の使用による補完により、IR感知の夜間利用が可能にな
り得る。
【0039】
任意選択的に、処理デバイスの音声ベースの感知方法は、他の種類のデバイス(例えば
、ベッドサイドデバイス(例えば、呼吸治療デバイス(例えば、持続的気道陽圧(例えば
、「CPAP」)デバイスまたは高流量治療デバイス))(治療デバイスが処理デバイス
100として機能するか、または別途の処理デバイス100と連携して作動する、図5
図示の呼吸治療デバイス5000))中においてまたはそのようなデバイスにより、具現
され得る。このようなデバイスの例を挙げると、圧力デバイスまたは送風機(例えば、ボ
リュート中のモータおよびインペラ)、圧力デバイスまたは送風機の1つ以上のセンサお
よび中央制御装置について、国際特許公開WO/2015/061848(出願番号PC
T/AU2014/050315)(出願日:2014年10月28日)および国際特許
公開WO/2016/145483(出願番号PCT/AU2016/050117)(
出願日:2016年3月14日)に記載のデバイスが検討され得る。本明細書中、同文献
全体を引用することにより、本明細書の一部をなすものとする。このような呼吸治療デバ
イス5000は、任意選択の加湿器4000を含み得、患者インターフェース3000へ
の提供を患者回路4170(例えば、導管)を介して提供し得る。いくつかの場合におい
て、呼吸治療デバイス5000は、(本出願全体に記載のプロセスの外部音声関連音響条
件と対照的な)患者回路4170内および患者回路4170を通じた内部音声関連条件を
感知する個々のセンサ(例えば、マイクロフォン)を有し得る。
【0040】
処理デバイス100は、対象の呼吸および/または他の動き関連特性のモニターの効率
的かつ有効な方法が得られるように、適合され得る。睡眠時において使用される場合、処
理デバイス100およびその関連方法が、例えば、ユーザの呼吸の検出と、睡眠段階、睡
眠状態、状態、呼吸および/または他の呼吸特性間の移行の特定とのために用いられ得る
。覚醒時に用いられる場合、処理デバイス100およびその関連方法は、人または対象呼
吸(吸気、呼気、休止、および導出された速度または数)の存在有無などの動きおよび/
または心弾動図(ballistocardiogram)波形およびその後の導出された心拍数の検出に用
いられ得る。このような動きまたは動き特性は、本明細書中に記載のような多様な機能を
より詳細に制御するために用いられ得る。
【0041】
処理デバイス100は、集積チップ、メモリおよび/または他の制御命令、データまた
は情報記憶媒体を含み得る。例えば、本明細書中に記載のアセスメント/信号処理方法を
包含するプログラムされた命令は、特定用途向け一体型チップ(ASIC)を形成するデ
バイスまたは装置のメモリ中の集積チップ上にコーディングされ得る。このような命令は
、追加的にまたは代替的に適切なデータ記憶媒体を用いてソフトウェアまたはファームウ
ェアとしてロードしてもよい。任意選択的に、このような処理命令は、例えばネットワー
クを介したサーバ(例えば、インターネット)から処理デバイスへダウンロードされ得、
これにより、これらの命令が実行されると、処理デバイスはスクリーニングデバイスまた
はモニターデバイスとして機能する。
【0042】
よって、処理デバイス100は、図3に示すような複数のコンポーネントを含み得る。
処理デバイス100を挙げると、他のコンポーネントの中でも、マイクロフォン(単数ま
たは複数)または音声センサ302、プロセッサ(単数または複数)304、任意選択の
ディスプレイインターフェース306任意選択のユーザ制御/入力インターフェース30
8、スピーカ(単数または複数)310、およびメモリ/データ格納部312(例えば、
本明細書中に記載の処理方法/モジュールの処理命令を用いたもの)がある。いくつかの
場合において、マイクロフォンおよび/またはスピーカは、デバイスのプロセッサ(単数
または複数)とのユーザインターフェースとして機能し得、例えば、マイクロフォンによ
って感知されたオーディオおよび/または言語コマンドに対して処理デバイスがスピーカ
を介して応答した際、処理デバイスの動作を制御し得る。この点について、処理デバイス
100は、例えば自然言語処理を用いた音声アシスタントとして機能し得る。
【0043】
処理デバイス100のコンポーネントの1つ以上は、処理デバイス100と一体化させ
てもよいし、あるいは動作可能に接続させてもよい。例えば、マイクロフォン(単数また
は複数)または音センサ302は、処理デバイス100と一体化させてもよいし、あるい
は例えば有線リンクまたは無線リンク(例えば、ブルートゥース、Wi-Fiなど)を通
じて処理デバイス100と結合させてもよい。そのため、処理デバイス100は、データ
通信インターフェース314を含み得る。
【0044】
メモリ/データ記憶装置312は、プロセッサ304の制御のための複数のプロセッサ
制御命令を含み得る。例えば、メモリ/データ記憶装置312は、本明細書中に記載の処
理方法/モジュール処理命令によってアプリケーション200を行わせるためのプロセッ
サ制御命令を含み得る。
【0045】
本技術の例は、1つ以上のアルゴリズムまたはプロセスを用いるように構成され得る。
これらのアルゴリズムまたはプロセスは、処理デバイス100の使用時にユーザが睡眠中
であるときに動き、呼吸および任意選択的に睡眠特性を検出するためにアプリケーション
(単数または複数)200によって具現化され得る。例えば、アプリケーション200は
、いくつかのサブプロセスまたはモジュールによって特徴付けられ得る。図2に示すよう
に、アプリケーション200は、オーディオ信号生成および送信サブプロセス202と、
動きおよび生物物理特性検出サブプロセス204と、例えば対象の不在/存在の検出、バ
イオメトリック同定、睡眠特性解析、呼吸または心臓関連の特性解析などのための動き特
性解析サブプロセス206と、例えば情報提示または本明細書中により詳細に記載のよう
な多様なデバイスの制御のための結果出力サブプロセス208とを含み得る。
【0046】
例えば、処理206における任意選択的な睡眠ステージングが、例えば睡眠段階処理モ
ジュール内において具現され得る。しかし、このような処理モジュール/ブロックのうち
任意の1つ以上が、任意選択的に追加され得る(例えば、睡眠採点またはステージング、
対象認識処理、動きモニターおよび/または予測処理、機器制御ロジック処理、または他
の出力処理)。場合によっては、信号後処理の機能は、以下の特許または特許出願のうち
いずれかに記載の装置、システムおよび方法の成分、デバイスおよび/または方法のいず
れかを用いて行われ得る。本明細書中、以下の各文献の開示内容全体を引用することによ
り、本明細書の一部を成すものとする。すなわち、国際特許出願第PCT/US2007
/070196(出願日:2007年6月1日、タイトル:「Apparatus, S
ystem, and Method for Monitoring Physiol
ogical Signs」)、国際特許出願第PCT/US2007/083155(
出願日:2007年10月31日、タイトル:「System and Method
for Monitoring Cardio-Respiratory Parame
ters」)、国際特許出願第PCT/US2009/058020(出願日:2009
年9月23日、タイトル:「Contactless and Minimal-Con
tact Monitoring of Quality of Life Param
eters for Assessment and Intervention」)、
国際出願第PCT/US2010/023177(出願日:2010年2月4日、タイト
ル:「Apparatus, System, and Method for Chr
onic Disease Monitoring」)、国際特許出願第PCT/AU2
013/000564(出願日:2013年3月30日、タイトル:「Method a
nd Apparatus for Monitoring Cardio-Pulmo
nary Health」)、国際特許出願第PCT/AU2015/050273(出
願日:2015年5月25日、タイトル:「Methods and Apparatu
s for Monitoring Chronic Disease」)、国際特許出
願第PCT/AU2014/059311(出願日:2014年10月6日、タイトル:
「Fatigue Monitoring and Management Syste
m」)、国際特許出願第PCT/EP2017/070773(出願日:2017年8月
16日、タイトル:「Digital Radio Frequency Motion
Detection Sensor」)、国際特許出願第PCT/AU2013/06
0652(出願日:2013年9月19日、タイトル:「System and Met
hod for Determining Sleep Stage」)、国際特許出願
第PCT/EP2016/058789(出願日:2016年4月20日、タイトル:「
Detection and Identification of a Human
from Characteristic Signals」)、国際特許出願第PCT
/EP2016/080267(出願日:2016年12月8日、タイトル:「Peri
odic Limb Movement Recognition with Sens
ors」)、国際特許出願第PCT/EP2016/069496(出願日:2016年
4月17日、タイトル:「Screener for Sleep Disordere
d Breathing」)、国際特許出願第PCT/EP2016/058806(出
願日:2016年4月20日、タイトル:「Gesture Recognition
with Sensors」)、国際特許出願第PCT/EP2016/069413(
出願日:2016年8月16日、タイトル:「Digital Range Gated
Radio Frequency Sensor」)、国際特許出願第PCT/EP2
016/070169(出願日:2016年8月26日、タイトル:「Systems
and Methods for Monitoring and Managemen
t of Chronic Disease」)、国際特許出願第PCT/US2014
/045814(出願日:2014年7月8日、タイトル:「Methods and
Systems for Sleep Management」)、米国特許出願第15
/079,339(出願日:2016年3月24日、タイトル:「Detection
of Periodic Breathing」)である。このように、いくつかの例に
おいて、検出された動きの処理(例えば、呼吸の動き)は、以下のうち任意の1つ以上を
決定するための基準として機能し得る。すなわち、(a)睡眠を示す睡眠状態、(b)覚
醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、お
よび(e)REM睡眠を示す睡眠段階である。この点について、本開示の音声関連感知技
術は、動き感知のための異なるメカニズム/プロセス(例えば、スピーカおよびマイクロ
フォンを用いたものおよび音声信号の処理)を提供するものの、これらの引用された参考
文献のいくつかに記載のレーダーまたはRF感知技術と比較すると、呼吸信号(例えば、
本明細書中に記載の音声感知/処理方法を用いて得られる呼吸数)の後、睡眠状態/段階
情報の抽出のための処理呼吸または他の動き信号の原理が、これらの引用された参考文献
の決定方法によって実行され得る。例えば、呼吸数および動きおよび活動カウントが動き
に基づいて一旦RFまたはソナー(SONAR)によって決定された後は、睡眠段階は共
通分析になる。さらなる例示として、感知波長は、RFパルスCWによる実施とソナー
FMCWによる実施との間において異なり得る。そのため、例えば範囲(異なる感知距離
)にわたって動きを検出することにより、速度が異なって決定され得る。FMCWの場合
、動き検出は、複数の範囲において行われ得る。よって、1つ以上の移動標的の追跡を(
2人であれあるいは実際には1人の異なる部分であれ、ソナーセンサに対する当該人物の
角度に応じて)行うことができる。
【0047】
典型的には、スピーカからのオーディオ信号は、本明細書中に記載の1つ以上のトーン
を用いて、オーディオ信号などを感知するために生成されユーザへ送信され得る。トーン
により、1つ以上の特定の周波数における媒体(例えば、空気)の圧力変化が分かる。本
記載の目的のため、生成されたトーン(またはオーディオ信号または音声信号)は、(例
えば、スピーカによって)可聴圧力波が生成され得るため、「音声」、「音響」または「
オーディオ」と呼ばれ得る。しかし、本明細書中、このような圧力改変例およびトーン(
単数または複数)は、「音声」、「音響」または「オーディオ」という用語のうちいずれ
かによる特性化に関わらず、可聴または非可聴のものとして理解されるべきである。よっ
て、生成されたオーディオ信号は可聴または非可聴であり得、人間母集団に対する可聴度
の周波数閾値は、年齢によって変化する。ほとんどの人は音声(例えば、18kHzを超
える範囲において)音声を識別することができないため、この信号は実質的に非可聴であ
り得る。典型的な「オーディオ周波数」の標準レンジは、約20Hz~20,000Hz
(20kHz)である。高周波数聴覚の閾値は、年齢と共に低下する傾向があり、中年の
人の場合、周波数が15~17kHzを超える音声は聞こえないことが多く、10代の人
の場合、18kHzが聞こえることがある。会話における最重要の周波数は、ほぼ250
~6,000Hzである。典型的な消費者向けスマートフォンのスピーカおよびマイクロ
フォン信号応答は、多くの場合に19~20kHzを超えたときにロールオフするように
設計され、23kHz以上を超えたときにロールオフするように設計されるものもある(
特に、48kHzを超えるサンプリングレート(例えば、96kHz)をサポートするデ
バイスの場合)。そのため、ほとんどの人間に対しては、17/18~24kHzの範囲
内の信号を用いつつ非可聴のままであることが可能である。18kHzは聞こえるが19
kHzは聞こえないより若年者に対しては、19kHz~例えば21kHzの帯域が用い
られ得る。いくつかの家庭用ペットの場合、より高い周波数も聞こえることがある(例え
ば、犬の場合は60kHzまで、猫の場合は79kHzまで)点に留意されたい。本技術
の感知オーディオ信号の適切な範囲は、低超音波周波数範囲内にあり得る(例えば、15
~24kHz、18~24kHz、19~24kHz、15~20kHz、18~20k
Hzまたは19~20kHz)。
【0048】
PCT/EP2017/073613に記載のような例えば低周波超音波感知信号を用
いたオーディオ感知の配置構成および方法のうちいずれかは、本明細書中に記載の処理デ
バイスによって具現され得る。しかし、場合によっては、デュアルトーンFMCW(デュ
アルランプ技術とも呼ばれる)は、本明細書中に記載のように具現され得る。
【0049】
例えば、1つの「トーン」を有する三角FMCW波形(すなわち、周波数がスイープア
ップおよびダウンされるもの)の生成は、処理デバイスがそのスピーカ(単数または複数
)を用いて行うことができる。波形は、図4Aに示す周波数対時間特性を有する。アップ
スイープまたはダウンスイープのみの処理あるいは両方の処理を距離検出のために評価す
ることができる。1つのトーンについて位相が連続する三角形状が大変望ましい理由とし
て、位相不連続部に起因して生成する再生音声中の任意の可聴のアーチファクトが最小化
または除去される点がある。これの別形である傾斜が有る場合、ある周波数における特定
の振幅音声の再生からサンプル空間中の類似の振幅におけるずっと低い(またはずっと高
い)周波数へジャンプするようスピーカ(単数または複数)が要求された際に、極めて不
快な可聴のブンブン音の原因になり得る。すなわち、スピーカにおける機械的変化に起因
してクリック音が生成し得、チャープ(チーチーいう音)の頻繁な反復により、ブンブン
音(多数の近密に配置されたクリック音)がユーザに聞こえる。
【0050】
あるいは、本技術のいくつかのバージョンにおいて、ランプ波形(例えば、アップスイ
ープのみまたはダウンスイープのみからなるもの)を有する特殊なデュアル「トーン」と
共に音響感知信号をFMCWとして具現することにより、1つのランプ(周波数のランプ
アップおよびダウンの終了からの周波数の急激な変化)から次のランプ(周波数ランプア
ップおよびダウン)を可聴のアーチファクト無しに行う。このようなデュアル「トーン」
周波数変調波形の周波数特性を時間と比較した結果を図4Bに示す。これにより、システ
ムにおけるデータ処理を究極に簡潔にすることができ、三角波形の各点における高い振幅
転移の可能性も排除される。急激な転移が繰り返された場合、システムの低レベルDSP
/CODEC/ファームウェア)の奇妙な挙動がトリガされる場合がある。
【0051】
図4Aおよび図4Bは、FMCW単一トーン(図4A)具現と、デュアルトーン(図4
B)実行との間の周波数領域の比較を示す。不可聴を保証するために、単一トーン(図4
A)は、ダウンスイープ(生成周波数の経時的低下)を優先的に含み得る。ダウンスイー
プを省略してもよいが、その場合、可聴性が一定的に生成し得る。デュアルトーン(トー
ンペア)(図4B)を用いれば、時間領域の表現が非可聴となるような形状にされている
ため、このようなダウンスイープの必要性の回避を支援することができる。図4Bは、第
1のトーン4001および任意選択の第2のトーン4002が重複している様子を示す。
同図において、受信されたエコー(すなわち、リフレクション信号)は図示していない。
よって、トーンにより、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸
歯状周波数変化が形成される。これらのトーンは、感知期間において反復されるように連
続する。
【0052】
よって、低周波超音波感知システムをFMCW型アプローチで具現する際、音響感知信
号の生成が可能な異なる方法が存在する。その際、周波数領域の波形形状(例えば、三角
(対称または非対称)、ランプ(傾斜)、正弦)、期間(「チャープ」(チーチーいう音
)の持続期間)、および帯域幅(「チャープ」により網羅される周波数(例えば、19~
21kHz))の差が用いられ得る。FMCW構成において、2つ以上の同時トーンを用
いることも可能である。
【0053】
サンプル数の選択により、可能な出力復調サンプリングレート(例えば、サンプリング
レート48kHzにおいて512サンプルの場合、93.75Hz(48,000/51
2)に等しく、4096サンプル持続期間の掃引時間は、11.72Hz(48,000
/4096)に等しい)。三角波形が1500サンプルアップタイムおよび1500サン
プルダウンタイムと共に用いられる場合、出力サンプリングレートは16Hz(48,0
00/3000)になる。この種のシステムの場合、信号を例えば基準テンプレートで乗
算することにより、同期を行うことができる。
【0054】
出力サンプリングレートの選択について、実験的試験により、以下のことが判明してい
る。すなわち、大まかに8~16Hzの領域が好ましい。なぜならば、このような領域に
より、1/fノイズ(空気の動き、強いフェーディングの可能性および/または室内モー
ドに起因する低周波効果)が広範に回避され、より高い復調サンプリングレートにおいて
みられる残響領域が回避され(すなわち、次の「チャープ」中の次の類似成分前に、感知
波形「チャープ」の任意の1つの周波数におけるエネルギー減衰のための時間を確保した
)。換言すると、ビン(bin)を広げ過ぎた場合、気流および温度の変化(例えば、ドア
の開きおよび室内における熱の出入り)が有る場合、今見ている任意のブロックが呼吸の
ようにみえる不要なベース線(baseline)のドリフトを含み得ることを意味する。実際に
は、これは、空気の動きと共に(レンジビンにわたる)帯にわたって波がみられることを
意味する。卓上型または台座型ファンあるいは空調または他のHVACシステムからのよ
り局所的な効果と別個のものである。実際、ブロックが過度に幅広にされた場合、システ
ムは、CWシステム「のようにみえる」ようになる。一方、システムが高すぎるリフレッ
シュレートにおいて作動した(すなわち、傾斜が短すぎる)場合、リバーブが生成し得る
【0055】
図4Aに示すように、三角FMCW波形が1つの「トーン」を有する(すなわち、周波
数が上下する)場合、システムは、例えばアップスイープのみまたはダウンスイープのみ
を処理し得るか、または、実際は双方を距離検出のために処理してもよい。1つのトーン
について位相が連続する三角形状が大変望ましい理由として、位相不連続部に起因して生
成する再生音声中の任意の可聴のアーチファクトが最小化または除去される点がある。こ
れの別形である傾斜が有る場合、ある周波数における特定の振幅音声の再生からサンプル
空間中の類似の振幅におけるずっと低い(またはずっと高い)周波数へジャンプするよう
スピーカ(単数または複数)が要求された際に、極めて不快な可聴のブンブン音の原因に
なり得る。すなわち、スピーカにおける機械的変化に起因してクリック音が生成し得、チ
ャープの頻繁な反復により、ブンブン音(多数の近密に配置されたクリック音)がユーザ
に聞こえる。
【0056】
そのため、本技術のいくつかのバージョンにおいて、ランプ波形(ramp waveform)(
例えば、アップスイープのみまたはダウンスイープのみからなるもの)を有する特殊なデ
ュアル「トーン」により音響感知信号をFMCWとして具現することにより、1つのラン
プ(周波数のランプアップおよびダウンの終了からの周波数の急激な変化)から次のラン
プ(周波数ランプアップおよびダウン)を可聴のアーチファクト無しに行う。このような
デュアル「トーン」周波数変調波形は、周波数特性を時間に相対して示し、少なくとも2
つの変化する周波数ランプが1つの期間において重複し、これらの周波数ランプはそれぞ
れ、ランピング持続期間といったある期間における任意の瞬間において、相互に異なる周
波数(単数または複数)を有し得る。このことを、1点鎖線対実線に関連して図4Bに図
示する。これにより、システムにおけるデータ処理を究極に簡潔にすることができ、三角
波形の各点における高い振幅転移の可能性も排除される。急激な転移が繰り返された場合
、システムの低レベルDSP/CODEC/ファームウェア)の奇妙な挙動がトリガされ
る場合がある。
【0057】
このようなデュアルトーン信号を具現する際の重要な考慮事項として、スピーカ/シス
テムがシャープな遷移が起きずに済みかつゼロポイントを有するように、信号形状が作成
(形成)されるべき点がある。これにより、信号を非可聴にするためのフィルタリングの
必要性を低減させることができる。例えば、信号を非可聴の感知信号としつつ、ハイパス
またはバンドパスフィルタリングを回避することができる。波形中にゼロを存在させるこ
とにより、このような信号の(例えば復調のための)送信および受信の同期が単純化され
るため、信号処理が容易になる。デュアルトーンの結果、1つよりも多くのトーンが用い
られるため、フェーディングロバスト性の要素が得られる。また、フェーディングを用い
られる周波数および位相または周波数と共に変化させることができる(例えば、デュアル
トーンシステムにおけるFMCWトーン間に100Hzオフセットを用いることができる
)。
【0058】
図4AのFMCW単一トーンおよび図4BのFMCWデュアルトーンの性能は、図8
よび図9を参照して考察され得る。図8A図8Bおよび図8Cは、図7AのFMCW単
一トーンの例の信号特性を示す。図9A図9Bおよび図9Cは、図7BのFMCWデュ
アルトーンの例の信号特性を示す。
【0059】
図8Aは、送信された(Tx)信号8001および受信された(Rx)リフレクション
8001-R(エコー)が音響感知システムにおいて動作する三角単一トーンFMCWと
して動作する様子を示す。図8Bは、時間領域波形を示す。図8Cは、信号のスペクトル
内容を示す。明らかなように、より低周波数(FMCW信号の帯域幅に関連するピーク領
域の外部)においても、内容が存在する。そのため、このようなより低周波数が可聴の周
波数範囲内に入り得るため、望ましくない性能特性に繋がる。
【0060】
図9Aは、信号グラフ9002中のデュアルトーンランプFMCW信号(dual tone ra
mp FMCW signal)を示す。信号グラフ9002は双方のトーンを示し、信号グラフ900
2-Rは、これら2つのトーン/マルチトーンの受信されたエコーを示す。図9Bは、デ
ュアルトーンの余弦波類似の関数の形状を(ゼロ交差に繋がる)ゼロ点と共に示す。図9
Cは、より低周波数におけるずっと小さなピークおよびより出力振幅を示す。図9Cのス
ロープ領域SRを図8Cのスロープ領域SRと比較した場合、より低い周波数における/
より低い周波数に対するデュアルトーンランプFMCWの出力の急激の低下(dB)を示
す。高周波数(実質的に非可聴であり、感知のために用いられる)からより低い周波数(
可聴であり、典型的には感知には用いられない)周波数へのより急激なロールオフは、ユ
ーザにとってそれほど邪魔にならないため、望ましい音響感知特性である。(FMCW信
号の帯域幅に関連するピーク領域外の)より低い周波数における出力は、図8Cに示す単
一トーンFMCW三角形態の場合よりも40dB低くすることができる。図9Cに示すよ
うに、図9Cの上側の平滑ピーク領域PRを図8Cの多エッジピーク領域PRと比較する
と、デュアルトーンランプFMCW信号は、より良好な音響感知特性を有し得、スピーカ
に対する要求が少ない。
【0061】
このような複数のトーンFMCWまたはデュアルトーンFMCWシステム(例えば、リ
ナックスベースの単一ボードコンピュータ上において実行するもの)により、4m以上の
感知範囲内の複数の人を特定することが可能な感知を得ることができる。例えば処理デバ
イスから1.5メートルにおいて心拍数を検出することができ、呼吸数(単数または複数
)を約4メートル以上まで検出することもできる。例示的なシステムは、2つのトーンを
18,000Hzおよび18,011.72Hzにおいて用いることができ、これらのト
ーンは、例えば19,172Hzおよび19183.72Hzそれぞれまでランプ(ramp
;傾斜)し得る。
【0062】
この1,172Hzのランプ(ramp)について、例えばサイズ4096ポイントのFF
Tを、ビン幅48,000Hz/4096=11.72でもって用いることが考えられ得
る。音速が340m/sであるので、次の点に留意されたい。すなわち、340ms/s
/ 11.72 / 2(発出および戻り)=14.5m(100個のビン当たり)ま
たは14.5cm(各ビン当たり)。各「ビン」は、例えば、(ビン毎に1人までの人を
検出することができる(しかし、実際には、人はこれよりも大きく離れている)。同期プ
ロセスの一環として、例えば(信号を基準テンプレートによって乗算する)より計算コス
トの高い相関動作を回避するために、信号は二乗され得る。用いられるFFTサイズから
独立して、最大サイズの分解能は、音速/(帯域幅*2)=340/(1172*2)=
14.5cmである。しかし、感知された反射信号と、感知されたダイレクトパス信号と
の交差相関を含む同期プロセスを任意選択的に設けてもよい。同期プロセスは、基準テン
プレートを感知された反射音信号の少なくとも一部で乗算することを任意選択的に含み得
る。
【0063】
このような複数のトーンFMCWまたはデュアルトーンFMCWシステム(例えば、リ
ナックスベースの単一ボードコンピュータ上において実行するもの)により、4m以上の
感知範囲内の複数の人を特定することが可能な感知を得ることができる。例えば処理デバ
イスから1.5メートルにおいて心拍数を検出することができ、呼吸数(単数または複数
)を約4メートル以上までで検出することもできる。例示的なシステムは、2つのトーン
を18,000Hzおよび18,011.72Hzにおいて用いることができ、これらの
トーンは、例えば19,172Hzおよび19183.72Hzそれぞれまでランプ(傾
斜)し得る。
【0064】
この1,172Hzのランプについて、例えばサイズ4096ポイントのFFTをビン
幅48,000Hz/4096=11.72と共に用いることが考えられ得る。音速が3
40m/sであるので、次の点に留意されたい。すなわち、340ms/s / 11.
72 / 2(発出および戻り)=14.5m(100個のビン当たり)または14.5
cm(各ビン当たり)。各「ビン」は、例えば、(ビン毎に)1人までの人を検出するこ
とができる(しかし、実際には、人はこれよりも大きく離れている)。同期プロセスの一
環として、例えば(信号を基準テンプレートによって乗算する)より計算コストの高い相
関動作を回避するために、信号は二乗され得る。用いられるFFTサイズから独立して、
最大サイズの分解能は、音速/(帯域幅*2)=340/(1172*2)=14.5c
mである。
【0065】
図5は、信号を信号で乗算(2乗)することによるデュアルトーンFMCWランプの「
自己混合」復調("self-mixing" demodulation)の一例を示す。任意選択的に、復調にお
いては、受信されたエコー信号を生成された送信信号(例えば、オシレータからの信号を
示す信号)で乗算して、スピーカまたは処理デバイス100の範囲内の距離または動きを
反映する信号を生成することができる。この処理により、「中間」周波数(IF)信号と
も呼ばれる「ビート周波数」信号が得られる。FMCWにより、例えばローカルオシレー
タによってまたは本明細書中により詳細に記載のように信号自身によって受信Rx信号が
復調され、ローパスフィルタリングされるとき、そのままではベースバンドとみなされな
い異常な「中間」信号が生成され得る。IF信号を例えば高速フーリエ変換処理(FFT
)の適用によって処理すると、この信号はベースバンド(BB)となり得る。
【0066】
図5に示すように、復調は、受信(反射音信号)Rx信号のみに行われる。これが数学
的に可能な理由として、Rx信号は、送信(Tx)信号を示す信号の大きなパーセンテー
ジを内部に含む(例えば、生成された音声は、部分的にスピーカからマイクロフォンへの
ダイレクトパスを移動し得、反射音と共に感知され得る)点がある。デバイスは、受信信
号Rxをそれ自体に乗算することができる(例えば2乗により(復調は乗算操作としてみ
なすことができるため))。その後、フィルタリングプロセス(例えば、ローパス)が行
われ得る。
【0067】
図5において自己混合(self-mixing)を図示しているが、動き信号を反射信号および
感知信号(すなわち、Txまたは音声信号)を用いて導出するために、いくつかの異なる
アプローチを実行することが可能である。1つのこのようなバージョンにおいて、ローカ
ルオシレータLO(これは、音声信号も生成し得る)により、Tx信号のコピーを復調の
ために有効に生成することができる。実際に生成されたTx信号は、遅延または歪みに起
因して、オシレータからの内部信号と若干異なり得る。その後、ローカルオシレータLO
(Tx)*Rxからの信号により復調を行うことができ、その後、フィルタリング(例え
ば、ローパス)も行われ得る。
【0068】
別のバージョンにおいて、2つのローカルオシレータを実装して、2つのLO信号を生
成させることができる。例えば、LO信号の正弦および余弦コピーを具現して、受信信号
の直角位相復調を得ることができる。典型的には、オシレータから信号(正弦または余弦
)が1つだけ送信される。正確なTx信号は、遅延または歪みに起因して、ローカルオシ
レータLOからの信号と若干異なる。このバージョンにおいて、(a)RX*LO(Si
n)および(b)RX*LO(Cos)において復調を行うことができ、その後、各場合
においてフィルタリング(例えば、ローパス)を行って、I復調成分およびQ復調成分双
方を生成することができる。
【0069】
[感知。音響感知と、システムによってプレーバックされる他のオーディオ(音楽、発話
、いびきなど)との混合(共存)]
【0070】
本技術のいくつかのバージョンは、処理デバイス100のスピーカおよび/またはマイ
クロフォンを、本明細書中に記載の超音波感知に加えて他の目的のために用いているとき
に、実施され得る。さらなるプロセスは、このような同時的な機能提供が可能なように実
施され得る。例えば、同時的なオーディオコンテンツ生成および超音波感知のために、送
信ビットストリーム(音響感知信号)と、上記したようにスピーカによって再生されてい
る他の任意のオーディオコンテンツ(可聴)とをデジタル的に混合することができる。こ
のような可聴オーディオコンテンツおよび超音波処理の実行のために、いくつかのアプロ
ーチを用いることができる。1つのアプローチの場合、その他のオーディオコンテンツ(
これは、例えば多数のチャンネルサラウンド音声システムにおけるようなモノチャンネル
、ステレオチャンネルまたはより多数のチャンネルであり得る)に前処理を行って、感知
波形と重複するスペクトル内容全てを除去することが必要になる。例えば、1つの音楽シ
ークエンスにおいて、例えば18~20kHzの感知信号と重複する18kHzを超える
成分が含まれ得る。この場合、18kHz近辺の音楽成分に対してローパスフィルタリン
グ除去を行うことができる。第2の選択肢として、重複感知(ダイレクトパスおよびエコ
ー)時に当該音楽に対して適応的フィルタリングを行って、短期間における周波数成分を
除去し、フィルタリングされていない音楽をそのままにしておく選択肢がある。このアプ
ローチは、当該音楽の忠実度を保持するように設計される。第3の選択肢として、音源に
対して何の変更も行わないという選択肢もある。
【0071】
特定のチャンネル上の音源(例えば、Dolby Pro Logic、デジタル、A
tmos、DTSなどまたは実際には仮想化スペシャライザー機能)に対して意図的に遅
延が付加されている場合、このような任意の帯域内信号も相応に処理し、感知波形を遅延
させないかまたはエコー処理時に遅延を可能にする)点に留意されたい。
【0072】
[感知。音声アシスタントとの共存]
【0073】
超音波感知波形(例えば、三角FMCW)の特定の実現は、可聴帯域内にスペクトル内
容を有するため、音声認識サービス(例えば、Google Home)を行っている特
定の音声アシスタントに対して意図しないまたは不要な影響を持ち得る点に留意されたい
。デュアルランプトーンペアを使用することまたは感知波形にプレフィルタリング(三角
チャープ中のハイパスまたはバンドパスフィルタリング)を行うことまたは音声認識信号
処理を超音波感知信号成分に対するロバスト性を持つよう適合させることにより、このよ
うなクロストークの可能性を回避することができる。
【0074】
次のようなFMCWランプ信号yを考える。
【0075】
【数1】
【0076】
このランプは、期間T(time period T)にわたる周波数f_1から周波数f_2であ
る。これは、期間Tにおいて切り換えられるため、サブ調波を有する。
【0077】
これについての分析によれば、より低い周波数において出現するため可聴である帯域外
高調波があることが分かる。
【0078】
以下のような特定のデュアルランプペアy(dual ramp pair y)を考える。
【0079】
【数2】
【0080】
よって、サブ調波がキャンセル(上記において減算)され、信号が保持される。1/T
は、極めて特異的である。つまり、(1/T)またはさらには-(1/T)を用いること
により、期間Tにおける切り換え効果がキャンセルアウトされる。よって、得られる信号
が非可聴となる。これは数学的に単純に行われるため、デバイス(例えば、スマート携帯
電話デバイス)に対する計算負荷が無いため、有利である。
【0081】
デュアルトーンはDCレベル(「0」)において切り替わるため、例えばクリック音(
すなわち、ラウドスピーカが大きく動く事態を回避するようなオンおよびオフ)を回避す
るために、波形チャープ中においてオフにできる自然なポイント(信号の開始時および終
了時)がある。「0」により、残響軽減および/または特定の送信器の同定(すなわち、
チャープのオン/オフ時間のオーバーレイ)のために、各チャープ間または実際にはいく
つかのチャープのグループ間に静寂期間を設けることも可能になる。
【0082】
サブ調波が無いことも、室内において2つのデバイスが同時に作動する場合の干渉源の
可能性が無くなるため、有利である。よって、2つの異なるデバイスは、(周波数が)重
複していないトーンペアまたは実際に周波数が重複しているトーンペア(かつ重複してい
ない静寂期間の付加に起因する時間は重複していないトーンペア)を用いることができる
。後者の場合、ラウドスピーカ/マイクロフォンの組み合わせにおいては利用可能な非可
聴の帯域幅が限られている(すなわち、感度が19または20kHzへ大きくロールオフ
する)点において、有利であり得る。
【0083】
相対的に非可聴の三角FMCW信号をデュアルトーンランプと比較した場合も、後者は
サブ調波レベルがずっと低い(現実世界のスマートデバイス上のノイズフロアに近い(例
えば、量子レベルに近い))。
【0084】
デュアルトーンランプを(三角形ではなく)上または下にランプ(傾斜)させかつ帯域
外成分が無いようにできるので、三角傾斜の場合に生成し得るランプ間のにじみの問題が
無くなる。
【0085】
標準的なランプオーディオ信号を非可聴にするには、得られる波形の位相および振幅の
歪みの可能性がある広範なフィルタリングが不可欠である。
【0086】
[感知。性能最適化のための較正/室内マッピング]
【0087】
処理デバイスは、セットアッププロセスと共に構成され得る。デバイスの最初のセット
アップ(または動作時の周期的なセットアップ)時において、デバイスは、室内環境、室
内の人の存在および/または数などのマッピングを行うために、音響プロービングシーク
エンスを送り出し得る。後でデバイスを動かす場合または感知された信号の質低下が検出
された場合、このプロセスを繰り返すことができる。本システムは、スピーカ(単数また
は複数)およびマイク(単数または複数)の能力の確認と、イコライゼーションパラメー
タの推定とのための音響トレーニングシークエンスも放出し得る。すなわち、実世界の変
換器の場合、システムによって用いられる超音波周波数ならびに温度およびオン特性にお
いて一定の非線形性があり得る(例えば、ラウドスピーカが安定するには、数分かかる場
合がある)。
【0088】
[感知。局所化のためのビーム形成]
【0089】
専用のビーム形成を具現するか、既存のビーム形成機能を利用することができる。すな
わち、センサアレイに対して送受信される信号の方向選択性または空間選択性が可能にな
るように信号処理が用いられる。これは典型的には「ファーフィールド」問題であり、(
「ニアフィールド」である医療用画像化と対照的に)波面が低周波数超音波に対して比較
的平坦になる。純然たるCWシステムの場合、音波はスピーカから移動して、最大領域お
よび最小領域に到達する。しかし、複数のトランスデューサが利用可能である場合、この
放射パターンを有利に制御すること(ビーム形成として知られるアプローチ)が可能であ
る。受信側においては、複数のマイクロフォンも用いられ得る。これにより、音響感知を
任意の方向において優先的に操作し(例えば、多数のスピーカがある場合に出射された音
声および/または受信された音波の操作をすること)、ある領域を掃引することが可能で
ある。ユーザがベッドにいる場合、対象に向けられるか、または、例えばベッドに2人の
人がいる場合に、複数の対象へ方向付けられるように感知を操作することができる。ビー
ム操作は、送信側または受信側において具現され得る。低コストの超音波変換器(マイク
ロフォンまたはスピーカ)は指向性が極めて高い(例えば、小型の変換器の場合、波長は
変換器のサイズに類似する)ため、そのような変換器の操作が可能な領域が制限され得る
【0090】
[感知。復調およびダウンコンバージョン]
【0091】
図5に戻ると、感知された信号の復調は、例えば、図7に示す乗算器(ミキサー)モジ
ュール7440で、あるいは、図5の復調器により行われて、ベースバンド信号が生成さ
れる。このベースバンド信号をさらに処理して、感知フィールド中の「存在」(すなわち
、受信されるエコーの(人の特性動きに関連する)変化に関連する復調信号の外乱)が有
るかを検出する。受信された「ダイレクトパス」(スピーカからマイクロフォンへの高ク
ロストークが有る場合(例えば、固体介在対空中介在の伝送および/またはスピーカから
マイクへの短距離)信号)、受信されたエコー信号に加えて、得られた合計の乗算を復調
のために行うことができる。そうではない場合、受信されたエコーを、(音響的ではなく
)電子的な形態で抽出された元の送信信号の一部と乗算(混合)することができる。この
特定の例において、本システムにおいて、復調の際に受信信号と送信信号との乗算を行わ
ない(他の実施形態においては行われ得る)。その代わりに、本システムは、(減衰され
た送信信号および受信エコー(単数または複数)を含む)受信信号同士を以下のように乗
算することができる。
【0092】
送信 = ATX(Cos (P) - Cos (Q) )
【0093】
受信 = A (Cos (P) - Cos (Q) ) + B (Cos (R) - Cos (S) )
【0094】
セルフミキサー= [A (Cos (P) - Cos (Q) ) + B (Cos (R) - Cos (S) )] x [A (Cos (P
) - Cos (Q) ) + B (Cos (R) - Cos (S) )]、
すなわち、受信x受信である。
【0095】
ローパスフィルタリング後の(復調された)セルフミキサー成分は、次のように表すこ
とができる。
【数3】
【0096】
式単純化後のセルフミキサー出力(復調されたもの)は、次のように表すことができる

【数4】
、ここで、AAおよびBBは、DC成分である。
【0097】
反射信号情報を含む復調された成分は(静的であり得、動きに関連し得る)、次のよう
に表すことができる。
【数5】
【0098】
このことによる利点は、全タイミング情報が受信側に含まれているため、送信と受信と
の間の同期が不要であり、計算が高速かつ単純である(アレイの二乗)ことである。
【0099】
IおよびQ(同相および直角位相)の復調後、空気擾乱に関連する低周波成分、多経路
リフレクション(多経路関連のフェーディングを含む)および他の低速で動く(一般的に
は非生理学的)情報を分離する方法を選択する。いくつかの場合において、この処理は、
クラッタ除去と呼ばれ得る。DCレベル(平均)を減算するかまたは他の何らかのトレン
ド除去(例えば、線形トレンド除去)を重複または非重複のブロックに基づいて行う。D
C成分および極低周波成分(VLF)の除去のために、ハイパスフィルタを適用してもよ
い。「除去された」情報を処理して、このようなDCおよびVLFデータ(例えば、強い
気流または多経路による有意な影響が有るか)の強度を推定する。次に、フィルタリング
された復調信号は、スペクトル分析ステージへ送られ得る。他方の選択肢として、ハイパ
スフィルタを用いずにフィルタリングされていない信号を直接スペクトル分析処理ブロッ
クへ送り、DCおよびVLFの推定をこのステージにおいて行う選択肢がある。
【0100】
[例示的なシステムアーキテクチャ]
【0101】
図6は、低周波超音波生体動き感知を用いた音声により可能となる睡眠改善システムの
例示的なシステムアーキテクチャを示す。本システムは、本明細書中に記載の感知技術(
例えば、マルチトーンFMCW音響感知)を用いて具現され得る。ユーザは、ユーザの睡
眠をモニターするために事前に起動された音声起動型スピーカに話しかけることができる
。例えば、言語命令(verbal instruction)は、スマートスピーカにクエリを生成させる
ことができる。この言語命令は、マイクロフォンによって受信される。マイクロフォン信
号のクエリをプロセッサによって評価することにより、クエリの内容または命令を決定し
、決定された睡眠スコア、呼吸(SDB)イベントまたは睡眠統計の可聴のレポートを決
定する。このレポートに基づいて、システムの処理により、睡眠改善についての可聴のア
ドバイス(例えば、睡眠を支援する治療デバイスの提案)も生成することができる。例え
ば、「私の昨晩の睡眠はどうだった?」などのクエリをマイクロフォンが受信するのに応
答して、図8に示す睡眠関連データ(例えば、睡眠スコア、睡眠ステージにおける時間)
のユーザへの言語の要約および可聴の説明を処理デバイス100のスピーカ(単数または
複数)を介して行うことができる。これに応答して、処理デバイス100は、出力(例え
ば、音/オーディオ)を処理デバイスによって検出されたデータ(例えば、ソナー感知か
らのもの)と共に自身のスピーカを介して生成させ得る。例えば、これに応答して、処理
デバイスは、次の説明の音声レポートを生成させ得る。すなわち、「あなたの合計睡眠時
間は6時間であり、睡眠途中での覚醒は2回だけでした。そのうち、深い睡眠は4時間で
あり、浅い睡眠は2時間でした。無呼吸および呼吸低下カウントについては、2個のイベ
ントがみられました」である。
【0102】
本技術の低周波超音波感知によって有効となる、スピーカにより有効とされた処理デバ
イス100の近傍における動き検出のためのシステム処理は、図7に示す例示的なモジュ
ールに関連して考察することができる。処理デバイス7102は、スピーカ(単数または
複数)7310と、任意選択的にマイクロフォン(単数または複数)7302と、1つ以
上のプログラマブルプロセッサを備えたマイクロコントローラ7401とを含む。これら
のモジュールは、マイクロコントローラのメモリ中にプログラムすることができる。この
点について、オーディオサンプルまたはオーディオコンテンツは、7410における任意
選択のアップサンプリング処理モジュールによりアップサンプリングされ得、あたかも任
意選択のオーディオコンテンツが(感知信号と同時に)スピーカによって生成されるかの
ように、加算器モジュール7420へ提供され得る。この点について、加算器モジュール
7420は、オーディオコンテンツと、FMCW信号(例えば、所望の低超音波周波数範
囲内のデュアルトーンFMCW信号)を生成するFMCWプロセスモジュール74430
からの所望の周波数範囲内のFMCW信号とを任意選択的に組み合わせる。次に、加算さ
れたFMCW信号は、例えばスピーカ7310からの出力のためのコンバータモジュール
によって処理され得る。このFMCW信号は、乗算器モジュール7440などの復調器へ
も付加される。乗算器モジュール7440などの復調器において、FMCW信号は、マイ
クロフォン7302において観察された受信エコー信号と処理(例えば、混合/乗算)さ
れる。このような混合の前に、受信されたエコー信号に対して本明細書中に既述のような
適応的フィルタリングを行うことにより、対象周波数スペクトル外の不要な周波数を除去
することができる。オーディオ出力処理モジュール(単数または複数)7444は、フィ
ルタリングされた出力をダウンサンプリングすることおよび/または信号を変換してオー
ディオ信号を生成することを任意選択的に行い得る。次に、乗算器モジュール7440か
らの復調信号出力を、例えば後処理モジュール7450によりさらに処理することができ
る。例えば、この出力を周波数処理(例えば、FFT)およびデジタル信号処理により処
理することにより、(a)呼吸動作または動き、(b)心臓動作または動き、および(c
)全身動作または動き(例えば、全身動作または全身の動き)を分離させるように、検出
された原生理学的な動きの信号検出されたまたは他の場合の個々の動きを周波数範囲によ
り向上させることができる。次に、上記したような多様な情報出力(例えば、睡眠、睡眠
ステージ、動き、呼吸イベント)を検出するように信号の多様な動きを特性付けするため
の7460における特性処理により、生理学的な動きの信号(単数または複数)を記録す
るかまたは他の態様で例えばデジタル処理することができる。
【0103】
全身の動きまたは全身動作の検出に関連して、このような動きは、腕の動き、頭部の動
き、胴の動き、手足の動き、および/または全身の動きなどのうちいずれかを含み得る。
動き検出のための送信信号および反射信号からのこのような検出の方法は、ソナー音声型
動き検出に適用することができ、例えば国際特許出願PCT/EP2016/05880
6および/またはPCT/EP2016/080267に記載のように考察および適用す
ることができる。本明細書中、同文献全体を引用することにより、本明細書の一部をなす
ものとする。その特性上、このようなRFまたはソナー技術は、全ての身体の動き(また
は少なくともその大部分)を一度に確認することができ、「ビーム」が方向付けられる場
所に依存し得る。例えば、この技術は、頭部および胸部または全身などを主に照射する。
脚の動きが例えば周期的である場合、脚の動きは動きの頻度に基づいてある動きとして主
に区別することができ得、別の自動利得制御(AGC)操作を行うことにより任意選択的
に区別することができる。呼吸検出は、全身の動きが少ないときに最も有効であり、特性
周波数および呼吸波形の信号形状を分離させる(経時的に評価される通常のCOPDまた
はCHF変化率および吸気/呼気比、SDBイベント、より長期のSDB変調など)。
【0104】
動きがベッド内の人と関連付けられた場合、最大の振幅信号が全身の動き(例えば、寝
返り)と関連付けられ得る。手または脚の動きは、より高速であり得る(例えば、I/Q
信号からの速度)が、相対的振幅はより低い。よって、動き信号分析によるこのような動
きの異なるコンポーネントおよび/またはコンポーネント配列は、例えば全身の動きおよ
び加速、腕の動き速度と共に開始した後に停止したかについての特定において考慮され得
る。この特定は、異なる動きジェスチャーを重点的に標的とし得る。
【0105】
[感知。他のオーディオデジタル信号処理(DSP)との共存]
【0106】
処理デバイス100のスピーカにより生成された音響信号によって用いられる感知周波
数(単数または複数)および波形形状(単数または複数)のために、デバイスまたは関連
付けられたハードウェアまたはソフトウェアにおける既存のエコー除去を全て抑制(例え
ば、ディスエーブル)することができる。振幅が相対的に小さいことが多い反射された「
エコー」信号の外乱(意図されない信号の処理)の最小化のために、自動利得制御(AG
C)およびノイズ抑制もディスエーブルすることができる。
【0107】
その結果得られた受信信号(例えば、スピーカにおいて受信されもの)に対してデジタ
ル的にバンドパスフィルタを行って、個々の意図される送信感知波形を、異なる周波数に
おける他の信号(例えば、発話、バックグラウンドノイズ、同一場所に設置されたかまた
は共同設置されたデバイス内において実行される異なる感知信号)から選別する。
【0108】
[感知。マルチモード/ハイブリッド感知]
【0109】
連続波(CW)システムは、「なんでも」(すなわち、室内の一般的動き)を高速検出
により検出することができるが、高精度の距離ゲーティングには不十分であり、フェーデ
ィングも比較的不十分である。改善策として、フェーディング防止のためのマルチトーン
CWがある。動きの局所化のため、距離ゲーティングを利用することが可能である。その
ため、FMCW、UWBまたは他のいくつかの変調スキーム(例えば、FSKまたはPS
K)を利用することが望ましい。FMCWの場合、CWのような強いヌル(nulls)が無
く、距離ゲーティングを支援し、室内のモード蓄積に耐える。
【0110】
換言すると、デュアルまたはマルチトーンの連続波(CW)などの波形を用いて、広い
室内などの領域内の全ての動きを感知することができる。多経路リフレクションおよび/
または残響に起因して生成された定常波または進行波に起因するヌルを最小限にするよう
に、複数のトーンが選択される。このアプローチの利点として、任意の動きを検出するこ
とができ、空間を満たすより大きな信号の使用が可能な点がある。よって、高感度の動き
検出器として作動することができ、侵入者検出器として機能することができる。候補の動
きが検出された場合、システムは、可能性のある候補となる生理学的な信号(例えば、ユ
ーザの室内への歩行、典型的な活動シークエンス)を検索した後、呼吸、心拍数、および
例えばジェスチャーなどの特性の動きを検索する。本システムは、範囲情報を直接提供し
ないCW型システムから、周波数変調連続波(FMCW)または超広帯域(UWB)信号
などの、特定の範囲において検出が可能で、動きの追跡を行い得るシステムへ切り替わり
得る。
【0111】
UWBシステムは、スピーカおよびマイクの周波数応答に応じて可聴または非可聴にな
り得る。すなわち、これらのコンポーネントがより高周波数をサポートすることができる
場合、広帯域信号は、ヒトの聴覚範囲外であり得る。より典型的な消費者スピーカの場合
、UWB音声が可聴になる可能性がより高くなり、フィルタリングされたホワイトノイズ
などの音声(例えば、ピンクノイズまたはヒトの耳にとって「不快」な音声ではない何ら
かの変形例)に近くなるように形成され得る。これは、睡眠時において例えばホワイトノ
イズ生成器を模倣することにより、受容可能になり得る。他の場合、UWBが、ユーザが
セキュリティ適用のために自宅から離れる際の距離ベースの感知提供のための別の選択肢
となる。
【0112】
いくつかのバージョンにおいて、感知は、複数の感知装置を用いて(例えば、任意の2
種類以上の感知装置(例えば、音響感知装置、RF感知装置、およびIR感知装置のうち
いずれか2つ以上)を用いて)行われ得る。例えば、処理デバイスは、RF感知および音
響感知(例えば、FMCW)により動きを検出し得る。処理デバイスは、IR感知および
音響感知(例えば、FMCW)を用いて動きを検出し得る。処理デバイスは、IR感知お
よびRF感知により動きを検出し得る。処理デバイスは、IR感知、RF感知および音響
感知(例えば、FMCW)を用いて動きを検出し得る。
【0113】
[感知。生理学的な信号]
【0114】
DCおよびVLF(例えば、気流)の分離後、呼吸信号、心拍数信号、および全身動き
信号が分離される。これらは、FFTウィンドウ内のビンの検索およびウィンドウ上の追
跡および/または指定距離における時間領域信号の直接ピーク/トラフ(trough)または
ゼロ交差分析(例えば、復調信号の複雑なFFT分析を用いて抽出された指定距離範囲の
「時間領域」信号)を介して推定され得る。その結果、一定範囲のユーザの動きの選択が
可能になる。これは、FFTとして「2D」(二次元)処理とも呼ばれる。
【0115】
[スマートスピーカを用いたバイオメトリック感知]
【0116】
家庭環境において、いわゆる「スマート」デバイス(例えば、「スマートスピーカ」)
は急速に普及しており、新規の生理学的な感知サービスについての機会が提供されている
【0117】
スマートスピーカまたは同様なデバイスは典型的には、例えば図6に示すようなホーム
オートメーション(例えば、スマート自動器具、スマート照明、スマートサーモスタット
、または器具への給電のためのスマート電源スイッチ)およびネットワーク(例えば、イ
ンターネット)のための他の接続されたホームデバイスへのおよび当該ホームデバイスか
らの無線手段(例えば、Bluetooth、Wi-Fi、ZigBee、mesh、ピ
アツーピアネットワーキング)を介した通信を含む。音響信号を単に出力するように設計
された標準的スピーカと異なり、スマートスピーカは通常は、処理を行う電子装置以外に
も、1つ以上のスピーカと、1つ以上のマイクロフォンとを含む。マイクロフォン(単数
または複数)、スピーカおよびプロセッサ(単数または複数)は、パーソナライズド音声
制御を可能にするために、インテリジェントアシスタント(人工知能(AI)システム)
とインターフェースをとるように具現され得る。いくつかの例として、Google H
ome、Apple HomePod、Amazon Echoがあり、「OK、グーグ
ル」、「ヘイ、シリ(Siri)」、「アレクサ(Alexa)」の決まり文句を用いた
音声アクティベーションが用いられる。これらのデバイスおよび接続されたセンサは、モ
ノのインターネット(IoT)の一部としてみなされ得る。
【0118】
上記した超音波検出技術を(可聴の音響信号または非可聴の音響信号を用いて)スマー
トスピーカにおいて採用する場合、(スマートスピーカシステムの設計時において推定お
よび/または特定のデバイスの実際の性能に基づいて更新された)その能力に基づいて、
特定の最適化が必要になる。広範に言うと、スピーカ(単数または複数)およびマイクロ
フォン(単数または複数)双方によってサポートされる最大周波数により、利用可能な最
高周波数の非可聴感知信号が最終的に規定される。これは、特定のデバイス製作公差に基
づいて若干変化し得る。
【0119】
例えば、第1のデバイス(例えば、Google Homeデバイス)内のスピーカは
、第2のデバイス(例えば、Samsung Galaxy S5スマートフォン)内の
スピーカと異なる特性を有し得る。第1のデバイススピーカの感度は24kHzまでであ
り得、類似の周波数に対してほとんど平坦なマイクロフォン応答を有する。しかし、第2
のデバイスのスピーカは、より低い周波数においてロールオフし得、感度のピークおよび
トラフは18kHzを超え得る。Amazon Alexa デバイスのスピーカの場合
、例えば20kHzにおいてロールオフし得る。例示的なGoogleデバイスの場合、
戻ってくる位相反転波に対してパッシブリフレックススピーカ設計を用い得、これらの波
を側方に送り得るため、その音響特性が変化する(例えば、「10kHz」スピーカは実
際には25kHzスピーカに変化する)。
【0120】
いくつかのデバイスは、マイクロフォンアレイ(例えば、平坦プレート上の複数のマイ
クロフォン)を有し得て、利得および平均化関数を具現し得るが、マイクロフォン要素間
が分離される(例えば、動的配列ダイバース配列)。このような処理は数値的に(すなわ
ち、デジタル信号処理を用いたデジタルドメインにおいて)行うことができる。
【0121】
このようなシステムについて管理が必要な1つの差違の可能性として、スピーカ(単数
または複数)およびマイクロフォン(単数または複数)の方向が関連する。例えば、特定
の具体例において、スピーカが前方を向き得、ユーザに対して同様の方向を向き得る。し
かし、マイクロフォン(単数または複数)は、室内または天井に対して20~30度の角
度で方向付けられる場合がある。
【0122】
よって、距離音響感知のために音声ピックアップを最適化するには、アプリケーション
の構成を、室内のトポロジーを学習することおよび可能性の有るリフレクション経路を可
能にすることのためにスピーカを介してプロービングシークエンスを生成させるような構
成にすればよい。よって、セットアッププロセスにより、(例えば、複数の人または動き
源がスマートスピーカから異なる距離にある場合に複数の人または動きのソース(source
;源)の同時モニターを支援するために)低周波超音波エコーの距離測定を較正するため
のシークエンスを生成させることができる。信号処理の観点からみると、残響フロア(反
射音響波のエネルギーが散逸するのにかかる時間の長さ)は、異なる感知信号によって異
なり、CW(連続波)の場合に2~3倍であり、FMCWの場合に約5倍(すなわち、リ
バーブ低減)である(すなわち、FMCWの場合、周波数の範囲、持続期間、および反復
シークエンスの形状に応じてリバーブフェーディングが未だにあり得る)。
【0123】
マイクロフォンを分離した場合、困難に繋がり得る。例えば、共通ハウジング内のマイ
クロフォンアレイがスマートスピーカ上において利用可能である場合、マイクロフォンの
例示的な分離距離は、71mmであり得る。波長が20mmである場合、これは、1つの
マイクロフォンがトラフ内にあり得る一方、他方のマイクロフォンがピーク領域内にある
ことを示す(例えば、ユーザが固定スピーカの方へ移動すると、SNRマイクロフォン間
のSNRが変化する)。望ましい構造として、2個のマイクロフォンを、領域内の特定の
オーディオ感知波長関連間隔19~20mmと共に構成することができる。事前構成され
たシステムにおいてこのような距離が不明である場合、較正プロセスを例えばセットアッ
ププロセスの一部として行って、この距離を検出することができる。例えば、セットアッ
ププロセスは、時間同期された較正音声を1つ以上のスピーカを介して生成させて、各ス
ピーカから各マイクロフォンへの飛行時間を計算または推定することができ、マイクロフ
ォン間の差をこれらの計算に基づいて推定することができる。よって、スマートフォンか
らの距離を2個以上のマイクロフォンにより感知する際、マイクロフォン間の距離を考慮
に入れることができる。
【0124】
アクティブサウンドバー(すなわち、マイクロフォンを含む)などの他のデバイス、お
よびモバイルスマートデバイスも、本明細書中に記載の感知動作で実施され得る。
【0125】
少なくとも1つのスピーカおよび少なくとも1つのマイクロフォン(またはこれらの機
能を行うように構成することが可能な変換器)を設けることにより、バイオメトリック感
知を能動低周波超音波およびそのエコー処理を用いてこれらのデバイスに対して行うこと
が可能になる。上記したように、例えばほとんどのユーザの可聴域のすぐ外(例えば、1
8kHzを超えて)かつ既知のまたは決定されたシステム能力内にある音響信号を再生(
伝送)することにより、これを具現することができる(例えば、サンプリングレートが4
8kHzである場合に24kHzを下回り得るが、通常は25または30kHzを下回る
)。これと対照的に、医療用超音波は通常はずっと高い周波数(例えば、1~18MHz
)において動作し、これらの動作のために特殊な機器を必要とする。記載の超音波測定技
術により、ほとんどの家庭において既に利用可能になっているスマートスピーカシステム
(スマートフォンを含む)を用いるだけで、いかなる高価な機器の購入の必要なく簡便な
非接触測定が可能になる。
【0126】
[異なる感知デバイス/アプリケーションの共存]
【0127】
符号化されたまたは符号化されていない超音波信号は、デバイスおよびシステムが同定
および他のデータ交換目的を具現することを可能にするよう、異なるデバイスによって生
成され得ることが分かる。例えば、携帯電話アプリケーションは、近くにある他の感知に
より有効とされるデバイス/システム(例えば、スマートスピーカ)に対して自身を同定
する(またはその逆)ために、このような信号を通信目的のために生成させるように構成
され得る。これらの種類の信号は、同定のために短距離無線周波通信の代わりに用いられ
得る(例えば、ブルートゥースが利用できないかまたはディスエーブルされている場合)
。本システムのデバイスは、感知できる近傍における他の処理デバイスの存在を(例えば
、別の処理デバイスからの非可聴の音響的に生成された通信信号を介して)を自動的に決
定することができ、生成された感知信号のパラメータが非干渉感知モードにおいて(例え
ば、異なる周波数帯および/または時間的に非重複の周波数帯の利用により)動作するこ
とができるように、これらのパラメータを調節することができる。
【0128】
[低周波超音波(ソナー)感知]
【0129】
多くの場所において、ヒトの聴力閾値のちょうど上の低周波超音波範囲の音声を放出お
よび記録することが可能なオーディオデバイスが含まれる(例えば、インフォテインメン
トシステム)。このようなデバイスおよびシステムは、低周波超音波技術を用いて近傍の
人の生理学的な感知を行うように適合され得る。このような感知は、標準的オーディオシ
ステムの元々の意図される機能へ影響を与えること無く行うことが可能である。一例にお
いて、このような感知機能は、ソフトウェア更新を介して具現することができる(すなわ
ち、物品コストの増加を招くこと無くさらなる有用な機能を提供することができる)。い
くつかの場合において、新規のデバイスまたはシステム内の変換器のうち1つ以上を、低
周波超音波感知のためのオーディオ周波数範囲を支援するように指定することができ、さ
らなる試験を製造時に行って、この仕様を満たしているかを確認する。
【0130】
このような(可聴または非可聴の)音響感知技術は、広範な多様な目的のために利用す
ることができる(例えば、プロアクティブ健康管理、医療デバイス、およびセキュリティ
機能)。
【0131】
約25kHzまで動作する低周波超音波システムは、モバイルスマートデバイスまたは
スマートスピーカデバイス上において実現することができる。その結果、音声エネルギー
が電子デバイス上の1つ以上の変換器により1つ以上の対象者へ送られ、変換器は、25
kHz未満の周波数を含む一定範囲の周波数を介して音声エネルギーを生成させるように
構成される。スピーカは、スマートフォン、スマートスピーカ、サウンドバー、ポータブ
ルTV画面、または低周波超音波感知および処理の支援が可能な変換器を含む他の多数の
デバイスおよび構成内に収容され得る。コンピュータがスピーカシステムを制御するよう
に具現された場合、スマートスピーカシステムが有効に生成される。
【0132】
可聴の音声(例えば、呼吸、咳、睡眠時のいびき、息切れ、喘鳴、発話、鼻すすり、く
しゃみの音声)を、(動き感知のために検出される反射された感知信号からこれらの音声
を分離するために)近傍の感知されたオーディオ信号から抽出および分類することができ
る。これらの音声のうちいくつか(例えば、咳)に起因して、感知信号(特に極めて低い
音声圧力レベルにおける動作時において)がマスクされる場合があるが、これは望ましく
ない。しかし、このような音声も検出可能であり得るため、このような音を他の環境音声
(例えば、クラクションを鳴らす音、モータノイズ、街路の音、風、ドアをバタンと閉め
る音)から分離することができる。呼吸音は典型的には、静寂な環境においては信号の質
が良くなり、アクティブ感知アプローチ(例えば、ソナーまたはレーダー(RFのものを
含む)(主に胴体の動きおよび手足の動きを検出する)、またはカメラ/赤外線システム
)を用いて実行された場合、吸気/呼気時間(およびよって呼吸数)の良好な第2の推定
が可能になる。換言すると、本システムは、この場合も音声の特性についての情報を抽出
することができ、極めて音が大きい場合、関連信号の質が受容可能な閾値を下回った際、
システムが感知された信号の小部分をスキップすることができる。
【0133】
ソナーシステムにおいて、吸気または呼気に起因する空気の動きは、(感知信号が残響
を経験できるくらいに充分に長く継続した場合に感知環境内の音響モードセットアップの
外乱に起因して)得られる移動波面を追跡する方法によって検出することも可能である。
可聴のシグネチャから直接いびきを検出することは、比較的に大きな音のプロセスである
ため、この検出はより容易である。この検出は、例えば、平均最大デシベルレベルを用い
ていびきを軽度(40~50db)、中程度(50~60db)または重度(>60db
)に分類することにより、行われる。
【0134】
よって、いくつかの場合において、処理デバイス100は、呼吸検出のための動き検出
(例えば、ソナー)技術を用い得る。しかし、いくつかの場合において、マイクロフォン
における可聴の呼吸信号の音響分析を呼吸検出のために処理デバイス100によって具現
することができる。
【0135】
[RF(レーダー)感知]
【0136】
いくつかのシステムは、セキュリティのための簡単な内部の動き検出のための単一のパ
ルスドップラーレーダーモジュールを含み得る。これらは、(アップデートされたソフト
ウェアにより)向上させることもできるし、あるいは、動き検出を近傍の特定の領域に局
所化することが可能な(特に各シート/座席上の人を検出および区別することが可能な)
モジュールと交換してもよい。センサの向上が、技術(例えば、超広帯域(UWB)感知
信号または周波数変調連続波(FMCW)感知信号または他の符号化スキーム(例えば、
OFDM、PSK、FSK)を含む)をその生成された感知信号内において用いることに
より、行われ得る。これらは、高精度のレンジング能力(1cm以下)を有するセンサに
より具現され得る。このようなセンサは、規定領域内において感知を行い得る(例えば、
特定のシートに方向付けられた感知方向を有するように近傍において構成され得るアンテ
ナ設計を介して設定される)。いくつかの場合において、複数のアンテナが、特定の感知
領域に対して実装され得、異なるアンテナと関連付けられた距離感知差を設定するための
ビーム形成技術と共に用いられ得る。複数のセンサが、人(またはペット)が内部に存在
し得る複数の領域(例えば、各シートに対するセンサ)を網羅する領域内において用いら
れ得る。
【0137】
[マルチモードデータ処理]
【0138】
ソナー、RFまたは赤外線感知(すなわち、IR送波および受波のための赤外線エミッ
タおよび検出器)を用いた場合、処理デバイス100は、近傍の機器により(例えば占有
度推定のために)生成されたさらなるデータまたは信号を受信することができ、これによ
り、生体動き感知をこのような機器からのデータに基づいて行うことが可能になる。例え
ば、人が所与のシート上またはベッド内に座っているかを検出するシート/ベッド荷重セ
ンサにより、特定のシートまたはベッドと関連付けられ得る感知について生体動き感知を
開始するタイミングを決定するための情報を生体動き処理デバイス100へ提供すること
ができる。赤外線システムは、例えばヒトの眼の動きを追跡することが可能なカメラシス
テムを例えば眠気検出のために任意選択的に備え得る。
【0139】
処理デバイスは、生体動き特性の検出のための関連レンジ/距離の評価のための距離情
報を備えて構成され得る。例えば、処理デバイス100は、近傍の内部(例えば、部屋の
もの)の距離マッピング(マップ)を有し得る。このようなマップは、設計ステージにお
いて初期感知構成を指定するために初期に設けられ得る。任意選択的に、処理デバイスの
制御下にある感知システムは、1つ以上の人によって用いられている場合にマップを動的
に更新(または検出)し得る。初期構成は、例えばシートの位置および最も可能性の高い
シート構成をキャプチャ/検出し得る。すなわち、シートが可動型である場合、センサは
、システムに現在の設定を報告して、感知パラメータを更新することができる(例えば、
座っている人の位置は、(シートが後方または前方にスライドした場合あるいは折り畳ま
れた場合に)感知ラウドスピーカに対して移動し得る)。
【0140】
[バイオメトリック特徴の検出。呼吸、心臓、動きおよび距離]
【0141】
[センサ信号の処理]
【0142】
システムは、特定の処理デバイス100を含み、例えば任意選択的に復調が処理デバイ
スによって行われない場合において、復調信号をセンサから(例えば、ソナー、RF/レ
ーダー、または赤外線から)受信し得る。次に、処理デバイス100は、対象コンポーネ
ント(例えば、直流信号DCおよび超低周波数VLF(例えば、気流)、呼吸、心拍数、
および全身動き信号)の分離により、この信号を処理し得る。これらの推定/検出は、高
速フーリエ変換(FFT)ウィンドウにおけるビンの検索と、ウィンドウを介したおよび
/または指定距離における時間領域信号の直接ピーク/トラフまたはゼロ交差分析を介し
た追跡(例えば、復調信号の複雑なFFT分析を用いて抽出された指定距離レンジに対す
る「時間領域」信号)とにより、行うことができる。これは、例えば国際特許出願PCT
/EP2017/073613に記載のようなFFTのFFTが行われるため、「2D」
(二次元)処理とも呼ばれる。
【0143】
ソナー感知の場合、有意な他の情報をオーディオ帯域中に発見することができ、マイク
ロフォンによってピックアップすることができる。このような情報は、インフォテインメ
ント音声(音楽、ラジオ、TV、映画)、電話呼び出し音またはテレビ電話呼び出し音(
ヒトの発話を含む)、周囲ノイズ、ならびに他の内部音声および外部音声(例えば、モー
タ、交通往来または車両ノイズ)であり得る。これらのオーディオ成分の大部分は、干渉
物とみなされ得、バイオメトリックパラメータ推定から抑制され得る(例えば、フィルタ
リングされ得る)。
【0144】
レーダー感知の場合、他のRF源からの信号成分が抑制され得る。
【0145】
赤外線感知の場合(例えば、視標追跡に加えて生理学的な感知を行う場合)、温度変化
および太陽位置に起因して干渉が発生し得、これを考慮に入れることができる。よって、
温度センサ(例えば、サーモスタット温度センサからのもの)および時間の評価を感知信
号の処理において行うことができる。
【0146】
使用される感知技術の詳細(RF、IR、ソナー)に関係無く、受信された時間領域反
射信号に対してさらなる処理を行うことができる(例えば、バンドパスフィルタによるバ
ンドパスフィルタリングによる処理、エンベロープ検出器による評価、およびその後のピ
ーク/トラフ検出器による処理)。エンベロープ検出は、ヒルベルト変換または呼吸デー
タの二乗と、ローパスフィルタを介した二乗データの送信と、得られた信号の平方根の計
算とにより、行うことができる。いくつかの例において、呼吸データは、ピークおよびト
ラフ検出(またはあるいはゼロ交差)プロセスを通じて正規化および送信することができ
る。検出プロセスにより、吸気部位および呼気部位を分離することができ、いくつかの場
合において、ユーザの吸気部位および呼気部位を検出するように検出プロセスを較正する
ことができる。
【0147】
呼吸活動は典型的には、(例えば規則正しい深い呼吸からの)0.1~0.7Hz(6
呼吸/分~(典型的には成人の場合の速い呼吸数である)42呼吸/分)の範囲内である
。心臓活動は、より高周波数において信号に反映され、通過帯域範囲が0.7~4Hz(
毎分48回鼓動~毎分240回鼓動)であるバンドパスフィルタによるフィルタリングに
より、この活動へのアクセスが可能になる。全身の動きに起因する活動は典型的には、4
Hz~10Hzの範囲である。これらのレンジには重複があり得る点に留意されたい。強
い(明確な)呼吸トレースは、強い高調波に繋がり得、呼吸倍音を心臓信号と混同するこ
とを防ぐために追跡が必要である。変換器からの距離が長くなるほど(例えば、数メート
ル)、比較的小さい心臓の機械的信号の検出が極めて困難になり得、このような心拍数の
推定は、スマートスピーカから1メートル以内において(例えば椅子/カウチ上において
またはベッド内において)静かに横臥している設定により適している。
【0148】
不在/存在が「存在」として決定された後、呼吸の推定、心臓の推定、および動き/活
動信号(ならびに、その相対的位置および速度(移動している場合、例えば、近傍の内外
において移動している場合))の推定が、センサのフィールド内の1人以上の人について
行われる。レンジング情報を提供するシステムは、複数の人が類似の安静時呼吸数を有す
る場合(これは、若いカップルにおいては頻繁にあり得る)も、複数の人のバイオメトリ
ックデータを分離することができることが分かる。
【0149】
これらのパラメータに基づいて、多様な統計測定(例えば、平均、中央値、第3モーメ
ントおよび第4モーメント、ログ、平方根)、波形状(形態学的処理)を準備した後、特
性化システムへ供給することができる(例えば、簡単な分類またはロジスティック回帰機
能、または神経ネットワークまたは人工知能システムを用いたより複雑な機械学習システ
ム)ことが可能である。この処理の目的は、収集されたバイオメトリックデータからさら
なる識見を得ることである。
【0150】
[睡眠ステージング分析]
【0151】
不在/存在/覚醒/(NREM)睡眠ステージ1/睡眠ステージ2/睡眠ステージ3(
徐波睡眠SWS/深い)/REMは、睡眠サイクルを示す根幹をなす睡眠アーキテクチャ
に関連するシークエンスを有するため、これを非シークエンス問題としてではなくシーク
エンス問題としてみなすと有用であり得る(すなわち、人が一定期間において1つの状態
に留まる典型的な睡眠サイクルを反映すること)。睡眠シークエンスは、例えば夜間を通
じた観察(「睡眠」)についての明確な順序を示す。
【0152】
いくつかのシステムにおいて、夜の始まりになるにつれてより深い(より突出した)熟
睡(SWS)になりかつ夜の終わりになるにつれてより深いREM睡眠になるという「正
常な」睡眠パターンについての知識も利用することができる。この事前知識は、正常な睡
眠者のための分類システムを重み付けすること(例えば、これらの状態の事前確率を経時
的に調節すること)のために利用可能であるが、母集団の規範値からのこれらの仮定は、
正常ではない睡眠者または日中に昼寝をとる習慣になっている睡眠者または睡眠衛生が悪
い(悪い睡眠習慣(例えば、「就寝」および「起床」時間が大きく変化すること))者に
は当てはまらない場合がある点に留意されたい。
【0153】
従来から、睡眠段階は、文献[Rechtschaffen & Kalesガイドラ
イン(Rechtschaffen and Kales, 1968)(a manu
al of standardized terminology, techniqu
es and scoring system for sleep stages o
f human subjects. 米国公衆衛生局、合衆国政府印刷局、ワシントン
D.C.1968)]に遡り30秒の「エポック」において検討されてきた。脳波図EE
Gを見た際、紙速度が10mm/sになるから(1ページは30秒に等しい)アルファお
よびスピンドルを視認する際に理想的な30秒インタバルであることを該文献において記
載している。もちろん、睡眠および覚醒(ならびに不在/存在)の実際の生理学的なプロ
セスは、30秒のブロックに均等に分割されないため、より長い時間またはより短い時間
を選択することができる。ここで概要を述べたシステムは、1秒(1ヘルツ)の睡眠ステ
ージ出力を優先的に用いるが、より長いデータブロックを重複した態様で用いて、(根幹
をなす処理ブロックのサイズに関連する関連遅延と共に)1秒(1ヘルツ)毎に最新情報
を送達させる。この1秒の出力は、睡眠サイクルにおける微細な変化/転移をより明確に
示すために用いられる。
【0154】
[睡眠特徴の手作業生成対自動生成]
【0155】
感知された信号(距離対時間(動き)の情報を示す信号)は、多様な特徴(例えば、睡
眠特徴)の計算のために用いられる。その後、これらの特徴を用いて、ユーザの生理学的
な状態についての情報を導出することができる。
【0156】
特徴の生成のために、複数のアプローチが実行され得る。例えば、人間の専門家は、自
身の経験に基づいて呼吸データおよび他の生理学的なデータならびにその分布を検討し、
特定の変化の生理学的な根拠を理解し、トライアンドエラーを行うことにより、処理され
た信号または未処理の信号から特徴を手作業により(manually)生成することができる。
あるいは、人間による一定の監督により機械に「学習」させることができ(「機械学習」
分野における核となるコンセプト)、ラベル付けされたデータが期待される結果と共に供
給され、これは人間による一定の支援が提供されるかまたは完全自動の態様で行われる。
自動の場合、ラベル付けされたデータを一部提供する場合もあれば、全く提供しない場合
もある。
【0157】
ディープラーニングは、以下の広範なカテゴリにおいて広範に検討することができる。
つまり、ディープニューラルネット(DNN)、畳み込み(comvolutional)ニューラル
ネット(CNN)、リカレントニューラルネット(RNN)および他の種類。DNNにお
いて、ディープビリーフネットワーク(DBN)、多層パーセプトロン(MLP)および
積層オートエンコーダ(SAE)を考えることができる。
【0158】
ディープビリーフネットワーク(DBN)は、(例えば入力データから特徴を自動生成
させるために)生成能力を所有する。この目的のための別のアプローチとして、ファジー
C平均クラスタリング(FCM)がある。ファジーC平均クラスタリング(FCM)は、
教師なし学習の一形態であり、事前処理されたデータの固有の構造の発見を支援する。
【0159】
感知された動きデータへのデジタル信号処理技術の適用により、手作りの特徴を形成す
ることができる。理想的な場合の呼吸信号は、吸気および呼気が行われると共に記述され
るように、(深いかまたは浅い)2つの振幅および一定の周波数(一定の呼吸数)の完全
な正弦波形状になる。実世界においては、呼吸信号は正弦波形状からほど遠い場合がある
(特に、音響または無線周波を用いた感知アプローチを介して胴体領域から検出された場
合)。例えば、吸気が呼気よりも急激かつ高速になる場合があり、呼吸が一瞬止まった場
合、波形上にノッチが発生し得る。吸気振幅および呼気振幅と、呼吸周波数とは、変動し
得る。いくつかの抽出方法の場合、ピークおよびトラフの検出の後に、これら2つのうち
より高品質のものを検出すること(例えば、ローカルピークの検出およびトラフの廃棄)
に焦点を当てている。この方法は、吸気時間および呼気時間ならびに体積(例えば、時間
領域信号と計算された基準のベース線(reference baseline)との積分により計算された
もの)双方を推定するためにはピーク時間およびトラフ時間双方が必要であるが、呼吸数
推定には充分であり得る。
【0160】
これらの特徴のうちいずれか(例えば、呼吸および/または心拍の数または振幅)の推
定の支援のために、多様な方法を用いることが可能である。
【0161】
例えば、ピークおよびトラフの候補信号の抽出には、呼吸波形をノイズから回復させる
ことが必要であり(多様な帯域外および帯域内ノイズがあり得、通常はより低い周波数ノ
イズが優勢になり、その結果より低い呼吸数の高精度検出が複雑になり得る(例えば、4
~8呼吸/分(これは、自発呼吸においては稀であるが、ユーザが自身の呼吸をよりゆっ
くりとするよう要求された場合に発生し得る))。時間領域検出方法は、ローパスフィル
タリング後に最大および最小検出を行うことと、(複数の呼吸のブロックにわたって調節
することにより、深い呼吸および浅い呼吸の検出を可能にする)適応的な閾値を用いるこ
ととを含む。任意選択的に、信号に対して、ローパスフィルタリングおよび微分(例えば
、導関数)が行われ得る。次に、最大変化率に関連する微分された信号のピークを検出し
て、呼吸イベントの指示を得ることができる。このような方法において、一定のノイズを
含む正弦波状としてモデル化される呼吸波形の基準点が抽出される。LPFにより、より
高い周波数ノイズが除去される。次に、微分が行われ、ピークが検出される。実際、これ
により、(元々の信号のピークおよびトラフではなく)元々の信号の最大の変化率のポイ
ントが発見される。なぜならば、呼吸波形が最も明確になるのは(例えば幅広ピークにお
いてではなく)最大の変化率においてであるからである(例えば、呼吸停止が短時間行わ
れた場合)。よりロバストな方法の可能性として、(固定のベース線(baseline)または
適応的なベース線の周囲において)ゼロ交差を検出する方法がある。ならならば、この境
界の交差は、信号振幅の局所的変化に直接影響を受けないからである。
【0162】
呼吸信号は、(センサ(単数または複数)からの胸部の距離および角度に応じて)時間
領域信号中において容易に視認することが可能である一方、心臓の動きは、呼吸と比較し
たときに極めて小さな信号であることが多い。より高次の呼吸高調波が(例えば波形に関
連して)有る場合、心臓信号抽出が複雑になり得て、この呼吸高調波を拒否するかまたは
検出および排除する必要がある。
【0163】
周波数領域方法を、例えば呼吸データへ適用してもよい。これらの方法は、重複可能な
データのブロック(例えば、例えば1秒だけ繰り返しシフトされるデータストリームのデ
ータの30個のブロック)または重複していないもの(例えば、データストリームが30
秒のチャンク中において重複していないとみなされる)を用いて(スペクトル漏洩と戦う
ためにウィンドウ化され得る)FFT帯内の検出されたピークを用いることを含み得る。
Welchの方法またはパラメータモデル(自己回帰)を用いた出力スペクトル密度PS
Dを用いてもよく、その後ピーク検索が行われる。呼吸信号の正弦波が弱くなると、スペ
クトルピークが大きくなる(より広がる)傾向になり、形状に急激なピーク、急激なトラ
フまたはノッチが発生した場合に高調波を含み得る。別の方法として、(信号とシフトさ
れたバージョンのものとの間の類似性を記述する)自己相関を用いる方法がある。この方
法における前提として、根幹をなす呼吸波形が一定期間にわたって比較的安定しており、
呼吸数の推定のために、自己相関における周期的な局所的極大値の追跡およびフィルタリ
ングを最も可能性の高い候補としての(例えば、ノイズと無関係の)極大値により行うこ
とができる。自己相関は、時間領域内においてまたは周波数領域内のFFTによって行う
ことができる。時間周波数アプローチ(例えば、ウェーブレット)も有用であり、強力な
ノイズ除去を行うことが可能であり、同様にピーク検出が対象時間スケールにおいて(す
なわち目標の呼吸数の範囲内において)最終的に行われる正弦波形状の適切なウェーブレ
ットが選択される(例えば、シムレット、ドブシー)。
【0164】
カルマンフィルタ(再帰的アルゴリズム)を時間領域信号へ適用して、システム状態を
推定することができる。このアプローチを用いると、先行ステップの使用のみに基づいて
将来の未知のシステム状態を予測する方法が得られる。フィルタリングに加えて、信号分
離も可能になる(例えば、大きな動き、呼吸および心臓の動きのもの)。
【0165】
[(例えば、ノイズの多い環境における生理学的な動きの検出のための)ノイズ汚染の観
察)]
【0166】
対象者が呼吸を停止した場合(例えば、無呼吸)または極めて浅い呼吸を示す場合(例
えば、呼吸低下))、呼吸のピークおよびトラフの検出の際には、例えば、対象者が大き
な動きを行った場合(例えば、ベッド内を転がった場合または駆動時に移動した場合)は
、潜在的な交絡(confounding)の影響の可能性を認識する必要がある。位置追跡が可能
な感知方法を用いると、これらの影響を分離する有用な手段が得られる。例えば、寝転が
りは、高周波数の動きおよび空間中の位置変化の双方としてみなされ得る。そのため、後
続の呼吸の振幅はより高くなるかまたはより低くなり得るが、「健康な」呼吸は保持され
る。換言すると、検出された振幅の変化は、人の呼吸の変化に起因するのではなく、(ダ
ウンコンバージョン後等の)抽出された受信呼吸信号強度の変化に起因し得る。そのため
、新規な較正アプローチが可能になり、検出された距離を用いて、信号の強度と、呼吸の
深さ(およびよって大体の1回換気量)とを関連付けることができることが理解される。
このような動きまたは変位がみられない場合、(例えば閉塞イベント時の胸部および腹部
上の矛盾的な動きに起因した)指定された持続期間の範囲の減少、停止または変化は、呼
吸の異常(例えば、無呼吸-低呼吸イベント)として特定され得る。
【0167】
実際的なロバストな心臓呼吸性推定システムが基づき得るのは、パラメータの局所化の
ための複数の方法だけであることが理解される。信号の質が高い場合、周波数(または時
間の周波数)の推定において、局所的な呼吸の変動性の推定として可能性の高い呼吸数が
局所化され得、その後、微細なピークおよびトラフ時間が抽出され、吸気体積および呼気
体積(睡眠段階についての有用な特徴)の推定のためにレンジの較正が行われる。このよ
うな信号の質の計量は、経時的に変化することが期待される。測定された呼吸数に変動が
ある場合、異なる時間スケールにわたって処理を行うことができる(例えば、30秒、6
0秒、90秒、120秒、150秒にわたる平均値の算出または中央値のフィルタリング
)。
【0168】
ソナーの場合、例えば(例えば、RF感知システムのためのさらなる情報を提供するた
めにソナーを使用するためまたはその逆のために)呼吸数の推定のために他のさらなる感
知信号が具現される場合、生の受信波形のエンベロープ(例えば、音響FMCW信号のエ
ンベロープ)を主要なものとしてまたは二次的入力として処理することができる。これは
、人の呼気の空気中の実際の外乱の検出の特性に基づく。これは、(例えば開いた窓、近
隣の空調ユニット、近隣のヒータからの)他の強い気流がキャビン、室内または近傍に無
いことを示すため、このような気流がある場合、気流による測定への影響を廃棄するか、
または、そのような影響を環境内の気流の変化の検出に用いることができる。
【0169】
低周波の動きがある領域を横切る際(すなわち、ある領域をわたって流れる摂動の際)
、大きな空気の流れを検出できる傾向がある。残響が多い波形を感知した場合(例えば、
1つの周波数のエネルギーが室内および関連付けられた室内モードにおいて蓄積すること
が可能な場合)、これはより明確になる。
【0170】
一般的母集団(すなわち、正常な健康状態のユーザ、多様な健康状態のユーザ(例えば
、睡眠無呼吸などの呼吸状態、COPD、心臓の問題)を含むもの)において機能する睡
眠段階システムを考える場合、呼吸数および心拍数のベース線を大きく変化させることが
可能であることが理解される。例えば、年齢、性別およびボディマスインンデックス(B
MI)の差について考えてみる。女性の場合、類似の年齢およびBMIの男性よりも呼吸
数のベース線が若干高くなり得る(しかし、4~16歳の児童についての最近の調査によ
れば、統計的な差違はみられない)。BMIが高い者の場合、類似の年齢の他社の平均よ
りも呼吸が速くなる傾向がある。子供の場合、正常な呼吸数は、成人よりもずっと高い。
【0171】
そのため、いくつかのバージョンにおいて、センサの型に関わらず例えば処理デバイス
100と共に用いられるシステムは、ハイブリッドな構成(implementation)で構成され
得る(例えば、初期信号処理およびいくつかの手作りの特徴(hand crafted features)
を形成した後、ディープビリーフネットワーク(DBN)を適用する場合)。(ハイブリ
ッドな構成には、人間の「手作り」によるデジタル信号処理(DSP)により導出された
特徴と、機械学習された特徴とを組み合わせた混合物が必要になる)初期の監督下のトレ
ーニングは、睡眠調査室または自宅PSGから世界中の複数の場所からのエキスパートス
コア睡眠ポリグラフ(PSG)の夜間データセットを用いて行われ、スコア付けは、少な
くとも1つのスコアラーにより指定のスコア付け方法を用いて行われる。さらなる監督無
しのトレーニングが、感知方法を選択することのうち1つ以上により収集されたデータセ
ットから行われる。その結果、睡眠調査室外の新規のより多様なデータを反映するように
システムを発展させることが可能になる。
【0172】
手作りの特徴(すなわち、人間の技術者またはデータサイエンティストが設計、選択お
よび生成したもの)について、呼吸信号が関連信号品質レベルと共に抽出され、特定の対
象の特徴は、異なる時間スケールにわたる呼吸数の変動性と、吸気時間および呼気時間の
変動値とである。覚醒および睡眠についての個人的な呼吸数のベース線の推定値が形成さ
れる。例えば、覚醒時における呼吸数の変動性の短期間の変化はムードおよびムードの変
化に関連し得る一方、睡眠時におけるこれらの変化は睡眠ステージの変化に関連すること
ことが知られている。例えば、呼吸数の変動性は、REM睡眠時に増加する。呼吸数その
ものにおけるより長期の変化は、精神状態の変化に関連し得る(例えば、メンタルヘルス
のインジケータの提供)。これらの影響は、特により長い時間スケールにわたった比較お
よび母集団規範値との比較時において、ユーザの睡眠時により重大な意味を持ち得る。
【0173】
測定された呼吸数の変動性を、ユーザの状態(睡眠/覚醒)または睡眠ステージ(RE
M、N1、次にN2、次にSWS睡眠の最低値)を示すものとして用いることができる。
例えば、正常な健康な人における一定期間(例えば15分間)にわたる正規化された呼吸
数の変動性をみる場合、覚醒時において変動性が最大になることを確認することができる
。この変動性は、全ての睡眠状態において低下し、REM睡眠において2番目に高くなる
(が覚醒時よりは低くなり)、その後N1およびN2の順にさらに低下し、SWS睡眠に
おいて最低になる。余談であるが、呼吸に起因する空気圧力は、REM睡眠において増加
する。このような増加は、検出された音響信号に影響を持ち得、静寂な環境またはより静
寂な時間において検出され得る余分な特徴となり得る。
【0174】
このような正規化された呼吸数の数値は、健康な人の場合に異なる位置(仰向け、うつ
ぶせ、横向き)間において有意に変化すべきではない。しかし、正しい1回換気量に対す
る較正を行うことが望ましい可能性があることが理解されるべきである。例えば、ある人
の睡眠時の平均の呼吸数は例えば13.2呼吸/分(BR/MIN)であり得る一方、別
の人の平均は17.5BR/MINであり得るため、システムは、夜通し正規化され得る
。どちらの速度も、睡眠ステージにおいて類似の変動性を示す。速度差は、睡眠状態の分
類において考慮され得る変化をマスクするだけである。本システムは、他の目的(例えば
、そのものにおける経時的比較または実際には類似の人口統計中のものとの比較)のため
に平均速度(または全般的速度グラフ)を検討し得る。閉塞性睡眠時無呼吸(OSA)の
人の場合、呼吸の変動性は仰臥位置(仰向けに寝ること)において増加するため、ユーザ
の呼吸の健康を示すものとして有用である可能性があることが期待される。
【0175】
混合型無呼吸または中枢性無呼吸が混ざった対象者の場合、覚醒時において呼吸の変動
性が((有用なバイオマーカーである)正常な対象者よりも)大きくなる傾向がある。閉
塞性無呼吸の対象者も、覚醒時において正常値に対して変化を有するが、その場合の変化
はそれほど明確ではない(が、多くの場合において存在している)。
【0176】
人の特定の睡眠パターン(例えば、呼吸の変動性)は、システムによって経時的に学習
され得るため、教師なし学習を行うことが可能なシステムが当該分野において展開されれ
ば、大変望ましい。
【0177】
これらのパターンは、呼吸が部分的または完全に停止する(かまたは気道閉鎖発生時に
おいて胸部および腹部に矛盾的な動きが発生する)ため、夜間において(すなわち、睡眠
セッション時において)変化し得、睡眠時に発生する無呼吸による影響を受け得る。この
問題に対処する1つの方法として、睡眠ステージを計算する場合、検出された無呼吸(お
よび呼吸数の関連付けられた変動)の期間を抑制する方法があることが分かる。すなわち
、当該時点における睡眠ステージの分類を試行する代わりに、無呼吸およびミクロ覚醒の
可能性にフラグ付けすることができる。周期性呼吸パターン(例えば、チェーンストーク
ス呼吸(CSR))の場合、強い変動パターンが出現する。これらは、睡眠前処理ステー
ジ時にも検出され得る。CSRは任意の睡眠ステージにおいて発生し得るものの、ノンレ
ム睡眠においては休止がより規則的になり、REM睡眠においてはより不規則になる(C
SRの対象者の睡眠段階の精緻化のためにシステムが利用することが可能な情報)。
【0178】
同様に、呼吸波形のモーホロジー(morphology)に関連する高調波を全て抑制する処理
ステップにより、心臓信号を抽出することができる。特定のパターン(例えば、閉塞、混
合または中枢性無呼吸)が、関連する任意の回復呼吸および息切れ関連の動きと共に検出
される。心臓信号から、生理学的に妥当な心拍数数値に基づいて心拍間の「心拍数の変動
性」(HRV)信号を推定する。スペクトルHRV計量の計算が可能である(例えば、平
均の呼吸の周波数のログ出力、LF/HF(低周波/高周波)比、正規化HFのログ)。
【0179】
心拍間の時間(HRV波形)のHFスペクトルは、範囲0.15~0.4Hzの累乗で
あり、2.5~7秒の副交感神経の活動または迷走神経の活動(呼吸洞性不整脈(RSA
))のリズムに関連し、「呼吸バンド」とも呼ばれる。
【0180】
LFバンドは0.04~0.15Hzであり、安静時の圧受容器活動を反映すると考え
られている(いくつかの調査によれば、心臓交感神経の支配と関係があり得ることが示唆
されている)。
【0181】
VLF(極低周波)HRV出力は、0.0033~0.04Hz(300~25秒)で
あり、数値低下は、不整脈および心的外傷後ストレス障害(PTSD)に関連する。
【0182】
HRVパラメータは、時間領域の方法を用いて抽出することもできる(例えば、SDN
N(より長期の変動性を得るための正常な心拍間のインターバルの標準偏差)およびRM
SSD(短期変動性を得るための連続的心拍間隔差の根二乗平均))。RMSSDは、心
房細動などにみられるような不規則に不規則な心拍間の挙動のスクリーニングに用いるこ
とも可能である。
【0183】
HRVについて、計算されるようなLF/HF比のシフトは、検出可能なノンレム睡眠
特性であり、REM睡眠時の「交感神経性」HF優位(これは、交感神経/副交感神経間
のバランスに関連し得る)へシフトする。
【0184】
より一般的には、典型的にはREM睡眠におけるHRVの増加が多い。
【0185】
呼吸数および心拍数信号のより長期の平均または中央値は、特に何らかの介入(例えば
、投薬、治療、病気の(肉体的または精神的な)治癒、健康レベルの変化、睡眠習慣の経
時的変化)がある場合、経時的分析を行う際に特定の人にとって重要である。人と人を直
接比較する場合、(極めて類似のグルーピングに対してではない限り)若干有用性が低く
なる。よって、呼吸の変動性の特徴および心臓の変動性の特徴について、これらの特徴を
正規化(例えば、計量に適した平均除去、中央値除去など)すると、母集団にわたる一般
化の改善に繋がり得るため、有用である。
【0186】
抽出された特徴のさらなる分析において、ディープビリーフネットワーク(DBN)を
利用することができる。このようなネットワークは、制限ボルツマンマシン(RBM)、
オートエンコーダおよび/またはパーセプトロンの構築ブロックにより構成される。DB
Nは、これらの抽出された特徴からの学習の際に特に有用である。DBNは、監督無しに
利用可能であり、その後、ラベル付けされたデータ(すなわち、人間の専門家の入力によ
って確認されたデータ)により訓練される。
【0187】
人間により手作りされた「例による学習(learning by example)」により抽出された
例示的な特徴は、DBN上へ送ることができ、以下を含み得る。すなわち、無呼吸の種類
および位置、異なる時間スケールにわたる呼吸数およびその変動性、呼吸、吸気時間およ
び呼気時間、吸気および呼気の深さ、異なる時間スケールにわたる心拍数およびその変動
性、心弾動図心拍形状/モーホロジーの動きおよび活動種類(例えば、全身の動き)、P
LM/RLS、信号の質(測定値の経時的完全性)、ユーザ情報(例えば、年齢、身長、
体重、性別、健康状態、職業))。他の統計パラメータも、計算することが可能である(
例えば、信号の歪度、尖度、エントロピー)。DBNは、そのもののいくつかの特徴を決
定する(これらの特徴を「学習する」)。DBNが何を表現しているのかを正確に理解す
ることが困難であり得るが、人間よりも上手くジョブを行うことが多い。問題点として、
悪い局所的最適条件において終了し得る点がある。特徴を「学習」した後、システムは、
一定のラベル付けデータを用いてこれらを微調整することができる(例えば、人間の専門
家によるデータ入力により、特徴のスコア付けが可能になる(1人の専門家または数人の
専門家によるコンセンサスによる))。
【0188】
DBNは、入力パラメータからの新規特徴を直接学習することもできる(例えば、呼吸
波形からのもの、活動レベル、心臓波形、ローオーディオサンプル(ソナーの場合)、I
/Q生体動きデータ(ソナーまたはレーダーの場合)、強度レベルおよび色レベル(例え
ば、赤外線カメラデータからのもの)。
【0189】
手作りの特徴のみを利用する機械学習アプローチは、「浅い学習(shallow learning)
」アプローチであり、性能レベルにおいてプラトー(plateau;停滞状態)に到達する傾
向がある。これと対照的に、「ディープラーニング」アプローチの場合、データサイズの
増加と共に向上し続けることができる。上記したアプローチにおいて、(DBNの場合に
おいて)ディープラーニングを用いて、古典的な機械学習のために新規な特徴を生成する
。(例えば、新規な特徴の取得、特徴の性能による特徴選択の選別(winnowing)、IC
A(独立コンポーネント分析)またはPCA(主要コンポーネント分析)(すなわち、次
元縮退)によるホワイトニングを行い、デシジョンツリーに基づいたアプローチ(例えば
、ランダムフォレストまたはサポートベクトルマシン(SVM))を用いて分類する。)
【0190】
ここで用いられるようなフルディープラーニングアプローチの場合、このような特徴選
択ステップが回避されるため、人間の母集団においてみられる膨大な多様性の範囲をシス
テムにおいて使用しない点において、有利性があるとみることができる。その後、新規特
徴が、ラベル付けされていないデータから学習され得る。
【0191】
これらのマルチモード信号のための1つのアプローチとして、ディープビリーフネット
ワークを各信号について訓練した後、連結データについて訓練する。その根拠として、特
定のデータストリームは、一定期間にわたって単に有効ではない場合があることがある(
例えば、心臓信号の質が利用可能な閾値を下回っているが、質の高い呼吸、動きおよびオ
ーディオの特徴信号が利用可能であり、その場合、心臓データから学習または導出された
特徴は、当該期間について無意味になる)。
【0192】
分類のため、シークエンスに基づいたアプローチ(例えば、隠れマルコフモデル(HM
M))を適用することができる。このようなHMMは、睡眠ステージの分離、(病院睡眠
調査室PSGシステムを介して提供され得るような)出力睡眠グラフの段階型「睡眠アー
キテクチャ」へのマッピング、異常な睡眠ステージ切り換えのために、出力においても任
意選択的に利用することができる。しかし、睡眠が漸次的な生理学的なプロセスであると
認識する場合、システムを少数の睡眠ステージに強制しないことを好む場合があり、シス
テムが漸次的変化を獲得すること(すなわち、「介在型」睡眠状態をより多く有すること
)が可能になる。
【0193】
隠れ層(hidden layer)の無い、より単純な状態機械アプローチが可能であるが、各々
が固有の人間の生理学的な特性および挙動を有する睡眠者の大きな母集団を一般化する問
題が最終的に発生し得る。他のアプローチが、条件付きランダムフィールド(Conditiona
l Random Fields;CRF)またはその変形としてある(例えば、隠れ状態(Hidden Stat
e)CRF、潜在的ダイナミック(Latent Dynamic)CRF、または条件的ニューラルフ
ィールド(CNF)または潜在的ダイナミック(Latent Dynamic)CNF)。長期短期メ
モリ(LSTM)は、特に(正常な健康な睡眠者においてより典型的な)シークエンスパ
ターン認識への適用時において高い弁別能力を有し得る点に留意されたい。
【0194】
準教師付き学習には、回帰神経回路網(recurrent neural network;RNN)を用いる
ことができ、ラベル付けされていないデータ中の構造を発見する際に有効であり得る。R
NNは、標準的な神経回路網構造であり、入力、隠れ層および出力を備える。これは、シ
ークエンス入力/出力を有する(すなわち、次の入力は、先行出力に依存する(すなわち
、隠れユニットは、グラフアンローリングおよびパラメータ共有技術を用いて情報を伝達
させる回帰接続を有する))。LSTM RNNは、自然言語処理アプリケーションにお
いて周知である(勾配爆発問題および勾配消失問題に対処するためにLSTMを用いる)
【0195】
睡眠開始の検出において、発話認識サービスが実行されているとき、ユーザによる声コ
マンドを「覚醒」の第2の決定要素として用いることができる(これは、無意味な寝言と
混同されるべきではない)。個人用のスマートデバイスが用いられる場合(ユーザによっ
てロック解除され、入力、加速度計の動き、ジャイロスコープが用いられる場合)、これ
も、他の睡眠/覚醒感知サービス拡張のための覚醒決定要素として用いることができる。
【0196】
[睡眠アーキテクチャおよび睡眠スコアおよび他の動き特性]
【0197】
低周波超音波システムおよび技術を用いた上記感知動作は、人の存在/不在、人の動き
および複数のバイオメトリック特性の検出のために具現され得る。多様なパラメータを推
定することができる(例えば、呼吸数、呼吸の相対的振幅(例えば、浅い、深い)、心拍
数および心拍数変動性、動きの強度および持続期間、および活動係数)。次に、これらの
パラメータのうち1つ以上を用いて、対象が覚醒しているかまたは睡眠中であるかを決定
し、睡眠中である場合には睡眠ステージ(浅いN1またはN2睡眠、深い睡眠またはRE
M睡眠)を決定し、次に来る可能性のある睡眠ステージを予測することができる。このよ
うな特性解析の方法は、例えば下記に記載の動き信号の処理および/または生成のための
技術に従って実施することができる。すなわち、国際特許出願PCT/US2014/0
45814(出願日:2014年7月8日、国際特許出願PCT/EP2017/073
613(出願日:2017年9月19日)および国際特許出願PCT/EP2016/0
80267(出願日:2016年12月8日)ならびに本明細書中に上記した特許出願の
いずれかである。
【0198】
システムにより可能になるものとして、睡眠完全自動のシームレス検出と、2人以上の
人の睡眠を1個のデバイスから検出することができる能力とがある。2人以上の人の睡眠
の検出方法については、例えば、スマートスピーカまたは処理デバイスからの異なる範囲
内に異なる対象がいる状態において、動きの評価をデバイスの個別の感知範囲に従って行
う。例えば、例えばPCT/EP2017/073613に記載のように、音響感知波形
を処理して、処理デバイスからの異なる範囲を検出することができる。次に、スマートス
ピーカの処理は、異なる範囲の動き特性の評価を異なる時間ダイナミックレンジモニター
スキームにおいて行うように構成され得(PCT/EP2017/070773に記載)
、これは、異なる範囲における感知が可能なように検出範囲を自動的に周期的に変化させ
ることによって行われる。任意選択的に、感知波形について、本明細書中に記載のような
複数の範囲における同時感知を可能にするような符号化スキームを利用することができる
【0199】
睡眠開始の高精度検出を利用すれば、自宅スピーカがホームオートメーション/モノの
インターネット(IoT)プラットフォームへインターフェースされている場合は特に、
例えば1つ以上のサービス制御信号(単数または複数)の生成により、一定範囲のサービ
スが可能になる。例えば、ユーザが寝入った場合、自宅の照明を調光または色変更する(
例えば、白色から赤色にする)ことができ、カーテンまたはブラインドを自動閉鎖させる
ことができ、サーモスタット設定を調節して睡眠環境の温度を管理することができ、音楽
再生の音量を下げて、時間と共にオフにすることができる。ユーザの全身動きを検出する
ことが可能な検出器の能力は、自動化された機器の制御の基盤として機能し得る。例えば
、ユーザが夜間に覚醒して歩き回った場合、この動きを(生成された音響生成および感知
処理によって)スマートスピーカにより検出することができ、その後、スマートスピーカ
は、その特定の動きの感知に基づいて、自動化照明の設定の変更を制御することができる
。例えば、これにより、レストルーム/トイレへの経路を可能にしつつ睡眠を過度に妨害
しない位に、ほの明るい通路用照明を点灯させるように制御することができる(例えば、
ベッド下側周囲のLED)。この点について、機器制御応答により、デバイスをオンおよ
びオフに設定することができるし、あるいは、機器において段階的レベル変化(例えば、
強光照明対弱光照明)を提供することができる。デバイスは、異なる動きまたは睡眠に関
連する検出に応答する所望のシステム制御挙動をユーザが事前選択することができるよう
に、構成可能なセットアッププロセスを有し得る。
【0200】
本システムは、人の睡眠セッション全体を自動的にキャプチャすることができ、ここで
、就寝時間、就寝時刻、実際の睡眠時間、覚醒、最終覚醒などの各ステージがキャプチャ
される。睡眠フラグメンテーション、および睡眠効率を、当該人物について推定すること
ができる。記載のソナーセンサはPCT/US2014/045814に記載のRFセン
サと若干異なるものの、動きの決定および/または睡眠関連パラメータの測定の後、睡眠
スコアの推定を上記したような方法により行うことが可能である。健康な人の場合、典型
的な睡眠スコア入力パラメータには、次が含まれる。すなわち、合計睡眠時間、深い睡眠
(熟睡)時間、REM睡眠時間、浅い睡眠時間、中途覚醒(WASO)時間、および睡眠
開始(入眠)(睡眠までにかかる時間)。睡眠スコアは、人の年齢および性別を任意選択
的に用いて、正規化スコア対その母集団基準(規範値)を提供することができる。この計
算において、履歴パラメータ値も利用することができる。
【0201】
[マスキング音]
【0202】
スマートスピーカを用い、自身のスピーカ(単数または複数)を介してマスキング音を
生成させることができる。例えば、スマートスピーカには、従来からのマスキング音であ
るホワイトノイズを生成させ得る。このようなマスキング音は、他の不快感の原因になり
得る環境ノイズを被覆し得るため、マスキング音と共に睡眠をとることを好む人が存在す
る。例えば感知されるノイズと比較して位相が反転した音を生成させることにより、他の
マスキング音を音キャンセリングノイズとすることができる。沈静用のマスキングノイズ
により、システムを用いて、成人または乳児の睡眠支援および呼吸のモニターを支援する
ことができる。場合によっては、例えばシステムが超広帯域(UWB)スキームの利用に
より低超音波音響感知を生じる場合、マスキングノイズそのものを感知音響信号にするこ
とができる。
【0203】
[睡眠開始サービス]
【0204】
プロセッサまたはマイクロコントローラは、例えば音響感知による典型的な過去の睡眠
ステージまたは記録された睡眠ステージ(historic sleep stage)の決定および/または
睡眠ステージのサイクルのタイミングに基づいて、次の睡ステージまたは現在の睡眠ステ
ージの予測される長さを予測するように構成され得る。このような予測により、機器(例
えば、音声源および照明光源)の変更を制御することが可能になる(すなわち、スマート
スピーカまたは処理デバイスは、例えば無線制御信号により機器を制御することができ)
、(上記したように)機器を調節することができる。例えば、スマートスピーカは、「常
時オン」(日中および夜間)である連続感知と共に構成され得る。よって、例えば人が存
在しているとき、(完全な睡眠セッションにしろ昼寝にしろ)人が睡眠中であるとき、覚
醒しているとき、不在のときの期間を自動的に特定することが可能になる。スマートスピ
ーカは、ユーザが寝入り始めたときおよびユーザが覚醒し始めたときを特定し得る。この
ような検出により、システムは、デバイスの近くにおいて何者から寝入ったことを検出し
、この検出に応答して、(スピーカ(単数または複数)、TVなどのオーディオコンテン
ツの)再生音量を低減させ得る。その後、当該人物がより深い睡眠のフェーズになったこ
とをデバイスが検出した場合、5~10分後に音量およびTVなどをオフにすることがで
きる)。このような検出は、自動調光、自動化強盗アラームのセット、暖房/空調設定の
調節、関連付けられたスマートデバイス(単数または複数)(例えば、スマートフォン)
上の「入室御遠慮ください」の機能の起動などのための制御決定としても機能することが
できる。
【0205】
この処理により睡眠が検出されると、スマートスピーカまたは処理デバイス100は、
音声アシスタントのプロンプトをディスエーブルすることができ、これにより、人を偶然
に覚醒させてしまう事態の回避を支援することができる。このようなプロンプトは、事前
規定された目覚ましウィンドウ(例えば、事前選択された睡眠ステージから人を起こして
「スマートアラーム」として機能し、睡眠慣性をできるだけ最小限にするためにプロンプ
トを許可すること)までディスエーブルされ得る。
【0206】
処理デバイスは、感知空間中において検出された人の数に応じて、このような制御決定
を行い得る。例えば、ベッド内に人が2人おり、そのうち1人は睡眠中であり他方は覚醒
しているとデバイスが検出すると、システムは、例えば音声アシスタントの音量を(音声
アシスタントの使用を可能にしつつ)可能な最小音量まで低下させるように、音量設定を
制御し得る。その結果、覚醒している人はデバイスを聞くことができ、かつ、デバイスに
起因して睡眠中の人が目を覚ます危険性を最小にすることができる。逆に、少なくとも1
人の覚醒中に人が検出されかつ少なくとも1つ人の睡眠中の人が検出されたときに媒体中
のコンテンツが再生されている場合(例えば、音楽または映画)、デバイスは、この覚醒
している人のために、媒体音量を下げることをしないかまたは当該媒体の音量を少しだけ
下げ得る。次に、残りの人(単数または複数)も寝入ったことをデバイスが検出した場合
、このデバイスは、媒体コンテンツをさらに低下およびオフにし得る。
【0207】
場合によっては、処理デバイスは、処理デバイスの室内のユーザ(単数または複数)の
位置および/または存在の検出に基づいて、音量レベル(可聴のオーディオコンテンツの
音量)の調節を制御し得る。例えば、ユーザの存在の検出が無い場合、音量を下げても良
いし、あるいは上げてもよい。デバイスは、例えば、デバイスからの距離の増加と共に音
量を高くしかつ/またはデバイスからの距離の低減と共に音量を低くすることにより、検
出された位置(例えば、処理デバイスまたは特定の場所(例えば、ベッド)からの距離)
に基づいてまたはこの検出された位置の関数として、音量調節も制御し得る。さらなる例
として、ユーザがベッドにいることを処理デバイスが検出した場合は音量を下げることが
でき、あるいはユーザがベッドから離れていることが検出された場合は音量を上げてもよ
い。
【0208】
[覚醒開始サービス]
【0209】
システムは、いくつかの覚醒シナリオについてサービスを提供することができる。例え
ば、ユーザが夜間に覚醒した場合、そのユーザは、例えば瞑想プログラムを個人用フィー
ドバックと共に用いて、ユーザが再び眠ることを手伝う音声アシスタンスを受けることが
できる。音声アシスタンスの代わりにまたは音声アシスタンスに加えて、システムは、他
のパラメータおよび接続された機器設定の変更を制御することにより、当該人物が再度眠
りに落ちることを促すことができる。これの例を挙げると、例えば、温度設定の変更、照
明設定、例えばTV、表示パネル上への画像投影またはプロジェクターによる投影画像生
成、例えば接続された/スマート寝台加振器によるベッド振動の起動の制御がある。例え
ば、乳児の睡眠の場合、(例えば深い睡眠ステージから浅い睡眠ステージへの変化および
身体の動きの増加を検出することにより)その乳児が覚醒しそうになっていることまたは
覚醒していることを音響動き感知デバイスが検出した後、ロッキングクレードルを起動さ
せることができる。任意選択的に、オーディオコンテンツを再生(例えば、子供向けの曲
または音楽のスマートデバイスのスピーカ上での再生)してもよいし、あるいは、自動化
された形態の読み聞かせを再生してもよい。これにより、睡眠時間または親が乳児への付
き添いを遅延させることが可能な時間の増加が支援され得、落ち着きのない乳児または幼
児の親に大いに必要な休憩がもたらされる。
【0210】
ユーザがアラーム時間ウィンドウを設定した場合、処理デバイスは、ユーザの目覚まし
のために適した睡眠ステージ(通常は浅い睡眠ステージ)を探すために、ユーザの睡眠ス
テージをモニターすることができる。このようなステージが無い場合、処理デバイスは、
微弱光および音を積極的に導入して、ユーザを別のステージ(例えば、深い睡眠ステージ
またはREM睡眠ステージ)から浅い睡眠および次に覚醒状態へと誘導することもできる
。このようなスマートアラーム処理デバイスは、さらに接続されたホームオートメーショ
ン機器機能を制御するようにも構成され得る。例えば、ユーザの覚醒が検出された場合、
処理デバイスは、機器らと通信して、例えば、自動化されたカーテン/ブラインドを開け
て覚醒状態を高めること、自動化トースターオーブンが朝食を温めるようにすること、自
動化コーヒーマシンにコーヒーを入れ始めさせることなどが可能である。
【0211】
バイオメトリック感知を用いて昼寝プログラムを構成することも可能である。これによ
り、午後3時半頃にアポイントメントがあるためその頃には頭がさえている必要があるこ
とを知りながら昼寝をすることが可能になる(すなわち、光および音の刺激を用いて、昼
寝途中に熟眠からすぐ目を覚まさないようにするか、もしくは深い睡眠に全く入らないよ
うにして、目を覚ましたときに朦朧とした状態にならない)。
【0212】
[睡眠向上サービス]
【0213】
ユーザの最近の傾向および年齢、性別およびライフスタイルなどが似た人の母集団基準
に基づいてユーザの睡眠挙動(睡眠衛生)を向上させるために、アドバイスをユーザへ送
達させることができる。
【0214】
記載のシステムにより、ユーザからのフィードバックの収集がさらに可能になる。フィ
ードバックは、ユーザの現在の感じ方、ユーザの昨晩の眠りの具合、提供されたアドバイ
ス、医薬品またはエクササイズの利用は有益であったかなどに関連し得る。任意のこのよ
うなフィードバックを、入力デバイスを介して収集することができる。一例において、こ
れは、スマートフォンのキーボードであり得る。スマートスピーカが個人用オーディオア
シスタントアプリケーション機能を含む場合、ユーザからのフィードバックの誘導および
処理を音声を介して行うことが可能である(例えば、ユーザの状態についての質問の回答
、ユーザの感じ方についての質問、ユーザへの個人用フィードバックの提供(例えば、ユ
ーザの眠気および疲労状態についてのデータの提供))。よって、システム(例えば、処
理デバイス)は、自然言語処理のためのソフトウェアモジュールと共に構成され得る。こ
のソフトウェアモジュールは、会話型インターフェースとして、例えば音響的に感知され
た動き信号の評価に基づき得る情報を処理デバイスから得るためのシステムとの会話誘導
型シーケンス(例えば、可聴の言語コマンド/クエリ)を提供する。例示的な自然言語処
理モジュールまたは会話型インターフェースは、Google Cloudプラットフォ
ーム、DialogFlow Enterprise development sui
teにより具現され得る。
【0215】
一例として、多室または多床の建物内に1組または複数の処理デバイス100がある場
合について検討する。音響ベースの感知を用いた処理デバイス100がキッチンに配置さ
れ得、1つが寝室内に配置され得る。朝食の準備時において、人は、「OKグーグル、私
の睡眠はどうだった」と言語的に訊くことにより、自身の睡眠情報についてクエリを生成
することができる。これに応答して、処理デバイスは、別の処理デバイス100(すなわ
ち、寝室中のもの)の音響ベースの動き感知アプリケーションによって検出され得る前夜
の睡眠セッション(および前夜からの傾向)から睡眠パラメータを検索し得る。処理デバ
イスへのこのようなクエリは、例えばFitbit、Garmin watch、Res
MedS+および(例えばクエリされた睡眠に関連するデータを含む)他の任意のウェブ
サイトまたはネットワーク型サーバからの記録セッションデータの取り出しにも同様に適
用され得る。
【0216】
そのため、人は、自身の睡眠についてのアドバイスをいつどのような形態で受け取るか
について、選択することができる。この点について、睡眠管理システムは、睡眠アドバイ
スナゲットを対話型にオーディオコンテンツを通じて送達または提示することができる。
オーディオコンテンツは、質問および応答の言語的な問い合わせを介して処理デバイス1
00のマイクロフォン(単数または複数)およびスピーカ(単数または複数)を用いて提
示される。睡眠管理システム(例えば、PCT/US2014/045814に記載の睡
眠管理システム)からのアドバイスは、処理デバイス100を介して送達され得、睡眠習
慣の変化、ライフスタイル変化または実際の新製品推奨に関連し得る。
【0217】
例えば、処理デバイス100のスピーカおよびマイクロフォンを用いた例示的なクエリ
/回答問い合わせセッションにより、以下の出力が生成され得る。すなわち、「こんにち
は、レドモンド。あなたの最近の睡眠細分解析、あなたの購入履歴および日中の不快指数
に関するあなたについてのレポートによれば、マットレスを新調すると恩恵が得られる可
能性があります。プレミアムな新規の内部コイルスプリング付きマットレスが、特別販売
価格の割引価格で販売されています。メモリフォームのオプションはお好みではなかった
ようなので、こちらをお勧めしています。ご注文されますか?」。このような内容の収集
および生成は、インターネットの1つ以上の検索および記録されたユーザデータと、処理
デバイスによって行われた睡眠状態検出とに基づいて行われ得る。
【0218】
そのため、システムにより、例えば音響的に行われる睡眠検出および対話型の言語通信
(ユーザと処理デバイス100の音声アシスタントアプリケーションとの間の会話)に基
づいたフィードバックおよびさらなる動作が可能になる。このようなフィードバックおよ
び動作は、処理デバイスアクセス環境データ(例えば、音データ、温度データ、光データ
)に基づき得るため、検索または他の場合に環境関連システムおよびセンサによる検出が
可能になり得、環境システムの動作の制御のための制御信号の生成が含まれ得る。このよ
うなプラットフォームの生成された出力により、例えば睡眠状態に対処するための関連製
品を人々に提案および販売することも可能になる。例えば、自然言語を用いたプラットフ
ォーム上においてシステムを展開させることにより、システムとの有向会話が可能になる
。次に、(睡眠関連メッセージの送信のみではなく)処理デバイス100との対話により
、個人向けの睡眠アドバイスを提示することができる。例えば、ユーザが処理デバイスに
対し「オッケーグーグル、僕/私の昨晩の睡眠はどうだった?」と聞くと、「こんにちは
レドモンド。こちらは、ResMed睡眠スコアアプリケーションです。あなたの昨晩の
スコアは38でした。うーん、低いみたいだね。」、「何があったのかな?」、「そこで
、睡眠環境およびあなたの呼吸パターンにいくつか問題があることを発見しました。詳細
を知りたいですか?」、「もちろん!」、「寝室の温度が華氏77度(25℃)でした。
これは暑すぎます。今晩、ベッドに入られる1時間前に空調を作動させることが可能です
。そうしてよろしいですか?」、「うん、お願い。」、「呼吸について教えてくれる?」
、「昨晩、あなたは大きないびきをかいていたことが検出されています。夢をみているR
EM睡眠のときに、呼吸にギャップがみられました。これについてご説明しましょうか?
」、「うん、お願い。どういう意味があるのかな?」、「昨晩のあなたのいびきは大きか
ったです。呼吸パターンが何回か妨害されていました。これが低スコアの原因です。日中
に疲労感を感じることが多いですか?」、「うん。疲労感を感じるよ。」、「医師に電話
をかけて、この症状について相談しますか?あなたの健康プランの場合、相談の最初の1
0分間は無料です。」となる。
【0219】
このような対話のため、例えばネットワーク上のサポートサーバの処理と共に機能する
処理デバイス100は、柔軟性および取扱範囲の向上のために人工知能(AI)プロセス
を含み得る。このような向上は、例えば以下の情報の組み合わせによって可能になる。例
えば、検出された日中の活動(例えば、検出されたエクササイズまたは階段情報からの情
報(例えば、記録されたユーザデータ)ならびに例えばウェラブルGPS、加速度計、心
拍数センサおよび(動き感知などを通じてこのような情報も検出することが同様に可能な
)他の活動モニタからの心拍数ならびに個人向けサービス(例えば、検出データの組み合
わせに基づいた睡眠関連アドバイスおよび製品オファー)の送達のための検出された睡眠
情報である。
【0220】
[バイオメトリック認識サービス(セキュリティ感知も参照)]
【0221】
人認識と、上記に概要を述べたような生活環境中の機器の制御と、クラウドサービスと
のデータ交換とのために、バイオメトリック特徴を用いることができる。例えば、生理学
的な動きの信号(単数または複数)から導出された動き関連特性の分析により、バイオメ
トリック認識を具現することができる。このような動きベースのバイオメトリック方法は
、PCT/EP2016/058789に記載のものであり得る。よって、同文献中に記
載のようなバイオメトリック同定は、本明細書中に記載の音響ベースの感知方法から導出
された動き信号に基づき得る。
【0222】
超音波感知を用いた人認識の実行により、処理デバイス100は、バックグラウンドノ
イズと音響感知信号とを識別し、デバイスの近くの人の存在の確認のために用いられる。
そのため、いくつかのバージョンにおいて、処理デバイス100は、ビーム形成プロセス
を作動させるように構成され得る。ここで、異なるチャンネル(異なるスピーカ信号)に
適した遅延が学習されることにより、音響信号受信のタイミングを、検出した際の近傍お
よびスピーカ位置に関連する差に合わせて調節することができる。よって、システムは、
検出領域を(例えば詳細なレンジ検出および対象物追跡のために)さらに局所化するため
のビーム形成を用いることができる。対象の存在が感知した際の近傍において検出された
とき、このようなプロセスをセットアップ手順または調節手順として実行することができ
る。
【0223】
上記したように、低周波超音波により、高度なセキュリティ感知プラットフォームを得
ることができ、例えば、処理デバイス100が検出範囲内に対象の不在/存在を検出した
場合および/またはそのような不在/存在を検出するまでに、バイオメトリック信号処理
に基づいて人を検出および特定する。
【0224】
場合によっては、処理デバイス100は、さらに自身の感知信号を適合させて、少なく
とも2つのモードを提供することができる。1つのモードは、モニターされた領域へ人が
進入したときを検出することを意図する一般モニターモードを含み得、異なる検出スキー
ム(例えば、UWB、CW、FMCWなど)を存在検出のために用いることができる。モ
ニター領域内において人の存在が検出された後、システムは、拡張レンジングおよび任意
選択的に心臓感知、呼吸感知モードなど(例えば、デュアルトーンFMCWまたは(A)
FHRG)へ切り替わり得る。次に、例えば人の「シグネチャ」パラメータが、処理デバ
イス(例えば、記録データ)または処理デバイスと協働する別のデバイス(例えば、ネッ
トワーク型サーバ)からアクセス可能である場合、検出されたパラメータ(例えば、心臓
パラメータ、呼吸パラメータ、全身動きパラメータなど)を用いて、人を特定することが
できる。あるいは、このようなシグネチャが記録データに関連して認識されない場合、処
理デバイス(または協働サーバ)は、別の人が感知する近傍に進入したと決定し得る。
【0225】
よって、システムは、デバイス周囲の領域を感知することにより、未知のまたは認識さ
れていない生体動き信号あるいは認識されていないジェスチャーを検出することができる
。このような検出に基づいて、システム(例えば、処理デバイス)は、不要な可能性のあ
る存在についての警告または他のメッセージを起動または通信し得る。1つの実際的例に
おいて、スマートフォンから警告が送られる。音響感知方法および同定方法を介して、認
定されたオーナー以外の何者かが電話機を使用または使用を試行していると電話機が検出
した場合、当該スマートフォンは、自身が忘れられた/放置されていると決定し得る。
【0226】
別の例において、Google Homeスマートスピーカまたは他のスマートスピー
カまたは処理デバイスは、アパートメント、部屋または家屋のモニターを音響感知を用い
て行うことができ、極めて知的な侵入者アラームとして機能することができる。例えば、
処理デバイスは、例えば動きが不在である期間の後、アパートメント内において動きを検
出し得る。これに応答して、処理デバイスは、1つ以上の自動化された機器を制御し得る
。例えば、この検出に基づいて処理デバイスによって生成または開始された制御信号によ
り、二次照明が点灯され得る。この処理により、例えば当該人物に対して名前を言うよう
に可聴的に質問することにより問い合わせをスピーカを介して開始することもでき、ある
いは、可聴的にようこそを提供することも可能になる。その後、当該人物は、「レドモン
ドだよ」と言う。処理デバイスは、特定の既知の人に関連した言語シグネチャの特定を試
行すること(例えば、この可聴の応答と、事前記録された可聴の応答との比較(例えば、
音波分析))により、この応答の評価をマイクロフォンを介して行い得る。このスピーチ
が認識された場合、処理デバイスは、呼び掛け/応答問い合わせを終了し得る。応答が無
い場合または処理デバイスが言語シグネチャを認識しない場合、処理デバイスは、例えば
自身の通信インターフェースを介して他のサービスと通信し得る。例えば、処理デバイス
は、ネットワークまたはインターネットを介して、(例えば、メール、テキストメッセー
ジ、記録された音声メッセージなどの生成の電話機による制御により)侵入があった旨を
別の人またはオーナーに通知することができる。換言すると、処理デバイスは、任意選択
的に1つ以上のさらなるシステム処理デバイスまたはサーバと共に、次を実行する。すな
わち、音響的検出、可聴の呼び掛け、可聴の認証、および権限付与あるいはアラームまた
は警告メッセージの通信である。さらに、任意選択的に、例えば音声認識の代わりにまた
は音声認識に加えて、処理デバイスは、例えば呼吸数および心拍数の検出により、上記し
たような動きベースのバイオメトリック認証を行うことができ、これにより、処理デバイ
スの近傍の人の認証または2次認証の手段を提供する。
【0227】
処理デバイスは、例えば当該人物の言語シグネチャが認識された場合にさらなるプロセ
スを行うように構成され得る。その場合、例えば、処理デバイスは、さらなる会話型問い
合わせに例えば照明点灯後に連動し得る。処理デバイスは、当該人物に対し、今までどこ
にいたのかと質問し得る。例えば、外出前に、当該人物(レドモンド)は、ジムに行くつ
もりだと処理デバイスに向かって言っておくようなこともできるし、あるいは自身の携帯
電話またはエクササイズデバイス上の追跡サービスを連動させ、これにより、追跡位置を
(例えばGPSを介して)処理デバイスと共有するようにしておくこともできる。処理デ
バイスが人の存在音響検出し(そして任意選択的にユーザ/レドモンドを認識した場合)
、処理デバイスは、次のような会話を開始し得る。すなわち、「レドモンド、ジムはどう
どうでしたか。個人記録は更新できましたか?」である。処理デバイスは、無線デバイス
の到着を検出し、データダウンロードを開始することもできる。例えば、処理デバイスは
、無線で有効とされる動き/ヘルストラッカー(例えば、Bluetooth Fitb
it)を検出し得、歩数、心拍数または他の活動パラメータをダウンロードし得る。この
ようなデータは、特定人物の認証/認識の信頼性の証明としても機能し得る。次に、処理
デバイスによって生成されたさらなる会話は、ダウンロードされたデータに基づき得る(
例えば、スピーカを介した可聴の応答の提供)。他のパラメータ(例えば、カメラベース
の顔認識または身体認識)を、マルチモーダル同定において(例えば処理デバイスによっ
て制御され得るカメラ機器を備えた)デバイスによって開始することもできる。
【0228】
非侵入者アラーム構成の場合または当該人物が既に特定されている場合、室内において
検出された動きを、照明変更制御の根幹として機能させることが可能である。例えば暗闇
が検出された場合(暗闇は、時間/タイムレコーダーによってまたは処理デバイスへ接続
された光センサによって判定され得る)、処理デバイスは、ホームオートメーションまた
は処理デバイス100自身の光源を介して照明をオンにするかまたは照度を増加させるた
めの制御信号を生成させ得る。
【0229】
CW音響感知モードは、室内の通風(気流)を検出し、例えば処理デバイスによるリマ
インダの生成の根幹として機能することができる。このようなリマインダは、例えば、窓
を開けっ放しにして外出したかまたはファンが作動している可能性があるなどの旨の、ス
ピーカを通じた人への可聴の会話型メッセージなどを有する。場合によっては、このよう
な通風の存在または不在の検出に基づいた処理デバイスの制御信号により、自動化ファン
機器を起動または起動解除することができる。
【0230】
[範囲検出]
【0231】
処理デバイス100のスピーカ(例えば、本明細書中に記載の音響感知方法を用いたも
の)からの1人以上の人の距離を検出することにより、スピーカを通じたオーディオを介
してまたは他のホームオートメーションサービス(例えば、機器)を通じて異なるサービ
スの送達が可能になる。例えば、処理デバイスは、例えば音声アシスタントアプリケーシ
ョンについて処理デバイスのスピーカ(単数または複数)の音量レベルを、スピーカから
の検出された距離に基づいた適切なレベルに設定することができる(例えば、距離が大き
い場合はより音量を大きくし、距離が小さい場合は音量を小さくする)。そのため、検出
されたユーザ距離に基づいて、音量を自動的に変更することができる。
【0232】
いくつかのバージョンにおいて、他の検出が、距離検出の向上としても機能することが
できる。例えば、レンジ情報は、他のセンサ(例えば、赤外線コンポーネント(例えば、
IR近接センサ))から導出され得る。距離検出を組み合わせることにより、レンジ(ま
たは実際には速度)の推定の精度の増加が可能になる。
【0233】
近接場マイクロフォンおよび遠方場マイクロフォンからのデータを用いれば、(双方の
種類のマイクロフォンが同一ハードウェア上に設けられている場合は特に)ソナーエコー
の局所化の向上も可能になる。
【0234】
[ジェスチャー制御]
【0235】
処理デバイスは、ジェスチャー認識を本明細書中に記載の音響感知方法に基づいてかつ
生理学的な動きの信号の処理を用いて行うようにも構成可能である。例えば、処理デバイ
スは、特徴的ジェスチャー(例えば、PCT/EP2016/058806に記載のよう
な動き信号からの特定の手の動き、腕の動きまたは足の動き)を認識するように構成され
得る(例えば、生理学的な動きの信号の導出を本明細書中の音響感知方法によって行う場
合)。そのため、処理デバイスによる制御が可能な処理デバイスの機能および/または自
動化機器の機能の調節を、検出されたジェスチャー(例えば、スピーカの音量を大きくす
るための時計回りの円形状動き、音量を下げるための反時計回りの動き、任意選択的にデ
バイス(例えば、処理デバイス100または本明細書中に記載の任意の機器)をオフにす
るための反時計回りの動き)に従って行うことができる。ジェスチャーは、処理デバイス
の制御のために用いられ得る(例えば、処理デバイスに通信を開始させる際(例えば、処
理デバイスを用いて通知を送る際(例えば、音声通話または非常電話、テキストメッセー
ジ、eメールなど)))。
【0236】
[呼吸管理サービスおよびフィードバックサービス]
【0237】
処理デバイス100は、例えばストレスおよび血圧の低減のための日中用アプリケーシ
ョンと共に実装され得る。この日中用アプリケーションは、瞑想用出力(例えば、深呼吸
エクササイズ)を音響的に導出された動き信号に基づいて生成させる。例えば、呼吸動き
信号の処理/評価を処理デバイス100によって行って、タイミングキューを生成させる
ことができる。これらのタイミングキューにより、カスタマイズされたマインドフルネス
呼吸エクササイズ(例えば、8呼吸/分未満の速度における「腹式呼吸」)をコントロー
ラ出力からスピーカ(単数または複数)および/または関連機器(例えば、照明制御)を
介して提供することを支援することができる。システムによる呼吸のエントレイメントの
利用により、例えばデバイスがユーザへの可聴型および/または視覚型フィードバックを
制御する場合において、検出された呼吸曲線と、システムから送達される呼吸刺激/キュ
ーへとを関連付けることにより、ターゲット値を達成することが可能になる。
【0238】
呼吸キューは可聴の刺激であり得、システムは、ターゲットの呼吸ケーデンスで音楽を
事前フィルタリングした後、感知信号をオーバーレイしてから再生を行う。システムは、
ユーザの検出された呼吸数および/または心拍数に近いテンポの種類の音楽を選択するこ
ともできる。
【0239】
不安またはストレスがあるときのユーザの呼吸パターンは浅くかつ速くなり得、その場
合、腹筋ではなく上胸部および頚筋が呼吸に用いられる。個人用の呼吸コーチングのいく
つかの利点として、薬物介入無しの健康増進によりストレスホルモンを低減させることが
でき、自律神経系(副交感神経および交感神経)の「バランス」をとり、脳アルファ波の
生成を増加させ、横隔膜および腹筋の機能を向上させる(特に、呼吸状態に問題のある者
の場合)。
【0240】
処理デバイスから提供される例示的リラクゼーションゲームにおいて、ユーザにゆっく
り深く呼吸するように依頼し、音響動き感知を通じた処理デバイスによる呼吸動きの検出
に基づいて、処理デバイスによって制御されるディスプレイ機器上に形状が提示され得る
。ボールまたはバルーンを制御して、本明細書中に記載の音響感知方法によって自動感知
されるようなユーザの胸部の動きと同期した態様で表示上においてボールまたはバルーン
を膨張および収縮させる。ユーザがターゲット(例えば、安定した呼吸を3分間ほとんど
動き無しに行うこと)に到達した場合、処理デバイスは表示を変更する。例えば、バルー
ンを浮上させることにより完了を示すことができ、処理デバイスは、ユーザが「勝った」
旨をスピーカを介して通知し得る。心臓信号も処理デバイスによって検出された場合、呼
吸と心拍数との間の一貫性の増加を用いて、ゲームにおいて数ポイントをさらに付与する
ことができる。形状の代わりに、呼吸と同期して強度が変化する光または強いリズム成分
を含む音を用いてもよく、リラクゼーションゲームに「勝った」場合のご褒美は、光の色
または音楽シーケンスの変化であり得る。
【0241】
本システムの他の使用例として、(光またはディスプレイデバイスを介して)ペース調
整された照度および/またはユーザの呼吸数の増加およびユーザの吸気/呼気時間の変調
のための特殊なオーディオシーケンスのうち1つ以上を用いた覚醒呼吸エクササイズがあ
り、低周波超音波バイオメトリック検出からのバイオフィードバックが任意選択的に用い
られる。
【0242】
[プライバシー向上]
【0243】
多くのバーチャルアシスタントは、スピーチ認識サービス(例えば、「オッケー、グー
グル」、「アレクサ」、「ヘイ、シリ」キーワード/フレーズなどを求めて連続的に聞く
こと)のために、常に聞いている状態になっている(マイクロフォン(単数または複数)
が常時オンになっている)。この点について、これは通常はアクティブである。キーワー
ド/キーフレーズに続く発言は全て、インターネットへ送信され得る。人々の中には、自
分たちの会話がこのように常時モニターされることを不快だと感じる人もいる。上記した
動き検出の1つの利点として、ユーザが処理デバイスを使用する準備ができるまで、処理
デバイスがマイクロフォンを起動解除することが可能な点がある。この点について、処理
デバイスの音声アシスト動作は、通常時は起動しないように構成され得る。例えば、処理
デバイスは、(例えば特定の動きまたは動きジェスチャーの検出を用いた)音響動き検出
方法を適用して、(マイクロフォンを用いた典型的な音声キーワード認識ではなく)マイ
クロフォンモニターを開始することができる。これにより、ユーザの会話を常時モニター
する必要がなくなり、ユーザのプライバシーが向上する。このような動き検出は、処理デ
バイスに密接に隣接して行うことが可能であるものの、処理デバイスを取り囲む近傍にお
いても検出され得る。このような方法において、標準的な動きジェスチャーまたはユーザ
のカスタマイズされた動きジェスチャー(例えば、セットアッププロセスにおいて学習さ
れたもの)を用いて、処理デバイスをトリガしてスピーカを起動させることができる。こ
れにより、処理デバイスとの自然言語セッションが開始され得る(例えば、スピーカを介
した処理デバイスからの言語応答のトリガ)。しかし、任意選択的に、処理デバイスは、
起動後にマイクロフォンにより可聴のキーワードを検出するためにさらに待機してもよい
。次に、言語キーワードは、処理デバイス100との自然言語会話セッションの開始のた
めのトリガとして機能し得る。
【0244】
このような処理デバイスの起動またはセッション開始のための方法は、従来の方法より
も好ましい場合がある。ユーザが静止した状態で話している場合、処理デバイスのアシス
タントアプリケーションは、動きが検出されるまでは、言語キーワードを聞き取らない。
このような機能は、室内に誰もいない場合は処理デバイスはスピーチ(または室内の他の
ノイズ)を聞き取らないことを意味し得る。しかし、例えばユーザが退出しようとしてい
る(「今から部屋から出るので、部屋のモニターをお願いします」)場合、このようなア
クティブ聞き取りモードを選択的にオンにして、より継続的に作動させることができる。
【0245】
別のプライバシー的利点として、寝室/リビングルーム内における記録用カメラの必要
性無しに、詳細な睡眠追跡または日中の不在/存在、呼吸および/または心拍数追跡が可
能である点がある。
【0246】
[他の用途]
【0247】
本技術の他の用途を挙げると、スピーカおよびマイクロフォンが既に利用可能であるか
または容易にレトロフィットが可能である場合がある。例えば、昇降機(エレベータ)内
の占有センサ(緊急時通信に用いられる)および既存のスピーカおよびマイクロフォンを
用いて、空間中の呼吸信号または他の動きの信号(単数または複数)を感知することがで
きる。
【0248】
FMCWを用いたレンジにおける感知またはCWを用いた大面積感知のために、パブリ
ックアドレス(PA)システムを用いることも可能である。多数のこのようなシステムに
おいて、正しい作動を保証するために、20kHzまたは類似のトーンが既に用いられて
おり、(例えば、鉄道駅、図書館、ショップなどにおける用途のために)超音波バイオメ
トリック感知を含むようなアップグレードが可能である。
【0249】
[パワーナップ(Power nap)]
【0250】
システムの処理デバイス100は、スマートナップ(smart nap)をアシストする昼寝
(nap)機能を備えるようにプログラムすることができ、この機能は、人がベッドに横臥
しているとき、カウチ上にいるとき、または処理デバイスの任意の領域/近傍に関係なく
提供される。例えば、ユーザは、デバイスに対して「僕/私は今から昼寝をするよと」声
をかけることができる。次に、対話型オーディオデバイスは、当該ユーザが眠りに落ちる
ことを可聴的に支援することができ、その後、睡眠および/または時間のモニターにより
、予測される利用可能な時間、現在の睡眠不足の推定、時刻およびユーザリクエストに基
づいて適切な昼寝の継続時間に誘導する。例えば、昼寝の継続時間は、ターゲット継続時
間(例えば、20分間、30分間、60分間または90分間(フル睡眠サイクル))に最
適化され得る。60分間の昼寝は、深い睡眠を最適化するためのものであり、終了時にお
いて任意の睡眠慣性からの回復のための一定の時間が許容される一方、20分間および3
0分間のターゲット時間は、まだ浅い睡眠段階にあるときにユーザを覚醒させるかまたは
深い睡眠に入る1~2分間よりも前にユーザを覚醒させるように最適化される。昼寝時間
に加えて、睡眠(昼寝)前の覚醒時間も記録される。
【0251】
ユーザの最近の睡眠が通常通りである場合、20~25分間の昼寝の方が、90分間の
フル睡眠サイクルよりも好適であり得る。なぜならば、長時間になると、その日の夜の睡
眠に影響が出る可能性があるからである。
【0252】
[多ユーザの近傍感知]
【0253】
いくつかのバージョンにおいて、処理デバイスは、1つ以上のスピーカ(単数または複
数)および1つ以上のマイクロフォン(単数または複数)により2人(以上)を同時にモ
ニターするように、構成され得る。例えば、処理デバイスは、異なるユーザを異なる周波
数にて感知するための異なる感知周波数において複数の感知信号を生成し得る。いくつか
の場合において、処理デバイスは、異なる時期に異なるユーザを感知するために、インタ
リーブされた感知信号の生成(例えば、異なる時期における異なる感知信号)を制御し得
る。いくつかの場合において、処理デバイスは、(例えば並列感知において)異なる距離
を異なる時期に感知するための距離ゲーティングを順次調節し得る。
【0254】
いくつかの場合において、信号の質の最大化を支援することが可能な条件がいくつか存
在する。例えば、処理デバイス(例えば、RFセンサ、またはソナーで有効とされるスマ
ートフォン)を寝台脇ロッカー上に配置することができる。この場合、第1の人の身体に
より感知信号の大部分が遮断され得る「シャドーイング」効果が生じ得る(その場合、距
離ゲーティングにおいて恩恵が得られる(ベッド内の1人のみの感知)。ソナーにおいて
、処理デバイスは、2人(以上の)人を検出するために、2個(以上の)異なる感知信号
またはさらには単一のFMCW(三角形、デュアルランプまたは他の)感知信号を生成さ
せ得る。FMCWの範囲の分離性により、(室内に1個だけスピーカ/マイクが存在する
かのように)1つの感知信号だけで充分になる。理想的には、2人を同時にモニターする
には、ユーザが処理デバイスを高い位置に配置することにより、大部分の音響エネルギー
が双方のユーザに到達するように(例えば、第1のユーザおよびユーザのシート/デュベ
コンフォーターにより感知信号が大きく遮断されないように)する。同一デバイス上に2
つのマイクロフォンが有る場合も、(例えば、1つの上においてピークに近く、他方上に
おいてヌルに近くなるため(特に、より小さな振幅の受信信号がより遠距離からの対象者
から来る場合))有意な構造的/破壊的干渉が有る際に有利であり得る。
【0255】
ソナー/スマートフォンを第2の人に近づけた場合、より有利であり得(かつ恐らくは
より高品質の信号を達成することができる)。第2の人は、自身のスマートフォン/処理
デバイスを利用することができ、第1の人は、自身のスマートフォン/処理デバイスを利
用する。感知信号の生成は、相互干渉を回避するように(すなわち、時間および/または
周波数の重複を回避するように)行われ得る。これらのデバイスは、(送信前に聞くこと
および/またはユーザからの送信時に受信された信号を処理することにより)環境を自動
的に感知し得、これにより、近傍の他のデバイスからの既存の感知信号との干渉しないよ
うに感知信号変調/技術を選択的に選択することができる。
【0256】
いくつかの場合において、送信および受信感度の音声圧力レベルは、2つのスマートフ
ォンが全く同じ送信感知信号を有する場合に干渉を生じさせないようなものである。なぜ
ならば、空気の減衰および音響吸収表面(織物、カーペット、ベッドカバー)の混合物に
よる影響に起因して、第2の源が干渉の閾値を下回り得るからである。各処理デバイスが
各ユーザによって用いられる場合、デバイスは、それぞれの出力を自動的に低減するよう
に任意選択的に構成され得、これにより、モニターされている対象者のバイオメトリック
信号を例えば必要な最低出力により充分に検出することが可能になる。このようなプロセ
スにより、他のデバイスとの干渉を回避しつつ、それぞれが動きを検出することが可能に
なる。
【0257】
[ノイズ/干渉の回避]
【0258】
場合によっては、処理デバイスがコンテンツ音(例えば、音楽、スピーチ)をスピーカ
上において再生しているとき、処理デバイスは、この音のコンテンツにローパスを施すこ
とにより、(例えば)18kHzを超えるコンテンツを全て除去することができる。次に
、処理デバイスは、低周波超音波信号を感知のためにオーバーレイし得る。すなわち、シ
ステムは、感知能力の妨害になり得る「音楽」の成分を除去する(かまたは有意に減衰さ
せる)。しかし、場合によっては、このようなフィルタリングは省略してもよい。このよ
うなフィルタリングを行うと、高品質Hi-Fiの場合に音コンテンツが曇る(高音に影
響が出る)場合がある(あるいはユーザが(現実の音ではなく)自分の感じ方がそうなっ
たと感じてしまう原因になり得る)。処理デバイスは、音楽/音コンテンツへのローパス
フィルタリングを行わない(または(別個かつ近傍のスピーカ上における再生の場合に)
実際に音楽/音コンテンツへのローパスフィルタリング能力を備えない)ように、構成さ
れ得る。そのため、感知信号中に不要な成分が含まれ得る。これを軽減するための1つの
方法として、リアルタイムおよび最近の(時間内)「帯域内」干渉に対してフィードバッ
クを具現することにより、感知信号を適合させる方法がある。不十分であり得る(かまた
は極めて高速で(低遅延で)機能する必要のあり得る)処理リソースに応じて、処理デバ
イスは、2個の感知信号を同時に送信し得る(FMCW信号の場合、2つの同一場所に配
置された三角ランプまたは実際には2組のデュアルランプなどであり得る)。次に、処理
デバイスは、投票プロセスを含み得る。この投票プロセスにおいて、得られた生体動き信
号を評価して、信号中の検出された動きに基づいて、(信号の品質の点において)より良
い信号を選択する。このようなプロセスは、感知処理(使用時間)全体にわたって動的に
継続し得る。
【0259】
5.2 他の注意事項
本特許文書の開示の一部は、著作権保護が与えられる内容を含む。著作権所有者は、何
者かが本特許文書または本特許開示をファックスにより再生しても、特許庁の特許ファイ
ルまたは記録に記載されるものであれば目的のものであれば異論は無いが、その他の目的
については全ての著作権を保持する。
【0260】
他に文脈から明確に分かる場合および一定の範囲の値が提供されていない限り、下限の
単位の1/10、当該範囲の上限と下限の間、および記載の範囲の他の任意の記載の値ま
たは介入値(intervening value)に対する各介入値は本技術に包含されることが理解さ
れる。介入範囲中に独立的に含まれるこれらの介入範囲の上限および下限が記載の範囲に
おける制限を特に超えた場合も、本技術に包含される。記載の範囲がこれらの制限のうち
1つまたは双方を含む場合、これらの記載の制限のいずれかまたは双方を超える範囲も、
本技術に包含される。
【0261】
さらに、本明細書中に値(単数または複数)が本技術の一部として実行される場合、他
に明記無き限り、このような値が近似され得、実際的な技術的具現例が許容または要求す
る範囲まで任意の適切な有効桁までこのような値を用いることが可能であると理解される
【0262】
他に明記しない限り、本明細書中の全ての技術用語および科学用語は、本技術が属する
分野の当業者が一般的に理解するような意味と同じ意味を持つ。本明細書中に記載の方法
および材料に類似するかまたは等しい任意の方法および材料を本技術の実践または試験に
おいて用いることが可能であるが、限られた数の例示的な方法および材料が本明細書中に
記載される。
【0263】
特定の材料が構成要素の構築に好適に用いられるものとして記載されているが、特性が
類似する明白な代替的材料が代替物として用いられる。さらに、それとは反対に記載無き
限り、本明細書中に記載される任意および全ての構成要素は、製造可能なものとして理解
されるため、集合的にまたは別個に製造され得る。
【0264】
本明細書中及び添付の特許請求の範囲において用いられるように、単数形である「a」
、「an」および「the」は、文脈から明らかにそうでないことが示されない限り、そ
の複数の均等物を含む点に留意されたい。
【0265】
本明細書中に記載される公開文献は全て、これらの公開文献の対象である方法および/
または材料の開示および記載を引用することにより、本明細書の一部をなすものとする。
本明細書中に記載の公開文献は、本出願の出願日前のその開示内容のみのために提供する
ものである。本明細書中のいずれの内容も、本技術が先行特許のためにこのような公開文
献に先行していないと認めるものと解釈されるべきではない。さらに、記載の公開文献の
日付は、実際の公開文献の日付と異なる場合があり、個別に確認が必要であり得る。
【0266】
「comprises」および「comprising」という用語は、要素、構成要
素またはステップを非排他的な意味合いで指すものとして解釈されるべきであり、記載の
要素、構成要素またはステップが明記されていない他の要素、構成要素またはステップと
共に存在、利用または結合され得ることを示す。
【0267】
詳細な説明において用いられる見出しは、読者の便宜のためのものであり、本開示また
は特許請求の範囲全体において見受けられる内容を制限するために用いられるべきではな
い。これらの見出しは、特許請求の範囲または特許請求の範囲の制限の範囲の解釈におい
て用いられるべきではない。
【0268】
本明細書中の技術について、特定の実施例を参照して述べてきたが、これらの実施例は
本技術の原理および用途を例示したものに過ぎないことが理解されるべきである。いくつ
かの場合において、用語および記号は、本技術の実施に不要な特定の詳細を示し得る。例
えば、「第1の」および「第2の」(など)という用語が用いられるが、他に明記無き限
り、これらの用語は任意の順序を示すことを意図しておらず、別個の要素を区別するため
に用いられる。さらに、本方法におけるプロセスステップについての記載または例示を順
序付けて述べる場合があるが、このような順序は不要である。当業者であれば、このよう
な順序が変更可能でありかつ/またはその態様を同時にまたはさらに同期的に行うことが
可能であることを認識する。
【0269】
よって、本技術の意図および範囲から逸脱することなく、例示的な実施例において多数
の変更例が可能であり、また、他の配置構成が考案され得ることが理解されるべきである
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図8A
図8B
図8C
図9A
図9B
図9C
【手続補正書】
【提出日】2024-04-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
プロセッサにより実行可能な命令が保存されたプロセッサにより読取可能な媒体であって、前記プロセッサにより実行可能な命令は、対話型オーディオデバイスのプロセッサによって実行されると、前記プロセッサにユーザの生理学的な動きを検出させ、前記プロセッサにより実行可能な命令は、
前記対話型オーディオデバイスへ接続された送信器を介して前記対話型オーディオデバイスの近傍への無線周波数(RF)信号の送信を制御する命令と、
前記対話型オーディオデバイスへ接続された受信器を介して前記送信された信号の反射の感知を制御する命令と、
前記感知された反射信号の少なくとも一部および前記送信された信号の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出する命令と、
前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力を生成する命令と
を含み、前記生成された出力は、対話型のクエリ応答提示を含むものである、プロセッサにより読取可能な媒体。
【請求項2】
前記導出された生理学的な動きの信号は、呼吸の動きと、全身の動きと、心臓の動きとのうちの1つ以上を含む、請求項1に記載のプロセッサにより読取可能な媒体。
【請求項3】
前記対話型オーディオデバイスへ接続された前記マイクロフォンを介して感知された可聴の言語通信の評価を行うようにとの旨のプロセッサにより実行可能な命令をさらに含み、前記出力を生成する前記命令は、前記感知された可聴の言語通信に応答して前記出力を生成するように構成される、請求項1または2に記載のプロセッサにより読取可能な媒体。
【請求項4】
検出される領域をさらに局所化するためにビーム形成プロセスを作動させるプロセッサにより実行可能な命令をさらに含む、請求項1~3のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項5】
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、モニターされたユーザ睡眠情報を含む、請求項1~4のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項6】
前記導出された生理学的な動きの信号の前記部分の評価は、呼吸数、呼吸の相対的振幅、心拍数、心臓の振幅、相対的心臓の振幅、および心拍数の変動性のうちいずれか1つ以上を含む1つ以上の生理学的パラメータを検出することを含む、請求項1~5のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項7】
(a)前記生成された出力は、スピーカを介して実行される対話型のクエリ応答提示を含むことと、
(b)前記生成された出力は、スピーカを介して実行される対話型のクエリ応答提示を含みかつユーザ睡眠の向上のためのアドバイスを含むことと
のいずれかである、請求項1~6のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項8】
(a)前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の実行にさらに基づくことと、
(b)前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、自動化された機器またはシステムの制御のための制御信号を含むことと、
(c)前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、自動化された機器またはシステムの制御のための制御信号を含み、かつ前記プロセッサにより読取可能な媒体は前記制御信号を前記自動化された機器またはシステムへネットワークを介して送信するプロセッサ制御命令をさらに含むことと
のいずれかである、請求項1~7のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項9】
(a)前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を生成させるプロセッサ制御命令と、
(b)前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を生成させるプロセッサ制御命令であって、前記対話型オーディオデバイスの設定を変更するための前記制御信号は、前記対話型オーディオデバイスからのユーザ距離、またはユーザの状態、またはユーザの位置の検出に基づいた音量変更を含むプロセッサ制御命令と
のいずれかをさらに含む、請求項1~7のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項10】
前記プロセッサにより実行可能な命令は、複数のユーザの睡眠特性のモニターのために異なる感知範囲の動き特性を評価するように構成されている、請求項1~9のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項11】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または不在を検出するプロセッサにより実行可能な命令をさらに含む、請求項1~10のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項12】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメトリック認識を行う旨のプロセッサにより実行可能な命令をさらに含む、請求項1~11のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項13】
(a)前記導出された生理学的な動きの信号の分析から決定されたバイオメトリック評価および/または(b)前記導出された生理学的な動きの信号の少なくとも一部の分析から決定された存在検出に基づいたネットワークを介した通信を生成させるプロセッサにより実行可能な命令をさらに含む、請求項1~12のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項14】
ユーザの動きの存在を検出することと、前記ユーザに可聴的に呼び掛けることと、前記ユーザを可聴的に認証することと、前記ユーザに権限付与することまたは前記ユーザについてのアラームメッセージを通信することとを前記対話型オーディオデバイスに行わせるように構成されたプロセッサにより実行可能な命令をさらに含む、請求項1~13のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項15】
(a)前記ユーザを可聴的に認証するプロセッサにより実行可能な命令は、前記プロセッサに接続されたマイクロフォンによって感知された前記ユーザの言葉の音波と、事前記録された言葉の音波とを比較するように構成され、および/または、
(b)プロセッサにより実行可能な命令は、動きに基づいたバイオメトリック感知を用いて前記ユーザを認証するように構成されている、請求項14に記載のプロセッサにより読取可能な媒体。
【請求項16】
前記対話型オーディオデバイスに前記導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを検出させるプロセッサにより実行可能な命令と、
前記検出された動きジェスチャーに基づいて制御信号を生成させる旨、または通知を送信する旨、または(a)自動化された機器および/または(b)前記対話型オーディオデバイスについての動作への変更を制御する旨のプロセッサにより実行可能な命令と
をさらに含む、請求項1~15のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項17】
(a)前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタントプロセスが連動されることと、
(b)前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタントプロセスが連動され、ここで、前記対話型音声アシスタント動作の開始は、前記マイクロフォン感知による言語キーワードの検出にさらに基づくことと
のいずれかである、請求項16に記載のプロセッサにより読取可能な媒体。
【請求項18】
別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を前記対話型オーディオデバイスの前記マイクロフォンによって感知された非可聴音波を介して前記対話型オーディオデバイスに受信させるためのプロセッサにより実行可能な命令をさらに含む、請求項1~17のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項19】
(a)前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始の検出をさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含むことと、
(b)前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始の検出をさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含み、ここで、前記サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御、および窓被覆材制御のうち1つ以上を含むことと
のいずれかである、請求項1~18のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項20】
睡眠向上サービスを提供するプロセッサにより実行可能な命令をさらに含み、前記睡眠向上サービスは、(a)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイスを生成させることと、(b)睡眠環境状態の設定および/または睡眠に関連するアドバイスメッセージの前記ユーザへの提供のために環境用機器の制御のための制御信号を生成することとのうちいずれかを含む、請求項1~19のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項21】
前記導出された生理学的な動きの信号の少なくとも一部に基づいてジェスチャーを検出する旨および前記対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させる旨のプロセッサにより実行可能な命令をさらに含む、請求項1~20のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項22】
前記導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開始およびモニターするプロセッサにより実行可能な命令をさらに含む、請求項1~21のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項23】
ユーザの動きを前記近傍を通じて追跡するために前記送信されたRF信号のうち少なくとも一部のパラメータを変動させることにより検出範囲を変動させるプロセッサにより実行可能な命令をさらに含む、請求項1~22のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項24】
(a)前記導出された生理学的な動きの信号の少なくとも一部を用いて権限付与されていない動きを検出し、前記ユーザまたは第三者への通知のためにアラームまたは通信を生成させるプロセッサにより実行可能な命令と、
(b)前記導出された生理学的な動きの信号の少なくとも一部を用いて権限付与されていない動きを検出し、前記ユーザまたは第三者への通知のためにアラームまたは通信を生成させるプロセッサにより実行可能な命令であって、前記通信により、スマートフォンまたはスマートウォッチ上のアラームが提供されるプロセッサにより実行可能な命令と
のいずれかをさらに含む、請求項1~23のいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項25】
請求項1~24のいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードする命令を受信するように構成されている、サーバ。
【請求項26】
1つ以上のプロセッサと、前記1つ以上のプロセッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請求項1~24のいずれか一項に記載の前記プロセッサにより読取可能な媒体とを含むように構成されている、対話型オーディオデバイス。
【請求項27】
前記対話型オーディオデバイスは、携帯電話と、スマートウォッチと、タブレットコンピュータと、スマートスピーカとのいずれかを含む、請求項26に記載の対話型オーディオデバイス。
【請求項28】
請求項1~24のいずれか一項に記載の前記プロセッサにより読取可能な媒体へアクセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードするリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサにより実行可能な命令を前記対話型オーディオデバイスへ送信することとを含む、方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0269
【補正方法】変更
【補正の内容】
【0269】
よって、本技術の意図および範囲から逸脱することなく、例示的な実施例において多数の変更例が可能であり、また、他の配置構成が考案され得ることが理解されるべきである。
なお、親出願の出願当初の特許請求の範囲の記載は以下の通りである。

請求項1:
プロセッサにより実行可能な命令が保存されたプロセッサにより読取可能な媒体であって、前記プロセッサにより実行可能な命令は、対話型オーディオデバイスのプロセッサによって実行されると、前記プロセッサにユーザの生理学的な動きを検出させ、前記プロセッサにより実行可能な命令は、
前記対話型オーディオデバイスへ接続されたスピーカを介して前記対話型オーディオデバイスの近傍への音声信号の生成を制御する命令と、
前記対話型オーディオデバイスへ接続されたマイクロフォンを介して前記近傍からの反射された音声信号の感知を制御する命令と、
前記感知された反射音信号の少なくとも一部および前記音声信号の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出する命令と、
前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力を生成する命令と
を含む、プロセッサにより読取可能な媒体。
請求項2:
前記生成された音声信号の少なくとも一部は、実質的に非可聴音のレンジ内にある、請求項1に記載のプロセッサにより読取可能な媒体。
請求項3:
前記生成された音声信号の一部は、低周波超音波音響信号である、請求項2に記載のプロセッサにより読取可能な媒体。
請求項4:
前記音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス測定信号を含む、請求項1~3のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項5:
前記導出された生理学的な動きの信号は、呼吸の動き、全身の動きまたは心臓の動きのうち1つ以上を含む、請求項1~4のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項6:
前記生理学的な動きの信号を導出する命令は、オシレータ信号を前記感知された反射音信号の一部で乗算するように構成される、請求項1~5のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項7:
前記対話型オーディオデバイスへ接続された前記マイクロフォンを介して感知された前記可聴の言語通信の評価を行うようにとの旨のプロセッサにより実行可能な命令をさらに含み、前記出力を生成する前記命令は、前記感知された可聴の言語通信に応答して前記出力を生成するように構成される、請求項1~6のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項8:
前記生理学的な動きの信号の導出のために前記プロセッサにより実行可能な命令は、前記感知された反射音信号の一部の復調を前記音声信号の少なくとも一部を用いて行うことを含む、請求項1~7のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項9:
前記復調は、前記音声信号の一部と、前記感知された反射音信号の一部との乗算を含む、請求項8に記載のプロセッサにより読取可能な媒体。
請求項10:
前記音信号の生成を制御する前記プロセッサにより実行可能な命令により、デュアルトーン周波数変調された連続波信号が生成される、請求項1~9のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項11:
前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸歯状周波数変化を含む、請求項1~10のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項12:
超広帯域(UWB)音声信号を可聴ホワイトノイズとして生成するプロセッサにより実行可能な命令をさらに含み、前記プロセッサにより読取可能な媒体は、前記UWB音声信号を用いてユーザの動きを検出する命令を含む、請求項1~11のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項13:
低周波超音波エコーの距離測定の較正のためにセットアッププロセスにおいて前記スピーカからプロービング音響シーケンスを生成させるプロセッサにより実行可能な命令をさらに含む、請求項1~12のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項14:
前記マイクロフォンと前記対話型オーディオデバイスの別のマイクロフォンとの間の距離の推定のためにセットアッププロセスにおいて前記スピーカを含む1つ以上のスピーカから時間同期された較正音響信号を生成させるプロセッサにより実行可能な命令、をさらに含む、請求項1~13のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項15:
検出される領域をさらに局所化するためにビーム形成プロセスを作動させるプロセッサにより実行可能な命令をさらに含む、請求項1~14のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項16:
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、モニターされたユーザ睡眠情報を含む、請求項1~15のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項17:
前記導出された生理学的な動きの信号の前記部分の評価は、1つ以上の生理学的パラメータを検出することを含む、請求項1~16のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項18:
前記1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍数、心臓の振幅、相対的心臓の振幅および心拍数の変動性のうちいずれか1つ以上を含む、請求項17に記載のプロセッサにより読取可能な媒体。
請求項19:
前記モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれかを含む、請求項16~18のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項20:
前記生成された出力は、対話型のクエリ応答提示を含む、請求項1~19のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項21:
前記生成された対話型のクエリ応答提示は、スピーカを介して実行される、請求項20に記載のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項22:
前記生成された対話型のクエリ応答提示は、モニターされたユーザ睡眠情報の向上のためのアドバイスを含む、請求項21に記載のプロセッサにより読取可能な媒体。
請求項23:
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の実行にさらに基づく、請求項1~22のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項24:
前記検索は、記録されたユーザデータに基づく、請求項23に記載のプロセッサにより読取可能な媒体。
請求項25:
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、自動化された機器またはシステムの制御のための制御信号を含む、請求項1~24のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項26:
前記制御信号を前記自動化された機器またはシステムへネットワークを介して送信するプロセッサ制御命令をさらに含む、請求項25に記載のプロセッサにより読取可能な媒体。
請求項27:
前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を生成させるプロセッサ制御命令をさらに含む、請求項1~26のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項28:
前記対話型オーディオデバイスの設定を変更するための前記制御信号は、前記対話型オーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた音量変更を含む、請求項27に記載のプロセッサにより読取可能な媒体。
請求項29:
前記プロセッサにより実行可能な命令は、複数のユーザの睡眠特性のモニターのために異なる音響感知範囲の動き特性を評価するように構成される、請求項1~28のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項30:
前記音信号の生成を制御する命令により、異なるユーザを異なる周波数で感知するための異なる感知周波数において同時感知信号を生成することが制御される、請求項29に記載のプロセッサにより読取可能な媒体。
請求項31:
前記音信号の生成を制御する命令により、異なるユーザを異なる時間において感知するためのインタリーブ型音響感知信号の生成が制御される、請求項30に記載のプロセッサにより読取可能な媒体。
請求項32:
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または不在を検出するプロセッサにより実行可能な命令をさらに含む、請求項1~32のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項33:
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメトリック認識を行う旨のプロセッサにより実行可能な命令をさらに含む、請求項1~32のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項34:
(a)前記導出された生理学的な動きの信号の分析から決定されたバイオメトリック評価および/または(b)前記導出された生理学的な動きの信号の少なくとも一部の分析から決定された存在検出に基づいたネットワークを介した通信を生成させるプロセッサにより実行可能な命令をさらに含む、請求項1~33のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項35:
ユーザの動きの存在を音響的に検出すること、前記ユーザに可聴的に呼び掛けること、前記ユーザを可聴的に認証すること、および前記ユーザに権限付与することまたは前記ユーザについてのアラームメッセージを通信することを前記対話型オーディオデバイスに行わせるように構成されたプロセッサにより実行可能な命令、をさらに含む、請求項1~34のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項36:
前記ユーザを可聴的に認証するプロセッサにより実行可能な命令は、前記マイクロフォンによって感知された前記ユーザの言葉の音波と、事前記録された言葉の音波とを比較するように構成される、請求項35に記載のプロセッサにより読取可能な媒体。
請求項37:
プロセッサにより実行可能な命令は、動きに基づいたバイオメトリック感知を用いて前記ユーザを認証するように構成される、請求項35~36のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項38:
前記対話型オーディオデバイスに前記導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを検出させるプロセッサにより実行可能な命令と、
前記検出された動きジェスチャーに基づいて制御信号を生成させる旨、通知を送信する旨、または、(a)自動化された機器および/または(b)前記対話型オーディオデバイスの動作への変更を制御する旨のプロセッサにより実行可能な命令と
をさらに含む、請求項1~37のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項39:
前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタントプロセスが連動される、請求項38に記載のプロセッサにより読取可能な媒体。
請求項40:
前記対話型音声アシスタント動作の開始は、前記マイクロフォン感知による言語キーワードの検出にさらに基づく、請求項39に記載のプロセッサにより読取可能な媒体。
請求項41:
前記対話型オーディオデバイスに前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを検出させるプロセッサにより実行可能な命令、および前記ユーザが自身の呼吸を調節するきっかけになるような出力キューを生成させるプロセッサにより実行可能な命令をさらに含む、請求項1~40のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項42:
別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を前記対話型オーディオデバイスの前記マイクロフォンによって感知された非可聴音波を介して前記対話型オーディオデバイスに受信させるためのプロセッサにより実行可能な命令をさらに含む、請求項1~41のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項43:
前記対話型オーディオデバイスの近傍において前記音信号の生成を制御する命令により、前記音信号の少なくとも一部を前記通信に基づいて生成するためのパラメータが調節される、請求項42に記載のプロセッサにより読取可能な媒体。
請求項44:
前記調節されたパラメータにより、前記対話型オーディオデバイスと前記別の対話型オーディオデバイスとの間の干渉が低減される、請求項43に記載のプロセッサにより読取可能な媒体。
請求項45:
前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始の検出をさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含む、請求項1~44のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項46:
前記サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含む、請求項45に記載のプロセッサにより読取可能な媒体。
請求項47:
フィードバックを収集するようユーザを促す旨およびこれに応答して前記導出された生理学的な動きの信号の一部および前記フィードバックのうち少なくとも1つに基づいてアドバイスを生成させるプロセッサにより実行可能な命令をさらに含む、請求項1~46のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項48:
環境データを決定するプロセッサにより実行可能な命令をさらに含み、前記アドバイスは、前記決定された環境データにさらに基づく、請求項47に記載のプロセッサにより読取可能な媒体。
請求項49:
環境データを決定するプロセッサにより実行可能な命令と、前記決定された環境データおよび前記導出された生理学的な動きの信号の少なくとも一部に基づいて環境制御システムのために制御信号を生成させるプロセッサにより実行可能な命令とをさらに含む、請求項48に記載のプロセッサにより読取可能な媒体。
請求項50:
睡眠向上サービスを提供するプロセッサにより実行可能な命令をさらに含み、前記睡眠向上サービスは、(a)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイスを生成させることおよび(b)睡眠環境状態の設定および/または睡眠に関連するアドバイスメッセージの前記ユーザへの提供のために環境用機器の制御のための制御信号を生成すること、のうちいずれかを含む、請求項1~49のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項51:
前記導出された生理学的な動きの信号の少なくとも一部に基づいてジェスチャーを検出する旨および前記対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させる旨のプロセッサにより実行可能な命令をさらに含む、請求項1~50のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項52:
前記導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開始およびモニターするプロセッサにより実行可能な命令をさらに含む、請求項1~51のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項53:
ユーザの動きを前記近傍を通じて追跡するために前記生成された音信号のうち少なくとも一部のパラメータを変動させることにより検出範囲を変動させるプロセッサにより実行可能な命令をさらに含む、請求項1~52のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項54:
前記導出された生理学的な動きの信号の少なくとも一部を用いて権限付与されていない動きを検出するプロセッサにより実行可能な命令と、前記ユーザまたは第三者への通知のためにアラームまたは通信を生成させるプロセッサにより実行可能な命令とをさらに含む、請求項1~53のいずれか一項に記載のプロセッサにより読取可能な媒体。
請求項55:
前記通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される、請求項54に記載のプロセッサにより読取可能な媒体。
請求項56:
請求項1~55のいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードする命令を受信するように構成される、サーバ。
請求項57:
対話型オーディオデバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請求項1~55のいずれか一項に記載のプロセッサにより読取可能な媒体とを含むか、または前記1つ以上のプロセッサは、請求項56に記載のサーバを用いて前記プロセッサにより実行可能な命令にアクセスするように構成される、電子処理デバイス。
請求項58:
前記対話型オーディオデバイスは、ポータブルデバイスである、請求項57に記載の対話型オーディオデバイス。
請求項59:
前記対話型オーディオデバイスは、携帯電話、スマートウォッチ、タブレットコンピュータまたはスマートスピーカを含む、請求項57~58のいずれか一項に記載の対話型オーディオデバイス。
請求項60:
請求項1~55のいずれか一項に記載の前記プロセッサにより読取可能な媒体へアクセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードするリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサにより実行可能な命令を前記対話型オーディオデバイスへ送信することとを含む、方法。
請求項61:
対話型オーディオデバイスのプロセッサの方法であって、
請求項1~55のいずれか一項に記載の前記プロセッサにより読取可能な媒体にプロセッサからアクセスすることと、
前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令を前記プロセッサにおいて実行することと
を含む、方法。
請求項62:
対話型オーディオデバイスのユーザの生理学的な動きを検出する方法であって、
前記対話型オーディオデバイスへ接続されたスピーカを介して前記対話型オーディオデバイスの近傍への音声信号の生成することと、
対話型オーディオデバイスへ接続されたマイクロフォンを介して前記近傍からの反射された音声信号を感知することと、
プロセッサにおいて、前記感知された反射音信号の少なくとも一部および前記音声信号の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出することと、
前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力をプロセッサから生成することと
を含む、方法。
請求項63:
前記生成された音声信号の少なくとも一部は、実質的に非可聴音のレンジ内にある、請求項62に記載の方法。
請求項64:
前記生成された音声信号の一部は、低周波超音波音響信号である、請求項63に記載の方法。
請求項65:
前記音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス測定信号を含む、請求項62~64のいずれか一項に記載の方法。
請求項66:
前記導出された生理学的な動きの信号は、呼吸動き、全身動きまたは心臓動きのうち1つ以上を含む、請求項62~65のいずれか一項に記載の方法。
請求項67:
オシレータ信号を前記感知された反射音信号の一部で乗算することにより前記生理学的な動きの信号を導出することを含む、請求項62~66のいずれか一項に記載の方法。
請求項68:
感知された可聴の言語通信の評価を前記対話型オーディオデバイスへ接続された前記マイクロフォンを介してプロセッサにおいて行うことをさらに含み、前記出力を生成させることは、前記感知された可聴の言語通信に応答して行われる、請求項62~67のいずれか一項に記載の方法。
請求項69:
前記生理学的な動きの信号を導出することは、前記感知された反射音信号の一部を前記音声信号の少なくとも一部を用いて復調することを含む、請求項62~68のいずれか一項に記載の方法。
請求項70:
前記復調は、前記音声信号の一部と、前記感知された反射音信号の一部との乗算を含む、請求項69に記載の方法。
請求項71:
前記音声信号の生成は、デュアルトーン周波数変調連続波信号を生成する、請求項62~70のいずれか一項に記載の方法。
請求項72:
前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸歯状周波数変化を含む、請求項62~71のいずれか一項に記載の方法。
請求項73:
超広帯域(UWB)音声信号を可聴ホワイトノイズとして生成することをさらに含み、ユーザの動きが前記UWB音声信号を用いて検出される、請求項62~72のいずれか一項に記載の方法。
請求項74:
セットアッププロセスにおいてプロービング音響シーケンスを前記スピーカから生成させて低周波超音波エコーの距離測定を較正することをさらに含む、請求項62~73のいずれか一項に記載の方法。
請求項75:
セットアッププロセスにおいて時間同期された較正音響信号を前記スピーカを含む1つ以上のスピーカから生成させて、前記マイクロフォンと前記対話型オーディオデバイスの別のマイクロフォンとの間の距離を推定することをさらに含む、請求項62~74のいずれか一項に記載の方法。
請求項76:
ビーム形成プロセスを作動させて、検出された領域をさらに局所化させることをさらに含む、請求項62~75のいずれか一項に記載の方法。
請求項77:
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、モニターされたユーザ睡眠情報を含む、請求項62~76のいずれか一項に記載の方法。
請求項78:
前記導出された生理学的な動きの信号の前記部分の評価は、1つ以上の生理学的パラメータを検出することを含む、請求項62~77のいずれか一項に記載の方法。
請求項79:
前記1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍数、相対的心臓振幅、心臓振幅および心拍数変動性のうちいずれか1つ以上を含む、請求項78に記載の方法。
請求項80:
前記モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれかを含む、請求項77~79のいずれか一項に記載の方法。
請求項81:
前記生成された出力は、対話型のクエリ応答提示を含む、請求項62~80のいずれか一項に記載の方法。
請求項82:
前記生成された対話型のクエリ応答提示は、スピーカを介して実行される、請求項81に記載の方法。
請求項83:
前記生成された対話型のクエリ応答提示は、モニターされたユーザ睡眠情報の向上のためのアドバイスを含む、請求項82に記載の方法。
請求項84:
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の実行にさらに基づく、請求項62~83のいずれか一項に記載の方法。
請求項85:
前記検索は、記録されたユーザデータに基づく、請求項84に記載の方法。
請求項86:
前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、自動化された機器またはシステムの制御のための制御信号を含む、請求項62~85のいずれか一項に記載の方法。
請求項87:
前記制御信号を前記自動化された機器または前記システムへネットワークを介して送信することをさらに含む、請求項86に記載の方法。
請求項88:
前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を前記プロセッサ内において生成させることをさらに含む、請求項62~87のいずれか一項に記載の方法。
請求項89:
前記対話型オーディオデバイスの設定を変更するための前記制御信号は、前記対話型オーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた音量変更を含む、請求項88に記載の方法。
請求項90:
異なる音響感知範囲の動き特性の評価を前記プロセッサ内において行って複数のユーザの睡眠特性をモニターすることをさらに含む、請求項62~89のいずれか一項に記載の方法。
請求項91:
異なるユーザを異なる周波数で感知するための異なる感知周波数において同時音響感知信号の生成を制御することをさらに含む、請求項90に記載の方法。
請求項92:
異なるユーザを異なる時間において感知するためのインタリーブ型音響感知信号の生成を制御することをさらに含む、請求項91に記載の方法。
請求項93:
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または不在を検出することをさらに含む、請求項62~92のいずれか一項に記載の方法。
請求項94:
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメトリック認識を前記プロセッサにより行うことをさらに含む、請求項62~93のいずれか一項に記載の方法。
請求項95:
(a)前記導出された生理学的な動きの信号の分析から決定されたバイオメトリック評価および/または(b)前記導出された生理学的な動きの信号の少なくとも一部の分析から決定された存在検出に基づいてネットワークを介した通信を前記プロセッサによって生成させることをさらに含む、請求項62~94のいずれか一項に記載の方法。
請求項96:
ユーザの動きの存在を音響的に検出すること、前記ユーザに可聴的に呼び掛けること、前記ユーザを可聴的に認証すること、および前記ユーザに権限付与すること、または前記ユーザについてのアラームメッセージを通信することを前記対話型オーディオデバイスによって行うことをさらに含む、請求項62~95のいずれか一項に記載の方法。
請求項97:
前記ユーザを可聴的に認証することは、前記マイクロフォンによって感知された前記ユーザの言葉の音波と、事前記録された言葉の音波とを比較することを含む、請求項96に記載の方法。
請求項98:
動きに基づいたバイオメトリック感知により前記ユーザを認証することをさらに含む、請求項96~97のいずれか一項に記載の方法。
請求項99:
前記導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを前記対話型オーディオデバイスにより検出することと、
通知を送信するためまたは(a)自動化された機器および/または(b)前記対話型オーディオデバイスの動作への変更を制御するための制御信号を前記対話型オーディオデバイスのプロセッサ内において前記検出された動きジェスチャーに基づいて生成させることと
をさらに含む、請求項62~98のいずれか一項に記載の方法。
請求項100:
前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタントプロセスが連動される、請求項99に記載の方法。
請求項101:
前記対話型音声アシスタント動作を開始することは、前記マイクロフォン感知による言語キーワードの検出にさらに基づく、請求項100に記載の方法。
請求項102:
前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを検出することと、前記ユーザの呼吸の調節のきっかけになる出力キューを生成させることとを前記対話型オーディオデバイスによって行うことをさらに含む、請求項62~101のいずれか一項に記載の方法。
請求項103:
別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を前記対話型オーディオデバイスの前記マイクロフォンによって感知された非可聴音波を介して前記対話型オーディオデバイスにより受信することをさらに含む、請求項62~102のいずれか一項に記載の方法。
請求項104:
前記音信号の少なくとも一部を前記対話型オーディオデバイスの近隣において前記通信に基づいて生成するためのパラメータを調節することをさらに含む、請求項103に記載の方法。
請求項105:
前記調節のためのパラメータにより、前記対話型オーディオデバイスと、その他の対話型オーディオデバイスとの間の干渉が低減される、請求項104に記載の方法。
請求項106:
前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始を検出することをさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含む、請求項62~105のいずれか一項に記載の方法。
請求項107:
前記サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含む、請求項106に記載の方法。
請求項108:
フィードバックを収集するようユーザを促すことと、これに応答して、前記導出された生理学的な動きの信号の一部および前記フィードバックのうち少なくとも1つに基づいてアドバイスを生成させることと、をさらに含む、請求項62~107のいずれか一項に記載の方法。
請求項109:
環境データを決定することをさらに含み、前記アドバイスは、前記決定された環境データにさらに基づく、請求項108に記載の方法。
請求項110:
環境データを決定することと、前記決定された環境データおよび前記導出された生理学的な動きの信号の少なくとも一部に基づいて環境制御システムのための制御信号を生成させることとをさらに含む、請求項108に記載の方法。
請求項111:
睡眠向上サービスの提供を制御することをさらに含み、前記睡眠向上サービスは、(a)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイスを生成させることと、(b)睡眠環境状態の設定および/または睡眠に関連するアドバイスメッセージの前記ユーザへの提供のために環境用機器の制御のための制御信号を生成することとのうちいずれかを含む、請求項62~110のいずれか一項に記載の方法。
請求項112:
前記導出された生理学的な動きの信号に基づいてジェスチャーを検出することと、前記対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させることとをさらに含む、請求項62~111のいずれか一項に記載の方法。
請求項113:
前記導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開始およびモニターすることをさらに含む、請求項62~112のいずれか一項に記載の方法。
請求項114:
ユーザの動きを前記近隣を通じて追跡するために前記生成された音信号のうち少なくとも一部のパラメータを変動させることにより検出範囲を変動させることをさらに含む、請求項62~113のいずれか一項に記載の方法。
請求項115:
権限付与されていない動きの検出を前記導出された生理学的な動きの信号の少なくとも一部を用いて行うことと、第三者前記ユーザまたは第三者への通知のためにアラームまたは通信を生成させることをさらに含む、請求項62~114のいずれか一項に記載の方法。
請求項116:
前記通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される、請求項115に記載の方法。
【外国語明細書】