(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022160477
(43)【公開日】2022-10-19
(54)【発明の名称】音声信号およびマルチモード信号から生理学的動きを検出するための装置、システムおよび方法
(51)【国際特許分類】
G10L 25/66 20130101AFI20221012BHJP
A61B 5/113 20060101ALI20221012BHJP
A61B 5/11 20060101ALI20221012BHJP
A61B 5/16 20060101ALI20221012BHJP
A61B 5/08 20060101ALI20221012BHJP
【FI】
G10L25/66
A61B5/113
A61B5/11 100
A61B5/16 130
A61B5/08
【審査請求】有
【請求項の数】35
【出願形態】OL
(21)【出願番号】P 2022115208
(22)【出願日】2022-07-20
(62)【分割の表示】P 2019515446の分割
【原出願日】2017-09-19
(31)【優先権主張番号】62/396,616
(32)【優先日】2016-09-19
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
2.ANDROID
3.BLUETOOTH
4.ZIGBEE
(71)【出願人】
【識別番号】508354647
【氏名又は名称】レスメッド センサー テクノロジーズ リミテッド
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(72)【発明者】
【氏名】マクマホン,スティーヴン
(72)【発明者】
【氏名】オローク,ダミアン
(72)【発明者】
【氏名】ザッファローニ,アルベルト
(72)【発明者】
【氏名】ショルディス,レドモンド
(72)【発明者】
【氏名】フェイガン,トニー
(72)【発明者】
【氏名】フォックス,ナイル
(72)【発明者】
【氏名】オマホニー,ナイル
(72)【発明者】
【氏名】ライオン,グレアム
(57)【要約】 (修正有)
【課題】アクティブ音声生成を用いた生理学的動き検出の方法およびデバイスを提供する。
【解決手段】モバイルデバイス100は、対象110の動きを検出するためのアプリケーション200と共に構成される。モバイルデバイスのプロセッサは、対象の呼吸及び/又は全身の動きを検出し、接続されたスピーカを介して音声信号を対象の近隣に生成し、反射した音声信号の感知を接続されたマイクロフォンを介して制御する。反射した音声信号は、対象からの音声信号の反射である。プロセッサはまた、反射した音声を復調技術によって処理し、処理された信号から呼吸を検出する。音声信号は、スロットのフレーム中の一連の音色ペア又は周波数変化を有する位相連続型の反復波形(例えば三角形又は鋸歯)として生成される。プロセッサはさらに、検出した動き情報の評価により、睡眠状態又は採点、疲労兆候、対象認識、慢性疾患監視/予測及び他の出力パラメータを決定する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
プロセッサ実行可能命令が保存されたプロセッサにより読取可能な媒体であって、前記
プロセッサ実行可能命令は、プロセッサによって実行されると、前記プロセッサにユーザ
の生理学的動きを検出させ、前記プロセッサ実行可能命令は、
電子処理デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御
せよとの命令と、
前記電子処理デバイスへ接続されたマイクロフォンを介してユーザから反射された音声
信号の感知を制御せよとの命令と、
前記感知された音声信号を処理せよとの命令と、
前記処理された音声信号から呼吸信号を検出せよとの命令と、を含む、プロセッサによ
り読取可能な媒体。
【請求項2】
前記音声信号は非可聴音レンジ内にある、請求項1に記載のプロセッサにより読取可能
な媒体。
【請求項3】
前記音声信号は、パルスを形成する音色ペアを含む、請求項1~2のうちいずれか一項
に記載のプロセッサにより読取可能な媒体。
【請求項4】
前記音声信号はフレームのシーケンスを含み、各フレームは一連の音色ペアを含み、各
音色ペアは、前記フレーム内の各時間スロットと関連付けられる、請求項1~3のうちい
ずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項5】
音色ペアは、第1の周波数および第2の周波数を含み、前記第1の周波数および第2の
周波数は異なる、請求項4に記載のプロセッサにより読取可能な媒体。
【請求項6】
前記第1の周波数および第2の周波数は、相互に直交する、請求項5に記載のプロセッ
サにより読取可能な媒体。
【請求項7】
前記フレーム内の一連の音色ペアは、第1の音色ペアおよび第2の音色ペアを含み、第
1の音色ペアの周波数は、第2の音色ペアの周波数と異なる、請求項4~6のうちいずれ
か一項に記載のプロセッサにより読取可能な媒体。
【請求項8】
前記フレームの時間スロットの音色ペアは、前記時間スロットの開始部および終了部に
おいてゼロ振幅を有し、前記開始部と前記終了部との間のピーク振幅に対しておよび前記
ピーク振幅からランピング振幅を有する、請求項4~7のうちいずれか一項に記載のプロ
セッサにより読取可能な媒体。
【請求項9】
前記フレームの時間幅は変動する、請求項4~8のうちいずれか一項に記載のプロセッ
サにより読取可能な媒体。
【請求項10】
前記時間幅は前記フレームのスロット幅である、請求項9に記載のプロセッサにより読
取可能な媒体。
【請求項11】
前記時間幅は、前記フレームの幅である、請求項9に記載のプロセッサにより読取可能
な媒体。
【請求項12】
スロットのフレームの音色ペアのシーケンスは、前記フレームの異なるスロットに対し
て異なる周波数のパターンを形成する、請求項1~11のうちいずれか一項に記載のプロ
セッサにより読取可能な媒体。
【請求項13】
前記異なる周波数のパターンは、複数のフレームにおいて反復される、請求項12に記
載のプロセッサにより読取可能な媒体。
【請求項14】
前記異なる周波数のパターンは、スロットの複数のフレーム中のスロットの異なるフレ
ームについて変化される、請求項12に記載のプロセッサにより読取可能な媒体。
【請求項15】
前記音声信号の生成を制御せよとの命令は、音色ペアフレーム変調器を含む、請求項1
~14のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項16】
前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、フレームバッフ
ァを含む、請求項1~15のうちいずれか一項に記載のプロセッサにより読取可能な媒体
。
【請求項17】
前記ユーザから反射された前記感知された音声信号を処理せよとの命令は、前記呼吸信
号を含む1つ以上のベースバンド動き信号を生成する復調器を含む、請求項1~16のう
ちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項18】
前記復調器は、複数のベースバンド動き信号を生成し、前記複数のベースバンド動き信
号は、直交ベースバンド動き信号を含む、請求項17に記載のプロセッサにより読取可能
な媒体。
【請求項19】
前記複数のベースバンド動き信号を処理せよとの命令をさらに含み、前記複数のベース
バンド動き信号を処理せよとの命令は、前記複数のベースバンド動き信号から組み合わさ
れたベースバンド動き信号を生成するために、中間周波数処理モジュールおよび最適化処
理モジュールを含み、前記組み合わされたベースバンド動き信号は前記呼吸信号を含む、
請求項18に記載のプロセッサにより読取可能な媒体。
【請求項20】
前記呼吸信号を検出せよとの命令は、前記組み合わされたベースバンド動き信号から呼
吸速度を決定することを含む、請求項19に記載のプロセッサにより読取可能な媒体。
【請求項21】
前記フレームの各時間スロットの持続期間は、音色ペア間の周波数差によって除算され
たものに等しい、請求項4に従属する場合に請求項1~20のうちいずれか一項に記載の
プロセッサにより読取可能な媒体。
【請求項22】
前記音声信号は、周波数が変化する反復波形を含む、請求項1~2のうちいずれか一項
に記載のプロセッサにより読取可能な媒体。
【請求項23】
前記反復波形は、位相連続型である、請求項22に記載のプロセッサにより読取可能な
媒体。
【請求項24】
前記周波数が変化する反復波形は、鋸歯、三角形および正弦波形のうち1つを含む、請
求項22に記載のプロセッサにより読取可能な媒体。
【請求項25】
前記反復波形の形態の1つ以上のパラメータを変化させよとの命令をさらに含む、請求
項22~24のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項26】
前記1つ以上のパラメータは、(a)前記反復波形の反復部分のピーク位置、(b)前
記反復波形の反復部分の傾斜部分の勾配、および(c)前記反復波形の反復部分の周波数
範囲、のうち任意の1つ以上を含む、請求項25に記載のプロセッサにより読取可能な媒
体。
【請求項27】
前記周波数が変化する反復波形は、対称な三角波形を含む、請求項23に記載のプロセ
ッサにより読取可能な媒体。
【請求項28】
前記音声信号の生成を制御せよとの命令は、ルーピング前記反復波形の波形を示す音声
データを含む、請求項22~27のうちいずれか一項に記載のプロセッサにより読取可能
な媒体。
【請求項29】
前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、前記マイクロフ
ォンからサンプリングされた音声データを保存することを含む、請求項1~28のうちい
ずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項30】
前記感知された音声信号の処理を制御せよとの命令は、前記生成された音声信号を前記
感知された音声信号と相関付けて同期をチェックすることを含む、請求項1~29のうち
いずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項31】
前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含むデータを生成する
ダウンコンバータを含む、請求項1~30のうちいずれか一項に記載のプロセッサにより
読取可能な媒体。
【請求項32】
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声
信号とを混合させる、請求項31に記載のプロセッサにより読取可能な媒体。
【請求項33】
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声
信号との混合の出力をフィルタリングする、請求項32に記載のプロセッサにより読取可
能な媒体。
【請求項34】
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声
信号との混合のフィルタリング出力をウィンドウ生成する、請求項32~33のうちいず
れか一項に記載のプロセッサにより読取可能な媒体。
【請求項35】
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声
信号との混合のウィンドウ生成されたフィルタリング出力の周波数ドメイン変換行列を生
成する、請求項32~34のうちいずれか一項に記載のプロセッサにより読取可能な媒体
。
【請求項36】
前記呼吸信号を検出せよとの命令は、前記ダウンコンバータによって生成されたデータ
マトリックスの複数のチャンネルから振幅および位相情報を抽出することを含む、請求項
31~35のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項37】
前記呼吸信号を検出せよとの命令は、前記データマトリックスから複数の特徴を計算す
ることをさらに含む、請求項36に記載のプロセッサにより読取可能な媒体。
【請求項38】
前記複数の特徴は、(a)フルバンドメトリックと2乗されたインバンド、(b)イン
バンドメトリック、(c)尖度メトリック、および(d)周波数ドメイン分析メトリック
、のうち任意の1つ以上を含む、請求項37に記載のプロセッサにより読取可能な媒体。
【請求項39】
前記呼吸信号を検出せよとの命令は、前記複数の特徴に基づいて呼吸速度を生成する、
請求項38に記載のプロセッサにより読取可能な媒体。
【請求項40】
前記プロセッサ実行可能命令は、
身体動きの音声に基づいた検出を前記電子処理デバイスの1つ以上の特性の評価により
較正せよとの命令と、
前記音声信号を前記評価に基づいて生成せよとの命令とをさらに含む、請求項1~39
のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項41】
前記音声に基づいた検出を計算せよとの命令は、少なくとも1つのハードウェア、環境
またはユーザ特有の特性を決定する、請求項40に記載のプロセッサにより読取可能な媒
体。
【請求項42】
前記プロセッサ実行可能命令は、
ペットセットアップモードを作動させよとの命令をさらに含み、前記音声信号を生成す
るための周波数は、ユーザ入力に基づいて選択され、1つ以上の試験音声信号が生成され
る、請求項1~41のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項43】
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の検出に基づいて前記音声信号の生成を停止せよ
との命令であって、前記検出されたユーザ対話は、加速度計による前記電子処理デバイス
の動きの検出、ボタン押圧の検出、画面接触の検出、電話着信の検出のうち任意の1つ以
上を含む、命令、をさらに含む、請求項1~42のうちいずれか一項に記載のプロセッサ
により読取可能な媒体。
【請求項44】
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の不在の検出に基づいて前記音声信号の生成を開
始せよとの命令をさらに含む、請求項1~43のうちいずれか一項に記載のプロセッサに
より読取可能な媒体。
【請求項45】
前記プロセッサ実行可能命令は、
前記ユーザから反射された、前記感知された音声信号の処理に基づいて全身の動きを検
出せよとの命令、をさらに含む、請求項1~44のうちいずれか一項に記載のプロセッサ
により読取可能な媒体。
【請求項46】
前記プロセッサ実行可能命令は、
前記マイクロフォンを介して感知された音声信号を処理して環境音声、会話音声および
呼吸音のうち任意の1つ以上を評価することでユーザ動きを検出せよとの命令、をさらに
含む、請求項1~45のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項47】
前記プロセッサ実行可能命令は、
(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段
階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階のうち任意
の1つ以上を決定するように呼吸信号を処理せよとの命令をさらに含む、請求項1~46
のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項48】
前記プロセッサ実行可能命令は、
前記電子処理デバイスの近隣の音声周波数の検出および前記検出された音声周波数と異
なる前記音声信号の周波数範囲の選択が行われるセットアップモードを動作させよとの命
令、をさらに含む、請求項1~47のうちいずれか一項に記載のプロセッサにより読取可
能な媒体。
【請求項49】
前記セットアップモードを作動させよとの命令は、前記検出された音声周波数と重複し
ていない周波数範囲を選択する、請求項48に記載のプロセッサにより読取可能な媒体。
【請求項50】
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体への
アクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体
の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロー
ドせよとの命令を受信するように構成される、サーバ。
【請求項51】
モバイル電子デバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセッサ
へ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請
求項1~49のうちいずれか一項に記載のプロセッサにより読取可能な媒体とを含む、モ
バイル電子デバイス。
【請求項52】
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体へア
クセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒
体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロ
ードせよとのリクエストを前記サーバにおいて受信することと、前記リクエストに応答し
て前記プロセッサ実行可能命令を前記電子処理デバイスへ送信することとを含む、方法。
【請求項53】
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体にプ
ロセッサからアクセスすることと、
前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を前記プロセッサ
において実行することと、を含む、方法。
【請求項54】
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
前記モバイル電子デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生
成を制御することと、
前記モバイル電子デバイスへ接続されたマイクロフォンを介して前記ユーザから反射さ
れた音声信号の感知を制御することと、
前記感知された反射された音声信号を処理することと、
前記処理された反射された音声信号から呼吸信号を検出することと、を含む、方法。
【請求項55】
モバイル電子デバイスを用いて動きおよび呼吸を検出する方法であって、
前記モバイル電子デバイス上のスピーカを介して音声信号をユーザへ送信することと、
反射された音声信号を前記モバイル電子デバイス上のマイクロフォンを介して感知する
ことであって、前記反射された音声信号は、前記ユーザから反射される、ことと、
前記反射された音声信号から呼吸および動き信号を検出することと、を含む、方法。
【請求項56】
前記音声信号は非可聴音声信号である、請求項55に記載の方法。
【請求項57】
送信の前に、FMCW変調スキーム、FHRG変調スキーム、AFHRG変調スキーム
、CW変調スキーム、UWB変調スキームまたはACW変調スキームのうち1つを用いて
前記音声信号を変調させる、請求項55に記載の方法。
【請求項58】
前記音声信号は、フレームとして送信される複数の周波数対を含む、変調された低周波
超音波音声信号である。請求項55~57のうちいずれか一項に記載の方法。
【請求項59】
前記反射された音声信号が感知された際、前記反射された音声信号を復調させることで
あって、
前記反射された音声信号へフィルタ動作を行うことと、
前記フィルタリングされた反射された音声信号および前記送信された音声信号のタイミ
ングを同期させることと、を含む、復調させることをさらに含む、請求項55に記載の方
法。
【請求項60】
前記音声信号を生成することは、
前記モバイル電子デバイスの1つ以上の特性を評価するための較正機能を行うことと、
前記較正機能に基づいて前記音声信号を生成することと、を含む、請求項55~59の
うちいずれか一項に記載の方法。
【請求項61】
前記較正機能は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定
するように構成される、請求項60に記載の方法。
【請求項62】
前記フィルタ動作はハイパスフィルタ動作である、請求項59に記載の方法。
【請求項63】
動きおよび呼吸を検出する方法であって、
ユーザへ方向付けられる音声信号を生成することと、
前記ユーザから反射された音声信号を感知することと、
前記感知された反射された音声信号から呼吸および動き信号を検出することと、を含む
、方法。
【請求項64】
前記生成すること、送信すること、感知することおよび検出することは、ベッドサイド
デバイスにおいて行われる、請求項63に記載の方法。
【請求項65】
前記ベッドサイドデバイスはCPAPデバイスである、請求項64に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
1 関連出願への相互参照
本出願は、米国仮特許出願第62/396,616号(出願日:2016年9月19日
)の利益を主張する。本明細書中、同文献全体を参考により援用する。
【0002】
2 技術の背景
2.1 技術の分野
本技術は、生体に関連する身体の動きの検出に関する。より詳細には、本技術は、生理
学的動き(例えば、呼吸の動き、心臓動きおよび/または他の周期性の低い生体の身体動
き)の音声感知の利用に関する。
【背景技術】
【0003】
2.2 関連技術の説明
例えば睡眠時において人の呼吸および身体(手足を含む)の動きを監視すると、多数の
様態において有用であり得る。例えば、このような監視は、睡眠疾患呼吸の状態(例えば
、睡眠無呼吸)の監視および/または診断において有用であり得る。従来、アクティブ無
線測位またはレンジング用途の導入の障壁として、特殊なハードウェア回路およびアンテ
ナが必要になる点がある。
【0004】
スマートフォンおよび他のポータブル電子通信デバイスは、陸上通信線の利用が不可能
な発展途上国においても、日常生活において普遍的なものになっている。身体の動き(す
なわち、生理学的動き)の監視を特殊な装置の必要無く効率的かつ有効な様態で行う方法
が、所望されている。このようなシステムおよび方法の実現は、相当な技術的課題を扱う
ことである。
【発明の概要】
【0005】
3 技術の簡単な説明
本技術は、例えば対象が睡眠中のときの対象の動きを検出するシステム、方法および装
置に関する。このような動き検出(例えば、例えば呼吸の動き、対象の動き)に基づいて
、睡眠関連特性、睡眠状態および/または無呼吸イベントが検出され得る。より詳細には
、モバイルデバイス(例えば、スマートフォン、タブレット)に関連するモバイルアプリ
ケーションにおいて、呼吸および動きの検出のためにモバイルデバイスセンサー(例えば
、一体型かつ/または外部から接続可能な、スピーカおよびマイクロフォン)が用いられ
る。
【0006】
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含み得る。この
媒体上には、プロセッサ実行可能命令が保存される。これらの命令がプロセッサによって
実行されると、プロセッサは、ユーザの生理学的動きを検出する。プロセッサ実行可能命
令は、電子処理デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を
制御せよとの命令を含み得る。プロセッサ実行可能命令は、ユーザから反射された音声信
号の感知を電子処理デバイスへ接続されたマイクロフォンを介して制御せよとの命令を含
み得る。プロセッサ実行可能命令は、感知された音声信号を処理せよとの命令を含み得る
。プロセッサ実行可能命令は、処理された音声信号から呼吸信号を検出せよとの命令を含
み得る。
【0007】
いくつかのバージョンにおいて、音声信号は、非可聴音レンジ内にあり得る。音声信号
は、パルスを形成する音色ペアを含み得る。音声信号は、フレームのシーケンスを含み得
る。シーケンスのフレームはそれぞれ、一連の音色ペアを含み得る。これら一連の音色ペ
アにおいて、各音色ペアは、フレーム内の各時間スロットと関連付けられる。音色ペアは
、第1の周波数および第2の周波数を含み得る。第1の周波数および第2の周波数は、異
なり得る。第1の周波数および第2の周波数は、相互に直交し得る。フレーム中の一連の
音色ペアは、第1の音色ペアおよび第2の音色ペアを含み得る。第1の音色ペアの周波数
は、第2の音色ペアの周波数と異なり得る。フレームの時間スロットの音色ペアは、時間
スロットの開始部および終了部においてゼロ振幅を有し得、開始部と終了部との間のピー
ク振幅に対しておよび開始部と終了部との間のピーク振幅からランピング振幅を有し得る
。
【0008】
いくつかのバージョンにおいて、フレームの時間幅は変動し得る。時間幅は、フレーム
のスロット幅であり得る。時間幅は、フレームの幅であり得る。スロットのフレームの音
色ペアのシーケンスは、フレームの異なるスロットに対して異なる周波数のパターンを形
成し得る。異なる周波数のパターンは、複数のフレームにおいて反復し得る。異なる周波
数のパターンは、スロットの複数のフレーム中のスロットの異なるフレームに合わせて変
化し得る。
【0009】
いくつかのバージョンにおいて、音声信号の生成を制御せよとの命令は、音色ペアフレ
ーム変調器を含み得る。ユーザから反射された音声信号の感知を制御せよとの命令は、フ
レームバッファを含み得る。ユーザから反射された感知された音声信号を処理せよとの命
令は、呼吸信号を含む1つ以上のベースバンド動き信号を生成する復調器を含み得る。復
調器は、複数のベースバンド動き信号を生成し得る。複数のベースバンド動き信号は、直
交ベースバンド動き信号を含み得る。
【0010】
いくつかのバージョンにおいて、プロセッサにより読取可能な媒体は、複数のベースバ
ンド動き信号の処理のためのプロセッサ実行可能命令を含み得る。複数のベースバンド動
き信号の処理のためのプロセッサ実行可能命令は、複数のベースバンド動き信号から組み
合わされたベースバンド動き信号を生成するために、中間周波数処理モジュールおよび最
適化処理モジュールを含み得る。組み合わされたベースバンド動き信号は、呼吸信号を含
み得る。いくつかのバージョンにおいて、呼吸信号を検出せよとの命令は、組み合わされ
たベースバンド動き信号から呼吸速度を決定することを含み得る。音声信号いくつかのバ
ージョンにおいて、フレームの各時間スロットの持続期間は、音色ペア間の周波数差によ
って除算されたものに等しい。
【0011】
本技術のいくつかのバージョンにおいて、音声信号は、周波数が変化する反復波形を含
み得る。反復波形は、位相連続であり得る。周波数が変化する反復波形は、鋸歯、三角形
および正弦波形のうち1つを含み得る。プロセッサにより読取可能な媒体は、反復波形の
形態の1つ以上のパラメータを変化させよとの命令を含む、プロセッサ実行可能命令をさ
らに含み得る。1つ以上のパラメータは、以下のうち任意の1つ以上を含み得る:(a)
反復波形の反復部分のピーク位置、(b)反復波形の反復部分の傾斜部分の勾配、および
(c)反復波形の反復部分の周波数範囲。いくつかのバージョンにおいて、反復波形の反
復部分は、反復部分の周波数を変化させる線形関数または曲線関数であり得る。いくつか
のバージョンにおいて、周波数が変化する反復波形は、対称な三角波形を含み得る。いく
つかのバージョンにおいて、音声信号の生成を制御せよとの命令は、反復波形の波形を示
す音声データをループさせよとの命令を含む。ユーザから反射された音声信号の感知を制
御せよとの命令は、マイクロフォンからサンプリングされた音声データを保存せよとの命
令を含み得る。感知された音声信号の処理を制御せよとの命令は、生成された音声信号と
、感知された音声信号とを同期確認のために相関付けよとの命令を含み得る。
【0012】
いくつかのバージョンにおいて、感知された音声信号を処理せよとの命令は、呼吸信号
を含むデータを生成するダウンコンバータを含み得る。ダウンコンバータは、生成された
音声信号を示す信号と、感知された音声信号とを混合し得る。ダウンコンバータは、生成
された音声信号を示す信号と、感知された音声信号との混合の出力をフィルタリングし得
る。ダウンコンバータは、生成された音声信号を示す信号と、感知された音声信号との混
合のフィルタリング出力をウィンドウ生成し得る。ダウンコンバータは、生成された音声
信号を示す信号と、感知された音声信号との混合のウィンドウ生成されたフィルタリング
出力の周波数ドメイン変換行列を生成し得る。呼吸信号を検出せよとのプロセッサ実行可
能命令は、ダウンコンバータによって生成されたデータマトリックスの複数のチャンネル
から振幅および位相情報を抽出し得る。呼吸信号を検出せよとのプロセッサ実行可能命令
は、データマトリックスから複数の特徴を計算せよとのプロセッサ実行可能命令をさらに
含み得る。複数の特徴は、任意の1つ以上を含み得る:(a)フルバンドメトリックと2
乗されたインバンド、(b)インバンドメトリック、(c)尖度メトリック、および(d
)周波数ドメイン分析メトリック。呼吸信号を検出せよとのプロセッサ実行可能命令は、
複数の特徴に基づいて呼吸速度を生成し得る。
【0013】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、身体動きの音声に基づい
た検出を電子処理デバイスの1つ以上の特性の評価により較正せよとの命令をさらに含み
得る。プロセッサ実行可能命令は、音声信号を評価に基づいて生成せよとの命令をさらに
含み得る。音声に基づいた検出を較正せよとの命令は、少なくとも1つのハードウェア、
環境またはユーザ特有の特性を決定し得る。プロセッサ実行可能命令は、ペットセットア
ップモードを作動させよとの命令をさらに含み得る。音声信号を生成するための周波数は
、1つ以上の試験音声信号を生成するためのユーザ入力に基づいて選択され得る。
【0014】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、電子処理デバイスとのユ
ーザ対話の検出に基づいて音声信号の生成を停止せよとの命令をさらに含み得る。検出さ
れたユーザ対話は、以下のうち任意の1つ以上を含み得る:加速度計による電子処理デバ
イスの動きの検出、ボタン押圧の検出、画面接触の検出、電話着信の検出。プロセッサ実
行可能命令は、電子処理デバイスとのユーザ対話の不在の検出に基づいて音声信号の生成
を開始せよとの命令をさらに含み得る。
【0015】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、ユーザから反射された、
感知された音声信号の処理に基づいて全身の動きを検出せよとの命令をさらに含み得る。
いくつかのバージョンにおいて、プロセッサ実行可能命令は、マイクロフォンを介して感
知された音声信号を処理して環境音声、会話音声および呼吸音のうち任意の1つ以上を評
価することでユーザ動きを検出せよとの命令をさらに含み得る。いくつかのバージョンに
おいて、プロセッサ実行可能命令は、以下のうち任意の1つ以上を決定するために呼吸信
号を処理せよとの命令をさらに含み得る:(a)睡眠を示す睡眠状態、(b)覚醒を示す
睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e
)REM睡眠を示す睡眠段階。
【0016】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、電子処理デバイスの近隣
の音声周波数の検出および検出された音声周波数と異なる音声信号の周波数範囲の選択が
行われるセットアップモードを作動させよとの命令をさらに含み得る。いくつかのバージ
ョンにおいて、セットアップモードを作動させよとの命令は、検出された音声周波数と重
複していない周波数範囲を選択し得る。
【0017】
本技術のいくつかのバージョンにおいて、サーバは、本明細書中に記載のプロセッサに
より読取可能な媒体のいずれかへアクセスし得る。サーバは、プロセッサにより読取可能
な媒体(単数または複数)のプロセッサ実行可能命令をネットワークを介して電子処理デ
バイスへダウンロードせよとのリクエストを受信するように、構成され得る。
【0018】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスまたは電子処理デバイ
スは、1つ以上のプロセッサと、1つ以上のプロセッサへ接続されたスピーカと、1つ以
上のプロセッサへ接続されたマイクロフォンと、本明細書中に記載のプロセッサにより読
取可能な媒体のいずれかのプロセッサにより読取可能な媒体とを含み得る。
【0019】
本技術のいくつかのバージョンにおいて、本明細書中に記載のプロセッサにより読取可
能な媒体のうちいずれかへのアクセスを有する方法が用いられる。本方法は、プロセッサ
により読取可能な媒体のプロセッサ実行可能命令をネットワークを介して電子処理デバイ
スへダウンロードせよとのリクエストをサーバにおいて受信することを含み得る。本方法
は、リクエストに応答してプロセッサ実行可能命令を電子処理デバイスへ送信することも
含み得る。
【0020】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスを用いて身体動きを検
出するためのプロセッサの方法が用いられる。本方法は、本明細書中に記載のプロセッサ
可読媒体のうちいずれかへ、プロセッサを用いてアクセスすることを含み得る。本方法は
、プロセッサ可読媒体(単数または複数)のプロセッサ実行可能命令のうちいずれかを、
プロセッサにおいて実行することを含み得る。
【0021】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスを用いて身体動きを検
出するためのプロセッサの方法が用いられる。本方法は、モバイル電子デバイスへ接続さ
れたスピーカを介してユーザの近隣の音声信号の生成を制御することを含み得る。本方法
は、ユーザから反射された音声信号をモバイル電子デバイスへ接続されたマイクロフォン
介して感知することを制御することを含み得る。本方法は、感知された反射された音声信
号を処理することを含み得る。本方法は、処理された反射された音声信号から呼吸信号を
検出することを含み得る。
【0022】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスを用いて動きおよび呼
吸を検出する方法が用いられる。本方法は、モバイル電子デバイス上のスピーカを介して
音声信号をユーザへ送信することを含み得る。本方法は、反射された音声信号をモバイル
電子デバイス上のマイクロフォンを介して感知することを含み得る。反射された音声信号
は、ユーザから反射される。本方法は、反射された音声信号から呼吸および動き信号を検
出することを含み得る。音声信号は、非可聴音声信号または可聴音声信号であり得る。い
くつかのバージョンにおいて、方法は、送信の前に、FMCW変調スキーム、FHRG変
調スキーム、AFHRG変調スキーム、CW変調スキーム、UWB変調スキームまたはA
CW変調スキームのうち1つを用いて音声信号を変調させることを含み得る。任意選択的
に、音声信号は、変調された低周波超音波音声信号であり得る。この信号は、フレームと
して送信される複数の周波数対を含み得る。いくつかのバージョンにおいて、反射された
音声信号が感知された際、方法は、反射された音声信号を復調させることを含み得る。こ
の復調は、反射された音声信号へフィルタ動作を行うことと、フィルタリングされた反射
された音声信号および送信された音声信号のタイミングを同期させることとを含み得る。
いくつかのバージョンにおいて、音声信号を生成することは、モバイル電子デバイスの1
つ以上の特性を評価するための較正機能を行うことと、較正機能に基づいて音声信号を生
成することとを含み得る。較正機能は、少なくとも1つのハードウェア、環境またはユー
ザ特有の特性を決定するように、構成され得る。フィルタ動作は、ハイパスフィルタ動作
を含み得る。
【0023】
本技術のいくつかのバージョンにおいて、動きおよび呼吸を検出する方法が用いられる
。本方法は、ユーザへ方向付けられる音声信号を生成することを含み得る。本方法は、ユ
ーザから反射された音声信号を感知することを含み得る。本方法は、感知された反射され
た音声信号から呼吸および動き信号を検出することを含み得る。いくつかのバージョンに
おいて、生成すること、送信すること、感知することおよび検出することは、ベッドサイ
ドデバイスにおいて行われ得る。任意選択的に、ベッドサイドデバイスは、治療デバイス
(例えば、CPAPデバイス)であり得る。
【0024】
本明細書中に記載される方法、システム、デバイスおよび装置により、プロセッサにお
ける機能(例えば、汎用または特定目的用コンピュータ、携帯用コンピュータ処理装置(
例えば、携帯電話、タブレットコンピュータなど)、呼吸モニターおよび/またはマイク
ロフォンおよびスピーカを利用するその他の呼吸装置のプロセッサの機能)の向上が可能
になり得る。さらに、記載の方法、システム、デバイスおよび装置により、呼吸状態およ
び睡眠状態(例えば、睡眠無呼吸)の自動管理、監視および/または予防および/または
評価の技術分野における向上が可能になる。
【0025】
もちろん、上記態様の一部は、本技術の下位態様を形成し得る。また、下位態様および
/または態様のうち多様な1つを多様に組み合わせることができ、本技術のさらなる態様
または下位態様も構成し得る。
【0026】
本技術の他の特徴は、以下の詳細な説明、要約、図面および特許請求の範囲中に含まれ
る情報に鑑みれば明らかになる。
【図面の簡単な説明】
【0027】
本技術を、添付図面中に非限定的に一実施例として例示する。図面中、類似の参照符号
は、以下の類似の要素を含む。
【0028】
【
図1】
図1は、本技術のプロセスの具現に適し得る、睡眠者からの音声情報を受信する例示的処理デバイスを示す。
【
図2】
図2は、本技術の一実施例によるシステムの模式図である。
【
図2A】
図2Aは、本技術の態様の実行のためのシステムの高レベル構造ブロック図である。
【
図3】
図3は、本技術のいくつかの形態に従って構成されたモバイル機器の概念図である。
【
図4】
図4は、例示的なFHRGソナーフレームを示す。
【
図5】
図5は、AFHRGトランシーバフレームの例を示す。
【
図6A】パルス駆動型AFHRGフレームの例を示す。
【
図6B】パルス駆動型AFHRGフレームの例を示す。
【
図6C】パルス駆動型AFHRGフレームの例を示す。
【
図7】
図7は、(A)FHRGアーキテクチャの概念図である。
【
図8】
図8は、等方性の無指向性アンテナ対指向性アンテナの例を示す。
【
図11】
図11は、ベースバンド呼吸信号の例を示すグラフである。
【
図12】
図12は、トレーニング音フレームとの初期同期の例を示す。
【
図13】
図13は、中間周波数を用いたAFHRGフレームの例を示す。
【
図15A】可聴バージョンのFMCW傾斜シーケンスの例の信号特性を示す。
【
図15B】可聴バージョンのFMCW傾斜シーケンスの例の信号特性を示す。
【
図15C】可聴バージョンのFMCW傾斜シーケンスの例の信号特性を示す。
【
図16A】FMCW正弦波プロファイルの例の信号特性を示す。
【
図16B】FMCW正弦波プロファイルの例の信号特性を示す。
【
図16C】FMCW正弦波プロファイルの例の信号特性を示す。
【
図17】
図17は、三角波形の形態の例示的な音声信号(例えば、非可聴音声)の信号特性を示す。
【
図19】
図19は、FMCW処理フローオペレータ/モジュール(「2D」(二次元)信号処理を含む)の例示的方法を示す。
【
図20】
図20は、
図19のFMCW処理フローの一部として、ダウンコンバージョンオペレータ/モジュールの例示的方法を示す。
【
図21】
図21は、
図19のFMCW処理フローの一部であり得る、2D分析オペレータ/モジュールの例示的方法を示す。
【
図22】
図22は、不在/存在オペレータ/モジュールにより不在/存在の検出を行う方法を示す。
【
図23A】
図23Aは、人がデバイス100の多様な感知範囲の内外に出入りするデータの「2D」セグメントにおける多様な検出範囲における経時的感知動作を示すグラフ上のいくつかの信号を示す。
【発明を実施するための形態】
【0029】
本技術についてさらに詳細に説明する前に、本技術は、本明細書中に記載される異なり
得る特定の実施例に限定されるのではないことが理解されるべきである。本開示中に用い
られる用語は、本明細書中に記載される特定の実施例を説明する目的のためのものであり
、限定的なものではないことも理解されるべきである。
【0030】
以下の記載は、共通の特性または特徴を共有し得る本技術の多様な形態に関連して提供
される。任意の一形態の1つ以上の特徴は、別の形態または他の形態の1つ以上の特徴と
組み合わせることが可能であることが理解されるべきである。加えて、これらの形態のう
ちのいずれかにおける任意の単一の特徴または特徴の組み合わせは、さらなる例示的形態
を構成し得る。
【0031】
5.1 スクリーニング、監視および診断
本技術は、例えば対象が睡眠中のときの対象の動き(例えば、呼吸の動きおよび/また
は心臓に関連する胸部動き)を検出するためのシステム、方法および装置に関する。この
ような呼吸および/または他の動きの検出に基づいて、対象の睡眠状態および無呼吸イベ
ントが検出され得る。より詳細には、モバイルデバイス(例えば、スマートフォン、タブ
レット)に関連するモバイルアプリケーションにおいて、このような動きを検出するため
にモバイルデバイスセンサー(例えば、スピーカおよびマイクロフォン)が用いられる。
【0032】
以下、本技術の実行に適した例示的システムについて、
図2に最良に示すような
図1~
図3を参照して説明する。モバイルデバイス100またはモバイル電子デバイスは、対象
110の動きを検出するためのアプリケーション200と共に構成され、対象110の近
隣のベッドサイドテーブル上に配置され得る。モバイルデバイス100は、例えば1つ以
上のプロセッサを有するスマートフォンまたはタブレットであり得る。プロセッサ(単数
または複数)は、特に、アプリケーション200の機能を実行するように構成され得る(
例えば、(例えばデバイスの近隣の室内の)概してオープンのまたは無制限の媒体として
の空気を通じて典型的に音声信号を生成および送信させ、送信された信号を例えばトラン
スデューサ(例えば、マイクロフォン)により感知することにより信号反射を受信し、感
知された信号を処理して、身体動きパラメータおよび呼吸パラメータを決定すること)。
モバイルデバイス100は、他の成分のうち、スピーカおよびマイクロフォンを含み得る
。スピーカは、反射された信号を受信するために、生成された音声信号およびマイクロフ
ォンを送信するために用いられ得る。任意選択的に、モバイルデバイスの音声ベースの感
知方法は、他の種類のデバイス(例えば、ベッドサイドデバイス(例えば、呼吸治療デバ
イス(例えば、持続的陽圧気道圧力(例えば、「CPAP」)デバイスまたは高流量治療
デバイス)))中においてまたはそのようなデバイスにより、実行され得る。このような
デバイスの例を挙げると、圧力デバイスまたは送風機(例えば、ボリュート中のモータお
よびインペラ)、圧力デバイスまたは送風機の1つ以上のセンサーおよび中央制御装置に
ついて、国際特許公開WO/2015/061848(出願番号PCT/AU2014/
050315)(出願日:2014年10月28日)および国際特許公開WO/2016
/145483(出願番号PCT/AU2016/050117)(出願日:2016年
3月14日)に記載のデバイスが検討され得る。本明細書中、同文献全体を参考のため援
用する。
【0033】
図2Aは、本技術の態様を実行するためのシステムの高レベル構造ブロック図である。
本システムは、例えばモバイルデバイス100中において実行され得る。信号生成成分2
10は、対象へ送信される音声信号を生成するように構成され得る。本明細書中に記載の
ように、信号は、可聴または非可聴であり得る。例えば、本明細書中により詳細に述べる
ように、音声信号は、いくつかのバージョンにおいて、低周波超音波範囲(例えば、約1
7キロヘルツ(KHz)~23KHzまたは約18KHz~22KHz)において生成さ
れ得る。本明細書中、このような周波数範囲は、非可聴音レンジとして概してみなされる
。生成された信号は、送信器212を介して送信され得る。本開示によれば、送信器21
2は、携帯電話スピーカであり得る。生成された信号が送信された後、音波(例えば、対
象から反射された音波)、受信器214によって感知され得る。受信器214は、携帯電
話マイクロフォンであり得る。
【0034】
216において示すように、信号回復およびアナログ/デジタル信号変換段階が行われ
得る。回復された信号を復調させると、例えば復調処理モジュールにおけるような218
に示すような呼吸パラメータを示す信号が取り出され得る。信号の音声成分は、例えば音
声処理モジュールにおけるもののように220に示すようにも処理され得る。このような
処理を挙げると、例えば、呼吸の動きまたは他の動きの音声を抽出するための受動的音声
分析がある(例えば、異なる種類の活動(例えば、ベッド内での寝返り)、PLM(周期
的な脚の動き)、RLS(むずむず脚症候群)など)、いびき、喘ぎ、および喘鳴)。音
声成分処理により、干渉源(例えば、会話、TV、他のメディア再生、および他の雰囲気
/環境音声/ノイズ源)の音声も抽出され得る。218における復調位相の出力は、22
2におけるインバンド処理(例えば、インバンド処理モジュールによりもの)および22
4におけるアウトオブバンド処理(例えば、アウトオブバンド処理モジュールによるもの
)双方に晒され得る。例えば、222におけるインバンド処理は、呼吸および心臓信号を
含む信号帯域の当該部分へ方向付けられ得る。224におけるアウトバンド処理は、他の
成分(例えば、全身の動きまたは微細な動き)(例えば、寝返り、蹴り、身振り、部屋周
囲の動き回り)を含む信号の部分へ方向付けられ得る。次に、222におけるインバンド
処理および224におけるアウトバンド処理の出力は、230における信号後処理(例え
ば、1つ以上の信号後処理モジュール(単数または複数)におけるようなもの)へ設けら
れ得る。230における信号後処理を挙げると、例えば、232における呼吸/心臓信号
処理(例えば、呼吸/心臓信号処理モジュールにおけるもの)、234における信号品質
処理(例えば、信号品質処理モジュールにおけるもの)、236における全身の動き処理
(例えば、身体動き処理モジュールにおけるもの)、および238における不在/存在処
理(例えば、不在/存在処理モジュールにおけるもの)がある。
【0035】
図2A中には図示していないが、230における信号後処理の出力は、第2の後処理段
階に晒され得る。第2の後処理段階によって行われるものとして、睡眠状態、睡眠採点、
疲労兆候、対象認識、慢性疾患監視および/または予測、睡眠疾患呼吸イベント検出およ
び他の出力パラメータ(例えば、生成された動き信号(単数または複数)の動き特性のい
ずれかの評価からのもの(例えば、呼吸関連の動き(またはそのような動きの不在)、心
臓関連の動き、覚醒関連の動き、周期的な脚の動き))。
図2Aの例において、241に
おける任意選択的な睡眠ステージング処理(例えば、睡眠ステージング処理モジュールに
おけるもの)が図示される。しかし、このような処理モジュール/ブロックのうち任意の
1つ以上が、任意選択的に追加され得る(例えば、睡眠採点またはステージング、疲労兆
候処理、対象認識処理、慢性疾患監視および/または予測処理、睡眠疾患呼吸イベント検
出処理、または他の出力処理)。場合によっては、230における信号後処理または第2
の後処理段階の機能は、以下の特許または特許出願のうちいずれかに記載の装置、システ
ムおよび方法の成分、デバイスおよび/または方法のいずれかを用いて行われ得る。本明
細書中、各文献の開示内容全体を参考のため援用する:国際特許出願第PCT/US20
07/070196(出願日:2007年6月1日、タイトル:「Apparatus,
System, and Method for Monitoring Physi
ological Signs」、国際特許出願第PCT/US2007/083155
(出願日:2007年10月31日、タイトル:「System and Method
for Monitoring Cardio-Respiratory Param
eters」、国際特許出願第PCT/US2009/058020(出願日:2009
年9月23日、タイトル:「Contactless and Minimal-Con
tact Monitoring of Quality of Life Param
eters for Assessment and Intervention」、国
際出願第PCT/US2010/023177(出願日:2010年2月4日、タイトル
:「Apparatus, System, and Method for Chro
nic Disease Monitoring」、国際特許出願第PCT/AU201
3/000564(出願日:2013年3月30日、タイトル:「Method and
Apparatus for Monitoring Cardio-Pulmona
ry Health」、国際特許出願第PCT/AU2015/050273(出願日:
2015年5月25日、タイトル:「Methods and Apparatus f
or Monitoring Chronic Disease」、国際特許出願第PC
T/AU2014/059311(出願日:2014年10月6日、タイトル:「Fat
igue Monitoring and Management System」、国
際特許出願第PCT/AU2013/060652(出願日:2013年9月19日、タ
イトル:「System and Method for Determining S
leep Stage」、国際特許出願第PCT/EP2016/058789(出願日
:2016年4月20日、タイトル:「Detection and Identifi
cation of a Human from Characteristic Si
gnals」、国際特許出願第PCT/EP2016/069496(出願日:2016
年4月17日、タイトル:「Screener for Sleep Disorder
ed Breathing」、国際特許出願第PCT/EP2016/069413(出
願日:2016年8月16日、タイトル:「Digital Range Gated
Radio Frequency Sensor」、国際特許出願第PCT/EP201
6/070169(出願日:2016年8月26日、タイトル:「Systems an
d Methods for Monitoring and Management
of Chronic Disease」、および米国特許出願第15/079,339
(出願日:2016年3月24日、タイトル:「Detection of Perio
dic Breathing」。このように、いくつかの例において、検出された動きの
処理(例えば、呼吸の動き)は、以下のうち任意の1つ以上を決定するための基準として
機能し得る:(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を
示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階
。この点について、本開示の音声関連感知技術は、動き感知のための異なるメカニズム/
プロセス(例えば、スピーカおよびマイクロフォンを用いたものおよび音声信号の処理)
を提供するものの、これらの援用された参考文献に記載のレーダーまたはRF感知技術と
比較すると、呼吸信号(例えば、本明細書中に記載の音声感知/処理方法を用いて得られ
る呼吸速度)の後、睡眠状態/段階情報の抽出のための処理呼吸または他の動き信号の原
理が、これらの援用された参考文献の決定方法によって実行され得る。
【0036】
5.1.1 モバイルデバイス100
モバイルデバイス100は、対象の呼吸および/または他の動き関連特性の監視の効率
的かつ有効な方法が得られるように、適合され得る。睡眠時において使用される場合、モ
バイルデバイス100およびその関連方法が、ユーザの呼吸の検出と、睡眠段階、睡眠状
態、状態、睡眠疾患呼吸および/または他の呼吸状態間の移行の特定とのために用いられ
得る。覚醒時に用いられる場合、モバイルデバイス100およびその関連方法は、例えば
対象の呼吸の動き(吸気、呼気、休止、および導出速度)および/または心弾動図波形お
よびその後の導出された心拍数の検出に用いられ得る。このようなパラメータは、ゲーム
(リラクゼーション目的のためにユーザの呼吸速度を低減させるようにユーザを導くため
の)ゲームの制御または例えば慢性疾患(例えば、COPD、喘息、鬱血性心不全(CH
F))の対象の呼吸状態の評価に用いられ得、悪化/代償不全イベント発生前の対象の基
準線呼吸パラメータ(単数または複数)が時間的に変化する。呼吸波形は、呼吸の一時的
停止(例えば、中枢性無呼吸または(閉塞型無呼吸時にみられる)気道遮断に対する胸部
の小さな動き)または呼吸低下(例えば呼吸低下に関連する浅い呼吸および/または呼吸
速度低下)を検出するようにも処理され得る。
【0037】
モバイルデバイス100は、一体型チップ、メモリおよび/または他の制御命令、デー
タまたは情報記憶媒体を含み得る。例えば、本明細書中に記載のアセスメント/信号処理
方法を包含するプログラムされた命令は、特定用途向け一体型チップ(ASIC)を形成
するデバイスまたは装置のメモリ中の一体型チップ上にコーディングされ得る。このよう
な命令は、追加的にまたは代替的に適切なデータ記憶媒体を用いてソフトウェアまたはフ
ァームウェアとしてロードしてもよい。任意選択的に、このような処理命令は、例えばネ
ットワークを介したサーバ(例えば、インターネット)からモバイルデバイスへダウンロ
ードされ得、これにより、これらの命令が実行されると、処理デバイスはスクリーニング
デバイスまたは監視デバイスとして機能する。
【0038】
よって、モバイルデバイス100は、
図3に示すような複数の成分を含み得る。モバイ
ルデバイス100を挙げると、他の成分に加えて、マイクロフォンまたは音声センサー3
02、プロセッサ304、ディスプレイインターフェース306、ユーザ制御/入力イン
ターフェース308、スピーカ310、およびメモリ/データ格納部312(例えば、本
明細書中に記載の処理方法/モジュールの処理命令を用いたもの)がある。
【0039】
モバイルデバイス100の成分の1つ以上は、モバイルデバイス100と一体化させて
もよいし、あるいは動作可能に接続させてもよい。例えば、マイクロフォンまたは音セン
サー302は、モバイルデバイス100と一体化させてもよいし、あるいは例えば有線リ
ンクまたは無線リンク(例えば、ブルートゥース、Wi-Fiなど)を通じてモバイルデ
バイス100と結合させてもよい。
【0040】
メモリ/データ格納部312は、プロセッサ304の制御のための複数のプロセッサ制
御命令を含み得る。例えば、メモリ/データ格納部312は、本明細書中に記載の処理方
法/モジュール処理命令によってアプリケーション200を行わせるためのプロセッサ制
御命令を含み得る。
【0041】
5.1.2 動きおよび呼吸の検出プロセス
本技術の例は、1つ以上のアルゴリズムまたはプロセスを用いるように構成され得る。
これらのアルゴリズムまたはプロセスは、モバイルデバイス100の使用時にユーザが睡
眠中であるときに動き、呼吸および任意選択的に睡眠特性を検出するためにアプリケーシ
ョン200によって具現化され得る。例えば、アプリケーション200は、いくつかのサ
ブプロセスまたはモジュールによって特徴付けられ得る。
図2に示すように、アプリケー
ション200は、音声信号生成および送信サブプロセス202、動きおよび生物物理学的
特性検出サブプロセス204、睡眠品質特徴付けサブプロセス206および結果出力サブ
プロセス208を含み得る。
【0042】
5.1.2.1 音声信号の生成および送信
いくつかの本技術の態様によれば、音声信号は、本明細書中に記載の1つ以上の音色を
用いて、ユーザへ生成および送信され得る。音色により、特定の周波数における媒体(例
えば、空気)の圧力変化が分かる。本記載の目的のため、生成された音色(または音声信
号または音声信号)は、(例えば、スピーカによって)可聴圧力が波生成され得るため、
「音声」、「音響」または「音声」と呼ばれ得る。しかし、本明細書中、このような圧力
改変例および音色(単数または複数)は、「音声」、「音響」または「音声」という用語
のうちいずれかによる特徴付けに関わらず、可聴または非可聴のものとして理解されるべ
きである。よって、生成された音声信号は可聴または非可聴であり得、人間母集団に対す
る可聴度の周波数閾値は、年齢によって変化する。典型的な「音声周波数」の標準レンジ
は、約20Hz~20、000Hz(20kHz)である。高周波数聴覚の閾値は、年齢
と共に低下する傾向があり、中年の人の場合、周波数が15~17kHzを超える音声は
聞こえないことが多く、10代の人の場合、18kHzが聞こえることがある。会話にお
ける最重要の周波数は、ほぼ250~6,000Hzである。典型的な消費者向けスマー
トフォンのスピーカおよびマイクロフォン信号応答は、多くの場合に19~20kHzを
超えたときにロールオフするように設計され、23kHz以上を超えたときにロールオフ
するように設計されるものもある(特に、48kHzを超えるサンプリングレート(例え
ば、96kHz)をサポートするデバイスの場合)。そのため、ほとんどの人間に対して
は、17/18~24kHzの範囲内の信号を用いつつ非可聴のままであることが可能で
ある。18kHzは聞こえるが19kHzは聞こえないより若年者に対しては、19kH
z~例えば21kHzの帯域が用いられ得る。いくつかの家庭用ペットの場合、より高い
周波数も聞こえることがある(例えば、犬の場合は60kHzまで、猫の場合は79kH
zまで)点に留意されたい。
【0043】
音声信号は、例えば、正弦波形、鋸歯状チャープ、三角形チャープなどを含み得る。背
景として、本明細書中において用いられる「チャープ」という用語は、短期の非定常性信
号であり、例えば鋸歯状または三角形の形状を有し得、プロファイルは線形または非線形
である。いくつかの種類の信号処理方法が、音声信号の生成および感知のために用いられ
得る(例えば、連続波(CW)ホモダイン、パルス駆動型CWホモダイン、周波数変調C
W(FMCW)、周波数ホッピングレンジゲーティング(FHRG)、適応FHRG(A
FHRG)、超広帯域(UWB)、直交周波数分割多重(OFDM)、適応CW、周波数
シフトキーイング(FSK)、位相シフトキーイング(PSK)、二相位相シフトキーイ
ング(BSPK)、直交位相シフトキーイング(QPSK)および一般化QPSK(直交
振幅変調(QAM)と呼ばれる))。
【0044】
いくつかの本技術の態様によれば、較正機能または較正モジュール、モバイルデバイス
の特性評価のために設けられ得る。ハードウェア、環境またはユーザセットアップに可聴
周波数が必要な旨が較正機能から提案された場合、感知領域内におけるあらゆる身体の動
き信号のアクティブ検出を可能にしつつ、ユーザが受容可能なスペクトラム拡散信号上に
符号化がオーバーレイされ得る。例えば、可聴音声(例えば、音楽、TV、ストリーミン
グ源または他の信号)(例えば、検出された呼吸信号と任意選択的に同期され得る心地良
い反復音声(例えば、睡眠支援に用いられ得る岸に打ち付けられる波))中に、可聴感知
信号または非可聴感知信号を「隠す」ことができる。これは、音声ステガノグラフィーに
類似する。音声ステガノグラフィーにおいては、知覚的に識別できなくする必要があるメ
ッセージは、(位相の要素を符号化データを表すように調節される位相符号化などの技術
により)音声信号中に隠蔽される。
【0045】
5.1.2.2 動きおよび生物物理学的信号の処理
5.1.2.2.1 技術的課題
環境関連ノイズ比に対して動き信号を良くするために、いくつかの室内音響問題を検討
する必要がある。そのような問題の挙げると、例えば、反射、ベッドクロス使用法、およ
び/または他の室内音響問題がある。加えて、特定の監視デバイス特性(例えば、モバイ
ルデバイスまたは他の監視デバイスの方向性)も考慮する必要がある。
【0046】
5.1.2.2.1.1 反射
反射壁を含む空間(例えば、部屋)内に音声エネルギーが閉じ込められたとき、反射が
発生し得る。典型的には、先ず音声が発生すると、聞き手には、発生源そのものからの音
声が直接聞こえる。その後、ユーザには、部屋の壁、天井および床から跳ね返ってきた音
声に起因する不連続のエコーが聞こえ得る。時間と共に、個々の反射は識別できなくなり
得、聞き手に聞こえてくるのは、経時的に弱まる連続的反射となる。
【0047】
対象周波数において、壁反射によるエネルギー吸収は極めて小さいことが多い。そのた
め、音声減衰は、空気ではなく壁に起因して発生する。典型的な減衰は、<1%であり得
る。典型的な室内において、音声周波数の音声減衰が60dBに到達するまでかかる時間
は約400msである。減衰は、周波数と共に増加する。例えば、18kHzにおいては
、典型的な室内反射時間は、250msまで低下する。
【0048】
反射に伴い、いくつかの副作用が発生する。例えば、反射に起因して室内モードになる
。反射エネルギー保存メカニズムに起因して、音響エネルギーの入力が室内に入ると、共
振モーダル周波数または好適なモーダル周波数(nλ=L)において定在波が発生する。
寸法がLx、LyおよびLzである理想的な三次元の部屋の場合、主モードは、以下によ
って得られる。
【数1】
【0049】
これらの定在波に起因して、特定の共振周波数の音量は、部屋の異なる位置において異
なり得る。その結果、信号レベルが変化し得、音声信号を受信する感知成分(例えば、音
声センサー)に関連してフェージングが発生し得る。これは、電波(例えば、RF)(例
えば、Wi-Fi)の多経路干渉/フェージングに類似する。しかし、部屋からの反射お
よび関連アーチファクト(例えば、フェージング)音声においてより深刻になる。
【0050】
室内モードの場合、ソナーシステムの設計問題が発生し得る。このような問題を挙げる
と、例えば、フェージング、1/fノイズおよび全身の動き信号がある。全身の動きは通
常は、大きな生理学的動き(例えば、ベッドにおける寝返り(またはユーザのベッドの出
入り)を指し、それぞれイベント前後の不在に関連付けられる。1つの実現において、動
きは、バイナリーベクトル(動き有りまたは動き無し)としてみなされ得、関連付けられ
た活動指数は、動きの持続期間および強度を指す(例えば、PLM、RLSまたは歯ぎし
りは、(手足(単数または複数)または顎の軋りに関連するものであるため)全身の動き
ではない動き活動の例であり、ベッド内の位置が変化した際の全身の動きではない)。音
声センサー302(例えば、マイクロフォン)によって受信された信号において、信号強
度のフェージングおよび/またはユーザからの反射信号のフェージングが発生し得る。こ
のフェージングの原因としては、反射に起因する定在波があり得、このフェージングの結
果、信号振幅が変化する問題に繋がり得る。呼吸周波数における1/fノイズ(信号の周
波数に反比例する出力スペクトル密度を有する信号)は、室内モードを妨害する室内気流
に起因して発生し得、その結果、ノイズフロア増加が発生し、よって呼吸周波数において
信号/ノイズ低減が発生する。室内の任意の動きからの全身の動き信号は、室内モードエ
ネルギーの妨害に起因し、感知された/受信された信号強度および位相変化に繋がり得る
。しかし、これは問題であり、室内モードを意図的に設定することにより、有用な全身の
(大きな)動きおよびより微細の活動検出を行うことができ、室内の1つの主要な動き源
の場合に(例えば、寝室内に1人だけ居る場合に)実際の呼吸分析が行われることが分か
る。
【0051】
本明細書中、「ソナー」という用語は、レンジングおよび動き検出についての音声信号
、音響、音波、超音波および低周波超音波を含むものとして用いられる。このような信号
は、DC~50kHz以上であり得る。処理技術(例えば、FMCW生理学的信号抽出)
のうちいくつかは、実際の短距離(例えば、例えばリビング空間または寝室の場合にほぼ
3メートルまで)RF(電磁)レーダーセンサー(例えば、5.8GHz、10.5GH
z、24GHzにおいて動作するもの)にも適用することができる。
【0052】
5.1.2.2.1.2 ベッドクロス
ベッドクロス(例えば、掛け布団、コンフォータ、毛布)が使用された際、室内の音声
が大きく減衰し得る。いくつかの態様において、音声信号が睡眠中の人から移動して睡眠
中の人から戻ってくる際、掛け布団に起因して音声信号が減衰し得る。掛け布団表面から
も、音声信号が反射される。掛け布団表面において呼吸がみられる場合、掛け布団の反射
信号を監視呼吸に用いることができる。
【0053】
5.1.2.2.1.3 電話特性
スピーカおよびマイクロフォンをスマートフォン上に配置することは、ソナー状用途に
おける音声感知において必ずしも最適ではない。マイクロフォンに対する典型的なスマー
トフォンスピーカは、方向性が低い。一般的に、スマートフォン音声は、人の会話のため
に設計されており、ソナー状音声感知用途に合わせて具体的に設計されていない。さらに
、スピーカおよびマイクロフォンの配置は、スマートフォンモデルによって異なる。例え
ば、いくつかのスマートフォンは、電話の後部に設けられたスピーカと、電話の側部に設
けられたマイクロフォンとを有する。その結果、マイクロフォンは、反射から再度方向付
けられた後でしか、スピーカ信号を容易に「見る」ことができない。さらに、スピーカお
よびマイクロフォン双方の方向性は、周波数と共に増加する。
【0054】
室内モードは、スマートフォンマイクロフォンおよびスピーカの無指向性を向上させ得
る。反射および関連付けられた室内モードにより、特定の周波数において部屋全体におい
て、定在波ノードが発生する。動きは室内モードノード全てを妨害するため、室内の全て
の動きは、これらのノードにおいてみられ得る。スマートフォンマイクロフォンは、ノー
ドまたはアンチノードにおいて設けられた場合、音声経路は(マイクロフォンおよびスピ
ーカが指向性である場合でも)無指向性であるため、無指向性特性が必要になる。
【0055】
5.1.2.2.2 技術的課題の解消
本開示の態様によれば、特定の変調および復調技術は、特定された技術的課題および他
の技術的課題による影響を低減または排除するために適用され得る。
【0056】
5.1.2.2.2.1 周波数ホッピングレンジゲーティング(FHRG)および適応
周波数ホッピングレンジゲーティング(AFHRG)
周波数ホッピングレンジゲーテッド信号は変調復調技術であり、特定の周波数範囲を占
有する個別の音色/周波数のシーケンスを利用する。音色シーケンス中の各音色、音色ペ
アまたは複数の音色パルスは、範囲要求によって規定された特定の持続期間にわたって送
信される。このような音色パルスまたは音色ペアの特定の持続期間が変化すると、検出範
囲も変化する。音色ペアまたは音色のシーケンスにより、音色フレームまたはスロットの
フレームが発生する。各スロットは、音色スロットとしてみなされ得る。そのため、フレ
ームは複数のスロットを含み得、各スロットは、音色または音色ペアを含み得る。典型的
には、可聴度の向上を促進させるためには、各音色ペアは、フレームのスロットの持続期
間に等しい持続期間を有し得る。しかし、これは不要である。場合によっては、フレーム
のスロットは、均一または不均一な幅(持続期間)を有し得る。そのため、フレームの音
色ペアは、フレーム内において均一または不均一な持続期間を有し得る。音声変調は、レ
ンジゲーティングを達成することができるように感知された/受信された音色をより良好
に分離できるよう、音色間および次にフレーム間に保護帯域(静穏期)を含み得る。FH
RGは、利用可能な音声周波数において用いられ得る。FHRGは、周波数ホッピングを
周波数ディザリングおよび/またはタイミングディザリングと共に適用し得る。タイミン
グディザリングが意味することは、例えば室内モードの蓄積の危険性の低減と、環境にお
ける他のソナー感知間の干渉の危険性の低減とのために、フレームおよび/または内部ス
ロットタイミングが異なり得ること(例えば、スロットの期間が変化するかまたはフレー
ムの開始時間または時系列におけるスロットの開始時間は変動し得ること)である。例え
ば、4つのスロットのフレームの場合、フレーム幅は一定であるものの、時間ディザリン
グにより、その他のスロット幅が不変のまま、少なくとも1つのより小さなスロット幅(
例えば、より短い持続期間の音色ペア)および少なくとも1つのより大きなスロット幅(
例えば、より長い持続期間の音色ペア)がフレーム内において可能になり得る。その結果
、フレームの各スロットによって検出された特定の範囲における若干の変化が可能になり
得る。周波数ディザリングにより、複数の「センサー」(例えば、室内の2つ以上の感知
システム)が近隣において共存することが可能になり得る。例えば、周波数ディザリング
を用いることにより、スロット(音色または音色ペア)の周波数は動いているため、通常
の動作における「センサー」間に干渉が発生する可能性は統計的に有意になる。時間およ
び周波数ディザリング双方により、部屋/環境内の非ソナー源からの干渉の危険性が低下
し得る。同期復調においては、例えば特殊なトレーニングシーケンス/パルスを用いた後
にパターン検出/マッチするフィルタを用いてフレームをアラインさせ、実際のオフセッ
トを回復させることにより、シーケンス間のアライメントの正確な理解が必要になる。
【0057】
図4は、例示的なFHRGソナーフレームを示す。図示のように、8個の個々の(レー
ダーシステムに類似する)パルス駆動型ソナー信号が、各フレームに入れられて送信され
得る。各パルスは、2つの直交パルス周波数を含み得、各パルスの長さは16msであり
得る。その結果、16個の別個の周波数が、各128msトランシーバフレームに入れら
れて送信され得る。次に、ブロック(フレーム)が反復される。限られた帯域幅における
周波数の使用の最適化と、信号/ノイズの向上とのために、OFDMの直交周波数が用い
られ得る。直交Dirac Comb周波数は、フレームタイミングディザリングおよび
音色周波数ディザリングにも追随して、ノイズ低減をアシストする。この音色ペアにより
、その結果得られたパルスの形状が得られ、この成形により可聴度が支援される。
【0058】
適応周波数ホッピングレンジゲーティング(AFHRG)システムにより、規定された
長さ(例えば、16または8ms)の音色を用いて音色周波数シーケンスの周波数変化が
経時的に保持された後、(全体的に4つの音色のために)別の音色へ切り換えられる。よ
って、音色のブロックが生成され、ブロック(フレーム)が31.25Hzにおいて反復
される。AFHRGシステムの場合、音色パターンは、各フレーム上においてシフトする
。これらのパターンは、常にシフトし得る。そのため、フレームは、一連のフレームの他
のフレームの周波数のパターンと異なる周波数のパターンを有し得る。よって、異なる周
波数のパターンが変化し得る。フレームは、フレーム内(例えば、スロット内)において
異なる周波数または異なるスロットに対して違いも有し得る。加えて、各フレームは、フ
ェージング軽減のため、固定帯域内のその周波数の調節により適応し得る。
図5は、AF
HRGシステムのための単一の32msトランシーバフレームの例を示す。
図5に示すよ
うに、4つの個々のホモダインパルス駆動型ソナー信号が、各フレームに入れられて送信
され得る。各信号の飛行時間は8msである。8msの飛行時間において、双方の方向を
含む範囲は2.7メートルであるため、有効な実際のフレームは1.35mであり、パル
ス反復周波数は31.25Hzである。さらに、各パルスは、
図5に示すように2つのパ
ルス周波数(例えば、本質的に同時の音色)を含み得るため、8個の別個のパルス駆動型
ホモダイン信号が単一の32msトランシーバフレーム中に入れられる。
【0059】
AFHRGは、利用可能な帯域幅を最適化させるようにDirac Comb周波数お
よび直交パルス対を用いるように、構成され得る。各「対」は、フレーム内のスロット内
に入れられ得る。そのため、複数のフレームは、反復パターンまたは非反復パターン中に
多数の「対」を含み得る。別個の周波数対が各時間スロットに対して用いられ得、線形ま
たはCostasコード周波数ホッピングを用い得る。時間スロットは、所望の範囲検出
に基づいて決定され得る。例えば、
図5に示すように、検出範囲が1.3mである場合、
t
ts=8msである。周波数対は、
【数2】
と共に、
【数3】
として生成され得る。周波数対の方程式の要求が維持された後、各フレームは、固定帯域
内のその周波数を調節することにより、フェージングを軽減するように適応し得る。その
ため、この適応は、検出範囲内に存在する任意の対象(単数または複数)からの利用可能
なSNR(信号/ノイズ比)を最大化させるように機能する。
【0060】
各周波数対は、所望の帯域幅(例えば、1kHz帯域幅(18kHz~19kHz))
を最適化させること、周波数間の隔離が最大化されること、パルス間の隔離が最大化され
ることおよび/または中間パルス過渡状態を最小化させることが可能になるように、選択
され得る。これらの最適化は、n個の周波数に対して達成かされ得、各周波数は周波数分
離dfおよびスロット幅ttsを含むため、以下のようになる:
【数4】
及び
【数5】
【0061】
時間スロット持続期間が8msであり、帯域幅が1kHz(例えば、f
n=18、12
5Hzおよびf
n-1=18、000Hz)である場合、周波数分離dfは、以下のよう
になる:
【数6】
及び
【数7】
【0062】
以下の三角関数公式により、ゼロ交差が達成される:
【数8】
。これにより、各時間スロットは、正弦波パルス振幅を
【数9】
の周波数と共に含む。よって、フレームのスロットまたは各スロットの持続期間は、音色
ペアの周波数間の差によって除算した値に等しくなり得る。よって、フレームにおいて、
時間スロット持続期間は、時間スロットの音色ペアの音色の周波数の周波数差に反比例し
得る。
【0063】
図6A、
図6Bおよび
図6Cは、例示的なAFHRGシステムの場合の5x32msパ
ルス駆動型フレームの例を示す。
図6A中のグラフ602は、時間のx軸および振幅のy
軸上の5x32msのパルスフレームを示す。グラフ602は、5個の32msフレーム
の時間ドメインを示し、これらのフレームのうち、各フレームは、全体的に5x4=20
音色ペアに対して4個のスロットを含む。音色ペアは、スロット606-S1、606-
S2、606-S3、606-S4それぞれの中に設けられる。このエンベロープは変化
し、より高周波数において感度が若干低くなり得る「実世界」のスピーカおよびmicの
組み合わせを例示する。
図6Aに示すフレームを形成するスロットは、
図6Bのグラフ6
04中により詳細に検討され得る。グラフ604は、
図6Aからの単一の32msフレー
ムの周波数ドメインを示す。これは、4つのスロット606-S1、606-S2、60
6-S3および606-S4を示し、各スロットは、2つの音色608T1および608
T2(音色ペア)を含む。グラフ604は、周波数のx軸を有し、任意のy軸を有する。
一実施例において、フレームの音色ペアの音色は、18000Hz~18875Hzの範
囲において、それぞれ異なる音声音色(例えば、異なる周波数)である。他の周波数範囲
(例えば、非可聴音声のもの)が、本明細書中により詳細に議論されるように実行され得
る。フレームの音色ペアの各音色ペアは、順次(連続して)フレーム内に生成される。音
色ペアの音色は、フレームの共通スロット内において実質的に同時に生成される。
図6A
および
図6Bのスロットの音色ペアについて、
図6C中のグラフ610を含む参照して検
討する。グラフ610は、フレーム中の単一の音色ペア(例えば、音色608T1、60
8T2)の時間ドメイン図であり、フレームのスロット中のその同時的な生成を示す。グ
ラフ610は、時間のx軸と、振幅のy軸とを有する。本例において、音色の振幅は、時
間スロットの期間内において上方および下方に傾斜する。610のグラフの例において、
音色振幅傾斜部分は、ゼロ振幅においてスロット開始時間と共に開始し、ゼロ振幅におい
てスロットと共に下方傾斜する。このように、スロットの開始部および終了部において同
時的にゼロ振幅音色を有する到着させることにより、終了スロット振幅特性および開始ス
ロット振幅特性が同じである隣接スロット(単数または複数)の音色ペア間の可聴度の向
上が可能になる。
【0064】
以下、音声信号の処理のためのFHRGまたはAFHRG(本明細書中、どちらも「(
A)FHRG」と呼ぶ)アーキテクチャの態様について、
図7に示す処理モジュールの方
法を参照しながら説明する。
図7に示すように、反射された信号は、ハイパスフィルタ7
02のモジュールを介して感知およびフィルタリングされ得、Rxフレームバッファ70
4へ入力され得る。バッファされたRxフレームは、IQ(同相および直交)復調器70
6中において処理され得る。本開示のいくつかの態様によれば、n個(ここで、nは、例
えば4、8または16である)の周波数が、I成分およびQ成分としてベースバンドへ復
調され得、ベースバンドは、音声反射(例えば、送信された/生成されたおよび受信され
た/感知された音声信号または音色ペア)によって検出された感知距離における変化に対
応する動き情報(例えば、呼吸/身体動き)を示す。中間周波数(IF)段階708は処
理モジュールであり、複数の信号からの単一のIおよびQ成分を出力し、710において
モジュール「IQ最適化」中の最適化を経て、単一の組み合わされた出力を生成する。
【0065】
710における多IQ入力情報は、アルゴリズム入力段階のための単一のIQベースバ
ンド信号出力に合わせて最適化および短縮される。単一のIQ出力(実質的にはI成分お
よびQ成分からの組み合わされた信号)は、最高の信号品質のもの(例えば、最も明白な
呼吸速度に基づいたもの)に基づいた選択された候補IQ対に基づいて導出され得る。例
えば、呼吸速度は、国際出願WO2015006364に記載のベースバンド信号(候補
信号または組み合わされた信号)から検出され得る。本明細書中、同文献全体を参考のた
め援用する。単一のIQ出力は、入力信号の平均であってもよいし、あるいは実際は導出
された呼吸速度の平均または中央値であってもよい。そのため、710においてこのよう
なモジュールは、合計および/または平均化プロセスを含み得る。
【0066】
AFHRGアーキテクチャにより、IF段階の任意選択的な付加が可能になる。以下の
2つの可能なIF段階方法が存在する:すなわち、(i)初期の例えば4ms(0.5m
範囲)を後期の例えば4ms(0.5m範囲)信号と比較すること、および(ii)第1
の音色の位相と、音色ペア中の第2の音色の位相とを比較すること。この段階においては
、飛行時間(ToF)時間内の感知された音声信号のレベルまたは位相の変化が比較され
るため、この段階は、共通モード信号アーチファクト(例えば、動きおよび1/fノイズ
の問題)を除去する機能を果たし得る。位相フォールドオーバー回復モジュール712は
、710において最適化段階のIおよびQ成分出力を受信し、処理後、IQベースバンド
出力を出力する。復調された信号中のフォールドオーバーが有る場合、呼吸「インバンド
」検出が有意に複雑になるため、このようなフォールドオーバーを最小化することが望ま
しい場合がある。フォールドオーバーの最小化を、I/Q組み合わせ技術(例えば、逆正
接復調)を用いて、リアルタイムセンタートラッキング推測を用いてまたはより標準的な
次元縮退方法(例えば、主成分分析)によって行うことができる。フォールドオーバーは
、胸部の動きがほぼ~9mmの半分の波長におよぶ場合に発生する(例えば、20℃の温
度における18kHzのCW周波数において、音声速度はおよそ343m/sであり、波
長は19mmである)。フォールドオーバーを自動修正する(例えば、この挙動の発生の
重大度または確率を低減させる)ために、動的中心周波数戦略が用いられ得る。この場合
、周波数が倍増した場合または著しく鋸歯状の呼吸パターン(形態)が検出された場合、
システムは、中心周波数を新規周波数へ移動させて、I/Qチャンネルを押し出して均衡
のとれた状態に戻して、フォールドオーバー状況から退出させることができる。人が移動
する度に、再処理が必要になることが多い。音声周波数の変化は、(マスキング音色が使
用されない限り)可聴にならないように設計される。動きがラムダ/4にある場合、1つ
のチャンネル上にあるものとしてみなし得る。動きがラムダ/2を超える場合、双方のチ
ャンネル上にあるものとしてみなす可能性が極めて高い。
【0067】
FHRG実行において、714におけるフレーム/音色ペアフレーム変調器は、プロセ
ッサによって(例えばフレームを用いた暗黙の多周波動作を伴って)制御される。AFH
RGまたはAToFなどの適応実行において、システムは、FHRG実行中に存在しない
フェージング検出および明示的な周波数シフト動作のためのモジュールをさらに含む。フ
ェージング検出器718のモジュールによって提供されるフィードバックメカニズムは、
システムのパラメータ(例えば、周波数シフト、変調種類、フレームパラメータ(例えば
、音色数、時間および周波数の間隔))を調節して、異なるチャンネル状態における動き
(例えば、呼吸)を最適に検出することができる。フェージングは、感知された音声信号
における(エンベロープ検出を介して抽出された)振幅変調の変化からおよび/または特
定の音色ペアの変化を介して直接検出することができる。フェージング検出器は、その後
のベースバンド信号処理からの二次情報も受信し得るが、その場合、いくつかの処理遅延
の原因になり得る。その場合、これを用いて、実際の抽出された呼吸信号品質/形態を現
在のチャンネル状態と関係付けて、有用な信号を最大化できるようにより適合することが
可能になる。フェージング検出器は、I/Q対の処理も行い得る(ベースバンド前の呼吸
/心拍数分析)。非フェードTx(送信)波形(単数または複数)の構成を用いることに
より、スピーカの有限の出射信号出力も最適化/最良に用いて、音声センサー/受信器R
xによって受信された有用な情報(受信)を最大化させ、ベースバンドへ復調/処理され
ることが可能になる。いくつかの場合、システムが(例えば、(所望の復調された呼吸速
度帯中の「ノイズ」/アーチファクトの原因になり得る)呼吸速度に類似する時間的尺度
上におけるフェージングの多経路変化を回避するために)より長期間にわたってより安定
していることが判明した場合、システムは、(短期SNRについて)若干最適以下のTx
のための周波数セットを選択し得る。
【0068】
もちろん、1つ以上の個々の音色が音色ペアの代わりに用いられた場合、適応CW(A
CW)システムの実現のために、類似のアーキテクチャが用いられ得る。
【0069】
5.1.2.2.2.2 FHRG変調モジュールおよび復調モジュールの詳細
5.1.2.2.2.2.1 FHRGソナー方程式
スマートフォンスピーカによって生成された送信音声圧力信号は、標的によって反射さ
れ、スマートフォンマイクロフォンに戻ってきて、スマートフォンマイクロフォンにおい
て感知される。
図8は、等方性の無指向性アンテナ802対指向性アンテナ804の例を
示す。無指向性源の場合、音声圧力(P(x))レベルは、以下のように、距離xと共に
低下する:
【数10】
【0070】
スマートフォンスピーカは18kHzにおいて指向性であるため:
【数11】
γはスピーカゲインであり、0~2の間(典型的にはly>1)の値を有する。
【0071】
標的(例えば、ベッド中のユーザ)は、特定の断面および反射係数を有する。標的から
の反射も指向性である。
【数12】
αは、反射器減衰であり、0~1(典型的には<0.1)の値を有する。
βは、反射器ゲインであり、0~2(典型的には<1)の値を有する。
σは、ソナー断面である。
【0072】
その結果、音声圧力P
0の送信された信号は、距離dにおいて反射されると、以下の減
衰レベルと共にスマートフォンへ戻る:
【数13】
【0073】
次に、スマートフォンマイクロフォンは、反射された音声圧力信号の一部に出会う。パ
ーセンテージは、マイクロフォン有効面積A
eに依存する。
【数14】
【0074】
このように、送信音声圧力信号のうちごく一部が標的から反射され、スマートフォンマ
イクロフォンへ戻って感知される。
【0075】
5.1.2.2.2.2.2 FHRG動き信号(単数または複数)
トランシーバからの距離dにおいてFHRGシステムの範囲内にいる人は、アクティブ
ソナー送信信号を反射し、受信信号を生成する。
【0076】
任意の周波数f
nmについてモデム信号に起因してスマートフォンによって生成された
音声(圧力波)は、以下のようになる:
【数15】
【0077】
任意の個々の周波数について信号が距離dにおいて標的に到着すると、以下のようにな
る:
【数16】
【0078】
反射された信号が任意の個々の周波数についてスマートフォンマイクロフォンに再度到
着すると、以下のようになる:
【数17】
【0079】
標的距離がd周囲において正弦波変化と共に移動すると、以下のようになる。
【数18】
ここで:
呼吸周波数:w
b=2πf
b
呼吸振幅:A
b
呼吸フェーズ:θ
ノミナル標的距離:d
0
【0080】
最大呼吸変位A
bは標的距離dよりも小さいため、信号振幅受信に対する影響は無視し
てよい。その結果、スマートフォンマイクロフォン呼吸信号は以下のようになる:
【数19】
【0081】
理想的な呼吸動き信号は、異なる周波数および変位に関係無く心臓動き信号に類似し得
るため、正弦関数の正弦関数としてみなされ得、同じ変位ピークツーピーク振幅に対して
最大および最小感度の領域を有する。
【0082】
この信号を正しく回復させるためには、感度nullが軽減されるように、直交位相受
信器などを用いることが有用である。
【0083】
次に、Iベースバンド信号およびQベースバンド信号をフェーザI+jQとして用いて
、以下を行うことができる:
1.呼吸信号のRMSおよび位相を回復させること。
2.動きの方向(フェーザ方向)を回復させること。
3.フェーザの方向変化を検出することにより、フォールドオーバー情報を回復させる
こと。
【0084】
5.1.2.2.2.2.3 FHRG復調器ミキサー(
図7中の705および706に
おけるモジュール)
FHRGソフトモデム(音声感知(ソナー)検出-ソフトウエアベースの変調器/復調
器のためのフロントエンド)は、変調された音声信号をスピーカを通じて送信し、標的か
らのエコー反射信号をマイクロフォンを通じて感知する。ソフトモデムアーキテクチャの
例を
図7に示す。感知された反射を受信信号として処理するソフトモデム受信器は、以下
のような多様なタスクを行うように設計される:
・受信された信号を音声周波数においてハイパスフィルタすること。
・変調された音声をフレームタイミングと同期させること。
・直交位相同期復調器を用いて、信号をベースバンドへ復調させること。
・(中間周波数)成分を復調させること(存在する場合)。
・得られた同相および直交ベースバンド信号をローパスフィルタ(例えば、Sincフ
ィルタ)すること。
・多様なI、Q信号からのIおよびQベースバンド信号を異なる周波数において再生さ
せること。
【0085】
ソフトモデム復調器(例えば、
図7中の705および706におけるモジュール)は、
局部発振器(706においてモジュール中の「ASin(ω
1t)」として図示される)
と受信信号の周波数と同期する周波数と共に用いて、位相情報を回復させる。705にお
けるモジュール(フレーム復調器)は、各対のその後のIQ復調のための各音色ペアを選
択し、分離させる(すなわち、音色ペアのIQ復調のための各(ωt)を規定する)。以
下、同相(I)信号回復について説明する。直交成分(Q)は同じであるが、90度の位
相変化と共に局部発振器(706においてモジュール中に「ACos(ω
1t)」として
示す)を用いる。
【0086】
等価デジタル信号および入力ハイパスフィルタ(例えば、フィルタ702)として正確
に再生されたマイクロフォンにおいて感知された圧力信号が理想的である場合、スマート
フォンソフトモデム復調器によって受信された音声信号は、以下のようになる:
【数20】
ここで:
振幅Aは、ソナーパラメータによって決定される:
【数21】
距離dは、標的動きによって変調される:
【数22】
静的クラッタ反射/干渉信号は、以下のように表される:
【数23】
【0087】
任意の受信信号に対する同相復調器出力信号は、正しく同期されると、以下のようにな
る:
【数24】
【0088】
この復調動作は、三角関数公式に追随する:
【数25】
【0089】
局部発振器および受信信号が同じ角度周波数w
1を有する場合、以下のようになる:
【数26】
【0090】
ローパスフィルタ(
図7中にLPFとして図示される)後に2w
1tが除去されると、
以下のようになる:
【数27】
【0091】
このようにして、任意の受信信号についてローパスフィルタリングされた同期位相復調
器出力信号は、正しく同期されると、以下のようになる:
【数28】
【0092】
5.1.2.2.2.2.4 FHRG復調器のSincフィルタ
スマートフォンソフトモデム復調器は、オーバーサンプリングおよび平均化Sincフ
ィルタを706において復調器モジュールの「LPF」として用いて、不要な成分を除去
し、復調された信号をベースバンドサンプリングレートへデシメートする。
【0093】
受信されたフレームは、同じバースト音中に入れられて送信される音色ペア双方(例え
ば、2つ以上の音色対が同時に再生される)を含み、ホップ音も含む。これらのホップ音
は、その後のバースト音時に送信される。帰還信号を復調する際、例えば以下のようなf
ij不要な復調信号を除去する必要がある。これらは以下を含む:
・周波数において間隔を空けて設けられたベースバンド信号:|fij-fnm|
・|2fnm-fs|および|fnm-fs|双方における、サンプリングプロセスに起
因するエイリアス成分。
・右記における復調された音声周波数成分:2fnm
・fnmにおける音声キャリアは、非線形性に起因して復調器を通過し得る。
【0094】
これを達成するために、ローパスフィルタLPF(例えば、Sincフィルタ)が用い
られ得る。Sincフィルタは、フィルタ応答が不要な復調成分全てにおいてゼロになる
ように設計されているため、ほぼ理想的である。このような長さLの移動平均フィルタの
ための伝達関数を以下に示す:
【数29】
【0095】
図9は、Sincフィルタ応答の例を示し、
図10は、8msの期間にわたる384個
のサンプルの平均化に起因して、125HzSincフィルタの最悪の場合の減衰特性を
示す。
【0096】
5.1.2.2.2.2.5 復調器ベースバンド信号
スマートフォンソフトモデムは、変調された音色フレームを送信する。フレームは、同
一バースト音中に入れられて送信される複数の音色ペア(例えば、4つの音色を有する2
つの音色ペア)を含み、その後のバースト音時に送信されるホップ音も含む。
【0097】
先ず、音色ペアの復調について説明する。音色ペアの送信、反射および受信が同時に行
われるため、唯一のその復調位相差は、音色ペア周波数差に起因する。
【0098】
「飛行時間」時間の前:
【数30】
反射信号の帰還は無いため、双方の音色ペア成分のための復調器出力は、近隣端クロスト
ークおよび静的反射に起因してDCレベルである。
【0099】
「飛行時間」時間の後、このDCレベルは、移動する標的成分からの貢献を受容する。
ここで、復調器出力は、以下を受容する:
各音色ペア周波数のための同相(I)復調器信号出力の場合、以下が得られる:
【数31】
各音色ペア周波数のための直交(Q)復調器信号出力の場合、以下が得られる:
【数32】
【0100】
復調されたバースト音中のこれらのサンプルそれぞれの合計Σは、周波数の「Sinc
」フィルタリング中の信号結果を受容する。このフィルタは、これらの周波数全てを拒否
するために、信号対ノイズを向上させ、fnm-f11毎に間隔を空けて配置された不要
な復調されたバースト音周波における伝達関数数においてゼロを生成するように、必要な
受信バースト音を平均化させるように設計される。
【0101】
この合計は、フルバースト音期間時において発生するが、動きに起因する成分は、音色
ペアバースト期間の終了まで、飛行時間期間後にのみ発生する。すなわち:
【数33】
【0102】
飛行時間の結果、さらなる信号減衰率が、信号回復に導入される。減衰率は、以下のよ
うになる:
【数34】
これは、最大範囲Dまでの振幅の線形低減である。
【0103】
フレームがn個の連続的な音色ペアを含む場合にフレームレートにおける音声信号の復
調およびその後の平均化が行われると、以下のサンプルレートと共にベースバンド信号が
生成される:
【数35】
毎秒毎のサンプルが用いられ、その結果、2n個の異なるIベースバンド復調信号および
Qベースバンド復調信号が得られる。
【0104】
5.1.2.2.2.2.6 復調器I
mn及びQ
mn
このような復調および平均化動作の結果、音色ペア音声周波数が、下記のサンプリング
レートにおいて4つの別個のベースバンド信号サンプル(すなわち、I
11、I
12、Q
11、Q
22)へ復調される:
【数36】
サンプル/秒
【0105】
その後のフレーム期間において、先行対から
【数37】
だけ分離された異なる周波数についてこの動作を反復して、Sincフィルタ機能による
最適な拒否を維持する。
【0106】
このサンプリング手順を各フレームについて繰り返して、多様なベースバンド信号を生
成する。所与の例において、2x4xIベースバンド信号および2x4xQベースバンド
信号が生成され、これらの信号はそれぞれ、三角関数の公式に起因して、位相特性を有す
る:
【数38】
【0107】
移動標的の1mにおける第1の音色ペアによる位相変化の例を
図11に示す。
【0108】
AFHRGアーキテクチャにより、狭いタイミングの同期が、時間、周波数および音色
ペアのエンベロープ振幅特性(フレーム同期モジュール703を用いたもの)により促進
される。音声TxおよびRxフレームは、非同期であり得る。初期化時において、モバイ
ルデバイスが完全なTx-Rx同期を維持することが期待され得る。本開示のいくつかの
態様によれば、
図12に示すように、初期同期は、トレーニング音フレームにより達成さ
れ得る。トレーニング音フレームは、1202に示すように、ノミナルフレーム音色を含
み得る。
図7について上記に示したように、Rx信号は、IQ復調器706によってIQ
復調され得る。次に、1204に示すようにエンベロープを(例えば、絶対値の計算の後
にローパスフィルタリングをするかまたはヒルバート変換を用いて)計算し、1206に
示すように、レベル閾値検出を用いてタイミングを抽出する。ASin(ω
1t)-AS
in(ω
2t)パルスの形状により、自己相関が支援され、この形状は、精度および正確
さを向上させるように構成され得る。次に、Rx円形バッファ指数が、1208に示すよ
うに、正しい同期タイミングに対して設定され得る。本開示のいくつかの態様において、
トレーニング音フレームは用いられ得ず、Rxは活性化され得、その後短期間の後にTX
が活性化され、短期間の記録された無音期間の後、閾値がTXフレームの開始を検出する
ために用いられ得る。この閾値は、バックグラウンドノイズに対してロバストになるよう
に選択され得、Tx信号の上昇時間の事前知識を用いて、真のTx開始からオフセットを
生じることができるため、上記上昇時間に発生する閾値検出が修正される。信号の推測さ
れたエンベロープを考える際、相対的信号レベルに基づいて適応し得る検出アルゴリズム
を用いて、ピークおよび「トラフ」(トラフは、とられた絶対値により、ゼロ線の周囲に
ある)の基準点検出が行われ得る。トラフは反射に起因するノイズを含む可能性がより高
いため、任意選択的にピークのみを処理してもよい。
【0109】
いくつかの場合において、デバイス(例えば、モバイルデバイス)は、他の活動または
処理に起因して同期を失う場合があり、その結果、音声サンプルのジッタまたは低下に繋
がる。よって、再同期戦略が例えばフレーム同期モジュール703と共に用いられ得る。
本開示のいくつかの態様によれば、同期が良好/真であることを定期的に確認するために
、周期的トレーニングシーケンスの導入を行うことができる。別のアプローチ(これは、
任意選択的にこのような周期的トレーニングシーケンスも利用できるが、このようなもの
を利用しない)として、閾値を超える最大相関が検出されるまで、既知のTxフレームシ
ーケンス(典型的には単一のフレーム)をRx信号のセグメントに沿って繰り返しクロス
相関させる方法がある。閾値は、Rx信号中の期待されるノイズおよび多経路干渉に対し
てロバストになるように選択され得る。次に、この最大相関の指数は、同期補正係教を推
測するための指数として用いられ得る。復調された信号における脱同期は、小さなまたは
大きな段差(通常は後者)としてベース線中に出現し得る点に留意されたい。いくつかの
実際の大きな動き信号にみられるほぼ段階的な応答と対称的に、脱同期されたセグメント
は、有用な生理学的情報を保持せず、出力ベースバンド信号から除去される(その結果、
信号の数秒が失われ得る)。
【0110】
そのため、同期は典型的には送信信号の事前知識を利用することが多く、初期アライメ
ントが技術(例えば、エンベロープ検出)を通じて行われ、その後、受信された信号Rx
と既知の送信信号Txとの間のクロス相関を用いて、正しいバーストが選択される。同期
損失のチェックは、理想的には定期的に行う必要があり、任意選択的にデータ整合性試験
を含む。
【0111】
新規同期が行われる場合、このような整合性試験の例において、この新規同期と、1つ
以上の先行する同期(単数または複数)のタイミングとを比較するためのチェックが行わ
れ得る。サンプルにおける候補同期時間の時間差は、受容可能なタイミング公差内のフレ
ームの整数に等しいことが予測される。これが当てはまらない場合、同期が失われた可能
性が高い。そのような場合、本システムは、再初期化を開始し得る(例えば、(局所的期
間に固有の)新規トレーニングシーケンスを用いたもの、Tx中への規定期間「無音」ま
たはいくつかの他のマーカの導入)。そのような場合、可能な脱同期イベント以降に感知
されたデータが疑義有りのものとしてフラグ付けされ得、捨象され得る。
【0112】
このような脱同期チェックは、デバイス上において継続的に行われ得、有用なトレンド
情報を蓄積させ得る。例えば、定期的な脱同期が検出および修正されると、システムは、
音声バッファ長さを適合させて、このような望ましくない挙動を停止させるかまたは処理
またはメモリロードを変化させる(例えば、いくつかの処理を睡眠セッションの終了まで
延期させ、(複雑なアルゴリズムをリアルタイムまたはリアルタイムに近いタイミングで
実行する代わりに)このような処理のデータをバッファする)。このような再同期アプロ
ーチは、多様な種類のTx(例えば、FHRG、AFHRG、FMCW)において(特に
、スマートデバイスなどの複雑なプロセッサを用いる場合に)有効および有用であること
が分かる。記載のように、基準フレームのエンベロープとRxシーケンスの推測エンベロ
ープとの間で相関付けが行われ得るが、このような相関付けを基準フレームとRxシーケ
ンスとの間に直接行ってもよい。このような相関は、時間ドメインまたは周波数ドメイン
において(例えば、相互スペクトル密度または相互コヒーレンス測定として)行われ得る
。(ユーザ対話(例えば、スマートデバイス上の別のアプリケーションまたは着信)に起
因して再生が予測される場合に)Tx信号の生成/再生が一定期間停止される状況もあり
、その場合、信号が最小レベル閾値を超えるのをRxが確認するまで、再同期が休止され
る。潜在的には、デバイスの主要プロセッサおよび音声CODECの同期が不完全である
場合、脱同期も経時的に発生し得る。脱同期の持続期間の長期化が疑われる場合、トレー
ニングシーケンスを生成および再生するためのメカニズムが用いられ得る。
【0113】
脱同期により、信号のDCシフトおよび/またはステップ応答のようにみえる信号が生
成され得、脱同期イベント後に平均(平均値)レベルまたはトレンドが変化し得る点に留
意されたい。さらに、脱同期は、外部要素(例えば、大きなノイズ)に起因しても発生し
得る(例えば、環境内の短いインパルスまたは持続期間)(例えば、ドンという大きな音
、マイクロフォンまたは近隣のテーブルを含むデバイスをノックする何か、極めて大きな
いびき、咳、くしゃみ、叫び声)が有る場合、Tx信号がかき消される可能性がある(ノ
イズ源は、Txに類似する周波数および内容を有するが、振幅はより高い)かつ/または
Rxが浸水する可能性がある(浸潤、ハードまたはソフトのクリッピング、あるいは潜在
的には自動ゲイン制御(AGC)の活性化)。
【0114】
図13は、中間周波数を含む32msフレームの例を示す。本開示のいくつかの態様に
よれば、IF段階は、早期の4ms(0.5m範囲)信号と、後期の4ms信号とを比較
するように構成され得る。本開示の他の態様によれば、IF段階は、第1の音色の位相と
、第2の音色の位相とを比較するように構成され得る。IF段階においては、飛行時間内
における受信信号のレベルまたは位相変化が比較されるため、共通モード信号アーチファ
クト(例えば、動きおよび1/fノイズ)を低減または除去することができる。
【0115】
室内反射により、共振周波数において室内モードが生成され得る。AFHRGアーキテ
クチャにより、フレーム周波数分離が維持された後、基本周波数のシフトが可能になる。
パルス対周波数は、室内モードを発生させない周波数へシフトされ得る。他の実施形態に
おいて、モードエネルギー蓄積を軽減させるように、フレームパルス対周波数がホップさ
れ得る。他の実施形態において、ホモダイン受信器による反射の認識を回避するために、
フレームパルス対周波数が、長い非反復的な擬似ランダムシーケンスを周波数特定の反射
時間全体にわたって用いてホップされ得る。モードからの干渉を軽減するようにフレーム
周波数をディザリングしてもよいし、あるいは正弦波フレームシフトを用いてもよい。
【0116】
AFHRGシステムを用いた場合、多くの利点が得られる。例えば、このようなシステ
ムにより、室内モード軽減のための適応可能な送信周波数が可能になる。本システムにお
いては、例えばパルス駆動型連続波レーダーシステムにおいて必要な典型的な「静穏期」
と対照的に、SNR向上のために、反復されるパルスメカニズムおよび異なる周波数と共
にアクティブ送信が用いられる。この点について、フレーム中の先行音色ペアからの異な
る周波数におけるその後の音色ペアにより、「静穏期」が実行される。その後の周波数に
より、その後の音色ペアの動作時(伝播)において、先行の異なる周波数音色ペアからの
反射された音声の伝播を落ち着くことが可能になる。時間スロットにより、一次までのレ
ンジゲーティングが可能になる。さらに、SNRのさらなる向上のために、アーキテクチ
ャにおいて二重周波数パルスが用いられる。中間周波数位相を設けることにより、規定さ
れたおよび/またはプログラマブルレンジゲーティングが可能になる。アーキテクチャは
、室内反射の軽減のために、Costasまたは擬似ランダム周波数ホッピングコードを
用いた低速サンプリング期間が可能なように設計される。加えて、直交Dirac Co
mb周波数により、ノイズ低減をさらに支援するために、フレームタイミングディザリン
グおよび音色周波数ディザリングも可能になる。
【0117】
より幅広またはより幅狭の帯域幅もAFHRGにおいて選択され得る点に留意されたい
。例えば、特定のハンドセットが21kHzまでの良好な信号強度と共に送受信が可能で
あり、システムを使用している対象が18kHzまで聴くことが可能である場合、19~
21kHzの2kHz帯域幅がシステムの使用用に選択され得る。これらの音色ペアは、
他の送信された(または検出された雰囲気)音声の内容中に隠蔽され得、他の音声内容の
変化に適応して、ユーザからマスクされ得ることも理解される。このマスキングは、可聴
(例えば、例えば、約250Hz~)の音色ペアまたは非可聴音色ペアの送信により、達
成され得る。システムが例えば18kHzを超える値において動作している場合、任意の
生成された音楽源に対して約18kHzよりも低いローパスフィルタリングしてもよいし
、逆に、音声源を直接処理することができない場合、システムは、音声内容を追跡し、予
測される数の音色ペアを注入し、SNR最大化および可聴度最小化の双方に適応する。実
際、既存の音声内容の要素により、音色ペアへのマスキングが可能になる。ここで、音色
ペア(単数または複数)は、マスキング効果を最大化させるように適応される。すなわち
、聴覚マスキングにおいて、音色ペアの知覚が低減または除去される。
【0118】
(A)FHRG、FMCW、UWBなどの使用に対して(マスキング有りまたは無しで
)音響信号(例えば、音楽)を生成または再生する際に用いられる別のアプローチは、キ
ャリアを直接変調することである。このような場合、信号内容を調節することにより(詳
細には、信号の振幅を変化させることにより)、再生される信号において感知信号が直接
符号化される。その後の処理は、ベースバンド信号が得られるように混合およびその後の
ローパスフィルタリングによりフィルタすることにより、入来(受信された)信号対送出
(生成された/送信された)信号を復調させることを含む。キャリア信号の位相変化は、
センサーの近隣の呼吸などの動きに比例する。1つの注意点として、基礎となるうなりに
起因して呼吸周波数において音楽の振幅または周波数が自然変化した場合、復調された信
号上のノイズ増加に繋がり得る点がある。また、再生中の静音期間において、このときに
呼吸検出を継続するために、余分な信号(例えば、振幅変調されたノイズ)を注入する必
要があり得、あるいは、本システムは、このような静音再生期間時においてベースバンド
信号を無視するように(すなわち、「詰め物」としての変調信号を生成する必要を回避す
るようにしてもよい。音声信号(例えば、音楽信号)を変調させる振幅の代わりに(また
は加えて)、ベースバンド信号の回復のために、この信号を規定された位相セグメントと
共に位相符号化した後、受信された信号を復調させ、符号化間隔時に受信信号の位相変化
を追跡することが可能であることも理解される。
【0119】
5.1.2.2.2.3 適応飛行時間
本開示のいくつかの態様によれば、室内音響問題を軽減するために、適応飛行時間(A
ToF)アーキテクチャが用いられ得る。AToFアーキテクチャは、AFHRGに類似
する。AFHRGと同様に、AToFにおいては、パルスの反復によりSNRを向上させ
るための通常静穏期が用いられる。例えば、4つの個々のホモダインパルス駆動型ソナー
信号が、各フレームに入れられて送信され得る。各信号は、8msの飛行時間を有し得る
。8msの飛行時間において、双方の方向を含む範囲は2.7メートルであるため、有効
な実際のフレームは1.35mであり、パルス反復周波数は31.25Hzである。さら
に、各パルスは、
図14に示すような2つのパルス周波数を含み得、その結果、8個の別
個のパルス駆動型ホモダイン信号が単一の32msのトランシーバフレーム内に得られる
。AFHRGアーキテクチャと対照的に、AToFにおいては、8msではなく1msに
わたって継続するパルスが用いられる。
【0120】
AFHRGと同様に、AToFにおいては、パルスの成形の支援のために、Dirac
Comb特徴および直交パルス対が用いられ得る。AToFにおいて、各時間スロット
のために別個の周波数対が用いられ得、線形またはCostas コード周波数ホッピン
グが用いられ得る。時間スロットは、必要な範囲検出により、決定され得る。周波数対は
、
【数39】
と共に、
【数40】
として生成され得る。周波数対方程式の要求が満たされた後、フェージングを軽減するよ
うに固定帯域内のその周波数を調節することにより、各フレームが適合され得る。
【0121】
要約すると、周波数対の(例えば異なる周波数における複数の個々の音色に対する)い
くつかの利点を以下に挙げる:
・周波数柔軟性:任意の周波数を任意の時間スロット時間
【数41】
において用いることが可能になるため、室内モードおよびフェージングの軽減のために周
波数シフト適応性が可能になる。
・S/N(SNRに対する影響):(パルスの縁のスケーリングの許容度と共に)帯域
幅利用の向上が得られる結果、信号対ノイズが増加する。
・過渡状態の軽減:理想に近いゼロ交差移行が得られるため、送信器および受信器双方
における周波数ホッピング過渡状態が軽減され、真の擬似ランダム周波数ホッピング能力
が可能になる。その結果、非可聴システムが得られる。
・同期回復の促進:成形されたパルスの固有の周波数および振幅プロファイルにより、
同期検出および精度が向上する(すなわち、明確な形状になる)。
・パルスおよびフレームタイミングの柔軟性:任意の時間スロット時間の持続が可能に
なるため、「可変検出範囲」機能が得られる。
・ディザリングの促進:周波数ディザリングおよび時間スロットディザリング双方が可
能になるため、ノイズが軽減する。
・狭いBW:極めて狭い帯域幅が自然に得られるため、フィルタリング無しでも非可聴
になる(フィルタリングを行うと、位相ひずみの原因になり得る)。
・複数の音色:複数の音色を同じ時間スロットにおいて用いることが可能であるため、
S/Nの向上およびフェージング軽減が可能になる。
【0122】
5.1.2.2.2.4 周波数変調連続波(FMCW)
本開示のさらに別の態様において、上記の技術的課題のうちいくつかの軽減のために、
周波数変調連続波(FMCW)アーキテクチャが用いられ得る。FMCWを使用すると、
距離推定が可能になり、レンジゲーティングが可能になるため、FMCW信号は、局所化
(すなわち、距離および速度)を可能にするために用いられることが多い。日常生活にお
ける可聴鋸歯状チャープの例は、鳥からのチャープに類似し、三角形チャープは、例えば
警察のサイレンからの音に類似する。FMCWは、内蔵または外付けのラウドスピーカ(
単数または複数)およびマイクロフォン(単数または複数)を用いた典型的なスマートデ
バイス(例えば、スマートフォンまたはタブレット)上において実行されるRFセンサー
および音声センサーにおいて用いられ得る。
【0123】
可聴ガイド音(単数または複数)(例えば、記録開始時またはスマートデバイスの移動
時に再生されるもの)を用いて、非可聴音声の相対的な「音量」を搬送することができる
点に留意されたい。1つ以上のマイクロフォンを備えたスマートデバイス上において、(
例えば、エコーキャンセル、ノイズ低減、自動ゲイン制御をディセーブルするための)ソ
フトウェアまたはハードウェアCODECにおける任意の余計な処理を最小化させ(かつ
理想的には不要にする)ように、プロファイルが選択される。いくつかのハンドセットの
場合、「音声認識」モードになるように構成されたカムコーダーのマイクロフォンまたは
主要マイクロフォンにより、良好な結果が得られるか、または、例えばバーチャルリアリ
ティ用途または音楽ミキシングに用いられ得る「未処理の」マイクロフォンフィードの選
択が可能になる。ハンドセットに応じて、例えばいくつかのAndroidOS改訂にお
いて利用可能な「音声認識」モードにより、(望ましい)マイクロフォン上における効果
および前処理がディセーブルされ得る。
【0124】
FMCWにより、空間的範囲にわたる追跡が可能になり、よって呼吸している人の居場
所の決定が可能になり、呼吸している人が移動した場合、2人以上の呼吸している人を(
センサーの範囲内において)分離することが可能になる(すなわち、異なる範囲における
各対象からの呼吸波形を除去することができる)。
【0125】
FMCWは、チャープ(例えば、鋸歯、三角形または正弦波の形状)を有し得る。よっ
て、(A)FHRG型システムのパルスと対照的に、FMCWシステムは、周波数が変化
する音声反復波形(例えば、非可聴)を生成し得る。可能であれば、信号のゼロ交差にお
いて周波数変化に整合すること(すなわち、(可聴になり得かつ/またはスピーカに対し
て不要なストレスになり得る)不要な高調波の原因になり得る生成信号における不連続部
分がジャンプされる事態を回避すること)が重要である。鋸歯は、
図15Bに示す傾斜部
分の形状と同様に、(低周波数から高周波数へと)上方に傾斜し得る。繰り返されると、
傾斜部分は、より低い部分からより高い部分を繰り返すなどの波形(鋸歯)を繰り返すこ
とにより、上方鋸形状を形成する。しかし、このような傾斜部分は、(より高周波数から
より低周波数へ)下方に傾斜してもよい。繰り返されると、傾斜部分は、より高い部分か
らより低い部分を繰り返すなどの波形(鋸歯)を繰り返すことにより、下方鋸形状を形成
する。さらに、このようなランピングは、図示のような線形関数を用いたほぼ線形であり
得るが、いくつかのバージョンにおいて、周波数の上昇は、曲線(増加または低減)の形
態をとり得る(例えば、波形の周波数変化の安値および高値間(または高値および安値)
間の多項式関数を用いたもの)。
【0126】
いくつかのバージョンにおいて、FMCWシステムは、反復波形の形態の1つ以上のパ
ラメータを変動させるように、構成され得る。例えば、システムは、以下のうち任意の1
つ以上を変動させ得る:(a)波形の反復部分の周波数ピーク位置(例えば、反復部分に
おける早期または後期におけるピーク)。このようなパラメータ変動は、波形の傾斜部分
(例えば、上昇勾配および/または下降勾配)の周波数変化の勾配の変化であり得る。こ
のようなパラメータ変動は、波形の反復部分の周波数範囲の変化であり得る。
【0127】
FMCW三角波形と共にスマートデバイス上において用いられるこのような非可聴信号
を達成するための特定の方法について、以下に概要を述べる。
【0128】
FMCWシステムの場合、理論的距離分解能は、以下のように規定される:V/(2*
BW)。ここで、Vは、例えば音声の速度であり、BWは帯域幅である。よって、(例え
ば、室温において)V=340m/sおよび18~20kHzのチャープFMCWシステ
ムの場合、標的分離のために、85mmの距離分解能が可能になる。次に、(本例におい
て)各対象がセンサーのフィールド内において少なくとも85mmの間隔だけ空けられて
配置されているという前提において、(CWシステムと同様の)個々にずっと細かな分解
能と共に、1つ以上の移動標的(例えば、対象の呼吸動き)それぞれ検出することができ
る。
【0129】
スピーカおよび/またはマイクロフォンの周波数に対する相対的感度に応じて、システ
ムは、各周波数を同一振幅を有するように修正する(またはシステムの非線形性を修正す
るための送信信号チャープの他の変更)ように、送信された信号TxFMCW波形の強調
を任意選択的に用い得る。例えば、スピーカ応答が周波数の増加と共に低減した場合、チ
ャープの19kHz成分が18kHz成分よりも高い振幅において生成され、これにより
、実際のTx信号は周波数範囲にわたって同一振幅を有する。歪みを回避することはもち
ろん重要であり、システムは、歪み(例えば、クリッピング、不要な高調波、鋸歯状の波
形)が発生しないことを決定する(すなわち、SNR最大化のために、Tx信号ができる
だけ大きな振幅でできるだけ線形に近くなるようにTx信号を調節する)ために、調節さ
れた送信信号について受信信号をチェックし得る。配置されるようなシステムは、信号線
形性を実行可能に維持しつつ呼吸パラメータ抽出のための標的SNRを満たすように、波
形をスケールダウンしかつ/または容量を低減し得る(SNR最大化と、ラウドスピーカ
(単数または複数)の大きな駆動との間にはトレードオフがある)。
【0130】
チャンネル状態に基づいて、チャープは、例えば(用いられる帯域幅に適合することに
より)強い干渉源に対してロバストになるように、システムによって適合され得る。
【0131】
5.1.2.2.2.5 FMCWチャープの種類および不可聴性
FMCWは、可聴周波数において、さらなるデジタル信号処理ステップが行われない限
り、ブンブンという音として明確に聞こえる1/10msの期間=100Hz(および関
連高調波)を有する。人間の耳は、ハイパスフィルタリングにより-40dBまでの低い
成分を除去した場合(-90dBを下回る不要成分のフィルタリングが必要になり得る)
でも、極めて低振幅の信号を(特に寝室などの静寂環境下において)識別できるという驚
くべき能力を有する。例えば、(例えば、チャープについてハミング、ハニング、ブラッ
クマンなどによりウィンドウ生成するために)チャープの開始部分および終了部分が強調
抑制され得、その後、その後の処理において修正のために再度強調され得る。
【0132】
チャープを隔離すること(例えば、チャープ間に(持続期間中の単一のチャープよりも
ずっと長い)静穏期を設けるために各100~200msを繰り返すこと)も可能である
。その場合、反射関連の定在波の検出を最小化できるという効果が得られる。このアプロ
ーチの不利点として、連続的なチャープ信号の繰り返しに対して、利用可能な送信エネル
ギーが少ない点がある。トレードオフとして、可聴クリックを低減し、連続的出力信号を
低減した場合、デバイス(例えば、電話ラウドスピーカなどのスマートデバイス)ラウド
スピーカおよび増幅器)の駆動の困難性が低減するという一定の恩恵が得られる。例えば
、コイルラウドスピーカの場合、最大振幅において長期間駆動されると、過渡状態による
影響を受け得る。
【0133】
図15は、FMCW傾斜シーケンスの可聴バージョンの例を示す。
図15(a)は、振
幅対時間を示すグラフ中の標準的チャープを示す。
図15(b)は、この標準的可聴チャ
ープの分光写真を示し、
図15(c)は、標準的音声チャープの周波数スペクトルを示す
。
【0134】
上記したように、FMCW音色は、傾斜部分ではなく正弦波プロファイルも用い得る。
図16は、ハイパスフィルタリングが適用されたFMCW正弦波プロファイルの例を示す
。
図16Aは、信号振幅対時間を示す。
図16Bは、信号の周波数スペクトルを示す。図
16Cは、信号の分光写真を示す。以下の例において、開始周波数として18kHzが、
終了周波数として20kHzが用いられる。512個のサンプルの「チャープ」が、正弦
波プロファイルと共に生成される。中間周波数は19,687.5Hzであり、偏差は+
/-1,000Hzである。これらのチャープのシーケンスは、チャープ境界にわたって
連続する位相を有するため、シーケンス非可聴の作製が支援される。ハイパスフィルタが
、得られたシーケンスへ任意選択的に適用され得る。しかし、この動作に起因して、位相
が不連続になる可能性が発生し得、その場合、逆説的に(所望の可聴性がより低い信号で
はなく)可聴性がより高い信号になる点に留意されたい。シフトされた受信信号のFFT
は、送信シーケンスのFFTの共役により乗算される。位相角度は、抽出およびアンラッ
プされる。最適な直線が見つけられる。
【0135】
記載のように、正弦波信号を非可聴にするためにフィルタリングする必要がある場合、
位相情報の歪みに繋がり得るため、これは理想的ではない。これは、スイープ間の位相不
連続性に起因し得る。そのため、三角波形を用いた非可聴FMCWシーケンスが用いられ
得る。
【0136】
波形の生成元であるスピーカ(単数または複数)によってクリックが生成されないよう
に、位相連続波形である三角波形信号を生成することができる。スイープにわたって連続
しているのにも関わらず、各スイープの開始部分における位相差が存在し得る。これらの
方程式は、複数の2πにおいて開始する次のスイープの開始部分における位相を確保する
ように変更され得るため、波形の単一のセクションのルーピングを位相連続的に行うこと
が可能になる。
【0137】
類似のアプローチを傾斜チャープ信号に適用可能であるが、(チャープが18kHz~
20kHzである前提の場合に)周波数ジャンプ不連続性が20kHz~18kHzであ
ると、商品であるスマートデバイ中の増幅器およびラウドスピーカにストレスがかかり得
る。三角波形の場合、下方スイープの付加により傾斜部分よりも多くの情報が得られ、三
角波形は周波数の変化がより「緩やか」であるため、傾斜部分の不連続ジャンプ部分の場
合よりも電話ハードウェアに対する有害性を低くする必要が有る。
【0138】
この位相連続型三角波形の生成のための信号生成モジュールにおいて実行され得る例示
的な方程式を以下に示す。三角形チャープの位相は、上方および下方スイープ双方につい
てかつ以下の閉鎖式からの時間指数nについて計算され得る:
【数42】
ここで:
f
sはサンプルレートであり、
f
1,f
2は、それぞれ低周波数および高周波数であり、
Nは、上方スイープおよび下方スイープ中の合計サンプル数である(すなわち、
【数43】
スイープ毎のサンプル(偶数Nを前提とする))。
【0139】
下方スイープの終了時における最終位相は、以下によって得られる
【数44】
【0140】
位相のsinを次のスイープの開始時においてゼロ周囲に戻すために、以下が得られる
:
【数45】
、一定の整数mについて
【数46】
【0141】
例えば、Nおよびf
2は固定であると仮定する。よって、f
1をできるだけ18kHz
に近づけるように、mを選択する:
【数47】
N=1024及びf
2=20kHzに対して,m=406ならば,f
1=18,625.
5kHzである。
【0142】
この三角波形の復調は、三角形上方および下方スイープを個別に復調させることまたは
上方および下方スイープを同時に処理することまたは実際に複数の三角形スイープのフレ
ームを処理することとしてみなされ得る。上方スイープの処理のみで有る場合、傾斜部分
(鋸歯状)の単一のフレームの処理に等価である点に留意されたい。
【0143】
上方および/または下方スイープを例えば呼吸感知において用いることにより、呼吸の
呼気部分から吸気を分離させることができる(すなわち、吸気または呼気が発生している
時点を知ることができる)。三角形信号の例を
図17に示し、検出された呼吸波形の復調
を
図18Aおよび
図18Bに示す。
図17に示すように、スマートデバイスマイクロフォ
ンは、同じスマートデバイスのラウドスピーカから出射された非可聴三角形を記録してい
る。
図18Aにおいて、グラフは、三角形信号の反射の(信号の上方スイープに関連する
)復調結果を示し、50.7cmにおいて抽出された呼吸波形を示す。
図18Bにおいて
、グラフは、三角形信号の反射の(信号の下方スイープに関連する)復調結果を示し、5
0.7cmにおいて抽出された呼吸波形を示す。これらの図に示すように、
図18Bの回
復された信号は、位相差に起因して、対応する上方スイープの復調されたアンラップ信号
に対して上下にひっくり返っているように見える。
【0144】
対称な三角形傾斜部分の代わりに非対称な「三角形」傾斜部分を考えてもよく、その場
合、上方スイープは、下方スイープよりも長く持続する(またはその逆)。この場合、よ
り短い持続期間は、(a)例えば上方スイープのみの傾斜部分における過渡状態に起因し
て妥協を来たし得る不可聴性を維持すること、および(b)信号中に基準点を提供するこ
とである。復調は、より長い上方スイープ(静穏期を含む鋸歯状傾斜部分の場合(ただし
、「静穏期」は、より短い持続期間の下方スイープである)のように行われる。これによ
り、潜在的には、用いられるTx信号の最大化および非可聴の位相連続Tx信号の維持を
可能にしつつ、(必要な場合に)処理負荷の低減が可能になる。
【0145】
5.1.2.2.2.6 FMCW復調
ソナーFMCW処理方法の例示的フローを
図19に示す。本図に示すブロックまたはモ
ジュールは、1902においてフロントエンド送信信号生成を提供し、1904において
信号受信を提供し、1906において同期を提供し、1908においてダウンコンバージ
ョンを提供し、1910における「2D」分析(例えば、活動、動き、存在/不在および
呼吸の任意の1つ以上の推測を示す信号の生成を含む)を提供する。これらのデータ/信
号から、1912における覚醒および/または睡眠ステージングが設けられ得る。
【0146】
特に1906においてモジュール中の同期をチェックする際、送信されたチャープを受
信信号と相関付けることが可能である。一例として、相関動作後の鋭利なピークに起因し
て細かな詳細を決定するために、得られたn個の矢印パルスが有用であり得る。信号スペ
クトルの幅と、相関機能の幅との間には、反復的関係が概して存在する(例えば、比較的
幅広のFMCW信号がFMCWテンプレートと相関する場合、n個の矢印相関ピークに繋
がる)。余談として、標準的チャープを受信器における応答と相関付けると、エコーイン
パルス応答の推測が可能になる。
【0147】
FMCWにおいて、システムは、周波数範囲にわたる全応答の合計を「最も強い」全体
的応答として有効に検討する(例えば、チャープ中のいくつかの周波数は深刻なフェージ
ングに出会い得るが、他も良好な応答を提供し得るため、システムは上記合計を検討し得
る)。
【0148】
ベースバンド信号(例えば、全身の動きまたは呼吸)をFMCWシステムとして回復さ
せるための1つ以上のプロセッサ(例えば、モバイルデバイス中のもの)の例示的方法に
ついて以下に述べる。本開示のいくつかの態様によれば、チャープシーケンスの送信は、
例えば1902において1つ以上のスピーカ(単数または複数)を作動させるFMCW送
信生成モジュールを用いて行われ得る。チャープシーケンスは、例えば非可聴三角形音響
信号であり得る。入来受信された信号(例えば、1つ以上のマイクロフォンと共に動作す
る受信モジュールによって1904において受信されたもの)と、送信信号との同期は、
例えば上記のピーク相関を用いて行われ得る。チャープまたはブロック(例えば、いくつ
かのチャープのもの)に対する連続的再同期チェックは、1906において例えば同期モ
ジュールと共に行われ得る。次に、混合動作(例えば、乗算または合計によるもの)が復
調(例えば、1908においてダウンコンバージョンモジュールを用いたもの)のために
行われ得、ここで、受信された信号の1つ以上のスイープが、送信信号の1つ以上のスイ
ープと乗算され得る。その結果、合計における周波数と、送信周波数と受信周波数との差
とが得られる。
【0149】
1902において送信モジュールを用いて電話から送信される信号の一例としての三角
形チャープは、(不可聴性確保のために)位相が連続しており、コンピューティングデバ
イス(例えば、モバイルデバイス)上に実行されるモジュールに従ったプロセッサ制御ス
ピーカ(単数または複数)によるルーピング音声データを可能にするように設計される。
例示的な三角形チャープは、上方および下方スイープ双方について、48kHzにおいて
1500個のサンプルを用いる。その結果、上方スイープ時間は31.25ms(これは
、下方スイープの場合も同じであり得る)になり、上方および下方スイープ双方が連続的
に用いられた場合に(音声サンプルレートと対照的に)ベースバンドサンプルレートは3
2Hzになり、上方および下方スイープ双方が平均であるとき(または交互のスイープの
みが用いられた場合)に16Hzになる。
【0150】
反復毎に1個のスイープを移動させる(すなわち、重複を導入する)ことにより、1個
よりも多くのスイープ(例えば、4個のスイープ)が用いられる場合、ブロック毎に計算
が反復され得る。この場合、相関のエンベロープの抽出、方法(例えば、フィルタリング
、マックスホールド)の使用、または他の方法(ヒルバート変換)により、相関のピーク
を任意選択的に推測することができる。例えば相対的ピーク位置の平均からの1つの標準
的偏差からはずれた値を除去することにより、異常値の除去も可能である。受信された波
形の各スイープの際、相対ピーク位置のモードを(異常値を除去した状態で)用いて、開
始指数を決定することができる。
【0151】
相関メトリックが他のものよりも低くなる場合がある理由として、送信波形に影響を与
える(チャープの減少または「ディッピング」の原因となる)間欠的な不要な信号処理ま
たは実際には(信号が短期間において「かき消される」原因となる)室内環境中の大きな
音声があり得る。
【0152】
1906における同期モジュールにより、最大360度までの度のインクリメントで位
相シフトされるテンプレートとの相関をチェックすることにより、(計算量増加にも関わ
らず)よりきめ細やかな位相レベルの同期を行うことができる。これにより、位相レベル
オフセットが推測される。
【0153】
システムのタイミングの制御を極めて高精度にしない限り(すなわち、サンプルレベル
までのシステム遅延が分からない限り)、復調を正しく機能させるために同期ステップが
所望され、出力のノイズまたはエラーも発生しない。
【0154】
上記したように、1908においてモジュールにおけるダウンコンバージョン処理が行
われると、ベースバンド信号が分析のために生成され得る。送信データおよび受信データ
が同期されると、ダウンコンバージョンの実行が可能になる。このモジュールプロセスに
おいて、送信信号および受信信号(生成された音声および反射された音声)と、多様なサ
ブモジュールまたはプロセスとが同期されることにより、「ビート」信号が抽出される。
この音声処理の一例を
図20に示す。本図において、I送信信号およびQ送信信号は、上
記のきめ細やかな同期方法を用いて決定された位相オフセットと共に、混合のために生成
され得る。例えば2004におけるモジュールまたは処理の場合のように、2002にお
いて「ネスト化ループ」が上記混合のために繰り返され得る。すなわち、外側ループが、
メモリ中に保持された現在の受信波形中の各スイープについて反復され、2006におい
てアクセスプロセスにより2004における混合へ適用される(各上方および下方チャー
プは、別個のスイープとしてみなされる)、次に、内側ループが、Iチャンネルに続いて
Qチャンネルについて反復される。
【0155】
システムの別の例(
図20に図示せず)において、複数の受信スイープが任意選択的に
バッファされ、中央値が計算され、複数のスイープを含むバッファの移動中央値図が得ら
れる。次に、信号をトレンド除去する別の方法を得るために、この中央値を現在のスイー
プから減算する。
【0156】
(上方または下方の)各スイープについて、位相シフトされた送信チャープと2004
において混合されるよう、(syncサンプル指数を基準として用いて)受信波形の関連
部分が抽出される。送信および受信セクション双方が生成されると、これらの波形は、2
004において混合(すなわち、乗算)される。例えば下方スイープの場合、受信された
下方スイープをTX下方スイープと混合し、フリップされた受信された下方スイープをT
X上方スイープを混合し、またはフリップされた受信された下方スイープをフリップされ
たTX下方スイープと混合することが可能であることが分かる。
【0157】
混合動作の出力(例えば、受信波形と、基準整列波形(例えば、基準チャープ)との乗
算)に対してローパスフィルタリングを行うと、(例えば、2008におけるフィルタリ
ングプロセッサモジュールの場合のように)より高い和周波数が除去される。一例として
、実行において、三角形チャープ18~20-18kHzがサンプリングレート48kH
zと共に用いられ得る。このような周波数帯の場合、混合動作におけるより高い和周波数
は実際にはアンダーサンプルになるため、約11~12kHzにおいてエイリアス成分が
発生する(Fs=48kHzの場合、合計は約36kHzである)。ローパスフィルタは
、このエイリアス成分が(特定のシステム実現において発生した場合に)確実に除去され
るように構成され得る。残りの信号の成分は、標的が静的であるか移動するものであるか
に応じて異なる。所与の距離において標的が揺れている(例えば、呼吸信号)と仮定した
場合、信号は、「ビート」信号およびドップラー成分を含む。ビート信号は、(標的から
の反射時間の遅延に起因する)送信スイープおよび受信スイープの周波数位置の差に起因
する。ドップラーとは周波数シフトであり、移動している標的に起因して発生する。理想
的には、このビートは、受信された信号が送信されたスイープの終了部に到着した点から
スイープのセクションを選択することのみにより、計算する必要がある。しかし、標的が
複雑である場合(例えば、人間)、これを行うことは困難である。そのため、スイープ全
体を用いることが可能である。本開示のいくつかの態様によれば、より高度なシステムに
おいて用いられ得る適応アルゴリズムにおいては、対象位置が明確に特定された後にスイ
ープの適切な部位を取り出すことにより、システム精度をさらに増加させる。
【0158】
いくつかの場合において、混合された信号において、(2010におけるトレンド除去
処理のように)任意選択的に平均(平均)を除去が除去(平均トレンド除去)され得、か
つ/または、ベースバンド中に最終的に存在し得る不要な成分の除去のために、2012
におけるHPF処理のようにハイパスフィルタリングされ得る。他のトレンド除去動作が
、混合信号へ適用され得る(例えば、線形トレンド除去、中央値トレンド除去)。200
8において適用されるフィルタリングのレベルは、送信信号品質、エコー強度、環境中の
干渉源数、静的/多経路反射などによって異なり得る。より高品質の状態においては、受
信信号の低周波数エンベロープ中(およびその結果の復調ベースバンド信号中)に呼吸お
よび他の動き情報が含まれ得るため、フィルタリングの回数は低減し得る。より低品質の
問題が多い状態においては、混合信号中のノイズが顕著であり得るため、フィルタリング
回数を増加させることが望ましい。2008におけるこのフィルタリングモジュール段階
における適切なフィルタリングレベルを選択するために、実際の信号品質の兆候(例えば
、呼吸信号品質の兆候)をフィードバック信号/データとしてこれらのフィルタリングプ
ロセス/モジュールへフィードバックすることができる。
【0159】
1908におけるダウンコンバージョンの後、呼吸、存在/不在、全身の動きおよび活
動の抽出のために、複雑なFFTマトリックスの1910における二次元(2D)分析が
用いられる。よって、ダウンコンバータにより、周波数ドメイン変換行列が生成され得る
。この種のプロセスの場合、(例えば、2014におけるハニングウィンドウモジュール
を用いて)混合された(およびフィルタリングされた)信号のブロックがウィンドウ生成
される。次に、「2D」マトリックス2018の推測および生成のために、2016にお
いてフーリエ変換(例えば、高速フーリエ変換またはFFT)を実行する。各列は、スイ
ープのFFTであり、各行は、FFTbinである。レンジに変換されるのはこれらのF
FTbinであるため、「レンジbin」と呼ぶ。次に、(各マトリックスがIチャンネ
ルまたはQチャンネル情報に基づいている)1組の直交マトリックスなどのマトリックス
を2D分析モジュールによって処理する。
【0160】
このような処理の例を、
図21に示すモジュールを参照して例示する。1910におけ
るこの2D分析の一環として、身体(手足を含む)の動きおよび活動検出をこれらのデー
タに対して実行する。2102における処理モジュール(単数または複数)の動きおよび
活動の推測において、対象の動きと、周波数ドメイン中の複雑な(I+jQ)混合信号の
分析からの活動とに付いての情報が抽出される。これは、全身の動き(例えば、回転また
は手足の動き)が相関しておらずかつ呼吸時の胸部変位よりもずっと大きいということに
基づいて、構成され得る。この動き処理から独立して(または依存して)、複数の信号品
質値が各レンジbinについて計算される。これらの信号品質値は、Iチャンネルおよび
Qチャンネル双方にわたる振幅およびアンラップ位相双方について計算される。
【0161】
2102における処理により、「活動推測」信号および動き信号(例えば、身体動きフ
ラグ)が生成される。2102における活動/動き処理によって生成される「身体動きフ
ラグ」(BMF)はバイナリフラグであり、動きが発生したか(1Hzにおける出力)を
示し、「活動カウント」は、2104において計数器プロセスモジュールと共に生成され
、各エポックにおいて0~30の活動の測定である(1/30sにおける出力)。換言す
れば、「活動カウント」変数は、(30秒毎に更新される)30秒ブロックの規定期間に
おける身体動きの量(重大度)および持続期間を獲得し、「動き」フラグは、発生してい
る動きに対する単純な「はい」/「いいえ」であり、毎秒更新される。活動カウント生成
に用いられる生の「活動推測」は、混合チャープ信号は、動きの無いときに相互に相関し
、動き期間においては無相関であることに基づいて推測された測定値である。混合スイー
プは複雑な周波数ドメインを示すため、信号のモジュラスまたは絶対値を取り出した後に
分析を行うことができる。人間の相関が、対象レンジbinにわたって4個のチャープを
空けて配置された一連の混合上方スイープ上において計算される。この間隔空けは、48
kHzにおける1500個のサンプルの送信波形の場合に125msに対応する。このよ
うにチャープを間隔空けすることにより、調査されている速度プロファイルが決定され、
必要に応じて調節され得る。この相関出力は、例えば1からの減算によって逆転されるた
め、相関の低減は、メトリック増加に関連する。秒毎の最大値が計算された後、短期3タ
ップFIR(有限のインパルス応答)boxcar平均フィルタを通じて送られる。特定
のデバイスの場合、このアプローチを用いて計算される動きに対する応答は、本質的に非
線形であり得る。このような場合、メトリックが、自然対数機能を介して再度マップされ
得る。次に、信号は、(最大相関観測に対応する)先行のN秒間にわたって観測される最
小値の減算によってトレンド除去された後、単一の重みおよびバイアス項と共に、ロジス
ティック回帰モデル中へ送られる。その結果、1Hzの生の活動推測信号が生成される。
生の活動推測信号へ閾値を適用することにより、バイナリ動きフラグが生成される。活動
カウントの生成は、閾値を超える1Hzの生の活動推測と、(毎秒毎に値が0~2.5か
ら選択される)非線形マッピング表とを比較することにより、行われる。次に、これを3
0秒間合計し、30の値において制限して、各エポックにおいて活動カウントを生成する
。
【0162】
よって、1秒(1Hz)動きフラグが、活動強度推測と共に生成され、2012におけ
る活動/動きモジュールのプロセスおよび2104における活動カウンタに関連して最大
値30(30秒エポックにおける活動合計)に対する関連活動カウントと共に生成される
。
【0163】
1910における2D処理の別の態様は、対象のセンサーからの距離(または(センサ
ーの範囲内に2人以上の対象がいる場合は)いくつかの距離)の計算である。これは、レ
ンジbin選択アルゴリズムによって実行され得る。このレンジbin選択アルゴリズム
において、得られた二次元(2D)マトリックス2018が処理されて、対象bin(単
数または複数)における1Dマトリックス(単数または複数)が得られる。
図21中図示
していないが、このような選択プロセスのモジュール出力により、2D分析の処理モジュ
ールへの通知がなされ得る(例えば、2016における抽出処理、2108における計算
処理および2110における呼吸決定処理のうちいずれか)。この点について、得られた
ビート周波数において位相がアンラップされると、(位相アンラップ問題が発生していな
いと仮定して)標的の所望の振動動きが返送される。全身の動きに起因するアンラップ信
号中の可能なジャンプ不連続を軽減するために、任意選択的な位相アンラップエラー検出
(および可能な収集)が行われ得る。しかし、実際には、これらの「エラー」から有用な
情報が得られる場合がある(すなわち、これらの「エラー」は、信号中の動き(通常の全
身の動きなどのより大きな動き)からの検出に用いられ得る)。位相アンラップに対する
入力信号が極めて低振幅ノイズのみである場合、アンラップは無効になり得るため、この
「閾値を下回る」信号の持続期間にわたってフラグを任意選択的に設定することができる
。
【0164】
開始時間および終了時間と、動きの位置(すなわち、範囲)とを2Dアンラップされた
位相マトリックス中において多様な方法を通じて検出することができる。例えば、これは
、2Dエンベロープ抽出および正規化の後に閾値処理を用いて達成することができる。正
規化の時間的尺度は、呼吸のような動きに起因する改変例同相を除外できるくらいに充分
に大きくなるように構成される(例えば5bpmとして規定された最小呼吸速度に対して
、>>k*12秒)。このような動きの検出は、bin選択プロセスに対する入力トリガ
として用いられ得る。例えば、bin選択アルゴリズムは、動き期間において先行レンジ
binを「ロック」し得、次に有効な呼吸信号が当該bin中または当該binの近隣に
検出されるまで、当該binを保持し得る。その結果、対象が静かに呼吸した後にベッド
中に移動し、次に静かに横臥した場合、これらの行動は同一レンジbin内において全て
確認されるため、計算オーバーヘッドの低減が可能になる。よって、検出された動きの開
始および/または終了位置を、bin選択の検索範囲を制限するために用いることができ
る。これを、複数の対象監視用途にも適用することができる(例えば、二人の対象がベッ
ド内におり、同時に監視されている場合、一人の対象の動きによって他方の対象の呼吸信
号が汚される可能性があるが、このようなロックインbin選択を用いると、一人の対象
が大きな動きをしている場合でも、双方の対象の有効なレンジbin(およびこの呼吸信
号抽出)の回復が支援され得る)。
【0165】
このアプローチにより、位相がアンラップされた振動によって生成された信号が得られ
る。この複雑な出力により、その後の処理のための生きている人間または動物の身体動き
(例えば、呼吸)データを含む復調ベースバンドIQ信号が得られる。三角形Tx波形の
例において、システムは、線形上方スイープおよび下方スイープを別個に処理し得、(例
えば、SNR増加および/または呼気呼吸からの吸気分離のための)別個のIQ対として
みなし得る。いくつかの実現において、ドップラー信号における可能なカップリング効果
の平均化またはレンジ推測の向上のために、任意選択的にそれぞれの(上方スイープおよ
び下方スイープ)からのビート周波数を処理することができる。
【0166】
ベースバンドSNRメトリックは、0.125~0.5Hzの呼吸ノイズ帯域(これは
、7.5br/分~30br/分に等価であるが、ユースケースに応じて約5~40br
/分まで広げることができる-すなわち、一次呼吸信号内容)と、4~8Hzの動きノイ
ズ帯域(すなわち、呼吸以外の動きを主に含む帯域)とを比較するように構成され得る。
ここで、ベースバンド信号(単数または複数)が16Hz以上においてサンプルされる。
ベースバンド内容が(5回の呼吸/分に等価の)0.083Hzを下回る場合、ハイパス
フィルタリングによって除去され得る。心拍数情報は、(25ビート/分~200ビート
/分に等価の)ほぼ0.17~3.3Hzの帯域中に含まれ得る。
【0167】
ソナーFMCW処理時において、(すなわち、隣接する推測値を減算することにより)
静的信号成分を除外(除去)するために、ビート推測間の差を任意選択的にとることがで
きる。
【0168】
このアプローチにおけるレンジbin選択アルゴリズムは、センサー範囲内の1つ以上
の対象の位置に対応するレンジbinを追跡するように構成され得る。その場合、ユーザ
から位置決めについて供給されたデータに応じて、可能なレンジbinsの部分的または
包括的検索が必要になり得る。例えば、ユーザが睡眠(または座位)時にデバイスからど
れくらい離れているかについて言及した場合、検索範囲を狭めることができる。典型的に
は、検討中のデータのブロックまたはエポックは、長さが30秒であり得、重複していな
い(すなわち、エポック毎に1つのレンジbin)。他の実現において、より長いエポッ
ク長さが用いられ得、重複が用いられ得る(すなわち、エポック毎に複数のレンジbin
推測値)。
【0169】
有効な呼吸速度(または規定閾値にわたる呼吸速度の確率)の検出が用いられるため、
可能な最小のウィンドウ長さが制限される。なぜならば、少なくとも1つの呼吸サイクル
をエポックに含めるべきである(例えば、呼吸速度が5呼吸/分と極めて低速である場合
、1回の呼吸が12秒毎に発生することを暗示する)からである。呼吸速度の上端におい
て、45~50br/分が典型的な限界になる。よって、エポックのスペクトル推測(例
えば、平均値の除去、任意選択的なウィンドウ生成、その後のFFT実行)を用いる場合
、所望の呼吸帯域(例えば、5~45br/分)に関連するピーク(単数または複数)が
抽出され、この帯域中の出力と、信号出力全体とを比較する。帯域にわたる最大ピークの
相対的出力(または最大ピーク/平均比)と、閾値とを比較して、候補呼吸周波数が存在
するかを決定する。いくつかの状況において、呼吸周波数が類似するいくつかの候補bi
nが見受けられ得る。これらは、室内反射に起因して発生し得、複数の範囲における明確
な呼吸に繋がる(これは、FFTサイドローブにも関連し得る)。
【0170】
三角波形の処理により、(例えば、ドップラー結合に起因する)このような範囲の不確
実性の軽減が支援され得るが、一定期間にわたって直通路以外のより良好な信号を反射が
含む場合、システムはこれを選択することができる。ユーザがコンフォータ/掛け布団を
有しかつ部屋に柔らかなファニッシング(例えば、ベッドおよびカーテン)が含まれる場
合、非直接的反射の結果、直接成分よりもより高い信号/ノイズ比が得られる可能性は低
くなる。一次信号は、掛け布団表面からの反射であり得るため、実際の推測範囲を考慮す
ると、これは、人の胸部よりも若干近接して現れ得る。
【0171】
処理時間低減のため、先行エポックの推測レンジbinの知識をその後のレンジbin
検索の通知において用いることができることが分かる。リアルタイムに近い(エポック毎
の)分析が不要なシステムの場合、より長い時間的尺度が検討され得る。
【0172】
1.1 信号品質
呼吸の信号品質(すなわち、検出および関連品質)は、上記したような
図20の200
8におけるフィルタリングによって考慮され得、
図21の2108におけるモジュールの
計算機処理に示すように、FFT2Dメトリックの一部として計算された多様な信号品質
メトリックを介して決定され得る。これらのメトリックは、2110における呼吸決定処
理において考慮してもよい。任意選択的に、
図21における2D分析処理は、記載の出力
およびいくつかの中間値に基づいた不在/存在または睡眠ステージングの決定のための処
理またはモジュールを含み得る。
【0173】
2108における計算機処理について、多様なメトリック(例えば、呼吸推測)が決定
され得る。本例において、4つのメトリックが
図21中に示される。
1.「I2F」-フルバンドについて二乗されたインバンド(I)
2.「Ibm」-インバンド(I)メトリックのみ
3.「Kurt」-共分散の尖度に基づいたメトリック
4.「Fda」-周波数ドメイン分析
【0174】
1.「I2F」
I2Fメトリックは、以下のように計算され得る(類似のアプローチが、inBand
PwrQと呼ばれ得るQ(直交)チャンネルへ適用され得る):
【数48】
【0175】
「inBandPwrI」は、例えば約0.1Hz~0.6Hzからの全体的出力であ
る(例えば、選択された対象呼吸帯域内)。「fullBandPwrI」は、この範囲
外の全体的出力である。このメトリックは、フルバンドおよびインバンド出力の一部が類
似しており、ノイズインバンドの推測のためにフルバンド出力を用いるものという大きな
前提に立つことが分かる。
【0176】
2.「Ibm」
次のメトリックは、I2Fと同じ前提をとらず、信号およびノイズインバンドの推測向
上を可能にする。これは、ピーク出力インバンドを見つけた後に(例えばピークの各側の
FFTbinsをとることにより)この周囲の出力を計算することにより、行われる。次
に、この信号出力と、ピーク値そのものを次のピーク値で除算した値(広範に正弦波型の
信号の場合)とが乗算される。呼吸に強い高調波が含まれる場合、binの選択を再評価
することができ、これにより、高調波がノイズ成分と混同されることが無くなる。次に、
ノイズ推測は、信号サブバンド外の全てのうち呼吸帯域内にあるものである:
【数49】
【0177】
3.尖度(「KURT」)
尖度により、分布の「裾」の測定が得られる。その結果、他の非呼吸信号から呼吸を分
離する手段が得られる。例えば、信号品質出力は、(IIRHPFを用いて)DCが除去
された信号の(ピーク共分散から特定の距離内における)共分散の尖度の逆関数であり得
る。信号品質が低い状態においては、このメトリックは「無効」と設定される。
【0178】
4.「Fda」
「Fda」(周波数ドメイン分析)を行うことができる。このような統計は、64秒の
重複するデータウィンドウを用いて1つの第2のステップ長さと共に用いて計算され得る
。計算は、遡及的データを用いて原因を示す。本プロセスは、特定の呼吸速度ウィンドウ
内において呼吸速度を検出し得る。例えば、呼吸速度が、国際出願WO20150063
64に記載のように検出され得る。本明細書中、同文献全体を参考のため援用する。例え
ば、呼吸速度は、0.1~0.67Hzに対応する6~40呼吸/分(bpm)になるレ
ートウィンドウ内において検出され得る。この周波数帯は、現実的な人の呼吸速度に対応
する。そのため、「インバンド」とは、0.1~0.67Hzの周波数範囲を指す。それ
ぞれ64秒のウィンドウは、1024(16Hzにおいて64秒)のデータポイントデー
タポイントを含み得る。よって、アルゴリズムは、各(IおよびQ)のデータウィンドウ
について512ポイント(N/2)FFTを計算する。これらのFFTの結果は、以下に
述べるように、(その後呼吸速度の決定に用いられ得る)インバンドスペクトルピークの
計算に用いられる。インバンド周波数範囲は、以下に述べるように、各64秒のウィンド
ウについて呼吸速度を計算するために用いられる。
【0179】
他の種類の「Fda」分析について、以下に述べる。
【0180】
別の周波数帯も、典型的な心拍数について検討される(例えば、45ビート/分~18
0ビート/分のHRは、0.75~3Hzに対応する)。
【0181】
スペクトルピーク比も決定され得る。最大インバンドピークおよびアウトサイドバンド
ピークが特定され、スペクトルピーク比の計算のために用いられる。これは、最大インバ
ンドピークの最大アウトサイドバンドピークに対する比として理解され得る。
【0182】
インバンド分散も決定され得る。インバンド分散により、周波数帯中の出力が定量化さ
れる。これは、いくつかの場合においてその後の存在/不在検出についても用いられ得る
。
【0183】
スペクトルピークは、性能指数の実行を通じて対象周波数帯において特定され、これに
より、各binにおけるスペクトル出力レベル、隣接ピークおよびbinの周波数からの
距離が組み合わせられる。上記の性能指数の最高値のbin。
【0184】
1910における2D分析の一環として、モバイルデバイスの感知近隣範囲内において
1人以上の生きている人間を特定するために、2108における計算機プロセスの(概要
を述べた)4つのメトリックを計算し、異なる範囲(センサーからの距離)へ移動したか
または実際に(浴室へ行くために)感知空間を退出したかまたは感知空間へ戻ったかを追
跡する。その結果、不在/存在検出についての入力と、感知範囲内に干渉源があるかが判
明する。次に、例えば2110において呼吸決定処理モジュールのプロセスにおいてこれ
らの値をさらに評価して、システムにより監視される1つ以上の対象についての最終呼吸
推測が生成される。
【0185】
1.2 不在/存在推測
図19に示すように、1910における2D分析により、不在/存在の推測およびこの
ような推測の出力兆候の処理も可能になり得る。人の身体動きおよびその呼吸パラメータ
の検出を用いて、対象がセンサー範囲に不在または存在しているかを決定するために、一
連の信号を評価することができる。信号品質検出に応じて、「不在」が30秒以下以内に
トリガされ、(無呼吸と明確に区別される)。いくつかのバージョンにおいて、不在/存
在検出は、特徴抽出およびその後の不在検出の方法を含むものとしてみなされ得る。この
ようなプロセスのフロー図を
図22に示す。このフロー図は、1910における上記プロ
セスの計算された特徴/メトリック/信号のうちいくつかを用い得るが、本明細書中に記
載の他のものも計算し得る。例えば以下のうち1つ以上を含む人の存在(Prs)および
人の不在(Abs)の決定において、多様な種類の特徴が検討され得る。
1. 非ゼロ活動カウント
2. 現在の2D信号(呼吸対範囲)と、先行ウィンドウ(呼吸および対象感知範囲に
限定される)との間のピアソン相関係数
3. 現在の呼吸ウィンドウのI/QIbm品質メトリックの最大値
4. 60秒のウィンドウにわたるI/Q呼吸速度チャンネルの最大分散
5. 50秒のウィンドウにわたるI/Q呼吸速度チャンネルの最大分散
【0186】
これらの特徴は、現在のバッファから抽出され、(例えば、60sにわたって)バッフ
ァ長さにおけるパーセンタイルをとることにより事前処理される。次に、これらの特徴を
組み合わせて、ロジスティック回帰モデルを得る。このモデルは、現在のエポックにおい
て発生している不在の確率を出力する。誤検知を制限するために、これを例えば短ウィン
ドウ(いくつかのエポック)にわたって平均化して、最終確率推測を生成することができ
る。身体動き(人間または動物の動き)に関連するものとみなされる動きの期間について
、存在が優先的にアサートされる。
図22の図示の例において、活動カウント、IBM、
ピアソン相関係数および不在確率と、適切な閾値とを比較して、人が存在しているかまた
は不在であるかを評価する。本例において、存在を決定するには、1つでも肯定評価があ
れば充分であり、不在を決定するには、試験それぞれが否定として評価されればよい。
【0187】
全体的なシステム図をみると、動き(例えば、手足の動き)、最終的な寝返りなどが発
生すると、呼吸信号が妨害され易くなり、より高周波数の成分が発生し得る(しかし、こ
れらの成分は、「2D」処理を考えると分離可能である)。
図23A、
図23Bおよび図
23Cに示す2Dデータ(上パネル)のセグメント例において、2つのサブセクション(
図23Bおよび
図23C)は、マイクロフォンおよびスピーカを備えたコンピューティン
グデバイスの音声感知範囲内にいる人の活動を示す。グラフの各トレースまたは信号は、
本明細書中に記載のアプリケーションおよびモジュールを有するモバイルデバイスから異
なる距離(レンジ)の音声感知を示す。図中、いくつかの距離における呼吸信号と、いく
つかのレンジ(距離)にわたる経時的動きとを視覚化することが可能である。この例にお
いて、人が(胴体がモバイルデバイスに対向している状態で)モバイルデバイスから約0
.3mにおいて呼吸している。領域BBおよび
図23Bにおいて、人は、ベッドから出て
(全身の動き)、感知領域の近隣から退出する(例えば、部屋から出て浴室へ移動する)
。しばらく経った後、領域CCおよび
図23Cに関連して、人は感知領域または部屋の近
隣に戻る(例えば、ベッドへ戻る(全身の動き))が、モバイルデバイスから若干さらに
離れており、ここで(約0.5mにおいて)モバイルデバイスに背を向けている状態にお
いて、呼吸パターンは可視状態である。この図の解釈において、最も単純なレベルにおい
て、呼吸トレースまたは全身の動きが全く無い場合、一定期間にわたる部屋からの不在を
示す。
【0188】
このような動き検出は、睡眠/覚醒処理への入力(例えば、
図19の1912における
処理モジュールにおけるもの)として機能し得、睡眠状態が推測され得かつ/または覚醒
または睡眠指示子が生成され得る。大きな動きが有った場合、レンジbin選択の変化に
対するプレカーサーになる可能性もより高くなる(例えば、ユーザが位置を変えたばかり
のとき)。一方、SDBイベントが呼吸パラメータから検出された場合(例えば、認識可
能な無呼吸または呼吸低下)、呼吸が一定期間にわたって低減または停止し得る。
【0189】
(エンドユースケースに依存し得る)速度信号が必要な場合、FMCWチャープ信号を
処理するための別のアプローチが必要になり得る。別のアプローチを用いて、受信された
信号が遅延チャープとして到着し得、FFT動作が行われ得る。次に、信号をその共役と
乗算して、信号をキャンセルし、その位相シフトを保持し得る。次に、勾配に最適な直線
が、複数の線形回帰を用いて決定され得る。
【0190】
図を用いて説明すると、この方法の場合、ラジアン単位の位相角度を周波数へプロット
すると、FMCW勾配が発生する。勾配発見動作は、異常値に対してロバストである必要
がある。18kHz~20kHzのシーケンスFMCWチャープが10msである場合、
有効レンジは1.8mであり、距離分解能は7mmである。回復されたベースバンド信号
上のポイントの推測のために、重複するFFT動作が用いられる。
【0191】
FMCW信号を一次元信号として触接処理するためのさらに別のアプローチにおいて、
櫛形フィルタが、同期信号(例えば、4個のチャープのブロック)へ適用され得る。これ
は、TxからRxへの直通路(mic成分への直接スピーカ)および静的反射(クラッタ
)を除去するためのものである。次に、フィルタリングされた信号に対してFFTを行い
、次にウィンドウ生成動作を行う。次に、第2のFFTを行った後、最大比の組み合わせ
が行われ得る。
【0192】
この処理の目的は、サイドローブにおける振動と、(変位ではなく)その出力速度とを
検出することである。1つの利点として、(複雑なbin選択ステップ無しに)1D信号
を直接推測し、センサーのフィールド内に単一の動き源(例えば、一人)が有る場合に可
能性の高いレンジbinを任意選択的に推測することができる点がある。
【0193】
このようなFMCWアルゴリズム処理技術を、2D複雑なマトリックス(例えば、多様
な種類のFMCWチャープ(例えば、鋸歯状傾斜部分、三角形)を用いてレーダーセンサ
ーから出力されるもの)へ適用してもよいことも理解され得る。
【0194】
5.1.3 さらなるシステム考慮事項-スピーカおよび/またはマイクロフォン
本開示のいくつかの態様によれば、スピーカおよびマイクロフォンは、同一デバイス上
(例えば、スマートフォン、タブレット、ラップトップ上)に設けてもよいし、あるいは
、共通または他の場合に同期クロック信号と共に異なるデバイス上に設けてもよい。また
、2つ以上の成分が音声チャンネルを介してまたは別の手段(例えば、インターネット)
を介して同期情報を通信することができる場合、同期クロック信号は不要であり得る。い
くつかの解決法において、送信器および受信器は、同一クロックを用い得る場合、特殊な
同期技術は不要である。同期実現のための別の方法は、CostasループまたはPLL
(位相ロックループ)を用いること(すなわち、送信された信号(例えば、キャリア信号
)に「ロックイン」することができるアプローチ)を含む。
【0195】
不要な低周波数アーチファクト成分の可能性を最小限に抑えるためには、サンプル送信
およびサンプル受信の同期への累積的影響を理解するために、音声経路における任意のバ
ッファリングを考慮することが重要であり得る。いくつかの場合、例えば電話ヘッドセッ
ト/micプラグインデバイス(例えば、ハンズフリー通話を行うためのもの)を用いる
ことにより、マイクロフォンおよび/またはスピーカをベッドクロスの近隣またはベッド
クロス内部に配置することが望ましい場合がある。一例として、Apple電話機および
Android電話機と通常同梱されたデバイスがある。較正/セットアッププロセスに
おいて、システム/環境セットアップに適合するために、システムは、(電話機上に1つ
よりも多くのマイクが有る場合に)適切なmicと、スピーカと、振幅および周波数設定
とを選択することができる必要がある。
【0196】
5.1.3.1.1 成分変化および環境に対するシステムの較正/適応
使用される特定の電話機(または他のモバイルデバイス)、環境(例えば、寝室)およ
びシステムのユーザ(単数または複数)に対してシステムパラメータを最適化させるため
の技術を実行することが望ましい。これは、装置がポータブルであり得(例えば、別の生
活空間、寝室、ホテル、病院、ケアホームへ移動させることができ)、感知フィールド内
の1つ以上の生体に適応し、広範囲のデバイスに適合することができるため、システムは
経時的に学習することを暗示する。これは、音声チャンネルの均等化を示す。
【0197】
本システムは、デバイスまたはモデル特有の特性およびチャンネル特性を学習する(か
または実際にデフォルトで事前プログラムされる)ことにより、チャンネル状態に合わせ
て自動較正することができる。デバイスおよびモデル特定の特性を挙げると、スピーカお
よびマイクロフォンのベース線ノイズ特性、意図される周波数(単数または複数)におい
て安定的に振動する機械的成分の能力、振幅応答(すなわち、標的波形に対する実際の出
射容量)、受信マイクロフォン(単数または複数)の信号応答がある。例えば、FMCW
チャープの場合、受信された直通路チャープの大きさを用いて、システムの感度を推測す
ることができ、(スピーカおよびマイクの組み合わせの性能(例えば、所与の電話音量に
おいてスピーカ/トランスデューサから出力された音声圧力レベル(SPL)に関連し得
る)所望のシステム感度を達成する場合、信号振幅および/または電話音量を自動的に調
節する必要がある。その結果、システムがスマートデバイスの多数の変動(例えば、An
droid電話機の大きくかつ異種のエコシステム)をサポートすることが可能になる。
これは、ユーザが電話機の主音量を調節したかをチェックすることや、この再調節を自動
的に行う必要がある場合またはシステムが新規の動作状態に合わせて調節する必要がある
場合にも用いることができる。異なるオペレーティングシステム(OS)を改訂した場合
も、異なる特性(例えば、音声バッファ長さ、音声経路待ち時間、およびTxおよび/ま
たはRxストリーム(単数または複数)中の時折のドロップアウト/ジッタの可能性)の
原因になり得る。
【0198】
システムの主な態様がキャプチャされる(例えば、ADCおよびDAC量子化レベル(
利用可能なビット)、信号/ノイズ比、TXおよびRXの同時または同期クロック生成、
および部屋の温度および湿度(利用可能な場合)))。例えば、(44.1kHzにおい
てサンプルを受容した場合に)デバイスが最適なサンプリングレートとして48kHzを
有し、最適以下の再サンプリングを行うことが検出され得る。この場合、好適なサンプリ
ングレートは、48kHzとして設定される。推測は、システムの動的レンジによって形
成され、適切な信号合成が選択される。
【0199】
他の特性を挙げると、送信成分と受信成分との間の分離(角度および距離)(例えば、
送信器と受信器との間の距離)、ならびに任意のアクティブ自動ゲイン制御(AGC)お
よび/またはアクティブエコーキャンセルの構成/パラメータがある。デバイス(特に、
複数のアクティブマイクを用いる電話機)は、信号の連続送信によって混乱をきたす信号
処理測定を実行し得、その場合、受信信号の不要な振動に繋がる。このような振動は、修
正する必要がある(または実際は不要なAGCまたはエコーキャンセルをディセーブルす
るために可能な場合にデバイス構成を調節する)。
【0200】
本システムは、多様な材料反射係数対周波数(例えば、18kHzにおける反射係数)
と共に事前プログラムされ得る。エコーキャンセルを行う場合をより詳細に検討する。C
W(単一の音色)の場合、信号は連続的に存在しているため、(スマートフォン上では可
能性が低い)完全な音響隔離が無い限り、TX信号はRXよりもずっと強くなり、システ
ムは、電話機中の内蔵エコーキャンセラによる悪影響を受け得る。CWシステムは、AG
Cシステムのまたは基本エコーキャンセラの活動に起因する強い振幅変調を経験し得る。
特定のハンドセット(「Lollipop」OS上において実行するSamsung S
4)上のCWシステムの例として、生の信号は、返送された信号の振幅変調(AM)を含
み得る。この問題に対処するための1つの戦略として、極め高周波数のAGCを生のサン
プルに行って、呼吸動きに関連しないAM成分を平滑化する方法がある。
【0201】
異なる種類の信号(例えば、FMCW「チャープ」)の場合、デバイス中に適合して実
行されたエコーキャンセラが打ち消される場合がある。実際、(A)FHRGまたはUW
Bアプローチは、音声へ方向付けられた音響エコーキャンセラに対してロバストでもあり
得る。FMCWの場合、チャープは短期の非定常性信号であり、ある時点および動きにお
ける部屋についての瞬間的情報および室内の動きへアクセスすることができ、エコーキャ
ンセラは、これを一定の遅滞と共に追跡するが、返送された信号を確認することが可能で
ある。しかし、この挙動は、サードパーティエコーキャンセラの正確な実行に関連する。
一般的にいうと、生理学的感知Tx/Rx使用法の持続期間にわたって任意のソフトウェ
アまたはハードウェア(例えば、CODEC中のもの)のエコーキャンセルを(可能な場
合に)ディセーブルすることが望ましい。
【0202】
別のアプローチとして、連続的な広帯域UWB(超広帯域)信号を使用する方法がある
。このようなUWBアプローチの場合、特定の周波数において良好な応答が無い場合、高
いレジリエンスを有する。広帯域信号が非可聴帯域へ閉じ込められるかまたは可聴帯域内
にヒス音として分散する場合がある。このような信号は、人または動物にとって妨げにな
らない低振幅をとることができ、耳に心地良い音声になるようにウィンドウによりさらに
任意選択的に「成形」することができる。
【0203】
非可聴UWBシーケンスを生成するための1つの方法として、可聴プロービングシーケ
ンス(例えば、最大長さシーケンス)(MLS-一種の擬似ランダムバイナリシーケンス
)をとり、非可聴帯域まで変調する方法がある。これは、可聴周波数において保持しても
よい(例えば、既存の音声(例えば、音楽)によってマスクされ得る場合)。最大長さの
シーケンスを反復させる必要があるため、その結果得られる音声は、純然たる平坦なスペ
クトルのホワイトノイズではない。実際、これは、(1人以上の人の呼吸速度検出を低速
化しつつ)市販の音声機械から発生した音声に類似する音声を生成し得る。パルスは、時
間において狭いかまたは自己相関機能において狭い場合がある。MLSなどのこのような
「マジック」シーケンスは、時間および周波数双方において周期的である。詳細には、M
LSは、優れた自己相関特性を有する。部屋のインパルス応答を推測することにより、ゲ
ートレンジが可能になる。室内の対象の呼吸信号の回復のために、サブサンプル動きをピ
ックアウトする必要がある。これは、グループ遅延抽出方法を用いて行うことができる。
一例として、重心(第1のモーメント)をフィルタリングされたインパルス応答のプロキ
シとして用いることがある(すなわち、セグメントのグループ遅延は、インパルス応答の
重心に対応する)。
【0204】
(例えば、スマートデバイスまたはハードウェア上において「アプリケーション」が初
めて使用される際に)チャンネルモデルを自動的に生成してもよいし、あるいは、ユーザ
が手動で合図を出す(開始)してもよく、チャンネル状態を周期的または連続的に監視し
、必要に応じて適応する。
【0205】
相関または適応フィルタ(例えば、エコーキャンセラ)を用いて、部屋をインテロゲー
トすることができる。有用なことに、キャンセルできないビットは、主に室内の動きに起
因する。部屋パラメータの推測後、(目的関数の最適化によって導出された)アイゲンフ
ィルタは、生の信号の変換に用いられ得、その後、この信号は、部屋のインパルス応答に
よって変換される。疑似ホワイトノイズの場合、身体の動きデータもログしつつ、環境ノ
イズの周波数特性への信号を標的マスキング信号成形し、睡眠経験を向上させることがで
きる。例えば、環境の自動周波数評価を行った場合、特定の周波数における望ましくない
定在波が明らかになり得、このような定在波(すなわち、共振周波数(空気媒体/圧力ノ
ードおよびアンチノード中の最大および最小動きの点))を回避するために、送信された
周波数が調節される。
【0206】
これと対照的に、フラッターエコーが有ると、500Hzを超える音声に影響が発生し
得、硬質の表面、乾式壁およびガラスなどを含む平行壁から大きな反射が発生する。その
ため、環境における不要な反射/影響を低減またはキャンセルするために、アクティブノ
イズキャンセルが適用され得る。デバイスの方向について、電話の最適位置(すなわち、
SNR最大化)のために、システムセットアップからユーザへ警告が付与され得る。その
ためには。電話機のラウドスピーカを(特定の距離レンジ内において)胸部へ方向付ける
ことが必要になり得る。較正により、システム音響特性を変化させ得る製造業者またはサ
ードパーティ電話機カバーの存在の検出および修正も可能になる。電話機上のマイクに妥
協が生じているようにみえる場合、ユーザは、マイク開口部を清掃するように要求され得
る(例えば、電話機のマイク開口部中に糸くず、埃または他の材料が溜まっており、これ
を清掃することができる)。
【0207】
本開示のいくつかの態様によれば、連続波(CW)アプローチが適用され得る。飛行時
間を用いたレンジゲーテッドシステム(例えば、FMCW、UWBまたはA(FHRG)
)と異なり、CWにおいては、単一の連続正弦波音が用いられる。非変調CWにおいて、
物体が移動しているときにドップラー効果が用いられ得る(すなわち、帰還周波数が送信
周波数から離隔方向にシフトされる)が、距離評価にはドップラー効果は用いることがで
きない。CWは、例えば一人の人がベッドにいて近隣に他の動き源が無い場合に用いられ
得、このような場合、高信号/ノイズ(SNR)が得られ得る。FHRGに概要を示す復
調スキームは、ベースバンド信号の回復のために、(フレーム自体は無い)単一の音色の
特殊な場合に用いられ得る。
【0208】
別のアプローチとして、適応CWがある。これは、(実際には(Tx出力および部屋反
射によって制限されるため)例えばベッド内の最近隣の人を検出するあめの限定されたレ
ンジを有し得るものの)特にレンジゲーテットではなく、室内モードを利用することがで
きる。適応CWは、送信/受信装置の能力内において、非可聴レンジにおける連続送信さ
れた音声の利用を維持する。ステップにおける非可聴周波数を走査することにより、アル
ゴリズムにより、(周波数内容および時間ドメイン形態(呼吸形状)双方において)最良
の利用可能な呼吸信号について周波数を繰り返し検索する。10HzだけのTx信号にお
いて間隔空けが有ると、復調された呼吸波形が大きく異なる形状になり得、明確な形態が
、無呼吸(中枢性および遮断性)ならびに呼吸低下分析に最適である。
【0209】
ホログラフィは、波面再生に関連する。極めて安定した音声振動子がホログラフィにお
いて必要となり、コヒーレントな源はラウドスピーカであり、反射に起因するエネルギー
が室内に蓄積されていることを利用する(すなわち、(モードから外れて、実際に周波数
ホッピングおよび/または適応周波数選択全を用いて定在波を全く生成しない)上記した
他のアプローチとは対照的に、強い定在波を有するようにCW信号が特定に選択される)
。
【0210】
ラウドスピーカを2つ以上備えたシステムの場合、(例えば、ベッドの一人の人を最適
に検出するために)「ビーム」を特定の方向に調節または操縦することが可能になる。
【0211】
さらに
図7を検証して、オフライン分析(例えば生音声データを読取および捨象するオ
ンライン処理システムに対する)後のオフライン分析のために、ハイパスフィルタ702
後にデータが保存される場合(例えば、17kHzにおける3dBポイントを用いたHP
F)、ストップバンド中のブロックされた(除去/フィルタリングされた)データには一
次会話情報が含まれるため、ハイパスフィルタリングは、プライバシーフィルタとして機
能することができる。
【0212】
5.1.3.1.2 複数の協働するデバイスまたは協働しないデバイスと、干渉源とへ
の適応
システムは、複数のマイクロフォンを含んでもよいし、あるいは、システム近隣のシス
テムと協働することが要求される場合もある(例えば、2人を個別に監視するために、ア
プリケーションを実行している2つの電話がダブルベッドの片側に設けられている場合)
。換言すると、チャンネルまたは別の手段(例えば、共存を可能にするためにインターネ
ットを介して送信されたデータまたは無線信号)を用いた環境においては、複数のトラン
シーバの監視が必要になる。詳細には、これは、干渉最小化のために、符号化シーケンス
または(最も単純な場合に)単一の正弦波を調節することであれ、正弦波をほぼ18kH
zにおいて検出し、ほぼ19kHzにおいて送信することを選択することであれ、選択さ
れた帯域に波形を適応させることが可能であることを意味する。よって、デバイスは、セ
ットアップモードを含み得る。このセットアップモードは、起動時に活性化されると、近
隣の音声の信号分析(例えば、マイクロフォンによって受信された音声の周波数分析)に
よって環境の音声信号またはデバイスの近隣をチェックし、この分析に応答して、動作の
ための異なる周波数範囲(例えば、受信された音声周波数からの重複しない周波数セット
)を選択する。このようにして、複数のデバイスは、(各デバイスが異なる周波数範囲の
音声信号を生成する)共通する近隣において、本明細書中に記載の音声生成および変調技
術と共に動作し得る。いくつかの場合、異なる周波数範囲は、本明細書中に記載の低い超
音波周波数範囲内に未だあり得る。
【0213】
単一のデバイス上のFMCWにより複数の人を検出できるため、(例えばCWに対して
)時間的に近接してFMCWが1つよりも多いデバイス上において実行される可能性はよ
り低い。しかし、利用可能なSNRの最大化のために1つよりも多いFMCW送信が近隣
に実行されている場合、周波数(例えば、18~19kHzおよび19.1~20.1k
Hz)が重複しないまたは時間的に重複しない(複数のチャープが同一周波数帯を占有す
るが、重複しない静穏期を有し、他のデバイスの反射の分散を可能にする保護帯域を備え
る場合)ように、帯域を自動的に(またはユーザ対話を通じて)適合させることができる
。
【0214】
(A)FHRGを音色ペアと共に用いる場合、これらは周波数および/または時間にお
いてディザリングされ得ることが分かる。周波数ディザリングは、フレーム間の周波数シ
フトの変動を示し、時間ディザリングは、(パルス持続期間の変化に基づいた)飛行時間
が変更されることを意味する。片方または双方のディザリング方法のこのようなアプロー
チを挙げると、生成されている室内モードの確率を低下させることおよび/または2つの
ソナーシステムを相互に「聞こえる」距離内に共存させることがある。
【0215】
FHRGシステムが、音色/フレームを規定する擬似ランダムシーケンスと共にリリー
スされ得る(ただし、得られた送信信号中に可聴高調波が発生しないように移行が行われ
ること(または不要な副高調波の除去/減衰のために適切な櫛形フィルタリングが適用さ
れること)が仮定された場合)も理解される。
【0216】
TXおよびRX信号が異なるハードウェア上に生成される場合、共通クロックが利用で
きない可能性があるため、協働が必要になる。2つ以上のデバイスが相互に「聞こえる」
距離にある場合、干渉回避のために、協働信号選択を用いると最適である。これにより、
ベッドクロスからの帰還を最良にするように、送信信号を適応させることが可能になる。
【0217】
5.1.3.1.3 ユーザ選好への適応
単純な音声スイープ試験により、ユーザは、聞こえない最低周波数(例えば、17.5
6kHz、19.3KHz、21.2kHz)を選択することができる。これは、生成さ
れた信号の開始周波数として(最小の保護帯域オフセットと共に)用いられ得る。犬、猫
、愛玩用マウスなどがサンプル音声に反応するかをチェックするために、ペットセットア
ッププロセスを設けてもよい。犬、猫、愛玩用マウスなどがサンプル音声に反応を示す場
合、(人にとって)低振幅の可聴音声信号を変調情報と共に用いることが好ましいことが
ある。「ペットセットアップモード」は、(例えば)犬が特定の音声に反応するかをチェ
ックするように実行され得、ユーザはそのような反応の事実を記録することができ、これ
により、システムは、不快感の原因にならない信号を見つけるために異なる音声をチェッ
クする。同様に、ユーザにとって不快感があることが判明した場合、システムは、別の信
号種類/周波数帯に合わせて構成され得る。ペット/子供が特定の波形に耐えられない場
合および/または沈静用のマスキングノイズ(「ホワイトノイズ」/ヒス)が所望される
場合、アクティブ信号TXを含むホワイトノイズ特徴は有用であり得る。そのため、モー
ドは、1つ以上の試験音声信号をサイクルし得、試験された(人には非可聴であり得る)
音声信号に問題は無かったかについての入力をユーザへ促し得、入力に基づいて使用周波
数を選択し得る。
【0218】
5.1.3.1.4 ユーザのデバイスとの対話時のTx再生の自動一時停止
システムは、高振幅の非可聴信号を再生している場合があるため、ユーザがデバイスと
対話している際、モバイルデバイス(例えば、スマートデバイス)中のこれを消音する(
Tx休止)することが望ましい。詳細には、デバイスが(例えば、架電または受電のため
に)ユーザの耳の近隣に取り上げられた場合、デバイスを無音にする必要があり得る。も
ちろん、信号無音化が解除された後は、システムを再同期させる必要がある。システムに
起因して電池が消耗する場合もある。その場合、以下のアプローチが用いられ得る。シス
テムが実行されている場合、デバイスが給電されている場合にのみシステムが優先的に実
行される必要がある。よって、システムは、スマートデバイスが有線または無線の充電器
へ接続されていない場合に休止する(かまたは起動しない)ように設計され得る。デバイ
ス使用時におけるTxの休止(および処理)において、入力は、ユーザの電話との対話(
ボタン押圧、画面タッチ、(内蔵の加速度計(存在する場合)および/またはジャイロス
コープおよび/または赤外線近接センサーを介して検出された)電話の移動、またはGP
SまたはアシストGPSによって検出された位置変化、または着信)のうち1つ以上から
とられ得る。通知(例えば、テキストまたは他のメッセージ)の場合、デバイスが「サイ
レント」モードになっていない場合、システムは、ユーザがデバイスを一定期間にわたっ
て取り上げると予測して、Txを一時休止させ得る。
【0219】
起動時において、システムは、電話の表面が下にして置かれているためユーザが電話と
対話することが無いことをチェックするために、Txの活性化の前に一定期間待機し得る
。距離推定アプローチ(例えば、FMCW)が用いられる場合、システムは、呼吸動きが
デバイスの極めて近隣に検出された場合、所望のSNRレベルを満たすために可能な最小
音響出力の利用が必要であることに基づいて、Tx出力レベルまたは休止(無音化)Tx
を低減し得る。さらに、ユーザがデバイスを手に取った際に復調されたベースバンド信号
から回復されたジェスチャを用いて、Tx容量をプロアクティブに平滑に低減させること
ができ、その後、ユーザが実際にデバイスと対話しているときにデバイスをサイレンス化
させるか、または、(ユーザがデバイス近隣から手を引っ込めた場合に)動作レベルに対
する容量を平滑に増加させることができる。
【0220】
5.1.3.1.5 データフュージョン
音声信号をアクティブ送信成分と共に収集(受容)するシステムの場合、他のパターン
の拒否または利用のためにフルバンド信号を処理することも望ましい。例えば、これを用
いて、会話、バックグラウンドノイズまたは(TX信号をスワンプし得る)他のパターン
を検出することができる。呼吸分析の場合、呼吸の抽出された音声波形特性とのデータフ
ュージョンを実行することが極めて望ましい。呼吸音の直接的検出を、復調された信号と
組み合わせることができる。また、特に(通常は静かな環境である)寝室内における用途
のために、音声成分(例えば、咳、喘鳴、いびき)を含む危険な睡眠または呼吸状態の態
様を抽出することができる。呼吸音は、口または鼻から発生し得、いびき、喘鳴、喘ぎ、
呻軋音などを含む。
【0221】
音声信号全体を用いて、動き(例えば、ユーザがベッド内に寝転んだ際のような全身の
動き)を推測することができ、他のバックグラウンドの非生理学的に生成されたノイズか
ら区別することもできる。(処理されたベースバンド信号からの)ソナー推測動きおよび
フルバンドの受動的音声信号分析と、ソナー動き(およびその動きから推測された活動)
とを典型的に組み合わせることができ、非レンジ特有の受動的音響分析におけるFMWC
、(A)FHRGToFなどにおけるレンジゲーティング(レンジ検出)の利点によって
優先される。例えばファンの配置場所が近すぎるまたは加熱または冷却システムの音が大
きすぎる場合、検出されたノイズの持続期間および強度により、不要な脱同期についての
洞察も得ることができる。音響ファンのノイズは、ソナーベースバンド信号分析における
1/f信号の増加ともみなれされ得る。実際のユーザ音声がノイズフロアに基づいて検出
可能である場合において、ソナーRx信号の品質が極めて低い場合、システムは、処理モ
ードへ逆戻りし得る。処理モードにおいて、これらの活動指数のみに基づいて、生理学的
音声が活動へマッピングされ、睡眠精度低下/覚醒検出器が直接駆動される。システムは
、最適なファン配置についてユーザへフィードバックを送ることおよび/またはその動作
周波数を干渉が低減される帯域へ適合させることも可能である。他のノイズ源(例えば、
蛍光灯/電球およびLED安定器)を検出することができ、本システムは、より優先的に
動作のソナー周波数(単数または複数)に適応する。よって、デバイスは、(本明細書中
に記載の復調処理技術に加えて)従来の音声処理方法により、マイクロフォンを介して受
信された音声信号を処理して、ユーザ動きおよび関連特性の検出のために、環境音声、会
話音声および呼吸音のうち任意の1つ以上を評価することができる。
【0222】
プライベート情報を含み得る一時データをアクティブに捨象するために、会話検出をプ
ライバシー機能として用いることもできる。混同の可能性のある要素(例えば、アナログ
時計のカチカチ音、TV、タブレット上のメディアストリーミング、ファン、空調ユニッ
ト、強制加熱システム、交通ノイズ/街頭ノイズ)を拒否するために、処理を行うことが
できる。そのため、身体動きの情報を可聴スペクトルから抽出し、復調されたスキームか
ら抽出されたデータと組み合わせて、全体的精度を向上させることができる。
【0223】
本開示のいくつかの態様によれば、デバイス(例えば、スマートフォン)上の光センサ
ーにより、システム中の別個の入力が可能になり得、その場合、人が睡眠しようとしてい
るのかあるいはテレビを見ているのか、タブレットを用いて読書をしているのかなどを提
案することができる。電話上の温度センサーおよび/または利用可能な湿度感知(または
位置に基づいた天候データ)の利用により、送信された信号のチャンネル推測/伝播を強
化することができる。電話機そのものとの対話により、ユーザの俊敏性レベルおよび/ま
たは疲労状態についてのさらなる情報を得ることができる。
【0224】
内部動きセンサー(例えば、MEMS加速度計)を介した感知デバイスの動きの理解を
用いて、電話機が動いている際の音声感知プロセスをディセーブルすることができる。セ
ンサーデータと、加速度計データとのフュージョンにより、動き検出を強化することがで
きる。
【0225】
本明細書中に記載のシステムおよび方法について、モバイルデバイスによって実行され
るものとして記載しているが、本開示の他の態様において、これらのシステムおよび方法
は、固定されたデバイスによって実行され得る点に留意されたい。例えば、本明細書中に
記載のシステムおよび方法は、ベッドサイド用の消費者監視デバイスまたは医療用デバイ
ス(例えば、睡眠疾患呼吸または他の呼吸状態の治療のための流れ生成器(例えば、CP
APマシン))によって実行され得る。
【0226】
5.1.3.1.6 心臓情報
上記したように、呼吸情報に加えて、上記した多様なバージョンの技術の音声生成およ
び反射分析が、生成された動きに関連する信号からの他の周期的情報(例えば、心臓情報
検出または心拍数)のために実行され得る。
図21の例において、心臓決定処理は、任意
選択的に追加されたモジュールであり得る。心弾動図に基づいた心臓ピーク検出が、(呼
吸検出と同様に)FFTに基づいた2D処理段階時に適用され得るが、より高周波数帯を
みている。
【0227】
あるいは、(FFTの代替としてまたは追加として)ウェーブレット(例えば、I信号
およびQ信号の順の個別のウェーブレット変換処理)または個別の複雑なウェーブレット
変換を用いた同時処理を2D処理段階のために用いて、全身の動きの信号、呼吸信号およ
び心臓信号に分割することができる。
【0228】
時間周波数処理(例えば、ウェーブレットに基づいた方法(例えば、例えばDaube
chiesウェーブレットを用いた離散化連続ウェーブレット変換-DCWT)を、トレ
ンド除去と、直接的な身体動き、呼吸および心臓信号抽出との双方に行うことができる。
心臓活動は、より高周波数において信号に反映され、通過帯域範囲が0.7~4Hz(毎
分48回鼓動~毎分240回鼓動)であるバンドパスフィルタによるフィルタリングによ
り、この活動へのアクセスが可能になる。全身の動きに起因する活動は典型的には、4H
z~10Hzの範囲である。これらのレンジには重複があり得る点に留意されたい。強い
(明確な)呼吸トレースは、強い高調波に繋がり得、混同を防ぐために追跡が必要である
。例えば、本技術のいくつかのバージョンにおける信号分析は、国際特許出願公開201
4/047310に記載の方法のいずれかを含み得る。本明細書中、同文献全体を参考の
ため援用する(例えば、呼吸信号ウェーブレットノイズ除去方法)。
【0229】
5.1.3.1.7 システム例
一般的に、本出願の技術は、監視関連方法(例えば、本明細書中により詳細に説明する
モジュールのアルゴリズムまたは方法)と共に構成された1つ以上のプロセッサにより実
行され得る。よって、本技術は、一体型チップ、1つ以上のメモリおよび/または他の制
御命令、データまたは情報記憶媒体で実装され得る。例えば、本明細書中に記載の方法の
いずれかを包含するプログラムされた命令は、適切なデバイスのメモリ中の一体型チップ
上にコーディングされ得る。このような命令は、追加的にまたは代替的に適切なデータ記
憶媒体を用いてソフトウェアまたはファームウェアとしてロードしてもよい。そのため、
本技術は、プロセッサ実行可能命令が保存された、プロセッサにより読取可能な媒体また
はコンピュータにより読取可能なデータ格納部媒体を含み得る。これらのプロセッサ実行
可能命令が1つ以上のプロセッサによって実行されると、プロセッサは、本明細書中に記
載の方法または方法の態様のうちいずれかを実行する。いくつかの場合において、サーバ
または他のネットワーク化されたコンピューティング装置は、このようなプロセッサによ
り読取可能なデータ格納部媒体を含み得るかまたは別の場合にこのようなプロセッサによ
り読取可能なデータ格納部媒体にアクセスするように構成され得る。サーバは、プロセッ
サにより読取可能なデータ格納部媒体のプロセッサ実行可能命令をネットワークを介して
処理デバイスへダウンロードせよとのリクエストを受信するように、構成され得る。その
ため、本技術は、プロセッサにより読取可能なデータ格納部媒体へのアクセスを有するサ
ーバの方法を含み得る。サーバは、プロセッサにより読取可能なデータ格納部媒体のプロ
セッサ実行可能命令をダウンロードせよとのリクエスト(例えばネットワークを介して命
令を処理デバイス(例えば、コンピューティングデバイス)またはポータブルコンピュー
ティングデバイス(例えば、スマートフォン)へダウンロードせよとのリクエスト)を受
信する。次に、サーバは、このリクエストに応答して、コンピュータにより読取可能なデ
ータ格納部媒体のプロセッサ実行可能命令をデバイスへ送信し得る。次に、デバイスは、
プロセッサ実行可能命令を実行し得る(例えば、プロセッサ実行可能命令がデバイスの別
のプロセッサにより読取可能なデータ格納部媒体上に保存されている場合)。
【0230】
5.1.3.1.8 他のポータブルまたは電子処理デバイス
上記したように、本明細書中に記載の音声感知方法は、電子処理デバイスの1つ以上の
プロセッサまたはコンピューティングデバイス(例えば、スマートフォン、ラップトップ
、ポータブル/モバイルデバイス、携帯電話、タブレットコンピュータ)によって実行さ
れ得る。これらのデバイスは典型的には、ポータブルまたはモバイルなものとして理解さ
れ得る。しかし、他の類似の電子処理デバイスを本明細書中に記載の技術と共に用いても
よい。
【0231】
例えば、多くの家庭および車両は、例えば人の可聴閾値のちょうど上において低周波超
音波範囲における音声の出力および記録が可能な電子処理デバイスを含む(例えば、スマ
ートスピーカ、アクティブサウンドバー、スマートデバイス、音声および他のバーチャル
アシスタントをサポートする他のデバイス)。スマートスピーカまたは類似のデバイスは
典型的には、例えば他の家庭デバイス(例えば、ホームオートメーションのためのもの)
および/またはネットワーク(例えば、インターネット)との通信のための有線または無
線手段(例えば、Bluetooth、Wi-Fi、Zig Bee、mesh、ピアツ
ーピアネットワーク)を介して通信成分を含む。音響信号を単に出力するように設計され
た標準的スピーカと異なり、スマートスピーカは通常は、1つ以上のプロセッサおよび1
つ以上のスピーカと、1つ以上のマイクロフォン(mic(単数または複数))とを含む
。mic(単数または複数)は、パーソナライズド音声制御を可能にするために、インテ
リジェントアシスタント(人工知能(AI)システム)とインターフェースをとるために
用いられ得る。いくつかの例として、Google Home、Apple HomeP
od、Amazon Echoがあり、「OK、グーグル」、「ヘイ、Siri」、「A
lexa」の決まり文句を用いた音声アクティベーションが用いられる。これらのデバイ
スはポータブルであり得、特定の位置において使用されることを意図していることが多い
。これらのデバイスの接続されたセンサーは、モノのインターネット(IoT)の一部と
してみなされ得る。他のデバイス(例えば、アクティブサウンドバー(すなわち、マイク
ロフォンを含むもの)、(典型的には静止デバイスであり得る)スマートテレビ、および
モバイルスマートデバイス)も用いられ得る。
【0232】
このようなデバイスおよびシステムは、本明細書中に記載の低周波超音波技術を用いて
生理学的感知を行うように適合され得る。
【0233】
複数のトランスデューサを備えたデバイスの場合、ビーム形成を実行することができる
。すなわち、センサーアレイ(例えば、スピーカ)に対して送受信される信号の方向選択
性または空間選択性が可能になるように信号処理が用いられる。これは典型的には「ファ
ーフィールド」問題であり、(「ニアフィールド」である医療用画像化と対照的に)波面
が低周波数超音波に対して比較的平坦になる。純然たるCWシステムの場合、音波はスピ
ーカから移動して、最大領域および最小領域に到達する。しかし、複数のトランスデュー
サが利用可能である場合、この放射パターンを有利に制御すること(ビーム成形として知
られるアプローチ)が可能である。受信側においては、複数のマイクロフォンも用いられ
得る。これにより、音声感知を方向において優先的に操作すること(例えば、出射された
音声および/または受信された音波の操作すること)の後に領域を掃引することが可能で
ある。ユーザがベッド内にいる場合、感知が対象に向けられる(例えばベッド内に2人の
人がいる場合に複数の対象へ方向付けられる)ように感知を操作することができる。
【0234】
さらなる例として、本明細書中に記載の技術は、ウェアラブルデバイスにおいて実行さ
れ得る(例えば、非侵襲的デバイス(例えば、スマートウォッチ)またはさらには侵襲的
デバイス(例えば、インプラントチップまたは移植可能なデバイス))。これらのポータ
ブルデバイスも、本技術と共に構成され得る。
【0235】
5.2 他の注意事項
本特許文書の開示の一部は、著作権保護が与えられる内容を含む。著作権所有者は、何
者かが本特許文書または本特許開示をファックスにより再生しても、特許庁の特許ファイ
ルまたは記録に記載されるものであれば目的のものであれば異論は無いが、その他の目的
については全ての著作権を保持する。
【0236】
他に文脈から明確に分かる場合および一定の範囲の値が提供されていない限り、下限の
単位の1/10、当該範囲の上限と下限の間、および記載の範囲の他の任意の記載の値ま
たは介入値に対する各介入値は本技術に包含されることが理解される。介入範囲中に独立
的に含まれるこれらの介入範囲の上限および下限が記載の範囲における制限を特に超えた
場合も、本技術に包含される。記載の範囲がこれらの制限のうち1つまたは双方を含む場
合、これらの記載の制限のいずれかまたは双方を超える範囲も、本技術に包含される。
【0237】
さらに、本明細書中に値(複数)が本技術の一部として具現される場合、他に明記無き
限り、このような値が近似され得、実際的な技術的具現が許容または要求する範囲まで任
意の適切な有効桁までこのような値を用いることが可能であると理解される。
【0238】
他に明記しない限り、本明細書中の全ての技術用語および科学用語は、本技術が属する
分野の当業者が一般的に理解するような意味と同じ意味を持つ。本明細書中に記載の方法
および材料に類似するかまたは等しい任意の方法および材料を本技術の実践または試験に
おいて用いることが可能であるが、限られた数の例示的方法および材料が本明細書中に記
載される。
【0239】
特定の材料が構成要素の構築に好適に用いられるものとして記載されているが、特性が
類似する明白な代替的材料が代替物として用いられる。さらに、それとは反対に記載無き
限り、本明細書中に記載される任意および全ての構成要素は、製造可能なものとして理解
されるため、集合的にまたは別個に製造され得る。
【0240】
本明細書中及び添付の特許請求の範囲において用いられるように、単数形である「a」
、「an」および「the」は、文脈から明らかにそうでないことが示されない限り、そ
の複数の均等物を含む点に留意されたい。
【0241】
本明細書中に記載される公開文献は全て、これらの公開文献の対象である方法および/
または材料の開示および記載、参考のために援用される。本明細書中に記載の公開文献は
、本出願の出願日前のその開示内容のみのために提供するものである。本明細書中のいず
れの内容も、本技術が先行特許のためにこのような公開文献に先行していない、認めるも
のと解釈されるべきではない。さらに、記載の公開文献の日付は、実際の公開文献の日付
と異なる場合があり、個別に確認が必要であり得る。
【0242】
「comprises」および「comprising」という用語は、要素、構成要
素またはステップを非排他的な意味合いで指すものとして解釈されるべきであり、記載の
要素、構成要素またはステップが明記されていない他の要素、構成要素またはステップと
共に存在、利用または結合され得ることを示す。
【0243】
詳細な説明において用いられる見出しは、読者の便宜のためのものであり、本開示また
は特許請求の範囲全体において見受けられる内容を制限するために用いられるべきではな
い。これらの見出しは、特許請求の範囲または特許請求の範囲の制限の範囲の解釈におい
て用いられるべきではない。
【0244】
本明細書中の技術について、特定の実施例を参照して述べてきたが、これらの実施例は
本技術の原理および用途を例示したものに過ぎないことが理解されるべきである。いくつ
かの場合において、用語および記号は、本技術の実施に不要な特定の詳細を示し得る。例
えば、「first(第1の)」および「second(第2の)」(など)という用語
が用いられるが、他に明記無き限り、これらの用語は任意の順序を示すことを意図してお
らず、別個の要素を区別するために用いられる。さらに、本方法におけるプロセスステッ
プについての記載または例示を順序付けて述べる場合があるが、このような順序は不要で
ある。当業者であれば、このような順序が変更可能でありかつ/またはその様態を同時に
またはさらに同期的に行うことが可能であることを認識する。
【0245】
よって、本技術の意図および範囲から逸脱することなく、例示的な実施例において多数
の変更例が可能であり、また、他の配置構成が考案され得ることが理解されるべきである
。
【手続補正書】
【提出日】2022-08-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
プロセッサ実行可能命令が保存されたプロセッサ読取可能な媒体であって、前記プロセッサ実行可能命令は、プロセッサによって実行されると、前記プロセッサにユーザの生理学的動きを検出させ、前記プロセッサ実行可能命令は、
電子処理デバイスへ接続されたスピーカによる、ユーザの近隣の音声信号の生成を制御せよとの命令と、
前記電子処理デバイスへ接続されたマイクロフォンによる、ユーザから反射した音声信号の感知を制御せよとの命令と、
前記感知された音声信号を処理せよとの命令と、
前記処理された音声信号から呼吸信号を検出せよとの命令と、を含んでなり、前記音声信号は連続波(CW)信号を含むものである、プロセッサ読取可能な媒体。
【請求項2】
前記音声信号は非可聴音レンジ内にある、請求項1に記載のプロセッサ読取可能な媒体。
【請求項3】
前記生成を制御せよとの命令は、生成する前に、連続波(CW)変調スキームを用いて、前記音声信号を変調する命令を含む、請求項1または2に記載のプロセッサ読取可能な媒体。
【請求項4】
前記生成を制御せよとの命令は、生成する前に、適応連続波変調スキームを用いて、前記音声信号を変調する命令を含む、請求項1~3のいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項5】
前記プロセッサ読取可能な媒体は、適応連続波変調スキームを制御する命令を含む、請求項1~3のいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項6】
前記適応連続波変調スキームを制御する命令は、呼吸信号についての周波数を繰り返し検索するために、非可聴周波数にわたる走査を制御する命令を含むものである、請求項5に記載のプロセッサ読取可能な媒体。
【請求項7】
前記走査は、周波数内容および時間ドメイン形態を考慮して最良の呼吸信号を検索するものである、請求項6に記載のプロセッサ読取可能な媒体。
【請求項8】
前記プロセッサに実行可能な命令は、連続波ホモダイン技術によって音声を生成および感知するための信号処理命令を含む、請求項1~7のいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項9】
前記プロセッサに実行可能な命令は、呼吸の動きに無関係な振幅変調を平滑化するために、感知された信号サンプルに対して、高周波数の自動ゲイン制御を実行する命令を含む、請求項1~8のいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項10】
前記ユーザから反射された前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含む1つ以上のベースバンド動き信号を生成する復調器を含む、請求項1~9のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項11】
前記復調器は、複数のベースバンド動き信号を生成し、前記複数のベースバンド動き信号は、直交ベースバンド動き信号を含む、請求項10に記載のプロセッサ読取可能な媒体。
【請求項12】
前記複数のベースバンド動き信号を処理せよとの命令をさらに含み、前記複数のベースバンド動き信号を処理せよとの命令は、前記複数のベースバンド動き信号から組み合わされたベースバンド動き信号を生成するために、中間周波数処理モジュールおよび最適化処理モジュールを含み、前記組み合わされたベースバンド動き信号は前記呼吸信号を含む、請求項11に記載のプロセッサ読取可能な媒体。
【請求項13】
前記呼吸信号を検出せよとの命令は、前記組み合わされたベースバンド動き信号から呼吸速度を決定することを含む、請求項12に記載のプロセッサ読取可能な媒体。
【請求項14】
前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、前記マイクロフォンからサンプリングされた音声データを保存することを含む、請求項1~13のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項15】
前記プロセッサ実行可能命令は、
身体動きの音声に基づいた検出を前記電子処理デバイスの1つ以上の特性の評価により較正せよとの命令と、
前記音声信号を前記評価に基づいて生成せよとの命令とをさらに含む、請求項1~14のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項16】
前記音声に基づいた検出を計算せよとの命令は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定する、請求項15に記載のプロセッサ読取可能な媒体。
【請求項17】
前記プロセッサ実行可能命令は、
ペットセットアップモードを作動させよとの命令をさらに含み、前記音声信号を生成するための周波数は、ユーザ入力に基づいて選択され、1つ以上の試験音声信号が生成される、請求項1~16のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項18】
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の検出に基づいて前記音声信号の生成を停止せよとの命令であって、前記検出されたユーザ対話は、加速度計による前記電子処理デバイスの動きの検出、ボタン押圧の検出、画面接触の検出、電話着信の検出のうち任意の1つ以上を含む、命令、をさらに含む、請求項1~17のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項19】
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の不在の検出に基づいて前記音声信号の生成を開始せよとの命令をさらに含む、請求項1~18のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項20】
前記プロセッサ実行可能命令は、
前記ユーザから反射された、前記感知された音声信号の処理に基づいて全身の動きを検出せよとの命令、をさらに含む、請求項1~19のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項21】
前記プロセッサ実行可能命令は、
前記マイクロフォンを介して感知された音声信号を処理して環境音声、会話音声および呼吸音のうち任意の1つ以上を評価することでユーザ動きを検出せよとの命令、をさらに含む、請求項1~20のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項22】
前記プロセッサ実行可能命令は、
(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階のうち任意の1つ以上を決定するように呼吸信号を処理せよとの命令をさらに含む、請求項1~21のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項23】
前記プロセッサ実行可能命令は、
前記電子処理デバイスの近隣の音声周波数の検出および前記検出された音声周波数と異なる前記音声信号の周波数範囲の選択が行われるセットアップモードを動作させよとの命令、をさらに含む、請求項1~22のうちいずれか一項に記載のプロセッサ読取可能な媒体。
【請求項24】
前記セットアップモードを作動させよとの命令は、前記検出された音声周波数と重複していない周波数範囲を選択する、請求項23に記載のプロセッサ読取可能な媒体。
【請求項25】
請求項1~24のうちいずれか一項に記載の前記プロセッサ読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサ読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとの命令を受信するように構成される、サーバ。
【請求項26】
モバイル電子デバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請求項1~24のうちいずれか一項に記載のプロセッサ読取可能な媒体とを含む、モバイル電子デバイス。
【請求項27】
請求項1~24のうちいずれか一項に記載の前記プロセッサ読取可能な媒体へアクセスを有するサーバの方法であって、前記方法は、前記プロセッサ読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとのリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサ実行可能命令を前記電子処理デバイスへ送信することとを含む、方法。
【請求項28】
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
請求項1~24のうちいずれか一項に記載の前記プロセッサ読取可能な媒体にプロセッサからアクセスすることと、
前記プロセッサ読取可能な媒体の前記プロセッサ実行可能命令を前記プロセッサにおいて実行することと、を含む、方法。
【請求項29】
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
前記モバイル電子デバイスへ接続されたスピーカによる、ユーザの近隣の音声信号の生成を制御することと、
前記モバイル電子デバイスへ接続されたマイクロフォンによる、前記ユーザから反射された音声信号の感知を制御することと、
前記感知された反射された音声信号を処理することと、
前記処理された反射された音声信号から動き信号を検出することと、を含んでなり、前記音声信号は連続波(CW)信号を含むものである、方法。
【請求項30】
モバイル電子デバイスを用いて動きおよび呼吸を検出する方法であって、
前記モバイル電子デバイス上のスピーカによって音声信号をユーザへ送信することと、
反射された音声信号を前記モバイル電子デバイス上のマイクロフォンによって感知することであって、前記反射された音声信号は、前記ユーザから反射される、ことと、
前記反射された音声信号から呼吸および動き信号を検出することと、を含んでなり、前記音声信号は連続波(CW)信号を含むものである、方法。
【請求項31】
前記音声信号は非可聴音声信号である、請求項30に記載の方法。
【請求項32】
送信の前に、連続波(CW)変調スキームおよび適応連続波(ACW)変調スキームのうち1つを用いて前記音声信号を変調させる、請求項30に記載の方法。
【請求項33】
前記反射された音声信号が感知された際、前記反射された音声信号を復調させることであって、
前記反射された音声信号へフィルタ動作を行うことと、
前記フィルタリングされた反射された音声信号および前記送信された音声信号のタイミングを同期させることと、を含む、復調させることをさらに含む、請求項30に記載の方法。
【請求項34】
前記音声信号を生成することは、
前記モバイル電子デバイスの1つ以上の特性を評価するための較正機能を行うことと、
前記較正機能に基づいて前記音声信号を生成することと、を含む、請求項30~33のうちいずれか一項に記載の方法。
【請求項35】
前記較正機能は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定するように構成される、請求項34に記載の方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0245
【補正方法】変更
【補正の内容】
【0245】
よって、本技術の意図および範囲から逸脱することなく、例示的な実施例において多数の変更例が可能であり、また、他の配置構成が考案され得ることが理解されるべきである。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項1~65の記載内容を以下に追加する。
(請求項1)
プロセッサ実行可能命令が保存されたプロセッサにより読取可能な媒体であって、前記プロセッサ実行可能命令は、プロセッサによって実行されると、前記プロセッサにユーザの生理学的動きを検出させ、前記プロセッサ実行可能命令は、
電子処理デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御せよとの命令と、
前記電子処理デバイスへ接続されたマイクロフォンを介してユーザから反射された音声信号の感知を制御せよとの命令と、
前記感知された音声信号を処理せよとの命令と、
前記処理された音声信号から呼吸信号を検出せよとの命令と、を含む、プロセッサにより読取可能な媒体。
(請求項2)
前記音声信号は非可聴音レンジ内にある、請求項1に記載のプロセッサにより読取可能な媒体。
(請求項3)
前記音声信号は、パルスを形成する音色ペアを含む、請求項1~2のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項4)
前記音声信号はフレームのシーケンスを含み、各フレームは一連の音色ペアを含み、各音色ペアは、前記フレーム内の各時間スロットと関連付けられる、請求項1~3のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項5)
音色ペアは、第1の周波数および第2の周波数を含み、前記第1の周波数および第2の周波数は異なる、請求項4に記載のプロセッサにより読取可能な媒体。
(請求項6)
前記第1の周波数および第2の周波数は、相互に直交する、請求項5に記載のプロセッサにより読取可能な媒体。
(請求項7)
前記フレーム内の一連の音色ペアは、第1の音色ペアおよび第2の音色ペアを含み、第1の音色ペアの周波数は、第2の音色ペアの周波数と異なる、請求項4~6のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項8)
前記フレームの時間スロットの音色ペアは、前記時間スロットの開始部および終了部においてゼロ振幅を有し、前記開始部と前記終了部との間のピーク振幅に対しておよび前記ピーク振幅からランピング振幅を有する、請求項4~7のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項9)
前記フレームの時間幅は変動する、請求項4~8のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項10)
前記時間幅は前記フレームのスロット幅である、請求項9に記載のプロセッサにより読取可能な媒体。
(請求項11)
前記時間幅は、前記フレームの幅である、請求項9に記載のプロセッサにより読取可能な媒体。
(請求項12)
スロットのフレームの音色ペアのシーケンスは、前記フレームの異なるスロットに対して異なる周波数のパターンを形成する、請求項1~11のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項13)
前記異なる周波数のパターンは、複数のフレームにおいて反復される、請求項12に記載のプロセッサにより読取可能な媒体。
(請求項14)
前記異なる周波数のパターンは、スロットの複数のフレーム中のスロットの異なるフレームについて変化される、請求項12に記載のプロセッサにより読取可能な媒体。
(請求項15)
前記音声信号の生成を制御せよとの命令は、音色ペアフレーム変調器を含む、請求項1~14のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項16)
前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、フレームバッファを含む、請求項1~15のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項17)
前記ユーザから反射された前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含む1つ以上のベースバンド動き信号を生成する復調器を含む、請求項1~16のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項18)
前記復調器は、複数のベースバンド動き信号を生成し、前記複数のベースバンド動き信号は、直交ベースバンド動き信号を含む、請求項17に記載のプロセッサにより読取可能な媒体。
(請求項19)
前記複数のベースバンド動き信号を処理せよとの命令をさらに含み、前記複数のベースバンド動き信号を処理せよとの命令は、前記複数のベースバンド動き信号から組み合わされたベースバンド動き信号を生成するために、中間周波数処理モジュールおよび最適化処理モジュールを含み、前記組み合わされたベースバンド動き信号は前記呼吸信号を含む、請求項18に記載のプロセッサにより読取可能な媒体。
(請求項20)
前記呼吸信号を検出せよとの命令は、前記組み合わされたベースバンド動き信号から呼吸速度を決定することを含む、請求項19に記載のプロセッサにより読取可能な媒体。
(請求項21)
前記フレームの各時間スロットの持続期間は、音色ペア間の周波数差によって除算されたものに等しい、請求項4に従属する場合に請求項1~20のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項22)
前記音声信号は、周波数が変化する反復波形を含む、請求項1~2のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項23)
前記反復波形は、位相連続型である、請求項22に記載のプロセッサにより読取可能な媒体。
(請求項24)
前記周波数が変化する反復波形は、鋸歯、三角形および正弦波形のうち1つを含む、請求項22に記載のプロセッサにより読取可能な媒体。
(請求項25)
前記反復波形の形態の1つ以上のパラメータを変化させよとの命令をさらに含む、請求項22~24のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項26)
前記1つ以上のパラメータは、(a)前記反復波形の反復部分のピーク位置、(b)前記反復波形の反復部分の傾斜部分の勾配、および(c)前記反復波形の反復部分の周波数範囲、のうち任意の1つ以上を含む、請求項25に記載のプロセッサにより読取可能な媒体。
(請求項27)
前記周波数が変化する反復波形は、対称な三角波形を含む、請求項23に記載のプロセッサにより読取可能な媒体。
(請求項28)
前記音声信号の生成を制御せよとの命令は、ルーピング前記反復波形の波形を示す音声データを含む、請求項22~27のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項29)
前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、前記マイクロフォンからサンプリングされた音声データを保存することを含む、請求項1~28のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項30)
前記感知された音声信号の処理を制御せよとの命令は、前記生成された音声信号を前記感知された音声信号と相関付けて同期をチェックすることを含む、請求項1~29のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項31)
前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含むデータを生成するダウンコンバータを含む、請求項1~30のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項32)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号とを混合させる、請求項31に記載のプロセッサにより読取可能な媒体。
(請求項33)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号との混合の出力をフィルタリングする、請求項32に記載のプロセッサにより読取可能な媒体。
(請求項34)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号との混合のフィルタリング出力をウィンドウ生成する、請求項32~33のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項35)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号との混合のウィンドウ生成されたフィルタリング出力の周波数ドメイン変換行列を生成する、請求項32~34のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項36)
前記呼吸信号を検出せよとの命令は、前記ダウンコンバータによって生成されたデータマトリックスの複数のチャンネルから振幅および位相情報を抽出することを含む、請求項31~35のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項37)
前記呼吸信号を検出せよとの命令は、前記データマトリックスから複数の特徴を計算することをさらに含む、請求項36に記載のプロセッサにより読取可能な媒体。
(請求項38)
前記複数の特徴は、(a)フルバンドメトリックと2乗されたインバンド、(b)インバンドメトリック、(c)尖度メトリック、および(d)周波数ドメイン分析メトリック、のうち任意の1つ以上を含む、請求項37に記載のプロセッサにより読取可能な媒体。
(請求項39)
前記呼吸信号を検出せよとの命令は、前記複数の特徴に基づいて呼吸速度を生成する、請求項38に記載のプロセッサにより読取可能な媒体。
(請求項40)
前記プロセッサ実行可能命令は、
身体動きの音声に基づいた検出を前記電子処理デバイスの1つ以上の特性の評価により較正せよとの命令と、
前記音声信号を前記評価に基づいて生成せよとの命令とをさらに含む、請求項1~39のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項41)
前記音声に基づいた検出を計算せよとの命令は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定する、請求項40に記載のプロセッサにより読取可能な媒体。
(請求項42)
前記プロセッサ実行可能命令は、
ペットセットアップモードを作動させよとの命令をさらに含み、前記音声信号を生成するための周波数は、ユーザ入力に基づいて選択され、1つ以上の試験音声信号が生成される、請求項1~41のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項43)
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の検出に基づいて前記音声信号の生成を停止せよとの命令であって、前記検出されたユーザ対話は、加速度計による前記電子処理デバイスの動きの検出、ボタン押圧の検出、画面接触の検出、電話着信の検出のうち任意の1つ以上を含む、命令、をさらに含む、請求項1~42のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項44)
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の不在の検出に基づいて前記音声信号の生成を開始せよとの命令をさらに含む、請求項1~43のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項45)
前記プロセッサ実行可能命令は、
前記ユーザから反射された、前記感知された音声信号の処理に基づいて全身の動きを検出せよとの命令、をさらに含む、請求項1~44のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項46)
前記プロセッサ実行可能命令は、
前記マイクロフォンを介して感知された音声信号を処理して環境音声、会話音声および呼吸音のうち任意の1つ以上を評価することでユーザ動きを検出せよとの命令、をさらに含む、請求項1~45のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項47)
前記プロセッサ実行可能命令は、
(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階のうち任意の1つ以上を決定するように呼吸信号を処理せよとの命令をさらに含む、請求項1~46のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項48)
前記プロセッサ実行可能命令は、
前記電子処理デバイスの近隣の音声周波数の検出および前記検出された音声周波数と異なる前記音声信号の周波数範囲の選択が行われるセットアップモードを動作させよとの命令、をさらに含む、請求項1~47のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項49)
前記セットアップモードを作動させよとの命令は、前記検出された音声周波数と重複していない周波数範囲を選択する、請求項48に記載のプロセッサにより読取可能な媒体。
(請求項50)
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとの命令を受信するように構成される、サーバ。
(請求項51)
モバイル電子デバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請求項1~49のうちいずれか一項に記載のプロセッサにより読取可能な媒体とを含む、モバイル電子デバイス。
(請求項52)
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体へアクセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとのリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサ実行可能命令を前記電子処理デバイスへ送信することとを含む、方法。
(請求項53)
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体にプロセッサからアクセスすることと、
前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を前記プロセッサにおいて実行することと、を含む、方法。
(請求項54)
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
前記モバイル電子デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御することと、
前記モバイル電子デバイスへ接続されたマイクロフォンを介して前記ユーザから反射された音声信号の感知を制御することと、
前記感知された反射された音声信号を処理することと、
前記処理された反射された音声信号から呼吸信号を検出することと、を含む、方法。
(請求項55)
モバイル電子デバイスを用いて動きおよび呼吸を検出する方法であって、
前記モバイル電子デバイス上のスピーカを介して音声信号をユーザへ送信することと、
反射された音声信号を前記モバイル電子デバイス上のマイクロフォンを介して感知することであって、前記反射された音声信号は、前記ユーザから反射される、ことと、
前記反射された音声信号から呼吸および動き信号を検出することと、を含む、方法。
(請求項56)
前記音声信号は非可聴音声信号である、請求項55に記載の方法。
(請求項57)
送信の前に、FMCW変調スキーム、FHRG変調スキーム、AFHRG変調スキーム、CW変調スキーム、UWB変調スキームまたはACW変調スキームのうち1つを用いて前記音声信号を変調させる、請求項55に記載の方法。
(請求項58)
前記音声信号は、フレームとして送信される複数の周波数対を含む、変調された低周波超音波音声信号である。請求項55~57のうちいずれか一項に記載の方法。
(請求項59)
前記反射された音声信号が感知された際、前記反射された音声信号を復調させることであって、
前記反射された音声信号へフィルタ動作を行うことと、
前記フィルタリングされた反射された音声信号および前記送信された音声信号のタイミングを同期させることと、を含む、復調させることをさらに含む、請求項55に記載の方法。
(請求項60)
前記音声信号を生成することは、
前記モバイル電子デバイスの1つ以上の特性を評価するための較正機能を行うことと、
前記較正機能に基づいて前記音声信号を生成することと、を含む、請求項55~59のうちいずれか一項に記載の方法。
(請求項61)
前記較正機能は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定するように構成される、請求項60に記載の方法。
(請求項62)
前記フィルタ動作はハイパスフィルタ動作である、請求項59に記載の方法。
(請求項63)
動きおよび呼吸を検出する方法であって、
ユーザへ方向付けられる音声信号を生成することと、
前記ユーザから反射された音声信号を感知することと、
前記感知された反射された音声信号から呼吸および動き信号を検出することと、を含む、方法。
(請求項64)
前記生成すること、送信すること、感知することおよび検出することは、ベッドサイドデバイスにおいて行われる、請求項63に記載の方法。
(請求項65)
前記ベッドサイドデバイスはCPAPデバイスである、請求項64に記載の方法。