IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ レスメッド センサー テクノロジーズ リミテッドの特許一覧

特許7110183音声信号およびマルチモード信号から生理学的動きを検出するための装置、システムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-22
(45)【発行日】2022-08-01
(54)【発明の名称】音声信号およびマルチモード信号から生理学的動きを検出するための装置、システムおよび方法
(51)【国際特許分類】
   G10L 25/66 20130101AFI20220725BHJP
   A61B 5/08 20060101ALI20220725BHJP
【FI】
G10L25/66
A61B5/08
【請求項の数】 40
(21)【出願番号】P 2019515446
(86)(22)【出願日】2017-09-19
(65)【公表番号】
(43)【公表日】2020-01-09
(86)【国際出願番号】 EP2017073613
(87)【国際公開番号】W WO2018050913
(87)【国際公開日】2018-03-22
【審査請求日】2020-09-16
(31)【優先権主張番号】62/396,616
(32)【優先日】2016-09-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508354647
【氏名又は名称】レスメッド センサー テクノロジーズ リミテッド
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100107319
【氏名又は名称】松島 鉄男
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100170379
【弁理士】
【氏名又は名称】徳本 浩一
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(74)【代理人】
【識別番号】100096769
【弁理士】
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】マクマホン,スティーヴン
(72)【発明者】
【氏名】オローク,ダミアン
(72)【発明者】
【氏名】ザッファローニ,アルベルト
(72)【発明者】
【氏名】ショルディス,レドモンド
(72)【発明者】
【氏名】フェイガン,トニー
(72)【発明者】
【氏名】フォックス,ナイル
(72)【発明者】
【氏名】オマホニー,ナイル
(72)【発明者】
【氏名】ライオン,グレアム
【審査官】山下 剛史
(56)【参考文献】
【文献】国際公開第2016/093927(WO,A2)
【文献】特開2008-222(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00-25/93
A61B 5/08
(57)【特許請求の範囲】
【請求項1】
プロセッサ実行可能命令が保存されたプロセッサにより読取可能な媒体であって、前記プロセッサ実行可能命令は、プロセッサによって実行されると、前記プロセッサにユーザの生理学的動きを検出させ、前記プロセッサ実行可能命令は、
電子処理デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御せよとの命令と、
前記電子処理デバイスへ接続されたマイクロフォンを介してユーザから反射された音声信号の感知を制御せよとの命令と、
前記感知された音声信号を処理せよとの命令と、
前記処理された音声信号から呼吸信号を検出せよとの命令と、を含み、
前記音声信号は、角波形または正弦波形を形成する周波数が変化する、位相が連続する反復波形含む、プロセッサにより読取可能な媒体。
【請求項2】
前記音声信号は非可聴音レンジ内にある、請求項1に記載のプロセッサにより読取可能な媒体。
【請求項3】
前記プロセッサ実行可能命令は、パルスを形成する音声ペアを含む生成及び反射された音声信号から呼吸信号を検出する命令を更に含み、前記生成及び反射された音声信号はフレームのシーケンスを含み、各フレームは一連の音色ペアを含み、各音色ペアは、前記フレーム内の各時間スロットと関連付けられる、請求項1または2に記載のプロセッサにより読取可能な媒体。
【請求項4】
パルスを形成する前記音色ペアは、第1の周波数および第2の周波数を含み、前記第1の周波数および第2の周波数は異なる、請求項3に記載のプロセッサにより読取可能な媒体。
【請求項5】
(a)前記フレーム内の一連の音色ペアは、第1の音色ペアおよび第2の音色ペアを含み、前記第1の音色ペアの周波数は、前記第2の音色ペアの周波数と異なり、(b)前記フレームの時間スロットの音色ペアは、前記時間スロットの開始部および終了部においてゼロ振幅を有し、前記開始部と前記終了部との間のピーク振幅に対しておよび前記ピーク振幅からランピング振幅を有する、請求項3または4に記載のプロセッサにより読取可能な媒体。
【請求項6】
前記フレームの時間幅は変動するものであり、(a)前記時間幅は前記フレームのスロット幅であるか、または(b)前記時間幅は前記フレームの幅である、請求項3~5のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項7】
スロットのフレームの音色ペアのシーケンスは、前記フレームの異なるスロットに対して異なる周波数のパターンを形成する、請求項~6のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項8】
(a)前記異なる周波数のパターンは、複数のフレームにおいて反復されるか、または(b)前記異なる周波数のパターンは、スロットの複数のフレーム中のスロットの異なるフレームについて変化される、請求項7に記載のプロセッサにより読取可能な媒体。
【請求項9】
記音声信号の生成を制御せよとの命令は、音色ペアフレーム変調器を含む、および/または、前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、フレームバッファを含む、請求項~8のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項10】
前記ユーザから反射された前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含む1つ以上のベースバンド動き信号を生成する復調器を含む、請求項1~9のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項11】
前記フレームの各時間スロットの持続期間は、前記音色ペア間の周波数差によって除算されたものに等しい、請求項3に記載のプロセッサにより読取可能な媒体。
【請求項12】
前記音声信号は、前記正弦波形を含む、請求項1または2に記載のプロセッサにより読取可能な媒体。
【請求項13】
前記音声信号は、前記三角波形である、請求項1または2に記載のプロセッサにより読取可能な媒体。
【請求項14】
前記音声信号は、非可聴な音声信号を形成する、周波数が変化する位相が連続した反復した三角波形を含む、請求項12に記載のプロセッサにより読取可能な媒体。
【請求項15】
前記反復波形の形態の1つ以上のパラメータを変化させよとの命令をさらに含み、前記1つ以上のパラメータは、(a)前記反復波形の反復部分のピーク位置、(b)前記反復波形の反復部分の傾斜部分の勾配、および(c)前記反復波形の反復部分の周波数範囲、のうち任意の1つ以上を含む、請求項12~14のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項16】
記三角波形は、対称な三角波形である、請求項13または14に記載のプロセッサにより読取可能な媒体。
【請求項17】
(a)前記感知された音声信号の処理を制御せよとの命令は、前記生成された音声信号を前記感知された音声信号と相関付けて同期をチェックすることを含む、および/または、(b)前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含むデータを生成するダウンコンバータを含む、請求項1~16のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項18】
(a)前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号との混合のウィンドウ生成されたフィルタリング出力の周波数ドメイン変換行列を生成する、および/または、(b)前記呼吸信号を検出せよとの命令は、前記ダウンコンバータによって生成されたデータマトリックスの複数のチャンネルから振幅および位相情報を抽出することを含む、請求項17に記載のプロセッサにより読取可能な媒体。
【請求項19】
前記呼吸信号を検出せよとの命令は、前記データマトリックスから複数の特徴を計算することをさらに含み、前記複数の特徴は、(a)フルバンドメトリックと2乗されたインバンド、(b)インバンドメトリック、(c)尖度メトリック、および(d)周波数ドメイン分析メトリック、のうち任意の1つ以上を含む、請求項18に記載のプロセッサにより読取可能な媒体。
【請求項20】
前記プロセッサ実行可能命令は、
身体動きの音声に基づいた検出を前記電子処理デバイスの1つ以上の特性の評価により較正せよとの命令と、
前記音声信号を前記評価に基づいて生成せよとの命令とをさらに含む、請求項1~19のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項21】
前記プロセッサ実行可能命令は、
ペットセットアップモードを作動させよとの命令をさらに含み、前記音声信号を生成するための周波数は、ユーザ入力に基づいて選択され、1つ以上の試験音声信号が生成される、請求項1~20のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項22】
前記プロセッサ実行可能命令は、
(a)前記電子処理デバイスとのユーザ対話の検出に基づいて前記音声信号の生成を停止せよとの命令であって、前記検出されたユーザ対話は、加速度計による前記電子処理デバイスの動きの検出、ボタン押圧の検出、画面接触の検出、電話着信の検出のうち任意の1つ以上を含む、命令、および/または、
(b)前記電子処理デバイスとのユーザ対話の不在の検出に基づいて前記音声信号の生成を開始せよとの命令をさらに含む、請求項1~21のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項23】
前記プロセッサ実行可能命令は、
前記ユーザから反射された、前記感知された音声信号の処理に基づいて全身の動きを検出せよとの命令、をさらに含む、請求項1~22のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項24】
前記プロセッサ実行可能命令は、
(1)前記マイクロフォンを介して感知された音声信号を処理して環境音声、会話音声および呼吸音のうち任意の1つ以上を評価することでユーザ動きを検出せよとの命令、をさらに含む、および/または、
(2)(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階のうち任意の1つ以上を決定するように呼吸信号を処理せよとの命令をさらに含む、請求項1~23のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項25】
前記プロセッサ実行可能命令は、
前記電子処理デバイスの近隣の音声周波数の検出および前記検出された音声周波数と異なる前記音声信号の周波数範囲の選択が行われるセットアップモードを動作させよとの命令、をさらに含む、請求項1~24のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
【請求項26】
前記セットアップモードを作動させよとの命令は、前記検出された音声周波数と重複していない周波数範囲を選択する、請求項25に記載のプロセッサにより読取可能な媒体。
【請求項27】
請求項1~26のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとの命令を受信するように構成される、サーバ。
【請求項28】
モバイル電子デバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請求項1~27のうちいずれか一項に記載のプロセッサにより読取可能な媒体とを含む、モバイル電子デバイス。
【請求項29】
請求項1~26のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体へアクセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとのリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサ実行可能命令を前記電子処理デバイスへ送信することとを含む、方法。
【請求項30】
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
請求項1~26のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体にプロセッサからアクセスすることと、
前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を前記プロセッサにおいて実行することと、を含む、方法。
【請求項31】
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
前記モバイル電子デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御することと、
前記モバイル電子デバイスへ接続されたマイクロフォンを介して前記ユーザから反射された音声信号の感知を制御することと、
前記感知された反射された音声信号を処理することと、
前記処理された反射された音声信号から呼吸信号を検出することと、を含み、
前記音声信号は、角波形または正弦波形を形成する周波数が変化する、位相が連続する反復波形含む、方法。
【請求項32】
前記音声信号は、前記三角波形を形成する前記周波数が変化する反復波形を含む、請求項31に記載の方法。
【請求項33】
モバイル電子デバイスを用いて動きおよび呼吸を検出する方法であって、
前記モバイル電子デバイス上のスピーカを介して音声信号をユーザへ送信することと、
反射された音声信号を前記モバイル電子デバイス上のマイクロフォンを介して感知することであって、前記反射された音声信号は、前記ユーザから反射される、ことと、
前記反射された音声信号から呼吸および動き信号を検出することと、を含み、
前記音声信号は、角波形または正弦波形を形成する周波数が変化する、位相が連続する反復波形含む、方法。
【請求項34】
前記音声信号は非可聴音声信号である、請求項33に記載の方法。
【請求項35】
前記音声信号は、非可聴な音声信号を形成する、周波数が変化する位相が連続した反復した三角波形を含む、請求項33または34に記載の方法。
【請求項36】
送信の前に、FMCW変調スキーム、FHRG変調スキーム、AFHRG変調スキーム、CW変調スキーム、UWB変調スキームまたはACW変調スキームのうち1つを用いて前記音声信号を変調させる、請求項33~35のうちいずれか一項に記載の方法。
【請求項37】
前記音声信号を生成することは、
前記モバイル電子デバイスの1つ以上の特性を評価するための較正機能を行うことと、
前記較正機能に基づいて前記音声信号を生成することと、を含む、請求項33~36のうちいずれか一項に記載の方法。
【請求項38】
動きおよび呼吸を検出する方法であって、
ユーザへ方向付けられる音声信号を生成することと、
前記ユーザから反射された音声信号を感知することと、
前記感知された反射された音声信号から呼吸および動き信号を検出することと、を含み、前記音声信号は、角波形または正弦波形を形成する周波数が変化する、位相が連続する反復波形含む、方法。
【請求項39】
前記生成すること、送信すること、感知することおよび検出することは、ベッドサイドデバイスまたはCPAPデバイスにおいて行われる、請求項38に記載の方法。
【請求項40】
前記音声信号は、非可聴な音声信号を形成する周波数が変化する位相が連続した反復した三角波形を含む、請求項38または39に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
1 関連出願への相互参照
本出願は、米国仮特許出願第62/396,616号(出願日:2016年9月19日)の利益を主張する。本明細書中、同文献全体を参考により援用する。
【0002】
2 技術の背景
2.1 技術の分野
本技術は、生体に関連する身体の動きの検出に関する。より詳細には、本技術は、生理学的動き(例えば、呼吸の動き、心臓動きおよび/または他の周期性の低い生体の身体動き)の音声感知の利用に関する。
【背景技術】
【0003】
2.2 関連技術の説明
例えば睡眠時において人の呼吸および身体(手足を含む)の動きを監視すると、多数の様態において有用であり得る。例えば、このような監視は、睡眠疾患呼吸の状態(例えば、睡眠無呼吸)の監視および/または診断において有用であり得る。従来、アクティブ無線測位またはレンジング用途の導入の障壁として、特殊なハードウェア回路およびアンテナが必要になる点がある。
【0004】
スマートフォンおよび他のポータブル電子通信デバイスは、陸上通信線の利用が不可能な発展途上国においても、日常生活において普遍的なものになっている。身体の動き(すなわち、生理学的動き)の監視を特殊な装置の必要無く効率的かつ有効な様態で行う方法が、所望されている。このようなシステムおよび方法の実現は、相当な技術的課題を扱うことである。
【発明の概要】
【0005】
3 技術の簡単な説明
本技術は、例えば対象が睡眠中のときの対象の動きを検出するシステム、方法および装置に関する。このような動き検出(例えば、例えば呼吸の動き、対象の動き)に基づいて、睡眠関連特性、睡眠状態および/または無呼吸イベントが検出され得る。より詳細には、モバイルデバイス(例えば、スマートフォン、タブレット)に関連するモバイルアプリケーションにおいて、呼吸および動きの検出のためにモバイルデバイスセンサー(例えば、一体型かつ/または外部から接続可能な、スピーカおよびマイクロフォン)が用いられる。
【0006】
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含み得る。この媒体上には、プロセッサ実行可能命令が保存される。これらの命令がプロセッサによって実行されると、プロセッサは、ユーザの生理学的動きを検出する。プロセッサ実行可能命令は、電子処理デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御せよとの命令を含み得る。プロセッサ実行可能命令は、ユーザから反射された音声信号の感知を電子処理デバイスへ接続されたマイクロフォンを介して制御せよとの命令を含み得る。プロセッサ実行可能命令は、感知された音声信号を処理せよとの命令を含み得る。プロセッサ実行可能命令は、処理された音声信号から呼吸信号を検出せよとの命令を含み得る。
【0007】
いくつかのバージョンにおいて、音声信号は、非可聴音レンジ内にあり得る。音声信号は、パルスを形成する音色ペアを含み得る。音声信号は、フレームのシーケンスを含み得る。シーケンスのフレームはそれぞれ、一連の音色ペアを含み得る。これら一連の音色ペアにおいて、各音色ペアは、フレーム内の各時間スロットと関連付けられる。音色ペアは、第1の周波数および第2の周波数を含み得る。第1の周波数および第2の周波数は、異なり得る。第1の周波数および第2の周波数は、相互に直交し得る。フレーム中の一連の音色ペアは、第1の音色ペアおよび第2の音色ペアを含み得る。第1の音色ペアの周波数は、第2の音色ペアの周波数と異なり得る。フレームの時間スロットの音色ペアは、時間スロットの開始部および終了部においてゼロ振幅を有し得、開始部と終了部との間のピーク振幅に対しておよび開始部と終了部との間のピーク振幅からランピング振幅を有し得る。
【0008】
いくつかのバージョンにおいて、フレームの時間幅は変動し得る。時間幅は、フレームのスロット幅であり得る。時間幅は、フレームの幅であり得る。スロットのフレームの音色ペアのシーケンスは、フレームの異なるスロットに対して異なる周波数のパターンを形成し得る。異なる周波数のパターンは、複数のフレームにおいて反復し得る。異なる周波数のパターンは、スロットの複数のフレーム中のスロットの異なるフレームに合わせて変化し得る。
【0009】
いくつかのバージョンにおいて、音声信号の生成を制御せよとの命令は、音色ペアフレーム変調器を含み得る。ユーザから反射された音声信号の感知を制御せよとの命令は、フレームバッファを含み得る。ユーザから反射された感知された音声信号を処理せよとの命令は、呼吸信号を含む1つ以上のベースバンド動き信号を生成する復調器を含み得る。復調器は、複数のベースバンド動き信号を生成し得る。複数のベースバンド動き信号は、直交ベースバンド動き信号を含み得る。
【0010】
いくつかのバージョンにおいて、プロセッサにより読取可能な媒体は、複数のベースバンド動き信号の処理のためのプロセッサ実行可能命令を含み得る。複数のベースバンド動き信号の処理のためのプロセッサ実行可能命令は、複数のベースバンド動き信号から組み合わされたベースバンド動き信号を生成するために、中間周波数処理モジュールおよび最適化処理モジュールを含み得る。組み合わされたベースバンド動き信号は、呼吸信号を含み得る。いくつかのバージョンにおいて、呼吸信号を検出せよとの命令は、組み合わされたベースバンド動き信号から呼吸速度を決定することを含み得る。音声信号いくつかのバージョンにおいて、フレームの各時間スロットの持続期間は、音色ペア間の周波数差によって除算されたものに等しい。
【0011】
本技術のいくつかのバージョンにおいて、音声信号は、周波数が変化する反復波形を含み得る。反復波形は、位相連続であり得る。周波数が変化する反復波形は、鋸歯、三角形および正弦波形のうち1つを含み得る。プロセッサにより読取可能な媒体は、反復波形の形態の1つ以上のパラメータを変化させよとの命令を含む、プロセッサ実行可能命令をさらに含み得る。1つ以上のパラメータは、以下のうち任意の1つ以上を含み得る:(a)反復波形の反復部分のピーク位置、(b)反復波形の反復部分の傾斜部分の勾配、および(c)反復波形の反復部分の周波数範囲。いくつかのバージョンにおいて、反復波形の反復部分は、反復部分の周波数を変化させる線形関数または曲線関数であり得る。いくつかのバージョンにおいて、周波数が変化する反復波形は、対称な三角波形を含み得る。いくつかのバージョンにおいて、音声信号の生成を制御せよとの命令は、反復波形の波形を示す音声データをループさせよとの命令を含む。ユーザから反射された音声信号の感知を制御せよとの命令は、マイクロフォンからサンプリングされた音声データを保存せよとの命令を含み得る。感知された音声信号の処理を制御せよとの命令は、生成された音声信号と、感知された音声信号とを同期確認のために相関付けよとの命令を含み得る。
【0012】
いくつかのバージョンにおいて、感知された音声信号を処理せよとの命令は、呼吸信号を含むデータを生成するダウンコンバータを含み得る。ダウンコンバータは、生成された音声信号を示す信号と、感知された音声信号とを混合し得る。ダウンコンバータは、生成された音声信号を示す信号と、感知された音声信号との混合の出力をフィルタリングし得る。ダウンコンバータは、生成された音声信号を示す信号と、感知された音声信号との混合のフィルタリング出力をウィンドウ生成し得る。ダウンコンバータは、生成された音声信号を示す信号と、感知された音声信号との混合のウィンドウ生成されたフィルタリング出力の周波数ドメイン変換行列を生成し得る。呼吸信号を検出せよとのプロセッサ実行可能命令は、ダウンコンバータによって生成されたデータマトリックスの複数のチャンネルから振幅および位相情報を抽出し得る。呼吸信号を検出せよとのプロセッサ実行可能命令は、データマトリックスから複数の特徴を計算せよとのプロセッサ実行可能命令をさらに含み得る。複数の特徴は、任意の1つ以上を含み得る:(a)フルバンドメトリックと2乗されたインバンド、(b)インバンドメトリック、(c)尖度メトリック、および(d)周波数ドメイン分析メトリック。呼吸信号を検出せよとのプロセッサ実行可能命令は、複数の特徴に基づいて呼吸速度を生成し得る。
【0013】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、身体動きの音声に基づいた検出を電子処理デバイスの1つ以上の特性の評価により較正せよとの命令をさらに含み得る。プロセッサ実行可能命令は、音声信号を評価に基づいて生成せよとの命令をさらに含み得る。音声に基づいた検出を較正せよとの命令は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定し得る。プロセッサ実行可能命令は、ペットセットアップモードを作動させよとの命令をさらに含み得る。音声信号を生成するための周波数は、1つ以上の試験音声信号を生成するためのユーザ入力に基づいて選択され得る。
【0014】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、電子処理デバイスとのユーザ対話の検出に基づいて音声信号の生成を停止せよとの命令をさらに含み得る。検出されたユーザ対話は、以下のうち任意の1つ以上を含み得る:加速度計による電子処理デバイスの動きの検出、ボタン押圧の検出、画面接触の検出、電話着信の検出。プロセッサ実行可能命令は、電子処理デバイスとのユーザ対話の不在の検出に基づいて音声信号の生成を開始せよとの命令をさらに含み得る。
【0015】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、ユーザから反射された、感知された音声信号の処理に基づいて全身の動きを検出せよとの命令をさらに含み得る。いくつかのバージョンにおいて、プロセッサ実行可能命令は、マイクロフォンを介して感知された音声信号を処理して環境音声、会話音声および呼吸音のうち任意の1つ以上を評価することでユーザ動きを検出せよとの命令をさらに含み得る。いくつかのバージョンにおいて、プロセッサ実行可能命令は、以下のうち任意の1つ以上を決定するために呼吸信号を処理せよとの命令をさらに含み得る:(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階。
【0016】
いくつかのバージョンにおいて、プロセッサ実行可能命令は、電子処理デバイスの近隣の音声周波数の検出および検出された音声周波数と異なる音声信号の周波数範囲の選択が行われるセットアップモードを作動させよとの命令をさらに含み得る。いくつかのバージョンにおいて、セットアップモードを作動させよとの命令は、検出された音声周波数と重複していない周波数範囲を選択し得る。
【0017】
本技術のいくつかのバージョンにおいて、サーバは、本明細書中に記載のプロセッサにより読取可能な媒体のいずれかへアクセスし得る。サーバは、プロセッサにより読取可能な媒体(単数または複数)のプロセッサ実行可能命令をネットワークを介して電子処理デバイスへダウンロードせよとのリクエストを受信するように、構成され得る。
【0018】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスまたは電子処理デバイスは、1つ以上のプロセッサと、1つ以上のプロセッサへ接続されたスピーカと、1つ以上のプロセッサへ接続されたマイクロフォンと、本明細書中に記載のプロセッサにより読取可能な媒体のいずれかのプロセッサにより読取可能な媒体とを含み得る。
【0019】
本技術のいくつかのバージョンにおいて、本明細書中に記載のプロセッサにより読取可能な媒体のうちいずれかへのアクセスを有する方法が用いられる。本方法は、プロセッサにより読取可能な媒体のプロセッサ実行可能命令をネットワークを介して電子処理デバイスへダウンロードせよとのリクエストをサーバにおいて受信することを含み得る。本方法は、リクエストに応答してプロセッサ実行可能命令を電子処理デバイスへ送信することも含み得る。
【0020】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法が用いられる。本方法は、本明細書中に記載のプロセッサ可読媒体のうちいずれかへ、プロセッサを用いてアクセスすることを含み得る。本方法は、プロセッサ可読媒体(単数または複数)のプロセッサ実行可能命令のうちいずれかを、プロセッサにおいて実行することを含み得る。
【0021】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法が用いられる。本方法は、モバイル電子デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御することを含み得る。本方法は、ユーザから反射された音声信号をモバイル電子デバイスへ接続されたマイクロフォン介して感知することを制御することを含み得る。本方法は、感知された反射された音声信号を処理することを含み得る。本方法は、処理された反射された音声信号から呼吸信号を検出することを含み得る。
【0022】
本技術のいくつかのバージョンにおいて、モバイル電子デバイスを用いて動きおよび呼吸を検出する方法が用いられる。本方法は、モバイル電子デバイス上のスピーカを介して音声信号をユーザへ送信することを含み得る。本方法は、反射された音声信号をモバイル電子デバイス上のマイクロフォンを介して感知することを含み得る。反射された音声信号は、ユーザから反射される。本方法は、反射された音声信号から呼吸および動き信号を検出することを含み得る。音声信号は、非可聴音声信号または可聴音声信号であり得る。いくつかのバージョンにおいて、方法は、送信の前に、FMCW変調スキーム、FHRG変調スキーム、AFHRG変調スキーム、CW変調スキーム、UWB変調スキームまたはACW変調スキームのうち1つを用いて音声信号を変調させることを含み得る。任意選択的に、音声信号は、変調された低周波超音波音声信号であり得る。この信号は、フレームとして送信される複数の周波数対を含み得る。いくつかのバージョンにおいて、反射された音声信号が感知された際、方法は、反射された音声信号を復調させることを含み得る。この復調は、反射された音声信号へフィルタ動作を行うことと、フィルタリングされた反射された音声信号および送信された音声信号のタイミングを同期させることとを含み得る。いくつかのバージョンにおいて、音声信号を生成することは、モバイル電子デバイスの1つ以上の特性を評価するための較正機能を行うことと、較正機能に基づいて音声信号を生成することとを含み得る。較正機能は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定するように、構成され得る。フィルタ動作は、ハイパスフィルタ動作を含み得る。
【0023】
本技術のいくつかのバージョンにおいて、動きおよび呼吸を検出する方法が用いられる。本方法は、ユーザへ方向付けられる音声信号を生成することを含み得る。本方法は、ユーザから反射された音声信号を感知することを含み得る。本方法は、感知された反射された音声信号から呼吸および動き信号を検出することを含み得る。いくつかのバージョンにおいて、生成すること、送信すること、感知することおよび検出することは、ベッドサイドデバイスにおいて行われ得る。任意選択的に、ベッドサイドデバイスは、治療デバイス(例えば、CPAPデバイス)であり得る。
【0024】
本明細書中に記載される方法、システム、デバイスおよび装置により、プロセッサにおける機能(例えば、汎用または特定目的用コンピュータ、携帯用コンピュータ処理装置(例えば、携帯電話、タブレットコンピュータなど)、呼吸モニターおよび/またはマイクロフォンおよびスピーカを利用するその他の呼吸装置のプロセッサの機能)の向上が可能になり得る。さらに、記載の方法、システム、デバイスおよび装置により、呼吸状態および睡眠状態(例えば、睡眠無呼吸)の自動管理、監視および/または予防および/または評価の技術分野における向上が可能になる。
【0025】
もちろん、上記態様の一部は、本技術の下位態様を形成し得る。また、下位態様および/または態様のうち多様な1つを多様に組み合わせることができ、本技術のさらなる態様または下位態様も構成し得る。
【0026】
本技術の他の特徴は、以下の詳細な説明、要約、図面および特許請求の範囲中に含まれる情報に鑑みれば明らかになる。
【図面の簡単な説明】
【0027】
本技術を、添付図面中に非限定的に一実施例として例示する。図面中、類似の参照符号は、以下の類似の要素を含む。
【0028】
図1図1は、本技術のプロセスの具現に適し得る、睡眠者からの音声情報を受信する例示的処理デバイスを示す。
図2図2は、本技術の一実施例によるシステムの模式図である。
図2A図2Aは、本技術の態様の実行のためのシステムの高レベル構造ブロック図である。
図3図3は、本技術のいくつかの形態に従って構成されたモバイル機器の概念図である。
図4図4は、例示的なFHRGソナーフレームを示す。
図5図5は、AFHRGトランシーバフレームの例を示す。
図6A】パルス駆動型AFHRGフレームの例を示す。
図6B】パルス駆動型AFHRGフレームの例を示す。
図6C】パルス駆動型AFHRGフレームの例を示す。
図7図7は、(A)FHRGアーキテクチャの概念図である。
図8図8は、等方性の無指向性アンテナ対指向性アンテナの例を示す。
図9図9は、sincフィルタ応答の例を示す。
図10図10は、sincフィルタの減衰特性の例を示す。
図11図11は、ベースバンド呼吸信号の例を示すグラフである。
図12図12は、トレーニング音フレームとの初期同期の例を示す。
図13図13は、中間周波数を用いたAFHRGフレームの例を示す。
図14図14は、AToFフレームの例を示す。
図15A】可聴バージョンのFMCW傾斜シーケンスの例の信号特性を示す。
図15B】可聴バージョンのFMCW傾斜シーケンスの例の信号特性を示す。
図15C】可聴バージョンのFMCW傾斜シーケンスの例の信号特性を示す。
図16A】FMCW正弦波プロファイルの例の信号特性を示す。
図16B】FMCW正弦波プロファイルの例の信号特性を示す。
図16C】FMCW正弦波プロファイルの例の信号特性を示す。
図17図17は、三角波形の形態の例示的な音声信号(例えば、非可聴音声)の信号特性を示す。
図18A-18B】図18Aおよび図18Bは、図17のスマートデバイスのラウドスピーカから出射された非可聴三角形から検出呼吸波形への復調を図18Aに示す上方傾斜部分処理および図18Bに示す下方傾斜部分処理を用いて行うことを示す。
図19図19は、FMCW処理フローオペレータ/モジュール(「2D」(二次元)信号処理を含む)の例示的方法を示す。
図20図20は、図19のFMCW処理フローの一部として、ダウンコンバージョンオペレータ/モジュールの例示的方法を示す。
図21図21は、図19のFMCW処理フローの一部であり得る、2D分析オペレータ/モジュールの例示的方法を示す。
図22図22は、不在/存在オペレータ/モジュールにより不在/存在の検出を行う方法を示す。
図23A図23Aは、人がデバイス100の多様な感知範囲の内外に出入りするデータの「2D」セグメントにおける多様な検出範囲における経時的感知動作を示すグラフ上のいくつかの信号を示す。
図23B図23Bは、図23Aからの領域BBを示す、図23Aのグラフの信号の一部を示す。
図23C図23Cは、図23Aからの領域CCを示す、図23Aのグラフの信号の一部を示す。
【発明を実施するための形態】
【0029】
本技術についてさらに詳細に説明する前に、本技術は、本明細書中に記載される異なり得る特定の実施例に限定されるのではないことが理解されるべきである。本開示中に用いられる用語は、本明細書中に記載される特定の実施例を説明する目的のためのものであり、限定的なものではないことも理解されるべきである。
【0030】
以下の記載は、共通の特性または特徴を共有し得る本技術の多様な形態に関連して提供される。任意の一形態の1つ以上の特徴は、別の形態または他の形態の1つ以上の特徴と組み合わせることが可能であることが理解されるべきである。加えて、これらの形態のうちのいずれかにおける任意の単一の特徴または特徴の組み合わせは、さらなる例示的形態を構成し得る。
【0031】
5.1 スクリーニング、監視および診断
本技術は、例えば対象が睡眠中のときの対象の動き(例えば、呼吸の動きおよび/または心臓に関連する胸部動き)を検出するためのシステム、方法および装置に関する。このような呼吸および/または他の動きの検出に基づいて、対象の睡眠状態および無呼吸イベントが検出され得る。より詳細には、モバイルデバイス(例えば、スマートフォン、タブレット)に関連するモバイルアプリケーションにおいて、このような動きを検出するためにモバイルデバイスセンサー(例えば、スピーカおよびマイクロフォン)が用いられる。
【0032】
以下、本技術の実行に適した例示的システムについて、図2に最良に示すような図1図3を参照して説明する。モバイルデバイス100またはモバイル電子デバイスは、対象110の動きを検出するためのアプリケーション200と共に構成され、対象110の近隣のベッドサイドテーブル上に配置され得る。モバイルデバイス100は、例えば1つ以上のプロセッサを有するスマートフォンまたはタブレットであり得る。プロセッサ(単数または複数)は、特に、アプリケーション200の機能を実行するように構成され得る(例えば、(例えばデバイスの近隣の室内の)概してオープンのまたは無制限の媒体としての空気を通じて典型的に音声信号を生成および送信させ、送信された信号を例えばトランスデューサ(例えば、マイクロフォン)により感知することにより信号反射を受信し、感知された信号を処理して、身体動きパラメータおよび呼吸パラメータを決定すること)。モバイルデバイス100は、他の成分のうち、スピーカおよびマイクロフォンを含み得る。スピーカは、反射された信号を受信するために、生成された音声信号およびマイクロフォンを送信するために用いられ得る。任意選択的に、モバイルデバイスの音声ベースの感知方法は、他の種類のデバイス(例えば、ベッドサイドデバイス(例えば、呼吸治療デバイス(例えば、持続的陽圧気道圧力(例えば、「CPAP」)デバイスまたは高流量治療デバイス)))中においてまたはそのようなデバイスにより、実行され得る。このようなデバイスの例を挙げると、圧力デバイスまたは送風機(例えば、ボリュート中のモータおよびインペラ)、圧力デバイスまたは送風機の1つ以上のセンサーおよび中央制御装置について、国際特許公開WO/2015/061848(出願番号PCT/AU2014/050315)(出願日:2014年10月28日)および国際特許公開WO/2016/145483(出願番号PCT/AU2016/050117)(出願日:2016年3月14日)に記載のデバイスが検討され得る。本明細書中、同文献全体を参考のため援用する。
【0033】
図2Aは、本技術の態様を実行するためのシステムの高レベル構造ブロック図である。本システムは、例えばモバイルデバイス100中において実行され得る。信号生成成分210は、対象へ送信される音声信号を生成するように構成され得る。本明細書中に記載のように、信号は、可聴または非可聴であり得る。例えば、本明細書中により詳細に述べるように、音声信号は、いくつかのバージョンにおいて、低周波超音波範囲(例えば、約17キロヘルツ(KHz)~23KHzまたは約18KHz~22KHz)において生成され得る。本明細書中、このような周波数範囲は、非可聴音レンジとして概してみなされる。生成された信号は、送信器212を介して送信され得る。本開示によれば、送信器212は、携帯電話スピーカであり得る。生成された信号が送信された後、音波(例えば、対象から反射された音波)、受信器214によって感知され得る。受信器214は、携帯電話マイクロフォンであり得る。
【0034】
216において示すように、信号回復およびアナログ/デジタル信号変換段階が行われ得る。回復された信号を復調させると、例えば復調処理モジュールにおけるような218に示すような呼吸パラメータを示す信号が取り出され得る。信号の音声成分は、例えば音声処理モジュールにおけるもののように220に示すようにも処理され得る。このような処理を挙げると、例えば、呼吸の動きまたは他の動きの音声を抽出するための受動的音声分析がある(例えば、異なる種類の活動(例えば、ベッド内での寝返り)、PLM(周期的な脚の動き)、RLS(むずむず脚症候群)など)、いびき、喘ぎ、および喘鳴)。音声成分処理により、干渉源(例えば、会話、TV、他のメディア再生、および他の雰囲気/環境音声/ノイズ源)の音声も抽出され得る。218における復調位相の出力は、222におけるインバンド処理(例えば、インバンド処理モジュールによりもの)および224におけるアウトオブバンド処理(例えば、アウトオブバンド処理モジュールによるもの)双方に晒され得る。例えば、222におけるインバンド処理は、呼吸および心臓信号を含む信号帯域の当該部分へ方向付けられ得る。224におけるアウトバンド処理は、他の成分(例えば、全身の動きまたは微細な動き)(例えば、寝返り、蹴り、身振り、部屋周囲の動き回り)を含む信号の部分へ方向付けられ得る。次に、222におけるインバンド処理および224におけるアウトバンド処理の出力は、230における信号後処理(例えば、1つ以上の信号後処理モジュール(単数または複数)におけるようなもの)へ設けられ得る。230における信号後処理を挙げると、例えば、232における呼吸/心臓信号処理(例えば、呼吸/心臓信号処理モジュールにおけるもの)、234における信号品質処理(例えば、信号品質処理モジュールにおけるもの)、236における全身の動き処理(例えば、身体動き処理モジュールにおけるもの)、および238における不在/存在処理(例えば、不在/存在処理モジュールにおけるもの)がある。
【0035】
図2A中には図示していないが、230における信号後処理の出力は、第2の後処理段階に晒され得る。第2の後処理段階によって行われるものとして、睡眠状態、睡眠採点、疲労兆候、対象認識、慢性疾患監視および/または予測、睡眠疾患呼吸イベント検出および他の出力パラメータ(例えば、生成された動き信号(単数または複数)の動き特性のいずれかの評価からのもの(例えば、呼吸関連の動き(またはそのような動きの不在)、心臓関連の動き、覚醒関連の動き、周期的な脚の動き))。図2Aの例において、241における任意選択的な睡眠ステージング処理(例えば、睡眠ステージング処理モジュールにおけるもの)が図示される。しかし、このような処理モジュール/ブロックのうち任意の1つ以上が、任意選択的に追加され得る(例えば、睡眠採点またはステージング、疲労兆候処理、対象認識処理、慢性疾患監視および/または予測処理、睡眠疾患呼吸イベント検出処理、または他の出力処理)。場合によっては、230における信号後処理または第2の後処理段階の機能は、以下の特許または特許出願のうちいずれかに記載の装置、システムおよび方法の成分、デバイスおよび/または方法のいずれかを用いて行われ得る。本明細書中、各文献の開示内容全体を参考のため援用する:国際特許出願第PCT/US2007/070196(出願日:2007年6月1日、タイトル:「Apparatus, System, and Method for Monitoring Physiological Signs」、国際特許出願第PCT/US2007/083155(出願日:2007年10月31日、タイトル:「System and Method for Monitoring Cardio-Respiratory Parameters」、国際特許出願第PCT/US2009/058020(出願日:2009年9月23日、タイトル:「Contactless and Minimal-Contact Monitoring of Quality of Life Parameters for Assessment and Intervention」、国際出願第PCT/US2010/023177(出願日:2010年2月4日、タイトル:「Apparatus, System, and Method for Chronic Disease Monitoring」、国際特許出願第PCT/AU2013/000564(出願日:2013年3月30日、タイトル:「Method and Apparatus for Monitoring Cardio-Pulmonary Health」、国際特許出願第PCT/AU2015/050273(出願日:2015年5月25日、タイトル:「Methods and Apparatus for Monitoring Chronic Disease」、国際特許出願第PCT/AU2014/059311(出願日:2014年10月6日、タイトル:「Fatigue Monitoring and Management System」、国際特許出願第PCT/AU2013/060652(出願日:2013年9月19日、タイトル:「System and Method for Determining Sleep Stage」、国際特許出願第PCT/EP2016/058789(出願日:2016年4月20日、タイトル:「Detection and Identification of a Human from Characteristic Signals」、国際特許出願第PCT/EP2016/069496(出願日:2016年4月17日、タイトル:「Screener for Sleep Disordered Breathing」、国際特許出願第PCT/EP2016/069413(出願日:2016年8月16日、タイトル:「Digital Range Gated Radio Frequency Sensor」、国際特許出願第PCT/EP2016/070169(出願日:2016年8月26日、タイトル:「Systems and Methods for Monitoring and Management of Chronic Disease」、および米国特許出願第15/079,339(出願日:2016年3月24日、タイトル:「Detection of Periodic Breathing」。このように、いくつかの例において、検出された動きの処理(例えば、呼吸の動き)は、以下のうち任意の1つ以上を決定するための基準として機能し得る:(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階。この点について、本開示の音声関連感知技術は、動き感知のための異なるメカニズム/プロセス(例えば、スピーカおよびマイクロフォンを用いたものおよび音声信号の処理)を提供するものの、これらの援用された参考文献に記載のレーダーまたはRF感知技術と比較すると、呼吸信号(例えば、本明細書中に記載の音声感知/処理方法を用いて得られる呼吸速度)の後、睡眠状態/段階情報の抽出のための処理呼吸または他の動き信号の原理が、これらの援用された参考文献の決定方法によって実行され得る。
【0036】
5.1.1 モバイルデバイス100
モバイルデバイス100は、対象の呼吸および/または他の動き関連特性の監視の効率的かつ有効な方法が得られるように、適合され得る。睡眠時において使用される場合、モバイルデバイス100およびその関連方法が、ユーザの呼吸の検出と、睡眠段階、睡眠状態、状態、睡眠疾患呼吸および/または他の呼吸状態間の移行の特定とのために用いられ得る。覚醒時に用いられる場合、モバイルデバイス100およびその関連方法は、例えば対象の呼吸の動き(吸気、呼気、休止、および導出速度)および/または心弾動図波形およびその後の導出された心拍数の検出に用いられ得る。このようなパラメータは、ゲーム(リラクゼーション目的のためにユーザの呼吸速度を低減させるようにユーザを導くための)ゲームの制御または例えば慢性疾患(例えば、COPD、喘息、鬱血性心不全(CHF))の対象の呼吸状態の評価に用いられ得、悪化/代償不全イベント発生前の対象の基準線呼吸パラメータ(単数または複数)が時間的に変化する。呼吸波形は、呼吸の一時的停止(例えば、中枢性無呼吸または(閉塞型無呼吸時にみられる)気道遮断に対する胸部の小さな動き)または呼吸低下(例えば呼吸低下に関連する浅い呼吸および/または呼吸速度低下)を検出するようにも処理され得る。
【0037】
モバイルデバイス100は、一体型チップ、メモリおよび/または他の制御命令、データまたは情報記憶媒体を含み得る。例えば、本明細書中に記載のアセスメント/信号処理方法を包含するプログラムされた命令は、特定用途向け一体型チップ(ASIC)を形成するデバイスまたは装置のメモリ中の一体型チップ上にコーディングされ得る。このような命令は、追加的にまたは代替的に適切なデータ記憶媒体を用いてソフトウェアまたはファームウェアとしてロードしてもよい。任意選択的に、このような処理命令は、例えばネットワークを介したサーバ(例えば、インターネット)からモバイルデバイスへダウンロードされ得、これにより、これらの命令が実行されると、処理デバイスはスクリーニングデバイスまたは監視デバイスとして機能する。
【0038】
よって、モバイルデバイス100は、図3に示すような複数の成分を含み得る。モバイルデバイス100を挙げると、他の成分に加えて、マイクロフォンまたは音声センサー302、プロセッサ304、ディスプレイインターフェース306、ユーザ制御/入力インターフェース308、スピーカ310、およびメモリ/データ格納部312(例えば、本明細書中に記載の処理方法/モジュールの処理命令を用いたもの)がある。
【0039】
モバイルデバイス100の成分の1つ以上は、モバイルデバイス100と一体化させてもよいし、あるいは動作可能に接続させてもよい。例えば、マイクロフォンまたは音センサー302は、モバイルデバイス100と一体化させてもよいし、あるいは例えば有線リンクまたは無線リンク(例えば、ブルートゥース、Wi-Fiなど)を通じてモバイルデバイス100と結合させてもよい。
【0040】
メモリ/データ格納部312は、プロセッサ304の制御のための複数のプロセッサ制御命令を含み得る。例えば、メモリ/データ格納部312は、本明細書中に記載の処理方法/モジュール処理命令によってアプリケーション200を行わせるためのプロセッサ制御命令を含み得る。
【0041】
5.1.2 動きおよび呼吸の検出プロセス
本技術の例は、1つ以上のアルゴリズムまたはプロセスを用いるように構成され得る。これらのアルゴリズムまたはプロセスは、モバイルデバイス100の使用時にユーザが睡眠中であるときに動き、呼吸および任意選択的に睡眠特性を検出するためにアプリケーション200によって具現化され得る。例えば、アプリケーション200は、いくつかのサブプロセスまたはモジュールによって特徴付けられ得る。図2に示すように、アプリケーション200は、音声信号生成および送信サブプロセス202、動きおよび生物物理学的特性検出サブプロセス204、睡眠品質特徴付けサブプロセス206および結果出力サブプロセス208を含み得る。
【0042】
5.1.2.1 音声信号の生成および送信
いくつかの本技術の態様によれば、音声信号は、本明細書中に記載の1つ以上の音色を用いて、ユーザへ生成および送信され得る。音色により、特定の周波数における媒体(例えば、空気)の圧力変化が分かる。本記載の目的のため、生成された音色(または音声信号または音声信号)は、(例えば、スピーカによって)可聴圧力が波生成され得るため、「音声」、「音響」または「音声」と呼ばれ得る。しかし、本明細書中、このような圧力改変例および音色(単数または複数)は、「音声」、「音響」または「音声」という用語のうちいずれかによる特徴付けに関わらず、可聴または非可聴のものとして理解されるべきである。よって、生成された音声信号は可聴または非可聴であり得、人間母集団に対する可聴度の周波数閾値は、年齢によって変化する。典型的な「音声周波数」の標準レンジは、約20Hz~20、000Hz(20kHz)である。高周波数聴覚の閾値は、年齢と共に低下する傾向があり、中年の人の場合、周波数が15~17kHzを超える音声は聞こえないことが多く、10代の人の場合、18kHzが聞こえることがある。会話における最重要の周波数は、ほぼ250~6,000Hzである。典型的な消費者向けスマートフォンのスピーカおよびマイクロフォン信号応答は、多くの場合に19~20kHzを超えたときにロールオフするように設計され、23kHz以上を超えたときにロールオフするように設計されるものもある(特に、48kHzを超えるサンプリングレート(例えば、96kHz)をサポートするデバイスの場合)。そのため、ほとんどの人間に対しては、17/18~24kHzの範囲内の信号を用いつつ非可聴のままであることが可能である。18kHzは聞こえるが19kHzは聞こえないより若年者に対しては、19kHz~例えば21kHzの帯域が用いられ得る。いくつかの家庭用ペットの場合、より高い周波数も聞こえることがある(例えば、犬の場合は60kHzまで、猫の場合は79kHzまで)点に留意されたい。
【0043】
音声信号は、例えば、正弦波形、鋸歯状チャープ、三角形チャープなどを含み得る。背景として、本明細書中において用いられる「チャープ」という用語は、短期の非定常性信号であり、例えば鋸歯状または三角形の形状を有し得、プロファイルは線形または非線形である。いくつかの種類の信号処理方法が、音声信号の生成および感知のために用いられ得る(例えば、連続波(CW)ホモダイン、パルス駆動型CWホモダイン、周波数変調CW(FMCW)、周波数ホッピングレンジゲーティング(FHRG)、適応FHRG(AFHRG)、超広帯域(UWB)、直交周波数分割多重(OFDM)、適応CW、周波数シフトキーイング(FSK)、位相シフトキーイング(PSK)、二相位相シフトキーイング(BSPK)、直交位相シフトキーイング(QPSK)および一般化QPSK(直交振幅変調(QAM)と呼ばれる))。
【0044】
いくつかの本技術の態様によれば、較正機能または較正モジュール、モバイルデバイスの特性評価のために設けられ得る。ハードウェア、環境またはユーザセットアップに可聴周波数が必要な旨が較正機能から提案された場合、感知領域内におけるあらゆる身体の動き信号のアクティブ検出を可能にしつつ、ユーザが受容可能なスペクトラム拡散信号上に符号化がオーバーレイされ得る。例えば、可聴音声(例えば、音楽、TV、ストリーミング源または他の信号)(例えば、検出された呼吸信号と任意選択的に同期され得る心地良い反復音声(例えば、睡眠支援に用いられ得る岸に打ち付けられる波))中に、可聴感知信号または非可聴感知信号を「隠す」ことができる。これは、音声ステガノグラフィーに類似する。音声ステガノグラフィーにおいては、知覚的に識別できなくする必要があるメッセージは、(位相の要素を符号化データを表すように調節される位相符号化などの技術により)音声信号中に隠蔽される。
【0045】
5.1.2.2 動きおよび生物物理学的信号の処理
5.1.2.2.1 技術的課題
環境関連ノイズ比に対して動き信号を良くするために、いくつかの室内音響問題を検討する必要がある。そのような問題の挙げると、例えば、反射、ベッドクロス使用法、および/または他の室内音響問題がある。加えて、特定の監視デバイス特性(例えば、モバイルデバイスまたは他の監視デバイスの方向性)も考慮する必要がある。
【0046】
5.1.2.2.1.1 反射
反射壁を含む空間(例えば、部屋)内に音声エネルギーが閉じ込められたとき、反射が発生し得る。典型的には、先ず音声が発生すると、聞き手には、発生源そのものからの音声が直接聞こえる。その後、ユーザには、部屋の壁、天井および床から跳ね返ってきた音声に起因する不連続のエコーが聞こえ得る。時間と共に、個々の反射は識別できなくなり得、聞き手に聞こえてくるのは、経時的に弱まる連続的反射となる。
【0047】
対象周波数において、壁反射によるエネルギー吸収は極めて小さいことが多い。そのため、音声減衰は、空気ではなく壁に起因して発生する。典型的な減衰は、<1%であり得る。典型的な室内において、音声周波数の音声減衰が60dBに到達するまでかかる時間は約400msである。減衰は、周波数と共に増加する。例えば、18kHzにおいては、典型的な室内反射時間は、250msまで低下する。
【0048】
反射に伴い、いくつかの副作用が発生する。例えば、反射に起因して室内モードになる。反射エネルギー保存メカニズムに起因して、音響エネルギーの入力が室内に入ると、共振モーダル周波数または好適なモーダル周波数(nλ=L)において定在波が発生する。寸法がLx、LyおよびLzである理想的な三次元の部屋の場合、主モードは、以下によって得られる。
【数1】
【0049】
これらの定在波に起因して、特定の共振周波数の音量は、部屋の異なる位置において異なり得る。その結果、信号レベルが変化し得、音声信号を受信する感知成分(例えば、音声センサー)に関連してフェージングが発生し得る。これは、電波(例えば、RF)(例えば、Wi-Fi)の多経路干渉/フェージングに類似する。しかし、部屋からの反射および関連アーチファクト(例えば、フェージング)音声においてより深刻になる。
【0050】
室内モードの場合、ソナーシステムの設計問題が発生し得る。このような問題を挙げると、例えば、フェージング、1/fノイズおよび全身の動き信号がある。全身の動きは通常は、大きな生理学的動き(例えば、ベッドにおける寝返り(またはユーザのベッドの出入り)を指し、それぞれイベント前後の不在に関連付けられる。1つの実現において、動きは、バイナリーベクトル(動き有りまたは動き無し)としてみなされ得、関連付けられた活動指数は、動きの持続期間および強度を指す(例えば、PLM、RLSまたは歯ぎしりは、(手足(単数または複数)または顎の軋りに関連するものであるため)全身の動きではない動き活動の例であり、ベッド内の位置が変化した際の全身の動きではない)。音声センサー302(例えば、マイクロフォン)によって受信された信号において、信号強度のフェージングおよび/またはユーザからの反射信号のフェージングが発生し得る。このフェージングの原因としては、反射に起因する定在波があり得、このフェージングの結果、信号振幅が変化する問題に繋がり得る。呼吸周波数における1/fノイズ(信号の周波数に反比例する出力スペクトル密度を有する信号)は、室内モードを妨害する室内気流に起因して発生し得、その結果、ノイズフロア増加が発生し、よって呼吸周波数において信号/ノイズ低減が発生する。室内の任意の動きからの全身の動き信号は、室内モードエネルギーの妨害に起因し、感知された/受信された信号強度および位相変化に繋がり得る。しかし、これは問題であり、室内モードを意図的に設定することにより、有用な全身の(大きな)動きおよびより微細の活動検出を行うことができ、室内の1つの主要な動き源の場合に(例えば、寝室内に1人だけ居る場合に)実際の呼吸分析が行われることが分かる。
【0051】
本明細書中、「ソナー」という用語は、レンジングおよび動き検出についての音声信号、音響、音波、超音波および低周波超音波を含むものとして用いられる。このような信号は、DC~50kHz以上であり得る。処理技術(例えば、FMCW生理学的信号抽出)のうちいくつかは、実際の短距離(例えば、例えばリビング空間または寝室の場合にほぼ3メートルまで)RF(電磁)レーダーセンサー(例えば、5.8GHz、10.5GHz、24GHzにおいて動作するもの)にも適用することができる。
【0052】
5.1.2.2.1.2 ベッドクロス
ベッドクロス(例えば、掛け布団、コンフォータ、毛布)が使用された際、室内の音声が大きく減衰し得る。いくつかの態様において、音声信号が睡眠中の人から移動して睡眠中の人から戻ってくる際、掛け布団に起因して音声信号が減衰し得る。掛け布団表面からも、音声信号が反射される。掛け布団表面において呼吸がみられる場合、掛け布団の反射信号を監視呼吸に用いることができる。
【0053】
5.1.2.2.1.3 電話特性
スピーカおよびマイクロフォンをスマートフォン上に配置することは、ソナー状用途における音声感知において必ずしも最適ではない。マイクロフォンに対する典型的なスマートフォンスピーカは、方向性が低い。一般的に、スマートフォン音声は、人の会話のために設計されており、ソナー状音声感知用途に合わせて具体的に設計されていない。さらに、スピーカおよびマイクロフォンの配置は、スマートフォンモデルによって異なる。例えば、いくつかのスマートフォンは、電話の後部に設けられたスピーカと、電話の側部に設けられたマイクロフォンとを有する。その結果、マイクロフォンは、反射から再度方向付けられた後でしか、スピーカ信号を容易に「見る」ことができない。さらに、スピーカおよびマイクロフォン双方の方向性は、周波数と共に増加する。
【0054】
室内モードは、スマートフォンマイクロフォンおよびスピーカの無指向性を向上させ得る。反射および関連付けられた室内モードにより、特定の周波数において部屋全体において、定在波ノードが発生する。動きは室内モードノード全てを妨害するため、室内の全ての動きは、これらのノードにおいてみられ得る。スマートフォンマイクロフォンは、ノードまたはアンチノードにおいて設けられた場合、音声経路は(マイクロフォンおよびスピーカが指向性である場合でも)無指向性であるため、無指向性特性が必要になる。
【0055】
5.1.2.2.2 技術的課題の解消
本開示の態様によれば、特定の変調および復調技術は、特定された技術的課題および他の技術的課題による影響を低減または排除するために適用され得る。
【0056】
5.1.2.2.2.1 周波数ホッピングレンジゲーティング(FHRG)および適応周波数ホッピングレンジゲーティング(AFHRG)
周波数ホッピングレンジゲーテッド信号は変調復調技術であり、特定の周波数範囲を占有する個別の音色/周波数のシーケンスを利用する。音色シーケンス中の各音色、音色ペアまたは複数の音色パルスは、範囲要求によって規定された特定の持続期間にわたって送信される。このような音色パルスまたは音色ペアの特定の持続期間が変化すると、検出範囲も変化する。音色ペアまたは音色のシーケンスにより、音色フレームまたはスロットのフレームが発生する。各スロットは、音色スロットとしてみなされ得る。そのため、フレームは複数のスロットを含み得、各スロットは、音色または音色ペアを含み得る。典型的には、可聴度の向上を促進させるためには、各音色ペアは、フレームのスロットの持続期間に等しい持続期間を有し得る。しかし、これは不要である。場合によっては、フレームのスロットは、均一または不均一な幅(持続期間)を有し得る。そのため、フレームの音色ペアは、フレーム内において均一または不均一な持続期間を有し得る。音声変調は、レンジゲーティングを達成することができるように感知された/受信された音色をより良好に分離できるよう、音色間および次にフレーム間に保護帯域(静穏期)を含み得る。FHRGは、利用可能な音声周波数において用いられ得る。FHRGは、周波数ホッピングを周波数ディザリングおよび/またはタイミングディザリングと共に適用し得る。タイミングディザリングが意味することは、例えば室内モードの蓄積の危険性の低減と、環境における他のソナー感知間の干渉の危険性の低減とのために、フレームおよび/または内部スロットタイミングが異なり得ること(例えば、スロットの期間が変化するかまたはフレームの開始時間または時系列におけるスロットの開始時間は変動し得ること)である。例えば、4つのスロットのフレームの場合、フレーム幅は一定であるものの、時間ディザリングにより、その他のスロット幅が不変のまま、少なくとも1つのより小さなスロット幅(例えば、より短い持続期間の音色ペア)および少なくとも1つのより大きなスロット幅(例えば、より長い持続期間の音色ペア)がフレーム内において可能になり得る。その結果、フレームの各スロットによって検出された特定の範囲における若干の変化が可能になり得る。周波数ディザリングにより、複数の「センサー」(例えば、室内の2つ以上の感知システム)が近隣において共存することが可能になり得る。例えば、周波数ディザリングを用いることにより、スロット(音色または音色ペア)の周波数は動いているため、通常の動作における「センサー」間に干渉が発生する可能性は統計的に有意になる。時間および周波数ディザリング双方により、部屋/環境内の非ソナー源からの干渉の危険性が低下し得る。同期復調においては、例えば特殊なトレーニングシーケンス/パルスを用いた後にパターン検出/マッチするフィルタを用いてフレームをアラインさせ、実際のオフセットを回復させることにより、シーケンス間のアライメントの正確な理解が必要になる。
【0057】
図4は、例示的なFHRGソナーフレームを示す。図示のように、8個の個々の(レーダーシステムに類似する)パルス駆動型ソナー信号が、各フレームに入れられて送信され得る。各パルスは、2つの直交パルス周波数を含み得、各パルスの長さは16msであり得る。その結果、16個の別個の周波数が、各128msトランシーバフレームに入れられて送信され得る。次に、ブロック(フレーム)が反復される。限られた帯域幅における周波数の使用の最適化と、信号/ノイズの向上とのために、OFDMの直交周波数が用いられ得る。直交Dirac Comb周波数は、フレームタイミングディザリングおよび音色周波数ディザリングにも追随して、ノイズ低減をアシストする。この音色ペアにより、その結果得られたパルスの形状が得られ、この成形により可聴度が支援される。
【0058】
適応周波数ホッピングレンジゲーティング(AFHRG)システムにより、規定された長さ(例えば、16または8ms)の音色を用いて音色周波数シーケンスの周波数変化が経時的に保持された後、(全体的に4つの音色のために)別の音色へ切り換えられる。よって、音色のブロックが生成され、ブロック(フレーム)が31.25Hzにおいて反復される。AFHRGシステムの場合、音色パターンは、各フレーム上においてシフトする。これらのパターンは、常にシフトし得る。そのため、フレームは、一連のフレームの他のフレームの周波数のパターンと異なる周波数のパターンを有し得る。よって、異なる周波数のパターンが変化し得る。フレームは、フレーム内(例えば、スロット内)において異なる周波数または異なるスロットに対して違いも有し得る。加えて、各フレームは、フェージング軽減のため、固定帯域内のその周波数の調節により適応し得る。図5は、AFHRGシステムのための単一の32msトランシーバフレームの例を示す。図5に示すように、4つの個々のホモダインパルス駆動型ソナー信号が、各フレームに入れられて送信され得る。各信号の飛行時間は8msである。8msの飛行時間において、双方の方向を含む範囲は2.7メートルであるため、有効な実際のフレームは1.35mであり、パルス反復周波数は31.25Hzである。さらに、各パルスは、図5に示すように2つのパルス周波数(例えば、本質的に同時の音色)を含み得るため、8個の別個のパルス駆動型ホモダイン信号が単一の32msトランシーバフレーム中に入れられる。
【0059】
AFHRGは、利用可能な帯域幅を最適化させるようにDirac Comb周波数および直交パルス対を用いるように、構成され得る。各「対」は、フレーム内のスロット内に入れられ得る。そのため、複数のフレームは、反復パターンまたは非反復パターン中に多数の「対」を含み得る。別個の周波数対が各時間スロットに対して用いられ得、線形またはCostasコード周波数ホッピングを用い得る。時間スロットは、所望の範囲検出に基づいて決定され得る。例えば、図5に示すように、検出範囲が1.3mである場合、tts=8msである。周波数対は、
【数2】
と共に、
【数3】
として生成され得る。周波数対の方程式の要求が維持された後、各フレームは、固定帯域内のその周波数を調節することにより、フェージングを軽減するように適応し得る。そのため、この適応は、検出範囲内に存在する任意の対象(単数または複数)からの利用可能なSNR(信号/ノイズ比)を最大化させるように機能する。
【0060】
各周波数対は、所望の帯域幅(例えば、1kHz帯域幅(18kHz~19kHz))を最適化させること、周波数間の隔離が最大化されること、パルス間の隔離が最大化されることおよび/または中間パルス過渡状態を最小化させることが可能になるように、選択され得る。これらの最適化は、n個の周波数に対して達成かされ得、各周波数は周波数分離dfおよびスロット幅ttsを含むため、以下のようになる:
【数4】
及び
【数5】
【0061】
時間スロット持続期間が8msであり、帯域幅が1kHz(例えば、f=18、125Hzおよびfn-1=18、000Hz)である場合、周波数分離dfは、以下のようになる:
【数6】
及び
【数7】
【0062】
以下の三角関数公式により、ゼロ交差が達成される:
【数8】
。これにより、各時間スロットは、正弦波パルス振幅を
【数9】
の周波数と共に含む。よって、フレームのスロットまたは各スロットの持続期間は、音色ペアの周波数間の差によって除算した値に等しくなり得る。よって、フレームにおいて、時間スロット持続期間は、時間スロットの音色ペアの音色の周波数の周波数差に反比例し得る。
【0063】
図6A図6Bおよび図6Cは、例示的なAFHRGシステムの場合の5x32msパルス駆動型フレームの例を示す。図6A中のグラフ602は、時間のx軸および振幅のy軸上の5x32msのパルスフレームを示す。グラフ602は、5個の32msフレームの時間ドメインを示し、これらのフレームのうち、各フレームは、全体的に5x4=20音色ペアに対して4個のスロットを含む。音色ペアは、スロット606-S1、606-S2、606-S3、606-S4それぞれの中に設けられる。このエンベロープは変化し、より高周波数において感度が若干低くなり得る「実世界」のスピーカおよびmicの組み合わせを例示する。図6Aに示すフレームを形成するスロットは、図6Bのグラフ604中により詳細に検討され得る。グラフ604は、図6Aからの単一の32msフレームの周波数ドメインを示す。これは、4つのスロット606-S1、606-S2、606-S3および606-S4を示し、各スロットは、2つの音色608T1および608T2(音色ペア)を含む。グラフ604は、周波数のx軸を有し、任意のy軸を有する。一実施例において、フレームの音色ペアの音色は、18000Hz~18875Hzの範囲において、それぞれ異なる音声音色(例えば、異なる周波数)である。他の周波数範囲(例えば、非可聴音声のもの)が、本明細書中により詳細に議論されるように実行され得る。フレームの音色ペアの各音色ペアは、順次(連続して)フレーム内に生成される。音色ペアの音色は、フレームの共通スロット内において実質的に同時に生成される。図6Aおよび図6Bのスロットの音色ペアについて、図6C中のグラフ610を含む参照して検討する。グラフ610は、フレーム中の単一の音色ペア(例えば、音色608T1、608T2)の時間ドメイン図であり、フレームのスロット中のその同時的な生成を示す。グラフ610は、時間のx軸と、振幅のy軸とを有する。本例において、音色の振幅は、時間スロットの期間内において上方および下方に傾斜する。610のグラフの例において、音色振幅傾斜部分は、ゼロ振幅においてスロット開始時間と共に開始し、ゼロ振幅においてスロットと共に下方傾斜する。このように、スロットの開始部および終了部において同時的にゼロ振幅音色を有する到着させることにより、終了スロット振幅特性および開始スロット振幅特性が同じである隣接スロット(単数または複数)の音色ペア間の可聴度の向上が可能になる。
【0064】
以下、音声信号の処理のためのFHRGまたはAFHRG(本明細書中、どちらも「(A)FHRG」と呼ぶ)アーキテクチャの態様について、図7に示す処理モジュールの方法を参照しながら説明する。図7に示すように、反射された信号は、ハイパスフィルタ702のモジュールを介して感知およびフィルタリングされ得、Rxフレームバッファ704へ入力され得る。バッファされたRxフレームは、IQ(同相および直交)復調器706中において処理され得る。本開示のいくつかの態様によれば、n個(ここで、nは、例えば4、8または16である)の周波数が、I成分およびQ成分としてベースバンドへ復調され得、ベースバンドは、音声反射(例えば、送信された/生成されたおよび受信された/感知された音声信号または音色ペア)によって検出された感知距離における変化に対応する動き情報(例えば、呼吸/身体動き)を示す。中間周波数(IF)段階708は処理モジュールであり、複数の信号からの単一のIおよびQ成分を出力し、710においてモジュール「IQ最適化」中の最適化を経て、単一の組み合わされた出力を生成する。
【0065】
710における多IQ入力情報は、アルゴリズム入力段階のための単一のIQベースバンド信号出力に合わせて最適化および短縮される。単一のIQ出力(実質的にはI成分およびQ成分からの組み合わされた信号)は、最高の信号品質のもの(例えば、最も明白な呼吸速度に基づいたもの)に基づいた選択された候補IQ対に基づいて導出され得る。例えば、呼吸速度は、国際出願WO2015006364に記載のベースバンド信号(候補信号または組み合わされた信号)から検出され得る。本明細書中、同文献全体を参考のため援用する。単一のIQ出力は、入力信号の平均であってもよいし、あるいは実際は導出された呼吸速度の平均または中央値であってもよい。そのため、710においてこのようなモジュールは、合計および/または平均化プロセスを含み得る。
【0066】
AFHRGアーキテクチャにより、IF段階の任意選択的な付加が可能になる。以下の2つの可能なIF段階方法が存在する:すなわち、(i)初期の例えば4ms(0.5m範囲)を後期の例えば4ms(0.5m範囲)信号と比較すること、および(ii)第1の音色の位相と、音色ペア中の第2の音色の位相とを比較すること。この段階においては、飛行時間(ToF)時間内の感知された音声信号のレベルまたは位相の変化が比較されるため、この段階は、共通モード信号アーチファクト(例えば、動きおよび1/fノイズの問題)を除去する機能を果たし得る。位相フォールドオーバー回復モジュール712は、710において最適化段階のIおよびQ成分出力を受信し、処理後、IQベースバンド出力を出力する。復調された信号中のフォールドオーバーが有る場合、呼吸「インバンド」検出が有意に複雑になるため、このようなフォールドオーバーを最小化することが望ましい場合がある。フォールドオーバーの最小化を、I/Q組み合わせ技術(例えば、逆正接復調)を用いて、リアルタイムセンタートラッキング推測を用いてまたはより標準的な次元縮退方法(例えば、主成分分析)によって行うことができる。フォールドオーバーは、胸部の動きがほぼ~9mmの半分の波長におよぶ場合に発生する(例えば、20℃の温度における18kHzのCW周波数において、音声速度はおよそ343m/sであり、波長は19mmである)。フォールドオーバーを自動修正する(例えば、この挙動の発生の重大度または確率を低減させる)ために、動的中心周波数戦略が用いられ得る。この場合、周波数が倍増した場合または著しく鋸歯状の呼吸パターン(形態)が検出された場合、システムは、中心周波数を新規周波数へ移動させて、I/Qチャンネルを押し出して均衡のとれた状態に戻して、フォールドオーバー状況から退出させることができる。人が移動する度に、再処理が必要になることが多い。音声周波数の変化は、(マスキング音色が使用されない限り)可聴にならないように設計される。動きがラムダ/4にある場合、1つのチャンネル上にあるものとしてみなし得る。動きがラムダ/2を超える場合、双方のチャンネル上にあるものとしてみなす可能性が極めて高い。
【0067】
FHRG実行において、714におけるフレーム/音色ペアフレーム変調器は、プロセッサによって(例えばフレームを用いた暗黙の多周波動作を伴って)制御される。AFHRGまたはAToFなどの適応実行において、システムは、FHRG実行中に存在しないフェージング検出および明示的な周波数シフト動作のためのモジュールをさらに含む。フェージング検出器718のモジュールによって提供されるフィードバックメカニズムは、システムのパラメータ(例えば、周波数シフト、変調種類、フレームパラメータ(例えば、音色数、時間および周波数の間隔))を調節して、異なるチャンネル状態における動き(例えば、呼吸)を最適に検出することができる。フェージングは、感知された音声信号における(エンベロープ検出を介して抽出された)振幅変調の変化からおよび/または特定の音色ペアの変化を介して直接検出することができる。フェージング検出器は、その後のベースバンド信号処理からの二次情報も受信し得るが、その場合、いくつかの処理遅延の原因になり得る。その場合、これを用いて、実際の抽出された呼吸信号品質/形態を現在のチャンネル状態と関係付けて、有用な信号を最大化できるようにより適合することが可能になる。フェージング検出器は、I/Q対の処理も行い得る(ベースバンド前の呼吸/心拍数分析)。非フェードTx(送信)波形(単数または複数)の構成を用いることにより、スピーカの有限の出射信号出力も最適化/最良に用いて、音声センサー/受信器Rxによって受信された有用な情報(受信)を最大化させ、ベースバンドへ復調/処理されることが可能になる。いくつかの場合、システムが(例えば、(所望の復調された呼吸速度帯中の「ノイズ」/アーチファクトの原因になり得る)呼吸速度に類似する時間的尺度上におけるフェージングの多経路変化を回避するために)より長期間にわたってより安定していることが判明した場合、システムは、(短期SNRについて)若干最適以下のTxのための周波数セットを選択し得る。
【0068】
もちろん、1つ以上の個々の音色が音色ペアの代わりに用いられた場合、適応CW(ACW)システムの実現のために、類似のアーキテクチャが用いられ得る。
【0069】
5.1.2.2.2.2 FHRG変調モジュールおよび復調モジュールの詳細
5.1.2.2.2.2.1 FHRGソナー方程式
スマートフォンスピーカによって生成された送信音声圧力信号は、標的によって反射され、スマートフォンマイクロフォンに戻ってきて、スマートフォンマイクロフォンにおいて感知される。図8は、等方性の無指向性アンテナ802対指向性アンテナ804の例を示す。無指向性源の場合、音声圧力(P(x))レベルは、以下のように、距離xと共に低下する:
【数10】
【0070】
スマートフォンスピーカは18kHzにおいて指向性であるため:
【数11】
γはスピーカゲインであり、0~2の間(典型的にはly>1)の値を有する。
【0071】
標的(例えば、ベッド中のユーザ)は、特定の断面および反射係数を有する。標的からの反射も指向性である。
【数12】
αは、反射器減衰であり、0~1(典型的には<0.1)の値を有する。
βは、反射器ゲインであり、0~2(典型的には<1)の値を有する。
σは、ソナー断面である。
【0072】
その結果、音声圧力Pの送信された信号は、距離dにおいて反射されると、以下の減衰レベルと共にスマートフォンへ戻る:
【数13】
【0073】
次に、スマートフォンマイクロフォンは、反射された音声圧力信号の一部に出会う。パーセンテージは、マイクロフォン有効面積Aに依存する。
【数14】
【0074】
このように、送信音声圧力信号のうちごく一部が標的から反射され、スマートフォンマイクロフォンへ戻って感知される。
【0075】
5.1.2.2.2.2.2 FHRG動き信号(単数または複数)
トランシーバからの距離dにおいてFHRGシステムの範囲内にいる人は、アクティブソナー送信信号を反射し、受信信号を生成する。
【0076】
任意の周波数fnmについてモデム信号に起因してスマートフォンによって生成された音声(圧力波)は、以下のようになる:
【数15】
【0077】
任意の個々の周波数について信号が距離dにおいて標的に到着すると、以下のようになる:
【数16】
【0078】
反射された信号が任意の個々の周波数についてスマートフォンマイクロフォンに再度到着すると、以下のようになる:
【数17】
【0079】
標的距離がd周囲において正弦波変化と共に移動すると、以下のようになる。
【数18】
ここで:
呼吸周波数:w=2πf
呼吸振幅:A
呼吸フェーズ:θ
ノミナル標的距離:d
【0080】
最大呼吸変位Aは標的距離dよりも小さいため、信号振幅受信に対する影響は無視してよい。その結果、スマートフォンマイクロフォン呼吸信号は以下のようになる:
【数19】
【0081】
理想的な呼吸動き信号は、異なる周波数および変位に関係無く心臓動き信号に類似し得るため、正弦関数の正弦関数としてみなされ得、同じ変位ピークツーピーク振幅に対して最大および最小感度の領域を有する。
【0082】
この信号を正しく回復させるためには、感度nullが軽減されるように、直交位相受信器などを用いることが有用である。
【0083】
次に、Iベースバンド信号およびQベースバンド信号をフェーザI+jQとして用いて、以下を行うことができる:
1.呼吸信号のRMSおよび位相を回復させること。
2.動きの方向(フェーザ方向)を回復させること。
3.フェーザの方向変化を検出することにより、フォールドオーバー情報を回復させること。
【0084】
5.1.2.2.2.2.3 FHRG復調器ミキサー(図7中の705および706におけるモジュール)
FHRGソフトモデム(音声感知(ソナー)検出-ソフトウエアベースの変調器/復調器のためのフロントエンド)は、変調された音声信号をスピーカを通じて送信し、標的からのエコー反射信号をマイクロフォンを通じて感知する。ソフトモデムアーキテクチャの例を図7に示す。感知された反射を受信信号として処理するソフトモデム受信器は、以下のような多様なタスクを行うように設計される:
・受信された信号を音声周波数においてハイパスフィルタすること。
・変調された音声をフレームタイミングと同期させること。
・直交位相同期復調器を用いて、信号をベースバンドへ復調させること。
・(中間周波数)成分を復調させること(存在する場合)。
・得られた同相および直交ベースバンド信号をローパスフィルタ(例えば、Sincフィルタ)すること。
・多様なI、Q信号からのIおよびQベースバンド信号を異なる周波数において再生させること。
【0085】
ソフトモデム復調器(例えば、図7中の705および706におけるモジュール)は、局部発振器(706においてモジュール中の「ASin(ωt)」として図示される)と受信信号の周波数と同期する周波数と共に用いて、位相情報を回復させる。705におけるモジュール(フレーム復調器)は、各対のその後のIQ復調のための各音色ペアを選択し、分離させる(すなわち、音色ペアのIQ復調のための各(ωt)を規定する)。以下、同相(I)信号回復について説明する。直交成分(Q)は同じであるが、90度の位相変化と共に局部発振器(706においてモジュール中に「ACos(ωt)」として示す)を用いる。
【0086】
等価デジタル信号および入力ハイパスフィルタ(例えば、フィルタ702)として正確に再生されたマイクロフォンにおいて感知された圧力信号が理想的である場合、スマートフォンソフトモデム復調器によって受信された音声信号は、以下のようになる:
【数20】
ここで:
振幅Aは、ソナーパラメータによって決定される:
【数21】
距離dは、標的動きによって変調される:
【数22】
静的クラッタ反射/干渉信号は、以下のように表される:
【数23】
【0087】
任意の受信信号に対する同相復調器出力信号は、正しく同期されると、以下のようになる:
【数24】
【0088】
この復調動作は、三角関数公式に追随する:
【数25】
【0089】
局部発振器および受信信号が同じ角度周波数wを有する場合、以下のようになる:
【数26】
【0090】
ローパスフィルタ(図7中にLPFとして図示される)後に2wtが除去されると、以下のようになる:
【数27】
【0091】
このようにして、任意の受信信号についてローパスフィルタリングされた同期位相復調器出力信号は、正しく同期されると、以下のようになる:
【数28】
【0092】
5.1.2.2.2.2.4 FHRG復調器のSincフィルタ
スマートフォンソフトモデム復調器は、オーバーサンプリングおよび平均化Sincフィルタを706において復調器モジュールの「LPF」として用いて、不要な成分を除去し、復調された信号をベースバンドサンプリングレートへデシメートする。
【0093】
受信されたフレームは、同じバースト音中に入れられて送信される音色ペア双方(例えば、2つ以上の音色対が同時に再生される)を含み、ホップ音も含む。これらのホップ音は、その後のバースト音時に送信される。帰還信号を復調する際、例えば以下のようなfij不要な復調信号を除去する必要がある。これらは以下を含む:
・周波数において間隔を空けて設けられたベースバンド信号:|fij-fnm
・|2fnm-f|および|fnm-f|双方における、サンプリングプロセスに起因するエイリアス成分。
・右記における復調された音声周波数成分:2fnm
・fnmにおける音声キャリアは、非線形性に起因して復調器を通過し得る。
【0094】
これを達成するために、ローパスフィルタLPF(例えば、Sincフィルタ)が用いられ得る。Sincフィルタは、フィルタ応答が不要な復調成分全てにおいてゼロになるように設計されているため、ほぼ理想的である。このような長さLの移動平均フィルタのための伝達関数を以下に示す:
【数29】
【0095】
図9は、Sincフィルタ応答の例を示し、図10は、8msの期間にわたる384個のサンプルの平均化に起因して、125HzSincフィルタの最悪の場合の減衰特性を示す。
【0096】
5.1.2.2.2.2.5 復調器ベースバンド信号
スマートフォンソフトモデムは、変調された音色フレームを送信する。フレームは、同一バースト音中に入れられて送信される複数の音色ペア(例えば、4つの音色を有する2つの音色ペア)を含み、その後のバースト音時に送信されるホップ音も含む。
【0097】
先ず、音色ペアの復調について説明する。音色ペアの送信、反射および受信が同時に行われるため、唯一のその復調位相差は、音色ペア周波数差に起因する。
【0098】
「飛行時間」時間の前:
【数30】
反射信号の帰還は無いため、双方の音色ペア成分のための復調器出力は、近隣端クロストークおよび静的反射に起因してDCレベルである。
【0099】
「飛行時間」時間の後、このDCレベルは、移動する標的成分からの貢献を受容する。ここで、復調器出力は、以下を受容する:
各音色ペア周波数のための同相(I)復調器信号出力の場合、以下が得られる:
【数31】
各音色ペア周波数のための直交(Q)復調器信号出力の場合、以下が得られる:
【数32】
【0100】
復調されたバースト音中のこれらのサンプルそれぞれの合計Σは、周波数の「Sinc」フィルタリング中の信号結果を受容する。このフィルタは、これらの周波数全てを拒否するために、信号対ノイズを向上させ、fnm-f11毎に間隔を空けて配置された不要な復調されたバースト音周波における伝達関数数においてゼロを生成するように、必要な受信バースト音を平均化させるように設計される。
【0101】
この合計は、フルバースト音期間時において発生するが、動きに起因する成分は、音色ペアバースト期間の終了まで、飛行時間期間後にのみ発生する。すなわち:
【数33】
【0102】
飛行時間の結果、さらなる信号減衰率が、信号回復に導入される。減衰率は、以下のようになる:
【数34】
これは、最大範囲Dまでの振幅の線形低減である。
【0103】
フレームがn個の連続的な音色ペアを含む場合にフレームレートにおける音声信号の復調およびその後の平均化が行われると、以下のサンプルレートと共にベースバンド信号が生成される:
【数35】
毎秒毎のサンプルが用いられ、その結果、2n個の異なるIベースバンド復調信号およびQベースバンド復調信号が得られる。
【0104】
5.1.2.2.2.2.6 復調器Imn及びQmn
このような復調および平均化動作の結果、音色ペア音声周波数が、下記のサンプリングレートにおいて4つの別個のベースバンド信号サンプル(すなわち、I11、I12、Q11、Q22)へ復調される:
【数36】
サンプル/秒
【0105】
その後のフレーム期間において、先行対から
【数37】
だけ分離された異なる周波数についてこの動作を反復して、Sincフィルタ機能による最適な拒否を維持する。
【0106】
このサンプリング手順を各フレームについて繰り返して、多様なベースバンド信号を生成する。所与の例において、2x4xIベースバンド信号および2x4xQベースバンド信号が生成され、これらの信号はそれぞれ、三角関数の公式に起因して、位相特性を有する:
【数38】
【0107】
移動標的の1mにおける第1の音色ペアによる位相変化の例を図11に示す。
【0108】
AFHRGアーキテクチャにより、狭いタイミングの同期が、時間、周波数および音色ペアのエンベロープ振幅特性(フレーム同期モジュール703を用いたもの)により促進される。音声TxおよびRxフレームは、非同期であり得る。初期化時において、モバイルデバイスが完全なTx-Rx同期を維持することが期待され得る。本開示のいくつかの態様によれば、図12に示すように、初期同期は、トレーニング音フレームにより達成され得る。トレーニング音フレームは、1202に示すように、ノミナルフレーム音色を含み得る。図7について上記に示したように、Rx信号は、IQ復調器706によってIQ復調され得る。次に、1204に示すようにエンベロープを(例えば、絶対値の計算の後にローパスフィルタリングをするかまたはヒルバート変換を用いて)計算し、1206に示すように、レベル閾値検出を用いてタイミングを抽出する。ASin(ωt)-ASin(ωt)パルスの形状により、自己相関が支援され、この形状は、精度および正確さを向上させるように構成され得る。次に、Rx円形バッファ指数が、1208に示すように、正しい同期タイミングに対して設定され得る。本開示のいくつかの態様において、トレーニング音フレームは用いられ得ず、Rxは活性化され得、その後短期間の後にTXが活性化され、短期間の記録された無音期間の後、閾値がTXフレームの開始を検出するために用いられ得る。この閾値は、バックグラウンドノイズに対してロバストになるように選択され得、Tx信号の上昇時間の事前知識を用いて、真のTx開始からオフセットを生じることができるため、上記上昇時間に発生する閾値検出が修正される。信号の推測されたエンベロープを考える際、相対的信号レベルに基づいて適応し得る検出アルゴリズムを用いて、ピークおよび「トラフ」(トラフは、とられた絶対値により、ゼロ線の周囲にある)の基準点検出が行われ得る。トラフは反射に起因するノイズを含む可能性がより高いため、任意選択的にピークのみを処理してもよい。
【0109】
いくつかの場合において、デバイス(例えば、モバイルデバイス)は、他の活動または処理に起因して同期を失う場合があり、その結果、音声サンプルのジッタまたは低下に繋がる。よって、再同期戦略が例えばフレーム同期モジュール703と共に用いられ得る。本開示のいくつかの態様によれば、同期が良好/真であることを定期的に確認するために、周期的トレーニングシーケンスの導入を行うことができる。別のアプローチ(これは、任意選択的にこのような周期的トレーニングシーケンスも利用できるが、このようなものを利用しない)として、閾値を超える最大相関が検出されるまで、既知のTxフレームシーケンス(典型的には単一のフレーム)をRx信号のセグメントに沿って繰り返しクロス相関させる方法がある。閾値は、Rx信号中の期待されるノイズおよび多経路干渉に対してロバストになるように選択され得る。次に、この最大相関の指数は、同期補正係教を推測するための指数として用いられ得る。復調された信号における脱同期は、小さなまたは大きな段差(通常は後者)としてベース線中に出現し得る点に留意されたい。いくつかの実際の大きな動き信号にみられるほぼ段階的な応答と対称的に、脱同期されたセグメントは、有用な生理学的情報を保持せず、出力ベースバンド信号から除去される(その結果、信号の数秒が失われ得る)。
【0110】
そのため、同期は典型的には送信信号の事前知識を利用することが多く、初期アライメントが技術(例えば、エンベロープ検出)を通じて行われ、その後、受信された信号Rxと既知の送信信号Txとの間のクロス相関を用いて、正しいバーストが選択される。同期損失のチェックは、理想的には定期的に行う必要があり、任意選択的にデータ整合性試験を含む。
【0111】
新規同期が行われる場合、このような整合性試験の例において、この新規同期と、1つ以上の先行する同期(単数または複数)のタイミングとを比較するためのチェックが行われ得る。サンプルにおける候補同期時間の時間差は、受容可能なタイミング公差内のフレームの整数に等しいことが予測される。これが当てはまらない場合、同期が失われた可能性が高い。そのような場合、本システムは、再初期化を開始し得る(例えば、(局所的期間に固有の)新規トレーニングシーケンスを用いたもの、Tx中への規定期間「無音」またはいくつかの他のマーカの導入)。そのような場合、可能な脱同期イベント以降に感知されたデータが疑義有りのものとしてフラグ付けされ得、捨象され得る。
【0112】
このような脱同期チェックは、デバイス上において継続的に行われ得、有用なトレンド情報を蓄積させ得る。例えば、定期的な脱同期が検出および修正されると、システムは、音声バッファ長さを適合させて、このような望ましくない挙動を停止させるかまたは処理またはメモリロードを変化させる(例えば、いくつかの処理を睡眠セッションの終了まで延期させ、(複雑なアルゴリズムをリアルタイムまたはリアルタイムに近いタイミングで実行する代わりに)このような処理のデータをバッファする)。このような再同期アプローチは、多様な種類のTx(例えば、FHRG、AFHRG、FMCW)において(特に、スマートデバイスなどの複雑なプロセッサを用いる場合に)有効および有用であることが分かる。記載のように、基準フレームのエンベロープとRxシーケンスの推測エンベロープとの間で相関付けが行われ得るが、このような相関付けを基準フレームとRxシーケンスとの間に直接行ってもよい。このような相関は、時間ドメインまたは周波数ドメインにおいて(例えば、相互スペクトル密度または相互コヒーレンス測定として)行われ得る。(ユーザ対話(例えば、スマートデバイス上の別のアプリケーションまたは着信)に起因して再生が予測される場合に)Tx信号の生成/再生が一定期間停止される状況もあり、その場合、信号が最小レベル閾値を超えるのをRxが確認するまで、再同期が休止される。潜在的には、デバイスの主要プロセッサおよび音声CODECの同期が不完全である場合、脱同期も経時的に発生し得る。脱同期の持続期間の長期化が疑われる場合、トレーニングシーケンスを生成および再生するためのメカニズムが用いられ得る。
【0113】
脱同期により、信号のDCシフトおよび/またはステップ応答のようにみえる信号が生成され得、脱同期イベント後に平均(平均値)レベルまたはトレンドが変化し得る点に留意されたい。さらに、脱同期は、外部要素(例えば、大きなノイズ)に起因しても発生し得る(例えば、環境内の短いインパルスまたは持続期間)(例えば、ドンという大きな音、マイクロフォンまたは近隣のテーブルを含むデバイスをノックする何か、極めて大きないびき、咳、くしゃみ、叫び声)が有る場合、Tx信号がかき消される可能性がある(ノイズ源は、Txに類似する周波数および内容を有するが、振幅はより高い)かつ/またはRxが浸水する可能性がある(浸潤、ハードまたはソフトのクリッピング、あるいは潜在的には自動ゲイン制御(AGC)の活性化)。
【0114】
図13は、中間周波数を含む32msフレームの例を示す。本開示のいくつかの態様によれば、IF段階は、早期の4ms(0.5m範囲)信号と、後期の4ms信号とを比較するように構成され得る。本開示の他の態様によれば、IF段階は、第1の音色の位相と、第2の音色の位相とを比較するように構成され得る。IF段階においては、飛行時間内における受信信号のレベルまたは位相変化が比較されるため、共通モード信号アーチファクト(例えば、動きおよび1/fノイズ)を低減または除去することができる。
【0115】
室内反射により、共振周波数において室内モードが生成され得る。AFHRGアーキテクチャにより、フレーム周波数分離が維持された後、基本周波数のシフトが可能になる。パルス対周波数は、室内モードを発生させない周波数へシフトされ得る。他の実施形態において、モードエネルギー蓄積を軽減させるように、フレームパルス対周波数がホップされ得る。他の実施形態において、ホモダイン受信器による反射の認識を回避するために、フレームパルス対周波数が、長い非反復的な擬似ランダムシーケンスを周波数特定の反射時間全体にわたって用いてホップされ得る。モードからの干渉を軽減するようにフレーム周波数をディザリングしてもよいし、あるいは正弦波フレームシフトを用いてもよい。
【0116】
AFHRGシステムを用いた場合、多くの利点が得られる。例えば、このようなシステムにより、室内モード軽減のための適応可能な送信周波数が可能になる。本システムにおいては、例えばパルス駆動型連続波レーダーシステムにおいて必要な典型的な「静穏期」と対照的に、SNR向上のために、反復されるパルスメカニズムおよび異なる周波数と共にアクティブ送信が用いられる。この点について、フレーム中の先行音色ペアからの異なる周波数におけるその後の音色ペアにより、「静穏期」が実行される。その後の周波数により、その後の音色ペアの動作時(伝播)において、先行の異なる周波数音色ペアからの反射された音声の伝播を落ち着くことが可能になる。時間スロットにより、一次までのレンジゲーティングが可能になる。さらに、SNRのさらなる向上のために、アーキテクチャにおいて二重周波数パルスが用いられる。中間周波数位相を設けることにより、規定されたおよび/またはプログラマブルレンジゲーティングが可能になる。アーキテクチャは、室内反射の軽減のために、Costasまたは擬似ランダム周波数ホッピングコードを用いた低速サンプリング期間が可能なように設計される。加えて、直交Dirac Comb周波数により、ノイズ低減をさらに支援するために、フレームタイミングディザリングおよび音色周波数ディザリングも可能になる。
【0117】
より幅広またはより幅狭の帯域幅もAFHRGにおいて選択され得る点に留意されたい。例えば、特定のハンドセットが21kHzまでの良好な信号強度と共に送受信が可能であり、システムを使用している対象が18kHzまで聴くことが可能である場合、19~21kHzの2kHz帯域幅がシステムの使用用に選択され得る。これらの音色ペアは、他の送信された(または検出された雰囲気)音声の内容中に隠蔽され得、他の音声内容の変化に適応して、ユーザからマスクされ得ることも理解される。このマスキングは、可聴(例えば、例えば、約250Hz~)の音色ペアまたは非可聴音色ペアの送信により、達成され得る。システムが例えば18kHzを超える値において動作している場合、任意の生成された音楽源に対して約18kHzよりも低いローパスフィルタリングしてもよいし、逆に、音声源を直接処理することができない場合、システムは、音声内容を追跡し、予測される数の音色ペアを注入し、SNR最大化および可聴度最小化の双方に適応する。実際、既存の音声内容の要素により、音色ペアへのマスキングが可能になる。ここで、音色ペア(単数または複数)は、マスキング効果を最大化させるように適応される。すなわち、聴覚マスキングにおいて、音色ペアの知覚が低減または除去される。
【0118】
(A)FHRG、FMCW、UWBなどの使用に対して(マスキング有りまたは無しで)音響信号(例えば、音楽)を生成または再生する際に用いられる別のアプローチは、キャリアを直接変調することである。このような場合、信号内容を調節することにより(詳細には、信号の振幅を変化させることにより)、再生される信号において感知信号が直接符号化される。その後の処理は、ベースバンド信号が得られるように混合およびその後のローパスフィルタリングによりフィルタすることにより、入来(受信された)信号対送出(生成された/送信された)信号を復調させることを含む。キャリア信号の位相変化は、センサーの近隣の呼吸などの動きに比例する。1つの注意点として、基礎となるうなりに起因して呼吸周波数において音楽の振幅または周波数が自然変化した場合、復調された信号上のノイズ増加に繋がり得る点がある。また、再生中の静音期間において、このときに呼吸検出を継続するために、余分な信号(例えば、振幅変調されたノイズ)を注入する必要があり得、あるいは、本システムは、このような静音再生期間時においてベースバンド信号を無視するように(すなわち、「詰め物」としての変調信号を生成する必要を回避するようにしてもよい。音声信号(例えば、音楽信号)を変調させる振幅の代わりに(または加えて)、ベースバンド信号の回復のために、この信号を規定された位相セグメントと共に位相符号化した後、受信された信号を復調させ、符号化間隔時に受信信号の位相変化を追跡することが可能であることも理解される。
【0119】
5.1.2.2.2.3 適応飛行時間
本開示のいくつかの態様によれば、室内音響問題を軽減するために、適応飛行時間(AToF)アーキテクチャが用いられ得る。AToFアーキテクチャは、AFHRGに類似する。AFHRGと同様に、AToFにおいては、パルスの反復によりSNRを向上させるための通常静穏期が用いられる。例えば、4つの個々のホモダインパルス駆動型ソナー信号が、各フレームに入れられて送信され得る。各信号は、8msの飛行時間を有し得る。8msの飛行時間において、双方の方向を含む範囲は2.7メートルであるため、有効な実際のフレームは1.35mであり、パルス反復周波数は31.25Hzである。さらに、各パルスは、図14に示すような2つのパルス周波数を含み得、その結果、8個の別個のパルス駆動型ホモダイン信号が単一の32msのトランシーバフレーム内に得られる。AFHRGアーキテクチャと対照的に、AToFにおいては、8msではなく1msにわたって継続するパルスが用いられる。
【0120】
AFHRGと同様に、AToFにおいては、パルスの成形の支援のために、Dirac Comb特徴および直交パルス対が用いられ得る。AToFにおいて、各時間スロットのために別個の周波数対が用いられ得、線形またはCostas コード周波数ホッピングが用いられ得る。時間スロットは、必要な範囲検出により、決定され得る。周波数対は、
【数39】
と共に、
【数40】
として生成され得る。周波数対方程式の要求が満たされた後、フェージングを軽減するように固定帯域内のその周波数を調節することにより、各フレームが適合され得る。
【0121】
要約すると、周波数対の(例えば異なる周波数における複数の個々の音色に対する)いくつかの利点を以下に挙げる:
・周波数柔軟性:任意の周波数を任意の時間スロット時間
【数41】
において用いることが可能になるため、室内モードおよびフェージングの軽減のために周波数シフト適応性が可能になる。
・S/N(SNRに対する影響):(パルスの縁のスケーリングの許容度と共に)帯域幅利用の向上が得られる結果、信号対ノイズが増加する。
・過渡状態の軽減:理想に近いゼロ交差移行が得られるため、送信器および受信器双方における周波数ホッピング過渡状態が軽減され、真の擬似ランダム周波数ホッピング能力が可能になる。その結果、非可聴システムが得られる。
・同期回復の促進:成形されたパルスの固有の周波数および振幅プロファイルにより、同期検出および精度が向上する(すなわち、明確な形状になる)。
・パルスおよびフレームタイミングの柔軟性:任意の時間スロット時間の持続が可能になるため、「可変検出範囲」機能が得られる。
・ディザリングの促進:周波数ディザリングおよび時間スロットディザリング双方が可能になるため、ノイズが軽減する。
・狭いBW:極めて狭い帯域幅が自然に得られるため、フィルタリング無しでも非可聴になる(フィルタリングを行うと、位相ひずみの原因になり得る)。
・複数の音色:複数の音色を同じ時間スロットにおいて用いることが可能であるため、S/Nの向上およびフェージング軽減が可能になる。
【0122】
5.1.2.2.2.4 周波数変調連続波(FMCW)
本開示のさらに別の態様において、上記の技術的課題のうちいくつかの軽減のために、周波数変調連続波(FMCW)アーキテクチャが用いられ得る。FMCWを使用すると、距離推定が可能になり、レンジゲーティングが可能になるため、FMCW信号は、局所化(すなわち、距離および速度)を可能にするために用いられることが多い。日常生活における可聴鋸歯状チャープの例は、鳥からのチャープに類似し、三角形チャープは、例えば警察のサイレンからの音に類似する。FMCWは、内蔵または外付けのラウドスピーカ(単数または複数)およびマイクロフォン(単数または複数)を用いた典型的なスマートデバイス(例えば、スマートフォンまたはタブレット)上において実行されるRFセンサーおよび音声センサーにおいて用いられ得る。
【0123】
可聴ガイド音(単数または複数)(例えば、記録開始時またはスマートデバイスの移動時に再生されるもの)を用いて、非可聴音声の相対的な「音量」を搬送することができる点に留意されたい。1つ以上のマイクロフォンを備えたスマートデバイス上において、(例えば、エコーキャンセル、ノイズ低減、自動ゲイン制御をディセーブルするための)ソフトウェアまたはハードウェアCODECにおける任意の余計な処理を最小化させ(かつ理想的には不要にする)ように、プロファイルが選択される。いくつかのハンドセットの場合、「音声認識」モードになるように構成されたカムコーダーのマイクロフォンまたは主要マイクロフォンにより、良好な結果が得られるか、または、例えばバーチャルリアリティ用途または音楽ミキシングに用いられ得る「未処理の」マイクロフォンフィードの選択が可能になる。ハンドセットに応じて、例えばいくつかのAndroidOS改訂において利用可能な「音声認識」モードにより、(望ましい)マイクロフォン上における効果および前処理がディセーブルされ得る。
【0124】
FMCWにより、空間的範囲にわたる追跡が可能になり、よって呼吸している人の居場所の決定が可能になり、呼吸している人が移動した場合、2人以上の呼吸している人を(センサーの範囲内において)分離することが可能になる(すなわち、異なる範囲における各対象からの呼吸波形を除去することができる)。
【0125】
FMCWは、チャープ(例えば、鋸歯、三角形または正弦波の形状)を有し得る。よって、(A)FHRG型システムのパルスと対照的に、FMCWシステムは、周波数が変化する音声反復波形(例えば、非可聴)を生成し得る。可能であれば、信号のゼロ交差において周波数変化に整合すること(すなわち、(可聴になり得かつ/またはスピーカに対して不要なストレスになり得る)不要な高調波の原因になり得る生成信号における不連続部分がジャンプされる事態を回避すること)が重要である。鋸歯は、図15Bに示す傾斜部分の形状と同様に、(低周波数から高周波数へと)上方に傾斜し得る。繰り返されると、傾斜部分は、より低い部分からより高い部分を繰り返すなどの波形(鋸歯)を繰り返すことにより、上方鋸形状を形成する。しかし、このような傾斜部分は、(より高周波数からより低周波数へ)下方に傾斜してもよい。繰り返されると、傾斜部分は、より高い部分からより低い部分を繰り返すなどの波形(鋸歯)を繰り返すことにより、下方鋸形状を形成する。さらに、このようなランピングは、図示のような線形関数を用いたほぼ線形であり得るが、いくつかのバージョンにおいて、周波数の上昇は、曲線(増加または低減)の形態をとり得る(例えば、波形の周波数変化の安値および高値間(または高値および安値)間の多項式関数を用いたもの)。
【0126】
いくつかのバージョンにおいて、FMCWシステムは、反復波形の形態の1つ以上のパラメータを変動させるように、構成され得る。例えば、システムは、以下のうち任意の1つ以上を変動させ得る:(a)波形の反復部分の周波数ピーク位置(例えば、反復部分における早期または後期におけるピーク)。このようなパラメータ変動は、波形の傾斜部分(例えば、上昇勾配および/または下降勾配)の周波数変化の勾配の変化であり得る。このようなパラメータ変動は、波形の反復部分の周波数範囲の変化であり得る。
【0127】
FMCW三角波形と共にスマートデバイス上において用いられるこのような非可聴信号を達成するための特定の方法について、以下に概要を述べる。
【0128】
FMCWシステムの場合、理論的距離分解能は、以下のように規定される:V/(2*BW)。ここで、Vは、例えば音声の速度であり、BWは帯域幅である。よって、(例えば、室温において)V=340m/sおよび18~20kHzのチャープFMCWシステムの場合、標的分離のために、85mmの距離分解能が可能になる。次に、(本例において)各対象がセンサーのフィールド内において少なくとも85mmの間隔だけ空けられて配置されているという前提において、(CWシステムと同様の)個々にずっと細かな分解能と共に、1つ以上の移動標的(例えば、対象の呼吸動き)それぞれ検出することができる。
【0129】
スピーカおよび/またはマイクロフォンの周波数に対する相対的感度に応じて、システムは、各周波数を同一振幅を有するように修正する(またはシステムの非線形性を修正するための送信信号チャープの他の変更)ように、送信された信号TxFMCW波形の強調を任意選択的に用い得る。例えば、スピーカ応答が周波数の増加と共に低減した場合、チャープの19kHz成分が18kHz成分よりも高い振幅において生成され、これにより、実際のTx信号は周波数範囲にわたって同一振幅を有する。歪みを回避することはもちろん重要であり、システムは、歪み(例えば、クリッピング、不要な高調波、鋸歯状の波形)が発生しないことを決定する(すなわち、SNR最大化のために、Tx信号ができるだけ大きな振幅でできるだけ線形に近くなるようにTx信号を調節する)ために、調節された送信信号について受信信号をチェックし得る。配置されるようなシステムは、信号線形性を実行可能に維持しつつ呼吸パラメータ抽出のための標的SNRを満たすように、波形をスケールダウンしかつ/または容量を低減し得る(SNR最大化と、ラウドスピーカ(単数または複数)の大きな駆動との間にはトレードオフがある)。
【0130】
チャンネル状態に基づいて、チャープは、例えば(用いられる帯域幅に適合することにより)強い干渉源に対してロバストになるように、システムによって適合され得る。
【0131】
5.1.2.2.2.5 FMCWチャープの種類および不可聴性
FMCWは、可聴周波数において、さらなるデジタル信号処理ステップが行われない限り、ブンブンという音として明確に聞こえる1/10msの期間=100Hz(および関連高調波)を有する。人間の耳は、ハイパスフィルタリングにより-40dBまでの低い成分を除去した場合(-90dBを下回る不要成分のフィルタリングが必要になり得る)でも、極めて低振幅の信号を(特に寝室などの静寂環境下において)識別できるという驚くべき能力を有する。例えば、(例えば、チャープについてハミング、ハニング、ブラックマンなどによりウィンドウ生成するために)チャープの開始部分および終了部分が強調抑制され得、その後、その後の処理において修正のために再度強調され得る。
【0132】
チャープを隔離すること(例えば、チャープ間に(持続期間中の単一のチャープよりもずっと長い)静穏期を設けるために各100~200msを繰り返すこと)も可能である。その場合、反射関連の定在波の検出を最小化できるという効果が得られる。このアプローチの不利点として、連続的なチャープ信号の繰り返しに対して、利用可能な送信エネルギーが少ない点がある。トレードオフとして、可聴クリックを低減し、連続的出力信号を低減した場合、デバイス(例えば、電話ラウドスピーカなどのスマートデバイス)ラウドスピーカおよび増幅器)の駆動の困難性が低減するという一定の恩恵が得られる。例えば、コイルラウドスピーカの場合、最大振幅において長期間駆動されると、過渡状態による影響を受け得る。
【0133】
図15は、FMCW傾斜シーケンスの可聴バージョンの例を示す。図15(a)は、振幅対時間を示すグラフ中の標準的チャープを示す。図15(b)は、この標準的可聴チャープの分光写真を示し、図15(c)は、標準的音声チャープの周波数スペクトルを示す。
【0134】
上記したように、FMCW音色は、傾斜部分ではなく正弦波プロファイルも用い得る。図16は、ハイパスフィルタリングが適用されたFMCW正弦波プロファイルの例を示す。図16Aは、信号振幅対時間を示す。図16Bは、信号の周波数スペクトルを示す。図16Cは、信号の分光写真を示す。以下の例において、開始周波数として18kHzが、終了周波数として20kHzが用いられる。512個のサンプルの「チャープ」が、正弦波プロファイルと共に生成される。中間周波数は19,687.5Hzであり、偏差は+/-1,000Hzである。これらのチャープのシーケンスは、チャープ境界にわたって連続する位相を有するため、シーケンス非可聴の作製が支援される。ハイパスフィルタが、得られたシーケンスへ任意選択的に適用され得る。しかし、この動作に起因して、位相が不連続になる可能性が発生し得、その場合、逆説的に(所望の可聴性がより低い信号ではなく)可聴性がより高い信号になる点に留意されたい。シフトされた受信信号のFFTは、送信シーケンスのFFTの共役により乗算される。位相角度は、抽出およびアンラップされる。最適な直線が見つけられる。
【0135】
記載のように、正弦波信号を非可聴にするためにフィルタリングする必要がある場合、位相情報の歪みに繋がり得るため、これは理想的ではない。これは、スイープ間の位相不連続性に起因し得る。そのため、三角波形を用いた非可聴FMCWシーケンスが用いられ得る。
【0136】
波形の生成元であるスピーカ(単数または複数)によってクリックが生成されないように、位相連続波形である三角波形信号を生成することができる。スイープにわたって連続しているのにも関わらず、各スイープの開始部分における位相差が存在し得る。これらの方程式は、複数の2πにおいて開始する次のスイープの開始部分における位相を確保するように変更され得るため、波形の単一のセクションのルーピングを位相連続的に行うことが可能になる。
【0137】
類似のアプローチを傾斜チャープ信号に適用可能であるが、(チャープが18kHz~20kHzである前提の場合に)周波数ジャンプ不連続性が20kHz~18kHzであると、商品であるスマートデバイ中の増幅器およびラウドスピーカにストレスがかかり得る。三角波形の場合、下方スイープの付加により傾斜部分よりも多くの情報が得られ、三角波形は周波数の変化がより「緩やか」であるため、傾斜部分の不連続ジャンプ部分の場合よりも電話ハードウェアに対する有害性を低くする必要が有る。
【0138】
この位相連続型三角波形の生成のための信号生成モジュールにおいて実行され得る例示的な方程式を以下に示す。三角形チャープの位相は、上方および下方スイープ双方についてかつ以下の閉鎖式からの時間指数nについて計算され得る:
【数42】
ここで:
はサンプルレートであり、
,fは、それぞれ低周波数および高周波数であり、
Nは、上方スイープおよび下方スイープ中の合計サンプル数である(すなわち、
【数43】
スイープ毎のサンプル(偶数Nを前提とする))。
【0139】
下方スイープの終了時における最終位相は、以下によって得られる
【数44】
【0140】
位相のsinを次のスイープの開始時においてゼロ周囲に戻すために、以下が得られる:
【数45】
、一定の整数mについて
【数46】
【0141】
例えば、Nおよびfは固定であると仮定する。よって、fをできるだけ18kHzに近づけるように、mを選択する:
【数47】
N=1024及びf=20kHzに対して,m=406ならば,f=18,625.5kHzである。
【0142】
この三角波形の復調は、三角形上方および下方スイープを個別に復調させることまたは上方および下方スイープを同時に処理することまたは実際に複数の三角形スイープのフレームを処理することとしてみなされ得る。上方スイープの処理のみで有る場合、傾斜部分(鋸歯状)の単一のフレームの処理に等価である点に留意されたい。
【0143】
上方および/または下方スイープを例えば呼吸感知において用いることにより、呼吸の呼気部分から吸気を分離させることができる(すなわち、吸気または呼気が発生している時点を知ることができる)。三角形信号の例を図17に示し、検出された呼吸波形の復調を図18Aおよび図18Bに示す。図17に示すように、スマートデバイスマイクロフォンは、同じスマートデバイスのラウドスピーカから出射された非可聴三角形を記録している。図18Aにおいて、グラフは、三角形信号の反射の(信号の上方スイープに関連する)復調結果を示し、50.7cmにおいて抽出された呼吸波形を示す。図18Bにおいて、グラフは、三角形信号の反射の(信号の下方スイープに関連する)復調結果を示し、50.7cmにおいて抽出された呼吸波形を示す。これらの図に示すように、図18Bの回復された信号は、位相差に起因して、対応する上方スイープの復調されたアンラップ信号に対して上下にひっくり返っているように見える。
【0144】
対称な三角形傾斜部分の代わりに非対称な「三角形」傾斜部分を考えてもよく、その場合、上方スイープは、下方スイープよりも長く持続する(またはその逆)。この場合、より短い持続期間は、(a)例えば上方スイープのみの傾斜部分における過渡状態に起因して妥協を来たし得る不可聴性を維持すること、および(b)信号中に基準点を提供することである。復調は、より長い上方スイープ(静穏期を含む鋸歯状傾斜部分の場合(ただし、「静穏期」は、より短い持続期間の下方スイープである)のように行われる。これにより、潜在的には、用いられるTx信号の最大化および非可聴の位相連続Tx信号の維持を可能にしつつ、(必要な場合に)処理負荷の低減が可能になる。
【0145】
5.1.2.2.2.6 FMCW復調
ソナーFMCW処理方法の例示的フローを図19に示す。本図に示すブロックまたはモジュールは、1902においてフロントエンド送信信号生成を提供し、1904において信号受信を提供し、1906において同期を提供し、1908においてダウンコンバージョンを提供し、1910における「2D」分析(例えば、活動、動き、存在/不在および呼吸の任意の1つ以上の推測を示す信号の生成を含む)を提供する。これらのデータ/信号から、1912における覚醒および/または睡眠ステージングが設けられ得る。
【0146】
特に1906においてモジュール中の同期をチェックする際、送信されたチャープを受信信号と相関付けることが可能である。一例として、相関動作後の鋭利なピークに起因して細かな詳細を決定するために、得られたn個の矢印パルスが有用であり得る。信号スペクトルの幅と、相関機能の幅との間には、反復的関係が概して存在する(例えば、比較的幅広のFMCW信号がFMCWテンプレートと相関する場合、n個の矢印相関ピークに繋がる)。余談として、標準的チャープを受信器における応答と相関付けると、エコーインパルス応答の推測が可能になる。
【0147】
FMCWにおいて、システムは、周波数範囲にわたる全応答の合計を「最も強い」全体的応答として有効に検討する(例えば、チャープ中のいくつかの周波数は深刻なフェージングに出会い得るが、他も良好な応答を提供し得るため、システムは上記合計を検討し得る)。
【0148】
ベースバンド信号(例えば、全身の動きまたは呼吸)をFMCWシステムとして回復させるための1つ以上のプロセッサ(例えば、モバイルデバイス中のもの)の例示的方法について以下に述べる。本開示のいくつかの態様によれば、チャープシーケンスの送信は、例えば1902において1つ以上のスピーカ(単数または複数)を作動させるFMCW送信生成モジュールを用いて行われ得る。チャープシーケンスは、例えば非可聴三角形音響信号であり得る。入来受信された信号(例えば、1つ以上のマイクロフォンと共に動作する受信モジュールによって1904において受信されたもの)と、送信信号との同期は、例えば上記のピーク相関を用いて行われ得る。チャープまたはブロック(例えば、いくつかのチャープのもの)に対する連続的再同期チェックは、1906において例えば同期モジュールと共に行われ得る。次に、混合動作(例えば、乗算または合計によるもの)が復調(例えば、1908においてダウンコンバージョンモジュールを用いたもの)のために行われ得、ここで、受信された信号の1つ以上のスイープが、送信信号の1つ以上のスイープと乗算され得る。その結果、合計における周波数と、送信周波数と受信周波数との差とが得られる。
【0149】
1902において送信モジュールを用いて電話から送信される信号の一例としての三角形チャープは、(不可聴性確保のために)位相が連続しており、コンピューティングデバイス(例えば、モバイルデバイス)上に実行されるモジュールに従ったプロセッサ制御スピーカ(単数または複数)によるルーピング音声データを可能にするように設計される。例示的な三角形チャープは、上方および下方スイープ双方について、48kHzにおいて1500個のサンプルを用いる。その結果、上方スイープ時間は31.25ms(これは、下方スイープの場合も同じであり得る)になり、上方および下方スイープ双方が連続的に用いられた場合に(音声サンプルレートと対照的に)ベースバンドサンプルレートは32Hzになり、上方および下方スイープ双方が平均であるとき(または交互のスイープのみが用いられた場合)に16Hzになる。
【0150】
反復毎に1個のスイープを移動させる(すなわち、重複を導入する)ことにより、1個よりも多くのスイープ(例えば、4個のスイープ)が用いられる場合、ブロック毎に計算が反復され得る。この場合、相関のエンベロープの抽出、方法(例えば、フィルタリング、マックスホールド)の使用、または他の方法(ヒルバート変換)により、相関のピークを任意選択的に推測することができる。例えば相対的ピーク位置の平均からの1つの標準的偏差からはずれた値を除去することにより、異常値の除去も可能である。受信された波形の各スイープの際、相対ピーク位置のモードを(異常値を除去した状態で)用いて、開始指数を決定することができる。
【0151】
相関メトリックが他のものよりも低くなる場合がある理由として、送信波形に影響を与える(チャープの減少または「ディッピング」の原因となる)間欠的な不要な信号処理または実際には(信号が短期間において「かき消される」原因となる)室内環境中の大きな音声があり得る。
【0152】
1906における同期モジュールにより、最大360度までの度のインクリメントで位相シフトされるテンプレートとの相関をチェックすることにより、(計算量増加にも関わらず)よりきめ細やかな位相レベルの同期を行うことができる。これにより、位相レベルオフセットが推測される。
【0153】
システムのタイミングの制御を極めて高精度にしない限り(すなわち、サンプルレベルまでのシステム遅延が分からない限り)、復調を正しく機能させるために同期ステップが所望され、出力のノイズまたはエラーも発生しない。
【0154】
上記したように、1908においてモジュールにおけるダウンコンバージョン処理が行われると、ベースバンド信号が分析のために生成され得る。送信データおよび受信データが同期されると、ダウンコンバージョンの実行が可能になる。このモジュールプロセスにおいて、送信信号および受信信号(生成された音声および反射された音声)と、多様なサブモジュールまたはプロセスとが同期されることにより、「ビート」信号が抽出される。この音声処理の一例を図20に示す。本図において、I送信信号およびQ送信信号は、上記のきめ細やかな同期方法を用いて決定された位相オフセットと共に、混合のために生成され得る。例えば2004におけるモジュールまたは処理の場合のように、2002において「ネスト化ループ」が上記混合のために繰り返され得る。すなわち、外側ループが、メモリ中に保持された現在の受信波形中の各スイープについて反復され、2006においてアクセスプロセスにより2004における混合へ適用される(各上方および下方チャープは、別個のスイープとしてみなされる)、次に、内側ループが、Iチャンネルに続いてQチャンネルについて反復される。
【0155】
システムの別の例(図20に図示せず)において、複数の受信スイープが任意選択的にバッファされ、中央値が計算され、複数のスイープを含むバッファの移動中央値図が得られる。次に、信号をトレンド除去する別の方法を得るために、この中央値を現在のスイープから減算する。
【0156】
(上方または下方の)各スイープについて、位相シフトされた送信チャープと2004において混合されるよう、(syncサンプル指数を基準として用いて)受信波形の関連部分が抽出される。送信および受信セクション双方が生成されると、これらの波形は、2004において混合(すなわち、乗算)される。例えば下方スイープの場合、受信された下方スイープをTX下方スイープと混合し、フリップされた受信された下方スイープをTX上方スイープを混合し、またはフリップされた受信された下方スイープをフリップされたTX下方スイープと混合することが可能であることが分かる。
【0157】
混合動作の出力(例えば、受信波形と、基準整列波形(例えば、基準チャープ)との乗算)に対してローパスフィルタリングを行うと、(例えば、2008におけるフィルタリングプロセッサモジュールの場合のように)より高い和周波数が除去される。一例として、実行において、三角形チャープ18~20-18kHzがサンプリングレート48kHzと共に用いられ得る。このような周波数帯の場合、混合動作におけるより高い和周波数は実際にはアンダーサンプルになるため、約11~12kHzにおいてエイリアス成分が発生する(Fs=48kHzの場合、合計は約36kHzである)。ローパスフィルタは、このエイリアス成分が(特定のシステム実現において発生した場合に)確実に除去されるように構成され得る。残りの信号の成分は、標的が静的であるか移動するものであるかに応じて異なる。所与の距離において標的が揺れている(例えば、呼吸信号)と仮定した場合、信号は、「ビート」信号およびドップラー成分を含む。ビート信号は、(標的からの反射時間の遅延に起因する)送信スイープおよび受信スイープの周波数位置の差に起因する。ドップラーとは周波数シフトであり、移動している標的に起因して発生する。理想的には、このビートは、受信された信号が送信されたスイープの終了部に到着した点からスイープのセクションを選択することのみにより、計算する必要がある。しかし、標的が複雑である場合(例えば、人間)、これを行うことは困難である。そのため、スイープ全体を用いることが可能である。本開示のいくつかの態様によれば、より高度なシステムにおいて用いられ得る適応アルゴリズムにおいては、対象位置が明確に特定された後にスイープの適切な部位を取り出すことにより、システム精度をさらに増加させる。
【0158】
いくつかの場合において、混合された信号において、(2010におけるトレンド除去処理のように)任意選択的に平均(平均)を除去が除去(平均トレンド除去)され得、かつ/または、ベースバンド中に最終的に存在し得る不要な成分の除去のために、2012におけるHPF処理のようにハイパスフィルタリングされ得る。他のトレンド除去動作が、混合信号へ適用され得る(例えば、線形トレンド除去、中央値トレンド除去)。2008において適用されるフィルタリングのレベルは、送信信号品質、エコー強度、環境中の干渉源数、静的/多経路反射などによって異なり得る。より高品質の状態においては、受信信号の低周波数エンベロープ中(およびその結果の復調ベースバンド信号中)に呼吸および他の動き情報が含まれ得るため、フィルタリングの回数は低減し得る。より低品質の問題が多い状態においては、混合信号中のノイズが顕著であり得るため、フィルタリング回数を増加させることが望ましい。2008におけるこのフィルタリングモジュール段階における適切なフィルタリングレベルを選択するために、実際の信号品質の兆候(例えば、呼吸信号品質の兆候)をフィードバック信号/データとしてこれらのフィルタリングプロセス/モジュールへフィードバックすることができる。
【0159】
1908におけるダウンコンバージョンの後、呼吸、存在/不在、全身の動きおよび活動の抽出のために、複雑なFFTマトリックスの1910における二次元(2D)分析が用いられる。よって、ダウンコンバータにより、周波数ドメイン変換行列が生成され得る。この種のプロセスの場合、(例えば、2014におけるハニングウィンドウモジュールを用いて)混合された(およびフィルタリングされた)信号のブロックがウィンドウ生成される。次に、「2D」マトリックス2018の推測および生成のために、2016においてフーリエ変換(例えば、高速フーリエ変換またはFFT)を実行する。各列は、スイープのFFTであり、各行は、FFTbinである。レンジに変換されるのはこれらのFFTbinであるため、「レンジbin」と呼ぶ。次に、(各マトリックスがIチャンネルまたはQチャンネル情報に基づいている)1組の直交マトリックスなどのマトリックスを2D分析モジュールによって処理する。
【0160】
このような処理の例を、図21に示すモジュールを参照して例示する。1910におけるこの2D分析の一環として、身体(手足を含む)の動きおよび活動検出をこれらのデータに対して実行する。2102における処理モジュール(単数または複数)の動きおよび活動の推測において、対象の動きと、周波数ドメイン中の複雑な(I+jQ)混合信号の分析からの活動とに付いての情報が抽出される。これは、全身の動き(例えば、回転または手足の動き)が相関しておらずかつ呼吸時の胸部変位よりもずっと大きいということに基づいて、構成され得る。この動き処理から独立して(または依存して)、複数の信号品質値が各レンジbinについて計算される。これらの信号品質値は、IチャンネルおよびQチャンネル双方にわたる振幅およびアンラップ位相双方について計算される。
【0161】
2102における処理により、「活動推測」信号および動き信号(例えば、身体動きフラグ)が生成される。2102における活動/動き処理によって生成される「身体動きフラグ」(BMF)はバイナリフラグであり、動きが発生したか(1Hzにおける出力)を示し、「活動カウント」は、2104において計数器プロセスモジュールと共に生成され、各エポックにおいて0~30の活動の測定である(1/30sにおける出力)。換言すれば、「活動カウント」変数は、(30秒毎に更新される)30秒ブロックの規定期間における身体動きの量(重大度)および持続期間を獲得し、「動き」フラグは、発生している動きに対する単純な「はい」/「いいえ」であり、毎秒更新される。活動カウント生成に用いられる生の「活動推測」は、混合チャープ信号は、動きの無いときに相互に相関し、動き期間においては無相関であることに基づいて推測された測定値である。混合スイープは複雑な周波数ドメインを示すため、信号のモジュラスまたは絶対値を取り出した後に分析を行うことができる。人間の相関が、対象レンジbinにわたって4個のチャープを空けて配置された一連の混合上方スイープ上において計算される。この間隔空けは、48kHzにおける1500個のサンプルの送信波形の場合に125msに対応する。このようにチャープを間隔空けすることにより、調査されている速度プロファイルが決定され、必要に応じて調節され得る。この相関出力は、例えば1からの減算によって逆転されるため、相関の低減は、メトリック増加に関連する。秒毎の最大値が計算された後、短期3タップFIR(有限のインパルス応答)boxcar平均フィルタを通じて送られる。特定のデバイスの場合、このアプローチを用いて計算される動きに対する応答は、本質的に非線形であり得る。このような場合、メトリックが、自然対数機能を介して再度マップされ得る。次に、信号は、(最大相関観測に対応する)先行のN秒間にわたって観測される最小値の減算によってトレンド除去された後、単一の重みおよびバイアス項と共に、ロジスティック回帰モデル中へ送られる。その結果、1Hzの生の活動推測信号が生成される。生の活動推測信号へ閾値を適用することにより、バイナリ動きフラグが生成される。活動カウントの生成は、閾値を超える1Hzの生の活動推測と、(毎秒毎に値が0~2.5から選択される)非線形マッピング表とを比較することにより、行われる。次に、これを30秒間合計し、30の値において制限して、各エポックにおいて活動カウントを生成する。
【0162】
よって、1秒(1Hz)動きフラグが、活動強度推測と共に生成され、2012における活動/動きモジュールのプロセスおよび2104における活動カウンタに関連して最大値30(30秒エポックにおける活動合計)に対する関連活動カウントと共に生成される。
【0163】
1910における2D処理の別の態様は、対象のセンサーからの距離(または(センサーの範囲内に2人以上の対象がいる場合は)いくつかの距離)の計算である。これは、レンジbin選択アルゴリズムによって実行され得る。このレンジbin選択アルゴリズムにおいて、得られた二次元(2D)マトリックス2018が処理されて、対象bin(単数または複数)における1Dマトリックス(単数または複数)が得られる。図21中図示していないが、このような選択プロセスのモジュール出力により、2D分析の処理モジュールへの通知がなされ得る(例えば、2016における抽出処理、2108における計算処理および2110における呼吸決定処理のうちいずれか)。この点について、得られたビート周波数において位相がアンラップされると、(位相アンラップ問題が発生していないと仮定して)標的の所望の振動動きが返送される。全身の動きに起因するアンラップ信号中の可能なジャンプ不連続を軽減するために、任意選択的な位相アンラップエラー検出(および可能な収集)が行われ得る。しかし、実際には、これらの「エラー」から有用な情報が得られる場合がある(すなわち、これらの「エラー」は、信号中の動き(通常の全身の動きなどのより大きな動き)からの検出に用いられ得る)。位相アンラップに対する入力信号が極めて低振幅ノイズのみである場合、アンラップは無効になり得るため、この「閾値を下回る」信号の持続期間にわたってフラグを任意選択的に設定することができる。
【0164】
開始時間および終了時間と、動きの位置(すなわち、範囲)とを2Dアンラップされた位相マトリックス中において多様な方法を通じて検出することができる。例えば、これは、2Dエンベロープ抽出および正規化の後に閾値処理を用いて達成することができる。正規化の時間的尺度は、呼吸のような動きに起因する改変例同相を除外できるくらいに充分に大きくなるように構成される(例えば5bpmとして規定された最小呼吸速度に対して、>>k*12秒)。このような動きの検出は、bin選択プロセスに対する入力トリガとして用いられ得る。例えば、bin選択アルゴリズムは、動き期間において先行レンジbinを「ロック」し得、次に有効な呼吸信号が当該bin中または当該binの近隣に検出されるまで、当該binを保持し得る。その結果、対象が静かに呼吸した後にベッド中に移動し、次に静かに横臥した場合、これらの行動は同一レンジbin内において全て確認されるため、計算オーバーヘッドの低減が可能になる。よって、検出された動きの開始および/または終了位置を、bin選択の検索範囲を制限するために用いることができる。これを、複数の対象監視用途にも適用することができる(例えば、二人の対象がベッド内におり、同時に監視されている場合、一人の対象の動きによって他方の対象の呼吸信号が汚される可能性があるが、このようなロックインbin選択を用いると、一人の対象が大きな動きをしている場合でも、双方の対象の有効なレンジbin(およびこの呼吸信号抽出)の回復が支援され得る)。
【0165】
このアプローチにより、位相がアンラップされた振動によって生成された信号が得られる。この複雑な出力により、その後の処理のための生きている人間または動物の身体動き(例えば、呼吸)データを含む復調ベースバンドIQ信号が得られる。三角形Tx波形の例において、システムは、線形上方スイープおよび下方スイープを別個に処理し得、(例えば、SNR増加および/または呼気呼吸からの吸気分離のための)別個のIQ対としてみなし得る。いくつかの実現において、ドップラー信号における可能なカップリング効果の平均化またはレンジ推測の向上のために、任意選択的にそれぞれの(上方スイープおよび下方スイープ)からのビート周波数を処理することができる。
【0166】
ベースバンドSNRメトリックは、0.125~0.5Hzの呼吸ノイズ帯域(これは、7.5br/分~30br/分に等価であるが、ユースケースに応じて約5~40br/分まで広げることができる-すなわち、一次呼吸信号内容)と、4~8Hzの動きノイズ帯域(すなわち、呼吸以外の動きを主に含む帯域)とを比較するように構成され得る。ここで、ベースバンド信号(単数または複数)が16Hz以上においてサンプルされる。ベースバンド内容が(5回の呼吸/分に等価の)0.083Hzを下回る場合、ハイパスフィルタリングによって除去され得る。心拍数情報は、(25ビート/分~200ビート/分に等価の)ほぼ0.17~3.3Hzの帯域中に含まれ得る。
【0167】
ソナーFMCW処理時において、(すなわち、隣接する推測値を減算することにより)静的信号成分を除外(除去)するために、ビート推測間の差を任意選択的にとることができる。
【0168】
このアプローチにおけるレンジbin選択アルゴリズムは、センサー範囲内の1つ以上の対象の位置に対応するレンジbinを追跡するように構成され得る。その場合、ユーザから位置決めについて供給されたデータに応じて、可能なレンジbinsの部分的または包括的検索が必要になり得る。例えば、ユーザが睡眠(または座位)時にデバイスからどれくらい離れているかについて言及した場合、検索範囲を狭めることができる。典型的には、検討中のデータのブロックまたはエポックは、長さが30秒であり得、重複していない(すなわち、エポック毎に1つのレンジbin)。他の実現において、より長いエポック長さが用いられ得、重複が用いられ得る(すなわち、エポック毎に複数のレンジbin推測値)。
【0169】
有効な呼吸速度(または規定閾値にわたる呼吸速度の確率)の検出が用いられるため、可能な最小のウィンドウ長さが制限される。なぜならば、少なくとも1つの呼吸サイクルをエポックに含めるべきである(例えば、呼吸速度が5呼吸/分と極めて低速である場合、1回の呼吸が12秒毎に発生することを暗示する)からである。呼吸速度の上端において、45~50br/分が典型的な限界になる。よって、エポックのスペクトル推測(例えば、平均値の除去、任意選択的なウィンドウ生成、その後のFFT実行)を用いる場合、所望の呼吸帯域(例えば、5~45br/分)に関連するピーク(単数または複数)が抽出され、この帯域中の出力と、信号出力全体とを比較する。帯域にわたる最大ピークの相対的出力(または最大ピーク/平均比)と、閾値とを比較して、候補呼吸周波数が存在するかを決定する。いくつかの状況において、呼吸周波数が類似するいくつかの候補binが見受けられ得る。これらは、室内反射に起因して発生し得、複数の範囲における明確な呼吸に繋がる(これは、FFTサイドローブにも関連し得る)。
【0170】
三角波形の処理により、(例えば、ドップラー結合に起因する)このような範囲の不確実性の軽減が支援され得るが、一定期間にわたって直通路以外のより良好な信号を反射が含む場合、システムはこれを選択することができる。ユーザがコンフォータ/掛け布団を有しかつ部屋に柔らかなファニッシング(例えば、ベッドおよびカーテン)が含まれる場合、非直接的反射の結果、直接成分よりもより高い信号/ノイズ比が得られる可能性は低くなる。一次信号は、掛け布団表面からの反射であり得るため、実際の推測範囲を考慮すると、これは、人の胸部よりも若干近接して現れ得る。
【0171】
処理時間低減のため、先行エポックの推測レンジbinの知識をその後のレンジbin検索の通知において用いることができることが分かる。リアルタイムに近い(エポック毎の)分析が不要なシステムの場合、より長い時間的尺度が検討され得る。
【0172】
1.1 信号品質
呼吸の信号品質(すなわち、検出および関連品質)は、上記したような図20の2008におけるフィルタリングによって考慮され得、図21の2108におけるモジュールの計算機処理に示すように、FFT2Dメトリックの一部として計算された多様な信号品質メトリックを介して決定され得る。これらのメトリックは、2110における呼吸決定処理において考慮してもよい。任意選択的に、図21における2D分析処理は、記載の出力およびいくつかの中間値に基づいた不在/存在または睡眠ステージングの決定のための処理またはモジュールを含み得る。
【0173】
2108における計算機処理について、多様なメトリック(例えば、呼吸推測)が決定され得る。本例において、4つのメトリックが図21中に示される。
1.「I2F」-フルバンドについて二乗されたインバンド(I)
2.「Ibm」-インバンド(I)メトリックのみ
3.「Kurt」-共分散の尖度に基づいたメトリック
4.「Fda」-周波数ドメイン分析
【0174】
1.「I2F」
I2Fメトリックは、以下のように計算され得る(類似のアプローチが、inBandPwrQと呼ばれ得るQ(直交)チャンネルへ適用され得る):
【数48】
【0175】
「inBandPwrI」は、例えば約0.1Hz~0.6Hzからの全体的出力である(例えば、選択された対象呼吸帯域内)。「fullBandPwrI」は、この範囲外の全体的出力である。このメトリックは、フルバンドおよびインバンド出力の一部が類似しており、ノイズインバンドの推測のためにフルバンド出力を用いるものという大きな前提に立つことが分かる。
【0176】
2.「Ibm」
次のメトリックは、I2Fと同じ前提をとらず、信号およびノイズインバンドの推測向上を可能にする。これは、ピーク出力インバンドを見つけた後に(例えばピークの各側のFFTbinsをとることにより)この周囲の出力を計算することにより、行われる。次に、この信号出力と、ピーク値そのものを次のピーク値で除算した値(広範に正弦波型の信号の場合)とが乗算される。呼吸に強い高調波が含まれる場合、binの選択を再評価することができ、これにより、高調波がノイズ成分と混同されることが無くなる。次に、ノイズ推測は、信号サブバンド外の全てのうち呼吸帯域内にあるものである:
【数49】
【0177】
3.尖度(「KURT」)
尖度により、分布の「裾」の測定が得られる。その結果、他の非呼吸信号から呼吸を分離する手段が得られる。例えば、信号品質出力は、(IIRHPFを用いて)DCが除去された信号の(ピーク共分散から特定の距離内における)共分散の尖度の逆関数であり得る。信号品質が低い状態においては、このメトリックは「無効」と設定される。
【0178】
4.「Fda」
「Fda」(周波数ドメイン分析)を行うことができる。このような統計は、64秒の重複するデータウィンドウを用いて1つの第2のステップ長さと共に用いて計算され得る。計算は、遡及的データを用いて原因を示す。本プロセスは、特定の呼吸速度ウィンドウ内において呼吸速度を検出し得る。例えば、呼吸速度が、国際出願WO2015006364に記載のように検出され得る。本明細書中、同文献全体を参考のため援用する。例えば、呼吸速度は、0.1~0.67Hzに対応する6~40呼吸/分(bpm)になるレートウィンドウ内において検出され得る。この周波数帯は、現実的な人の呼吸速度に対応する。そのため、「インバンド」とは、0.1~0.67Hzの周波数範囲を指す。それぞれ64秒のウィンドウは、1024(16Hzにおいて64秒)のデータポイントデータポイントを含み得る。よって、アルゴリズムは、各(IおよびQ)のデータウィンドウについて512ポイント(N/2)FFTを計算する。これらのFFTの結果は、以下に述べるように、(その後呼吸速度の決定に用いられ得る)インバンドスペクトルピークの計算に用いられる。インバンド周波数範囲は、以下に述べるように、各64秒のウィンドウについて呼吸速度を計算するために用いられる。
【0179】
他の種類の「Fda」分析について、以下に述べる。
【0180】
別の周波数帯も、典型的な心拍数について検討される(例えば、45ビート/分~180ビート/分のHRは、0.75~3Hzに対応する)。
【0181】
スペクトルピーク比も決定され得る。最大インバンドピークおよびアウトサイドバンドピークが特定され、スペクトルピーク比の計算のために用いられる。これは、最大インバンドピークの最大アウトサイドバンドピークに対する比として理解され得る。
【0182】
インバンド分散も決定され得る。インバンド分散により、周波数帯中の出力が定量化される。これは、いくつかの場合においてその後の存在/不在検出についても用いられ得る。
【0183】
スペクトルピークは、性能指数の実行を通じて対象周波数帯において特定され、これにより、各binにおけるスペクトル出力レベル、隣接ピークおよびbinの周波数からの距離が組み合わせられる。上記の性能指数の最高値のbin。
【0184】
1910における2D分析の一環として、モバイルデバイスの感知近隣範囲内において1人以上の生きている人間を特定するために、2108における計算機プロセスの(概要を述べた)4つのメトリックを計算し、異なる範囲(センサーからの距離)へ移動したかまたは実際に(浴室へ行くために)感知空間を退出したかまたは感知空間へ戻ったかを追跡する。その結果、不在/存在検出についての入力と、感知範囲内に干渉源があるかが判明する。次に、例えば2110において呼吸決定処理モジュールのプロセスにおいてこれらの値をさらに評価して、システムにより監視される1つ以上の対象についての最終呼吸推測が生成される。
【0185】
1.2 不在/存在推測
図19に示すように、1910における2D分析により、不在/存在の推測およびこのような推測の出力兆候の処理も可能になり得る。人の身体動きおよびその呼吸パラメータの検出を用いて、対象がセンサー範囲に不在または存在しているかを決定するために、一連の信号を評価することができる。信号品質検出に応じて、「不在」が30秒以下以内にトリガされ、(無呼吸と明確に区別される)。いくつかのバージョンにおいて、不在/存在検出は、特徴抽出およびその後の不在検出の方法を含むものとしてみなされ得る。このようなプロセスのフロー図を図22に示す。このフロー図は、1910における上記プロセスの計算された特徴/メトリック/信号のうちいくつかを用い得るが、本明細書中に記載の他のものも計算し得る。例えば以下のうち1つ以上を含む人の存在(Prs)および人の不在(Abs)の決定において、多様な種類の特徴が検討され得る。
1. 非ゼロ活動カウント
2. 現在の2D信号(呼吸対範囲)と、先行ウィンドウ(呼吸および対象感知範囲に限定される)との間のピアソン相関係数
3. 現在の呼吸ウィンドウのI/QIbm品質メトリックの最大値
4. 60秒のウィンドウにわたるI/Q呼吸速度チャンネルの最大分散
5. 50秒のウィンドウにわたるI/Q呼吸速度チャンネルの最大分散
【0186】
これらの特徴は、現在のバッファから抽出され、(例えば、60sにわたって)バッファ長さにおけるパーセンタイルをとることにより事前処理される。次に、これらの特徴を組み合わせて、ロジスティック回帰モデルを得る。このモデルは、現在のエポックにおいて発生している不在の確率を出力する。誤検知を制限するために、これを例えば短ウィンドウ(いくつかのエポック)にわたって平均化して、最終確率推測を生成することができる。身体動き(人間または動物の動き)に関連するものとみなされる動きの期間について、存在が優先的にアサートされる。図22の図示の例において、活動カウント、IBM、ピアソン相関係数および不在確率と、適切な閾値とを比較して、人が存在しているかまたは不在であるかを評価する。本例において、存在を決定するには、1つでも肯定評価があれば充分であり、不在を決定するには、試験それぞれが否定として評価されればよい。
【0187】
全体的なシステム図をみると、動き(例えば、手足の動き)、最終的な寝返りなどが発生すると、呼吸信号が妨害され易くなり、より高周波数の成分が発生し得る(しかし、これらの成分は、「2D」処理を考えると分離可能である)。図23A図23Bおよび図23Cに示す2Dデータ(上パネル)のセグメント例において、2つのサブセクション(図23Bおよび図23C)は、マイクロフォンおよびスピーカを備えたコンピューティングデバイスの音声感知範囲内にいる人の活動を示す。グラフの各トレースまたは信号は、本明細書中に記載のアプリケーションおよびモジュールを有するモバイルデバイスから異なる距離(レンジ)の音声感知を示す。図中、いくつかの距離における呼吸信号と、いくつかのレンジ(距離)にわたる経時的動きとを視覚化することが可能である。この例において、人が(胴体がモバイルデバイスに対向している状態で)モバイルデバイスから約0.3mにおいて呼吸している。領域BBおよび図23Bにおいて、人は、ベッドから出て(全身の動き)、感知領域の近隣から退出する(例えば、部屋から出て浴室へ移動する)。しばらく経った後、領域CCおよび図23Cに関連して、人は感知領域または部屋の近隣に戻る(例えば、ベッドへ戻る(全身の動き))が、モバイルデバイスから若干さらに離れており、ここで(約0.5mにおいて)モバイルデバイスに背を向けている状態において、呼吸パターンは可視状態である。この図の解釈において、最も単純なレベルにおいて、呼吸トレースまたは全身の動きが全く無い場合、一定期間にわたる部屋からの不在を示す。
【0188】
このような動き検出は、睡眠/覚醒処理への入力(例えば、図19の1912における処理モジュールにおけるもの)として機能し得、睡眠状態が推測され得かつ/または覚醒または睡眠指示子が生成され得る。大きな動きが有った場合、レンジbin選択の変化に対するプレカーサーになる可能性もより高くなる(例えば、ユーザが位置を変えたばかりのとき)。一方、SDBイベントが呼吸パラメータから検出された場合(例えば、認識可能な無呼吸または呼吸低下)、呼吸が一定期間にわたって低減または停止し得る。
【0189】
(エンドユースケースに依存し得る)速度信号が必要な場合、FMCWチャープ信号を処理するための別のアプローチが必要になり得る。別のアプローチを用いて、受信された信号が遅延チャープとして到着し得、FFT動作が行われ得る。次に、信号をその共役と乗算して、信号をキャンセルし、その位相シフトを保持し得る。次に、勾配に最適な直線が、複数の線形回帰を用いて決定され得る。
【0190】
図を用いて説明すると、この方法の場合、ラジアン単位の位相角度を周波数へプロットすると、FMCW勾配が発生する。勾配発見動作は、異常値に対してロバストである必要がある。18kHz~20kHzのシーケンスFMCWチャープが10msである場合、有効レンジは1.8mであり、距離分解能は7mmである。回復されたベースバンド信号上のポイントの推測のために、重複するFFT動作が用いられる。
【0191】
FMCW信号を一次元信号として触接処理するためのさらに別のアプローチにおいて、櫛形フィルタが、同期信号(例えば、4個のチャープのブロック)へ適用され得る。これは、TxからRxへの直通路(mic成分への直接スピーカ)および静的反射(クラッタ)を除去するためのものである。次に、フィルタリングされた信号に対してFFTを行い、次にウィンドウ生成動作を行う。次に、第2のFFTを行った後、最大比の組み合わせが行われ得る。
【0192】
この処理の目的は、サイドローブにおける振動と、(変位ではなく)その出力速度とを検出することである。1つの利点として、(複雑なbin選択ステップ無しに)1D信号を直接推測し、センサーのフィールド内に単一の動き源(例えば、一人)が有る場合に可能性の高いレンジbinを任意選択的に推測することができる点がある。
【0193】
このようなFMCWアルゴリズム処理技術を、2D複雑なマトリックス(例えば、多様な種類のFMCWチャープ(例えば、鋸歯状傾斜部分、三角形)を用いてレーダーセンサーから出力されるもの)へ適用してもよいことも理解され得る。
【0194】
5.1.3 さらなるシステム考慮事項-スピーカおよび/またはマイクロフォン
本開示のいくつかの態様によれば、スピーカおよびマイクロフォンは、同一デバイス上(例えば、スマートフォン、タブレット、ラップトップ上)に設けてもよいし、あるいは、共通または他の場合に同期クロック信号と共に異なるデバイス上に設けてもよい。また、2つ以上の成分が音声チャンネルを介してまたは別の手段(例えば、インターネット)を介して同期情報を通信することができる場合、同期クロック信号は不要であり得る。いくつかの解決法において、送信器および受信器は、同一クロックを用い得る場合、特殊な同期技術は不要である。同期実現のための別の方法は、CostasループまたはPLL(位相ロックループ)を用いること(すなわち、送信された信号(例えば、キャリア信号)に「ロックイン」することができるアプローチ)を含む。
【0195】
不要な低周波数アーチファクト成分の可能性を最小限に抑えるためには、サンプル送信およびサンプル受信の同期への累積的影響を理解するために、音声経路における任意のバッファリングを考慮することが重要であり得る。いくつかの場合、例えば電話ヘッドセット/micプラグインデバイス(例えば、ハンズフリー通話を行うためのもの)を用いることにより、マイクロフォンおよび/またはスピーカをベッドクロスの近隣またはベッドクロス内部に配置することが望ましい場合がある。一例として、Apple電話機およびAndroid電話機と通常同梱されたデバイスがある。較正/セットアッププロセスにおいて、システム/環境セットアップに適合するために、システムは、(電話機上に1つよりも多くのマイクが有る場合に)適切なmicと、スピーカと、振幅および周波数設定とを選択することができる必要がある。
【0196】
5.1.3.1.1 成分変化および環境に対するシステムの較正/適応
使用される特定の電話機(または他のモバイルデバイス)、環境(例えば、寝室)およびシステムのユーザ(単数または複数)に対してシステムパラメータを最適化させるための技術を実行することが望ましい。これは、装置がポータブルであり得(例えば、別の生活空間、寝室、ホテル、病院、ケアホームへ移動させることができ)、感知フィールド内の1つ以上の生体に適応し、広範囲のデバイスに適合することができるため、システムは経時的に学習することを暗示する。これは、音声チャンネルの均等化を示す。
【0197】
本システムは、デバイスまたはモデル特有の特性およびチャンネル特性を学習する(かまたは実際にデフォルトで事前プログラムされる)ことにより、チャンネル状態に合わせて自動較正することができる。デバイスおよびモデル特定の特性を挙げると、スピーカおよびマイクロフォンのベース線ノイズ特性、意図される周波数(単数または複数)において安定的に振動する機械的成分の能力、振幅応答(すなわち、標的波形に対する実際の出射容量)、受信マイクロフォン(単数または複数)の信号応答がある。例えば、FMCWチャープの場合、受信された直通路チャープの大きさを用いて、システムの感度を推測することができ、(スピーカおよびマイクの組み合わせの性能(例えば、所与の電話音量においてスピーカ/トランスデューサから出力された音声圧力レベル(SPL)に関連し得る)所望のシステム感度を達成する場合、信号振幅および/または電話音量を自動的に調節する必要がある。その結果、システムがスマートデバイスの多数の変動(例えば、Android電話機の大きくかつ異種のエコシステム)をサポートすることが可能になる。これは、ユーザが電話機の主音量を調節したかをチェックすることや、この再調節を自動的に行う必要がある場合またはシステムが新規の動作状態に合わせて調節する必要がある場合にも用いることができる。異なるオペレーティングシステム(OS)を改訂した場合も、異なる特性(例えば、音声バッファ長さ、音声経路待ち時間、およびTxおよび/またはRxストリーム(単数または複数)中の時折のドロップアウト/ジッタの可能性)の原因になり得る。
【0198】
システムの主な態様がキャプチャされる(例えば、ADCおよびDAC量子化レベル(利用可能なビット)、信号/ノイズ比、TXおよびRXの同時または同期クロック生成、および部屋の温度および湿度(利用可能な場合)))。例えば、(44.1kHzにおいてサンプルを受容した場合に)デバイスが最適なサンプリングレートとして48kHzを有し、最適以下の再サンプリングを行うことが検出され得る。この場合、好適なサンプリングレートは、48kHzとして設定される。推測は、システムの動的レンジによって形成され、適切な信号合成が選択される。
【0199】
他の特性を挙げると、送信成分と受信成分との間の分離(角度および距離)(例えば、送信器と受信器との間の距離)、ならびに任意のアクティブ自動ゲイン制御(AGC)および/またはアクティブエコーキャンセルの構成/パラメータがある。デバイス(特に、複数のアクティブマイクを用いる電話機)は、信号の連続送信によって混乱をきたす信号処理測定を実行し得、その場合、受信信号の不要な振動に繋がる。このような振動は、修正する必要がある(または実際は不要なAGCまたはエコーキャンセルをディセーブルするために可能な場合にデバイス構成を調節する)。
【0200】
本システムは、多様な材料反射係数対周波数(例えば、18kHzにおける反射係数)と共に事前プログラムされ得る。エコーキャンセルを行う場合をより詳細に検討する。CW(単一の音色)の場合、信号は連続的に存在しているため、(スマートフォン上では可能性が低い)完全な音響隔離が無い限り、TX信号はRXよりもずっと強くなり、システムは、電話機中の内蔵エコーキャンセラによる悪影響を受け得る。CWシステムは、AGCシステムのまたは基本エコーキャンセラの活動に起因する強い振幅変調を経験し得る。特定のハンドセット(「Lollipop」OS上において実行するSamsung S4)上のCWシステムの例として、生の信号は、返送された信号の振幅変調(AM)を含み得る。この問題に対処するための1つの戦略として、極め高周波数のAGCを生のサンプルに行って、呼吸動きに関連しないAM成分を平滑化する方法がある。
【0201】
異なる種類の信号(例えば、FMCW「チャープ」)の場合、デバイス中に適合して実行されたエコーキャンセラが打ち消される場合がある。実際、(A)FHRGまたはUWBアプローチは、音声へ方向付けられた音響エコーキャンセラに対してロバストでもあり得る。FMCWの場合、チャープは短期の非定常性信号であり、ある時点および動きにおける部屋についての瞬間的情報および室内の動きへアクセスすることができ、エコーキャンセラは、これを一定の遅滞と共に追跡するが、返送された信号を確認することが可能である。しかし、この挙動は、サードパーティエコーキャンセラの正確な実行に関連する。一般的にいうと、生理学的感知Tx/Rx使用法の持続期間にわたって任意のソフトウェアまたはハードウェア(例えば、CODEC中のもの)のエコーキャンセルを(可能な場合に)ディセーブルすることが望ましい。
【0202】
別のアプローチとして、連続的な広帯域UWB(超広帯域)信号を使用する方法がある。このようなUWBアプローチの場合、特定の周波数において良好な応答が無い場合、高いレジリエンスを有する。広帯域信号が非可聴帯域へ閉じ込められるかまたは可聴帯域内にヒス音として分散する場合がある。このような信号は、人または動物にとって妨げにならない低振幅をとることができ、耳に心地良い音声になるようにウィンドウによりさらに任意選択的に「成形」することができる。
【0203】
非可聴UWBシーケンスを生成するための1つの方法として、可聴プロービングシーケンス(例えば、最大長さシーケンス)(MLS-一種の擬似ランダムバイナリシーケンス)をとり、非可聴帯域まで変調する方法がある。これは、可聴周波数において保持してもよい(例えば、既存の音声(例えば、音楽)によってマスクされ得る場合)。最大長さのシーケンスを反復させる必要があるため、その結果得られる音声は、純然たる平坦なスペクトルのホワイトノイズではない。実際、これは、(1人以上の人の呼吸速度検出を低速化しつつ)市販の音声機械から発生した音声に類似する音声を生成し得る。パルスは、時間において狭いかまたは自己相関機能において狭い場合がある。MLSなどのこのような「マジック」シーケンスは、時間および周波数双方において周期的である。詳細には、MLSは、優れた自己相関特性を有する。部屋のインパルス応答を推測することにより、ゲートレンジが可能になる。室内の対象の呼吸信号の回復のために、サブサンプル動きをピックアウトする必要がある。これは、グループ遅延抽出方法を用いて行うことができる。一例として、重心(第1のモーメント)をフィルタリングされたインパルス応答のプロキシとして用いることがある(すなわち、セグメントのグループ遅延は、インパルス応答の重心に対応する)。
【0204】
(例えば、スマートデバイスまたはハードウェア上において「アプリケーション」が初めて使用される際に)チャンネルモデルを自動的に生成してもよいし、あるいは、ユーザが手動で合図を出す(開始)してもよく、チャンネル状態を周期的または連続的に監視し、必要に応じて適応する。
【0205】
相関または適応フィルタ(例えば、エコーキャンセラ)を用いて、部屋をインテロゲートすることができる。有用なことに、キャンセルできないビットは、主に室内の動きに起因する。部屋パラメータの推測後、(目的関数の最適化によって導出された)アイゲンフィルタは、生の信号の変換に用いられ得、その後、この信号は、部屋のインパルス応答によって変換される。疑似ホワイトノイズの場合、身体の動きデータもログしつつ、環境ノイズの周波数特性への信号を標的マスキング信号成形し、睡眠経験を向上させることができる。例えば、環境の自動周波数評価を行った場合、特定の周波数における望ましくない定在波が明らかになり得、このような定在波(すなわち、共振周波数(空気媒体/圧力ノードおよびアンチノード中の最大および最小動きの点))を回避するために、送信された周波数が調節される。
【0206】
これと対照的に、フラッターエコーが有ると、500Hzを超える音声に影響が発生し得、硬質の表面、乾式壁およびガラスなどを含む平行壁から大きな反射が発生する。そのため、環境における不要な反射/影響を低減またはキャンセルするために、アクティブノイズキャンセルが適用され得る。デバイスの方向について、電話の最適位置(すなわち、SNR最大化)のために、システムセットアップからユーザへ警告が付与され得る。そのためには。電話機のラウドスピーカを(特定の距離レンジ内において)胸部へ方向付けることが必要になり得る。較正により、システム音響特性を変化させ得る製造業者またはサードパーティ電話機カバーの存在の検出および修正も可能になる。電話機上のマイクに妥協が生じているようにみえる場合、ユーザは、マイク開口部を清掃するように要求され得る(例えば、電話機のマイク開口部中に糸くず、埃または他の材料が溜まっており、これを清掃することができる)。
【0207】
本開示のいくつかの態様によれば、連続波(CW)アプローチが適用され得る。飛行時間を用いたレンジゲーテッドシステム(例えば、FMCW、UWBまたはA(FHRG))と異なり、CWにおいては、単一の連続正弦波音が用いられる。非変調CWにおいて、物体が移動しているときにドップラー効果が用いられ得る(すなわち、帰還周波数が送信周波数から離隔方向にシフトされる)が、距離評価にはドップラー効果は用いることができない。CWは、例えば一人の人がベッドにいて近隣に他の動き源が無い場合に用いられ得、このような場合、高信号/ノイズ(SNR)が得られ得る。FHRGに概要を示す復調スキームは、ベースバンド信号の回復のために、(フレーム自体は無い)単一の音色の特殊な場合に用いられ得る。
【0208】
別のアプローチとして、適応CWがある。これは、(実際には(Tx出力および部屋反射によって制限されるため)例えばベッド内の最近隣の人を検出するあめの限定されたレンジを有し得るものの)特にレンジゲーテットではなく、室内モードを利用することができる。適応CWは、送信/受信装置の能力内において、非可聴レンジにおける連続送信された音声の利用を維持する。ステップにおける非可聴周波数を走査することにより、アルゴリズムにより、(周波数内容および時間ドメイン形態(呼吸形状)双方において)最良の利用可能な呼吸信号について周波数を繰り返し検索する。10HzだけのTx信号において間隔空けが有ると、復調された呼吸波形が大きく異なる形状になり得、明確な形態が、無呼吸(中枢性および遮断性)ならびに呼吸低下分析に最適である。
【0209】
ホログラフィは、波面再生に関連する。極めて安定した音声振動子がホログラフィにおいて必要となり、コヒーレントな源はラウドスピーカであり、反射に起因するエネルギーが室内に蓄積されていることを利用する(すなわち、(モードから外れて、実際に周波数ホッピングおよび/または適応周波数選択全を用いて定在波を全く生成しない)上記した他のアプローチとは対照的に、強い定在波を有するようにCW信号が特定に選択される)。
【0210】
ラウドスピーカを2つ以上備えたシステムの場合、(例えば、ベッドの一人の人を最適に検出するために)「ビーム」を特定の方向に調節または操縦することが可能になる。
【0211】
さらに図7を検証して、オフライン分析(例えば生音声データを読取および捨象するオンライン処理システムに対する)後のオフライン分析のために、ハイパスフィルタ702後にデータが保存される場合(例えば、17kHzにおける3dBポイントを用いたHPF)、ストップバンド中のブロックされた(除去/フィルタリングされた)データには一次会話情報が含まれるため、ハイパスフィルタリングは、プライバシーフィルタとして機能することができる。
【0212】
5.1.3.1.2 複数の協働するデバイスまたは協働しないデバイスと、干渉源とへの適応
システムは、複数のマイクロフォンを含んでもよいし、あるいは、システム近隣のシステムと協働することが要求される場合もある(例えば、2人を個別に監視するために、アプリケーションを実行している2つの電話がダブルベッドの片側に設けられている場合)。換言すると、チャンネルまたは別の手段(例えば、共存を可能にするためにインターネットを介して送信されたデータまたは無線信号)を用いた環境においては、複数のトランシーバの監視が必要になる。詳細には、これは、干渉最小化のために、符号化シーケンスまたは(最も単純な場合に)単一の正弦波を調節することであれ、正弦波をほぼ18kHzにおいて検出し、ほぼ19kHzにおいて送信することを選択することであれ、選択された帯域に波形を適応させることが可能であることを意味する。よって、デバイスは、セットアップモードを含み得る。このセットアップモードは、起動時に活性化されると、近隣の音声の信号分析(例えば、マイクロフォンによって受信された音声の周波数分析)によって環境の音声信号またはデバイスの近隣をチェックし、この分析に応答して、動作のための異なる周波数範囲(例えば、受信された音声周波数からの重複しない周波数セット)を選択する。このようにして、複数のデバイスは、(各デバイスが異なる周波数範囲の音声信号を生成する)共通する近隣において、本明細書中に記載の音声生成および変調技術と共に動作し得る。いくつかの場合、異なる周波数範囲は、本明細書中に記載の低い超音波周波数範囲内に未だあり得る。
【0213】
単一のデバイス上のFMCWにより複数の人を検出できるため、(例えばCWに対して)時間的に近接してFMCWが1つよりも多いデバイス上において実行される可能性はより低い。しかし、利用可能なSNRの最大化のために1つよりも多いFMCW送信が近隣に実行されている場合、周波数(例えば、18~19kHzおよび19.1~20.1kHz)が重複しないまたは時間的に重複しない(複数のチャープが同一周波数帯を占有するが、重複しない静穏期を有し、他のデバイスの反射の分散を可能にする保護帯域を備える場合)ように、帯域を自動的に(またはユーザ対話を通じて)適合させることができる。
【0214】
(A)FHRGを音色ペアと共に用いる場合、これらは周波数および/または時間においてディザリングされ得ることが分かる。周波数ディザリングは、フレーム間の周波数シフトの変動を示し、時間ディザリングは、(パルス持続期間の変化に基づいた)飛行時間が変更されることを意味する。片方または双方のディザリング方法のこのようなアプローチを挙げると、生成されている室内モードの確率を低下させることおよび/または2つのソナーシステムを相互に「聞こえる」距離内に共存させることがある。
【0215】
FHRGシステムが、音色/フレームを規定する擬似ランダムシーケンスと共にリリースされ得る(ただし、得られた送信信号中に可聴高調波が発生しないように移行が行われること(または不要な副高調波の除去/減衰のために適切な櫛形フィルタリングが適用されること)が仮定された場合)も理解される。
【0216】
TXおよびRX信号が異なるハードウェア上に生成される場合、共通クロックが利用できない可能性があるため、協働が必要になる。2つ以上のデバイスが相互に「聞こえる」距離にある場合、干渉回避のために、協働信号選択を用いると最適である。これにより、ベッドクロスからの帰還を最良にするように、送信信号を適応させることが可能になる。
【0217】
5.1.3.1.3 ユーザ選好への適応
単純な音声スイープ試験により、ユーザは、聞こえない最低周波数(例えば、17.56kHz、19.3KHz、21.2kHz)を選択することができる。これは、生成された信号の開始周波数として(最小の保護帯域オフセットと共に)用いられ得る。犬、猫、愛玩用マウスなどがサンプル音声に反応するかをチェックするために、ペットセットアッププロセスを設けてもよい。犬、猫、愛玩用マウスなどがサンプル音声に反応を示す場合、(人にとって)低振幅の可聴音声信号を変調情報と共に用いることが好ましいことがある。「ペットセットアップモード」は、(例えば)犬が特定の音声に反応するかをチェックするように実行され得、ユーザはそのような反応の事実を記録することができ、これにより、システムは、不快感の原因にならない信号を見つけるために異なる音声をチェックする。同様に、ユーザにとって不快感があることが判明した場合、システムは、別の信号種類/周波数帯に合わせて構成され得る。ペット/子供が特定の波形に耐えられない場合および/または沈静用のマスキングノイズ(「ホワイトノイズ」/ヒス)が所望される場合、アクティブ信号TXを含むホワイトノイズ特徴は有用であり得る。そのため、モードは、1つ以上の試験音声信号をサイクルし得、試験された(人には非可聴であり得る)音声信号に問題は無かったかについての入力をユーザへ促し得、入力に基づいて使用周波数を選択し得る。
【0218】
5.1.3.1.4 ユーザのデバイスとの対話時のTx再生の自動一時停止
システムは、高振幅の非可聴信号を再生している場合があるため、ユーザがデバイスと対話している際、モバイルデバイス(例えば、スマートデバイス)中のこれを消音する(Tx休止)することが望ましい。詳細には、デバイスが(例えば、架電または受電のために)ユーザの耳の近隣に取り上げられた場合、デバイスを無音にする必要があり得る。もちろん、信号無音化が解除された後は、システムを再同期させる必要がある。システムに起因して電池が消耗する場合もある。その場合、以下のアプローチが用いられ得る。システムが実行されている場合、デバイスが給電されている場合にのみシステムが優先的に実行される必要がある。よって、システムは、スマートデバイスが有線または無線の充電器へ接続されていない場合に休止する(かまたは起動しない)ように設計され得る。デバイス使用時におけるTxの休止(および処理)において、入力は、ユーザの電話との対話(ボタン押圧、画面タッチ、(内蔵の加速度計(存在する場合)および/またはジャイロスコープおよび/または赤外線近接センサーを介して検出された)電話の移動、またはGPSまたはアシストGPSによって検出された位置変化、または着信)のうち1つ以上からとられ得る。通知(例えば、テキストまたは他のメッセージ)の場合、デバイスが「サイレント」モードになっていない場合、システムは、ユーザがデバイスを一定期間にわたって取り上げると予測して、Txを一時休止させ得る。
【0219】
起動時において、システムは、電話の表面が下にして置かれているためユーザが電話と対話することが無いことをチェックするために、Txの活性化の前に一定期間待機し得る。距離推定アプローチ(例えば、FMCW)が用いられる場合、システムは、呼吸動きがデバイスの極めて近隣に検出された場合、所望のSNRレベルを満たすために可能な最小音響出力の利用が必要であることに基づいて、Tx出力レベルまたは休止(無音化)Txを低減し得る。さらに、ユーザがデバイスを手に取った際に復調されたベースバンド信号から回復されたジェスチャを用いて、Tx容量をプロアクティブに平滑に低減させることができ、その後、ユーザが実際にデバイスと対話しているときにデバイスをサイレンス化させるか、または、(ユーザがデバイス近隣から手を引っ込めた場合に)動作レベルに対する容量を平滑に増加させることができる。
【0220】
5.1.3.1.5 データフュージョン
音声信号をアクティブ送信成分と共に収集(受容)するシステムの場合、他のパターンの拒否または利用のためにフルバンド信号を処理することも望ましい。例えば、これを用いて、会話、バックグラウンドノイズまたは(TX信号をスワンプし得る)他のパターンを検出することができる。呼吸分析の場合、呼吸の抽出された音声波形特性とのデータフュージョンを実行することが極めて望ましい。呼吸音の直接的検出を、復調された信号と組み合わせることができる。また、特に(通常は静かな環境である)寝室内における用途のために、音声成分(例えば、咳、喘鳴、いびき)を含む危険な睡眠または呼吸状態の態様を抽出することができる。呼吸音は、口または鼻から発生し得、いびき、喘鳴、喘ぎ、呻軋音などを含む。
【0221】
音声信号全体を用いて、動き(例えば、ユーザがベッド内に寝転んだ際のような全身の動き)を推測することができ、他のバックグラウンドの非生理学的に生成されたノイズから区別することもできる。(処理されたベースバンド信号からの)ソナー推測動きおよびフルバンドの受動的音声信号分析と、ソナー動き(およびその動きから推測された活動)とを典型的に組み合わせることができ、非レンジ特有の受動的音響分析におけるFMWC、(A)FHRGToFなどにおけるレンジゲーティング(レンジ検出)の利点によって優先される。例えばファンの配置場所が近すぎるまたは加熱または冷却システムの音が大きすぎる場合、検出されたノイズの持続期間および強度により、不要な脱同期についての洞察も得ることができる。音響ファンのノイズは、ソナーベースバンド信号分析における1/f信号の増加ともみなれされ得る。実際のユーザ音声がノイズフロアに基づいて検出可能である場合において、ソナーRx信号の品質が極めて低い場合、システムは、処理モードへ逆戻りし得る。処理モードにおいて、これらの活動指数のみに基づいて、生理学的音声が活動へマッピングされ、睡眠精度低下/覚醒検出器が直接駆動される。システムは、最適なファン配置についてユーザへフィードバックを送ることおよび/またはその動作周波数を干渉が低減される帯域へ適合させることも可能である。他のノイズ源(例えば、蛍光灯/電球およびLED安定器)を検出することができ、本システムは、より優先的に動作のソナー周波数(単数または複数)に適応する。よって、デバイスは、(本明細書中に記載の復調処理技術に加えて)従来の音声処理方法により、マイクロフォンを介して受信された音声信号を処理して、ユーザ動きおよび関連特性の検出のために、環境音声、会話音声および呼吸音のうち任意の1つ以上を評価することができる。
【0222】
プライベート情報を含み得る一時データをアクティブに捨象するために、会話検出をプライバシー機能として用いることもできる。混同の可能性のある要素(例えば、アナログ時計のカチカチ音、TV、タブレット上のメディアストリーミング、ファン、空調ユニット、強制加熱システム、交通ノイズ/街頭ノイズ)を拒否するために、処理を行うことができる。そのため、身体動きの情報を可聴スペクトルから抽出し、復調されたスキームから抽出されたデータと組み合わせて、全体的精度を向上させることができる。
【0223】
本開示のいくつかの態様によれば、デバイス(例えば、スマートフォン)上の光センサーにより、システム中の別個の入力が可能になり得、その場合、人が睡眠しようとしているのかあるいはテレビを見ているのか、タブレットを用いて読書をしているのかなどを提案することができる。電話上の温度センサーおよび/または利用可能な湿度感知(または位置に基づいた天候データ)の利用により、送信された信号のチャンネル推測/伝播を強化することができる。電話機そのものとの対話により、ユーザの俊敏性レベルおよび/または疲労状態についてのさらなる情報を得ることができる。
【0224】
内部動きセンサー(例えば、MEMS加速度計)を介した感知デバイスの動きの理解を用いて、電話機が動いている際の音声感知プロセスをディセーブルすることができる。センサーデータと、加速度計データとのフュージョンにより、動き検出を強化することができる。
【0225】
本明細書中に記載のシステムおよび方法について、モバイルデバイスによって実行されるものとして記載しているが、本開示の他の態様において、これらのシステムおよび方法は、固定されたデバイスによって実行され得る点に留意されたい。例えば、本明細書中に記載のシステムおよび方法は、ベッドサイド用の消費者監視デバイスまたは医療用デバイス(例えば、睡眠疾患呼吸または他の呼吸状態の治療のための流れ生成器(例えば、CPAPマシン))によって実行され得る。
【0226】
5.1.3.1.6 心臓情報
上記したように、呼吸情報に加えて、上記した多様なバージョンの技術の音声生成および反射分析が、生成された動きに関連する信号からの他の周期的情報(例えば、心臓情報検出または心拍数)のために実行され得る。図21の例において、心臓決定処理は、任意選択的に追加されたモジュールであり得る。心弾動図に基づいた心臓ピーク検出が、(呼吸検出と同様に)FFTに基づいた2D処理段階時に適用され得るが、より高周波数帯をみている。
【0227】
あるいは、(FFTの代替としてまたは追加として)ウェーブレット(例えば、I信号およびQ信号の順の個別のウェーブレット変換処理)または個別の複雑なウェーブレット変換を用いた同時処理を2D処理段階のために用いて、全身の動きの信号、呼吸信号および心臓信号に分割することができる。
【0228】
時間周波数処理(例えば、ウェーブレットに基づいた方法(例えば、例えばDaubechiesウェーブレットを用いた離散化連続ウェーブレット変換-DCWT)を、トレンド除去と、直接的な身体動き、呼吸および心臓信号抽出との双方に行うことができる。心臓活動は、より高周波数において信号に反映され、通過帯域範囲が0.7~4Hz(毎分48回鼓動~毎分240回鼓動)であるバンドパスフィルタによるフィルタリングにより、この活動へのアクセスが可能になる。全身の動きに起因する活動は典型的には、4Hz~10Hzの範囲である。これらのレンジには重複があり得る点に留意されたい。強い(明確な)呼吸トレースは、強い高調波に繋がり得、混同を防ぐために追跡が必要である。例えば、本技術のいくつかのバージョンにおける信号分析は、国際特許出願公開2014/047310に記載の方法のいずれかを含み得る。本明細書中、同文献全体を参考のため援用する(例えば、呼吸信号ウェーブレットノイズ除去方法)。
【0229】
5.1.3.1.7 システム例
一般的に、本出願の技術は、監視関連方法(例えば、本明細書中により詳細に説明するモジュールのアルゴリズムまたは方法)と共に構成された1つ以上のプロセッサにより実行され得る。よって、本技術は、一体型チップ、1つ以上のメモリおよび/または他の制御命令、データまたは情報記憶媒体で実装され得る。例えば、本明細書中に記載の方法のいずれかを包含するプログラムされた命令は、適切なデバイスのメモリ中の一体型チップ上にコーディングされ得る。このような命令は、追加的にまたは代替的に適切なデータ記憶媒体を用いてソフトウェアまたはファームウェアとしてロードしてもよい。そのため、本技術は、プロセッサ実行可能命令が保存された、プロセッサにより読取可能な媒体またはコンピュータにより読取可能なデータ格納部媒体を含み得る。これらのプロセッサ実行可能命令が1つ以上のプロセッサによって実行されると、プロセッサは、本明細書中に記載の方法または方法の態様のうちいずれかを実行する。いくつかの場合において、サーバまたは他のネットワーク化されたコンピューティング装置は、このようなプロセッサにより読取可能なデータ格納部媒体を含み得るかまたは別の場合にこのようなプロセッサにより読取可能なデータ格納部媒体にアクセスするように構成され得る。サーバは、プロセッサにより読取可能なデータ格納部媒体のプロセッサ実行可能命令をネットワークを介して処理デバイスへダウンロードせよとのリクエストを受信するように、構成され得る。そのため、本技術は、プロセッサにより読取可能なデータ格納部媒体へのアクセスを有するサーバの方法を含み得る。サーバは、プロセッサにより読取可能なデータ格納部媒体のプロセッサ実行可能命令をダウンロードせよとのリクエスト(例えばネットワークを介して命令を処理デバイス(例えば、コンピューティングデバイス)またはポータブルコンピューティングデバイス(例えば、スマートフォン)へダウンロードせよとのリクエスト)を受信する。次に、サーバは、このリクエストに応答して、コンピュータにより読取可能なデータ格納部媒体のプロセッサ実行可能命令をデバイスへ送信し得る。次に、デバイスは、プロセッサ実行可能命令を実行し得る(例えば、プロセッサ実行可能命令がデバイスの別のプロセッサにより読取可能なデータ格納部媒体上に保存されている場合)。
【0230】
5.1.3.1.8 他のポータブルまたは電子処理デバイス
上記したように、本明細書中に記載の音声感知方法は、電子処理デバイスの1つ以上のプロセッサまたはコンピューティングデバイス(例えば、スマートフォン、ラップトップ、ポータブル/モバイルデバイス、携帯電話、タブレットコンピュータ)によって実行され得る。これらのデバイスは典型的には、ポータブルまたはモバイルなものとして理解され得る。しかし、他の類似の電子処理デバイスを本明細書中に記載の技術と共に用いてもよい。
【0231】
例えば、多くの家庭および車両は、例えば人の可聴閾値のちょうど上において低周波超音波範囲における音声の出力および記録が可能な電子処理デバイスを含む(例えば、スマートスピーカ、アクティブサウンドバー、スマートデバイス、音声および他のバーチャルアシスタントをサポートする他のデバイス)。スマートスピーカまたは類似のデバイスは典型的には、例えば他の家庭デバイス(例えば、ホームオートメーションのためのもの)および/またはネットワーク(例えば、インターネット)との通信のための有線または無線手段(例えば、Bluetooth、Wi-Fi、Zig Bee、mesh、ピアツーピアネットワーク)を介して通信成分を含む。音響信号を単に出力するように設計された標準的スピーカと異なり、スマートスピーカは通常は、1つ以上のプロセッサおよび1つ以上のスピーカと、1つ以上のマイクロフォン(mic(単数または複数))とを含む。mic(単数または複数)は、パーソナライズド音声制御を可能にするために、インテリジェントアシスタント(人工知能(AI)システム)とインターフェースをとるために用いられ得る。いくつかの例として、Google Home、Apple HomePod、Amazon Echoがあり、「OK、グーグル」、「ヘイ、Siri」、「Alexa」の決まり文句を用いた音声アクティベーションが用いられる。これらのデバイスはポータブルであり得、特定の位置において使用されることを意図していることが多い。これらのデバイスの接続されたセンサーは、モノのインターネット(IoT)の一部としてみなされ得る。他のデバイス(例えば、アクティブサウンドバー(すなわち、マイクロフォンを含むもの)、(典型的には静止デバイスであり得る)スマートテレビ、およびモバイルスマートデバイス)も用いられ得る。
【0232】
このようなデバイスおよびシステムは、本明細書中に記載の低周波超音波技術を用いて生理学的感知を行うように適合され得る。
【0233】
複数のトランスデューサを備えたデバイスの場合、ビーム形成を実行することができる。すなわち、センサーアレイ(例えば、スピーカ)に対して送受信される信号の方向選択性または空間選択性が可能になるように信号処理が用いられる。これは典型的には「ファーフィールド」問題であり、(「ニアフィールド」である医療用画像化と対照的に)波面が低周波数超音波に対して比較的平坦になる。純然たるCWシステムの場合、音波はスピーカから移動して、最大領域および最小領域に到達する。しかし、複数のトランスデューサが利用可能である場合、この放射パターンを有利に制御すること(ビーム成形として知られるアプローチ)が可能である。受信側においては、複数のマイクロフォンも用いられ得る。これにより、音声感知を方向において優先的に操作すること(例えば、出射された音声および/または受信された音波の操作すること)の後に領域を掃引することが可能である。ユーザがベッド内にいる場合、感知が対象に向けられる(例えばベッド内に2人の人がいる場合に複数の対象へ方向付けられる)ように感知を操作することができる。
【0234】
さらなる例として、本明細書中に記載の技術は、ウェアラブルデバイスにおいて実行され得る(例えば、非侵襲的デバイス(例えば、スマートウォッチ)またはさらには侵襲的デバイス(例えば、インプラントチップまたは移植可能なデバイス))。これらのポータブルデバイスも、本技術と共に構成され得る。
【0235】
5.2 他の注意事項
本特許文書の開示の一部は、著作権保護が与えられる内容を含む。著作権所有者は、何者かが本特許文書または本特許開示をファックスにより再生しても、特許庁の特許ファイルまたは記録に記載されるものであれば目的のものであれば異論は無いが、その他の目的については全ての著作権を保持する。
【0236】
他に文脈から明確に分かる場合および一定の範囲の値が提供されていない限り、下限の単位の1/10、当該範囲の上限と下限の間、および記載の範囲の他の任意の記載の値または介入値に対する各介入値は本技術に包含されることが理解される。介入範囲中に独立的に含まれるこれらの介入範囲の上限および下限が記載の範囲における制限を特に超えた場合も、本技術に包含される。記載の範囲がこれらの制限のうち1つまたは双方を含む場合、これらの記載の制限のいずれかまたは双方を超える範囲も、本技術に包含される。
【0237】
さらに、本明細書中に値(複数)が本技術の一部として具現される場合、他に明記無き限り、このような値が近似され得、実際的な技術的具現が許容または要求する範囲まで任意の適切な有効桁までこのような値を用いることが可能であると理解される。
【0238】
他に明記しない限り、本明細書中の全ての技術用語および科学用語は、本技術が属する分野の当業者が一般的に理解するような意味と同じ意味を持つ。本明細書中に記載の方法および材料に類似するかまたは等しい任意の方法および材料を本技術の実践または試験において用いることが可能であるが、限られた数の例示的方法および材料が本明細書中に記載される。
【0239】
特定の材料が構成要素の構築に好適に用いられるものとして記載されているが、特性が類似する明白な代替的材料が代替物として用いられる。さらに、それとは反対に記載無き限り、本明細書中に記載される任意および全ての構成要素は、製造可能なものとして理解されるため、集合的にまたは別個に製造され得る。
【0240】
本明細書中及び添付の特許請求の範囲において用いられるように、単数形である「a」、「an」および「the」は、文脈から明らかにそうでないことが示されない限り、その複数の均等物を含む点に留意されたい。
【0241】
本明細書中に記載される公開文献は全て、これらの公開文献の対象である方法および/または材料の開示および記載、参考のために援用される。本明細書中に記載の公開文献は、本出願の出願日前のその開示内容のみのために提供するものである。本明細書中のいずれの内容も、本技術が先行特許のためにこのような公開文献に先行していない、認めるものと解釈されるべきではない。さらに、記載の公開文献の日付は、実際の公開文献の日付と異なる場合があり、個別に確認が必要であり得る。
【0242】
「comprises」および「comprising」という用語は、要素、構成要素またはステップを非排他的な意味合いで指すものとして解釈されるべきであり、記載の要素、構成要素またはステップが明記されていない他の要素、構成要素またはステップと共に存在、利用または結合され得ることを示す。
【0243】
詳細な説明において用いられる見出しは、読者の便宜のためのものであり、本開示または特許請求の範囲全体において見受けられる内容を制限するために用いられるべきではない。これらの見出しは、特許請求の範囲または特許請求の範囲の制限の範囲の解釈において用いられるべきではない。
【0244】
本明細書中の技術について、特定の実施例を参照して述べてきたが、これらの実施例は本技術の原理および用途を例示したものに過ぎないことが理解されるべきである。いくつかの場合において、用語および記号は、本技術の実施に不要な特定の詳細を示し得る。例えば、「first(第1の)」および「second(第2の)」(など)という用語が用いられるが、他に明記無き限り、これらの用語は任意の順序を示すことを意図しておらず、別個の要素を区別するために用いられる。さらに、本方法におけるプロセスステップについての記載または例示を順序付けて述べる場合があるが、このような順序は不要である。当業者であれば、このような順序が変更可能でありかつ/またはその様態を同時にまたはさらに同期的に行うことが可能であることを認識する。
【0245】
よって、本技術の意図および範囲から逸脱することなく、例示的な実施例において多数の変更例が可能であり、また、他の配置構成が考案され得ることが理解されるべきである。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項1~65の記載内容を以下に追加する。
(請求項1)
プロセッサ実行可能命令が保存されたプロセッサにより読取可能な媒体であって、前記プロセッサ実行可能命令は、プロセッサによって実行されると、前記プロセッサにユーザの生理学的動きを検出させ、前記プロセッサ実行可能命令は、
電子処理デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御せよとの命令と、
前記電子処理デバイスへ接続されたマイクロフォンを介してユーザから反射された音声信号の感知を制御せよとの命令と、
前記感知された音声信号を処理せよとの命令と、
前記処理された音声信号から呼吸信号を検出せよとの命令と、を含む、プロセッサにより読取可能な媒体。
(請求項2)
前記音声信号は非可聴音レンジ内にある、請求項1に記載のプロセッサにより読取可能な媒体。
(請求項3)
前記音声信号は、パルスを形成する音色ペアを含む、請求項1~2のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項4)
前記音声信号はフレームのシーケンスを含み、各フレームは一連の音色ペアを含み、各音色ペアは、前記フレーム内の各時間スロットと関連付けられる、請求項1~3のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項5)
音色ペアは、第1の周波数および第2の周波数を含み、前記第1の周波数および第2の周波数は異なる、請求項4に記載のプロセッサにより読取可能な媒体。
(請求項6)
前記第1の周波数および第2の周波数は、相互に直交する、請求項5に記載のプロセッサにより読取可能な媒体。
(請求項7)
前記フレーム内の一連の音色ペアは、第1の音色ペアおよび第2の音色ペアを含み、第1の音色ペアの周波数は、第2の音色ペアの周波数と異なる、請求項4~6のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項8)
前記フレームの時間スロットの音色ペアは、前記時間スロットの開始部および終了部においてゼロ振幅を有し、前記開始部と前記終了部との間のピーク振幅に対しておよび前記ピーク振幅からランピング振幅を有する、請求項4~7のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項9)
前記フレームの時間幅は変動する、請求項4~8のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項10)
前記時間幅は前記フレームのスロット幅である、請求項9に記載のプロセッサにより読取可能な媒体。
(請求項11)
前記時間幅は、前記フレームの幅である、請求項9に記載のプロセッサにより読取可能な媒体。
(請求項12)
スロットのフレームの音色ペアのシーケンスは、前記フレームの異なるスロットに対して異なる周波数のパターンを形成する、請求項1~11のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項13)
前記異なる周波数のパターンは、複数のフレームにおいて反復される、請求項12に記載のプロセッサにより読取可能な媒体。
(請求項14)
前記異なる周波数のパターンは、スロットの複数のフレーム中のスロットの異なるフレームについて変化される、請求項12に記載のプロセッサにより読取可能な媒体。
(請求項15)
前記音声信号の生成を制御せよとの命令は、音色ペアフレーム変調器を含む、請求項1~14のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項16)
前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、フレームバッファを含む、請求項1~15のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項17)
前記ユーザから反射された前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含む1つ以上のベースバンド動き信号を生成する復調器を含む、請求項1~16のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項18)
前記復調器は、複数のベースバンド動き信号を生成し、前記複数のベースバンド動き信号は、直交ベースバンド動き信号を含む、請求項17に記載のプロセッサにより読取可能な媒体。
(請求項19)
前記複数のベースバンド動き信号を処理せよとの命令をさらに含み、前記複数のベースバンド動き信号を処理せよとの命令は、前記複数のベースバンド動き信号から組み合わされたベースバンド動き信号を生成するために、中間周波数処理モジュールおよび最適化処理モジュールを含み、前記組み合わされたベースバンド動き信号は前記呼吸信号を含む、請求項18に記載のプロセッサにより読取可能な媒体。
(請求項20)
前記呼吸信号を検出せよとの命令は、前記組み合わされたベースバンド動き信号から呼吸速度を決定することを含む、請求項19に記載のプロセッサにより読取可能な媒体。
(請求項21)
前記フレームの各時間スロットの持続期間は、音色ペア間の周波数差によって除算されたものに等しい、請求項4に従属する場合に請求項1~20のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項22)
前記音声信号は、周波数が変化する反復波形を含む、請求項1~2のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項23)
前記反復波形は、位相連続型である、請求項22に記載のプロセッサにより読取可能な媒体。
(請求項24)
前記周波数が変化する反復波形は、鋸歯、三角形および正弦波形のうち1つを含む、請求項22に記載のプロセッサにより読取可能な媒体。
(請求項25)
前記反復波形の形態の1つ以上のパラメータを変化させよとの命令をさらに含む、請求項22~24のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項26)
前記1つ以上のパラメータは、(a)前記反復波形の反復部分のピーク位置、(b)前記反復波形の反復部分の傾斜部分の勾配、および(c)前記反復波形の反復部分の周波数範囲、のうち任意の1つ以上を含む、請求項25に記載のプロセッサにより読取可能な媒体。
(請求項27)
前記周波数が変化する反復波形は、対称な三角波形を含む、請求項23に記載のプロセッサにより読取可能な媒体。
(請求項28)
前記音声信号の生成を制御せよとの命令は、ルーピング前記反復波形の波形を示す音声データを含む、請求項22~27のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項29)
前記ユーザから反射された前記音声信号の感知を制御せよとの命令は、前記マイクロフォンからサンプリングされた音声データを保存することを含む、請求項1~28のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項30)
前記感知された音声信号の処理を制御せよとの命令は、前記生成された音声信号を前記感知された音声信号と相関付けて同期をチェックすることを含む、請求項1~29のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項31)
前記感知された音声信号を処理せよとの命令は、前記呼吸信号を含むデータを生成するダウンコンバータを含む、請求項1~30のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項32)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号とを混合させる、請求項31に記載のプロセッサにより読取可能な媒体。
(請求項33)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号との混合の出力をフィルタリングする、請求項32に記載のプロセッサにより読取可能な媒体。
(請求項34)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号との混合のフィルタリング出力をウィンドウ生成する、請求項32~33のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項35)
前記ダウンコンバータは、前記生成された音声信号を示す信号と、前記感知された音声信号との混合のウィンドウ生成されたフィルタリング出力の周波数ドメイン変換行列を生成する、請求項32~34のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項36)
前記呼吸信号を検出せよとの命令は、前記ダウンコンバータによって生成されたデータマトリックスの複数のチャンネルから振幅および位相情報を抽出することを含む、請求項31~35のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項37)
前記呼吸信号を検出せよとの命令は、前記データマトリックスから複数の特徴を計算することをさらに含む、請求項36に記載のプロセッサにより読取可能な媒体。
(請求項38)
前記複数の特徴は、(a)フルバンドメトリックと2乗されたインバンド、(b)インバンドメトリック、(c)尖度メトリック、および(d)周波数ドメイン分析メトリック、のうち任意の1つ以上を含む、請求項37に記載のプロセッサにより読取可能な媒体。
(請求項39)
前記呼吸信号を検出せよとの命令は、前記複数の特徴に基づいて呼吸速度を生成する、請求項38に記載のプロセッサにより読取可能な媒体。
(請求項40)
前記プロセッサ実行可能命令は、
身体動きの音声に基づいた検出を前記電子処理デバイスの1つ以上の特性の評価により較正せよとの命令と、
前記音声信号を前記評価に基づいて生成せよとの命令とをさらに含む、請求項1~39のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項41)
前記音声に基づいた検出を計算せよとの命令は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定する、請求項40に記載のプロセッサにより読取可能な媒体。
(請求項42)
前記プロセッサ実行可能命令は、
ペットセットアップモードを作動させよとの命令をさらに含み、前記音声信号を生成するための周波数は、ユーザ入力に基づいて選択され、1つ以上の試験音声信号が生成される、請求項1~41のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項43)
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の検出に基づいて前記音声信号の生成を停止せよとの命令であって、前記検出されたユーザ対話は、加速度計による前記電子処理デバイスの動きの検出、ボタン押圧の検出、画面接触の検出、電話着信の検出のうち任意の1つ以上を含む、命令、をさらに含む、請求項1~42のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項44)
前記プロセッサ実行可能命令は、
前記電子処理デバイスとのユーザ対話の不在の検出に基づいて前記音声信号の生成を開始せよとの命令をさらに含む、請求項1~43のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項45)
前記プロセッサ実行可能命令は、
前記ユーザから反射された、前記感知された音声信号の処理に基づいて全身の動きを検出せよとの命令、をさらに含む、請求項1~44のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項46)
前記プロセッサ実行可能命令は、
前記マイクロフォンを介して感知された音声信号を処理して環境音声、会話音声および呼吸音のうち任意の1つ以上を評価することでユーザ動きを検出せよとの命令、をさらに含む、請求項1~45のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項47)
前記プロセッサ実行可能命令は、
(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階のうち任意の1つ以上を決定するように呼吸信号を処理せよとの命令をさらに含む、請求項1~46のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項48)
前記プロセッサ実行可能命令は、
前記電子処理デバイスの近隣の音声周波数の検出および前記検出された音声周波数と異なる前記音声信号の周波数範囲の選択が行われるセットアップモードを動作させよとの命令、をさらに含む、請求項1~47のうちいずれか一項に記載のプロセッサにより読取可能な媒体。
(請求項49)
前記セットアップモードを作動させよとの命令は、前記検出された音声周波数と重複していない周波数範囲を選択する、請求項48に記載のプロセッサにより読取可能な媒体。
(請求項50)
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとの命令を受信するように構成される、サーバ。
(請求項51)
モバイル電子デバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請求項1~49のうちいずれか一項に記載のプロセッサにより読取可能な媒体とを含む、モバイル電子デバイス。
(請求項52)
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体へアクセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を、ネットワークを介して電子処理デバイスへダウンロードせよとのリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサ実行可能命令を前記電子処理デバイスへ送信することとを含む、方法。
(請求項53)
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
請求項1~49のうちいずれか一項に記載の前記プロセッサにより読取可能な媒体にプロセッサからアクセスすることと、
前記プロセッサにより読取可能な媒体の前記プロセッサ実行可能命令を前記プロセッサにおいて実行することと、を含む、方法。
(請求項54)
モバイル電子デバイスを用いて身体動きを検出するためのプロセッサの方法であって、
前記モバイル電子デバイスへ接続されたスピーカを介してユーザの近隣の音声信号の生成を制御することと、
前記モバイル電子デバイスへ接続されたマイクロフォンを介して前記ユーザから反射された音声信号の感知を制御することと、
前記感知された反射された音声信号を処理することと、
前記処理された反射された音声信号から呼吸信号を検出することと、を含む、方法。
(請求項55)
モバイル電子デバイスを用いて動きおよび呼吸を検出する方法であって、
前記モバイル電子デバイス上のスピーカを介して音声信号をユーザへ送信することと、
反射された音声信号を前記モバイル電子デバイス上のマイクロフォンを介して感知することであって、前記反射された音声信号は、前記ユーザから反射される、ことと、
前記反射された音声信号から呼吸および動き信号を検出することと、を含む、方法。
(請求項56)
前記音声信号は非可聴音声信号である、請求項55に記載の方法。
(請求項57)
送信の前に、FMCW変調スキーム、FHRG変調スキーム、AFHRG変調スキーム、CW変調スキーム、UWB変調スキームまたはACW変調スキームのうち1つを用いて前記音声信号を変調させる、請求項55に記載の方法。
(請求項58)
前記音声信号は、フレームとして送信される複数の周波数対を含む、変調された低周波超音波音声信号である。請求項55~57のうちいずれか一項に記載の方法。
(請求項59)
前記反射された音声信号が感知された際、前記反射された音声信号を復調させることであって、
前記反射された音声信号へフィルタ動作を行うことと、
前記フィルタリングされた反射された音声信号および前記送信された音声信号のタイミングを同期させることと、を含む、復調させることをさらに含む、請求項55に記載の方法。
(請求項60)
前記音声信号を生成することは、
前記モバイル電子デバイスの1つ以上の特性を評価するための較正機能を行うことと、
前記較正機能に基づいて前記音声信号を生成することと、を含む、請求項55~59のうちいずれか一項に記載の方法。
(請求項61)
前記較正機能は、少なくとも1つのハードウェア、環境またはユーザ特有の特性を決定するように構成される、請求項60に記載の方法。
(請求項62)
前記フィルタ動作はハイパスフィルタ動作である、請求項59に記載の方法。
(請求項63)
動きおよび呼吸を検出する方法であって、
ユーザへ方向付けられる音声信号を生成することと、
前記ユーザから反射された音声信号を感知することと、
前記感知された反射された音声信号から呼吸および動き信号を検出することと、を含む、方法。
(請求項64)
前記生成すること、送信すること、感知することおよび検出することは、ベッドサイドデバイスにおいて行われる、請求項63に記載の方法。
(請求項65)
前記ベッドサイドデバイスはCPAPデバイスである、請求項64に記載の方法。
図1
図2
図2A
図3
図4
図5
図6A
図6B
図6C
図7
図8
図9
図10
図11
図12
図13
図14
図15A
図15B
図15C
図16A
図16B
図16C
図17
図18A
図18B
図19
図20
図21
図22
図23A
図23B
図23C