【課題を解決するための手段】
【0006】
一態様においては、概して、(追跡又は大きな及び/若しくは小さな動作を含む)1人又は複数人の追跡の手法が、複数の無線周波数アンテナを利用する。一部の例においては、複数の送信アンテナ及び複数の受信アンテナが存在するが、その他の例においては、一部のアンテナが例えば異なる時間に送信と受信との間で共有される可能性があることを理解されたい。概して、少なくとも一部の実施形態においては、場所特定データが、複数のアンテナから信号を同時に送信し、複数のアンテナにおいて体及び固定された物体(例えば、壁、机など)からの反射を受信することによって決定される。
【0007】
別の態様においては、概して、屋内で場所を突き止めるための方法が、動く体からの信号の反射を用いる。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む送信される信号を放射するステップと、送信される信号の反射を含む受信される信号を1組の受信アンテナのそれぞれの受信アンテナにおいて受信するステップとを含む。それぞれの受信される信号に関して、受信される信号は、動く体からの送信信号パターンの反射の連続するパターンを形成するために処理され、反射の連続するパターンは、前記動く体からの直接的な反射の影響を維持すること、及び少なくとも1つの動かない物体からも反射される前記動く体からのマルチパス反射の少なくとも一部の影響を除外することによって処理される。体の位置が、反射の連続するパターンを処理した結果を用いて決定される。
【0008】
態様は、以下のうちの1つ又は任意の組合せを含む可能性がある。
【0009】
各受信アンテナに関して、マルチパス反射を除外することは、動く体からの直接的な反射を特定することと、少なくとも1つの動かない物体からも反射する動く体からの間接的な反射を特定することとを含む。
【0010】
各受信アンテナに関して、マルチパス反射を除外することは、送信アンテナから受信アンテナへの第1の往復遅延時間を特定することを含み、前記第1の往復遅延時間は、動く体から反射する信号パターンの最も短い往復伝播時間を表す。
【0011】
体の位置を決定することは、それぞれの受信される信号に関する特定された第1の往復遅延時間を用いて特定された第1の往復遅延時間よりも長い往復遅延時間に対応するマルチパス反射を除去することを含む。
【0012】
特定された第1の往復遅延時間を用いることは、反射の連続するパターンにわたる前記時間を追跡することを含む。
【0013】
1組の受信アンテナは、少なくとも2つのアンテナが異なる高度を有するようにして少なくとも3つのアンテナを含む。
【0014】
体の位置を決定することは、体の高度を決定することを含む。
【0015】
方法は、体の追跡された位置において動作のパターンを検出するステップをさらに含む。
【0016】
動作のパターンを検出するステップは、体の位置の軌跡の時間的パターンを検出するステップを含む。
【0017】
動作のパターンを検出するステップは、場所の特定の環境内で動作のパターンを検出するステップを含む。
【0018】
動作のパターンを検出するステップは、ジェスチャを検出するステップを含む。
【0019】
ジェスチャを検出するステップは、体全体のジェスチャを検出するステップを含む。
【0020】
ジェスチャを検出するステップは、手足のジェスチャを検出するステップを含む。
【0021】
ジェスチャを検出するステップは、指さしジェスチャを検出するステップを含む。
【0022】
指さしジェスチャを検出するステップは、指さしジェスチャの方向を検出するステップを含む。
【0023】
方法は、ジェスチャを検出するステップに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む。
【0024】
電気デバイス又は電子デバイスを制御することは、ゲームデバイス、電化製品、及び照明デバイスのうちの少なくとも1つを制御することを含む。
【0025】
動作のパターンを検出するステップは、転倒する活動を検出するステップを含む。
【0026】
転倒する活動を検出するステップは、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも1つを監視するステップを含む。
【0027】
信号パターンは、第1の周波数から第2の周波数まで掃引された搬送周波数における狭帯域信号を含む。
【0028】
第1の周波数及び第2の周波数は、両方とも、5.46〜7.25ギガヘルツの範囲内である。
【0029】
受信される信号を受信するステップは、少なくとも1つの障害物を通った伝播の後の送信される信号の反射を受信するステップを含む。
【0030】
体は、人である。
【0031】
体は、人の手足である。
【0032】
別の態様においては、概して、デバイスとインタラクションするための方法が、人によって行われたジェスチャを用いる。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、送信される信号の反射を含む受信される信号を1組の受信アンテナのそれぞれの受信アンテナにおいて受信すること、送信される信号パターンの連続する反射を用いて位置を追跡することを含む、体の動作を追跡するステップを含む。動作のパターンが、体の追跡された動作を用いて検出される。動作の検出されたパターンが、デバイスとインタラクションするために使用される。
【0033】
態様は、以下のうちの1つ又は任意の組合せを含む可能性がある。
【0034】
動作を追跡するステップは、送信される信号の伝播時間を使用するステップを含む。
【0035】
送信される信号パターンは、周波数変調搬送波(FMCW,Frequency Modulated Carrier Wave)信号パターンを含む。
【0036】
送信される信号の反射は、障害物を通り抜ける反射を含む。
【0037】
動作のパターンを検出することは、ジェスチャを検出することを含む。
【0038】
ジェスチャを検出することは、2次元のジェスチャを検出することを含む。
【0039】
ジェスチャを検出することは、3次元のジェスチャを検出することを含む。
【0040】
ジェスチャを検出することは、体全体のジェスチャを検出することを含む。
【0041】
ジェスチャを検出することは、手足のジェスチャを検出することを含む。
【0042】
手足のジェスチャを検出することは、反射のサイズに従って手足からの反射を人の体全体の反射と区別することを含む。
【0043】
ジェスチャを検出することは、指さしジェスチャを検出することを含む。
【0044】
方法は、ジェスチャを検出することに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む。
【0045】
別の態様においては、概して、方法が、人の転倒を検出することを対象とする。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、送信される信号の反射を含む受信される信号を1組の受信アンテナのそれぞれの受信アンテナにおいて受信すること、送信される信号パターンの連続する反射を用いて位置を追跡することを含む、人の動作を追跡するステップを含む。動作のパターンは、体の追跡された動作を用いて検出され、動作の検出されたパターンは、人の転倒を検出するために使用される。
【0046】
態様は、以下のうちの1つ又は任意の組合せを含む可能性がある。
【0047】
送信される信号の反射は、障害物を通り抜ける反射を含む。
【0048】
動作のパターンを検出することは、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも1つを監視することを含む。
【0049】
動作のパターンを検出することは、少なくとも閾値の高度の変化を検出することを含む高度の変化を監視することを含む。
【0050】
動作のパターンを検出することは、閾値未満の継続時間を検出することを含む高度を変化させる継続時間を監視することを含む。
【0051】
動作のパターンを検出することは、閾値未満の最終的な高度を検出することを含む最終的な高度の近さを監視することを含む。
【0052】
動作のパターンを検出することは、少なくとも第1の閾値の高度の変化、第2の閾値未満の継続時間、及び第3の閾値未満の最終的な高度からなる一群の条件の各条件が満たされるときを検出することを含む。
【0053】
別の態様においては、概して、システムが、送信アンテナ及び1組の受信アンテナを含む。送信機が、送信アンテナに接続され、送信信号パターンの繰り返しを含む送信信号を生じさせるように構成される。受信機が、送信信号の反射を含む信号を受信するために、1組の受信アンテナに接続される。プロセッサが、送信機及び受信機に接続される。プロセッサは、システムに上述の方法のうちのいずれか1つのすべてのステップを実行させるように構成される。
【0054】
一部の例において、複数のアンテナから送信される信号は狭い周波数帯域(例えば、正弦波)を有し、周波数は、例えば、経時的に周波数を線形に変化させる第1の周波数から第2の周波数まで掃引される第1の周波数と第2の周波数との間の固定のパターンで変わる。この掃引されたパターンが、繰り返される可能性がある。一部の例において、異なるアンテナから送信される信号は、時間的に互いにオフセットされ(又は代替的に周波数的にオフセットされ)、それによって、はっきりと異なる周波数で体から反射された異なる送信機からの成分を有する受信アンテナにおける受信された信号をもたらす。
【0055】
一部の例においては、基準送信信号が、送信アンテナのそれぞれに分配され、異なる送信アンテナにおいて異なる時間だけ遅延される。基準送信信号は、送信アンテナのそれぞれから受信アンテナへの体から反射される伝播(飛行時間(time of flight))時間を決定するために受信アンテナのそれぞれにおいてやはり使用される。一部の例において、これらの伝播時間は、受信された信号を基準送信信号によって変調することによって決定される。一部の例において、変調された受信された信号は、平均された受信された信号を得るためにいくつかの掃引サイクルにわたって平均される(振幅及び位相を有する複素信号としてか、又は代替的に2乗された振幅の大きさだけを平均するかのどちらか)。
【0056】
一部の例においては、各送信及び受信アンテナ局に基準送信信号を分配するのではなく、基準タイミング信号が局に分配され、基準送信信号が各局で別々に合成される。
【0057】
複数の体の位置が、送信アンテナ及び受信アンテナに関する複数の対の間の決定された伝播時間から決定される。
【0058】
態様は、以下の特徴のうちの1又は2以上を含み得る。
【0059】
(例えば、壁などからの)反射の決まったパターンの影響が、例えば、受信信号の長期的な平均を差し引くことによって、又は連続する周波数掃引からの受信信号の差を取ることによって受信信号から効果的に取り除かれる。
【0060】
送信アンテナ及び/又は受信アンテナは、指向性アンテナである。
【0061】
アンテナは、直線に沿った決まった配列で、2次元のパターンで(例えば、体が追跡される領域の面の「T」パターンで)、又は3次元の配列で配列される。一部の例においては、決まった配列が知られており、一方、その他の例においては、アンテナの位置の幾何学的関係が位置の間の無線伝播時間を用いて推測される。
【0062】
一部の例において、アンテナは、例えば、壁又は天井に沿って室内に配列される。その他の例において、アンテナは、マルチルーム空間(例えば、病棟又は小売店)の複数の部屋にわたって配列される。
【0063】
複数の体の位置が、反復的に(a)複数の送信機−受信機の対の間の決定された伝播時間に基づいて体の位置を決定し、(b)位置を決定した後、その位置からの反射の影響を残りの信号から効果的に取り除くことによって決定される。一部の例において、位置からの反射の影響を取り除くステップは、位置の周りの領域から反射の影響を取り除くことを含み、その領域は、反射を引き起こす物体の空間的なモデル(例えば、人間の体のモデル)に従って決定される。一部の例において、この反復は、それぞれの反復において、受信された信号内のその他のN−1個の体の影響を取り除いた第nの体に関する位置を決定することによって領域内のN個の体を特定した後で繰り返される。
【0064】
さまざまな送信機における基準送信信号の遅延は、決まっていることも、環境内の体の検出された位置に従って、例えば、検出された体の最大の範囲に従って適合されることもある。
【0065】
比較的動作の少ない体(例えば、人間、ペットなど)の呼吸が、呼吸頻度の検出される体の位置からの反射される電力の振動を用いて検出される。一部の例においては、基準の時間における体に関する基準電力とその体に関するその後の電力との間の差が、呼吸に関連する振動を検出するために使用される。
【0066】
複雑な体が、3次元空間内で検出される。例えば、(例えば、ジェスチャを形成する)手足が胴体から延伸している人間の体が、比較的強い反射されるエネルギーを与える可能性がある体の胴体の場所の特定に従って、並びに検出された胴体の位置の近くの及び/又は検出された胴体の位置の適切な幾何学的関係の比較的弱い反射されるエネルギーを与える可能性がある体の手足の場所の特定に従って検出され得る。より一般的には、複雑な体の場所の特定は、複雑な体のモデル又は制約に基づく幾何学的関係の複雑な体の要素の場所の特定に基づく可能性がある。
【0067】
別の態様においては、概して、人間の体から反射された無線信号から1又は2以上の人間及び体の部分の3次元の動作を追跡するためのデバイスが使用される。手法は、たとえ人がデバイスから遮蔽されているか又は異なる部屋の中にいるとしても機能する。デバイスは、送信のための1又は2以上のアンテナ及び受信のための1又は2以上のアンテナを有する。デバイスは、無線信号を送信し、その無線信号の反射を用いて、信号が送信アンテナから反射する物体まで及び受信アンテナのそれぞれに戻るまでにかかる時間を推定する。そして、デバイスは、アンテナの位置のそのデバイスの知識を用いて幾何学的な基準モデルを生成し、その幾何学的な基準モデルは、受信アンテナによって観測された往復遅延を反射する体の2次元の(又は3次元の)位置にマッピングする。
【0068】
一部の例においては、マルチシフト周波数変調搬送波(FMCW)と呼ばれる技法が使用される。技法は、異なるソースから生じさせられたFMCW信号を時間的に又は周波数的にシフトすることによってそれらのFMCW信号を区別することを許容する。この区別することができる能力は、時間的、周波数的、又は符号的にシフトすること(例えば、異なるアンテナから送信された信号に異なる拡散符号を掛けること)によって実現され得る。
【0069】
一部の例においては、連続シルエットキャンセル(Successive Silhouette Cancellation)と呼ばれる技法が使用される。技法は、(1又は2以上の)最も強い反射体−−すなわち、人(又は1組の人)を発見し、受信された信号からそれらの影響を取り除き、それから、より弱い反射体(人)の発見に進むことによってシーン内の異なる人の位置を反復的に発見する。アルゴリズムは、人の場所を突き止める文脈で説明されるが、任意の種類の動く又は動かない物体の場所を突き止めることに一般化され得る。
【0070】
説明される技法は、人間を追跡することに焦点を当てるが、任意の動く物体(例えば、ペット、ロボット)又は動かない物体を追跡することに一般化され得る。
【0071】
別の態様においては、概して、異なるソースから送信された周波数変調搬送波(FMCW)信号を区別するための方法及び装置が、使用される。異なるソースは、同じ又は複数の異なるデバイスに接続され得る。一部の例において、区別することができる能力は、周波数領域で互いに対してFMCW信号をシフトすることによって実現される。一部の実施形態において、周波数領域でシフトすることは、信号と混合することによって実現され、一方、その他の実施形態において、周波数領域でシフトすることは、遅延線を追加することによって実現される。一部の代替的な実施形態において、区別することができる能力は、FMCW信号に異なる符号を掛けることによってそれらのFMCW信号を互いに対してシフトすることによって実現される。
【0072】
2次元及び/又は3次元の場所特定の手法は、1又は2以上の体又は物体からの信号の反射を用いる。1又は2以上の送信アンテナから受信アンテナのそれぞれへの飛行時間(TOF,Time-of-flight)の測定値が、計算される。送信アンテナ及び受信アンテナの配置の知識が、飛行時間を反射体の位置の関数にマッピングする空間的基準を生成するために使用される。方法は、環境内に複数の反射体がある状況で環境内のより弱い又はより強い反射体に焦点を合わせるために異なる物体の反射を連続的に特定し、除去することを含む。
【0073】
アンテナは、さまざまなパターンで配列される可能性があり、概して、任意の位置に配置される可能性がある。
【0074】
一部の実施形態においては、静的マルチパスが、背景削除によって除去/軽減される。「偽りの」目標が、異なる送信アンテナ−受信アンテナの対からの信号を組み合わせることによって除去される。例えば、システムは、初めに、最も強い反射体を発見し、その反射体を取り除き、それから、再符号化し、その他の反射体に進む。一部の実施形態においては、一部の(又はすべての)反射体を発見した後、システムは、焦点を合わせるステップに進み、それによって、無用の反射体からの干渉を除去し、関心のある反射体に焦点を合わせる。この焦点を合わせるステップは、反射体の位置のより良い推定値を取得するために使用される。
【0075】
一部の実施形態においては、推定された位置が、目標が交差する前に動いていたように交差後も同じ方向に沿って動くと予測することによって交差する経路を解きほぐすために処理される。
【0076】
システムは、例えば、手の動きを追跡するために体の部分を追跡することができる。そのような追跡は、2次元又は3次元で行われ得る。体の部分の動作は、ジェスチャとして解釈される可能性があり、そのジェスチャは、デバイスを制御するか又はコマンドを伝達するために使用される可能性がある。
【0077】
システムは、複数の人がそれらの人の体の部分を動かしているときに、又は人若しくは複数の人が複数の体の部分を動かしている場合に動きを追跡することができる。
【0078】
少なくとも一部の実施形態は、場所特定の動作の精度を改善するために、動作の連続性のような人間の動作に関する実施上の又は物理的な制約を利用する。
【0079】
一部の実施形態においては、人間の呼吸動作が、動かない反射体を除去するために使用される。例えば、複数の削除窓(subtraction window)が、異なる速度の反射体を特定し及び/又は反射体の場所を突き止めるために使用される。1又は2以上の人が、それらの人の呼吸に基づいて場所を突き止められ得る。一部の例において、システムは、1又は2以上の人の呼吸を数え、1又は2以上の人が呼吸を止める場合を検出することができる。
【0080】
一部の実施形態においては、異なる様式の追加のセンサ(例えば、カメラ、赤外線センサなど)が、精度を上げるか又は機能を追加するために組み合わされる。
【0081】
一部の例においては、人又は体の部分の検出された動作が、例えば、知られているパターン(例えば、知られているジェスチャ)と比較することによってパターンを検出するために使用される。
【0082】
1又は2以上の態様の利点は、以下を含み得る。
【0083】
正確な複数の体の場所特定及び/又は追跡が、部屋、(例えば、壁を通して信号を伝播する)マルチルーム空間、又はその他の屋内若しくは屋外の領域において比較的高い精度で実現され得る。
【0084】
複数の体の場所特定は、1又は2以上の体の存在の単なる検出と比較して、領域内の体のカウントを行うことができる。さらに、代替的な技術を用いて容易に決定され得ない体の正確な軌跡も、利用可能である。
【0085】
カメラの使用と比較して、無線周波数の反射の使用は、高められたプライバシーを提供することができる。例えば、公衆トイレ内の存在/往来を監視することが、ビデオ監視に関連するプライバシーの問題なしに実現され得る。
【0086】
呼吸の検出が、別のやり方では背景と取り違えられる可能性がある比較的動かない体を検出する方法を提供する。例えば、室内の人の存在を監視する応用においては、超音波動作ディテクタが動作のない人を見逃す可能性がある一方、それにもかかわらず、それらの人の呼吸が検出される。
【0087】
送信アンテナのすべての(又はそれよりも少ない複数の組)からの同時送信は、位置の変化が送信時間の間で著しい単一アンテナからの逐次送信よりも体の動作によって影響されにくい可能性がある(例えば、推定された位置のより少ない「不明瞭化(smearing)」)。
【0088】
狭帯域信号(つまり、掃引されたトーン)の使用は、受信信号内の異なる送信機からの送信を分ける直接的な方法を提供し、位相雑音に対する堅牢性を提供することができる。
【0089】
人を追跡するための上述の手法は、以下を含む応用に使用され得る。
【0090】
建物内の又は建物内の特定の経路を通る人を検出するためのセキュリティの応用。
【0091】
検出された人及び建物内の人の往来の長期的なパターンに基づくエネルギー効率の手法(例えば、エネルギー使用は、単なる人の存在ではなく室内の人の数に基づく可能性がある)。
【0092】
例えば、個々の人が店内で買い物をするときにそれらの人の往来のパターンを決定するための小売りスペース内の往来の追跡。
【0093】
睡眠のパターンの監視、睡眠時無呼吸の検出、赤ん坊の監視、及びバイタルサインの監視のその他の応用は、物理的なセンサ又は人への接続を必要としないという利点を有する。
【0094】
本発明のその他の特徴及び利点は、以下の説明及び請求項から明らかである。