特許第6796485号(P6796485)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マサチューセッツ インスティテュート オブ テクノロジーの特許一覧

特許6796485体の無線反射によるモーショントラッキング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6796485
(24)【登録日】2020年11月18日
(45)【発行日】2020年12月9日
(54)【発明の名称】体の無線反射によるモーショントラッキング
(51)【国際特許分類】
   G01S 13/536 20060101AFI20201130BHJP
   G01S 13/34 20060101ALI20201130BHJP
   G01S 13/66 20060101ALI20201130BHJP
   G01S 13/42 20060101ALI20201130BHJP
   G06F 3/01 20060101ALI20201130BHJP
   G08B 21/02 20060101ALI20201130BHJP
【FI】
   G01S13/536
   G01S13/34
   G01S13/66
   G01S13/42
   G06F3/01 570
   G08B21/02
【請求項の数】44
【全頁数】31
(21)【出願番号】特願2016-521320(P2016-521320)
(86)(22)【出願日】2014年10月9日
(65)【公表番号】特表2016-540960(P2016-540960A)
(43)【公表日】2016年12月28日
(86)【国際出願番号】US2014059856
(87)【国際公開番号】WO2015102713
(87)【国際公開日】20150709
【審査請求日】2017年10月6日
(31)【優先権主張番号】61/888,662
(32)【優先日】2013年10月9日
(33)【優先権主張国】US
(31)【優先権主張番号】61/943,957
(32)【優先日】2014年2月24日
(33)【優先権主張国】US
(31)【優先権主張番号】61/985,066
(32)【優先日】2014年4月28日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】596060697
【氏名又は名称】マサチューセッツ インスティテュート オブ テクノロジー
(74)【代理人】
【識別番号】100107984
【弁理士】
【氏名又は名称】廣田 雅紀
(74)【代理人】
【識別番号】100102255
【弁理士】
【氏名又は名称】小澤 誠次
(74)【代理人】
【識別番号】100096482
【弁理士】
【氏名又は名称】東海 裕作
(74)【代理人】
【識別番号】100188352
【弁理士】
【氏名又は名称】松田 一弘
(74)【代理人】
【識別番号】100131093
【弁理士】
【氏名又は名称】堀内 真
(74)【代理人】
【識別番号】100150902
【弁理士】
【氏名又は名称】山内 正子
(74)【代理人】
【識別番号】100141391
【弁理士】
【氏名又は名称】園元 修一
(74)【代理人】
【識別番号】100198074
【弁理士】
【氏名又は名称】山村 昭裕
(72)【発明者】
【氏名】アディブ ファデル
(72)【発明者】
【氏名】カベラーチ ザカリー エドワード
(72)【発明者】
【氏名】カタビ ディナ
【審査官】 梶田 真也
(56)【参考文献】
【文献】 国際公開第2012/066541(WO,A2)
【文献】 国際公開第2012/098962(WO,A1)
【文献】 特開2013−160705(JP,A)
【文献】 特開2012−103162(JP,A)
【文献】 国際公開第2013/042786(WO,A1)
【文献】 特開2006−255141(JP,A)
【文献】 特開2003−159298(JP,A)
【文献】 特開2008−145237(JP,A)
【文献】 特開2011−191227(JP,A)
【文献】 米国特許出願公開第2011/0025546(US,A1)
【文献】 米国特許出願公開第2009/0262005(US,A1)
【文献】 米国特許出願公開第2007/0024488(US,A1)
【文献】 特開2005−091026(JP,A)
【文献】 特開2003−185735(JP,A)
【文献】 特開2002−024958(JP,A)
【文献】 特開2006−221213(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00 − 7/42
G01S 13/00 − 13/95
(57)【特許請求の範囲】
【請求項1】
動く体からの信号の反射を用いて屋内で場所を突き止めるための方法であって、
送信アンテナからの送信される信号パターンの繰り返しを含む送信される信号を放射するステップと、
前記送信される信号の反射を含む受信される信号を複数の受信アンテナのそれぞれの受信アンテナにおいて受信するステップと、
それぞれの受信される信号に関して、
前記受信される信号を処理して、動く体からの前記送信される信号パターンの反射の連続するパターンを形成するステップであって、前記連続するパターンが、前記動く体の推定された位置の2次元又は3次元の空間的分布を含むヒートマップを有するステップと、
前記動く体からの直接的な反射の影響を維持すること、及び少なくとも1つの動かない物体からも反射される前記動く体からのマルチパス反射の少なくとも一部の影響を除外することを含む、反射の前記連続するパターンを処理するステップと、
反射の前記連続するパターンを処理するステップの結果を用いて前記体の位置を決定するステップとを含む、前記方法。
【請求項2】
各受信アンテナに関して、マルチパス反射を除外することが、動く体からの直接的な反射を特定することと、少なくとも1つの動かない物体からも反射する前記動く体からの間接的な反射を特定することとを含む請求項1に記載の方法。
【請求項3】
各受信アンテナに関して、マルチパス反射を除外することが、送信アンテナから前記受信アンテナへの第1の往復遅延時間を特定することを含み、前記第1の往復遅延時間が、動く体から反射する信号パターンの最も短い往復伝播時間を表す請求項2に記載の方法。
【請求項4】
体の位置を決定するステップが、それぞれの受信される信号に関する特定された第1の往復遅延時間を用いて前記特定された第1の往復遅延時間よりも長い往復遅延時間に対応するマルチパス反射を除去するステップを含む請求項3に記載の方法。
【請求項5】
特定された第1の往復遅延時間を用いることは、前記特定された第1の往復遅延時間を反射の連続するパターンにわたって追跡することを含む、請求項4に記載の方法。
【請求項6】
1組の受信アンテナが、少なくとも2つのアンテナが異なる高度を有するようにして少なくとも3つのアンテナを含む請求項1に記載の方法。
【請求項7】
体の位置を決定するステップが、体の高度を決定するステップを含む請求項6に記載の方法。
【請求項8】
体の追跡された位置において動作のパターンを検出するステップをさらに含む請求項1に記載の方法。
【請求項9】
動作のパターンを検出するステップが、体の位置の軌跡の時間的パターンを検出するステップを含む請求項8に記載の方法。
【請求項10】
動作のパターンを検出するステップが、場所の特定の環境内で動作のパターンを検出するステップを含む請求項8に記載の方法。
【請求項11】
動作のパターンを検出するステップが、ジェスチャを検出するステップを含む請求項8に記載の方法。
【請求項12】
ジェスチャを検出するステップが、体全体のジェスチャを検出するステップを含む請求項11に記載の方法。
【請求項13】
ジェスチャを検出するステップが、手足のジェスチャを検出するステップを含む請求項11に記載の方法。
【請求項14】
ジェスチャを検出するステップが、指さしジェスチャを検出するステップを含む請求項13に記載の方法。
【請求項15】
指さしジェスチャを検出するステップが、指さしジェスチャの方向を検出するステップを含む請求項14に記載の方法。
【請求項16】
ジェスチャを検出するステップに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む請求項11に記載の方法。
【請求項17】
電気デバイス又は電子デバイスを制御することが、ゲームデバイス、電化製品、及び照明デバイスのうちの少なくとも1つを制御することを含む請求項16に記載の方法。
【請求項18】
動作のパターンを検出するステップが、転倒する活動を検出するステップを含む請求項8に記載の方法。
【請求項19】
転倒する活動を検出するステップが、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも1つを監視するステップを含む請求項18に記載の方法。
【請求項20】
信号パターンが、第1の周波数から第2の周波数まで掃引された搬送周波数における狭帯域信号を含む請求項1に記載の方法。
【請求項21】
第1の周波数及び第2の周波数が、両方とも、5.46〜7.25ギガヘルツの範囲内である請求項20に記載の方法。
【請求項22】
受信される信号を受信するステップが、少なくとも1つの障害物を通った伝播の後の送信される信号の反射を受信するステップを含む請求項1に記載の方法。
【請求項23】
体が、人である請求項1に記載の方法。
【請求項24】
体が、人の手足である請求項1に記載の方法。
【請求項25】
人によって行われたジェスチャを用いてデバイスとインタラクションするための方法であって、
送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、前記送信される信号の反射を含む受信される信号を複数の受信アンテナのそれぞれの受信アンテナにおいて受信すること、前記送信される信号パターンの連続する反射を用いて位置を追跡することを含む、体の動作を追跡するステップであって、前記連続する反射が、前記体の動作の推定された位置の2次元又は3次元の空間的分布を含むヒートマップを有するステップと、
前記体の追跡された動作を用いて動作のパターンを検出するステップと、
前記動作の検出されたパターンを用いて前記デバイスとインタラクションするステップとを含む、前記方法。
【請求項26】
動作を追跡するステップが、送信される信号の伝播時間を使用するステップを含む請求項25に記載の方法。
【請求項27】
送信される信号パターンが、周波数変調搬送波(FMCW)信号パターンを含む請求項26に記載の方法。
【請求項28】
送信される信号の反射が、障害物を通り抜ける反射を含む請求項25に記載の方法。
【請求項29】
動作のパターンを検出するステップが、ジェスチャを検出するステップを含む請求項25に記載の方法。
【請求項30】
ジェスチャを検出するステップが、2次元のジェスチャを検出するステップを含む請求項29に記載の方法。
【請求項31】
ジェスチャを検出するステップが、3次元のジェスチャを検出するステップを含む請求項29に記載の方法。
【請求項32】
ジェスチャを検出するステップが、体全体のジェスチャを検出するステップを含む請求項29に記載の方法。
【請求項33】
ジェスチャを検出するステップが、手足のジェスチャを検出するステップを含む請求項29に記載の方法。
【請求項34】
手足のジェスチャを検出するステップが、反射のサイズに従って手足からの反射を人の体全体の反射と区別するステップを含む請求項33に記載の方法。
【請求項35】
ジェスチャを検出するステップが、指さしジェスチャを検出するステップを含む請求項33に記載の方法。
【請求項36】
ジェスチャを検出するステップに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む請求項29に記載の方法。
【請求項37】
人の転倒を検出するための方法であって、
送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、前記送信される信号の反射を含む受信される信号を複数の受信アンテナのそれぞれの受信アンテナにおいて受信すること、前記送信される信号パターンの連続する反射を用いて位置を追跡することを含む、人の動作を追跡するステップであって、前記連続する反射が、前記の動作の推定された位置の2次元又は3次元の空間的分布を含むヒートマップを有するステップと、
前記の追跡された動作を用いて動作のパターンを検出するステップと、
前記動作の検出されたパターンを用いて前記人の転倒を検出するステップとを含む、前記方法。
【請求項38】
送信される信号の反射が、障害物を通り抜ける反射を含む請求項37に記載の方法。
【請求項39】
動作のパターンを検出するステップが、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも1つを監視するステップを含む請求項37に記載の方法。
【請求項40】
動作のパターンを検出するステップが、閾以上の高度の変化を検出することを含む高度の変化を監視するステップを含む請求項39に記載の方法。
【請求項41】
動作のパターンを検出するステップが、閾値未満の継続時間を検出することを含む高度を変化させる継続時間を監視するステップを含む請求項39に記載の方法。
【請求項42】
動作のパターンを検出するステップが、閾値未満の最終的な高度を検出することを含む前記最終的な高度の近さを監視するステップを含む請求項39に記載の方法。
【請求項43】
動作のパターンを検出するステップが、第1の閾値以上の高度の変化、第2の閾値未満の継続時間、及び第3の閾値未満の最終的な高度からなる一群の条件の各条件が満たされるときを検出するステップを含む請求項39に記載の方法。
【請求項44】
送信アンテナ及び1組の受信アンテナと、
前記送信アンテナに接続され、送信信号パターンの繰り返しを含む送信信号を生じさせるように構成された送信機と、
前記送信信号の反射を含む信号を受信するための、前記1組の受信アンテナに接続された受信機と、
場所特定システムに請求項1〜43のいずれかに記載のすべてのステップを実行させるように構成された、前記送信機に接続され、前記受信機に接続されたプロセッサとを含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、
・2013年10月9日に出願した「MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第61/888,662号、
・2014年2月24日に出願した「MULTI-PERSON MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第61/943,957号、及び
・2014年4月28日に出願した「MULTI-PERSON MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第61/985,066号の利益を主張するものである。これらの出願は、参照によって本明細書に組み込まれる。
【0002】
連邦政府による資金提供を受けた研究の記載
本発明は、国立科学財団(National Science Foundation)によって与えられたCNS−1117194の下での政府の支援によってなされた。政府は、本発明に特定の権利を有する。
【0003】
本発明は、体の無線反射によって人を追跡することに関する。
【背景技術】
【0004】
近年、純粋に人の体からの無線反射に基づいてユーザの場所を突き止めることができる技術が登場してきた。そのような技術に関連する課題は、複数の人へとスケーリングすること、正確にそれらの人の場所を突き止め、それらの人のジェスチャを追跡すること、及び検出可能であるように動くことをユーザに要求することと対照的に動かないユーザの場所を突き止めることを含む。
【0005】
屋内環境内の人の存在を検出し及び/又は追跡するための代替的な技術は、撮影された画像又は動画が処理されるカメラに基づく手法と、超音波又は赤外線パッシブモーションセンサとを含む。これらの代替的な技術のそれぞれは、限られた精度、計算の複雑さ、プライバシーに関する懸念、及び/又は展開のコストに悩まされる。
【発明の概要】
【課題を解決するための手段】
【0006】
一態様においては、概して、(追跡又は大きな及び/若しくは小さな動作を含む)1人又は複数人の追跡の手法が、複数の無線周波数アンテナを利用する。一部の例においては、複数の送信アンテナ及び複数の受信アンテナが存在するが、その他の例においては、一部のアンテナが例えば異なる時間に送信と受信との間で共有される可能性があることを理解されたい。概して、少なくとも一部の実施形態においては、場所特定データが、複数のアンテナから信号を同時に送信し、複数のアンテナにおいて体及び固定された物体(例えば、壁、机など)からの反射を受信することによって決定される。
【0007】
別の態様においては、概して、屋内で場所を突き止めるための方法が、動く体からの信号の反射を用いる。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む送信される信号を放射するステップと、送信される信号の反射を含む受信される信号を1組の受信アンテナのそれぞれの受信アンテナにおいて受信するステップとを含む。それぞれの受信される信号に関して、受信される信号は、動く体からの送信信号パターンの反射の連続するパターンを形成するために処理され、反射の連続するパターンは、前記動く体からの直接的な反射の影響を維持すること、及び少なくとも1つの動かない物体からも反射される前記動く体からのマルチパス反射の少なくとも一部の影響を除外することによって処理される。体の位置が、反射の連続するパターンを処理した結果を用いて決定される。
【0008】
態様は、以下のうちの1つ又は任意の組合せを含む可能性がある。
【0009】
各受信アンテナに関して、マルチパス反射を除外することは、動く体からの直接的な反射を特定することと、少なくとも1つの動かない物体からも反射する動く体からの間接的な反射を特定することとを含む。
【0010】
各受信アンテナに関して、マルチパス反射を除外することは、送信アンテナから受信アンテナへの第1の往復遅延時間を特定することを含み、前記第1の往復遅延時間は、動く体から反射する信号パターンの最も短い往復伝播時間を表す。
【0011】
体の位置を決定することは、それぞれの受信される信号に関する特定された第1の往復遅延時間を用いて特定された第1の往復遅延時間よりも長い往復遅延時間に対応するマルチパス反射を除去することを含む。
【0012】
特定された第1の往復遅延時間を用いることは、反射の連続するパターンにわたる前記時間を追跡することを含む。
【0013】
1組の受信アンテナは、少なくとも2つのアンテナが異なる高度を有するようにして少なくとも3つのアンテナを含む。
【0014】
体の位置を決定することは、体の高度を決定することを含む。
【0015】
方法は、体の追跡された位置において動作のパターンを検出するステップをさらに含む。
【0016】
動作のパターンを検出するステップは、体の位置の軌跡の時間的パターンを検出するステップを含む。
【0017】
動作のパターンを検出するステップは、場所の特定の環境内で動作のパターンを検出するステップを含む。
【0018】
動作のパターンを検出するステップは、ジェスチャを検出するステップを含む。
【0019】
ジェスチャを検出するステップは、体全体のジェスチャを検出するステップを含む。
【0020】
ジェスチャを検出するステップは、手足のジェスチャを検出するステップを含む。
【0021】
ジェスチャを検出するステップは、指さしジェスチャを検出するステップを含む。
【0022】
指さしジェスチャを検出するステップは、指さしジェスチャの方向を検出するステップを含む。
【0023】
方法は、ジェスチャを検出するステップに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む。
【0024】
電気デバイス又は電子デバイスを制御することは、ゲームデバイス、電化製品、及び照明デバイスのうちの少なくとも1つを制御することを含む。
【0025】
動作のパターンを検出するステップは、転倒する活動を検出するステップを含む。
【0026】
転倒する活動を検出するステップは、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも1つを監視するステップを含む。
【0027】
信号パターンは、第1の周波数から第2の周波数まで掃引された搬送周波数における狭帯域信号を含む。
【0028】
第1の周波数及び第2の周波数は、両方とも、5.46〜7.25ギガヘルツの範囲内である。
【0029】
受信される信号を受信するステップは、少なくとも1つの障害物を通った伝播の後の送信される信号の反射を受信するステップを含む。
【0030】
体は、人である。
【0031】
体は、人の手足である。
【0032】
別の態様においては、概して、デバイスとインタラクションするための方法が、人によって行われたジェスチャを用いる。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、送信される信号の反射を含む受信される信号を1組の受信アンテナのそれぞれの受信アンテナにおいて受信すること、送信される信号パターンの連続する反射を用いて位置を追跡することを含む、体の動作を追跡するステップを含む。動作のパターンが、体の追跡された動作を用いて検出される。動作の検出されたパターンが、デバイスとインタラクションするために使用される。
【0033】
態様は、以下のうちの1つ又は任意の組合せを含む可能性がある。
【0034】
動作を追跡するステップは、送信される信号の伝播時間を使用するステップを含む。
【0035】
送信される信号パターンは、周波数変調搬送波(FMCW,Frequency Modulated Carrier Wave)信号パターンを含む。
【0036】
送信される信号の反射は、障害物を通り抜ける反射を含む。
【0037】
動作のパターンを検出することは、ジェスチャを検出することを含む。
【0038】
ジェスチャを検出することは、2次元のジェスチャを検出することを含む。
【0039】
ジェスチャを検出することは、3次元のジェスチャを検出することを含む。
【0040】
ジェスチャを検出することは、体全体のジェスチャを検出することを含む。
【0041】
ジェスチャを検出することは、手足のジェスチャを検出することを含む。
【0042】
手足のジェスチャを検出することは、反射のサイズに従って手足からの反射を人の体全体の反射と区別することを含む。
【0043】
ジェスチャを検出することは、指さしジェスチャを検出することを含む。
【0044】
方法は、ジェスチャを検出することに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む。
【0045】
別の態様においては、概して、方法が、人の転倒を検出することを対象とする。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、送信される信号の反射を含む受信される信号を1組の受信アンテナのそれぞれの受信アンテナにおいて受信すること、送信される信号パターンの連続する反射を用いて位置を追跡することを含む、人の動作を追跡するステップを含む。動作のパターンは、体の追跡された動作を用いて検出され、動作の検出されたパターンは、人の転倒を検出するために使用される。
【0046】
態様は、以下のうちの1つ又は任意の組合せを含む可能性がある。
【0047】
送信される信号の反射は、障害物を通り抜ける反射を含む。
【0048】
動作のパターンを検出することは、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも1つを監視することを含む。
【0049】
動作のパターンを検出することは、少なくとも閾値の高度の変化を検出することを含む高度の変化を監視することを含む。
【0050】
動作のパターンを検出することは、閾値未満の継続時間を検出することを含む高度を変化させる継続時間を監視することを含む。
【0051】
動作のパターンを検出することは、閾値未満の最終的な高度を検出することを含む最終的な高度の近さを監視することを含む。
【0052】
動作のパターンを検出することは、少なくとも第1の閾値の高度の変化、第2の閾値未満の継続時間、及び第3の閾値未満の最終的な高度からなる一群の条件の各条件が満たされるときを検出することを含む。
【0053】
別の態様においては、概して、システムが、送信アンテナ及び1組の受信アンテナを含む。送信機が、送信アンテナに接続され、送信信号パターンの繰り返しを含む送信信号を生じさせるように構成される。受信機が、送信信号の反射を含む信号を受信するために、1組の受信アンテナに接続される。プロセッサが、送信機及び受信機に接続される。プロセッサは、システムに上述の方法のうちのいずれか1つのすべてのステップを実行させるように構成される。
【0054】
一部の例において、複数のアンテナから送信される信号は狭い周波数帯域(例えば、正弦波)を有し、周波数は、例えば、経時的に周波数を線形に変化させる第1の周波数から第2の周波数まで掃引される第1の周波数と第2の周波数との間の固定のパターンで変わる。この掃引されたパターンが、繰り返される可能性がある。一部の例において、異なるアンテナから送信される信号は、時間的に互いにオフセットされ(又は代替的に周波数的にオフセットされ)、それによって、はっきりと異なる周波数で体から反射された異なる送信機からの成分を有する受信アンテナにおける受信された信号をもたらす。
【0055】
一部の例においては、基準送信信号が、送信アンテナのそれぞれに分配され、異なる送信アンテナにおいて異なる時間だけ遅延される。基準送信信号は、送信アンテナのそれぞれから受信アンテナへの体から反射される伝播(飛行時間(time of flight))時間を決定するために受信アンテナのそれぞれにおいてやはり使用される。一部の例において、これらの伝播時間は、受信された信号を基準送信信号によって変調することによって決定される。一部の例において、変調された受信された信号は、平均された受信された信号を得るためにいくつかの掃引サイクルにわたって平均される(振幅及び位相を有する複素信号としてか、又は代替的に2乗された振幅の大きさだけを平均するかのどちらか)。
【0056】
一部の例においては、各送信及び受信アンテナ局に基準送信信号を分配するのではなく、基準タイミング信号が局に分配され、基準送信信号が各局で別々に合成される。
【0057】
複数の体の位置が、送信アンテナ及び受信アンテナに関する複数の対の間の決定された伝播時間から決定される。
【0058】
態様は、以下の特徴のうちの1又は2以上を含み得る。
【0059】
(例えば、壁などからの)反射の決まったパターンの影響が、例えば、受信信号の長期的な平均を差し引くことによって、又は連続する周波数掃引からの受信信号の差を取ることによって受信信号から効果的に取り除かれる。
【0060】
送信アンテナ及び/又は受信アンテナは、指向性アンテナである。
【0061】
アンテナは、直線に沿った決まった配列で、2次元のパターンで(例えば、体が追跡される領域の面の「T」パターンで)、又は3次元の配列で配列される。一部の例においては、決まった配列が知られており、一方、その他の例においては、アンテナの位置の幾何学的関係が位置の間の無線伝播時間を用いて推測される。
【0062】
一部の例において、アンテナは、例えば、壁又は天井に沿って室内に配列される。その他の例において、アンテナは、マルチルーム空間(例えば、病棟又は小売店)の複数の部屋にわたって配列される。
【0063】
複数の体の位置が、反復的に(a)複数の送信機−受信機の対の間の決定された伝播時間に基づいて体の位置を決定し、(b)位置を決定した後、その位置からの反射の影響を残りの信号から効果的に取り除くことによって決定される。一部の例において、位置からの反射の影響を取り除くステップは、位置の周りの領域から反射の影響を取り除くことを含み、その領域は、反射を引き起こす物体の空間的なモデル(例えば、人間の体のモデル)に従って決定される。一部の例において、この反復は、それぞれの反復において、受信された信号内のその他のN−1個の体の影響を取り除いた第nの体に関する位置を決定することによって領域内のN個の体を特定した後で繰り返される。
【0064】
さまざまな送信機における基準送信信号の遅延は、決まっていることも、環境内の体の検出された位置に従って、例えば、検出された体の最大の範囲に従って適合されることもある。
【0065】
比較的動作の少ない体(例えば、人間、ペットなど)の呼吸が、呼吸頻度の検出される体の位置からの反射される電力の振動を用いて検出される。一部の例においては、基準の時間における体に関する基準電力とその体に関するその後の電力との間の差が、呼吸に関連する振動を検出するために使用される。
【0066】
複雑な体が、3次元空間内で検出される。例えば、(例えば、ジェスチャを形成する)手足が胴体から延伸している人間の体が、比較的強い反射されるエネルギーを与える可能性がある体の胴体の場所の特定に従って、並びに検出された胴体の位置の近くの及び/又は検出された胴体の位置の適切な幾何学的関係の比較的弱い反射されるエネルギーを与える可能性がある体の手足の場所の特定に従って検出され得る。より一般的には、複雑な体の場所の特定は、複雑な体のモデル又は制約に基づく幾何学的関係の複雑な体の要素の場所の特定に基づく可能性がある。
【0067】
別の態様においては、概して、人間の体から反射された無線信号から1又は2以上の人間及び体の部分の3次元の動作を追跡するためのデバイスが使用される。手法は、たとえ人がデバイスから遮蔽されているか又は異なる部屋の中にいるとしても機能する。デバイスは、送信のための1又は2以上のアンテナ及び受信のための1又は2以上のアンテナを有する。デバイスは、無線信号を送信し、その無線信号の反射を用いて、信号が送信アンテナから反射する物体まで及び受信アンテナのそれぞれに戻るまでにかかる時間を推定する。そして、デバイスは、アンテナの位置のそのデバイスの知識を用いて幾何学的な基準モデルを生成し、その幾何学的な基準モデルは、受信アンテナによって観測された往復遅延を反射する体の2次元の(又は3次元の)位置にマッピングする。
【0068】
一部の例においては、マルチシフト周波数変調搬送波(FMCW)と呼ばれる技法が使用される。技法は、異なるソースから生じさせられたFMCW信号を時間的に又は周波数的にシフトすることによってそれらのFMCW信号を区別することを許容する。この区別することができる能力は、時間的、周波数的、又は符号的にシフトすること(例えば、異なるアンテナから送信された信号に異なる拡散符号を掛けること)によって実現され得る。
【0069】
一部の例においては、連続シルエットキャンセル(Successive Silhouette Cancellation)と呼ばれる技法が使用される。技法は、(1又は2以上の)最も強い反射体−−すなわち、人(又は1組の人)を発見し、受信された信号からそれらの影響を取り除き、それから、より弱い反射体(人)の発見に進むことによってシーン内の異なる人の位置を反復的に発見する。アルゴリズムは、人の場所を突き止める文脈で説明されるが、任意の種類の動く又は動かない物体の場所を突き止めることに一般化され得る。
【0070】
説明される技法は、人間を追跡することに焦点を当てるが、任意の動く物体(例えば、ペット、ロボット)又は動かない物体を追跡することに一般化され得る。
【0071】
別の態様においては、概して、異なるソースから送信された周波数変調搬送波(FMCW)信号を区別するための方法及び装置が、使用される。異なるソースは、同じ又は複数の異なるデバイスに接続され得る。一部の例において、区別することができる能力は、周波数領域で互いに対してFMCW信号をシフトすることによって実現される。一部の実施形態において、周波数領域でシフトすることは、信号と混合することによって実現され、一方、その他の実施形態において、周波数領域でシフトすることは、遅延線を追加することによって実現される。一部の代替的な実施形態において、区別することができる能力は、FMCW信号に異なる符号を掛けることによってそれらのFMCW信号を互いに対してシフトすることによって実現される。
【0072】
2次元及び/又は3次元の場所特定の手法は、1又は2以上の体又は物体からの信号の反射を用いる。1又は2以上の送信アンテナから受信アンテナのそれぞれへの飛行時間(TOF,Time-of-flight)の測定値が、計算される。送信アンテナ及び受信アンテナの配置の知識が、飛行時間を反射体の位置の関数にマッピングする空間的基準を生成するために使用される。方法は、環境内に複数の反射体がある状況で環境内のより弱い又はより強い反射体に焦点を合わせるために異なる物体の反射を連続的に特定し、除去することを含む。
【0073】
アンテナは、さまざまなパターンで配列される可能性があり、概して、任意の位置に配置される可能性がある。
【0074】
一部の実施形態においては、静的マルチパスが、背景削除によって除去/軽減される。「偽りの」目標が、異なる送信アンテナ−受信アンテナの対からの信号を組み合わせることによって除去される。例えば、システムは、初めに、最も強い反射体を発見し、その反射体を取り除き、それから、再符号化し、その他の反射体に進む。一部の実施形態においては、一部の(又はすべての)反射体を発見した後、システムは、焦点を合わせるステップに進み、それによって、無用の反射体からの干渉を除去し、関心のある反射体に焦点を合わせる。この焦点を合わせるステップは、反射体の位置のより良い推定値を取得するために使用される。
【0075】
一部の実施形態においては、推定された位置が、目標が交差する前に動いていたように交差後も同じ方向に沿って動くと予測することによって交差する経路を解きほぐすために処理される。
【0076】
システムは、例えば、手の動きを追跡するために体の部分を追跡することができる。そのような追跡は、2次元又は3次元で行われ得る。体の部分の動作は、ジェスチャとして解釈される可能性があり、そのジェスチャは、デバイスを制御するか又はコマンドを伝達するために使用される可能性がある。
【0077】
システムは、複数の人がそれらの人の体の部分を動かしているときに、又は人若しくは複数の人が複数の体の部分を動かしている場合に動きを追跡することができる。
【0078】
少なくとも一部の実施形態は、場所特定の動作の精度を改善するために、動作の連続性のような人間の動作に関する実施上の又は物理的な制約を利用する。
【0079】
一部の実施形態においては、人間の呼吸動作が、動かない反射体を除去するために使用される。例えば、複数の削除窓(subtraction window)が、異なる速度の反射体を特定し及び/又は反射体の場所を突き止めるために使用される。1又は2以上の人が、それらの人の呼吸に基づいて場所を突き止められ得る。一部の例において、システムは、1又は2以上の人の呼吸を数え、1又は2以上の人が呼吸を止める場合を検出することができる。
【0080】
一部の実施形態においては、異なる様式の追加のセンサ(例えば、カメラ、赤外線センサなど)が、精度を上げるか又は機能を追加するために組み合わされる。
【0081】
一部の例においては、人又は体の部分の検出された動作が、例えば、知られているパターン(例えば、知られているジェスチャ)と比較することによってパターンを検出するために使用される。
【0082】
1又は2以上の態様の利点は、以下を含み得る。
【0083】
正確な複数の体の場所特定及び/又は追跡が、部屋、(例えば、壁を通して信号を伝播する)マルチルーム空間、又はその他の屋内若しくは屋外の領域において比較的高い精度で実現され得る。
【0084】
複数の体の場所特定は、1又は2以上の体の存在の単なる検出と比較して、領域内の体のカウントを行うことができる。さらに、代替的な技術を用いて容易に決定され得ない体の正確な軌跡も、利用可能である。
【0085】
カメラの使用と比較して、無線周波数の反射の使用は、高められたプライバシーを提供することができる。例えば、公衆トイレ内の存在/往来を監視することが、ビデオ監視に関連するプライバシーの問題なしに実現され得る。
【0086】
呼吸の検出が、別のやり方では背景と取り違えられる可能性がある比較的動かない体を検出する方法を提供する。例えば、室内の人の存在を監視する応用においては、超音波動作ディテクタが動作のない人を見逃す可能性がある一方、それにもかかわらず、それらの人の呼吸が検出される。
【0087】
送信アンテナのすべての(又はそれよりも少ない複数の組)からの同時送信は、位置の変化が送信時間の間で著しい単一アンテナからの逐次送信よりも体の動作によって影響されにくい可能性がある(例えば、推定された位置のより少ない「不明瞭化(smearing)」)。
【0088】
狭帯域信号(つまり、掃引されたトーン)の使用は、受信信号内の異なる送信機からの送信を分ける直接的な方法を提供し、位相雑音に対する堅牢性を提供することができる。
【0089】
人を追跡するための上述の手法は、以下を含む応用に使用され得る。
【0090】
建物内の又は建物内の特定の経路を通る人を検出するためのセキュリティの応用。
【0091】
検出された人及び建物内の人の往来の長期的なパターンに基づくエネルギー効率の手法(例えば、エネルギー使用は、単なる人の存在ではなく室内の人の数に基づく可能性がある)。
【0092】
例えば、個々の人が店内で買い物をするときにそれらの人の往来のパターンを決定するための小売りスペース内の往来の追跡。
【0093】
睡眠のパターンの監視、睡眠時無呼吸の検出、赤ん坊の監視、及びバイタルサインの監視のその他の応用は、物理的なセンサ又は人への接続を必要としないという利点を有する。
【0094】
本発明のその他の特徴及び利点は、以下の説明及び請求項から明らかである。
【図面の簡単な説明】
【0095】
図1】モーショントラッキングシステムの第1の実施形態の概略構成図である。
図2A】経時的な送信及び受信周波数のグラフである。
図2B図2Aに対応する周波数に対する受信エネルギーのグラフである。
図3A】1つの送信及びアンテナの対に関するスペクトログラム(時間に対するスペクトルのプロファイル)である。
図3B】背景部分を除いた後のスペクトログラムである。
図3C図3Bのスペクトログラムに対応する第1の往復遅延時間の推定値のグラフである。
図4】複数の送信アンテナからの同時送信によるモーショントラッキングシステムの第2の実施形態の概略構成図である。
図5A】2つの送信アンテナからの送信周波数及び1つのアンテナにおける受信周波数のグラフである。
図5B図5Aに対応する周波数に対する受信エネルギーのグラフである。
図6A】飛行時間(TOF)プロファイルの図である。
図6B図6Aに対応する異なるTOFプロファイルの図である。
図7A-E】それぞれ、1〜5個の送信−受信アンテナの対に関する異なるTOFプロファイルから形成された「ヒートマップ」である。
図8A】初期ヒートマップである。
図8B-D】シルエット(silhouette)キャンセル手順の連続的反復後のヒートマップである。
図9A-D】それぞれ、図8A〜Dに示されたヒートマップを使用して推定された位置を用いる焦点を合わせる手順によって生じさせられたヒートマップである。
図10】歩くこと、(椅子及び地面に)座ること、並びに地面に転倒することに関する時間に対する推定された高度のグラフである。
図11】指さしジェスチャのスペクトログラムである。
図12】アンテナアレイの概略図である。
【発明を実施するための形態】
【0096】
図1を参照すると、モーショントラッキングシステム100の第1の実施形態は、番号アンテナ150を利用し、建物の1又は2以上の部屋、車両の内部などを含む可能性があり、例えば、実質的に無線を透過する障壁、例えば、建物の壁又は敷布によって仕切られる可能性があるシステムの環境内の物体(例えば、人)から反射される無線周波数信号を送信及び受信する。概して、環境内の物体は、椅子、壁などの固定された物体と、人などであるがこれに限定されない動く物体との両方を含む。システムは、部屋の中を動き回っていることも、比較的動かず、例えば、椅子に座っているか若しくはベッドに寝ていることもあるが、それでもやはり、以下で説明される1若しくは2以上の実施形態によって検出され得る呼吸動作を呈する可能性がある人を追跡することができる。システムは、無線周波数信号に基づく動作分析結果130を提供する。さまざまな実施形態において、これらの結果は、環境内の1又は2以上の人の位置、環境内の人によって行われた検出された体又は手足のジェスチャ、及び転倒の検出を含む検出された身体活動を含む。
【0097】
概して、システム100は、アンテナ150のさまざまな対に関して導出された飛行時間(TOF)(「往復遅延時間」とも呼ばれる)情報を利用する。図1の概略図に関しては、代表点物体180から反射する3つの経路185A〜Cが、送信アンテナと3つの受信アンテナとの間に示されており、各経路は、概して、異なるTOFを有する。一定の信号伝播速度c(すなわち、光の速度)を仮定すると、座標(x,y,z)の物体から反射され、座標(x,y,z)のアンテナにおいて受信される座標(x,y,z)のアンテナからのTOFは、
【0098】
【数1】
【0099】
と表され得る。特定の経路に関して、例えば、経路185Aに関連するTOFは、物体180の位置を、経路の送信アンテナ及び受信アンテナの3次元座標と、TOFから決定される経路の距離とによって画定される楕円体上にあるように拘束する。例示のために、楕円体の一部が、楕円の線190Aとして示される。同様に、経路185B〜Cに関連する楕円体が、線190B〜Cとして示される。物体180は、3つの楕円体の交点にある。
【0100】
図1を引き続き参照すると、システム100は、送信アンテナ150から放射される信号パターンの繰り返しを生じさせる信号ジェネレータを含む。この実施形態において、信号ジェネレータは、超広帯域周波数変調搬送波(FMCW)ジェネレータ120である。その他の実施形態においては、以下で説明される信号パターン及び帯域幅以外の信号パターン及び帯域幅が、説明される実施形態のその他の態様に従いながら使用され得ることを理解されたい。
【0101】
図2Aを参照すると、TOFの推定が、周波数変調搬送波(FMCW)の手法を用いて行われる。単一の送信アンテナ及び受信アンテナの対を考えると、一連の継続時間Tの繰り返し時間間隔212のそれぞれにおいて、送信周波数が、実線210によって示される周波数範囲で掃引される。一部の実施形態において、周波数範囲は、2.5ミリ秒の掃引継続時間及び繰り返しレートで5.46〜7.25GHz(すなわち、およそ1.8GHzの周波数範囲)である。受信アンテナは、破線220に示される周波数で、TOF222の後に(つまり、単一の物体から反射された)信号を受信する。TOF222は、送信された周波数及び受信された周波数における差224に対応し、この差224は、TOFと送信アンテナの掃引される搬送波の周波数の変化のレートとの積であることに留意されたい。
【0102】
図2Bを参照すると、受信された反射された信号(図2Aの破線220)が送信された信号(図2Aの実線210)に従ってシフトされた周波数である場合、結果は、TOFに対応する周波数の差224に集中されたエネルギーを有する。(我々は、図において誇張されている間隔212の端を無視していることに留意されたい)。再び図1を参照すると、周波数シフト構成要素160(「ダウンコンバータ」又は「ミキサ」とも呼ばれる)が、周波数のシフトを実施し、例えば、送信された信号を用いて受信された信号を変調する変調器を含み、環境の物理的な大きさに合ったTOFの継続時間を表す低い周波数範囲を維持する。
【0103】
周波数シフタの出力は、異なるTOFにそれぞれが関連する周波数成分を分離するためにスペクトル分析(例えば、フーリエ変換)にかけられる。この実施形態において、周波数シフタの出力は、サンプルであり、高速フーリエ変換(FFT)として実施される離散時間フーリエ変換が、各間隔212に関して計算される。FFTの各複素数値は、周波数分解能Δf=1/Tsweepで周波数サンプルを提供し、ここで、Tsweepは、掃引の継続時間(例えば、2.5ミリ秒)である。
【0104】
図2Bを引き続き参照すると、周波数に対する(及び等価的にTOFに対する)エネルギーの分布が、図に示されるように概して集中されないことが認められるに違いない。むしろ、環境内の反射する物体からの反射の重ね合わせの結果として生じるエネルギーの分布が存在する。ある反射は直接的であり、経路が反射する物体と送信アンテナ及び受信アンテナとの間で直接的である。その他の反射は、特定の反射する物体を経由する送信アンテナから受信アンテナまでの複数の経路が存在するマルチパス効果を呈する。一部のマルチパス効果は、送信された信号が壁、家具、及び環境内のその他の動かない物体から反射されることが原因である。その他のマルチパス効果は、動く体からの反射を含み、経路は、送信アンテナから動く物体まで及び受信アンテナに戻るまで直接ではなく、むしろ、送信アンテナから動く物体まで、又は動く物体から受信アンテナに戻るまで、又はこれらの両方の経路のいずれかで1又は2以上の動かない物体から反射される。
【0105】
システムは、動く物体の反射を家具及び壁のような環境内の動かない物体からの反射と区別するために時間差アプローチ(time differencing approach)を使用して、静的マルチパスと呼ばれる第1のマルチパス効果に対処する。通常、壁及び家具からの反射は、特に人間が壁の後ろにいる場合、人間からの反射よりもずっと強い。これらの反射が取り除かれない限り、これらの反射は、人間から来る信号を隠し、人間の動作を感知することを妨げてしまう。この挙動は、「フラッシュ効果(Flash Effect)」と呼ばれる。
【0106】
これらの動かない物体(壁、家具)のすべてからの反射を取り除くために、我々は、これらの反射体が動かないので、アンテナアレイまでのこれらの反射体の距離が経時的に変化せず、したがって、これらの反射体の引き起こされる周波数シフトが経時的に一定であるという事実を利用する。我々は、掃引窓毎に受信された信号のFFTを取得し、前の掃引における信号のFFTから所与の掃引におけるFFTの(複素)出力を差し引くことによってこれらの動かない反射体からの電力を除去する。このプロセスは、背景のすべての動かない反射体を除去するので背景削除と呼ばれる。一部の実施形態においては、直前の掃引が使用される可能性があり(つまり、2.5ミリ秒前)、一方、その他の実施形態においては、より大きな遅延が使用される可能性がある(例えば、12.5ミリ秒、又はさらには2.5秒など1秒を超える)。
【0107】
動かない物体からのすべての反射を除去することによって、システムは、理想的に、動く物体からの反射だけを残される。しかし、上で紹介されたように、これらの反射は、送信アンテナから動く物体まで(動かない物体に跳ね返ることなく)直接進み、物体に反射し、それから受信アンテナまで直接戻る信号と、動かない物体からの反射を含み、動く物体を形成する間接的な経路を進む信号との両方を含む。我々は、これらの間接的な反射を動的マルチパスと呼ぶ。側壁に跳ね返る間接的な経路に沿って到着する動く物体の反射は、遮蔽(occlusion)を避けることができる可能性があるので、(壁を越えた後、大きく減衰させられる可能性がある)人の直接的な反射よりも強いことが大いにあり得る。
【0108】
動的マルチパスを除去する通常の手法は、任意の時点で、動く物体への直接的な信号経路及び動く物体からの直接的な信号経路が間接的な反射よりも短い経路を進んだという観測に基づく。距離はTOFに直接関連し、ひいては周波数に関連するので、これは、動く物体から反射された直接的な信号が背景削除後にすべての強い反射体の中で最も小さな周波数シフトを生じることを意味する。我々は、すべての強い反射体の最も低い周波数(つまり、不足させられた飛行時間)の外形をたどることによって最も短い経路を進んだ反射を追跡することができる。
【0109】
図3A〜Cを参照すると、各図の横軸は、約20秒の時間間隔を表し、縦軸は、一番下の距離/遅延ゼロに対応する周波数範囲から一番上の約30メートルの範囲に対応する周波数までを表す。図3A及び3Bは、背景削除前のFFT電力(図3A)及び背景削除後のFFT電力(図3B)を示す。図3Cは、連続する掃引に関する最も短い飛行距離(distance of flight)(又は等価的に時間)の連続する推定値と「雑音除去された」(例えば、平滑化された、異常値除去されたなど)外形とを示す。
【0110】
動く物体によって引き起こされる第1の極大値を決定するために、我々は、その第1の極大値を雑音のピークが原因である極大値と区別することができなければならない。我々は、複数の掃引にわたってスペクトログラムを平均することによってこの区別することができる能力を実現する。この実施形態において、我々は、まとめて12.5ミリ秒の継続時間にわたる5回の連続する掃引にわたってFFT電力の第1の極大値の位置特定を平均する。すべての実用的な目的のために、人間は、この継続時間にわたって動かない物と考えられる可能性があり、したがって、スペクトログラム(すなわち、経時的なスペクトル分布)は、この継続時間にわたって一貫している。平均することは、我々が雑音が原因であるピークを薄めながら動く体からの反射の電力を高めることを可能にする。これは、人間の反射が一貫しており、したがって、一貫して足し合わされる一方、雑音はランダムであり、したがって、一貫性なく足し合わされる。平均した後、我々は、ノイズフロアを実質的に超える第1の極大値を決定し、その第1の極大値を動く体(例えば、動く人間)への直接的な経路であると宣言することができる。
【0111】
実際のところ、動く物体とアンテナとの間の最も近い経路を追跡する外形とは異なり、最大の反射の点は、環境内の異なる間接的な経路、又はさらには人が異なる活動を行うときの人間の異なる部分の動きのランダム性が原因で突然シフトする可能性があるので、最も強い反射ではなく第1の反射時間を使用するこの手法は、より堅牢であることが分かる。
【0112】
最も短い飛行時間の外形を追跡するプロセスは、送信アンテナ及び受信アンテナの対のそれぞれに関して、この実施形態においては、それぞれ共通の送信アンテナと3つの別々の受信アンテナとの間の3つの対に関して実行されることに留意されたい。各受信アンテナに関する最も短い往復遅延時間の外形を取得した後、システムは、人間の動作についての通常の知識を利用して雑音の影響を和らげ、そのシステムの追跡の精度を改善する。使用される技法は、以下を含む。
・異常値の拒絶:システムは、非常に短い期間にわたって不自然な人間の動作に対応する距離の推定値の非現実的な飛びを拒絶する。例えば、図2Cにおいては、物体からの距離が、数ミリ秒の期間に5メートルを超えて繰り返し飛んでいる。距離のそのような変化は、そのような小さな時間間隔ではあり得ず、したがって、システムは、そのような異常値を拒絶する。
・補間:システムは、そのシステムの追跡の履歴を用いて、人が動くことを止めたときにその人の場所を突き止める。特に、人が部屋の中を歩き回り、それから椅子に座り、動かないままである場合、背景を差し引かれた信号は、いかなる強い反射体も示さない。そのような筋書きにおいて、我々は、人がまだ同じ位置にいると仮定し、我々がいかなる動作も観測しない期間全体を通じて最新の位置の推定値を補間し、その人が動くことを止めた後でさえも対象の位置を我々が追跡することを可能にする。
・フィルタリング:人の動作が連続しているので、各受信アンテナまでの物体の距離の変化は経時的に滑らかなままであるべきである。したがって、システムは、カルマンフィルタを用いて距離の推定値を平滑化する。
【0113】
推定値の外形の追跡及び雑音除去の後、システムは、送信アンテナから動く物体まで及び受信アンテナのうちの1つに戻るまで信号によって進まれる距離(すなわち、往復距離)のきれいな推定値を得る。1つの送信アンテナ及び3つの受信アンテナを使用するこの実施形態においては、いつでも、3つの受信アンテナに対応する3つのそのような往復距離が存在する。システムは、これらの3つの推定値を使用して、それぞれの時間の段階に関して、動く物体の3次元位置を特定する。
【0114】
システムは、アンテナの配置のそのシステム知識を利用する。この実施形態において、アンテナは、「T」形に配置され、送信アンテナは、「T」の交差点に配置され、受信アンテナは、辺に配置され、送信アンテナと受信アンテナのそれぞれとの間は1メートルの距離である。参考までに、z軸は垂直軸を指し、x軸は水平方向に沿っており、「T」形のアンテナアレイが壁に取り付けられ、y軸は室内に延伸する。3次元の場所の特定は、それぞれが送信アンテナ及び受信アンテナのうちの1つの知られている位置と往復距離とによって画定される3つの楕円体の交点を使用する。
【0115】
代替的な実施形態においては、例えば、すべてのアンテナが水平の線に沿って配置されるようにして2つの受信アンテナのみが使用される可能性があることに留意されたい。そのような実施形態においては、2次元の位置が、楕円体の交点ではなく楕円の交点を用いて決定され得る。その他の代替的な実施形態においては、4つ以上の受信アンテナ(つまり、4つ以上の送信アンテナ−受信アンテナの対)が使用される可能性がある。4つ以上の楕円体は必ずしも1点で交差しないが、さまざまな手法が、例えば、それらの楕円体のすべてに最も近い点に基づいて楕円体を組み合わせるために使用され得る。
【0116】
図4を参照すると、第2の実施形態が、複数の送信アンテナからの同時送信を用い、さらに、複数の体を追跡するために適用可能である技法を導入する。同時送信の手法は、その他の技法とは独立していることを理解されたい。例えば、複数の同時送信が、例えば、各アンテナの対に関する第1の飛行時間を追跡して上述のように動的マルチパスを軽減するために、第1の実施形態において説明されたように使用され得る。
【0117】
図4においては、左の3つのアンテナ150が、送信アンテナとして示され、右の3つのアンテナ150が、受信アンテナとして示されている。好ましい実施形態において、アンテナは、時には送信アンテナとして働き、時には受信アンテナとして働くように動作中に構成される可能性がある。したがって、N個のアンテナに関して、アンテナで最大でN(N−1)/2個の異なる対が、特定の物体に関する別々のTOF情報を決定するために使用され得る。以下でより完全に説明されるように、システムは、概して、複数のアンテナがそれぞれの間隔において無線信号を同時に放射し、概して、複数のアンテナがそれらの信号の反射を同時に受信するようにして連続する送信間隔において動作させられる。概して、送信アンテナの組は、送信間隔毎に変わり、すべての異なるアンテナの対のサンプリングを許す。一部の例においては、それぞれの間隔においてm個のアンテナが送信するために使用され、(N−m)個のアンテナが受信するために使用され、1つの時間間隔において最大でm(N−m)個の経路が評価され得る。一部の例においては、
【0118】
【数2】
【0119】
であり、間隔毎に少なくともN個の経路が評価される。一部の例においては、m=N/2であり、間隔毎に最大でN/4個の経路が評価される。
【0120】
図5Aを参照すると、間隔212の一部にわたる2つの送信アンテナからの同時送信が、示される(つまり、図5Aは、図2Aに示されたよりも短い時間軸上の継続時間を示す)。第1のアンテナ150(図4参照)が、図2Aの線210に対応する実線510Aによって示される掃引周波数で送信される。第2のアンテナは、(τと呼ばれる)遅延510を有する同じ掃引された信号を送信し、この遅延された信号は、実線510Cによって示される。受信アンテナは、第1の送信アンテナからの1つの反射された信号と、第2の送信アンテナからの1つの反射された信号との、物体からの2つの異なる反射された信号を受信する。第1の送信アンテナからの信号の反射は、図2Aを参照して上で検討されたように、TOF522Aを有する。第2の送信アンテナからの信号の反射は、遅延τと第2の送信アンテナから受信アンテナまでの実際のTOFとによって構成される522Cの見かけ上のTOFを有する。図5Aを参照すると、受信された信号が(図5Aにおいて線510Aとして示される)第1のアンテナからの送信信号によってシフトされた(つまり、変調された)周波数であるとき、第1の信号の反射のエネルギーは、第1の送信アンテナからのTOF522Aに対応する周波数524Aにあり、第2のアンテナからの反射のエネルギーは、第2の送信アンテナからのTOFと遅延τ5310との和に等しい時間522Cに対応する周波数524Cにある。環境内の直接的な反射に関する最も大きなTOFよりも大きなτを選択することによって、第2の送信アンテナからの反射されたエネルギーが、第1のアンテナの反射されたエネルギーと区別される。
【0121】
図1を参照すると、それぞれが異なる遅延(つまり、τの整数倍)を有する遅延要素440が、選択された送信アンテナのそれぞれのための異なる遅延を導入するために、FMCWジェネレータ120によって生じさせられる掃引された搬送波信号と送信のために選択された対応するアンテナとの間に導入される。
【0122】
再び図2Bを参照すると、周波数に対する(及び等価的にTOFに対する)エネルギーの分布が、図に示されるように概して集中されないことが認められるに違いない。むしろ、環境内のすべての反射する物体からの反射の重ね合わせの結果として生じるエネルギーの分布が存在する。TOFに応じたより典型的なエネルギー分布が、図4Aに示され、「TOFプロファイル」と呼ばれる。TOFプロファイルを計算する1つの方法は、周波数シフト160(すなわち、変調器)の出力を周波数掃引の帯域幅に帯域制限し、それから、帯域制限された信号を時間サンプリングし、その後に、FFTを計算することである。(複素)FFT値の2乗された大きさが、TOFプロファイルを与え、各FFTサンプルが、異なる周波数範囲に対応し、したがって、異なるTOFの範囲に対応する。
【0123】
図6Aにおいて、人の位置に対応するTOF(およそ28ナノ秒)のエネルギー610は、周囲の反射されたエネルギーの中ではっきりと区別可能でない。しかし、周囲の反射されたエネルギーの多くは、動かない物体から来る。上で検討されたように、動かない物体からの反射の影響を軽減する手法は、概して、動く物体に対応する反射されたエネルギーの時間変動を特定することである。この時間変動を特定する1つの手法は、現在時間に取得されたTOFプロファイル(例えば、FFTの複素出力)をTOFプロファイルの遅延されたバージョンと比較することである。環境内の動く人に関して、12.5ミリ秒の遅延(例えば、5回の2.5ミリ秒の掃引の遅延)が使用され得る。現在のTOFプロファイルと遅延されたTOFプロファイルとの間のこの(複素数の)差が、一連の掃引にわたって、例えば、5回の掃引(例えば、12.5ミリ秒)にわたって平均される可能性がある。図6Bを参照すると、そのような差し引きの手法の応用の例が、異なるTOFプロファイル内のエネルギーのピーク620を示す。
【0124】
上で導入されたように、アンテナのそれぞれの送信−受信の対が、1つのTOFプロファイルを生じる。TOFプロファイルの各点は、3次元の1つの楕円体又は同等に2次元の楕円(例えば、アンテナ及び物体が1つの平面内にあると仮定される場合)に対応する。したがって、TOFプロファイル全体が、TOFプロファイルの各点に応じて各楕円(又は楕円体)に沿って強さ(intensity)を設定することによって、以下で「ヒートマップ」と呼ばれる推定された位置の空間的分布にマッピングされ得る。5メートル×7メートルの部屋内に2人の人が示されるようにして生じさせられた例において、1つの送信アンテナ−受信アンテナの対を使用する差のTOFプロファイルが、図7Aに示される。この例において、すべてのアンテナは、y=0軸に沿って離間されており、したがって、ヒートマップは、楕円の焦点がTOFプロファイルを形成するために使用されるアンテナの位置にあるようにして1組の半楕円として変動を呈する可能性がある。
【0125】
図7Aに示されるように1つのアンテナの対だけを用いると、ヒートマップは、2人の人の位置のかなりの曖昧性を示すことに留意されたい。図7B〜7Eは、それぞれ、2つから5つまでのアンテナの対からのヒートマップを合計することによる組み合わされたヒートマップの形成を示す。図7Eに示されるように5つのアンテナの対を用いると、2つの体の位置が、組み合わされたヒートマップ内ではっきり分かることに留意されたい。この例は、(例えば、基本的にアンテナ及びすべての物体が同じ高さにあると仮定して)2次元ヒートマップの手法を用いる。代替的に、2次元ヒートマップに似ている3次元の点群(point cloud)(概して、用語「ヒートマップ」、「点群」、及び「ポイントマップ(point map)」は、以下で交換可能なように使用される)が、アンテナの3次元座標を考慮に入れて同じ手法を用いて計算され得る。
【0126】
実際のところ、上述のような異なるアンテナの対からのヒートマップの組合せ(すなわち、重ね合わせ)は、システムの環境内の体(すなわち、人)の位置を正確に区別するには十分でない可能性がある。1つの理由は、異なるユーザが「遠近」問題を呈する可能性がある。特に、近くの人の反射は、概して、遠く離れた人又は障害物の裏の人の反射よりもずっと強い。
【0127】
図8Aは、遠近問題の課題を示し、環境内に4人の人がいるところで取得された2次元ヒートマップを示す。ヒートマップは、我々がこれらの人のうちの2人だけの場所を突き止めることを可能にし、1人は、(0.5,2)にはっきりと見え、もう1人は、(−0.5,1.3)によく見える。たまたまアンテナアレイからずっと遠くにいるその他の2人は、初めの2人の電力によって完全に圧倒される。この遠近問題に対処するために、1つのショット(shot)内のすべての人の場所を突き止めるのではなく、システムは、連続シルエットキャンセル(SSC,Successive Silhouette Cancellation)を実行する。SSC手順は、以下の4つの主なステップからなる。
1.検出:複数の(例えば、すべての)送信アンテナ−受信アンテナの対に関する差のTOFプロファイルから導出されたヒートマップを重ねることによって最も強い反射体の位置を見つける。
2.再マッピング:それぞれの送信アンテナ−受信アンテナの対に関するその位置を生じさせた可能性があるTOF(又はTOFの範囲)に検出された位置をマッピングする。
3.キャンセル:すべての送信−受信の対のTOFプロファイルに対する人の影響をキャンセルする。
4.反復:キャンセルされたTOFプロファイルを用いてヒートマップを再計算し、それらのヒートマップを重ね、次の最も強い反射体の位置を見つけるためにステップ1に進む。
【0128】
以下で、我々は、図8A〜Dに示される4人の人がいる例を段階的に見ることによってこれらの4つのステップのそれぞれを詳細に説明する。
【0129】
第1のステップ、検出において、図8Aの2次元ヒートマップ内の最も高い電力の反射体の位置。この例において、最も高い電力は、(0.5,2)にあり、その位置に人がいることを示す。
【0130】
検出ステップで決定された人の(x,y)座標が与えられると、再マッピングステップにおいて、我々は、この位置を、それぞれの送信−受信の対に関して別々に、対応するTOFの範囲にマッピングし返す。ヒートマップは2次元で計算されるが、各人は、点反射体ではなく、むしろ、垂直(z)方向の広がりを有する。したがって、それぞれの送信−受信の対のTOFプロファイルに対する人の体全体からの反射の影響が推定される。3次元座標(x,y,z)及び(x,y,z)のアンテナの対に関して、(x,y)の物体に関する最も短いTOFは、3次元の点(x,y,(z−z)/2)からの反射による。このTOF(min)は、伝播速度cを用いて計算される。基本的に、床の高さの点がアンテナから最も遠いと仮定して、(x,y)の物体に関する最も大きなTOFは、3次元の点(x,y,0)からの反射に対応すると仮定される。このTOF(max)も、伝播速度cを用いて計算される。それぞれのアンテナの対に関する範囲[TOF(min),TOF(max)]が、再マッピングステップの結果である。その他の実施形態においては、TOFの推定された平均及び標準偏差の推定値を使用する、それぞれのアンテナの対に関するTOF上の範囲又はその他の分布に(x,y)をマッピングするその他の手法が、使用され得る。
【0131】
キャンセルステップが、それぞれのアンテナの対に関して実行される。一実施形態において、アンテナの対に関する現在のTOFプロファイルは、人の推定値(x,y)に対応するTOFの推定された範囲でゼロにされる(又はそうでなければ弱められる)。それから、組み合わされたヒートマップが、キャンセルの後のTOFプロファイルから決定されたヒートマップを合計することによって計算される。図7Bは、位置(0.5,2.0)にいると推定された第1の人に対して手順を実行した後の結果を示す。
【0132】
第2のサイクルで、図8Bのヒートマップを用いるステップ1において、第2の人が位置(−0.5,1.3)にいると特定され、ステップが繰り返され、図8Cのヒートマップを生じる。第3の人はこのヒートマップ内で位置(0.8,2.7)にいると特定され、ステップが繰り返され、図8Dのヒートマップを生じ、図8Dのヒートマップ内で、第4の人は(1.0,4.0)にいると特定される。
【0133】
一部の例においては、さらなる焦点を合わせ直すステップが、図8A〜Dに示された上述の反復で発見された人の位置の推定値を改善するために実行される。物体(例えば、人)が検出された各位置に関して、それぞれの元の(つまり、SSC手順のいかなるキャンセルよりも前の)TOFプロファイルが、物体の推定された位置に対応するその元のTOFプロファイルの[TOFmin,TOFmax]の範囲の外でゼロにされ(又はそうでなければ弱められ)、これらのヒートマップが、各人に関する組み合わされたヒートマップを形成するために組み合わされる。図8A〜Dにおいて位置特定された4人の人に関するこれらの焦点を合わせ直されたヒートマップが、図9A〜Dに示される。
【0134】
一部の例においては、推定された(x,y)位置の時間シーケンス、又は位置の組が、さらに処理される可能性がある。例えば、軌跡の平滑化及び/又は個人への位置の割り振りが、例えば、カルマンフィルタリング又はその他のモデルに基づく若しくは発見的な技法を用いて実行される可能性がある。
【0135】
一部の例において、システムは、人の手がその人の体全体よりもずっと小さな反射面を有するという事実を利用することによって手の動作を(歩行のような)体全体の動作と区別することができる。上述のキャンセル及び焦点を合わせる手法を用いて、システムは、ジェスチャが複数のユーザによって同時に実行されるときでさえもそれらの動作を追跡することができる。特に、焦点を合わせるステップを利用することによって、システムは、各人の個々に焦点を合わせ、その人のジェスチャを追跡する。例えば、異なるユーザが異なる方向を同時に指さす可能性がある指を指すジェスチャが検出され得る。その後、それぞれの動く手の軌跡を追跡することによって、システムは、ユーザのそれぞれが指を指している方向を決定する。ユーザが、3次元でこれらの指さしジェスチャを実行し、システムが、異なる送信アンテナ−受信アンテナの対からのTOFを用いて焦点を合わせ直すステップにおいて2次元ヒートマップではなく3次元の点群を構築することによって手の動作を追跡することに留意されたい。
【0136】
上述の手法は、動く体の位置を検出及び推定するのに効果的である。一部の実施形態においては、第2の手法が、(例えば、椅子に座っているか又はベッドに寝ている)比較的動かない人をそれらの人の周期的な呼吸動作に基づいて検出するために代わりに又は追加で使用される。上述の手法においては、それぞれのアンテナの対に関する異なるTOFプロファイルが、比較的短い時間間隔にわたって、例えば、12.5ミリ秒にわたって差を取ることによって決定される。呼吸は、ずっと遅いレートで、例えば、数秒の呼吸時間で行われる。概して、環境内の呼吸する人の検出の手法は、呼吸に合った特徴的な周波数を有する経時的なTOFプロファイルの変調を検出することに基づく。例えば、変調を検出するのに十分な時間の尺度にわたる一連のTOFプロファイルの分析によって、異なるTOFに関するそのような変調を検出するためにさまざまな手法が使用され得る。これを行うための1つの方法は、上述の手法を適用することであるが、短い時間差(例えば、12.5ミリ秒)で異なるTOFプロファイルを計算するのではなく、より長い時間差(例えば、1秒を超えて、例えば、2.5秒)が、使用される。
【0137】
上述のSSC手順は、すべてのその他のユーザからの干渉を除去しながら各人に焦点を合わせることを可能にする。アルゴリズムは、環境内にその他の人がいるときに各人の呼吸を監視するのに非常に効果的であることが分かる。SSCの焦点を合わせるステップは、(図9A〜Dに示されたように)我々がシーン内のすべてのその他の人からの干渉を除去しながら各人に焦点を合わせることを可能にすることを思い出されたい。したがって、SSCの焦点を合わせるステップは、我々が各人に個々に焦点を合わせ、各人の焦点を合わせられたヒートマップの最大電力を時間に応じて監視することを可能にする。各人のヒートマップからの最大電力は、周期的に上下する。これは、呼吸が息を吸うことと息を吐くこととを交互に繰り返す律動的な動作であるからである。最大電力は、人の胸が最初の差し引きのフレーム内の胸の位置に戻るときに最も低くなり、人の胸がその最初の位置から最も遠い位置にあるときに最も高くなる。我々は、1人の人のピークトゥピーク信号(peak-to-peak signal)が別の人のピークトゥピーク信号よりも複数桁大きい可能性があることを観測した。それにもかかわらず、SSC手順は、より弱い反射を検出し、環境内のその他の人からの干渉を除去し、各人に個々に焦点を合わせること及び人の呼吸を監視することを許容する際の手順の有用性を示す図9A〜Dに示されたヒートマップのシーケンスを生成する。この手法は、ユーザが呼吸を止める(例えば、息を止めるか、又は睡眠時無呼吸の結果としての)期間の検出を許容する。
【0138】
上記の及び以下の「システム」への言及は、上述の技法のうちの1又は2以上を組み込むシステムの1又は2以上の実施形態に向けられていることを理解した上で、上述の手法のうちの1又は2以上を使用するシステムの極めて多くのその他の潜在的な応用がある。例えば、すべてのシステムが、位相に基づく処理のために、短い時間の尺度の差を付けること、より長い時間の尺度の差を付けること、SCC、焦点を合わせ直すことのそれぞれを利用するわけではない。また、文脈から明らかであるように、一部の応用においては、システムが、大きな環境を監視するためにそれぞれが独自のアンテナアレイを備えた複数のユニットを有する可能性がある。
【0139】
1つの潜在的な応用は、エネルギーの節約及びビルディングオートメーションに関する。システムは、部屋又は家の中の人の数及びそれらの人の位置を特定することができる。したがって、システムは、人の数に基づいて室内の温度を先を見越して調節し、空いた部屋のための照明/HVACをオフにするビルディングオートメーションシステムの要素として利用され得る。これは、エネルギーを節約するのに役立ち、人が建物をどのように歩き回るかについての理解を高めることができる。また、システムは、人が入ってくるとき及び人が出て行くときを知り、照明/HVAC/温度システムを断定的にオンにするか、オフにするか、又は調節する可能性がある。
【0140】
従業員及び訪問者が企業の環境をどのように使用するか、つまり、従業員及び訪問者がどこでほとんどの時間を過ごすか、チーム/グループがどのようにしてアイデアを形成し、生じさせるか、どの空間が未使用か、並びにどの空間が過剰に使用されているかなどを理解することにも、大きな関心が寄せられている。システム(又は企業の環境に分散された複数のシステム)は、従業員及び訪問者が空間を歩き回るときに従業員及び訪問者の動きを追跡することによって深い洞察を与えることができる。したがって、システムは、使用されない空間を減らすか又は再編成するために使用され得る。代替的に、システムは、概して人が会合し、アイデアを考えつく空間を再編成するために使用され得る。
【0141】
ホームオートメーションの場面では、システムは、ジェスチャに基づくインターフェースのために使用される可能性があり、それによって、人は、ジェスチャを実行することによって異なる家庭用電化製品を自動化する。システムは、ジェスチャを追跡し、そのジェスチャをコマンドとして解釈することができ、これは、人がTVをオン及びオフにすること、空中で文字又は単語を書くこと、その他の家庭用電化製品をオフにすることなど、電化製品を制御することを可能にする。加えて、システムは、人の毎日の行為を知り、タスクを自動化することができる。例えば、システムは、人が起きるときを知り(又はその人がベッドから出るときを検出し)、直ちにシャワーをオンにし、それから、その人がシャワーから出るときにコーヒーメーカーをオンにすることができる。システムは、人がいるときを知ることができ、したがって、その人がその人の家に入るときを決定することができる。したがって、システムは、(異なる日にまたがってこれらのパターンを追跡することによって)人が通常家に戻る時間を知り、以前のパターンに基づいて暖房/HVAC/照明を自動的に調節することができる。
【0142】
小売の場面では、顧客の追跡が、購買行動の理解を向上させるために使用され得る。システムは、小売店内の買い物客を非常に高い精度で追跡して、それらの買い物客の行動に対する深い洞察を与えることができる。システムは、買い物客がスマートフォンを持つことを必要とせずにそれらの買い物客の体からの無線反射に依拠することによってそれらの買い物客の場所を突き止める。システムは、店に入る/店を出る人の数、それらの人がたどる経路、それらの人が止まる位置、及びそれらの人が支払いのための列に並んで待つ時間などの幅広い店内の分析論を生じさせる。また、システムは、手の動きを追跡し、ユーザが品物を持ち上げるか又は品物を棚に戻すときを特定する。これらの洞察は、店に顧客の行動への深い理解を与え、例えば、店は、店の販売促進キャンペーンへの顧客の反応を分析し、これらのキャンペーンをリアルタイムで適合させることができる。さらに、顧客の軌跡を理解することによって、店は、製品をより近づきやすくし、それらの店のスタッフをより効率的に配し、したがって、顧客満足及びひいては維持を向上させることができる。概して、これらの分析論は、店が販売を増やし、顧客経験価値及び顧客ロイヤルティを高め、店内のマーケティングを最適化する機会を特定することを可能にする。
【0143】
システムがリテールアナリティクス(Retail Analytics)のために生成することができる洞察の少なくとも2人の潜在的なユーザが存在する。第1は、小売マーチャンダイジングの指揮者であり、それらの指揮者は、製品の最も利益を生む製品構成、値付け、及びディスプレイなどの店内プロモーション、販売サポート、割引などを決定するためにますますデータに依拠する。実店舗型の小売はEコマースから仕掛けられる競争に直面して悪戦苦闘しているが、主導的な小売業者は、顧客の行動のより深い理解を出血を止めるための方法と見ており、したがって、支出は、リテールアナリティクスにシフトしており、今後10年にわたってそうし続けると予測されている。
【0144】
リテールアナリティクスの顧客の第2の組は、消費財供給業者(主としてCPG会社)である。今日、CPG会社内の市場調査の指揮者は、販売時点データ及びACNielsen社などの調査会社によってまとめられた顧客パネル調査からの洞察を含む市場調査に1年当たりおよそ56億ドルを費やす。ロケーションアナリティクス(Location Analytics)の洞察は、CPGのブランドマネージャ(市場調査の消費者)が小売業者における販売促進費用でより効率的になることを助けることができる。
【0145】
医療では、システムは、患者が病院内を動き回るときにそれらの患者を追跡することができる。例えば、患者はそれらの患者の部屋及びトイレで転倒し、それらの患者が転倒するときを検出することが重要である。患者がそれらの患者の部屋を出るときを検出し、それらの患者が病院内を動き回るときにそれらの患者を追跡することも、重要である可能性がある。これは、精神科又は精神病院においてより一層重要になる。さらに、システムは、広く人を監視することができるので、訪問者の待ち時間に情報を提供することもできる。加えて、システムは、看護師又は別の介護者が部屋に入り、それらの看護師又は介護者の義務を果たした(例えば、患者のバイタルを調べた/変えた)かどうかを追跡することができる。
【0146】
高齢者住宅及び介護付き住宅施設は、それらの住民に自由にしてもらい、ビクビクするのではなく生活を楽しむことに焦点を合わせられた雰囲気を作り出そうと努力しており、したがって、いかなる監視技術を採用することにも慎重である傾向がある。これは、介護の必要性がより大きい養護老人ホーム又は認知症の患者専用の介護付き住宅施設を含む。システムは、高齢者住宅施設内で人(主に高齢者)を追跡するために使用され得る。システムは、転倒を検出し、人が何回トイレを使ったか又はそれらの人の部屋若しくはベッドを出たか、それらの人が窓のそばに行き、十分な日光を浴びたかどうかを追跡するために使用され得る。システムは、訪問者が施設に入るときのそれらの訪問者(例えば、それらの訪問者の数及び行為)と、住民を介護する(又は介護しない)ときの介護者を追跡することもできる。
【0147】
システムは、家又は企業のセキュリティのために使用される可能性もある。特に、システムは、人の動作を追跡することができるので、侵入者が建物に入ったかどうか、又はその侵入者が家の外を歩き回っているかどうかさえも知ることができる。例えば、システムは、自動的に警報をオフにするか、又はセキュリティシステムがオンのときに誰かが建物に入るときに警告を送る可能性がある。さらに、家又は企業の中に住民がおり、システムが施設の外を歩き回る人を感知した場合でさえも、システムは、それらの存在を検出し、それらの動きを追跡し、及び/又はそれらの存在について警告することができる。
【0148】
説明される手法が上で概略を示されたさまざまな応用に適用され得ることを理解した上で、2つの応用に関するさらなる詳細が例として以下で与えられる。これらの2つの応用は、転倒の検出及び指さしジェスチャの検出である。
【0149】
転倒の検出に関して、目的は、地面に座ること、椅子に座ること、及び歩行することなどのその他の活動と転倒を自動的に区別することである。そのようにするために、我々は、z次元に沿ったシステムの高度追跡を足がかりにする。概して、単に人の高度を調べることは、床に座ることと転倒を区別するのに十分でないことに留意されたい。転倒を検出するために、システムは、2つの条件が満たされることを必要とし、第1は、z軸に沿った人の高度が大きく(その値の3分の1を超えるだけ)変わらなければならず、人の高度の最終的な値が、地面の高さに近くなければならない。第2の条件は、人が座るよりも速く転倒することを反映するために高度の変化が非常に短い期間内に起こらなければならないことである。
【0150】
図10は、4つの活動、すなわち、人が歩行すること、椅子に座ること、地面に座ること、及び(シミュレーションされた)地面に転倒することに関する垂直の(z)次元に沿った高度のシステムの推定値を示す。図は、歩行すること及び椅子に座ることが、最終的な高度がz=0から遠いので高度に基づいて転ぶこと及び床に座ることから特定され得ることを確認する。しかし、地面への転倒を地面に座ることから区別するためには、人が床に自発的に座るときよりも速く人が転倒中にその人の高度を変化させることを利用しなければならない。
【0151】
指さしジェスチャを利用するアプリケーションにおいて、システムは、指さしの角度を推定することができ、それから、指さしジェスチャが、電気デバイス又は電子デバイスなどのデバイスを制御するために使用され得る。概して、システムは、最初に、体の部分の動作のおおざっぱな推定を行い、それから、おおざっぱな推定値をさらに処理して指さしの角度を決定する。我々は、次の動作、つまり、ユーザがそのユーザの体の横にそのユーザの腕が置かれている状態から動き出すことを考える。ユーザは、デバイス又は電化製品の方を指さすことを意図してそのユーザの選択した方向に腕を上げ、次にその腕を第1の位置に下ろす。ユーザは、動き回り、ランダムな時間に指さしジェスチャを実行する可能性がある。しかし、我々は、ユーザが指さしジェスチャを実行するときに立っている(つまり、歩いていない)ことを必要とする。目的は、指さしの方向を検出することである。
【0152】
そのような指さしジェスチャを追跡するために、システムは、体全体の動きと腕の動作とを区別する。この目的を達成するために、我々は、腕の反射面が人間の体全体の反射面よりもずっと小さいという事実を利用する。我々は、アンテナのそれぞれにおいて受信された信号のスペクトログラムから反射面のサイズを推定する。図11は、体全体の動作が存在するときの1つのアンテナの対に関するスペクトログラム(時間に対するスペクトルのプロファイル)と指を指す腕のスペクトログラムとの間の差を示す。図11において、人は、動いていて、それから停止し、指さしジェスチャを実行した。18秒及び21秒辺りの2つの明るい部分は、それぞれ、腕が持ち上げられたこと及び腕が下ろされたことを表す。図は、垂直軸に沿った信号の変化が、反射体が腕の動作だけであるときよりも反射体が人間の体全体であるときに著しく大きいことを示す。反射体が大きい場合、その反射体の部分が互いにわずかに異なる位置を有し、したがって、任意の時点で、y軸に沿ったその反射体の反射の変化は、腕の動きの反射の変化よりも大きい。システムは、この空間的な変化を用いて体全体の動作から体の一部の動作を検出する。
【0153】
我々がそれが体の一部であることを検出すると、システムは、指さしの方向を特定するために動作の方向を推定し、これは、以下のステップを含む。
・セグメント分け:セグメント分けの目的は、指さしジェスチャの開始及び終了を判定することである。図11は、システムが各受信アンテナから得られた往復距離のスペクトログラムをどのようにしてセグメント分けするかを示す。我々の指さしの実験において、我々は、ユーザに指さしジェスチャを実行する前に1秒間動かずにいるように求める。したがって、我々は、常に指さしジェスチャの開始前に動作のない期間があるので指さしジェスチャの開始を検出することができる。同様に、人が指さしの方向にその人の腕を上げた後、我々は、その人にその人の腕をその開始位置に再び置く前に1秒間待つように求める。システムが2.5ms毎に周波数掃引を実行するので、我々は、ジェスチャの始まり及び終わりの沈黙を容易に区別することができる。
・雑音除去:体全体の動作の場合のように、セグメント分けされたスペクトログラムの外形が、各受信アンテナに関して、腕の動作の往復距離のきれいな推定値を時間に応じて得るために雑音除去され、補間される。
・指さしの方向の決定:我々は、動く手の位置の推定値に対する堅牢な回帰(regression)を実行し、アンテナのすべてからの回帰の開始点及び終了点を用いて手の最初の位置及び最後の位置を求める。システムは、手の最初の状態から最後の延伸された状態への方向として指さしの方向を推定する。ユーザが指さしの後に手を下ろすので、システムは、この下ろす動作に関して上記のステップを繰り返し、指さしの方向の第2の推定値を得る。そして、システムは、指さしの方向を2つの間の中間の方向として推定する。腕を上げる動作と腕を下ろす動作との間の近似的ミラーリング効果(approximate mirroring effect)を利用することができることは、指さしの角度の推定に高い堅牢性を付け加える。
【0154】
指さしの方向を推定するシステムの例は、ユーザが単に家庭用電化製品を指さすことによってそれらの家庭用電化製品を制御することを可能にすることである可能性がある。機器を搭載したデバイス及びそれらのデバイス位置のリストが与えられると、システムは、ユーザの手の動作を追跡し、そのユーザが指さす方向を決定し、デバイスにそのデバイスのモードを変更する(例えば、照明をオン若しくはオフにするか、又は我々のブラインドを制御する)ように命令することができる。
【0155】
上述のシステムは、さまざまな構成で具現化され得る。例えば、アンテナアレイは、直線アレイ、(例えば、「H」形の「T」又は逆「T」形の水平アレイ及び垂直アレイを有する)複数の直線アレイを形成する可能性がある。その他の例においては、複数の直線アレイが、環境のあちこちに配置される可能性がある。図12は、床の高さより上の平面に(例えば、壁に)据え付けられる1組の直線状の支持物1520に沿ってアンテナ1510が配置される「H」形のアンテナアレイ1500を示す。一部の例において、アンテナは、指向性であり、例えば、それらのアンテナの感度が監視されている部屋又は領域内に向けられるように据え付けられる。一部の例においては、システムがシステムの設置者によって構成されるときにアンテナの相対的な位置及び環境内のアンテナアレイの位置が、システムに知られる。一部の例において、システムは、直接的なアンテナ間のTOFを監視してアンテナの相対的な位置を推測し、環境内のアレイの位置を推測する際に静的な反射を監視する可能性がある。一部の例において、システムは、電子的な経路(例えば、配線、増幅器など)における遅延が、反射する体の位置を推定するために使用される無線伝播時間をもたらすように測定された遅延から差し引かれ得るようにそのような遅延をやはり推定するために伝播時間を監視する。
【0156】
異なる送信アンテナからの反射が受信アンテナにおいて区別され得るように、送信される信号を時間/周波数的にシフトすることがただ1つのあり得る手法であることを理解されたい。例えば、異なる符号(例えば、直交する擬似ランダムシーケンス)の乗算が、送信機において使用される可能性があり、そして、これらの符号が、受信機において信号を分けるために使用される可能性がある。
【0157】
上述の手法は、概して、図1に示された信号分析モジュール170及び図4のモジュール470の一部として実装される。信号分析モジュールの動作は、コントローラ110又は410によって制御され、コントローラ110又は410は、信号分析モジュール170又は470の動作を調整することに加えて、送信アンテナ及び受信アンテナの選択、FMCWジェネレータ120による掃引されたキャリア信号の生成を調整する。一部の実施形態において、信号分析モジュール及び/又はコントローラは、例えば、システムの非一時的媒体(例えば、半導体メモリ)に記憶された命令を実行する1又は2以上のプログラミング可能なプロセッサを含め、ソフトウェアで実装される。周波数シフトモジュール160の実施形態は、例えば、アナログ変調ユニットを用いてハードウェアにあることも、(記憶されたソフトウェア命令によってやはり制御される)ソフトウェアで定義された無線の構成要素を用いて実装されることもある。一部の実施形態において、分析は、処理の一部が特定のアンテナアレイに関連する電子機器の1又は2以上のプロセッサ上で実行されるようにして分散される可能性があり、一方、例えば、複数のアレイからの情報を融合させるその他の処理は、例えば、別個の(例えば、中央サーバ)コンピュータにおいて実行される可能性がある。
【0158】
上述の説明は、添付の請求項の範囲によって定義される本発明の範囲を例示するように意図されており、限定するように意図されていないことを理解されたい。その他の実施形態は、以下の請求項の範囲内にある。
図1
図2A
図2B
図3A
図3B
図3C
図4
図5A
図5B
図6A
図6B
図7A
図7B
図7C
図7D
図7E
図8A
図8B
図8C
図8D
図9A
図9B
図9C
図9D
図10
図11
図12