特開2020-203075(P2020-203075A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリジン ワイヤレス, インコーポレイテッドの特許一覧

特開2020-203075無線追跡、スキャニング、及び監視のための方法、装置及びシステム
この文献は図面が300枚以上あるため,図面を表示できません.
<>
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-203075(P2020-203075A)
(43)【公開日】2020年12月24日
(54)【発明の名称】無線追跡、スキャニング、及び監視のための方法、装置及びシステム
(51)【国際特許分類】
   A61B 5/11 20060101AFI20201127BHJP
【FI】
   A61B5/11 110
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
【全頁数】275
(21)【出願番号】特願2020-84122(P2020-84122)
(22)【出願日】2020年5月12日
(31)【優先権主張番号】62/846,686
(32)【優先日】2019年5月12日
(33)【優先権主張国】US
(31)【優先権主張番号】62/980,206
(32)【優先日】2020年2月22日
(33)【優先権主張国】US
(31)【優先権主張番号】62/849,853
(32)【優先日】2019年5月18日
(33)【優先権主張国】US
(31)【優先権主張番号】62/846,688
(32)【優先日】2019年5月12日
(33)【優先権主張国】US
(31)【優先権主張番号】62/868,782
(32)【優先日】2019年6月28日
(33)【優先権主張国】US
(31)【優先権主張番号】16/798,337
(32)【優先日】2020年2月22日
(33)【優先権主張国】US
(31)【優先権主張番号】16/798,343
(32)【優先日】2020年2月22日
(33)【優先権主張国】US
(31)【優先権主張番号】16/870,996
(32)【優先日】2020年5月10日
(33)【優先権主張国】US
(31)【優先権主張番号】16/871,000
(32)【優先日】2020年5月10日
(33)【優先権主張国】US
(31)【優先権主張番号】16/871,004
(32)【優先日】2020年5月10日
(33)【優先権主張国】US
(31)【優先権主張番号】16/871,006
(32)【優先日】2020年5月10日
(33)【優先権主張国】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
2.BLUETOOTH
3.ANDROID
4.JAVA
(71)【出願人】
【識別番号】517016392
【氏名又は名称】オリジン ワイヤレス, インコーポレイテッド
【氏名又は名称原語表記】ORIGIN WIRELESS, INC.
(74)【代理人】
【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100115071
【弁理士】
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100112508
【弁理士】
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100116894
【弁理士】
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100130409
【弁理士】
【氏名又は名称】下山 治
(74)【代理人】
【識別番号】100134175
【弁理士】
【氏名又は名称】永川 行光
(74)【代理人】
【識別番号】100172591
【弁理士】
【氏名又は名称】江嶋 清仁
(72)【発明者】
【氏名】ウー, チェンシュー
(72)【発明者】
【氏名】チャン, フェン
(72)【発明者】
【氏名】ワン, ベイベイ
(72)【発明者】
【氏名】ファン, ユセン
(72)【発明者】
【氏名】リウ, ケー. ジェイ. レイ
(72)【発明者】
【氏名】オウ, オスカー チ−リム
(72)【発明者】
【氏名】ワン, フェンギュ
(72)【発明者】
【氏名】レガニ, サイ ディーピカ
(72)【発明者】
【氏名】バゴス, ダン
(72)【発明者】
【氏名】シー, チュン−チア ジャック
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB01
4C038VB35
(57)【要約】      (修正有)
【課題】グラフベースの粒子フィルタリングを備える無線追跡のための方法、装置及びシステムを提供する。
【解決手段】無線監視システムは、一連のプローブ信号を送信する送信機と、受信機と、プロセッサとを含む。前記受信機は、無線マルチパスチャネルと場所で動くオブジェクトとにより変調される前記一連のプローブ信号を受信し、前記一連のプローブ信号から前記無線マルチパスチャネルの時系列のチャネル情報(TSCI)を取得するように構成される。前記プロセッサは、前記TSCIに基づいて地図に対して前記オブジェクトの動きを監視し、前記TSCIに基づいて増加する時間期間における前記オブシェクトが進む増加する距離を決定し、現在時刻での前記オブシェクトの現在位置及び前記増加する時間期間における前記動きの方向とのうちの少なくとも1つに基づいて次の時刻における前記オブジェクトの次の位置を算出するように構成される。
【選択図】なし
【特許請求の範囲】
【請求項1】
無線監視システムであって、
無線マルチパスチャネルを介して場所において一連のプローブ信号を送信するように構成された送信機と、
受信機であって、
前記送信機と前記受信機との間の前記無線マルチパスチャネルを介して、前記無線マルチパスチャネルと前記場所で動くオブジェクトとにより変調された前記一連のプローブ信号を受信し、
前記無線マルチパスチャネルと前記オブジェクトとにより変調された前記一連のプローブ信号から前記無線マルチパスチャネルの時系列のチャネル情報(TSCI)を取得するように構成された受信機と、
プロセッサであって、
前記TSCIに基づいて地図に対する前記オブジェクトの動きを監視し、
前記TSCIに基づいて増分期間内に前記オブジェクトが進んだ増分距離を判定し、
現在時刻での前記オブジェクトの現在位置、前記増分距離、及び前記増分期間の間の前記動きの方向、のうちの少なくとも1つに基づいて、前記地図において次の時刻における前記オブジェクトの次の位置を計算するように構成されたプロセッサと、
を含む無線監視システム。
【請求項2】
前記次の時刻における前記オブジェクトの前記次の位置を計算することは、
初期時刻における前記オブジェクトの初期候補位置の初期値を初期化し、
前記現在時刻における前記オブジェクトの第2の候補位置の第2の動的数に基づいて、前記次の時刻における前記オブジェクトの第1の候補位置の第1の動的数を反復的に計算し、
前記次の時刻における第1の候補位置の前記第1の動的数及び前記現在時刻における第2の候補位置の前記第2の動的数のうちの少なくとも1つに基づいて、前記次の時刻における前記オブジェクトの前記次の位置を計算すること、を含む
請求項1に記載の無線監視システム。
【請求項3】
前記オブジェクトは前記増分期間の間、前記地図に表示されている領域を動き、
前記地図は多次元行列Aとして表される多次元地図であり、前記領域の各位置の到達可能性は、論理値が0と1との間である対応する配列要素aにより表され、
前記対応する配列要素がa=0を満たすとき前記領域の位置は到達不可能かつ禁止されており、
前記対応する配列要素がa=1を満たすとき前記領域の位置は完全に到達可能であり、
前記対応する配列要素が0<a<1を満たすとき前記領域の位置は部分的に到達可能であり、
前記次の位置、前記現在位置、第1の候補位置の前記第1の動的数、及び第2の候補位置の前記第2の動的数のそれぞれは、前記領域におけるある地点であり、a>0を持つ対応する配列要素aとして表され、
任意の位置における前記オブジェクトの前記動きの前記方向が複数の許容される方向の1つとして局所的に表示される、
請求項2に記載の無線監視システム。
【請求項4】
前記次の時刻における前記オブジェクトの前記次の位置を計算することは、
第1の候補位置にそれぞれ関連する前記第1の動的数の重みを計算することであって、それぞれの重みは、前記現在位置、前記第1の候補位置、前記第1の候補位置に関連する対応する第2の候補位置、前記動きの前記方向、及び前記第1の候補位置と前記方向における第1の到達不可能配列要素aとの間の距離、のうちの少なくとも1つの関数である、計算することと、
第1の候補位置の前記第1の動的数及び前記関連する第1の動的数の重みに基づいて前記オブジェクトの前記次の位置を計算すること、
を含む請求項3に記載の無線監視システム。
【請求項5】
それぞれの重みは、前記第1の候補位置と前記方向における前記第1の到達不可能配列要素aとの間の前記距離の単調非減少関数であり、
それぞれの重みは、前記第1の候補位置と前記方向における前記第1の到達不可能配列要素aとの間の前記距離の有界函数である、
請求項4に記載の無線監視システム。
【請求項6】
前記次の時刻における前記オブジェクトの前記次の位置は、
第1の候補位置の前記第1の動的数の重み付け平均、及び前記第1の候補位置の一つ、のうちの少なくとも一つとして計算される、
請求項4又は5に記載の無線監視システム。
【請求項7】
前記次の時刻における前記オブジェクトの前記次の位置を計算することは、正規化された重みを生成するために前記重みを正規化することをさらに含む、
請求項4乃至6のいずれか1項に記載の無線監視システム。
【請求項8】
前記次の時刻における前記オブジェクトの前記次の位置を計算することは、
前記正規化された重みに基づいて第1の候補位置の前記第1の動的数の残りに関してそれぞれの第1の候補位置の重み付けコストを計算することであって、前記重み付けコストは、前記第1の候補位置と前記第1の候補位置の残りのそれぞれとの間のペアワイズ距離の重み付け総和である、計算することと、
最小の重み付けコストを持つ前記第1の候補位置を前記オブジェクトの前記次の位置として選択すること、をさらに含む請求項7に記載の無線監視システム。
【請求項9】
前記次の時刻での前記オブジェクトの前記次の位置を計算することは、
前記第2の候補位置、前記増分距離、及び前記増分期間のうちの少なくとも1つに基づいて前記オブジェクトの前記第2の候補位置のそれぞれについての予想値を計算し、
前記第2の候補位置の前記予想値が、関連する配列要素がa=1を有する完全に到達可能であるときは、前記第2の候補位置の前記予想値に基づいて前記オブジェクトの第1の候補位置を作成し、
前記第2の候補位置の前記予想値が、関連する配列要素がa=0を有する禁止であるときは、第1の候補位置を作成せずに前記第2の候補位置に「拒絶された」とラベル付けし、
前記第2の候補位置の前記予想値が、関連する配列要素が0<a<1を満たす部分的に到達可能であるときは、0と1との間の乱数値を生成し、前記乱数値がaより小さいときは前記第2の候補位置の前記予想値に基づいて前記オブジェクトの第1の候補位置を作成することを含む、
請求項8に記載の無線監視システム。
【請求項10】
前記次の時刻における前記オブジェクトの前記次の位置を計算することは、
前記第1の候補位置の値が閾値よりも小さいときは、拒絶されない第2の候補位置の前記予想値を確率分布で確率的に取ることにより前記オブジェクトの新しい第1の候補位置を生成することをさらに含み、前記確率分布は、
前記予想値に関連する重み、
前記第2の候補位置に関連する重み、
前記予想値に関連する前記多次元行列Aの配列要素、及び
前記第2の候補位置に関連する前記多次元行列Aの配列要素、のうちの少なくとも1つに基づく、
請求項8又は9に記載の無線監視システム。
【請求項11】
前記次の時刻の前記オブジェクトの前記次の位置を計算することは、
前記第1の候補位置の値が閾値より小さいときは、拒絶されない前記第2の候補位置の前記予想値に関連する重みに基づく確率で、拒絶されない前記第2の候補位置を確率的にとることにより前記オブジェクトの新しい第1の候補位置を生成することをさらに含む、
請求項8乃至10のいずれか1項に記載の無線監視システム。
【請求項12】
前記次の時刻における前記オブジェクトの前記次の位置を計算することは、
前記第1の候補位置の値が閾値より小さいときは、前記第1の候補位置に基づいて仮の次の位置を計算し、確率分布に基づいて前記仮の次の位置の近傍における前記オブジェクトの新しい候補位置を確率的に生成することをさらに含む、請求項8乃至11のいずれか1項に記載の無線監視システム。
【請求項13】
前記次の時刻における前記オブジェクトの前記次の位置を計算することは、
前記第1の候補位置の値が閾値より小さいときは、確率分布に基づいて前記現在位置の近傍においてサンプルされた位置の予測因子に基づいて、前記オブジェクトの新しい第1の候補位置を確率的に生成することをさらに含む、
請求項8乃至12のいずれか1項に記載の無線監視システム。
【請求項14】
前記近傍は拒絶されない前記第2の候補位置の少なくとも1つを含む、
請求項13に記載の無線監視システム。
【請求項15】
前記確率分布は,拒絶されない前記第2の候補位置の1つをそれぞれ中心とした確率密度関数のセットの加重和であり、
前記加重和における第2の候補位置に関連する各pdfの重みは、前記第2の候補位置に関連する前記配列要素の関数である、
請求項13又は14に記載の無線監視システム。
【請求項16】
候補位置の動的数をいつも維持することと、
候補位置の前記動的数を変更することであって、
少なくとも1つの候補位置を初期化すること、
少なくとも1つの候補位置を更新すること、
少なくとも1つの候補位置を加えること、
少なくとも1つの候補位置を休止すること、
少なくとも1つの候補位置を停止すること、
少なくとも1つの候補位置を再開すること、
少なくとも1つの停止された候補位置を再初期化すること、及び
少なくとも1つの候補位置を取り去ること、のうちの少なくとも1つにより、
変更することと、
前記次の時刻における前記オブジェクトの前記次の位置を、前記次の時刻における候補位置の前記動的数、及び別の時刻における候補位置の前記動的数の少なくとも1つに基づいて計算すること、をさらに含む請求項1に記載の無線監視システム。
【請求項17】
候補位置の前記動的数が閾値よりも低いときは少なくとも1つの候補位置を追加することをさらに含み、
候補位置の前記動的数は、上限及び下限のうちの少なくとも1つにより制限されている、請求項16に記載の無線監視システム。
【請求項18】
前記増分期間は、前記一連のプローブ信号の2つのそれぞれのプローブ信号の間の時間差、前記一連のプローブ信号のキャリア周波数に関連する距離を前記オブジェクトが進む時間、及び前記送信機の2つのアンテナと前記受信機の2つのアンテナとのうちの少なくとも1つの間の距離と同等の距離を前記オブジェクトが進む時間、のうちの少なくとも1つに等しく、
前記増分期間の間の前記動きの前記方向は、前記現在時刻での前記動きの方向、前記次の時刻での前記動きの方向、及び方向の変更、回転、及び、前記TSCI、前記TSCIに関連する特性関数、前記特性関数の特徴点、前記TSCIの自己相関関数(ACF)、前記ACFの極値及び前記ACFの極大値のいずれか1つに基づいて計算される方向変化角度、のうちの少なくとも1つ、及び別の時刻の別の動きの方向、のうちの少なくとも1つの関数である、
請求項1乃至17のいずれか1項に記載の無線監視システム。
【請求項19】
前記地図における前記次の時刻での前記オブジェクトの次の位置は粒子フィルタを使用して計算される、請求項1乃至18のいずれか1項に記載の無線監視システム。
【請求項20】
無線監視システムであって、
無線マルチパスチャネルを介して場所において一連のプローブ信号を送信するように構成された送信機と、
複数の異種受信機であって、それぞれが、
前記無線マルチパスチャネルを介して、前記無線マルチパスチャネル及び前記場所で動く複数のオブジェクトにより変調された、前記一連のプローブ信号を受信し、
前記無線マルチパスチャネル及び前記複数のオブジェクトにより変調された前記一連のプローブ信号から前記無線マルチパスチャネルの時系列のチャネル情報(TSCI)を取得するように構成された、複数の異種受信機と、
プロセッサであって、
前記複数の異種受信機により取得された前記TSCIに基づいて地図に対する前記複数のオブジェクトの動きを監視し、
それぞれのTSCIに基づいて、それぞれの増分期間における各オブジェクトが進むそれぞれの増分距離を決定し、
前記地図におけるそれぞれの次の時刻での前記オブジェクトのそれぞれの次の位置を、それぞれの現在時刻での前記オブジェクトのそれぞれの現在位置、前記それぞれの増分距離、及び前記それぞれの増分期間の間の前記オブジェクトのそれぞれの動きのそれぞれの方向、のうちの少なくとも1つに基づいて計算するように構成されたプロセッサと、を含む無線監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照。次のケースのそれぞれについて開示と優先権主張の全てを参照により本出願に組み入れる。
(a)「無線慣性測定のための方法、装置及びシステム」と題された2019年5月12日出願の米国仮特許出願62/846,686、
(b)「無線センシングのための方法、装置及びシステム」と題された2020年2月22日に出願された米国仮特許出願62/980,206、
(c)「スマートカーにおける無線人工知能のための方法、装置及びシステム」と題された2019年5月18日に出願された米国仮特許出願62/849,853、
(d)「無線信号に基づいてライフログを処理及び前処理するための方法、装置及びシステム」と題された2019年5月12日に出願された米国仮特許出願62/846,688、
(e)「高周波数無線信号を使用してバイタルサインを監視するための方法、装置及びシステム」と題された2019年6月28日に出願された米国仮特許出願62/868,782、
(f)「無線オブジェクトスキャニングのための方法、装置及びシステム」と題された2020年2月22日に出願された米国特許出願16/798,337、
(g)「無線オブジェクト追跡のための方法、装置及びシステム」と題された2020年2月22日に出願された米国特許出願16/798,343、
(h)「無線慣性測定のための方法、装置及びシステム」と題された2020年5月10日に出願された米国特許出願16/870,996、
(i)「グラフベース粒子フィルタリングを有する無線追跡のための方法、装置及びシステム」と題された2020年5月10日に出願された米国特許出願16/871,000、
(j)「リズムカルな動きの監視に基づく人の計数及び認識のための方法、装置及びシステム」と題された2020年5月10日に出願された米国特許出願16/871,004、
(k)「高周波無線信号を使用してバイタルサインを監視するための方法、装置及びシステム」と題された2020年5月10日に出願された米国特許出願16/871,006。
【0002】
本開示は一般に、無線オブジェクト追跡及びスキャン、ならびに無線バイタルサイン監視に関する。より具体的には、本開示は、豊富な散乱環境における無線チャンネル情報に基づく、移動量、向き、方向、回転角度、スキャンオブジェクト、呼吸数監視、人数の計数、人物の識別を高精度に追跡することに関する。
【背景技術】
【0003】
動き測定は、ロボットナビゲーション、室内追跡、モバイルゲームなど、さまざまな用途に不可欠な入力であり、ロボット、ドローン、自動車、無人乗り物、各種家電、相当多くの動くものに広く使用されてきた。主流の技術は、動き追跡のために慣性計測ユニット(IMU)を使用してきた。正確で堅牢な動作追跡の需要の増加と、スマートデバイスの生産の増加がIMUマーケットを牽引しており、これは2016年の157億1000万ドルから2022年までに217億4000万ドルに成長すると予測されている。動き測定の改良は、多くのシステム及びアプリケーションに重大な影響を与える。
【0004】
正確かつロバストな動き測定は自明ではない。センサ、例えば、直線加速度を測定する加速度計、角速度を計算するジャイロスコープ、及び方位を報告する磁力計によって実現される一般的なIMUは、著しいエラー及びドリフトに悩まされることが周知である。例えば、加速度計は雑音のある読みのために移動距離を測定することが難しい、磁力計が向いている方向を報告せず、周囲の環境によって容易に歪められる。一方、ジャイロスコープはとりわけ長期的に積分によって導入されるかなりのドリフトを経験する。これらの制限は、屋内追跡、バーチャルリアリティ、及びモーションセンシングゲームのような、正確なモーション処理を必要とする多くのアプリケーションを妨げる。
【0005】
近年では、無線信号が目標の位置特定と追跡に使用されている。しかし、これらのシステムはユビキタスの正確な慣性測定を妨げる重大な一般的な制限を受けながら、位置を追跡することしかできない。第1に、これらのシステムはすべて、1つまたは複数の正確にインストールされたAP(アクセスポイント)、ならびにそれらの位置及び/または向きに関する正確な情報を必要とする。APの幾何情報の小さなエラーは、大きな位置エラーにつながる。第2に、これらのシステムは、連続する位置推定値から複数の動きパラメータのうちの1つまたは2つのみを決定することができる。これらは、複数の運動パラメータを直接測定せず、適所の角運動を追跡することができない。第3に、これらのシステムは市販の既製WiFi上の周波数帯域幅、アンテナ数、及び同期エラーによって影響される精度制限に直面し、複雑な見通し外(NLOS)シナリオにおいて縮退するか、または失敗することさえある。
【0006】
無線周波(RF)信号に基づく無線撮像は、無線センシングの発展する社会における長年の困難な問題である。ワイファイ(WiFi)の遍在性を考えると、WiFi反射信号を使用して画像化を可能にすること、すなわち、無線源を目標に取り付けることなく、人間及びオブジェクトの画像を作成することが特に興味深い。それは、全てプライバシー保護、軽量及び費用効果的な方法で、インタラクティブゲーム、ポーズ推定、運動評価、人間認識のような新しいアプリケーションのために、位置だけでなくシルエット/形状、サイズ、ポーズ等の豊富なコンテキストで人間及びオブジェクトを広範囲に感知することを可能にする。
【0007】
活動センシング、ジェスチャ認識、バイタルサイン監視など、無線センシングのためのWiFiデバイスの再利用における進歩にもかかわらず、RF撮像は重大な課題に直面し、未解決のままである。WiFiバンド上の高周波画像化に関連する従来の研究は人間の動き及び活動を追跡し、大きな障害物をマッピングし、悪意のあるオブジェクトを検出することができる。しかし、それらは、商品ラジオでは利用できない大きなアンテナを有する特殊なハードウェアを必要とするか、または不十分な画像品質に悩まされる。例えば、オブジェクの撮影のために複数のアンテナを持つWiFi無線を使用する場合、2.4GHz/5GHzでのWiFi信号により現存のシステムは本質的に制限され、そして/または比較的大きなアレイを持つ複数の特殊化された周波数変調連続波(FMCW)レーダを必要とする。一般的に、2.4GHz/5GHzのWiFiの撮像能力は、狭い帯域幅、少ないアンテナ数、及び大きい波長によって基本的に制限される。現行のミリ波(mmWave)システムは大型レンズレーダや専用回路による撮像が可能であるが、いずれも専用レーダであり、ユビキタスアプリケーションには適していない。
【0008】
過去10年間にわたり、屋内ローカライゼーションシステムはアクティブデバイスベースのテーマから受動的なデバイスフリー、すなわち、ユーザがデバイスを携帯または着用することを必要とせずにユーザをローカライズし、追跡する方法に移行する。受動的な屋内の位置特定はユーザがデバイスを持ち運び又は着用することを好まない/可能にしながら、ユーザの位置のユビキタス追跡を要求する広範囲のアプリケーションを可能にすることができる。例えば、スマートテレビ(TV)はユーザの位置を特定し、ユーザが来る/出るときに視野角をインテリジェントに回転させるか、または電源をオン/オフにすることができる。また、エネルギー効率の良い建物が在室者の場所を特定し、在室の人を数え、それに応じて暖房や照明を調整することができるようになるだろう。これは、ユーザの位置に応じて物のインターネット(IoT)デバイスを制御するために、スマートホームで使用することができる。これらのアプリケーションの全ては、複数の人の位置特定可能であるときに、自然な屋内環境において、より実用的で魅力的になるのであろう。
【0009】
従来の研究は単一の目標追跡に焦点を当てており、複数の人の存在下で失敗するが、その理由は主に、すべての目標からの反射信号ならびに環境の他のオブジェクトが一緒に重ね合わされるからである。さらに、これらの作業は、主に移動目標の追跡に焦点を当て、スタティックオブジェクトを位置特定するために面倒なキャリブレーションを必要とする。複数人ローカライゼーションを達成するために、従来の提案の多くは、多くのデバイスの密な配備及び/または事前のトレーニングに頼っている。あるいは、特殊化されたハードウェアが非常に大きなフォームファクタで多くのアンテナを用いて構築される。1つの現存するシステムは多数の受信機を必要とし、人数の知見を前提とする。これらすべてのシステムに対して、複数の目標で反射された弱い信号を解決する分解能は、アンテナ数とシステム帯域幅によって根本的に制限される。
【0010】
心拍数と同様に呼吸の継続的監視は、潜在する致命的な疾患の早期発見と防止のために重要である。現行の解決策では通常、ユーザは監視中に人体に触れる必要がある手首装着型センサまたは胸部ストラップなどの専用デバイスを装着する必要があり、そのため、ユーザは使い勝手が悪く、快適でない。物のインターネット(IoT)の急速な発展に伴い、無線センシングは、無線デバイスのユビキタス展開のために近年ますます注目されている。人間の存在が無線信号伝播に影響を及ぼし、電磁波(EM)を解析することによって人間の被験者を無線で監視する機能を可能にすることが証明されている。
【0011】
人間のバイタルサインを検出する無線の最近の研究は現存する通信インフラストラクチャ(例えば、WiFi)を活用して、健康状態監視のための広範囲にわたる、ユーザフレンドリな、手頃なソリューションを提供する。過去10年間にわたり、既製のWiFiデバイスを使用したロバストなバイタルサイン監視のための様々なアーキテクチャの設計及び試験に多大な努力が払われてきた。しかしながら、WiFiシステムの相対的に低いキャリア周波数のために、2.4/5GHz WiFiのアンテナ数は少なく、低い空間分解能を表現する。さらに、WiFiシステムの狭帯域幅は、粗いレンジ分解能(帯域幅20MHzで7.5メートル)をもたらす。従って、複数のユーザが存在する場合には、受信無線周波数(RF)信号は複数のユーザによって反射され、それぞれのためのバイタルサインを抽出することは困難である。したがって、ほとんどの研究は、1人の人物のみが存在するか、または様々なユーザの呼吸速度が異なると仮定している。さらに、RF信号は多重散乱によって反射されるので、埋め込まれた心臓の鼓動信号は極めて低い信号対雑音比(SN比)を持つ。このように、商品(コモディティ)WiFiを用いて心拍数を推定することは、極めて困難である。
【0012】
無線周波数(RF)を介した人間中心のセンシングは、様々な物のインターネット(IoT)用途にますます関心を集めている。環境に対する正確で受動的な意識の要求は、多くの用途で急増している。例えば、スマートホームはエネルギー効率を向上させるために、稼働率に基づいて光と換気システムを調整することができる。スマートホームにおける人物認識は、ホームセキュリティとプライバシー保護のためのユーザ認証を可能にする。環境を把握するだけでなく、環境中の人間の状態を監視することも注目されており、有意なバイタルサインである呼吸/呼吸速度は、高周波センシングのための重大な話題であった。
【0013】
呼吸速度を監視するために専用のセンサを使用する従来の方法と比較して、RFセンシングは接触のない解決策を提供する。RFベースの解決は2つのカテゴリ、すなわち、レーダベースの方法及びWiFiベースの方法に分類することができる。レーダベースの方法では、以前の研究が呼吸数及び心拍数を監視するためにミリメートル波(mmWave)または超広帯域(UWB)を使用する可能性を示している。これらのシステムは高精度を達成することができるが、専用のデバイスはそれらの展開を妨げる。逆に、WiFiベースの方法は容易に展開することができ、過去10年間に研究されてきた。WiFiデバイスにより測定された受信信号強度(RSS)は、呼吸中の胸部運動を測定するために使用されてきた。しかしながら、被験者がデバイスを保持しない場合には、呼吸数推定の精度が低下する。細粒度のチャネル状態情報(CSI)は、呼吸によって引き起こされる微小な動きを捕捉するために利用されてきた環境変化に対してより敏感である。しかし、一般的に使用されている2.4/5GHz WiFiの無指向性伝搬と狭い帯域幅により、受信信号は室内空間で複数の人間から反射できる。これは、反射信号から複数の人間のバイタルサインを抽出することを困難にする。既存の研究の大部分は観察領域内に1人しかいないと仮定するか、または別個人の呼吸速度が異なり、人の数が事前に分かっていると仮定する。
【発明の概要】
【0014】
本開示は、一般に無線追跡システムに関する。より具体的には、本開示が豊富な散乱環境における無線チャンネル情報に基づいて、移動距離、方向、及び回転角度を正確に追跡することに関する。本開示はまた、オブジェクトの動きの多数のパラメータ、すなわち、例えば、屋内環境または都市メトロポリタンエリア、囲まれた環境、地下環境などの豊富な散乱環境における移動距離、方向、及び回転角度を測定することに関する。また、本開示は豊富な散乱環境における無線チャンネルに基づいて人間の呼吸/呼吸数及び心拍変動を正確に追跡することに関する。
【0015】
一実施形態では、無線監視システムが説明される。無線監視システムは、送信機、受信機、及びプロセッサを含む。送信機は、無線マルチパスチャネルを介して場所(venue)内で一連のプローブ信号を送信するように構成される。受信機は、送信機と受信機との間の無線マルチパスチャネルを通して、無線マルチパスチャネルと場所内を移動するオブジェクトによって変調された一連のプローブ信号を受信し、無線マルチパスチャネルとオブジェクトによって変調された一連のプローブ信号から無線マルチパスチャネルのチャンネル情報(TSCI)の時系列を得るように構成される。プロセッサは、TSCIに基づいてマップに対するオブジェクトの動きを監視し、TSCIに基づいてインクリメンタルな時間期間にオブジェクトが移動したインクリメンタルな距離を決定し、現在の時間におけるオブジェクトの現在の位置、インクリメンタルな距離、及びインクリメンタルな時間期間中の動きの方向のうちの少なくとも1つに基づいて、マップ内の次の時間におけるオブジェクトの次の位置を計算するように構成される。様々な実施形態によれば、プロセッサは、送信機及び受信機のうちの少なくとも1つに物理的に結合される。
【0016】
別の実施形態では、プロセッサによって実行される方法、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットが説明される。該方法は、場所内の無線マルチパスチャネルの時系列のチャンネル情報(TSCI)を取得することであって、TSCIは無線マルチパスチャネルを介して送信機から受信機に送信される一連のプローブ信号から抽出され、一連のプローブ信号は無線マルチパスチャネル及び場所内を移動するオブジェクトによって変調されることと、TSCIに基づいてマップに対するオブジェクトの動きを監視することと、TSCIに基づいてインクリメンタルな期間内にオブジェクトが移動したインクリメンタル距離を決定することと、現在時刻におけるオブジェクトの現在位置、インクリメンタル距離、及びインクリメンタル期間中の動きの方向のうちの少なくとも1つに基づいて、マップ内の次の時刻におけるオブジェクトの次の位置を計算することとを含む。
【0017】
別の実施形態では、無線監視システムが説明される。無線監視システムは、送信機と、複数の異種受信機と、プロセッサとを含む。送信機は、無線マルチパスチャネルを介して場所内で一連のプローブ信号を送信するように構成される。複数の異種受信機の各々は、無線マルチパスチャネルを介して、無線マルチパスチャネルと場所内を移動する複数のオブジェクトによって変調されたプローブ信号の系列を受信し、無線マルチパスチャネル及び複数のオブジェクトによって変調されたプローブ信号の系列から無線マルチパスチャネルの時系列のチャンネル情報(TSCI)を得るように構成される。プロセッサは、複数の異種受信機によって取得されたTSCIに基づいてマップに対する複数のオブジェクトの動きを監視し、それぞれのTSCIに基づいてそれぞれのインクリメンタル時間期間においてそれぞれのオブジェクトが移動したそれぞれのインクリメンタル距離を決定し、それぞれの現在時刻におけるオブジェクトのそれぞれの現在位置、それぞれのインクリメンタル距離、及びそれぞれのインクリメンタル時間期間中のオブジェクトのそれぞれの動きのそれぞれの方向のうちの少なくとも1つに基づいて、マップ内のそれぞれの次の時刻におけるオブジェクトのそれぞれの次の位置を計算するように構成される。様々な実施形態によれば、プロセッサは、送信機及び複数の異種受信機のうちの少なくとも1つに物理的に結合される。
【0018】
一実施形態では、オブジェクト追跡システムが説明される。オブジェクト追跡システムは、送信機、受信機、及びプロセッサを含む。送信機は、無線マルチパスチャネルを介して無線信号を送信するように構成される。受信機は無線マルチパスチャネルを介して無線信号を受信し、無線信号から無線マルチパスチャネルの複数の時系列のチャンネルインフォメーション(TSCI)を抽出するように構成される。複数のTSCIの各々は、送信機のアンテナ及び受信機のアンテナに関連付けられる。送信機と受信機の一つは静止デバイスである。送信機と受信機のもう一方は、オブジェクトと共に動く移動デバイスである。プロセッサは、移動デバイスの第1のアンテナに関連付けられた第1のTSCIの第1の時間における第1のチャネル情報(CI)が移動デバイスの第2のアンテナに関連付けられた第2のTSCIの第2の時間における第2のCIに一致することを決定するために構成され、第1のTSCI及び第2のTSCIの両方は静止デバイスの特定のアンテナに関連付けられ、複数のTSCI、移動デバイスのアンテナの構成、静止デバイスの少なくとも1つのアンテナの構成、第1の時間と第2の時間との間の時間差、及び第1のアンテナと第2のアンテナとの間の距離のうちの少なくとも1つに基づいて移動デバイスの少なくとも1つの移動パラメータを計算し、少なくとも1つの移動パラメータ、第1の時間、第2の時間、移動デバイスのアンテナの構成、静止デバイスの少なくとも1つのアンテナの構成、過去のSTIのうちの少なくとも1つに基づいて移動デバイスの空間時間情報(STI)を計算する。ここで、移動パラメータ及びSTIのうちの少なくとも1つは移動デバイスの現在の移動に関連し、STIに基づいてオブジェクト及び移動デバイスを追跡する。
【0019】
別の実施形態では、プロセッサによって実行される方法であって、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットが説明される。本方法は、無線マルチパスチャネルの複数の時系列チャネル情報(TSCI)を取得することであって、複数のTSCIが無線マルチパスチャネルを介して第1の無線デバイスから第2の無線デバイスに送信される無線信号から抽出され、複数のTSCIのそれぞれが、第1の無線デバイスのアンテナ及び第2の無線デバイスのアンテナに関連付けられ、第1の無線デバイス及び第2の無線デバイスのうちの1つが静止デバイスであり、第1の無線デバイス及び第2の無線デバイスのうちの他の1つが、オブジェクトとともに移動する移動デバイスである、取得することと、移動デバイスの第1のアンテナに関連付けられた第1のTSCIの第1の時間における第1のチャネル情報(CI)が移動デバイスの第2のアンテナに関連付けられた第2のTSCIの第2の時間における第2のCIに一致することを決定することであって、第1のTSCI及び第2のTSCIの両方が静止デバイスの同じアンテナに関連付けられる、決定することと、複数のTSCI、移動デバイスのアンテナの構成、静止デバイスの少なくとも1つのアンテナの構成、第1の時間と第2の時間との間の時間差、及び第1のアンテナと第2のアンテナとの間の距離のうちの少なくとも1つに基づいて、移動デバイスの少なくとも1つの移動パラメータを計算することと、少なくとも1つの移動パラメータ、第1の時間、第2の時間、移動デバイスのアンテナの構成、静止デバイスの少なくとも1つのアンテナの構成、過去のSTI、及び過去の移動パラメータのうちの巣kなくとも1つに基づいて移動デバイスの空間時間情報(STI)を計算することであって、移動パラメータの少なくとも1つ及びSTIは移動デバイスの現在の移動に関連する、計算することと、及びSTIに基づいてオブジェクト及び移動デバイスのうちの少なくとも1つを追跡すること、を含む。
【0020】
別の実施形態では、オブジェクト追跡システムが説明される。オブジェクト追跡システムは、送信機と、プロセッサを含む受信機と、プロセッサと通信可能に結合されたメモリと、プロセッサによって実行されるメモリに格納された命令のセットを備える。送信機は、無線マルチパスチャネルを介して無線信号を送信するように構成される。受信機は、無線マルチパスチャネルを通して無線信号を受信し、無線信号から無線マルチパスチャネルの複数の時系列のチャネル情報(TSCI)を抽出し、ここで複数のTSCIの各々は前記送信機のアンテナと前記受信機のアンテナに関連付けられ、送信機と受信機の1つは静止しており、送信機及び受信機の一方はオブジェクトとともに移動する移動装置である、受信し、移動装置の第1のアンテナに関連付けられた第1のTSCIの第1の時刻における第1のチャネル情報(CI)は移動装置の第2のアンテナに関連付けられた第2のTSCIの第2の時刻における第2のCiに一致すると判断し、ここで第1のTSCI及び第2のTSCIの両方は前記静止装置の特定のアンテナに関連付けられる、判断し、複数TSCI、移動デバイスのアンテナ構成、静止デバイスの少なくとも1つのアンテナの構成、第1の時間と第2の時間との差、及び第1のアンテナと第1のアンテナの距離の内の少なくとも1つに基づいて移動デバイスの少なくとも1つの移動パラメータを計算し、少なくとも1つの移動パラメータ、第1の時間、第2の時間、移動デバイスのアンテナ構成、静止デバイスの少なくとも1つのアンテナの構成、過去のSTI、及び過去の移動パラメータのうちの少なくとも1つに基づいて移動デバイスの空間時間情報(STI)を計算し、ここで移動パラメータのうちの少なくとも1つ及びSTIは移動デバイスの現在の移動に関連する、計算し、そしてSTIに基づいて少なくとも1つのオブジェクトと移動デバイスを追跡する。
【0021】
一実施形態では、本開示が商品である60GHzのWiFiデバイス上のミリ波カメラとして機能する超解像度撮像システムに関する。共同送信機平滑化を用いた複数信号分類(multiple signal classisication (MUSIC))に基づく新しい超解像イメージングアルゴリズムを提案した。実験は、開示されたシステムがキネクトのような専用の深度センサのそれに匹敵する、人間と日常オブジェクトの両方に対して顕著な撮像性能を達成し、薄い乾式壁の背後に人物を撮像できることを示した。
【0022】
一実施形態では、無線スキャンシステムが説明される。無線スキャンシステムは、送信機と、受信機と、プロセッサとを備える。送信機は、複数の送信アンテナを使用して、場所内のオブジェクトに向かって、場所の無線マルチパスチャネルを通して第1の無線信号を送信するように構成される。受信機は、送信機と受信機との間の無線マルチパスチャネルを介して複数の受信アンテナを使用して第2の無線信号を受信するように構成される。第2の無線信号は、無線マルチパスチャネルとオブジェクトによる第1の無線信号の変調のために第1の無線信号とは異なる。プロセッサは受信機によって受信された第2の無線信号に基づいて無線マルチパスチャネルのチャネルインフォメーション(CI)のセットを取得し、CIのセットに基づいてオブジェクトの画像を計算するように構成される。セット内の各CIは、複数の送信アンテナのそれぞれの1つと、複数の受信アンテナのそれぞれの1つとに関連付けられる。様々な実施形態によれば、プロセッサは、送信機及び受信機のうちの少なくとも1つに物理的に結合される。
【0023】
別の実施形態では、無線スキャンのための説明される装置が送信機及び受信機が配置された場所内にある。説明される装置は、プロセッサと、送信機及び受信機のうちの少なくとも1つとを備える。送信機は、複数の送信アンテナを使用して、場所内のオブジェクトに向かって、場所の無線マルチパスチャネルを通して第1の無線信号を送信するように構成される。受信機は、送信機と受信機との間の無線マルチパスチャネルを介して複数の受信アンテナを使用して第2の無線信号を受信するように構成される。第2の無線信号は、無線マルチパスチャネルとオブジェクトによる第1の無線信号の変調のために第1の無線信号とは異なる。プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルのチャネルインフォメーション(CI)のセットを取得するように構成され、ここで、セット内の各々のCIは複数の送信アンテナのそれぞれの1つと複数の受信アンテナのそれぞれの1つとに関連付けられ、CIのセットに基づいてオブジェクトの画像を計算する。
【0024】
一実施形態では装置が受信機を含むが、送信機を含まない。受信機は第2の無線信号を受信し、オブジェクトスキャンを実行するために、CI、例えば、チャネル状態情報(CSI)を抽出する。別の実施形態では装置が送信機を含むが、受信機を含まない。CSIは、受信機によって抽出され、オブジェクトスキャンのためのプロセッサによって得られる。さらに別の実施形態では装置が送信機を含むが、受信機を含まない。CSIは、CSIを送信機に送信する受信機において抽出される。オブジェクトスキャンは送信機で実行される。
【0025】
別の実施形態では、プロセッサによって実行される方法、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令の集セットが説明される。本方法は、場所の無線マルチパスチャネルのチャネル情報(CI)のセットを取得することであって、送信機は複数の送信アンテナを使用して第1の無線信号を、場所の無線マルチパスチャネルを介して場所内のオブジェクトに向かって送信し、受信機は無線マルチパスチャネルを介して複数の受信アンテナを使用して第2の無線信号を受信し、第2の無線信号に基づいて、無線マルチパスチャネルのCIのセットを計算し、第2の無線信号は無線マルチパスチャネル及びオブジェクトによる第1の無線信号の変調のために、第1の無線信号とは異なる、取得することと、CIのセットに基づいて、オブジェクトの画像化を計算することと、を含む。
【0026】
一実施形態では、本開示が単一の802.11adデバイスを使用する複数人位置特定及び追跡システムに関する。60GHzチップセットのアンテナアレイ上にデジタルビームフォーミングを行うことにより、高い空間分解能を達成した。複数オブジェクト検出アルゴリズムとロバストクラスタリング法を利用して、複数のユーザの位置を突き止め、計数する。また、開示されたシステムは、継続的な追跡アルゴリズムによって移動軌跡を回復する。一実施形態によれば、市販の(commodity off the shelf(COTS))802.11ad無線に関する実験は、開示されたシステムが動的及び静止に対してそれぞれ9.9cm及び19.7cmの中央位置エラーを達成し、人数カウントエラーが97.8%に対して1以下であることを実証する。
【0027】
一実施形態では、無線追跡システムが説明される。無線追跡システムは、送信機、受信機、及びプロセッサを含む。送信機は、複数の送信アンテナを使用して、場所内の少なくとも1つのオブジェクトに向けて、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成される。受信機は、送信機と受信機との間の無線マルチパスチャネルを介して複数の受信アンテナを使用して第2の無線信号を受信するように構成される。第2の無線信号は無線マルチパスチャネル及び少なくとも1つのオブジェクトによる第1の無線信号の変調のために、第1の無線信号とは異なる。プロセッサは受信機によって受信された第2の無線信号に基づいて無線マルチパスチャネルのチャネルインフォメーション(CI)のセットを取得し、CIのセットに基づいて少なくとも1つのオブジェクトを同時に追跡するように構成される。セット内の各CIは、複数の送信アンテナのそれぞれの1つと、複数の受信アンテナのそれぞれの1つとに関連付けられる。様々な実施形態によれば、プロセッサは、送信機及び受信機のうちの少なくとも1つに物理的に結合される。
【0028】
別の実施形態では、説明された無線追跡用の装置が送信機及び受信機が配置された場所内にある。説明された装置は、プロセッサと、送信機及び受信機のうちの少なくとも1つとを備える。送信機は、複数の送信アンテナを使用して、場所内の少なくとも1つのオブジェクトに向けて、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成される。受信機は、送信機と受信機との間の無線マルチパスチャネルを介して複数の受信アンテナを使用して第2の無線信号を受信するように構成される。第2の無線信号は無線マルチパスチャネル及び少なくとも1つのオブジェクトによる第1の無線信号の変調のために、第1の無線信号とは異なる。プロセッサは、第2の無線信号に基づいて、無線マルチパスチャネルのチャネルインフォメーション(CI)のセットを取得するように構成され、セット内のそれぞれのCIは複数の送信アンテナのうちのそれぞれの1つと、複数の受信アンテナのうちのそれぞれの1つとに関連付けられ、CIのセットに基づいて、少なくとも1つのオブジェクトを同時に追跡する。
【0029】
一実施形態では装置が受信機を含むが、送信機を含まない。受信機は第2の無線信号を受信し、オブジェクト追跡を実行するために、CI、例えば、チャンネル状態情報を抽出する。別の実施形態では、装置が送信機を含むが、受信機を含まない。CSIは、受信機によって抽出され、オブジェクト追跡のためにプロセッサによって取得される。さらに別の実施形態では装置が送信機を含むが、受信機を含まない。CSIは、CSIを送信機に送信する受信機において抽出される。オブジェクト追跡は、送信機で行われる。
【0030】
別の実施形態では、プロセッサによって実行される方法、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットが説明される。本方法は、場所の無線マルチパスチャネルのチャネル情報(CI)のセットを取得することであって、送信機は複数の送信アンテナを使用して第1の無線信号を、前記場所の無線マルチパスチャネルを介して場所内の少なくとも1つのオブジェクトに向かって送信し、受信機は前記無線マルチパスチャネルを介して複数の受信アンテナを使用して第2の無線信号を受信し、前記第2の無線信号に基づいて前記無線マルチパスチャネルのCIのセットを計算し、前記第2の無線信号は前記無線マルチパスチャネル及び前記少なくとも1つのオブジェクトによる前記第1の無線信号の変調のために、前記第1の無線信号とは異なる、取得することと、前記CIの組に基づいて、前記少なくとも1つのオブジェクトを同時に追跡すること、を含む。
【0031】
一実施形態では、無線監視システムが説明される。無線監視システムは、送信機、受信機、及びプロセッサを含む。送信機はN1本の送信アンテナを使用して、場所の無線マルチパスチャネルを介して無線信号を送信するように構成され、一方、場所内の第1のオブジェクトは第1の繰り返し動作をする。受信機は、N2本の受信アンテナを使用して、無線マルチパスチャネルを介して無線信号を受信し、無線信号から無線マルチパスチャネルの複数の時系列チャンネルインフォメーション(TSCI)を抽出するように構成される。N1及びN2は正の整数である。複数のTSCIの各々は、送信機の送信アンテナ及び受信機の受信アンテナに関連付けられる。プロセッサは、複数のTSCIに基づいて第1の反復運動の第1の情報を計算し、第1の情報に基づいて第1のオブジェクトの第1の反復運動を監視するように構成される。
【0032】
別の実施形態では、プロセッサによって実行される方法、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットが説明される。該方法は、場所内のオブジェクトが反復運動を有している間に、第1の異種無線デバイスのN1本の送信アンテナを使用して、場所の無線マルチパスチャネルを介して無線信号を送信することと、第2の異種無線デバイスのN2本の受信アンテナを使用して、無線マルチパスチャネルを介して無線信号を受信することと、無線信号から無線マルチパスチャネルの複数の時系列チャネル情報(TSCI)を取得することと、を含み、N1及びN2は正の整数であり、複数のTSCIのそれぞれは、第1の異種無線デバイスの送信アンテナ及び第2の異種無線デバイスの受信アンテナに関連付けられ、複数のTSCIに基づいて、反復運動のタイミング情報を計算することと、タイミング情報に基づいて、オブジェクトの反復運動を監視することと、を含む。
【0033】
別の実施形態では、無線監視システムが説明される。無線監視システムは、場所内に送信機及び受信機の複数のペアと、プロセッサとを含む。複数のペアのペアごとに、ペアのそれぞれの送信機は、無線マルチパスチャネルを介してそれぞれの無線信号を非同期に送信するように構成され、場所内の第1のオブジェクトは第1の反復運動を有し、ペアのそれぞれの受信機は無線マルチパスチャネルを介してそれぞれの無線信号を非同期に受信し、それぞれの無線信号から無線マルチパスチャネルのそれぞれの時系列のチャンネルインフォメーション(TSCI)を抽出するように構成される。複数のペアの第1のペアの送信機及び受信機は、場所内の同じ位置に一緒に配置(collocate)される。複数のペアの第2のペアの送信機及び受信機は、場所内の2つの異なった位置に配置される。複数のTSCIは、複数のペアの受信機によって得られる。プロセッサは複数のTSCIに基づいて第1の反復運動の第1の情報を計算し、第1の情報に基づいて第1のオブジェクトの第1の反復運動を監視するように構成される。
【0034】
また、本開示は、例えば屋内環境または都市メトロポリタンエリア、閉鎖環境、自動車などの豊富な散乱環境内の、呼吸速度を監視し、人数を数え、人を識別することに関する。一実施形態では、本開示は、例えば、屋内環境又は都市メトロポリタンエリア、閉鎖環境、自動車等の豊富な散乱環境における、無線チャンネル情報に基づく運転者の識別及び認識、運転者及び乗客の呼吸速度の監視、乗客数の計数、並びに、放置された子供の存在を検出、に関する。
【0035】
一実施形態では、律動的な動き監視のためのシステムが説明される。システムは、送信機、受信機、及びプロセッサを含む。送信機は、場所内のオブジェクトの律動的な動きによって影響を受ける無線マルチパスチャネルを介して無線信号を送信するように構成される。受信機は、無線マルチパスチャネルを介して無線信号を受信し、オブジェクトの律動的な動きによって影響を受ける無線マルチパスチャネルによって変調された無線信号から無線マルチパスチャネルのN1時系列のチャネルインフォメーション(TSCI)を抽出するように構成され、N1TSCIのそれぞれは、送信機のアンテナ及び受信機のアンテナに関連付けられる。プロセッサは、N1 TSCIの各々をN2時系列のチャネル情報成分(TSCIC)に分解し、N2TSCICの各々のチャネル情報成分(CIC)はその時点でのTSCIのチャネル情報(CI)のそれぞれの成分を含み、N1*N2 TSCIC及びN1 TSCI(N1及びN2は正の整数)のうちの少なくとも1つに基づいてオブジェクトの律動的な動きを監視し、オブジェクトの律動的な動きの監視に基づいてレスポンス動作をトリガするように構成される。
【0036】
別の実施形態では、プロセッサによって実行される方法、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットが説明される。該方法は、場所内のオブジェクトの律動的な動きによって影響を受ける無線マルチパスチャネルのN1時系列のチャネル情報(TSCI)を取得することであって、N1TSCIは無線マルチパスチャネルを介して送信機から受信機に送信される無線信号から抽出され、N1 TSCIのそれぞれは受信機の送信機のアンテナ及びアンテナに関連付けられている、取得することと、N1TSCIのそれぞれを、チャネル情報成分(TSCIC)のN2時系列に分解することであって、N2 TSCICのそれぞれのチャネル情報成分(CIC)はその時点でのTSCIのチャネル情報(CI)のそれぞれの成分を含み、N1及びN2は正の整数である、分解することと、N1*N2TSCIC及びN1 TSCIのうちの少なくとも1つに基づいて、オブジェクトの律動的な動きを監視することと、オブジェクトの律動的な動きの監視に基づいて、レスポンス動作をトリガすることとを含む。
【0037】
別の実施形態では、送信機及び受信機が位置する場所における律動的な動き監視のための装置が開示される。該装置は、送信機及び受信機の少なくとも一方と、プロセッサとを含む。送信機は、場所内のオブジェクトの律動的な動きによって影響を受ける無線マルチパスチャネルを介して無線信号を送信するように構成される。受信機は無線マルチパスチャネルを介して無線信号を受信し、オブジェクトの律動的な動きによって影響を受ける無線マルチパスチャネルによって変調された無線信号から無線マルチパスチャネルのN1時系列のチャンネル情報(TSCI)を抽出するように構成される。N1TSCIの各々は、送信機のアンテナ及び受信機のアンテナに関連付けられる。プロセッサは、N1 TSCIの各々をN2時系列のチャネル情報成分(TSCIC)に分解し、ここでN2TSCICの各々のチャネル情報成分(CIC)はその時点でのTSCIのチャネル情報(CI)のそれぞれの成分を含み、N1*N2のTSCIC及びN1のTSCIのうちの少なくとも1つに基づいてオブジェクトの律動的な動きを監視し、ここでN1とN2は正の整数であり、オブジェクトの律動的な動きの監視に基づいてレスポンス動作をトリガするように構成される。
【0038】
他の概念は、豊富な散乱環境において、無線の律動的な動き監視、オブジェクト追跡及びスキャン、呼吸数の監視、人数の計数、及び人の識別に関する本開示を実施するためのソフトウェアに関する。追加の新規な特徴は以下の説明に部分的に説明され、当業者には以下の図面及び添付の図面を検討することによって部分的に明らかになるか、または実施例の製造または操作によって学習され得る。本開示の新規な特徴は、以下に説明される詳細な実施例に説明される方法、手段、及び組み合わせの様々な態様の実施または使用によって実現及び達成され得る。
【図面の簡単な説明】
【0039】
本明細書で説明される方法、システム、及び/またはデバイスは、例示的な実施形態に関してさらに説明される。これらの例示的な実施形態は、図面を参照して詳細に説明される。これらの実施形態は非限定的な例示的な実施形態であり、図面のいくつかの図を通じて同様の参照符号は同様の構造を表す。
【0040】
図1】本発明のいくつかの実施形態による室内追跡システムの全体的なアーキテクチャを示す。
【0041】
図2】本発明のいくつかの実施形態による例示的なアンテナ位置合わせ(alignment)を示す。
【0042】
図3A】TRRS行列から時間遅延を推定するための例を示しており、ここで、本開示のいくつかの実施形態によれば、最大TRRSは、一方のアンテナが他方のアンテナが超解像度でΔt時間前であった位置に存在する場合に、単一の時点でのみ現れる。
【0043】
図3B】本開示のいくつかの実施形態による、3アンテナアレーの直線移動軌跡に対するTRRS行列からの時間遅延を推定するための例を示す図である。
【0044】
図3C】TRRS行列からの時間遅延を推定するための例を示しており、ここで、本開示のいくつかの実施形態によれば、デバイスがアンテナアレイラインに沿って移動しない場合にTRRSが減少するが、しかしながら、15度内の偏移角に対してはなお明白なピークが存在するので、速度推定が可能となる。
【0045】
図4図4A〜4Bは、本発明のいくつかの実施形態による例示的なグラフベースのマップ表現を示す。
【0046】
図5】本発明のいくつかの実施形態によるDTLの例を示す。
【0047】
図6】本発明のいくつかの実施形態による、2つの距離推定方法の例示的な比較を示す。
【0048】
図7】本開示のいくつかの実施形態による、異なるアンテナペアに関するアンテナ位置合わせ距離推定法の例示的性能を示す。
【0049】
図8】本発明のいくつかの実施形態による、様々なアンテナ間隔に対するアンテナアラインメントディスタンス推定法の例示的な性能を示す。
【0050】
図9】本開示のいくつかの実施形態による、距離推定方法の全体追跡精度性能を示す。
【0051】
図10】本発明のいくつかの実施形態によるマップ拡張追跡法の流れ図を示す。
【0052】
図11】異なる被写体、速度、及びセンサ配置から生じる異なるステップパターンを示し、各図は、本開示のいくつかの実施形態による、4ステップ(2つのストライドサイクル)の加速シリーズを示す。
【0053】
図12】本発明のいくつかの実施形態によるステップ検知のための有限ステートマシン(FSM)を例示する。
【0054】
図13図13A〜13Cは、本開示のいくつかの実施形態による、慣性ベースのステップ計数及び無線ベースの距離推定の例を示す。
【0055】
図14】本発明のいくつかの実施形態による仮想アンテナ位置合わせを示す。
【0056】
図15】本開示のいくつかの実施形態に従って、2次元計測のために、2つの商品WiFi無線のアンテナを一緒に配置することによって構築することができる、6素子円形アレイの例示的な設定を図示する。
【0057】
図16図16A〜16Cはアンテナアレイの一例を示し、ここで、線形、三角形、及び四角形アレイは、本開示のいくつかの実施形態に従って、それぞれ、高々2、6、及び12の制御しやすい(tractable)方向を生成する。
【0058】
図17】本開示のいくつかの実施形態による、時間反転共鳴強度(TRRS)の空間分解能を示す。
【0059】
図18】本発明のいくつかの実施形態による、二乗軌跡の位置合わせマトリックスの例示的な実験結果を示す。
【0060】
図19】本開示のいくつかの実施形態に従った、偏差後退の際の例示的なアンテナ位置合わせを図示する。
【0061】
図20】本発明のいくつかの実施形態による運動検出の例示的な実験結果を示す。
【0062】
図21】本開示のいくつかの実施形態に従って、位置合わせピークが、測定ノイズ及び不完全なリトラッキングにかかわらず正確かつ堅牢に追跡される、ピーク追跡の例示的な実験結果を示す図である。
【0063】
図22】本発明のいくつかの実施形態による移動量推定精度の実験結果の一例を示す。
【0064】
図23】本発明のいくつかの実施形態による、異なった方向に対する推定された方位エラーの例示的な実験結果を示す。
【0065】
図24】本発明のいくつかの実施形態による、方位エラーの累積的分配機能の例示的な実験結果を示す。
【0066】
図25】本発明のいくつかの実施形態による、RIMを使用して認識される例示的な手書き文字を示す。
【0067】
図26】本発明のいくつかの実施形態による、ジェスチャ認識の例示的な実験結果を示す。
【0068】
図27】本発明のいくつかの実施形態による、オブジェクト運動の多数のパラメータを測定するためのフロー図を示す。
【0069】
図28】本開示のいくつかの実施形態による、3つのアンテナを備える、例示的なRFベースの慣性測定ユニット構成を図示する。
【0070】
図29】本発明のいくつかの実施形態によるTRRS空間減衰の一例を示す。
【0071】
図30】本発明のいくつかの実施形態による、方位計測のための例示的な八角形アンテナアレイを示す。
【0072】
図31】本発明のいくつかの実施形態による例示的なアンテナムービングトレースを示す。
【0073】
図32】本発明のいくつかの実施形態による別の例示的なアンテナムービングトレースを示す。
【0074】
図33】本発明のいくつかの実施形態による例示的なずれを示す。
【0075】
図34】本発明のいくつかの実施形態による例示的な角度範囲を示す。
【0076】
図35】本発明のいくつかの実施形態による例示的な第1のケース方向推定を示す。
【0077】
図36】本発明のいくつかの実施形態による例示的な第2のケース方向推定を示す。
【0078】
図37】本開示のいくつかの実施形態に従って、アンテナiがアンテナjの最初の位置に最も近い位置まで回転する、例示的な所定位置回転整列アンテナペアを図示する。
【0079】
図38】本開示のいくつかの実施形態による、無線オブジェクトスキャンのための例示的な座標システムを示す。
【0080】
図39】本開示のいくつかの実施形態による空間平滑化を例示する。
【0081】
図40】本開示のいくつかの実施形態による関節送信機平滑化を例示する。
【0082】
図41】本開示のいくつかの実施形態によるチャンネルインパルスレスポンス(CIR)性能の一例を示す図である。
【0083】
図42図42は、本開示のいくつかの実施形態による、背景及び雑音消去の後に得られる例示的なCIRを示す。
【0084】
図43】本開示のいくつかの実施形態による関心領域(RoI)の例示的な検出を示す。
【0085】
図44】本開示のいくつかの実施形態による、異なる方向に対する空間スペクトルの例を示す。
【0086】
図45】本開示のいくつかの実施形態による、人間の撮像の例示的なシステム性能を示す。
【0087】
図46】本開示のいくつかの実施形態による、異なるユーザに対する例示的なシステムパフォーマンスを示す。
【0088】
図47】本開示のいくつかの実施形態による、異なる空間スペクトル推定器の間の例示的なシステム性能比較を示す。
【0089】
図48】本開示のいくつかの実施形態による、無線オブジェクトスキャンのための例示的な手法のフローチャートを示す。
【0090】
図49】本開示のいくつかの実施形態による、無線オブジェクト追跡のための例示的なシステムを示す。
【0091】
図50】本開示のいくつかの実施形態による、例示的な測定されたチャネルインパルスレスポンス(CIR)を示す。
【0092】
図51】本開示のいくつかの実施形態による例示的な座標システムを示す。
【0093】
図52】本開示のいくつかの実施形態による、近遠効果及び重み付け再サンプリングの効果の計測結果を示す。
【0094】
図53】本開示のいくつかの実施形態による、2人の被験者がデバイスの前に立っている、関心領域(RoI)を検知するための例示的なメトリックを示す。
【0095】
図54】本開示のいくつかの実施形態による例示的な完成したRoIを示す。
【0096】
図55】本開示のいくつかの実施形態による空間スペクトルの一例を示す図である。
【0097】
図56】本開示のいくつかの実施形態による、空間スペクトルから抽出された2つの被写体の例示的な3次元インフォメーションを示す。
【0098】
図57】本開示のいくつかの実施形態による、本開示のいくつかの実施形態による例示的なロバストクラスタリングを示す。
【0099】
図58】本開示のいくつかの実施形態による、例示的な加重二部グラフマッチングを示す。
【0100】
図59】本開示のいくつかの実施形態による例示的な位置推定及び高さ推定を示す。
【0101】
図60】本開示のいくつかの実施形態による、関心領域に提示されるユーザの数の例示的な推定を示す。
【0102】
図61】本開示のいくつかの実施形態による例示的な複数人数追跡性能を示す。
【0103】
図62】本開示のいくつかの実施形態によるロバストクラスタリングの利点を示す。
【0104】
図63】本開示のいくつかの実施形態による例示的な無線追跡結果を示す。
【0105】
図64】本開示のいくつかの実施形態による、無線オブジェクト追跡のための例示的なメソッドのフローチャートを示す。
【0106】
図65】本発明のいくつかの実施形態による、開示されたシステムのプロセスの流れを示す。
【0107】
図66A】本発明のいくつかの実施形態による、開示されたシステムの座標を示す。
【0108】
図66B】本発明のいくつかの実施形態による、バイタルサインを含むタップの典型的な位相信号を示す。
【0109】
図67A】本開示のいくつかの実施形態による、被写体検出を反映するための範囲寸法で使用される1次元(1D)コンスタント誤警報率(CFAR)ウィンドウを図示する。
【0110】
図67B】本開示のいくつかの実施形態による、被写体検出を反映するための角度寸法において使用される2次元(2D)コンスタント誤警報率(CFAR)ウィンドウを図示する。
【0111】
図68】本発明のいくつかの実施形態による、オブジェクト検出を反映するための1次元−CFARを例示する。
【0112】
図69】本発明のいくつかの実施形態による、標的検出のための例示的な位相を示す。
【0113】
図70】本開示のいくつかの実施形態に係るセルマージの一例を説明したものである。
【0114】
図71】本発明のいくつかの実施形態による、呼吸妨害除去の例示的な効果を示す。
【0115】
図72】本発明のいくつかの実施形態によるダイナミックプログラミングによる推定結果を示す。
【0116】
図73】本発明のいくつかの実施形態による、遠距離の影響のための実験設定及び結果を示す。
【0117】
図74】本発明のいくつかの実施形態による、配向の影響のための実験設定及び結果を示す。
【0118】
図75】本発明のいくつかの実施形態による、入射角の衝突のための実験設定及び結果を示す。
【0119】
図76】本発明のいくつかの実施形態による、閉塞の影響のための実験設定及び結果を示す。
【0120】
図77】本発明のいくつかの実施形態による、3ユーザケースのための例示的な検知率及び推定精度を示す。
【0121】
図78】本開示の様々な実施形態による、システムの例示的なプロセスの流れを示す。
【0122】
図79】本開示の様々な実施形態による、3人が呼吸速度[10、14、15]bpmで車内に座るというシナリオを有する、6リンクのCIR振幅の例示的パワースペクトル密度を示す。
【0123】
図80】本開示の様々な実施形態による、3人が呼吸速度[10、14、15]bpmで車内に座るというシナリオで、副搬送波(SC)組み合わせ後の様々なリンクの例示的な正規化パワースペクトル密度を示す。
【0124】
図81】本開示の様々な実施形態による、3人が呼吸速度[10、14、15]bpmで車内に座ったときの、連結組み合わせ後の例示的なパワースペクトル密度を示す。
【0125】
図82】本開示の様々な実施形態による、3人が自然呼吸を行う自動車に座っており、それらの平均呼吸速度が[10、14、15]bpmであるというシナリオで、リンク組み合わせ後の例示的なスペクトルを示す。
【0126】
図83】本開示の様々な実施形態による反復ダイナミックプログラミング(IDP)の例示的なプロシージャを示す。
【0127】
図84】本開示の様々な実施形態による、4つの隣り合うタイムウィンドウにおいてIDPによって見出される例示的なトレースを示す。
【0128】
図85】図に対応するウィンドウのトレース連結結果の一例を示す図である。図84A〜84Dは、本開示の様々な実施形態による。
【0129】
図86】本開示の様々な実施形態による、人数を数える際の疑似双方向フィルタの例示的な影響を示す。
【0130】
図87】本開示の様々な実施形態による、人物認知のための4つの検査対象の例示的な推定確率密度関数(PDF)を示す。
【0131】
図88A】本開示の様々な実施形態による、実験室で人数を数えるための開示されたシステムの例示的な混同行列を示す。
【0132】
図88B】本開示の様々な実施形態による、実験室で人数を数えるための別のシステムの例示的な混同行列を示す。
【0133】
図88C】本開示の様々な実施形態による、実験室で人数を数えるために可能にされた疑似双方向フィルタを有さない、開示されたシステムの例示的な混同行列を示す。
【0134】
図89A】本開示の様々な実施形態による、自動車内の人数を数えるための開示されたシステムの例示的な混同行列を示す。
【0135】
図89B】本開示の様々な実施形態による、自動車内の人数を数えるための別のシステムの例示的な混同行列を示す。
【0136】
図89C】本開示の様々な実施形態による、自動車内の人数を数えるために可能にされた疑似双方向フィルタを有さない開示されたシステムの例示的な混同行列を示す。
【0137】
図90】本開示の様々な実施形態による、スマートホームシナリオにおける人物認識の例示的な混同行列を示す。
【0138】
図91】本開示の様々な実施形態による、3人のユーザが異なる空間隔で、異なる呼吸頻度間隔で座っている、解像度調査のための実験設定を示す。
【0139】
図92】本開示の様々な実施形態による例示的な1組の試験結果を示す。
【0140】
図93】本開示の様々な実施形態による、例示的反復ダイナミックプログラミングアルゴリズムを図示する。
【0141】
図94】本開示の様々な実施形態による例示的なトレースコンカチネーティングアルゴリズムを示す。
【発明を実施するための形態】
【0142】
以下の詳細な説明では、関連する開示の完全な理解を提供するために、多数の特定の詳細が、例として記載される。しかしながら、本開示は、そのような詳細なしに実施され得ることは、当業者に明らかであるべきである。他の例では、本開示の態様を不必要に不明瞭にすることを避けるために、周知の方法、手順、構成要素、及び/または回路が、詳細なしに、比較的高レベルで記載されている。
【0143】
以下の詳細な説明では、関連する開示の完全な理解を提供するために、多数の特定の詳細が、例として記載される。しかしながら、本開示は、そのような詳細なしに実施され得ることは、当業者に明らかであるべきである。他の例では、本開示の態様を不必要に不明瞭にすることを避けるために、周知の方法、手順、構成要素、及び/または回路が、詳細なしに、比較的高レベルで記載されている。
【0144】
一実施形態では、本開示は、無線監視システムの方法、装置、デバイス、システム、及び/またはソフトウェア(方法/装置/デバイス/システム/ソフトウェア)を開示する。無線マルチパスチャネルの時系列チャネル情報(CI)は、プロセッサ、プロセッサと通信可能に結合されたメモリ、及びメモリに記憶された一連の指示を使用して(例えば、動的に)得られ得る。CIの時系列(TSCI)は、チャネルを介して場所(venue)でタイプ1異種(heterogeneous)無線装置(たとえば、無線送信機、TX)とタイプ2異種無線装置(たとえば、無線受信機、RX)との間で送信される無線信号(信号)から抽出され得る。チャネルは、場所のオブジェクトの表現(例えば、動き、動き、表現、及び/または位置/ポーズ/形状/表現の変化)によって影響され得る。オブジェクト及び/またはオブジェクトの運動特性及び/または空間−時間情報(STI、例えば、動き情報)は、TSCIに基づいて監視され得る。課題は、特性及び/またはSTIに基づいて実行され得る。タスクに関連付けられたプレゼンテーションは、ユーザのデバイス上のユーザインターフェース(UI)において生成されてもよい。TSCIは、無線信号ストリームであってもよい。TSCIまたは各CIは、前処理され得る。装置は、ステーション(STA)であってもよい。記号「A/B」は、本開示における「A及び/又はB」を意味する。
【0145】
表現(expression)は、配置、移動可能な部分の配置、場所、位置、向き、同定可能な場所、領域、空間座標、プレゼンテーション、状態、表現、静的な表現、サイズ、長さ、幅、高さ、角度、スケール、形状、カーブ、表面、面積、体積、ポーズ、姿勢、兆候、体表現、動的な表現、動的な体言、運動、動きシーケンス、ジェスチャ、伸長、収縮、歪み、変形、身体表現(例えば、頭部、顔面、目、口、舌、髪、声、首、肢、腕、手、脚、足、筋肉、可動部分)、表面表現(例えば、形状、質感、材料、色、電磁気(EM)特性、視覚パターン、湿度、反射率、半透明度、柔軟性)、材料特性(例えば、生きている組織、毛、織物、金属、木、皮革、プラスチック、金属、人工材料、固体、液体、ガス、温度)、動き、活動、ふるまい、表現の変化、及び/又は 何らかの組み合わせ、を含むことができる。
【0146】
無線信号は、送信/受信信号、EM放射、RF信号/送信、認可された/無免許/ISM帯域内の信号、帯域制限信号、ベースバンド信号、無線/移動/セルラ通信信号、無線/移動/セルラネットワーク信号、メッシュ信号、光信号/通信、ダウンリンク/アップリンク信号、ユニキャスト/マルチキャスト/ブロードキャスト信号、標準(例えばWLAN、WWAN、WPAN、WBAN、国際、国内、業界、デファクト、IEEE、IEEE 802、802.11/15/16、WiFi、802.11n/ac/ax/be、3G/4G/LTE/5G/6G/7G/8G、3GPP、blue tooth、BLE、Zigbee、RFID、UWB、WiMax)準拠シグナル、プロトコル信号、標準フレーム、ビーコン/パイロット/探索/問い合わせ/確認/ハンドシェイク/同期シグナル、管理/制御/データ信号、標準化された無線/セルラ通信プロトコル、基準シグナル、ソースシグナル、モーションプローブ/検出/ センシングシグナル、及び/または一連のシグナル、を含むことができる。無線信号は、見通し線(LOS)、及び/または非LOS構成要素(または経路/リンク)を含み得る。各CIは、タイプ2デバイスのレイヤ(例えば、OSIモデルのPHY/MACレイヤ)において抽出/生成/計算/検出され、アプリケーション(例えば、ソフトウェア、ファームウェア、ドライバ、アプリ、無線監視ソフトウェア/システム)によって得られ得る。
【0147】
無線マルチパスチャネルは、以下を含むことができる:通信チャネル、アナログ周波数チャネル(例えば、700/800/900MHz、1.8/1.8/2.4/3/5/6/27/60GHz付近のアナログ搬送周波数、)、符号化チャネル(例えば、CDMA)、及び/または無線ネットワーク/システムのチャネル(例えば、WLAN、WiFi、メッシュ、LTE、4G/5G、Bluetooth、Zigbee、UWB、RFID、マイクロ波)。それは、2つ以上のチャネルを含み得る。チャネルは連続(隣接/重なり帯域など)または非連続チャネル(重なりのないWiFi チャネル、1つは2.4GHz で、1つは5GHz)である可能性がある。
【0148】
TSCIは、タイプ2デバイスのレイヤ(例えば、OSI参照モデルのレイヤ、物理レイヤ、データリンクレイヤ、論理リンク制御レイヤ、メディアアクセス制御(MAC)レイヤ、ネットワークレイヤ、トランスポートレイヤ、セッションレイヤ、プレゼンテーションレイヤ、アプリケーションレイヤ、TCP/IPレイヤ、インターネットレイヤ、リンクレイヤ)において、無線信号から抽出することができる。TSCIは、無線信号(例えば、RF信号)から導出された導出信号(例えば、ベースバンド信号、動き検出信号、動きセンシング信号)から抽出されてもよい。それは、既存のメカニズム(例えば、無線/セルラ通信標準/ネットワーク、3G/LTE/4G/5G/6G/7G/8G、WiFi、IEEE 802.11/15/16)を使用する、通信プロトコル(例えば、標準化されたプロトコル)によって検出される(無線)測定であり得る。導出された信号は、プリアンブル、ヘッダ及びペイロード(例えば、無線リンク/ネットワークにおけるデータ/制御/管理のための)のうちの少なくとも1つを有するパケットを含み得る。TSCIは、パケット中のプローブシグナル(例えば、トレーニングシーケンス、STF、LTF、L−STF、L−LTF、L−SIG、HE−STF、HE−LTF、HE−SIG−A、HE−SIG−B、CEF)から抽出され得る。動き検出/センシング信号は、プローブ信号に基づいて認識/識別されてもよい。パケットは、標準準拠プロトコルフレーム、管理フレーム、コントロールフレーム、データフレーム、サウンディングフレーム、エキサイテーションフレーム、イルミネーションフレーム、ヌルデータフレーム、ビーコンフレーム、パイロットフレーム、プローブフレーム、要求フレーム、応答フレーム、関連付けフレーム、再関連付けフレーム、離脱フレーム、認証フレーム、アクションフレーム、レポートフレーム、ポールフレーム、アナウンスフレーム、拡張フレーム、問い合わせフレーム、確認応答フレーム、RTSフレーム、CTSフレーム、QoSフレーム、CF−Pollフレーム、CF−Ackフレーム、ブロック確認応答フレーム、参照フレーム、トレーニングフレーム、及び/または同期フレームであり得る。
【0149】
パケットは、制御データ及び/または動き検出プローブを含み得る。ペイロードからデータ(例えば、タイプ1デバイスのID/パラメータ/特性/設定/制御信号/命令/指示/通知/放送関連情報)を取得することができる。無線信号は、タイプ1デバイスによって送信され得る。それは、タイプ2デバイスによって受け取られ得る。データベース(例えば、ローカル・サーバ、ハブ・デバイス、クラウド・サーバ、ストレージ・ネットワークにおける)は、TSCI、特性、STI、署名、パターン、挙動、傾向、パラメータ、分析、出力応答、識別情報、ユーザ情報、デバイス情報、チャネル情報、場所(例えば、地図、環境モデル、ネットワーク、近接デバイス/ネットワーク)情報、タスク情報、クラス/カテゴリ情報、プレゼンテーション(例えば、UI)情報、及び/または他の情報を記憶するために使用され得る。
【0150】
タイプ1/タイプ2デバイスは、エレクトロニクス、回路、送信機(TX)/受信機(RX)/トランシーバ、RFインターフェース、「オリジンサテライト」/「トラッカーボット」、ユニキャスト/マルチキャスト/ブロードキャストデバイス、無線電源デバイス、電源/デスティネーションデバイス、無線ノード、ハブデバイス、対象デバイス、動き検出デバイス、センサデバイス、遠隔/無線センサデバイス、無線通信デバイス、無線対応デバイス、標準準拠デバイス、及び/または受信機のうちの少なくとも1つを含み得る。タイプ1(またはタイプ2)装置は、タイプ1(またはタイプ2)装置の複数の例が存在する場合、異なる回路、エンクロージャ、構造、目的、補助機能性、チップ/IC、プロセッサ、メモリ、ソフトウェア、ファームウェア、ネットワーク接続性、アンテナ、ブランド、モデル、外観、形態、形状、色、材料、及び/または仕様を有し得るため、異種であり得る。タイプ1/タイプ2デバイスは、アクセスポイント、ルータ、メッシュルータ、物のインターネット(IoT)デバイス、無線端末、1つ以上の無線/RFサブシステム/無線インターフェース(例えば、2.4GHz無線、5GHz無線、フロントホール無線、バックホール無線)、モデム、RFフロントエンド、RF/無線チップまたは集積回路(IC)を含み得る。
【0151】
タイプ1デバイス、タイプ2デバイス、それらの間のリンク、オブジェクト、特性、STI、動きの監視、及びタスクのうちの少なくとも1つは、UUIDなどの識別(ID)に関連付けられ得る。タイプ1/タイプ2/別のデバイスは、TSCIを取得/保存/検索/アクセス/前処理/条件/プロセス/分析/監視/適用することができる。タイプ1及びタイプ2デバイスは、無線信号と並列に他のチャネル(例えば、イーサネット、HDMI(登録商標)、USB、Bluetooth、BLE、WiFi、LTE、他のネットワーク、無線マルチパスチャネル)でネットワークトラフィックを通信することができる。 タイプ2デバイスは、タイプ1デバイスとの接続(例えば、関連付け/認証)を確立することなく、またはタイプ1デバイスからサービスを要求することなく、無線マルチパスチャネルにおいてタイプ1デバイスからの無線信号を受動的に観察/監視/受信し得る。
【0152】
送信機(すなわち、タイプ1デバイス)は、受信機(すなわち、タイプ2デバイス)として、一時的に、散発的に、連続的に、反復的に、交換可能に、交互に、同時に、並列に、及び/または同時に、機能する(その役割を果たす)ことができ、逆もまた同様である。装置は、一時的に、散発的に、連続的に、繰り返して、同時に、並列に及び/または同時的に、タイプ1デバイス(送信機)及び/またはタイプ2デバイス(受信機)として機能し得る。それぞれがタイプ1(TX)及び/またはタイプ2(RX)装置である複数の無線ノードが存在する場合がある。TSCIは、無線信号を交換/通信するとき、2つのノードごとに取得され得る。オブジェクトの特性及び/またはSTIは、TSCIに基づいて個別に、または2つ以上(例えば、すべて)のTSCIに基づいて共同で監視され得る。オブジェクトの動きは、能動的に(そのタイプ1デバイス、タイプ2デバイス、またはその両方は、オブジェクトの着用可能/関連付けられる点で)及び/または受動的に(タイプ1デバイス及びタイプ2デバイスの両方はオブジェクトの着用可能ではない/関連付けられないという点で)監視され得る。それは、オブジェクトがタイプ1デバイス及び/またはタイプ2デバイスに関連付けられていない可能性があるため、受動的であり得る。オブジェクト(例えば、ユーザ、自動誘導車両またはAGV)は、いかなる装着物/固定具も持ち運ぶ/設置する必要はないかもしれない(すなわち、タイプ1デバイス及びタイプ2デバイスは、オブジェクトがタスクを実行するために持ち運ぶ必要がある装着可能/取り付けられた装置ではない)。これは、オブジェクトがタイプ1デバイスまたはタイプ2デバイスのいずれかに関連付けられている可能性があるため、アクティブになっている可能性がある。オブジェクトは、装着可能/取付け具(例えば、タイプ1デバイス、タイプ2デバイス、タイプ1デバイスまたはタイプ2デバイスのいずれかと通信可能に結合された装置)を運ぶ(または設置する)ことができる。
【0153】
プレゼンテーションは、ビジュアル、オーディオ、画像、ビデオ、アニメーション、グラフィックプレゼンテーション、テキストなどである。タスクの計算は、タイプ1デバイスのプロセッサ(または論理ユニット)、タイプ1デバイスのICのプロセッサ(または論理ユニット)、タイプ2デバイスのプロセッサ(または論理ユニット)、タイプ2デバイスのICのプロセッサ、ローカルサーバ、クラウドサーバ、データ解析サブシステム、信号解析サブシステム、及び/または別のプロセッサによって実行することができる。この作業は、無線フィンガードプリントまたはベースライン(例えば、収集、処理、処理、送信、及び/またはトレーニングフェーズ/前回の調査/最新の調査/初期の無線調査、受動指摘書)、トレーニング、プロフィール、トレーニングされたプロフィール、静態的プロフィール、静態的プロフィール、調査、初期無線調査、初期設定、設置、再トレーニング、更新及びリセット)を用いて/しないで実施することができる。
【0154】
タイプ1デバイス(TX装置)は、少なくとも1つの異種無線送信機を備えることができる。タイプ2デバイス(RXデバイス)は、少なくとも1つの異種無線受信機を含み得る。タイプ1デバイス及びタイプ2デバイスは、コロケーションされ得る。タイプ1デバイスとタイプ2デバイスは同じ装置であってもよい。 任意の装置は、データ処理ユニット/装置、計算ユニット/システム、ネットワークユニット/システム、プロセッサ(例えば、論理ユニット)、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットを有し得る。一部のプロセッサ、メモリ、及び一連の指示は、協調することができる。同じタイプ2デバイス(または複数のタイプ2デバイス)と相互作用する(例えば、通信する、交換信号/制御/通知/他のデータ)複数のタイプ1デバイスが存在してもよく、及び/または同じタイプ1デバイスと相互作用する複数のタイプ2デバイスが存在してもよい。複数のタイプ1デバイス/タイプ2デバイスは、同期及び/または非同期、同じ/異なるウィンドウ幅/サイズ及び/または時間シフト、同じ/異なる同期開始時間、同期終了時間などであり得る。複数のタイプ1デバイスによって送信される無線信号は、散発的、一時的、連続的、反復的、同期的、同時的、同時的、及び/または同時的であってもよい。複数のタイプ1デバイス/タイプ2デバイスは、独立して、及び/または協働して動作し得る。タイプ1及び/またはタイプ2のデバイスは、異種ハードウェア回路(例えば、無線信号を生成/受信し、受信信号からCIを抽出し、またはCIを利用可能にすることができる異種チップまたは異種IC)を有する/備えることができる。それらは、同一または異なるサーバ(例えば、クラウドサーバ、エッジサーバ、ローカルサーバ、ハブ装置)に通信可能に結合され得る。
【0155】
1つの装置の動作は、動作、状態、内部状態、記憶装置、プロセッサ、メモリ出力、物理的位置、計算リソース、別の装置のネットワークに基づくことができる。相違装置は、直接的に、及び/または別の装置/サーバ/ハブ装置/クラウドサーバを介して通信し得る。装置は、1 人以上のユーザに関連付けられ、関連付けられた設定を持つことができる。設定は、一度選択され、事前にプログラムされ、及び/または経時的に変更され得る(例えば、調整され、変化され、修正され)/変化され得る。方法には、さらなるステップが存在し得る。方法のステップ及び/または追加のステップは、示された順序で、または別の順序で実行され得る。任意のステップは、並行して、反復して、または他の方法で反復して、または別の方法で実行され得る。ユーザは、ヒト、成人、高齢成人、男性、女性、幼児、子供、乳児、ペット、動物、生物、機械、コンピュータモジュール/ソフトウェアなどであり得る。
【0156】
1つまたは複数のタイプ2デバイスと相互作用する1つまたは複数のタイプ1デバイスの場合、任意の処理(例えば、時間領域、周波数領域)は、異なるデバイスについて異なることができる。処理は、位置、向き、方向、役割、ユーザ関連特性、設定、構成、利用可能なリソース、利用可能な帯域幅、ネットワーク接続、ハードウェア、ソフトウェア、プロセッサ、コプロセッサ、メモリ、バッテリ寿命、利用可能な電力、アンテナ、アンテナの種類、アンテナの指向性/一方向特性、電力設定、及び/または装置の他のパラメータ/特性に基づくことができる。
【0157】
無線受信機(例えば、タイプ2デバイス)は、無線送信機(例えば、タイプ1デバイス)から信号及び/または別の信号を受信し得る。無線受信機は、別の無線送信機(例えば、第2のタイプ1デバイス)から別の信号を受信することができる。無線送信機は、信号及び/または別の信号を別の無線受信機(例えば、第2のタイプ2のデバイス)に送信することができる。無線送信機、無線受信機、別の無線受信機及び/または別の無線送信機は、オブジェクト及び/または別のオブジェクトと共に移動してもよい。別のオブジェクトを追跡することができる。
【0158】
タイプ1及び/またはタイプ2デバイスは、少なくとも2つのタイプ2及び/またはタイプ1デバイスと無線結合することが可能であり得る。タイプ1デバイスは、場所の別の位置で、タイプ2デバイスから第2のタイプ2デバイスへの無線結合(例えば、関連付け、認証)を切り替える/確立するように引き起こされ得る/制御され得る。同様に、タイプ2デバイスは、場所のさらに別の場所で、タイプ1デバイスから第2のタイプ1デバイスへの無線結合を切り替える/確立するように、引き起こされ/制御され得る。スイッチングは、サーバ(またはハブ装置)、プロセッサ、タイプ1デバイス、タイプ2デバイス、及び/または別の装置によって制御できる。切り替え前後に使用する無線機は異なっていてもよい。第2の無線信号(第2の信号)は、チャネルを通して、タイプ1デバイスと第2のタイプ2デバイスとの間(またはタイプ2デバイスと第2のタイプ1デバイスとの間)に送信され得る。第2の信号から抽出されたチャネルの第2のTSCIが得られ得る。第2の信号は、第1の信号であってもよい。オブジェクトの特性、STI及び/または別の量は、第2のTSCIに基づいて監視され得る。タイプ1デバイスとタイプ2デバイスは同じであってもよい。異なるタイムスタンプを有する特性、STI及び/または別の量は、波形を形成し得る。波形は、プレゼンテーションで表示することができる。
【0159】
無線信号及び/または別の信号は、データが埋め込まれていてもよい。無線信号は、一連のプローブ信号(例えば、プローブ信号の繰り返し送信、1つまたは複数のプローブ信号の再使用)であってもよい。プローブ信号は、時間の経過とともに変化/変化しうる。プローブ信号は、規格準拠信号、プロトコル信号、標準化無線プロトコル信号、制御信号、データ信号、無線通信ネットワーク信号、セルラーネットワーク信号、WiFi信号、LTE/5G/6G/7G信号、基準信号、ビーコン信号、動き検出信号、及び/または動きセンシング信号であってもよい。プローブ信号は、無線ネットワーク標準(例えば、WiFi)、セルラーネットワーク標準(例えば、LTE/5G/6G)、または別の標準に従ってフォーマットされ得る。プローブ信号は、ヘッダ及びペイロードを有するパケットを含み得る。プローブ信号は、データが埋め込まれていてもよい。ペイロードは、データを含むことができる。プローブ信号は、データ信号に置き換えられてもよい。プローブ信号は、データ信号に埋め込まれてもよい。無線受信機、無線送信機、別の無線受信機及び/または別の無線送信機は、少なくとも1つのプロセッサ、それぞれのプロセッサと通信可能に結合されたメモリ、及び/または実行されたときにプロセッサに、オブジェクトのSTI(例えば、動き情報)、初期STI、初期時間、方向、瞬間位置、瞬間角度、及び/または速度を決定するために必要な任意のステップ及び/またはすべてのステップを実行させる、メモリに記憶されたそれぞれの命令セットに関連付けられてもよい。プロセッサ、メモリ及び/または命令のセットは、タイプ1デバイス、少なくとも1つのタイプ2デバイス、オブジェクト、オブジェクトに関連付けられた装置、場所に関連付けられた別の装置、クラウドサーバ、ハブ装置、及び/または別のサーバに関連付けられ得る。
【0160】
タイプ1デバイスは、場所のチャネルを通して少なくとも1つのタイプ2デバイス(単数または複数)に放送方式で信号を送信することができる。信号は、任意のタイプ2デバイスとの無線接続(例えば、関連付け、認証)を確立するタイプ1デバイスなしで、及びタイプ1デバイスからのサービスを要求するタイプ2デバイスなしで送信される。タイプ1デバイスは、複数のタイプ2デバイスに共通の特定のメディアアクセスコントロール(MAC)アドレスに送信できる。各タイプ2 デバイスは、そのMACアドレスを特定のMAC アドレスに調整できる。特定のMACアドレスは、場所に関連付けられ得る。関連付けは、関連付けサーバ(例えば、ハブデバイス)の対応付けテーブルに記録され得る。場所は、特定のMACアドレス、一連のプローブ信号、及び/またはプローブ信号から抽出された少なくとも1つのTSCIに基づいて、タイプ1デバイス、タイプ2デバイス及び/または別の装置によって識別され得る。例えば、タイプ2デバイスは、場所の新しい位置に(例えば、別の場所から)移動され得る。タイプ1デバイスは、タイプ1及びタイプ2デバイスが互いに認識しないように、場所に新たに設定され得る。セットアップ中、タイプ1デバイスは、一連のプローブ信号を特定のMACアドレスに送るように、指示され/ガイドされ/引き起こされ/制御され得る(例えば、ダミー受信機を使用すること、ハードウェアピン設定/接続を使用すること、保存された設定を使用すること、ローカル設定を使用すること、リモート設定を使用すること、ダウンロードされた設定を使用すること、ハブ装置を使用すること、またはサーバを使用すること)。電源を投入すると、タイプ2デバイスは、異なる場所(例えば、ハウス、オフィス、エンクロージャ、フロア、多層ビル、店舗、空港、モール、スタジアム、ホール、ステーション、地下鉄、ロット、地域、領域、区域、地方、都市、国、大陸などの異なる場所に使用される異なるMACアドレス)でブロードキャストするために使用され得るMACアドレスのテーブル(例えば、指定されたソース、サーバ、ハブデバイス、クラウドサーバに記憶された)に従って、プローブ信号をスキャンし得る。タイプ2デバイスが、特定のMACアドレスに送られたプローブ信号を検出すると、タイプ2デバイスは、MACアドレスに基づいて場所を識別するために、テーブルを使用することができる。場所のタイプ2デバイスの位置は、特定のMACアドレス、一連のプローブ信号、及び/またはプローブ信号からタイプ2デバイスによって得られる少なくとも1つのTSCIに基づいて計算され得る。計算は、タイプ2デバイスによって実行されてもよい。特定のMACアドレスは、経時的に変更(例えば、調整、変更、修正)され得る。それは、予定表、ルール、方針、モード、条件、状況及び/または変化に従って変更され得る。特定のMACアドレスは、MACアドレスの利用可能性、予め選択されたリスト、衝突パターン、トラフィックパターン、タイプ1デバイスと他の装置との間のデータトラフィック、有効な帯域幅、ランダム選択、及び/またはMACアドレススイッチングプランに基づいて選択することができる。特定のMACアドレスは、第2の無線デバイス(例えば、ダミー受信機、またはダミー受信機として機能する受信機)のMACアドレスであり得る。
【0161】
タイプ1デバイスは、一組のチャネルから選択されたチャネルにおいて、プローブ信号を送信してもよい。選択されたチャネルの少なくとも1つのCIは、選択されたチャネルにおいて送信されるプローブ信号から、それぞれのタイプ2デバイスによって取得され得る。選択されたチャネルは、経時的に変更(例えば、調整、変更、修正)され得る。変更は、予定表、ルール、方針、モード、条件、状況、及び/または変化に従うことができる。選択されたチャネルは、チャネルの利用可能性、ランダム選択、予め選択されたリスト、同一チャネル間干渉、チャネル間干渉、チャネルトラフィックパターン、タイプ1デバイスと別のデバイスとの間のデータトラフィック、チャネルに関連する有効帯域幅、セキュリティ基準、チャネルスイッチングプラン、基準、品質基準、信号品質条件、及び/または考慮に基づいて選択され得る。
【0162】
特定のMACアドレス及び/または選択されたチャネルの情報は、ネットワークを介してタイプ1デバイスとサーバ(例えば、ハブ装置)との間で通信することができる。特定のMACアドレス及び/または選択されたチャネルの情報は、別のネットワークを介してタイプ2デバイスとサーバ(例えば、ハブ装置)との間で通信することもできる。タイプ2デバイスは、特定のMACアドレス及び/または選択されたチャネルの情報を別のタイプ2デバイス(例えば、メッシュネットワーク、Bluetooth、WiFi、NFC、ZigBeeなどを介して)に通信することができる。特定のMACアドレス及び/または選択されたチャネルは、サーバ(例えば、ハブ装置)によって選択され得る。特定のMACアドレス及び/または選択されたチャネルは、タイプ1デバイス、タイプ2デバイス及び/またはサーバ(例えば、ハブ装置)によってアナウンスメントチャネル内でシグナリングされ得る。通信される前に、任意の情報が前処理され得る。
【0163】
タイプ1デバイスと別の無線装置との間の無線接続(例えば、関連付け、認証)は、(例えば、シグナルハンドシェイクを使用して)確立され得る。タイプ1デバイスは、第1のハンドシェイク信号(例えば、サウンディングフレーム、プローブ信号、送信要求RTS)を別の装置に送ることができる。別のデバイスは、第2のハンドシェイク信号(例えば、コマンド、または送信可CTS)をタイプ1デバイスに送信することによって応答することができ、いずれのタイプ2デバイスとの接続を確立することなく、複数のタイプ2デバイスにブロードキャスト方式で信号(例えば、一連のプローブ信号)を送信するようにタイプ1デバイスをトリガする。第2のハンドシェイク信号は、第1のハンドシェイク信号に対する応答または確認応答(例えば、ACK)であり得る。第2のハンドシェイク信号は、場所、及び/またはタイプ1デバイスの情報を有するデータを含み得る。別の装置は、タイプ1デバイスとの無線接続を確立し、第1の信号を受信し、及び/または第2の信号を送るための目的(例えば、一次目的、二次目的)を有するダミー装置であり得る。別の装置は、タイプ1デバイスに物理的に取り付けられてもよい。
【0164】
別の例では、別の装置は、いずれのタイプ2デバイスとの接続(例えば、関連付け、認証)を確立することなく、信号(例えば、一連のプローブ信号)を複数のタイプ2デバイスにブロードキャストすることをタイプ1デバイスにトリガする第3のハンドシェイク信号をタイプ1デバイスに送ることができる。タイプ1デバイスは、第4のハンドシェイク信号を他の装置に送信することにより第3の特別信号に応答することができる。別の装置は、複数のタイプ1デバイスがブロードキャストすることをトリガするために使用され得る。トリガは、連続的、部分的に連続的、部分的に並列、または完全に並列であってもよい。別の装置は、複数の送信機を並列にトリガするために、複数の無線回路を有してもよい。並列トリガはまた、少なくとも1つのさらに別の装置を使用して、別の装置と並行して(別の装置が行うのと同様の)トリガを実行することによって達成され得る。別の装置は、タイプ1デバイスとの接続を確立した後、タイプ1デバイスと通信(または通信を一時停止)できない。一時停止した通信が再開される場合がある。別の装置は、タイプ1デバイスとの接続を確立した後、非アクティブモード、休眠モード、スリープモード、スタンバイモード、低電力モード、OFFモード及び/またはパワーダウンモードに入ることができる。別の装置は、タイプ1デバイスが信号を特定のMACアドレスに送信するように、特定のMACアドレスを有してもよい。タイプ1デバイス及び/または別の装置は、タイプ1デバイスに関連付けられた第1のプロセッサ、別の装置に関連付けられた第2のプロセッサ、指定されたソースに関連付けられた第3のプロセッサ、及び/または別の装置に関連付けられた第4のプロセッサによって制御及び/または調整されてもよい。第1及び第2のプロセッサは、互いに調整することができる。
【0165】
第1の一連のプローブ信号は、第1の場所の第1のチャネルを通して、タイプ1デバイスの第1のアンテナによって少なくとも1つの第1のタイプ2デバイスに送信されてもよい。第2の一連のプローブ信号は、第2の場所の第2のチャネルを通して、タイプ1デバイスの第2のアンテナによって、少なくとも1つの第2のタイプ2デバイスに送信されてもよい。第1の一連のプローブ信号及び第2の一連のプローブ信号は、異なっていてもよい/異なっていなくてもよい。少なくとも1つの第1のタイプ2デバイスは、少なくとも1つの第2のタイプ2デバイスと異なっていてもよい/異なっていなくてもよい。第1及び/または第2の一連のプローブ信号は、タイプ1デバイスと任意のタイプ2デバイスとの間で確立された接続(例えば、関連付け、認証)なしにブロードキャストされ得る。第1及び第2のアンテナは、同じ/異なるものであってもよい。2つの場所は、異なるサイズ、形状、マルチパス特性を有することができる。第1及び第2の場所は、重複してもよい。第1及び第2のアンテナの近傍のそれぞれの直近の領域は、重複することができる。第1及び第2のチャネルは、同じ/異なることができる。例えば、第1のものはWiFiであってもよく、第2のものはLTEであってもよい。または、両方ともWiFiであってもよいが、最初のものは2.4GHzのWiFiであってもよく、2番目は5GHzのWiFiであってもよい。または、両方とも2.4GHz WiFiであってもよいが、異なるチャネル番号、SSID名、及び/またはWiFi設定を有する。
【0166】
各タイプ2デバイスは、それぞれの一連のプローブ信号から少なくとも1つのTSCIを取得することができ、CIは、タイプ2デバイスとタイプ1デバイスとの間のそれぞれのチャネルである。いくつかの第1のタイプ2デバイス(単数または複数)及びいくつかの第2のタイプ2デバイス(単数または複数)は、同じであり得る。第1及び第2の一連のプローブ信号は、同期/非同期であってもよい。プローブ信号は、データと送信されてもよく、またはデータ信号で置き換えられてもよい。第1のアンテナと第2のアンテナは同じであってもよい。第1の一連のプローブ信号は、第1の速度(例えば、30Hz)で送信されてもよい。第2の一連のプローブ信号は、第2の速度(例えば、200Hz)で送信されてもよい。第1及び第2の速度は、同じ/異なることができる。第1及び/または第2の速度は、経時的に変更(例えば、調整、変化、修正)され得る。変更は、予定表、ルール、方針、モード、条件、状況、及び/または変化に従うことができる。任意の速度は、経時的に変更(例えば、調整、変更、修正)され得る。第1及び/または第2の一連のプローブ信号は、それぞれ、第1のMACアドレス及び/または第2のMACアドレスに送信され得る。2つのMAC アドレスは同じ/異なる場合がある。第1の一連のプローブ信号は、第1のチャネル内で送信されてもよい。第2の一連のプローブ信号は、第2のチャネルで送信されてもよい。2つのチャネルは、同じ/異なることができる。第1または第2のMACアドレス、第1または第2のチャネルは、時間の経過と共に変化し得る。任意の変更は、予定表、ルール、方針、モード、状態、状況、及び/または変化に従うことができる。
【0167】
タイプ1の装置及び別の装置は、制御及び/または調整され、共通の装置に物理的に取り付けられ、または共通の装置のもの/共通の装置の中であり得る。それらは、共通のデータプロセッサークにより制御され/へ接続され、又は、共通のバスインターコネクト/ネットワーク/LAN/Bluetoothネットワーク/ NFCネットワーク/ BLE/有線ネットワーク/無線ネットワーク/メッシュネットワーク/モバイルネットワーク/クラウドに接続されてもよい。それらは、共通メモリを共有することができ、あるいは、共通ユーザ、ユーザ装置、プロファイル、アカウント、アイデンティティ(ID)、識別子、家庭、住宅、物理アドレス、位置、地理座標、IPサブネット、SSID、家庭装置、オフィス装置、及び/または製造装置と関連付けることができる。各タイプ1デバイスは、それぞれのタイプ2デバイスのセットの信号源であり得る(すなわち、それは、それぞれの信号(例えば、それぞれの一連のプローブ信号)をそれぞれのタイプ2デバイスのセットに送る)。各タイプ2デバイスは、その信号源として全てのタイプ1デバイスの中からタイプ1デバイスを選択する。各タイプ2デバイスは非同期に選択できる。少なくとも1つのTSCIは、タイプ1デバイスからのそれぞれの一連のプローブ信号から、それぞれのタイプ2デバイスによって取得され得、CIは、タイプ2デバイスとタイプ1デバイスとの間のチャネルである。それぞれのタイプ2デバイスは、すべてのタイプ1デバイスの中から、アイデンティティ(ID)またはタイプ1/タイプ2デバイスの識別子、実行されるべきタスク、過去の信号源、履歴(例えば、過去の信号源、タイプ1デバイス、別のタイプ1デバイス、それぞれのタイプ2受信機、及び/または別のタイプ2受信機の)、信号源を切り替えるための閾値、及び/またはユーザの情報、アカウント、アクセス情報、パラメータ、特性、及び/または信号強度(例えば、タイプ1デバイス及び/またはそれぞれのタイプ2受信機に関連する)に基づいて、タイプ1デバイスをその信号源として選択する。最初に、初回で、タイプ1デバイスは、初期のそれぞれのタイプ2デバイスのセット(すなわち、タイプ1デバイスは、初期のそれぞれのタイプ2デバイスのセットにそれぞれの信号(一連のプローブ信号)を送る)の信号源であり得る。各初期のそれぞれのタイプ2デバイスは、その信号源として、すべてのタイプ1デバイスの中からタイプ1デバイスを選択する。
【0168】
特定のタイプ2デバイスの信号源(タイプ1デバイス)は、次の場合に変更(例えば、調整、変更、修正)され得る、(1)タイプ2デバイスの現在の信号源から受信される2つの隣接するプローブ信号(例えば、現在のプローブ信号とすぐ前のプローブ信号との間、または次のプローブ信号と現在のプローブ信号との間)の間の時間間隔は、第1の閾値を超える、(2)タイプ2デバイスの現在の信号源に関連する信号強度は、第2の閾値未満である、(3) タイプ2デバイスの現在の信号源に関連する処理済み信号強度が第3の閾値未満であり、信号強度は、ローパスフィルタ、バンドパスフィルタ、メジアンフィルタ、移動平均フィルタ、加重平均フィルタ、線形フィルタ及び/または非線形フィルタで処理される、及び/または(4) タイプ2デバイスの現在の信号源に関連する信号強度(または処理された信号強度)は、最近のタイムウィンドウのかなりのパーセンテージ(例えば、70%、80%、90%)に対して、第4の閾値を下回っている。パーセンテージは、第5の閾値を超えることができる。第1、第2、第3、第4及び/または第5の閾値は、時間変化し得る。
【0169】
条件(1)は、タイプ1デバイスとタイプ2デバイスとが徐々に互いに遠くになるときに起こり得、その結果、タイプ1デバイスからのいくつかのプローブ信号が弱すぎて、タイプ2デバイスによって受信されないようになる。条件(2)〜(4)は、信号強度が非常に弱くなるように、2つのデバイスが互いに遠く離れると発生する可能性がある。
【0170】
タイプ2デバイスの信号源は、他のタイプ1デバイスが、現在の信号源のファクタ(例えば、1、1.1、1.2、または1.5)よりも弱い信号強度を有する場合、変わらなくてもよい。信号源が変更された場合(調整、変更、修正など)、新しい信号源は近い将来(例えば、それぞれの次回)に有効になることがある。新しい信号源は、最も強い、信号強度及び/または処理された信号強度、を有するタイプ1デバイスであってもよい。現在の信号源と新しい信号源は同じでも、異なってもよい。
【0171】
使用可能なタイプ1デバイスのリストは、各タイプ2デバイスにより初期化及び保持されうる。リストは、タイプ1デバイスのそれぞれのセットに関連する信号強度及び/または処理された信号強度を調べることによって更新され得る。タイプ2デバイスは、第1のタイプ1デバイスからの第1の一連のプローブ信号と、第2のタイプ1デバイスからの第2の一連のプローブ信号との間で、それぞれのプローブ信号レート、MACアドレス、チャネル、特徴/特性/状態、タイプ2デバイスによって実行されるべきタスク、第1及び第2の一連の信号強度、及び/または別の考慮事項に基づいて選択することができる。
【0172】
一連のプローブ信号は、一定の速度(例えば、100Hz)で送信されてもよい。一連のプローブ信号は、規則的な間隔(例えば、100Hzに対して0.01s)でスケジュールされ得るが、各プローブ信号は、おそらく、タイミング要件、タイミング制御、ネットワーク制御、ハンドシェイキング、メッセージパッシング、衝突回避、キャリアセンシング、輻輳、リソースの利用可能性、及び/または別の考慮事項に起因して、小さな時間摂動を経験し得る。レートは、変更され得る(例えば、調整され、変更され、修正され得る)。変更は、予定表(例えば、1時間ごとに変更される)、規則、方針、モード、条件及び/または変化(例えば、あるイベントが発生したときにいつでも変更される)に従うことができる。たとえば、レートは通常100Hzであるが、要求の厳しい状況では1000Hzに変更され、低電力/スタンバイ状況では1Hzに変更される。プローブ信号は、バーストで送信されてもよい。
【0173】
プローブ信号レートは、タイプ1デバイスまたはタイプ2デバイスによって実行されるタスクに基づいて変化する場合がある(例えば、タスクは通常100Hz、20秒間について一時的に1000Hzを必要とする場合がある)。一例では、送信機(タイプ1デバイス)、受信機(タイプ2デバイス)、及び関連するタスクは、クラス(例えば、低優先度、高優先度、緊急、クリティカル、通常、特権、非加入、加入、有料、及び/または非課金であるクラス)に適応的に(及び/または動的に)関連付けられ得る。(トランスミッターの)レートは、いくつかのクラス(例えば、高優先度クラス)のために調整され得る。そのクラスの必要性が変化した場合、レートを変更することができる(例えば、調整、変更、修正)。受信機が臨界的に低い電力を有する場合、レートは、プローブ信号に応答するために受信機の電力消費を低減するために低減されてもよい。1つの例では、プローブ信号を使用して、電力を無線で受信機(タイプ2デバイス)に転送し、レートを調整して、受信機に転送される電力の量を制御してもよい。
【0174】
レートは、以下によって(またはそれに基づいて)変更することができる:サーバ(例えば、ハブデバイス)、タイプ1デバイス及び/またはタイプ2デバイス。制御信号は、それらの間で通信されてもよい。サーバは、タイプ2デバイスの必要性及び/又はタイプ2デバイスによって実行されるタスクを監視、追跡、予測及び/又は予想し、かつレートを変更するためにタイプ1デバイスを制御することができる。サーバは、予定表に従って、レートにスケジュールされた変更を行うことができる。サーバは、緊急事態を検知し、直ちにレートを変更することができる。サーバは、発展状態を検出し、レートを徐々に調整することができる。特性及び/またはSTI(例えば、動き情報)は、特定のタイプ1デバイス及び特定のタイプ2デバイスに関連するTSCIに基づいて個別に監視され得るか、及び/または特定のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいて共同で監視され得るか、及び/または特定のタイプ2デバイス及び任意のタイプ1デバイスに関連する任意のTSCIに基づいて共同で監視され得るか、及び/または任意のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいてグローバルに監視され得る。任意の共同モニタリングは、以下に関連し得る:ユーザ、ユーザアカウント、プロファイル、家庭、場所の地図、場所の環境モデル、及び/またはユーザ履歴、など。
【0175】
タイプ1デバイスとタイプ2デバイスとの間の第1のチャネルは、別のタイプ1デバイスと別のタイプ2デバイスとの間の第2のチャネルとは異なりうる。2つのチャネルは、異なる周波数帯域、帯域幅、搬送波周波数、変調、無線規格、コーディング、暗号化、ペイロード特性、ネットワーク、ネットワークID、SSID、ネットワーク特性、ネットワーク設定、及び/またはネットワークパラメータなどに関連し得る。2つのチャンネルは、異なる種類の無線システム(例えば次の、WiFi、LTE、LTE−A、LTE−U、2.5G、3G、3.5G、4G、ビヨンド4G、5G、6G、7G、携帯ネットワーク規格、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA(登録商標)、TD−SCDMA、802.11システム、802.15システム、802.16システム、メッシュネットワーク、Zigbee、NFC、WiMax、Bluetooth、BLE、RFID、UWB、マイクロ波システム、レーダー類似システム、の内の2つ)に関連することができる。例えば、一方はWiFiであり、他方はLTEである。2つのチャネルは、同様の種類の無線システムに関連付けられている場合があるが、ネットワークが異なる。例えば、第1のチャネルは、20MHzの帯域幅を有する2.4GHz帯域で「Pizza及びPizza」と命名されたWiFiネットワークに関連付けられ得、一方、第2のチャネルは、40MHzの帯域幅を有する5GHz帯域で「StarBudホットスポット」のSSIDを有するWiFiネットワークに関連付けられ得る。2つのチャネルは、同じネットワーク内で異なるチャネルになる場合がある(「StarBud ホットスポット」ネットワークなど)。
【0176】
一実施形態では、無線監視システムは、複数のイベントに関連付けられたトレーニングTSCIに基づいて、場所の複数のイベントの分類器(classifier)をトレーニングすることを含むことができる。イベントに関連するCIまたはTSCIは、そのイベント(及び/または場所、環境、オブジェクト、オブジェクトの動き、状態/感情状態/精神状態/状態/ステージ/ジェスチャ/歩容/アクション/動き/活動/日常活動/履歴/オブジェクトのイベントなど)に関連する無線サンプル/特性/フィンガプリントを考慮/含むことができる。既知のイベントに関連するそれぞれのトレーニング(例えば、調査、無線調査(wirelee survey)、初期無線調査)時間において場所で起こる複数の既知のイベントの各々について、それぞれのトレーニング無線信号(例えば、それぞれの一連のトレーニングプローブ信号)は、第1のタイプ1デバイスのプロセッサ、メモリ、及び命令のセットを使用する第1のタイプ1異種無線装置のアンテナによって、それぞれのトレーニング時間において場所の無線マルチパスチャネルを通して少なくとも1つの第1のタイプ2異種無線装置に送信され得る。
【0177】
トレーニングCIの少なくとも1つのそれぞれの時系列(トレーニングTSCI)は、(それぞれの)トレーニング信号から、少なくとも1つの第1のタイプ2デバイスのそれぞれによって非同期的に取得され得る。CIは、既知のイベントに関連するトレーニング時間において、第1のタイプ2デバイスと第1のタイプ1デバイスとの間のチャネルのCIであり得る。少なくとも1つのトレーニングTSCIは、前処理され得る。トレーニングは、無線調査(例えば、タイプ1デバイス及び/またはタイプ2デバイスの設置の間の)であり得る。
【0178】
現在の期間において場所内で起こる現在のイベントについて、現在の無線信号(例えば、一連の現在のプローブ信号)は、第2のタイプ1デバイスのプロセッサ、メモリ、及び命令のセットを使用する第2のタイプ1異種無線装置のアンテナによって、現在のイベントに関連する現在の期間において場所のチャネルを通して少なくとも1つの第2のタイプ2異種無線装置に送信され得る。現在のCIの少なくとも1つの時系列(現在のTSCI)は、現在の信号(例えば、一連の現在のプローブ信号)から少なくとも1つの第2のタイプ2デバイスの各々によって非同期的に取得され得る。CIは、現在のイベントに関連する現在の期間において、第2のタイプ2デバイスと第2のタイプ1デバイスとの間のチャネルのCIであり得る。少なくとも1つの現在のTSCIは、前処理され得る。
【0179】
分類器(classifier)は、少なくとも1つの第2のタイプ2デバイスによって、一連の現在のプローブ信号から得られる少なくとも1つの現在のTSCIを分類するために、特定の現在のTSCIの少なくとも1部分を分類するために、及び/または特定の現在のTSCIの少なくとも1部分と別のTSCIの別の部分との組み合わせを分類するために、適用され得る。分類器は、TSCI (または特徴/STIまたは他の分析または出力応答)をクラスタに分割し、クラスタを特定のイベント/オブジェクト/対象/位置/動き/活動に関連付けることができる。ラベル/タグは、クラスタについて生成され得る。クラスタは、記憶及び検索することができる。分類器は、現在のTSCI (または、おそらく現在のイベントに関連する特性/STIまたは他の分析/出力応答)を、以下と関連付けるために適用され得る:クラスタ、既知/特定のイベント、クラス/カテゴリ/グループ/グループ化/リスト/クラスタ、既知のイベントのセット/対象/位置/移動/アクティビティ、未知イベント、クラス/カテゴリ/グループ/グループ化/リスト/クラスタ/未知イベントのセット/対象/位置/移動/アクティビティ、及び/または別のイベント/対象/位置/移動/アクティビティ/クラス/カテゴリ/グループ/グループ化/リスト/クラスタ。各TSCIは、それぞれがそれぞれのタイムスタンプに関連する少なくとも1つのCIを含み得る。2つのタイプ2デバイスに関連する2つのTSCIは、異なる開始時間、持続時間、停止時間、CIの量、サンプリング頻度、サンプリング期間、によって異なる。それらのCIは、異なる特徴を有し得る。第1及び第2のタイプ1デバイスは、場所の同じ位置にあってもよい。それらは、同じ装置であってもよい。少なくとも1つの第2のタイプ2デバイス(またはそれらの位置)は、少なくとも1つの第1のタイプ2デバイス(またはそれらの位置)の置換であり得る。特定の第2のタイプ2デバイス及び特定の第1のタイプ2デバイスは、同じ装置であり得る。第1のタイプ2デバイスのサブセットと第2のタイプ2デバイスのサブセットは同じであってもよい。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットであり得る。少なくとも1つの第1のタイプ2デバイス及び/または少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットの置換であり得る。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットの置換であり得る。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットと同じそれぞれの位置であり得る。少なくとも1つの第1のタイプ2デバイス及び/または少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットと同じそれぞれの位置であり得る。
【0180】
タイプ1デバイスのアンテナ及び第2のタイプ1デバイスのアンテナは、場所の同じ位置にあってもよい。少なくとも1つの第2のタイプ2デバイスのアンテナ及び/または少なくとも1つの第2のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第1のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれの位置であり得る。少なくとも1つの第1のタイプ2デバイスのアンテナ及び/または少なくとも1つの第1のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第2のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれの位置であり得る。
【0181】
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2のセクションの第2の持続時間の第2のセクションとを整列(aligne)させてもよい。第1セクションのアイテムと第2セクションのアイテムとの間のマップを計算することができる。第1のセクションは、第1の開始/終了時間を有する第1のTSCIの第1のセグメント(例えば、サブセット)、及び/または処理された第1のTSCIの別のセグメント(例えば、サブセット)を含み得る。処理された第1のTSCIは、第1の操作によって処理された第1のTSCIであってもよい。第2のセクションは、第2の開始時間及び第2の終了時間を有する第2のTSCIの第2のセグメント(例えば、サブセット)、ならびに処理された第2のTSCIの別のセグメント(例えば、サブセット)を含み得る。処理された第2のTSCIは、第2の操作によって処理された第2のTSCIであってもよい。第1の操作及び/または第2の操作は、サブサンプリング、再サンプリング、補間、フィルタリング、変換、特徴抽出、前処理、及び/または別の操作を含み得る。
【0182】
第1のセクションの第1のアイテムは、第2のセクションの第2のアイテムにマッピングされ得る。第1セクションの第1アイテムはまた、第2セクションの別のアイテムにマッピングされ得る。第1セクションの別のアイテムはまた、第2セクションの第2アイテムにマッピングされ得る。マッピングは、1対1、1対多、多対1、多対多であり得る。第1のTSCIの第1のセクションの第1のアイテム、第1のTSCIの別のアイテム、第1のアイテムのタイムスタンプ、第1のアイテムの時間差、第1のアイテムの時間差、第1のアイテムの隣接タイムスタンプ、第1のアイテムの隣接タイムスタンプ、第1のアイテムに関連する別のタイムスタンプ、第2のTSCIの第2のセクションの第2のアイテム、第2のTSCIの別のアイテム、第2のアイテムのタイムスタンプ、第2のアイテムの時間差、第2のアイテムの時間差、第2のアイテムの隣接タイムスタンプ、及び第2のアイテムに関連する別のタイムスタンプのうちの少なくとも1つの少なくとも1つの関数は、少なくとも1つの制約を満たすことができる。
【0183】
1つの制約は、第1のアイテムのタイムスタンプと第2のアイテムのタイムスタンプとの間の差が、適応的(及び/または動的に調整された)上側閾値によって上限され得、適応的下側閾値によって下限され得ることであり得る。
【0184】
最初のセクションは、最初のTSCI全体であってもよい。第2のセクションは、第2のTSCI全体であってもよい。第1の時間持続時間は、第2の時間持続時間に等しくてもよい。TSCIの時間持続時間のセクションは、適応的に(及び/または動的に)決定され得る。TSCIの仮セクションを計算することができる。セクション(例えば、仮セクション、セクション)の開始時間及び終了時間を決定することができる。セクションは、仮セクションの開始部分及び終了部分を除去することによって決定することができる。仮セクションの開始部分は、以下のように決定することができる。反復的に、タイムスタンプの増加に伴う仮セクションのアイテムは、一度に1つのアイテムである現在のアイテムと見なすことができる。
【0185】
各反復において、少なくとも1つの活動尺度/指標が計算及び/または考慮され得る。少なくとも1つの活動尺度は、現在のタイムスタンプに関連する現在のアイテム、現在のタイムスタンプよりも大きくないタイムスタンプをもつ仮セクションの過去のアイテム、及び/または現在のタイムスタンプよりも小さくないタイムスタンプをもつ仮セクションの将来のアイテムのうちの少なくとも1つに関連することができる。少なくとも1つの活動尺度に関連する少なくとも1つの基準(例えば、品質基準、信号品質条件)が満たされる場合、現在のアイテムは、仮セクションの開始部分に追加されてもよい。
【0186】
活動尺度に関連する少なくとも1つの基準は、以下のうちの少なくとも1つを含み得る:(a)活動尺度は適応的な(動的に調整される)上側閾値よりも小さい。(b)活動尺度は適応的な下側閾値よりも大きい。(c)活動尺度は、少なくとも連続したタイムスタンプの所定の量に対して連続して適応的上限閾値よりも小さい、(d)活動尺度は、少なくとも連続したタイムスタンプの別の所定の量に対して連続して適応的下側閾値よりも大きい、(e)活動尺度は、少なくとも連続したタイムスタンプの所定の量の所定のパーセンテージに対して連続して適応的な上側閾値よりも小さい、(f)活動尺度は、少なくとも連続したタイムスタンプの別の所定の量の別の所定のパーセンテージに対して連続して適応的な下側閾値よりも大きい、(g)現在のタイムスタンプに関連した別のタイムスタンプに関連した別の活動尺度は、別の適応的上側閾値よりも小さく、別の適応的下側閾値よりも大きい、(h)現在のタイムスタンプに関連した少なくとも1つのそれぞれのタイムスタンプに関連した少なくとも1つの活動尺度は、それぞれの上側閾値よりも小さく、それぞれの下側閾値よりも大きい。(i)現在のタイムスタンプに関連付けられた一組のタイムスタンプにおける、それぞれの上限閾値よりも小さく、それぞれの下限閾値よりも大きい、活動尺度に関連付けられたタイムスタンプのパーセンテージが、閾値を超える、及び(j)別の基準(例えば、品質基準、信号品質条件)。
【0187】
時間T1におけるアイテムに関連する活動尺度/指標は、以下の少なくとも1つを含み得る:(1) 時間T1でのアイテム及び時間T1−D1でのアイテムの第1の関数であって、ここで、D1は、所定の正の量(例えば、一定時間オフセット)、(2)時間T1でのアイテム及び時間T1+D1でのアイテムの第2の関数、(3)時間T1でのアイテム及び時間T2でのアイテムの第3の関数であり、ここで、T2は、所定の量(例えば、固定された初期基準時間; T2は、時間とともに変更(例えば、調整、変化、修正)され得る; T2は、周期的に更新され得る;T2は、期間の開始であり得、T1は、期間におけるスライディングタイムであり得る)、ならびに(4)時間T1でのアイテム及び他のアイテムの第4の関数。
【0188】
第1の関数、第2の関数、第3の関数、及び/または第4の関数のうちの少なくとも1つは、少なくとも2つの引数X及びYを持つ関数(例えば、F(X、Y、...))であり得る。 2つの引数は、スカラーであってもよい。関数(例えば、F)は、X、Y、(X−Y)、(Y−X)、abs(X−Y)、X^a、Y^b、abs(X^a−Y^b)、(X−Y)^a、(X/Y)、(X+a)/ (Y+b)、(X^a/Y^b)、及び((X/Y)^a−b)のうちの少なくとも1つの関数であり得、ここでa及びbは、ある所定量であり得る。例えば、この関数は、単にabs(X−Y)、または(X−Y)^2、(X−Y)^4とすることができる。この関数は、頑強な関数であってもよい。例えば、関数は、abs(X−Y)が閾値Tよりも小さい場合には(X−Y)^2であり、abs(X−Y)がTよりも大きい場合には(X−Y)+aである。あるいは、abs(X−Y)がTより大きい場合、関数は定数であってもよい。また、abs(X−y)がTより大きい場合、関数はゆっくりと増加する関数によって制限され得、その結果、外れ値は、結果に重大な影響を及ぼすことができない。この関数の別の例は、(abs(X/Y)−a)(式中、a=1)であり得る。このようにして、X=Y (すなわち、変更または活動なし)の場合、関数は0の値を与える。XがYより大きい場合、(X/Y)は1より大きくなり(XとYが正であると仮定)、関数はポジティブとなる。XがYより小さい場合、(X/Y)は1より小さくなり、関数はネガティブになる。別の例では、引数XとYの両方が、X=(x_1、x_2、...、x_n)とY=(y_1、y_2、...、y_n)となるn−タプル(n−tuples)であってもよい。この関数は、x_i,y_i,(x_i−y_i),(y_ix_i), abs(x_i−y_i),x_i^a, y_i^b,abs(x_i^a−y_i^b), (x_i−y_i)^a,(x_i/y_i),(x_i+a)/(y_i +b),(x_i^a/y_i^b),及び((x_i/y_i)^a−b)のうち少なくとも1つの関数であってもよく、ここで、iは、n−タプルX及びYの成分指数であり、1<=i<=nである。例えば、x_1 の成分インデックスはi=1で、x_2の成分インデックスはi=2 である。関数は、x_i,y_i,(x_i−y_i),(y_ix_i),abs(x_i−y_i),x_i^a,y_i^b,abs(x_i^a−y_i^b),(x_i−y_i)^a,(x_i/y_i),(x_i+a)/(y_i +b),(x_i ^a/y_i^b),及び((x_i/y_i)^a−b)のうちの少なくとも1つのコンポーネントごとの別の関数の合計を含むことができ、iは、nタプルX及びYのコンポーネントインデックスである。例えば、この関数は、sum_{i=1}^n(abs(x_i/y_i)−1)/n,又はsum_{i=1}^nw_i*(abs(x_i/y_i)−1) の形式である可能性がある。ここで、w_iはコンポーネントiの重みである。
【0189】
マップは、動的タイムワーピング(dynamic time warping:DTW)を使用して計算され得る。DTWは、マップ、第1のTSCIのアイテム、第2のTSCIのアイテム、第1の持続時間、第2の持続時間、第1のセクション、及び/または第2のセクションのうちの少なくとも1つに対する制約を含み得る。マップで、i^{th} ドメインアイテムがj^{th} 範囲アイテムにマップされているとする。制約は、iとjとの許容可能な組み合わせ(iとjとの間の関係に関する制約)上であり得る。第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストを計算することができる。
【0190】
第1のセクション及び第2のセクションは、複数のリンクを含むマップが、第1のTSCIの第1のアイテムと第2のTSCIの第2のアイテムとの間で確立され得るように、整列され得る。各リンクでは、第1のタイムスタンプを持つ第1のアイテムの1つと、2番目のタイムスタンプを持つ2番目のアイテムの1つを関連付けることができる。整列された第1のセクションと整列された第2のセクションとの間のミスマッチコストが計算され得る。ミスマッチコストは、マップの特定のリンクによって関連付けられる第1のアイテムと第2のアイテムとの間のアイテムに関するコストと、マップの特定のリンクに関連付けられるリンクに関する(link-wise)コストとの関数を含むことができる。
【0191】
整列された第1のセクション及び整列された第2のセクションは、それぞれ、同じベクトル長の第1のベクトル及び第2のベクトルとして表され得る。ミスマッチコストは、第1のベクトルと第2のベクトルとの間の、内積、内積様量、相関に基づく量、相関インジケータ、共分散に基づく量、識別スコア、距離、ユークリッド距離、絶対距離、Lk距離(例えば、L1、L2、・・・)、加重距離、距離様量及び/または別の類似値のうちの少なくとも1つを含み得る。ミスマッチコストは、それぞれのベクトル長によって正規化され得る。
【0192】
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストから導出されるパラメータは、統計的分布でモデル化され得る。統計的分布のスケールパラメータ、位置パラメータ及び/または別のパラメータのうちの少なくとも1つを推定することができる。第1のTSCIの最初の持続時間の第1のセクションは、第1のTSCIのスライディングセクションであり得る。第2のTSCIの第2の持続時間の第2のセクションは、第2のTSCIのスライディングセクションであってもよい。第1のスライディングウィンドウは、第1のTSCIに適用され得、対応する第2のスライディングウィンドウは、第2のTSCIに適用され得る。第1のTSCIの第1スライディングウィンドウと第2のTSCIの対応する第2のスライディングウィンドウとは、整列され得る。
【0193】
第1のTSCIの整列された第1のスライディングウィンドウと、第2のTSCIの対応する整列された第2のスライディングウィンドウとの間のミスマッチコストを計算することができる。現在のイベントは、ミスマッチコストに基づいて、既知のイベント、未知のイベント及び/または別のイベントのうちの少なくとも1つに関連付けられてもよい。
【0194】
分類器は、少なくとも1つの仮分類結果を得るために、第1のTSCIの第1の持続時間の各第1のセクション、及び/または第2のTSCIの第2の持続時間の各第2のセクション、のうちの少なくとも1つに適用され得る。各仮分類結果は、それぞれの第1のセクション及びそれぞれの第2のセクションに関連付けられ得る。
【0195】
現在のイベントは、ミスマッチコストに基づき、既知のイベント、未知のイベント、クラス/カテゴリ/グループ/グループ化/リスト/未知イベントのセット、及び/または別のイベント、のうちの少なくとも1つに関連することができる。現在のイベントは、第1のTSCIの複数のセクション及び対応する第2のTSCIの複数のセクションにおける最も多数の仮分類結果に基づいて、既知のイベント、未知のイベント及び/または別のイベント、の少なくとも1つに関連し得る:。例えば、ミスマッチコストが、N回の連続した(例えば、N=10)特定の既知のイベントを指し示す場合、現在のイベントは、特定の既知のイベントに関連付けられ得る。別の例では、現在のイベントは、特定の既知のイベントを指し示すN回の連続した直前のN個内のミスマッチコストのパーセンテージが、所定の閾値(例えば、>80%)を越える場合、特定の既知のイベントに関連付けられ得る。別の例では、現在のイベントは、時間内の最も多くの回数について最小のミスマッチコストを達成する既知のイベントに関連付けられ得る。現在のイベントは、少なくとも1つの第1のセクションに関連する少なくとも1つのミスマッチコストの加重平均である、最小の全体的ミスマッチコストを達成する既知のイベントに関連付けられ得る。現在のイベントは、別の全体的なコストの最小を達成する特定の既知のイベントに関連付けられ得る。現在のイベントは、既知のイベントのいずれも、少なくとも1つの第1のセクションの十分なパーセンテージにおいて、第1の閾値T1よりも低いミスマッチコストを達成しない場合、「未知のイベント」と関連付けられ得る。現在のイベントはまた、いずれのイベントも第2の閾値T2よりも低い全体的なミスマッチコストを達成しない場合、「未知のイベント」に関連付けられ得る。現在のイベントは、第1のTSCIの少なくとも1つの追加セクション及び第2のTSCIの少なくとも1つの追加セクションに関連するミスマッチコスト及び追加のミスマッチコストに基づいて、既知のイベント、未知のイベント及び/または別のイベント、のうちの少なくとも1つに関連付けられ得る。既知のイベントは、ドア閉めイベント、ドア開けイベント、窓閉めイベント、窓開けイベント、マルチ状態イベント、オン状態イベント、オフ状態イベント、中間状態イベント、連続状態イベント、離散状態イベント、人の存在イベント、人の不在イベント、生命存在イベント、及び/または生命不存在イベントのうちの少なくとも1つを含み得る。
【0196】
各CIのための射影(projection)は、トレーニングTSCIに基づく次元削減方法を使用してトレーニングされ得る。次元削減法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判定式、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/または別の方法のうちの少なくとも1つを含み得る。射影は、分類器のための、少なくとも1つのイベントに関連するトレーニングTSCI、及び/または現在のTSCIのうちの少なくとも1つに適用され得る。少なくとも1つのイベントのための分類器は、少なくとも1つのイベントに関連する射影及び関連するトレーニングTSCIに基づいてトレーニングされ得る。少なくとも1つの現在のTSCIは、射影及び現在のTSCIに基づいて分類/カテゴリ化され得る。射影は、トレーニングTSCI、射影を再トレーニングする前の少なくとも1つの現在のTSCI、及び/または追加のトレーニングTSCIのうちの少なくとも1つに基づいて、次元削減方法、及び別の次元削減方法のうちの少なくとも1つを使用して、再トレーニングされ得る。別の次元削減方法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判定式、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/またはさらに別の方法のうちの少なくとも1つを含み得る。少なくとも1つのイベントの分類器は、再トレーニングされた射影、少なくとも1つのイベントに関連するトレーニングTSCI、及び/または少なくとも1つの現在のTSCIのうちの少なくとも1つに基づいて、再トレーニングされ得る。少なくとも1つの現在のTSCIは、再トレーニングされた射影、再トレーニングされた分類器、及び/または現在のTSCIに基づいて分類され得る。
【0197】
各CIは、複素数値のベクトルを含み得る。各複素数値は、複素数値の大きさを与えるために前処理され得る。各CIは、対応する複素数値の大きさを含む非負の実数のベクトルを与えるために前処理され得る。各トレーニングTSCIは、射影のトレーニングにおいて重み付けされ得る。射影は、複数の射影構成要素を含み得る。射影は、少なくとも1つの最も有意な射影構成要素を含むことができる。射影は、分類器に有益であり得る少なくとも1つの射影された構成要素を含み得る。
【0198】
チャネル情報(CI)は、信号強度、信号振幅、信号位相、スペクトルパワー尺度、モデムパラメータ(例えば、WiFi、4G/LTEなどのデジタル通信システムにおける変調/復調に関連して使用される)、動的ビームフォーミング情報、伝達関数コンポーネント、無線状態(例えば、デジタルデータ、ベースバンド処理状態、RF処理状態などを復号するためにデジタル通信システムで使用される)、測定可能変数、センシングデータ、層の粗視化/細粒度情報(例えば、物理層、データリンク層、MAC層など)、デジタル設定、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、DC補正設定、IQ補正設定、伝搬中の環境(例えば場所)による無線信号への影響、入力信号(タイプ1デバイスによって送信される無線信号)の出力信号(タイプ2デバイスによって受信される無線信号)への変換、環境の安定した挙動、状態プロファイル、無線チャネル測定、受信信号強度インジケータ(RSSI)、チャネル状態情報(CSI)、チャネルインパルス応答(CFR)、チャネル周波数応答(CFR)、帯域幅における周波数成分(例えばサブキャリア)の特性、チャネル特性、チャネル応答、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、監督データ、家庭データ、識別(ID)、識別子、装置データ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶されたデータ、暗号化データ、圧縮データ、保護されたデータ、及び/または別のチャネル情報、に関連付けられる/含みうる。各CIは、タイムスタンプ、及び/または到達時間に関連付けられ得る。CSIは、マルチパスチャネル効果(送信チャネル)を等化し/元に戻し/最小化し/低減し、マルチパス・チャネルを通して送信機によって送信されたものと同様の信号を復調することができる。CIは、チャネルを通る信号の周波数帯域、周波数シグネチャ、周波数位相、周波数振幅、周波数トレンド、周波数特性、周波数様特性、時間領域要素、周波数領域要素、時間−周波数領域要素、直交分解特性、及び/または非直交分解特性に関連する情報に関連付けられ得る。TSCIは、無線信号(例えば、CI)のストリームであり得る。
【0199】
CIは、前処理、処理、後処理、格納(例えば、ローカルメモリ、ポータブル/モバイルメモリ、リムーバブルメモリ、ストレージネットワーク、クラウドメモリに、揮発性の方法で、不揮発性の方法で)、検索、送信及び/または受信され得る。1つ以上のモデムパラメータ及び/または無線状態パラメータを一定に保つことができる。モデムパラメータは、無線サブシステムに適用することができる。モデムパラメータは無線状態を表すことができる。動き検出信号(例えば、ベースバンド信号、及び/またはベースバンド信号から復号/復調されたパケットなど)は、記憶されたモデムパラメータによって表される無線状態を使用して、無線サブシステムによって第1の無線信号(例えば、RF/WiFi/LTE/5G信号)を処理(例えば、ダウンコンバート)することによって取得され得る。モデムパラメータ/無線状態は、(例えば、以前のモデムパラメータまたは以前の無線状態を使用して)更新することができる。前の及び更新されたモデムパラメータ/無線状態の両方が、デジタル通信システムの無線サブシステムに適用され得る。前回及び更新されたモデムパラメータ/無線状態の両方を、タスクで比較/解析/処理/監視することができる。
【0200】
チャネル情報はまた、無線信号を処理するために使用されるモデムパラメータ(例えば、記憶された、または新しく計算された)であり得る。無線信号は、複数のプローブ信号を含んでもよい。複数のプローブ信号を処理するために、同じモデムパラメータを使用することができる。同じモデムパラメータを使用して、複数の無線信号を処理することもできる。モデムパラメータは、無線センサデバイスの無線サブシステムまたはベースバンドサブシステム(またはその両方)の動作のための設定または全体構成を示すパラメータを含むことができる。モデムパラメータは、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、または無線サブシステムのためのIQ補償設定、またはデジタルDC補正設定、デジタル利得設定、及び/またはデジタルフィルタリング設定(例えば、ベースバンドサブシステムのための)、のうちの1つまたは複数を含み得る。CIはまた信号の、時間、時間シグネチャ、タイムスタンプ、時間振幅、時間位相、時間トレンド、及び/または時間特性に関連する情報に関連してもよい。CIは信号の、時間−周波数分割、シグネチャ、振幅、位相、トレンド、及び/または特性に関連する情報に関連付けられ得る。CIは、信号の分解に関連し得る。CIは、方向、到達角度(AoA)、指向性アンテナの角度、及び/またはチャネルを通る信号の位相に関連する情報に関連し得る。CIは、チャネルを通る信号の減衰パターンに関連し得る。各CIは、タイプ1デバイス及びタイプ2デバイスに関連付けられ得る。各CIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ得る。
【0201】
CIは、CIを提供することができる通信ハードウェア(例えば、タイプ2デバイス、またはタイプ1デバイス)から得ることができる。通信ハードウェアは、WiFi対応チップ/IC (集積回路)、802.11または802.16または他の無線/無線標準に準拠したチップ、次世代WiFi対応チップ、LTE対応チップ、5G対応チップ、6G/7G/8G対応チップ、Bluetooth対応チップ、NFC(近距離無線通信)対応チップ、BLE (Bluetooth低電力)対応チップ、UWBチップ、他の通信チップ(例えば、Zigbee、WiMax、メッシュネットワーク)などであり得る。通信ハードウェアはCIを計算し、CIをバッファメモリに保存して、CIを抽出に使用できるようにする。CIは、チャネル状態情報(CSI)に関連するデータ及び/または少なくとも1つのマトリックスを含み得る。少なくとも1つのマトリックスは、チャネル等化、及び/またはビームフォーミングなどのために使用され得る。チャネルは、場所に関連付けられ得る。減衰は、場所における信号伝搬、空気(例えば、場所の空気)を通る/での/近傍の信号伝搬/反射/屈折/回折、壁、ドア、家具、障害物及び/または障壁などの屈折媒体/反射面などに起因し得る。減衰は、床、天井、家具、備品、オブジェクト、人、ペットなどの表面及び障害物(例えば、反射面、障害物)における反射によるものであり得る。各CIは、タイムスタンプに関連付けられうる。各CIは、N1個の成分(例えば、CFRにおけるN1個周波数ドメイン成分、CIRにおけるN1個時間ドメイン成分、またはN1個分解成分)を含み得る。各成分は、成分インデックスに関連付けられ得る。各成分は、実数、虚数、または複素数量、大きさ、位相、フラグ、及び/またはセットであり得る。各CIは、複素数のベクトルまたはマトリックス、混合量のセット、及び/または少なくとも1つの複素数の多次元の集合を含み得る。
【0202】
特定の成分インデックスに関連するTSCIの成分は、それぞれのインデックスに関連するそれぞれの成分時系列を形成し得る。TSCIは、N1個の成分時系列に分けられ得る。各個別の成分時系列は、それぞれの成分インデックスに関連付けられる。オブジェクトの動きの特性/STIは、成分時系列に基づいて監視することができる。1つの例では、CI成分の1つ以上の範囲(例えば、成分11から成分23までの1つの範囲、成分44から成分50までの2番目の範囲、及び1つの成分のみを有する3番目の範囲)は、さらなる処理のための幾つかの基準/コスト関数/信号品質メトリック(例えば、信号対雑音比、及び/又は干渉レベルに基づいて)に基づいて選択され得る。
【0203】
TSCIの成分−特徴時系列の成分ごとの特性を計算してもよい。成分に関する(component-wise)特性は、スカラー(例えば、エネルギー)であってもよいし、ドメインと範囲を持つ関数(例えば、自己相関関数、変換、逆変換)であってもよい。オブジェクトの動きの特性/STIは、成分に関する特性に基づいて監視され得る。TSCIの全特性(例えば、集約された特性)は、TSCIの各成分時系列の成分に関する特性に基づいて計算され得る。全特性は、成分に関する特性の加重平均であってもよい。オブジェクトの動きの特性/STIは、全特性に基づいて監視され得る。総量は、個々の量の加重平均であってもよい。
【0204】
タイプ1デバイス及びタイプ2デバイスは、WiFi、WiMax、3G/3Gビヨンド、4G/4Gビヨンド、LTE、LTE−A、5G、6G、7G、Bluetooth、NFC、BLE、Zigbee、UWB、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD−SCDMA、メッシュネットワーク、独自の無線システム、IEEE 802.11規格、802.15規格、802.16規格、3GPP規格、及び/または別の無線システムをサポートし得る。
【0205】
共通の無線システム及び/または共通の無線チャネルは、タイプ1トランシーバ及び/または少なくとも1つのタイプ2トランシーバによって共有され得る。少なくとも1つのタイプ2トランシーバは、共通無線システム及び/または共通無線チャネルを使用して、同時(または:非同期、同期、散発的、連続、繰り返し、並行、同時及び/または一時に)にそれぞれの信号を送信することができる。タイプ1トランシーバは、共通無線システム及び/または共通無線チャネルを使用して、信号を少なくとも1つのタイプ2トランシーバに送信することができる。
【0206】
各タイプ1デバイス及びタイプ2デバイスは、少なくとも1つの送受信アンテナを有することができる。各CIは、タイプ1デバイスの送信アンテナのうちの1つ、及びタイプ2デバイスの受信アンテナのうちの1つに関連付けられ得る。送信アンテナ及び受信アンテナの各ペアは、リンク、経路、通信経路、信号ハードウェア経路などに関連付けられ得る。例えば、タイプ1デバイスがM(例えば、3)の送信アンテナを有し、タイプ2デバイスがN(例えば、2)の受信アンテナを有する場合、M x N (例えば、3 x 2=6)のリンクまたは経路があり得る。各リンクまたはパスは、TSCIに関連付けられ得る。
【0207】
少なくとも1つのTSCIは、タイプ1デバイスとタイプ2デバイスとの間の種々のアンテナの対に対応し得る。タイプ1デバイスは、少なくとも1つのアンテナを有することができる。タイプ2デバイスも、少なくとも1つのアンテナを有してもよい。各TSCIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ得る。アンテナリンクにわたる平均化または重み付け平均化を実行してもよい。平均化または重み付け平均化は、少なくとも1つのTSCIにわたってもよい。平均化は、オプションとして、アンテナ対のサブセットに対応する少なくとも1つのTSCIのサブセットに対して実行され得る。
【0208】
TSCIの一部のCIのタイムスタンプは、不規則であり得、時間補正されたCIの補正されたタイムスタンプが時間的に均一に間隔を空けられ得るように補正され得る。複数のタイプ1デバイス及び/または複数のタイプ2デバイスの場合、修正されたタイムスタンプは、同じクロックまたは異なるクロックに関係している可能性がある。CIの各々に関連するオリジナルなタイムスタンプが決定され得る。オリジナルなタイムスタンプは、時間的に均一な間隔ではないかもしれない。現在のスライディングタイムウィンドウにおける特定のTSCIの特定の部分のすべてのCIのオリジナルなタイムスタンプは、時間補正されたCIの補正されたタイムスタンプが時間的に均一な間隔にできるように補正され得る。
【0209】
特性及び/またはSTI(例えば、動き情報)は、位置、位置の座標、位置の変化、位置(例えば初期位置、新しい位置)、マップ上の位置、高さ、水平位置、垂直位置、距離、変位、速度、加速度、回転速度、回転加速度、方向、動き角、方位、運動の方向、回転、経路、変形、変換、収縮、伸長、歩容、歩容サイクル、頭部運動、繰り返し運動、周期的運動、擬似周期的運動、インパルス運動、突然の動き、転倒運動、過渡的運動、挙動、過渡的挙動、運動周期、動きの頻度、時間傾向、時間的プロファイル、時間的特性、発生、変化、時間的変化、CIの変化、周波数の変化、タイミングの変化、歩容サイクルの変化、タイミング、開始時間、始まり時間、終了時間、継続時間、動きの履歴、動きの種類、動きの分類、周波数、周波数スペクトル、周波数特性、存在、不存在、近接、近接する、後退する、オブジェクトの識別/識別子、オブジェクトの構成物、頭部運動速度、頭部運動方向、口に関連するレート、目に関連するレート、呼吸速度、心拍数、一回換気量、呼吸の深さ、吸入時間、吐き出し時間、吸入対掃き出し時間比、空気流量、心拍間隔、心拍数変動、手の動きレート、手の運動方向、脚の運動、身体の動き、歩行速度、手の動き速度、位置の特性、オブジェクトの動きに関連する特性(例えば位置/場所の変化)、工具の動き、機械の動き、複合運動、及び/または多重運動の組み合わせ、イベント、信号統計値、信号動態、異常、運動統計、運動パラメータ、動き検出の表示、動きの大きさ、動きの位相、類似性スコア、距離スコア、ユークリッド距離、加重距離、L_1ノルム、L_2ノルム、k>2のためのL_kノルム、統計的距離、相関、相関インジケータ、 自己相関、共分散、自己共分散、相互共分散、内積、直積、動き信号変換、動き特徴、動きの存在、動きの不存在、動きの局在化、運動識別、動きの認識、対象物の存在、対象物の不存在、オブシェクトの入り口、オブシェクトの出口、オブジェクトの変化、動作サイクル、動き回数、歩容周期、動きリズム、動き変形、ジェスチャ、手書き、頭部動き、口の動き、心臓運動、体内臓運動、動きトレンド、サイズ、長さ、領域、容量、容量、形状、形態、タグ、開始/開始位置、終了位置、開始/開始量、終了量、イベント、転倒イベント、セキュリティイベント、事故イベント、ホームイベント、オフィスイベント、工場イベント、ウェアハウスイベント、製造イベント、組立ラインイベント、保守イベント、カー関連イベント、ナビゲーションイベント、追跡イベント、ドアイベント、ドア開けイベント、ドアクローズイベント、窓イベント、窓開けイベント、窓閉めイベント、繰り返し可能イベント、ワンタイムイベント、消費量、未消費量、状態、物理的状態、健康状態、快適状態、感情状態、精神状態、別のイベント、分析、出力応答、及び/または別の情報、を含みうる。特性及び/またはSTIは、CIまたはTSCIから計算された特徴(例えば、特徴計算/抽出)に基づいて計算/監視され得る。静的セグメントまたはプロファイル(及び/または動的セグメント/プロファイル)は、特徴の分析に基づいて、同定/計算/分析/監視/抽出/取得/マーク/提示/指示/強調/記憶/通信され得る。分析は、動き検出/動き評価/存在検出を含み得る。計算ワークロードは、タイプ1デバイス、タイプ2デバイス、及び別のプロセッサで共有できる。
【0210】
タイプ1デバイス及び/またはタイプ2デバイスは、ローカルデバイスであり得る。ローカルデバイスは、スマートフォン、スマートデバイス、TV、サウンドバー、セットトップボックス、アクセスポイント、ルータ、リピータ、無線信号リピータ/エクステンダー、リモコン、スピーカ、ファン、冷蔵庫、マイクロ波オーブン、コーヒーマシン、熱湯ポット、器具、テーブル、椅子、ライト、ランプ、ドアロック、カメラ、マイクロホン、動きセンサ、防犯装置、消火栓、ガレージドアスイッチ、電源アダプタ、コンピュータ、ドングル、コンピュータ周辺、電子パッド、ソファ、タイル、アクセサリ、家庭デバイス、車両デバイス、オフィスデバイス、建築設備、製造設備、腕時計、ガラス、時計、テレビ、オーブン、エアコンディショナー、アクセサリ、ユーティリティ、電気器具、スマートマシン、スマートビークル、物のインターネット(IoT)、スマートハウス、スマートオフィス、スマートビル、スマート駐車場、スマートシステム、及び他のデバイス、でありうる。
【0211】
各タイプ1デバイスは、それぞれの識別子(例えば、ID)に関連付けられてもよい。各タイプ2デバイスはまた、それぞれの識別(ID)に関連付けられ得る。IDは、数字、テキストと数字の組み合わせ、名前、パスワード、アカウント、アカウントID、ウェブリンク、ウェブアドレス、何らかの情報へのインデックス、及び/または別のID、を含むことができる。IDを割り当てることができる。IDは、ハードウェア(例えば、ハードワイヤード、ドングル及び/または他のハードウェアを介して)、ソフトウェア及び/またはファームウェアによって割り当てることができる。IDは、記憶されうる(例えば、データベース内、メモリ内、サーバ内(例えば、ハブ装置)内、クラウド内、ローカルに記憶され、リモートに記憶され、永久に記憶され、一時的に記憶され)、そして検索され得る。IDは、少なくとも1つのレコード、アカウント、ユーザ、家庭、住所、電話番号、社会保障番号、顧客番号、別のID、別の識別子、タイムスタンプ、及び/またはデータの収集、に関連付けられ得る。タイプ1デバイスのID及び/またはIDの一部は、タイプ2デバイスに利用可能にされ得る。IDは、タイプ1デバイス及び/またはタイプ2デバイスによって、登録、初期化、通信、識別、検証、検出、認識、認証、アクセス制御、クラウドアクセス、ネットワーキング、ソーシャルネットワーキング、ロギング、記録、カタログ、分類、タグ付け、アソシエーション、ペアリング、トランザクション、電子トランザクション、及び/または知的所有権制御、に使用され得る。
【0212】
オブジェクトは、人、ユーザ、対象、乗客、子供、老人、幼児、睡眠中の幼児、車両中の幼児、患者、労働者、高価値労働者、専門家、専門医、ウエイター、モールにおける顧客、空港/電車ステーション/バスターミナル/出荷ターミナルの旅行者、工場/モール/スーパーマーケット/オフィス/職場におけるスタッフ/労働者/顧客サービス職員、下水/空気換気システム/リフトウェルにおけるサービス職員、リフトウェルにおけるリフト、エレベータ、被収容者、追跡/モニタリングされる人、動物、植物、生物、ペット、イヌ、猫、スマートフォン、電話付属物、コンピュータ、タブレット、携帯コンピュータ、ドングル、コンピュータ付属装置、ネットワーク設備、WiFi装置、IoT装置、スマートウォッチ、スマート眼鏡、スマートデバイス、スピーカ、キー、スマートキー、札入れ、財布、ハンドバッグ、バックパック、商品、貨物、荷物、装置、モータ、機械、空気調和機、ファン、空調機器、照明器具、可動式ライト、テレビ、カメラ、オーディオ及び又はビデオ装置、 ステーショナリ、監視装置、パーツ、看板、道具、カート、チケット、駐車券、通行チケット、飛行機チケット、クレジットカード、プラスチックカード、アクセスカード、食品包装、器具、テーブル、椅子、洗浄器具/道具、車両、自動車、駐車施設の車両、倉庫/店舗/スーパーマーケット/流通センター内の商品、ボート、自転車、飛行機、ドローン、リモコン車/飛行機/ボート、ロボット、製造装置、組立ライン、工場フロア上の材料/未完成部品/ロボット/ワゴン/輸送手段、空港/ショッピングマート/スーパーマーケット内の追跡対象物、非対象物、対象物の非存在、対象物の存在、形状のあるオブジェクト、形状を変化させたオブジェクト、形状のないオブジェクト、流体の質量、液体の質量、気体/煙の質量、火、火炎、電磁(EM)源、EM媒体、及び/または他のオブジェクト、でありうる。オブジェクト自体は、WiFi、MiFi、3G/4G/LTE/5G/6G/7G、Bluetooth、NFC、BLE、WiMax、Zigbee、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD−SCDMA、メッシュネットワーク、アドホックネットワーク、及び/または他のネットワークなどのいくつかのネットワークと通信可能に結合され得る。オブジェクト自体はAC電源でかさばることがあるが、設置、清掃、メンテナンス、リフォームなどの際に移動する。またオブジェクトは、リフト、パッド、可動式、プラットフォーム、エレベータ、コンベアベルト、ロボット、ドローン、フォークリフト、自動車、ボート、車両などの可動式プラットフォームに設置することもできる。オブジェクトは、複数の部分を有することができ、各部分は、異なる動き(例えば、場所/位置の変化)を有する。例えば、オブジェクトは、前を歩く人であってもよい。歩行中、彼の左手と右手は、異なる瞬間速度、加速度、動きを有して異なる方向に移動し得る。
【0213】
無線送信機(例えば、タイプ1デバイス)、無線受信機(例えば、タイプ2デバイス)、別の無線送信機及び/または別の無線受信機は、(例えば、前の移動、現在の移動及び/または将来の移動において)オブジェクト及び/または別のオブジェクトと共に移動し得る。それらは、1つ以上の近くのデバイスに通信可能に結合され得る。それらは、TSCI及び/またはTSCIに関連する情報を、近くのデバイスに、及び/または互いに送信することができる。それらは、近くの装置と一緒であってもよい。無線送信機及び/又は無線受信機は、小型(例えば、コインサイズ、タバコ箱サイズ、又は更に小型の)軽量携帯装置の一部であってもよい。ポータブルデバイスは、近くのデバイスと無線で結合されてもよい。
【0214】
近くの装置(nearby device)は、スマートフォン、iPhone(登録商標)、Androidフォン、スマートデバイス、スマートアプライアンス、スマートビークル、スマートガジェット、スマートTV、スマート冷蔵庫、スマートスピーカ、スマートウォッチ、スマート眼鏡、スマートパッド、iPad(登録商標)、コンピュータ、ウェアラブルコンピュータ、ノートブックコンピュータ、ゲートウェイであり得る。近くの装置は、クラウドサーバ、ローカルサーバ(例えば、ハブ装置)及び/又は他のサーバに、インターネット、有線インターネット接続及び/又は無線インターネット接続を介して接続することができる。近くの装置は携帯型であってもよい。ポータブルデバイス、近くの装置、ローカルサーバ(例えば、ハブデバイス)、及び/またはクラウドサーバは、タスク(例えば、TSCIを取得し、オブジェクトの移動(例えば、位置/位置の変化)に関連するオブジェクトの特性/STIを決定し、電力(例えば、信号強度)情報の時系列の計算を行い、特定の関数を決定/計算し、局所極値を探索し、分類、オフセット時間の特定値を識別し、雑音除去し、処理、単純化、クリーニング、無線スマートセンシングタスク、信号からのCIの抽出、スイッチング、セグメント化、軌跡/経路/追跡を推定し、マップを処理し、環境モデル/制約/制限に基づく軌跡/経路/追跡の処理、補正、補正調整、調整、マップベース(またはモデルベース)補正、誤差検出、境界ヒットについての確認、閾値化)及び情報(例えば、TSCI)についての計算及び/又は格納を共有することができる。近くの装置は、オブジェクトとともに動かない場合がある。近くの装置は、携帯型/非携帯型/移動型/非移動型であり得る。近くの装置は、電池電力、太陽光、AC電源及び/または他の電源を使用することができる。近くの装置は、交換可能/交換不可能バッテリ、及び/または充電可能/非充電可能バッテリを有してもよい。近くの装置は、オブジェクトに類似していてもよい。近くの装置は、オブジェクトと同一の(及び/又は同様の)ハードウエア及び/又はソフトウェアを有することができる。近くの装置は、スマートデバイス、ネットワーク対応デバイス、WiFi/3G/4G/5G/6G/ Zigbee/ Bluetooth/ NFC/ UMTS/3GPP/ GSM/ EDGE/ TDMA/ FDMA/ CDMA/ WCDMA/ TD−SCDMA/アドホックネットワーク/他のネットワークへの接続を有する装置、スマートスピーカ、スマートウオッチ、スマート時計、スマートアプライアンス、スマートマシン、スマート機器、スマートツール、スマートビークル、物のインターネット(IoT)装置、インターネット対応デバイス、コンピュータ、ポータブルコンピュータ、タブレット、及び他のデバイスであり得る。 無線受信機、無線送信機、別の無線受信機、別の無線送信機及び/またはクラウドサーバ(クラウド内)に関連する近くのデバイス及び/または少なくとも1つのプロセッサは、オブジェクトの初期STIを決定し得る。それらのうちの2つ以上は、共同して初期空間−時間情報を決定し得る。それらのうちの2つ以上は、初期STI (例えば、初期位置)の決定において中間情報を共有し得る。
【0215】
一例では、無線送信機(例えば、タイプ1デバイス、またはトラッカーボット)は、オブジェクトと共に移動する。無線送信機は、信号を無線受信機(例えば、タイプ2デバイス、またはオリジンレジスタ(Origin Register))に送るか、またはオブジェクトの初期STI (例えば、初期位置)を決定することができる。無線送信機はまた、信号及び/または別の信号を、オブジェクトの動き(空間−時間情報)の監視のために、別の無線受信機(例えば、別のタイプ2デバイス、または別のオリジンレジスタ)に送ることができる。また、無線受信機は、オブジェクトの動きを監視するために、無線送信機及び/又は別の無線送信機からの信号及び/又は別の信号を受信してもよい。無線受信機及び/または別の無線受信機の位置は、分かりうる。別の例では、無線受信機(例えば、タイプ2デバイス、またはトラッカーボット)は、オブジェクトと共に移動し得る。無線受信機は、オブジェクトの初期空間−時間情報(例えば、初期位置)を決定するために、無線送信機(例えば、タイプ1デバイス、またはオリジンレジスタ)から送信された信号を受信しうる。無線受信機はまた、オブジェクトの現在の動き(例えば、空間−時間情報)の監視のために、別の無線送信機(例えば、別のタイプ1デバイス、または別のオリジンレジスタ)から信号及び/または別の信号を受信してもよい。無線送信機はまた、信号及び/または別の信号を、オブジェクトの動きを監視するために、無線受信機及び/または別の無線受信機(例えば、別のタイプ2デバイス、または別のトラッカーボット)に送信してもよい。無線送信機及び/又は別の無線送信機の位置は知ることができる。
【0216】
場所は、センシング領域、部屋、家屋、事務所、財産、作業空間、廊下、リフト、リフトウェル、エスカレータ、エレベータ、下水道、換気システム、階段、集合領域、ダクト、空気ダクト、管、閉鎖空間、閉鎖構造、半閉鎖構造、少なくとも1つの壁を有する閉鎖領域、植物、機械、エンジン、構造物、木材を有する構造、ガラスを有する構造物、金属を有する構造物、壁を有する構造物、ドアを有する構造物、隙間を有する構造物、反射面を有する構造物、液体を有する構造、建物、屋上、店舗、工場、アセンブリライン、ホテルの部屋、博物館、教室、学校、大学、政府の建物、倉庫、ガレージ、モール、空港、駅、バス端末、ハブ、交通ハブ、貨物ターミナル、庁舎、公共施設、学校、大学、エンターテイメント施設、レクリエーション施設、病院、小児/新生児病棟などの空間、老人ホーム、老人介護施設、老人施設、コミュニティセンター、スタジアム、遊び場、フィールド、バスケットボールコート、テニスコート、サッカースタジアム、野球場、体育館、ガレージ、ショッピングマート、ノール、スーパーマーケット、製造施設、パーキング施設、建設現場、鉱山施設、輸送施設、幹線道路、道路、谷間、森林、木、地形、景観、ほら穴、パティオ、陸地、道路、アミューズメントパーク、都市部、農村部、郊外エリア、大都市部、庭、四角い広場、広場、音楽ホール、ダウンタウン施設、解放施設、半開放施設、閉領域、電車プラットフォーム、電車駅、配給センター、倉庫、店、配給センター、貯蔵施設、地下空間、空間(例えば、地上部、宇宙)施設、フローティング施設、洞窟、トンネル施設、屋内施設、屋外施設、いくつかの壁/ドア/反射バリアを有する屋外施設、開放施設、セミオープン施設、自動車、トラック、バス、バン、コンテナ、船舶/ボート、潜水艦、列車、電車、飛行機、乗り物、移動ホーム、洞穴、トンネル、パイプ、チャネル、大都市圏、比較的高い建物がある繁華街エリア、谷、井戸、ダクト、経路、ガスライン、油管、水管、相互接続経路/アレイ/道路/チューブ/空洞/洞窟/パイプ様構造/空間/流体スペース、人体、動物のからだ、体腔、器官、骨、歯、軟組織、硬組織、堅い組織、非硬組織、血液/体液管、風管、空気ダクト、巣穴、などの領域である。場所は、室内空間、屋外空間であってもよく、場所は、空間の内側及び外側の両方を含んでもよい。例えば、場所は、建物の内側及び建物の外側の両方を含むことができる。例えば、場所は、1階または複数階を有するビルであり得、ビルの一部は、地下であり得る。建物の形状は、例えば、丸形、正方形、長方形、三角形、又は不規則な形状とすることができる。これらは単なる例である。本開示は、他のタイプの場所または空間におけるイベントを検出するために使用することができる。
【0217】
無線送信機(例えば、タイプ1デバイス)及び/または無線受信機(例えば、タイプ2デバイス)は、オブジェクトと共に移動し得る(例えば、前の移動及び/または現在の移動において)ポータブルデバイス(例えば、モジュール、またはモジュールを有するデバイス)に埋め込まれ得る。ポータブルデバイスは、有線接続(例えば、USB、マイクロUSB、ファイアワイヤ、HDMI、シリアルポート、パラレルポート、及び他のコネクタを介して)及び/または接続(例えば、Bluetooth、Bluetooth Low Energy (BLE)、WiFi、LTE、NFC、ZigBee)を使用して、オブジェクトと通信可能に結合され得る。ポータブルデバイスは、軽量な装置であってもよい。ポータブルは、電池、充電池及び/またはAC電源により電力を供給され得る。ポータブルデバイスは、非常に小さくてもよく(例えば、サブミリメートルスケール及び/またはサブセンチメートルスケールで)、及び/または小さくてもよい(例えば、コインサイズ、カードサイズ、ポケットサイズ、またはそれより大きい)。携帯装置は、大型で、サイズが大きく、及び/または、かさばる(例えば、設置された重機械)ことがある。ポータブルデバイスは、WiFiホットスポット、アクセスポイント、モバイルWiFi(MiFi)、USB/マイクロUSB/ファイアワイヤ/他のコネクタ付きドングル、スマートフォン、ポータブルコンピュータ、コンピュータ、タブレット、スマートデバイス、物のインターネット(IoT)デバイス、WiFi対応デバイス、LTE対応デバイス、スマートウォッチ、スマートガラス、スマートミラー、スマートアンテナ、スマートバッテリ、スマートライト、スマートペン、スマートリング、スマートドア、スマートウィンドウ、スマートクロック、スマートバッテリ、スマート札入れ、スマートベルト、スマートハンドバッグ、スマートクロス/ガーメント、スマートオーナメント、スマートパッケージング、スマートペーパー/ブック/マガジン/ポスター/印刷物/サイネージ/ディスプレイ/明るくされたシステム/照明システム、スマートキー/ツール、スマートブレスレット/チェーン/ネックレス/衣服/アクセサリ、スマートパッド/クッション、スマートタイル/ブロック/ブリック/建材/他の材料、 スマートゴミ缶/廃棄物容器、スマート食料キャリッジ/格納、スマートボール/ラケット、スマートチェア/ソファ/ベッド、スマート靴/履物/カーペット/マット/靴棚、スマート手袋/ハンドウェア/リング/ハンドウェア、スマートハット/帽子/化粧品/ステッカー/タトウ、スマートミラー、スマート玩具、スマートピル、スマート調理器具、スマートボトル/食品容器、スマートツール、スマートデバイス、IoTデバイス、WiFi対応デバイス、ネットワーク対応デバイス、3G/4G/5G/6G対応デバイス、UMTSデバイス、3GPPデバイス、GSMデバイス、EDGEデバイス、TDMAデバイス、FDMAデバイス、CDMAデバイス、WCDMAデバイス、TD−SCDMAデバイス、埋め込みデバイス、埋め込み可能なデバイス、エアコン、冷蔵庫、ヒータ、炉、家具、オーブン、調理デバイス、テレビ/セットトップボックス(STB)/DVDプレーヤー/オーディオプレーヤー/ビデオプレーヤー/リモコン、ハイファイ、オーディオデバイス、スピーカ、ランプ/ライト、壁、ドア、窓、屋根、瓦/屋根板/構造/屋根裏構造/デバイス/特徴/設置/固定具、芝刈り機/園具/工具/機械工具/ガレージ用具、ごみかん/コンテナ、20フィート/40フィートコンテナ、貯蔵容器、工場/生産/製造装置、修理工具、流体容器、機械、設置された機械、車両、カート、ワゴン、倉庫車両、自動車、自転車、オートバイ、ボート、船舶、飛行機、バスケット/箱/バッグ/バケット/容器、スマートプレート/カップ/ボウル/ポット/マット/器具/台所用具/台所用品/キッチンアクセサリ/キャビネット/テーブル/椅子/タイル/ライト/水道管/蛇口/ガスレンジ/オーブン/食器洗浄機/、などでありうる。ポータブルデバイスは、交換可能、交換不可能、再充電可能、及び/または非再充電可能であり得るバッテリを有し得る。ポータブルデバイスは、無線で充電されてもよい。ポータブルデバイスは、スマートペイメントカードであってもよい。ポータブルデバイスは、駐車場、高速道路、エンターテイメントパーク、または支払いを必要とする他の場所/施設で使用されるペイメントカードであってもよい。ポータブルデバイスは、上述のように、アイデンティティ(ID)/識別子を有することができる。
【0218】
イベントはTSCIに基づいて監視され得る。イベントは、オブジェクト(例えば、人及び/または疾病者)の転倒、回転、躊躇、休息、衝撃(例えば、人がサンドバッグ、ドア、窓、ベッド、椅子、テーブル、机、キャビネット、箱、別の人、動物、鳥、飛行、テーブル、椅子、ボール、ボウリングボール、テニスボール、フットボール、サッカーボール、野球、バスケットボール、バレーボールをたたく)、二体作用(例えば、バルーンを放置し、魚を捕らえ、粘土を成形し、論文を書き、人がコンピュータに入力する)、自動車をガレージで移動させる、スマートフォンを携帯し、空港/モール/官庁/オフィス/などを歩き回る人、周りを移動する自律移動可能なオブジェクト/機械(例えば、バキュームクリーナー、ユーティリティービークル、カー、ドローン、自走自動車)などのオブジェクト関連イベントであり得る。タスクまたは無線スマートセンシングタスクは、オブジェクト検出、存在検出、近接検出、オブジェクト認識、アクティビティ認識、オブジェクト検証、オブジェクト計数、日常アクティビティモニタリング、健康モニタ、生命兆候モニタリング、健康状態モニタリング、ベビーモニタリング、老人モニタリング、睡眠モニタリング、睡眠段階モニタリング、歩行モニタリング、動きモニタリング、ツール検出、ツール認識、ツール検証、患者検出、患者モニタリング、患者検証、機械検出、機械検証、人間検出、人間認識、人間検証、ベビー検出、ベビー認識、ベビー検証、人間呼吸検出、人間呼吸認識、人間呼吸推定、人間呼吸検証、人間心拍検出、人間心拍認識、人間心拍推定、人間心拍検証、転倒検出、転倒認識、転倒推定、転倒検証、感情検出、感情認識、感情推定、感情検証、動き検出、動き度合い推定、運動認識、動き推定、動作検証、周期的運動検出、周期的運動推定、周期的運動検証、繰り返し動き検出、周期運動認識、反復運動推定、反復運動検証、静止運動認識、静止運動検出、静止運動推定、静止運動検証、周期定常(cycrostationary)運動検出、周期定常運動認識、周期定常運動推定、周期定常運動検証、過渡運動検出、過渡運動認識、過渡運動推定、過度運動検証、トレンド検出、トレンド認識、トレンド推定、トレンド検証、呼吸検出、呼吸認識、呼吸推定、ヒト生体計測検出、ヒト生体計測学的認識、ヒト生体計測学的推定、ヒト生体計測学的検証、環境情報学的検出、環境情報学的認識、環境情報学的推定、環境情報学的検証、歩容検出、歩容認識、歩容推定、歩容検証、ジェスチャ検出、ジェスチャ認識、ジェスチャ推定、ジェスチャ検証、機械学習、教師有り学習、教師なし学習 半教師有り学習、クラスタ化、特徴抽出、特徴トレーニング、主成分分析、固有値分解、周波数分解、時間分解、 時間−周波数分解、函数分解、他の分解、トレーニング、識別トレーニング、教師有りトレーニング、教師なしトレーニング、半教師ありトレーニング、ニューラルネットワーク、突然の動きの検出、転倒検出、危険検出、生命−脅威検出、規則的運動検出、静止運動検出、周期定常運動検出、侵入検出、怪しい動き検出、セキュリティ、安全性モニタリング、ナビゲーション、ガイダンス、地図ベースの処理、地図ベースの補正、モデルベースの処理/補正、不規則性検出、位置特定、部屋センシング、追跡、複数オブジェクト追跡、室内追跡、室内位置決め、室内ナビゲーション、エネルギー管理、電力伝送、無線電力伝送、オブジェクト計数、パーキングガレージにおける自動車追跡、デバイス/システムの起動(例えば、防犯システム、アクセスシステム、警報、サイレン、スピーカ、テレビ、娯楽システム、カメラ、ヒータ/空調(HVAC)システム、換気システム、照明システム、ゲームシステム、コーヒーマシン、調理器具、クリーニング装置、ハウスキーピング装置)、幾何学的推定 、拡張現実、無線通信、データ通信、信号ブロードキャスト、ネットワーキング、調整、管理、暗号化、保護、クラウド計算、他の処理及び/または他のタスク、を含んでもよい。タスクは、タイプ1デバイス、タイプ2デバイス、別のタイプ1デバイス、別のタイプ2デバイス、近くの装置、ローカルサーバ(ハブ装置など)、エッジサーバ、クラウドサーバ、及び/または別の装置によって実行できる。 このタスクは、タイプ1デバイスとタイプ2デバイスの任意の対の間のTSCIに基づくことができる。タイプ2デバイスは、タイプ1デバイスであってもよく、逆もまた同様である。タイプ2デバイスは、タイプ1デバイスの役割(例えば、機能性)を、一時的に、連続的に、散発的に、同時に、及び/または同時的に、及び/またはその逆に、果たし得る。タスクの第1の部分は、前処理、処理、信号調整、信号処理、後処理、散発的/連続的/同時/同時的/動的/適応的/オンデマンド的/必要に応じた処理、較正、ノイズ除去、特徴抽出、コーディング、暗号化、変換、マッピング、動き検出、動き推定、動作変化検出、動きパターン検出、動きパターン推定、動きパターン認識、バイタルサイン検出、バイタルサイン推定、バイタルサイン認識、周期的動き検出、周期的動き推定、反復動作検出/推定、呼吸数検出、呼吸数推定、呼吸パターン検出、呼吸パターン推定、呼吸パターン認識、心拍検出、心拍推定、心臓パターン検出、心臓パターン推定、心臓パターン認識、ジェスチャ検出、ジェスチャ推定、ジェスチャ認識、速度検出、速度推定、オブジェクト位置決め、オブジェクト追跡、ナビゲーション、加速度推定、加速度検出、転倒検出、変化検出、侵入者(及び/または不法行為)検出、ベビー検出、ベビーモニタリング、患者モニタリング、オブジェクト認識、無線電力伝送、及び/または無線充電、のうちの少なくとも1つを含み得る
【0219】
タスクの第2の部分は、スマートホームタスク、スマートオフィスタスク、スマートビルディングタスク、スマートファクトリータスク(例えば、機械または組立ラインを用いた製造)、スマート物のインターネット(IoT)タスク、スマートシステムタスク、スマートホームオペレーション、スマートオフィスオペレーション、スマートビルディングオペレーション、スマート製造オペレーション(例えば、機械/組立ラインへの供給品/部品/原材料の移動)、IoTオペレーション、スマートシステムオペレーション、ライトの点灯、ライトの消灯、部屋、領域、及び/または場所の少なくとも1つでの光の制御、サウンドクリップの再生、部屋、領域、及び/または場所の少なくとも1つでのサウンドクリップの再生、ウェルカム、グリーティング、別れ、第1のメッセージ、及び/またはタスクの第1の部分に関連する第2のメッセージのうちの少なくとも1つのサウンドクリップの再生すること、家電製品をオンにする、家電製品をオフにする、 部屋、領域、及び/または場所の少なくとも1つにおいて電気製品を制御すること、電気システムをオンにすること、電気システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて電機システムを制御すること、防犯システムをオンにすること、防犯システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて防犯システムを制御すること、機械システムをオンにすること、機械システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて機械システムを制御すること、及び/または空調システム、暖房システム、換気システム、照明システム、暖房装置、ストーブ、エンターテイメントシステム、ドア、塀、窓、ガレージ、コンピュータシステム、ネットワーク化された装置、ネットワーク化されたシステム、家電機器、事務機器、照明装置、ロボット(例えば、ロボットアーム)、スマートビークル、スマートマシン、 アセンブリライン、スマートデバイス、物のインターネット(IoT)デバイス、スマートホームデバイス、及び/またはスマートオフィスデバイスの少なくとも1つを制御すること、のうちの少なくとも1つを含みうる。
【0220】
このタスクは、ユーザの帰宅を検知し、ユーザの外出を検知し、1つの部屋から別の部屋へ移動するユーザを検知し、窓/ドア/ガレージドア/ガレージドア/ブラインド/カーテン/パネル/ソーラーパネル/サンシェードをコントロール/ロック/解除/オープン/クローズ/部分的にオープンすることを検知し、ペットを検知し、ユーザが何か(例えば、ソファで寝ていること、寝室で寝ていること、トレッドミルで走ること、調理していること、ソファで座っていること、TVを見ること、台所で食事をすること、食堂で食事を食べること、階段を上り下りすること、外出/戻ること、洗面所にいること)することを検出/監視し、ユーザ/ペットの位置を監視/検知し、検知すると自動的に何か(例えば、メッセージを送ること、人に知らせること/報告すること)、を行い、ユーザを検知するとユーザに対して何かを行うこと、ライトをオン/オフ/暗くすること、音楽/ラジオ/ホームエンターテイメントシステムをオン/オフし、テレビ/ハイファイ/セットトップボックス(STB)/ホームエンターテイメントシステム/スマートスピーカ/スマートデバイスをオン/オフ/調整/制御し、エアコンシステムをオン/オフ/調整し、換気システムをオン/オフ/調整し、暖房システムをオン/オフ/調整し、カーテン/ライトシェードを調整/コントロールし、コンピュータをオン/オフ/起動し、コーヒーマシン/温水ポットをオン/オフ/プレヒート/制御し、クッカー/オーブン/電子レンジ/他の調理機器をオン/オフ/プレヒート/制御し、温度をチェック/調整し、天気予報をチェックし、電話メッセージボックスをチェックし、メールのチェックをし、システムをチェックし、システムを制御/調整し、防犯システム/ベビーモニタをチェック/制御/用意/解除し、冷蔵庫をチェック/制御し、報告すること(例えば、グーグルホーム、アマゾンエコーなどのスピーカを通して、ウェブページ/電子メール/メッセージングシステム/通知システムを介し。)、を含みうる。
【0221】
例えば、ユーザが自宅に車内に到着した場合、そのタスクは、ユーザまたはその乗り物が近づいていることを自動的に検出し、検出時にガレージドアを開き、ユーザがガレージに近づくにつれて私設車道/ガレージにライトを点灯させ、空調装置/ヒータ/ファンをオンさせるなどであってもよい。ユーザが家に入るにつれて、そのタスクは、自動的に、入口ライトをオンにし、私設車道/ガレージのライトをオフにし、ユーザをウェアカムするグリーティングメッセージを発し、音楽をオンにし、ラジオをオンにし、ユーザの好きなラジオニュースチャネルに合わせて調整し、カーテン/ブラインドを開き、ユーザの気分を監視し、ユーザの気分またはユーザの毎日のカレンダー上の現在/差し迫ったイベント(例えば、ユーザが1時間でガールフレンドと食事する予定であるため、ロマンチックな照明及び音楽を行う)に応じて照明及び音環境を調整し、ユーザが朝に準備した食品をマイクロウェーブで暖め、ハウス内の全てのシステムの診断チェックを行い、明日の作業のための天気予報をチェックし、ユーザの興味のあるニュースをチェックし、ユーザのカレンダー、to−doリスト。リマインダをチェックし、電話応答システム、メッセージングシステム、電子メールをチェックし、対話システム/音声合成を使って口頭報告を伝え、ユーザの母の誕生日を思い出させる(例えば、スピーカ、ハイファイ、音声合成、サウンド、声、音楽、歌、音場、背景音場、対話システムなどの聞こえるツールを使い、TV/エンターテイメントシステム/コンピュータ/ノートブック/スマートパッド/ディスプレイ/光/色/明るさ/パターンなどの視覚ツールを使用し、触覚ツール/仮想現実ツール/ジェスチャ/ツールを使用し、スマートデバイス/器具/材料/家具/備品を使用し、ウェブツール/サーバ/ハブデバイス/クラウドサーバ/フォグサーバ/エッジサーバ/ホームネットワーク/メッシュネットワークを使用し、メッセージングツール/通知ツール/通信ツール/スケジューリングツール/電子メールを使用し、ユーザインターフェース/GUIを使用し、香り/匂い/芳香/味を使用し、神経ツール/神経システムツールを使用し、組合せを使用し)、報告書を作成し、報告書を提供する(例えば、上述のように思い出させるためのツールを使用する)。タスクは、事前に空調装置/ヒータ/換気システムを起動したり、事前にスマートサーモスタットの温度設定を調整したりすることがある。ユーザが玄関からリビングに移動するとき、そのタスクは、リビングルームライトを点灯し、リビングルームカーテンを開き、窓を開き、ユーザの背後にある玄関の光を消し、TVとセットトップボックスをオンにし、セットトップボックスをオンにし、TVをユーザの好みのチャネルに設定し、ユーザの好み及び条件/状態に応じて器具を調整する(例えば、照明を調整し、ロマンチックな雰囲気を構築するために音楽を選択/再生する)ことなどであり得る。
【0222】
別の例は、以下であり得る。ユーザが朝、目を覚ましたとき、そのタスクは、ベッドルーム内を動き回るユーザを検出し、ブラインド/カーテンを開き、窓を開き、目覚まし時計をオフにし、室内温度プロファイルを夜間温度プロファイルから昼間温度プロファイルに調整し、ベッドルームライトをオンにし、ユーザがトイレに近づくにつれてトイレライトをオンにし、ラジオまたはストリーミングチャネルをチェックし、朝のニュースを再生し、コーヒーマシンをオンにし、水を予熱し、防犯システムをオフにするなどすることであり得る。ユーザがベッドルームから台所へ歩くとき、そのタスクは、台所及び廊下灯を点灯させ、ベッドルーム及びトイレの照明を消し、音楽/メッセージ/リマインダをベッドルームから台所に移動させ、台所のTVを点灯させ、TVを朝のニュースチャネルに変更し、台所ブラインドを下げ、新鮮な空気をもたらすために台所窓を開け、ユーザがバックヤードをチェックするためにバックドアを解錠し、台所の温度設定を調整することなどであり得る。別の例は、以下であり得る。ユーザが仕事のために家から離れるとき、そのタスクは、ユーザが離れることを検出し、別れをし、及び/または、良い一日を過ごすようにとメッセージを発し、ガレージドアを開閉し、ガレージ灯及び私設車道灯をオン/オフにし、エネルギーを節約するためにオフ/暗くし(ユーザが失敗した場合にのみ)、全ての窓/ドアを閉じ/ロックし(ユーザが失敗した場合にのみ)、器具(特に、ストーブ、オーブン、電子レンジ)をオフにし、侵入者に対して家の防護のために家の防犯システムをオン/装備し、エネルギーを節約するために「家から離れた」プロファイルに空調/暖房/換気システムを調整し、警告/報告/更新をユーザのスマートフォンに送るなどであり得る。
【0223】
動きは、動きなし、休息の動き、動きのない動作、動き、場所/位置の変化、決定論的動き、過渡的動き、転倒動き、繰り返し動き、周期的動き、疑似周期的動き、呼吸に関連する周期的/繰り返し動き、心拍に関連する周期的/繰り返し動き、生物に関連する周期的/繰り返しの動き、機械に関連する周期的/繰り返し動き、人工物体に関連する周期的/繰り返し動き、自然に関連する周期的/繰り返しの動き、過渡的要素及び周期的要素に関連する複雑な動き、反復動き、非決定論的動き、確率論的動き、カオス動き、ランダムな動き、非決定論的要素及び決定論的要素を有する複雑な動き、定常ランダム動き、疑似定常ランダム動き、周期定常ランダム動き、非定常ランダム動き、周期的自己相関関数(ACF)を有する非定常ランダム動き、期間に対する周期的ACFを伴ったランダム動き、期間に対する疑似定常的なランダム動き、瞬間ACFが期間に対して疑似周期的/反復的要素を持つランダム動き、機械運動、メカニカルな動き、ビークルの動き、ドローンの動き、空気関連の動き、風関連の動き、天気関連動作、水関連動作、流体関連動作、地面関連運動、磁気特性の変化、地表面下運動、地震動、植物の動き、動物の動き、動物の運動、人体の運動、正常な動き、異常な動き、危険な動き、警告動作、疑わしい動き、雨、火災、洪水、津波、爆発、衝突、差し迫った衝突、人体運動、頭部運動、顔面運動、眼運動、口腔運動、舌運動、首運動、指の動き、手の動き、腕の動き、肩の動き、体動、胸の動き、腹部の動き、腰の運動、脚の動き、足の動き、体関節運動、膝の動き、ひじの動き、上体の動き、下半身の動き、皮膚の動き、皮下の動き、皮下組織運動、 血管の動き、静脈運動、臓器運動、心臓の動き、肺の動き、胃ぼ動き、腸の動き、便通運動、摂食運動、呼吸運動、顔の表情、眼の表情、口の表情、声の動き、歌う動き、摂食運動、ジェスチャ、手のジェスチャ、腕のジェスチャ、キーストローク、タイピングストローク、ユーザインターフェースジェスチャ、マンマシン相互作用、歩容、ダンスの動き、協調運動、及び/または協調身体運動、のうちの少なくとも1つを含んでもよい。
【0224】
タイプ1デバイス及び/または任意のタイプ2受信機の異種ICは、低雑音増幅器(LNA)、電力増幅器、送信−受信スイッチ、メディアアクセスコントローラ、ベースバンド無線機、2.4GHz無線機、3.65GHz無線機、4.9GHz無線機、5GHz無線機、5.9GHz無線機、6GH未満の無線機、60GHz無線機、60GHz未満無線機及び/または別の無線機を含み得る。異種ICは、プロセッサと、プロセッサと通信可能に結合されたメモリと、プロセッサによって実行されるメモリに記憶された命令のセットとを含み得る。IC及び/または任意のプロセッサは、汎用プロセッサ、特殊目的プロセッサ、マイクロプロセッサ、マルチプロセッサ、マルチコアプロセッサ、並列プロセッサ、CISCプロセッサ、RISCプロセッサ、マイクロコントローラ、中央処理ユニット(CPU)、グラフィカルプロセッサユニット(GPU)、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、埋め込みプロセッサ(例えばARM)、論理回路、他のプログラマブル論理デバイス、ディスクリートロジック及び/または組み合わせ、のうちの少なくとも1つを含み得る。異種ICは、ブロードバンドネットワーク、無線ネットワーク、モバイルネットワーク、メッシュネットワーク、セルラーネットワーク、無線ローカルエリアネットワーク(WLAN)、ワイドエリアネットワーク(WAN)、メトロポリタネリアネットワーク(MAN)、WLAN標準、WiFi、LTE、LTE−A、LTE−U、802.11規格、802.11a、802.11b、802.11g、802.11n、802.11ac、802.11af、802.11ah、802.11ax、802.11ay、メッシュネットワーク標準802.16、3G、3.5G、4G、ビヨンド4G、4.5G、6G、7G、8G、9G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD−SCDMA、Bluetooth、Bluetooth Low−Energy (BLE)、NFC、Zigbee、WiMax、その他の無線ネットワークプロトコル、をサポートしうる。
【0225】
プロセッサは、汎用プロセッサ、特別目的プロセッサ、マイクロプロセッサ、マイクロコントローラ、組込みプロセッサ、デジタルシグナルプロセッサ、中央処理装置、グラフィカル処理ユニット(GPU)、マルチプロセッサ、マルチコアプロセッサ、及び/またはグラフィック能力を有するプロセッサ、及び/または組み合わせ、を含むことができる。メモリは、揮発性、不揮発性、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、プログラム可能ROM(EPROM)、電気的に消去可能なプログラマブルROM(EEPROM)、ハードディスク、フラッシュ・メモリ、CD−ROM、DVD−ROM、磁気記憶装置、光記憶装置、有機記憶装置、記憶システム、記憶ネットワーク、ネットワーク記憶装置、クラウド記憶装置、エッジ記憶装置、ローカル記憶装置、外部記憶装置、内部記憶装置、または技術的に知られている他の形態の非一時的記憶媒体であってもよい。方法のステップに対応する命令のセット(マシン実行可能コード)は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで直接実施可能である。指示のセットは、組み込み、プリロード、ブート時にロード、オンザフライでロード、オンデマンドでロード、プリインストール、インストール、及び/またはダウンロードすることができる。
【0226】
プレゼンテーションは、視覚的な方法(例えば、視覚、グラフィックス、テキスト、シンボル、色、シェード、ビデオ、アニメーション、サウンド、音声、音響などの組み合わせを使用する)、グラフィカルな方法(例えば、GUI、アニメーション、ビデオを使用する)、テキスト的な方法(例えば、テキスト付ウェブページ、メッセージ、アニメーションテキスト)、記号的な方法(例えば、絵文字、サイン、手のジェスチャ)、または機械的な方法(例えば、バイブレーション、アクチュエータの動き、触覚など)によるプレゼンテーションであってもよい。
【0227】
この方法に関連する計算ワークロードは、プロセッサ、タイプ1異種無線装置、タイプ2異種無線装置、ローカルサーバ(例えば、ハブ装置)、クラウドサーバ、及び他のプロセッサの間で共有される。
【0228】
操作、前処理、処理及び/または後処理は、データ(例えば、TSCI、自己相関、TSCIの特徴)に適用され得る。操作には、前処理、処理及び/または後処理がありうる。前処理、処理及び/または後処理は、操作であってもよい。操作は、前処理、処理、後処理、スケーリング、信頼係数の計算、視線(LOS)量の計算、非LOS (NLOS)量の計算、LOS及びNLOSを含む量の計算、単一リンク(例えば、パス、通信経路、送信アンテナと受信アンテナの間のリンク)量の計算、多重リンクを含む量の計算、オペランドの関数を計算すること、フィルタリング、線形フィルタリング、非線形フィルタリング、フォールディング、グルーピング、エネルギー計算、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、メジアンフィルタリング、ランクフィルタリング、四分位フィルタリング、パーセンタイルフィルタリング、有限インパルス応答(FIR)フィルタリング、無限インパルス応答(IIR)フィルタリング、移動平均(MA)フィルタリング、自己回帰(AR)フィルタリング、自己回帰移動平均(ARMA)フィルタリング、選択フィルタリング、適応フィルタリング、補間、デシメーション、サブサンプリング、アップサンプリング、リサンプリング、時間補正、時間ベース補正、位相補正、大きさ補正、位相洗浄、振幅洗浄、マッチドフィルタリング、エンハンスメント、復元、ノイズ除去、スムージング、信号調整、エンハンスメント、復元、線形変換、非線形変換、逆変換、周波数変換、逆周波数変換、フーリエ変換(FT)、離散時間FT (DTFT)、離散FT(DFT)、高速FT(FFT)、ウェーブレット変換、ラプラス変換、ヒルバート変換、ハダマール変換、トリゴノメトリック変換、シン変換、コサイン変換、DCT、2のべき乗変換、スパース変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディングと組み合わせた変換、サイクリックパディング、パディング、ゼロパディング、特徴抽出、分解、射影、直交射影、非直交射影、過剰射影(oecomlee ojecion)、固有分解、特異値分解(SVD)、原理成分分析(ICA)、独立成分分析(ICA)、グループ化、仕分け、閾値化、ソフト閾値化、ハード閾値化、クリッピング、ソフトクリッピング、一次微分、二次微分、高次微分、畳み込み、乗算、分割、加算、減算、積分、最大化、最小化、最小二乗誤差、再帰最小二乗、制約付き最小二乗法、バッチ最小二乗、最小絶対偏差、最小平均二乗偏差、最小絶対偏差、局所最大化、局所最小化、コスト関数の最適化、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師有り学習、教師なし学習、半教師あり学習、他のTSCIとの比較、類似度スコア計算、量子化、ベクトル量子化、マッチング追跡、圧縮、暗号化、符号化、記憶、送信、正規化、時間正規化、周波数領域正規化、分類、クラスタリング、ラベリング、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、再マッピング、拡張、記憶、検索、送信、受信、表現、結合、合併すること、分割、追跡、監視、マッチドフィルタリング、カルマンフィルタリング、粒子フィルタリング、内挿、外挿、ヒストグラム推定 、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表現、合併、結合、分割、スクランブリング、エラー保護、前方エラー訂正、何もしない、時間変動処理、調整平均化、加重平均化、算術平均、幾何平均、調和平均、選択された周波数にわたる平均化、アンテナリンクにわたる平均化、論理的操作、置換、組合せ、ソーティング、AND、OR、XOR、結合、交差、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆、ノルム、距離、及び/または別の演算、を含みうる。操作は、前処理、処理、及び/または後処理であり得る。動作は、複数の時系列または関数上で共同して適用され得る。
【0229】
関数(例えばオペランドの関数)は、スカラー関数、ベクトル関数、離散関数、連続関数、多項式関数、特性、特徴、大きさ、位相、指数関数、対数関数、三角関数、超越関数、論理関数、線形関数、代数的関数、非線形関数、区分関数、実数関数、複素関数、ベクトル値関数、逆関数、導関数、積分関数、円形関数、他の関数の関数、1対1関数、1対多関数、多対1関数、多対多関数、ゼロクロス、絶対関数、指標関数、平均、モード、中央値、範囲、統計、ヒストグラム、分散、標準偏差、変化の尺度、拡大、分散、偏差、ダイバージェンス、範囲、四分位範囲、全偏差、絶対偏差、算術平均、幾何平均、調和平均、トリム平均、パーセンタイル、二乗、立方、平方根、パワー、サイン、コサイン、タンジェント、コタンジェント、楕円関数、放物線関数、双曲線関数、ゲーム関数、ゼータ関数、絶対値、閾値、制限関数、フロア関数、丸め関数、符号関数、量子化、区分定数関数、合成関数、関数の関数、演算で処理される時間関数(例えばフィルタリング)、確率論的関数、推計学的関数、決定論的関数、周期関数、反復関数、変換、周波数変換、逆周波数変換、離散時間変換、ラプラス変換、ヒルベルト変換、正弦変換、余弦変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、スパース変換、射影、分解、主成分分析(PCA)、ニューラルネットワーク、特徴抽出、移動関数、時系列の隣接項目の移動ウィンドウの関数、フィルタリング関数、畳み込み、平均関数、ヒストグラム、分散/標準偏差関数、統計関数、短時間変換、離散変換 、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、固有値分解、固有値、特異値分解(SVD)、特異値、直交分解、マッチング追求、スパース変換、任意の分解、グラフベース処理、グラフベース変換、グラフ信号処理、分類、クラス/グループ/カテゴリの識別、ラベリング、学習、機械学習、検出、推定、特徴抽出、学習ネットワーク、特徴抽出、雑音除去、信号強調、符号化、暗号化、マッピング、再マッピング、ベクトル量子化、ローパスフィルタリング、ハイパスフィルタリング、バンドパスフィルタリング、マッチドフィルタリング、カルマンフィルタリング、前処理、後処理、粒子フィルタリング、FIRフィルタリング、IIRフィルタリング、自己回帰(AR)フィルタリング、適応的フィルタリング、一次導関数、高次導関数、積分、ゼロ交差、スムージング、メディアンフィルタリング、モードフィルタリング、サンプリング、ランダムサンプリング、リサンプリング関数、ダウンサンプリング、ダウンコンバーティング、アップサンプリング、アップコンバーティング、内挿、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、統計学、 短期統計、長期統計、自己相関関数、相互相関、積率母関数、時間平均、加重平均、特殊関数、ベッセル関数、誤差関数、相補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数など、を含みうる。本開示のステップ(または各ステップ)には、機械学習、トレーニング、識別トレーニング、ディープラーニング、ニューラルネットワーク、連続時間処理、分散計算、分散記憶、GPU/DSP/コプロセッサ/マルチコア/マルチプロセッシングを使用するアクセラレーション、が適用され得る。
【0230】
周波数変換は、フーリエ変換、ラプラス変換、アダマール変換、ヒルベルト変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、ゼロパディング及び変換の組み合わせ、ゼロパディングを有する電力フーリエ変換、及び/または別の変換を含んでもよい。変換の高速バージョン及び/または近似バージョンが実行され得る。変換は、浮動小数点、及び/または固定小数点演算を使用して行うことができる。
【0231】
逆周波数変換は、逆フーリエ変換、逆ラプラス変換、逆アダマール変換、逆ヒルベルト変換、逆サイン変換、逆コサイン変換、逆三角変換、逆ウェーブレット変換、逆整数変換、逆2のべき乗変換、ゼロパディング及び変換の組み合わせ、ゼロパディングを有する逆フーリエ変換、及び/または別の変換を含むことができる。変換の高速バージョン及び/または近似バージョンが実行され得る。変換は、浮動小数点、及び/または固定小数点演算を使用して行うことができる。
【0232】
TSCIからの量/特徴を計算することができる。量は、運動、位置、マップ座標、高さ、速度、加速度、移動角度、回転、寸法、体積、時間トレンド、ワンタイムパターン、反復パターン、発展パターン、時間パターン、相互に除外されるパターン、関連/相関パターン、原因−効果、短期/長期相関、傾向、傾き、好み、統計、典型的挙動、非典型的挙動、時間トレンド、時間プロファイル、周期的運動、反復運動、反復、傾向、変化、急激な変化、ゆるやかな変化、頻度、過渡的、呼吸、歩容、行動、イベント、疑わしいイベント、危険イベント、警告イベント、警告、信念、近接、衝突、電力、信号、信号電力、信号強度、信号量、受信信号強度指標(RSSI)、信号振幅、信号位相、信号周波数成分、信号周波数帯域成分、チャネル状態情報(CSI)、マップ、時間、周波数、時間−周波数、分解、直交分解、非直交分解、追跡、呼吸、動悸、統計パラメータ、心肺統計/分析(例えば、出力応答)、日常活動統計/分析、慢性疾患統計/分析、医療統計/分析、早期(または瞬間または同時または遅延)指示/示唆/兆候/標識/検証器/検出/症状/条件/状態、生体計測、ベビー、患者、機械、デバイス、温度、車両、駐車場、場所、リフト、エレベータ、空間、道路、流体流、家庭、室、事務所、家屋、建物、倉庫、保管、システム、換気、ファン、パイプ、ダクト、人々、人間、車、ボート、トラック、飛行機、ドローン、ダウンタウン、群集、衝動的イベント、周期定常、環境、振動、材料、表面、3次元、2次元、局所、全体、存在、及び/または他の測定可能な量/変数、のうちの少なくとも1つの統計量を含みうる。
【0233】
スライディングタイムウィンドウは、時間変化するウィンドウ幅を有し得る。迅速な獲得を可能にするためには、最初はより小さくてもよく、定常状態サイズまで経時的に増加してもよい。定常状態サイズは、監視される周波数、反復運動、過渡的運動、及び/またはSTIに関連し得る。定常状態においてさえ、ウィンドウサイズは、電池寿命、電力消費、利用可能な計算パワー、対象の量の変化、監視される動きの性質などに基づいて、適応的に(及び/または動的に)変化され得る(例えば、調整され、変化され、修正され)。
【0234】
隣接する時間事例における2つのスライディングタイムウィンドウ間の時間シフトは、時間にわたって(経時的に)一定/可変/局所的に適応/動的に調節され得る。より短い時間シフトが使用される場合、任意の監視の更新は、より頻繁であり得、これは、迅速に変化する状況、オブジェクトの動き、及び/またはオブジェクトのために使用され得る。より長い時間シフトは、より遅い状況、オブジェクトの動き、及び/またはオブジェクトのために使用され得る。ウィンドウ幅/サイズ及び/または時間シフトは、ユーザの要求/選択に応じて変更(例えば、調整、変更、修正)され得る。時間シフトは、自動的に(例えば、プロセッサ/コンピュータ/サーバ/ハブ装置/クラウドサーバによって制御されるように)及び/または適応的に(及び/または動的に)変更することができる。
【0235】
関数(例えば、自己相関関数、自己共分散関数、相互相関関数、相互共分散関数、パワースペクトル密度、時間関数、周波数ドメイン関数、周波数変換)の少なくとも1つの特性(例えば、特性値、または特性点)は、(例えば、オブジェクト追跡サーバ、プロセッサ、タイプ1異種デバイス、タイプ2異種デバイス、及び/または別の装置によって)決定され得る。この関数の少なくとも1つの特性は、最大、最小、極値、局所的最大値、局所的最小値、局所的極値、正の時間オフセットを有する局所的極値、正の時間オフセットを有する第1の局所的極値、正の時間オフセットを有するn番目の局値、負の時間オフセットを有する第1の局所的極値、制限された最大、制限された最小、制限された極値、有意な最大、有意な最小、有意な極値、勾配、導関数、高次の導関数、最大勾配、最小勾配、局所最大勾配、正の時間オフセットを有する局所的最大勾配、局所的最小勾配、制限された最大の勾配、制限された最小勾配、最大の高次の導関数、最小の高次の導関数、制限された高次の導関数、ゼロ交差、正の時間オフセットを有するゼロ交差、正の時間オフセットを有するn番目のゼロ交差、負の時間オフセットを有するゼロ交差、負の時間オフセットを有するn番目のゼロ交差、制限されたゼロ交差、勾配のゼロ交差、高次の導関数の勾配のゼロ交差、及び/またはその他の特性、を含みうる。関数の少なくとも1つの特性に関連する関数の少なくとも1つの引数が、識別され得る。ある量(例えば、オブジェクトの空間的−時間的情報)は、関数の少なくとも1つの引数に基づいて決定され得る。
【0236】
特性(例えば場所におけるオブジェクトの動き特性)は、瞬時特性、短期特性、反復特性、繰返し特性、履歴、増分特性、変化特性、偏差特性、位相、振幅、度合い、時間特性、周波数特性、時間周波数特性、分解特性、直交分解特性、非直交分解特性、決定論的特性、確率特性、推計学的な特性、自己相関関数(ACF)、平均、分散値、標準偏差、変化の尺度、広がり、ばらつき、偏差、ダイバージェンス、範囲、四分位数範囲、全変動、絶対偏差、全偏差、統計、持続時間、時期、トレンド、周期特性、反復特性、長期特性、履歴特性、平均特性、最新特性、過去特性、将来特性、予測特性、位置、距離、高さ、速度、方向、ベロシティ、加速度、加速度の変化、角度、角速度(angular speed)、角速度(angular velocity)角速度の変化、オブジェクトの 角加速度、角加速度の変化、オブジェクトの方向、回転の角度、オブジェクトの変形、オブジェクトの形状、オブジェクトの形状の変化、オブジェクトの大きさの変化、オブジェクトの構造の変化、及び/またはオブジェクトの特性の変化、のうちの少なくとも1つを含む。
【0237】
関数の少なくとも1つの極大値及び少なくとも1つの極小値が識別され得る。少なくとも1つの局所信号対雑音比類似(SNR類似)パラメータは、隣接する極大値及び極小値の各対に対して計算されてもよい。SNR類似パラメータは、極小値の同じ量にわたる極大値の量(例えば、電力、大きさ)の分数(fraction)の関数(例えば、線形、対数、指数関数、単調関数)であり得る。それはまた、極大値の量と極小値の同じ量との間の差の関数であり得る。有意な局所ピークを識別または選択することができる。各有意な局所ピークは、閾値T1より大きいSNR類似パラメータを有する極大、及び/または閾値T2より大きい振幅を有する極大であり得る。周波数領域内の少なくとも1つの極小値及び少なくとも1つの極小値は、持続性に基づくアプローチを使用して識別/計算され得る。
【0238】
選択された有意な局所的ピークのセットは、選択基準(例えば、品質基準、信号品質状態)に基づいて、識別された有意な局所的ピークのセットから選択され得る。オブジェクトの特性/STIは、選択された有意な局所的ピークのセット及び選択された有意な局所的ピークのセットに関連する頻度値(frequency values)に基づいて計算され得る。1つの例において、選択基準は、範囲内の最も強いピークを選択することに常に対応し得る。最も強いピークが選択されてもよいが、選択されていないピークは、依然として有意であり得る(むしろ強い)。
【0239】
未選択の有意なピークは、将来のスライディングタイムウィンドウにおける将来の選択において使用するための「予約」ピークとして保存及び/または監視され得る。一例として、経時的に一貫して現れる特定のピーク(特定の周波数における)が存在し得る。最初は、有意であっても選択されない場合がある(他のピークがより強くなる可能性があるため)。しかし、後の時間には、ピークがより強く、より支配的になり、選択され得る。「選択」となった場合は、時間的に逆トレースされ、有意であるが選択されていない早い時期に「選択」されたとすることができる。このような場合、逆トレースされたピークは、早い時期に、以前に選択されたピークを置き換えることができる。置換されたピークは、比較的弱いピーク、または時間的に分離して現れる(すなわち、時間的に短時間のみ現れる)ピークであり得る。
【0240】
その他の例では、選択基準は、範囲内の最も強いピークを選択することに対応しない場合がある。その代わりに、ピークの「強さ」だけでなく、過去に起こった可能性のあるピーク、特に長い間識別されたピークの「トレース」を考慮してもよい。例えば、有限状態機械(FSM)が使用される場合、それは、FSMの状態に基づいてピークを選択し得る。決定閾値は、FSMの状態に基づいて適応的に(及び/または動的に)計算され得る。
【0241】
類似性スコア及び/または成分類似性スコアは、TSCIの一対の時間的に隣接するCIに基づいて(例えば、サーバ(例えば、ハブ装置)、プロセッサ、タイプ1デバイス、タイプ2デバイス、ローカルサーバ、クラウドサーバ、及び/または別の装置によって)計算され得る。対は、同じスライディングウィンドウまたは2つの異なるスライディングウィンドウから得られ得る。類似性スコアはまた、二つの異なるTSCIからの一対の、時間的に隣接しているか、それほど隣接していない、CIに基づいてもよい。類似性スコア及び/または成分類似性スコアは、時間反転共鳴強度(time reversal resonating strength(TRRS))、相関、相互相関、自己相関、相関インジケータ、共分散、相互共分散、自己共分散、2つのベクトルの内積、距離スコア、ノルム、メトリック、品質メトリック、信号品質条件、統計特性、識別スコア、ニューラルネットワーク、ディープラーニングネットワーク、機械学習、トレーニング、識別、加重平均、前処理、ノイズ除去、信号調整、フィルタリング、時間補正、時間調整、位相オフセット補償、変換、成分ごとの操作、特徴抽出、有限状態機械、及び/または別のスコア、でありうる/含み得る。特性及び/またはSTIは、類似性スコアに基づいて決定され/計算され得る。
【0242】
任意の閾値は、有限状態機械によって予め決定され、適応的に(及び/または動的に)決定され、及び/または決定され得る。適応的決定は、時間、空間、位置、アンテナ、経路、リンク、状態、バッテリ寿命、バッテリ残量、利用可能電力、利用可能な計算資源、利用可能なネットワーク帯域幅などに基づいてもよい。
【0243】
2つのイベント(または2つの条件、または2つの状況、または2つの状態)、A及びBを区別するために試験統計に適用される閾値は、決定され得る。データ(例えば、CI、チャネル状態情報(CSI)、電力パラメータ)は、トレーニングの場面においてAの下及び/またはBの下で収集され得る。試験的統計値は、データに基づいて計算することができる。Aの下の試験的統計値の分布は、Bの下の試験的統計値の分布(リファレンス分布)と比較することができ、閾値は、いくつかの基準に従って選択することができる。判定基準は、最尤推定(ML)、最大事後確率(MAP)、識別トレーニング、所与のタイプ2誤差についての最小タイプ1誤差、所与のタイプ1誤差についての最小タイプ2誤差、及び/または他の判定基準(例えば、品質基準、信号品質条件)を含み得る。閾値は、A、B、及び/または別のイベント/条件/場面/状態に対する異なる感度を達成するように調整され得る。閾値調整は、自動、半自動及び/または手動であってもよい。閾値調整は、1回、時には、しばしば、周期的に、繰り返し、時折、散発的に、及び/またはオンデマンドで適用され得る。閾値調整は、適応的(及び/または動的に調整され得る)であり得る。閾値調整は、オブジェクト、オブジェクト移動/位置/方向/動作、オブジェクト特性/ STI/サイズ/特性/形質/習慣/挙動、場所、場所における/場所での/場所の、特徴/備品/家具/バリア/材料/機械/生物/物体/オブジェクト/境界/表面/媒体、マップ、マップの制約(または環境モデル)、イベント/状態/場面/条件、時間、タイミング、持続時間、現在の状態、過去の履歴、ユーザ、及び/または個人的な好みなどに依存し得る。
【0244】
反復アルゴリズムの停止基準(またはスキップまたはバイパスまたはブロッキングまたは一時停止または通過または拒否する基準)は、反復における更新における現在のパラメータ(例えば、オフセット値)の変化が閾値未満であることであり得る。閾値は、0.5、1、1.5、2、または別の数であり得る。閾値は、適応的(及び/または動的に調整される)であり得る。それは、反復が進行するにつれて変化し得る。オフセット値に関して、適応的閾値は、タスク、初回の特定の値、現在の時間オフセット値、回帰ウィンドウ、回帰分析、回帰関数、回帰誤差、回帰関数の凸性、及び/または反復数に基づいて決定され得る。
【0245】
局所極値は、回帰ウィンドウにおける回帰関数の対応する極値として決定され得る。局所極値は、回帰ウィンドウ内の時間オフセット値のセット及び関連する回帰関数値のセットに基づいて決定され得る。時間オフセット値のセットに関連する関連する回帰関数値のセットの各々は、回帰ウィンドウにおける回帰関数の対応する極値からの範囲内であり得る。
【0246】
局所極値の探索は、ロバスト探索、最小化、最適化、最適化、統計的最適化、双対最適化、制約最適化、凸最適化、大域最適化、局所最適化、エネルギー最小化、線形回帰、二次回帰、高次回帰、線形計画法、非線形計画法、確率的プログラミング、コンビナトリアル最適化、制約プログラミング、制約充足、バリエーションの計算、最適制御、動的計画法、数理計画法、多目的最適化、マルチモーダル最適化、選言的プログラミング、空間マッピング、無限次元最適化、ヒューリスティク、メタヒューリスティク、凸計画法、半正定値計画問題、円錐計画法、二次錐計画問題、整数計画法、二次計画法、フラクショナルプログラミング、数値解析、シンプレックスアルゴリズム、反復法、勾配降下、部分勾配法、座標勾配法、共役勾配法、ニュートンのアルゴリズム、逐次二次計画法、内点法、楕円法、縮小勾配法、準ニュートン法、同時摂動確率近似、補間法、パターン探索法、線探索、非微分最適化、遺伝的アルゴリズム、進化的アルゴリズム、動的緩和 山登り法、粒子群最適化、重力探索アルゴリズム、シミュレーテッドアニーリング、ミームティック(memetic)アルゴリズム、差分進化、動的緩和、確率的トンネリング、タブ探索、反応探索最適化、曲線あてはめ、最小二乗、シミュレーションベース最適化、変分計算、及び/または変形、を含みうる。局所的極値の検索は、目的関数、損失関数、コスト関数、効用関数、フィットネス関数、エネルギー関数、及び/またはエネルギー関数に関連しうる。
【0247】
回帰は、回帰ウィンドウにおいて、サンプリングされたデータ(例えば、CI、CIの特徴、CIの成分)または別の関数(例えば、自己相関関数)に適合させるために、回帰関数を使用して実施され得る。少なくとも1つの反復において、回帰ウィンドウの長さ及び/または回帰ウィンドウの位置が変化し得る。回帰関数は、線形関数、二次関数、三次関数、多項式関数、及び/又は別の関数であり得る。回帰分析は、誤差、集計誤差、成分誤差、射影領域における誤差、選択された軸における誤差、選択された直交軸における誤差、絶対誤差、二乗誤差、絶対偏差、二乗偏差、高次誤差(例えば、三次、四次)、ロバスト誤差(例えば、より小さい大きさの誤差のため及びより大きい誤差のための絶対誤差に対する二乗誤差、またはより小さい大きさの誤差のための第1の種類の誤差及びより大きい大きさの誤差のための第2の種類の誤差)、別の誤差、絶対/二乗誤差の加重和(または加重平均)(例えば、複数のアンテナを有する無線送信機及び複数のアンテナを有する無線受信機の場合、送信機アンテナ及び受信機アンテナの各対はリンクを形成する)、平均絶対誤差、平均二乗誤差、平均絶対偏差、及び/または平均二乗偏差、のうちの少なくとも1つを最小化し得る。異なるリンクに関連する誤差は、異なる重みを有し得る。1つの可能性は、いくつかのリンク及び/またはより大きな雑音またはより低い信号品質メトリックを有するいくつかの構成要素が、より小さいまたはより大きな重みを有し得ることである。(二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、別の誤差の加重和、絶対コスト、二乗コスト、高次コスト、ロバストコスト、別のコスト、絶対コストの加重和、二乗コストの加重和、高次コストの加重和、ロバストコストの加重和、及び/または別のコストの加重和)。決定される回帰誤差は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、さらに別の誤差、絶対誤差の加重和、二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、及び/またはさらに別の誤差の加重和であり得る。
【0248】
回帰ウィンドウ内の特定の関数に関する回帰関数の最大回帰誤差(または最小回帰誤差)に関連する時間オフセットは、反復における更新された現在の時間オフセットとなり得る。
【0249】
局所極値は、2つの異なる誤差の差(例えば、絶対誤差と二乗誤差との間の差)を含む量に基づいて検索することができる。2つの異なる誤差の各々は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、別の誤差、絶対誤差の加重和、二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、及び/または別の誤差の加重和を含み得る。
【0250】
量は、F−分布、中心F−分布、別の統計的分布、閾値、確率/ヒストグラムに関連する閾値、偽ピークを発見する確率/ヒストグラムに関連する閾値、F−分布に関連する閾値、中心F−分布に関連する閾値、及び/または別の統計的分布に関連する閾値などの参照データまたは参照分布と比較され得る。
【0251】
回帰ウィンドウ(regression window)は、オブジェクトの移動(例えば、場所/位置の変化)、オブジェクトに関連する量、オブジェクトの移動に関連するオブジェクトの少なくとも1つの特性及び/またはSTI、局所的極値の推定位置、ノイズ特性、推定ノイズ特性、信号品質メトリック、F分布、中心F分布、別の統計的分布、閾値、事前設定しきい値、確率/ヒストグラムに関連する閾値、所望の確率に関連する閾値、誤ったピークを発見する確率に関連する閾値、F分布に関連する閾値、中心F分布に関連する閾値、別の統計的分布に関連する閾値、ウィンドウ中心におけるその量が回帰ウィンドウ内で最大である条件、回帰ウィンドウ内で初めて特定の値についての特定の関数の局所的極値のうちの1つのみが存在する条件、別の回帰ウィンドウ、及び/または他の条件、うちの少なくとも1つに基づいて決定されうる。
【0252】
回帰ウィンドウの幅は、検索される特定の局所極値に基づいて決定され得る。局所的極値は、第1の局所最大、第2の局所最大、高次の局所最大、正の時間オフセットを有する第1の局所最大、正の時間オフセット値を有する第2の局所最大、正の時間オフセット値を有する高次の局所最大、負の時間オフセット値を有する第1の局所最大、負の時間オフセット値を有する第2の局所最大、負の時間オフセット値を有する第2の局所最大、負の時間オフセット値を有する高次の局所最大、第1の局所最小、第2の局所最小、高次の局所的最小、正の時間オフセット値を有する第1の局所最小、正の時間オフセット値を有する第2の局所最小、正の時間オフセット値を有する高次の局所最小、負の時間オフセット値を有する第1の局所最小、負の時間オフセット値を有する第2の局所最小、負の時間オフセット値を有する高次の局所最小、第1の局所的極値、第2の局所的極値、高次の局所極値、正の時間オフセット値を有する第1の局所極値、正の時間オフセット値を有する第2の局所極値、負の時間オフセット値を有する第1の局所極値、負の時間オフセット値を有する第2の局所極値、負及び/または 負の時間オフセット値を有する高次の極値、を含みうる。
【0253】
現在のパラメータ(例えば、時間オフセット値)は、ターゲット値、対象プロファイル、トレンド、過去のトレンド、現在のトレンド、目標速度、速度プロファイル、目標速度プロファイル、過去の速度トレンド、オブジェクトの運動または移動(例えば、場所/位置の変化)、オブジェクトの動きに関連するオブジェクトの少なくとも1つの特性及び/またはSTI、オブジェクトの位置量、オブジェクトの動きに関連するオブジェクトの初期速度、事前定義された値、回帰ウィンドウの初期幅、持続時間、信号の搬送波周波数に基づく値、信号のサブ搬送波周波数に基づく値、信号の帯域幅、チャネルに関連するアンテナの総計、雑音特性、信号hメトリック、及び/または適応(及び/または動的に調整された)値に基づいて初期化され得る。現在の時間オフセットは、回帰ウィンドウの中心、左側、右側、及び/または別の固定相対位置にあってもよい。
【0254】
プレゼンテーションでは、情報は、場所の地図(または環境モデル)と共に表示され得る。情報は、位置、ゾーン、領域、領域、カバレッジ領域、補正された位置、おおよその位置、場所の地図に関する(w.r.t.)位置、分割された場所に関する位置、方向、経路、マップ及び/またはセグメンテーションに関する経路、トレース(例えば、過去5秒、または過去10秒などのタイムウィンドウ内の位置、タイムウィンドウ持続時間を適応的に(及び/または動的に)調整することができ、タイムウィンドウ持続時間は、適応的に(及び/または動的に)速度、加速度に関して調整されうる)、経路の履歴、経路に沿った近似領域/ゾーン、過去の位置の履歴/概要、過去の関心位置の履歴、頻繁に訪れた領域、顧客トラフィック、群れの布、群れの挙動、群れの制御情報、速度、加速度、運動統計、呼吸速度、心拍数、運動の存在/不在、 人またはペットまたはオブジェクトの有無、バイタルサインの有無、ジェスチャ制御(ジェスチャを用いた装置の制御)、位置ベースのジェスチャ制御、位置ベースの操作の情報、関心のあるオブジェクト(例えば、ペット、人、自己ガイド式機械/デバイス、車両、ドローン、カー、ボート、自転車、無人車、ファン付き機械、空調機、TV、可動部を備えた機械)のアイデンティティ(ID)または識別子、ユーザの識別(例えば、人)、ユーザの情報、位置/速度/加速/方向/動き/ジェスチャ/ジェスチャ制御/動きトレース、ユーザのIDまたは識別子、ユーザの活動、ユーザの状態、ユーザの睡眠/休息特性、ユーザの感情状態、ユーザの生命サイン、場所の環境情報、場所の天気情報、地震、爆発、暴風雨、雨、火災、温度、衝突、衝撃、振動、イベント、ドア開けイベント、ドア閉めイベント、窓開けイベント、ウィンドウ閉めイベント、転倒イベント、燃焼イベント、凍結イベント、水関連イベント、風関連イベント、空気移動イベント、事故イベント、擬似周期的イベント(例えば、トレッドミル上での走行、ピョンピョン跳ねる、縄跳び、でんぐり返しなど)、繰り返しイベント、群れるイベント、車両イベント、ユーザのジェスチャ(例えば、手ジェスチャ、アームジェスチャ、足ジェスチャ、足ジェスチャ、身体ジェスチャ、頭部ジェスチャ、顔ジェスチャ、口のジェスチャ、目のジェスチャなど)、を含みうる。位置は、2次元(例えば、2次元座標を用いて)、3次元(例えば、3次元座標を用いて)であり得る。位置は、相対的(例えば、地図または環境モデルに関して)または関係的(例えば、点Aと点Bとの間の中間、角の周り、上の階、テーブルの上、天井、床上、ソファ上、点Aに近い、点Aからの距離R、点AからのRの半径内など)であり得る。位置は、直交座標、極座標、及び/または別の表現で表現され得る。
【0255】
情報(例えば、場所)は、少なくとも1つのシンボルでマークされ得る。シンボルは、時間変化してもよい。シンボルは、色/強度を変化させても変化させなくても点滅及び/または脈動してもよい。サイズは、経時的に変化し得る。シンボルの向きは、経時的に変化し得る。シンボルは、瞬時量(例えば、ユーザのバイタルサイン/呼吸数/心拍数/ジェスチャ/状況/状態/動作/動き、温度、ネットワークトラフィック、ネットワーク接続性、デバイス/機械の状態、デバイスの残り電力、デバイスの状態など)を反映する数であってもよい。変化速度、サイズ、配向、色、強度及び/またはシンボルは、それぞれの運動を反映し得る。情報は、視覚的に提示され、及び/または口頭で説明され得る(例えば、事前に記録された音声、または音声合成を使用して)。情報は、テキストで記述することができる。情報はまた、機械的な方法(例えば、アニメーション化されたガジェット、可動部分の動き)で提示され得る。
【0256】
ユーザインターフェース(UI)デバイスは、スマートフォン(例えば、iPhone、Android phone)、タブレット(例えば、iPad)、ラップトップ(例えば、ノートパソコン)、パーソナルコンピュータ(PC)、グラフィックユーザインターフェース(GUI)を有するデバイス、スマートスピーカ、音声/音/スピーカ能力を有する装置、仮想リアリティ(VR)装置、拡張リアリティ(AR)装置、スマートカー、車内ディスプレイ、音声アシスタント、車内音声アシスタントなどであり得る。地図(または環境モデル)は、2次元、3次元及び/またはより高次元であってもよい。(例えば、時間的に変化する2次元/3次元マップ/環境モデル)、壁、ウィンドウ、ドア、入口、出口、禁止区域は、地図またはモデルにマークされることがある。地図は、施設のフロアプランを含むことができる。マップまたはモデルは、1つまたは複数のレイヤー(オーバーレイ)を有することができる。地図/モデルは、水道管、ガス管、配線、ケーブル配線、エアダクト、クロールスペース、天井レイアウト、及び/または地下レイアウトを含むメンテナンス地図/モデルとすることができる。場所は、ベッドルーム、リビングルーム、貯蔵室、歩行路、台所、食堂、ホワイエ、ガレージ、1階、2階、トイレ、事務所、会議室、受付エリア、各種事務所エリア、各種倉庫エリア、各種施設エリアなどのような、複数のゾーン/領域/地理的領域/セクタ/セクション/テリトリー/地区/行政上の区域/現場/近隣/エリア/ストレッチ(stretch)/広々した場所に区分/細分化/領域化/グループ化することができる。セグメント/領域/区域は、マップ/モデルで提示することができる。異なる領域は、色分けされてもよい。異なる領域は、特性(例えば、色、明るさ、色強度、テクスチャ、アニメーション、点滅、点滅速度など)をもって提示されてもよい。場所の論理的セグメンテーションは、少なくとも1つの異種タイプ2デバイス、またはサーバ(例えば、ハブ装置)、またはクラウドサーバなどを使用して行うことができる。
【0257】
ここでは、開示されるシステム、装置、及び方法の一例である。ステファンと彼の家族は、開示された無線動き検出システムを設置して、ワシントン州シアトルの2000平方フィートの2階建てタウンハウス内での運きを検出したいと考えている。彼の家は二階建てであるので、ステファンは1つのタイプ2デバイス(Aという名前のもの)と2つのタイプ1デバイス(BとCという名のもの)を1階に使うことにした。1階は台所、食堂、居間の3部屋を中心に、食堂は真ん中に、直線に並んで配置されている。台所と居間は家の反対側にある。彼は、タイプ2デバイス(A)を食堂に置き、1台のタイプ1デバイス(B)を台所に置き、もう1台のタイプ1デバイス(C)を居室に置いた。この装置の設置に伴い、動き検知システムを用いて、彼は具体的には1階を3区域(食堂、居室、台所)に区画化している。動きがAB対及びAC対によって検出される場合、システムは、動き情報を分析し、動きを3つのゾーンのうちの1つに関連付ける。
【0258】
ステファンと彼の家族が週末に外出するとき(例えば、長い週末にキャンプに行くとき)、ステファンは携帯電話アプリ(例:AndroidフォンアプリやiPhoneアプリ)を使って動き検出システムをオンにした。システムが動きを検出すると、警告信号がステファンへ送信される(例えば、SMSテキストメッセージ、電子メール、携帯電話アプリへのプッシュメッセージなど)。ステファンが月々の料金(例えば、10ドル/月)を払う場合、サービス会社(例えば、セキュリティ会社)は、有線ネットワーク(例えば、ブロードバンド)または無線ネットワーク(例えば、家庭用WiFi、LTE、3G、2.5Gなど)を通して警告信号を受信し、ステファンのためのセキュリティ手順を実行する(例えば、問題を確認させるために彼に電話し、ある人に家をチェックするために送り、ステファンに代わって警察に連絡する、など)。ステファンは彼の年をとった母親が大好きで、家に一人でいるときは彼女の幸せを気にかけている。家族の残りが外出中(例えば、仕事に行く、ショッピングに行く、または休みに行く)に母親が家に一人でいる場合、ステファンは、母親が大丈夫でいることを確実にするために、彼のモバイルアプリを使用して動き検出システムをオンにする。その後、彼はモバイルアプリを使って、家の中での母親の動きをモニタリングする。ステファンがモバイルアプリを使って、母親が3つの領域の間で家の中を動き回っているのを見ると、彼女の日々のルーチンによれば、ステファンは母親が大丈夫であることを知っている。ステファンは、動き検出システムが、彼が家から離れている間、彼の母親の幸福を監視するのを助けることができることに感謝している。
【0259】
典型的な日には、母親は午前7時頃に目覚める。彼女は約20分間で台所で朝食を作るつもりだった。それから食堂で朝食を30分くらい食べた。それから、居間のソファーに座って、自分の好きなテレビ番組を見る前に、リビングルームで毎日の運動をしていた。動き検出システムは、ステファンが家の3つの領域のそれぞれにおける動きのタイミングを見ることを可能にする。動きが毎日のルーチンに合致するとき、ステファンは母親が上手くやっているはずであることを大まかに知っている。しかし、運動パターンが異常に見えると(例えば、AM10時まで運動がないか、長く台所に滞在しすぎるか、長く動かないままであるか、など)、ステファンは何かが違っていると疑い、母親をチェックするために母親に電話をする。ステファンは、誰か(例えば、家族、近所の人、有給の職員、友人、ソーシャルワーカー、サービス提供者)に母親を確認してもらうことさえある。
【0260】
時には、ステファンはタイプ2デバイスの位置を変えるように感じる。彼は、単に装置を元のAC電源プラグから抜き、別のAC電源プラグに差し込むだけである。彼は、無線動き検出システムがプラグアンドプレイであり、再配置がシステムの動作に影響しないことを満足している。電源を入れると、すぐに機能する。またの機会には、ステファンは、われわれの無線動き検出システムが、非常に高い精度と非常に低い警報で運動を実際に検出できることを確信しており、実際にモバイルアプリを使用して、1階の運動を監視することができる。彼は、2階の寝室を監視するために、2階に同様の構成(すなわち、1つのタイプ2デバイス及び2つのタイプ1デバイス)を設置することを決定する。再び、彼は、タイプ2デバイス及びタイプ1デバイスを2階のAC電源プラグに単に差し込む必要があるので、システムセットアップが極めて容易であることを発見した。特別な設置は必要ない。そして、同じモバイルアプリを使用して、1階と2階の動きを監視することができる。1階/2階の各タイプ2デバイスは、1階と2階の両方のタイプ1デバイスすべてと相互に作用することができる。ステファンは、タイプ1デバイス及びタイプ2デバイスへの投資を2倍にするにつれて、組み合わされたシステムの2倍以上の能力を有することを見て幸せである。
【0261】
様々な実施形態によれば、各CI(CI)は、チャネル状態情報(CSI)、周波数ドメインCSI、CSIの周波数表現、少なくとも1つのサブバンドに関連する周波数ドメインCSI、時間領域CSI、ドメイン内CSI、チャネル応答、チャネル応答推定、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、チャネル特性、チャネルフィルタ応答、無線マルチパスチャネルのCSI、無線マルチパスチャネルの情報、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、管理データ、家族データ、アイデンティティ(ID)、識別子、デバイスデータ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶データ、暗号化データ、圧縮データ、保護データ、及び/または別のCIのうちの少なくとも1つを含み得る。一実施形態では、開示されるシステムは、ハードウェア構成要素(例えば、アンテナを備えた無線送信機/受信機、アナログ回路、電源、プロセッサ、メモリ)及び対応するソフトウェア構成要素を有する。本開示の様々な実施形態によれば、開示されるシステムは、バイタルサイン検出及びモニタリングのためのBot(タイプ1デバイスと呼ばれる)及びオリジン(Origin)(タイプ2デバイスと呼ばれる)を含む。各デバイスは、トランシーバと、プロセッサと、メモリとを備える。
【0262】
開示されたシステムは、多くの場合に適用することができる。一例では、タイプ1デバイス(送信機)は、テーブル上に載置される小さなWiFi対応装置であってもよい。また、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワークサテライト、スマートフォン、コンピュータ、タブレット、スマートプラグなどであってもよい。一例では、タイプ2(受信機)は、テーブル上に置かれるWiFi対応デバイスであってもよい。また、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワークサテライト、スマートフォン、コンピュータ、タブレット、スマートプラグなどであってもよい。タイプ1デバイス及びタイプ2デバイスは、人々を数えるために、会議室の中/近くに配置され得る。タイプ1デバイス及びタイプ2デバイスは、日常活動及び症状の任意の徴候(例えば、認知症、アルツハイマー病)を監視するための高齢者についての健康監視システムであり得る。タイプ1デバイス及びタイプ2デバイスは、生きている幼児のバイタルサイン(呼吸)を監視するための幼児モニタにおいて使用され得る。タイプ1デバイス及びタイプ2デバイスは、睡眠の質及び任意の睡眠時無呼吸を監視するために、寝室に配置され得る。タイプ1デバイス及びタイプ2デバイスは、乗客及び運転手の健康を監視し、運転手の睡眠を検出し、自動車内に残されたすべての赤ちゃんを検出するために、自動車内に配置され得る。タイプ1デバイス及びタイプ2デバイスは、トラック及びコンテナに隠された人間を監視することによって、人身売買を防止するために、物流において使用され得る。タイプ1デバイス及びタイプ2デバイスは、がれきの中の捕われたた被害者を探索するために、災害地域の救急サービスによって配備され得る。タイプ1デバイス及びタイプ2デバイスは、任意の侵入者の呼吸を検出するために、ある領域に配置され得る。装着型ではない無線呼吸モニタリングには、多数のアプリケーションがある。
【0263】
ハードウェアモジュールは、タイプ1トランシーバ及び/またはタイプ2トランシーバを含むように構成されてもよい。ハードウェアモジュールは、最終的な市販品を設計、構築、及び販売するために、バリアブルブランドで販売/使用され得る。開示されたシステム及び/または方法を使用する製品は、家庭/事務セキュリティ製品、睡眠監視製品、WiFi製品、メッシュ製品、TV、STB、エンターテイメントシステム、HiFi,スピーカ、家電製品、ランプ、ストーブ、オーブン、電子レンジ、テーブル、椅子、ベッド、棚、工具、器具、トーチ、バキュームクリーナー、煙検知器、ソファ、ピアノ、ファン、ドア、ウィンドウ、ドア/ウィンドウハンドル、ロック、煙検出装置群、カーアクセサリ、コンピューティングデバイス、事務用品、エアコン、ヒータ、パイプ、コネクタ、監視カメラ、アクセスポイント、コンピュータ装置群、モバイル装置、LTE装置、3G/4G/5G/6Gデバイス、UMTSデバイス、3GPP装置、GSM装置、EDGE装置、TDMA装置、FDMA装置、CDMA装置、WCDMA装置、TD−SCDMA装置、ゲーム装置、めがね、ガラスパネル、VRゴーグル、ネックレス、腕時計、ウェストバンド、ベルト、ウォレット、ペン、ハット、インプラント用具、タグ、パーキングチケット、スマートフォン、等、でありうる。
【0264】
要約は、以下を含むことができる:分析、出力応答、選択したタイムウィンドウ、サブサンプリング、変換、及び/または射影。プレゼンテーションは、月/週/日毎のビュー、簡略化/詳細のビュー、断面ビュー、小型/大型フォームファクタビュー、色分けビュー、比較ビュー、要約ビュー、動画、ウェブビュー、音声アナウンス、及び繰り返し動きの周期的/反復特性に関連する別のプレゼンテーション、のうちの少なくとも1つを提示することを含み得る。
【0265】
タイプ1/タイプ2デバイスは、アンテナ、アンテナを有するデバイス、ハウジングを有するデバイス(例えば、無線機、アンテナ、データ/信号処理ユニット、無線IC、回路のための)、別のデバイス/システム/コンピュータ/電話/ネットワーク/データアグリゲータにインターフェース/付属/接続/リンクされるデバイス、ユーザインターフェース(UI)/グラフィカルUI/ディスプレイを有するデバイス、無線送受信機を有するデバイス、無線送信機を有するデバイス、無線受信機を有するデバイス、インターネットオブスイング(IoT)デバイス、無線ネットワークを有するデバイス、有線ネットワーク機能及び無線ネットワーク機能の両方を有するデバイス、無線集積回路(IC)を有するデバイス、Wi−Fiデバイス、Wi−Fiチップを有するデバイス(例えば、802.11a/b/g/n/ac/ax規格に準拠する)、Wi−Fiアクセスポイント(AP)、Wi−Fiクライアント、WiFiルータ、 Wi−Fiリピータ、WiFiハブ、WiFiメッシュネットワークルータ/ハブ/AP、無線メッシュネットワークルータ、アドホックネットワークデバイス、無線メッシュネットワークデバイス、モバイルデバイス(例えば、2G/2.5G/3G/3.5G/4G/LTE/5G/6G/7G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD−SCDMA)、セルラーデバイス、基地局、モバイルネットワーク基地局、モバイルネットワークハブ、モバイルネットワーク互換デバイス、LTEデバイス、LTEモジュールを有するデバイス、モバイルモジュール(例えば、Wi−Fiチップ、LTEチップ、BLEチップ、のようなモバイルイネーブルチップ(IC)を有する回路基板)、モバイルモジュールを有するデバイス、スマートホン、スマートフォン用のコンパニオンデバイス(例えばドングル、アタッチメント、プラグイン)専用デバイス、プラグインデバイス、AC電源方式デバイス、バッテリ電源方式デバイス、プロセッサ/メモリ/命令のセットを有するデバイス、スマートデバイス/ガジェット/アイテム:時計、ステーショナリ、ペン、ユーザインターフェース、紙、マット、カメラ、テレビ(TV)、セットトップボックス、マイクロホン、スピーカ、冷蔵庫、オーブン、マシン、電話、財布、家具、ドア、ウィンドウ、天井、床、壁、テーブル、椅子、ベッド、ナイトスタンド、エアコンディショナー、ヒータ、パイプ、ダクト、ケーブル、カーペット、装飾、ガジェット、USBデバイス、プラグ、ドングル、ランプ/ライト、タイル、装飾品、ボトル、車両、自動車、AGV、ドローン、ロボット、ラップトップ、タブレット、コンピュータ、ハードディスク、ネットワークカード、機器、ラケット、ボール、靴、着用可能装置、衣類、眼鏡、帽子、ネックレス、食品、錠剤、生き物の体内(例えば、血管、リンパ液、消化システム)で移動する小型デバイス、及び/又は別のデバイスでありうる。タイプ1デバイス及び/またはタイプ2デバイスは、インターネット、インターネットにアクセスする別の装置(例えば、スマートフォン)、クラウドサーバ(例えば、ハブ装置)、エッジサーバ、ローカルサーバ、及び/またはストレージと通信可能に結合され得る。タイプ1デバイス及び/またはタイプ2デバイスは、ローカル制御で動作してもよく、有線/無線接続を介して別の装置によって制御されてもよく、自動的に動作してもよく、またはリモート(例えば、家から離れた)にある中央システムによって制御されてもよい。
【0266】
一実施形態において、タイプBデバイスは、オリジン(タイプ2デバイス、Rxデバイス)及びボット(タイプ1デバイス、Txデバイス)の双方として実行してもよい送受信機であってもよく、すなわち、タイプBデバイスはタイプ1(Tx)デバイス及びタイプ2(Rx)デバイスの双方であってもよく(例えば、同時に又は交互に)、例えばメッシュデバイス、メッシュルータ等であってもよい。一実施形態において、タイプAデバイスは、ボット(Txデバイス)としてのみ機能してもよい送受信機であってもよく、すなわち、タイプ1デバイスのみ又はTxのみであってもよく、例えば単純なIoTデバイスであってもよい。これはオリジン(タイプ2デバイス、Rxデバイス)の機能を有してもよいが、実施形態においては何らかの形でボットとしてのみ機能している。全てのタイプAデバイス及びタイプBデバイスは、ツリー構造を形成する。ルート(root)は、ネットワーク(例えば、インターネット)にアクセスできるタイプBデバイスであってもよい。例えば、これは有線接続(例えば、イーサネット、ケーブルモデム、ADSL/HDSLモデム)接続又は無線接続(例えば、LTE、3G/4G/5G、WiFi、Bluetooth、マイクロ波リンク、衛星リンク等)を介してブロードバンドサービスに接続されてもよい。一実施形態において、全てのタイプAデバイスはリーフノードである。各タイプBデバイスはルートノード、非リーフノード又はリーフノードであってもよい。
【0267】
一例で、ピーターは、米国、主に彼が住んでいるニューヨーク大都市圏を旅行する際に、自分のスマートフォン上でGPSベースのマッピングナビゲーションソフトウエア(GPSアプリ)を使用して楽しんでいる。GPSアプリは、(目的地をアプリに入力することによって、)迷うことなく、どんな新しい場所へも彼が行くことを可能にする。GPSアプリは、車で移動する場合でも徒歩で移動する場合でも、彼が地図上で自分の位置を見ることを可能にする。そして、これは彼にリアルタイムの交通情報を与えることができ、その結果、彼は、最短時間で、又は通行料金を支払うことなく、又は高速道路に乗ることなく、彼の目的地に到達できる。これは、彼が間違った方向転換をした場合に、再ルーティングできる。
【0268】
しかし、GPSアプリは、ショッピングモール、スポーツスタジアム、病院(病気の祖母に会うため)、ニューヨークJFK空港を含む、ピーターがしばしば行くニューヨークのお気に入りの屋内の場所の多くでは機能しない。ピーターは、屋外と屋内との両方でうまく動作する良好な屋内地図ナビゲーションソフトを誰かが思いつくことを期待している。
【0269】
ピーターはオリジンワイヤレス(OW)がいくつかの屋内位置特定/追跡/ナビゲーションソリューションを提供するために、電気通信会社と提携したことを知り、喜んでいる。彼はソフトウェアパッケージをすぐにダウンロードし、モバイルデバイスにOWクライアントアプリをインストールする。彼は最近、電気通信会社が米国の主要都市(ニューヨークを含む)の周り、実際には米国のあらゆる場所に広範囲に展開された通信会社の多数のWiFiルータ(例えば、タイプ1異種無線デバイス,静止型)上にOWビーコンソフトウェアを展開したことを知っている。OWビーコンソフトウェアは、電気通信会社のWiFiルータを、GPSのようなナビゲーションWiFiビーコン信号を米国内のあらゆる場所のモバイルデバイス(例えば、プロセッサ、メモリ、及び命令セットを有するタイプ2異種無線デバイス)へ送信するためのビーコンデバイスにするのに成功する。ピーターがショッピングモールにいる場合に、OWクライアントアプリはピーターのモバイルデバイスを制御して、モール内の電気通信会社の近隣WiFiルータからナビゲーションWiFiビーコン信号を受信し、本明細書に開示される方法及びシステムを使用して、現在地の空間−時間情報(STI)を計算する。更新された場所で、OWクライアントアプリはネットワーク(インターネット)経由でサーバーに接続して、ピーターの移動に応じて地図を更新する。
【0270】
ピーターは、OWクライアントアプリが近くの店のクーポン、買い物のヒント、現在のセールアイテム、日替わり特売品、及び多くの関心場所(例えば、休憩室、冷水器、レストラン、フードコート、映画館、モール出口)を提供することが多いので、これを好む。ボタンをクリックすると、モール内の店がGUI内でラベル付けされる。彼が訪問したいABCレストランをクリックすると、彼は、営業時間、待ち時間、及びプロモーション、レビュー、格付けなどの他の情報のような多くの関連情報を見ることができる。彼は2人用テーブルのための待ち行列に入ることができる。ガールフレンドが到着するのを駐車場で待っている間、彼はメニューを閲覧したり、注文する料理を選んだりもできる。彼が地図アイコンをクリックすると、直ちにナビゲーション経路が生成され、これは、ピーターを最短時間でレストランに案内し、ラッシュアワーの混雑や、改修による閉鎖領域を回避する。彼は特に、OWクライアントアプリが屋外をナビゲートするためにGPSを使用し、屋内をナビゲートするためにOWシステムを使用するためにシームレスに遷移できることを好む。完璧なデートの夜になるだろう。
【0271】
本開示は単一の汎用品WiFiアクセスポイント(AP)を使用してデシメートル精度を達成し、ほぼゼロコストで大規模に展開されうる屋内追跡装置であるEasiTrackを紹介する。EasiTrackは、2つの主要な技術的貢献をする。第1に、これは、自身が受信したRF信号を使用してターゲットの移動距離を正確に推測できるアルゴリズムを組み込んでいる。第2に、EasiTrackは、距離推定値と、近ごろユビキタスに利用可能な屋内地図とを組み合わせて利用することにより、細粒度の位置を出力する地図拡張追跡アルゴリズムを考案した。本教示は、EasiTrackが任意の数のクライアントをサポートすることを可能にする、衛星のようなアーキテクチャを中心とする完全に機能的なリアルタイムシステムを開示する。人間と機械との両方を追跡するために、(オフィス、ホテル、美術館、及び製造施設を含む)異なるシナリオでEasiTrackを展開できてきた。結果として、EasiTrackがLOS及びNLOSシナリオの両方において中央値で0.58m及び90パーセンタイルで1.33mの位置精度を達成し、単一のAPを使用して50m×50mの大きなカバレッジをサポートすることが明らかになった。また、EasiTrackはほとんどコストをかけずに、多くの建物で容易に展開できることが検証されている。
【0272】
既に展開されているWiFiインフラストラクチャが幅広く利用可能であるおかげで、汎用品オフザシェルフ(COTS)WiFiを利用した屋内位置特定システムは、ユビキタス追跡にとって最も有望なソリューションの1つである。これらは、理想的には以下の4つの要件を満たすべきである:
【0273】
・低(ゼロ)コスト:これらは、少ない、又は理想的にはゼロの努力で、容易に設置及び展開されるべきである。理想的には、これらは、どちらの側でもハードウェアの変更を必要とせずに、(位置や方向などの情報をまったく知らなくても)任意に設置された単一のAPを使用して、モバイルデバイスを位置特定できるべきである。
【0274】
・スケーラブル:システムは2つのフォールド(fold)でスケーラブルでなければならない:これらは多数の異なった建物へ移転しなければならず、GPSと同様に、両方とも無視できるコストで、大集団の同時モバイルデバイスをサポートしなければならない。
【0275】
・大きなカバレッジ:システムは、APに対して見通し線(LOS)を有する又は複数の壁の背後にある広いエリアを、近くても離れていても、一貫した高い精度でカバーすべきである。
【0276】
・正確さ:これらは、多くの用途で要求されるように、サブメートルの精度を提供できなければならない。このような精度は例えば、店内の商品へ客を向かわせたり、ワークステーションへロボットを向かわせたりというような建物内のナビゲーションを可能にするために必要とされる。
【0277】
上記の要件がすべて満たされるならば、屋内位置特定システムは、WiFi信号を有する任意の場所で、また汎用品WiFiチップを有する任意デバイスについて利用可能にされるユビキタスな「屋内GPS」になることを想像できる。
【0278】
これらすべての要件を満たす既存の技術は存在しない。到来角(Angle of Arrival:AoA)又は飛行時間(Time of Flight:ToF)に基づく最近の技術は、サブメートルの中央値精度を生み出すことができた。しかし、これらは通常、良好な性能のために(ToFについて)大きな帯域幅及び(AoAについて)多くのフェーズドアンテナを必要とし、これらの両方はCOTS WiFiで制限される。さらに、これらはすべて、(これらの基準位置及び向きを得るために)複数のAPの正確な設置を必要とする。指紋ベースアプローチは、費用のかかる事前トレーニングのせいで、十分に正確でもなく、費用効率もよくない。慣性センサと組み合わせた他の技術は展開可能であるが、精度が限られている。最新にリリースされた802.11mcは往復時間測定をサポートするが、サブメートル解像度も提供せず、マルチラテレーションのために複数のAPを依然として必要とする。
【0279】
本教示は、上記4つの要件のすべてを満たす屋内追跡システムであるEasiTrackを開示する。EasiTrackは、その位置を知ることなく単一のAPを使用して、LOSシナリオ及び非LOS(NLOS)シナリオの両方においてサブメートル精度を達成する。これは余分な入力を伴わずに、関心領域のデジタルフロアプランを用いて、大規模に容易に展開することができ、これはほとんどの位置ベースのサービスにとにかく必要とされ、ユビキタスで利用可能である。EasiTrackのアーキテクチャは衛星のような設計を中心としており、この設計はチャネル容量に影響を及ぼすことなく多数の同時クライアントをサポートし、クライアントがその存在をアナウンスする必要がなく、APを受動的にリッスンするだけであるので、プライバシーを維持する。
【0280】
クライアントが移動すると、EasiTrackはまず、その測定されたチャネル状態情報(CSI)から移動距離を推定し、内蔵の慣性センサから移動方向を推測する。それから、これは、細粒度位置を出力する、距離及び方向の推定を組み込むための新規な地図拡張追跡アルゴリズムを採用する。具体的に、EasiTrackは、2つの異なるやり方で、最先端の追跡を進展する。
【0281】
(1)マルチパスを利用した距離推定:EasiTrackはまず、超解像度距離推定アルゴリズムに貢献し、これは、自身で測定したCSIのみによって、移動無線機の増分変位を正確に推定する。開示される独自の洞察は、アレイが平行移動する場合に、そのアンテナのうちの2つは空間内の同じ位置を横断するかもしれず、一方はある時間遅延で他方に先行し、その間、アレイはアンテナ分離にちょうど等しい距離だけ移動しただろうということである。したがって、特有の位置プロファイルとして屋内の豊富なマルチパスを使用することによって、時間遅延を連続的に追跡するアルゴリズムを設計できる。移動速度は、アンテナ分離を時間遅延で割ることにより計算でき、それに応じて、移動距離は、時間にわたって速度を積分することにより導出されうる。アルゴリズムは高精度であるが、しかもショッピングカート、ロボット、自動誘導車両(AGV)のような比較的制約のある動きにのみ適していることを実証される。自由な人間の追跡のためにもEasiTrackを可能にするために、CSIから、制約のない動きについて移動距離を推測するという点で開発された最近の手法をさらに組み込むことができる。さらに、異なるシナリオに対して2つのアプローチを切り替えることを可能にするユニバーサルアーキテクチャを設計できる。マルチパスを真に利用することによって、以前の作業としてこれらを解決し、対処する代わりに、EasiTrackの距離推定は、位置に依存せず、LOSとNLOSとの両方の条件下で動作する。
【0282】
(2)地図拡張位置追跡:距離推定は幾分正確であるが、これは慣性センサによって得られた方位に結合された場合にサブメートル追跡精度を保証せず、これは重大な蓄積誤差を被る。EasiTrackは、これらの不確実性に対処するために屋内地図を採用する。グーグルマップが屋外道路地図を使用してGPS精度を向上させ、正しい道路上に車を配置することを想像されたい。同様に、屋内地図は、ターゲットの建物内の動きに幾何学的制約を課す。例えば、ユーザは壁を通り抜けない。
【0283】
この観測は、正確な屋内追跡のための地図拡張アルゴリズムを設計することにつながる。開示されるアルゴリズムは屋内地図を重み付きグラフとしてモデル化し、距離及び方位の誤差を共同で扱い正確な位置を出力する新規のグラフベース粒子フィルタ(GPF)へ供給する。グラフベースモデルは、EasiTrackが少数の粒子(例えば、50個)を使用することを可能にし、それによって、リソースが制限されたデバイス上でもリアルタイムでこれが実行されるようにする。また、開示されるGPFは単に、地図からアクセス可能なエリア及びアクセス不可能なエリアに関する情報を必要とし、これらの情報は、平坦なフロアプラン画像から直接抽出されうる。これは、廊下、交差部、ドア、又は部屋等のような構造化された知識を必要としない。したがって、EasiTrackはほとんどコストをかけずに、多くの建物に容易にスケールできる。
【0284】
汎用品WiFiチップセットを用いたハードウェアプロトタイプ、ソフトウェアセットを含む、完全に機能するEasiTrackのリアルタイムシステムが構築される。精度及び展開の簡易性を総合的に評価するために、3つのオフィスビル、1つの美術館、1つのホテル、及び2つの製造施設を含む、人間及び機械の両方を追跡するための多様な環境にEasiTrackを展開することができた。開示される主要な結果から以下が明らかとなった。1)EasiTrackは単一のAPを有するLOS条件とNLOS条件との両方において、物体の追跡について中央値で0.58m及び90パーセンタイルで1.33mの位置誤差を達成し、人間の追跡について中央値で0.70m及び90パーセンタイルで1.97mの誤差を達成した、2)EasiTrackを新たな建物に展開する費用はほぼゼロである。地図が提供されると、APは、カバレッジを提供する任意の位置において分単位でセットアップできる。3)EasiTrackは、APの信号カバレッジに匹敵する大きな追跡カバレッジを提供できる。開示される展開では、これは1つのAPで50m×50mのエリアを追跡できる。
【0285】
開示されるEasiTrackはサブメートルの精度を実現する屋内追跡システムであり、(ほぼ)ゼロコストで巨大な建物までスケールする。EasiTrackはまた、CSIベースの距離推定アルゴリズム及び地図拡張追跡アルゴリズムにも貢献し、それぞれは既存の技術に別々に利益をもたらしうる。図1は、EasiTrackが1つのAPからCSIを受動的に収集し、モバイルクライアントに組み込まれた慣性センサを記録する全体的なアーキテクチャを示す。これはまず、豊富なマルチパスとIMUからの方位とを利用して、CSIから移動距離を計算する。それから、これは、屋内地図と組み合わせて、連続的に追跡するために2つの推定タイプを融合する。このアーキテクチャにより、EasiTrackはクライアントの大きな人口をサポートする「屋内GPS」(ただし、複数の「衛星」は必要ない)のように機能する。図1は、EasiTrackのアーキテクチャの概要を示す。左の部分は、EasiTrackの衛星のようなプロトコルを示す。例示的な使用シナリオでは、モバイル、ウェアラブル、ロボット、自動誘導車両(AGV)、又はWiFi無線及び慣性センサ(IMU)を装備した任意の他の電子機器でありうるクライアントは、APを受動的にリッスンし、到来パケットからCSIを測定する。また、クライアントは、内蔵の慣性センサを読み取る。EasiTrackのコアエンジンはクライアント上で動作し、測定結果から移動距離及び方位を推測し、これらを一緒に組み込んでクライアントの連続位置を追跡する。APはシンプルであり、クライアントによって検出されうる信号を周期的に送信するだけである。このようなシンプルコア、複雑エッジアーキテクチャ設計は有意な利点を提供する。1)スケーラブル:チャネル容量に影響を及ぼすことなく、多数のクライアントの同時位置決定を可能にする。2)プライバシー:クライアントは自身の存在を暴露するかもしれないいかなる信号も送出する必要がないので、ユーザプライバシーを保持し、それによって、他者がその位置を探知することを防止する。3)フレキシブル:クライアントは必要に応じて、すべて同じ環境のもとで、異なる追跡アルゴリズムを実行できる。図1の右側部分は、モバイルクライアント上のEasiTrackのワークフローを示す。2つの主要なモジュール、すなわち、距離推定及び地図拡張追跡がある。
【0286】
距離推定:EasiTrackはユーザが横断する移動距離を推定するために、アンテナ位置合わせ(Antenna Alignment:AA)及びフォーカシングボール(Focusing Ball:FB)の2つの特有のアプローチを含む。両方のアプローチは移動距離を推定するために豊富なマルチパスを利用するが、様々な追跡シナリオに適用可能である。AAは非常に正確であり、比較的制約された動きを有するショッピングカート、ロボット、及び産業用AGVのような物体の追跡に適しており、一方、FBはAAと比較して精度が低いが、制約されていない人間の追跡についてより一般的で優れている。EasiTrackでは、2つのアプローチが必要に応じてオンザフライで切り替わることができる。
【0287】
地図拡張追跡:EasiTrackはCSIから推定された移動距離と慣性センサで測定された移動方向とを融合することによって、ユーザの位置を追跡する。ロジックフローは従来の自律航法に類似しているが、本教示はスケーラブルな方法で正確な追跡のために屋内地図を組み込む新規な設計を開示する。EasiTrackは屋内地図を入力として取り込み、それを重み付きグラフに変換する。その後、出力グラフは、新規のグラフベース粒子フィルタ(GPF)に供給され、このフィルタは地図によって課せられた幾何学的制約を利用し、ターゲットが移動するときにターゲットの正確な2次元位置及び方位を共同で学習する。その後、地図とともに位置推定結果がユーザに表示される。開示されるGPFは通常の屋内地図(例えば、フロアプランの画像)のみを使用するので、わずかなコストで大規模な建物に容易にスケールできる。
【0288】
デバイスの移動距離の正確な推定は、屋内追跡及び慣性センシングにおける主要なボトルネックであった。以前は、歩数にストライド長を乗算する方法でIMUが広く活用されてきた。しかしながら、このカテゴリのアプローチは、ストライド長を推定することが困難であり、時間及び被験者によって著しく変化するため、巨大な誤差を生じることがよく知られている。本教示は、屋内の豊富なマルチパスを利用することによって移動デバイスの増分変位を推定できる2つの異なるアプローチを開示する。
【0289】
AAベースの距離推定の中核的アイデアを以下に示す。2アンテナアレイが、これらを結ぶ線(この線をアンテナアレイ線と呼ぶ)に沿って動いていることを検討されたい。図2は、本開示のいくつかの実施形態による例示的なアンテナ位置合わせを説明する。アレイが移動すると、Δdの変位の後、アンテナ1は、アンテナ2がt_0にあった位置にt_2で到着する。よって、移動速度は、Δd/(t_2−t_0)として導出されうる。同様に、その後のすべての時点について瞬時速度が推定されることができ、現在の時点t_kについてΔd/(t_k−t_(k−2))となる。表示を容易にするために、アンテナ2は上下逆にプロットされている。
【0290】
図2に示されるように、無線機が動くと、一方のアンテナはもう一方のアンテナの軌跡を直接に追従する。換言すれば、2つのアンテナは同じ空間位置を移動し、したがって、ある時間遅延Δtを伴って、同様(理想的には同一)のCSIシリーズを次々に観測する。明らかに、Δtの間、アレイは、アンテナ分離に等しいΔdの距離だけ移動した。Δdは、所与のアレイに対して固定されており、既知である。したがって、正確な時間遅延Δtを推定できれば、正確な速度推定値をv=Δd/Δtとして取得する。Δtを連続的に推定することにより、軌跡全体に沿ったリアルタイム速度を導出することができた。その後、移動距離は、
[この文献は図面を表示できません]
【0291】
上記の直感は、移動距離推定のためのアンテナ位置合わせと名付けられた新規なメカニズムに直接に至る。鍵は、正確な時間遅延Δt、即ち、アンテナが他のアンテナによって横断された場所に到着する(即ち、2つのアンテナが「位置合わせ」される)時間差を判定することである。屋内の豊富なマルチパスのために、1つの位置で測定されたCSIは、特有の位置プロファイルとして役立ちうる。そして、当該タスクは、一方のアンテナが他方と最も類似したチャネル測定結果を観測したときの正確な時間差を識別することと等価である。以下では、まず、CSIに対する類似度メトリックを導入し、その後、時間遅延を正確に推測する手法を提示できる。
【0292】
時間反転共振強度:EasiTrackは、2つのCSIH1及びH2について以下のように計算される時間反転共振強度(TRRS)という類似度メトリックを採用する。
[この文献は図面を表示できません]
ここで、*は共役転置を示す。明らかにη(H,H)∈[0,1]であり、これは、H=aHの場合かつこの場合に限り1を達成し、ここでa≠0は何らかの複素スケーリングファクタである。H及びHが両方とも正規化されているならば、TRRSはそれらの内積の二乗、
[この文献は図面を表示できません]
ηは洗練されていない形式で表すが、有効な尺度として役立ち、センチメートル精度でのフィンガープリンティングに使用されてきた。時間反転とは、伝達された信号のエネルギーが、その時間反転され共役なカウンターパートと組み合わされると、空間領域及び時間領域の両方で集束されるという物理現象である。TRRSはまず、位置区別のためのチャネルインパルス応答に関して規定された。チャネル周波数応答のための等価な形成に適応できる。
【0293】
それをより識別的でロバストにするために、複数の送信アンテナからの空間ダイバシティを活用できる。時刻tにおいてi番目のアンテナで測定されたCSIをH(t)={Hi,1(t),Hi,2(t),・・・,Hi,s(t)}をと表し、ここで、Hi,k(t)はi番目の受信アンテナとk番目の送信アンテナとの間のCSIであり、Sは送信アンテナの個数である。そして、i番目及びj番目の受信アンテナによって測定されるCSI間のTRRSは以下のようになる。
[この文献は図面を表示できません]
【0294】
平均を取ることにより、より信頼できる類似度測度のために複数の送信アンテナからより大きな有効帯域幅を得られるが、その中でCSIを同期させる必要性を回避できる。
【0295】
時間遅延推定メカニズム:2つのアンテナi及びjが空間的に位置合わせされる正確な時間遅延をピンポイントで特定するために、[H(t−l),・・・,H(t),・・・,H(t+l)]、と表される2lのタイムウィンドウ内で測定されたアンテナjのものに対する、H(t)と表される時刻tにおけるアンテナiのCSIスナップショット間のローカルマッピングを実行できる。理想的には、たった1つの特定の計測結果Hj(t+Δt)だけが非常に大きな最大類似度を生み出し、アンテナi及びjが(同じ位置で)同じチャネルをΔtの時間差で観測することを示す。図3Aは、TRRSトレンド[η(H(t),H(t+k)),k=−l,・・・l]トレンドの一例を示す。読み取れるように、最大TRRSピークを探すことによって時間遅延を識別できる。形式的には、以下を有しうる。
[この文献は図面を表示できません]
【0296】
実際には、時間遅延推定精度を高めるために、2つの技術がさらに採用される。第1に、図3Aに示されるように、TRRSピークエリアの周囲で回帰を行い、より細かい粒度のタイムラグを見つけることができ、これはサンプリングレートによって解像度限界を分解する。第2に、個々の時点を見る代わりに、(図3Bに示されるように)時間の経過に伴うTRRS行列を検討することができ、ここで、各列は、当該特定の時点についての(図3Aのような)TRRSトレンドを示す。TRRS行列に基づいて、時間にわたって連続したTRRSのピークをロバストに見つけるために、ダイナミックプログラミングを使用できる。
【0297】
AAはCSIマッピングを含むが、マッピングが過渡ウィンドウで行われるので、事前トレーニングを必要とせず、環境動態に影響されない。さらに、すべてのレコードにわたって最良のマッチを見つける必要があるフィンガープリンティングとは異なり、EasiTrackは短いタイムウィンドウにわたる相対的なTRRトレンドにのみ関心があり、これにより、サブセンチメートルレベルでより高い解像度が可能になる(図3A)。
【0298】
実用的な動きの処理:原則として、AAによって距離を推定するために、ターゲットはアンテナアレイ線に沿って移動する必要があり、これは強制するのに実用的ではない。幸いなことに、EasiTrackでは制約が緩和されるが、これもまた、絶対TRRS値ではなく相対TRRSトレンドが考慮されるからである。図3Cは、異なる逸脱角度の下でのTRRS行列の一例を示す。ここに見られるように、逸脱角度が小さければ、明白な類似度ピークが依然として存在するが、ピーク値はわずかに減少し、これは距離推定に影響を与えない。開示される実験的測定結果によれば、EasiTrackは、隣接するアンテナ分離が4センチメートルである場合に、約15°までの逸脱に耐えることができる。これは、ロボット、AGV、ショッピングカートなどのようなターゲットの現実的な追跡の下に、アンテナアレイ線に厳密に沿って移動することを必要とせずに、ターゲットの移動距離を推定できる実用的な用途にとって決定的な特徴である。
【0299】
自然歩行中にデバイスを携帯し、これを線に沿って移動させることを人に求めることは実際的ではないので、AAは人間の追跡には不適切である。歩行者の移動距離を推定するために、フォーカシングボール効果に基づく最近開発された方法を組み込むことができ、この方法では屋内RF信号伝播の臨界統計特性が発見され、モデル化される。CSIで表されるマルチパスプロファイルの空間分布は、空間分離の確定関数に依存する。これは、デバイスが移動するたびに、CSIの分布から移動距離を逆推測する機会を基礎とする。以下の主要な結果を簡単にレビューし、より詳細は読者に委ねる。
【0300】
H_i(t;L_0)及びH_i(t;L)と表される2つの位置L_0及びLにおいて同じ受信アンテナiによって測定される2つのCSIについて、式(2)のTRRSを検討する。以下となりうる。
[この文献は図面を表示できません]
ここで、λは波長であり、dはLとLとの間の距離であり、j(x)は第1種ゼロ次ベッセル関数である。式(4)から、1つのCSIに対するTRRS分布と、受信機上の後続の測定結果とを計算することによって、移動距離を推定できる。
【0301】
AAと比較すると、TRRS測定結果はマルチパス分布の不均一性により実際には理論分布をわずかに逸脱するかもしれないため、距離推定のためのFBの精度はより低くなるだろう。FB方法は、特性が多数の屋内マルチパスの性質から生じるので、移動方向及び位置の独立性において優れている。その結果、これは人間の追跡に好ましく、このためにEasiTrackにおいて採用される。両方のアプローチの主要な特徴は、追跡のためのマルチパスを解決し、対抗しようとする従来のシステムとは異なり、EasiTrackは多数のマルチパスを一緒に特有に利用することである。そこにあるマルチパスが多ければ多いほど、これが達成する性能はより良好である。その結果、位置、方位、環境などを含む多くの要因から独立して距離を推定できる。
【0302】
EasiTrackは、移動距離に加えて、ターゲットを連続的に追跡するための移動方向も必要とする。EasiTrackはユビキタス慣性センサを利用し、方位情報を導出するために標準動作に従う。特に、現在の進行方向を推測するために、回転角度を測定し測定結果を蓄積するためのジャイロスコープを主に採用できる。2次元の動きを目指して、デバイスのローカル座標系に基づいてジャイロスコープの読み取り値を重力方向に投影できる。重力方向は、デバイスが動き始める前に加速度計から推測されうる。このようにすることにより、デバイスは、任意の位置にあってもよく、水平に置かれる必要がない。
【0303】
慣性センサもまた、動きを検出するために利用され、ターゲットが旋回しているか否かをさらに判断し、これは追跡において後で使用されるだろう。直観的に、位置は、推測航法に類似した方法で、移動距離及び方位の連続した測定結果を積分することによって、直接計算されうる。しかしながら、このアプローチは、慣性センサによって測定された誤った方位に起因する重大な誤差を被る。EasiTrackでは、粗い粒度の方位及び距離の観測を用いた正確な追跡を達成するために、屋内地図が組み込まれている。2つの機会が、開示される設計を刺激する。第1に、屋内地図は、ターゲットの動きに効果的な幾何学的制約を課す。第2に、デジタル地図は、今日、ユビキタスに利用可能である。特に、公共の場所のための屋内地図を較正するために産業上の努力が行われてきた。また、研究の進歩により、モバイルクラウドソーシングによるデジタル地図の自動生成も促進されている。
【0304】
道路地図はGPS誤差を修正するために使用されるが、本教示は軽量でスケーラブルな方法で屋内地図を利用する。具体的には、屋内地図の新規なグラフベース表現に基づくグラフベース粒子フィルタを考案できる。開示されるGPFに深く潜る前のグラフ表現が以下に示される。
【0305】
入力として、プレーン画像の形式で標準屋内地図を取れる。これは、構造化された情報、例えば、地図から得ることが困難な壁、廊下、及び部屋の知識を必要としない。代わりに、位置(画素)がアクセス可能であるか否かを伝えるアクセス情報を単に抽出できる。したがって、地図は例えば、屋内地図の最も典型的な形態で、アクセス不可能な画素を示す特定の色(例えば、黒い壁)を有する単純な画像であってもよい。
【0306】
地図離散化:計算複雑度を低減し、リアルタイム追跡を達成するために、地図を重み付きグラフに変換できる。最初に、各点が頂点になる特定のグリッドサイズsを有する一様分布した点の集合によって空間(すなわち、地図)をサンプリングしてもよい。すべての頂点は、地図上のその位置(すなわち、画像内のピクセル)に依存して、アクセス可能又はアクセス不可能でありうる。その後、エッジが障害物と交差しないならば、頂点とその隣接する頂点のそれぞれとの間にエッジを追加してもよい。各エッジは、
[この文献は図面を表示できません]
によって重み付けされる。
このようにすることによって、図4Aに示すように、重み付きグラフG=(V,E)を構築してもよい。サンプリング密度sは、グリッド解像度と頂点の数とをトレードオフにする。サブメートルの精度を目標にするには、sは1m未満であるべきであり、異なる地図に適応する。図35A〜35Bは、本発明のいくつかの実施形態による例示的なグラフベースの地図表現を示す。明確にするために、部分的な地図のみが表示される。
【0307】
到達可能性行列:地図を重み付きグラフに変換した後、|V|個の頂点のペア方向到達可能距離を表す到達可能性行列Mを生成することによって、固有の幾何学的特性を抽出できる。行列の各要素m_ijは頂点V_iとV_jとの間の到達可能距離を表し、これは最短経路距離として定義される。m_ijは、V_iとV_jとの間に障害物のない経路が存在しないならば、無限値になる。図4Bは1つの頂点に対する到達可能性の一例を示しており、これは、基本的に、これから始まるすべての最短経路を他のすべての頂点まで示す。
【0308】
到達可能距離はユークリッド距離とは異なるが、むしろ2つの位置間の歩行距離である。実際、2つの位置を結ぶ直線は屋内で頻繁に遮断されるため、到達可能距離は通常ユークリッド距離よりも大きい。追跡エリアが大きい場合にMが大きくなりすぎることを避けるために、実際には、あまりにも離れた頂点ペアを無視し、Mを比較的疎な行列にしてもよい。たとえば、m_ij≦10mの要素のみが記憶される。
【0309】
グラフィック地図を利用して拡張粒子フィルタを設計し実施する方法を、前処理された結果とともに以下に示す。3次元同時確率分布を有するN個の粒子X=(X(1),X(2),・・・,X(N))を用いてもよい。各粒子はX(i)=(x(i),y(i),θ(i))として表し、ここで、(x(i),y(i))は2次元位置を示し、θ(i)はi番目の粒子の方位である。粒子移動:時刻tにおける動き測定(Δdt,θt)について、i番目の粒子は以下のように更新される。
[この文献は図面を表示できません]
ここで、δ(i)及びα(i)は、距離及び方位の測定結果に追加されるガウスランダムノイズである。
【0310】
粒子の重み付け:
[この文献は図面を表示できません]
ステップごとに、粒子は2つの重み付け割り当てを受ける。1)移動中にアクセスできない任意のエリア(典型的に、壁)にぶつかる任意の粒子は「死」に、除去される。2)その他のすべての粒子は生き残り、以下に規定されるライブまでの生存距離(DTL:distance-to-live)に基づいて重み付けされる。
【0311】
追加の信号源からのいかなる追加の測定結果の助けなしに粒子の重みを決定するための主要なアイデアは、粒子が何らかの障害物にぶつかる前に、より長距離にわたって生き残る可能性がより高いならばより粒子は大きな重みを得るべきであり、そうでない場合にはより小さな重みを得るべきであるということである。この洞察は、DTLの仕様に直接つながる。
【0312】
図5は、本開示のいくつかの実施形態によるDTLの例を示す。ケース1では、薄い影の粒子は濃い影のものよりも大きなDTLを有する。ケース2では、粒子が右側に向かって移動している場合に、濃い粒子はより大きな重みを得る。ケース3では、両方の粒子が非常に大きなDTLを保持し、したがって、固定されたmax−DTL値に強制される。実行時に、DTLは、4つの基本方向に沿って予め計算されたDTLから近似される。図5に示されるように、粒子に対するDTLは、粒子移動方向に沿った粒子位置からの最大アクセス可能距離として計算される。非常に長い通路の場合に、過大値を避けるために最大DTLを設定してもよい(図5のケース3)。
【0313】
原則として、DTLはすべてのステップですべての粒子について計算される必要があるが、これはコストがかかりすぎる。開示されるGPFでは、効率的な近似を考案してもよい。前処理段階中に、4つの基本方向(すなわち、左、右、上、及び下)におけるDTLを事前にさらに計算してもよい。その後、ある方向θに沿ったDTLはそれに応じて、現在の移動方向に最も近い2つの基本方向(例えば、図5の例では右と上)に沿ったDTLの射影の和として計算されうる。結果として得られるDTLは、定義による正確なDTLに必ずしも等しくないが、実際のシステムではこのような近似が効果的かつ効率的であることを実証してもよい。その背景にある主な理由は、絶対値ではなく粒子重みの相対的ラインキングのみがGPFにおいて重要であることである。上記の演算は正確なDTLと同様の重みランキングを保持するが、実行時の複雑さを大幅に低減する。
【0314】
再サンプリング:開示されるGPFは、再サンプリングのための新規なアプローチを実装する。これは、まず、古典的な逐次重要度再サンプリングアプローチに従うことによって、
[この文献は図面を表示できません]
N_live個の粒子を再サンプリングする。ここで、N_liveは、現在のステップ中に生き残っている粒子の数を示す。しかしながら、各死んだ(それゆえ除去された)粒子について、再サンプリングの代わりに、サンプル劣化問題(粒子が過度に濃縮されること)を回避するために、新しい粒子を再生することを選択してもよい。
【0315】
図4Bに示されるように、再生成のために、ターゲットの現在位置を中心とする特定の隣接エリアを検討してもよい。ターゲットが現在、頂点V_tに最も近い(x_t,y_t)にあると仮定すると、まず到達可能距離m_tj≦rを有する到達可能な頂点V_jのすべてを集め、これらのDTLの各々を現在の移動方向に基づいて計算してもよい。その後、重要度分布としてこれらのDTLを使用して、これらの候補位置の中にN−N_live個の新しい粒子を引き出すために重要度サンプリングを実行してもよい。図4Bに示されるように、ターゲットが旋回していることが検出された場合に、再生成半径rは動的に増加し(白い円)、それ以外の場合に減少する(緑色の円)。
【0316】
ターゲット位置推定:最終的に、各ステップにおいて、すべての粒子の情報を用いてターゲットの位置を推定してもよい。直感的に、ターゲット位置は、すべての粒子の位置の重み付けされた重心として判定されうる。しかしながら、重心はアクセス不可能な位置かもしれず、又は重心を現在位置と結ぶ線が壁と交差するかもしれない。したがって、EasiTrackでは、メドイド(medoid)の同様のコンセプトに頼ってもよい。概して、メドイドは、データセット内のすべてのオブジェクトとの平均非類似度が最小であるデータセット内の代表である。重心と比較して、メドイドを使用することにより、結果として得られるターゲット位置が常に有効であることが保証される。
[この文献は図面を表示できません]
その後、一連の位置推定結果が平滑化され、ユーザに表示される。
【0317】
ジャイロスコープは、重大な累積誤差を被ることが知られている。直近の研究で報告されているように、2分間実行すると50°を超えるまで誤差が累積することがある。開示される実験によれば、これは、単一の90°自然旋回に対して30°を超える誤差を生成しうる。すべての粒子が誤った方向に移動するように案内されるので、これらの方位におけるかなりの誤差は、較正されないならば、GPFでさえ訂正できないかなりの位置誤差をもたらす。
【0318】
累積誤差を排除するために、方位を日和見的に自動的にリセットする技術を考案してもよい。主要な観測は、ターゲットがほぼ真っ直ぐな経路に沿って移動しているが、旋回していない場合に、この非旋回期間中の移動軌跡は現在の進行方向を推論するための有益なヒントを提供するということである。EasiTrackはこれらのヒントを利用し、日和見的な移動方向再較正を実行する。具体的には、このような非旋回セグメントが検出されると、直線セグメントの中心線方向を推定することによって、現在の移動方向をリセットしてもよい。一般的な挙動では、ターゲットはほとんどの時間、旋回ではなくまっすぐに動いている。したがって、リセット動作を非常に頻繁に採用できる。連続的な再較正によって、非常に長い動作にわたってさえ、蓄積される方向誤差が効果的に緩和されるだろう。
【0319】
EasiTrackは移動距離及び移動方向のみを測定するので、開始するためにグローバル位置を必要とする。技術的には、粒子フィルタは、すべての可能な位置にわたって均一に初期化することによって、初期位置を判定できる。しかしながら、それは、とりわけ非常に多数の粒子でのみ実現可能であり、これは非常に大きな追跡エリアに対して実際には計算上禁止されている。さらに、粒子は長時間後にのみ進行的に収束し、収束しないこともある。
【0320】
実際の用途及びシステムを考慮すると、有望な代替案は、エンドユーザからの手入力を要求するだけでなく、建物の入口のおいて最後に見られたGPS信号を利用することである。主な目的は開示される距離推定及び地図強化技法を実証することであるため、現在のEasiTrackシステムでは主にユーザ手入力を使用できる。これらの技術は高精度で初期位置を提供しないかもしれないが、引き起こされる誤差は開示されるGPFによって後で克服されるだろう。実装のために、多くの実装詳細を含むEasiTrackの完全に機能するリアルタイムシステムを構築できる。
【0321】
CSIノイズ除去:COTS WiFiで測定されるCSIには、位相ロックループによって生じる初期位相オフセットに加えて、キャリア周波数オフセット(CFO)、サンプリング周波数オフセット(SFO)、シンボルタイミングオフセット(STO)のような位相オフセットが含まれる。EasiTrackは、手動で、例えば式(1)の絶対値をとることによって前もって較正することしかできない煩わしい初期位相歪みを受けない。位相クリーニングアプローチを使用することによって、他の線形オフセットを較正できる。
【0322】
複数の受信アンテナの統合:開示されるAA方法は、アレイとして2つのアンテナを最小で必要としてもよい。開示される実装において、WiFiチップセットは、3つのアンテナを有する。これらを十分に利用するために、一様間隔の線形アレイにこれらを配置できる。その後、第1及び第2のアンテナをペアとして扱い、第2及び第3のアンテナを別のペアとして扱い、結果を統合できる。FB方法は単一アンテナで動作するが、距離推定を容易にするためにすべての受信アンテナのTRRSを融合することもできる。
【0323】
動き検出:ターゲットが移動しているかどうかを判定するために、慣性センサを使用できる。デバイスが移動していることが検出された場合にのみ、EasiTrackは移動距離を推定する。人間の追跡における無関係な動き(例えば、手の動き)の妨害を軽減するために、ユーザが歩いているか否かを、IMUを使用してステップを検出することによって検出するためのマスクをさらに適用できる。
【0324】
・非常に広いエリアにおける追跡:EasiTrackは、顕著なカバレージを有するユビキタス追跡を達成するために単一のAPを使用する。技術的には、これはLOS条件であるかNLOS条件であるかにかかわらず、APによってカバーされる任意の場所で動作する。実際には、1つの単一のAPは非常に広い追跡領域を完全にカバーには十分でないかもしれない。このような状況では、完全なカバレージを提供するために複数のAPが必要とされる。したがって、EasiTrackは追跡のために一度に1つのAPのみを使用するが、クライアントが空間をローミングする場合に、異なるAP間のハンドオーバを処理する必要がある。この目的のために、開示される実装において、明快なRSSベースのハンドオーバースキームを使用できる。
【0325】
地図前処理:EasiTrackは、屋内フロアプランの通常の画像からアクセス可能なエリア及びアクセス不可能なエリアに関する情報のみを必要とする。この情報は、画素の色によって自動的に認識されうる。例えば、壁は暗い色でマークされてもよく、一方、オープンスペースは白黒である(又はその逆)。しかし、得られた地図画像の品質によっては、自動認識に影響を与える何らかの干渉(例えば、テキスト、寸法など)があるかもしれない。これに対処するために、地図を手動で前処理して、すべての障害物(主に壁)を特定の色で強調してもよい。一実施形態では、フォトショップ(登録商標)の基本的な動作を知っている人が典型的な地図を処理するのに約10分かかる。
【0326】
COTS WiFiを使用して、現実世界のシナリオで開示されるシステムを評価できる。その後、5つの異なる建物にEasiTrackを展開して、人間とカートの追跡を評価し、2つの産業界の製造施設を利用してAGV追跡を試験できる。
【0327】
方法:最初に、開示される距離推定方法AAの精度及び影響因子を評価し、FBと比較できる。そうするために、EasiTrackerをカート上に置き、それをほぼ直線に沿って移動させることができる。長さ約10mの種々のトレースを評価し、収集されたCSIに対してそれぞれAA及びFBの両方を実行できる。グランドトゥルースの移動距離を捕捉するためにカメラをセットアップできる。
【0328】
全体的な精度:図6は、移動距離推定に関するAA及びFBの全体的な性能を比較する。見てとれるように、AAは約0.25mの顕著な中央値の誤差と0.69mの90パーセンタイルの誤差を達成し、一方、FBはそれぞれ0.75mと1.82mとの誤差をもたらした。AAの性能向上は比較的制約された動きを犠牲にして達成されるが、AAはとりわけAGV、ショッピングカート、ロボットなどのような機械及びオブジェクトを追跡するための、高精度に起因する広範囲の興奮する機会を開く。AAの性能に影響を及ぼし得るいくつかの要因が研究されている。FB方法の影響因子は広く研究されてきた。したがって、これをEasiTrackに組み込む場合に、全体的な追跡性能のみを評価してもよい。
【0329】
サンプリングレート:距離推定において十分な解像度を確保するために、EasiTrackによって特定のサンプリングレートが必要とされる。そうでなければ、ピーク解像度(図3Aを思い出されたい)が制限される。その結果、EasiTrackで使用できる200Hzのサンプリングレートが、2m/sまでの通常の速度に対して適切であることが示された。
【0330】
アンテナのダイバシティと分離:図7は、アンテナペアのダイバシティを示す。開示されるデバイス上で利用可能な3つのアンテナの異なる組み合わせを試験するとともに、2つのペアを融合できる。見てとれるように、AAは、異なるアンテナペアを用いて一貫して高性能を生み出し、多重ペアを組み合わせた場合に改善する。また、λ/2、λ、3λ/2〜2λの範囲の異なるアンテナ分離を調べることもできる。図8に示されるように、異なる分離は無視できる程度の差しか見られない。しかし、経験則として、分離はλ/2よりも大きくすべきであり、さもなければ結合効果が作用し始める。
【0331】
方法:ここで、EasiTrackシステムの追跡性能を研究できる。典型的なオフィスビルの1つの階にシステムを展開できる。フロアの内側には、乾式壁、コンクリート柱、エレベーターで仕切られた部屋がある。良好なカバレージを提供するために、APを建物の中央に配置できる。APは、153チャネルで動作してもよい。同じチャネル及び隣接チャネル上には通常のWiFiトラフィックがある。実験の間、人々は周囲で働いている。
【0332】
AAベースのEasiTrack(EasiTrack−AA)では、デバイスをカート上に置き、それを押し回すことができる。一方、FBベース(EasiTrack−FB)の場合、デバイスを手に持って自然に歩くように人に頼むことができる。定量的な位置誤差を研究するために、約2メートルごとの密度でチェックポイントの集合をマークできる。グランドトゥルースは、ユーザがチェックポイントを通過したときに記録される。その後、異なるエリアの周りを歩く(又はカートを押す)何人かのユーザを採用できる。EasiTrack−AAをテストしているかEasiTrack−FBをテストしているかにかかわらず、複数のユーザを同時に追跡できる。EasiTrackはいかなる量もサポートできるが、予算制約のために、3つの追跡キット(それぞれがガリレオGen2ボードとサーフェスプロを含む)を構築できる。その後、結果は、2つの方法をそれぞれ評価するために分類される。
【0333】
全体的な性能:図9は、EasiTrack−AA及びEasiTrack−FBの両方がサブメートルの中央値精度を達成することを示す。具体的には、EasiTrack−AAは、カート追跡について、中央値で0.58mであり90パーセンタイルで1.33mである誤差を生み出した。驚くべきことに、EasiTrack−FBは、約0.70mの中央値誤差、1.97mの90パーセンタイル誤差という、人の追跡についてわずかに悪い性能を達成する。図6の距離推定精度と比較して、EasiTrack−AAの全体的な追跡精度はわずかに低く、これは主にセンサから生じる方位誤差によって制限される。対照的に、EasiTrack−FBの精度は、地図での位置誤差を効果的に訂正する、開示されるGPFの貢献によって、大幅に改善される。
【0334】
粒子数の影響:EasiTrackのユニークな特徴は、グラフベースのモデルのおかげで、少数の粒子を使用して大きな性能を達成することである。粒子量に関して性能がどのように変化するかを調べることができる。よって、粒子数が20〜800の範囲で性能を評価できる。EasiTrackは、わずか100の粒子でかなりの性能を実現する。結果は、EasiTrackが既存のアプローチよりも数桁少ない粒子しか必要としないことを示している。一実施形態では、特にEasiTrack−FBについて、20個の粒子が少なすぎ、非常に大きなテール誤差をもたらすことがある。実際には、最低50個の粒子が推奨される。
【0335】
初期位置における誤差の影響:開示される現在の実装は、初期位置のために手入力を使用するので、初期位置における不確実性に対してどれだけ敏感であるかを調べることは興味深い。0.5mから2mまでのランダム誤差を開始点に加え、誤った最初の位置を有するトレースを評価できる。開示されるGPFはこれらの誤差を敏感に克服し、同様の性能を維持しており、初期位置に2mの誤差がある場合に、EasiTrack−AAについて中央値0.73m及び90パーセンタイル1.56mの誤差にわずかに低下するだけである。言い換えれば、EasiTrackは、開始するための正確な初期位置に依存しない。その代わりに、ユーザ、日和見GPS、又は他の利用可能なアンカーによって再び提供されうる、粗い粒度の入力のみを必要とする。
【0336】
方向リセットの利点:方向リセットモジュールの利点を個別に研究できる。そうするために、方向リセット機能を無効にすることによって、すべてのトレースをオフラインで再実行し、結果を比較できる。EasiTrack−FBについて、センサによって引き起こされる大きな蓄積方向誤差を排除する自動方向リセットにより、3.1mの90パーセンタイル誤差が1.7mとなるように、大きな誤差が著しく低減されることが分かった。EasiTrack−AAについて、最低限の精度の向上を実現する。その理由は、デバイスをカート上に置いた場合に、人間の歩行よりも方向誤差が著しく少ないからである。方向誤差が累積すると、方向セットが有効になる。
【0337】
カバレッジ:開示されるベンチマーク評価は、36m×22mの典型的なオフィスにおけるEasiTrackの追跡カバレッジを実証する。開示されるシステムにカバレッジ限界を示すようにストレスを与えるために、多くのコンクリート壁及び柱を有する約100m×35mの大型建物で追跡を試験できる。この場合、1つのAPではフロア全体をカバーするのに十分ではなく、それによって2つのAP間のハンドオーバで追跡を試験できる。建物の2つの対角コーナーに2つのAPを配置することができ、各々は、追跡エリアの半分をおおよそカバーする。結果は、EasiTrackが2つのAPの間を滑らかにローミングし、重なり合うエリア(中央の廊下)だけでなく、いずれかのAPのカバレージの下でも同様の高い精度を達成し、それによって、追加のAPをセットアップするだけで非常に大きなエリアで追跡可能にすることを検証する。
【0338】
EasiTrackの追跡精度と展開の単純さとを検証するために、人間の追跡とAGVの追跡という2つの異なるシナリオを考慮して、複数の場所で現実世界の展開を実行できる。両方のケースとも良好な追跡性能を示した。EasiTrackは、エンドユーザに知覚できる遅延なしにリアルタイムで実行される。異なるモジュール、特に距離推定及びGPFによって導入されるシステムの複雑さに関心があるかもしれない。EasiTrackは、小さな組み込みデバイス上でもリアルタイムで実行できることを検証した。
【0339】
図10は、本発明のいくつかの実施形態による地図拡張追跡方法1000のフロー図を示す。図10に示されるように、CSI収集1010は、例えば無線マルチパスチャネルのCSI1001を収集することによって実行される。収集されたCSIは動作1012において移動距離を推定するために使用され、これは、上述のように、仮想アンテナ位置合わせ(AA)方法又は時間反転フォーカシングボール(FB)方法に基づいてもよい。移動距離推定の結果は、グラフベースの粒子フィルタ1040に提供される。
【0340】
さらに、読み取り値は、操作1020において、慣性センサ1002から得られる。方位推定1022はこれらの読みに基づいて実行され、方位推定結果はグラフに基づく粒子フィルタ1040に提供される。
【0341】
さらに、屋内地図1003の処理が動作1030で実行され、処理された地図情報は地図離散化1032を実行するために使用される。その後、到達可能性構築1034が実行されて、グラフベースの粒子フィルタ1040に提供される結果が生成される。
【0342】
グラフベースの粒子フィルタ1040の後、累積方位誤差訂正1042が実行され、ターゲット位置推定1044が実行されて、ターゲットオブジェクトの位置推定1050が生成される。したがって、ターゲットオブジェクトの動きは、地図拡張追跡技術によって追跡又は監視される。様々な実施形態によれば、図10のいくつかの動作の順序は交換されてもよい。
【0343】
本教示は単一の未知のAPを用いてLOS及びNLOSの両方のシナリオにおいてサブメートル精度を達成し、大規模な建物及びエンドクライアントに対してほぼゼロのコストでスケールするユビキタス屋内追跡装置を開示する。また、本教示は、屋内地図をCSIベースの距離及びIMUベースの方向情報に融合するグラフベース粒子フィルタに基づく地図拡張確率的追跡アルゴリズムを開示する。
【0344】
本教示は単一のAPを用いてサブメートル精度を実現し、コストがほぼ0で多くの建物にスケールする屋内位置特定システムであるEasiTrackを開示し、ユビキタス屋内追跡のための有望な解決策となる。本教示は、CSIベースの移動距離推定のためのアプローチと地図拡張追跡アルゴリズムとを開示する。人間及び機械を追跡するために、異なる建物及び施設においてシステムを展開し、検証できる。
【0345】
本開示の様々な実施形態で、無線追跡は以下の項にしたがって実行されてもよい。
【0346】
項A1:無線監視システムの方法/装置/システムであって、現場(venue)の無線マルチパスチャネルを通じて、少なくとも1つの異種ターゲット無線受信機へ、プロセッサ、メモリ及び命令セットを使用して、第1の無線デバイスのアンテナによって一連のプローブ信号を送信することと、前記一連のプローブ信号から、前記少なくとも1つの異種ターゲット無線受信機のそれぞれによって、チャネル情報の少なくとも1つの時系列(CI時系列)を非同期的に取得することであって、前記チャネル情報(CI)は前記異種ターゲット無線受信機と前記第1の無線デバイスとの間の前記無線マルチパスチャネルのものである、ことと、個別の異種ターゲット無線受信機によって前記一連のプローブ信号から取得された個別の少なくとも1つのCI時系列に基づいて、個別の地図に対して個別のオブジェクトに関連付けられた個別の動きを反復的に非同期的に監視することと、前記個別の少なくとも1つのCI時系列に基づいて、個別の増分期間(ΔT)において、前記個別のオブジェクトによって移動された個別の増分距離(ΔD)を反復的に決定することと、個別の現在時刻(T2)における前記個別のオブジェクトの個別の現在位置、前記個別の増分距離(ΔD)及び前記個別の増分期間中の前記個別の動きの個別の方向(シータ)のうちの少なくとも1つに基づいて、前記個別の地図内の個別の次の時刻(T1)における前記個別のオブジェクトの個別の次の位置を反復的に計算することと、を備える、方法/装置/システム。
【0347】
項A2:項A1の無線監視システムの方法/装置/システムであって、特定のオブジェクトの特定の動きが、2つ以上の異種ターゲット無線受信機によって得られたCI時系列に基づいて監視されている、方法/装置/システム。
【0348】
項A3:項A1の無線監視システムの方法/装置/システムであって、2つ以上の個別のオブジェクトに関連付けられた2つ以上の個別の動きが、特定の地図に対して監視される、方法/装置/システム。
【0349】
項A4:項A1の無線監視システムの方法/装置/システムであって、前記個別の増分時間(ΔT)は、前記一連のプローブ信号の2つの個別のプローブ信号の間の時間差である、方法/装置/システム。
【0350】
項A5:項A1の無線監視システムの方法/装置/システムであって、前記個別の増分時間周期中の前記個別の動きの前記個別の方向(シータ)は、前記個別の現在時刻(T2)における前記個別の動きの前記個別の方向、前記個別の次の時刻(T1)における前記個別の動きの前記個別の方向、及び別の時刻における前記個別の動きの前記個別の方向のうちの少なくとも1つの個別の機能である、方法/装置/システム。
【0351】
項A6:項A1の無線監視システムの方法/装置/システムであって、粒子フィルタを使用して、前記個別の地図における前記個別の次の時刻における前記個別のオブジェクトの前記個別の次の位置を計算することをさらに含む、方法/装置/システム。
【0352】
項A7:項A1の無線監視システムの方法/装置/システムであって、個別の初期時刻(T0)において、前記個別のオブジェクトの個別の初期数の個別の初期候補位置を初期化することと、前記現在時刻における前記個別のオブジェクトの第2の動的数(N2)の個別の第2の候補位置に基づいて、前記次の時刻における前記個別のオブジェクトの第1の動的数(N1)の個別の第1候補位置を反復的に計算することと、前記個別の次の時刻における前記第1の動的数の個別の第1の候補位置と、前記個別の現在時刻における前記第2の動的数の個別の第2の候補位置とのうちの少なくとも1つに基づいて、前記個別の次の時間における前記個別のオブジェクトの前記個別の次の位置を計算することと、をさらに含む、方法/装置/システム。
【0353】
項A8:項A7の無線監視システムの方法/装置/システムであって、前記個別のオブジェクトは、前記個別の多次元地図によって表される個別の領域内で前記個別の増分期間中に移動し、前記個別の多次元地図は個別の多次元アレイAとして表され、その結果、前記個別の領域の各位置の到達可能性は、0と1との間の論理値である対応するアレイ要素aによって表され、前記アレイ要素a=0であるならば前記位置は到達不可能であり禁止されており、a=1であるならば前記位置は完全に到達可能であり、0<A<1であるならば前記位置は部分的に到達可能であり、前記個別の次の位置、前記個別の現在位置、前記第1の動的数の個別の第1の候補位置、及び前記第2の動的数の個別の第2の候補位置のそれぞれは、前記個別の領域内の点であり、a>0である対応するアレイ要素aとして表され、任意の個別の位置における前記個別のオブジェクトの前記個別の動きの前記個別の方向は、複数の許容可能な方向のうちの1つとして局所的に表される、方法/装置/システム。
【0354】
項A9:項A8の無線監視システムの方法/装置/システムであって、個別の第1候補位置にそれぞれ関連付けられた前記第1の動的数(N1)の重みを計算することであって、各重みは、前記個別の現在位置、前記個別の第1の候補位置、前記個別の第1の候補位置に関連付けられた対応する個別の第2の候補位置、前記個別の動きの前記個別の方向、及び前記個別の方向における前記個別の第1の候補位置と前記第1の到達不能なアレイ要素aとの間の距離のうちの少なくとも1つの関数である、ことと、前記第1の動的数の個別の第1の候補位置及び前記関連付けられた第1の動的数の重みに基づいて、前記個別のオブジェクトの前記個別の次の位置を計算することと、をさらに備える、方法/装置/システム。
【0355】
項A10:項A9の無線監視システムの方法/装置/システムであって、各重みは、前記個別の方向における前記個別の第1の候補位置と前記第1の到達不能なアレイ要素aとの間の前記距離の単調非減少関数である、方法/装置/システム。
【0356】
項A11:項A9の無線監視システムの方法/装置/システムであって、各重みは、前記個別の方向における前記個別の第1の候補位置と前記第1の到達不能なアレイ要素aとの間の前記距離の有界関数である、方法/装置/システム。
【0357】
項A12:項A9の無線監視システムの方法/装置/システムであって、前記個別のオブジェクトの前記個別の次の位置を、前記第1の動的数の第1の候補位置の加重平均として計算することをさらに含む、方法/装置/システム。
【0358】
項A13:項A9の無線監視システムの方法/装置/システムであって、前記個別のオブジェクトの前記個別の次の位置を、前記個別の第1の候補位置の1つとして計算することをさらに含む、方法/装置/システム。
【0359】
項A14:項A9の無線監視システムの方法/装置/システムであって、前記重みを正規化することをさらに含む、方法/装置/システム。
【0360】
項A15:項A9の無線監視システムの方法/装置/システムであって、各個別の第1の候補位置の重み付きコストを、前記第1の動的数の個別の第1の候補位置の残りに対して計算することであって、前記重み付きコストは前記個別の第1の候補位置と前記個別の第1の候補位置の残りのそれぞれとの間のペアワイズ距離の加重和であり、前記重みが正規化される、ことと、前記個別のオブジェクトの前記個別の次の位置を、最小限の重み付きコストを有する前記個別の第1の候補位置として選択することと、をさらに含む、方法/装置/システム。
【0361】
項A16:項A8の無線監視システムの方法/装置/システムであって、前記多次元地図が2次元であり、前記アレイAが2次元アレイであり、各アレイ要素aが2つのインデックスを有する、方法/装置/システム。
【0362】
項A17:項A8の無線監視システムの方法/装置/システムであって、前記多次元地図が3次元であり、前記アレイAが3次元アレイであり、各アレイ要素aが3つのインデックスを有する、方法/装置/システム。
【0363】
項A18:項A8の無線監視システムの方法/装置/システムであって、前記第2の候補位置、前記個別の増分距離(ΔD)、及び前記個別の増分期間(ΔT)のうちの少なくとも1つに基づいて、前記個別のオブジェクトの前記第2の候補位置のそれぞれについて予測値を計算することと、前記第2の候補位置の前記予測値が、関連付けられたアレイ要素a=1で十分に到達可能であるならば、前記第2の候補位置の前記予測値に基づいて前記個別のオブジェクトの第1の候補位置を作成ことと、前記第2の候補位置の前記予測値が、関連付けられたアレイ要素a=0で禁止されているならば、第1の候補位置を作成することなく、前記第2の候補位置を「拒絶」とラベル付けすることと、前記第2の候補位置の前記予測値が、関連付けられたアレイ要素0<a<1で部分的に到達可能であるならば、0と1との間の乱数を生成することと、前記乱数がaより小さいならば、前記第2の候補位置の前記予測値に基づいて前記個別のオブジェクトの第1の候補位置を作成することと、をさらに備える、方法/装置/システム。
【0364】
項A19:項A18の無線監視システムの方法/装置/システムであって、第1の候補位置の量が閾値よりも小さいならば、前記予測値に関連付けられた重み、前記第2の候補位置に関連付けられた重み、前記予測値に関連付けられた前記多次元アレイAのアレイ要素、前記第2の候補位置に関連付けられた前記多次元アレイAのアレイ要素、及び別の確率分布のうちの少なくとも1つに基づく確率分布を用いて、拒絶されていない第2の候補位置の前記予測値を確率的にとる前記個別のオブジェクトの新しい第1の候補位置を生成することをさらに含む、方法/装置/システム。
【0365】
項A20:項A18の無線監視システムの方法/装置/システムであって、第1の候補位置の量が閾値よりも小さいならば、拒絶されていない前記第2の候補位置の前記予測値に関連付けられた重みに基づく確率で、拒絶されていない前記第2の候補位置を確率的にとる前記個別のオブジェクトの新しい第1の候補位置を作成することをさらに含む、方法/装置/システム。
【0366】
項A21:項A18の無線監視システムの方法/装置/システムであって、第1の候補位置の量が閾値より小さいならば、前記量の第1の候補位置に基づいて仮の次の位置を計算し、確率分布に基づいて前記仮の次の位置の近傍に前記個別のオブジェクトの新しい第1候補位置を確率的に作成することと、をさらに含む、方法/装置/システム。
【0367】
項A22:項A18の無線監視システムの方法/装置/システムであって、第1の候補位置の量が閾値よりも小さいならば、確率分布に基づいて、前記個別の現在位置の近傍でサンプリングされた位置の予測子として、前記個別のオブジェクトの新しい第1候補位置を確率的に作成することをさらに含む、方法/装置/システム。
【0368】
項A23:項A22の無線監視システムの方法/装置/システムであって、前記近傍が、拒絶されていない前記第2の候補位置のうちの少なくとも1つを含む、方法/装置/システム。
【0369】
項A24:項A22の無線監視システムの方法/装置/システムであって、前記確率分布は、拒絶されていない前記第2の候補位置のうちの1つをそれぞれが中心とする確率密度関数(pdf)の集合の加重和である、方法/装置/システム。
【0370】
項A25:項A24の無線監視システムの方法/装置/システムであって、pdfの前記集合の少なくとも2つが一般的なpdfである、方法/装置/システム。
【0371】
項A26:項A24の無線監視システムの方法/装置/システムであって、加重和における第2の候補位置に関連付けられた各pdfの前記重みが、前記第2の候補位置に関連付けられた前記アレイ要素の関数である、方法/装置/システム。
【0372】
項A27:項A1の無線監視システムの方法/装置/システムであって、任意の時刻で動的数の個別の候補位置を維持することと、少なくとも1つの個別の候補位置を初期化すること、少なくとも1つの個別の候補位置を更新すること、少なくとも1つの個別の候補位置を追加すること、少なくとも1つの個別の候補位置を一時停止すること、少なくとも1つの個別の候補位置を停止すること、少なくとも1つの一時停止された個別の候補位置を再開すること、少なくとも1つの停止された個別の候補位置を再初期化すること、及び少なくとも1つの個別の候補位置を除去することのうちの少なくとも1つによって前記動的数の個別の候補位置を変更することと、前記個別の次の時間における前記動的数の個別の候補位置、及び別の時刻における前記動的数の個別の候補位置のうちの少なくとも1つに基づいて、前記個別の次の時刻における前記個別のオブジェクトの前記個別の次の位置を計算することと、をさらに備える、方法/装置/システム。
【0373】
項A28:項A27の無線監視システムの方法/装置/システムであって、孤絶の候補位置の前記動的数は、前記個別の現在時刻における上限によって制限される、方法/装置/システム。
【0374】
項A29:項A27の無線監視システムの方法/装置/システムであって、孤絶の候補位置の前記動的数は、ある時刻における下限によって制限されてもよい、方法/装置/システム。
【0375】
項A30:項A27の無線監視システムの方法/装置/システムであって、個別の候補位置の前記動的数が下限よりも低いならば、少なくとも1つの候補位置を追加することをさらに含む、方法/装置/システム。
【0376】
項A31:プロセッサ、前記プロセッサに通信可能に結合されたメモリ、及び前記プロセッサによって実行される前記メモリに格納された命令セットによって実施される方法であって、無線マルチパスチャネルの複数のチャネル情報の時系列(TSCI)を取得することであって、前記複数のTSCIは、前記無線マルチパスチャネルを通じて第1の無線デバイスから第2の無線デバイスへ送信された無線信号から抽出され、前記複数のTSCIのそれぞれは、前記第1の無線デバイスのアンテナ及び前記第2の無線デバイスのアンテナに関連付けられ、前記第1の無線デバイス及び前記第2の無線デバイスのうちの1つは静止デバイスであり、前記第1の無線デバイス及び前記第2の無線デバイスのうちの他方はオブジェクトとともに移動する移動デバイスであり、前記移動デバイスは少なくとも2つのアンテナを備える、ことと、前記移動デバイスの第1のアンテナに関連付けられた第1のTSCIの第1の時刻における第1のチャネル情報(CI)が、前記移動デバイスの第2のアンテナに関連付けられた第2のTSCIの第2の時刻における第2のCIと一致することを判定することであって、前記第1のTSCI及び前記第2のTSCIの両方は、前記静止デバイスの特定のアンテナに関連付けられる、ことと、前記複数のTSCI、前記移動デバイスのアンテナの構成、前記静止デバイスの少なくとも1つのアンテナの構成、前記第1の時刻と前記第2の時刻との間の時間差、及び前記第1のアンテナと前記第2のアンテナとの間の距離のうちの少なくとも1つに基づいて前記移動デバイスの少なくとも1つの移動パラメータを計算することと、前記少なくとも1つの移動パラメータ、前記第1の時間、前記第2の時間、前記移動デバイスのアンテナの前記構成、前記静止デバイスの少なくとも1つのアンテナの前記構成、過去のSTI、及び過去の移動パラメータのうちの少なくとも1つに基づいて前記移動デバイスの空間時間情報(STI)を計算することであって、前記移動パラメータ及び前記STIのうちの少なくとも1つは、前記移動デバイスの現在の移動に関連する、ことと、前記STIに基づいて前記オブジェクト及び前記移動デバイスを追跡することと、を備える方法。
【0377】
項A32:項A31の方法であって、前記移動パラメータ及び前記STIのうちの少なくとも1つは、位置、水平位置、垂直位置、長さ、面積、体積、容量、方向、角度、距離、変位、速さ、速度、加速度、回転速度、回転加速度、歩行サイクル、存在、動きタイプ、動き分類、動き特性、突然の動き、過渡的な動き、周期的な動き、周期的な動きの周期、周期的な動きの周波数、過渡的な動き、時間トレンド、タイミング、タイムスタンプ、期間、タイムウィンドウ、スライディングタイムウィンドウ、履歴、周波数トレンド、空間時間トレンド、空間時間変化、及びイベントのうちの少なくとも1つを含み、前記オブジェクト及び前記移動デバイスを追跡することは、前記オブジェクトの地図位置を判定すること、前記オブジェクトの前記位置を追跡すること、前記オブジェクトの別の動き分析を追跡すること、前記オブジェクトの動きを軌道に沿って誘導すること、障害物を回避するように前記オブジェクトの前記動きを誘導すること、前記オブジェクトの動作を追跡すること、前記オブジェクトの挙動を追跡すること、オブジェクト挙動識別、前記オブジェクトの前記動作を検出すること、前記オブジェクトのバイタルサインを検出すること、前記オブジェクトに関連付けられた周期的動作を検出すること、前記オブジェクトの呼吸を検出すること、前記オブジェクトの心拍を検出すること、現在の動きに関連付けられたイベントを検出すること、前記オブジェクトの転倒動きを検出すること、前記オブジェクトの前記位置を提示すること、前記オブジェクトの前記位置の履歴を提示すること、及び前記オブジェクトの前記位置をグラフィカルに表示することのうちの少なくとも1つを含む、方法。
【0378】
項A33:項A31の方法であって、前記移動デバイスの第3のアンテナに関連付けられた第3のTSCIの第3の時刻における第3のCIが、前記移動デバイスの第4のアンテナに関連付けられた第4のTSCIの第4の時刻における第4のCIと一致することを判定することであって、前記第3のTSCI及び前記第4のTSCIの両方が、前記静止デバイスの別の特定のアンテナに関連付けられている、ことと、前記第1のCIと前記第2のCIとの間の前記一致、前記第3のCIと前記第4のCIとの間の前記一致、及び別の2つのCIの間の別の一致のうちの少なくとも1つに基づいて移動パラメータのための確率モデルを計算することと、前記確率モデル、前記複数のTSCI、前記移動デバイスのアンテナの前記構成、前記静止デバイスのアンテナの前記構成、前記第1の時刻と前記第2の時刻との間の時間差、前記第3の時刻と前記第4の時刻との間の時間差、前記第1のアンテナと前記第2のアンテナとの間の距離、及び前記第3のアンテナと前記第4のアンテナとの間の距離のうちの少なくとも1つに基づいて前記移動デバイスの前記少なくとも1つの移動パラメータを確率的に計算することであって、前記移動デバイスの前記STIは、前記少なくとも1つの移動パラメータ、前記第1の時間、前記第2の時間、前記第3の時間、前記第4の時間、前記静止デバイスのアンテナの前記構成、前記移動デバイスのアンテナの前記構成、過去のSTI、及び過去の移動パラメータのうちの少なくとも1つに基づいて計算される、ことと、をさらに備える、方法。
【0379】
項A34:項A31の方法であって、前記少なくとも1つの移動パラメータのための確率モデルを計算することと、前記確率モデルに基づいて前記移動デバイスの前記少なくとも1つの移動パラメータを確率的に計算することと、前記少なくとも1つの確率的に計算された移動パラメータに基づいて前記移動デバイスの前記STIを確率的に計算することと、をさらに備える、方法。
【0380】
項A35:項A31の方法であって、前記少なくとも1つの移動パラメータのための確率モデルを計算することと、前記確率モデルに基づいて前記移動デバイスの前記少なくとも1つの移動パラメータを確率的に計算することと、前記移動デバイスの候補STIの数を計算することであって、各候補STIは、確率的に計算された移動パラメータに基づいて計算される、ことと、前記候補STIの集合に基づいて前記STIを計算することと、をさらに備える、方法。
【0381】
例:ストライド長推定
【0382】
ストライド長推定は、歩行者の追跡から個人のヘルスケアに及ぶ様々な用途を有する。しかしながら、これは通常、慣性センシングによって達成され、これは低コストの汎用品センサ上のノイズの多い読み取り値と制約のない人間の歩行とにより、大きな誤差を被る。慣性センサのみを探査する従来の方法とは異なり、本教示は、細粒度のストライド長を推定する融合された無線及び慣性センシング設計を開示する。開示されるアプローチは、無線信号からのセンチメートル精度での歩行距離推定を基礎とするWiFiセンシングにおける最近の進歩を取り入れる。そして、慣性センサ読み取り値を使用する新規なステップ検出アルゴリズムが開示され、これは、ステップをカウントするだけでなく、検出されたステップごとの時間情報も報告する。そして、本アルゴリズムは、時間注釈付き距離推定結果とステップとを融合して、ストライド長を導出する。大規模なパブリックデータセットに対する評価は、ステップカウントアルゴリズムが3%の誤差を生じることを示す。さらに、8人のユーザでの汎用品ハードウェアに関する実験は、ストライド長推定において約2センチメートルの誤差を示す。
【0383】
慣性センシングは、とりわけ歩行者推測航法(PDR)及び歩行分析のような多くのモバイルアプリケーションに対する安価で便利な解決策であった。これは歩行障害、足の引きずり又は歩幅の減少をもたらす可能性がある神経学的又は筋骨格系の疾患を定量化し、治療するための診断をサポートするために使用されている。一方、低コスト慣性測定ユニット(IMU)を用いたPDRは、GPSが利用できない場合に代替測位を提供するために広く研究されてきた。これは、典型的にはステップ数に歩幅を乗算したものとして推定される移動距離と、連続的な位置を提供するための進行方向情報とを統合する。
【0384】
広範な調査にもかかわらず、慣性センシングに依然として残されている最も重要な要素の1つは、歩行分析及びPDRの両方にとって重要なストライドバイストライドパラメータであるストライド長の正確な推定である。ステップ検出のために、ゼロ交差、ピーク検出、及び自己相関のような多くのアルゴリズムが開示されている。しかしながら、ストライド長推定は、安価なセンサ上でのノイズの多い読み取り値、個人間及び経時的な歩行パターンの変化のせいで、より複雑である。初期の解決策では、誤差を受ける過度に単純化された線形/非線形モデルを採用する。従来のアルゴリズムの大部分は時間にわたる加速度の二重積分を実行し、これは、再初期化のためにゼロ速度更新点を必要とし、ノイズの多いセンサデータ及び動き干渉を受けやすい。最近の研究は、ストライド長を学習するための神経回路網を構築するが、これはトレーニングのために大量のデータを必要とする。ストライド長推定のために、カメラシステム、気圧センサなどを含む他の様式も採用される。しかし、これらのシステムは、慣性センサよりも利便性が低く、通常はるかに高価である。
【0385】
今日、ほとんどのモバイルデバイスは、マルチアンテナWi−Fi無線だけでなく、慣性センサを備えている。本開示はこの機会を利用し、出現しつつある無線センシングを従来の慣性センシングと統合して、正確なストライド長推定を達成することを検討する。本アイデアは、無線信号からの歩行距離を推定する一方で、対応するステップをIMUデータから取ることである。仮想アンテナ位置合わせアプローチを採用し、2つ又は3つのアンテナを備えた汎用品WiFiカードを使用して、モバイル環境用にこれを実装できる。ユーザは単に無線機を手に持って自由に歩く必要があり、歩行距離は、受信されたWiFi信号の測定された一連のチャンネル状態情報(CSI)から推定される。まず、ステップをカウントするだけでなく、検出された各ステップの正確な開始時間及び終了時間も報告する、有限状態機械に基づくステップ検出のための新規な時間領域アルゴリズムを導入できる。多くの既存のアプローチは、このような時間注釈付きステップを得ることができない。そして、移動距離を同じ期間の対応する歩行回数で割ることにより、ストライド長を推定できる。
【0386】
アルゴリズムの有効性を検証するための実験は2つの部分を含んでいる。第1に、大きなパブリックデータセット上のステップ検出を調べることができる。データセットは、歩行中の典型的な制約のない使用においてスマートフォン上で測定されたIMUデータの時系列を含む。このデータセットに関する評価は、ステップカウントアルゴリズムが全トレースの90%に対して誤り率5%未満の顕著な性能を達成し、9個の異なるアプローチを上回ることを示す。正確なステップカウントに加えて、開示されるアルゴリズムはまた、単一ステップごとの時間情報を出力する。
【0387】
そして、ストライド推定の性能を評価するために、開示されるアルゴリズムを汎用品ハードウェア上で実施し、実験できる。8人のユーザが、デバイスを手に持ちながらいつもどおり歩くように頼まれる。CSI及びセンサデータの両方が彼らの歩行中に収集される。特に、ストライド長は、約2センチメートルの中央値誤差で推定される。
【0388】
慣性センサを用いたステップ検出のために開発された多くのアルゴリズムがある。従来の方法は、通常、一連の加速度計の読み取り値が与えられると、どれだけ多くのステップが取られたかをカウントすることに焦点を当てる。正確なストライド長を取得するために、ステップ数だけでなく、各ステップの正確な開始時刻及び終了時刻も必要であってもよく、その結果、後に、無線信号を介して所定のストライド期間中の正確な移動距離を計算できる。
【0389】
正確なタイミング情報でステップ検出を達成するために、本教示は有限状態機械(FSM)に基づく時間領域アプローチを開示する。主要な洞察は、通常の人間の歩行サイクルが、個人及び速度にわたって変化するにもかかわらず、慣性データから見た典型的なテンプレートに従うということである。ストライド周期は2つのフェーズ、すなわち、スタンスフェーズ及びスイングフェーズを含み、これらはさらに7つのステージに分解されうる。スタンスフェーズは1本の足の最初のかかと接触から始まり、同じ足のつま先が地面から離れたときに終了する。スイングフェーズは、足が前方にスイングする動作で直ちに続き、次のかかと接触まで続く。直観的には、ストライドサイクルは2つのステップを含み、それに応じてストライド長が規定される。一実施形態では、2つの連続するステップを区別せず、したがって、ステップ長をストライド長として計算し、これは平均して、一般に規定されるストライド長の半分である。理想的には、歩行動作によって誘発される加速度が最初に大きな値に増加し、次に負の値に減少し、最後にほぼゼロに戻る。ステップ中の典型的で理想的な加速度変化が図11の最初の図によって示され、他の図は、異なる個人、歩行速度、及びセンサ配置にわたってパターンがどのように変化するかを示す。図11の各図は、性別(M:男性、F:女性)、身長(T:180cm〜189cm、M:170cm〜179cm、S:150cm〜169cm)、速度(N:通常、F:高速、S:低速)、配置の形式で命名されている。歩行サイクルの詳細な理解に基づくFSM設計はステップ検出のための加速度遷移を特徴付けるために、高度なFSMを精緻化できる。図12に示すように、FSMは5つの異なる状態を含む。
【0390】
・S_ZC:ゼロ交差検出時の初期かつデフォルト状態
【0391】
・S_PK:加速度がピークに到達した状態
【0392】
・S_P2V:加速度がピークからポテンシャルの谷に減少したときにゼロ交差が発生する状態
【0393】
・S_VL:加速度の谷の状態
【0394】
・S_DT:ステップが要求されている状態
【0395】
状態遷移を判定するために、6つの基本イベントを規定でき、これらはすべて慣性センサデータから識別可能である。
【0396】
・E_PK:ピークが検出される
【0397】
・E_VL:谷が検出される
【0398】
・E_ZC:ゼロ交差が観察される
【0399】
・E_FPK:「遠い」ピークが、前のE_PKイベントの後に、中間イベントなしであるが、しきい値を超える大きな時間差で検出される
【0400】
・E_FVL:E_FPKと同様に規定される谷
【0401】
・E_TIMEOUT:FSMが1つの状態に長く留まりすぎるならば、タイムアウトイベントがトリガされる
【0402】
最初の3つのイベントは歩行中の加速パターンの主要な特性を特徴づけ、後の3つは、ノイズ及び非歩行動作干渉に対処するために、時刻情報に結合された最初の3つから導出される。
【0403】
デフォルトで、アルゴリズムはイベントが発生するまでその現在の状態にとどまり、イベントの発生に応じて別の状態に移行するか、変更されないままである。それぞれの状態は図12にマークされているように、特定のイベントでのみ遷移する。デフォルトのS_ZC以外のすべての状態は、タイムアウトイベントに関連付けられる。状態S_DTは、新しいデータが到着するとS_ZCに戻る。E_FPK及びE_FVLは、ノイズの多いセンサ読み取り値及びユーザ動作干渉によって引き起こされる2つの連続したピーク又は谷のケースを処理するために導入される。例えば、後続のピークが以前のものに近すぎるならば、本アルゴリズムは歩行中の歪みとしてそれを扱い、同じ状態を維持し、そうでない場合、それはよりランダム動作に似ており、状態はS_ZCにリセットされる。
【0404】
アルゴリズムの設計は多くの強い側面を達成する。検出された各ステップについて、アルゴリズムは、検出されたステップのタイミング情報を出力する。対応するS_ZCの時点は開始時刻であり、S_DTに入る時刻は終了時刻を意味する。アルゴリズムは効率的であり、少数の状態しかない。これは、絶対加速度に大きく依存しないように、多くの被験者依存パラメータに依存することなく識別されうる、いくつかの本質的なイベントとして比較的ノイズのあるセンサ読み取り値を分解する。
【0405】
センサデータ処理:生のセンサデータは、上記のFSMに対する入力として、一連の関心イベントに処理される。しかしながら、ここでの主要な課題は歩行パターン及びデバイス位置(例えば、手持ち、ポケット内、又はバックパック内等)によって、ステップの理想的な加速パターンが大きく変化することである。さらに、センサデータはノイズが多く、時間にわたってドリフトする可能性がある。図11は、正常なもの、歪んだもの、又は偏ったものを含む、歩行サイクルのいくつかの異なるパターンを示す。
【0406】
様々なセンサパターンを処理するために、一連の前処理ステップを実行できる。加速度計は、サンプルごとのx軸、y軸、z軸に沿った3次元センサ値をa=(a,a,a)として報告する。報告された加速度は(地球のフレームではなく)デバイスフレームにあり、動作誘起と重力強制との両方の成分を含む。重力を補償し、加速度を地球の基準フレームに変換する必要があるかもしれない。幸いなことに、現代のIMUは、重力ベクトルg=(g,g,g)を報告する加速度計及びジャイロスコープ又は磁力計に基づいて、融合センサ(通常、重力センサと命名される)としての重力成分を抽出する優れた仕事を行ってきた。したがって、センサの向きのない投影加速度の大きさを以下のように容易に得ることができる。
[この文献は図面を表示できません]
【0407】
A=[a(t),a(t),・・・,a(t)]として示され、a(t)は時刻tにおける読み取り値である加速度の大きさの時系列が与えられると、移 動平均トレンドを除去することによって、重力及び潜在的なセンサのドリフトをさらに除去できる。ストライド長推定のためにオンラインでデータを処理する必要がないので、移動平均を計算するために2秒の比較的長いウィンドウを使用できる。その後、0.25秒のウィンドウを用いて、トレンド除去されたデータをさらに平滑化できる。
【0408】
その後、ゼロ交差及びピーク検出を実行して、データ系列から関心イベントをすべて識別できる(谷検出は、データに−1を乗算することによってピーク検出と同じ方法で行われる)。処理の結果、E=[e(t),e(t),・・・,e(t)]と表されるイベントの時系列が得られ、ここで、e(t)∈{E_PK,E_VL,E_ZC}は時刻tにおいてイベントが発生することである。イベントは、典型的には標準的なステップ内に3つのE_ZC、1つのE_PK、及び1つのE_VLがあるので、時系列Aにわたって疎である。このイベント系列は その後、ステップ検出のためにFSMに供給される。他の3つのイベント、すなわち、E_FPK、E_FVL、E_TIMEOUTは、それぞれ、2つの連続するE_PK、Ee_VLのタイムスタンプ及び状態自身の期間を調べることによって、FSM内で検出される。例えば、E_FPKは、e(ti−1)=e(t)=E_PKかつ|t−ti−1|>thmax_gapならば発生し、ここでthmax_gapは、人間の歩行挙動によって決定されうる閾値を示す。
【0409】
絶対加速度閾値ではなく、イベント(すなわち、加速度系列における特定の相対パターン)を含むことによって、開示されるFSMは、より一般化され、異なる歩行パターン及びセンサ位置に対してロバストである。図13Aはステップ検出結果の一例を示しており、タイミング情報を用いてステップごとに正確にカウントする。
【0410】
WiFiによる歩行距離推定:センチメートルレベルで歩行距離を正確に推定するために、仮想アンテナ位置合わせアプローチのアイデアを利用できる。
【0411】
2アンテナラインアレイを例にとる。アレイがそれらを結ぶ線に沿って動く場合に、もう一方の軌跡に続く1つのアンテナが存在することになる。特定の移動速度は後続のアンテナが他のアンテナが移動した同じ位置に当たり(すなわち、2つのアンテナが仮想的に位置合わせされ)、それによって同じ(類似の)マルチパスプロファイルを観察する時間遅延を判定する。時間遅延は以下によって推定されうる。
[この文献は図面を表示できません]
ここで、H(t)は時間tにおけるCSI測定結果であり、lはサーチウィンドウ[t−l,t+l]を指定し、ηは以下のように計算される時間反転共振強度(TRRS)である。
[この文献は図面を表示できません]
ここで、(・)は共役転置を示す。Δtで、アレイの移動速度は、以下のようにすぐに導出されうる。
[この文献は図面を表示できません]
ここで、Δdは、事前に知られている対応するアンテナ分離である。そして、よって、移動距離が以下のように算出される。
[この文献は図面を表示できません]
ここで、Tは移動の期間である。
【0412】
ストライド長推定のシナリオを検討すると、歩行中に仮想アンテナ位置合わせの機会を増すために、ユーザはデバイスを手で保持する必要がある。仮想アンテナ位置合わせは、移動中に15°の逸脱角を許容できる。これは、ハンドヘルドモバイルシナリオに適用可能にする重要な特性である。歩行中であっても、協力的なユーザは、15°を超える著しい逸脱を生じる機会をほとんど伴わずに、デバイスを比較的安定して保持できる。図13B及び図13Cに示されるように、ユーザがWiFiデバイスを手に持ったままいつも通り歩行している場合に、歩行速度が正確に追跡されうる。
【0413】
図13は、WiFiベースのセンシングによって推定される慣性センシング及び歩行距離(速度)によって検出されるステップの例を示す。図13Aにおいて、正方形は検出されたステップを示し、三角形はピーク及び谷を示し、円はゼロ交差点を示す。図13Bは、識別されたアンテナ位置合わせ遅延(線)を有するTRRSマトリクスを示す。図13Cは推定速度を示す。
【0414】
より一般的に、歩行トレースが与えられると、各ステップsiが時刻ti−1で開始し、時刻tで終了する一連のN個のステップS=[s,s,・・・,s]を検出し、対応する瞬時速度系列V=[v(t),t=1,2,・・・,T]を推定したと仮定する。その場合、平均ストライド長Lを以下のように導出することは直接的である。
[この文献は図面を表示できません]
【0415】
推定は、歩行トレースの様々な長さ及び/又は歩行インスタンス中の様々なストライド長に対してよりロバストになるように改善されうる。特に、最初のk個のステップ、ただし、kは1〜Nの範囲、のみを使用することによって、ストライド長をさらに計算できる。
[この文献は図面を表示できません]
【0416】
その後、中央値を推定結果としてとることができる。すなわち、L=Med(L)。
【0417】
瞬時速度推定と細粒度ステップ検出により、単なる平均値ではなく、ステップごとのストライド長さも計算できる。具体的に、i番目のステップのストライド長は、
[この文献は図面を表示できません]
このようなきめの細かいデータは、歩行の変化を分析するのに有用であろう。
【0418】
融合された無線及び慣性センシング方法は、ストライド長推定問題に対する特有の新規な解決策に寄与する。これは、ノイズの多いセンサの読み取り値、及び二重積分アプローチに付随する累積誤差に影響されない。これは、センサの向きや配置場所には影響されない。そして最も重要なことは、正確なステップ検出機構と細粒度距離推定によって帰する高い精度を達成することである。
【0419】
一実施形態では、人間の歩行は、(a)1つの可動肢(例えば、左脚)を動かす(例えば、スイングする)ことと、(b)別の可動肢(例えば、右脚)を動かす(スイングする)こととの2つの交互のステップを伴う(例えば、2つの脚の)スイング動作を伴う。スイング動作は基本的に、いくつかの観測可能なフェーズを有する反復(又は周期的)動作サイクルである。加速度(大きさ)を使用して、ユーザが歩くときに一連のストライドを追跡できる。ストライドは、スタンバイ、最大(正)加速度、ゼロ加速度への遷移、そして最小(負)加速度、及びスタンバイへ戻るという4つの状態で特徴付けられうる。関心のある他の反復動作は、各「サイクル」が観察可能な量のピーク(極大値)及び谷(極小値)を有する周期的動作を含む。動作統計値(例えば、加速度)がゼロ平均を有するならば、最も単純な動作サイクルは、ゼロ、最大値、ゼロ、最小値、及びゼロに戻るシーケンスを有する。あるいは、代替的に、ゼロ、最小値、ゼロ、最大値、ゼロである。動作統計値がゼロ平均を有しないならば(例えば、ゆっくりしたドリフトを伴う加速)、平均を引くことができ、それから、動作サイクルは次の順序、ゼロ、最大値、ゼロ、最小値、ゼロを有しうる。あるいは、非ゼロ動作統計値が平均値、平均値より上の最大値、平均値、平均値より下の最小値、平均値のシーケンスを有しうる。今日、スマートフォンは、加速度を与えることができる慣性測定ユニット(IMU)を有する。加速度はデバイスフレーム(すなわち、人間の動作によって地球に対して変化するデバイス座標系)から地球フレーム(すなわち、地球座標系)に、重力に起因する加速度を補正して変換されうる。一実施形態では、アルゴリズムが以下のように説明されてもよい。
【0420】
第1ステップで、慣性センサ入力を用いて有限状態機械(FSM)を構築する。これは以下のものを含む。(a)IMUが、デバイスフレーム加速を取得する。(b)IMUが、重力を補正して、デバイスフレーム加速度を地球フレームの加速度に変換する。(c)デバイスが、地球フレーム加速度を求め、(非常にノイズが多くドリフトの問題がある)加速度の大きさを計算する。(d)デバイスが、ドリフトの課題に対処するために、移動平均を除去する(すなわち、局所平均又は平均を減算する)ことによって、加速の大きさを前処理する。平均除去は2つのステージ、すなわち、移動平均のために2秒タイムウィンドウを使用する第1のステージと、0.25秒タイムウィンドウを使用する第2のステージとで行われる。2ステージ平均減算は、何らかの1ステージローパスフィルタリングと等価である。(e)デバイスが、「加速度ピーク」、「加速度ゼロ交差」、及び「加速度谷」を見つけるために、加速度の大きさを分析する。「ピーク」を検出するためにピーク検出アルゴリズムが使用され、「谷」を検出するためにネゲートされた信号に再び適用される。典型的に、1つの「ピーク」、1つの「谷」及び3つの「ゼロ」がストライドサイクルにある。「ゼロ」が3回、すなわち状態a(スタンバイ)、状態c(ゼロ交差」及び状態e(ストライドサイクルの終了/スタンバイ)において検出されることに留意されたい。(f)時にはエラー状態が発生する可能性がある。よって、「ゼロ」又は「谷」又は「スタンバイ」がなく、以前の「ピーク」の直後に現在の「ピーク」が検出され、現在のピークと以前のピークとの間の時間が閾値よりも大きいならば、「遠くのピーク」状態が検出されることがある。(g)同様に、「ゼロ」又は「ピーク」がなく、以前の「谷」の直後に現在の「谷」が検出され、現在のピークと以前のピークとの間の時間が閾値よりも大きいならば、「遠くの谷」状態が検出される。(h)別のエラー状態は、長時間、状態遷移がないことである。「タイムアウト」は、FSMが1つの状態に長く留まりすぎることである。(i)その他のエラー状態は、「ゼロ」ありで「ピーク」の後に観察される「谷」である。又は「ゼロ」の後に観察される「ピーク」。又は「スタンバイ」なしに「谷」の後の「ピーク」。
【0421】
第2のステップで、(a)初期/スタンバイ状態(「ピーク」が観察されたならば状態bに遷移する)、(b)加速度ピーク、(「ゼロ」が観察されたならば状態cに遷移し、又はエラーが発生したならば状態aに遷移する)、(c)加速度の(正から負への)ゼロ交差、(「谷」が観察されたならば状態dに遷移し、エラーが発生したならば状態aに遷移する)、(d)加速度谷又は最小値(「ゼロ」が観察されたならば状態eに遷移し、エラーが発生したならば状態aに遷移する)、(e)完全なストライドサイクルの検出(状態aに自動的に遷移する)を含む、IMUデータに基づいてストライドサイクルの4つ又は5つの状態(状態a及び状態eは本質的に同じ状態である)のそれぞれのタイミングを計算する。
【0422】
第3のステップで、(1)アンテナマッチング、又は(2)フォーカスボール、又は(3)WiSpeed、又はこれらの組み合わせの方法を使用して距離/速度/加速度を推定するために、WiFi CSIを使用する。オプションで、角度入力(例えば、CSI又はIMUからの入力を使用して計算される)を使用できる。
【0423】
第4のステップで、状態及び状態のタイミングに基づいて、IMUデータ分析からの状態及び状態のタイミングと、WiFi CSI分析からの距離/速度/加速度とに基づいて、瞬時ストライド長を計算する。別の統計値(例えば、平均、中央値、モード、トリミングされた平均、加重平均、時間加重平均、変動性測定、分散、標準偏差、変分測定、絶対変分、総変分、平均変分、二乗変分、平均二乗変分、偏差測定、発散、発散測定、範囲、四分位間範囲、分散、ダイバーション、移動平均、移動中央値、移動モード、履歴ストライド長、長期統計値、短期統計値、ヒストグラムなど)を計算する。
【0424】
項B1:プロセッサと、前記プロセッサに通信可能に結合されたメモリと、前記メモリに記憶された命令セットとを使用して、現場の無線マルチパスチャネルのチャネル情報(CI)の時系列を取得することであって、CIの前記時系列(TSCI)は、前記無線マルチパスチャネルを通じて前記現場内のタイプ1異種無線デバイス(無線送信機)とタイプ2異種無線デバイス(無線受信機)との間で送信された無線信号から抽出され、前記無線マルチパスチャネルは、前記現場内のオブジェクトの律動的(rhythmic)動作によって影響を受ける、ことと、前記オブジェクトとともに移動するセンサから取得された感知情報(TSSI)の時系列と前記TSCIとに共同で基づいて前記オブジェクトの前記律動的動作を監視することと、前記オブジェクトの前記律動的動作の前記監視に基づいて応答アクションをトリガすることと、を有する方法/装置/システム。
【0425】
項B2:項B1の律動的動作監視システムの方法/装置/システムであって、前記律動的動作は、歩行動作、歩行、行進動作、ペーシング動作、走行動作、ギャロップ動作、トロット動作、体動作、脚動作、手動作、指動作、体幹動作、胴動作、頭動作、反復動作、複合反復動作、ロボット動作、機械動作、風誘発動作、カーテン動作、流れ誘発動作、流体動作、振動、地震、揺れ、震え動作、痙攣動作、身震い動作、音楽動作、ダンシング動作、振動、規則的動作、周期動作、呼吸動作、心拍動作、動悸動作、リラックス振動、増加動作、減少動作、拡張動作、収縮動作、拍動動作、ポンピング動作、パウディング動作、落下動作、ズキズキ動作、ハンマー動作、交互動作、協調動作、複数の反復動作の組合せ、変調動作、混合動作、少なくとも1つの基礎となる律動との合成動作、別のオブジェクトの別の律動的動作に結合された動作、律動的詳細を有する過渡的動作、転倒動作、衝突、衝撃、及び律動に結合された動作のうちの少なくとも1つを含む、方法/装置/システム。
【0426】
項B3:項B1の律動的動作監視システムの方法/装置/システムであって、感知情報(SI)は、加速度、3軸加速度、加速度の大きさ、角速度、3軸角速度、傾斜、3軸傾斜、方位、3軸方位、力情報、光情報、熱情報、温度、及び別の感知情報のうちの少なくとも1つを含み、チャネル情報(CI)は、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、CSI、CIR及びCFRのうちの少なくとも1つの大きさ、CSI、CIR及びCFRのうちの少なくとも1つの位相、CSI、CIR及びCFRのうちの少なくとも1つの成分、信号強度、信号振幅、信号振幅、スペクトル電力測定結果、モデムパラメータ、動的ビームフォーミング情報、伝達関数成分、無線状態、測定可能な変数、感知データ、層の粗粒度情報、層の細粒度情報、及び別のチャネル情報のうちの少なくとも1つを含み、前記層は、物理層、MAC層、データリンク層、ネットワーク層、トランスポート層、セッション層、プレゼンテーション層、アプリケーション層、ネットワークインタフェース、インターネット、TCP、UDP、IP、イーサネット、及び別の層のうちの少なくとも1つを含む、方法/装置/システム。
【0427】
項B4:項B1の律動的動作監視システムの方法/装置/システムであって、前記TSCIに基づいて中間量(IQ)の時系列を計算することと、前記TSSIに基づいて第2の中間量(SIQ)の時系列を計算することであって、IQの前記時系列(TSIQ)及びSIQの前記時系列(TSSIQ)が非同期である、ことと、前記TSIQ及び前記TSSIQに基づいて前記オブジェクトの前記律動的動作を監視することと、をさらに有する、方法/装置/システム。
【0428】
項B5:項B4の律動的動作監視システムの方法/装置/システムであって、中間量(IQ)及び第2の中間量(SIQ)のうちの少なくとも1つが、前記律動動作のサイクルに関連付けられた状態、前記律動動作のサイクルに関連付けられたイベント、前記律動動作のサイクルに関連付けられた有限状態機械(FSM)の状態、前記FSMの状態遷移に関連付けられたイベント、前記律動動作の前記サイクルの律動詳細、前記律動動作の前記サイクルのサイクル内詳細、状態、イベント、律動詳細、及び前記サイクルに関連付けられたサイクル詳細のうちの少なくとも1つのタイミング、タイムスタンプ、開始時刻、終了時刻、タイムコード、タイミング、期間、持続期間、周波数、周期、サイクル、律動、ペース、カウント、インジケータ、発生、状態、集合、距離、変異、方向、速さ、速度、加速度、角距離、角速度、角加速度、位置の変化、方向の変化、速さの変化、加速度の変化、近接、存在、不在、出現、消失、位置、統計値、動作統計値、呼吸統計値、距離統計値、速さ統計値、加速度統計値、メトリック、l_k距離メトリック、l_l距離メトリック、l_1距離メトリック、絶対距離メトリック、l_2距離メトリック、ユークリッド距離メトリック、l_無限距離メトリック、パス、ボリューム、質量、表面積、形状、姿勢、エネルギー、トレンド、時系列、ラベル、タグ、クラス、カテゴリ、時間プロファイル、時間量、周波数量、過渡量、増分量、瞬時量、平均量、局所平均量、フィルタされた量、量変化、反復量、イベント、認識されたイベント、認識された動作シーケンス、ジェスチャ、手ジェスチャ、指ジェスチャ、手首ジェスチャ、腕ジェスチャ、腕ジェスチャ、肩ジェスチャ、頭ジェスチャ、顔ジェスチャ、首ジェスチャ、腰ジェスチャ、脚ジェスチャ、足ジェスチャ、最大値、最小値、制約付き最大値、制約付き最小値、極大値、極小値、第1の極大値、第1の極小値、第kの極大値、第kの極小値、平均、加重平均、百分位数、平均、中間値、モード、トリミングされた平均、条件付き平均、条件付き統計値、順序付き統計値、分散、歪度、尖度、モーメント、高次モーメント、キュムラント、相関、共分散、共歪度、共尖度、1次統計値、2次統計値、3次統計値、高次統計値、ロバスト量、別の量に関連付けられた引数、CIの特徴、CIの複素成分、前記複素成分の大きさ、前記複素成分の位相、前記CIの前記複素成分の関数、前記複素成分の大きさの多項式、前記複素成分の大きさの二乗、CIの前記特徴の時系列、CIの前記特徴の自己相関関数、別の量の関数、及び前記別の量のうちの少なくとも1つを含む、方法/装置/システム。
【0429】
項B6:項B4の律動的動作監視システムの方法/装置/システムであって、前記TSCIに基づいてタイムスタンプに関連付けられた自己相関機能(ACF)を計算することと、前記ACFに基づいて前記タイムスタンプに関連付けられたIQを計算することと、をさらに有する、方法/装置/システム。
【0430】
項B7:項B6の律動的動作監視システムの方法/装置/システムであって、前記ACFの、極大値、第1の極大値、第2の極大値、第3の極大値、極小値、第1の極小値、第2の極小値、第3の極小値、ゼロ交差、第1のゼロ、第2のゼロ、第3のゼロのうちの少なくとも1つに基づいて前記IQを計算することをさらに有する、方法/装置/システム。
【0431】
項B8:項B4の律動的動作監視システムの方法/装置/システムであって、第1の時刻における前記TSCIの第1のCIと第2の時間における前記TSCIの第2のCIとの間の類似度スコアを計算することと、前記類似度スコアを基準関数と比較することと、特定の引数における前記基準関数の値が前記類似度スコアに等しいと判定することと、前記類似度スコア、前記基準関数、前記特定の引数、及び前記第1の時刻と前記第2の時刻との間の時間差に基づいて前記IQを計算することと、をさらに有する、方法/装置/システム。
【0432】
項B9:項B4の律動的動作監視システムの方法/装置/システムであって、前記IQが、前記オブジェクトの前記律動動作の距離、速度、加速度、角変位、及び進行方向のうちの少なくとも1つを含み、前記無線信号が、前記タイプ1デバイスのM個のアンテナによって送信され、前記タイプ2デバイスのN個のアンテナによって受信されることと、前記無線信号から抽出された前記無線マルチパスチャネルの2つ以上のTSCIを取得することであって、前記タイプ1デバイスのアンテナ及び前記タイプ2デバイスのアンテナに関連付けられた各TSCIであり、前記タイプ1デバイス及び前記タイプ2デバイスのうちの少なくとも1つが静止デバイスであり、前記タイプ1デバイス及び前記タイプ2デバイスのうちの他方が前記オブジェクトとともに移動する移動デバイスである、ことと、前記移動デバイスの第1のアンテナに関連付けられた第1のTSCIの第1の時刻における第1のCIが、前記移動デバイスの第2のアンテナに関連付けられた第2のTSCIの第2の時刻における第2のCIと一致することを判定することであって、前記第1のTSCI及び前記第2のTSCIの両方が前記静止デバイスの同じアンテナに関連付けられる、ことと、前記2つ以上のTSCI、前記移動デバイスのアンテナの構成、前記静止デバイスの少なくとも1つのアンテナの構成、前記第1の時刻と前記第2の時刻との間の時間差、及び前記第1のアンテナと前記第2のアンテナとの間の距離のうちの少なくとも1つに基づいて前記IQを計算することと、をさらに有する、方法/装置/システム。
【0433】
項B10:項B4の律動的動作監視システムの方法/装置/システムであって、前記律動的動作に関連付けられた有限状態機械(FSM)を判定することであって、前記FSMは、前記律動的動作に関連付けられた少なくとも2つの状態と、前記律動的動作に関連付けられた少なくとも1つの状態遷移イベントによってそれぞれトリガされる前記少なくとも2つの状態間の状態遷移とを含む、ことと、前記FSMに関して前記TSSIを分析することと、前記TSSIの前記分析に基づいて検出されたイベントの時系列を検出することであって、検出された各イベントは、前記FSMに関連付けられた前記少なくとも1つの状態遷移イベントのうちの1つであり、検出された各イベントは、イベント時刻に関連付けられ、前記TSSIQは、検出されたイベントの前記時系列、前記関連付けられたイベント時刻、及び前記FSMによる結果の状態のうちの少なくとも1つを含む、ことと、前記TSSIQ、検出されたイベントの前記時系列、前記関連付けられたイベント時刻、及び前記FSMによる前記結果の状態に基づいて前記オブジェクトの律動的動作を監視することと、をさらに有する、方法/装置/システム。
【0434】
項B11:項B10の律動的動作監視システムの方法/装置/システムであって、前記TSSIの前記分析に基づいて、関連付けられた開始時刻及び終了時刻を伴う前記律動的動作の完全なサイクルを識別することと、前記識別された完全なサイクルに基づいて前記オブジェクトの前記律動的動作を監視することと、をさらに有する、方法/装置/システム。
【0435】
項B12:項B11の律動的動作監視システムの方法/装置/システムであって、状態遷移の論理シーケンスが、前記オブジェクトの前記律動的動作の前記完全なサイクルに関連付けられることと、前記TSSIの前記分析及び検出されたイベントの前記時系列の分析のうちの少なくとも1つに基づいて状態遷移の論理シーケンスを検出することと、前記検出された状態遷移の論理シーケンスに基づいて前記律動的動作の完全なサイクルを識別することと、をさらに有する、方法/装置/システム。
【0436】
項B13:項B11の律動的動作監視システムの方法/装置/システムであって、状態の論理シーケンスが、前記オブジェクトの前記律動的動作の前記完全なサイクルに関連付けられることと、前記TSSIの前記分析及び検出されたイベントの前記時系列の分析のうちの少なくとも1つに基づいて状態の前記論理シーケンスを検出することと、前記検出された状態の論理シーケンスに基づいて前記律動的動作の前記完全なサイクルを識別することと、をさらに有する、方法/装置/システム。
【0437】
項B14:項B10の律動的動作監視システムの方法/装置/システムであって、TSSIの分析に基づいて、関連する開始時間及び終了時間を伴う律動的動作の部分サイクルを識別するステップと、識別された部分サイクルに基づいてオブジェクトの律動的動作を監視するステップとをさらに含む、方法/装置/システム。
【0438】
項B15:項B14の律動的動作監視システムの方法/装置/システムであって、状態遷移の論理シーケンスが、前記オブジェクトの前記律動的動作の前記部分サイクルに関連付けられることと、前記TSSIの前記分析及び検出されたイベントの前記時系列の分析のうちの少なくとも1つに基づいて状態遷移の前記論理シーケンスを検出することと、前記検出された状態遷移の論理シーケンスに基づいて前記律動的動作の前記部分サイクルを識別することと、をさらに有する、方法/装置/システム。
【0439】
項B16:項B14の律動的動作監視システムの方法/装置/システムであって、状態の論理シーケンスが、前記オブジェクトの前記律動的動作の前記部分サイクルに関連付けられることと、前記TSSIの前記分析及び検出されたイベントの前記時系列の分析のうちの少なくとも1つに基づいて状態の前記論理シーケンスを検出することと、前記検出された状態の論理シーケンスに基づいて前記律動的動作の前記部分サイクルを識別することと、をさらに有する、方法/装置/システム。
【0440】
項B17:項B10の律動的動作監視システムの方法/装置/システムであって、前記少なくとも2つの状態が、初期、最後、スタンバイ、デフォルト、エラー、リセット、開始、停止、タイムアウト、サイクル開始、サイクル終了、フルサイクル検出、第1の半サイクル検出、第2の半サイクル検出、中間半サイクル検出、第1の四半サイクル検出、第2の四半サイクル検出、第3の四半サイクル検出、第4の四半サイクル検出、部分サイクル検出、極大値(極大値)、正の極大値、高い極大値、中位の極大値、低い極大値、第1の極大値、第2の極大値、第2の極大値、第3の極大値、第Nの極大値、極小値、負の極小値、深い極小値、中位の極小値、浅い極小値、第1の極小値、第2の極小値、第3の極小値、第Nの極小値、ゼロ交差(ゼロ)、険しいゼロ、中位のゼロ、なだらかなゼロ、初期のゼロ、第1のゼロ、第2のゼロ、第3のゼロ、第Nのゼロ、最後のゼロ、正から負へのゼロ、険しい正から負へのゼロ、中位の正から負へのゼロ、なだらかな正から負へのゼロ、負から正へのゼロ、険しい負から正へのゼロ、中位の負から正へのゼロ、なだらかな負から正へのゼロ、平均交差(ミーンC)、険しいミーンC、中位のミーンC、なだらかなミーンC、最初のミーンC、第1のミーンC、第2のミーンC、第3のミーンC、第NのミーンC、最後のミーンC、正から負へのミーンC、険しい正から負へのミーンC、中位の正から負へのミーンC、なだらかな正から負へのミーンC、負から正へのミーンC、険しい負から正へのミーンC、中位の負から正へのミーンC、なだらかな負から正へのミーンC、「ピーク」、高いピーク、中位のピーク、低いピーク、第1のピーク、第2のピーク、第3のピーク状態、第Nのピーク、「谷」、深い谷、中位の谷、浅い谷、第1の谷、第2の谷、第3の谷、第Nの谷、ピークから谷、険しいピークから谷、中位のピークから谷、なだらかなピークから谷、ピークから谷のゼロ、ピークから谷のミーンC、谷からピーク、険しい谷からピーク、中位の谷からピーク、なだらかな谷からピーク、谷からピークのゼロ、谷からピークのミーンC、加速度ピーク、加速度谷、加速度ピークから谷、加速度谷からピーク、加速度極大値、加速度極小値、加速度ゼロ、加速度正から負のゼロ、加速度負から正のゼロ、加速度ミーンC、加速度正から負のミーンC、加速度負から正のミーンC、ストライド−スタンスフェーズ、ストライド−フットオングランド、二重サポート、初期コンタクト、ローディング応答、単一サポート、中間スタンス、終端スタンス、ストライド−スイングフェーズ、ストライド−フットインエア、プレスイング、初期スイング、中間スイング、終端スタンス、呼吸−呼気、呼吸−排気、呼吸−呼気から排気、心拍−P波、心拍−Q波・心拍−R波、心拍−S波、心拍−T波、心拍−PR間隔、心拍−QRS複合・心拍−ST区間、及び別の状態のうちの少なくとも1つを含む、方法/装置/システム。
【0441】
項B18:項B10の律動的動作監視システムの方法/装置/システムであって、前記状態遷移は、開始状態、初期状態、サイクル開始状態、スタンバイ状態、デフォルト状態、停止状態、最終状態、サイクル終了状態、スタンバイ状態、デフォルト状態、エラー状態、リセット状態、タイムアウト状態及び任意の状態のうちの少なくとも1つの終了、同じ状態の残り、通常のサイクルでの少なくとも1つの次の状態への遷移、通常のサイクルにおける、サイクル検出状態、半サイクル検出状態、四半サイクル検出状態、及び部分サイクル検出状態のうちの少なくとも1つへの遷移、エラーのサイクル及び異常なサイクルのうちの少なくとも1つにおける、開始状態、初期状態、サイクル開始状態、スタンバイ状態、デフォルト状態、リセット状態、エラー状態、停止状態、タイムアウト状態、及びサイクル終了状態のうちの少なくとも1つへの遷移のうちの少なくとも1つの動作を含む、方法/装置/システム。
【0442】
項B19:項B10の律動的動作監視システムの方法/装置/システムであって、前記TSSIに基づいて、特徴の時系列(TSF)を計算することであって、前記少なくとも1つの状態遷移イベントは、個別のイベント時刻における前記TSSIに関連付けられた前記TSFの極大値(ピーク)の検出、前記極大値のカウント、及び各極大値の大きさの閾値比較に基づく、ピーク検出、高ピーク検出、中ピーク検出、低ピーク検出、第1のピーク検出、第2のピーク検出、第3のピーク検出、及び第Nのピーク検出のうちの少なくとも1つ、個別のイベント時刻における前記TSFの極小値(谷)の検出、前記極小値のカウント、及び各極小値の大きさの閾値比較に基づく、谷検出、深い谷検出、中位の検出、浅い谷検出、第1の谷検出、第2の谷検出、第3の谷検出、及び第Nの谷検出のうちの少なくとも1つ、個別のイベント時刻における前記TSFのゼロ交差(ゼロ)の検出、前記ゼロ交差のカウント、各ゼロ交差における導関数の閾値比較、個別のイベント時刻における平均減算されたTSFの第2のゼロ交差の検出、前記第2のゼロ交差のカウント、及び各第2のゼロ交差における別の導関数の別の閾値比較のうちの少なくとも1つに基づく、ピークから谷の検出、険しいピークから谷の検出、中位のピークから谷の検出、なだらかなピークから谷の検出、ピークから谷−ゼロの検出、及びピークから谷−ミーンCの検出のうちの少なくとも1つ、個別のイベント時刻における前記TSFのゼロ交差(ゼロ)の検出、前記ゼロ交差のカウント、各ゼロ交差における導関数の閾値比較、個別のイベント時刻における平均減算されたTSFの第2のゼロ交差の検出、前記第2のゼロ交差のカウント、及び各第2のゼロ交差における別の導関数の別の閾値比較のうちの少なくとも1つに基づく、谷からピークの検出、険しい谷からピークの検出、中位の谷からピークの検出、なだらかな谷からピークの検出、谷からピーク−ゼロの検出、及び谷からピーク−ミーンCの検出のうちの少なくとも1つ、個別のイベント時刻における前記TSFの極大値(ピーク)の検出、前記極大値のカウント、及び各極大値における大きさの閾値比較のうちの少なくとも1つに基づく、極大値検出、正の極大値検出、高い極大値検出、中位の極大値検出、低い極大値検出、第1の極大値検出、第2の極大値検出、第3の極大値検出、第Nの極大値検出、個別のイベント時刻における前記TSFの極小値(谷)の検出、前記極小値のカウント、及び各極小値における大きさの閾値比較のうちの少なくとも1つに基づく、極小値検出、負の極小値検出、深い極小値検出、中位の極小値検出、浅い極小値検出、第1の極小値検出、第2の極小値検出、第3の極小値検出、第Nの極小値検出、個別のイベント時刻における前記TSFのゼロ交差(ゼロ)の検出、前記ゼロ交差のカウント、及び各ゼロ交差における導関数の閾値比較のうちの少なくとも1つに基づく、ゼロ交差検出(ゼロ検出)、険しいゼロ検出、中位のゼロ検出、なだらかなゼロ検出、初期のゼロ検出、第1のゼロ検出、第2のゼロ検出、第3のゼロ検出、第Nのゼロ検出、最後のゼロ検出、個別のイベント時刻における前記平均減算されたTSFのゼロ交差の検出、前記ゼロ交差のカウント、及び各ゼロ交差における導関数の閾値比較のうちの少なくとも1つに基づく、平均交差検出(ミーンC検出)、険しいミーンC検出、中位のミーンC検出、なだらかなミーンC検出、初期のミーンC検出、第1のミーンC検出、第2のミーンC検出、第3のミーンC検出、第NのミーンC検出、最後のミーンC検出、状態検出の状態依存閾値比較に基づくタイムアウト検出、エラーの検出に基づくエラー検出、間に谷の検出又はゼロの検出がない第1の閾値を超える時間差を有する2つの連続したピークの検出に基づくピーク−ピーク−エラー検出、間にゼロの検出がない第2の閾値を超える時間差を有するピークの後の谷の検出に基づくピーク−谷−エラー検出、間にピークの検出又は谷の検出がない第3の閾値を超える時間差を有する2つの連続したゼロ交差の検出に基づくゼロ−ゼロ−エラー検出、間に谷の検出又はゼロの検出がない第4の閾値を超える時間差を有するゼロの後のピークの検出に基づくゼロ−ピーク−エラー検出、間にピークの検出又はゼロの検出がない第5の閾値を超える時間差を有するゼロの後の谷の検出に基づくゼロ−谷−エラー検出、間にピークの検出又はゼロの検出がない第6の閾値を超える時間差を有する2つの連続した谷の検出に基づく谷−谷−エラー検出、間にゼロの検出がない第7の閾値を超える時間差を有する谷の後のピークの検出に基づく谷−ピーク−エラー検出、及び別のイベントのうちの少なくとも1つのイベントを含む、ことをさらに有する、方法/装置/システム。
【0443】
項B20:項B19の律動的動作監視システムの方法/装置/システムであって、前記TSFの各特徴は、前記TSSIの個別のSIに基づいて計算される、方法/装置/システム。
【0444】
項B21:項B19の律動的動作監視システムの方法/装置/システムであって、各SIは、前記オブジェクトとともに移動する前記センサの3軸加速度を含み、前記3軸加速度は前記オブジェクトの前記律動的動作に関連付けられ、前記TSFの各特徴は個別のSIの個別の3軸加速度の大きさに基づいて計算される、方法/装置/システム。
【0445】
項B22:項B10の律動的動作監視システムの方法/装置/システムであって、前記FSMに従って、検出されたイベントの時系列、前記関連付けられたイベント時刻、及び結果の状態を分析することと、前記分析に基づいて前記オブジェクトの前記律動的動作を監視することと、をさらに有する、方法/装置/システム。
【0446】
項B23:項B10の律動的動作監視システムの方法/装置/システムであって、前記TSCI、前記TSSI、前記TSIQ、前記TSSIQ、検出されたイベントの前記時系列、検出されたイベントに関連付けられたイベント時刻、前記律動的動作の少なくとも1つの完全サイクル、及び前記律動的動作の少なくとも1つの部分サイクルのうちの少なくとも1つに基づいて、前記律動的動作の分析を計算することをさらに有する、方法/装置/システム。
【0447】
項B24:項B23の律動的動作監視システムの方法/装置/システムであって、前記FSM及び前記TSSIQに関連付けられたフルサイクル検出イベントに関連付けられたサイクル終了時刻を識別することと、前記FSM及び前記TSSIQに関連付けられた直前のフルサイクル検出イベントに関連付けられたサイクル開始時刻を識別することと、前記TSIQのタイムウィンドウに基づいてサイクルごとの分析を計算することであって、前記タイムウィンドウが前記サイクル開始時刻から前記サイクル終了時刻にわたる、ことと、をさらに有する、方法/装置/システム。
【0448】
項B25:項B23の律動的動作監視システムの方法/装置/システムであって、前記FSM及び前記FSSIQに関連付けられたフルサイクル検出イベントに関連付けられたNサイクル終了時刻を識別することであって、Nは0より大きい整数である、ことと、前記FSM及び前記FSSIQに関連付けられたN個過去のフルサイクル検出イベントに関連付けられたNサイクル開始時刻を識別することと、前記TSIQのタイムウィンドウに基づいてNサイクルごとの分析を計算することであって、前記タイムウィンドウは、前記Nサイクル開始時刻から前記Nサイクル終了時刻にわたる、ことと、をさらに有する、方法/装置/システム。
【0449】
項B26:項B24又は項B25の律動的動作監視システムの方法/装置/システムであって、前記タイムウィンドウを、前記TSCI及び前記TSIQのうちの少なくとも1つに基づいて計算された置換タイムウィンドウによって置換することであって、前記置換タイムウィンドウの終了時刻は現在時刻である、ことと、前記TSIQに関連付けられた自己相関関数(ACF)の局所特性に基づいて前記置換タイムウィンドウの期間を計算することであって、前記局所特性は、極大値,極小値、ゼロ交差、IQの導関数の極大値、前記導関数の極小値、及び前記導関数のゼロ交差のうちの少なくとも1つを含む、ことと、前記期間及び前記終了時刻に基づいて前記置換ウィンドウの開始時刻を計算することと、をさらに有する、方法/装置/システム。
【0450】
項B27:項B26の律動的動作監視システムの方法/装置/システムであって、前記TSSIなしで、前記TSCIのみに基づいて前記オブジェクトの前記律動的動作を監視することをさらに有する、方法/装置/システム。
【0451】
項B28:項B23の律動的動作監視システムの方法/装置/システムであって、前記分析は、サイクル、前記律動的動作のサイクル、半サイクル、四半サイクル、部分サイクル、2サイクル、ダブルサイクル、4サイクル、クアッドサイクル、Nサイクル、歩行サイクル、ストライド、ステップ、2ステップストライド、4ステップストライド、Nステップストライドのうちの少なくとも1つに関連付けられた、特徴、状態、ステータス、イベント、状況、カウント、統計値、位置、場所、領域、空間座標、方位、方向、進行方向、ベアリング、角度、配向、変形、歪み、縮小、拡張、ジェスチャ、表現、提示、兆候、材料、材料特性、形状、テクスチャ、材料、色、電磁特性、視覚パターン、濡れ性、反射率、半透明性、柔軟性、表面、ポーズ、体言語、署名、ジェスチャ、手書き、動作タイプ、動作分類、動作特性、動作属性、アクティビティ、挙動、長さ、幅、高さ、面積、体積、サイズ、スケール、速度、加速度、時間、タイミング、周期、周波数、測定可能量、瞬時量、最近量、過去量、将来量、予測量、サイクル内量、状態間量、及び統計値のうちの少なくとも1つ、上記のもの、前記オブジェクト、前記律動的動作、及び前記オブジェクトの状態に関連付けられた、関数、関数の関数、合成関数、ストライドに関連付けられたストライド的関数、Nステップストライドに関連付けられたステップ的関数、偶数インデックスを有する量の関数、奇数インデックスを有する量の関数、任意のインデックスを有する量の関数、Nステップストライドにおけるインデックスの第1の波面の量の関数、Nステップストライドにおける位相1量(1、N+1、2N+1、3N+1、…)の関数、Nステップストライドにおけるインデックスの第2の波面の量(2、N+2、2N+2、3N+2、…)の関数、Nステップストライドにおける位相2量の関数、Nステップストライドにおけるインデックスの第kの波面の量(k、N+k、3N+k、…)の関数、Nステップストライドにおける位相k量の関数、調和比(HR)、フーリエ変換の奇数調和数の大きさの和に対するフーリエ変換の偶数調和数の大きさの和の比率、変換の偶数調和数の関数と変換の偶数調和数の別の関数との合成関数、調和特徴、偶奇対称性、偶奇非対称性、加算、減算、乗算、除算、微分、積分、合計、変換、変形、フィルタリング、畳み込み、平滑化、分解、射影、平均減算、閾値比較、量子化、ベクトル量子化、正規化、インジケータ関数、時間スケーリング、マッピング、認識、検出、クラスタリング、分類、時刻、タイミング、瞬時値、平均、平均、加重平均、算術平均、幾何平均、調和平均、トリム平均移動平均、移動平均、短期平均、長期平均、履歴平均、中央値、百分位数、モード、ヒストグラム、統計値、カウント、変動性測定、変動測定、規則性測定、類似性測定、範囲、四分位範囲、範囲、拡散、分散、標準偏差、変動性、偏差、発散、分散、全変動、絶対偏差、全偏差、距離、メトリック、ノルム、最大値(max)、最小値(min)、極大値、第1の最大値、第2の最大値、第Nの最大値、極小値、第1の最小値、第2の最小値、第Nの最小値、最適化、制約付き最適化、統計値、再帰プロット(RP)のうちの少なくとも1つ、再帰率、決定論、エントロピー、及びRPの平均対角線(GRP)のうちの少なくとも1つ、一般化RP(GRP)、GRP特徴、履歴、トレンド、加重統計値、トリミングされた統計値、移動統計値、自己相関関数(ACF)、自己共分散関数、相互分散、相互共分散、グループ化、カウント、組み合わせ、インジケータ、インデックス、ラベル、属性、関連性、予測、規則性測定、反復可能性、自発性、及び別の量のうちの少なくとも1つ、及び別の分析のうちの少なくとも1つを含む、方法/装置/システム。
【0452】
項B29:項B23の律動的動作監視システムの方法/装置/システムであって、フィルタリング、線形フィルタリング、ローパス/バンドパス/ハイパスフィルタリング、平均フィルタリング、平均減算、平均除去、FIR/IIRフィルタリング、畳み込み、マッチトフィルタリング、カルマンフィルタリング、MA/ARMAフィルタリング、非線形フィルタリング、中央値フィルタリング、モードフィルタリング、ランクフィルタリング、四分位フィルタリング、百分位数フィルタリング、選択的フィルタリング、適応フィルタリング、ノイズ除去、粒子フィルタリング、多段フィルタリング、非線形マッピング、コンパンディング、フォールディング、グループ化、ソーティング、閾値比較、ソフト閾値比較、ハード閾値比較、クリッピング、ソフトクリッピング、内挿、間引き、サブサンプリング、アップサンプリング、再サンプリング、時間補正、タイムベース補正、位相/振幅補正又はクリーニング、強調、ノイズ除去、平滑化、信号調整、特徴抽出、振幅/位相/エネルギー抽出、スペクトル分析、線形変換、非線形変換、逆変換、周波数変換、フーリエ変換(FT)、離散時間FT(DTFT)、離散FT(DFT)、高速FT(FFT)、ウェーブレット変換、コサイン変換、DCT、2のべき乗変換、疎変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディング、分解、射影、直交射影、非直交射影、過剰射影、固有分解、特異値分解(SVD)、主成分分析(ICA)、独立成分分析(ICA)、1次導関数、2次導関数、高次導関数、積分、加算、平均化、最大化、最小化、最小二乗平均誤差、再帰最小二乗、条件付き最小二乗、バッチ最小二乗、絶対最小誤差、最小二乗平均偏差、最小絶対偏差、極大化、極小化、コスト関数の最適化、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師あり/教師なし/半教師あり学習、別のTSCIとの比較、類似度スコア計算、量子化、ベクトル量子化、マッチング追跡、圧縮、暗号化、符号化、格納、送信、正規化、時間的正規化、周波数領域正規化、分類、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、再マッピング、拡張、格納、読み出し、送信、受信、表示、統合、組み合わせ、分離、追跡、監視、内挿、外挿、ヒストグラム推定、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表示、統合、組み合わせ、分離、スクランブリング、誤り保護、前方誤り訂正、フィードバック決定、何もしないこと、加算、減算、乗算、除算、時変処理、条件付け平均化、加重平均化、算術平均、幾何平均、調和平均、選択された周波数にわたる平均化、アンテナリンクにわたる平均化、論理演算、置換、組み合わせ、ソーティング、AND、OR、XOR、統合、挿入、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆数、ノルム、距離、及び別の動作のうちの少なくとも1つの動作に基づいて前記律動的動作の前記分析を計算することをさらに有する、方法/装置/システム。
【0453】
項B30:項B23の律動的動作監視システムの方法/装置/システムであって、前記TSCI、前記TSSI、前記TSIQ、前記TSSIQ、検出されたイベントの前記時系列、検出されたイベントに関連付けられたイベント時刻、前記律動的動作の完全サイクルと前記律動的動作の少なくとも1つの部分サイクルとのうちの少なくとも1つ、のうちの少なくとも1つに基づいて、前記律動的動作の前記分析の時系列を計算することをさらに含む、方法/装置/システム。
【0454】
項B31:項B30の律動的動作監視システムの方法/装置/システムであって、特定の時刻における特定の分析を、疑わしい、誤っている、ノイズが多い、エラーを起こしやすい、及び信頼性が低いことのうちの少なくとも1つとして識別することと、時間的に隣接する分析の補間、時間的に隣接するIQの補間、及び時間的に隣接するCIの補間のうちの少なくとも1つに基づいて、前記特定の時刻における前記特定の分析の代替として、生成された分析を生成することと、をさらに有する、方法/装置/システム。
【0455】
項B32:項B4の律動的動作監視システムの方法/装置/システムであって、前記TSCI、TSIQ、TSSI、及びTSSIQのうちの少なくとも1つを前処理することであって、前記前処理は、フィルタリング、線形フィルタリング、ローパス/バンドパス/ハイパスフィルタリング、平均フィルタリング、平均減算、平均除去、FIR/IIRフィルタリング、畳み込み、マッチトフィルタリング、カルマンフィルタリング、MA/ARMAフィルタリング、非線形フィルタリング、中央値フィルタリング、モードフィルタリング、ランクフィルタリング、四分位フィルタリング、百分位数フィルタリング、選択的フィルタリング、適応フィルタリング、ノイズ除去、粒子フィルタリング、多段フィルタリング、非線形マッピング、コンパンディング、フォールディング、グループ化、ソーティング、閾値比較、ソフト閾値比較、ハード閾値比較、クリッピング、ソフトクリッピング、内挿、間引き、サブサンプリング、アップサンプリング、再サンプリング、時間補正、タイムベース補正、位相/振幅補正又はクリーニング、強調、ノイズ除去、平滑化、信号調整、特徴抽出、振幅/位相/エネルギー抽出、スペクトル分析、線形変換、非線形変換、逆変換、周波数変換、フーリエ変換(FT)、離散時間FT(DTFT)、離散FT(DFT)、高速FT(FFT)、ウェーブレット変換、コサイン変換、DCT、2のべき乗変換、疎変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディング、分解、射影、直交射影、非直交射影、過剰射影、固有分解、特異値分解(SVD)、主成分分析(ICA)、独立成分分析(ICA)、1次導関数、2次導関数、高次導関数、積分、加算、最大化、最小化、最小二乗平均誤差、再帰最小二乗、条件付き最小二乗、バッチ最小二乗、絶対最小誤差、最小二乗平均偏差、最小絶対偏差、極大化、極小化、コスト関数の最適化、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師あり/教師なし/半教師あり学習、別のTSCIとの比較、類似度スコア計算、量子化、ベクトル量子化、マッチング追跡、圧縮、暗号化、符号化、格納、送信、正規化、時間的正規化、周波数領域正規化、分類、クラスタリング、ラベル付け、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、再マッピング、拡張、格納、読み出し、送信、受信、表示、統合、組み合わせ、分離、追跡、監視、内挿、外挿、ヒストグラム推定、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表示、統合、組み合わせ、分離、スクランブリング、誤り保護、前方誤り訂正、フィードバック決定、何もしないこと、加算、減算、乗算、除算、時変処理、条件付け平均化、加重平均化、算術平均、幾何平均、調和平均、選択された周波数にわたる平均化、アンテナリンクにわたる平均化、論理演算、置換、組み合わせ、ソーティング、AND、OR、XOR、統合、挿入、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆数、ノルム、距離、及び別の動作のうちの少なくとも1つを含む、ことをさらに有する、方法/装置/システム。
【0456】
項B33:項B1の律動的動作監視システムの方法/装置/システムであって、各SIが前記オブジェクトとともに移動する前記センサの3軸加速度を含み、前記3軸加速度が前記オブジェクトの前記律動的動作に関連付けられる、ことと、前記TSSIに基づいて特徴の時系列(TSF)を計算することであって、各特徴が、個別のSIの前記3軸加速度に基づく加速度の大きさである、ことと、前記TSFに基づいて前記オブジェクトの前記律動的動作を監視することと、をさらに有する、方法/装置/システム。
【0457】
項B34:項B4の律動的動作監視システムの方法/装置/システムであって、各SIが前記オブジェクトとともに移動する前記センサの3軸加速度を含み、前記3軸加速度が前記オブジェクトの前記律動的動作に関連付けられる、ことと、前記TSSIに基づいて特徴の時系列(TSF)を計算することであって、各特徴が、個別のSIの前記3軸加速度に基づく加速度の大きさである、ことと、前記TSFに基づいて前記TSSIQを計算することと、をさらに有する、方法/装置/システム。
【0458】
項B35:項B10の律動的動作監視システムの方法/装置/システムであって、各SIが前記オブジェクトとともに移動する前記センサの3軸加速度を含み、前記3軸加速度が前記オブジェクトの前記律動的動作に関連付けられる、ことと、前記TSSIに基づいて特徴の時系列(TSF)を計算することであって、各特徴が、個別のSIの前記3軸加速度に基づく加速度の大きさである、ことと、前記TSFに基づいて、検出されたイベントの前記系列とを計算することと、をさらに有する、方法/装置/システム。
【0459】
項B36:項B1の律動的動作監視システムの方法/装置/システムであって、前記応答アクションは、前記TSSI及びTSCI及び関連付けられたタイムスタンプに基づいて計算された分析を記憶すること、前記分析及び前記関連付けられたタイムスタンプをサーバー及びユーザデバイスのうちの少なくとも1つと通信すること、前記分析に基づいて提示を生成すること、デバイスを制御すること、デバイスをオンすること、デバイスをオフすること、前記デバイスの機能を起動すること、前記デバイス又は前記機能の制御可能なパラメータを調整すること、前記機能をパーソナライズすること、前記デバイスをカスタマイズすること、関連情報をチェックすること、前記関連情報を検索すること、前記関連情報を提示すること、ユーザに通知すること、条件をシグナリングすること、ユーザをナビゲートすること、及び別の動作のうちの少なくとも1つを含む、方法/装置/システム。
【0460】
項B37:項B1の律動的動作監視システムの方法/装置/システムであって、前記現場内の前記オブジェクトの前記律動的動作によって影響を受ける別の無線マルチパスチャネルを通じて別のタイプ1異種無線デバイスと別のタイプ2異種無線デバイスとの間で送信される別の無線信号から抽出される別のTSCI、及び前記別のTSCIに基づいて計算される別の中間量の別の時系列のうちの少なくとも1つに共同で基づいて前記律動的動作を監視する、方法/装置/システム。
【0461】
項B38:項B37の律動的動作監視システムの方法/装置/システムであって、前記別のタイプ1デバイスが前記タイプ1デバイスであり、前記別の無線信号が前記無線信号である、方法/装置/システム。
【0462】
項B39:項B37の律動的動作監視システムの方法/装置/システムであって、前記別のタイプ2デバイスが前記タイプ2デバイスである、方法/装置/システム。
【0463】
項B40:項B1の律動的動作監視システムの方法/装置/システムであって、前記タイプ1デバイス及び前記タイプ2デバイスのうちの少なくとも1つは、静止デバイスであり、前記タイプ1デバイス及び前記タイプ2デバイスのうちの他方は、前記オブジェクトとともに移動する移動デバイスである、方法/装置/システム。
【0464】
本開示はオブジェクト運動の多数のパラメータ、すなわち、運動距離、方向、及び回転角度を測定するRFベース慣性計測(RF-based Inertial Measurement:RIM)システムを開示する。一実施形態では、RIMシステム又はRIMが追加のインフラストラクチャ又は外部センサからの支援なしに、標準商用オフザシェルフ(standard commercial off-the shelf:COTS)WiFi無線を精密慣性計測ユニット(Inertial Measurement Units:IMUs)に変えることができる。RIMは、参照アンカーとして大きな帯域幅、多くの位相アンテナ、又は複数のAPを必要とせず、環境の先験的な較正又はフィンガープリンティングも必要としない。APの位置又は方向を知ることなしに、送信機として任意に配置された単一のAPに加えて、RIMはCOTSのWiFi受信機において利用できる単なるアンテナの最小限の要件を備えている。RIMからの任意の他の支援なしに、RIMは、APによって送信されたパケットのチャネル状態情報(CSI)を測定する。見通し外(NLOS)に欠陥がある多くの従来の屋内追跡提案とは対照的に、RIMは見通し線(LOS)又は多数の壁を通ってAP信号が到達する所ならどこでも動作する。
【0465】
一実施形態では、RIMが純粋にRF信号に基づき慣性計測を可能にし、民生品(COTS)WiFi無線を正確なIMUに変える。具体的には従来のIMUがするように、RIMは3次元の運動パラメータを測定することを目的としているが、はるかに高精度で、A)運動距離:通常ステップカウントによって加速度計によって粗く検知されるターゲットが運動した変換距離、B)方向:従来のセンサでは測定が非常に難しく、したがって、磁力計によって報告されるデバイス方向として通常想定される運動方向、及びC)回転角度:典型的にジャイロスコープによって測定される角回転の角度を測定することを目的としている。
【0466】
RIMは仮想アンテナ後退(virtual antenna retracing)と呼ばれる普遍的方式における2次元運動について、これらのパラメータの全てを推定し、超解像仮想アンテナアライメントのための新しいアプローチにより精度を高める。次に、RIMは、正確でロバストな慣性計測のための包括的なシステムを提供するRIMCOTSWiFiを可能にするように努めることができる。
【0467】
RIMは、ほとんどのスマートハードウェアに存在するMIMO WiFi周波数を有する見えない機会を利用する。図14に示すように、アンテナアレイが運動する時、アンテナ#1はアンテナ#2が運動した位置に後退し、仮想アンテナΔt時間前にアンテナ#2が生成した特定の位置に到着する時であり、その時に限り、仮想アンテナと空間的にアライメントされる。したがって、本発明のいくつかの実施形態によれば、運動速度は、v=Δd/Δtとして推定され得る。
【0468】
一般に、アンテナアレイが運動する時、マイクロ及び過渡的なスケールでアレイの「自己追跡」の可能性を許容して、あるアンテナは他のアンテナの軌跡を遡ることができ、先行アンテナにより運動した位置にそれが到着した時及び時のみ、同じチャネルを観測することができる。この観測は、従来の負担のかかる「アウトサイドイン」追跡ソリューションを妨害し、ユビキタスの「インサイドアウト」システムでの精密な運動計測を可能にする、3つの要素周辺に構造化されたRIMの設計につながる。
【0469】
第1の要素として、時空間仮想アンテナ後退が行われ得る。直感的な例として、図14に示すような2つのアンテナアレイを取り上げる。アレイが運動すると、各アンテナはあたかもそこに仮想アンテナをセットアップするかのように、その軌跡に沿った各点でチャネルスナップを捕捉する。アンテナは後で運動する(つまり、次のアンテナ、この例ではアンテナ#1)先行アンテナ(アンテナ#2)が運動したすべての位置を遡る。後続アンテナは先行アンテナがエミュレートした仮想アンテナと空間的にアライメントされる(すなわち、その位置に到達する)のにかかる時間オフセットから、RIMは運動距離を時間オフセットで割ることによって運動速度を推定することができる。ここでの運動距離は、それらがどのように動くかに関係なく既知で固定されている、アンテナの分離と同じである。2次元アンテナアレイ(例えば、図15のような円形アレイ)に拡張すると、異なるペアのアンテナによって指定された多数の方向に沿って速度を追跡することができる。すなわち、2次元アレイを用いて運動距離と方向を測定することができる。しかしながら、主な課題は、2つの仮想アンテナの空間アライメントを高精度で検出することである。
【0470】
第2の要素として、超解像仮想アンテナアライメントが行われ得る。高度に正確なアンテナアライメントの背後にある重要な洞察は、異なる位置で受信された信号が、それぞれの位置(仮想アンテナ)に対して独特のマルチパスプロファイルをもたらす、多様な反射経路及び遅延を受けることである。超解像アライメントを達成することは、1)COTSWiFi上のチャネル測定はかなり雑音が多い、2)1つの仮想アンテナに関連付けられた一つの単一の測定のみしかない、3)それはハードウェア異質性を持つ異なるアンテナからの測定に基づいて行われるため、容易ではない。RIMでは、RIMは、三つ折りによってサブセンチメートル解像度の仮想アンテナアライメントを達成できる。第1に、RIMは電磁波における時間反転焦点効果の物理を利用し、位置識別を著しく改善する2つのチャネルスナップを識別するための効果的なメトリックを使用することができる。第2に、単一の測定はロバストな区別になり得ないが、アライメントは、仮想大規模アレイを形成する多数の仮想アンテナを利用することによって高められ得る。合成開口レーダのための仮想アレイを使用した以前の調査の幾つかとは異なるが、仮想アンテナがどのように空間に配置されるかについての任意情報の必要がない。第3に、RIMはチャネルが変更されそうにない小さな空間(例えば、センチメートル)にわたる短い期間(例えば、0.5秒)内の潜在的なアライメントにだけ焦点を合わせることができる。
【0471】
第3の要素として、正確な運動計算が実行され得る。仮想アンテナの後退及びアライメントに基づいて、RIMは、1)2つのアンテナが空間的にアライメントされる時、時間遅延を正確かつロバストに正確に特定し、2)とりわけどのペアのアンテナが特定の時間にアライメントされるかを確実に決定し、3)ある場合では運動距離、方向、及び回転角度を出力するように一緒に全ての情報を系統的に統合するような、新規なアルゴリズムを考案することができる。
【0472】
A)時空間仮想アンテナアライメント−仮想アンテナ後退。WiFi無線をIMUに変えるための重要なアイデアは、時空間仮想アンテナ後退(spatial-temporal virtual antenna retracing:STAR)と呼ばれる、局所運動追跡のための新規な方式にある。それは、STARがまず1次元(1D)及び次に2次元(2D)の場合に、直線及び角運動の測定をどのように可能にするのかが示される。
【0473】
A.1)1次元の場合:図14に示すように、1次元の場合の2アンテナアレイの最も単純なシナリオを思い出す。2つのアンテナがそれ自体によって形成される線に沿って運動するとき、1つのアンテナは軌跡を導く一方、もう1つはそれの「足跡」にすぐ追従する。どのアンテナがCSI観測を記録することによってそれが通過した位置のスナップをとるかは、あたかもそこに仮想アンテナをセットアップするかのようだ。2つのアンテナは同じトレースに沿って次々と動いているため、後続アンテナは先頭の仮想幻影に連続的に遭遇する。図14における時間tを考慮する時、青色の後続アンテナは、緑色の先頭アンテナがt時に通過した位置に到着する。到着時間差分Δt=t−tを調べることにより、RIMは、この時間オフセットの間の運動距離が2つのアンテナ間の分離距離Δdとして先験的に知られている、アンテナアレイの運動速v=Δd/Δtを導出することができる。次に、後続アンテナを先行アンテナの「足跡」に連続的にアライメントすることにより、RIMは軌跡全体に沿ったリアルタイム速度を得ることができる。運動方向は、2つのアライメントしたアンテナによって形成される光線の方向である。一言で言えば、運動距離及び方向を推定するための鍵は、(1)2つのアンテナがアライメントしているかどうか、及び(2)アライメントしている場合、遅延時間Δtが何であるかを決定することである。
【0474】
A.2)2次元の場合:2次元空間で距離及び方向を測定するには、RIMはアンテナの2次元アレイに頼ることができる。1次元ケースと同様に、アンテナのそれぞれのペアは、それらによって形成される線の2方向についての距離測定を可能にする。したがって、複数のペアは、RIMは運動距離を測定することができる複数の方向を提供する。図16A図16Cは、アンテナアレイのいくつかの例を示す。図16Aに示されるように、2素子アレイ(又は任意の直線アレイ)は、直線において2方向のみを支持する。図16Bに示される三角形に配置された3つのアンテナとともに、RIMはそれぞれが2つの運動方向を有する3つの線に沿って運動を追跡することができる。図16Cに示される四角形を形成するために1つ以上のアンテナを追加することによって、RIMは最大で12の方向を提供する、6つのアンテナペアを得ることができる。
【0475】
理想的には、m個のアンテナはそれぞれが方向解像度2π/(m×(m−1))をもたらす支持された方向m×(m−1)を生み出すアンテナペアに対応する2次元空間内にm×(m−1)/2線を形成する。実際には、いくつかのペアが互いに平行であり、対応する方向が同じになり得るので、解像度はより低い。例えば、4個のアンテナの正方形アレイは8方向のみを有するが、理想的には正方形アレイが12方向を支持する(図16C)。幸いにも、それらの平行アンテナペアは距離及び角度の測定を容易にするために、拡張されたアライメントのために利用され得る。
【0476】
角運動に対する回転角は方向から異なる方法で導出される。特定の方向に直線運動の場合、アンテナの数ペア(六角形の場合、せいぜい3)のみがアライメントされる。それとは違って、回転が存在する場合、全ての隣り合うペアは、それらの全てが同じ円に沿って運動するので、同時にアライメントされる。結果として、RIMは全ての隣接アンテナ間の同時アライメントを検出することにより回転を感知し、更に回転角度を計算することができる。
【0477】
A.3)六角形アレイ:原則として、利用可能なアンテナがあればあるほど、RIMはより精細な距離及び方向解像度を有することができる。ほとんどのCOTSWiFi無線機が3つのアンテナを備えていることを考慮すると、図15に示すように、RIMは2つのCOTSWiFiカードから構築された六角形アレイを持つRIMを試作することができる。そのようなアレイは全体で12の異なる方向を提供し、したがって30°の方向解像度を提供する。それぞれの可能な方向について、測定をよりロバストにするアライメントされている少なくとも2つのアンテナペアがある。
【0478】
六角形の設計は、多数のアンテナにわたる、又は2つのWiFi NICs(ネットワークインタフェースカード)間の煩わしい位相同期を必要としない。RIMは異なるアンテナアレイ、特に距離及び方向の両方でより良好な解像度をすぐに提供する、より多くのアンテナ及びより短い波長を有する将来のWiFiチップセットに適用する。
【0479】
B)時空間仮想アンテナアライメント−超解像仮想アンテナアライメント:STARのアイデアを実践するには、サブセンチメートル精度で、二つの仮想アンテナが互いにアライメントされる時空間点を正確に指し示すことを要求する、非常に挑戦的なタスクである。このタスクは、従来のフィンガープリントとは著しく異なる。特に、以前のフィンガープリントは(1)先験的な校正を必要とし、(2)CSIが空間全体にわたって一意であり、長時間にわたって安定であることを必要とし、(3)通常、多数のトレーニングサンプルを蓄積する。対照的に、RIMは較正を必要とせず、狭い空間(例えば、数センチメートル)及び過渡期間(例えば、0.5秒以内)におけるチャネル測定のみを消費する。さらに、RIMは2つの個々のアンテナ及び1つの単一チャネル測定を有するそれぞれをアライメントする必要があり、ミリメートルレベルの解像度で、同じ空間位置の2つのアンテナによって記録された測定によってのみ観測されるように、それらの測定(2つのアンテナが最良にアライメントされている意味)において最大の類似性を予想する。
【0480】
RIMにおいて、RIMはサブセンチメートル解像度を達成できるような2つの技術である、1)時間反転焦点効果によってもたらされたチャネルサンプルに対する類似度測定、すなわち時間反転共振強度(Time-reversal Resonating stregth:TRRS)、及び2)アライメントのための仮想大規模アレイとして多数の仮想アンテナを利用するためのアプローチを導入することができる。以下では、時間反転焦点効果、それに続くTRRSの定義、及び次に仮想大規模アンテナによる強化についてのプライマーが提示される。
【0481】
B.1)時間反転焦点効果:その時間反転及び共役対応物と組み合わされた時、時間反転は、送信された信号のエネルギーが空間領域及び時間領域の両方に収束される物理現象である。それは、超音波、音響、光及び電磁気の分野で適用され、実験的に検証されている。時間反転は、典型的な室内チャネル測定のみが瞬間的なタイムウィンドウ(例えば0.5秒)内であると考えられるので、両方ともここのシナリオにおいて成立する、チャネル相反性及び定常性の2つの基本的な仮定に依存している。それをWiFiチャネルの文脈に入れるために、受信されたCSIは、それの時間反転され、かつ共役カウンターパートと組み合わされる時、意図された位置にコヒーレントに加えるが、分析されたような空間的焦点効果を生成する、任意の意図されない位置にインコヒーレントに加える。これは基本的に、なぜマルチパスプロファイルが高解像度の位置識別を支えることができるかを説明する。それにインスパイアされて、本開示は、以下のようにCSIに対する類似性測定として、時間反転焦点効果を定量化するメトリックであるTRRSを導入する。
【0482】
B.2)時間反転共振強度:2つのチャネルインパルス応答(Channel Impulse responses:CIRs)h1とh2の間のTRRSは、次のように定義される。
[この文献は図面を表示できません]
ここで、*は線形畳み込みを示し、〈x,y〉はベクトルxとyの間の内積であり、
[この文献は図面を表示できません]
【0483】
実際には、周波数領域チャネル周波数応答(Channel Frequency response:CFR)がより頻繁に使用される。等価的には、式中(14)のTRRSは、2つのCFRs H1及びH2について、以下のように表わされ得る:
[この文献は図面を表示できません]
【0484】
とHが両方とも正規化されている場合、TRRSは単にそれらの内積の二乗になる。つまり、
[この文献は図面を表示できません]
明らかに、κ(H,H)∈[0,1]かつκ(H,H)=1、もしH=cHの場合にのみ、c≠0の任意の複素スケーリング係数である。
以前に、多くのヒューリスティックメトリックがCSIと比較するために使用されていたが、TRRSは複雑でない形式で物理的な時間反転焦点効果を利用する。
【0485】
COTSWiFi上で測定されたCSIは、位相ロックループによって引き起こされる最初の位相オフセットに加えて、非同期送信機及び受信機による搬送周波数オフセット( carrier frequency offset:CFO)、サンプリング周波数オフセット(sampling frequency offset:SFO)、及びシンボルタイミングオフセット(symbol timing offset:STO)を含む位相オフセットを含む。式(15)から見られるように、以前は手動較正でしか較正され得ない、迷惑な初期位相歪の影響は、絶対値を取ることによって完全に除去される。RIMは衛生アプローチを使用することによって、他の線形オフセットを較正することができる。
【0486】
時間反転焦点効果は、より大きな帯域幅で強められる。TRRSのロバスト性及び一意性を容易にするために、RIMはより大きな実効帯域幅を得るために、多重送信アンテナに起因する空間ダイバシティを利用することができる。具体的には、AP上にN個のアンテナがあると仮定する。時間tにおいてi番目の受信アンテナ上で測定されるCSIは、H(t)={Hi,1(t),Hi,2(t),・・・,Hi,N(t)}である。ここでHi,k(t)はi番目の受信アンテナとk番目の送信アンテナとの間のCSIである。次に、RIMはi番目とj番目の受信アンテナの平均TRRSを次のように取ることができる:
[この文献は図面を表示できません]
上記の定義により、RIMは2つのアンテナの同期の必要を回避することができるが、その代わりに個々に計算されたTRRS値の平均をとる。
【0487】
B.3)仮想大規模アンテナ:主流のAPは、式(16)中の平均TRRSの解像度及びロバスト性を測定ノイズに制限して、いくつかのアンテナのみを有する。超解像アライメントを向上させるために、本開示は、大きさがチャネルスナップの数である仮想大規模アンテナアレイを形成する、運動アンテナによって記録されるチャネルスナップのシーケンスによってエミュレートされたいくつかの仮想アンテナを利用するために開示する。図14に示すように、RIMは時間tにおけるアンテナiのマルチパスプロファイルを、単一のスナップH(t)からサンプルのシーケンス
[この文献は図面を表示できません]
に拡張することができる、ここで、H(t+k)は時間t+kにおけるアンテナiによって設定された仮想アンテナをエミュレートするチャネル測定を示し、Vは仮想アンテナの数である。
【0488】
したがって、RIMは仮想大規模アンテナVを有するTRRSを、以下の通り計算することができる。
[この文献は図面を表示できません]
ここで、H(t−k)とH(t−k)は、時間t−kとt−kにおけるi番目とj番目のアンテナによって、ある空間位置に配置されたそれぞれの仮想アンテナを示す。仮想大規模アンテナを使用することにより、RIMはマルチパスプロファイルの実効帯域幅を大幅に向上させることができ、これにより、時間反転焦点効果又は等価的に高精度のアンテナアライメントを達成することができる。図17A及び図17Bに示すように、TRRSは2つのアンテナが互いに最も接近している(正確にアライメントされている)時にのみ最大に接触し、数ミリメートルで離れている場合であっても低下する。図17Aによれば、3つのアンテナが一定速度で運動しており、それ自体に関して各アンテナに対するTRRSが計算される。見られるように、TRRSはアンテナが数ミリメートルについて運動する時、すぐに(最大0.3まで著しく)低下して、約1cmの範囲内で単調に減少する。図17Bによれば、特に仮想大規模アンテナを有するクロスアンテナTRRSでは、空間的減衰は保持するが、絶対値は減少する。
【0489】
B.4)TRRS行列:2つのアンテナi及びjが空間的にアライメントされる時、正確な遅延時間を特定するために、RIMはスライドウィンドウの至る所にアンテナjのそれらに対するアンテナiのマルチパスプロファイルを一致させることができる。長さ2Wのウィンドウを考えると、TRRSベクトルは、Gij(t)=[κ(P(t),P(t−l)),l=−W,・・・,W] として計算される、ここで、lはタイムラグを示す。したがって、アンテナがTの周期で運動する場合、RIMはTRRS行列を得ることができる。
[この文献は図面を表示できません]
【0490】
RIMでは、図18に示すように、RIMはアンテナペアごとにそのようなTRRS行列を計算することができる。次に、運動パラメータはTRRS行列からアライメントされたペアを識別し、時間遅延を連続的に推定し、それに応じた運動速度によって、推定される。図18によれば、本発明のいくつかの実施形態によれば、六角形アレイのアライメントされたペアは順番に1対3であり、続いて1対6、次に再び3対1、6対1である。上記のうちの1つと平行な他のペアは示されていない。
【0491】
B.6)偏位後退(Daviated retracing):上記の考察は、アンテナアレイが少なくとも2つのアンテナが互いに完全にアライメントされる特定の方向に沿って運動していると仮定される。実際にはデバイスが図19Aに示されるように、アレイはそれらのアライメントされた方向、すなわち水平線からαの角度それる方向に沿って運動している、厳密にアライメントされた線からわずかにそれた方向に振られ得る。しかし、偏角の場合において正確にアライメントされていない十分に近接している2つのアンテナでは、より弱いにもかかわらず、注目すべきTRRSピークが依然として存在する。したがって、仮想アンテナアライメントは、RIMは偏位後退による減少されたTRRS値の影響を回避する絶対値の代わりにウィンドウ内の相対的なTRRSピークのみに焦点を当てることができるので、依然として実現可能である。特に、図19Bに示されるように、RIMは、6要素円形アレイを有する完全な2次元平面をカバーするのに十分である15°偏差まで許容することができる。
【0492】
図19Aに示すように、偏差の場合、「偏向された」アンテナ間隔Δd’=Δdcosαとなる。事前に偏角についての知識はないので、RIMは距離推定において1/cosαの過大評価係数をもたらす、
[この文献は図面を表示できません]
をRIMに入れることができる。6要素円形アレイに関しては、運動方向が[0°,360°]で均一に分布しており、実際には許容される偏角α=15°のときに最悪3.53%に達すると仮定すると、過大評価された誤差は平均1.20%である。縮小したTRRSを完全アライメントの期待値と定量的に比較することにより、偏角は解決され得る。
【0493】
動き測定:ミリメートル解像度のアンテナアライメントは、実際にはセンチメートルの精度において慣性推定を支持する。運動を測定するために、RIMは最初に、運動が存在するかどうかを調べることができる。運動がある場合、次にRIMは各々のアンテナペアのアライメントされた傾向を得ることを試みることができ、それに応じて、いつ及びどちらのペアが十分にアライメントされているかを決定することができる。アライメントされたアンテナペアから、RIMはもし何かある場合、距離、方向、及び回転角を導くことができる。
【0494】
運動検出:TRRSは任意の位置変更に対して非常に敏感であるので、RIMは仮想大規模アンテナを有するTRRSからのアンテナ運動を検出できる。運動検出のために、RIMはそれ自身の測定に基づいて1つの単一アンテナに対するTRRSを調べることのみを必要とする。具体的には、RIMは、運動が生じた場合に位置が少なくともミリメートルで変化する間に保守的な期間として選択されるタイムラグlmvである、現在の測定値とあるlmv秒前との間のTRRSであるκ(P(t),P(t−lmv))を計算することができる。例えば、アンテナが1m/sで運動する場合、0.01秒のタイムラグは1cmの運動を予測する。図20は、RIMが、両方が運動中に3つの瞬間的な停止を検出し損なう加速度計(Acc)及びジャイロスコープ(Gyr)よりもロバストである、ストップアンドゴートレースの例を示している。明らかに、運動及び非運動についてのTRRSの間に明らかなギャップが存在する。したがって、RIMは図20において水平破線によって示されるように、運動を検出するための閾値を適用することができる。
【0495】
追跡アライメント遅延:アライメント行列を考慮すると、RIMはアンテナアライメントのタイムラグを示す関心のTRRSピークを識別する必要がある。理想的な場合には、RIMはTRRS行列の各列における最大値に対応するタイムラグを後退遅延として特定することができる。しかしながら、実際には、最大値が計測雑音、パケットロス、又はワギング運動等による真の遅延から逸脱し、したがって、アプローチはアライメント遅延に対応するピークシーケンスをロバストに追跡することが必要とされる。この目的を達成するために、本開示は、信号処理におけるピッチ追跡問題を解決するために使用されてきた、ダイナミックプログラミングに基づく新規なアルゴリズムを開示する。しかしながら、開示された場合に適用する時、それは依然として精巧な設計を必要とする。
【0496】
明確にするために、RIMは、時間tからtまでの2つのアンテナに対するTRRS行列Gの表記を、Q=[q]、ここでqi=qil,i∈[1,T],l∈[1,W]、として単純化することができる。図21Aに示されるように、ここで、q → qとして示される、時点tから時点tまでのTRRSピークの最良の経路を検索したいと仮定する。点qjnで終了する最適な経路のスコアをS(q → qjn)として定義する。開示されたアプローチは、タイムラグn∈[1,W]で終了する全てのW可能な候補経路q → qjnを検索することであり、次に、全ての中から最良な1つを選択することである。tからtまでの全ての最適な経路が利用可能であると仮定すると、点qkl,l∈[1,W]でそれぞれが終了、tからtまでの最適な経路、qklでそれぞれが開始及びqjnで全て終了、次にRIMは以下を有することができる。
[この文献は図面を表示できません]
それは、S(q → qkl)及びS(qkl → qjn)はそれぞれの最適経路の両方のスコアなので、q → qからの最適経路のスコアを表す。k=j−1の時、次の列qkl及びqjnとの間のピーク以降のスコアが次のように計算される。
[この文献は図面を表示できません]
ここで、ekl及びelnはそれぞれ、qkl及びqjnにおけるTRRS値である。C(qkl,qjn)は、qklからqjnまでのステップするためのコストであり、単純に
[この文献は図面を表示できません]
として定義される。ωは、コストに対する負の重み係数である。コスト関数の指定は、ジャンプピークを罰する。理論的根拠は一般的な場合、運動速度(したがって、アライメントされた遅延)が連続する測定内であまり変動しないことである。
【0497】
いったん任意のn∈[1,W]で経路q→qjnについてスコアを有すれば、qからqまでの最良の経路が、
[この文献は図面を表示できません]
【0498】
次に、ピークの全体経路は、
[この文献は図面を表示できません]
以前のステップをトレースバックすることによって簡単に識別され得る。図21Bは、2つのアライメントの周期を含む往復運動のピーク追跡結果の一例を示している。
【0499】
原則として、上記のピーク追跡は、全てのペアに実行されるべきである。2つのステップが複雑さを最適化するために取られる:(1)非常にアライメントされそうにないアンテナペアがスキップされる;(2)6素子アレイを有する実装では、RIMは、平行な等長アンテナペア(例えば、図15のようにアンテナペア(1,4)及び(3,6)、(2,4)及び(3,5))のアライメント行列を平均化することによって、それを容易にすることができ、2つのペアが同じアライメント遅延を有するので、拡張される平均化された行列上でピーク追跡を行うことができる。
【0500】
C)アライメントされたペアの検出:ロバスト性のために、RIMは2ステップにおいてアライメントされたアンテナペア、ピーク追跡前の事前チェック及びそれの後の事後チェックを検出することができる。
【0501】
C.1)事前検出:実際には、ピーク追跡の前にアライメントされていないペアを排除するために、事前検出動作を実行することができる。具体的には、特定の期間で、RIMは大部分の時間に顕著なピークを経験するアンテナペアのみを予測される候補とみなし、おそらくアライメントされない他のものを除外することができる。次に、ピーク追跡は、選択された候補ペア上でのみ使用される。
【0502】
C.2)事後検出:ピーク追跡後、RIMはペアごとに識別されたピークの経路を得ることができる。次いで、RIMは、最もアライメントされる見込みのあるペアを最終的に確認するために、連続性、TRRS値、滑らかさ、及びそれらが示す方向を占める抽出された経路をさらに調べることができる。
【0503】
D)全てをまとめること:Δdijの分離距離とΔlij(t)のアライメント遅延を有する、i番目とj番目のアンテナが時間tでアライメントされていることが検出される。次に、RIMは以下の結果を測定することができる。
【0504】
D.1)運動距離:時間tにおける運動速度はv(t)=Δdij/Δlij(t)、として導出される。次いで、運動距離は時間がたつにつれて、すなわち
[この文献は図面を表示できません]
に対する瞬間的な速度を積分することによって、単純に導出され得る。
【0505】
D.2)方向:RIMはアライメントされたアンテナペアを知ることができる時、運動方向を得ることは簡単である。具体的には、Δlij(t)≧0の場合、θ(t)はアンテナiからアンテナjまでに指し示す光線の方向として割り当てられる、Δlij(t)<0の場合、反対の方向に割り当てられる。
【0506】
D.3)回転角度:ある瞬間に、全て隣り合うアンテナペアが同時にアライメントされる場合、次に回転が発生する。非常に短いウィンドウについて、RIMは回転が原位置で起こると仮定することができる。回転角度は、各アンテナの回転距離からΔθ=R/rとして推定される、ここでrは円形アレイの半径を示し、Rは回転距離によって推定される弧長である。原位置回転の場合では、RIMは隣り合うアンテナの各ペアから個々の速度を推定することができる。したがって、RIMは回転距離計算について平均速度を使用することができる。回転のための有効なアンテナ分離は、一つのアンテナが別のアンテナに到達するために移動する必要がある弧長、
[この文献は図面を表示できません]
になる。上記の推定は、全て平滑化され、次に相対運動軌跡を回復するように統合される。
【0507】
パケット同期及び補間:RIMは、アンテナ間の位相同期を必要としない。しかしながら、潜在的なパケット損失のために、それはクロスアンテナマッピング(及び2つの市販のNICを使用する実装のためにのみ必要とされる)のために、2つのNIC上でCSI測定(すなわち、パケット)を同期させることが必要とされる。RIMでは、RIMはAPに粗い外部クロックとしてそれを使用するパケットをブロードキャストさせることにより、これを達成することができる。特に、それらがAP上の同じブロードキャストパケットからのものであり、したがって同時に受信されるため、わずかな伝播遅延を無視して、同じシーケンス番号を持つ2つのパケットは同期される。パケット損失の場合、ゼロのCSIが挿入される。
【0508】
RIMのパケット同期は、幾何学的チャネル測定のためにフェーズドアレイアンテナを利用する以前の仕事の正確な位相同期の要件とは完全に異なる。代わりに、RIMは1つのNICがより多くのアンテナ、例えば、60GHzチップセットを備えるので、近い将来においてスキップされ得るパケットレベル同期を単に必要とするだけである。
【0509】
最小初期運動:RIMが運動を測定することができない下の初期運動距離又は回転角度に最小限の要件がある。最小運動距離は、直感的には2つのアンテナ間の分離距離Δdである。開始の時点から、少なくともΔdの変換後初めて、運動は後続アンテナが先行アンテナに「接触」するのを望む。実際にはこの「ブラインド」期間を返済するために、推定された距離はΔdによって補償される。Δdの運動後、RIMは十分に高いサンプリングレートで無視できる、TRRS行列を計算するために、さらに2Wの期間で待機する。
【0510】
このような初期運動に関する最小要件は、RIMの運動解像度とは異なる。いったん2つのアンテナが最初にアライメントされると、RIMはその後も継続的にかつ正確に運動を追跡する。
【0511】
RIMは、システム性能解析及び適用調査を含む、RIMを評価するための事務所環境で実験することができる。RIMは、1000m以上の実験エリアをカバーするための単一のAPを配置することができる。壁を通る測定におけるRIMの利点を実証するために、デフォルトでAPがフロアの角である最も遠い位置#0に配置される。RIMは、APから近い及び離れている両方の(40メートルまで)領域をカバーする間取り図上(RIMはアクセスできないいくつかの領域を除く)の異なる位置で運動測定を行うことができる。実験中、APは5GHz帯の40MHzチャネル上で200Hzのブロードキャストパケットを保持する。
【0512】
グランドトゥルースを得るために、RIMはカメラベースの追跡システムを設定することができる。具体的には、ターゲットが高コントラストの色でマークされ、カメラによって追跡されてもよい。運動トレースは、まず画素フレームで計算され、次に2次元世界座標に変換される。出力はターゲットが運動を開始するとき、最初の時点でRIMの推定値と同期され、その後ペアワイズで比較される。評価に好ましくないわずかな時間オフセットがあるかもしれない。
【0513】
マイクロベンチマーク:RIMはここで、運動距離、方向、及び回転角度を推定する際の総合的な性能を評価し、様々な要因が精度にどのように影響するかを調査することができる。特に指示のない限り、デバイスは約1m/sの速さで運動しており、解析のためのトレースの長さは全て10メートルを超える。
【0514】
運動距離の精度:運動距離推定におけるRIMのセンチメートル精度を完全に理解するために、RIMはCOTSWiFiに存在する3アンテナ直線アレイを使用し、それを2つのシナリオで大まかに線に沿って動かすことができる、1)デスクトップ:RIMは1m周囲のトレースのために机上でアレイを動かすことができる、2)カート:RIMはアレイをカートに載せ、別のエリアで10m以上前方に押し出すことができる。図22に示すように、より安定した、したがってより良好にアライメントされたデスクトップ運動のために、RIMは2.3cmの中央値エラーを達成する。制御の少ないカート運動に対して、それは8.4センチメートルの中央値エラーをもたらす。具体的には、それは見通し線シナリオにおいて7.3cmの中央値精度をもたらし、より重要なことには複雑な見通し外条件において8.6cmの同様の精度をもたらす。90%タイル及び最高の誤差は、それぞれ15cm及び21cm未満である。加速度計を使用する結果は、数十メートルの誤差を容易に生成するために含まれない。現存するシステムは同様の設定(すなわち、単一の未知のAPを使用する広い領域にわたる見通し外)のもとで、同等の性能を達成することができない。
【0515】
方向の精度:RIMは六角形アレイを多様な方向に動かすことにより、RIM方向測定精度を調査できる。特に、RIMは、それらの反対方向の各々と一緒に、10°の増加ステップを持つ90°の範囲を横断することができる。方向ごとに、RIMは1m程度デバイスを動かし、方向推定誤差を調べることができる。図23に示すように、RIMはいくつかの外れ値(例えば、方向−40°及び方向−20°)を除いて、それはほとんどの場合に解決することができる最も近い方向を識別する。図24は、6.1°の全体的平均精度を有し、方向誤差の>90%が10°内にあることを示す、全ての方向についての結果をさらに統合する。RIMは30°の整数倍である一組の離散方向を分解するので、推定値の大部分は任意の誤差なし(例えば、良好にアライメントされた方向)又は10°誤差(例えば、偏向された方向)のどちらも正しい。さらに、RIMは実際のアプリケーションにおける自由運動に対するRIMの方向推定性能を実証することができる。さらに、磁力計は、それが方向に対処することができないため、比較されない。
【0516】
AP位置の範囲及び影響:RIMは、AP信号が到達できるところならどこでも動作する。AP位置がそれの性能に影響を及ぼすかどうかを調査するために、RIMはAPを異なる位置に配置し、開放空間の中央において距離測定を実行することができる。RIMは見通し線として近い、又は複数の壁及び柱を通って遠く離れている、任意のAP位置について、10cm未満の一貫して高い中央値精度を達成する。これまでで最高の範囲は、WiFi信号が存在する位置であればどこでもRIMが動作することを可能にする。
【0517】
累積距離の影響:慣性センサは、長い軌跡にわたる累積的誤差に悩まされることが知られている。異なる運動長さに関してRIMがどのように動作するかを調べることは興味深い。したがって、RIMは約10mの間に何度も運動し、トレース進行中の追跡誤差を計算することができる。図31に示すように、運動距離における中央値誤差は、必ずしも長距離にわたって累積されない約3cmから14cmまで変化する。性能利得は時間と共にドリフトしない、速度推定におけるRIMの高精度に起因する。
【0518】
サンプルレートの影響:RIMにおいて高精度を達成するために、十分なサンプリングレートが必要とされる。したがって、RIMはCSIを200Hzから20Hzまでダウンサンプリングし、距離追跡を再開することができる。結果は図29に統合される。予想されるように、距離追跡の精度は、サンプリングレートが高いほど高くなる。1m/sの運動速度について、サンプルあたり約5cmの変位が生じる20Hz又は40Hzのサンプリングレートは十分ではない。1つのサンプル内でサブセンチメートルの変位を保証するために、1m/sの速度に対して少なくとも100Hzが必要とされる。より高いサンプリングレートは精度をさらに改善させるが、改善は被った計算オーバーヘッドと比較して、わずかである。図29において、実線は理論上のベッセル関数曲線を示し、他の2つの線は実験によるものである。実験のピーク位置は理論と良く一致する。最初のピークの分離距離は0.61λであり、小さな分離ではTRRS値が大きい。
【0519】
仮想アンテナ数の影響:仮想大規模アンテナを使用することは、RIMの解像度を向上させる鍵である。このように、RIMは仮想アンテナの数が精度にどのように影響するかを調査することができる。図30に示すように、RIMは仮想アンテナ番号Vを1から100まで増やし、距離誤差を算出することができる。結果はVが1から5まで増加するとき、中央値精度が約30cmから10cmに減少し、V=100のとき、さらに6.6cmに減少することを示す。実際には、200Hzのサンプリングレートでは30より大きい数字は十分であり、高いサンプリングレートであればより大きく、低いサンプリングレートであればより小さくなるべきである。
【0520】
動的環境に対するロバスト性:空間マルチパスプロファイルに基づいて、RIMは一般的な動的環境、例えば歩行中の人に対して影響があるかどうかを調べることは興味深い。実験のためには、環境の周りで通常の活動を行う他の人に加えて、常に少なくとも2人の人が実験を行う。ユーザがデバイスを動かす時(例えば、カートを押す時)、マルチパス分布が変化しながらそれらの身体とカートの両方が受信機に近づいて動いていると想像する。上記の結果はまだ、これらの種類の動力学に対するロバスト性を示す。その理由は2つある。1)屋内には、様々な方向から来る多くのマルチパスがある。歩行中の人は、それらの一部のみを変化させるので、RIMを支えるTRRS挙動は依然として保持する。2)RIMは、動的環境で変化し得る絶対TRRSに依存しない。
【0521】
システムの複雑さ:主な計算負担は、TRRSの計算にある。すべてのサンプルについて、RIMはm個のアンテナのアレイについて合計値m×(m−1)×Wにつながる2WのウィンドウにわたってTRRSを計算する必要がある。MATLAB(登録商標)コードは速度に最適化されていないため、RIMはIntel Core i7 4650Uと8.0GのRAMを搭載しているサーフェスプロ上でC++システムを測定できる。RIMのコアモジュールは、CPUの約6%及び約10MのRAMを使用して、リアルタイムで実行する。
【0522】
RIMは、室内追跡、手書き、ジェスチャ制御、運動検知、VRヘッドホン追跡、無人追跡等において、潜在的なアプリケーション範囲を有する。RIMは、次のように3つのアプリケーションシナリオを有するRIMを評価することができる。
【0523】
1)デスクトップ手書き:運動追跡においてRIM精度と一緒に、それはホワイトボード又はデスク上の手書きを支援する。概念実証シナリオを示すために、RIMは机の表面上にいくつかの文字を自由に書き込むことによって、ユーザにアンテナのアレイを動かすように依頼することができる。カメラシステムによって捕捉されたグランドトゥルースと比較すると、図25は回収された文字のいくつかの例を示す。見られるように、RIMは認識可能な文字をもたらして、比較的直線状のセグメントだけでなく、異なる方向に湾曲したストロークも再構成する。現時点でアンテナのアレイが「ペン」として動作するには大きすぎるにも関わらず、RIMは短波長のより小さなアンテナが近い将来ユビキタスになる時、RIMは開示された技術が書き込み用に直接それを形成することを実証することができる。
【0524】
2)ジェスチャ認識:RIMをポインタのようなユニットとして統合することによって、RIMはジェスチャ制御アプリケーションを実証することができる。それをコンパクトにするために、RIMは「L」形状に配置された3つの小さなチップアンテナを有する1つのWiFi NICを使用することができる。実験は、それらのユーザが左手及び右手で、それぞれ20回、4つの異なったジェスチャ(左/右/上/下に向かって動かし、その後、戻る)を実行する、3人のユーザを含む。合計で、RIMは試験のために480のアクションを収集することができる。図26Aに示すように、異なるジェスチャは、特定のアンテナペア上のアライメント行列において、明確なパターンを生成する。RIMは、運動方向に依存する特定のアンテナペアから、ユーザの手が向かって運動し、続いて手が後方に動く時の反対方向における速度で動く一方向の速度を観測する。RIMは、ジェスチャを検出し、識別するために、この情報を使用することができる。図26Bは、それらの左手又は右手について、3人のユーザの検出率の認識結果を示す。全ての検出されたジェスチャは全て正しく認識されるので、RIMは、検出率のみをプロットすることができる。図示するように、合計480回の試験にわたって23回の誤検出(4.79%)及び5回の失敗トリガ(1.04%)を有するので、RIMは様々なジェスチャ及びユーザに対して96.25%の平均検出精度を有する。失敗トリガ率は、失敗トリガが悩ませている間に、RIMは誤検出のためのジェスチャを単に繰り返すことができるので、実際の場合においても好まれる誤検出率よりも小さい。さらに、性能は、異なるユーザ及び動作、ならびに左手又は右手にわたって一貫して高い。結果は例えば、プレゼンテーションポインタに統合されるような有望なジェスチャ能力を実証する。
【0525】
3)室内追跡:RIMは室内追跡のためのRIMの能力を広範囲に実証するために、特に2つの異なるケースを実施することができる。追跡試験中、APは位置#0に配置される。
【0526】
3.1)純粋なRIM室内追跡:まず、RIMは間取り図全体にわたる唯一の追跡システムとして、六角形アレイを有するRIMを配置することができる。アンテナアレイは、異なる具体的なトレースに沿ってユーザによって押されるカートの上に置かれる。産業用無人搬送車(AGV)で一般的である側方運動(すなわち、旋回せずに方向を変える)の場合におけるRIMを特に示すために、RIMはこの実験では、旋回を行う代わりに、カートを直接的に側方へ運動させることができる。軌跡は、広い領域にわたる非常に長いトレースに対してさえ、正確に追跡される。従来の慣性センサ、ジャイロスコープ及び磁力計は、旋回がない、つまり方向は変わっているが、デバイス方向は同じに保たれていることを意味するため、このような方向の変化を捉え損なっている。
【0527】
3.2)慣性センサを有するRIM:RIMは、たとえ3つのアンテナのみであっても、運動距離推定において優れた利点を持つ。1つのNICのみを持つCOTSWiFiデバイスの有する可能性を完全に明らかにするために、RIMはジャイロスコープにより報告された方向情報とRIMの距離測定を統合することにより、リアルタイムシステムを実行することができる。具体的には、RIMは3つのチップアンテナの1つのWiFi NIC及びBNO055センサーユニットを備える一つのGalileo Gen2ボードを使用することができる。CSI収集及び前処理はGalileo Gen2上で実行される、一方、RIMのアルゴリズムはサーフェスプロ上で実行される。また、RIMは追跡結果を表示するためにGUIを開発することもできる。
【0528】
モールにおいて顧客がショッピングカートを押し込む又は、スマートホームロボットが動き回ったりするように、デバイスをカート上に置き、それをフロア全体にわたって押すことによって、RIMは統合追跡システムを試験することができる。RIMで測定された距離は高精度であるが、慣性センサで得られた方向情報は大きな誤差に悩まされ得る。それを実用的なシステムにするために、慣性センサによって引き起こされる方向誤差を処理するために、デジタル間取り図によって提供される幾何学的制約を利用するために粒子フィルタ(PF)をさらに実装することができる。粒子フィルタベースの拡張を有する結果は、実軌跡を上品に再構成する。未知の情報を持つ一つの単一のAPのみに依存することにより、心強い結果は、多くの調査努力を引き付ける長年の課題である、特にロボット及びオブジェクトのためのユビキタスで正確な室内追跡システムを可能にするRIMの大きな可能性を実証する。
【0529】
正確な慣性計測システムである開示されたRIMは、市販のWiFi無線を使用してセンチメートル運動距離、方向、及び回転角度を推定する。それは、追加のインフラストラクチャ又はセンサのサポートなしに、任意に配置される単一の未知のAPによってカバーされる位置であればどこでも、広いマルチパスの豊富な領域にわたって機能する。そうすることにより、RIMは、ロボット監視、VR追跡、携帯ゲームなど、正確で信頼性のある運動測定を要求する新しいアプリケーションにWiFiベースの運動感知を広げる。
【0530】
図27は、本開示のいくつかの実施形態による、オブジェクト運動の多数のパラメータを測定するための方法2700のフローチャートを示す。図27に示すように、CSI収集2710は、例えば無線マルチパスチャネルのCSI2701を収集することによって実行される。次に、操作2720において、パケット同期及び補間が実行される。収集されたCSIは、操作2730でTRRSを計算するために使用される。TRRS行列は、操作2740で構築される。運動検出2750は、TRRS行列に基づいて実行される。次に、操作2760において、アライメント遅延追跡が行われ、操作2770において、アライメントされたアンテナペア検出が行われる。運動パラメータ2702の推定、例えば、運動距離、方向、回転角度等を生成するために、操作2780において、運動パラメータが測定又は推定される。そのようなものとして、オブジェクトの検出された運動に関連するパラメータは、仮想アンテナアライメントテクノロジーに基づいて測定され得る。様々な実施形態によれば、図27のいくつかの動作の順序は交換されてもよい。
【0531】
第1の例では、RFベースの慣性測定は運動速度、方向、及び回転角度を推測するために、仮想アンテナアライメント(VAA)の技術を利用することができる。運動速度について高精度が達成されているにも関わらず、運動方向及び回転角度の解像度はまだ最適化されていない。以下では、RIMは異なるアライメントされたアンテナペアに沿った多重速度推定を利用することにより、運動方向及び回転角度推定の精度を高めることができる。速度推定値をアンテナアレイの既知及び固定された幾何学的関係と組み合わせる時、RIMは高精度で連続解像度を有する新しい運動方向推定アルゴリズムを設計することができる。図28に示す簡単な図のように、VAAを使用して推定され得る速度
[この文献は図面を表示できません]
から、アンテナのペアのAB及びACが大まかにアライメントされるように、アンテナアレイの移動方向は、
[この文献は図面を表示できません]
の方向に近い。
[この文献は図面を表示できません]
幾何学的制約から導出され得る。
【0532】
任意の方向に対してアライメントされたアンテナペアの存在を確保するために、新しい2次元アンテナアレイが設計され得る。時間反転共振強度(TRRS)の空間減衰特性は、2次元アンテナアレイの設計を導くために使用される。TRRSの空間減衰曲線に基づいて、回転の前後で互いに近いアンテナペアは、最高のTRRS値から推測され得る。次に、アンテナアレイ幾何学によれば、誤差をドリフトさせることなく、原位置の回転角度は高精度で計算され得る。
【0533】
豊富なマルチパスを有する強力な見通し外環境のもとで、忙しい事務所空間のフロアにおける実験は、開示されたアルゴリズムの正確さを検証する。:加速度計の対応物よりも優れている、運動方向推定のための中央値誤差は6.9°である。ジャイロスコープに匹敵し、ドリフト誤差のない長期においてはるかに良い、回転角度推定の平均誤差は16.6°である。有望な性能及び低コストは、開示された方向発見方法を、正確な方向情報を必要とするアプリケーションに適したものとする。
【0534】
2つのCSIであるH及びHを考慮すると、時間反転共振強度(TRR)は次のように定義される。:
[この文献は図面を表示できません]
ここで、〈X,Y〉は複素ベクトルX及びYの内積で、|・|は大きさ演算子を示す。ρ(H,H)∈[0,1]で、それはもしH=cHの場合にのみ1を達成することに留意されたい、ここでcは非ゼロ複素スケーリング係数である。したがって、TRRSは、CSI間の類似性メトリックとして使用され得る。
【0535】
分離距離dで測定された2つのCSIであるH及びHについて、それらのTRRSは、決定論的関数として近似され得る。:
[この文献は図面を表示できません]
ここで、j(x)は第1種の0次ベッセル関数であり、λは波長である。理論的及び測定されたTRRS空間減衰曲線は図29に示される。ある方向のMPCsの非対称正規化エネルギー分布のために、実際のTRRSは、
[この文献は図面を表示できません]
及びいくつかの未知の関数の重ね合わせである。
それにもかかわらず、減衰パターン(極小及び極大の位置)は、理論的ベッセル関数の結果とよく一致する。したがって、運動速度は、特定された最初のピーク位置を対応するタイムラグで割ることから計算され得る
【0536】
TRRS空間減衰曲線に基づいて、新しい運動方向推定アルゴリズムが開示される。開示されたアルゴリズムをより良く示すために、RIMはまず、所定の位置(CSIが既知である)に運動アンテナの最も近い位置を識別するための方法を導入することができる。次に、二次元アンテナアレイは超解像運動方向推定の目的のために設計され、最良のアライメントされたアンテナペアを選択するためのメカニズムが与えられる。最後に、アンテナアレイの幾何学的関係を利用して、開示された高精度室内オブジェクト運動方向推定アルゴリズムは詳細に説明される。
【0537】
1つの追加アンテナが中心にある2次元円形アンテナアレイ及び基準座標系は図30に示されている。周辺のアンテナの数がnperであることによって、隣接する周辺アンテナ間の周方向角度はα=180°/nperとなる。
【0538】
運動方向推定の場合は、運動方向を
[この文献は図面を表示できません]
として示す。3つのアンテナA、B、Cが図示のために取られている、アライメントされたアンテナペアとして示される、トレースが互いに近いアンテナのいくつかのペアがある。
【0539】
時間tでH(t),H(t)及びH(t)として、これらのアンテナによって測定されたCSIに留意する。同時に収集されたCSIに対して、波長の半分として選択されるアンテナAB、及びアンテナACとの間で対応する分離は両方とも半径である。図29のTRRS空間減衰曲線から、TRRS値ρ(H(t),H(t))及びρ(H(t),H(t))は小さくなる。一実施形態では、アンテナAは方向
[この文献は図面を表示できません]
に沿って運動し、CSIsを収集し続ける。t+δABのとき、アンテナAは、時間tでアンテナBの位置に最も近くなり、したがってρ(H(t+δAB,H(t))は大きな値をもたらす。同様に、RIMはρ(H(t+δAC,H(t))について大きな値を得ることができる。大きなTRRS値から、RIMは、運動距離が
[この文献は図面を表示できません]
によって示される運動方向に近いと推定することができる。したがって、高TRRS値を有するアンテナペアを識別することにより、大まかな方向は選択されたアンテナペアによって決定される。正しいアンテナペアの発見のために、細部は以下に明らかにされる。
【0540】
さらに、アンテナAがアンテナB及びアンテナCに最も近い位置に到達するためにかかる時間を利用して、すなわちδAB及びδAC、RIMは後で説明される2次元アンテナアレイの幾何学的形状と一緒に方向推定を改善することができる。
【0541】
原位置の回転角推定のために、アンテナアレイが時計回りに約α回転すると仮定する。終了位置が開始位置に近いいくつかのアンテナペアがある。アンテナB及びCを例にとると、アンテナBの終了位置はアンテナCの開始位置に近く、したがってそれらの間のTRRSは大きな値を生み出すべきである。様々な回転角度に対して、高TRRS値を有するアンテナペアはそれに応じて変化する。開始時と回転後に収集されたCSI間のTRRS値を計算することにより、回転角度は高いTRRS値及びアンテナアレイの幾何学的関係を使用して推定され得る。
【0542】
図31に示すように、最初の位置がAである運動アンテナは、トレース
[この文献は図面を表示できません]
に沿って運動する。基準位置は、CSI Hがあらかじめ別のアンテナによって測定されるBである。A及びBとの間の距離はdであり、角度∠BACはθである。H(t)は運動するアンテナによって測定されるCSIを示し、時間t=0はそれが運動を始める瞬間である。
【0543】
幾何学的観点から、基準位置への運動トレース上の最も近い点は、運動トレース上のBの射影、すなわち点Cである。CSI測定を使用してこの最も近い位置を識別するために、最も近い位置にあるCSIに最高レベルの類似性、すなわち最大のTRRSを示させることが最良である。これがその場合、点CにおけるCSIである、Hは最大のTRRSから直接推定され得る。:
[この文献は図面を表示できません]
それに応じて、最も近い位置における時間インスタンスはHから抽出され得る。
【0544】
しかしながら、理論的なTRRS空間減衰曲線から、最も近い幾何学的位置は、CSIにおける最高の類似性のレベルを必ずしも暗示するわけではない。このような意味合いを保持させるために、初期の距離d及び角度θに制約がある。原則は、等価的に最も近い距離が0.26λより小さくなければならないことを意味し、最も近い位置のTRRSが0.61λで第1のピークのそれよりも高くなるべきである。:
[この文献は図面を表示できません]
d=λ/2について、θ は31°より小さくなるべきである。式(25)は、以下の2次元アンテナアレイを設計する上でのガイダンスとして役に立つ。
【0545】
二次元アンテナアレイを導入する前に、分離距離dを持つ二つのアンテナで構成された線形アレイは最初に検討される。図32に示すように、アレイが、それの方向に対して偏角θ で運動していると仮定する。経路に沿って測定された2つのアンテナのCSIをH(t)及びH(t)とし、ここで、i=0,1,2,・・・,kはサンプル指標を表す。前の考察から、偏角θ が十分に小さい場合、最大のTRRSは、基準点に最も近い位置にマッピングするべきである。言い換えれば、基準位置を時間tにおけるアンテナ2の位置として与えられると、アンテナ1が時間tから最も近い位置までにかかる時間遅延は、次のように計算される。:
[この文献は図面を表示できません]
ここで、Δtは負の値になり得る(アンテナ2がアンテナ1に向かって運動している場合)。
【0546】
アンテナの分離d及び偏角θ が既知である場合、運動距離lは図31に示されるように、幾何学的関係:l=dcos(θ)から導出され得る。対応する時間遅延Δtを利用して、速度vはさらに次で得られる。:
[この文献は図面を表示できません]
これは、以下の方向推定にとって重要である。
【0547】
時間遅延Δtを見つけるために、
[この文献は図面を表示できません]
は、tを中心とする長さ2W+1のウィンドウを通して計算される。:
[この文献は図面を表示できません]
ここで、Tは転置演算子を示す。ウィンドウの長さはアンテナの分離、運動速度及びサンプリングレートによって決められる。速度が遅すぎる場合、ピーク指標はW=50のウィンドウ長さの外にあり、速度が速すぎる場合、ピーク指標は0になる。一般に、
[この文献は図面を表示できません]
ここでdはアンテナの分離を示す。
【0548】
各時間指標における時間遅延を見つけるために、TRRSベクトルを連結することによってTRRS行列Gが形成される。:
[この文献は図面を表示できません]
次に、時間遅延ベクトルd(G)は、次のように計算され得る。:
[この文献は図面を表示できません]
th要素d(G,i)は時間tにおけるタイムラグである。
【0549】
図33は、データは互いにλ/2離れた2つのアンテナを使用して収集される偏角0°、10°、20°及び30°に対するTRRS行列を示す。式(25)から、偏角はTRRS行列の各列におけるピークを意味する、最も近い位置において最大のTRRSを生み出すために、31°より小さくなるべきである。偏角0°、10°及び20°について、時間にわたって明確なピークトレースが存在する。しかしながら、MPCsと雑音の非対称なエネルギー配分のために、ピークトレースは見つけることが困難である。
【0550】
理論及び実験の両方の結果に基づいて、2次元アンテナアレイは、高精度、超解像運動方向推定の目的のために設計される。8つのアンテナは波長の半分の半径を持つ円上に均一に配置され、1つのアンテナは中心に配置される、設計されたアンテナアレイは図30に示されている。
【0551】
隣り合う周辺アンテナ間の円周方向の角度は、α=22.5°として表記される。設計の背後の理由は、以下の通りである。1) [0°,360°) における運動方向及び回転角度を測定するために、円形アレイは対称幾何学のために選ばれる。2)高解像のために、図33で実証されたTRRS行列のピークトレース結果に基づいて、八角アレイが使用される。α=22.5°の増分で、0°から360°であるアレイ内の全てのアンテナペアが形成される方向を考える。図33に示されるように、約20°の偏角を持つTRRS行列において、明確なピークトレースが観測され得る。したがって、任意の運動方向に対して、α=22.5°の高解像を生み出して、最良のアライメントされたアンテナペアが特定され得る。3)超解像及び高精度を目的として、一つの追加のアンテナはアレイの幾何学的関係を利用するために導入される。中心に1つのアンテナを配置することにより、任意の運動方向に対して、異なる方向を形成する、少なくとも2つのアライメントされたアンテナペアを有することが保証される。したがって、運動方向の継続的な解像度は、以下に説明される、アライメントされたペアの速度推定及び幾何学的形状を利用することによって達成され得る。
【0552】
アライメントされたアンテナペアは、方向が運動方向に近いそれらのものである。最良にアライメントされたアンテナペアを正しく検出することにより、最良にアライメントされたアンテナにより形成される方向の近傍において、運動方向は推定され得る。この目的のためにTRRS行列は利用される。:ピークトレースがより鮮明であればあるほど、アンテナのアライメントはより良好になる。明確なピークトレースを決定するために、TRRS行列Gのピークトレーススコアは、以下のように定義される。:
[この文献は図面を表示できません]
ここで、e(G)はピークトレースの平均化されたエネルギーであり、:
[この文献は図面を表示できません]
及びσ(G)はピークトレースにおけるタイムラグの標準偏差である。:
[この文献は図面を表示できません]
[この文献は図面を表示できません]
α>0はピークトレースのエネルギー及びコヒーレンスの間の重要性を重みづけるスケーリング係数である。
【0553】
スコアs(G)を使用して、最高のスコアを有する最良のアライメントされたアンテナペアが選択される。TRRS行列に対応する方向a(G)として表す。異なるアンテナペアは同じ方向を有し、同じ方向を形成することができ、したがって、RIMは特定方向φのスコアを最大のものとしてさらに定義することができる:
[この文献は図面を表示できません]
【0554】
運動方向の推定は、2つのステップを含む。:1.最良にアライメントされたアンテナペアに基づいて、おおまかな角度範囲を決定する。:2.超解像及び高精度を達成するために、幾何学的関係を使用して範囲内の方向を推定する。
【0555】
角度範囲推定のために、図34は、例示として使用される。
[この文献は図面を表示できません]
は、最良のアライメントされたアンテナペアによって形成される方向θ、すなわち、それらのTRRS行列の最高得点を有するアンテナペア:θ =arg maxφs(φ)を表すと仮定する。真の運動方向は、この方向に近くなるべきである。図に示すように、3つの候補領域は、[θ−22.5°,θ ]、[θ−15°,θ+15°]及び[θ,θ+22.5°]に分割される。
[この文献は図面を表示できません]
よりもはるかに高い場合、真の運動方向は
[この文献は図面を表示できません]
により近くになるべきであり、逆もまた同様である。s(θ―22.5°)がs(θ+22.5°)に類似している場合では、真の方向が中間に位置しそうである。直感を実行に変換すると、以下の比率が計算される:
[この文献は図面を表示できません]
【0556】
次に、それらが正の閾値βとそれぞれ比較される。β>β,s(θ+22.5°)が選択されるには小さすぎる場合、推定される範囲は領域1である。同様に、β>βの場合、角度範囲として領域3が選択される。どちらの条件も成立しない場合、真の運動方向は領域2に存在する可能性が最も高い。
【0557】
大まかな範囲推定の後、選択されたTRRS行列におけるピークトレースの幾何学的関係及び遅延を利用して、精細な方向推定が達成され得る。2つの場合がある。:(1)図34の領域1及び3を参照して、対応するTRRS行列において、2つの異なる(隣り合う)方向のみが、明確なピークトレース(高スコア)を有している。(2)図34の領域2のように、TRRS行列において明確なピークトレースを有する3つの異なる(隣接する)方向が見つけられ得る。
【0558】
最初の場合では、図35に示すように、アンテナペアAB及びCDを2つの隣り合った方向に対して最良にアライメントされたペアにする。ABの間の距離をdとして、CDの間の距離をdとして表す。22.5°の角度範囲に存在する、運動方向は矢印により指される方向である。したがって、
[この文献は図面を表示できません]
からの運動方向からの偏差はγであり、運動方向と
[この文献は図面を表示できません]
の間の角度は22.5°−γである。式(27)を参照して、AB及びCDを使用して計算された速度は以下である。:
[この文献は図面を表示できません]
ここで、Δt及びΔtは、それぞれAB及びCDのTRRS行列におけるピークトレースの時間遅延である。アンテナアレイのサイズは非常に小さいので、波長(f=5.8GHzでは5.17cm)のスケールでは、運動速度はこのような短い距離において大きく変化することができない。:
[この文献は図面を表示できません]
次に、γの推定値が以下のように計算される。:
[この文献は図面を表示できません]
【0559】
第2の場合では、図35で説明される意味を有する幾何学的関係が図36に示されている。第1の場合と同様に、速度はアンテナのそれぞれのペアを使用して推定され得る。:
[この文献は図面を表示できません]
推定されたγは以下のように計算される。:
[この文献は図面を表示できません]
【0560】
以上の考察をまとめると、詳細な運動方向推定アルゴリズムは、以下のアルゴリズム1に記載される。
【0561】
アルゴリズム1:運動方向推定
入力:
{G}:アンテナの全てのペアに対するTRRS行列のセット;
a(G):TRRS行列Gを有するアンテナペアの方向;
η:正のスケーリング係数;
β:正の閾値
出力:
θ:推定運動方向
手順:
[この文献は図面を表示できません]
【0562】
運動方向と同様に、TRRS値は、原位置での回転角度を決定するためにも使用され得る。アルゴリズムの背後の理論的根拠は、図37に示されるように、周辺上のアンテナiが周辺上のアンテナjの開始位置に最も近い位置まで回転する場合、それらの2つのCSI測定値(iend,jstart)の間のTRRSは、回転角度を推測するために使用され得る、高い値を生み出すことが予想される。
【0563】
より正確には、アンテナiとjの両方が周辺にある、H(t)は時間tにおけるアンテナjのCSI測定値を示し、時間tにおけるアンテナiにより測定されるCSIになるH(t)を示す。tからtまでの回転角度を推定するために、RIMはt及びtの間にアライメントされたアンテナペアを正しく識別するために必要である。周辺の全てのアンテナペアの間のTRRS値は、以下のように計算される:
[この文献は図面を表示できません]
【0564】
アンテナiからアンテナjまでの回転角度を、aijとして表す。異なるアンテナペアでは、それらは同一の回転角度を有することができることに留意する。例えば、回転角度は全ての隣り合うアンテナペアに対して、2αである。したがって、同じ回転角度を有するアンテナペアに対するTRRS値は、以下のように雑音を抑制するように平均化され得る:
[この文献は図面を表示できません]
ここで、ρは回転角度aに対する平均TRRSを表し、nはaの回転角度を有するアンテナペアの数を表す。次に式(43)で、回転角度は最大TRRS値を有する一つとして推定される:
[この文献は図面を表示できません]
【0565】
一つの例において、ユーザがVR又はARデバイスを装着している間に、WiFiベースの運動感知に基づいてユーザの頭部の運動を追跡するために、開示されたRIMシステムは仮想現実(VR)デバイス又は拡張現実(AR)デバイス上で使用され得る。このようにして、ユーザがVR又はARデバイスを介して見る又は体験することができるシナリオは、ユーザの頭の運動に応じて変化する。運動追跡は運動の方向、運動の角速度、及び/又は頭の方向等を推定することを含むことができる。他の例では、携帯ゲームをするユーザの頭、腕、脚、又は手、工場又はレストランで動作するロボット、スマートカーにおけるユーザの頭、腕、脚、又は手、及び/又は被験者に取り付けられた監視デバイスの運動を監視するために、開示されたシステムに基づいて同様の運動追跡が適用され得る。
【0566】
本開示の様々な実施形態において、無線慣性測定は、以下の項にしたがって実行されてもよい。
【0567】
項1:オブジェクト追跡システムの方法/装置/ソフトウェア/システムであって、プロセッサを使用して無線マルチパスチャネルの複数の時系列チャネル情報(CI)を取得することと、メモリに記憶されたプロセッサ及び命令のセットと一緒に通信可能に結合されたメモリと、送信アンテナ及び受信アンテナペアに関連付けられた各CI(TSCI)の時系列を含み、複数のTSCIは無線マルチパスチャネルを介して、少なくとも1つの送信アンテナを有するタイプ1異種無線デバイス(無線送信機)と、少なくとも1つの受信アンテナを有するタイプ2異種無線デバイス(無線受信機)との間で送信される無線信号から抽出され、各TSCIはタイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ、タイプ1デバイス及びタイプ2デバイスの一方は静止しており、他方はオブジェクトと共に運動しており、運動デバイスの運動は、既知の構成及び既知の距離を有する少なくとも2つのアンテナを含み、運動デバイスの第1のアンテナに関連付けられた第1のTSCIの第1の時間における第1のCIが、運動デバイスの第2のアンテナに関連付けられた第2のTSCIの第2の時間における第2のCIに一致することを決定し、第1のTSCI及び第2のTSCIの両方が静止デバイスの特定のアンテナに関連付けられ、複数のTSCI、運動デバイスのアンテナの構成、静止デバイスのアンテナの構成、第1の時間及び第2の時間との間の時間差、及び第1のアンテナ及び第2のアンテナとの間の距離のうちの少なくとも1つに基づいて、運動デバイスの少なくとも1つの運動パラメータを計算することと、少なくとも1つの運動パラメータ、第1の時間、第2の時間、静止デバイスのアンテナの構成、運動デバイスのアンテナの構成、過去のSTI、及び過去の運動パラメータのうちの少なくとも1つに基づいて運動デバイスの時空間情報(STI)を計算することと、運動パラメータ及びSTIのうちの少なくとも1つは、運動デバイスの現在の運動に関連付けられ、位置、水平位置、長さ、面積、長さ、体積、容積、方向、距離、角度、距離、変位、速さ、速度、加速度、回転速度、回転加速度、歩行周期、存在、運動の種類、運動の分類、運動の特徴、突然の運動、過渡的な運動、周期的な運動、周期的な運動の周期、周期的な運動の頻度、過渡的な運動、時間トレンド、タイミング、タイムスタンプ、時間期間、タイムウィンドウ、スライディングタイムウィンドウ、履歴、頻度トレンド、時空間トレンド、時空間変化、及びイベントのうちの少なくとも1つを含み、STIに基づきオブジェクト及び運動デバイス追跡をすることと、オブジェクト及び運動デバイスを追跡することは、オブジェクトのマップ位置を決定することと、オブジェクトの位置を追跡することと、オブジェクトの別の運動分析を追跡することと、軌跡に沿ってオブジェクトの運動を誘導することと、障害物を回避するようにオブジェクトの運動を誘導することと、オブジェクトの運動を検出することと、オブジェクトの挙動を追跡することと、オブジェクトの挙動識別、オブジェクトの運動を検出することと、オブジェクトのバイタルサインを検出することと、オブジェクトに関連する周期運動を検出することと、オブジェクトの呼吸を検出することと、オブジェクトの心拍を検出することと、現在の運動に関連するイベントを検出することと、オブジェクトの転倒運動を検出することと、オブジェクトの位置を提示することと、オブジェクトの位置の履歴を提示することと、オブジェクトの位置を図表で表示することと、のうち少なくとも1つ含む。
【0568】
一実施形態では、第1の時間及び第2の時間との間で真っ直ぐに運動するオブジェクト(すなわち、方向変化なし);第1のCIは現在の時間における現在のCIであり、第2のCIは前の時間における前のCIであり、運動パラメータは第1の時間及び第2の時間との間で運動した距離であり、及び/又はアンテナ軸及び運動方向との間の角度である(アンテナ軸は運動デバイスの第1のアンテナ及び第2のアンテナを接続する軸を意味する)。
【0569】
項2:タイプ1デバイスが静止しており、タイプ2デバイスが運動している、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0570】
項3:無線信号が第2のタイプ2異種無線デバイスによって受信され、第2のタイプ2デバイスが運動しており、無線信号から少なくとも1つの第2のTSCIを抽出するように構成され、それぞれのTSCIは、タイプ1デバイスのアンテナ及び第2のタイプ2デバイスのアンテナに関連付けられ、少なくとも1つの第2のTSCIに基づき、第2のタイプ2デバイスのSTIを計算する、項2のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0571】
項4:複数のTSCI及びタイプ2デバイスに関連するサウンディングレートは、少なくとも1つの第2のTSCI及び第2のタイプ2デバイスに関連する第2のサウンディングレートとは異なる、項2のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0572】
項5:タイプ2デバイスのSTIが第2のタイプ2デバイスに共有される、項2のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0573】
項6:第2のタイプ2デバイスのSTIがタイプ2デバイスに共有される、項2のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0574】
項7:タイプ2デバイスの運動及び第2のタイプ2デバイスの運動がアライメントされる、項2のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0575】
項8:タイプ2デバイスが静止しており、タイプ1デバイスが運動している、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0576】
項9:第2の無線信号が第2のタイプ1異種無線デバイスによって送信され、第2のタイプ1デバイスが運動し、第1の無線信号に対して非同期に第2の無線信号を送信するように構成され、タイプ2デバイスは第2の無線信号から少なくとも1つの第2のTSCIを抽出するように構成され、それぞれのTSCIが第2のタイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ、少なくとも1つの第2のTSCIに基づき、第2のタイプ1デバイスの第2のSTIを計算する、項8のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0577】
項10:無線信号に関連付けられたサウンディングレートが、第2の無線信号に関連する第2のサウンディングレートとは異なる、項9のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0578】
項11:無線信号に関連付けられたサウンディングレートが、第2の無線信号に関連付けられた第2のサウンディングレートに類似している、項9のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0579】
項12:タイプ1デバイス及び第2のタイプ1デバイスは、無線信号及び第2の無線信号の送信においてアライメントされる、項9のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0580】
項13:タイプ1デバイスのSTIが第2のタイプ1デバイスに共有される、項9のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0581】
項14:第2のタイプ1デバイスのSTIがタイプ1デバイスに共有される、項9のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0582】
項15:タイプ1デバイスの運動及び第2のタイプ1デバイスの運動がアライメントされる、項9のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0583】
項16:運動デバイスの少なくとも2つのアンテナのうちのいくつかが、1次元(1−D)構成、直線、不均一な間隔を有する直線、1つ以上の直線、曲線、1つ以上の曲線、2次元(2−D)構成、円、三角形、長方形、五角形、六角形、七角形、八角形、多角形、格子、アレイ、2−D形状、様々なサイズを有する同心2−D形状、2−D形状の層、3次元(3−D)構成、球、立方体、直方体、集団、様々なサイズを有する同心3−D形状、3−D形状の層、アライメント可能な構成、及び構成変更時間のうちの少なくとも1つで構成される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0584】
項17:アンテナが、1−D構成、2−D構成、及び3−D構成のうちの少なくとも1つの中心に配置される、項16のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0585】
項18:運動デバイスのいくつかのアンテナは、無線信号の周波数に基づき、間隔を有するように構成される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0586】
項19:運動デバイスのいくつかのアンテナは、目標運動パラメータに基づき、間隔を有するように構成される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0587】
項20:第1のCI及び第2のCIとの間の類似性スコアが閾値よりも大きく、第2の時間が第1の時間及び運動デバイスのアンテナの構成に関連付けられたタイムウィンドウ内にあり、類似性スコアが第1のCI及びタイムウィンドウ内のTSCIのいくつかにおける任意のCIとの間の類似性スコアよりも小さくない場合、第1の時間における第1のCIが第2の時間における第2のCIに一致するように決定される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0588】
項21:第1の時間における第1のCIを第2の時間における第2のCIに一致するように決定されることは、第1の時間に関連付けられた期間において第1のCI及び第2のTSCIの複数のCIの各々との間の複数の類似性スコアを計算することと、最大の類似性スコアが閾値よりも大きいことを決定することと、最大に関連付けられた第2のTSCIのCIになるように第2のCIを識別することと、第2のCIに関連付けられた時間になるような第2の時間を識別することと、をさらに含む項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0589】
項22:最高類似性スコアは、複数の類似性スコアのフィルタリングに基づき決定される、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0590】
項23:最高類似性スコアは、複数の類似性スコアのフィルタリング及び過去の類似性スコアの履歴に基づき決定される、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0591】
項24:最高類似性スコアは、複数の類似性スコア及び過去の類似性スコアの履歴にダイナミックプログラミングを適用することによって決定される、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0592】
項25:運動パラメータは角度を含み、角度は、第1のアンテナ及び第2のアンテナとの間の角度方向に基づく、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0593】
項26:運動パラメータは角度を含み、角度は、第2のアンテナに対する第1のアンテナの角度方向及び、第1のアンテナに対する第2のアンテナの角度方向のうちの少なくとも1つに基づく、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0594】
項27:運動パラメータは角度を含み、角度は、可動デバイスのアンテナの構成において2つのアンテナの間の角度方向のうちの少なくとも1つに基づく、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0595】
項28:運動パラメータは角度を含み、角度は、運動デバイスのアンテナの構成に基づく、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0596】
項29:運動パラメータは角度を含み、角度は、最高類似性スコアに基づいて計算される、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0597】
項30:運動パラメータは距離を含み、距離は、最高類似性スコアに基づいて計算される、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0598】
項31:運動パラメータが角度及び距離を含み、角度は最高類似性スコア、距離、運動デバイスのアンテナの構成、第1の時間及び第2の時間との間の時間差分、及び第1のアンテナ及び第2のアンテナとの間の距離のうちの少なくとも1つに基づき計算され、距離は最高類似性スコア、角度、運動デバイスのアンテナの構成、第1の時間及び第2の時間との間の時間差分、及び第1のアンテナ及び第2のアンテナとの間の距離のうちの少なくとも1つに基づいて計算される、項21のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0599】
項32:第1のTSCIの第1の時間における第1のCIを第2のTSCIの第2の時間における第2のCIに一致するように決定することは、第2のTSCIの候補として第1のTSCI以外の複数のTSCIのそれぞれに対して、第1の時間に関連付けられたそれぞれの期間における第1のCI及びそれぞれの第2のTSCI候補のそれぞれの複数のCIとの間の複数の類似性スコアを計算することと、期間が第2のTSCI候補に関連付けられ、複数の類似性スコアに基づいてそれぞれの最高類似性スコアを決定することと、第1のTSCI以外の複数のTSCIに関連付けられた最高類似性スコアのうちの全体の最高類似性スコアを決定することと、全体最高類似性スコアが閾値よりも大きいことを決定することと、全体最高類似スコアに関連付けられた第2のTSCI候補になるように第2のTSCIを識別することと、最高に関連付けられた第2のTSCIのCIになるように第2のCIを識別することと、第2のCIに関連付けられた時間になるように第2の時間を識別することと、をさらに含む項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0600】
項33:それぞれの最高類似性スコアは、複数の類似性スコアのフィルタリングに基づいて決定される、項32のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0601】
項34:それぞれの最高類似性スコアは、複数の類似性スコアのフィルタリング及び過去の類似性スコアの履歴に基づいて決定される、項32のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0602】
項35:それぞれの最高類似性スコアは、複数の類似性スコア及び過去の類似性スコアの履歴にダイナミックプログラミングを適用することによって決定される、項32のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0603】
項36:第1のTSCI以外の複数のTSCIをありそうにない第2のTSCIの候補として決定することと、第1のCIに関して類似性スコアがありそうにない第2のTSCIの候補のいずれのCIについて計算されないように、ありそうにない第2のTSCIの候補を第2のTSCIの候補としてスキップすることとをさらに含む、項32のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0604】
項37:第1のTSCIの第1の時間における第1のCIを第2のTSCIの第2の時間における第2のCIに一致されるように決定することは、第1のTSCIの候補として複数のTSCIのそれぞれについて、第2のTSCIの候補として第1のTSCIの候補以外の複数のTSCIのそれぞれについて、第1の時間及び第2のTSCIの候補と関連付けられたそれぞれの期間において、第1の時間における第1のTSCIの候補のCI及び第2のTSCIの候補の複数のCIのそれぞれとの間の複数の類似性スコアを計算することと、複数の類似性スコアに基づきそれぞれの類似性スコア最高類似性スコアを決定することと、最高類似性スコアに基づき第1のTSCIの候補に関連付けられた全体最高類似性スコアの候補を決定することと、全体最高類似性スコアの全ての候補の間の全体最高類似性スコアを決定することと、全体最高類似性スコアが閾値よりも大きいことを決定することと、全体最高類似性スコアに関連付けられた他のTSCIになるように第2のTSCIを識別することと、最高に関連付けられた第2のTSCIのCIになるように第2のCIを識別することと、第2のCIに関連付けられた時間になるように第2の時間を識別することと、をさらに含む項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0605】
項38:それぞれの最高類似性スコアは、複数の類似性スコアのフィルタリングに基づいて決定される、項37のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0606】
項39:それぞれの最高類似性スコアは、複数の類似性スコアのフィルタリング及び過去の類似性スコアの履歴に基づいて決定される、項37のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0607】
項40:それぞれの最高類似性スコアは、複数の類似性スコア及び過去の類似性スコアの履歴にダイナミックプログラミングを適用することによって決定される、項37のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0608】
項41:第1のTSCI候補として複数のTSCIのそれぞれについて、ありそうにない第2のTSCIの候補として第1のTSCIの候補以外の複数のTSCIの数を決定することと、第1の時間における第1のTSCIの候補のCIに関して類似性スコアが、ありそうにない第2のTSCIの候補のいずれかのCIについて計算されないように、ありそうにない第2の候補のTSCIを第2のTSCIの候補としてスキップすることと、をさらに含む、項37のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0609】
項42:運動デバイスの第3のアンテナに関連付けられた第3のTSCIの第3の時間における第3のCIが、運動デバイスの第4のアンテナに関連付けられた第4のTSCIの第4の時間において第4のCIと一致することを決定することと、第3のTSCI及び第4のTSCIの両方が静止デバイスの別の特定のアンテナに関連付けられ、複数のTSCI、運動デバイスのアンテナの構成、静止デバイスのアンテナの構成、第1の時間及び第2の時間との間の時間差、第3の時間及び第4の時間の間の時間差、第1のアンテナ及び第2のアンテナとの間の距離、及び第3のアンテナ及び第4のアンテナとの間の距離のうちの少なくとも1つに基づいて、運動デバイスの少なくとも1つの運動パラメータを計算することと、少なくとも1つの運動パラメータと、第1の時間と、第2の時間と、第3の時間と、第4の時間と、静止デバイスのアンテナの構成、運動デバイスのアンテナの構成、過去のSTI、及び過去の運動パラメータのうちの少なくとも1つに基づいて運動デバイスの時空間情報(STI)を計算することと、をさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0610】
項43:第3の時間が第1の時間に等しい、項42のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0611】
項44:第1のCI及び第2のCIの一致に基づいて計算された第1の運動パラメータに基づいて候補STIを計算することと、第3のCI及び第4のCIの一致に基づいて計算された別の運動パラメータに基づいて別の候補STIを計算することと、候補STIを集約することによってSTIを計算することと、をさらに含む、項42のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0612】
項45:運動デバイスの第3のアンテナに関連付けられた第3のTSCIの第3の時間における第3のCIが、運動デバイスの第4のアンテナに関連付けられた第4のTSCIの第4の時間において第4のCIと一致することを決定することと、第3のTSCI及び第4のTSCIの両方が静止デバイスの別の特定のアンテナに関連付けられ、第1のCI及び第2のCIとの間の一致、第3のCI及び第4のCIとの間の一致、及び別の2つのCIとの間の一致のうちの少なくとも1つに基づいて運動パラメータの確率モデルを計算することと、確率モデルと、複数のTSCIと、運動デバイスのアンテナの構成と、静止デバイスのアンテナの構成と、第1の時間及び第2の時間との間の時間差と、第3の時間及び第4の時間との間の時間差と、第1のアンテナ及び第2のアンテナとの間の距離と、第3のアンテナ及び第4のアンテナとの間の距離と、のうちの少なくとも1つに基づいて運動デバイスの少なくとも1つの運動パラメータを確率的に計算することと、少なくとも1つの運動パラメータと、第1の時間と、第2の時間と、第3の時間と、第4の時間と、静止デバイスのアンテナの構成と、運動デバイスのアンテナの構成と、過去のSTIと、及び過去の運動パラメータのうちの少なくとも1つに基づいて運動デバイスの時空間情報(STI)を計算することと、をさらに含む項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0613】
項46:少なくとも1つの運動パラメータの確率モデルを計算することと、確率モデルに基づき運動デバイスの少なくとも1つの運動パラメータを確率的に計算することと、少なくとも1つの確率的に計算された運動パラメータに基づいて運動デバイスのSTIを確率的に計算することと、をさらに含む項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0614】
項47:少なくとも1つの運動パラメータに対する確率モデルを計算することと、確率モデルに基づいて運動デバイスの少なくとも1つの運動パラメータを確率的に計算することと、確率的に計算された運動デバイスの候補STIの数を確率的に計算することと、運動デバイスの複数の候補STIを確率的に計算することと、確率的に計算された運動パラメータに基づいて計算されたそれぞれの候補STI、候補STIの集合としてSTIを計算することと、をさらに含む項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0615】
項48:運動パラメータが距離を含み、STIが位置を含み、位置が過去の位置及び距離に基づいて計算される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0616】
項49:STIは、運動デバイスに関連付けられたセンサからの入力に基づいて計算される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0617】
項50:運動パラメータが距離及び角度を含み、STIが位置を含み、位置が過去の位置、距離及び角度に基づいて計算される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0618】
項51:運動パラメータは距離を含み、STIは速度を含み、速度は、距離及び第1の時間と第2の時間との間の時間差分に基づいて計算される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0619】
項52:運動パラメータは距離を含み、速度は距離及び第1の時間と第2の時間との間の時間差分に基づいて計算され、STIは加速度を含み、加速度は、速度、時間差分、及び過去の距離及び過去の時間差分に基づいて計算される過去の速度に基づいて計算される、項51のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0620】
項53:運動パラメータが角度を含み、STIが方向を含み、方向が過去の方向及び角度に基づいて計算される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0621】
項54:軌跡はSTI及びSTIの履歴に基づいて計算される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0622】
項55:オブジェクト及び運動デバイスを追跡することは、運動デバイスの軌跡を表示することを含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0623】
項56:運動デバイスの第1のアンテナ及び第2のアンテナを接続する直線が運動デバイスの第3のアンテナ及び第4のアンテナを接続する直線に平行であることを決定することと、第3のアンテナに関連付けられた第3のTSCIの第3の時間における第3のCIが第4のアンテナに関連付けられた第4のTSCIの第4の時間における第4のCIと一致することを決定することと、第3のTSCI及び第4のTSCIの両方が静止デバイスの別の特定のアンテナに関連付けられ、複数のTSCI、運動デバイスのアンテナの構成、静止デバイスのアンテナの構成、第1の時間及び第2の時間との間の時間差、第3の時間及び第4の時間との間の時間差、第1のアンテナ及び第2のアンテナとの間の距離、及び第3のアンテナ及び第4のアンテナとの間の距離のうちの少なくとも1つに基づいて、運動デバイスの少なくとも1つの運動パラメータを計算することと、少なくとも1つの運動パラメータ、第1の時間、第2の時間、第3の時間、第4の時間、静止デバイスのアンテナの構成、運動デバイスのアンテナの構成、過去のSTI、及び過去の運動パラメータのうちの少なくとも1つに基づく運動デバイスの時空間情報(STI)を計算することと、をさらに含む1項のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0624】
項57:第1のCI及び第2のCIの一致に基づいて計算された運動パラメータに基づいて候補STIを計算することと、第3のCI及び第4のCIの一致に基づいて計算された別の運動パラメータに基づいて別の候補STIを計算することと、候補STIを集約することによってSTIを計算することと、をさらに含む、項56のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0625】
項58:運動デバイスの第1のアンテナ及び第2のアンテナを接続する直線が運動デバイスの第3のアンテナ及び第4のアンテナを接続する直線に平行であることを決定することと、第1の時間における第1のCIが第2の時間における第2のCIと一致し、第3のアンテナに関連付けられた第3のTSCIの第1の時間における第3のCIが、第4のアンテナに関連付けられた第4のTSCIの第4の時間における第4のCIと一致することを共同で決定することと、第3のTSCI及び第4のTSCIの両方が静止デバイスの別の特定のアンテナに関連付けられ、複数のTSCI、運動デバイスのアンテナの構成、静止デバイスのアンテナの構成、第1の時間及び第2の時間との間の時間差、第1の時間及び第4の時間との間の時間差、第1のアンテナ及び第2のアンテナとの間の距離、及び第3のアンテナ及び第4のアンテナとの間の距離、及び少なくとも1つの運動パラメータ、第1の時間、第2の時間、第4の時間、静止デバイスのアンテナの構成、運動デバイスのアンテナの構成、過去のSTI、及び過去の運動パラメータのうちの少なくとも1つに基づき、運動デバイスの時空間情報(STI)を計算することと、をさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0626】
項59:第1のCI及び第2のCIの一致に基づいて計算された運動パラメータに基づいて候補STIを計算することと、第3のCI及び第4のCIの一致に基づいて計算された別の運動パラメータに基づいて別の候補STIを計算することと、候補STIを集約することによってSTIを計算することと、をさらに含む、項58のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0627】
項60:TSCIを前処理することをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0628】
項61:運動パラメータ及びSTIのうちの少なくとも1つをタイプ1デバイスに送信することをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0629】
項62:運動パラメータ及びSTIのうちの少なくとも1つをサーバに送信することをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0630】
項63:プロセッサ及びメモリと通信可能に結合されたセンサから、過去のSTI及び過去の運動パラメータのうちの少なくとも1つを取得することをさらに含み、センサは、BLE、RFID、GPS、パッシブ赤外線(PIR)センサ、光センサ、レーダベースのセンサ、無線ベースのセンサ、WiFiベースのセンサ、LTEベースのセンサ、5Gセンサ、超5Gセンサ、光ベースのセンサ、及び別の位置決めセンサのうちの少なくとも1つを含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0631】
項64:無線信号を有するデジタルデータを送信することをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0632】
項65:無線マルチパスチャネルにおいて無線ネットワークトラフィックを通信することと、タイプ1デバイス及びタイプ2デバイスとの間の無線信号を並列に送信することとをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0633】
項66:信号品質メトリックが閾値未満である場合、無線マルチパスチャネルを切り替えることをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0634】
項67:無線信号を有するメタデータを送信することをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0635】
項68:無線集積回路(IC)から複数のTSCIを取得することをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0636】
項69:無線集積回路(IC)から複数のTSCIを取得することと、別の無線ICを使用してインターネットにアクセスすることとをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0637】
項70:無線集積回路(IC)の無線から複数のTSCIを取得することと、無線ICの別の無線を使用してインターネットにアクセスすることとをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0638】
項71:チャネル情報は、チャネル状態情報(CSI)、受信信号電力、圧縮CSI、非圧縮CSI、無線状態、モデムパラメータ、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、無線信号上の環境の効果、磁気応答、及び位相応答のうちの少なくとも1つを含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0639】
項72:信号品質メトリックが閾値未満である場合、TSCIのCIをスキップすることをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0640】
項73:無線信号は少なくとも1つの一般的な無線標準にしたがって送信され、一般的な無線標準はWiFi、LTE、LTE−A、LTE−U、2.5G、3G、3.5G、4G、超4G、5G、6G、7G、8G、802.11標準、802.15標準、802.16標準、802.11a/b/n/ac/ax/ay/az、メッシュネットワーク、ジグビー、ワイマックス、ブルートゥース(登録商標)、BLE、RFID、UWB、マイクロ波システム、及びシステムのようなレーダのうちの少なくとも1つを含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0641】
項74:無線信号はWiFi標準にしたがって送信され、無線信号はWiFi標準によって許容される帯域幅を有するWiFiチャネルにおいて送信される、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0642】
項75:タイプ1デバイスが静止であり、タイプ2デバイスが運動しており、位置内に多数のタイプ1デバイスが存在し、タイプ1デバイスに関連付けられた信号品質が閾値未満であると決定することと、別のタイプ1デバイスに関連付けられた信号品質が別の閾値以上であると決定することと、低信号品質を有するタイプ1デバイスから高信号品質を有する別のタイプ1デバイスに切り替え、タイプ1デバイスから無線信号を受信することを中止し、別のタイプ1デバイスから別の無線信号を受信することを開始し、無線信号の代わりに別の無線信号からCIを抽出することにより、複数のTSCIの残りを取得するようにタイプ2デバイスを構成することと、をさらに備える、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0643】
項76:タイプ1デバイスが運動しており、タイプ2デバイスが静止しており、場所に多数のタイプ2デバイスが存在し、タイプ2デバイスに関連付けられた信号品質が閾値未満であると決定することと、別のタイプ2デバイスに関連付けられた信号品質が別の閾値以上であると決定することと、タイプ1デバイスから無線信号を受信することと、無線信号から複数のTSCIを抽出することと、第1のTSCIのCI及び第2のTSCIのCIの一致を決定することと、運動デバイスの少なくとも1つの運動パラメータを計算することと、運動デバイスのSTIを計算することと、タイプ1デバイスから無線信号を受信することと、無線信号から複数のTSCIの残りを抽出することと、第の1TSCIのCI及び第2のTSCIのCIの一致を決定することと、運動デバイスの少なくとも1つの運動パラメータを計算することと、運動デバイスのSTIを計算することとを開始するような別のタイプ2デバイスを構成することとをさらに含む、項1のオブジェクト追跡システムの方法/装置/ソフトウェア/システム。
【0644】
RF撮像は、進化する無線センシングではまだ達成されていない長年にわたって追求されてきた夢である。しかし、WiFi帯域上の既存のソリューションは、大型アンテナアレイを持つ特殊なハードウェアを必要とするか、帯域幅の基本的な限界、アンテナの数、2.4GHz/5GHzのWiFiのキャリア周波数のため分解能が悪いという問題がある。本開示は、このような限界を克服する、ますます普及しつつある60GHzのWiFiにおける新たなチャンスを提供する。 一実施形態では、「mmEye」と呼ばれる超解像度撮像システムが単一のコモディティである60GHzのWiFi無線を再利用することによって、ミリ波カメラとして提示される。鍵となる課題は、空間分解能を物理的に制限する極端に小さな開口部(アンテナサイズ、例えばcm)から生じる。本開示はまた、両方のTx/Rx側で全ての利用可能な情報を活用することによって解像度限界を破る超解像イメージングアルゴリズムを提供する。MUSICアルゴリズムに基づいて、アンテナアレイの開口を犠牲にしないで、空間分解能を増強するために送信及び受信アレイを併用するために、共同送信機平滑化(joint transmitter smoothing)の新しい技術を提案した。このアルゴリズムに基づいて、コモディティの60GHz WiFiチップセット上に機能システムを構築した。mmEyeシステムは、様々な設定のもとで、様々な人及びオブジェクトについて評価されている。 結果は27.2%の中央値シルエット(形)差分と7.6cmの中央値境界キーポイント精度を達成し、薄い乾式壁(dry wall)を通してさえ人間を撮像できることを示した。視覚上の結果はKinectのような市販製品と同等の質を示し、コモディティの60GHz WiFiデバイスで時間超解像画像を利用できるようになった。
【0645】
いくつかの現存するシステムは専用ハードウェア(例えば、RFIDリーダ及びUWB無線)を必要とし、目標物の両側にデバイスを展開する必要があるが、本開示における開示されたシステムはコモディティである60GHzのWiFiを再利用する。既存のカメラベースの解決策の中には、KinectセンサーやカメラアレイのようなRGB 深度カメラを必要とし、照明条件に依存し、プライバシーに敏感なものもある。対照的に、本開示の開示されたシステムは、光なしで機能し、プライバシーを保存する、コモディティの利用可能なネットワークデバイスを再利用することによって、深度「カメラ」を可能にすることを目的とする。
【0646】
本開示において、開示された超解像RF撮像システム(mmEye)はその未開拓のレーダ検知能力を有する60GHzネットワーク無線を利用することにより、単一のコモディティである60GHz WiFiデバイスを用いたミリ波「カメラ」として機能する。それは、様々な姿勢で動いているか静止しているかのどちらかである人間と、様々な形状、サイズ、及び材質のオブジェクトとの両方を撮像することができる。60GHz信号の高減衰にもかかわらず、薄い乾式工法の壁を通して撮像することさえ可能である。
【0647】
しかし、レーダ操作でも、コモディティの60GHzのWiFi無線で撮像を可能にするには、大きな課題が伴う。例えば、ネットワーク化により、デバイスは、従来のレーダと同様に較正されず、従って、従来のレーダほど安定せず、ゆらぎのある信号応答をもたらす。更に、60GHz信号の固有の高減衰と方向性のために、反射信号はしばしば見逃されるかもしれない。しかし、最も大きな課題は、撮像解像度を決定する鍵となる要素である、小開口の小型60GHzアレイで高い撮像精度を達成することである。一般に、レーダシステムの撮像解像度は、解像度∝波長×距離/開口により定まり、1.8cm ×1.8cmのアンテナアレイサイズの実験デバイスに対して、1m距離で約28cmである。先行研究は合成アレイレーダ(SAR)により実効開口を拡張することを試みているが、それはしかしながら、受信機の動きを必要とし、移動する軌跡のトラッキングエラーに極めてセンシティブである。軌跡のエラーの影響は、エラーが波長より大きい場合に特に顕著になり、これは波長5mmの60GHz信号に対して起こりやすい。
【0648】
異なる点は、開示されたシステムmmEyeは超解像アルゴリズムを考案して、物理的開口によって制限された解像度を突破し、コモディティの60GHz無線上での正確な画像を可能にする。提案したアルゴリズムは、新しい共同送信機平滑化技術を通して超解像度を達成した。
【0649】
一実施形態では、オンチップアナログビームフォーミングを使用する代わりに、開示されたシステムは受信信号上でデジタルビームフォーミングを行い、これにより、はるかに高い空間分解能が得られる。無線に組み込まれているアナログビームフォーミングは通常、粗いビーム解像度(例示的なデバイスの場合は15度の3dBビーム幅など)しか提供しない。開示されたシステムは、MUSICアルゴリズムを使用することによって、空間分解能を向上させることができる。開示されたシステムは様々な方位角及び仰角のそれぞれの球面にわたって、特定の範囲毎にMUSICを実行することができ、その範囲で目標物から反射された信号の空間スペクトルを推定する。空間スペクトルは60GHz無線によって提供される正確な距離情報と共に、ターゲットの画像を一緒に再構成することになる。信号はそれぞれの球面上で疎であるので、MUSICを撮像に用いることができる。しかしながら、それはランク(rank)不足の問題に悩まされるので直接的には適用できない、即ち、信号空間の相関行列のランクは実際の入ってくる信号の数よりも小さい。
【0650】
ランク不足問題を克服するために、受信アレイを同じステアリングベクトルを再利用する幾つかの重複サブアレイに分割する技術である2次元空間における空間平滑化を採用することができる。一つ以上のサブアレイを加えることにより、信号の相関行列のランクは確率1で1だけ増加する。空間サブアレイに加えて、開示されたシステムmmEyeは、相関行列を推定するために連続する測定値の時間ダイバシティを利用する。合成された空間的及び時間的平滑化はランク不足の問題を効果的に解決し、MUSICによる空間スペクトル推定の分散値を大幅に低減する。
【0651】
受信アレイ上の空間的平滑化は、小さなアンテナアレイサイズ、すなわち実効開口をさらに減少させ、それによって画像精度を劣化させる。開口における損失なしにランクを増大するために、新しい2次元空間平滑化を、共同送信機平滑化と呼ぶ、送信アレイと受信アレイを共同で再利用することが提案された。具体的には、受信アレイをサブアレイに分割するのではなく、それぞれの送信アンテナについて受信アレイ全体をサブアレイとして再使用することができる。32Tx素子の事例が与えられると、乏しい開口を損なわずに保持しながら、疎な反射信号に適した、保証されたランク32を提供する、32のサブアレイを即座に得ることができる。サブアレイサイズは受信アレイ全体と同じ大きさであるため、撮像解像度は最大化される。空間分解能の改良に加えて、共同送信機平滑化方式は、送信ダイバシティを利用することにより、目標から反射した信号がミリ波信号の固有の高減衰と方向性のために取り込まれないことがある、RF撮像のための鏡面問題も緩和する。
【0652】
超解像アルゴリズムに基づいて、バックグラウンドで追加のコンポーネントをmmEyeの機能システムに設計して実装し、雑音消去及び適応目標検知などを設計し、実装できる。一実施形態では、追加のアレイが取り付けられたコモディティの60GHzネットワーキングチップセット上でmmEyeを試作し、異なる被写体、位置、及び姿勢で実験を実行することができる。結果は、mmEyeが27.2%の中央値シルエット(シェイプ)差分及び1メートルの範囲で7.6センチメートルの中央値バウンダリキーポイント精度で、キネクト深度センサに匹敵する正確な撮像結果を達成することを実証する。単一のネットワーキング・デバイス上での有望な性能により、ミリメートル波のユビキタス「カメラ」に向かう大きな一歩と、コモディティである60GHz WiFi無線のためのネットワーキングとレーダセンシングの2つの役割に向かう第1歩とを、mmEyeが踏み出したと信じることができる。
【0653】
開示されたシステムmmEyeは反射信号のスパース性を利用し、新しい共同送信機平滑化技術を用いてMUSICを適用する。これは、ミリ波無線に関する将来のセンシング研究にも利益をもたらし、また触発するあろう。また、本開示は、バックグラウンド及びノイズキャンセル、目標物検知等を含む複数のコンポーネントを有する完全に機能的な撮像システムを提供する。このシステムはより小さな寸法で単一の60GHzネットワークデバイスを用いて、キネクトのような市販製品と同等の撮像を達成し、VRゲーム、姿勢推定などの様々な応用に対して、根底にある広範な撮像を実現した。
【0654】
60GHz WiFi技術。 IEEE 802.11ad/ay標準及び低コストの商用チップセットで確立されたWiGigは、高速ネットワーク及び豊富なユーザエクスペリエンスを可能にするための無線デバイスにおける主流になっている。イメージングの基本的な制限に直面する2.4GHz/5GHz WiFiとは異なり、60GHz WiFiはRF撮像に独自の利点を提供する。一般の2.4GHz 及び 5GHz の WiFiデバイスには 2 〜 3 のアンテナと 20MHz/40MHz の帯域幅しかないが、60GHz の WiFi 無線は60GHzの高周波帯域を中心とした大きな帯域幅の小型で複数のアンテナ位相アレイが提供する。これらの特性は、センシングのためのいくつかの優れた特性に変換される。例えば、大きなフェーズドアレイは良好な空間分解能を有する高指向性ビームフォーミングを可能にし、大きな帯域幅は高い測距精度を提供し、高いキャリア周波数はマルチパス効果に影響されない、より予測可能な信号伝播をもたらし、2.4GHz/5GHzのWiFiに対する巨大な挑戦である。さらに、キャリア波長は5mmで、5GHzのWiFiよりも10以上短い。これは、同じ撮像分解能を達成するために必要なアンテナ開口を10小さくできることを意味する。
【0655】
さらに、60GHzのWiFiをユビキタスセンシング及び撮像のための魅力的な解決策としてさらに促進する2つの傾向を観察することができる。 第1に、60GHzネットワーキングチップセットは全二重無線機のための単に1つの余分なアンテナアレイを除いてハードウェアを変更することなく、レーダのような処理の追加の役割をサポートすることになり、同期された、同じ場所に配置されたTx及びRxによる迅速かつ正確な位相測定を可能にする。第2に、コンシューマグレードのルータにすでに使用されている商用60GHz WiFiはマーケットの普及が進むにつれて比較的安価になりつつあり、すぐに移動デバイスで利用可能になる。先駆者は60GHz無線の研究を行っており、主に振幅情報を利用し、ビームステアリングをエミュレートするために機械的ホーンアンテナを採用している。操縦可能な位相アレイ及び60GHz WiFiのデュアルレーダモードにおける大きなポテンシャルは、大きく未活用のままである。
【0656】
一実施形態では、コモディティのQualcomm802.11adチップセットを使用することができる。全二重レーダ動作を可能にするために、追加のアレイがチップセットに取り付けられて、同じ場所に配置され、同期されたTx及びRxを形成する。実際には、レーダセンシングは最小限の時間しか必要としないので、時間的な迅速な切り替えによってデュアルネットワーク化とレーダ役割を達成することができる。ネットワーキングモードでは、追加のアレイが単に、追加の空間ダイバシティを提供する。Txは既知のシーケンスのパルスを送信し、これは周囲のターゲットへの反射の後、Rx側で受信し、正確な振幅と位相情報でチャネルインパルス応答(CIR)を推定するために相関される。
【0657】
Txアレイ内のNのエレメント及びRxアレイ内のMのエレメント要素を仮定する。タイムスロットtにおけるn番目送信アンテナとm番目受信アンテナhm,n(τ )tは次の式で表される。
[この文献は図面を表示できません]
ここでδ(・)はDelta関数であり、Lは総CIRタップの数であり、
[この文献は図面を表示できません]
はそれぞれl番目タップの複素振幅と伝搬遅延を示すものとして表すことができる。以下の表記を簡単にするために、言及されていない場合には、測定時間 t への依存性を省略することができる。測定されたCIRの時間分解能Δτ は送信信号の帯域幅、すなわち、Δτ =1/B によって決定される。そして、τ はτ =τ +(l−1)Δτ として表すことができる。ここで τ は1番目のタップの到着時刻を表す。各タイムスロットにおいて、mmEyeは M×N×N複素数値、すなわち、hm、n(τ )、ここで m=1,・・・,M、N=1,・・・,N、及び l=0,・・・,L−1.をキャプチャする。したがって、撮像されているターゲットの3次元情報は、これらの測定値から推測することができる。
【0658】
図38は、本開示のいくつかの実施形態による、無線オブジェクト走査のための例示的なデバイスセットアップ及び座標システム3800を示す。図38では、θ及びφは仰角と方位角をそれぞれ示し、r はデバイスから反射器までの領域を示す。図38に示すように、実験用デバイスはTx及びRx(すなわち、N=M=32)の両方に対して6×6の配置で組み立てられた32個のエレメントを有し、3.52GHz帯域幅で60GHzの中心周波数で動作する。アンテナは図38に示すように、電力ポートのような他の目的のために保存されている4つの位置で欠けている。したがって、測定されたCIRは、4.26cmの距離分解能に対応するΔτ=0.28nsの伝搬遅延分解能を提供する。デバイスがレーダモードに設定されている場合、各CIRhm,n(τ )は次のように順次測定される。n番目の送信アンテナはインパルスを送信し、他の送信アンテナはサイレント状態を維持する。m番目の受信アンテナのみが対応するCIRを同時に記録する。これは、全ての送信/受信アンテナが単一のRFチェーンを共有するからである。上記のチャネルサウンディング処理は、完全なCIR記録のために合計で32×32=1024回繰り返される。
【0659】
本開示におけるRF撮像は、空間上の反射RF信号のエネルギー分配がターゲットのシルエットをスケッチするのであろうという観察を利用する。開示されたシステムmmEyeは、ターゲットの表面から反射した各々の信号の到来角(Angle of Arrival:AoA)及び到着時刻(Time of Arrival:ToA)の推定に基づいて、ターゲットの輪郭を再構成しようとする。しかしながら、上述したように、受信アンテナアレイの実効開口が小さいため、空間分解能は大きく制限される。例えば、オンチップアナログ従来型ビームフォーミング(CBF)はただ15度で3dBビーム幅を提供するだけであり、これは、ターゲットをイメージするのに不十分であり、とくにターゲットがデバイスまで遠く離れている場合は不十分である。
【0660】
空間分解能を向上させるために、開示されたシステムmmEyeはオンチップアナログビームフォーミングとは対照的に、受信CIR上でデジタルビームフォーミングを行い、これは、目標物の近傍部分に放射される信号を区別する際により高い分解能を達成する。CBFと最小分散無歪応答( minimum variance distortionless response:MVDR)ビームフォーミング(Caponビームフォーマとしても知られる。)はいずれも精度が悪いことが分かると、AoA推定のためのアルゴリズムであるMUSIC(Multiple Signal Classification)に基づく超解像アルゴリズムを発明されうる。
【0661】
MUSICアルゴリズムの基本的アイデアはCIRの共分散行列に対して固有値分解を実行することであり、その結果、目標から反射された信号に対応する雑音部分空間に直交する信号部分空間が得られる。MUSICは、通常、スパース信号の空間スペクトルの再構成に使用される。イメージングにも適用できる理由は伝播遅延τごとに、ターゲットから反射された信号が空間内にまばらに分布するためである。より具体的には反射信号の数は多いが、これらの反射は伝搬遅延の広い範囲(すなわち、幅))にわたって発生し、従って、ある伝搬遅延(すなわち、ある範囲で反射される)を伴う信号の数は少ない。典型的には、τ各々に対して4〜6個の有意な反射信号しかない。従って、τそれぞれについて、目標撮像のための信号構成はMUSICアルゴリズムの仮定と整合しており、撮像の問題を解決するためにMUSICアルゴリズムを実現可能にしている。これは、細粒度の距離分解能を提供する60GHzのWiFiの大きな帯域幅を利用した結果である。
【0662】
すべての受信アンテナの較正済み複素チャネル利得を伝搬遅延τで記録するために、固定送信アンテナnに与えられた
[この文献は図面を表示できません]
を定義する。表記を単純化するために、言及されていない場合、伝搬遅延τ 及び送信アンテナインデックスnへの依存性を省略することができる。そして、伝搬遅延τ で受信アンテナアレイに衝突するD個の反射信号があると仮定すると、CIR hは定式化でき、
[この文献は図面を表示できません]
ここでs(θ,φ)はi番目反射信号の入射方向に対応する方向(θ,φ)を指すステアリングベクトルを示し、xi はその信号の複素振幅を示し、εiは加法雑音を表し、これは、異なった受信アンテナに対して、平均が零で独立かつ同一分布(I.I.D.)のガウス確率変数であると仮定される。
【0663】
より具体的には、ステアリングベクトルs(θ,φ)は、1にパワー正規化された方向(θ,φ)から来る信号に対するアンテナアレイの位相応答を記録し、これは
[この文献は図面を表示できません]
として表される。ここで、Ψθ 及びΩθ,φ
[この文献は図面を表示できません]
として定義された2つの基底関数であり、p及びqは図38に示されるアレイ上のアンテナエレメントの行及び列のインデックスを示し、kは波数であり、dはy軸とz軸に沿った2つの隣り合うアンテナ間の距離である。
【0664】
アンテナエレメント(図38図39で交差としてマークされている)のないインデックスは、ステアリングベクトルでスキップされる。したがって、式(46)のより簡潔な行列表現は、
[この文献は図面を表示できません]
として表される。ここでSはステアリングマトリックスとして定義される。なお、静止している目標について、複素振幅ベクトルは決定論的(完全にコヒーレントなソース)であり、したがって、その共分散行列 h は雑音の情報のみを含むことに注意されたい。
【0665】
したがって、その代わりに相関行列が使用され、
[この文献は図面を表示できません]
として表される。ここで、R及びRεは、それぞれ信号成分と雑音に対する相関行列を表し、Rの固有値λ,・・・,λ は、M個の固有ベクトルe,・・・,e に関連して非降順にソートされる。本開示では、 hは無作為ベクトルとして扱われ、それぞれの実験はその1つの実現例に過ぎないことに留意されたい。hの全体平均がゼロに等しいという仮定の下で、すなわち、
[この文献は図面を表示できません]
、相関行列は共分散行列と等価である。
【0666】
次に、雑音部分空間は、Eε=[eD+1,・・・,e]として構築でき、ここでDはRsのランク、又はすなわち信号部分空間のディメンジョンである。任意の方角(θ,φ)に対する疑似の空間スペクトル
[この文献は図面を表示できません]
として得られる。
【0667】
空間の特定の部分における空間スペクトルP(θ,φ)の大きな値は1つ以上の反射信号の存在を示す可能性が最も高く、P(θ,φ)の低い値はそのような反射がないことを示す。
【0668】
MUSICを適用するためのもう一つの重要な課題は、配列に衝突する信号の個数Dを決定することである。開示されたシステムmmEyeでは、モデル順序(order)選択のための情報理論的アプローチである赤池情報基準(AIC)が使用される。AICは2つの用語、すなわち、あるDが与えられたデータの尤度を測定するデータタームと、モデルの複雑さを測定するペナルティタームとから構成される。具体的にDは、
[この文献は図面を表示できません]
として計算される。ここで、λは相関行列Rのi番目に大きい固有値を示す。AIC基準は衝突する信号の個数を過大評価する傾向があるので、AICはできるだけ弱い反射信号を保持することができ、これは画像化アプリケーションにおいて望ましい。
【0669】
MUSICアルゴリズムは、入力信号Dの個数と同じランクRsを要求する。しかしながら、ランクRsが1であり、Dよりもかなり小さい可能性が高いので、MUSICアルゴリズムの性能は、大きく劣化するか、または効果的な空間スペクトルを生成するのに完全に失敗するのであろう。この問題を解決するために、ランク不足問題に対して一般的に使用されている技術である空間平滑化が以下のように適用される。
【0670】
図39は、本開示のいくつかの実施形態による空間平滑化3900の実例を例示する。空間平滑化のアイデアは、受信アレイを、異なるサブアレイに衝突する反射信号の到来時刻の差分による特定の角度回転を除いて、同じステアリングベクトルを共有する幾つかの重なり合うサブアレイに分割することである。図39は、元の6×6の受信アンテナアレイから選択されたサブアレイの一例を示す。図に示すように、アレイの特定の位置でのアンテナの欠落の問題のために、5×5のディメンジョンを有するサブアレイは見つけることができず、4×4のアンテナサブアレイのみを確立することができる。正方形のサブアレイは、サブアレイの一例に過ぎず、これは方位角及び仰角の両方に対する空間分解能が同じであるという利点を有する。s[k](θ,φ)がk番目のサブアレイのステアリングベクトルを表すと、
[この文献は図面を表示できません]
であり、各サブアレイの相関行列は平均化されて、より高いランクを有する「空間的に平滑化された」
[この文献は図面を表示できません]
ここで、R[k]はk番目サブアレイの相関行列を示す。
[この文献は図面を表示できません]
は、その最大値に達するまで、平均化における各追加のサブアレイに対して確率1で1だけ増加する。
【0671】
したがって、空間平滑化後に
[この文献は図面を表示できません]
を4に復元することができるが、依然としてランク不足のままである。ランク不足問題をさらに解決し、空間スペクトル推定の分散値を低減するために、連続測定の時間ダイバシティを利用する指数平滑化フィルタを相関行列の推定に適用した:
[この文献は図面を表示できません]
ここで、βは平滑化係数である。βの値は、システムの応答性と精度との間のトレードオフに基づいて選択される。したがって、各τについての空間スペクトルは、式(50)によって生成することができる。以前の研究とは異なり、開示されたシステムmmEyeは、全ての反射信号を識別する必要がある、撮像における2次元空間スムージングとターゲッティングを行う。
【0672】
空間平滑化は高度に相関したソースの下でのMUSICアルゴリズムの性能を改善できるが、アレイの実効開口を減少させ(6×6から4×4へ変化させる)、これは等価的にアレイのビーム幅を増加させ、空間分解能を減少させる。同時にアンテナ開口の損失なしに相関行列のランク不足問題を解決するために、開示されたシステムmmEyeはTxダイバシティを利用し、それに応じて新しい共同送信機平滑化技術を利用する。
【0673】
図40は、本開示のいくつかの実施形態による共同送信機平滑化4000を例示する。各反射信号のAoAは受信アレイに対してのみであるので、各Txアンテナに対応する各受信アレイは古典的空間平滑化のための上記のセクションの議論と同様に、角回転を除いて、同じセットのステアリングベクトルを共有すべきである。しかし、角度回転はRxアレイでのサブアレイのシフトによるものではなく、代わりにTxアンテナの位置の小さな差分によって引き起こされる。小さな波長を考慮すると、これらの小さな差分は異なるTXアンテナから来る受信アレイによって受信される信号に対して、十分に大きな位相偏移を生成することができ、これにより、異なるTXアンテナに関連する受信アレイにわたる空間平滑化が可能になる。従って、各特定のTXアンテナに対して受信アンテナアレイ全体をサブアレイとして扱うことが実現可能である。従って、全体として、Nサブアレイは、N=32の場合は図40に示されるように組み立てられる。
【0674】
(τ )はn番目送信アンテナについてτ で受信されたCIRを示すことを思い出してほしい。各τ についてのそれぞれのチャネル行列をH(τ )=[h(τ ),・・・,h(τ )] と定義する。そうすると、空間平滑化後のτ での対応する相関行列は、
[この文献は図面を表示できません]
【0675】
[この文献は図面を表示できません]
はいまやフルランク行列であり、単一送信アンテナに基づく空間平滑化の場合とは異なり、多重測定は必要とされず、これにより、開示されるシステムmmEyeの応答性が大幅に増加する。それにもかかわらず、指数フィルタは空間スペクトル推定のロバスト性を依然として改善することができ、それは式(50)によって生成することができる。興味深いことに、行列H(τ)H(τ)は時間反転行列としても知られている。もしTxとRxが同じアレイを共有できれば、提案した撮像アルゴリズムは、ステアリングベクトルの形成に軽微な修正を伴う時間反転MUSIC(TR−MUSIC)撮像アルゴリズムに関連する。
【0676】
チャンネルの相反性のおかげで、撮像も送信機側で行うことができる。チャネル行列H(τ ) を単に転置することにより、受信アンテナが送信であり、送信アンテナが受信であれば、TxアンテナとRxアンテナの間の別の組のチャネル測定値 H(τ ) を得ることができる。同様に、τ での共同受信機平滑化(JRS)の後の対応する相関行列は、
[この文献は図面を表示できません]
として得られ、ここで(・) は共役演算を示す。しかし、Tx側の撮像品質は、Rx側の撮像品質よりも若干悪い。これは、チャネルサウンディング中、デバイスはまず固定Txアンテナを使用し、次のTxアンテナに切り替える前にすべてのRxアンテナをスキャンするから、異なるTxアンテナの位相測定をコヒーレントにしないためである。実施形態において、開示されるシステムmmEyeは、共同送信機平滑化技術のみを利用する。
【0677】
開示されたシステムmmEyeのワークフローは、デバイスを固定位置に置き、秒単位の測定を収集することによってバックグラウンドキャリブレーションを実行することを含み、それから、システムは、視野内に存在する人及びオブジェクトを撮像する準備が整う。ここでは、提案した超解像撮像アルゴリズムに基づいて、機能システムのデザインを提示した。一つは、最終的な撮像の前に、背景と雑音の消去と目標物検知の二つの追加コンポーネントを主に取り入れることができる。
【0678】
関心対象の他に、送信信号は背景オブジェクト、例えば、家具、天井、地面、壁などによって反射されてもよい。さらに、図41に示すように、中間周波(IF)ケーブルコネクタには内部信号反射がある。内部雑音と共に背景からのこれらの望ましくない反射は目標物から反射された信号と干渉し、従って、画質を劣化させる。これらの問題に対処するために、以下では、バックグラウンド及びノイズのキャンセル(BANC)アルゴリズムがバックグラウンド反射及び内部ノイズをフィルタするために提案される。
【0679】
数学的には、CIRhm、nがターゲット関連成分
[この文献は図面を表示できません]
と背景/内部反射関連成分
[この文献は図面を表示できません]
との和としてモデル化することができる。一実施形態では、
[この文献は図面を表示できません]
を取得するために、開示されたシステムmmEyeは最初に、推定すべきターゲットの存在なしにバックグラウンドのためのCIRの束
[この文献は図面を表示できません]
を収集し、次に、ターゲットの存在と共に新たに測定されたCIR hm、n から
[この文献は図面を表示できません]
を減算することによって
[この文献は図面を表示できません]
を取得する。
【0680】
ターゲットなしで測定されたQ個のCIRのサンプルがあると仮定する。したがって、測定されたバックグラウンドCIRのサンプル平均
[この文献は図面を表示できません]
を推定することができる。チップ上の自動利得制御(AGC)モジュールにより、CIRの振幅はフレーム毎に変更する。したがって、ターゲットを用いてCIRからバックグラウンドCIRを直接減算することは実現可能ではない。このようにスケーリング係数αを適用して、得られたバックグラウンドCIRをキャンセルする前にスケーリングする。バックグラウンド及びノイズのキャンセル後のクリーンなCIR
[この文献は図面を表示できません]
は、したがって次のように得られる。
[この文献は図面を表示できません]
【0681】
αを選択することに関して、最小平均二乗誤差(MMSE)推定器は、第1のLCIRタップ、すなわち
[この文献は図面を表示できません]
に渡ってエネルギー
[この文献は図面を表示できません]
を最小にするαの値を選択に適用される。
【0682】
[この文献は図面を表示できません]
の解析形式は、対応して
[この文献は図面を表示できません]
として導出される。ここで、X はXのエルミートを表す。第1のタップLのみを用いてα を推定する直感的真理は、撮像されている目標が通常、特定の視野内で完全に観察されるべきデバイスからある程度離れていることである。
【0683】
したがって、最初の数タップは、ターゲットの存在によって影響されず、AGCによってのみ影響され、スケーリングファクタのより正確な推定につながる。図42は、バックグラウンド及びノイズのキャンセル後のCIR4200の一例を示す。CIRタップに対するターゲットの影響は、振幅に関して大幅に拡大されていることが観察され得る。
【0684】
オブジェクト検知の1つの目的は、関心のあるターゲットによって影響される全てのCIRタップをロバストに検知することである。人体部分で反射されたRF信号の全てが受信アンテナアレイで捕捉できるわけではないので、目標物のいくつかの部分で反射された信号のエネルギーは非常に弱くなり得る。弱い反射の「視認性」を高めるために、伝搬遅延ごとに、V(τ)=Varθ [Varφ [P(θ,φ,τ)]] として表される 空間スペクトル V(τ)のエネルギー分布の変動を計算することができる。ここで、Varθ [・] はパラメータθに対する分散を表す、P(θ,φ,τ) は方向(θ、φ)かつタイムスロットtで測定された伝搬遅延τ に対する空間スペクトを表す。大きなV(τ)は、その範囲に対する反射信号のエネルギー分布が非常に不均一であることを意味し、その特定の範囲にターゲットが存在することを示す。一方、ターゲットが存在しない範囲については、反射信号のエネルギーは通常小さく均一に分布している。そして、タイムスロットtにおける関心範囲(RoI)の集合が、RoI(t)={τ|Vt(τ)>η、∀τ} として形成される。ここで、η(t) は予め設定された閾値である。図43は、本開示のいくつかの実施形態によるRoI4300の例示的な検出を示す。図43に示すように、時間変化する干渉及び雑音に適応するために、各タイムスロットtの閾値として、V(τ)中央値の倍数を使用することができ、すなわち、η(t)=κMedτ [V(τ)] ここでκ は一定の係数を示し、Medτ [V(τ)] はτ 上の中央値を示す。閾値を決定するために中央値を使用することができる理由は、特にタップの総数Lが多い場合に、V(τ)の中央値がボードの雑音レベルの変動を適応的に捕捉することができるからである。
【0685】
次に、RoI集合内の空間スペクトルP(θ,φ,τ)にわたって関心点を探索することができる。ミリ波は全般的なオブジェクトを十分に透過することができない、例えば、ミリ波はほとんど人間の皮膚内で吸収されるため、τに関するP(θ,φ,τ)の第1の重要な点のみがターゲットの情報を含む。一実施形態では、開示されたシステムmmEyeが以下の規則に基づいて、関心点の位置を特定する:それぞれの方向(θ、φ)について空間スペクトルが与えられると、予め設定されたしきい値γを超えるRoI集合内のτ に沿ったP(θ,φ,τ )の第1の極大値点を見つけようと試みる;失敗した場合、この方向について関心点は見つからない。
[この文献は図面を表示できません]
関連する重みは、対応する空間スペクトルの数値、
[この文献は図面を表示できません]
【0686】
図44は、異なる空間方向について得られた空間スペクトルの2つの例を示す。両方の例において、マークされた網点4410、4420は、それぞれ、重み5.92dB及び4.94dBを有する関心点(PoI)を示す。タイムスロットtにおけるPoIのセットは、
[この文献は図面を表示できません]
として表され、
[この文献は図面を表示できません]
【0687】
一実施形態では、PoIを奥行き及び重み付け情報を有するプレーン画像に変換することができる。開示されたシステムmmEyeは最初に、簡単な幾何学的変換を適用することによって、
[この文献は図面を表示できません]
に変換することができる。次に、全てのPoIは図38に示すように、深さxを持つ、y−z平面に平行な2次元平面に投影され、xはこれら2つの平面間の距離として定義される。
【0688】
深さxは重み付けされた最小絶対偏差問題を解くことによって自動的に決定され、
[この文献は図面を表示できません]
PoIと選択された平面との間の距離の
[この文献は図面を表示できません]
ここで、γ は目標検知において使用されるのと同じ閾値であり、したがって、重みは常に正である。システムは、投影面の周りのPoIの大部分を保存するように設計されている。PoIの集合内の外れ値をさらに除去するために、開示されたシステムmmEyeは投影面に十分に近い点、例えば、
[この文献は図面を表示できません]
を選択する。ここでwは予め設定されたしきい値である。人のいくつかの得られた画像は、提案された超解像アルゴリズムが従来のアプローチであるCBF及びMVDRを著しく上回り、Kinectと同等の結果を達成することを示した。
【0689】
商品802.11adチップセットを使用して、実際の設定において開示されたシステムmmEyeを評価することができ、人間及びオブジェクトの両方、ならびにLOS及びNLOSの両方について、撮像品質を研究することができる。また、開示されたシステムmmEyeを、現存のビームフォーミング技術CBF及びMVDRと比較することができる。
【0690】
一実施形態では、開示されたシステムmmEyeを試作し、Qualcomm802.11adチップセットを使用して現実世界の実験を行うことができる。チップセットには2 つのアンテナアレイが装備されており、どちらも6×6 トポロジに配置された32個のアンテナを備えている。実験中、デバイスはレーダモードで動作している。すなわち、Txアンテナは常にパルスを送信し、Rxアンテナは反射信号を受信し、それに従ってCIRを推定する。この実施形態では、実験が机、椅子、コンピュータ、及びテレビが備え付けられた、大きさ28m×36mの典型的な事務所ビルの1フロアで行われる。システムの典型的な構成を図38に示す。実験では、人及び日常オブジェクトの両方を試験する。人間の画像のために、4人のボランティア(2人の男性と2人の女性)を募集し、異なる位置及び距離で異なる姿勢でテストすることができる。実験は主に準静的シナリオに焦点を当てることができるが、移動するターゲットについても試験することができる。評価には、単一の人のケースと複数人のケースの両方が含まれる。静止状態の場合、各被験者は10〜15の異なった姿勢を自由に実行し、システムは各姿勢について約30秒のデータを収集することができる。オブジェクト画像化のために、システムは、様々な形状、サイズ、及びデータを有するファン、ヒータ、監視、スーツケースなどの日常オブジェクトで試験することができる。
【0691】
人間の画像を評価するために、目標寸法と形状の手動測定からグランドトゥルース(ground truth)を得ることはできなかった。その代わりに、グランドトゥルースとして役立つように提供されたライブラリによって、キネクトの深度センサから画像を抽出することができる。キネクトのフレームから関心のあるターゲットを検出するために、ある深さを単に探索し、その深さ内のすべての点を抽出することができる。この目的のためにRGBセンサを組み合わせることにより高度なセグメンテーションを行うことができた。なお、キネクト上の測定とターゲット検出には両方ともノイズが含まれているため、我々の評価には有利ではない。開示されたシステムmmEye及びキネクトによる結果は、それらの座標が同一の点密度に整列するようにシフトされ、補間される。
【0692】
画像の質を評価するための適切なメトリックを定義することは容易ではないが、人間が視覚的結果から知ることは直感的である。定性的な視覚的比較に加えて、本開示は、2つの定量的メトリックを提案する。第1のメトリックはシルエット差分(SD)であり、これはmmEye画像(閾値処理後)とKinectフレームとの間の排他的論理和差分の割合であり、0(エラーなし)から1(完全に異なっている)までの範囲である。第2のメトリックは境界キーポイント精度(boundary key-point precision:BKP)であり、これは目標境界上のいくつかのキーポイントの絶対位置エラーである。一実施形態では、自動的に検出することができる評価の最上点、最左点、及び最右点を主に考慮することができる。
【0693】
最初に、人間のターゲットに対するイメージング性能を評価することができる。SD及びBKPのメトリックを用いて、すべての試験データにわたる精度を定量的に評価することができる。
【0694】
図45は、本開示のいくつかの実施形態による、人間の画像の例示的なシステム性能4510、4520を示す。図45に示すように、開示されたシステムmmEyeは被写体がデバイスから約1m離れている場合、SD4510については27.2%、BKP 4520については7.6cmの中央値を達成し、一方、被写体が約1.5m離れている場合、SDについては32.3%、BKPについては13.5cmの中央値まで劣化する。これは主に、ターゲットとデバイスの距離を大きくすると、より広いビームとより弱い反射信号もたらされ、両方とも画像に影響するためである。
【0695】
図46は、SD4610及びBKP 4620それぞれに関する、異なる人物に対する開示されたシステムmmEyeの撮像の特性を示している。結果は、異なる被験者に対して一貫して正確な画像を示す。性能のわずかな変動は身体タイプ及び衣服が被験者間で変動し、人体から反射される高周波信号の強度に影響を及ぼし得ることによる。
【0696】
開示されたシステムmmEyeの超解像性能を、CBF及びMVDRを含む既存のビームフォーミング技術と比較することによって示すことができる。また、開示されたシステムmmEyeの2つの変形、すなわち、開示された空間平滑化(SS)付きシステムmmEye及び開示された共同送信平滑化付きシステムmmEye(JTS)を実装し、比較して、提案されたJTSアルゴリズムのかなりの利点を示すことができる。異なる方法を用いた2人の被験者のいくつかの視覚的結果はJTSを用いた開示されたシステムmmEyeが最良の撮像結果を達成することを示したが、SSを用いた開示されたシステムmmEyeは、JTSを用いた開示されたシステムmmEyeに比べて、2番目に優れているにもかかわらず、すでにはるかに悪いことを示した。MVDRは人体の一部を見ることができるが、他の多くを見逃すが、CBFは人体の一部を捕捉せず、人体全体を検出するだけである。
【0697】
図47は、本開示のいくつかの実施形態による異なるアプローチ、SD4710及びBKP 4720の定量的結果を示す。SDメトリック4710に関しては、開示されたシステムmmEye−JTSが最良の性能を達成し、開示されたシステムmmEye−SSが第2位に来る。MVDRは、BKPメトリックに関する他の技法よりも良好に機能することに留意されたい。しかしながら、BKPメトリックは、SDメトリックに関しては性能が不十分である。これはMVDRの空間スペクトル推定がより保守的であるから、したがって、人体の主要部分のいくつかを見逃し、これは必ずしもBKPのエラーを増大させない(例えば、最上点があまり変化しない)。原則として、両方のメトリックにおいて良好な結果のみが良好な画像を示す。さらに、JTSとJRSとの間の比較は、Rxアレイ上で得られた画像の品質がTxアレイ上で得られたものよりも良好であることを示す。
【0698】
開示されたシステムmmEyeは、オブジェクトを撮像することもできる。さまざまな形、大きさ、曲率、面、及びデータの実際のオブジェクトを試験することができる。一実施形態では、選択されたオブジェクトが様々な形状(円柱、正方形、及び円)、材料(プラスティック、木、及び金属)、大きさ(長さ約20cm〜100cm)を示す。開示されたシステムmmEyeは、様々なオブジェクトを正確に撮像することができる。具体的には、開示されたシステムmmEyeがオブジェクトの形の推定において8.0センチメートルの中央値精度を達成することを示している。結果は、開示されたシステムmmEyeが人間の目標及びオブジェクトの両方について一貫した性能を達成することを示す。
【0699】
開示されたシステムmmEyeは、様々なシナリオのもとで実行することができる。複数人を撮像する一実施形態では、グランドトゥルースとして、キネクトオーバーレイを有する2人の被験者の2つの画像例である。両方の人物は、頭、足、腕、及び手が実験で自信を持って認識された状態で、十分に捕捉されている。この結果は、マルチユーザゲーム及びユーザ活動解析のような、開示されたシステムmmEyeの様々な応用を支える。
【0700】
共同送信の平滑化のおかげで、開示されたシステムmmEyeは単一のスナップショットで画像を達成することができ、連続的な測定を必要としない。したがって、それは、動いているターゲットを効果的に撮像することができる。ユーザが腕を動かしている場合には、歩行運動及び場所の運動の両方をテストし、いくつかの視覚的な画像化結果を示すことができる。開示されたシステムmmEyeは静止の身体部分(例えば、胴体、及び脚)を撮像するだけでなく、可動部分(例えば、腕)をうまく追跡する。
【0701】
60GHzの信号は典型的にはほとんどの障害物を貫通しないが、開示されたシステムmmEyeが薄い乾式壁の背後の目標物を結像できるかどうかを調べることは大きな関心事である。乾式壁を模倣するために、木製スタンドによって支持された大きな木製板を設置し、この設定で開示されたシステム・ミームアイの性能を試験することができる。性能をより良く確認するために、被写体に身体の一部をデバイス(開示されたシステムmmEye及びキネクト)にさらすように求めることができる。その結果、開示されたシステムmmEyeは依然として「ドライウォール」の背後に人間の形を捉えているが、キネクト深度センサは、視覚ベースのセンサとして、大きな木製パネルによって完全に閉塞され、露出した部分(すなわち、両画像における手)のみが見えることが示された。開示されたシステムmmEyeが木製パネルを通して見ることができる理由は60GHz信号がパネルを貫通し、その背後の人体から反射することができるからである。反射信号がはるかに弱いにもかかわらず、開示されたシステムmmEyeは、依然として、効果的なBANCアルゴリズムによってそれらを捕捉することができる。一実施形態では、NLOSの場合に性能が低下することを観察することができる。
【0702】
図48は、本開示のいくつかの実施形態による、無線オブジェクト走査のための例示的な方法4800のフローチャートを示す。操作4802において、無線信号は、場所の無線マルチパスチャネルを介して場所内のオブジェクトに向けて複数のアンテナを使用して送信される。操作4804では、無線信号が複数のアンテナで無線マルチパスチャネルを通して受信される。操作4806において、受信された無線信号に基づいて、チャネルのチャネルインフォメーション(CI)の集合が取得される。操作4808において、成分に関する(component-wise)空間スペクトルが、CIの集合のそれぞれの成分について計算される。操作4810において、1つ以上の成分に関する空間スペクトルを含む空間スペクトルが推定される。
【0703】
操作4812では、変分測定がそれぞれの成分に関する空間スペクトルに対して計算される。操作4814において、変分測定に基づいて、選択された成分の集合が決定される。操作4816において、選択された成分の集合に関連する関心範囲(RoI)が決定される。操作4818では、空間スペクトルの特徴点が空間方向の集合のそれぞれに対して計算される。操作4820では、特徴点が空間方向にあるRoIにおいて、オブジェクトディスタンスが探索される。操作4822において、オブジェクトは、オブジェクトディスタンスが発見されたそれぞれの空間方向に走査される。操作4824では、スキャンに基づいて、オブジェクトの画像化または視覚的表現が生成される。図48の動作の順序は、本開示の様々な実施形態において変更することができる。
【0704】
一実施形態では、開示されたシステムを使用して、例えばミリ波信号などのRF信号を使用して、複数のユーザを同時に受動的に追跡及び走査することができる。このシステムは、人数のカウント、人の追跡、ビルの自動化、周辺の安全、作業場の安全などに使用することができる。ビデオベースの人数を計数するソリューションの多くの潜在的な顧客にとっての主要な関心事は、プライバシーである。この一つの懸念はしばしば、ビデオベースの人数のカウントソリューションを配備しないようにする。これとは対照的に、60GHzを利用する開示されたシステムはプライバシーの問題なしに、施設内の人数カウントを施設管理者に提供することができる。開示されたシステムは、人数を示す画像又は視覚的表現で、部屋に人がいるかどうか、及び部屋にいる人の数を決定することができるが、人のアイデンティティは示さない。これは、会議室、スマートビル、ホテル、及びそれ以上のものの管理をするようなアプリケーションにとって重要であり得る。例えば、ホテルは、部屋の占有に基づいて、スマートなエネルギー効率の良いスマート照明または温度制御を実施することができる。
【0705】
別の例では、開示されたシステムが移動するオブジェクト、例えば、移動する人物の軌跡または移動経路を決定し、画像または視覚的表現を用いて軌跡を示すことができる。これは、遊園地の迷路のプレイヤーの追跡、家庭、ホテルの警備システムによる侵入者の監視、またはマラソンのような長距離競技の選手を追跡するのに適用することができる。
【0706】
一実施形態では、N1本のTxアンテナを備えたタイプ1デバイスが無線プローブ信号(例えば、60GHz信号、3.5GHz帯域幅)を有するオブジェクト(例えば、人、ペット、物、生活物、非生活物)を「照らす」。プローブ信号は、オブジェクトによって変調される(反射、屈折、吸収、減衰、ドップラーエフェクトなど)。N2本のRxアンテナを持つタイプ2デバイスはプローブ信号を受信し、CI(例えば、チャネル状態情報またはCSI、圧縮CSI、非圧縮CSI、チャネルインパルス応答またはCIR、チャネル周波数応答またはCFR、RSSIなど)の集合(例えば、N1*N2)を得る。各々のCIは、TxアンテナとRxアンテナとのペアに関連付けられてもよい。オブジェクトの走査(例えば、画像、映像、奥行きマップ、等高線、ジェスチャ認識、筆記、ペインティング、動き、存在、アクション、データ)は、CIの集合に基づいて計算される。
【0707】
無線プローブ信号はプローブ要求、プローブ応答、問い合わせ、受信確認、問い合わせに対する応答、サウンディング信号、ビーコン、パイロット信号などであってもよく、CIはチャネル状態情報(CSI)、圧縮CSI、非圧縮CSI、RSSI、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、大きさ応答、位相応答などであってもよい。タイプ2デバイスは、タイプ1デバイスを含んでいてもよく、またはその逆であってもよい。タイプ2デバイスはタイプ1デバイスであってもよい。
【0708】
タイプ1デバイスは、無線信号を送信するための第1の無線チップ/集積回路/ICを有してもよい。タイプ2デバイスは無線信号を受信するために、第2の無線チップ/集積回路/ICを有してもよい。タイプ1デバイスは、タイプ2デバイスと同じであってもよい。第1のICは、第2のICであってもよい。N1Tx アンテナは、N2 Rx アンテナを含んでもよく、またはその逆でもよい。N1はN2に等しくてもよい。N1 Tx アンテナは、N2 Rx アンテナの隣にあってもよい。N1Tx アンテナは、N2 Rx アンテナでも構わない。N1 Txアンテナ(又はN2 Rxアンテナ)は、1次元、2次元又は3次元構成及び/又は格子状に配置することができる。1次元、2次元又は3次元格子は、規則的な間隔を有することができる。
【0709】
例えば、1−D/2−D/3−D構成はアンテナを均一に離間させても、不均一に(例えば、擬似ランダムに、又は局所的に均一に)離間させてもよい。例えば、1−D構成は直線(例えば、均一に離間された、または不均一に離間された)、複数の直線(例えば、2次元または3次元形状の輪郭)、及び/または2−D空間における1つ以上の曲線(例えば、円、円弧、三角形、平行四辺形、五角形、六角形、多角形、形状の輪郭、ジグザグパターン、形状充填線パターン(a shape-filling line pattern))、及び/または3−D空間(例えば、螺旋、3次元オブジェクトの表面上の曲線、空間充填線パターン)に配置されたアンテナを有する可能性がある。例えば、2−D構成は、1つ以上の長方形格子、円形格子、楕円形格子、三角形格子、六角形格子、多角形格子、及び/または他のものに配置されたアンテナを有する可能性がある。2−D構成はマニホルド、メッシュ、または曲面(例えば、箱、球、オブジェクト、身体、身体の一部、及び/または別のアイテムの表面またはメッシュ上/周囲/近傍/関連する)に配置されたアンテナを有する可能性がある。例えば、3次元格子は、3つの直交する軸を有してもよく、軸のそれぞれに特有な間隔がある。1次元、2次元、または3次元格子のいくつかのノードは、空(占有されていない)であってもよい。
【0710】
一実施形態では、N1本のTxアンテナが第1の2次元矩形アレイ(x方向及びy方向に特有な間隔)に配置されてもよい。N2本のRxアンテナは、第2の2次元矩形アレイ内に配置されてもよい。第1の長方形アレイの法線方向(すなわち垂直方向)は、第2の長方形アレイの法線方向と平行であってもよい。第1及び第2の長方形アレイは、同一平面上にあってもよい。Txアンテナアレイ及びRxアンテナアレイは互いに隣り合っていてもよい(例えば、20cm未満、または10cm未満、または5cm離れていてもよい)。アレイの大部分の位置は1つまたは複数のアンテナによってそれぞれ占有されるか、または1つまたは複数のアンテナに関連することができるが、アレイの1つまたは複数の位置は占有されていないか、または任意のアンテナに関連付けられていないことがある。矩形アレイの1つは、アレイの「中心」に「軸」(例えば、法線方向の線)を有してもよい。「中心」はアレイの重心またはその近傍であってもよい。アレイが軸をオブジェクトに近づけることによってオブジェクトに「照準」されてもよい。換言すれば、オブジェクトはアレイが「照準」している領域に入ることによってアレイの「監視領域」に入ってもよい。オブジェクトが軸上にあってもよい。または「軸」と、アレイの「中心」とオブジェクトとを結ぶ仮想直線との間の角度が小さくてもよい(例えば、10度未満、5度未満、または1度、または別の角度)。第1または第2の格子は、長方形または非長方形のアレイであってもよい。それは、局所的に長方形、三角形、または六角形、または円形、または他の格子パターンであってもよい。互いに角度をつけた2つの長方形格子をもつ混成格子であってもよい。
【0711】
一実施形態では、mmEyeの全体アルゴリズムが、(a)CIの前処理、(b)CIに基づく空間スペクトル推定、(c)空間スペクトルに基づくオブジェクト検知、及び(d)オブジェクトのスキャニングを含む。
【0712】
一実施形態では、前処理が少なくとも2つのステップ、すなわち(a1)バックグラウンドキャンセル及び(a2)ノイズキャンセルを含む。バックグラウンドキャンセルは、(1)オブジェクトが存在しない(場所中に存在しない)場合にトレーニングプローブ信号からバックグラウンドCIを収集すること、及び(2)CIの集合に対するバックグラウンドCIの影響を抑制することを含むことができる。オブジェクトが存在しないので、バックグラウンドCIは、バックグラウンドマルチパスチャンネルのためにのみプローブ信号とは異なる。トレーニングプローブ信号はプローブ信号と同じでもよい。
【0713】
一実施形態では、バックグラウンドCIの「抑制効果」の可能な方法が開示される。組み合わされた背景CIは平均化(すなわち、平均)、加重平均化(加重平均)、スケーリング後の平均化(加重平均と同様)、トリミングされた平均(例えば、「極端な」または「信頼できない」ものを除去し、次いで、平均化することによる)、中央値などによって計算されてもよい。スケーリングは、チップ上の自動利得制御(AGC)モジュール、または異なる利得を有するアンテナを考慮するために使用/適用されてもよい。
【0714】
一実施形態では背景CIの「抑制作用」の別の考えられる方法が開示される。組み合わされた背景CIは背景CIの少なくとも1つの組の加重平均(例えば、等しい又は等しくない重みを有する)、又はそのサブセットに基づいて計算されてもよく、例えば、トリミングされた平均はサブセットに「極端である」又は「信頼できない」ものを含まないことによって得られてもよい。重みは、それぞれの背景CIをスケーリングして、AGC(トレーニング中、オブジェクトが存在しないとき)または様々なゲインを有するアンテナを考慮するために使用されてもよい。減算前のスケーリングは、(オブジェクトの走査中に)AGCを説明するために使用されてもよい。
【0715】
空間スペクトル推定のために、各々の成分(component)は、指標、時間遅延又は距離に関連付けられてもよい。CIが複数タップを有するCIRである場合、タップは成分であってもよい。タップの大きさ(または位相)、またはその機能は、成分であってもよい。CIが複数のサブキャリアを有するCFRである場合、サブキャリア(またはその大きさ、または位相)、及び/またはその機能は、成分であってもよい。計算は、MUSICアルゴリズム、MUSICのようなアルゴリズム、及び/または別のアルゴリズムに基づくことができる。
【0716】
空間スペクトル推定は、特定の成分に関連する結合相関行列に基づいて、特定の成分に対して実行され得る。相関行列は共分散行列に置き換えることができる。相関行列または共分散はステアリング行列を含んでもよい(例えば、ステアリング行列の関数であってもよい)。結合相関行列は、特定の成分に関連する少なくとも1つの相関行列の線形組み合わせ、平均、加重平均、及び/または別の組み合わせとすることができる。例えば、少なくとも1つの相関行列は、6×6Rx(アンテナ)アレイからのいくつかの4×4サブアレイであってもよい。または、少なくとも1つの相関マトリクスが6x6Rxアンテナアレイに関連付けられたいくつかの6x6アレイであってもよい。6×6アレイの各々は、Txアンテナに関連付けられてもよい。結合相関行列が相関行列であるような、ただ一つの相関行列が存在することがある。
【0717】
放射方向(方位角、仰角)ごとに、空間スペクトルの特徴点(例えば、最初の局所最大値)が見つかることがある。放射方向は、Rxアンテナアレイ又はTxアンテナアレイの一点に関するものであってもよい。点は、中心、または重心、またはRx/Txアンテナのうちの1つ、または別の点であってもよい。オブジェクトはオブジェクトがその半径(放射)方向に見出されるか否かを明らかにすることにより走査され、見出された場合、その距離(受信アンテナに関連する点、例えば、Rxアンテナアレーの重心から)を明らかにする。オブジェクトをスキャンすることは、PoIの集合を識別することと、すべてのPoIの深さに基づいてオブジェクト深さを計算することとを含むことができる。オブジェクトの深さは、何らかの最適化(例えば、重み付き二乗エラーの最小化、または平面フィッティング)によって計算することができる。
【0718】
バイスタティックセットアップでは、タイプ1(Tx)及びタイプ2(Rx)デバイスが場所内の2つの異なる位置に配置された2つの異なるデバイスである。モノスタティック構成(レーダ状)では、タイプ1(Tx)及びタイプ2(Rx)デバイスが場所内に並置される(例えば、同じ機械/デバイス/ハウジング/実装/回路/回路基板/モジュール/チップ内の同じ位置または同様の位置に配置される)。一実施形態では、タイプ1(Tx)デバイスとタイプ2(Rx)デバイスは同じデバイスである。
【0719】
無線周波(RF)信号を用いた受動的な人間の場所決めと追跡は10年以上にわたって研究されてきた。しかしながら、現存の解像度の大部分は帯域幅とアンテナ数によって制限される粗いマルチパス解像度のために、単一の動く被写体を追跡することしかできない。本開示では、新たな60GHz802.11ad無線(またはいくつかのUWB無線)を活用することによって、限界を打ち破る方法が説明される。「mmTrack」と呼ばれる提案されたシステムは単一の、コモディティ802.11adラジオ(または何らかのUWBラジオ)を使用して、複数のユーザを同時に受動的にローカライズし、追跡する最初のシステムである。mmTrackのデザインは、3つの重要な成分を含むことができる。第1に、システムは全受信アンテナにわたってデジタルビームフォーミングを行うことにより、小型60GHzアレイの小さな開口によって制限される、空間分解能を大幅に改善する。第2に、提案した新しいマルチターゲット検出アプローチは、遠近効果と測定雑音に取り組んだ。最後に、ロバストクラスタリング技法を利用して、複数目標を正確に認識し、それぞれの位置を推定し、そこからそれらの個々の軌跡を連続追跡アルゴリズムによってさらに導出する。コモディティ802.11adデバイス(またはUWBデバイス)にmmTrackを実装し、屋内環境でそれを評価することができる。一実施形態では、実験は、mmTrackがそのとき複数のユーザを1人以下のエラーで97.8%正確に計数し、ダイナミックターゲット及びスタティックターゲットについて、9.9cm及び19.7cmのそれぞれの中央位置エラーを達成することを実証する。
【0720】
本開示の一実施形態では、開示されたシステムが新たな60GHz802.11adテクノロジー(別名ウィギグ)におけるチャンスを活用することによって、制限を解消する。開示されたシステムmmTrackは、コモディティの60GHzミリ波(ミリ波)デバイスを使用して、多くの人の位置確認及び追跡を達成できる最初のシステムである。2.4GHz/5GHzのWiFiとは異なり、60GHzの無線は広い帯域幅のおかげで、小型で大きなフェーズドアレイで高い指向性と正確なタイムオブフライ測定を提供ウする。室内のマルチパスを回避し、複数の人物の正確な位置確認のための根底にある有能な空間と時間分解能を備えている。例えば、本開示において使用されるコモディティデバイスは、60GHzを中心とする3.52GHzの帯域幅を有する32素子アレーを有しうる。mmTrackを設計することにより、多人数位置標定のための60GHz無線のこの能力を理解し、可能にすることができる。
【0721】
60GHz(またはUWBまたは他の周波数)を使用して多人数パッシブ追跡を可能にするためには、複数の課題に対処する必要がある。第1に、多くのアンテナにもかかわらず、アンテナアレイの開口が非常に小さいため、空間分解能が制限される。例えば、実験デバイスは1.8cm1.8cmのアレイ寸法を有し、オンチップアナログの従来のビームフォーミングは15°の角度分解能しか提供せず、これは近くのターゲットを分離するには不十分であり得る。空間分解能をブーストするために、内蔵アナログビームフォーミングを使用する代わりに、mmTrackは受信したチャネルインパルス応答(CIR)上でデジタルビームフォーミングを行い、従来のビームフォーミングと比較して2つの近接角度を区別する際にはるかに高い空間分解能を達成した。具体的には、方位角寸法と仰角寸法の両方に対する方向走査間隔が2°であるノンパラメトリックビーム形成器、すなわち最小分散無歪応答(Minimum Variance Distortionless response:MVDR)ビーム形成器を使用することができ、その結果、空間において、2°(方位角について)×2°(仰角について)×4.26cm(レンジについて)の各セルにおけるオブジェクト検出が得られる。
【0722】
第2に、キャリア周波数が高いために、信号は伝播距離にわたって急速に減衰し、遠くのターゲットの位置を特定することが困難になる。測定雑音は、弱い反射信号をさらに悪化させ、大きなカバレッジでの検出を複雑にする。この課題に対処するために、異なる距離での目標の多様な応答に適応する、関心範囲を見つけるために絶対電力に依存しない新規のメトリックに基づく適応目標検知手法が開示される
【0723】
第3に、複数のユーザ及びそれらの身体の異なる部分からの反射が与えられると、特にそれらが互いに近い場合に、個体の位置推定のために占有されたセルをソートすることは、自明ではない。さらに、ユーザをデバイス情報によって区別することができるデバイスベースのローカライゼーションとは異なり、複数のユーザのロケーションを分類し、ユーザの軌跡を回復することは自明ではない。これらの課題を克服するために、k−平均法を使用し、一組のロバストな技法でそれを増強することができる。複数のユーザの連続追跡の問題を、位置エラー、欠落位置、及び動的なユーザ人数などが存在する場合であっても複数のユーザの軌跡を効果的に回復する、重み付け二部グラフマッチング(weighted bipartite graph matching)問題として定式化することができる。
【0724】
mmTrackの原型は、COTS(commercial off-the-shelf) の60GHz 802.11adデバイスを使用して構築することができる。デバイスは1つのアンテナを介して送信し、送信機と同じ場所に配置された受信機上の32個のすべてのエレメントから受信する、レーダ様モードで動作するように構成される。複数の動的/静的ユーザを持つ屋内空間で実験を行った。実験結果はmmTrackは。動的ターゲットに対して9.9cmの中央位置精度及び22.5cmの90%タイル精度を達成し、静的ターゲットに対して19.7cmの中央位置精度及び35.6cmの90%タイル精度を達成することを示す。さらに、mmTrackは複数のユーザを正確に検出し、カウントし、ユーザ数のエラーはなく、1人以下のエラーはそれぞれ79.0%及び97.8%である。mmTrackは実用的なマルチパーソンローカライゼーション及び追跡に向けて大きな一歩を踏み出し、802.11ad無線を介してmm波センシング上に光を放つ。
【0725】
開示されたmmTrackはデュアル機能レーダ通信システムを備えたCOTS60GHz ミリ波無線を活用することにより、多人数のパッシブ位置決め及び追跡を可能にする最初の研究である。MVDRに基づくデジタルビームフォーミングにより空間分解能を促進し、遠近効果と計測雑音に取り組むために新しいオブジェクト検出手法を提案した。ユーザの数を正確かつロバストに決定し、ユーザのそれぞれの位置を推定することができるk-平均法(k-means clustering)に基づいたロバストアルゴリズムが開示される。そのように、重み付き二部グラフマッチングを用いた新しいアルゴリズムにより、複数の軌跡の連続追跡を達成できる。試作品を作成し、mmTrackを評価し、16.24cmの中央値精度で移動ユーザと静止ユーザの位置を特定し、複数のユーザの継続的な軌跡を同時に追跡できることを実証した。
【0726】
一実施形態では、mmTrackがユーザの身体からの高周波信号の反射のみを使用することによって、複数のユーザを正確に位置特定し、追跡することができる無線システムである。多くの既存の研究とは異なり、単一の無線で複数の静的ユーザをローカライズすることができる。
【0727】
mmTrackは、市販の60GHz チップセットで構築できる。IEEE 802.11ad/ay標準が確立された60GHz WiFiテクノロジーは、高速ネットワークワーキング及び豊富なユーザ体験を可能にするために、無線デバイスで主流になりつつある。一般的に2〜3のアンテナと20MHz/40MHz/80MHzの帯域幅を持つ2.4GHz及び5GHzのWiFiとは異なり、60GHzのWiFi無線(またはUWB無線)は、設計上、コンパクトな形の大きなフェーズドアンテナアレイと、高い周波数帯域を中心とした大きな帯域幅を提供することができる。具体的には、mmTrackが802.11adチップセットを使用して、60GHzの中心周波数及び3.52GHzの帯域幅で動作することができる。これは、1.8cm×1.8cmの小さなフォームファクタで送信機と受信機の両方のための標準6×6アンテナアレイ(全体で32要素)を有する商用の802.11adチップセットを使用することができ、単一の小型デバイス上に取り付けることを可能にする。デバイスは全二重チップであり、これは、同時に送信及び受信するレーダのような動作を可能にする。送信機は既知のシーケンスのパルスを送信し、このパルスは、目標物上の反射の後、CIRを推定するために受信機側で受信され、相関される。広い帯域幅のおかげで、60GHz無線は4.26cmの距離分解能を提供し、オンチップビームフォーミングは15°の3dBビーム幅を提供する。
【0728】
しかしながら、60GHz信号を用いてマルチ位置確認を可能にすることは、小型アンテナアレイの非常に小さな開口による限定された空間分解能、高いキャリア周波数による高速減衰、目標位置をぼやけさせるだけでなくゴーストを生成する測定雑音、及び人の間の干渉を含むいくつかの課題を伴う。
【0729】
図49は、本開示のいくつかの実施形態による、無線オブジェクト追跡のための例示的なシステム4900を示す。図49に図示されるように、mmTrackは、以下の4つの主なコンポーネントにより、これらの課題に取り組む。1)オンチップビーム形成よりもはるかに狭いビーム幅を達成するデジタルビームフォーミングユニット4910、2)様々な距離でオブジェクトの存在を適応的に検出するオブジェクト検出ユニット4920、3)それぞれの位置とともにターゲットの数を識別するターゲットクラスタリングユニット4930、及び4)個人の連続的な軌跡を解決する連続追跡ユニット4940。
【0730】
一実施形態では、60GHz無線上の一つのデジタルビームフォーミング及びCIR 4905に基づくオブジェクト検出のために、mmTrackは一定速度Fsでビーコン信号を連続的に送信するために、送信アンテナアレイの1つのエレメントを使用してもよい。m番目のアンテナにより測定されるCIRはhm(τ)としてあらわすことができる。
[この文献は図面を表示できません]
ここでLはCIRタップの数、δ(・) はデルタ関数であり、am,l及びτはl番目のタップの複素振幅及び伝搬遅延を示すものとして表すことができる。
【0731】
図50は本開示のいくつかの実施形態による、例示的な測定チャネルインパルス応答(CIR)5000を示し、ここで、τ及びΔτは第1の受信経路の伝播遅延及びCIRの時間分解能をそれぞれ表す。測定されたCIRの時間分解能、例えば、図50において、Δτは、送信された信号の帯域幅Bによって決定される。すなわち、Δτ =1/B。各タイムスロットにおいて、mmTrackはM×L個の複素数値、すなわち、hm(τ )、ここでm=1、・・・M 及びl=0、・・・L−1であり、複数人の位置情報はこれらの測定値から推定されうる。以下の表記を容易にするために、伝搬遅延τですべての受信アンテナの複素チャネル利得を記録するためにベクトルh(τ)=[h1(τ),・・・,h(τ)] を定義することができる。
【0732】
一実施形態では、使用されるCOTSデバイスが256タップまでのCIRを報告する。最初の64タップを用いた実際のCIR測定の例が図50に示されている。非同期送信機及び受信機のために、以前の研究で利用されたCIRは不正確であり、範囲を計算するのに十分なほど正確ではない。mmTrackは、60GHzネットワーキングデバイス上に実装したレーダ様な動作を介して正確なCIRを抽出する最初のものである。
【0733】
それぞれの伝播遅延τについて、図51に示されるように、異なった方位角φ及び仰角θを有する受信アンテナアレーに衝突する反射信号N(τ)あると仮定する。図51は本開示のいくつかの実施形態による、例示的座標システム5100を図示し、ここで、θ及びφは仰角及び方位角をそれぞれ示し、rは反射器とデバイスとの間の距離を示す。なお、以下の表記を簡略化するために、特に言及しない場合には、τへの依存関係は省略する。するとCIRは、
[この文献は図面を表示できません]
として定式化できる。ここで、s(θ,φ)は、第i番目の反射信号の方向に対応する(θ,φ)を指すステアリングベクトル、すなわち、(θ,φ)方向から来る信号に対するアンテナアレイの正規化された位相応答を示し、xはその信号の複素振幅を示し、nは加法性熱雑音を表す。
【0734】
より簡潔な行列表現を次のように書くことができる。
[この文献は図面を表示できません]
【0735】
異なる方向からの反射信号を、異なる重みwで受信アンテナのチャネル利得を線形に組み合わせることによって識別することができ、これは、ビームフォーミング技術としても知られている。
【0736】
本開示では、ノンパラメトリックビームフォーマ、最小分散無歪応答(MVDR)ビームフォーマ(Caponビームフォーマとしても知られる。)を、従来のビームフォーマと比較してその高い空間分解能のために利用することができる。これは、MVDRビームフォーマが他の角度からの干渉及びノイズの電力を最小化し、一方、見る方向に向かう無歪応答を保証するためである。さらに、ノンパラメトリックビームフォーマが好ましい理由は、反射信号の構造に関する事前の仮定が必要とされないからである。方向(θ、φ)に対するMVDRビームフォーマは、
[この文献は図面を表示できません]
として定義することができる。ここで、Rはhの相関行列を表し、すなわち、
[この文献は図面を表示できません]
【0737】
各方向(θ、φ)に対するMVDRビームフォーマにより取得される空間スペクトルは
[この文献は図面を表示できません]
として記される。
【0738】
式(63)は、測定されたCIRと空間内の受信アンテナアレイに関する反射信号のエネルギー分配との間のリンクを構築する。原理的にはP(θ、φ)は送信アンテナとは無関係であるが、実際には異なる送信アンテナが推定の類似した品質を生成することが観察される。したがって、一実施形態では、mmTrackは、mmTrackの複雑さを低減するために、送信アンテナアレイから単一のアンテナのみを選択する。
【0739】
実際には、タイムスロットtでのRはサンプル相関によって推定される
[この文献は図面を表示できません]
ここで、Wはウィンドウ長を表す。ウィンドウ長Wの選択は、mmTrackの精度と応答性との間の望ましいトレードオフに依存する。
【0740】
以下では、P(θ、φ、τ)がタイムスロットt、伝搬遅延τ、及び方向(θ、φ)における空間スペクトルを示すために使用される。実際には、理論的にはセクタを任意に狭くできる一方で、空間スペクトルの計算の計算の複雑さを減らすためにθとφは2°の解像度で量子化される。
【0741】
システムから遠く離れた点ターゲットの位置を検出することを主目的とする従来のレーダシステムとは異なり、mmTrackはデバイスに近い複数のターゲットを検出し、3次元情報、すなわち位置を意味する人体のあらゆる反射点の方位角、仰角、及び範囲、さらには身体シルエットを抽出することを目的とする。マルチターゲット検出には2つの主要な課題がある。
【0742】
第1の課題は、騒音と干渉に関するものである。熱雑音とハードウェア内部干渉のために、得られた空間スペクトルにスプリアススパイクがあり、ターゲットの誤検出を引き起こす可能性がある。
【0743】
第2の課題は、遠近効果に関するものである。主に2つの理由、すなわち、1)近くのターゲットによる閉塞、及び2)近くのターゲットから反射されたEM波のエネルギーと遠くのターゲットから反射されたEM波のエネルギーとの間の不均衡のために、近くのターゲットの存在下で遠くのターゲットを検出することは困難である。
【0744】
以下では、遠近効果に関する測定が提示され、上記の課題を克服する2つの重要な要素、すなわち、距離測定及び3次元情報抽出がmmTrackのターゲット検出モジュールに導入される。
【0745】
一実施形態では、異なる位置に存在するターゲットの約6,000の実際の測定によって、2つの問題を経験的に分析することができる。図52A〜52Cは、本開示のいくつかの実施形態による、近遠効果及び重み付け再サンプリングの効果の計測結果を示す。図52Aは目標範囲に対する反射信号5210の電力を示し、それは、1)受信電力が距離にわたって減少すること、2)受信電力はデバイスに対するそれらの相対的位置及び向き、表面状態、及び雑音及び妨害などのさまざまな要因によって、同じ距離で変化することを意味する。さらに、図52Bでは、さまざまな数の反射点5220がレンジに関して描かれる。図52Bに示されるように、距離が増加すると、空でない方向の数は急激に落ちる。これは、ターゲット(人体)がより大きな距離におけるデバイスの視点から比較的「小さく」なり、したがって、より少ないセクタを占有する一方で、より近い位置でより多くのセクタを満たすためである。さらに、いくつかの反射信号の方向はデバイスの視野内にないか、または遠くのターゲットに対して受信するには弱すぎる可能性がある。60GHz信号のマルチパスが少ないため、上記の解析は環境に依存しない。
【0746】
測距の目的は、近接したターゲットが存在する場合であっても、遠いターゲットをロバストに検出することである。近いターゲットと比較して、遠いターゲットから反射された信号のエネルギーは、通常、非常に弱い。各特定の範囲(または伝搬遅延)について、遠方のターゲットの「可視性」を増大させるために、空間スペクトルV(τ )のエネルギー分布の変動を計算することができ、これは、Vt(τ )=Varθ[Varφ[P(θ,φ,τ)]] と定義できる。ここで、Varθ[・] はパラメータθに対する分散を示すものとして定義される。大きな V(τ )は、その範囲に対する反射信号のエネルギー分布が高度に不均一であることを意味し、その特定の範囲にターゲットが存在することを示している。目標物が存在しない範囲については、反射信号のエネルギーが図53に例示されるように、通常、小さく均一に分布される。図53は、本開示のいくつかの実施形態による、2人の被験者がデバイスの前に静止している関心領域(RoI)を検知するための例示的なメトリック5300を示す。
【0747】
そして、タイムスロットtにおける関心範囲(RoI)の集合が、RoI(t)={τ|V(τ)>η,∀τ}として形成される。ここでηは現在の閾値である。時間変化する干渉及び雑音に適応するために、各タイムスロットtの閾値としてV(τ )の中央値の倍数を使用することができ、すなわち、η(t)=αMedτ [V(τ)] であり、ここで、αは一定の係数を示し、Medτ [・] はτ上の中央値を示す。閾値として中央値を使用することができる理由は、実際にはターゲットが通常、監視エリア内にまばらに分布され、その結果、τにおけるまばらなV(τ)になるからである。
【0748】
人体部分から反射された全ての高周波信号が受信アンテナアレイによって捕捉されるわけではないため、特別な目標に対するRoIは不連続である。図54は、図53と同じデータを用いて検出されたRoI5400の一例を示す。理想的には、この例のためのRoIが2つの被験者に対応する2つのサブセットの連続的な範囲を含むべきである。しかしながら、高周波信号の不均一な反射のために、4つのサブセットが検出される。したがって、ターゲットのいくつかの点は不完全なRoI検出のために失われる可能性があり、すなわち、ターゲットのいくつかの部分が失われる可能性がある。この問題を解決するために、図54に示すように、連続範囲の任意の2つの隣接するサブセットを、それらの最短距離が閾値γ(τ)よりも小さい限り組み合わせる、未処理のRoIに完了アルゴリズムが適用され、そこでは、完全かつ連続的なRoIを完了するために欠落範囲が含まれる。しきい値γ(τ)は、デバイスにより近いターゲットがレンジのより広い範囲を占有するので、ターゲットのレンジに依存する。そうすることによって、ターゲットはデバイスまでの距離に関して分離され、RoIのそれぞれのサブセットは少なくとも1つのターゲットに対応しなければならない。
【0749】
一実施形態では、3次元情報のエクストラクションを実行するために、RoIのそれぞれのサブセットについて、mmTrackはターゲットの存在を検出するために、その視野内の全ての考えられる方向をサーチする。ここで、ある方向に沿った特定の範囲は、空間内のセルとも呼ばれる。具体的には、図55が1つの被検体のみがサブセット1の範囲内に存在する、ある方向(θ=0°、φ=28°)に対するτに関する空間スペクトル5500を示す。デバイスの雑音レベルに基づいて、経験的閾値β=−31dBを適用して、雑音から信号を識別した。すなわち、ある範囲における空間スペクトルの値がβよりも大きい場合、ターゲットがそのセルを占有する可能性が高く、その結果、検出された点が得られる。検出された点の冗長性を低減するために、各方位に対して、mmTrackは、RoIの各サブセットに対する代表点として極大値をとるだけである。これはまた、ミリ波が人体を透過することができず、そのエネルギーの大部分が反射され、人体の表面によって吸収されるという事実による。図55に示されるように、mmTrackは点5510として示されるRoIのサブセット1内のターゲットの存在を検出するが、この特定方向についてはサブセット2内でターゲットは検出されない。検出点ごとの距離推定の精度を改善するために、ピークの2つの隣り合うサンプルを用いて、距離ディメンジョン(τ )に単純なフラクショナルな1−D内挿を適用した。図56は、2人のオブジェクトがそれぞれ(x=1m、y=1m)及び(x=3m、y=0m)に位置する2人または2オブジェクトの場合のオブジェクト検出結果5600の一例を示す。空間スペクトルから抽出された2つの被験体の3次元情報は、(θ、φ、τ)形式からデバイスの位置をオリジンとするユークリッド空間の3次元位置(x、y、z)へ変換されている。高空間分解能のために、提案したオブジェクト検出は(それらが物理的に分離しているときに)完全な人の姿をほぼ回復する。将来の有望な方向性として撮像におけるこの可能性は残し、本開示における複数人追跡に焦点を当てることができる。
【0750】
一実施形態では、mmTrackシステムが個々のターゲットを識別するために、非監視クラスタリング技法であるk−平均法を主に使用することができる。入力はオブジェクト検出器の出力、すなわち、点のセット、O={o,i=1,・・・,K} であり、ここで、o=(x,y,z,w)は反射の大きさwを有する位置(x,y,z)における反射点を示し、Kは現フレームに対する検出点の総数である。ここでの目標は、ターゲットの数及び対応する位置を識別することである。しかしながら、クラスタリングのための O に直接に供給することは、満足のいく結果をもたらさない。したがって、ターゲット・クラスタリングを強化するために、技法のパイプラインを適用することができる。
【0751】
まず、その重みwに応じて、無意味な点(通常は目標の境界上、または計測雑音のためにランダムな位置)を排除することによって、入力をリサンプリングすることができる。この洞察は、人体の異なる部分が同じ距離であっても、信号を異なるように反射することにある。例えば、典型的には、中心胴体が四肢よりも多くのエネルギーを反射し、その結果、反射信号の振幅が大きくなる。しかし、図52Aに示されるように、反射電力は距離にわたってかなり減少するので、再サンプリングは注意深く行う必要がある。
【0752】
一実施形態では、点 o はその重みが、w<wである場合に除去される。ここでwはダイナミック閾値である。より大きな電力を有するより多くのセルにわたる信号を反射するより近いターゲットについては、より高いしきい値のための余地を有することができる。離れたターゲットについては、小さな閾値で非常に少ない点の除去しかできない。したがって、wは、図52Aに示されるdBにおける電力分布の線形トレンドに続く、範囲rの線形関数として定義される。図52Cは、重み付け再サンプリング5230の効果の例を示す。
【0753】
k−平均法の鍵はクラスタの数k、すなわち、mmTrackにおけるターゲットの数を決定することである。この目的のためにシルエット分析を採用することができる。シルエット値は、隣接するクラスタまでの離間距離と比較して、点がそれ自体のクラスタにどの程度類似しているかを特徴付ける視覚的測定である。形式的には、i番目のシルエット値は
[この文献は図面を表示できません]
として定義される。
ここでaは、同じクラスタ内のi番目の点から他の点までの平均距離であり、bは、その点から別のクラスタ内の点までの最小平均距離であると定義することができる。大きさ1のクラスタでは、sは、0と定義される。測定は、−1から+1の範囲であり、より高い値は、点が隣接するクラスタから遠く離れていることを示す。次に、全てのデータ点にわたる平均sを用いて、データがどの程度適切にクラスタ化されたかを評価する。適切な範囲でkを試行し、最高の平均シルエット値
[この文献は図面を表示できません]
を生成する値を選択することができる。
【0754】
ターゲットの数が連続するフレーム内で変動しないことを考慮すると、時間的制約を適用して、k選択のロバスト性をさらに改善することができる。具体的には、kが過去のいくつかの推定値内の目標数の大部分と一致しない場合には、時間tの間
[この文献は図面を表示できません]
を減衰させることができる。
[この文献は図面を表示できません]
【0755】
ここで、κは1より小さいペナルティファクタであり、約1秒(10フレーム)の短いウィンドウにわたるクラスタの個数の大部分である。次に、クラスタの数が
[この文献は図面を表示できません]
として選択される。
【0756】
シルエット値は単一のクラスタ(すなわち、k=1)には適していないので、単一のクラスタが存在する傾向があるかどうかを事前に判定するために、検査者を構築することができる。開示されたアルゴリズムは全ての点O の大域的重心から始まり、半径εの接円内の点の最小数よりも大きい密度pを満たす全ての隣接点に反復的に展開する。プロシージャが終了すると、x−y平面に含まれる点によって囲まれるエリアを計算することができる。面積が十分に小さければ、単一の目標に対する1つのクラスタとしてデータを決定し、k平均法をスキップする。点が見つからない特殊なケースでは、データポイントが別々であり、したがって、全体的な重心の周りに密な点がないので、複数のクラスタがあるはずである。アルゴリズムはz次元を伴わずに、xとy位置のみを含む。単一目標のケースを調べるアイデアは、ノイズ(DBSCAN)アルゴリズムによるアプリケーションの密度ベース空間クラスタリングに触発される。しかしながら、(図52Bに示されるように)遠近効果のために異なるターゲットにわたってデータ密度があまりにも大きく変化するので、クラスタリングのためにDBSCANアルゴリズムを直接使用しないことがある。図57Aは、本開示のいくつかの実施形態による単一のクラスタ検出5710の実例を示す。
【0757】
しかしながら、k−平均アルゴリズムは、エラークラスタという結果になるかもしれない。典型的なエラーには2つのタイプがある、1)2つのターゲットの点が1つのクラスタとして誤ってマージされる、または2)1つの単一のターゲットの点が複数クラスタに誤って分割される。ロバスト性を改善するために、検出された目標点の幾何学的特性を活用することによって、事後検証技法をさらに実行することができる。最初に、k−平均によって各々のクラスタのメドイドを計算することができる。次に、2次元平面内の2つの距離、すなわち、クラスタ内メドイド距離、すなわち、そのメドイドに対する同じクラスタ内のすべての点の距離、及びクラスタ間メドイド距離、すなわち、2つのクラスタのメドイド間の距離、を計算することができる。エラーの第1のタイプを補正するために、クラスタ内メドイド距離が、上面図における典型的な人間の大きさの最大値を表す所定の最大値を超える点の数を調べることができる。選択した点がクラスタのかなりの部分を形成する場合、それらは新しいクラスタとしてソートされる。図57Bは、パーティション操作5720の一例を示す。ここでは、より一般的に使用される重心ではなく、メドイドを使用することが好ましい。幾何学的中心としての重心は、間違って含まれている点によって大きく偏ることになり、したがって、すべての点へのその距離は、平均的に小さくなるのであろう。これとは異なり、メドイドは、常時、真のクラスタの1つ内に制約され、他の真のクラスタ内の点へのより大きな距離を与える。
【0758】
第2のケースでは通常、得られるクラスタは点が同じ目標からのものであるため、互いに極めて近い。したがって、図57Cに示すクラスタマージ5730のように、クラスタ間メドイド距離を調べ、これらの近いクラスタを1つとしてマージすることができる。
【0759】
上記のロバストなクラスタリングではいくつかのハイパーパラメータが使用されるが、これらのパラメータは大部分が人体の物理特性に関連しているため、環境に依存せず、一般に適用可能である。
【0760】
クラスタ化した結果を得るとき、対象の位置は、対応するクラスタに属する全ての点の幾何学的メドイドとして直感的に推定されてもよい。データ点毎に3次元座標を持つことができるので、目標の高さ情報は、クラスタ内のすべての点の最大高さとしても利用可能である。
【0761】
継続的な追跡及び計数は、複数の人またはオブジェクトの受動的な位置特定を達成した後に実行されてもよい。特定の時間におけるスナップショットが与えられると、mmTrackは、人数及びそれらのそれぞれの位置推定値を出力することができる。しかしながら、複数ターゲットの軌跡を連続的に追跡することは、依然として課題を伴う。第1に、60GHzの信号の視線(LOS)制限のために、自由な動きの間、一方の人が他方の人によって完全にブロックされ、隠れた人をデバイスに見えなくすることがある。ミス検出は、明確なLOSビューが存在する場合であっても起こり得る。第2に、測定ノイズによる誤警報がある。第3に、クラスタリング・アルゴリズムは誤ったターゲットの数を出力し、したがって誤った位置推定値を出力する可能性がある。以下に示すように、重み付け二部グラフマッチングを介して継続的な追跡問題を解決することによって、課題を克服することができる。
【0762】
q個の軌跡が存在し、その各々において、最後の位置が時間tiに(x,y)に現れると仮定する(u=(t,x,y)、i=1,2,・・・,qとして示される。)。時間tでのk個のターゲットの最新の推定値をv=(t,x,y),j=1,2、・・・k と示す。継続的な追跡の問題の目的は、最新の推定値のそれぞれを、現存する軌跡または新たに作成された軌跡に関連付けることである。簡単な解決策は、それぞれの新しい推定値を最も近い軌跡に結び合わせることである。しかしながら、このような欲張りな解決策は、頻繁なミスマッチにつながる可能性がある。その代わりに、全てのk個のターゲットに対する距離の合計を最小化することによって最適な関連付けを見つけることを試みることができる。
【0763】
このタスクを重み付け二部グラフマッチング問題としてモデル化することができる。図58は、本開示のいくつかの実施形態による、例示的な重み付け加重二部グラフマッチング5800を示す。図58(a)に示すように、二部グラフの左側サブセットUに頂点としてすでに存在するすべてのターゲットの最後の位置を維持することができる。ここでは、最近出現したターゲットのみを考慮することができる。言い換えれば、ある時間消滅したターゲットは離脱したとみなされ、対応する軌跡は単に終了される。右側の他のサブセットVは、頂点としての最新のk個の位置推定値を含む。次に、u∈U 及びv∈V の頂点のペア毎に方向付けされていない辺を追加することができる。それぞれの辺はuとvとの位置の間のユークリッド距離du,v として定義される重みを得る。次に、各々のサブセットにおける全ての頂点がマッチングのちょうど1つの辺に入射する、構築されたグラフの完全なマッチングを見つけることによって、新しく到着した推定値を現存する軌跡に関連付ける最適解を得ることができる。重み付け二部グラフに対する完全なマッチングを見つけることは、グラフ理論における古典的な問題であり、Kuhn及びMunkres(KM)アルゴリズムによって解くことができる。
【0764】
完全一致は、各パーティションに等しい数の頂点を持つ二部グラフに対してのみ可能である。しかし、実際には、目標が行き来し、それぞれのサブセットの頂点の数が経時的に変化するかもしれない。この問題を克服し、完全な一致が存在することを確実にするために、より小さいサブセットに対して仮想頂点を使用することができる。具体的には、図58(b)に示すように、既存のターゲットが離れるか、または欠落している場合に、最新の推定においてより少ない頂点があり、存在しないターゲットとして偽の頂点を追加することができる。同様に、図58(c)において、新しいターゲットが存在し、Uにより少ない頂点が存在するとき、仮想頂点を挿入することができる。どちらの場合も、仮想頂点に関連するすべてのエッジに同一の重みdを割り当てることができる。そうすることによって、確実な完全なマッチングを有する二部グラフを形成することができる。図58(b)の場合、仮想頂点に対応するマッチングは単に無視される。一方、図58(c)では、すべての仮想頂点について新しい軌跡が開始され、最新の推定値内の対応する位置が軌跡の開始位置になる。
【0765】
提案したアルゴリズムは固定数の目標を仮定しない。どれだけの人がいるかについての事前の知識も必要としない。次の推定値を、現存する又は新たに作成された軌跡に連続的に追加することによって、個々のターゲットの連続的な位置を追跡し、人数を確実に数えることができる。最後に、後処理のために軌跡上でスプライン平滑化を行うことができる。
【0766】
一実施形態では、mmTrackをプロトタイプし、Qualcomm802.11adチップセットを使用して実世界の実験を行うことができる。一実施形態では、チップセットが2つのアンテナアレイを備えており、その両方が6×6トポロジに配置された32個のアンテナを有する。1つの送信アンテナを構成して、既知のシーケンスのパルスを送信し、32の受信エレメントの全てから信号を受信することができる。実験区域は半径約5メートルの110の扇形で、典型的な部屋をカバーするのに十分である。
【0767】
机、椅子、コンピュータ、テレビを備えた典型的な事務所ビルの1階で、22歳から57歳までの5人のボランティアを募集して試験を行うことができる。評価は2つのシナリオ、すなわち、ユーザが特定の位置に立っているか又は座って静止している静的な場合と、ユーザが同時に歩いている動的な場合とを含む。それぞれのケースについて、異なる数のユーザについて異なる位置及びトレースを試験することができる。位置エラーは、前にマークされたグランドトゥルーストレースに関して計算される。それぞれの推定値の真のユーザラベルを得ることができないので、推定値を最も近い真の目標に投影して位置エラーを計算することができる。
【0768】
図59Aは、動的及び静的シナリオそれぞれにおけるmmTrackの全体の追跡精度5910を示す。シナリオごとに、1人以上のユーザからの異なったトレースが統合され、結果が導き出される。図59Aに示されるように、移動する人物のみを追跡することができる既存の作業の多くとは対照的に、mmTrackは、それぞれ9.9cm及び19.7cmの中央値精度、及びそれぞれ22.5cm及び35.6cmの90%精度で、静的及び動的シナリオの両方において高い精度を達成する。動的ターゲットの精度は静止ユーザよりも高いが、これは動的ユーザが時間ダイバシティを享受するからであり、これは相関行列Rhのより良好な推定に有利であり、従って、位置特定を改善する。
【0769】
位置エラーは、2D X-Y座標軸上で計算される。身長の推定における精度を評価することもできる。図59Bに示すように、mmTrackは、11.49cmの中央値精度及び22.82cmの90%精度で目標高さ5920を推定する。評価において、地面からのターゲットの最大高さを計算することができる。
【0770】
mmTrackがターゲットの数をどれだけ正確に検出できるかを調べるために、人々のカウントの正確さを評価することができる。結果は、動的及び静的ターゲットの18K以上のスナップショットに基づいて得られる。図60に示すように、mmTrackは、3人未満のユーザがいるときにユーザ数を正確に推定する。しかしながら、より多くの人々が同時に存在する場合、人間の妨害及び同じ場所に配置されたターゲットのために、精度が低下する可能性がある。全般的に、mmTrackは、それぞれ79.0%及び97.8%の確率で、エラーなし及びエラー≦1のターゲットの数を検出する。ターゲットは他のユーザから十分に分離されており、他のユーザによってブロックされていない限り、常にmmTrackによって検出することができる。図63Gに示すように、mmTrackは異なる位置にいる5人のユーザを正確にカウントし、位置を突き止める。しかし、結果はmmTrackがユーザ数をほとんど過大評価しないが、頻繁に過小評価することを示している。主な理由は2つ、ユーザ間の相互シャドウイングとミリ波の支配的な鏡面反射、両方とも、身体部分の欠落またはターゲットの欠落を引き起こす。
【0771】
ユーザ数に関する複数人位置特定のパフォーマンスを評価することもできる。図61A及び図61Bにおいて実証されるように、mmTrackは、複数のターゲットに対して、動的及び静的ケース6110、6120の両方において、一貫して高い位置精度を達成する。再び図60を参照すると、より多くのユーザがより多くのミス検出につながるが、ロケーション精度にあまり影響しないと結論付けることができる。ターゲットが検出されると、mmTrackは著しい精度で位置を推定できる。
【0772】
mmTrackの性能は、目標物からデバイスまでの距離にわたって変化することがある。図61Cに示されるように、レンジの影響を示す6130ように、中央値精度は劣化しないが、より大きな距離ではより大きなエラーが生じ、エラーの分散が増加する。例えば、4mの距離で90%エラーは約60cmに届く、これは1mよりも2倍低い。これは、より大きなレンジでは反射信号が弱くなり、反射物のパーツが小さくなるため、予想通りである。
【0773】
ロバストクラスタリングのために提案された技術のゲインを調べることができる。図62Bに示すように、ロバストなクラスタリングがなければ、目標計数性能6220は著しく劣化する。しかしながら、これらの計数エラーは図62Aに示すように、必ずしも位置エラー6210につながるわけではない。その理由は、目標位置推定のためにメドイドを使用することにある。誤ったクラスタのメドイドは依然として真のターゲットの1つに属し、したがって、小さな位置エラーに耐える。
【0774】
図63における連続的なトレースの追跡のいくつかの例示的な実施例とともに、位置特定及び追跡の精度を評価することができる。図63A〜63Gは本開示のいくつかの実施形態による例示的な無線追跡結果を示しており、未処理の推定値は「×」でマークされ、平滑化されたトレースがそれらの上に描かれている。グランドトゥルースは破線で示されている。図63A及び図63Bは、単一のユーザのための文字形のトレース6310、6320を示す。図63Cは2人のユーザが並んで歩き、2メートル離れているときのトレース6330を示し、他のユーザによってブロックされたときには、より遠い目標が検出されず、その軌跡が切断される。図63Dは、2人のユーザについて、妨害がない状態で正確かつ連続的に追跡された位置及びトレース6340を示す。図63Eは、3人のユーザについて、妨害がない状態で正確かつ連続的に追跡された位置及びトレース6350を示す。図63Fは4人の移動ユーザがいる場合に、より頻繁に発生した欠落検出を伴う位置及びトレース6360を示す。5人のユーザの場合6370、図63Gは、すべてが移動している場合、ユーザが別のユーザによって頻繁にブロックされる可能性があるため、静的シナリオにおける位置特定を主に評価することができることを示す。
【0775】
図63A 6310及び図63B6320に見られるように、mmTrackは、トレース形状または位置にかかわらず、単一ユーザに対して正確に移動軌跡を回復する。2人以上のユーザがいる場合、身体の妨害が起こることがある。図63C−63Fに示すように、これらの妨害された瞬間を除いて、異なるユーザのトレースが十分に維持され、認識される。しかしながら、図63C及び図63Fに示すように、連続的なミス検出は、特定のユーザの移動トレースをセグメントとして切断しうる。
【0776】
図64は、本開示のいくつかの実施形態による、無線オブジェクト追跡のための例示的な方法6400のフローチャートを示す。操作6402において、無線信号は、場所の無線マルチパスチャネルを介して場所内のオブジェクトに向けて複数のアンテナを使用して送信される。操作6404では、無線信号が複数のアンテナを有する無線マルチパスチャネルを通して受信される。操作6406において、受信された無線信号に基づいて、チャネルのチャネルインフォメーション(CI)のセットが取得される。操作6408において、ビームフォーミングは、CIのセットに基づいて計算される。操作6410において、方向量(directional quantities)のセットが、CIのセット及びビームフォーミングに基づいて計算される。様々な実施形態では、方向量のセットが空間スペクトルであってもよいし、ビーム形成における空間スペクトルの一部であってもよい。
【0777】
操作6412において、関心範囲(RoI)が、方向量及びCIのセットに基づいて計算される。操作6414において、伝播遅延値のクラスタを結合及び/または除算することによって、RoIがリファインされる。動作6416において、関心点(PoI)のセットが、RoIに基づいて計算される。関心点(PoI)の組は、少なくとも1つのオブジェクトの動きの視覚的表現を形成することができる。視覚的表現は、イメージング、写真、ビデオ、概略表現、または他のプレゼンテーションであってもよい。動作6418では、PoIのセット内の点がリファインされ、クリーンにされる。動作6420において、PoIのセットにおけるクラスタは、メドイド間隔に基づいて検証される。操作6422において、オブジェクトの量、オブジェクトの位置、及び/またはオブジェクトの高さが計算される。操作6424では、オブジェクトの位置が時間と共に移動するときにそれらの位置を追跡することによって、それぞれのオブジェクトの軌跡が構築される。図64の動作の順序は、本開示の様々な実施形態において変更することができる。
【0778】
別の実施形態では、無線オブジェクト追跡のための方法が図64に示される方法と同様であり得、ここで、操作6412は方向量及びCIのセットに基づいて、関心のある方向(DoI)を計算する操作に置き換えられる。DoIは関心のある方向のセットを含み、オブジェクトの存在についてさらに分析することができる。これに対応して、操作6414は、方向のクラスタを結合及び/または分割することによってDoIをリファインする操作と置き換えることができる。次に、動作6416は、DoIに基づいて関心点(PoI)のセットを計算するための動作に置き換えられ得る。
【0779】
一実施形態では、開示されたシステムを使用して、例えばミリ波信号などのRF信号を使用して、複数のユーザを同時に受動的に位置決めし、追跡することができる。このシステムは、人数のカウント、人の追跡、ビルの自動化、周辺の安全、作業場の安全などに使用することができる。ビデオベースの人々カウントソリューションの多くの潜在的な顧客にとっての主要な関心事は、プライバシーである。この単一の懸念はしばしば、ビデオベースの人々カウント解決策を配備しないようにする。これとは対照的に、60GHzを利用する開示されたシステムはプライバシーの問題なしに、施設内の人数計数情報を施設管理者に提供することができる。開示されたシステムは部屋に人がいるかどうか、及び部屋の人数を、人の数を示す視覚的表現で示し、決定できるが、人のアイデンティティは示さない。これは、会議室、スマートビル、ホテル、及びそれ以上のものの管理のようなアプリケーションにとって重要であり得る。例えば、ホテルは、部屋の占有率に基づいて、スマートなエネルギー効率の良いスマート照明または温度制御を実施することができる。
【0780】
別の例では、開示されたシステムは移動するオブジェクト、例えば、移動する人物の軌跡または移動経路を決定し、視覚的表現を用いて軌跡を示すことができる。これは、遊園地の迷路のプレーヤ、家庭、ホテルの警備システムによる侵入者の監視、またはマラソンのような長距離競技の追跡選手に適用することができる。
【0781】
一実施形態では、N1本のTxアンテナを備えたタイプ1デバイスが無線プローブ信号(例えば、60GHz信号、3.5GHz帯域幅)でオブジェクト(例えば、人、ペット、物、生活物、非生活物)を「照らす」。プローブ信号は、オブジェクトによって変調される(反射、屈折、吸収、減衰、ドップラーエフェクトなど)。N2本のRxアンテナを持つタイプ2デバイスはプローブ信号を受信し、CI(例えば、チャネル状態情報またはCSI、圧縮CSI、非圧縮CSI、チャネルインパルス応答またはCIR、チャネル周波数応答またはCFR、RSSIなど)のセット(例えばN1×N2個)を得る。各々のCIは、TxアンテナとRxアンテナとのペアに関連付けられてもよい。CIのセットに基づき、少なくとも1つのオブジェクトの追跡は、位置決め、場所監視/行動/活動/ふるまい/トレンド、位置/水平位置/高さ/移動/軌跡/経路/履歴/トレンド/カウント/グルーピング/分布/ヒートマップ/フォーメーション/存在/近接/距離/方向/速度/速さ/加速度/活動/ふるまい/反復行動/周期的運動/呼吸/心臓の鼓動/動作周期/、動作頻度、動作速度、過渡的動作検出、活動監視、活動検出、活動認識、監視、接近、後退検出、ジェスチャ認識、歩容認識、手書き認識、異常活動検出、転倒検出等の少なくとも1つを含む。
【0782】
少なくとも1つのオブジェクトは、1、2、3以上、または未知量のオブジェクトを含んでもよい。少なくとも1つのオブジェクトは人(例えば、成人、高齢者、子供、赤ん坊など)、または動物、またはペット、またはデバイス、または別のオブジェクトを含み得る。無線プローブ信号はプローブ要求、プローブ応答、問い合わせ、受信確認、問い合わせに対する応答、サウンディング信号、ビーコン、パイロット信号などであってもよく、CIはチャネル状態情報(CSI)、圧縮CSI、非圧縮CSI、RSSI、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、大きさ応答、位相応答などであってもよい。タイプ2デバイスは、タイプ1デバイスを含んでいてもよく、またはその逆であってもよい。タイプ2デバイスはタイプ1デバイスであってもよい。
【0783】
タイプ1デバイスは、無線信号を送信するための第1の無線チップ/集積回路/ICを有しうる。タイプ2デバイスは無線信号を受信するための、第2の無線チップ/集積回路/ICを有しうる。タイプ1デバイスは、タイプ2デバイスと同じであってもよい。第1のICは、第2のICであってもよい。N1Tx アンテナは、N2 Rx アンテナ、またはその逆を含む。N1はN2に等しくてもよい。N1本のTx アンテナは、N2本のRx アンテナの隣にあってもよい。N1Tx アンテナは、N2 Rx アンテナでも構わない。N1本のTxアンテナ(又はN2本のRxアンテナ)は、1次元、2次元又は3次元構成及び/又は格子状に配置することができる。1次元、2次元又は3次元格子は、規則的な間隔を有することができる。
【0784】
例えば、1−D/2−D/3−D構成はアンテナを均一に離間させても、不均一に(例えば、擬似ランダムに、又は局所的に均一に)離間させてもよい。例えば、1−D構成は直線(例えば、均一に離間された、または不均一に離間された)、複数の直線(例えば、2次元または3次元形状の輪郭)、及び/または2−D空間における1つ以上の曲線(例えば、円、円弧、三角形、平行四辺形、五角形、六角形、多角形、形状の輪郭、ジグザグパターン、形状充填線パターン)、及び/または3−D空間(例えば、螺旋、3次元オブジェクトの表面上の曲線、空間充填線パターン)に配置されたアンテナを有しうる。例えば、2−D構成は、1つ以上の長方形格子、円形格子、楕円形格子、三角形格子、六角形格子、多角形格子、及び/または他の配置されたアンテナを有しうる。2−D構成はマニホルド、メッシュ、または曲面(例えば、箱、球、オブジェクト、身体、身体の一部、及び/または別のアイテムの表面またはメッシュ上/周囲/近傍/近傍/関連する)に配置されたアンテナを有しうる。例えば、3次元ラティスは、3つの直交する軸を有してもよく、軸のそれぞれに特徴的な間隔がありうる。1次元、2次元、または3次元格子のいくつかのノードは、空(占有されていない)であってもよい。
【0785】
一実施形態では、mmTrackの全体的なアルゴリズムが以下を含む。
【0786】
a)ビームフォーミング(例えば、アナログビームフォーミングよりも優れた空間分解能を達成するデジタルビームフォーミング)及び空間スペクトルの計算を行う。空間スペクトルは、方向(例えば、方位角、仰角など)及び距離(または深さもしくは距離、または関連する伝播遅延)を含む極座標に関して計算されてもよく、極座標の原点は、Rxアンテナ及び/またはTxアンテナに関連する点であってもよい。また、空間スペクトルは、Rxアンテナ及び/又はTxアンテナに関連した点での原点を伴う、幾つかのx、y、及びz軸についての直交座標(例えば、幾つかの三つ(x,y,z))に関して計算することができる。空間スペクトルは、1組の点(1組の方向及び1組の範囲/伝搬遅延に関連する)について計算することができる。ある点における空間スペクトルは、その点に関連する伝搬遅延(または範囲/距離/深さ)及び方向に関連する。
【0787】
b)あるオブジェクトの存在について1組の範囲を試験すること、例えば、特定の範囲または伝播遅延について空間分散の分散を計算すること、及び分散が閾値よりも大きい場合に範囲をオブジェクトの存在と関連付けることを含む、ターゲット検出及び範囲発見。一実施形態では、範囲のセット(例えば、伝搬遅延)は各範囲についての変動性測定(例えば、分散)を計算することによって試験される。変動性測定は、いくつかの基準に対して試験される。オブジェクトが特定の範囲に存在する場合、変動性は大きくなる傾向がある。オブジェクトが存在しない場合、変動は小さくなる傾向がある。
【0788】
c)ターゲット検出と距離測定は、オブジェクトの存在に関連する範囲のサブセットを含む、関心範囲(RoI)のセットを計算することを含み、セットは範囲のクラスタのセットを含むことができ、(i)同様のクラスタを1つに結合すること、及び/または(ii)1つのクラスタを2つのクラスタに分割することによって、RoIのセットをリファインすることができる。一実施形態では、RoIが試験結果に基づいて計算される。変動性測定が基準(例えば、閾値より大きい)を満たす場合、範囲が選択され、RoIに加えられる。例えば、変動性は、範囲の複数の値について計算される。特定の範囲についての変動性測定を試験するための閾値はその特定の範囲についてのすべての方向の変動性測定の関数(例えば、平均)に基づいて計算されてもよい。RoIは、クラスタ間の「距離」をテストし、2つのクラスタが互いに近い場合にはそれらを組み合わせることによってリファインすることができる。2つのクラスタを組み合わせるために、2つのクラスタ間のいくつかの「欠落」範囲をRoIに追加することができる。
【0789】
d) RoIに基づいて関心点(PoI)の集合を計算することを含むターゲット検出及び3次元情報抽出は、空間スペクトル及び試験に基づいて何らかのオブジェクトの存在に関連する点のサブセットを含み、(i)類似の/クラスタを1つに結合すること、及び/または(ii)1つのクラスタを2つに分割すること、または孤立した/孤立したPoIを排除することによってPoIの集合をリファインすることを含む。一実施形態では、方向(方向角、仰角)ごとに、1以上の連続するクラスタまたは範囲のセルを、RoIに基づいて識別することができる。典型的な値(すなわち、レンジまたは伝播遅延)または特性値が、クラスタまたはセルに対して選択される。特性値はPoIに加算される。一方向に2つ以上のオブジェクトが存在し得るので、2つ以上のクラスタ及び2つ以上の特性値、例えば、それぞれのクラスタについて1つの特性値が存在し得る。PoIは欠けている点を追加することによって、及び/またはPoIのクラスタを2つのクラスタに分割することによって、または孤立した「ノイズ様」PoIを除去することによって、隣接するPoIを結合及び/または接続することによって、リファイン及び/またはクリーニングされてもよい。クラスタは、クラスタが何らかの「リンキング」PoIまたは「重要でない」PoIによってリンクされたPoIの2つの密な「サブクラスタ」を含むことを決定するために分析されてもよい。次いで、リンキングPoIを除去することによって、クラスタを2つのサブクラスタに分離することができる。
【0790】
e) PoI上でクラスタリングを実行することによって個々のターゲットまたはオブジェクトを識別することを含むターゲットクラスタリングであって、それぞれのオブジェクトがクラスタに対応し得る、ターゲットクラスタリングは、(i)類似の/クラスタを1つに結合すること、及び/または(ii)1つのクラスタを2つに分割することによってメドイドに基づいてクラスタを検証すること、1つのクラスタを1つのオブジェクトに関連付けること、クラスタをカウントすることによってオブジェクトのカウントを計算すること、関連付けられたクラスタの特徴位置(たとえば、重心または加重平均または投影)を計算することによってオブジェクトの位置(または高さ)を計算することを含む。PoIは処理されてもよく、例えば、同様のPoIは、クラスタにグループ化されてもよい。オブジェクトの代表的な位置はクラスタの特徴位置(例えば、重心または加重平均)であってもよい。オブジェクトの量またはカウントは、クラスタの数をカウントすることによって決定されてもよい。
【0791】
f)オブジェクトが時間に渡り移動するときにその位置を追跡することによってその軌跡(または追跡)を計算することを含む継続的追跡。
【0792】
一実施形態では、時間t−1において、M個のオブジェクトに対応するM個の軌跡が存在し得る。オブジェクトのカウントはM(またはそれ以上) にすることができる。時間tにおいて、N個のオブジェクトが識別されてもよい。Nオブジェクトのうちの1つまたは複数は(例えば、何らかの類似性または連続性に基づいて)M個の存在する軌跡のうちの1つまたは複数に追加され得る。1つのオブジェクトが2つ以上の軌跡に追加される場合、2つ以上の軌跡を1つにマージすることができる。Nオブジェクトのうちの1つまたは複数を使用して、新しい軌跡を作成することができる。M個の存在する軌跡のうちの1つまたは複数は(例えば、時間的にまたは永続的に)中断されてもよい。1つまたは複数のM個の既存の軌跡は、2つの軌跡に分割されてもよい。例えば、時間t−1において、2つのオブジェクトがパスを横切り、1つの軌跡に「マージ」された。Nオブジェクトの1つ以上は、時間t−1以前に消失した何らかの中断された軌跡に接続されてもよい。オブジェクトのカウントはN以上に更新されることがある。
【0793】
一実施形態では、N1本のTxアンテナが第1の2次元長方形アレイ(特性間隔がx方向及びy方向)に配置されてもよい。N2本のRxアンテナは、第2の2次元長方形アレイ内に配置されてもよい。第1の長方形アレイの法線方向(すなわち垂直方向)は、第2の長方形アレイの法線方向と平行であってもよい。第1及び第2の長方形アレイは、同一平面上にあってもよい。Txアンテナアレイ及びRxアンテナアレイは互いに隣り合っていてもよい(例えば、20cm未満、または10cm未満、または5cm離れていてもよい)。アレイの大部分の位置は1つまたは複数のアンテナによってそれぞれ占有されるか、または1つまたは複数のアンテナに関連することができるが、どのアンテナにもよっても占有されていないか、または任意のアンテナに関連付けられていないアレイの1以上の位置がありうる。長方形アレイの1つは、アレイの「中心」に「軸」(例えば、法線方向の線)を有する可能性がある。「中心」はアレイの重心またはその近傍であってもよい。アレイが軸をオブジェクトに近づけることによってオブジェクトに「照準」されてもよい。換言すれば、オブジェクトはアレイが「照準」している領域に入ることによってアレイの「監視領域」に入りうる。オブジェクトが軸上にあってもよい。または「軸」とアレイの「中心」とオブジェクトとを結ぶ仮想直線との間の角度が小さくてもよい(例えば、10度未満、5度未満、または1度、または別の角度)。第1または第2の格子は、長方形または非長方形のアレイであってもよい。それは、局所的に長方形、三角形、または六角形、または円形、または他の格子パターンであってもよい。互いに角度をつけた2つの長方形格子をもつ混成格子であってもよい。
【0794】
バイスタティック構成では、タイプ1(Tx)及びタイプ2(Rx)デバイスが場所内の2つの異なる位置に配置された2つの異なるデバイスである。モノスタティック構成(レーダ状)では、タイプ1(Tx)及びタイプ2(Rx)デバイスが場所内に並置される(例えば、同じマシン/デバイス/ハウジング/実装/回路基板/モジュール/チップ内の同じ位置または同様の位置に配置される)。一実施形態では、タイプ1(Tx)デバイスとタイプ2(Rx)デバイスは同じデバイスである。
【0795】
以下は、開示された方法及びシステムを適用するいくつかの例を示す。例えば、ピーターは本開示の無線追跡システムを自宅に設置し、自宅の居間及び台所における自分の家族の活動を監視する。システムは、1つ以上のガジェットで動作する。彼は、リビングルーム内の位置に第1の無線送信機(タイプ1デバイス)と無線受信機(タイプ2デバイス)からなるシステムのベースガジェットと、それぞれ送信機(タイプ1デバイス)を含む複数の拡張ガジェットを設置する。インターネットから、ピーターは、無線追跡システムのベースガジェット(送信機と受信機の両方を有する)と、ルータ、メッシュルータ、IoTデバイス、テレビ、電子レンジ、スピーカ、セットトップボックス、家電、時計、スマートプラグ、スマートスイッチなどの無線追跡システムの追加ガジェット(送信機のみを有する)との多くの選択肢があることを知った。(送信機と受信機の両方を備えた)ベースガジェットは高価になる傾向があり、それぞれが完全な無線追跡システムとして機能できる。拡張ガジェット(送信機のみを有する)はより安価である傾向があり、無線追跡システム内で機能するためにベースガジェットと協働する必要がある。昨年のクリスマスでは、ピーターは無線追跡システム付きのスマートスピーカー(アマゾンエコーやグーグルホームに似ている)であるベースガジェット(送信機と受信機の両方を搭載)を購入した。リビングとキッチンの両方をワイヤレスで監視するためにリビングに設置した。
【0796】
送信機と受信機との間で無線信号を送信し、受信された無線信号からチャネルインフォメーション(CI)のセットを抽出することによって、システムは、CIのセットに基づいてビームフォーミングを計算する。次に、関心点(PoI)のセットを計算し、リビングルーム及び台所内の任意のオブジェクト(及びそれらの軌跡)を追跡する。ベースガジェットはクラウドサーバ(インストール時にPeterが設定したインターネット接続が必要) と通信する。ピーターは自分のスマートフォンにソフトウェアアプリをインストールし、このアプリを使用してクラウドサーバを介して自分の家のリビングやキッチンを監視した。アプリを使用すると、誰かがいるか、何人いるかを知ることができる。また、システムは、その人物が妻、子供、または他の人物でありうるという表示を彼に与える。また、例えば、画像または関心点(PoI)のセットを取得することによって、領域内でのそれらの動きを視覚化することもできる。
【0797】
彼はシステムを愛し、追加のスマートスピーカー(アマゾンエコーミニやグーグルホームミニに似ている)、スマートクロック、スマートライト、スマートプラグなどの安価な拡張機器を購入してシステムを拡大することに決めた。彼は家族の部屋を監視するために、ファミリールームに拡張ガジェットを置く。彼は廊下に前扉と廊下を監視するための拡張ガジェットを設置した。彼はガレージドアとトイレを監視するためにトイレの前に互いを設置した。彼はまた、彼が監視したい各部屋に一つを設置した。拡張ガジェットはそれぞれ、ベースガジェットの受信機に無線信号を送信する。ベースガジェット及び/またはクラウドサーバは、すべての送信機からの無線信号からのCIに基づいて、家屋の様々なエリアを監視する。今では、ピーターは仕事中や休暇中に自宅を監視することができる。彼はいくつかのオフィス(例えば会議室)及びいくつかの貯蔵施設を監視するのを助けるために、自分の仕事にいくつかのベースまたは拡張ガジェットをインストールしたいと思っている。
【0798】
802.11adテクノロジーの継続的な発展は、無線センシングにおいて新しい機会を提供する。本開示は、商用の60GHz WiFi上に構築された静止/非静止ユーザを検出し、呼吸速度(RR)ならびに心拍数(HR)を推定することができる、較正不要のリモートバイタルサイン監視システムであるViMo(Vital sign Monitoring system)を開示する。ViMoのデザインは、2つの重要な成分を含む。まず、静止オブジェクト、静止した被験者及び動いている人間をキャリブレーションなしに識別できる適応オブジェクト検出器をデザインできる。第2に、チャネルインパルスレスポンス(CIR)の位相から呼吸信号を除去して、呼吸から高調波の妨害を除去し、ランダムな測定雑音を阻止するダイナミックプログラミング(DP)を適用して、ロバストなHR推定器を考案することができる。人間とデバイスとの間の距離、ユーザの向きと入射角、妨害物質、身体の動き、及びマルチユーザ分離の状態を含む様々な設定の影響を、広範な実験によって調べた。実験結果は、ViMoがRR及びHR推定のために、それぞれ、0.19呼吸/分(BPM)及び0.92BPMの中央値エラーで、ユーザのバイタルサインを正確にモニタすることを示す。
【0799】
このシステムでは、市販のルータですでに利用可能である、新しい60GHz WiFi(例えば、802.11ad)におけるチャンスを活用することによって、2.4GHz/5GHz WiFiの制限を壊すことができる。開示されたViMoは、インパルスベースのコモディティな60GHzミリ波(ミリ波)デバイスを用いて、複数人の静止/非静止検知及びバイタルサイン監視を達成する最初のシステムである。2.4GHz/5GHz無線とは異なり、60GHz WiFiは、ミリ波長のおかげで小さいサイズで大きなフェーズドアレイを有する高い指向性と大きな帯域幅によってもたらされる正確なタイムオブフライ測定とを提供する。60GHzラジオの進歩はより高い空間分解能と距離(レンジ)分解能を可能にし、複数の人の呼吸と心拍数を同時に監視することができる。
【0800】
しかし、60GHzのWiFiを使用して複数人のバイタルサイン監視を可能にすることは容易な作業ではない。この目標を達成するためには、複数の課題に対処する必要があるかもしれない。第1に、バイタルサイン推定の前に人間の被験者の位置を突き止めることは簡単ではない。キャリア周波数が高いため、信号は伝搬距離にわたって急激に減衰し、遠方のターゲットの位置を特定することが困難になる。さらに、チップ上の自動利得制御(AGC)モジュールは、異なる測定にわたってCIRの振幅を変更させる。この課題に対処するために、各測定に対して、3次元空間内の雑音レベルを適応的に推定するためのレンジ及び角度ディメンジョンの2つのコンスタント誤警報検出器を採用することができ、従って、目標検出のための適応しきい値を提供する。
【0801】
第2に、複数のユーザ及び周囲のオブジェクトからの反射を考えると、静止反射オブジェクト及び静止/非静止ユーザを区別することは依然として困難である。この課題を克服するために、電磁波の進行距離の変化に対するCIR位相の感度を活用することによって、新しい動き検出器を考案することができ、これは、人間の被験者からの大きな無作為な身体運動(RBM)ならびに周期的な呼吸運動、及び静止反射オブジェクト(例えば、壁面、扉、及び家具)からの測定雑音を識別することができる。
【0802】
第3に、人間の胸の動きは呼吸と心臓の鼓動の両方によって誘発され、心臓の鼓動によって引き起こされる距離変化は呼吸信号よりも大きさが弱い。心拍数は通常呼吸数よりも高いが、真の心拍数と呼吸信号のハーモニックを区別するのは困難である。この課題に対処するために、最初に呼吸信号の波形を推定し、次にそれを時間領域で除去することができる。心臓の鼓動信号がランダム測定雑音に容易に覆い隠される問題に更に取り組むために、心拍数の静止特性を利用し、心拍数の正確な推定を得るためにスペクトログラムでダイナミックプログラミング(DP)アルゴリズムを適用することができる。
【0803】
商用オフザシェルフ(COTS)60GHz WiFi無線機をレーダ様のデバイスとして再利用することによってViMoの試作品を構築し、単一の人及び複数の人のシナリオ、LOS及びNLOS条件などを含む様々な設定下で性能を評価するための広範な実験を実施した。実験結果はViMoが、RR及びHR推定のために、それぞれ0.19BPM及び0.92 BPMの中央値エラーで正確な推定を達成することを示した。さらに、ViMoは、97.86%の検出率で、複数のユーザを正確に検出する。ViMoシステムは、802.11ad無線を介した実用的な複数人バイタルサイン監視に向けて大きな一歩を踏み出している。
【0804】
ViMoは人間の被験者を正確に検出し、ユーザの身体からの高周波信号の反射を純粋に使用することによってそのバイタルサインを推定することができる無線システムである。本開示の一実施形態によるViMoのプロセスの流れを図65に示す。
【0805】
60GHz WiFiを使用して複数人非接触バイタルサイン監視を可能にすることは、いくつかの課題に直面する。第1に、60GHz高周波信号の速い減衰のために、大きな距離で反射される信号の強度は、短い距離でのそれよりはるかに小さい。したがって、人間の被験者の静止/非静止状態を検出することは言うまでもなく、事前の校正なしに人間の被験者を検出することは困難である。第2に、微小な心臓の鼓動信号は測定雑音によって容易に破壊され、大規模呼吸信号によって隠蔽される。したがって、心拍数を推定する際に、呼吸及び測定雑音からの妨害に抵抗するように専用のシステムを設計すべきである。
【0806】
人間の被験者を様々な距離で検出するために、様々な距離で適応的に雑音レベルを推定し、従って反射オブジェクトの存在を検出する反射オブジェクト検出器を適用することができる。人間の被験者を静的オブジェクトからさらに区別するために、静的オブジェクト、静止した人間の被験者、及び大きな身体運動を有する人間を識別する動き検出器をデザインすることができる。ターゲットクラスタリングモジュールは、人間の被験者の数及びそれらのそれぞれの位置をさらに識別するために実装される。さらに、心拍数のロバストな推定を行うために、最初に、呼吸速度が推定された後の呼吸信号からの妨害を低減するための呼吸信号除去器を考案することができる。除去器は呼吸信号の高調波を除去することができ、呼吸周期がわずかに変更するときに呼吸頻度成分の広がりに対処することができる。ランダム測定ノイズに対処するために、心拍数の静止特性を活用し、ダイナミックプログラミングを適用して、頻度及び時間ダイバシティの両方を利用して心拍数を推定することができる。
【0807】
バイタルサインの影響を伴うCIRモデリング
【0808】
人の胸から反射されたEMの伝達距離をd(t)とすると、TxアンテナmとRxアンテナnとの間のCIRは
[この文献は図面を表示できません]
と表される。ここでam,n(t)は複素チャネルゲイン、λはキャリアの波長を表す。バイタルサイン、すなわち呼吸と鼓動、の変調ために、dm、n(t)は2つの周期信号の組み合わせであると見えて、これはさらに
[この文献は図面を表示できません]
として表される。ここで、s(t)とs(t)は呼吸と心臓の鼓動による距離の変化を表す。d(m,n)=lTc+Δd(m、n) 、ここでT=1/Bは高速時解像度を表し、Bはシステム帯域幅を表す。ここで、反射信号は残差Δ d(m,n)のある測定されたCIRのl番目タップに入ると仮定することができ、したがってCIRのl番目タップ、h(t)=[h1,1(t),h1,2(t),・・・,hM,N(t)] は、
[この文献は図面を表示できません]
と表すことができる。ここで、d=[d(1,1),d(1,2),・・・,d(M,N)] 、a(t)=[a1,1(t),a1,2(t),・・・,aM,N(t)] 及びeはエレメントワイズな積を表す。a(t)は、被検体の微小な動きのために時間不変であると仮定することができ、共通の位相シフトは、
[この文献は図面を表示できません]
ビームフォーミング後のCIRは
[この文献は図面を表示できません]
として表現される。ここでs(θ、φ)は、図66Aに示されるような方向(θ、φ)を指すステアリングベクトルでありε(t)は、異なるリンクに対して独立かつ同一に分布(I.I.D)する加法性白色ガウス雑音を表す。CIR測定の位相は式(69)に示すように、呼吸と心臓の鼓動の周期的運動により、ゆっくりと周期的に変化することが明らかである。図66Bは、開示されたシステムによって収集されたバイタルサインを含む典型的な位相信号を示す。
【0809】
ターゲット検出
【0810】
様々な室内オブジェクト(例えば、壁面、机など)が電磁波を反射するので、バイタルサインの監視を開始する前に、まず、Tx及びRxの近傍の被験者を検出する必要があり得る。人間の被験者は身体運動を有することがあり、したがって、長期的に自分の位置を変更することになり、ViMoは測定の継続時間を複数のブロックに分割し、各ブロックは、W秒のCIR測定を含む。2つの隣接するブロックはW−W秒だけオーバーラップし、ここで、Wはスライディングウィンドウの長さである。
【0811】
反射オブジェクトの検出
【0812】
60GHzでのRF信号は距離と共に激しく減衰するので、同じオブジェクトからの反射エネルギーは距離と共に変化する。人間の被験者の位置を突き止めるために、最初に、どの空間セルが反射オブジェクトを有するかを識別する必要がある場合がある。
【0813】
反射オブジェクトがない場合とセル(θ、φ、l)で静止反射オブジェクトがある場合のCIRは、それぞれ次のように表すことができる。
[この文献は図面を表示できません]

[この文献は図面を表示できません]
反射オブジェクトがあるときの電力レスポンスは、空のタップよりもはるかに大きいことは明らかである。しかしながら、ターゲット検出のための汎用の所定の閾値を見つけることは不可能である。電磁(EM)波の伝播法則によれば、同じ反射オブジェクトに対して、より短い距離は、より大きな反射エネルギーに対応する。さらに、自動利得制御(AGC)モジュールのために、CIRの振幅は、異なる測定に対して変化する。
【0814】
各ブロックに対する適応電力しきい値を見つけるために、ViMoはターゲット検出のためのコンスタント誤警報率(CFAR)アルゴリズムを利用した。試験中のセル(CUT)に対する雑音レベルの電力は、隣接するセルの電力を平均化することによって推定される。さらに、ガードセルは、CUT自体からの電力による推定値の破損を回避するために使用される。
【0815】
具体的には、各ブロックについて、CFAR検出器の入力は全てのCIR測定の時間平均振幅、すなわち、
[この文献は図面を表示できません]
であり、ここでFはサンプリング速度である。同じオブジェクトの異なる距離での反射信号強度が異なるのであろう電磁波の減衰特性を考慮すると、図67Aに示されるように、反射オブジェクトの範囲を決定するために、1次元−CFARが採用される。セクター(θ、φ)ごとに、ViMoはCIR 測定値 hθ,φ(l)をCFAR ウィンドウで畳み込み、
[この文献は図面を表示できません]
推定雑音レベルをスケーリングするためにスケーリング係数αを適用した。このように、
[この文献は図面を表示できません]
反射オブジェクトを伴うタップは図68に示されるように、振幅が検出閾値を上回るものであるべきである。(θ,φ)方向におけるノイズレベルを決定するために、タップlのために2次元−CFARをさらに採用することができ、ここで、ノイズレベル
[この文献は図面を表示できません]
図67Bに示されるように、CIR測定値h(θ,φ)を2次元−CFARウィンドウとコンボリューションすることによって推定される。推定されたノイズレベルをスケーリングするためにスケーリング係数βが適用される。反射オブジェクトは、CIR測定値h(θ,φ,l)が
[この文献は図面を表示できません]
を同時に超えているセル内にあるべきである。ここで、反射オブジェクト1(l,θ,φ) の指標を、
[この文献は図面を表示できません]
として定義できる。ここで1{・}は指標関数である。
【0816】
CFAR検出器はどのセルが反射オブジェクトによって占有されているかを識別することができるが、反射が人間に由来するか否かを区別することはできない。人間の被験者は静止オブジェクトとは異なった特有な特徴である運動(呼吸またはRBMのいずれかからの)を常時伴い、人間の被験者を識別するための動き検出器をデザインすることができる。さらに、無線バイタルサイン監視システムの大部分は計測中に人間の被験者が1人しか存在せず、RBMが存在しないことを想定しており、したがって、人間の被験者を見つけるプロシージャは省略され、これは、実際の展開にとって自然でも現実的でもない。したがって、この部分では、ViMoが静止反射オブジェクト、静止した人間の被験者、及びRBMを有する人間を識別することを可能にする動き検出器をデザインすることができる。
【0817】
静止した反射オブジェクトの検出
【0818】
静止した被験者が呼吸と心臓の鼓動による動きを導入することができ、呼吸により起きる距離の変化が式69にしたがう位相変化により識別できるどころか、反射オブジェクト検出器により選択された各候補セル(θ,φ,l)についてのCIR測定値V(θ,φ,l)の位相の変化は、
[この文献は図面を表示できません]
として定義できる。ここでVar{・}はパラメータtにわたる分散、∠ は複素値の位相を表す。式72に示すように、静止した反射オブジェクトに対して、V(θ,φ,l)は小さくなるが、人の被験者が居るセルについては、呼吸又はRBMが大きなV(θ,φ,l)を与える。ViMoは、所定の閾値ηminを利用して、もしV(θ,φ,l)<ηminであれば静止反射オブジェクトを識別する。位相信号及びその分散値は、それぞれ図69A及び図69Dに示されている。
【0819】
図69A〜69Fはターゲット検出のための例示的な位相を示し、ここで、静止した被験者の参照RRは、本発明のいくつかの実施形態による16BPMである。図69A−69Cは静止オブジェクト、静止した被検体、及び運動中の人間にそれぞれ対応する位相信号を示し、図69Dは、図69A−69C中の信号の位相分散を示す。図69E−69Fは、それぞれ図69B及び図69CのACFを示す。
【0820】
静止した人間の被験者の検出
【0821】
静止の人間の被験者については式(67)による位相計測において周期的な呼吸信号を観察することができ、図69Bは静止した被験者の位相の例を示す。静止した被験者を有するビンは、V(θ,φ,l)>ηmin、及びその周波数が[bmin,bmax]内にある周期的位相信号を有するであろう。
【0822】
周波数分解能は Δf=60/W呼吸/分(BPM)であり、ここで、ウィンドウ長Wは秒である。したがって、呼吸数の許容可能な推定精度を得るために、ウィンドウ長は十分に長くなければならず、これは大きな遅延を引き起こす。開示されたシステムでは、周期性を評価するために、候補CIR位相の自己相関関数(ACF)を調べることによって、統計的手法を採用することができる。
【0823】
ここでCIR位相変化測定値の時変部分は、
[この文献は図面を表示できません]
として表される。ここでn(t)は雑音によって導入されたランダム位相オフセットであり、CIR位相測定の時変部分を、雑音によって導入されたランダム位相オフセットであるように示すことができ、また、時間インスタンスにおいて独立なランダム変数である。したがって、y(t)でのACFは
[この文献は図面を表示できません]
として計算される。式中、τ はタイムラグを示し、Cov[・]はcon−共分散演算子を示す。心臓の鼓動Sh(t)によって起きる距離の変化を呼吸Sr(t)によって起きる距離の変化と無相関と仮定すると、ρ(τ)は次のように表される。
[この文献は図面を表示できません]
ここで、Var[y(t)]=Var[Sr(t)]+Var[Sh(t)]+Var[n(t)]。ρ(τ)、ρ(τ)及びρ(τ)はそれぞれ呼吸、心臓の鼓動、及び雑音のACFを表す。Var[Sr(t)]>>Var[Sh(t)] 及び、 Var[Sr(t)]>>Var[n(t)] 有することができるので、次の近似、
[この文献は図面を表示できません]
を有することができる。ACFは図69Eに示されるように、呼吸周期に対応するある遅延で明確なピークを有する。
【0824】
動き検出
【0825】
ランダムボディモーション(RBM)は、無線バイタルサイン監視に対する最も困難な技術的課題の1つであった。心臓の鼓動によって引き起こされるミリメートル規模の胸部運動と比較して、RBMの規模は数十センチメートルであり得る。RBMによるCIR位相測定値の時変部分は、
[この文献は図面を表示できません]
としてモデル化できる。ここでS(t)は動きによって生じる距離の変化である。図69Cは、動きを伴う位相の例を示す。RBMのスケールが呼吸信号よりもはるかに大きい場合、変動はVar[s(t)]>>Var[s(t)]>>Var[s(t)] 、したがって、V(l,θ,φ)>ηmax、ここでηmax は所定の閾値である。被験者が中等度のRBMを有する場合、位相の分散はしきい値内にあり得るが、RBMはほとんどの場合周期性を欠いているので、図69Fに示すように静止の場合のようにピークρ(τ )を観察することはできない。したがって、動き指標1(・)は、
[この文献は図面を表示できません]
として定義される。ここで1(・)は指示関数がどこであり、τはACFρ(τ)の最初のピークであり、Γは所定の閾値である。
【0826】
セルマージ/クラスタリング
【0827】
複数のセルが一人の人の被験者から反射されたRF信号を有するため、ターゲット数及びバイタルサイン監視を決定する前に、ターゲットクラスタリング法を使用すべきである。人体の大きさを考慮すると、これらのセル間の空間距離がしきい値dmin内であれば、それらを一つのクラスタに併合することができる。静止セルのクラスタ中心は、ヒト胸部を有するセルに対応する、最大のACFピークを有するセルである。それぞれのクラスタに対するRBMセルの中心は、最大の体の動きを有するセルに対応する、Vt(θ,φ,l)が最大のセルである。静止している人であっても、胸部から離れた身体部分から身体運動をすることができる。したがって、静止セルとRBMセルとの間の距離が閾値dminよりも小さい場合、これらのセルは同じ人物に属し、クラスタの中心は静止セルを表すはずである。
【0828】
図70はセルマージングの例を示しており、グランドトゥルースは、典型的な室内事務所において、被験者がデバイスから1m離れて座っていることである。CFAR検出器で検出した反射オブジェクトを青色の円で示した。動き検出器はさらに、赤ひし形及び緑正方形としてそれぞれ示される、静止被写体及びRBMを有するセルを区別する。ターゲットの代表は、濃い黒いひし形で示されている。
【0829】
心拍数推定
【0830】
ViMoは、静止被験者が検出されると、心拍数推定部をイネーブルにする。セルが静止呼吸信号を含むかどうかを判定するためにACFを用いて周期性を確認できるので、呼吸周期は、ピークの位置ρ(τ)のτを見つけることにより容易に決定でき、呼吸速度は、
[この文献は図面を表示できません]
呼吸/分(BPR)である。
【0831】
図71A〜71Cは、本開示のいくつかの実施形態による、心拍数のグランドトゥルースが76BPMで呼吸妨害除去の例示的な効果を示す。図71Aは呼吸信号の平滑化スプライン推定値を示し、図71Bは呼吸信号除去後の残差を示し、図71Cは、元の位相及び残差信号の電力スペクトル密度(PSD)を示す。
【0832】
心臓の鼓動は胸部の微小な動きを導くことができ、これは、図71Aに示されるように、アンラップされた段階において小さなピークとして検出することができる。これまでの研究は心拍数を推定するために、周波数解析及び帯域フィルタ(BPF)を直接的に利用しようと試みてきた。しかしながら、呼吸によって導入される高調波のために、図71Cの青い線で示されるように、推定のために誤ったピークを拾い上げることは容易である。したがって、より高い推定精度を得るために、心拍数推定の前に呼吸信号を最初に除去することができる。したがって、より高い推定精度を得るために、心拍数推定の前に呼吸信号を最初に除去することができる。
【0833】
呼吸の妨害の除去
【0834】
呼吸信号を除去することにより、心臓の鼓動信号の信号対干渉雑音比(SINR)を改善することができ、したがって推定精度を改善することができる。多項式フィッティングは、呼吸運動を除去するために使用されてきた。しかし、多項式フィッティングの主な欠点の一つは次数選択である。順序が経験的経験によって選択される場合、アンダーフィッティングまたはオーバーフィッティングが、実験設定が変更された場合(例えば、サンプリングレートまたはウィンドウの長さの変更)に容易にトリガーされうる。その上、除去効果も呼吸速度と関連している。言い換えれば、同様の除去効果を達成するために、多項式次数はユーザの呼吸速度に適応しなければならず、これはロバストな日々の配備には実用的ではない。この影響を回避するために、ViMoは、呼吸信号を推定するために平滑化スプラインを採用する。
【0835】
現在のウィンドウ内の観測のセットを、{t,y(t):i=t,t+T,・・・t+W}とし、ここでT=1/Fは、2つの隣接するサンプル間の時間間隔であり、tは観測ウィンドウの初期時間であり、Wはウィンドウ長とする。心臓の鼓動信号と比べた、呼吸信号は大きな距離の変化と低い周波数を有し、したがって呼吸信号s(t)の推定は、
[この文献は図面を表示できません]
の解である。ここでλ≧0は平滑化パラメータである。第2項は、関数の滑らかさを評価する。平滑化パラメータは、データに対する忠実度と関数推定の平滑度との間のトレードオフを制御する。
[この文献は図面を表示できません]
として定義される。ここでf(t)は、スプライン基底関数の集合である。この作業では、スプライン基底としてBスプラインを使用することができる。
【0836】
式(81)の最適解を得るために、最初にベクトル、
[この文献は図面を表示できません]
を定義することができ、粗さペナルティは、
[この文献は図面を表示できません]
を有する。
[この文献は図面を表示できません]
と書くことができる。ここで、y=(y(t),・・・y(t+W))である。式84のミニマイザは、したがって、
[この文献は図面を表示できません]
【0837】
呼吸信号の除去後の心臓の鼓動はしたがって、
[この文献は図面を表示できません]
ここで、f(t)はスプライン基底関数のベクトル形式である。
【0838】
図71(a)の破線は、呼吸信号の推定を示している。呼吸信号除去後、通過帯域[hmin,hmax]を有する帯域通過フィルタ(BPF)を適用した後の残留信号のスペクトルは、図71Cに黄色の破線で示されている。同じBPFを用いて呼吸信号を除去しない位相のスペクトルを青色実線で示す。呼吸排除後の心臓の鼓動信号の信号対干渉雑音比(SINR)が高められることは明らかである。具体的には、呼吸信号を排除することにより、1.65dBから5.65dBに高められている。
【0839】
スペクトログラムを用いた心拍数推定
【0840】
呼吸信号除去は心臓の鼓動信号のSINRを向上させることができ、したがって、心拍数推定の精度を向上させることができる。しかしながら、ランダム測定雑音は、ある時間インスタンスで推定を依然として破壊する可能性がある。推定精度をさらに向上させるために、ViMoでは、心拍数の静止特性を活用し、信頼性のある推定のために周波数領域及び時間領域の両方でダイバシティを利用することができる。
【0841】
心拍数は時間と共に滑らかに変化することができ、マルコフプロセスとして心拍数をモデル化することができ、ここで、2つの隣り合う時間ビン間の心拍数の変動は正規分布N(0,σ)に従い、確率密度関数(PDF)はp(f)として示される。呼吸信号除去の後、残差に対して高速フーリエ変換(FFT)を実行し、それぞれのウィンドウのPSDを連結して、図72に示されるようなスペクトログラムを得ることができ、ここで、白線は心電図センサによって測定されたグランドトゥルースを示し、黒色は推定結果である。
【0842】
FFTの操作は[hmin,hmax]の範囲の連続周波数を
[この文献は図面を表示できません]
心拍数はマルコフ連鎖としてモデル化することができ、
[この文献は図面を表示できません]
として定義され、
[この文献は図面を表示できません]
は所与の時間における周波数成分を示す写像であり、Nは所与のスペクトログラムの全時間インスタンスである。
【0843】
心拍信号は、原則として騒音や他の動きの妨害よりも周期的である。したがって、ほとんどの場合、ピークとして観察される可能性が高い。さらに、人の心拍数が短期間内にあまり変動しないことを考慮すると、心拍数の推定は、周波数電力と時間的な平滑性との間の良好な均衡を達成するトレースを形成することはずである。
【0844】
最も確率の高い心拍数トレースは、
[この文献は図面を表示できません]
を解くことによって見出さされる。ここで、κは正規化計数、gはトレースとして示される。ここで、
[この文献は図面を表示できません]
【0845】
E(g)はトレースgの電力であり、
[この文献は図面を表示できません]
として定義される。
ここで、ε(n,q)は時間ビンn、周波数成q分におけるエネルギーを表す。トレースの平滑さは、
[この文献は図面を表示できません]
として定義されるコスト関数C(g)により評価される。
ここで周波数遷移確率P(g(n−1),g(n))は式(87)によって計算できる。一般性を失うことなく、均一な事前分布を仮定することができる。すなわち。
[この文献は図面を表示できません]
【0846】
この問題は、ダイナミックプログラミングによって解決することができる。さらに、明確にするために、ビン(n,q)におけるスコアを、最初に、最大の達成可能な正則化されたエネルギーとして定義することができ、すなわち、
[この文献は図面を表示できません]
ここで、S(1、q)=ε(1,q)+λlogP(g(1)=q)。さらに、S(n,q)は前のトレースの平滑性及び正則化されたエネルギーの両方を考慮するので、スコアを計算するプロセスは、ビン(n,q)を通過する最適なトレースも決定する。最適心拍数トレース全体は、最後のタイムスタンプの最高得点に寄与するビン(N,g(N))をバックトラッキングすることによって見つけることができる。すなわち、観測ウィンドウ内の残りの心拍数追跡については、すなわち、∀n=N−1,N−2,・・・,1 で
[この文献は図面を表示できません]
を得る。
【0847】
式(93)のバックトラッキングプロシージャは所与のスペクトルに対する最適なトレースgを与え、これは式(88)に対する最適な解である。心拍数軌跡推定の結果は図72に黒線で示されており、ゴールドスタンダードな心電図(ECG)センサによって測定された基準が白線としてマークされている。
【0848】
実験評価
【0849】
典型的なオフィスコモディティな802.11adチップセットを使用して、実際の設定でViMoを評価することができる。このチップセットは3.52GHzの帯域幅で60GHzの中心周波数で動作し、4.26cmの距離分解能を提供した。Txは、チャネルインパルス応答(CIR)推定のために既知のパルスシーケンスを送信する。検査に登録された参加者は8名である。グランドトゥルースは、胸部ストラップを有する市販のECGセンサによって提供される。
【0850】
開示されたシステムをさらに評価するために、それを、インパルスベースのミリ波無線を使用する最新技術の無線バイタルサイン監視システムであるmmVitalと比較することができる。mmVitalはホーンアンテナのペアからのRSSを活用し、最高の大きさのピークと、周波数領域におけるその隣り合うビンとを見つけて、カスタムナローBPFを形成し、次いで、時間領域フィルタリングされた信号のピークをカウントして、呼吸速度及び心拍数を決定する。ViMoと同様に、公平な比較を行うために、検出されたセルからのCIRの位相は、RSSの粗い情報ではなく、mmVitalアルゴリズムの入力として使用される。呼吸と心拍数の両方を推定するために、適応狭帯域BPFとIFFTはmmVitalに示されているように実行される。mmVitalとViMoの両方のウィンドウ長は60秒に設定され、システムは毎秒出力を与える。mmVitalはタイムウィンドウ内のピークの数(すなわち、推定は整数)に従ってバイタルサインを推定し、その呼吸速度の分解能及び心拍数推定は、1拍/呼吸/分(BPM)である。
【0851】
呼吸数(RR)及び心拍数(HR)の計測における総合性能。システムの検知率は97.86%であり、ViMoによるRR及びHRの総合中央値エラーはそれぞれ0.19BPM及び0.92BPMである。mmVitalは、RRに関して同様の性能を達成するが、HRの中央値エラーは1.6BPMであり、ViMoよりも73.91%悪い。実験結果は、ViMoが、呼吸信号除去及びHR推定のためのDPが心臓の鼓動信号のSINRを増大させることができることにより、とりわけ比較的に低いSNR設定(例えば、より長い距離、NLOSなど)において、より正確な推定を提供することができることを示している。
【0852】
さらに、実験結果は、ViMoが被験者の静止/非静止状態を効果的に検出することができ、わずかなユーザの動き(例えば、頭部の揺れ)が生じたときに、RR及びHRの両方の正確な推定を行うことができることを示す。ユーザの動きを考慮しないmmVitalと比較すると、ViMoは、実際の展開に向けて重要な改善を行っている。詳細は、後述されるだろう。
【0853】
距離の影響
【0854】
デバイスと人間の被験者との距離が推定精度に及ぼす影響を調べることができる。図73A〜73Cは、本発明のいくつかの実施形態による、距離の影響のための実験設定及び結果を示す。図73Aは試験セットアップを示し、図73Bは呼吸数の絶対推定エラーのCDFを示し、図73Cは、心拍数の絶対推定エラーのCDFを示す。
【0855】
参加者は図73Aに示されるように、デバイスに面する異なる距離に座る。RR及びHR推定の絶対エラーの経験的累積分布関数(CDF)をそれぞれ図73B及び図73Cに示す。ここで、ViMo及びmmVitalの性能はそれぞれ実線及び破線で示されている。誤検出を考慮するために、ターゲットが見逃されたときに推定値を0BPMに設定することができる。
【0856】
予想されるように、信号対雑音比(SNR)劣化により、性能は遠方で劣化する。ViMoのRRの中央値エラーは距離が1.5m以内の場合には0.15BPM以内であり、距離が2mまで増加する場合には0.22 BPMまで増加する。HR推定について、ViMoの中央値エラーは、0.5mから2mに増加すると0.42BPMから0.9 BPMに増加した。さらに、呼吸信号のSNRが高いために、RR推定の劣化がHR推定よりも小さいことが分かる。
【0857】
mmVitalアルゴリズムを用いたRR推定のCDFは、グランドトゥルースと推定の両方の分解能が1BPMであるため、段階的である。どちらのアルゴリズムもRR推定と同様の性能を達成することは明らかであるが、ViMoはより高い分解能を達成する。さらに、HR推定のために、ViMoは4つの設定すべてに対してmmVitalより優れており、性能ギャップは距離の増加と共により大きくなった。主な理由は、呼吸信号除去が心拍数信号のSINRの改善に役立つことである。さらに、ViMoにおけるDPアルゴリズムは推定を行うために周波数ダイバシティの他に時間ダイバシティも活用する。これにより、測定雑音の影響をさらに緩和する。
【0858】
方向性の影響
【0859】
また、推定精度に対する人間の向きの影響を調査することもできる。図74A〜74Cは、本開示のいくつかの実施形態による、向きの影響のための実験設定及び結果を示す。図74Aは実験設定を示し、図74Bは呼吸数の絶対推定エラーのCDFを示し、図74Cは、心拍数の絶対推定エラーのCDFを示す。
【0860】
向きは、図74Aに示すように、デバイスに関してユーザの最も近い部分に対応する。ユーザからデバイスまでの距離は1mに設定されている。図74B及び図74Cは、それぞれRR及びHRの推定性能を示す。
【0861】
「前方」設定は最良の性能を達成するが、「後方」設定はRR及びHR推定の両方について最悪の性能を有することが示される。この結果は、異なる向きにおいて呼吸によって引き起こされる反射部の異なった変位量に起因する。変位量が小さいことは呼吸信号のSNRが低いことを意味するので、変位量が小さすぎると誤検出が発生する。被験者がデバイスを向いて座っているときの検出率は100%であり、胸部の左側と右側がデバイスに向いているときに99.06%及び99.37%に低下する。検出率は、人間の被験者がデバイスに背を向けて座ったとき83.83%まで低下する。参加者が、左及び右の向きに座っているときであっても同様の検出率が達成されるが、HR推定性能は、「左向き」設定が「右向き」設定よりも優れていることに留意されたい。これは人間の生理的構造によるものであり、胸部の左側では心臓の鼓動によって引き起こされる振動が大きくなる。同様に、ViMoはmmVitalと比較して、RR推定に関して同等の性能を有するが、図74Cに示されるように、4つの設定すべてについて、HR推定はるかに良好な性能を有する。
【0862】
入射角の影響
【0863】
また、図75Aに示すように、人間の被験者が角度[0°,15°,30°]で座るように求められ、人間とデバイスとの間の距離が1mで、推定性能への入射角の影響を調べることができる。異なる入射角でRR及びHRの絶対推定エラーのCDFは、それぞれ図75B及び図75Cに示される。
【0864】
RR及びHR推定の両方について、精度は、入射角の増分と共に減少することが分かる。その理由は反射損失が入射角に依存し、入射角の増加が反射損失を増加させ、反射信号のSNRを低下させるからである。しかしながら、呼吸信号のSNRは心拍信号よりはるかに高いので、RR推定の性能劣化は、HR推定ほど深刻ではない。さらに、ViMoの性能は特に大きな入射角の場合に、HR推定の点でmmVitalと比較してはるかに良好であることが分かる。
【0865】
NLOSケース
【0866】
図76A〜76Cは、本開示のいくつかの実施形態による、妨害の影響のための実験設定及び結果を示す。図76Aは試験セットアップを示し、図76Bは呼吸数の絶対推定エラーのCDFを示し、図76Cは、心拍数の絶対推定エラーのCDFを示す。
【0867】
RR及びHR推定精度は壁を通るケースについて評価され、実験設定は図76Aに示される。参加者は、乾式壁の反対側に座るように求められ、デバイスと人間の被験者との間の距離は1mである。図76B及び図76Cにそれぞれ示されるように、RR推定の中央値エラーは侵入損失のために0.15BPMから0.25BPMに増加し、HR推定の中央値エラーは0.6BPMから1.4 BPMに増加する。
【0868】
遮蔽物の材質(異なる侵入損失に対応する)の影響をさらに調査するために、異なる一般的に使用される材質がLOS経路をブロックするために使用される一連の実験を行うことができる。侵入損失は、異なる材質については明確であるので、性能低下は異なる。RR及びHR推定の平均絶対エラー(MAE)を以下の表1に示す。
[この文献は図面を表示できません]
【0869】
体動の影響
【0870】
ユーザが異なる運動状態を持つときのViMoの性能を評価した。参加者は、20秒ごとに頭部(1〜3cm)を振り、身体(4〜5cm)を動かすように求められる。デバイスからユーザまでの距離は入射角0°で1mである。また、ユーザがヘッドセットで電話に出るときの性能を評価することもできる。RR及びHRのMAEを以下の表2に示す。
[この文献は図面を表示できません]
全てのケースは99.7%を超える検出率を達成し、体を動かす場合には、継続の27%において、大きな体運動を検出することができ、したがって、バイタルサイン推定部はトリガされない。体動が検出しきい値(静止期間として知られている)内にある時間についてはバイタルサイン推定モジュールがトリガされ、平均HRエラーは体を動かすケースについて3.06BPMである(相対エラーは4%である)。しかしながら、人が電話に出る場合、胸部は話すことによって引き起こされるRBMを伴い、全てのテストケースについて最悪の性能をもたらす。
【0871】
複数ユーザケース
【0872】
この部分では、ユーザ間の角度分離の影響を研究することができ、この場合、2人のユーザは異なる分離角度でデバイスから1m離れた距離に座る。分離角度の検出インデックス(DI)は、検出されたターゲットの数がグランドトゥルースと一致するときのサンプルの数とサンプルの総数との間の比として定義することができる。また、分離角度の誤警報指標(FI)を、検出されたターゲット数がグランドトゥルースより大きい場合のサンプル数とサンプル総数との比として定義することができる。下記の表3は、両方のユーザについてのRR及びHR推定の中央値エラーを示す。
[この文献は図面を表示できません]
【0873】
シングルユーザシナリオと比較して、性能は小さい分離角度(すなわち、30°)で低下するが、分離角度が十分に大きい(すなわち、45°より大きい)場合、性能はシングルユーザシナリオと同様である。これは、2つのターゲットの距離が十分に小さい場合、各ユーザとの候補セルの距離を所定の閾値よりも小さくなりうるからである。したがって、2つのクラスタは一緒にマージされ、1つの代表セルのみが残され、結果として誤検出が生じる。また、一方のユーザの高いSNRの信号が大きいセルは、他方のユーザのとマージすることができるため、バイタルサイン推定のための代表セルのSNRが低下し、性能が低下する可能性がある。
【0874】
複数ユーザバイタルサイン推定のためのViMoの精度をさらに評価するために、3人のユーザが並列に座るように求められる、制御された実験を実行することができる。ViMoはそれぞれの標的の位置を検出し、同時にそれらのバイタルサインを推定する。誤検出が起こると、前述のように、相対誤差を1と定義することができる。図77は、RR及びHRの平均相対精度ならびに各位置における検出率を示す。3つの位置すべてについて、ViMoは、RR及びHRの両方の平均精度が92.8%を上回ることを達成することが分かる。検出率については、中央位置と他の2つの位置との間隔が十分に大きくなく、中央位置の方が離れているため、中央位置で検出率が低下する。しかしながら、時間の経過に伴う全体的な検出率は、試験中に依然として92.7%を上回っている。
【0875】
本開示は、単一の商用802.11adデバイスを使用する複数人数バイタルサイン監視システムであるViMoを開示する。事前のキャリブレーションなしに人間の目標を位置決めし、計数するために、マルチオブジェクト静止/非静止検出アルゴリズムを考案できる。高精度のACFを使用する即座の呼吸速度の推定に加えて、呼吸信号の妨害を排除し、次いで、時間及び周波数ダイバシティの両方を活用して心拍数を推定する、ロバストな心拍数推定器をさらにデザインすることができる。無線バイタルサイン監視のための最も困難なシナリオであるNLOSと動きアーチファクトを含む様々な設定による、ViMoの性能を評価できる。実験結果は、ViMoがRR及びHR推定のために、それぞれ、0.19BPM及び0.92BPMの中央値エラーで、バイタルサインを正確に監視できることを示す。
【0876】
本開示の様々な実施形態において、呼吸及び/または心臓の鼓動検出のためのアルゴリズムは、以下のように実行されてもよい。
【0877】
s1: 複数の送信(Tx)アンテナと複数の受信(Rx)アンテナを用いてCSIをキャプチャする。
【0878】
s2: 方向性CSI(CIR など) を得るためにビームフォーミングを適用する。
【0879】
s3: それぞれの方向におけるオブジェクト存在オブジェクトを検出することによって、関心方向(DoI)を決定する。それぞれの方向について:s3a:電力応答を計算する。s3b:電力応答が閾値より大きい場合、オブジェクトが方向に存在する(したがって、方向はDoIである)ことを決定する。しきい値はオブジェクトの距離に対して適応的であってもよい(例えば、指向性CSIは、多くのタップを有するCIRであってもよい。各タップが距離に関連付けられてもよい。各タップがそれぞれのしきい値でテストされてもよい。「近い」タップに対するしきい値が「遠い」タップに対するしきい値よりも大きくてもよい)。しきい値は試験中のセル(CUT)及びガードセルの層(例えば、ガードセルはCUTの周囲のセルの直接の層であってもよく、ガードセルはしきい値を計算するために使用されなくてもよい)の周囲の隣接セル(例えば、各セルは隣接セルが隣接方向を有するような方向に関連付けられてもよい)に基づいて適応的に計算されてもよいしきい値がCA−CFAR(セル平均化一定誤警報率(cell-averaging constant faise alarm rate))に基づいて適応的に計算されてもよい。
【0880】
s4:それぞれのDoIについて(すなわち、オブジェクトの存在が検出される)、ことs4a〜s4dによって、支配的(dominant)な周期的信号(例えば、呼吸速度)の特性(例えば、頻度、周期、強度、時間についての一貫性、変化/ドリフトなど)を計算する。
【0881】
s4a:オブジェクトの存在に関連する(例えば、指向性CIRのタップに関連する)距離を決定する。DoI及び距離は、一緒になって点を定義する。
【0882】
s4b:距離に関連する自己相関関数(ACF)(例えば、指向性CIRのタップの位相のACF)を計算する。時には、複数タップ/距離がオブジェクトの存在に関連付けられることがある。ACFは、各タップ/距離について計算することができる。複数ACFは例えば、加重平均によって組み合わせることができる。それぞれの重みは、それぞれのタップのいくつかの「重要度測定値」に基づいて決定されてもよい。あるいは、ACFが複数のタップについて一緒に計算されてもよい。あるいは、ドミナントタップを識別し、ACFをドミナントタップに関連付けることができる。
【0883】
s4c: ・ACFの有意な特徴点(例えば、極大値/最小、最初の極大値、第2の極大値など)を決定する。時には、複数タップ/距離がオブジェクトの存在に関連付けられることがある。ACFは、各タップについて計算されてもよい。有意特徴点は、各ACFについて計算されてもよい。複数タップのACFの重要な特徴点は例えば、加重平均または中央値フィルタ処理、または最尤法によって組み合わせることができる。
【0884】
s4d:有意な特徴点に基づいて、支配的な周期信号の特性(例えば、呼吸速度)を計算する。
【0885】
s5:それぞれのDoIについて、s5a〜s5bによって、次に支配的な周期的信号(例えば、心拍)の特性を計算する。
【0886】
s5a: 主要な周期信号の影響を除去/抑制して、未処理の信号を処理する(未処理の信号をフィルタする、主要な周期信号を推定し、未処理の信号から差し引くなど)。未処理の信号は、方向性CIRのタップの位相であってもよい。未処理信号は、s4におけるACFであってもよい。主要な周期的信号は未処理の信号上の操作(例えば、平滑化、低域フィルタリング、スプライン補間、立方スプライン補間、多項式フィッティング、距離/タップに基づいて適応的に選択された次数による多項式フィッティング、など)によって推定され得る。
【0887】
s5b: 処理された未処理の信号に基づいて、次に支配的な周期信号の特性を計算する。特性は、周波数変換、三角変換、高速フーリエ変換、ウェーブレット変換、ACFなどに基づいて計算されてもよい。
【0888】
s6:オブジェクトに関連する一組のDoIを決定する。例えば、クラスタリングは、全てのDoIに適用されてもよい。DoIのセットは、DoIのクラスタに対応し得る。セット(集合)内のDoIは、支配的な周期的信号及び/または次に支配的な周期的信号の類似または相関特性を有することができる。(例えば、人に関連するDoIの呼吸速度/心拍数は同じであるべきであり、異なるDoIの呼吸の位相/強度は(例えば、位相進み/遅れのために)異なりうるが、相関することがある。セット内のDoI(及び/または関連する距離/タグ)は、セット内のいくつかの他のDoIに隣接/接続され得る。DoIのセットは、オブジェクトの形状/シルエット/射影/サイズ/面積/体積/寸法/重み/身体状態/ビュー/アクション/アクティビティ/年齢/アイデンティティを反映することができる。
【0889】
s7:オブジェクトに関連付けられたDoIのセットに関連付けられた支配的な周期的信号の特性を組み合わせることによって、オブジェクト(例えば、人)の支配的な周期的信号(例えば、呼吸速度)の特性を計算する。
【0890】
s8:オブジェクトに関連付けられたDoIのセットに関連付けられた次の支配的な周期的信号の特性を組み合わせることによって、オブジェクトの次の支配的な周期的信号(例えば、心拍数)の特性を計算する。
【0891】
s5(及びs8)は追加(例えば、第3、第4など)の主要な周期信号の特性を決定するために再帰的に適用することができる。特性(例えば、呼吸速度及び/または心拍数)を時間にわたって計算することによって、特性を追跡することができる(例えば、軌跡を計算することによって、または規則的な活動/変更/偏差/異常/危険の兆候/医学的状態の徴候を検出することによって)。s3及びs4は、1組の関心距離(それぞれの距離が何らかのオブジェクトの存在に関連する)または1組の関心点(PoI)を計算することができるという点で、交換することができる。関心のあるそれぞれの距離(及びその関連する指向性CIRのタグ)について、すべての方向がオブジェクトについて試験されてもよい。
【0892】
本開示の様々な実施形態では、呼吸及び/または心臓の鼓動検出のための別のアルゴリズムが以下のように実行されてもよい。
【0893】
s1: 複数送信(Tx)アンテナと複数受信(Rx)アンテナを用いてCSIをキャプチャする。
【0894】
s2: 方向性CSI(CIR など) を得るためにビームフォーミングを適用する。
【0895】
s3: それぞれの方向におけるオブジェクトの存在を検出することによって、関心方向(DoI)を決定する。それぞれの方向について: s3a:CSIの大きさ(例えば、CIRの|h(シータ、ファイ、距離)|)を計算し、次いで、タイムウィンドウにわたってそれを時間平均し、 s3b:時間平均された大きさ応答が閾値T1(例えば、第1の閾値T2及び第2の閾値T3の最大値)より大きい場合、オブジェクトが方向に存在するか(したがって、方向はDoIである)を決定する。第1の閾値T2は、距離方向における|h|の1次元CFARフィルタリングであってもよく、式(73)中のベータによってさらにスケーリングされてもよい。.第2の閾値T3は、|h|のシータ及びファイ方向の2次元CFARフィルタリングであってもよく、式(73)中のアルファによってさらにスケーリングされてもよい。
【0896】
s4:それぞれのDoIについて(すなわち、オブジェクトの存在が検出される)、s4a〜s4eによって、(a)静止オブジェクト(例えば、家具)、(b)静止した人(呼吸及び心臓の鼓動を伴う)、(c)無作為な体運動、にオブジェクトを分類することによって、動き検出を実行する。
【0897】
s4a: CSIの位相(例えば、h(シータ、ファイ、距離)の位相、hの大きさであるNOT|h|ではない。)の分散Vを計算する。
【0898】
s4b: Vが閾値T4未満である場合、動きを「静止オブジェクト」として分類する。
【0899】
s4c:V>T4の場合、ACFを計算し、有意な特徴点P1(例えば、第1のピーク)を見つける。
【0900】
s4d: V>T6(T6>T4)またはP1が閾値T5未満である場合、運動を「ランダム体動(RBM)」として分類する。
【0901】
s4e: V>T4及びP1>T5の場合、動きを「静止した人」として分類する。s4c1、s4c2及びs4c3を使用して、P1に対応する支配的周期信号(例えば、呼吸速度)の仮の特性を計算する。
【0902】
s4e1:距離に関連する自己相関関数(ACF)(例えば、指向性CIRのタップの位相の時間にわたるACF)を計算する。時には、複数のタップ/距離がオブジェクトの存在に関連付けられることがある。それらは、(例えば、s6において)マージ/クラスタ化/融合されてもよい。ACFは、各タップ/距離について計算することができる。複数のACFは例えば、加重平均によって組み合わせることができる。それぞれの重みは、それぞれのタップのいくつかの「重要度測定値」に基づいて決定されてもよい。あるいは、ACFが複数のタップについて一緒に計算されてもよい。あるいは、支配的なタップを識別し、ACFを支配的なタップに関連付けることができる
【0903】
s4e2:ACFの重要な特徴点(例えば、極大値/最小、最初の極大値、第2の極大値など)を決定する。時には、複数のタップ/距離がオブジェクトの存在に関連付けられることがある。ACFは、各タップについて計算されてもよい。有意な特徴点は、各ACFについて計算されてもよい。複数タップのACFの有意な特徴点は例えば、加重平均または中央値フィルタ処理、または最尤法によって組み合わせることができる。
【0904】
s4e3:有意な特徴点に基づいて、支配的な周期信号の特性(例えば、呼吸速度)を計算する。
【0905】
s5:それぞれのDoIについて、s5a〜s5bにより、次に支配的な周期的信号(例えば、心拍)の特性を計算する。
【0906】
s5a: 支配的な周期信号の影響を除去/抑制して、未処理の信号を処理する(未処理の信号をフィルタする、又は支配的な周期信号を推定して、未処理の信号から差し引くなど)。未処理の信号は、方向性CIRのタップの位相であってもよい。未処理の信号は、s4におけるACFであってもよい。主要な周期信号は未処理の信号上の操作(例えば、平滑化、低域フィルタリング、スプライン補間、Bスプライン、立方スプライン補間、多項式フィッティング、距離/タップに基づいて適応的に選択された次数を持つ多項式フィッティング、など)によって推定され得る。支配的周期信号(例えば、呼吸信号)の推定は、制約付き最適化(例えば、Bスプライン補間、滑らかさの制約のもとでのタイムウィンドウ(例えば、持続W)における平均二乗エラーの最小化)によって計算されてもよい。推定は一組の予め定義された時間関数(例えば、Bスプライン基底関数、他のスプライン基底関数、他の完全または不完全な基底関数)の線形組み合わせであってもよい。線形組み合わせの係数は、ベクトル/行列演算に基づいて計算されてもよい。
【0907】
s5b: 処理された未処理の信号に基づいて、次に支配的な周期信号の特性を計算する。特性は、周波数変換、三角変換、高速フーリエ変換、ウェーブレット変換、ACFなどに基づいて計算されてもよい。また、特性は制約付き最適化(例えば、滑らかさの制約を受けるエネルギー関数の最小化)によって計算されてもよい。エネルギー関数は周波数のエネルギーであってもよい(例えば、支配的成分除去信号のFFTのエネルギーであってもよく、信号は、融合/クラスタ化された信号であってもよい)。滑らかさの制約は、尤度の対数に基づくことができる。心拍数は、ある状態遷移確率を有するマルコフ連鎖としてモデル化することができる。(例えば、典型的には、最大状態遷移確率が状態変化なしに対応する。) マルコフ連鎖の尤度が初期確率と状態遷移確率の積であり得る。尤度の対数は、個々の項の和であってもよい。
【0908】
s6:オブジェクトに関連する一組のDoIを決定する。例えば、クラスタリングを全てのDoIに適用することができる。DoIのセットは、DoIのクラスタに対応し得る。セット内のDoIは、支配的な周期的信号及び/または次に支配的な周期的信号の類似かまたは相関する特性を有することができる。(例えば、人に関連付けられたDoIの呼吸速度/心拍数は同じであるべきであり、異なるDoIの呼吸の位相/強度は(例えば、位相進み/遅れのために)異なるが、相関することがある)。セット内のDoI(及び/または関連する距離/タグ)は、セット内のいくつかの他のDoIに隣接/結びつけられ得る。DoIのセットは、オブジェクトの形状/シルエット/射影/サイズ/面積/体積/寸法/重み/身体状態/ビュー/アクション/アクティビティ/年齢/アイデンティティを反映することができる。
【0909】
s7:オブジェクトに関連付けられたDoIのセットに関連付けられた支配的な周期的信号の特性を組み合わせることによって、オブジェクト(例えば、人)の支配的な周期的信号(例えば、呼吸速度)の特性を計算する。
【0910】
s8:オブジェクトに関連付けられたDoIのセットに関連付けられた次の支配的な周期的信号の特性を組み合わせることによって、オブジェクトの次の支配的な周期的信号(例えば、心拍数)の特性を計算する。
【0911】
s5(及びs8)は追加(例えば、第3、第4など)の支配的な周期信号の特性を決定するために再帰的に適用することができる。特性(例えば、呼吸数及び/または心拍数)を時間にわたり計算することによって、特性を追跡することができる(例えば、軌跡を計算することによって、または規則的な活動/変更/偏差/異常/危険の兆候/医学的状態の徴候を検出することによって)。s3及びs4は、1組の関心距離(それぞれの距離が何らかのオブジェクトの存在に関連する)または1組の関心点(PoI)を計算することができるという点で、交換することができる。それぞれの関心のある距離(及びその関連する指向性CIRのタグ)について、すべての方向がオブジェクトについて試験されてもよい。
【0912】
本開示の様々な実施形態において、呼吸及び/または心臓の鼓動検出は、以下の項に開示されるような方法によって実行されてもよい。
【0913】
項C1:場所の無線マルチパスチャネルを介してタイプ1デバイスのN1本の送信(Tx)アンテナを使用してタイプ1異種無線デバイスから無線プローブ信号を送信することであって、前記場所内の第1のオブジェクトが第1の反復運動を受けていることと、タイプ2異種デバイスのN2本の受信(Rx)アンテナを使用して前記タイプ2異種無線デバイスによって前記無線プローブ信号を受信することと、プロセッサと、前記プロセッサと通信可能に結合されたメモリと、前記メモリに記憶された命令の組とを使用して、前記受信された無線プローブ信号に基づいて前記無線マルチパスチャネルのチャネル情報(CI)のいくつかの時系列を取得することであって、CIのそれぞれの時系列(TSCI)は、タイプ1デバイスのTxアンテナ及びタイプ2デバイスのRxアンテナに関連付けられていることと、TSCIの数に基づいて前記第1の反復運動の第1の情報を計算することと、前記第1の情報に基づいて前記第1のオブジェクトの前記第1の反復運動を監視することと、を備える無線監視システムの方法。
【0914】
項C2:項C1の無線監視システムの方法であって、前記第1のオブジェクト及び第2のオブジェクトのうちの少なくとも1つが、第2の反復運動を受けていることと、TSCIの数及び前記第1の情報のうちの少なくとも1つに基づいて前記第2の反復運動の第2の情報を計算することと、前記第2の情報に基づいて前記第2の反復運動を監視することとをさらに含む方法。
【0915】
項C3:項C2の無線監視システムの方法であって、前記第1の情報及び前記第2の情報のうちの少なくとも1つに基づいて少なくとも1つの分析を計算することと、前記第1の情報、前記第2の情報、及び前記少なくとも1つの分析のうちの少なくとも1つを記憶することと、前記第1の情報、前記第2の情報、及び前記少なくとも1つの分析のうちの少なくとも1つを、サーバー及びユーザデバイスのうちの少なくとも1つに通信することと、前記第1の情報、前記第2の情報、及び前記少なくとも1つの分析のうちの少なくとも1つに基づいて表示を生成することとをさらに含む方法。
【0916】
項C4:項C1の無線監視システムの方法であって、前記第1のオブジェクト及び第2のオブジェクトのうちの少なくとも1つが、第2の反復運動を受けていることと、前記第1の反復運動及び前記第2の反復運動を、前記TSCIの数に基づいて同時に監視することとをさらに含む方法。
【0917】
項C5:項C1の無線監視システムの方法であって、前記第1のオブジェクト及び第2のオブジェクトのうちの少なくとも1つが、第2の反復運動を受けていることと、前記第1の反復運動及び前記第2の反復運動を前記TSCIの個数に基づいて連続的に監視することとをさらに含む方法。
【0918】
項C6:項C1の無線監視システムの方法であって、前記第1のオブジェクト及び第2のオブジェクトのうちの少なくとも1つが、第2の反復運動を受けていることと、前記第1の反復運動の監視に基づいて前記第2の反復運動を監視することとをさらに含む方法。
【0919】
項C7:項C1の無線監視システムの方法であって、前記第1のオブジェクト及び第2のオブジェクトのうちの少なくとも1つが、第2の反復運動を受けていることと、前記第1の反復運動の影響の除去に基づいて前記第2の反復運動を監視することとをさらに含む方法。
【0920】
項C8:項C7の無線監視システムの方法であって、前記TSCIの数と前記第1の反復運動の前記影響の除去とに基づいて前記第2の反復運動の第2の情報を計算し、前記第2の情報に基づいて前記第2の反復運動を監視することとをさらに含む方法。
【0921】
項C9:項C7に記載の無線監視システムの方法であって、前記第1の反復運動の前記影響を推定すること、前記第1の反復運動の影響を除去すること、前記第1の反復運動の影響を取り消すこと、前記第1の反復運動の前記影響を抑制すること、前記第1の反復運動の推定値を減算すること、前記第1の反復運動の推定値によって除算すること、フィルタリング、前フィルタリング、後フィルタリング、前処理、後処理、平滑化、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、及び別の処理、のうちの少なくとも1つによって、前記第1の反復運動の影響を除去することをさらに含む方法。
【0922】
項C10:項C9に記載の無線監視システムの方法であって、マージ、クラスタリング、複数の方向に関連する推定値のマージ、前記第1の反復運動に関連する複数の方向のクラスタリング、多項式補間、区分的多項式補間、多項式フィッティング、適応次数を有する多項式フィッティング、及び前記無線プローブ信号のプローブレート、前記受信無線プローブ信号のサンプリングレート、第1のオブジェクトの距離、無線マルチパスチャネルの帯域幅、第1の反復運動の周波数、第2の反復運動の周波数のうちの少なくとも1つに基づいて適応的に選択された順序を有する多項式フィッティング、スプライン補間、3次スプライン補間、Bスプライン、最適化、制約付き最適化、滑らかな制約を受ける費用関数の最小化、双線形式制約を受ける補間誤差エネルギー項の最小化、フィルタリング、前フィルタリング、後フィルタリング、低域フィルタリング、高域フィルタリング、帯域フィルタリング及び平滑化のうちの少なくとも1つに基づいて前記第1の反復運動の前記影響を推定することをさらに含む方法。
【0923】
項C11:項C1の無線監視システムの方法であって、TSCIの数に基づいてビームフォーミングを計算することと、前記ビームフォーミングに基づいて方向にそれぞれ関連付けられた少なくとも1つの導出されたTSCIを計算することとをさらに含む方法。
【0924】
項C12:項C11の無線監視システムの方法であって、各C1は各々が伝播遅延に関連する多数の成分を含み、前記ビームフォーミングは、成分的(component-wise1)に計算される方法。
【0925】
項C13:項C11の無線監視システムの方法であって、ビームフォーミングは成分的な方法で特定の時間に適用され、特定の時間における導出されたCIは、特定の時間におけるTSCIの数のすべてのそれぞれのCIに適用されるビームフォーミング上で計算され、すべてのCIは同じ数の成分を有し、特定の時間における導出されたCIのそれぞれの成分は、TSCIの数のすべてのそれぞれのCIの対応する成分に基づいて計算される方法。
【0926】
項C14:C11の無線監視システムの方法であって、ビームフォーミングは、アナログビームフォーミング、デジタルビームフォーミング、非適応的ビームフォーミング、適応的ビームフォーミング、パラメトリックビームフォーミング、ノンパラメトリックビームフォーミング、圧縮センシングベースビームフォーマ、最小分散無歪応答(MVDR)ビームフォーミング、逆問題に対する解法、到来方向推定、トモグラフィック再構成、最尤法、最大エントロピ法、共分散法、離散フーリエ変換のピーク検出、超解像法、パラメータフリー超解像法、ターゲット方向における歪みの制約付き最小化、ターゲット方向以外の方向からの干渉及び雑音のパワーの制約付き最小化、固有値分解、特異値分解(SVD)、別の分解、信号部分空間決定、雑音部分空間決定、射影、自己回帰(AR)モデル、自己回帰移動平均(ARMA)モデル方向に関連するステアリングベクトル、及び信号行列、相関行列、共分散行列、自己相関行列、自己共分散行列、行列の逆行列、及び別の行列を含む行列の分析、複数信号分類(MUSIC)、MUSICのような方法、時間反転MUSIC(TR−MUSIC)、Caponビームフォーマ、Butler行列、Pisarenko高調波分解、反復スパース漸近最小分散(SAMV)、スペクトル推定、赤池情報量基準(AIC)、ベイズ情報量基準(BIC)、一般化情報基準(GIC)、基準の変形、モデル次数選択アルゴリズム、及び別のビーム形成方法、のうちの少なくとも1つに基づいて計算される方法。
【0927】
項C15:項C1の無線監視システムの方法であって、前記TSCIの数及びビームフォーミングに基づいて、伝搬遅延のセットに関連する空間スペクトル及び空間スペクトルに対する方向のセットについて計算することと、空間スペクトルに基づいて、少なくとも1つのオブジェクトを監視することとをさらに含み、各方向は、角度、方位角、仰角、座標、ステアリングベクトル、タイプ1デバイスの送信アンテナとタイプ2デバイスの受信アンテナとの間のリンク、前記方向におけるオブジェクトに関連する経路、及び別の方向記述子のうちの少なくとも1つに関連し、各伝搬遅延は、タイムラグ、タイムディレイ、タイムインデックス、伝搬時間、タイムオブフライト、距離、レンジ、及び別の時間記述子に関連する、方法。
【0928】
項C16:項C1の無線監視システムの方法であって、TSCIの数とビームフォーミングに基づいて、方向に関連付けられたDIの時系列(TSDI)のセットを計算し、前記TSDIに基づいて前記第1の反復運動の前記第1の情報を計算し、ここでチャネル情報(CI)は、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、及びチャネル周波数応答(CFR)のうちの少なくとも1つを含み、TSDIの方向情報(DI)は、CI、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、方向に関連付けられた方向CI(DCI)、方向CSI(DCSI)、方向CIR(DCIR)、方向CFR(DCFR)、及び距離に関連付けられたCI、CSI、CFR、DCSI、DCIR、及びDCFRのうちの少なくとも1つの成分、及びCI、CSI、CIR、DCI、DCSI、DCIR、DCIR、DCFR、及び成分のうちの少なくとも1つの大きさ、CI、CSI、CIR、DCI、DCSI、DCIR、DCFR及び成分のうちの少なくとも1つの位相、方向への重み、空間スペクトル、場所の空間における反射信号の情報の分布、場所の空間における反射信号のエネルギーの分布、ヒートマップ、及び別の方向情報のうちの少なくとも1つを含む、方法。
【0929】
項C17:項C16の無線監視システムの方法であって、それぞれの方向におけるオブジェクト存在についてそれぞれのTSDIを試験することと、オブジェクト存在が検出される方向を含む関心方向(DoI)のセットを計算することとをさらに含む、方法。
【0930】
項C18:項C17の無線監視システムの方法であって、それぞれの方向に関連付けられたそれぞれのTSDI、及びそれぞれの隣接方向にそれぞれ関連付けられたTSDIのセットのうちの少なくとも1つに基づいて、それぞれの試験量を計算することであって、それぞれの試験量は、特定の方向における特定の距離における特定の点に関連付けられ、特定の点は、特定の時点における特定のTSDIの特定のDIの特定の成分に関連付けられる、計算することと、前記それぞれの試験量がそれぞれの閾値よりも大きい場合、前記それぞれの方向におけるオブジェクトの存在を検出することと、をさらに含む方法。
【0931】
それぞれの試験量がそれぞれの閾値未満である場合、それぞれの方向にオブジェクトが存在しないことを検出すること。
【0932】
項C19:項C17の無線監視システムの方法であって、それぞれの方向及び距離に対するそれぞれのTSDIに基づいてそれぞれの試験量を計算することと、それぞれの試験量がそれぞれの閾値よりも大きい場合に、それぞれの方向における距離にオブジェクトの存在を検出することとをさらに含む、方法。
【0933】
項C20:項C19の無線監視システムの方法であって、オブジェクト存在に関連する関心点(PoI)を計算することをさらに含み、ここで、PoIは、オブジェクトの存在が検出された、それぞれの方向及びそれぞれの距離に対応する点である、方法。
【0934】
項C21:項C19の無線監視システムの方法であって、それぞれの閾値が距離適応閾値であり、それぞれの閾値が距離に適応的に基づく、方法。
【0935】
項C22:項C18又は項C19の無線監視システムの方法であって、それぞれの閾値が方向適応閾値であり、それぞれの閾値が、コンスタント誤警報率(CFAR)、それぞれの方向の隣接方向の値の加重平均、それぞれの方向の直接隣接する方向の保護領域を除く隣接方向の値の加重平均、セル平均のコンスタント誤警報率(CA−CFAR)、及び別の方向性の方法のうちの少なくとも1つに基づく、方法。
【0936】
項C23:項C1の無線監視システムの方法であって、TSCIの数及びビームフォーミングに基づいて、方向に関連する方向情報の時系列(TSDI)を計算することと、オブジェクトの存在に関連するTSDIのタイムウィンドウを決定することと、TSDIのタイムウィンドウに基づいて、前記第1の反復運動の前記第1の情報を計算することとをさらに含む、方法。
【0937】
項C24:項C1の無線監視システムの方法であって、TSCIの数とビームフォーミングとに基づいて方向情報の時系列(TSDI)を計算することであって、前記TSDIはオブジェクトの存在に関連する方向である、関心方向(direction-of-interest:DoI)に関連し、TSDIの各方向情報(DI)が、それぞれ伝播遅延及び距離に関連するいくつかの成分を含む、計算することと、DIの第1の成分がタイムウィンドウ内のオブジェクトの存在に関連すると判定することと、TSDIのタイムウィンドウ内の各DIの前記第1の成分に基づいて、第1の反復運動の第1の情報を計算することと、をさらに含む方法。
【0938】
項C25:項C24の無線監視システムの方法であって、前記TSDIの前記タイムウィンドウにおける各DIの前記第1の成分の特徴に基づいて前記第1の反復運動の前記第1の情報を計算することであって、前記特徴は、大きさ、位相、実成分、虚数成分、別の特徴の関数、大きさの二乗、大きさの指数関数、及び別の特徴のうちの少なくとも1つを含む方法。
【0939】
項C26:項C25の無線監視システムの方法であって、TSDIのタイムウィンドウにおいて各DIの前記第1の成分の前記特徴の統計関数を計算することをさらに含み、前記統計関数は、オート関数、自己相関関数(ACF)、自己共分散関数、オート関数の関数、オート関数の二乗、オート関数の多項式、オート関数の変換、オート関数の周波数変換、オート関数のフーリ変換、相互相関、相互共分散、ACFの二乗、ACFの多項式、ACFの変換、ACFのフーリエ変換、電力スペクトル密度、移動平均、スライディング平均、スライディング分散、別の統計関数、及び別の統計関数の関数のうちの少なくとも1つを含む方法。
【0940】
条項C27:項C26の無線監視システムの方法であって、前記統計関数の少なくとも1つの特徴点を計算することをさらに含み、少なくとも1つの前記特徴点は、ゼロ交差、勾配のゼロ交差、高次微分のゼロ交差、前記統計関数のゼロ交差、最大、勾配の最大、高次微分の最大、前記統計関数の前記関数の最大、最小、勾配の最小、高次微分の最小、前記統計関数の前記関数の最小、極値、勾配の極値、高次微分の極値、前記統計関数の前記関数の極値、全体で最大、局所の最大、制約付き極大、有意な局所の最大、全体で最小、局所の極小、制約付き最小、有意な局所的最小、全体的な極値、極値、制約付き極値、有意な極値、いくつかの最大値、いくつかの連続する最大値、いくつかの最小値、いくつかの連続する最小値、いくつかの最大値及び最小値、連続する最大値及び最小値の数、他の特徴点、のうちの少なくとも1つを含む、計算することと、前記少なくとも1つの特徴点に基づいて前記第1の反復運動の前記第1の情報を計算することと、を含む方法。
【0941】
項C28:項C25の無線監視システムの方法であって、前記第1のオブジェクト及び第2のオブジェクトのうちの少なくとも1つが、第2の反復運動を受けていることと、前記TSDIのタイムウィンドウ内のそれぞれのDIの第2の成分の特徴に基づいて、前記第2の反復運動の第2の情報を計算することと、前記第2の情報に基づいて、前記第2の反復運動を監視することとをさらに含む方法。
【0942】
項C29:項C29の無線監視システムの方法であって、前記第1のオブジェクトが、前記第2の反復運動を受けていることと、前記TSDIの前記タイムウィンドウにおけるそれぞれのDIの前記第1の成分の特徴に基づいて、前記第1のオブジェクトの前記第2の反復運動の前記第2の情報を計算することと、前記第2の情報に基づいて、前記第1のオブジェクトの前記第2の反復運動を監視することとをさらに含む方法。
【0943】
項C30:項C29の無線監視システムの方法であって、前記第1の情報に基づいて前記第1のオブジェクトの前記第2の反復運動の前記第2の情報を計算することをさらに含む方法。
【0944】
項C31:項C29の無線監視システムの方法であって、前記特徴に対する前記第1の反復運動の第1の影響を除去することによって、前記TSDIの前記タイムウィンドウにおけるそれぞれのDIの前記第1の成分の前記特徴を処理することと、前記処理された特徴に基づいて、前記第1のオブジェクトの前記第2の反復運動の前記第2の情報を計算することとをさらに含む方法。
【0945】
項C32:項C31の無線監視システムの方法であって、前記特徴に対する他の反復運動の第2の影響を抑制することによって、前記特徴に対する前記第1の反復運動の前記第1の影響の推定値を計算することと、前記TSDIの前記タイムウィンドウ内のそれぞれのDIの前記第1の成分の前記特徴から前記第1の影響の前記推定値を減算することによって、前記特徴に対する前記第1の反復運動の前記第1の影響を除去することとをさらに含む方法。
【0946】
項C33:項C16の無線監視システムの方法であって、各関心方向(DoI)が前記第1のオブジェクトのオブジェクト存在に関連付けられた方向である複数のDoIを決定することと、各DoIに対して1つのTSDIである、複数のTSDIを計算することと、それぞれのDoIに関連するそれぞれのTSDIに基づいてそれぞれの仮の第1の情報である、前記第1の反復運動の複数の仮の第1の情報を計算することと、仮の第1の情報の数に基づいて前記第1の情報を計算することとをさらに含む方法。
【0947】
項C34:項C16の無線監視システムの方法であって、前記仮の第1の情報の個数を結合することによって前記第1の情報を計算することをさらに含む方法。
【0948】
項C35:項C16の無線監視システムの方法であって、前記第1のオブジェクト及び第2のオブジェクトのうちの少なくとも1つが、第2の反復運動を受けており、各関心方向(DoI)がオブジェクトの存在に関連する方向である複数のDoIを決定することと、各DoIについて1つのTSDIである、複数のTSDIを計算することであって、前記第2の反復運動のいくつかの仮の第2の情報を計算し、各仮の第2の情報はそれぞれのTSDIに基づき、それぞれの仮の第2の情報は前記第1の反復運動のそれぞれの影響の除去がされている、計算することと、前記仮の第2の情報の数に基づいて、前記第2の反復運動の第2の情報を計算することをさらに備える方法。
【0949】
項C36:項C1の無線監視システムの方法であって、前記TSCIの数及びTSCIの数及びビームフォーミングに基づいて計算されたTSDIのうちの少なくとも1つに基づいて、関心点(points of interest(PoI))のセットを計算することであって、それぞれのPoIが、伝播遅延及び方向に関連付けられた場所内の点であることと、PoIのセットに基づいて第1のオブジェクトを監視することとをさらに備える方法
【0950】
項C37:項C17の無線監視システムの方法であって、TSCIの数及びTSDIに基づいて、関心のある伝搬遅延(propagation-delay-of-interest:PDoI)を計算することをさらに含み、前記PDoIは選択された伝搬遅延のセットを含み、各伝搬遅延はそれぞれの距離に関連付けられ、各選択された伝搬遅延は第1のオブジェクトの存在に関連付けられ、前記PDoIに基づいて、PoIのセットを計算することをさらに方法。
【0951】
項C38:項C18の無線監視システムの方法であって、伝搬遅延に関連するTSDIの変動性測定を計算することであって、それぞれの指向性情報がTSCIの数及びビームフォーミングに基づいて計算され、変動性測定が、標準偏差、分散、分散の測定、拡散の測定、分散の測定、偏差の測定、発散の測定、範囲、四分位範囲、総変動、絶対偏差、及び総偏差のうちの少なくとも1つを含むことと、伝搬遅延を選択することと、変動性測定が閾値よりも大きい場合、伝搬遅延を少なくとも1つのオブジェクトの存在に関連付けることと、選択された伝搬遅延をPDoIに追加することと、をさらに備える方法。
【0952】
項C39:項C19の無線監視システムの方法であって、それぞれの伝搬遅延に関連する伝搬遅延のセットに関連する変動制測定のセットを計算することと、変動制定のセットの関数として閾値を計算することとをさらに含み、関数は、平均、中央値、モード、パーセンタイル、加重平均、幾何平均、調和平均、トリム平均、分散、スケーリング、オフセット、線形関数、非線形関数、単調非減少関数、単調非増加関数、及び複合関数のうちの少なくとも1つを含む方法。
【0953】
項C40:項C18の無線通信システムの方法であって、PDoIが少なくとも2つのクラスタの連続伝搬遅延値を含むことと、PDoIの2つのクラスタの間の距離を計算することと、距離が閾値未満である場合に、2つのクラスタの間の欠落伝搬遅延値をPDoIに追加することによってPDoIを拡張することとをさらに備える方法。
【0954】
条項C41:項C18の無線監視システムの方法であって、PDoIが連続伝搬遅延値の少なくとも1つのばらばらのクラスタを含み、特定の方向におけるPDoIにおける伝搬遅延に関連する方向量を検査することと、特定の方向における点のセルを識別することであって、点のセルに関連する伝搬遅延値がPDoIのクラスタのサブセットであり、セル内の各点が、閾値よりも大きい関連する方向情報を有する、検査することと、点のセルにおいて、セルの以下の特性のうちの少なくとも1つを有する伝搬遅延に関連する特徴点を選択することであって、それは、方向量に関する(w.r.t.)最小、最大、中点、平均、重心、方向量に関する平均、方向量に関する加重平均、方向量に関する中央値、方向量に関するモード、方向量に関するパーセンタイル、方向量に関する最小、方向量に関する最大、方向量に関する極小、方向量に関する極大、方向量に関する最小勾配、方向量に関する最大勾配、方向量に関する極小勾配、方向量に関する極大勾配、及び別の特性である選択することと、選択された特徴点をPoIとしてPoIのセットに加えることと、を含む方法。
【0955】
項C42:項C18の無線監視システムの方法であって、PDoIが連続伝搬遅延値の少なくとも1つのばらばらのクラスタを含み、PDoI内の伝搬遅延に関連する方向量を検査することと、場所内の点のセットを識別することであって、ここで前記点のセットに関連する伝搬遅延値はPDoIの特定のばらばらのクラスタのサブセットであり、前記セル内の各点は第1の基準を満たす関連する方向情報を有する、識別することと、点の前記セットに関連する各方向について、方向における点の前記セットのサブセット及び関連する方向量のうちの少なくとも1つに基づいて、少なくとも1つの特性点を選択することと、少なくとも1つの選択された特性点をPoIのセットにPoIとして追加すること、をさらに含む方法。
【0956】
項C43:項C23の無線監視システムの方法であって、PoI内の点をリファインすることをさらに含み、リファインすることは、平滑化、フィルタ処理、超解像、補間、1次元(1−D)補間、2−D補間、3−D補間、変換、極座標から直交座標への変換、及び別のプロセスのうちの少なくとも1つを含む方法。
【0957】
項C44:項C17の無線監視システムの方法であって、PoIのセットを、関連する方向量に基づいて以下の少なくとも1つによってクリーニングすることであって、それは、PoIのセットを再サンプリングすること、方向量に基づいて重み付けされたリサンプリングすること、PoIのセットからあるPoIを除去すること、PoIのセットにPoIを追加すること、PoIのセットから重要でないPoIを除去すること、重要でない関連する方向情報を有するPoIを除去すること、閾値未満の方向情報に関連するPoIを除去すること、動的閾値未満の方向情報に関連するPoIを除去すること、適応閾値未満の方向情報に関連するPoIを除去することであって、適応閾値は伝搬遅延に関して単調非減少である除去すること、適応閾値未満の方向情報に関連するPoIを除去することであって、適応閾値は伝搬遅延に関連するレンジの区分線形関数である除去すること、フィルタすること、線形フィルタリングすること、非線形フィルタリングすること、及び他のPoIへの操作である、方法。
【0958】
条項C45:項C17の無線監視システムの方法であって、PoIのセット及び関連する方向量を処理し、前記処理に基づいて少なくとも1つのオブジェクトを監視することであって、前記処理は少なくとも、クラスタリング、少なくとも1つのクラスタの識別、少なくとも1つのクラスタを少なくとも1つのオブジェクトに関連付けること、k平均クラスタリングすること、再サンプリングすること、重み付けされた再サンプリングすること、形態学的演算を行うこと、閾値化すること、シルエット分析を行うこと、各PoIに関連するシルエットを計算すること、及びPoIの同じクラスタ内のPoIから他のPoIまでの平均距離、異なるクラスタ内のPoIからPoIまでの最小距離、と前記2つの距離の極大化、のうちの少なくとも1つに基づいてシルエット値を計算すること、シルエット値を最大化すること、PoIとクラスタ間の類似性スコアを計算すること、類似性スコアを最大化すること、PoIが、そのPoIの隣接するクラスタとの分離距離(separation distance)と比較して、PoIのそれ自身のクラスタにどの程度類似しているかに関する特徴付けスコアを計算すること、特徴付けスコアを最大化する。PoIの集合をタイムスタンプと関連付けること、PoIのセットを別のタイムスタンプと関連付けられたPoIのセットと一緒に処理すること、PoIの集合のグローバル重心を計算すること、密度の制約を満たす全ての近傍点に反復的に拡張すること、それぞれが閾値より大きい密度を有する近傍の点のセットに反復的に拡張すること、特定の半径の近傍円内の点の最小数より大きい、密度を有する近傍点のセットに反復的に拡張すること、重心から平面に拡張された点の集合を射影すること、点の集合から射影された面積を計算すること、平面内の面積を計算すること、各クラスタのメドイドを計算すること、クラスタ内のメドイド距離を計算すること、クラスタ内のすべての点からそのメドイドまでの距離を計算すること、2つのクラスタのメドイド間の距離を計算すること、別の処理を行うこと、のうちの少なくとも1つを含む、方法。
【0959】
項C46:項C17の無線監視システムの方法であって、コスト関数を最適化するクラスタリングアルゴリズムを適用することによって、PoIの前記セット内の複数のクラスタを決定することをさらに含み、前記クラスタリングアルゴリズムは、連結性ベースのクラスタリング、階層的クラスタリング、重心ベースのクラスタリング、k平均法アルゴリズム、ベクトル量子化、分布ベースのクラスタリング、多変量正規分布ベースのクラスタリング、ガウス混合ベースのクラスタリング、統計的分布フィッティング、最尤推定、期待値最大化アルゴリズム、密度ベースのクラスタリング、DBSCAN、OPTICS、密結合領域識別、部分空間ベースのクラスタリング、バイクラスタリング、共(co-)クラスタリング、2モードクラスタリング、グループベースのクラスタリング、モデルレスクラスタリング、グラフベースのクラスタリング、クリーク(clique)ベースのクラスタリング、準クリークベースのクラスタリング、HCSクラスタリング、符号付きグラフベースのクラスタリング、バランス理論ベースのクラスタリング、分岐グラフベースのクラスタリング、クラスタリング能力公理ベースクラスタリング、ニューラルネットワーク(NN)ベースのクラスタリング、自己組織化マップベースのクラスタリング、教師なしNNベースのクラスタリング、主成分分析、独立成分分析、構成要素解析、ハードクラスタリング、ソフトクラスタリング、ファジィクラスタリング、厳密区分クラスタリング、外れ値付き厳密区分クラスタリング、重複クラスタリング、代替クラスタリング、多視点クラスタリング及び別のクラスタリングのうちの少なくとも1つを含み、
コスト関数の最適化は、最大化、制約付き最大化、グローバル最大化、局所的最大化、メドイドに制限される最大化、最小化、制約付き最小化、グローバル最小化、局所的最小化、メドイドに制限される最小化、及び別の最適化に基づいており、コスト関数は、距離、平均距離、クラスタ内距離、クラスタ間距離、クラスタ内のPoIから同じクラスタ内の別のPoIまでの平均距離、クラスタ内のPoIから別のクラスタのPoIへの最小距離、メドイド距離、クラスタ内メドイド距離、クラスタ間メドイド距離、ユークリッド距離、絶対距離、L−1ノルム、L−2ノルム、L−kノルム、シルエット値、平均シルエット値、クラスタ内シルエット値クラスタ間シルエット値、距離に基づくシルエット距離、クラスタ内距離及びクラスタ間距離に基づくシルエット値、クラスタ内のPoIから同じクラスタ内の他のPoIまでの平均距離及びクラスタ内のPoIから他のクラスタ内のPoIまでの最小平均距離に基づくシルエット値、類似性スコア、平均類似性スコア、クラスタ内類似性スコア、クラスタ間類似性スコア、距離に基づく類似性スコア、クラスタ内距離及びクラスタ間距離に基づく類似性スコア、クラスタ内のPoIから同一クラスタ内の他のPoIまでの平均距離及びクラスタ内のPoIから別のクラスタ内のPoIへの最小平均距離に基づく類似性スコア、複数の時間的に近接するシルエット値の数に基づく適応シルエット値、複数の過去のシルエット値に基づく適応シルエット値、重み付け関数の適用に基づく適応シルエット値であって、重み付け関数はクラスタの数clusterrNumの関数である、適応シルエット値、重み付け関数の適用に基づく適応シルエット値であって、重み付け関数はclusterNumが過去のclusterNumのセットの多数値に等しい場合に最大である
、適応シルエット値に基づくコスト関数、及び別のコスト関数である、方法。
【0960】
項C47:項C27の無線監視システムの方法であって、メドイド距離に基づいてPDoIの集合内のクラスタを検証することと、クラスタ内メドイド距離が閾値よりも大きい場合にクラスタを分割することと、クラスタ間メドイド距離が別の閾値よりも小さい場合に2つのクラスタを結合することとをさらに含む方法。
【0961】
項C48:項C27の無線監視システムの方法であって、クラスタの数を少なくとも1つのオブジェクトに関連付けることと、及び、少なくとも1つのオブジェクトの計数、関連クラスタに属するすべての点の幾何学的メドイドに基づくオブジェクトの位置、及び関連クラスタに属するすべての点に関連する高さの最高値に基づく第1のオブジェクトの高さのうちの少なくとも1つを計算することとをさらに含む方法。
【0962】
条項C49:項C4の無線監視システムの方法であって、アナログビームフォーミング、デジタルビームフォーミング、非適応ビームフォーミング、適応ビームフォーミング、パラメトリックビームフォーミング、ノンパラメトリックビームフォーミング、圧縮センシングベースビームフォーミング、到来方向の推定、トモグラフィック復元、逆問題に対する解法、最尤法、最大エントロピ法、共分散法、信号行列または自己相関行列または共分散行列の固有値解析、固有値分解、特異値分解(SVD)、別の分解、投影、離散フーリエ変換のピーク検出、超解像法、パラメータフリー超解像法、自己回帰(AR)モデル、自己回帰移動平均(ARMA)モデル、相関行列、行列の逆、方向に関連するステアリングベクトル、最小分散ディストーションレスポンス(MVDR)ビームフォーマ、他の方向からの干渉及びノイズの最小パワー、向いている方向へのディストーションレスポンス、Caponビームフォーマ、Butler行列、複数信号分類(MUSIC)、MUSICのような方法、時間反転MUSIC(TR−MUSIC)、Pisarenko高調波分解、反復スパース漸近最小分散(SAMV)、スペクトル推定、赤池情報量基準(AIC)、ベイズ情報量基準(BIC)、一般化情報量基準(GIC)、基準の別形、モデル次数選択アルゴリズム、信号部分空間決定、雑音部分空間決定、投影、及び別のデジタルビームフォーミング方法、のうちの少なくとも1つに基づいて方向に対する方向情報を計算することをさらに含む方法。
【0963】
項C50:項C1の無線監視システムの方法であって、前記タイプ1デバイスの前記N1本のアンテナは少なくとも1つの第1の特性間隔を有する第1の格子に配置され、前記タイプ2デバイスの前記N2本のアンテナは少なくとも1つの第2の特性間隔を有する第2の格子に配置される、方法。
【0964】
ここで、タイプ1デバイス及びタイプ2デバイスは場所内の2つの異なった位置に配置されるか、タイプ1デバイス及びタイプ2デバイスは場所内の同じ位置に配置されるか、タイプ1デバイス及びタイプ2デバイスはプローブ信号を送信し、受信されたプローブ信号からTSCIの数を取得する集積回路(IC)を備える同じデバイス、の内の少なくとも1つである。
【0965】
項C51:項C1の無線監視システムの方法であって、場所内に2つのペア以上のタイプ1デバイス及びタイプ2デバイスのペアがあり、ペアのそれぞれのタイプ2デバイスが前記ペアの前記それぞれのタイプ1デバイスから非同期にそれぞれの無線信号を受信し、それぞれのTSCIを非同期に取得し、第1のペアのタイプ1デバイス及びタイプ2デバイスが並置され、第2のペアのタイプ1デバイス及びタイプ2デバイスが、場所内の2つの異なった位置に配置される、方法。
【0966】
項C52:項C1の無線監視システムであって、前記第1の反復運動が、非繰り返し的、反復1回、反復2回、反復複数回数、規則的、不規則的、周期的、疑似周期的、及び一時的に周期的のうちの少なくとも1つである方法。
【0967】
項C53:項C1又は項C2の無線監視システムの方法であって、第1の情報(info)及び節C2の無線監視システムの方法であって、第1の情報(info)及び第2の情報は、周期性情報、リズム情報、タイミング情報、強度情報、規則性情報、瞬間的な情報、統計情報、通常から逸脱した情報、状態情報、状態遷移情報、瞬時情報、局所情報、移動情報、スライド情報、重み付け情報、モーション情報、近接情報、存在情報、動作情報、ジェスチャ情報、歩容情報、歩容サイクル情報、行動情報、活動情報、ふるまい情報、日常ルーチン情報、位置情報、ナビゲーション情報、位置決め情報、局在情報、トラッキング情報、座標情報、空間情報、時間情報、トレンド情報、履歴情報、ユーザ情報、識別情報、認識情報、分類情報、場所情報、数量情報、計数情報、イベント情報、安全情報、緊急情報、呼吸情報、心拍情報、スリープ情報、バイオメトリック情報、心肺情報、日常活動情報、慢性疾病情報、医療情報、ヒストグラム、平均、平均化、移動平均、加重平均化、加重平均、トリム平均、分散、標準偏差、相関、相関係数、相関係数、中央値、モード、重み付き中央値、分布、統計、条件付き分析、条件付き統計、条件付き平均、条件付き分散、条件付き中央値、条件付きモード、短期相関、長期相関、自己相関、相互相関、相関指標、短期共分散、長期共分散、自己共分散、相互共分散、共分散指標、変動の尺度、ばらつき、分散、散乱、偏差、ダイバージェンス、レンジ、四分位範囲、全変動、絶対偏差、全偏差、算術平均、幾何平均、調和平均、トリム平均、パーセンタイル、四分位、指標、表示、早期表示、瞬時表示、同時期表示、遅延のある表示、パターン、ワンタイムパターン、繰返しパターン、発展するパターン、時間パターン、相互排他的パターン、関連パターン、相関パターン、典型的パターン、異形パターン、開始、停止、休止、再開、有、無、近接、イベント、正常なイベント、怪しいイベント、危険イベント、アラームイベント、警告、信用、衝突、振幅、強度、強さ、頻度、周期、期間、位相、位相ラグ、サイクル、時間、タイミング、開始時間、終了時間、持続期間、タイムラグ、オフセット、シフト、偏差、分散、変化、変更、調整、適応、方向付け、方向、軸、位置、距離、変位、高さ、速度、加速度、角度、角度距離、角速度、角加速度、半径方向距離、角度変位、変位、急変、徐々に変化、周波数の変化、周期の変化、遷移、生体計測、呼吸数、呼吸周期、呼吸タイミング、呼吸リズム、呼吸パターン、呼吸の強さ、呼吸の振幅、呼吸の深さ、呼吸の変動、呼吸数の変動、心拍数、心拍周期、心拍、心拍タイミング、ハートリズム、ハートビート強度、ハートビート振幅、ハートビート変動、心拍変動(HRV)、状態、睡眠状態、急速眼球運動(REM)状態、非急速眼球運動(REM)状態、起きている状態、セキュリティ状態、動作状態、動作強度、動きタイプ、動き分類、静的動作、非静的動作、静止動作、非静止動作、統計パラメータ、解析機能、オブジェクトタイプ、オブジェクト分類、静的オブジェクト、非静的オブジェクト、アクティブオブジェクト、非アクティブオブジェクト、アクティブな非静的オブジェクト、非アクティブ非静的オブジェクト、及び病気、状態、状況、傾向、周期、行動、パターン、傾向、傾斜、原因と影響、相関のうちの少なくとも1つの、示唆、サイン、指示、検証、検出、症状のうち少なくとも1つ、及び他の情報の内の少なくとも1つを含む、方法。
【0968】
項C54:項C18の無線監視システムの方法であって、それぞれの検査量が、支配的、代表的、特徴的、指標的、典型的、模範的、好例、主要、著名、共通、共有、典型的、プロトタイプ的、平均的、規則的、持続的、通常、標準、非定型的、非通常、異常、及び非代表的のうちの少なくとも1つである、量、ベクトル、行列、データ、データ構造、データセット、特徴、大きさ、位相、CI、CIコンポーネント、方向情報(DI)及びDI成分の内の少なくとも1つと類似性、類似性尺度、類似性スコア、2つのCI間の類似性、2つのCIのベクトル間の類似性、2つのCIのウィンドウ間の類似性、異なるウィンドウ長さを持つCIの2つのウィンドウ間の類似性、2つのDI間の類似性、DIの2つのベクトル間の類似性、DIの2つのウィンドウ間の類似性、違うウィンドウ長さを持つ2つのDIのウィンドウ間の類似性、距離スコア、2つのCI間の距離測定値、CIの2つのベクトル間の距離測定値、CIの2つのウィンドウ間の距離測定値、アラインされてマップされたCIの2つのウィンドウ間の距離測定値、ダイナミックタイムワーピング(dynamic time warping (DTW))を使用してアラインされたCIの2つのウィンドウ間の距離測定値、2つのDI間の距離想定値、DIの2つのベクトル間の距離測定値、Diの2つのウィンドウ間の距離測定値、アラインされてマップされたDIの2つのウィンドウ間の距離測定値、ダイナミックタイムワーピング(DTW)を使用してアラインされたDIの2つのウィンドウの距離測定値、ユークリッド距離、絶対距離、L−1距離、L−2距離、L−k距離、重み付け距離、グラフ距離、距離メトリック、ノルム、L−1ノルム、L−2ノルム、L−kノルム、擬似メトリック、拡張メトリック、、擬似メトリック、メタメトリック、準メトリック、擬似準メトリック、メトリックテンソル、バイリニアフォーム、相関、2つのCIの相関、2つのDIの相関、相関係数、相関インジケータ、自己相関自己相関関数(ACF)、相互相関、内積、ドット積、外積、共分散、自己共分散、相互共分散、識別スコア、大きさ、位相、平均、時間平均、空間平均、重み付け平均、方向平均、半径方向平均、分散、標準偏差、可変性測定値、可変性メトリック、トータル変動、絶対変動、変動の測定値、拡散、散乱、偏差、全偏差、ダイバージェンス、尤度、確率分布関数、サンプル分布、積率母関数、期待値、期待関数、全変化、絶対変化、変化の測定値、ひろがり、偏差、全偏差、ダイバージェンス、レンジ、四分位数範囲、加重平均、トリム平均、算術平均、幾何平均、調和平均、条件平均、中央値、モード、パーセンタイル、線形結合、変換、位置、位置決め、位置座標、位置の変化、ポジション、地図位置、高さ、水平位置、垂直位置、距離、変位、速度、加速度、回転速度、回転加速度、方向、運動角、方位、運動方向回転、通り道、変形、変換、縮小、拡張、位置特性、歩容、歩容サイクル、ジェスチャ、手書き、頭の動き、口の動き、手の動き、脚の動き、体の動き、心臓の動き、内臓の動き、ツールの動き、機械の動き、複雑な動き、複数の動きの組み合わせ、動きの傾向、反復、周期性、疑似周期性、衝動性、突然性、転倒発生、再発、一時的イベント、行動、一時的行動、期間、時間傾向、時間的プロファイル、時間的特性、事件、時間、タイミング、出発時間、開始時間、終了時間、継続時間、履歴、動き分類、動きタイプ、変化、時間変化、周波数変化、CI変化、DI変化、タイミング変化、歩容周期変化、周波数スペクトル、周波数特性、頻度、存在、不在、近接、接近、後退、オブジェクト識別子、オブジェクト構成、口関連速度、眼関連速度、歩行速度、呼吸速度、心拍数、周期性測定、周期性メトリック、一回呼吸量、呼吸深度、吸い込み時間、吐き出し時間、吸い込み時間と吐き出し時間の比、気流速度、心臓の対心拍間隔、心拍数の変動性、動き検出統計、動き識別統計、動き認識統計、信号統計、信号ダイナミクス、異常、パラメータ、動きの大きさ、動き位相、動き信号変換、動き特徴、オブジェクトの存在、オブジェクトの不在、オブジェクトの入り口、オブジェクトの出口、オブジェクトの変化、動きサイクル、動きカウント、歩容サイクル、動きリズム、変形動き、サイズ、長さ、面積、体積、容量、形状、フォーム、タグ、出発/開始場所、終了場所、出発/開始数量、終了数量、イベント発生、イベント統計、転倒イベント、セキュリティイベント、事故イベント、ホームイベント、オフィスイベント、工場イベント、倉庫イベント、製造イベント、組立ラインイベント、メンテナンスイベント、車両関連イベント、ナビゲーションイベント、追跡イベント、ドアイベント、ドアオープンイベント、ドアクローズイベント、ウィンドウイベント、ウィンドウオープンイベント、ウィンドウクローズイベント、繰り返し可能なイベント、ワンタイムイベント、消費量、未消費量、状態、物理的状態、ヘルス状態、健康状態、感情状態、精神状態、別のイベント、分析、出力応答、及び別の試験量、の内の少なくとも1つを含む、方法。
【0969】
項C55:項C18の無線監視システムの方法であって、それぞれの試験量を、TSDIのDI、DIに関連する時間、DIの成分のうちの少なくとも1つ、及び、DIの成分に関連するタイムラグ、場所の点、方向、距離、幾何座標及び地図座標の内の少なくとも1つ、及びDI及び時間、DI、DI成分、大きさ、ベクトルノルム、DIの大きさ、DI成分の大きさ、位相、DI位相、DI成分位相、共役、実数部分、虚数部分、サイン、正方形、立方体、根、電力、大きさ二乗、大きさ三乗、電力の大きさ、絶対値及び複数の量の集積の内の少なくとも1つに関連する量、及び線形関数、非線形関数、区分線形関数、多項式、三角関数、サイン、コサイン、タンジェント、楕円関数、放物関数、双曲線関数、対数関数、指数関数、代数関数、特殊関数、ゲーム関数、ゼータ関数、ベッセル関数、ベータ関数、ガンマ関数、ガウス関数、誤差関数、相補誤差関数、ポアソン関数、逆関数、超越関数、絶対関数、論理関数の内の少なくとも1つを含む数量の単一の関数、及び時間、方向及び距離の少なくとも1つに関する微分、高次導関数、しきい値処理、ソフトしきい値、ハードしきい値、インジケータ関数、クリッピング、ソフトクリッピング、量子化、マッピング、シフト、スケーリング、ゼロ交差、グループ、セット、コレクション、ユニオン、交差、複合関数、及び関数の関数、及びDIの近傍、近傍DI、DIの時間の時間近傍、時間近傍の時間近傍DI、ポイントの空間近傍、空間近傍の空間近傍DI、方向の方向近傍 方向的に近傍のDI、半径方向の距離の近傍、半径方向に隣接するDI、及び幾何学座標及び地図座標、幾何学的に隣接するDIのうちの少なくとも1つに関連する幾何学的近傍、近傍DI、時間的に近傍のDI、空間的に近傍のDI、方向的に近傍のDI、半径方向で近傍のDI、及び幾何学的に近傍のDIのうちの少なくとも1つのセット、及び量の多変量関数であって、平均、時間平均、空間平均、平均、分散、標準偏差、総変動、絶対変動、変動の測定値、広がり、分散、偏差、総偏差、発散、範囲、四分位範囲、加重平均、トリム平均、算術平均、幾何平均、調和平均、条件付き平均、中央値、モード、パーセンタイル、線形結合、変換、短期統計、長期統計、自己相関(ACF)、電力スペクトル密度(PSD)、相互相関関数、共分散関数、モーメント生成関数、フィルタリング、畳み込み、線形フィルタリング、区分線形フィルタリング、非線形フィルタリング、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、ウィンドウフィルタリング、コンスタント誤警報率(CFAR)ウィンドウフィルタ処理、1D-CFARフィルタ処理、2D-CFARフィルタ処理、3D-CFARフィルタ処理、中央値フィルタ処理、ランクフィルタ処理、マッチドフィルタ処理、粒子フィルタ、適応フィルタ処理、平滑化、一次微分、二次微分、高次導関数、周波数変換、離散時間変換、離散変換、フーリエ変換、DFT、FFT、コサイン変換、DCT、サイン変換、DST、ラプラス変換、アダマール変換、ヒルベルト変換、ウェーブレット変換、三角関数変換、サイン変換、コサイン変換、DCT、整数変換、スパース変換、グラフベースの変換、射影、直交射影、非直交射影、過剰完全射影、固有分解、特異値分解(SVD)、主成分分析(PCA)、独立成分分析(ICA)、最大化、最小化、同期、時間補正、位相補正、大きさ補正、正規化、ベクトル量子化、クラスタリング、マッチング追跡、圧縮センシング、ニューラルネットワーク、機械学習、ディープラーニング、トレーニング、判別トレーニング、検出、推定、分類、識別、スライディング関数、移動関数、確率関数、確定関数、周期関数、繰り返し関数、スパース近似、回帰、平滑化、ゼロ交差、ノイズ除去、拡張、コーディング、暗号化、リサンプリング、アップサンプリング、ダウンサンプリング、ランダムサンプリング、重要度サンプリング、補間、外挿、繰り返し、ゼロパディング、前処理、後処理、グループ、セット、コレクション、ユニオン、インターセクション、論理演算、複合関数、関数の関数、近傍のDIのセットの量の多変量関数、近傍のDIのセットの量の単一関数の多変量関数、時間的に近傍のDIのセットの量の多変量関数、時間的に近傍のDIのセットの量の単一関数の多変量関数、空間的に近傍のDIのセットの量の多変量関数、空間的に近傍のDIのセットの量の単一関数の多変量関数、方向的に近傍のDIのセットの量の多変量関数、方向的に近傍のDIのセットの量の単一関数の多変量関数、半径方向に近傍のDIのセットの量の多変量関数、半径方向に近傍のDIのセットの量の単一関数の多変量関数、幾何学的に近傍のDIのセットの量の多変量関数、幾何学的に近傍のDIのセットの量の単一関数の多変量関数、 そして別のテスト量、のうちの少なくとも1つに基づいて計算する方法。
【0970】
条項C56:項C18の無線監視システムの方法であって、それぞれの閾値を、それぞれの予め決めたしきい値、それぞれの固定しきい値、それぞれの適応しきい値、しきい値のスケーリング、しきい値の最大値、しきい値の最小値、しきい値の加重平均、TSDIのDI、DIに関連付けられた時間、DIのコンポーネント、及びDIの成分に関連するタイムラグ、場所の地点、方向、距離、幾何座標、地図座標、及びDIの近傍、隣接DI、DIの時間の時間近傍、時間近傍の時間近傍DI、点の空間近傍、空間近傍の空間近傍DI、方向の方向近傍、方向的に近傍のDI、半径方向の距離の近傍、半径方向に近傍のDI、及び幾何学的座標と地図座標、幾何学的に近傍のDIとの内の少なくとも1つに関連する幾何近傍、及び隣接DI、時間的に近傍のDI、空間的に近傍のDI、方向的に近傍のDI、半径方向に近傍のDI、及び幾何学的に近傍のDIの内の少なくとも1つのセット、及びDIと、時間、DI、DI成分、大きさ、ベクトルノルム、DIの大きさ、DI成分の大きさ、位相、DI位相、DI成分位相、共役、実数部、虚数部、サイン、平方、立方体、根、電力、大きさ二乗 、大きさ三乗、電力の大きさ、絶対値、及び複数の量の集積の内の少なくとも1つを含むDIの成分と農地の少なくとも1つに関連する量、及び近傍のDIのセットに関連する量の処理、時間的に近傍のDIのセットに関連する量の処理、空間的に近傍のDIのセットに関連する量の処理、方向的に近傍のDIのセットに関連する量の処理、半径方向に近傍のDIのセットに関連付けられた数量の処理、DIの直接近傍を除く隣接DIに関連する量の加重平均、隣接DIに関連する量の統計、DIの直接近傍を除くDIの近傍の関数、DIの近傍を除くDIの隣接セルの関数フィルタリング、畳み込み、線形フィルタリング、区分的線形フィルタリング、非線形フィルタリング、ローパスフィルタリング、平均化、バンドパスフィルタリング、ハイパスフィルタリング、ウィンドウフィルタリング、コンスタント誤警報率(CFAR)ウィンドウフィルタリング、1D-CFARフィルタリング、2D-CFARフィルタリング、3D-CFARフィルタリング、平均フィルタリング、中央値フィルタリング、ランクフィルタリング、モードフィルタリング、トリム平均フィルタリング、パーセンタイルフィルタリング、マッチドフィルタリング、粒子フィルタ、適応フィルタリング、平滑化、1次微分、2次微分、高次微分、平均、時間平均、空間平均、平均、分散、標準偏差、総変動、絶対変動、変動の測定、広がり、分散、偏差、総偏差、ダイバージェンス、範囲、四分位範囲、加重平均、トリム平均、算術平均、幾何平均、調和平均、条件付き平均、中央値、モード、パーセンタイル、線形結合、変換、短期統計、長期統計、自己相関(ACF)、電力密度(PSD)、相互相関関数、共分散関数、モーメント生成関数、及び他の閾値の内の少なくとも1つに基づいて計算する方法。
【0971】
項C57:項C18の無線監視システムの方法であって、特定のTSDIの特定のDIの特定の成分に関連する試験量がそれぞれの閾値よりも大きいという決定に基づいて、特定の方向における特定の距離の特定の点における特定の時点における第1のオブジェクトの存在を検出することをさらに含み、特定のTSDIは特定の方向に関連し、特定のDIは特定の時間に関連し、特定の成分は特定の距離時間に関連する、方法。
【0972】
条項C58:項C57の無線監視システムの方法であって、少なくとも第2の試験量と第3の試験量とのうちの1つをさらに計算することであって、計算は、特定の方向に関連付けられた特定のTSDI、特定の方向の隣接方向のセットに関連付けられた方向的に近傍のTSDIのセット、特定のポイントの近傍の方向のセット内の方向的に近傍のDIのセット、方向的に近傍のTSDIの1つからの各方向的に近傍のDI、特定のポイントの方向的に近傍の方向的に近傍のDIのセット、特定の時間に関連付けられた方向的に近傍のDIのセット、特定の時間に関連付けられる特定のTSDIの特定のDI、特定のDIの近傍のタイムスタンプのセットに関連付けられている特定のTSDIの近傍のDIのセット、特定のDIに関連付けられている特定のTSDIのDIのタイムウィンドウ、特定のCIの特定の時間の時間的近傍の時間的に近傍のDIのセット、特定のTSDIの時間的に近傍のDIのセット、方向的に近傍のTSDIの時間的に近傍のDIのセット、特定のTSDIの特定のDIの特定の成分、特定の成分に関連付けられた特定のTSDIの特定のDIの隣接成分のセット、特定のコンポーネントの隣接コンポーネントインデックスのセットに関連付けられた特定のTSDIの特定のDIにおける半径方向に近傍のDIコンポーネントのセット、特定のコンポーネントに関連付けられた特定のTSDIの特定のDIのコンポーネントのセクション、特定の点の半径方向の近傍にある半径方向に近傍のDIのセット、半径方向に近傍のDIのセット、特定の点の空間的近傍にある空間的に近傍のDIのセット、特定の点の近傍の距離のセットにある空間的に近傍のDIのセット、及び特定の点の近傍における隣接DIのセット、のうちの少なくとも1つに基づく計算することと、特定の点において第1のオブジェクトを分類することであって、分類は、第2の試験量及び第3の試験量の少なくとも1つに基づき、第2の試験量と第3の試験量は、静的オブジェクト、非静的オブジェクト、アクティブオブジェクト、非アクティブオブジェクト、アクティブ非静的オブジェクト、非アクティブ非静的オブジェクト、静的動き(非モーション)を持つオブジェクト、非静的動き(非ゼロモーション)を持つオブジェクト、静止した動き(例:呼吸、心拍、規則的な動き、周期的な動き、規則的なランダムな動き、周期的なランダムな動き)を持つオブジェクト、支配的及び次に支配的な少なくとも2つの静止した動きがあるオブジェクト、非静止運動(例:一時的な運動、不規則な運動、不規則なランダム運動、非反復運動、1回の運動)、周期的な運動(例:呼吸、心拍、通常の運動、定常運動、周期的なランダム運動)のあるオブジェクト、支配的及び次に支配的な少なくとも2つの周期的な動きを持つオブジェクト、非周期的な動きのあるオブジェクト、ランダムな動きのあるオブジェクト(例:不規則なランダムな動き、ランダムな体の動き)、非ランダムな動きのあるオブジェクト(たとえば、ランダムな体の動き)、規則的動きのあるオブジェクト(たとえば、呼吸、心拍、規則的動き、静止した動き、周期的なランダムモーション)、不規則な動き(一時的な動き、ランダムな動き、ランダムな体の動き、予測できない動き、衝撃的な動き、不規則なランダムな動き、繰り返しのない動き、1回限りの動き)を持つオブジェクト、別の種類のオブジェクトと別の種類の動きを持つオブジェクトである、分類することと、を含む方法。
【0973】
項C59:項C58の無線監視システムの方法であって、第2の試験量が第2の閾値T2未満である場合に、特定の点における第1のオブジェクトを静的オブジェクトとして分類することと、第2の試験量がT2より大きい場合に、特定の点における第1のオブジェクトを非静的オブジェクトとして分類することと、第2の試験量がT3より大きい場合に、第1のオブジェクトをアクティブ非静的オブジェクトとして分類することと、第2の試験量がT2とT3との間であり、第3の試験量が第4の閾値T4より小さい場合に、第1のオブジェクトをアクティブ非静的オブジェクトとして分類することと、第2の試験量がT2とT3との間であり、第3の試験量が第4の閾値T4より大きい場合に、第1のオブジェクトを非アクティブ非静的オブジェクトとして分類すること、のうちの少なくとも1つをさらに含む、方法。
【0974】
項C60:C58の無線監視システムの方法であって、第2の試験量が第2の閾値T2未満である場合に、特定の点における第1のオブジェクトを静的オブジェクトとして分類することと、第2の試験量がT2よりも大きい場合に、特定の点における第1のオブジェクトを非静的オブジェクトとして分類することと、第2の試験量がT2よりも大きいが第3の閾値T3未満であり、第3の試験量が第4の閾値T4よりも大きい場合に、第1のオブジェクトを非アクティブ非静的オブジェクトとして分類することと、そうでない場合に、第1のオブジェクトをアクティブ非静的オブジェクトとして分類すること、のうちの少なくとも1つをさらに含む、方法。
【0975】
項C61:項C58に記載の無線監視システムの方法であって、第2の試験量が第2の閾値T2未満である場合に、特定の点における第1のオブジェクトの動きを静的であると分類することと、第2の試験量がT2より大きい場合に、第1のオブジェクトの動きを非静的であると分類することと、第2の試験量が、T2よりも大きい第3の閾値よりも大きい場合、第1のオブジェクトの動きを非静的及び、非静止、非周期的、不規則、及びランダムのうちの少なくとも1つに分類することと、第2の試験量がT2とT3との間にあり、第3の試験量が第4の閾値T4未満である場合に、第1のオブジェクトの動きを非静的及び、非静止、非周期的、不規則、及びランダムの内の少なくとも1つに分類することと、第2の試験量がT2とT3no間で第3の試験量が第4の閾値T4より大きい場合に、第1のオブジェクトの動きを非静的及び、静止、周期的、規則的、及び非ランダムのうちの少なくとも1つと分類すること、のうちの少なくとも1つをさらに含む方法。
【0976】
項C62:項C58の無線監視システムの方法であって、第2の試験量が第2の閾値T2未満である場合に、特定の点における第1のオブジェクトの動きを静的であると分類することと、第2の試験量が第2の閾値T2よりも大きい場合に、第1のオブジェクトの動きを非静的であると分類することと、第2の試験量がT2よりも大きいが第3の閾値T3よりも小さく、第3の試験量が第4の閾値T4よりも大きい場合に、静止、第1のオブジェクトの動きを非静的及び、静止、周期的、規則的、及び非ランダムのうちの少なくとも1つに分類することと、そうでなければ第1のオブジェクトの動きを非静的及び、非静止、非周期的、不規則、及びランダムの内の少なくとも1つに分類すること、のうちの少なくとも1つをさらに含む、方法。
【0977】
項C63:項C58の無線監視システムの方法であって、第3の試験量が第4の閾値T4より大きい場合に、第1のオブジェクトを非アクティブ非静的オブジェクトとして分類することと、第3の試験量がT4未満であり、第2の試験量が第2の閾値T2より大きい場合に、第1のオブジェクトをアクティブ非静的オブジェクトとして分類することと、第3の試験量がT4未満であり、第2の試験量がT2未満である場合に、第1のオブジェクトを静的オブジェクトとして分類することと、第2の試験量がT2より大きい場合に、第1のオブジェクトを非静的オブジェクトとして分類すること、のうちの少なくとも1つをさらに含む方法。
【0978】
項C64:項C58の無線監視システムの方法であって、第3の試験量が第4の閾値T4よりも大きい場合、第1のオブジェクトの動きを非静的及び静止、周期的、規則的、非ランダムのうちの少なくとも1つに分類することと、第3の試験量がT4よりも小さく、第2の試験量が第2の閾値T2よりも大きい場合、第1のオブジェクトの動きを非静的及び、非静止、非周期的、不規則、及びランダムのうちの少なくとも1つに分類することと、第3の試験量がT4よりも小さく、第2の試験量が第2の閾値T2よりも小さい場合、第1のオブジェクトの動きを静的オブジェクトとして分類することと、第3の試験量がT4よりも大きく、第2の試験量がT2よりも大きい場合、第1のオブジェクトの動きを非静的オブジェクトとして分類すること、のうちの少なくとも1つを含む方法。
【0979】
項C65:項C58の無線監視システムの方法であって、第2の試験量及び第3の試験量のうちの少なくとも1つは、量、ベクトル、マトリックス、データ、データ構造、データセット、特徴、大きさ、位相、CI、CI成分、方向情報(DI)、及びDI成分のうちの少なくとも1つを含み、これらは、支配的、代表的、特徴的、指標的、典型的、模範的、主要、キー、著名、共通、共有、典型的、プロトタイプ的、平均的、規則的、持続的、通常、正常、非定型的、非日常的、異常、及び非代表的、類似性、類似性測定値、類似性スコア、2つのCI間の類似性、2つのCI間の類似性、CIの2つのベクトル間の類似性、CIの2つのウィンドウ間の類似性、ウィンドウの長さが等しくないCIの2つのウィンドウ間の類似性、2つのDI間の類似性、DIの2つのベクトル間の類似性、DIの2つのウィンドウ間の類似性、ウィンドウの長さが等しくないDIの2つのウィンドウ間の類似性、距離スコア、2つのCI間の距離測定値、CIの2つのベクトル間の距離測定値、CIの2つのウィンドウ間の距離測定値、アラインされて及びマッピングされたCIの2つのウィンドウ間の距離測定値、ダイナミックタイムワーピング(DTW)を使用してアラインされたCIの2つのウィンドウ間の距離測定値、2つのDI間の距離測定、DIの2つのベクトル間の距離測定値、DIの2つのウィンドウ間の距離測定値、アライン及びマッピングされたDIの2つのウィンドウ間の距離測定値、ダイナミックタイムワーピング(DTW)を使用してアラインされたDIの2つのウィンドウ間の距離測定値、ユークリッド距離、絶対距離、L-1距離、L-2距離、L-k距離、加重距離、グラフ距離、距離メトリック、ノルム、L-1ノルム、L-2ノルム、L-kノルム、疑似メトリック、拡張メトリック、準メトリック、メタメトリック、セミメトリック、プレメトリック、疑似準メトリック、メトリックテンソル、双線形形式、相関、2つのCIの相関、2つのDIの相関、相関係数、相関インジケータ、自己相関関数(ACF)、フェーズのACF、量のフェーズのACF、DI(またはCI)の成分のフェーズのACF、特定のTSDI(又は特定のTSCIの特定のCI)の特定のDIの特定の成分のフェーズのACF、ACFの特徴、ACFの極大、ACFの最初のピーク、極大の大きさ、最初のピークの大きさ、相互相関、内積、ドット積、外積、共分散、自己共分散、相互共分散、判別スコア、大きさ、位相、平均、時間平均、空間平均、平均、加重平均、時間平均、空間平均、方向平均、半径平均、分散、位相の分散、大きさの分散、標準偏差、変動性測定、変動性メトリック、総変動、絶対変動、平均二乗変動、変動の測定値、広がり、分散、偏差、総偏差、平均二乗偏差、ダイバージェンス、空間変動性測定、空間変動性メトリック、空間的分散、時間的分散、時間的標準偏差、時間的変動性測定値、時間的変動性メトリック、時間的総変動、時間的絶対変動、時間的平均二乗変動、時間的変動測定、時間的広がり、時間的分散、時間的偏差、時間的総偏差、時間的平均二乗偏差、時間的ダイバージェンス、尤度、確率分布関数、標本分布、積率母関数、期待値、期待関数、総変動、絶対変動、変動の測定値、広がり、分散、偏差、総偏差、ダイバージェンス、範囲、四分位範囲、加重平均、トリム平均、算術平均、幾何平均、調和平均、条件付き平均、中央値、モード、パーセンタイル、線形結合、変換、位置、ローカリゼーション、位置座標、位置の変化、位置、マップ位置、高さ、水平位置、垂直位置、距離、変位、速度、加速度、回転速度、回転加速度、方向、動きの角度、方位角、動きの方向、回転、パス、変形、変換、縮小、拡大、位置特性、歩容、歩容サイクル、ジェスチャ、手書き、頭の動き、口の動き、手の動き、脚の動き、体の動き、心臓の動き、内臓の動き、ツールの動き、機械の動き、複雑な動き、複数の動きの組み合わせ、動きの傾向、反復、周期性、疑似周期性、衝動性、突発性、転倒発生、再発、一時的イベント、行動、一時的行動、期間、頻度、時間傾向、時間的プロファイル、時間的特性、発生、時間、タイミング、出発時間、開始時間、終了時間、継続時間、履歴、動き分類、動きタイプ、変化、時間的変化、周波数変化、CI変化、DI変化、タイミング変化、歩容周期変化、周波数スペクトル、周波数特性、周波数、存在、不在、近接、接近、後退、オブジェクト識別子、オブジェクト構成、口関連速度、眼関連速度、歩行速度、呼吸数、心拍数、周期性測定、周期性メトリック、一回呼気量、呼吸深度、吸入時間、吐き出し時間、吸気時間と吐く時間の比率、空気流量、心臓の鼓動対心拍の間隔、心拍数の変動性、動き検出統計、動き識別統計、動き認識統計、信号統計、信号ダイナミクス、異常、パラメータ、動きの大きさ、モーションフェーズ、モーション信号変換、動き特徴、オブジェクトの存在、オブジェクトの不在、オブジェクトの入り口、オブジェクトの出口、オブジェクトの変化、動きサイクル、動き回数、歩容サイクル、動きのリズム、モーションサイズを変更、サイズ、長さ、面積、体積、容量、形状、フォーム、タグ、開始/開始場所、終了場所、開始/開始数量、終了数量、イベント発生、イベント統計、転倒イベント、セキュリティイベント、事故イベント、ホームイベント、オフィスイベント、工場イベント、倉庫イベント、製造イベント、組立ラインイベント、メンテナンスイベント、車両関連イベント、ナビゲーションイベント、追跡イベント、ドアイベント、ドアオープンイベント、ドアクローズイベント、ウィンドウイベント、ウィンドウオープンイベント、ウィンドウクローズイベント、繰り返し可能なイベント、1回限りのイベント、消費量、未消費量、状態、物理的状態、ヘルス状態、健康状態、感情状態、精神状態、別のイベント、分析、出力応答、及び別の試験量のうちの少なくとも1つであるうる。
【0980】
項C66:項C18の無線監視システムの方法であって、第2の試験量及び第3の試験量のうちの少なくとも1つを計算することをさらに含み、計算は、TSDIのDI、DIに関連するタイムスタンプ、DIの成分、及びDIの成分に関連するタイムラグ、場所の点、方向、距離、幾何座標及び地図座標のうちの少なくとも1つ、及びDIと時間、DI、DI成分、大きさ、ベクトルノルム、DIの大きさ、DI成分の大きさ、フェーズ、DIフェーズ、DI成分フェーズ、共役、実数部、虚数部、サイン、平方、立方体、根、パワー、大きさの二乗 、大きさの三乗、パワーの大きさ、絶対値、及び複数の量のコレクションのうちの少なくとも1つを含むDIの成分とのうちの少なくとも1つに関連する量、及び量(quantity)の単一の関数(unitary function)であって、線形関数、非線形関数、区分線形関数、多項式、三角関数、正弦、余弦、正接、楕円関数、放物関数、双曲線関数、対数関数、指数関数、代数関数、特殊関数、ゲーム関数、ゼータ関数、ベッセル関数、ベータ関数、ガンマ関数、ガウス関数、誤差関数、相補誤差関数、ポアソン関数、逆関数、超越関数、絶対関数、論理関数、時間と方向と距離の少なくとも1つに関する微分、高次導関数、しきい値処理、ソフトしきい値、ハードしきい値、インジケータ関数、クリッピング、ソフトクリッピング、量子化、マッピング、シフト、スケーリング、ゼロクロッシング、グループ化、セット、コレクション、ユニオン、交差、複合関数、及び関数の関数、の内の少なくとの1つを含む単一の関数、及びDIの近傍、隣接DI、DIの時間の時間近傍、時間近傍の時間的近傍DI、ポイントの空間近傍、空間近傍の空間近傍DI、方向近傍 方向、方向的に近傍のDI、半径方向の距離の近傍、半径方向に近傍のDI、幾何座標及び地図座標のうちの少なくとも1つに関連する幾何的近傍、幾何的に近傍のDI、及び隣接DI、時間的に近傍のDI、空間的に近傍のDI、方向的に近傍のDI、半径方向に近傍のDI、及び幾何学的に近傍のDIの内の少なくとも1つのセット、及び近傍のDIのセットに関連付けられた数量の多変量関数であって、平均、時間平均、空間平均、平均、分散、時間分散、空間分散、標準偏差、総変動、絶対変動、変動の測定値、広がり、分散、偏差、総偏差、ダイバージェンス、範囲、四分位範囲、加重平均、トリム平均、算術平均、幾何平均、調和平均、条件付き平均、中央値、モード、パーセンタイル、線形結合、変換、短期統計、長期統計、自己相関(ACF)、電力スペクトル密度(PSD)、相互相関関数、共分散関数、積率母関数、フィルタリング、畳み込み、線形フィルタリング、区分的線形フィルタリング、非線形フィルタリング、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、ウィンドウフィルタリング、コンスタント誤警報率(CFAR)ウィンドウフィルタリング、1D-CFARフィルタリング、2D-CFARフィルタリング、3D-CFARフィルタリング、メジアンフィルタリング、ランクフィルタリング、マッチドフィルタリング、粒子フィルタ、適応フィルタリング、平滑化、1次微分、2次微分、高次微分、周波数変換、離散時間変換、離散変換、フーリエ変換、DFT、FFT、コサイン変換、DCT、サイン変換、DST、ラプラス変換、アダマール変換、ヒルベルト変換、ウェーブレット変換、三角関数変換、サイン変換、コサイン変換、DCT、整数変換、スパース変換、グラフベースの変換、射影、直交射影、非直交射影、過剰完全射影、固有値分解、特異値分解(SVD)、主成分分析(PCA)、独立成分分析(ICA)、最大化、最小化、同期、時間補正、位相補正、大きさ補正、正規化、ベクトル量子化、クラスタリング、マッチング追跡、圧縮センシング、ニューラルネットワーク、機械学習、ディープラーニング、トレーニング、判別トレーニング、検出、推定、分類、識別、スライディング関数、移動関数、確率関数、決定的関数、周期関数、繰り返し関数、スパース近似、回帰、平滑化、ゼロクロッシング、ノイズ除去、拡張、コーディング、暗号化、リサンプリング、アップサンプリング、ダウンサンプリング、ランダムサンプリング、重要性サンプリング、補間、外挿、繰り返し、ゼロパディング、前処理、後処理、グループ化、セット、コレクション、ユニオン、インターセクション、論理演算、複合関数、関数の関数、近傍のDIのセットの量の多変量関数、近傍のDIのセットの量の単一関数の多変量関数、時間的に近傍のDIのセットの量の多変量関数、時間的に近傍のDIのセットの量の単一関数の多変量関数、空間的に近傍のDIのセットの量の多変量関数、空間的に近傍のDIのセットの量の単一関数の多変量関数、方向的に近傍のDIのセットの量の多変量関数、方向的に近傍のDIのセットの量の単一関数の多変量関数、半径方向に近傍のDIのセットの量の多変量関数、半径方向に近傍のDIのセットの量の単一関数の多変量関数、幾何学的に近傍のDIのセットの量の多変量関数、幾何学的に近傍のDIのセットの量の単一関数の多変量関数、及び別の試験量のうちの少なくとも1つを含む多変量関数、に基づいて計算される方法。
【0981】
項C67:項C18の無線監視システムの方法であって、オブジェクトの存在が検出される関心方向(direction-of-interest(DoI))のセットを識別することであって、関心点(points of interestPoI)のセットを識別することをさらに含み、各PoIがそれぞれのDoIとDoIにおけるそれぞれの距離に関連付けられた場所の点であり、各PoIは、それぞれのDIに関連するそれぞれのTSDIのそれぞれのDIのそれぞれの成分に関連し、オブジェクトの存在は、それぞれのTSDIのそれぞれのDIのそれぞれの成分に関連するそれぞれの試験量がそれぞれの閾値を超えることに基づいてPoIにおいて検出される、識別することと、PoIとDoIとのセットに基づいて、PoIのクラスタとDoIのクラスタの少なくとも1つを計算することと、第1のオブジェクトの形状、表面、多様性、スケルトン、シルエット、サイズ、重量、健康状態、健康、中心、中心線、クラスタ中心、場所、移動、動き、活動、ジェスチャ、歩容、手書きの少なくとも1つを計算することであって、計算は、PoIクラスタ、DoIクラスタ、及び空間行動、PoIクラスタ及びDoIクラスタのうちの少なくとも1つの時間行動、時空間行動のうちの少なくとも1つ、及びPoIクラスタ及びDoIクラスタのうちの少なくとも1つの空間行動、及びPoIのクラスタ及びDoIのクラスタのうちの少なくとも1つに関連するDIのセット、PoIのクラスタ及びDoIのクラウスタのうちの少なくとも1つに関連するDIのセットに関連するDI成分のセット、それぞれのPoI及びそれぞれのDoIのうちの少なくとも1つに関連するTSDIのDI、それぞれのPoI及びそれぞれのDoIのうちの少なくとも1つに関連するTSDIのDIのDI成分、DIに関連するCI,DI成分に関連するCI成分、及び空間行動、及びDI、DI成分、CI、CI成分、DIのセット及びDI成分のセットのうちの少なくとも1つの時間的行動と時空間行動、の内の少なくとも1つ、のうちの少なくも1つに基づく、計算すること、を含む方法。
【0982】
項C68:項C67の無線監視システムの方法であって、2つのPoI間の距離が閾値未満である場合に、2つのPoIをPoIクラスタに結合することをさらに含む、方法。
【0983】
項C69:項C67の無線監視システムの方法であって、2つのDoI間の距離が閾値未満である場合に、2つのDoIをDoIクラスタに結合することをさらに含む、方法。
【0984】
条項C70:項C67の無線監視システムの方法であって、PoIクラスタリング及びDoIクラスタリングのうちの少なくとも1つを計算することであって、計算は、接続ベースのクラスタリング、接続モデル、階層クラスタリング、距離接続、単一リンケージクラスタリング、完全リンケージクラスタリング、セントロイドベースのクラスタリング、セントロイドモデル、k-means法アルゴリズム、k-medoids、k-medians、ファジーc-means(FCM)、分布ベースのクラスタリング、分布モデル、統計的分布、正規分布、多変量ガウス分布期待値最大化アルゴリズム、密度ベースのクラスタリング、密度モデル、DBSCAN、 OPTICS、データ空間の接続された密集した領域、部分空間ベースのクラスタリング、部分空間モデル、バイクラスタリング、共クラスタリング、2モードクラスタリング、クラスタメンバ、関連する属性、グループベースのクラスタリング、グループモデル、グループ化情報、グラフベースのクラスタリング、グラフベースのモデル、クリーク、グラフ内のノードのサブセット、エッジで接続されたノード、完全な接続要件の緩和、準クリーク、HCSクラスタリングアルゴリズム、符号付きグラフベースのクラスタリング、符号付きグラフモデル、分岐グラフ、ニューラルネットワーククラスタリング、教師なしニューラルネットワーク、自己組織化マップ、主成分分析、独立成分分析、グリッドベースのクラスタリング、ハードクラスタリング、ソフトクラスタリング、ファジークラスタリング、オーバーラップクラスタリング、代替クラスタリング、及び別のクラスタリングアルゴリズム、のうちの少なくとも1つに基づく、方法。
【0985】
項C71:項C67の無線監視システムの方法であって、中心、中心線、クラスタの中心、場所のうちの少なくとも1つを、最大周期性測定値、最大周期性メトリック、最大支配的周期信号、最大周期強度、最大自己相関関数(ACF)ピーク、最大振幅ACFピーク、最大位相ACFピーク、最大支配周波数成分、最大繰り返し性、最小衝撃性、最大変動性測定、 最大の変動性メトリック、最大変動強度、最大変動測定値、最大変動メトリック、最大変動強度、最大分散、最大標準偏差、最大振幅分散、最大位相分散、最大広がり、最大分散、最大偏差、最大ダイバージェンス、最大範囲、最大合計変動、最大絶対偏差、最大合計偏差、クラスタの重心、クラスタの重み付き重心、クラスタのスケルトン、クラスタのトポロジースケルトン、クラスタの間引き、トポロジーを維持したクラスタの間引き、クラスタの剪定、トポロジーを維持したクラスタの剪定、クラスタの中間軸変換、クラスタ内のすべての最大ディスクの中心、クラスタ内の二接円の中心、クラスタ内の距離関数の尾根、クラスタの境界からの距離の交点、クラスタの曲線展開、クラスタのレベルセット、クラスタのピーリング、クラスタの対称性セット、クラスタの形態学的スケルトン化、クラスタの直線スケルトン、クラスタのGrassfire変換、及び別の特性、のうちの少なくとも1つに関連するDoI及びPoIのうちの少なくとも1つとして計算することをさらに含む方法。
【0986】
項C72:項C67の無線監視システムの方法であって、最大の周期性測定値、最大の周期性メトリック、最大の支配的な周期信号、最大の自己相関関数(ACF)ピーク、最大の支配的な周波数成分、最大の反復性、及び最小の衝動性、のうちの少なくとも1つに関連するDoI及びPoIのうちの少なくとも1つとして、非アクティブな非静的オブジェクト、静止した動きのあるオブジェクト、周期的な動きのあるオブジェクト、通常の動きのあるオブジェクト、非ランダムな動きのあるオブジェクト、及び非カオス的な動きのあるオブジェクトのうちの少なくとも1つの、中心、クラスタ中心、及び位置の少なくとも1つを計算することをさらに含む方法。
【0987】
項C73:項C67の無線監視システムの方法であって、最大変動性測定値、最大変動性メトリック、最大変化測定値、最大変化メトリック、最大分散、最大標準偏差、最大振幅分散、最大位相分散、最大広がり、最大分散、最大偏差、最大ダイバージェンス、最大範囲、最大四分位範囲、最大の総変動、最大の絶対偏差、及び最大の総偏差のうちの少なくとも1つを有するDoI及びPoIのうちの少なくとも1つとして、アクティブな非静的オブジェクト、非静止的動きのオブジェクト、非周期的動きのオブジェクト、不規則な動きのオブジェクト、ランダム動きのオブジェクト、ランダムボディ動き(RBM)のオブジェクト、及びカオス的動きのオブジェクトのうちの少なくとも1つの中心、クラスタ中心及び位置の少なくとも1つを計算することをさらに含む方法。
【0988】
項C74:項C2の無線監視システムの方法であって、TSCIの数と、TSCIの数に基づいて計算されたTSDIのセットと、オブジェクトの存在が検出されるTSDIのサブセットとのうちの少なくとも1つに基づいて、観測可能なものの時系列を計算することと、観測可能なものの時系列から第1の反復運動の影響を除去することと、第1の反復運動の影響が除去された後に、観測可能なものの系列に基づいて、第2の反復運動の第2のインスタンスの系列を計算することであって、それぞれの第2のインスタンスがタイムスタンプに関連付けられ、第2のインスタンスの系列に基づいて、第2の反復運動の第2の情報を計算することと、をさらに含む方法。
【0989】
項C75:項C74の無線監視システムの方法であって、第1の反復運動の影響が除去される前に、観察可能な時系列に基づいて、第1の反復運動の一連の第1のインスタンスを計算することであって、それぞれの第1のインスタンスがタイムスタンプに関連付けられることと、一連の第1のインスタンスに基づいて、第1の反復運動の第1の情報を計算することとをさらに含む、方法。
【0990】
項C76:項C74の無線監視システムの方法であって、観察可能なものの時系列を、処理、処理及び後処理することのうちの少なくとも1つさらに含み、これらの処理は、フィルタリング、線形フィルタリング、畳み込み、非線形フィルタリング、折りたたみ、グループ化、エネルギー計算、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、中央値フィルタリング、ランクフィルタリング、四分位フィルタリング、パーセンタイルフィルタリング、モードフィルタリング、有限インパルス応答(FIR)フィルタリング、無限インパルス応答(MA)フィルタリング、移動平均(MA)フィルタリング、自己回帰(AR)フィルタリング、自己回帰移動平均モデル(ARMA)フィルタリング、選択的フィルタリング、適応フィルタリング、決定フィードバックフィルタリング、補間、外挿、デシメーション、サブサンプリング、アップサンプリング、再サンプリング、変換、逆変換、特徴抽出、射影、分解、直交射影、非直交射影、過剰完全射影、固有値分解、特異値分解(SVD)、主成分分析(PCA)、独立成分分析(ICA)、時間補正、時間ベース補正、位相補正、大きさ補正、位相クリーニング、大きさのクリーニング、マッチドフィルタ、強化、復元、ノイズ除去、平滑化、信号状態、並べ替え、しきい値処理、ソフトしきい値処理、ハードしきい値処理、クリッピング、ソフトクリッピング、スケーリング、折りたたみ、グループ化、エネルギー計算、一次微分、二次微分、高次微分、乗算、除算、加算、減算、統合、最大化、最小化、最小平均二乗誤差、再帰的最小二乗、制約付き最小二乗、バッチ最小二乗、最小絶対誤差、最小平均二乗偏差、最小絶対偏差、局所最大化、局所最小化、コスト関数の最適化、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師あり学習、教師なし学習、半教師あり学習、別の時系列との比較、類似性スコア計算、量子化、ベクトル量子化、マッチング追跡、圧縮、暗号化、コーディング、保存、送信、正規化、時間正規化、周波数領域正規化、分類、クラスタリング、ラベリング、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、再マッピング、拡張、保存、取得、送信、受信、表現、マージ、結合、分割、追跡、モニタリング、マッチドフィルタリング、カルマンフィルタリング、粒子フィルタ、ヒストグラム推定、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表現、マージ、結合、分割、スクランブル、エラー保護、前方エラー訂正、実行なし、時変処理、条件付き平均、加重平均、算術平均、幾何平均、調和平均、選択した周波数での平均、アンテナリンクでの平均、論理演算、順列、組み合わせ、並べ替え、AND、OR、XOR、ユニオン、交差、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆数、ノルム、距離、及び別の演算、のうちの少なくとも1つに基づく、方法。
【0991】
項C77:項C1の無線監視システムの方法であって、TSCIの数と、TSCIの数に基づいて計算されたTSDIのセットと、オブジェクトの存在が検出されるTSDIのサブセットとのうちの少なくとも1つに基づいて、観測可能なものの時系列を計算することと、観測可能なものの時系列に基づいて、第1の反復運動の第1のインスタンスの系列を計算することであって、それぞれの第1のインスタンスがタイムスタンプに関連付けられる、計算することと、第1のインスタンスの系列に基づいて、第1の反復運動の第1の情報を計算すること、をさらに含む、方法。
【0992】
項C78:項C74,項C75、項C77の無線監視システムの方法であって、一連のインスタンスのそれぞれのインスタンスをテストすることと、一連のインスタンスのうちの誤ったインスタンスを識別することであって、誤ったインスタンスが誤ったタイムスタンプに関連付けられていること、識別することと、誤ったインスタンス及び誤ったタイムスタンプのうちの少なくとも1つを訂正すること、をさらに含む方法。
【0993】
項C79:項C78の無線監視システムの方法であって、誤ったインスタンスを訂正されたインスタンスに置き換えることをさらに含む方法。
【0994】
項C80:項C78の無線監視システムの方法であって、誤ったタイムスタンプを訂正されたタイムスタンプで置き換えることをさらに含む方法。
【0995】
項C81:項C78の無線監視システムの方法であって、誤ったインスタンスに関連するタイムウィンドウを識別することと、タイムウィンドウの自己相関関数を計算することと、自己相関関数を正規化することと、観測可能なものの時系列のタイムウィンドウのセクションを自己相関関数で置換することと、観測可能なものの時系列に基づいて誤ったインスタンスをタイムウィンドウの置換されたセクションで再計算すること、をさらに含む方法。
【0996】
項C82:項C78の無線監視システムの方法であって、インスタンスに関連付けられた連続したインスタンスのペアに関連付けられたタイムスタンプ間の差分である少なくとも1つのインスタンス間期間を計算することによって各インスタンスを試験することと、インスタンスに関連付けられた少なくとも1つのインスタンス間期間の関数を計算することと、関数が閾値よりも大きい場合にインスタンスを誤りインスタンスとして識別すること、をさらに含む方法。
【0997】
項C83:項C78の無線監視システムの方法であって、前記関数は、総和、差分、比、除算、乗算、平均、加重平均、変換、変動性測定、分散、標準偏差、変動、拡散、分散、偏差、発散、範囲、四分位範囲、総変動、絶対偏差、総偏差、外れ値測定、不規則性測定、変化測定、微分、一次微分、二次微分、高次微分、低域フィルタ、帯域通過フィルタ、高域通過フィルタ、及び別の関数のうちの少なくとも1つを含む方法。
【0998】
項C84:項C78の無線監視システムの方法であって、誤ったインスタンスの総数を計算することと、総数に基づいて、第1の情報及び第2の情報のうちの少なくとも1つを計算すること、をさらに含む方法。
【0999】
項C85:項C74又は項C75又は項C76の無線監視システムの方法であって、連続するインスタンスのペアのインスタンス間期間を計算することであって、前記インスタンス間期間は、連続するインスタンスのペアに関連するタイムスタンプ間で異なっている、計算することと、インスタンス間期間に基づいて、第1の情報及び第2の情報のうちの少なくとも1つを計算すること、をさらに含む方法。
【1000】
項C86:項C85の無線監視システムの方法であって、インスタンスの時系列の連続するインスタンスのペアに基づいてそれぞれ計算された一連のインスタンス間期間の変動性測定値を計算することをさらに含む、項項C85に記載の無線監視システム。
【1001】
一例では、開示されたViMoシステムが人間、例えば、物理デバイスを着用していないか、または取り付けられていない患者のバイタルサインをモニタするために使用することができる。ViMoは患者の身体からのRF信号の反射を純粋に使用することにより、患者のバイタルサイン(例えば、呼吸、心臓の鼓動)を正確に検出できる無線システムである。開示されたシステムは呼吸信号の干渉を除去した後に、時間と周波数の両方のダイバシティを活用して、患者の心拍数を推定することができる。
【1002】
別の例では、開示されたシステムが単一の商用802.11adデバイスを使用して、多数の人及び/または動物のバイタルサインを同時に(例えば、サーカス、動物園、アパート、オフィスビルなどで)監視することができる。開示されたシステムはあらゆる事前の校正なしに、ヒト/動物のターゲットの位置を突き止め、カウントすることができる。開示されたシステムは、NLOS及び運動アーチファクトを含む様々なシナリオでうまく機能することができる。
【1003】
呼吸速度の無線検知は、多くの用途にとって重要である。最新の解決策の大部分は、群衆の数の事前の知見と、自然でも現実的でもない様々なユーザの明確な呼吸速度を仮定して呼吸速度を推定する。しかしながら、人間の被験者を認識するために推定された呼吸速度を活用することができるものはほとんどない(別名、アイデンティティマッチング)。本開示では、市販のWiFiデバイスの単一ペアのチャネル状態情報を使用して、このような非実用的な仮定なしに多数の人物の呼吸速度を連続的にトレースするための新たなシステムが開示される。開示された解決策は、呼吸信号の信号対雑音比(SNR)を高める適応サブキャリア組み合わせ法と、多数のユーザの呼吸速度を連続的にトレースする反復ダイナミックプログラミング及びトレース連結アルゴリズムとを含む。CSIのスペクトラム及び時間ダイバシティの両方を活用することによって、開示されたシステムは、それらのうちのいくつかが短時間で一緒に併合されたとしても、呼吸速度トレースを正確に抽出することができる。さらに、開示されたシステムは、得られた呼吸トレースを利用することによって、人のカウントと認識を同時に行うことができる。広範な実験は、2つの環境(学内実験室及び自動車)で行われる。この結果は、平均精度86%が両方の場合について4人までの人々に対して達成され得ることを示している。すべての試験事例のうちの97.9%に対して、群衆の数の推定値の絶対誤差は1以内である。本システムは、スマートホームケースにおける人物認知のための平均精度85.78%を達成する。
【1004】
本開示では、開示された解決策が群衆の数を事前に知ることなく、または様々なユーザの呼吸速度が別個であると仮定することなく、人間の呼吸数を連続的にトレースすることができる。開示されたシステムは異なる時間に推定された呼吸速度を異なるユーザ、すなわち、どの呼吸速度がどの人物に対応するかに一致させることに焦点を当てている。推定された呼吸速度トレースを利用することによって、開示されたシステムは、人数をカウントすると同時に認知を達成することができる。しかしながら、両方の目的のために複数人数の呼吸速度に基づいてアイデンティティマッチングを達成することは、いくつかの固有の課題を伴う。
【1005】
第1に、人間の呼吸によって引き起こされる微妙な変化は、WiFi CSIにおける測定ノイズによって容易に損なわれ得る。多人数のシナリオでは、状況はさらに悪化する。この課題を克服するために、サブキャリアと多重リンク(アンテナペア)に存在するダイバシティを利用して、呼吸信号をブーストしながら雑音を低減できる。種々のサブキャリア及びリンクを適切に組み合わせることによって、呼吸信号は、任意の個人またはそれらの平均によって達成され得るものよりもかなり良好に向上され得ることを示すことができる。
【1006】
第2に、ある人の呼吸速度は経時的に変化するため、連続した呼吸速度の推定値を対応する人と関連付けることは自明ではない。自分の呼吸速度が短時間内に変動しないことを考慮すると、自然呼吸信号のためのマルコフチェーンモデルを構築し、さらに、反復ダイナミックプログラミングアルゴリズムを使用して、複数の呼吸トレース(すなわち、様々なユーザの呼吸速度のシーケンス)を連続的にトレースすることができる。
【1007】
第3に、ユーザの数は、ユーザが行ったり来たりすることがあるので、関心のある領域に対して固定されないことがある。占有率のリアルタイム推定値を出力するために、本開示は既存のユーザのトレースを維持するためのトレース連結法を開示し、このトレース連結法は、最新の推定値を開示されたトレースと連結して、既存のユーザ、新しく到着したユーザ、及び離脱したユーザを決定する。
【1008】
最後に、人の呼吸数は小さな範囲で変化するが、異なる個人の呼吸パターンは異なっている。この観測に基づいて、呼吸トレースのデータベースを構築し、スマートホームシナリオのために人間の認知を行うために仮説検定を適用することができる。
【1009】
12人のユーザが評価に関与する、2つの典型的なターゲット環境(すなわち、ラボオフィスと自動車)で、市販品の既製WiFiデバイスのペアを用いて、開示されたシステムを試作し、実験を行うことができる。4人までの人数の平均精度は、両方の環境において、86%よりも高い。すべてのテストケースの97.9%のうち、群衆数の推定値の絶対誤差は1以内である。開示されたシステムは両方の環境に対して同様の性能を達成し、環境に対する独立性を実証し、これは、トレーニングベースの手法よりも性能が優れている。最後に、4人の家族に対する呼吸トレースを用いて、人の認知の性能を調査することができる。システムは、85.78%の精度を達成することができる。本開示は呼吸速度の推定、受動的な人数計算、及び人間認識の観点から、スマートホームアプリケーションに向けて重要な一歩を踏み出す。
【1010】
本研究の主な貢献は以下のとおりである。複数の呼吸信号を強化するためのサブキャリア組み合わせ法、反復ダイナミックプログラミング及びトレース連結アルゴリズムを含む、複数ユーザの呼吸トレースを推定するための新規な技術のパイプラインを考案し、COTS WiFiデバイスのCSIを使用して複数ユーザの逐次的な呼吸速度を連続的にトレースすることができる。抽出された呼吸トレースを用いて群衆数を推定するための非侵入型でトレーニングフリーの方法が開示される。さらに、人間の認知を行うために呼吸トレースを活用するための仮説検定モデルが開示される。COTS WiFiデバイス上の開示されたシステムを試作し、評価することができる。室内空間と車内での結果は、有望な性能を実証した。
【1011】
開示されたシステムの基礎となる計算パイプラインを図78に示す。特定の時間インスタンスにおける独立した呼吸速度を推定することを目的とする多くの以前の研究とは異なり、この研究はアイデンティティマッチングを行うために、周波数及び時間領域を利用することに焦点を当てている。中核的な考え方は、異なる個人の時間に沿った呼吸速度配列(別名、呼吸速度トレース)を推定することである。さらに、推定された呼吸トレースを利用して、占有率を推定し、観測領域内のユーザ識別を予測することができる。このアイデアは、開示されたシステムの3つの段階、すなわち(1)複数ユーザの呼吸スペクトラム生成、(2)呼吸速度トレース追跡、並びに(3)人のカウント及び認識に即座につながる。
【1012】
第1段階では、開示されたシステムがまず、周期的な呼吸信号を抽出するために、CSI測定に対して短期フーリエ変換を実行する。異なる個人の呼吸速度が異なる限り、複数の周波数成分が周波数応答において観察される。抽出された呼吸信号は典型的には単一のサブキャリア上でかなり弱く、これらは新規な適応サブキャリア結合方法によってさらにブーストされる。段階1は、経時的な時間推定呼吸速度のスペクトログラムを出力する。
【1013】
第2段階では、第1段階から得られたスペクトラグラムから呼吸速度トレース(すなわち、呼吸源)を追跡することを目標とする。しかし、呼吸速度と呼吸速度トレースとの間には、2つの理由、すなわち、第1に、異なる個人が互いに重なり合う同じ呼吸速度をもつことがあるため、有意な差がある。第2に、呼吸速度は経時的に変化する。これらの課題に対処するために、自然呼吸におけるダイナミクスを扱うためのマルコフ連鎖モデルを導入した。本開示は、反復ダイナミックプログラミングの新規なアルゴリズムによって、各々の個人の呼吸トレースを1つずつ分解する連続キャンセル方式を開示する。その後、人間のターゲットの到着時刻及び離脱時刻をさらに識別するために、近接するタイムウィンドウ内の識別された呼吸速度のトレースを連結することができる。
【1014】
第3段階では、ステージ2によって与えられた推定された呼吸速度トレースを活用して、人数を数え、認知することができる。時間領域をさらに利用し、新たな疑似バイラテラルフィルタによって推定された呼吸速度トレースの外れ値を除去することによって、システムは群衆数の推定値を与える。次に、仮説検定によって、抽出された呼吸速度トレースに従って人物のアイデンティティ認識を行うことができる。
【1015】
複数ユーザの呼吸スペクトラム生成
【1016】
呼吸のインパクトを伴うCSIモデル
【1017】
チャネル状態情報(CSI)は、無線信号が送信機(Tx)から受信機(Rx)にどのように伝搬するかを表す。人間の存在下では、信号伝搬の1つ以上の経路が人間の動きによって変更される。複数の無指向性アンテナを持つTxとRxのペアが与えられたとき、時間tと周波数fにおけるリンクmのCSIは以下のようにモデル化される。
[この文献は図面を表示できません]
ここで、k∈v は使用可能なSCのセットvにおける中心周波数を持つサブキャリア(SC)インデックスである。Lはマルチパス成分の総数(MPC)であり、a(t) 及びd(t)はMPClの複素利得及び伝搬長を示す。n(t,f)は加法的白色雑音であり、cは光速である。
【1018】
呼吸がある場合、数式(94)は以下のように表すことができる。
[この文献は図面を表示できません]
Ωdiは、時間的に変化する複素ゲイン及び遅延をもたらす人間iによって散乱されたMPCを表し、Ωは、複素利得及び遅延が時間的に変化しない人間の呼吸によって影響を受けないMPCを表す。ΩdiにおけるMPCのゲインは以下のようにモデル化される。
[この文献は図面を表示できません]
ここで、a及びdは静的な環境における利得及び経路長としてモデル化することができ、Δdは胸部運動によって引き起こされる伝搬長の差分であり、θは人間の散乱と電磁波との間の角度であり、φは初期位相である。はΨはパスロス係数である。胸部の動きは、経路長よりもはるかに小さく、すなわちΔd<<d であり、Ω及びΩdiの両方におけるMPCの振幅は時間不変であると仮定することができ、例えば、
[この文献は図面を表示できません]
であると仮定される。
【1019】
呼吸信号のSN比の向上
【1020】
それぞれのMPCサブセットΩdiについて、遅延は周期的な胸部の動きのために周期的、すなわちd(t+Tbi)=d(t),∀l∈Ωdiである。したがって、周波数領域において測定されたCSIの複数の周波数成分を見ることができ、それぞれが別個の呼吸信号に対応する。
【1021】
呼吸信号は、短期フーリエ変換(STFT)を適用することによって抽出することができる。具体的には、まず、長さWのスライディングウィンドウを、各リンクにおける各SCのキャプチャされたCSI時系列に適用し、次いで、各タイムウィンドウにわたって高速フーリエ変換(FFT)を実行することによって周波数スペクトラムを得ることができる。次いで、スペクトラム上の帯域通過フィルタを使用して、人間の呼吸周波数[bmin,bmax] の正常範囲のみを考慮することができる。FFTは全てのNTx×NRx×Nsc 個のSCに対して個々のスペクトラムを得るために全てのSCに対して実行され、ここで、NTx,Rx 及びNscは各Tx−Rxリンク上のTxアンテナ、Rxアンテナ、及び使用可能なSCの数である。
【1022】
図2に示すように、1人の人物からのそれぞれの呼吸信号は、得られたパワースペクトラム密度(PSD)の1つの明白なピークに寄与する。異なるSCは同一の呼吸運動に対して多様な感度レベルを経験する。以前のアプローチはSNRを改善するために、すべてのSC間のCSIの分散値、振幅またはアンサンブル平均に基づいて最良のSCの設定を選択することを試みた。しかしながら、以下の観察は、これらのアプローチの欠点を示す:1)同じ呼吸源に対する異なるSCの応答電力が異なる(図79の列を参照)。2) 同じSCの場合、異なる呼吸源に対する応答電力は異なる(図79の行参照)。3) 異なるリンクの応答電力は異なる(図79の異なる図)。したがって、すべての呼吸源に対して普遍的な感度を示す単一のSCは存在しない。異なった周波数成分に対して同じサブセットのSCを使用することは、すべての呼吸信号に対して等しく良好なSN比を生成しないかもしれない。さらに、すべてのリンクに対して普遍的な閾値を使用すると、応答電力の低いリンクからの情報が失われる可能性がある。
【1023】
これらの観測から、まず、新しい適応的なSC合成基準を用いて、それぞれのリンクの呼吸信号のSN比を高めることができる。リンクmに対して、所与の周波数成分qに対する選択されたSCは、以下の条件を満たす。
[この文献は図面を表示できません]
ここで、Qは範囲[bmin,bmax] 内の周波数成分のセットである。
[この文献は図面を表示できません]
は周波数成分qにおけるリンクmにわたるk番目のSCの電力を表し、
[この文献は図面を表示できません]
はすべての周波数成分及びSC上のリンクmの最大電力を表す。αは、SC選択のための相対的なしきい値
[この文献は図面を表示できません]
を決定するハイパーパラメータである。th(m)は、上記の第3の観測によって着想されるように、個々のリンク品質に適応することに留意されたい。したがって、リンクmにおける周波数成分qの強化された電力は以下のように表せる。
[この文献は図面を表示できません]
【1024】
多様なリンク品質をさらに組み込むために、各々のリンクに対する電力を正規化し、次いで、それらを一緒に組み合わせて、SN比をさらに改善することができる:
[この文献は図面を表示できません]
[この文献は図面を表示できません]
ここで、E(q)はリンク組み合わせ後の周波数成分qの電力であり、M=NTx×NRx はリンクの総数である。
【1025】
図80は、いくつかの例示的なリンクに対するSC組み合わせの影響を示す。図に示すように、開示されたSC選択及び組み合わせ方式(青色の曲線で示す)は関心のある周波数成分に対するSN比を著しく改善し、単純な平均方式(赤色の曲線で示す)よりも優れている。図81は、雑音及び干渉が効果的に抑制されたことを実証する、全9リンクの組み合わせ後のPSDをさらに描写する。呼吸速度のグランドトゥルースは、黒い破線でマークされている。対照的に、全てのSCの単純平均は、所望の呼吸信号に対する支配的でないピーク及び偽ピークに悩まされている。
【1026】
呼吸速度トレース追跡
【1027】
呼吸速度から呼吸速度トレースへ
【1028】
以前の研究は、候補呼吸速度の数によって人数を推定した。しかしながら、それらにはいくつかの制限がある。第1に、呼吸速度推定は、単一の時点に対して十分に正確ではない場合がある。第2に、様々なユーザが周波数スペクトラムと区別できない近い呼吸速度を有することがあり、潜在的な過小評価をもたらす。第3に、人々の数は、人々が来たり来たりすることにつれて、時間と共に変化し得る。また、付随する運動も呼吸信号を破壊する。
【1029】
呼吸速度を個人にマッピングし、したがって正確な群衆の数をさらに推定するために、信頼できる推定のために呼吸速度推定の時系列におけるダイバシティを利用することができる。最初に、マルコフプロセスとして動的に呼吸速度をモデリングすることができる。呼吸信号は周期的であり、呼吸頻度は時間の経過とともに滑らかに変化することに注目すると、2つの隣り合う時間ビン間の呼吸速度の変化は、確率密度関数(PDF)p(f)で正規分布N(0、σ)に従うと仮定される。
STFTの動作は[bmin,bmax]の範囲の連続周波数を|Q|個の周波数成分に自動的に離散化し、|Q|はQの基数を意味するため、自然な呼吸はマルコフ連鎖としてモデル化することができ、遷移確率行列は、
[この文献は図面を表示できません]
と表され、以下のように定義される。
[この文献は図面を表示できません]
ここで、∀q,q’∈Q 及びgは所与のタイムスロットにおける呼吸速度の周波数成分を示す、マッピングとして定義される。
【1030】
所与のタイムスロットtにおける呼吸速度トレースを推定するために、開示されたシステムは[t−W,t] におけるスペクトラムを活用し、ここでWはウィンドウ長である。出力はW 秒毎に生成され、スペクトラムは同時に更新される。したがって、ある時点tでの呼吸トレースを推定するために、スペクトラム
[この文献は図面を表示できません]
が活用され、ここでI=W/Wである。
【1031】
原則として、呼吸信号は雑音及び他の運動干渉よりも周期的である。したがって、ほとんどの時間においてピークとして観察される可能性が高く、したがって、呼吸信号は図82に示すように、周波数がわずかに変化する時間に沿って所与のスペクトラム内にトレースを形成する。以下では、最初に、所与のウィンドウ内の連続する呼吸速度のトレースを抽出し、次いで、それらを時間連結することができる。
【1032】
呼吸速度トレースの抽出
【1033】
理論モデル
【1034】
所与のスペクトラムSについて、呼吸トレースの合理的な推定値は以下によって得られる。
[この文献は図面を表示できません]
ここでgは呼吸トレースを示し、以下のように表される。
[この文献は図面を表示できません]
【1035】
ここで、
[この文献は図面を表示できません]
は所与の時間におけるトレースの周波数成分を示すマッピングである。E(g) はトレースの電力であり、以下のように定義される。
[この文献は図面を表示できません]
ここで、S(i,j) は時間ビンi及び周波数成分jにおける電力を表す。
【1036】
自分の呼吸速度が短期間で周波数変動しないことを考慮して、関心のある周波数の突然の変化にペナルティを課すために、正則化期間が追加される。この場合、呼吸トレースは、周波数電力と一時的な滑らかさとの間の良好な均衡を達成する一連の呼吸速度の推定値である。トレースの滑らかさは、コスト関数C(g) によって評価することができ、以下のように定義される。
[この文献は図面を表示できません]
この場合、周波数の遷移確率
[この文献は図面を表示できません]
は数式(101)によって計算できる。一般性を失うことなく、均一な事前分布、すなわち、
[この文献は図面を表示できません]
を仮定することができる。コスト関数C(g) は、所与のトレースに対する対数尤度の負数である。トレースが滑らかであればあるほど、トレースの確率は大きくなり、トレースにかかるコストは小さくなる。
【1037】
ここで最も確率の高い呼吸トレースは、以下を解くことで見つけることができる。
[この文献は図面を表示できません]
ここで、λ は正則化係数である。ここで、表されたE(g)−λC(g) はトレースgの正則化されたエネルギーとして示される。ハイパーパラメータλを適切に選択することによって、システムは真の呼吸トレースの正規化されたエネルギーが正であることを保証することができ、一方、観測領域が空であるとき、所与のスペクトラムにおける任意のトレース候補の正規化されたエネルギーは負である。
【1038】
反復ダイナミックプログラミング(Iterative Dynamic Programming)
【1039】
数式(106)の問題はダイナミックプログラミングによって解くことができる。しかし、ダイナミックプログラミングは、典型的には最大限に規則化されたエネルギーーを有するトレースしか見つけることができず、複数の呼吸トレースに対応することができない。本開示は、反復ダイナミックプログラミング(IDP)の新たな方法を介して、複数のトレースを1つずつ見つけるための逐次キャンセル方式を開示する。
【1040】
IDPの原理的な考え方は直感的である。所与のスペクトラムSに対して、最も確率の高い呼吸トレースが、ダイナミックプログラミングによって最初に見つけられる。他の呼吸トレースがあるかどうかをさらに判定するために、識別されたトレースはスペクトラムから消去され、次に、別の候補トレースを見つけるために新しいラウンドのダイナミックプログラミングが実行される。この逐次的なキャンセル手順は、スペクトラムにもはや効果的なトレースがなくなるまで反復的に実行される。
【1041】
明確にするために、(i,q) はタイムスタンプi及び周波数成分qを有するビンインデックスを示す。
[この文献は図面を表示できません]
で表される、タイムスタンプiからjの最大の周波数ピークのトレースを求めたい場合がある。点(j,n) で終わるトレース
[この文献は図面を表示できません]
の正則化されたエネルギーを
[この文献は図面を表示できません]
と定義する。開示された手法は周波数ポイントnで終わる全ての考えられるトレース
[この文献は図面を表示できません]
を探索し、それらの中から最良のものを選択することである。これは、隣り合うタイムスタンプと共に全てのビンに対する最適なトレースを見つけることによって達成することができる。簡単にするために、各ビンにおける正規化されたエネルギーを、所与のビンのスコアとして以下のように得ることができる。
[この文献は図面を表示できません]
ここで、
[この文献は図面を表示できません]
である。所与のビンのスコアは、得ることができる、最大の達成可能な正規化されたエネルギーである。言い換えれば、ビン(i,q) を通過する最適なパスを判断する。
【1042】
最適な呼吸トレース全体は、最後のタイムスタンプの最大スコア
[この文献は図面を表示できません]
に寄与するビンをバックトラッキングすることによって見つけることができる。観察ウィンドウ内、すなわち、∀i=I−1,I−2,・・・,1の残りの呼吸トレースについて、以下が得られる。
[この文献は図面を表示できません]
【1043】
数式(108)のバックトラッキング手順は、これは数式(106)に対する最適な解である、所与のスペクトラムに対する最適なトレースg を与える。
【1044】
所与のスペクトラムに他の候補の呼吸信号があるかどうかをさらに検査するために、トレースgを除去すべきである。理想的な場合には、gに沿ってビンを除去するだけでよい。しかしながら、FFT点の個数は限られているので、呼吸信号のエネルギーは呼吸トレースの中心の周りに拡散され、これは、図80に示すように、所与のスペクトラムにおいてエネルギー帯を形成する。したがって、最適なトレースgに沿ってエネルギーを除去し、数式(107)及び数式(108)のダイナミックプログラミングを連続的に実行する場合、1つのエネルギー帯の中に一群のトレースが入る。したがって、IDPは、エネルギーストリップを得るためにFFTの拡散効果をエミュレートするために最適トレースgにウィンドウモジュールを適用する。最適なエネルギーストリップを消去した後の更新されたスペクトラムは以下である。
[この文献は図面を表示できません]
ここで、S(i) はタイムスタンプiにおけるスペクトラムのエネルギーを表し、wはウィンドウ処理モジュールの周波数応答である。演算子「*」は畳み込み演算を表し、FFTの拡散効果によって生じるエネルギーストライプをエミュレートすることができる。
【1045】
複数のトレースを見つけるために、上記のダイナミックプログラミング及びスペクトラムの除去を再帰的に実行することができる。発見されたトレースのスコアが負であり、実効的なトレースがない空のスペクトラムを示すときに、該アルゴリズムは終了する。
【1046】
反復ダイナミックプログラミングの手順を図93に要約する。図83A図83Cはこの発見とその後の消去手順の詳細を示しており、3名が自動車に座って自然呼吸をしており、その平均呼吸速度は[10 14 15]bpmである。図83Aでは、DPによって見つけられたトレースが線によってマークされている。このトレースのエネルギーストライプは、図83Bに示すように除去される。スペクトログラムはIDPが終了すると、図83Cに示され、図中の線は呼吸トレースを示す。完全に除去されていない残留エネルギーは依然としてあるが、非負の正規化エネルギーの制約を満たすトレースがないので、IDPは適切に終了することが明らかである。
【1047】
空のケースの検出
【1048】
理想的には、監視エリアに人が存在しない場合、スペクトラムは熱雑音の正規分布のためにランダムであるので、呼吸トレースはピックアップされない。しかし実際には、空のケースでは何らかの雑音がブーストされる可能性があるため、誤ったトレースが検出される可能性がある。この影響を回避するために、空のケースを決定するために動き検出を使用することができる。動き(胸部の動きでさえない)が検出されない場合、システムは空であると直接的に主張し、そわない場合、上記のステップは、潜在的な呼吸速度トレースを見つけるために実行される。ここで、動き検出器は、呼吸の動きを検出するのに十分な感度及びロバスト性を有する必要がある。現在の開示では、ほぼ0の誤警報を達成する動き統計を用いることができる。
【1049】
トレース連結
【1050】
反復ダイナミックプログラミングは、タイムウィンドウごとに呼吸速度トレースを提供する。しかし、実際には、継続的なモニタシステムがタイムウィンドウよりもはるかに長時間動作し、トレース抽出を強化するために余分な情報ゲインをもたらす。この部分において、本開示は同じ呼吸信号に属するトレースセグメントを異なったタイムウィンドウに連結するための新たなトレース連結法(図93)を開示し、これはトレースセグメントを改善するだけでなく、各々のトレースの始まり及び終わり時間(又は同等に、特別なユーザの出入りの時間)の検出を可能にする。
【1051】
明確にするために、すべての開示されたトレースをデータベースに記憶することができる。以前に発見された第jのトレースは、
[この文献は図面を表示できません]
として表され、ここでj=1,・・・,J であり、tst 及びtend はトレースの開始時間及び終了時間を表す。現在のタイムウィンドウ[t−W,t] において発見された第kのトレースは、g(t−W:t)として表され、k=1,・・・,K である。さらに、2つのトレース間の類似度はウィンドウ内の重複時間とウィンドウ長との比率として定義され、これは数式で表される。
[この文献は図面を表示できません]
ここで、
[この文献は図面を表示できません]
である。現在のウィンドウ内のすべてのトレースとデータベース内のものとの間の類似性を示すために、式(110)に従って類似性行列
[この文献は図面を表示できません]
を計算されることができる。g(t−W:t)に対する前の部分を見つけるためには、Fのk列目であるf(k)の最大限のアイテムを見つけるだけでよい。最大類似度の行インデックスは最大類似度が所定の閾値を上回る場合に、前のトレースのインデックスを示す。
【1052】
類似度が十分に高い以前のトレースが存在する場合、これは、対応する呼吸速度トレースが以前に検出されたことを意味する。次に、対応するトレースのエンドポイントを更新する必要がある。エンドポイントを現時点とし、それに応じて対応する周波数成分を更新することができる。新しいユーザが到着すると、しきい値よりも大きい類似性を有するトレースは存在せず、したがって、対応するタイムスタンプ及び周波数成分を有する新しいトレースが作成される。同様に、以前のトレースと類似している現在のウィンドウ内のトレースが、残っているユーザに対応していないため、トレースは終了する。
【1053】
図84A図84D及び図85は、トレース連結アルゴリズムの効果を示す。4つの隣り合うタイムウィンドウが図84A図84Dに示され、IDPで検出されたトレースは線でマークされている。スペクトログラムの中央の呼吸トレースは、第2及び第3のウィンドウでは検出されないが(被験者の身体運動及び呼吸速度変化のために)、第4のウィンドウで見つかったトレースは第1のウィンドウで見つかったトレースと依然として高度な類似性を達成するので、図85に示すように、依然として連結することができることが分かる。
【1054】
人のカウントと認識
【1055】
人のカウント
【1056】
IDP及びトレース連結をカウントする人々は呼吸速度トレースの推定値を提供し、トレース数は、占有率の推定値である。IDP及びトレースの連結は観察領域内のヒトの呼吸の安定性を考慮してきたが、推定結果は依然として大きなノイズを受け、図84B図84Cに示されるように、リアルタイム出力に対するいくつかの誤警報または過小評価を有し得る。リアルタイムシステムのためにこれらの外れ値を除去/軽減するために、以前の推定値に含まれる情報を探索するための疑似バイラテラルフィルタをデザインすることができる。バイラテラルフィルタと同様に、設計されたフィルタは時間及び推定領域における距離を同時に考慮するが、開示されたシステムに従って、いくつかの改良を行ってもよい。第1に、リアルタイムシステムの場合、フィルタは、過去及び最新の推定結果のみを使用することができる。さらに、連続的な呼吸速度トレースを得るために、時間と周波数を利用するので、予備的な推定は短期間で一貫している。したがって、バイラテラルフィルタを直接的に使用することができる場合、第1の不正確なアウトプットのみが修正される。これらの2つの制約が与えられると、それぞれのセグメントが一貫した予備推定系列であるセグメントベースのフィルタを開発することができる。
【1057】
具体的には、出力が現在の推定及び以前のセグメントによって決定される。セグメントsの重みをWseg(s) として以下のように表すことができる。
[この文献は図面を表示できません]
ここで、lはセグメントsの長さであり、τはセグメントsと現在のタイムスタンプとの間の時間差である。dは、図86に示すように、現在の推定とセグメントsとの間の推定差分である。直感的には、セグメントが長ければ長いほど、より大きな重みが割り当てられる。反対に、時間または群衆の数の推定が長ければ長いほど、このセグメントが現在の結果に与える影響は小さくなる。明確にするために、i人の推定された人々を有するセグメントのセットはSとして表され、現在の推定された数はjとして表される。疑似バイラテラルフィルタの後で現在推定されている人がi人であることの重みは、次のように計算される。
[この文献は図面を表示できません]
ここで、セグメントの総数はNであり、推定差分はd=|i−j|であり、数式(111)のWseg(s)は以下のように設計される。
[この文献は図面を表示できません]
【1058】
フィルタリング後の最終的な結果は、以下のように表されるj’である。
[この文献は図面を表示できません]
【1059】
図86は、疑似バイラテラルフィルタリングの前後の推定結果を示す。明らかに、新しい疑似バイラテラルフィルタは推定の異常値を効果的に除去でき、従って人数カウントシステムの性能を改善する。
【1060】
スマートホームにおける人間の認識
【1061】
このパートでは、開示された呼吸トレース結果を、観測領域における人間のアイデンティティを認識することを望む可能性がある興味深いスマートホームアプリケーションに適用することができる。観察に基づくと、ある場合には異なった人間の呼吸速度は同じであるが、特定の人間にとっては彼または彼女の呼吸速度はある一定の範囲に位置する傾向があり、これは人間/利用者の認識にとって全く独特の特徴である。換言すれば、異なる人々の呼吸分布は異なる傾向がある。この観測によって動機付けられて、得られた呼吸トレースを活用して人間の認知を行うために、仮説検定を利用することができる。
【1062】
各人の確率密度関数(PDF)はガウス分布、すなわち
[この文献は図面を表示できません]
に従うと仮定され、すなわち、こで、kはテスト被験者のラベルを示す。異なる人の呼吸速度の分布を得るために、最初に、トレーニングデータセット内のヒストグラムから大まかなPDF推定値を得ることができる。このヒストグラムをガウスモデルに適合させ、各テスト被験者のPDFを得る。図87は、4人の被験者についての例示的な呼吸PDFを示す。PDF分布に基づいて、呼吸トレースgの所定の観察について、被験者kに属するトレースの対数尤度は以下のように計算される。
[この文献は図面を表示できません]
ここで、Nは所与のトレースの時間インスタンスの数である。予測されたラベルは最大尤度、すなわち以下を達成するものでなければならない。
[この文献は図面を表示できません]
【1063】
実験と評価:開示されたアプローチの性能を評価するために広範な実験が行われるべきである。具体的には、最初に実験設定を導入し、次に2つの異なるシナリオに対応する結果を導入することができる。最後に、別個のモジュールの影響に関する議論を開示する。
【1064】
実験における全てのデータは12人の参加者を含む2ヶ月間にわたり、キャンパス上の実験室及び自動車において収集される。2人のデバイス(TxとRx)があたかも会議に出席しているかのように椅子に座るように、ラウンドデスク参加者の2つの異なった側に置かれる。実験中、参加者は自分の座席をランダムに選択し、わずかな動きが許容される。また、屋内シナリオの極端な場合である自動車で実験を行うこともでき、この場合、空間が限定され、強い反射がある。自動車のシナリオの場合、TxとRxはそれぞれ運転者側と乗客側の前面ドアに置かれる。
【1065】
総合パフォーマンス
【1066】
図88AはLABにおける開示された方法の混同行列を示し、総合的な精度は、87.14%であり、精度は以下のように定義される。
[この文献は図面を表示できません]
【1067】
カウントエラーは、テストケースの98.6%に対して1人以内である。さらに、開示されたシステムは、モニタ領域が占有されているか否かを完全に検出することができる。しかしながら、精度は、より多くの人が存在すると低下する。これは、予想されるように、より多くの人がいるほど、彼らの呼吸トレースが一緒に融合する可能性が高くなり、偶発的な動きが起こる可能性が高くなり、両方とも計数エラーにつながるからである。図89Aは自動車における開示されたテスト結果がLABにおけるものと同等の性能を達成することができることを示し、これは、周囲に対する開示されたシステムの独立性を実証する。
【1068】
開示されたシステムをさらに評価するために、それを、市販のWiFiを使用して多人数の呼吸速度も推定する最も関連性のあるTR−BREATHと比較することができる。TR−BREATHは呼吸速度推定のためにルートMUSICを使用し、群衆数を推定するためにアフィニティープロパゲーションアルゴリズムを使用する。公正な対比を行うために、準二者間フィルタを用いて、原稿のTR−BREATH推定値の外れ値をフィルタする。LAB及び車におけるTR−BREATHの推定精度を、それぞれ図88B及び図89Bに示す。見られるように、TR−BREATHは、自動車のテストシナリオにおいて同等の性能を示す。LAB環境における性能ははるかに悪く、全体的な精度は70.68%である。ここに開示する手法は、適応的なSC組み合わせ、反復ダイナミックプログラミング、トレース連結の3つの中核技術に帰せられる、それぞれLAB及び自動車テストシナリオによる総合性能を16.64%及び3.32%改善する。
【1069】
図90は人物認識の混同行列を示し、各個人のPDFが図87に示されている。被験者が明確な呼吸速度を有する場合、それは高認知率(すなわち、被験者1及び被験者2)に対応することが分かる。しかし、被験者2名の呼吸速度範囲が非常に類似しているケースでは、お互いを区別することは困難であり(被験者3名と被験者4名)、これもシステム数を過小評価している理由である。
【1070】
個々のモジュールの性能ゲイン:各々の独立したモジュールが開示されたシステムの性能をどのように改善するかを以下に説明する。混同行列及び精度とは別に、ここでは、以下のように計算される真の正(TP)レートをさらに採用することができる:
[この文献は図面を表示できません]
【1071】
SNRブースティングアルゴリズムの影響
【1072】
ここで、SNRブースティングアルゴリズムを一般的に使用されているものと比較することができる。すなわち、最大エネルギーがある閾値を超えるSCを選択することである(以後、これを固定閾値アルゴリズムと呼ぶ)。公平な比較のために、両方の方法の閾値として最大リンクエネルギーの30%を選択することができる。さらに、それぞれのリンクのエネルギーは、リンク組み合わせの前に正規化され、したがって、両方の方法のための後の処理で使用されるパラメータも同じである。開示されたアルゴリズムは、より良い性能を示すことが分かる。
【1073】
IDP推定アルゴリズムの影響
【1074】
この実験では、IDPの利点を示すことができる。パフォーマンスを、現在のタイムスタンプのみにおけるスペクトラムに基づいて人の数を推定するローカル推定アルゴリズムと比較することができる。公正な比較のために、疑似バイラテラルフィルタを局所推定アルゴリズムにも適用した。結果はIDPが両方のデータセットの性能を大きく改善することを示し、これは、計数における時間ダイバシティを活用することによって寄与されるゲインを実証する。
【1075】
疑似バイラテラルフィルタの影響
【1076】
この実験では、設計した疑似バイラテラルフィルタが人数の計数システムの性能に及ぼす影響を示すことができる。図88C及び図89Cはそれぞれ、LAB及び車内で収集されたデータセット上でフィルタリングを行わずに、人数計数システムの混同行列を示す。この結果を図88(a)及び図89(a)と比較すると、観測領域の人数が3人よりも多い場合には、ほとんどの場合、疑似バイラテラルフィルタにより性能を向上させることができることが分かる。その理由は、被験者の数が増加すると、より多くの動きの干渉が導入されるからである。さらに、様々な呼吸トレースが併合する可能性がより高い。IDPによる周波数ダイバシティと同様に時間領域を利用しても、推定エラーは依然として起こり得る。疑似バイラテラルフィルタは、時間領域におけるダイバーシティをさらに利用し、したがって推定外れ値を補正する後処理方法である。
【1077】
人間の被験者の空間的分離及び呼吸速度差分の影響をさらに調査するために、図91に示すように、3人の参加者が異なった空間的分離で座っている実験を行うことができる。人間の被験者の体積を考慮して、最小距離は70cmに設定される。TxとRxとの間の距離は3.2mである。実験中に一定の呼吸速度間隔を確保するために、被験者の各々は、メトロノームに従って制御された呼吸を行う。[0.5,1,1.5,2]BPMの呼吸速度分離をそれぞれ評価した。図92は開示されたシステムの性能を示し、ここで、4タプル(*;*;*;*)は、それぞれ、位置a、b、及びcにおける3人のユーザについての検出精度及び関連する呼吸速度精度を示す。呼吸速度分離は性能に著しい影響を及ぼすが、空間分離の影響は無視できることが分かる。呼吸速度間隔が0.5 BPMから1 BPMに増加すると、検知率は30%以上上昇する。システムは、呼吸速度間隔が1.5BPMを超えると、100%の検知率を達成する。さらに、呼吸速度トレースが検出されている限り、開示されたシステムは呼吸速度を正確に推定することができ、呼吸推定精度は、すべてのテストケースについて94.7%を超える。
【1078】
ランダムなボディモーションは、無線バイタルサインの監視のための最も困難な問題の1つである。わずかな動きの影響に対抗するために、本開示は、適応サブキャリア選択アルゴリズム、ならびに呼吸速度トレースを抽出するための反復動的計画法を開示する。しかしながら、歩行のような継続的な大きな動きが存在する場合、無線センシングの固有の限界のために、呼吸信号を正確に抽出することは困難である。通常、ほとんどの無線監視用途でそうような、継続的な大きな動きがない限り、開示されたシステムは、呼吸速度トレースを正確に拾い上げることができる。
【1079】
実際に、人間が歩いているときにWiFiシステムのRSSのディップ(dip)イベントを検出し、群衆の数を推定するように設計された専用システムがある。また、人間の認識を行うために、WiFiシステムから歩容を抽出することもできる。しかしながら、これらのシステムは、被験者が歩行を続ける必要があるケースのために特別に設計されている。開示されたシステムは被験者が静止しているとき、群衆のカウント及び認知を実行することができる。
【1080】
開示されたシステムが車のエンジンがオンになっているが車が動いていない環境とは無関係であることを確認するために、車で行われた実験を思い出してほしい。
【1081】
開示された呼吸トレース法はエンジンによって導入されるわずかな振動に対して良好な性能を発揮するが、走行中の車両からの振動は微小バイタル信号を圧倒するほど大きいので、走行中の車両ではうまく機能しない場合がある。しかしながら、いったん自動車が静止している、例えば、信号機の前で待機していると、開示されたシステムは、群衆のカウント及び人間の認知のためにトレースな呼吸数をトレースすることができる。運転中の車の振動を扱うことは、RFベースのアプローチだけでなく、視覚ベースのアプローチで、様々なセンシング技術が直面する大きな共通課題である。
【1082】
本開示はまた、新しい呼吸検知及び人数カウントエンジン(Breathing3)を提案する。このBreathing3エンジンは複数のアンテナリンク、例えば、N1個のリンクがあると仮定する。リンク毎に、時系列のチャネル情報(TSCI)を取得し(例えば、CIは、チャネル状態情報、CSIであってもよい)、CI毎にN2個の成分を有する。N1個のTSCIが存在する。それぞれのTSCIは、N2個の成分TSCIに分解することができる。したがって、N1xN2個の成分TSCIが存在する。CIはN2個の成分、周波数情報(例えば、CFR)または時間情報(例えば、CIR)を含むことができる。それぞれのCIは、タイムスタンプに関連付けられる。N2個の成分を有するCIに変換を適用して、それをN2個の変換済みの成分を有するCIに変換することができる。例えば、周波数変換はそれをN2個の周波数成分を有するCIに変換するために、N2個の時間成分を有するCIに適用されてもよい。同様に、逆周波数変換をN2個の周波数成分を有するCIに適用して、それをN2個の時間成分を有するCIに変換することができる。成分TSCIはTSCI内のすべてのCIの特定の成分(例えば、第1成分、または第2成分など)によって形成され得る。したがって、N1*N2個の成分TSCIが存在し、それぞれがN2個の成分のうちの1つ及びN1個のリンクのうちの1つに関連付けられる。
【1083】
Breathing3は、時間軸を重なり合うタイムウィンドウに分割する。各スライディングタイムウィンドウ及び各CIC指数に対して、時間−周波数変換(TFT、例えば、短時間フーリエ変換(STFT)またはウェーブレットなど)を行う。全部でN1×N2個のTFSが、対応するスライディングタイムウィンドウ内の成分TSCI毎に1つずつ、スライディングタイムウィンドウ内で実行される。スライドタイムウィンドウの長さは、長時間にわたって調整することができ、大きな呼吸精度が必要な場合には大きく、通常の精度でよい場合には中程度の大きさであり、低精度で充分な場合には小さくすることができる。場合によっては、CIサンプリング/抽出(例えば、無線ICによって行われる)に不規則な期間を持たせる(すなわち、CIのタイムスタンプが不規則である)ネットワークトラフィック/輻輳のために、サウンディング信号が一時的に遅延することがある。サウンディング信号は、タイプ1デバイスからタイプ2デバイスへの無線信号であってもよく、ある時間周期にわたって規則的な時間間隔で送信されるインパルス/サウンディングパルスのトレーニングであってもよい。したがって、サンプリング時間補正を適用して、CIが規則的な間隔でサンプリングされることを保証することができる。補正は、所望のサンプリング時間のインスタンスで時間補間を実行することによって達成され得る。時には、各TSCIが異なるサンプリング周波数でサンプリングされてもよい(例えば、1つは300Hzでサンプリングされ、もう1つは150Hzでサンプリングされ、さらにもう1つは105Hzでサンプリングされる)。サンプリング時間補正を適用してもよい。すべてのTSCIは、すべてが同じサンプリング周波数及びサンプリングインスタンスでサンプリングされるように補正され得る。
【1084】
スライディングタイムウィンドウに対して、Breathing3は多数の特性中間時間−周波数変換(CITFT)を形成し、次にそれらを結合して結合済みの時間−周波数変換(CTFT)とする。CITFTは、(TFTの)各時間−周波数インデックス及び各リンク(TX及びRXアンテナのペア間のN1個のリンクのうちの1つ)について、CITFTが時間−周波数インデックス及び任意の成分インデックスを有するそのリンクのN2個のTFT値のうちの第1の特性として計算され得るように、各リンクについて計算され得る。このようなCITFTはN1個存在する。(TFTの)時間−周波数インデックスに対して、CTFTは、N1個のCITFTの第2の特性値である。CITFTは、(TFTの)各時間−周波数インデックス及び各成分(各CIのN2個の成分のうちの1つ)について、CITFTが時間−周波数インデックス及び任意の成分インデックスと関連するそのN2個のTFT値のうちの第1の特性として計算され得るように、各成分について計算され得る。このようなN2個のCITFTが存在する。(TFTの)時間−周波数インデックスに対して、CTFTは、N2個のCITFTの第2の特性値である。スライディングタイムウィンドウの長さは、経時的に調整することができる。例えば、スライドタイムウィンドウ長は高い呼吸精度が必要な場合は長く、正常な精度であれば中程度の大きさであり、低精度であれば短い。
【1085】
特性は、最大振幅、最小振幅、平均振幅、パーセンタイル振幅、最大位相、最小位相、平均位相、パーセンタイル位相、平均、中央値、モード、トリム平均、加重平均、または別の特性値を有するTFT値であってもよい。特性はまた、最大振幅、最小振幅、平均振幅、パーセンタイル振幅、最大の位相、最小の位相、平均の位相、パーセンタイルの位相、平均、中央値、モード、トリム平均、加重平均、又は別の特性であってもよい。特性は、非線形関数がTFT値に適用された後、最大振幅、最小振幅、平均振幅、パーセンタイル振幅、最大位相、最小位相、平均位相、パーセンタイル位相、平均、中央値、モード、トリム平均、加重平均、または別の特性値を有するTFT値であってもよい。非線形関数は、対数、指数関数、多項式関数又は別の非線形関数であり得る。また、特性は、最大振幅、最小振幅、平均振幅、パーセンタイル振幅、最大の位相、最小の位相、平均位相、パーセンタイルの位相、平均、中央値、モード、トリム平均、加重平均、又は非線形関数がTFT値に適用された後の別の特性であってもよい。
【1086】
例えば、各CIは、128点CFRであってもよい。TFTは、512点STFT(周波数インデックスi、0〜127)とすることができる。特性は、最大振幅を有する数値であってもよい。N1=2x3=6個のリンクがあると仮定する。次に、各STFT周波数インデックス(例えば、i=1)に対して、6つのSTFT値(N1個のリンクの各々に対して1つ)がある。周波数インデックスi=1におけるCTFTは単に、最大振幅を有するi=1におけるSTFTである。スライディングタイムウィンドウが十分に短い(例えば、1秒)場合、人間の呼吸はCTFTにおける支配的なピークに対応する周期的な関数として近似することができ、支配的なピークに関連する周波数または期間は、対応する呼吸周波数または呼吸期間である。このように、Breathing3では、それぞれのスライドタイムウィンドウについて、CTFTの支配的なピークが決定される。複数の呼吸速度(存在する人の数に等しくなければならない)はCTFTの支配的なピークに関連する時間−周波数指数(例えば、STFTの周波数)に基づいて計算される。また、呼吸速度数から存在する人数を推定した。
【1087】
騒音などにより偽ピークが発生することがある。偽ピークを抑えるためには、真のピーク(つまり、人間の真の呼吸速度)は一度にしか起こらないはずではなく、長期間にわたってピークの「呼吸トレース」を形成することはずであることに注意しなければならない。それぞれのスライドタイムウィンドウを時間t(例えば、その開始時間)に関連付けることができる。また、隣り合うスライディングタイムウィンドウ間の時差分が小さければ、人間の呼吸は急激に変化してはならない。したがって、呼吸トレースは、ゆっくりと変化する(または一貫している)べきである。したがって、Breathing3では、急激に(または非常に速く)変化する任意の呼吸トレース候補が排除されないとしても抑制される。例えば、呼吸トレースは、速い呼吸速度変化にペナルティを課すコスト関数を用いたダイナミックプログラミングによって得ることができる。
【1088】
Breathing3では、T1からT2までの試験期間(すなわち、T1<=t<=T2、またはT1とT2の間の開始時刻でのスライドタイムウィンドウ)における多重スライドタイムウィンドウの支配的なピークが長期の「一貫した」呼吸の探索において一緒に考慮される。多数の呼吸トレースは(例えば、ダイナミックプログラミングを使用して)候補周期内の隣り合う支配的ピーク(各スライドタイムウィンドウから1つのピーク)を接続することによって各々得られる。支配的なピークが複数の呼吸トレースに現れることがある。
【1089】
呼吸トレースがTIで開始し、T2で終了しなければならないという制約を適用することができる。したがって、新たな呼吸トレース(例えば、人が部屋に入ったばかりのとき)及び消失する呼吸トレース(例えば、人が部屋を出たとき)を検出できるように、様々な検査周期を考慮することができる。制約は、呼吸トレースがテスト期間内の任意の時点で開始または終了することができるように緩和されてもよい。
【1090】
コスト関数は急激に変更する又は急速に変更する呼吸速度が高コストであり、一方、スムーズ、継続的又は緩慢に変更する呼吸速度が低コストであるように構成されてもよい。Breathing3では、多くの人が呼吸トレースの回数と関連している可能性がある。いつでも、瞬間的な人数は、その時点での呼吸トレースの瞬間的な数に関連付けられてもよい。
【1091】
本開示の様々な実施形態では、運転者認証または認識が例えば以下の項に開示されるように、モニタ及び認識のための周波数ホッピング方法に基づいて実行されてもよい。
【1092】
項D1:チャネルホッピングターゲット認識システムの方法であって、それぞれのトレーニング期間における、場所内の少なくとも1人の既知のターゲットのそれぞれに対して、第1のタイプ1の異種チャネルホッピング無線デバイス(無線送信機)のアンテナによって、個別のトレーニングチャネルホッピング無線信号を、少なくとも1人の第1のタイプ2の異種チャネルホッピング無線デバイス(無線送信機)へ、トレーニング期間における場所内の場所における前記既知のターゲットによって影響を受ける無線マルチパスチャネルを介して送信することと、ここで、無線マルチパスチャネルはN1個のチャネルを含み、N1は1以上であり、前記個別のトレーニングチャネルホッピング無線信号は前記N1個のチャネルにわたってホップし、トレーニングチャネルホッピング無線信号に基づいて前記少なくとも1つの第1のタイプ2のデバイスによって、N1個の時系列のトレーニングチャネル情報(トレーニングCI)を非周期的に受信することであって、各時系列のトレーニングCI(トレーニングTSCI)はトレーニング期間において、第1のタイプ2のデバイスと第1のタイプのデバイスとの間の無線マルチパスチャネルのうちのN1個のチャネルに関連付けられ、N1個のトレーニングTSCIはチャネルホッピングに由来して非同期であり、トレーニングCIの結合済みの時系列(結合済みのトレーニングTSCI)を形成するためにマージされうる、受信することと、N1個のトレーニングTSCIを前処理することと、少なくとも1つの既知のターゲットのそれぞれの個別のN1個のトレーニングTSCIに基づいて、少なくとも1つの既知のターゲットに対して少なくとも1つの分類器をトレーニングすることと、ここで、少なくとも1つの分類器はロジスティック回帰、プロビット回帰、ナイブベイズ分類器、非線形分類器、二次分類器、K近傍法、決定木、ブースト木、ランダムフォレスト、学習ベクトル量子化、線形判別分析、サポートベクターマシン、ニューラルネットワーク、パーセプトロン、ディープニューラルネットワーク、教師あり学習、教師なし学習、識別法、生成法、強化学習、マルコフ決定プロセス、クラスタリング、次元削減、K平均、バギング、ブースティング、アダブースト(AdaBoost)、確率的勾配降下、及び別の分類器のうちの少なくとも1つを含み、現在の期間における場所の現在のターゲットに対して、第2のタイプ1の異種チャネルホッピング無線デバイスのアンテナによって、少なくとも1つの第2のタイプ2の異種チャネルホッピング無線デバイスへ、現在の期間内の場所内の現在のターゲットによって影響される無線マルチパスチャネルを介して、現在のチャネルホッピング無線信号を送信すること、ここで、現在のチャネルホッピング無線信号はN1個のチャネルにわたってホップし、現在のチャネルホッピング無線信号に基づいて、少なくとも1つの第2のタイプ2デバイスのそれぞれによって非同期に、現在のチャネルホッピング無線信号のN1時系列(現在のTSCI)を取得し、現在の期間中に第2のタイプ2デバイスと第2のタイプ1デバイスとの間の無線マルチパスチャネルのN1チャネルのうちの1つに関連付けられた各現在のTSCIを取得し、N1個の現在のTSCIはチャネルホッピングによって非同期であり、現在のCI(結合された現在のTSCI)の結合された時系列を形成するようにマージすることができ、N1個の現在のTSCIを前処理し、N1個の現在のTSCI、N1個の現在のTSCIのうちのいくつか、特定の現在のTSCI、特定の現在のTSCIの一部、特定の現在のTSCIの一部と追加のTSCIの異なる一部と組み合わせ、のうちの少なくともいずれかを分類するために、少なくとも1つの分類器を適用することと、現在のターゲットを、少なくとも1つの既知のターゲットのうちの1つと、既知のターゲットの変種、未知のターゲット、及び別のターゲットのうちの少なくとも1つと関連付け、ここで、各ターゲットは、被験者、人間、幼児、高齢者、患者、ペット、犬、猫、物体、特定の材料を含むオブジェクト、機械、デバイス、装置、ツール、部品、成分、液体、流動体、機構、変化、存在、不在、動き、周期的な動き、過渡的な動き、移動、位置、被験者の変化、人間のジェスチャ、人間の歩容、人間の移動、物体の変化、物体の移動、レイアウト、物体の配置、及びイベントのうちの少なくとも1つを含み、ここで、第1のタイプ2デバイスに関連付けられたトレーニングTSCIと第2のタイプ2デバイスに関連付けられた現在のTSCIとは、異なる開始時間、異なる持続時間、異なる停止時間、それらのそれぞれの時系列におけるアイテムの異なるカウント、異なるサンプリング周波数、それらのそれぞれの時系列における2つの連続するアイテム間の異なるサンプリング周期、それらのそれぞれの時系列における2つの連続するアイテム間の異なるサンプリング周期、異なるサウンディングレート、異なるサウンディング周期、チャネルホッピングの異なる順序、特定のチャネルに残っている異なる持続時間、異なるタイミング、ホッピングのための異なるチャネル、及び異なる特徴を有するチャネル情報(CI)のうちの少なくとも1つを有する方法。
【1093】
項D2:項D1に記載のチャネルホッピングターゲット認識システムの方法であって、TSCIの第1のセットの(第1の持続時間の)第1のセクションと、TSCIの第2のセットの(第2の持続時間の)第2のセクションとを整列させることと、第1のセクションのアイテムと第2のセクションのアイテムとの間のマッピングを決定することとをさらに含み、TSCIの第1のセットはN1個のチャネルのサブセットに関連付けられ、TSCIの第2のセットはN1個のチャネルの同一サブセットに関連付けられる方法。
【1094】
項D3:項D2に記載のチャネルホッピングターゲット認識システムの方法であって、TSCIの第1のセットは第1の操作によって前処理され、TSCIの第2のセットは第2の操作によって前処理され、第1の操作及び第2の操作のうちの少なくとも1つは、結合、グループ化、サブサンプリング、リサンプリング、内挿、フィルタリング、変換、特徴抽出、及び前処理のうちの少なくとも1つを含む方法。
【1095】
項D4:項D2に記載の方法であって、第1のセクションの第1のアイテムを第2のセクションの第2のアイテムにマッピングすることをさらに含み、少なくとも1つの制約は、TSCIの第1のセットの第1のセクションの第1のアイテム、TSCIの第1のセットの別のアイテム、TSCIの第1の異なるアイテム、第1のアイテムのタイムスタンプ、第1のアイテムの時間差分、第1のアイテムの時間差、第1のアイテムの隣接タイムスタンプ、第1のアイテムに関連付けられた別のタイムスタンプ、TSCIの第2のセットの第2のセクションの第2のアイテム、TSCIの第2のセットの別のアイテム、第2のアイテムのタイムスタンプ、第2のアイテムの時間差分、第2のアイテムの時間差、第2のアイテムの隣接タイムスタンプ、及び第2のアイテムに関連付けられた別のタイムスタンプのうちの少なくとも1つの少なくとも1つの機能に適用される方法。
【1096】
項D5:項D4に記載の方法であって、少なくとも1つの制約は、第1のアイテムのタイムスタンプと第2のアイテムのタイムスタンプとの間の差分が適応上限閾値及び適応下限閾値のうちの少なくとも1つによって制限され、第1のアイテムの時間差と第2のアイテムの時間差との間の差分が適応上限閾値及び適応下限閾値のうちの少なくとも1つによって制限され、第1のアイテムと第1のセクションの別のアイテムとの間の時間差分と、第2のアイテムと第2のセクションの別のアイテムとの間の時間差分との間の差分が適応上限閾値及び適応下限閾値のうちの少なくとも1つによって制限される、のうちの少なくとも1つを含む方法。
【1097】
項D6:項D1に記載の方法であって、TSCIのセットの(持続時間の)アクティブセクションを適応的に決定することと、アクティブセクションの開始時間及び終了時間を決定することとをさらに含み、アクティブセクションを決定することは、TSCIのセットの仮セクションを計算することと、仮セクションの開始非アクティブ部分及び終了非アクティブ部分を除去することによってアクティブセクションを決定することとを含む方法。
【1098】
項D7:項D6に記載の方法であって、セクションを決定することは、タイムスタンプが増加する仮セクションのアイテムを現在のアイテムとして反復的に考慮し、現在のタイムスタンプに関連付けられた現在のアイテムと、現在のタイムスタンプよりも大きくないタイムスタンプを有する仮セクションの過去のアイテムと、現在のタイムスタンプよりも小さくないタイムスタンプを有する仮セクションの将来のアイテムと、のうちの少なくとも1つに関連付けられたアクティビティ尺度を再帰的に計算し、アクティビティ尺度に関連付けられた第1の基準が満たされるときに、仮セクションの開始部分に現在のアイテムを追加することによって、仮セクションの開始部分を決定することと、タイムスタンプが減少する仮セクションのアイテムを現在のアイテムとして反復的に考慮し、現在のタイムスタンプに関連付けられた現在のアイテムと、現在のタイムスタンプよりも大きくないタイムスタンプを有する仮セクションの過去のアイテムと、現在のタイムスタンプよりも小さくないタイムスタンプを有する仮セクションの将来のアイテムと、のうちの少なくとも1つに関連付けられたアクティブティ尺度を反復的に計算して決定し、少なくとも1つのアクティビティ測度に関連付けられた第2の基準が満たされる場合に、仮セクションの終了部分に現在のアイテムを追加することで、仮セクションの終了部分を決定することと、をさらに含む方法。
【1099】
項D8:項D7に記載の方法であって、第1の基準及び第2の基準のうちの少なくとも1つが、アクティビティ尺度は適応上限閾値よりも小さい、アクティビティ尺度は少なくとも所定量の連続タイムスタンプに対して連続的に適応上限閾値よりも小さい、アクティビティ尺度は少なくとも所定量の連続タイムスタンプに対して連続的に適応下限閾値よりも大きい、アクティビティ尺度は少なくとも所定量の連続タイムスタンプに対して連続的に少なくとも所定の割合の適応上限閾値よりも小さい、アクティビティ尺度は少なくとも所定量の連続タイムスタンプに対して連続的に少なくとも所定の割合の適応下限閾値よりも大きい、アクティビティ尺度は少なくとも別の所定量の連続タイムスタンプに対して連続的に少なくとも別の所定の割合の連続タイムスタンプに対して連続的に適応下限閾値よりも大きい、現在のタイムスタンプに関連付けられた別のアクティビティ尺度は別の適応上限閾値よりも小さい、別の適応下限閾値よりも大きい、現在タイムスタンプに関連付けられた少なくとも1つのそれぞれのタイムスタンプに関連付けられた少なくとも1つのアクティビティ尺度はそれぞれよりも小さい。それぞれの上限閾値よりも小さい、それぞれの下限閾値よりも大きい、現在のタイムスタンプに関連するタイムスタンプのセットにおけるそれぞれの下限閾値よりも大きいアクティビティの割合は閾値を超え、時刻T1におけるアイテムに関連するアクティビティ測度は時刻T1におけるアイテムの第1の関数と、時刻T1−D1におけるアイテムとのうちの少なくとも1つを含み、ここで、D1は所定の正の量であり、時刻T1におけるアイテムの第2の関数と、時刻T1+D1におけるアイテムとの第2の関数と、時刻T1におけるアイテムの第3の関数と、時刻T2におけるアイテムとのうちの少なくとも1つと、時刻T1におけるアイテムの第4の関数と、時刻T1におけるアイテムの第4の関数と、別のアイテムとを含む、のうちの少なくとも1つを含む:。
【1100】
項D9:項D8に記載の方法であって、第1の関数、第2の関数、第3の関数、及び第4の関数のうちの少なくとも1つは、少なくとも2つのスカラ引数x及びyを有する関数F1(x、y、...)と、少なくとも2つのベクトル引数:X及びYを有する関数F2(X、Y、...)と、少なくとも2つの引数X1及びY1を有する関数F3(X1,Y1、...)と、のうちの少なくとも1つであり、関数F1は、x、y、(x−y)、(y−x)、abs(x−y)、x^a1、y^b1、abs(x^a1−y^b1)、(x−y)^a1、(x/y)、(x+a1)/(y+b1)、(x^a1/y^b1)、及び((x/y)^a1−b1)、ここで、a1及びb1は所定の数、ここでX及びYはn個の組X=(x_1、x_2、...、x_N)及びY=(y_1、y_2、...、y_N)、のうちの少なくとも1つであろ、関数F2は、x_i、y_i、(x_i−y_i)、(y_i−x_i)、abs(x_i−y_i)、x_i^a2、y_i^b2、abs(x_i^a2−y_i^b2)、(x_i−y_i)^a2、(x_i/y_i)、(x_i+a2)/(y_i+b2)、(x_i^a2/y_i^b2)、及び((x_i/y_i)^a2−b2)のうちの少なくとも1つの関数であり、ここで、1からnまでの範囲を取るiはn個のタプルX及びYの成分インデックスであり、X1及びY1はX1=(x1_1、x1_2、...、x1_N)及びY1=(y1_1、y1_2、...、y1_N)のような、N個の成分を含むn個のタプルであり、関数F3は、x1_j、y1_j、(x1_j−y1_j)、(y1_j−x1_j)、abs(x1_j−y1_j)、x1_j^a3、y1_j^b3、abs(x1_j^a3−y1_j^b3)、(x1_j−y1_j)^a3、(x1_j/y1_j)、(x1_j+a3)/(y1_j+b3)、(x1_j^a3/y1_j^b3)、及び((x1_j/y1_j)^a3−b3)のうちの少なくとも1つの別の関数の成分ごとの加算を含み、1からNまで範囲をとるjはn個のタプルX1及びY1の成分インデックスである方法。
【1101】
項D10:項D2に記載の方法であって、動的タイムワーピング(DTW)を使用してマッピングを計算することをさらに含み、DTWは、マッピング、TSCIの第1のセットのアイテム、TSCIの第2のセットのアイテム、第1の持続時間、第2の持続時間、第1のセクション、及び第2のセクションのうちの少なくとも1つに対する制約を含む方法。
【1102】
項D11:項D1に記載の方法であって、TSCIの第1のセットの第1のセクション(第1の持続時間の)とTSCIの第2のセットの第2のセクション(第2の持続時間の)とを整列させることと、第1のセクションの第1のアイテムと第2のアイテムとの間の複数のリンクを含むマップを計算することであって、複数のリンクのそれぞれが、第1のタイムスタンプを有する第1のアイテムを第2のタイムスタンプを有する第2のアイテムに関連付ける、計算することと、整列された第1のセクションと整列された第2のセクションとの間の不一致コストを計算することと、不一致コストに基づいて少なくとも1つの分類器を適用するステップであって、不一致コストは、内積、内積のような量、相関に基づく量、共分散に基づく量、識別スコアに基づく量、距離、ユークリッド距離、絶対距離、L_1距離、L_2距離、L_k距離、重み付き距離、距離のような量、及び第1のベクトルと第2のベクトルとの間の別の類似値、及び第1のCI時系列の第1のセクションの第1のアイテムと、マップのリンクによって第1のアイテムに関連付けられた第2のCI時系列の第2のセクションの第2のアイテムとの間のアイテムごとのコストと、マップのリンクに関連付けられたリンクごとのコストとの関数、のうちの少なくとも1つを含み、整列された第1のセクション及び整列された第2のセクションはそれぞれ、同じベクトル長を有する第1のベクトル及び第2のベクトルとして表され、不一致コストはベクトル長によって正規化される方法。
【1103】
項D12:項D11に記載の方法であって、少なくとも1つの分類器を、TSCIの第1のセットの複数の第1のセクション及びTSCIの第2のセットの複数のそれぞれの第2のセクションに適用することと、それぞれの仮分類結果がそれぞれの第1のセクション及びそれぞれの第2のセクションに関連付けられている少なくとも1つの仮分類結果を取得することと、既知のターゲット、未知のターゲット、及び別のターゲットのうちの少なくとも1つに関連付けられている少なくとも1つの仮分類結果の最大数に基づいて、現行ターゲットを、既知のターゲット、未知のターゲット、及び別のターゲットのうちの少なくとも1つに関連付けることと、をさらに含む方法。
【1104】
項D13:項D1に記載の方法であって、各既知のターゲットに関連付けられたN1個のトレーニングTSCIに基づく次元縮小法を使用して各CIの射影をトレーニングすることであって、次元縮小法は、主成分分析(PCA)、様々なカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判別式、ベクトル量子化、教師有り学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、及びディープニューラルネットワークのうちの少なくとも1つを含む、トレーニングすることと、各CIに射影を適用することと、各既知のターゲットに関連付けられた射影及びN1個のトレーニングTSCIに基づく少なくとも1つの分類器をトレーニングすることと、少なくとも1つの分類器によって、射影に基づいてN1個の現在のTSCIを分類し、既知のターゲット、既知のターゲットの変種、未知のターゲット、及び別のターゲットのうちの少なくとも1つにN1個の現在のTSCIを関連付けることと、をさらに含む方法。
【1105】
項D14:項D13に記載の方法であって、再トレーニング前の少なくとも1つの分類器、再トレーニング前の射影、各既知のターゲットに関連付けられたN1個のトレーニングTSCI、N1個の現在のTSCI、及び追加のTSCI、のうちの少なくとも1つに基づいて、次元縮小法及び追加の次元縮小法のうちの少なくとも1つを使用して、投影を再トレーニングすることであって、追加の次元縮小法は、単純化された次元縮小法、主成分解析(PCA)、異なるカーネルを有するPCA、独立成分解析(ICA)、フィッシャー線形判別式、ベクトル量子化、教師有り学習、教師なし学習、自己組織化マップ、ニューラルネットワーク、オートエンコーダ、ニューラルネットワーク、及びディープニューラルネットワークのうちの少なくとも1つを含む、再トレーニングすることと、再トレーニングされた射影、各既知のターゲットに関連付けられたN1個のトレーニングTSCI、少なくとも1つの分類器の適用の結果、及びN1個の現在のTSCIのうちの少なくとも1つに基づいて少なくとも1つの分類器を再トレーニングすることと、の少なくともいずれかを含む再トレーニングすることと、再トレーニングされた射影及び少なくとも1つの再トレーニングされた分類器のうちの少なくとも1つに基づいて、N1個のチャネルに関連付けられたN1個の次のTSCIを分類することと、をさらに含む方法。
【1106】
項D15:項D1に記載の方法であって、既知のターゲットのそれぞれに関連付けられたN1個のトレーニングTSCIに基づいて次元縮小法を使用して、組み合わせ済みのトレーニングCIのセットのそれぞれについて射影をトレーニングすることであって、既知のターゲットの組み合わせ済みCIのそれぞれは特定のタイムスタンプに関連付けられ、N1個のチャネルのそれぞれに関連付けられたCIを有するN1個のCIの組み合わせであり、各CIは、所定のタイムスタンプの周辺の既知のターゲットの対応するトレーニングTSCIのタイムウィンドウから計算され、次元縮小法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判別式、ベクトル量子化、教師付き学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、及びディープニューラルネットワークのうちの少なくとも1つを含む、トレーニングすることと、射影を各組み合わせ済みのCIに適用することと、射影と、既知のターゲットのそれぞれの組み合わせ済みのトレーニングCIのセットと、既知のターゲットのそれぞれに関連付けられたN1個のトレーニングTSCIと、に基づいて少なくとも1つの分類器をトレーニングすることと、少なくとも1つの分類器によって、投影に基づいてN1個の現在のTSCIを分類することと、をさらに含む方法。
【1107】
項D16:項D15に記載の方法であって、再トレーニングは、再トレーニング前の投影、既知のターゲットのそれぞれに関連付けられたN1個のトレーニングTSCI、結合された現在のTSCI、N1個の現在のTSCI、及び追加トレーニングTSCI、のうちの少なくとも1つに基づいて、次元縮小法及び追加の次元縮小法の少なくともいずれかを用いて投影を再トレーニングすることであって、追加の次元縮小法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判別式、ベクトル量子化、教師付き学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、及びディープニューラルネットワークのうちの少なくとも1つを含む、再トレーニングすることと、再トレーニングされた投影、既知のターゲットのそれぞれの結合されたトレーニングCIのセット、既知のターゲットのそれぞれに関連付けられたN1個のトレーニングTSCI、結合された現在のTSCI、N1個の現在のTSCI、及び追加のトレーニングTSCIのうちの少なくとも1つに基づいて少なくとも1つの分類器を再トレーニングすることと、の少なくともいずれかを含む再トレーニングすることと、再トレーニングされた投影及び少なくとも1つの再トレーニングされた分類器のうちの少なくとも1つに基づいてN1個のチャネルに関連付けられたN1個の次のTSCIを分類することと、をさらに含む方法。
【1108】
項D17:項D1に記載の方法であって、結合された現在のTSCIの(第1の持続時間の)少なくとも1つの第1のセクションのそれぞれについて、少なくとも1つの既知のターゲットのそれぞれについて、個別のターゲットの個別の代表的な結合されたトレーニングTSCIの(個別の第2の持続時間の)個別の第2のセクションを決定し、第1のセクションと個別の第2のセクションとを整列し、整列された第1のセクションと整列された個別の第2のセクションとの間のミスマッチコストを計算し、少なくとも1つの分類器を適用してミスマッチコストに基づいて第1のセクションの仮分類を取得することと、各第1のセクションの少なくとも1つの仮分類、各第1のセクションの既知のターゲットのそれぞれのミスマッチコスト、結合された現在のTSCI、及び結合されたトレーニングTSCI、のうちの少なくとも1つに基づいて少なくとも1つの第1セクションの分類を取得し、既知のターゲット、未知のターゲット及び別のターゲットのうちの少なくとも1つに少なくとも1つの第1セクションを関連付けることと、をさらに含む方法。
【1109】
項D18:項D17に記載の方法であって、既知のターゲットのそれぞれが最小のミスマッチコストを達成する回数を計算することと、少なくとも1つの第1のセクションを、ほとんどの回数で最小のミスマッチコストを達成する既知のターゲットと、最小の全体ミスマッチコストを達成する既知のターゲットのうちの少なくとも1つに関連付けることと、をさらに含み、ここで、全体ミスマッチコストは少なくとも1つの第1のセクション、別の全体コストに基づいて最小のコストを達成する既知のターゲット、及び未知のターゲットのうちの少なくとも1つに関連付けられた少なくとも1つのミスマッチコストの加重平均であり、少なくとも1つの第1のセクションは、少なくとも1つの第1のセクションの充分な割合で第1の閾値T1よりも低いミスマッチコストを達成するターゲットがない、及び第2の閾値T2よりも低い全体ミスマッチコストを達成するターゲットがない、状況のうちの少なくとも1つにおいて未知のターゲットに関連付けられる方法。
【1110】
項D19:項D17に記載の方法であって、既知のターゲットに関連付けられた代表的な結合されたトレーニングCI時系列が、既知のターゲットに関連付けられた結合されたトレーニングTSCI及び既知のターゲットに関連付けられた追加の結合されたトレーニングTSCIに基づいて得られる方法。
【1111】
項D20:項D17に記載の方法であって、既知のターゲットに関連付けられた代表的な結合されたトレーニングTSCIは、TSCIのトレーニングセットに関して集約ミスマッチを最小化するような、すべての可能な結合されたトレーニングTSCIのセットの中の特定の結合されたトレーニングTSCIであり、TSCIのトレーニングセットは既知のターゲットに関連付けられた結合されたトレーニングTSCIと、既知のターゲットに関連付けられた追加の結合されたトレーニングTSCIとを含み、トレーニングセットに関する特定のTSCIの集約ミスマッチは特定のTSCIとTSCIのトレーニングセットの各TSCIとの間の少なくとも1つのミスマッチコストの関数であり、ミスマッチコストが計算される前に両方が整列され、関数は平均(Average)、加重平均、平均(Mean)、トリム平均、中央値、モード、算術平均、幾何平均、調和平均、トリム平均、一般化平均、強度平均、f平均、四分位間平均、及び別の平均のうちの少なくとも1つを含む、方法。
【1112】
項D21:項D20に記載の方法であって、特定の結合されたトレーニングTSCIが、TSCIのトレーニングセットにある方法。
【1113】
項D22:項D20に記載の方法であって、各TSCIが持続時間に関連付けられ、それぞれの結合されたトレーニングTSCIの候補持続時間のセットが決定され、候補持続時間のそれぞれについて、TSCIのトレーニングセットに対する集約ミスマッチを最小化する候補持続時間を有するそれぞれの最適な結合されたトレーニングTSCIが計算され、代表的な結合されたトレーニングTSCIは、集約ミスマッチを最小化する候補持続時間のセットの中の特定の持続時間を有する特定の最適な結合されたトレーニングTSCIである、方法。
【1114】
項D23:項D22に記載の方法であって、高速計算が、特定の持続時間と、特定の持続時間を有する特定の最適な結合されたトレーニングTSCIとの探索に適用される方法。
【1115】
項D24:項D1に記載の方法であって、少なくとも1つの既知のターゲットについての分類器のトレーニングのために、それぞれのトレーニングTSCIのそれぞれのタイムウィンドウを決定することをさらに含む方法。
【1116】
項D25:項D1に記載の方法であって、現在のTSCI、結合された現在のTSCI、以前の現在のTSCI、及び以前の結合された現在のTSCIのうちの少なくとも1つに基づいて、少なくとも1つの既知のターゲットのための分類器を適応的に再トレーニングすることをさらに含む方法。
【1117】
項D26:項D25に記載の方法であって、少なくとも1つの既知のターゲットに対する分類器の再トレーニングのために、現在のTSCI、結合された現在のTSCI、以前の現在のTSCI、及び以前の結合された現在のTSCIのうちの少なくとも1つに関連するタイムウィンドウを決定することをさらに含む方法。
【1118】
項D27:項D1に記載の方法であって、場所が車両であり、現在のターゲットが車両内の乗客であり、少なくとも1つの既知のターゲットが車両の多数の既知の乗客を含み、少なくとも1つの分類器が現在のターゲットを既知の乗客に関連付ける方法。
【1119】
項D28:項D27に記載の方法であって、少なくとも2つの既知のターゲットが車両内の異なる姿勢を有する特定の既知の乗客を含み、異なる姿勢が特定の既知の乗客の身体部分を含み、異なる位置、異なる向き、及び異なる形のうちの少なくとも1つを含み、少なくとも1つの分類器が現行のターゲットを乗客姿勢に関連付ける方法。
【1120】
項D29:項D27に記載の方法であって、少なくとも2つの既知のターゲットが車両内で異なる動きを行う特定の既知の乗客を含み、異なる動きが、運転者の動き、直進、左旋回、右旋回、アクセルの踏み込み、ブレーキ機構の踏み込み、ギアの交換、ギアの切り替え、信号の調整、フロントガラスワイパーの設定、調整バイザー、ダッシュボードスイッチの調整、ミラーの調整、ウィンドウの調整、背中への到達、コンソールへの到達、中央コンソールへの到達、帽子の着脱、座席の調整、注意深い運転、寝たきりでの運転、乗客の動き、静かに前方を見張る、座る、寝る、通話、電話のチェック、ラップトップでの作業、ストレッチ、ウィンドウの調整、及び別の動きのうちの少なくとも1つを含み、少なくとも1つの分類器が、現在の目標を特定の乗客の動きに関連付ける方法。
【1121】
項D30:項D27に記載の方法であって、少なくとも2つの既知のターゲットが様々な状態の特定の既知の乗客を含み、状態が感情状態、正常、抑うつ、興奮、生理的状態、眠気、警戒、弛緩、緊張のうちの少なくとも1つを含み、現行のターゲットを特定の乗客状態に関連付けるための少なくとも1つの分類器を含む方法。
【1122】
項D31:項D27に記載の方法であって、少なくとも2つの既知のターゲットが車両内の様々な場所に座っている特定の既知の乗客を含み、少なくとも1つの分類器が、現行のターゲットを車両内の特定の場所に関連付ける方法。
【1123】
項D32:項D1に記載の方法であって、場所が車両であり、現在のターゲットが車両内の2人の乗客を含み、少なくとも2つの既知のターゲットは、それぞれが車両の単一の既知の乗客を含む「単一の」ターゲットであり、少なくとも1つの分類器現在のターゲットを少なくとも2つの単一のターゲットのうちの2つに関連付ける方法。
【1124】
項D33:項D32に記載の方法であって、少なくとも2つの既知のターゲットは、それぞれが、異なる姿勢、異なる運動、異なる状態、及び別の差分のうちの少なくとも1つを有する特定の既知の乗客を含む単一のターゲットであり、少なくとも1つの分類器が、現行のターゲットを、乗客の姿勢、乗客の運動、乗客の状態、及び別の特性のうちの少なくとも1つに関連付ける方法。
【1125】
項D34:項D1に記載の方法であって、場所が車両であり、現在のターゲットが車両内の2人の乗客を含み、少なくとも2つの既知のターゲットは、それぞれが車両の2人の既知の乗客を含む「2つの」ターゲットであり、少なくとも1つの分類器が現在のターゲットを二重ターゲットのうちの1つに関連付ける方法。
【1126】
項D35:項D34に記載の方法であって、少なくとも2つの既知の2つのターゲットが異なる姿勢、異なる動き、異なる状況、及び別の差分のうちの少なくとも1つを有する特定の既知の乗客を含む方法。
【1127】
項D36:項D1に記載の方法であって、場所が車両であり、現在のターゲットが車両内の第1の数の乗客を含み、少なくとも2つの既知のターゲットがそれぞれ車両の第2の数の既知の乗客を含む「複数ターゲット」であり、第2の数が0以上第1の数以下の非負の整数であり、少なくとも1つの分類器が現在のターゲットを少なくとも1つの複数ターゲットに関連付ける方法。
【1128】
項D37:項D36に記載の方法であって、既知の複数ターゲットの少なくとも2つが、異なる姿勢、異なる動き、異なる状況、及び別の差分のうちの少なくとも1つを有する特定の既知の乗客を含む方法。
【1129】
項D38:項D1に記載の方法であって、場所が車両であり、現在のターゲットが車両内の未知数の乗客を含み、少なくとも2つの既知のターゲットは各々が車両の複数の既知の乗客を含む「複数ターゲット」であり、現在のターゲットを少なくとも1つの複数ターゲットに関連付ける少なくとも1つの分類器と、少なくとも1つの複数ターゲットの各々に関連付けられた既知の乗客の数に基づく未知数の推定値と、を含む方法。
【1130】
項D39:項D1に記載の方法であって、場所が車両であり、現在のターゲットが車両内の未知数の乗客を含み、少なくとも2つの既知のターゲットは各々が車両の複数の既知の乗客を含む「複数ターゲット」であり、少なくとも1つの分類器が現在のターゲットを未知数の推定値に関連付ける方法。
【1131】
項D40:項D27に記載の方法であって、場所が車両であり、現在のターゲットが車両内の特定の位置にいる乗客であり、少なくとも1つの既知のターゲットが車両内の複数の既知の位置にある車両の複数の既知の乗客を含み、少なくとも1つの分類器が現在のターゲットを車両の特定の位置に関連付ける方法。
【1132】
項D41:項D27に記載の方法であって、乗客が車両の運転席に座る方法。
【1133】
項D42:項D27に記載の方法であって、乗客が運転席前扉を開き、車両に入り、車両の運転席に座ることを含む、車両が始動される前に現在の動きが起こる方法。
【1134】
項D43:項D27に記載の方法であって、車両を停止した後、車両の運転席に座っている乗客が運転席側の前扉を開け、車両を出る方法。
【1135】
項D44:項D27に記載の方法であって、乗客が乗客側の前扉を開き、車両に入り、車両の運転席の隣の座席に座ることを含む、車両が開始される前に、現在の動きが起こる方法。
【1136】
項D45:項D27に記載の方法であって、運転席の隣の車両の座席に座っている乗客が乗客側の前扉を開き、車両を出る方法。
【1137】
項D46:項D27に記載の方法であって、乗客が背もたれを開き、車両に入り、車両の第2の列の座席に座ることを含む、車両が始動される前に、現在の動きが起こる方法。
【1138】
項D47:項D27に記載の方法であって、乗客が後部扉を開き、車両に入り、車両の第2の列の後ろの位置に座ることを含む、車両が始動される前に現在の動きが起こる方法。
【1139】
項D48:項D27に記載の方法であって、車両が始動される前に、前扉を開け、乗客が車両に入り、車両の第1の行の後ろの位置に座ることを含む方法。
【1140】
項D49:項D1に記載の方法であって、場所が車両であり、少なくとも1つの分類器が、それぞれが複数の既知の候補車両のうちの1つである複数の既知のターゲットと、それぞれ既知の状態にある車両である複数の既知のターゲット、全てのドア及びウィンドウが閉鎖された車両であるターゲットと、それぞれが全てのドアが閉鎖され、1つのウィンドウが既知の程度に開放された車両である複数の既知のターゲットと、それぞれが全てのドアが閉鎖され、複数のウィンドウがそれぞれ既知の程度に開放された車両である複数の既知のターゲットと、それぞれが車両であり、ドライバドアが既知の程度に開放され、他のドアが閉鎖された車両である複数の既知のターゲットと、それぞれが乗客ドアが既知の程度に開放され、他のドアが閉鎖された車両である複数の既知のターゲットと、それぞれが車両であり、バックドアが既知の程度に開放され、他のドアが閉鎖された車両である複数の既知のターゲットと、それぞれが車両であり、複数のドアがそれぞれ既知の角度に開かれ、他のドアが閉じられた既知の複数のターゲットと、それぞれが車両であり、テールゲートが開かれ、他のドアが閉じられた車両である複数の既知のターゲットと、それぞれ車両であり、既知の位置、角度及び設定に座席を有する車両である複数の既知のターゲットと、それぞれが既知の設定にあるアクセサリを有する車両である複数の既知のターゲットと、それぞれが車両であって乗客が占有する複数の座席を有する車両である複数の既知のターゲットと、各々が複数のかご座席が設置された車両である複数の既知のターゲットと、各々が車両であって複数のチャイルドブースタ座席が設置された車両である複数の既知のターゲットと、のためにトレーニングまたは再トレーニングされる方法。
【1141】
項D50:項D1に記載の方法であって、ここで場所は車両であり、ここで車両がトリップ中でないときに最近得られた車両のTSCIと、現在のトリップで得られた車両のTSCIと、最近のトリップで得られた車両のTSCIと、直前のトリップで得られた車両のTSCIと、車両が特定の既知の車両であるときに最近のトリップで得られたTSCIと、車両が特定の状態にあるときに最近のトリップで得られたTSCIと、特定の既知のドライバが運転中であるときに最近のトリップで得られた車両のTSCIと、特定の既知の乗客が車両に乗っているときに最近のトリップで得られた車両のTSCIと、特定の既知の乗客が特定の位置、特定の姿勢、特定の動き、及び車両の中の特定の状態のうちの少なくとも1つにあるときに最近のトリップで得られた車両のTSCIと、特定のグループの既知の乗客が車両に乗っているときに最近のトリップで得られた車両のTSCIと、及び特定のグループの座席が車両に占有されているときに最近のトリップで得られた車両のTSCIと、のうちの少なくとも1つに基づいて、少なくとも1つの分類器がトレーニングまたは再トレーニングされる方法。
【1142】
項D51:項D27に記載の方法であって、少なくとも1つの分類器は、ドライバドアが開閉される瞬間の周りのタイムウィンドウ内に適用される方法。
【1143】
項D52:項D27に記載の方法であって、少なくとも1つの分類器が、車両のエンジンが始動される瞬間を中心とするタイムウィンドウ内に適用される方法。
【1144】
項D53:項D27に記載の方法であって、少なくとも1つの分類器が、車両のエンジンが停止された瞬間前後のタイムウィンドウ内に適用される方法。
【1145】
項D54:項D27に記載の方法であって、少なくとも1つの分類器が、車両が動いている間に適用される方法。
【1146】
項D55:項D27に記載の方法であって、少なくとも1つの分類器は、車両のボタンが押されたときに適用される方法。
【1147】
項D56:項D27に記載の方法であって、少なくとも1つの分類器は、制御信号を受信すると適用される方法。
【1148】
項D57:項D27に記載の方法であって、既知の乗客に基づいて前記車両の少なくとも1つの成分を調整することをさらに含む方法。
【1149】
項D58:項D27に記載の方法であって、既知の乗客の好みまたは以前の設定または状態または特性に基づいて車両の少なくとも1つの成分を調整することをさらに含む方法。
【1150】
項D59:項D27に記載の方法であって、車両の運転席の設定を、好みまたは以前の設定、または既知の乗客に関連付けられた状態または特性に基づいて調整することをさらに含む方法。
【1151】
項D60:項D27に記載の方法であって、既知の乗客の好みまたは以前の設定、または状態または特性に基づいて車両のシート設定を調整することをさらに含む方法。
【1152】
項D61:項D27に記載の方法であって、認識された乗客が既知のドライバで既知のドライバの好みまたは以前の設定または条件または特性に基づいて、車両のドライバシートの設定を調整することをさらに含む方法。
【1153】
項D62:項D27に記載の方法であって、車両の娯楽システム設定を、既知の乗客の好み若しくは以前の設定、又は条件若しくは特性に基づいて調整することを更に含む方法。
【1154】
項D63:項D27に記載の方法であって、車両の空調システム設定を、既知の乗客の好み若しくは以前の設定、又は条件若しくは特性に基づいて調整することを更に含む方法。
【1155】
項D64:項D27に記載の方法であって、既知の乗客の好みまたは以前の設定または条件または特性に基づいて、車両の車両サブシステム設定を調整することをさらに含む方法。
【1156】
項D65:項D32、項D33、項D34、または項D35に記載の方法であって、さらに、 好み、または以前の設定、または2人の乗客の状態もしくは特性に基づいて、車両の車両サブシステム設定を調整することを含む方法。
【1157】
項D66:項D36または項D37に記載の方法であって、第1の複数の乗客の好みもしくは以前の設定または条件もしくは特性に基づいて車両のサブシステム設定を調整するステップをさらに含む方法。
【1158】
項D67:項D1に記載の方法であって、N1は時間にわたるチャネルホッピングがないように1に等しい方法。
【1159】
項D68:項D1に記載の方法であって、N1が少なくとも、その期間中にチャネルホッピングが存在しないような期間の間、1に等しい方法。
【1160】
本開示の様々な実施形態において、呼吸のような律動的動きをモニタすることは、以下の項に従って実行されてもよい。
【1161】
項F1:律動的動き監視システムの方法/ソフトウェア/装置/システムであって、プロセッサ、プロセッサに通信可能に結合されたメモリ、及びメモリに記憶された命令のセットを使用して、場所の無線マルチパスチャネルの時系列チャネル情報(CI)の数N1を取得することであって、N1個のCIの時系列(TSCI)は、少なくとも1つのアンテナを有するタイプ1の異種無線デバイス(無線送信機)と、少なくとも1つのアンテナを有するタイプ2の異種無線デバイス(無線受信機)との間で、無線マルチパスチャネルを介して場所内で送信される無線信号から抽出され、N1個のTSCIのそれぞれはタイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ、各CIはN2個の成分を有し、各TSCIはN2個の時系列のCIC(TSCIC)に分解することができ、各TSCICはTSCIのすべてのCIの特定の成分を含み、無線マルチパスチャネルは中のオブジェクトの律動的動きによって影響される、取得することと、N1*N2個のTSCICに基づいてターゲットの律動的動きをモニタし、ターゲットの律動的動きの監視に基づいて応答動作をトリガすることと、を含む方法/ソフトウェア/装置/システム。
【1162】
項F2:項F1に記載の律動的動き監視システムの方法/装置/システムであって、各CIがN2個の周波数領域成分、及びN2個の時間領域成分のうちの少なくとも1つを含み、各CIは、タイムスタンプに関連付けられる、方法/装置/システム。
【1163】
項F3:項F2に記載の律動的動き監視システムの方法/装置/システムであって、周波数変換が、N2個の時間領域成分を有するそれぞれのCIに適用され、N2個の周波数領域成分を有する別のCIに変換される、方法/装置/システム。
【1164】
項F4:項F2に記載の律動的動き監視システムの方法/装置/システムであって、逆周波数変換が、N2個の周波数領域成分を有するそれぞれのCIに適用され、N2個の時間領域成分を有する別のCIに変換される、方法/装置/システム。
【1165】
項F5:項F2に記載の律動的動き監視システムの方法/装置/システムであって、CIが均一にサンプリングされることを確実にするために、CIを再サンプリングすることをさらに含む(タイムスタンプは、経時的に等間隔に配置される)、方法/装置/システム。
【1166】
項F6:項F1に記載の律動的動き監視システムの方法/装置/システムであって、各TSCIをCIのオーバーラップするセグメントにセグメント化することをさらに含み、各オーバーラップするセグメントはスライドタイムウィンドウにおけるタイムスタンプを伴うCIを含み、各オーバーラップするセグメントは、タイムスタンプに関連付けられ、各オーバーラップするセグメントにおけるオブジェクトの律動的動きをモニタする、方法/装置/システム。
【1167】
項F7:項F1に記載の律動的動き監視システムの方法/装置/システムであって、各TSCICをCICの重なり合うセグメントにセグメント化することをさらに含み、各セグメントはスライドタイムウィンドウにおいてタイムスタンプを有するCICを含み、各重なり合うセグメントにおいてN1*N2個のTSCICに基づいてオブジェクトの律動的動きを監視することを含む、方法/装置/システム。
【1168】
項F8:項F7に記載の律動的動き監視システムの方法/装置/システムであって、各重複セグメントにおけるN1*N2個のTSCICの短時間変換(STT)を計算することと、各重複セグメントにおけるN1×N2個のTSCICのSTTに基づいて、オブジェクトの律動的な動きを監視することとをさらに含み、ここで、STTは自己相関関数、相互相関関数、自己共分散関数、相互共分散関数、限定された期間に適用される線形変換、直交変換、逆変換、2のべき乗変換、疎変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディングを組み合わせた変換、フーリエ変換、離散フーリエ変換、離散時間フーリエ変換、離散フーリエ変換、ウェーブレット変換、ラプラス(Laplace)変換、ヒルバート(Hilbert)変換、アダマール(Hadamard)変換、スラント変換、三角変換、サイン変換、コサイン変換、別の変換、スペクトラム、スペクトラム振幅、スペクトラム位相、スペクトラムのゆがみ、多項式ゆがみ、平方根ゆがみ、二乗根ゆがみ、ハーモニック積スペクトラム(HPS)、サブハーモニック加算(SHS)、サブハーモニック対ハーモニック比(SHR)、ハーモニックのふるいわけ(HS)、平均振幅誤差関数(AMDF)、平均平方根差関数(ASDF)、セプストラム(CEP)、平均ピーク対谷の距離(APVD)、のこぎり波状のピッチ推定器(SWIPE)、ハーモニック重み、ハーモニック制約、ハーモニック破棄、周波数スケール歪み、周波数的強調、時間スケール歪み、時間的強調、ウィンドウイング、前処理、後処理、操作、オペランド関数、フィルタリング、線形フィルタリング、非線形フィルタリング、低域通過フィルタリング、帯域通過フィルタリング、高域通過フィルタリング、中央値フィルタリング、ランクフィルタリング、四分位フィルタリング、パーセントフィルタリング、モードフィルタリング、有限インパルス応答(FIR)フィルタリング、無限インパルス応答(IIR)フィルタリング、移動平均(MA)フィルタリング、自己回帰(AR)フィルタリング、自己回帰的移動平均(ARMA)フィルタリング、選択的フィルタリング、適応フィルタリング、折りたたみ、グルーピング、エネルギー計算、内挿、間引き、サブサンプリング、アップサンプリング、リサンプリング、サイクリックパディング、パディング、ゼロパディング、ソーティング、閾値、ソフト閾値、ハード閾値、クリッピング、ソフトクリッピング、時間補正、時間ベースの補正、位相補正、振幅補正、位相クリーニング、振幅クリーニング、マッチドフィルタリング、カルマンフィルタリング、粒子フィルタ、強調、復元、ノイズ除去、平滑化、信号の調整、内挿、外挿、重点サンプリング、モンテカルロサンプリング、圧縮センシング、代表化、マージ、結合、分離、スクランブリング、誤り保護、前方誤り訂正、スペクトラム分析、線形変換、非線形変換、周波数変換、逆周波数変換、フーリエ変換、ウェーブレット変換、ラプラス(Laplace)変換、ヒルバート(Hilbert)変換、アダマール(Hadamard)変換、三角変換、サイン変換、コサイン変換、2のべき乗変換、疎変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディングと組み合わされた変換、特徴抽出、ベクトル空間の分析、投影、直交投影、非直交投影、過完備投影、固有値分解、特異値分解(SVD)、主成分分析(PCA)、独立成分分析(ICA)、一次微分、二次微分、高次微分、畳み込み、乗算、割り算、加算、減算、積分、最大化、最小化、局所最大化、局所最小化、コスト関数の最適化、ベクタ加算、ベクタ減算、ベクタ乗算、ベクタ割り算、反転、平均、距離、類似スコア計算、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師あり学習、教師なし学習、準教師あり学習、別のTSCIとの比較、量子化、ベクタ量子化、マッチング追跡、圧縮、暗号化、符号化、記憶、送信、正規化、時間的な正規化、周波数ドメイン正規化、分類、クラスタリング、ラベリング、タグ付け、学習、検出、推定、ネットワークの学習、リマッピング、展開、格納、取得、送信、受信、表現、マージング、結合、分離、トラッキング、監視、時間変化処理、条件付け平均、重みづけ平均、算術平均、幾何平均、ハーモニック平均、重みづけ平均、トリム平均、中央値、モード、選択された周波数にわたる平均、アンテナリンクにわたる平均、論理演算、置換、結合、ソーティング、AND、OR、XOR、統合、交差、別の演算、及び別の変換、のうちの少なくとも1つを含む方法/装置/システム。
【1169】
項F9:項F7に記載の律動的動きの監視システムの方法/装置/システムであって、各監視周波数の精度要求に基づいて、オーバーラップするセグメントの長さを時間調整することをさらに含む方法/装置/システム。
【1170】
項F10:項F7に記載の律動的動き監視システムの方法/装置/システムであって、CI及びCICが各TSCI内のCIのタイムスタンプと各TSCIC内のCICとが時間的に均一に離間するように均一にサンプリングされるように、短時間周波数変換の前にCIのサンプリング時間を調整することをさらに含む、方法/装置/システム。
【1171】
項F11:項F10に記載の律動的動き監視システムの方法/装置/システムであって、CIのサンプリング時刻が、CI及び隣接CIに基づいて、それぞれの再サンプリングされたCIを所望のタイムスタンプで補間することによって調整される、方法/装置/システム。
【1172】
項F12:項F10に記載の律動的動き監視システムの方法/装置/システムであって、CICのサンプリング時刻は、CIC及び隣接CICに基づいて、それぞれの再サンプリングされたCICを所望のタイムスタンプで補間することによって調整される、方法/装置/システム。
【1173】
項F13:項F1に記載の律動的動き監視システムの方法/装置/システムであって、N1個のTSCI及びN1*N2個のTSCICのうちの少なくとも1つに基づいて、オブジェクトの律動的動きに関連する少なくとも1つの解析を計算することによって、オブジェクトの律動的動きをモニタすることをさらに含み、少なくとも1つの解析は、周波数、周期、周期性パラメータ、リズム、強度、位相、音符、ピッチ、リズムを伴う表現、音楽リズム、区切られたリズム、ビート、ペース、歩行のリズム、運動のリズム、スポーツのリズム、震動パラメータ、振動パラメータ、拍動パラメータ、リラックスパラメータ、モータパラメータ、インパルスリズム、爆発リズム、支配的なリズム、フォアグラウンドリズム、バックグラウンドリズム、ランダムリズム、カオスリズム、確率リズム、呼吸数、呼吸周期、心拍数、バイタルサイン、呼吸速度の変化、心拍数の変化、バイタルサインの変化、カウント、オブジェクトの律動的動きに関連するカウント、律動的動きのソースのカウント、オブジェクト及び他のオブジェクトのカウント、人のカウント、カウントの変化、タグ、律動的動きに関連付けられたタグ、オブジェクトに関連付けられたタグ、律動的動きに関連付けられたアクティビティ、タグの変化、位置、律動的動きに関連付けられた位置、オブジェクトに関連付けられた位置、位置の変化、時間、タイミング、開始時間/タイミング、停止時間/タイミング、休止時間/タイミング、中断時間/タイミング、繰り返し/時間ごと/日ごと/週ごと/月ごと/年ごとのアクティビティパターン、繰り返しタイミング、移動パターン、繰り返しの傾向、律動的動きに関連付けられた日ごとのアクティビティ、日ごとのアクティビティ、自然に起こるアクティビティ、変動、周波数の変動、ピッチの変動、韻律、周期の変動、リズム変動、強度の変動、位相の変動、パラメータの変動、2つのリズムの関係、2つのリズム間の原因と結果、別のリズムパラメータ、のうちの少なくとも1つを含む方法/装置/システム。
【1174】
項F14:項F1に記載の律動的動き監視システムの方法/装置/システムであって、N1個のTSCI及びN1*N2個のTSCICのうちの少なくとも1つを処理することに基づいてオブジェクトの律動的動きに関連付けられた少なくとも1つの分析を計算することによってオブジェクトの律動的動きを監視することをさらに含み、処理することは、前処理、後処理、演算、オペランドの関数、フィルタリング、線形フィルタリング、非線形フィルタリング、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、メディアンフィルタリング、ランクフィルタリング、四分位フィルタリング、パーセンタイルフィルタリング、モードフィルタリング、有限インパルス応答(FIR)フィルタリング、無限インパルス応答(IIR)フィルタリング、移動平均(MA)フィルタリング、自己回帰(AR)フィルタリング、自己回帰移動平均(ARMA)フィルタリング、選択的フィルタリング、適応フィルタリング、フォールディング、エネルギー計算、補間、デシメーション、サブサンプリング、アップサンプリング、リサンプリング、サイクリックパディング、パディング、ゼロパディング、ソーティング、しきい値処理、ソフトしきい値処理、ハードしきい値処理、クリッピング、ソフトクリッピング、時間補正、時間ベース補正、位相補正、強度補正、位相クリーニング、強度クリーニング、マッチドフィルタリング、カルマン(Kalman)フィルタリング、粒子フィルタリング、強調、復元、ノイズ除去、平滑化、信号の条件付け、イントラポレーション、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表現、マージング、結合、分離、スクランブリング、誤り保護、前方誤り訂正、スぺクトル分析、線形変換、非線形変換、周波数変換、逆周波数変換、フーリエ変換、ウェーブレット変換、ラプラス変換、ヒルベルト変換、アダマール変換、三角関数変換、サイン変換、コサイン変換、2のべき乗変換、スパース変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディングと組み合わされた変換、特徴抽出、分解、投影、直交投影、非直交投影、過剰完全投影、固有値分解、特異値分解(SVD)、主成分分析(PCA)、独立成分分析(ICA)、一次導関数、二次導関数、高次導関数、畳み込み、乗算、除算、加算、減算、積分、最大化、最小化、局所最大化、局所最小化、コスト関数の最適化、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆数、ノルム、距離、類似スコア計算、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師あり学習、教師なし学習、準教師あり学習、他のTSCIとの比較、量子化、ベクトル量子化、マッチング追跡、圧縮、暗号化、符号化、格納、送信、正規化、時間的正規化、周波数領域正規化、分類、クラスタリング、ラベリング、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、再マッピング、展開、格納、送信、受信、表現、マージング、結合、分離、追跡、監視、時間変動処理、条件付け平均、加重平均、算術平均、幾何平均、ハーモニック平均、加重平均、トリム平均、中央値、モード、選択周波数にわたる平均化、アンテナリンクの平均化、論理演算、順列、結合、ソーティング、AND、OR、XOR、ユニオン、交差、何もしない、及び別の操作のうちの少なくとも1つを含む方法/装置/システム。
【1175】
項F15:項F8に記載の律動的動き監視システムの方法/装置/システムであって、N1*N2個のTSCICのSTTに基づいて、オブジェクトの律動的動きに関連付けられた少なくとも1つの分析を計算することによってオブジェクトの律動的動きを監視することをさらに含み、少なくとも1つの解析は、周波数、周期、周期性パラメータ、リズム、強度、位相、音符、ピッチ、リズムを伴う表現、音楽リズム、区切られたリズム、ビート、ペース、歩行リズム、運動リズム、スポーツリズム、震動パラメータ、振動パラメータ、拍動パラメータ、リラックスパラメータ、モータパラメータ、衝撃リズム、爆発リズム、支配的なリズム、前景リズム、背景リズム、ランダムリズム、無秩序なリズム、確率的なリズム、呼吸数、呼吸周期、心拍数、バイタルサイン、呼吸数の変化、心拍数の変化、バイタルサインの変化、カウント、オブジェクトの律動的動きに関連するカウント、律動的動きのソースのカウント、オブジェクト及び他のオブジェクトのカウント、人のカウント、カウントの変化、タグ、律動的動きに関連付けられたタグ、オブジェクトに関連付けられたタグ、律動的動きに関連付けられた活動、タグの変化、位置、律動的動きに関連付けられた位置、オブジェクトに関連付けられた位置、位置の変化、時間、タイミング、開始時間/タイミング、停止時間/タイミング、休止時間/タイミング、中断時間/タイミング、繰り返し/時間ごと/日ごと/週ごと/月ごと/年ごとのアクティビティパターン、繰り返しタイミング、運動パターン、繰り返し傾向、律動的動きに関連付けられた毎日の活動、毎日の活動、自発的な活動、変動、周波数の変動、ピッチの変動、韻律、周期の変動、リズムの変動、強度の変動、位相の変動、パラメータの変動、2つのリズム間の関係、2つのリズム間の因果関係、及び別のリズムパラメータの少なくとも1つを含む方法/装置/システム。
【1176】
項F16:項F15に記載の律動的動き監視システムの方法/装置/システムであって、N1*N2個の分析の関数として結合された分析を計算することであって、各分析は個別のTSCICに関連付けられ、関数は、スカラ関数、ベクトル関数、離散関数、連続関数、多項式関数、特性、特徴、大きさ、位相、指数関数、対数関数、三角関数、超越関数、論理関数、線形関数、代数関数、非線形関数、区分線形関数、実関数、複素関数、ベクトル値関数、逆関数、微分関数、積分関数、循環関数、他の関数の関数、1対1関数、1対多関数、多対1関数、多対多関数、ゼロ交差、絶対関数、指標関数、平均、モード、中央値、範囲、統計量、変動、算術平均、幾何平均、ハーモニック平均、加重平均、トリム平均、条件付き平均、パーセンタイル、最大値、最小値、二乗、三乗、平方根、べき乗、正弦、余弦、正接、余接、正割、余割、楕円関数、パラボラ関数、双曲線関数、ゲーム関数、ゼータ関数、絶対値、しきい値、制限関数、フロア関数、丸め関数、符号関数、量子化、区分的定数関数、複合関数、関数の関数、演算(例えばフィルタリング)で処理される時間関数、確率関数、確率関数、ランダム関数、エルゴード関数、定常性関数、決定論的関数、周期関数、変換、周波数変換、逆周波数変換、離散時間変換、ラプラス変換、ヒルバート変換、正弦変換、余弦変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、スパース変換、射影、分解、主成分分析(PCA)、独立成分分析(ICA)、ニューラルネットワーク、特徴抽出、移動関数、時系列の隣接アイテムの移動ウィンドウの関数、フィルタリング関数、畳み込み、平均関数、分散関数、統計関数、短時間変換、離散変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、固有変換、固有値、特異値分解(SVD)、特異値、直交分解、マッチング、スパース変換、スパース推定、任意の分解、グラフベース処理、グラフベース変換、グラフ信号処理、分類、ラベリング、学習、機械学習、検出、推定、特徴抽出、ネットワーク学習、特徴抽出、ノイズ除去、信号の強調、符号化、暗号化、マッピング、再マッピング、ベクトル量子化、ローパスフィルタリング、ハイパスフィルタリング、バンドパスフィルタリング、マッチングフィルタリング、カルマンフィルタリング、前処理、後処理、粒子フィルタリング、FIRフィルタリング、IIRフィルタリング、自己回帰(AR)フィルタリング、適応フィルタリング、一次微分、高次微分、積分、平滑化、メディアンフィルタリング、モードフィルタリング、サンプリング、ランダムサンプリング、再サンプリング、ダウンサンプリング、アップサンプリング、内挿、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、統計、短期統計、長期統計、平均、分散、自己相関関数、相互相関、モーメント生成関数、時間平均化、加重平均化、特殊関数、超越関数、ベッセル関数、誤差関数、相補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数、及び別の関数のうちの少なくとも1つを含む方法/装置/システム。
【1177】
項F17:項F8に記載の律動的動き監視システムの方法/装置/システムであって、N1*N2個のTSCICのSTTに基づいて複数の中間STT(ISTT)を計算することと、複数のISTTに基づいてオブジェクトの律動的動きをモニタすることとをさらに含む方法/装置/システム。
【1178】
項F18:項F17に記載の律動的動き監視システムの方法/装置/システムであって、N1個のISTTを計算することをさらに含み、各ISTTはN2個のTSCICに基づき、N1個のTSCICのそれぞれに対して、個別のTSCIに関連付けられたISTTは重複セグメントにおける個別のN2個のTSCIのSTTの関数であり、個別のN2個のTSCICの各々はN2個のCICのうちのいずれかに関連付けられ、関数は、ポイントワイズ関数、スライディング関数、局所関数、スライディング局所関数、セクションバイセクション関数、ピッチ推定関数、ハイブリッド関数、スカラ関数、ベクトル関数、離散関数、連続関数、多項式関数、特性、特徴、大きさ、位相、指数関数、対数関数、三角関数、超越関数、論理関数、線形関数、代数関数、非線形関数、区分線形関数、実関数、複素関数、ベクトル値関数、逆関数、関数の導出、関数の統合、環状関数、他の関数の関数、1対1関数、1対多関数、多対1関数、多対多関数、ゼロ交差、絶対関数、指標関数、平均、モード、中央値、範囲、統計、分散、算術平均、幾何平均、調和平均、加重平均、トリム平均、条件付け平均、パーセンタイル、最大、最小、2乗、3乗、平方根、べき乗、サイン、コサイン、タンジェント、コタンジェント、セカント、コゼカント、楕円関数、双曲線関数、ハイパーボリック関数、ゲーム関数、ゼータ関数、絶対値、閾値、限界関数、フロア関数、丸め関数、符号関数、量子化、区分定数関数、合成関数、関数の関数、操作(例えばフィルタリング)で処理された時間関数、確率関数、ランダム関数、エルゴード関数、定常性関数、決定論的関数、周期関数、変換、周波数変換、逆周波数変換、離散時間変換、ラプラス変換、ヒルバート変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、スパース変換、投影、分解、主成分分析(PCA)、独立成分分析(ICA)、ニューラルネットワーク、特徴抽出、移動関数、時系列の隣接アイテムの移動ウィンドウの関数、フィルタリング関数、畳み込み、平均関数、分散関数、統計関数、短時間変換、離散変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、固有変換、固有値、特異値分解(SVD)、特異値、直交分解、マッチング、スパース変換、スパース推定、任意の分解、グラフベース処理、グラフベース変換、グラフ信号処理、分類、ラベリング、学習、機械学習、検出、推定、特徴抽出、ネットワーク学習、特徴抽出、ノイズ除去、信号の強調、符号化、暗号化、マッピング、再マッピング、ベクトル量子化、ローパスフィルタリング、ハイパスフィルタリング、バンドパスフィルタリング、マッチングフィルタリング、カルマンフィルタリング、前処理、後処理、粒子フィルタリング、FIRフィルタリング、IIRフィルタリング、自己回帰(AR)フィルタリング、適応フィルタリング、一次微分、高次微分、積分、平滑化、メディアンフィルタリング、モードフィルタリング、サンプリング、ランダムサンプリング、再サンプリング、ダウンサンプリング、アップサンプリング、内挿、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、統計、短期統計、長期統計、平均、分散、自己相関関数、相互相関、モーメント生成関数、時間平均化、加重平均化、特殊関数、超越関数、ベッセル関数、誤差関数、相補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数、及び別の関数のうちの少なくとも1つを含む方法/装置/システム。
【1179】
項F19:項F17に記載の律動的動き監視システムの方法/装置/システムであって、N2個のISTTを計算することをさらに含み、各ISTTはN1個のTSCICに基づき、N2個のCICのそれぞれに対して、個別のCICに関連付けられたISTTは重複セグメントにおける個別のN1個のTSCICのSTTの関数であり、個別のN1個のTSCICの各々はN1個のTSCIのうちのいずれかに関連付けられ、関数は、ポイントワイズ関数、スライディング関数、局所関数、スライディング局所関数、セクションバイセクション関数、ピッチ推定関数、ハイブリッド関数、スカラ関数、ベクトル関数、離散関数、連続関数、多項式関数、特性、特徴、大きさ、位相、指数関数、対数関数、三角関数、超越関数、論理関数、線形関数、代数関数、非線形関数、区分線形関数、実関数、複素関数、ベクトル値関数、逆関数、関数の導出、関数の統合、環状関数、他の関数の関数、1対1関数、1対多関数、多対1関数、多対多関数、ゼロ交差、絶対関数、指標関数、平均、モード、中央値、範囲、統計、分散、算術平均、幾何平均、調和平均、加重平均、トリム平均、条件付け平均、パーセンタイル、最大、最小、2乗、3乗、平方根、べき乗、サイン、コサイン、タンジェント、コタンジェント、セカント、コゼカント、楕円関数、双曲線関数、ハイパーボリック関数、ゲーム関数、ゼータ関数、絶対値、閾値、限界関数、フロア関数、丸め関数、符号関数、量子化、区分定数関数、合成関数、関数の関数、操作(例えばフィルタリング)で処理された時間関数、確率関数、ランダム関数、エルゴード関数、定常性関数、決定論的関数、周期関数、変換、周波数変換、逆周波数変換、離散時間変換、ラプラス変換、ヒルバート変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、スパース変換、投影、分解、主成分分析(PCA)、独立成分分析(ICA)、ニューラルネットワーク、特徴抽出、移動関数、時系列の隣接アイテムの移動ウィンドウの関数、フィルタリング関数、畳み込み、平均関数、分散関数、統計関数、短時間変換、離散変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、固有変換、固有値、特異値分解(SVD)、特異値、直交分解、マッチング、スパース変換、スパース推定、任意の分解、グラフベース処理、グラフベース変換、グラフ信号処理、分類、ラベリング、学習、機械学習、検出、推定、特徴抽出、ネットワーク学習、特徴抽出、ノイズ除去、信号の強調、符号化、暗号化、マッピング、再マッピング、ベクトル量子化、ローパスフィルタリング、ハイパスフィルタリング、バンドパスフィルタリング、マッチングフィルタリング、カルマンフィルタリング、前処理、後処理、粒子フィルタリング、FIRフィルタリング、IIRフィルタリング、自己回帰(AR)フィルタリング、適応フィルタリング、一次微分、高次微分、積分、平滑化、メディアンフィルタリング、モードフィルタリング、サンプリング、ランダムサンプリング、再サンプリング、ダウンサンプリング、アップサンプリング、内挿、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、統計、短期統計、長期統計、平均、分散、自己相関関数、相互相関、モーメント生成関数、時間平均化、加重平均化、特殊関数、超越関数、ベッセル関数、誤差関数、相補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数、及び別の関数のうちの少なくとも1つを含む方法/装置/システム。
【1180】
項F20:項F17に記載の律動的動き監視システムの方法/装置/システムであって、ISTTの回数に基づいて結合STT(CSTT)を計算するステップと、CSTTに基づいてオブジェクトの律動的動きをモニタするステップとをさらに含む方法/装置/システム。
【1181】
項F21:項F17に記載の律動的動き監視システムの方法/装置/システムであって、ISTTの数の関数として結合STT(CSTT)を計算することをさらに含み、関数は、スカラ関数、ベクトル関数、離散関数、連続関数、多項式関数、特性、特徴、大きさ、位相、指数関数、対数関数、三角関数、超越関数、論理関数、線形関数、代数関数、非線形関数、区分線形関数、実関数、複素関数、ベクトル値関数、逆関数、微分関数、積分関数、循環関数、他の関数の関数、1対1関数、1対多関数、多対1関数、多対多関数、ゼロ交差、絶対関数、指標関数、平均、モード、中央値、範囲、統計量、分散、算術平均、幾何平均、ハーモニック平均、加重平均、トリム平均、条件付き平均、パーセンタイル、最大値、最小値、二乗、三乗、平方根、べき乗、正弦、余弦、正接、余接、正割、余割、楕円関数、パラボラ関数、双曲線関数、ゲーム関数、ゼータ関数、絶対値、しきい値、制限関数、フロア関数、丸め関数、符号関数、量子化、区分的定数関数、複合関数、関数の関数、演算(例えばフィルタリング)で処理される時間関数、確率関数、確率関数、ランダム関数、エルゴード関数、定常性関数、決定論的関数、周期関数、変換、周波数変換、逆周波数変換、離散時間変換、ラプラス変換、ヒルバート変換、正弦変換、余弦変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、スパース変換、射影、分解、主成分分析(PCA)、独立成分分析(ICA)、ニューラルネットワーク、特徴抽出、移動関数、時系列の隣接アイテムの移動ウィンドウの関数、フィルタリング関数、畳み込み、平均関数、分散関数、統計関数、短時間変換、離散変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、固有変換、固有値、特異値分解(SVD)、特異値、直交分解、マッチング、スパース変換、スパース推定、任意の分解、グラフベース処理、グラフベース変換、グラフ信号処理、分類、ラベリング、学習、機械学習、検出、推定、特徴抽出、ネットワーク学習、特徴抽出、ノイズ除去、信号の強調、符号化、暗号化、マッピング、再マッピング、ベクトル量子化、ローパスフィルタリング、ハイパスフィルタリング、バンドパスフィルタリング、マッチングフィルタリング、カルマンフィルタリング、前処理、後処理、粒子フィルタリング、FIRフィルタリング、IIRフィルタリング、自己回帰(AR)フィルタリング、適応フィルタリング、一次微分、高次微分、積分、平滑化、メディアンフィルタリング、モードフィルタリング、サンプリング、ランダムサンプリング、再サンプリング、ダウンサンプリング、アップサンプリング、内挿、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、統計、短期統計、長期統計、平均、分散、自己相関関数、相互相関、モーメント生成関数、時間平均化、加重平均化、特殊関数、超越関数、ベッセル関数、誤差関数、相補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数、及び別の関数のうちの少なくとも1つを含む方法/装置/システム。
【1182】
項F22:項F17に記載の律動的動き監視システムの方法/装置/システムであって、ISTTの数に基づいて少なくとも1つの分析を計算することによってオブジェクトの律動的動きをモニタすることをさらに含む方法/装置/システム。
【1183】
項F23:項F20に記載の律動的動き監視システムの方法/装置/システムであって、CSTT及びISTTの数のうちの少なくとも1つに基づいて少なくとも1つの分析を計算することによってオブジェクトの律動的動きを監視することをさらに含む方法/装置/システム。
【1184】
項F24:項F13〜項F24のうちの1つ(すなわち、10項の請求項のうちの1つ)の律動的動き監視システムの方法/装置/システムであって、それぞれの分析がタイムスタンプに関連付けられ、タイムウィンドウがタイムスタンプに関連付けられ、N1個のTSCIはタイムウィンドウに関連付けられ、N1*N2個のTSCICはタイムウィンドウに関連付けられ、第1のタイムスタンプを有する第1の分析と、第2のタイムスタンプを有する第2の分析とをグループ化するステップであって、第2のタイムスタンプは第1のタイムウィンドウに近接する、方法/装置/システム。
【1185】
項F25:項F24に記載の律動的動き監視システムの方法/装置/システムであって、第1の分析及び第2の分析に関連付けられたコストに基づいて第1の分析及び第2の分析をグループ化することをさらに含む、方法/装置/システム。
【1186】
項F26:項F24に記載の律動的動き監視システムの方法/装置/システムであって、第1の分析と第2の分析との間の類似性スコアに基づいて第1の分析及び第2の分析をグループ化することをさらに含む方法/装置/システム。
【1187】
項F27:項F24に記載の律動的動き監視システムの方法/装置/システムであって、第1の分析と第2の分析との間の類似性スコアと、及び第1の分析に関連付けられた第1の状態と第2の分析に関連付けられた第2の状態との間の状態遷移コストのうちの少なくとも1つに基づいて、第1の分析及び第2の分析をグループ化することをさらに含む方法/装置/分析。
【1188】
項F28:項F24に記載の律動的動き監視システムの方法/装置/システムであって、異なるタイムスタンプを有するいくつかの分析を分析のタイムトレースにグループ化することをさらに含む方法/装置/システム。
【1189】
項F29:項F28に記載の律動的動き監視システムの方法/装置/システムであって、分析の既存の時間トレースに以降の分析を反復的に加えることによって、分析の時間トレースに異なるタイムスタンプを有する複数の分析を加えることをさらに含む、方法/装置/システム。
【1190】
項F30:項F28に記載の律動的動き監視システムの方法/装置/システムであって、コスト関数に基づいて複数の分析を分析のタイムトレースにグループ化することをさらに含む方法/装置/システム。
【1191】
項F31:項F30に記載の律動的動き監視システムの方法/装置/システムであって、コスト関数及び初期条件に基づいて、複数の分析を分析のタイムトレースにグループ化することをさらに含む方法/装置/システム。
【1192】
項F32:項F30に記載の律動的動き監視システムの方法/装置/システムであって、コスト関数及び終了条件に基づいて、複数の分析を分析のタイムトレースにグループ化することをさらに含む方法/装置/システム。
【1193】
項F33:項F30に記載の律動的動き監視システムの方法/装置/システムであって、分析のコスト関数及び境界条件に基づいて複数の分析を分析のタイムトレースにグループ化することをさらに含む方法/装置/システム。
【1194】
項F34:項F28に記載の律動的動き監視システムの方法/装置/システムであって、コスト関数が、2つの分析間の類似性スコア、第1の分析に関連する第1の状態と第2の分析に関連する第2の状態との間の状態遷移コスト、及び第1の分析に関連する第1の状態と第1の分析に関連する状態履歴とに基づく状態遷移コストのうちの少なくとも1つに基づく方法/装置/システム。
【1195】
項F35:項F28に記載の律動的動き監視システムの方法/装置/システムであって、コスト関数が大きな類似性を有する連続分析に有利に働き、小さな類似性を有する連続分析にペナルティを課す方法/装置/システム。
【1196】
項F36:項F28に記載の律動的動き監視システムの方法/装置/システムであって、コスト関数が、状態が変化しない連続分析に有利に働き、状態が変化する連続分析に不利に働く方法/装置/システム。
【1197】
項F37:項F28に記載の律動的動き監視システムの方法/装置/システムであって、分析の少なくとも1つのタイムトレースを計算することをさらに含む方法/装置/システム。
【1198】
項F38:項F37に記載の律動的動き監視システムの方法/装置/システムであって、分析の少なくとも1つのタイムトレースに基づいてオブジェクト及び他のオブジェクトの数を計算することをさらに含む方法/装置/システム。
【1199】
項F39:項F38に記載の律動的動き監視システムの方法/装置/システムであって、分析の少なくとも1つのタイムトレースの数に基づいてオブジェクト及び他のオブジェクトの数を計算することをさらに含む方法/装置/システム。
【1200】
項F40:項F38に記載の律動的動き監視システムの方法/装置/システムであって、条件を満たす分析の少なくとも1つのタイムトレースの数に基づいて、オブジェクト及び他のオブジェクトの数を計算することをさらに含む方法/装置/システム。
【1201】
項F41:項F38に記載の律動的動き監視システムの方法/装置/システムであって、分析の少なくとも1つのタイムトレースの数に基づいて数を計算することをさらに含む方法/装置/システム。
【1202】
項F42:項F1に記載の律動的動き監視システムの方法/装置/システムであって、レスポンス動作は、TSIC及びTSCICのうちの少なくとも1つに基づいて計算されたオブジェクトの律動的動きに関連付けられた少なくとも1つの分析を提示することと、オブジェクトの分析を提示することと、オブジェクトの律動的動きに基づいて提示を作成することと、オブジェクトの律動的動きの分析をユーザデバイスに送信することと、メッセージをユーザデバイスに送信することと、のうちの少なくとも1つを含む方法/装置/オブジェクト。
【1203】
本開示の様々な実施形態では、ダイナミック分析トレースの監視及び追跡が以下の項に従って実行することができる。
【1204】
項G1:分析トレース発見システムの方法/ソフトウェア/装置/システムであって、プロセッサと、プロセッサと通信可能に結合されたメモリと、メモリに格納された命令セットとを使用して、場所の無線マルチパスチャネルのチャネル情報(CI)の少なくとも1つの時系列を取得することであって、CIの少なくとも1つの時系列(TSCI)が無線マルチパスチャネルを介して場所内のタイプ1異種無線システム(無線送信機)とタイプ2異種無線デバイス(無線受信機)との間で送信されるシステムから抽出される、取得することと、少なくとも1つのTSCIに基づいて第1のタイムスタンプに関連付けられた第1の複数の分析を計算することと、少なくとも1つのTSCIに基づいて、第2のタイムスタンプに関連付けられた第2の複数の分析を計算することと、第1のタイムスタンプを有する第1の分析と第2のタイムスタンプを有する第2の分析とをグループ化することと、グループ化に基づいてレスポンスアクションをトリガすることを含む、方法/ソフトウェア/装置/システム。
【1205】
項G2:項G1に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、第1の分析及び第2の分析に関連付けられたコストに基づいて第1の分析及び第2の分析をグループ化することをさらに含む方法/ソフトウェア/装置/システム。
【1206】
項G3:項G1に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、第1の分析及び第2の分析に関連する類似性スコアに基づいて第1の分析及び第2の分析をグループ化することをさらに含む方法/ソフトウェア/装置/システム。
【1207】
項G4:項G1に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、第1の分析と第2の分析との間の類似性スコアと、第1の分析に関連付けられた第1の状態と第2の分析に関連付けられた第2の状態との間の状態遷移コストと、のうちの少なくとも1つに基づいて、第1の分析及び第2の分析をグループ化することをさらに含む方法/ソフトウェア/装置/システム。
【1208】
項G5:分析トレース発見システムの方法/ソフトウェア/装置/システムであって、プロセッサと、プロセッサと通信可能に結合されたメモリと、メモリに格納された命令セットとを使用して、場所の無線マルチパスチャネルのチャネル情報(CI)の少なくとも1つの時系列を取得することであって、CIの少なくとも1つの時系列(TSCI)は無線マルチパスチャネルを介して場所内のタイプ1異種無線デバイス(無線送信機)とタイプ2異種無線デバイス(無線受信機)との間で送信される無線信号から抽出される、取得することと、一連のタイムスタンプのそれぞれについて、少なくとも1つのTSCIに基づいてタイムスタンプに対する個別の複数の分析を計算することと、分析に基づいて少なくとも1つの分析トレースを計算することであって、各分析トレースはそれぞれの時間セグメント内の分析の時系列(TSA)であり、TSAは、時間セグメント内の各タイムスタンプについて1つの分析を有する、計算することと、をさらに含む方法/ソフトウェア/装置/システム。
【1209】
項G6:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、TSAに関連付けられたコストに基づいてそれぞれの分析トレースを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1210】
項G7:項G6に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、コストが、類似性スコア及び状態遷移コストのうちの少なくとも1つを含む方法/ソフトウェア/装置/システム。
【1211】
項G8:項G6に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、コストは、2つの分析間の類似性スコア、第1の分析に関連付けられた第1の状態と第2の分析に関連付けられた第2の状態との間の状態遷移コスト、第1の分析に関連付けられた第1の状態に基づく状態遷移コスト、及び第1のシステムに関連付けられた状態履歴のうちの少なくとも1つ、及びそれぞれのタイムセグメントにわたる累積コストのうちの少なくとも1つを含む方法/ソフトウェア/装置/システム。
【1212】
項G9:項G6に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、コストは大きな類似性を有する連続分析に有利であり、小さな類似性を有する連続分析にペナルティを課す方法/ソフトウェア/装置/システム。
【1213】
項G10:項G6に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、コストは状態が変化しない連続分析に有利であり、状態が変化する連続分析にペナルティを課す方法/ソフトウェア/装置/システム。
【1214】
項G11:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、さらに、初期条件、終了条件、境界条件、及び別の条件のうちの少なくとも1つに基づいて、それぞれの分析トレースを計算することを含む方法/ソフトウェア/装置/システム。
【1215】
項G12:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、それぞれの時間セグメントの初期部分に関連付けられた初期条件、それぞれの時間セグメントの終了部分に関連付けられた終了条件、それぞれの時間セグメントの境界に関連付けられた条件、それぞれの時間セグメントの時間に関連付けられた条件、及び別の条件のうちの少なくとも1つに基づいてそれぞれの分析トレースを計算する方法/ソフトウェア/装置/システム。
【1216】
項G13:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、現在のTSAに新しい分析を追加することをさらに含み、新しい分析に関連付けられたタイムスタンプは現在のTSAのすべてのタイムスタンプよりも後の方法/ソフトウェア/装置/システム。
【1217】
項G14:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、新しい分析に基づいて現在のTSAを更新することをさらに含み、新しい分析に関連付けられたタイムスタンプは現在のTSAのすべてのタイムスタンプよりも後の方法/ソフトウェア/装置/システム。
【1218】
項G15:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、タイムスタンプにおける分析が、2つ以上のそれぞれのTSAにある2つ以上の分析トレースに属することを決定することをさらに含む方法/ソフトウェア/装置/システム。
【1219】
項G16:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、ブルートフォース探索、高速探索、遺伝的探索、分割統治探索、ダイナミックプログラミング、及び別のアルゴリズムのうちの少なくとも1つに基づいて、少なくとも1つの分析トレースを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1220】
項G17:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの候補分析トレースについて少なくとも1つの候補分析トレースについて少なくとも1つのコストを計算することと、すべての候補分析トレース及び関連コストに基づいて少なくとも1つの分析トレースを計算することとをさらに含む方法/ソフトウェア/装置/システム。
【1221】
項G18:項G17に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、関連する少なくとも1つのコストが少なくとも1つの条件を満たす場合に、候補分析トレースを少なくとも1つの分析トレースのうちの1つとして識別することをさらに含む方法/ソフトウェア/装置/システム。
【1222】
項G19:項G17に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの条件が、関連するコストが上限閾値よりも小さく、下限閾値よりも大きいこと、関連する少なくとも1つのコストのそれぞれがそれぞれの上限閾値よりも小さく、それぞれの下限閾値よりも大きいこと、関連するコストが極小値であること、組み合わされたコストが最小限であること、及び別の条件のうちの少なくとも1つを含む方法/ソフトウェア/装置/システム。
【1223】
項G20:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースに基づいて少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1224】
項G21:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースのカウントに基づいて少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1225】
項G22:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、条件を満たした少なくとも1つの分析トレースのカウントに基づいて少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1226】
項G23:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースに基づいて場所内の人の少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1227】
項G24:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースのカウントに基づいて場所内の人の少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1228】
項G25:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、条件を満たした少なくとも1つの分析トレースのカウントに基づいて、場所内の人の少なくとも1つのカウントを計算することをさらに含む、方法/ソフトウェア/装置/システム。
【1229】
項G26:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースに基づいて場所内のオブジェクトの少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1230】
項G27:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースのカウントに基づいて場所内のオブジェクトの少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1231】
項G28:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、条件を満たした少なくとも1つの分析トレースのカウントに基づいて場所内のオブジェクトの少なくとも1つのカウントを計算することをさらに含む方法/ソフトウェア/装置/システム。
【1232】
項G29:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、周波数、周期、周期性パラメータ、リズム、強度、位相、音符、ピッチ、リズムを伴う表現、音楽リズム、区切られたリズム、ビート、ペース、歩行リズム、運動リズム、スポーツリズム、震動パラメータ、振動パラメータ、拍動パラメータ、リラックスパラメータ、モータパラメータ、衝撃リズム、爆発リズム、支配的なリズム、前景リズム、背景リズム、ランダムリズム、無秩序なリズム、確率的なリズム、動き、律動的動き、呼吸数、呼吸周期、心拍数、バイタルサイン、呼吸数の変化、心拍数の変化、バイタルサインの変化、過渡的な動き、移動、アクティビティ、歩容、ジェスチャ、筆記、パターン、トレース、履歴、危険信号、転倒、人物、人物の情報、オブジェクト、オブジェクトの情報、デバイス、識別子、カウント、律動的動きに関連するカウント、律動的動きのソースのカウント、オブジェクトのカウント、車両のカウント、人のカウント、ペットのカウント、乳児のカウント、幼児のカウント、所定の状態にあるオブジェクトのカウント、所定の状態にあるステーションのカウント、占有されていないブースのカウント、カウントの変化、スカラ、ベクタ、変化、変化の速度、導出、集約、統合、加算、加重平均、トリム平均、移動平均、フィルタリング、統計、分散、相関、共分散、相互相関、相互共分散、自己相関、タグ、動きに関連付けられたタグ、オブジェクトに関連付けられたタグ、律動的動きに関連付けられたアクティビティ、タグの変化、状態、イベント、状態の指示、イベントの指示、SLEEP、NON−SLEEP、REM、NREM、AWAKE、MOTION、NO−MOTION、BATHROOM−VISIT、存在/不在、感情的な状態、移動パラメータ、配置、マップに関連付けられた配置、動きに関連付けられた配置、オブジェクトに関連付けられた配置、配置の変化、距離、転置、速度、速さ、加速、角度、角速度、角加速度、軌跡、時間、タイミング、開始時間/タイミング、停止時間/タイミング、休止時間/タイミング、中断時間/タイミング、繰り返し/時間ごと/日ごと/週ごと/月ごと/年ごとのアクティビティパターン、繰り返しタイミング、運動パターン、繰り返し傾向、律動的動きに関連付けられた毎日のアクティビティ、毎日のアクティビティ、自発的なアクティビティ、変動、周波数の変動、ピッチの変動、韻律、周期の変動、リズムの変動、強度の変動、位相の変動、パラメータの変動、2つのリズム間の関係、2つのリズム間の因果関係、及び別のリズムパラメータのうちの少なくとも1つを含む方法/ソフトウェア/装置/システム。
【1233】
項G30:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースに基づいて、イベント、動き、動作、オブジェクトのうちの少なくとも1つを識別することをさらに含む方法/ソフトウェア/装置/システム。
【1234】
項G31:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースに基づいてレスポンスアクションをトリガすることをさらに含む方法/ソフトウェア/装置/システム。
【1235】
項G32:項G5に記載の分析トレース発見システムの方法/ソフトウェア/装置/システムであって、少なくとも1つの分析トレースに基づいて少なくとも1つのカウントを計算することと、少なくとも1つの分析トレース及び少なくとも1つのカウントのうちの少なくとも1つに基づいてレスポンス動作をトリガすることとをさらに含む方法/ソフトウェア/装置/システム。
【1236】
一例では、開示されたシステムが例えば、遊園地、病院、部屋、建物、バス、飛行機、クルーズ船、列車等のような、豊富な散乱環境を有する場所内の多数の人々を得るために使用されてもよい。開示されたシステムは、人の動きによって影響を受ける無線マルチパスチャネルのチャンネルインフォメーションに基づいて、場所内の人の動き分析の軌跡を見つけることができる。トレースは、時間トレース/時間トレンド、または位置のトレース/軌道とすることができる。例えば、開示されたシステムは、場所内の人々の呼吸数または心拍数のトレースを見つけ、そのトレースに基づいて場所内の人々の数量を決定することができる。
【1237】
別の例では、開示されたシステムを使用して、例えば、扉、門、建物内の監視区域など、散乱が豊富な場所にいる人物のアイデンティティを認識することができる。扉の前にいる複数の候補者の各々について、開示されたシステムはトレーニングデータセットに基づいて候補者の律動的動き(例えば、呼吸、心拍)の速度配分を得ることができる。訪問者が扉にいるとき、開示されたシステムは、訪問者の律動的動きによって影響を受ける無線マルチパスチャネルのチャンネル情報に基づいて、訪問者の運動分析の軌跡を計算することができる。例えば、開示されたシステムは、扉における訪問者の呼吸速度または心臓の鼓動率のトレースを見つけ、それぞれの候補者の律動的動き率分布に基づいて、データベース内のそれぞれの候補者に関連付けられるべきトレースの尤度機能を決定することができる。開示されたシステムは、訪問者が尤度機能を最大化する候補者であることを認識することができる。一実施形態では最大化された尤度が依然としてしきい値未満である場合、開示されたシステムは訪問者が認識されていないと判定する。
【1238】
さらに別の例では、開示されたシステムを使用して、自動車内の人物のアイデンティティ、例えば、その人物がデータベース内の特定の運転者であるかどうかを認識することができる。例えば、運転者が車に入った後、運転者の入力動作は運転者の習慣に関連付けられてもよく、分類器をトレーニングし、運転者を認識するために使用されてもよい。例えば、運転者によっては、かごに入って待機することがある。ドライバによってはハンドルに手を置く場合がある。ドライバの中には、快適な位置に身体を振り回すことができるものもある。運転手によってはコーヒーを入れることがある。運転手によっては、バッグを置くことがある。ドライバによっては、スマートフォン(地図アプリが実行されている)をダッシュボードに搭載する場合がある。ドライバによっては、ダッシュボード上のボタンを押してもよい。いくつかのドライバはミラーをチェックし、調整することができる。運転者によっては、カーキーを挿入することがある。一部のドライバは、地図に目的地を入力するなど、電話機をチェックして機能する場合がある。同様に、運転者の自動車退出アクションは運転者の習慣に関連付けられてもよく、分類器をトレーニングし、運転者を認識するために使用されてもよい。人が自動車に出入りするとき、開示されたシステムは人の動き及び/または姿勢によって影響を受ける無線マルチパスチャネルのチャンネル情報に基づいて人の動き及び/または姿勢を検出し、検出された動き及び/または姿勢が、データベース内に記憶されたドライバの動き及び/または姿勢と一致するかどうかに基づいて、人が自動車のドライバであるかどうかを判定することができる。
【1239】
上記の特徴は、データ記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力装置からデータ及び命令を受信し、それらにデータ及び命令を送信するように結合された少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能な1つまたは複数のコンピュータプログラムで有利に実施することができる。コンピュータプログラムは、特定のアクティビティを実行したり、特定の結果をもたらすために、コンピュータ内で直接的または間接的に使用される一連の命令である。コンピュータ・プログラムは、コンパイルされた又は解釈された言語を含む任意の形式のプログラミング言語(例えば、C、Java)で書かれてもよく、また、スタンドアロン・プログラムとして又はモジュールとして、構成要素、サブルーチン、ブラウザ・ベースのウェブ・アプリケーション、又はコンピューティング環境での使用に適した他のユニットを含む任意の形式で配置されてもよい。
【1240】
命令のプログラムを実行するのに適したプロセッサは、例えば、汎用及び専用マイクロプロセッサ、デジタル信号プロセッサ、ならびに任意の種類のコンピュータの単独のプロセッサまたは複数のプロセッサまたはコアのうちの1つを含む。一般に、プロセッサは、読み出し専用可能メモリ又はランダムアクセスメモリ、あるいはその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令及びデータを格納するための1つ以上のメモリである。一般に、コンピュータは、データファイルを記憶するための1つまたは複数の大容量記憶装置も含み、またはそれと通信するように動作可能に結合され、そのような装置は、磁気ディスクのような内部ハードディスク及び取外し可能ディスクな光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを具体的に具現化するのに適した記憶装置は、例として、EPROM、EEPROM、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスクなどの磁気ディスク、及び光磁気ディスク、ならびにCD−ROM及びDVD−ROMディスクなどのリムーバブルディスクを含む、すべての形態の不揮発性メモリを含む。プロセッサ及びメモリは、ASIC(特定用途向け集積回路)によって補完されてもよく、またはASICに組み込まれてもよい。
【1241】
本開示は、多くの具体的な実施の詳細を含むが、これらは、本開示の範囲またはクレームされ得るものに対する限定として解釈されるべきではなく、むしろ、本開示の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載される特定の特徴は、一の実施形態において組み合わせて実施されてもよい。逆に、一の実施形態の文脈で説明される様々な特徴は、複数の実施形態で別々に、または任意の適切な組合せで実装されてもよい。
【1242】
同様に、動作は、特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が、示された特定の順序で、または連続的な順序で実行されること、または示されたすべての動作が実行されることを必要とするものとして理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。さらに、上記の実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明されるプログラム構成要素及びシステムは、一般に、単一のソフトウェア製品に一緒に統合されてもよく、または複数のソフトウェア製品にパッケージ化されてもよいことを理解されたい。
【1243】
主題の特定の実施形態を説明した。上述の特徴及びアーキテクチャの任意の組合せは、以下の特許請求の範囲内にあることが意図される。他の実施形態もまた、以下の特許請求の範囲内である。場合によっては、特許請求の範囲に記載されたアクションは、異なる順序で実行されてもよく、依然として望ましい結果を達成することができる。さらに、添付の図面に示されるプロセスは、所望の結果を達成するために、必ずしも示される特定の順序、または連続する順序を必要としない。いくつかの実装形態では、マルチタスキング及び並列処理が有利であり得る。
図1
[この文献は図面を表示できません]
図2
[この文献は図面を表示できません]
図3A
[この文献は図面を表示できません]
図3B
[この文献は図面を表示できません]
図3C
[この文献は図面を表示できません]
図4A
[この文献は図面を表示できません]
図4B
[この文献は図面を表示できません]
図5
[この文献は図面を表示できません]
図6
[この文献は図面を表示できません]
図7
[この文献は図面を表示できません]
図8
[この文献は図面を表示できません]
図9
[この文献は図面を表示できません]
図10
[この文献は図面を表示できません]
図11
[この文献は図面を表示できません]
図12
[この文献は図面を表示できません]
図13A
[この文献は図面を表示できません]
図13B
[この文献は図面を表示できません]
図13C
[この文献は図面を表示できません]
図14
[この文献は図面を表示できません]
図15
[この文献は図面を表示できません]
図16A
[この文献は図面を表示できません]
図16B
[この文献は図面を表示できません]
図16C
[この文献は図面を表示できません]
図17A
[この文献は図面を表示できません]
図17B
[この文献は図面を表示できません]
図18
[この文献は図面を表示できません]
図19A
[この文献は図面を表示できません]
図19B
[この文献は図面を表示できません]
図20
[この文献は図面を表示できません]
図21A
[この文献は図面を表示できません]
図21B
[この文献は図面を表示できません]
図22
[この文献は図面を表示できません]
図23
[この文献は図面を表示できません]
図24
[この文献は図面を表示できません]
図25
[この文献は図面を表示できません]
図26A
[この文献は図面を表示できません]
図26B
[この文献は図面を表示できません]
図27
[この文献は図面を表示できません]
図28
[この文献は図面を表示できません]
図29
[この文献は図面を表示できません]
図30
[この文献は図面を表示できません]
図31
[この文献は図面を表示できません]
図32
[この文献は図面を表示できません]
図33
[この文献は図面を表示できません]
図34
[この文献は図面を表示できません]
図35
[この文献は図面を表示できません]
図36
[この文献は図面を表示できません]
図37
[この文献は図面を表示できません]
図38
[この文献は図面を表示できません]
図39
[この文献は図面を表示できません]
図40
[この文献は図面を表示できません]
図41
[この文献は図面を表示できません]
図42
[この文献は図面を表示できません]
図43
[この文献は図面を表示できません]
図44
[この文献は図面を表示できません]
図45
[この文献は図面を表示できません]
図46
[この文献は図面を表示できません]
図47
[この文献は図面を表示できません]
図48
[この文献は図面を表示できません]
図49
[この文献は図面を表示できません]
図50
[この文献は図面を表示できません]
図51
[この文献は図面を表示できません]
図52A
[この文献は図面を表示できません]
図52B
[この文献は図面を表示できません]
図52C
[この文献は図面を表示できません]
図53
[この文献は図面を表示できません]
図54
[この文献は図面を表示できません]
図55
[この文献は図面を表示できません]
図56
[この文献は図面を表示できません]
図57A
[この文献は図面を表示できません]
図57B
[この文献は図面を表示できません]
図57C
[この文献は図面を表示できません]
図58
[この文献は図面を表示できません]
図59A
[この文献は図面を表示できません]
図59B
[この文献は図面を表示できません]
図60
[この文献は図面を表示できません]
図61A
[この文献は図面を表示できません]
図61B
[この文献は図面を表示できません]
図61C
[この文献は図面を表示できません]
図62A
[この文献は図面を表示できません]
図62B
[この文献は図面を表示できません]
図63A
[この文献は図面を表示できません]
図63B
[この文献は図面を表示できません]
図63C
[この文献は図面を表示できません]
図63D
[この文献は図面を表示できません]
図63E
[この文献は図面を表示できません]
図63F
[この文献は図面を表示できません]
図63G
[この文献は図面を表示できません]
図64
[この文献は図面を表示できません]
図65
[この文献は図面を表示できません]
図66A
[この文献は図面を表示できません]
図66B
[この文献は図面を表示できません]
図67A
[この文献は図面を表示できません]
図67B
[この文献は図面を表示できません]
図68
[この文献は図面を表示できません]
図69A
[この文献は図面を表示できません]
図69B
[この文献は図面を表示できません]
図69C
[この文献は図面を表示できません]
図69D
[この文献は図面を表示できません]
図69E
[この文献は図面を表示できません]
図69F
[この文献は図面を表示できません]
図70
[この文献は図面を表示できません]
図71A
[この文献は図面を表示できません]
図71B
[この文献は図面を表示できません]
図71C
[この文献は図面を表示できません]
図72
[この文献は図面を表示できません]
図73A
[この文献は図面を表示できません]
図73B
[この文献は図面を表示できません]
図73C
[この文献は図面を表示できません]
図74A
[この文献は図面を表示できません]
図74B
[この文献は図面を表示できません]
図74C
[この文献は図面を表示できません]
図75A
[この文献は図面を表示できません]
図75B
[この文献は図面を表示できません]
図75C
[この文献は図面を表示できません]
図76A
[この文献は図面を表示できません]
図76B
[この文献は図面を表示できません]
図76C
[この文献は図面を表示できません]
図77
[この文献は図面を表示できません]
図78
[この文献は図面を表示できません]
図79
[この文献は図面を表示できません]
図80
[この文献は図面を表示できません]
図81
[この文献は図面を表示できません]
図82
[この文献は図面を表示できません]
図83A
[この文献は図面を表示できません]
図83B
[この文献は図面を表示できません]
図83C
[この文献は図面を表示できません]
図84A
[この文献は図面を表示できません]
図84B
[この文献は図面を表示できません]
図84C
[この文献は図面を表示できません]
図84D
[この文献は図面を表示できません]
図85
[この文献は図面を表示できません]
図86
[この文献は図面を表示できません]
図87
[この文献は図面を表示できません]
図88A
[この文献は図面を表示できません]
図88B
[この文献は図面を表示できません]
図88C
[この文献は図面を表示できません]
図89A
[この文献は図面を表示できません]
図89B
[この文献は図面を表示できません]
図89C
[この文献は図面を表示できません]
図90
[この文献は図面を表示できません]
図91
[この文献は図面を表示できません]
図92
[この文献は図面を表示できません]
図93
[この文献は図面を表示できません]
図94
[この文献は図面を表示できません]
【外国語明細書】
2020203075000001.pdf