知財求人 - 知財ポータルサイト「IP Force」
特許7562021ＷＬＡＮセンシングフィールドのためのマルチバンドＷｉ－Ｆｉ融合
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-26
(45)【発行日】2024-10-04
(54)【発明の名称】ＷＬＡＮセンシングフィールドのためのマルチバンドＷｉ－Ｆｉ融合
(51)【国際特許分類】
G01S 5/02 20100101AFI20240927BHJP
【ＦＩ】
G01S5/02 Z
【請求項の数】
12
(21)【出願番号】P 2023575037
(86)(22)【出願日】2022-01-21
(65)【公表番号】
(43)【公表日】2024-02-16
(86)【国際出願番号】 JP2022004143
(87)【国際公開番号】W WO2022190721
(87)【国際公開日】2022-09-15
【審査請求日】2023-08-22
(31)【優先権主張番号】63/157,918
(32)【優先日】2021-03-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/218,242
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ワン，プー
(72)【発明者】
【氏名】ユ，ジエンユエン
(72)【発明者】
【氏名】秋濃 俊昭
(72)【発明者】
【氏名】ワン，イェ
(72)【発明者】
【氏名】オーリック，フィリップ
【審査官】藤田 都志行
(56)【参考文献】
【文献】米国特許出願公開第２０１７／００８６２０２（ＵＳ，Ａ１）
【文献】米国特許第１００５１６８５（ＵＳ，Ｂ１）
【文献】中国特許出願公開第１１２３３６３２２（ＣＮ，Ａ）
【文献】特表２０１８－５０９６１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ５／００－ ５／１４
Ｈ０４Ｂ ７／２４－ ７／２６
Ｈ０４Ｗ ４／００－９９／００
(57)【特許請求の範囲】
【請求項1】
センチメートル波長チャネルおよびミリメートル波長チャネルにわたる環境のＷｉ－Ｆｉカバレッジを提供するマルチバンドＷｉ－Ｆｉ送信のマルチチャネル情報に基づいて環境の状態を推定するためのシステムであって、前記システムは、少なくとも１つのプロセッサと、命令が格納されたメモリとを備え、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記システムに、前記センチメートル波長チャネルの１つまたは複数の特性と前記ミリメートル波長チャネルの１つまたは複数の特性とを含む前記マルチバンドＷｉ－Ｆｉ送信の異なるチャネルの特性を受信することと、
前記センチメートル波長チャネルの特性と前記ミリメートル波長チャネルの特性とを共に使用して前記環境の状態を判断することと、
前記環境の状態をサービスプロバイダにサブミットすることとを、実行させ、
前記環境の状態の共同推定に使用される前記特性は、前記センチメートル波長チャネルのチャネル状態情報（ＣＳＩ）と、異なる出発角度（ＡｏＤ）でミリメートル波長チャネルで送信される異なる空間ビームの信号対雑音比(ＳＮＲ）とを含む、システム。
【請求項2】
ルータの機能と、ワイヤレスアクセスポイントの機能と、インターネットまたはプライベートコンピュータネットワークへのアクセスを提供する機能とを含む機能のうちの１つまたは組み合わせを実行するように構成されたＷｉ－Ｆｉデバイスであって、前記Ｗｉ－Ｆｉデバイスは、１つまたは複数のアンテナに接続された１つまたは複数のＷｉ－Ｆｉトランシーバを備え、前記１つまたは複数のＷｉ－Ｆｉトランシーバは、センチメートル波長チャネルおよびミリメートル波長チャネルを含む異なる周波数帯域でＷｉ－Ｆｉ信号を送信および受信し、マルチバンドＷｉ－Ｆｉ送信を実行するために異なるチャネルの特性を推定し、前記Ｗｉ－Ｆｉデバイスはさらに、
前記マルチバンドＷｉ－Ｆｉ送信の前記異なるチャネルの特性を受信するために前記Ｗｉ－Ｆｉトランシーバに作動的に接続された請求項１に記載のシステムを備える、Ｗｉ－Ｆｉデバイス。
【請求項3】
ワイヤレス通信チャネルを介して前記マルチバンドＷｉ－Ｆｉ送信の異なるチャネルの特性を受信するように構成されたトランシーバをさらに備える、請求項１に記載のシステム。
【請求項4】
前記環境の状態を推定するために、前記プロセッサは、複数のサブネットワークを含むニューラルネットワークを実行するように構成され、前記サブネットワークは、前記センチメートル波長チャネルの特性から特徴を抽出して第１の特徴を生成するように訓練された第１の特徴抽出サブネットワークと、
前記ミリメートル波長チャネルの特性から特徴を抽出して第２の特徴を生成するように訓練された第２の特徴抽出サブネットワークと、
前記第１の特徴と前記第２の特徴とを組み合わせてまたは融合して融合された特徴を生成するように訓練された融合サブネットワークと、
前記融合された特徴から前記環境の状態を推定するように訓練された状態推定器サブネットワークとを含む、請求項１に記載のシステム。
【請求項5】
前記ニューラルネットワークは、前記状態推定器サブネットワークによって判断された前記環境の状態に基づいて前記環境をサービスするタスクを実行するように訓練されたタスク実行部サブネットワークをさらに備える、請求項４に記載のシステム。
【請求項6】
前記ニューラルネットワークは、マルチヘッドニューラルネットワークであり、異なるタスクの実行のために共同で訓練される複数のタスク実行部サブネットワークをさらに備え、各タスク実行部サブネットワークは、前記状態推定器サブネットワークによって判断された前記環境の状態に基づいて対応するタスクを実行するように訓練される、請求項４に記載のシステム。
【請求項7】
前記融合サブネットワークは、前記第１の特徴抽出サブネットワークの各層の各出力を受信し、前記融合サブネットワークの他の層にわたる後続の処理のために前記第２の特徴抽出サブネットワークの各層の各出力と組み合わせて、前記組み合わせた出力の次元を反復的に減じる、請求項４に記載のシステム。
【請求項8】
前記融合サブネットワークは、前記第１の特徴抽出サブネットワークの各層の各出力および前記第２の特徴抽出サブネットワークの各層の各出力を受信し、アテンションメカニズムを使用してすべての出力を融合する、請求項４に記載のシステム。
【請求項9】
前記アテンションメカニズムはトランスフォーマアーキテクチャを備えたモジュールを含む、請求項８に記載のシステム。
【請求項10】
前記サブネットワークのうちの少なくともいくつかは、エンコーダとデコーダとを有するオートエンコーダアーキテクチャに基づいて訓練され、前記第１の特徴抽出サブネットワークおよび前記第２の特徴抽出サブネットワークは、前記オートエンコーダアーキテクチャにおける前記エンコーダを形成し、前記融合サブネットワークは、復号に使用される前記オートエンコーダアーキテクチャの潜在空間を形成する、請求項４に記載のシステム。
【請求項11】
前記オートエンコーダアーキテクチャを訓練するために使用される前記デコーダは、前記ニューラルネットワークの実行中に切り離される、請求項１０に記載のシステム。
【請求項12】
前記プロセッサは、前記ニューラルネットワークを訓練し前記ニューラルネットワークを実行するように構成され、前記訓練中、前記プロセッサは、マルチバンドチャネルの特性を前記潜在空間に符号化し前記マルチバンドチャネルの特性を前記潜在空間から復号するように前記エンコーダおよび前記デコーダを訓練し、前記実行中、前記プロセッサは、前記潜在空間の値を抽出し、前記抽出した値を前記状態推定器サブネットワークにサブミットする、請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して通信システムに関し、より具体的には、専用センサに頼ることなく屋内および屋外空間を監視するために複数の周波数帯域からのＷｉ－Ｆｉ（登録商標）測定値を融合することに関する。
【背景技術】
【0002】
Ｗｉ－Ｆｉセンシングまたはワイヤレスローカルエリアネットワーク（ＷＬＡＮ）センシングは、過去１０年にわたって極めて大きな注目を集めている。より最近では、新たな研究グループが、新たな産業および商業用途に向けて８０２．１１標準技術の利用規模を拡大するためにＷＬＡＮセンシングに着目している。いくつかの従来のＷＬＡＮセンシングフレームワークは、物理（ＰＨＹ）層からのチャネル状態情報（ＣＳＩ）、または媒体アクセス制御（ＭＡＣ）層からの受信信号強度インジケータ（ＲＳＳＩ）測定値のいずれかを使用する。従来のＲＳＳＩ測定には、限定されたセンシング精度につながる、測定の不安定さおよびチャネル情報の粒度の粗さという難点がある。従来のＣＳＩ測定は、センシング粒度は高いが、大量のサブキャリアデータを処理するために、ＰＨＹ層インターフェイスへのアクセスおよび高い計算能力を必要とする。
【0003】
ＷＬＡＮセンシング用途の１つとしての、屋内ローカリゼーションという技術分野は、囲い込まれた屋内領域内の物体をローカライズするためのシステムおよび方法を開発することに取り組んでいる。この物体は、何らかの他のデバイスに信号を送信および／または他のデバイスから信号を受信するデバイスであってもよく、またはそのような能力を持たないエンティティであってもよい。ローカライズ（ローカリゼーション）とは、何らかの予め定められた基準フレーム内の物体の座標を推定することである。いくつか例を挙げると、病院、倉庫、ショッピングモール、工場における物体の位置特定のような、いくつかの屋内ローカリゼーション産業用途は、正確な屋内ローカリゼーションを必要とする。いくつかの従来の屋内ローカリゼーションアプローチは、専用ハードウェアを屋内エリアに設置することを必要とする。しかしながら、これらのタイプの従来のアプローチは、専用ハードウェアを購入して屋内ローカリゼーションシステムに設置しなければならないので、望ましくない。このアプローチの一例は、屋内ローカリゼーションコミュニティについての最後の選択肢として使用される、高価な超広帯域（ＵＷＢ）無線ローカリゼーションシステムである。他の例は、ＵＷＢローカリゼーションシステムと同様に高い設置および保守費用を必要とする、光検出・測距（ＬＩＤＡＲ）、レーダーまたは超音波に基づいたシステムを含む。ミリ波（ｍｍＷａｖｅ）通信の分野における、ＣＮ１０２９１４７６２Ａに記載されているシステムは、ミリ波ベースの屋内ローカリゼーションシステムを開示している。しかしながら、文献ＣＮ１０２９１４７６２Ａに記載されているシステムは、ミリ波周波数で動作する専用インフラストラクチャの設置を必要とするので、一部の実用用途には望ましくない。
【0004】
したがって、低コストおよび実装という観点から、フィンガープリンティングデータベースのための特徴空間を構築することができるＷＬＡＮセンシング（たとえば屋内ローカリゼーション）システムおよび方法、ならびにデバイス搭載およびデバイスフリーの監視の両方に使用できる、専用センサ（たとえばカメラ、Ｌｉｄａｒ、レーダー、超音波、赤外線）に頼ることなく屋内および屋外空間を監視するための、複数の周波数帯域からのＷｉ－Ｆｉ測定値の融合が、必要とされている。
【発明の概要】
【0005】
本開示は、概して通信システムに関し、より具体的には、専用センサに頼ることなく屋内および屋外空間を監視するために複数の周波数帯域からのＷｉ－Ｆｉ測定値を融合することに関する。これらのシステムおよび方法は、外部専用センサ（たとえばカメラ、Ｌｉｄａｒ、レーダー、超音波、赤外線）に頼ることなく屋内および屋外空間を監視するために使用することができ、デバイス搭載およびデバイスフリーの屋内および屋外監視の両方に使用することができる。
【0006】
本開示のいくつかの実施形態は、複数の周波数帯域からのＷｉ－Ｆｉ測定値を融合することにより、クラス依存フィンガープリンティングデータベースのための特徴空間を構築する、インフラストラクチャフリーのＷＬＡＮセンシングを利用する。これらの実施形態は、たとえば８０２．１１ａｃ準拠のＷｉ－Ｆｉデバイスおよび８０２．１１ａｄ準拠のＷｉ－Ｆｉデバイスを含む、マルチバンドＷｉ－Ｆｉネットワークで動作する。複数の周波数帯域は、最大８０ＭＨｚの帯域幅の範囲の一組の周波数サブキャリアにわたる複素振幅の形態のチャネル状態情報（ＣＳＩ）のような細粒度チャネル測定値、１ＧＨｚの帯域幅の範囲のＣＳＩのような超粒度チャネル測定値、および、６０ＧＨｚの動作周波数における空間ビーム信号対雑音比（ＳＮＲ）の形態の中粒度チャネル測定値を含み得る。
【0007】
具体的には、いくつかの実施形態は、複数の空間ストリームからのサブ６ＧＨｚにおける細粒度チャネル状態情報（ＣＳＩ）測定値と、６０ＧＨｚのミリ波帯域における中粒度ビームＳＮＲとを融合する。両方の種類のＷｉ－Ｆｉチャネル測定値は、異なる物理ドメインにおける豊富であるが相補的な特徴を提供する。直交周波数分割多重（ＯＦＤＭ）サブキャリアトーンにおける複素数値振幅として、ＣＳＩ測定値は、時間ドメインにおける電力遅延プロファイル（ＰＤＰ）を取得することができ、ローカルエリアにおける伝搬経路に沿った電力分布を反映する。他方、ビームＳＮＲ測定値は、さまざまなビームフォーミング方向またはビーム空間にわたる空間ドメインチャネル測定値をより適切に示す。
【0008】
本開示の態様は、異なる周波数帯域における２つの豊富なＷｉ－Ｆｉチャネル測定値を融合する実験から、すなわちサブ７ＧＨｚにおける細粒度ＣＳＩ測定値と６０ＧＨｚのミリ波帯域における中粒度ビームＳＮＲとの間のマルチバンドＷｉ－Ｆｉ融合から得られる認識に基づいている。たとえば、これらの２つのＷｉ－Ｆｉチャネル測定値は、スカラー粗粒度ＲＳＳＩと比較してはるかに豊富な特徴を提供し、細粒度ＣＳＩとのより有意義な融合をもたらすことができる。具体的には、これらの特徴：１）周波数サブキャリア対空間ビームセクタ、および、２）長距離にわたる高い環境感受性対短距離にわたる比較的中程度の環境感受性は、互いに相補的な特徴である。
【0009】
実験から得られた別の認識は、別々のエンコーダ（すなわちＣＳＩエンコーダおよびビームＳＮＲエンコーダ）とデコーダ（すなわちＣＳＩデコーダおよびビームＳＮＲデコーダ）とを含み得るオートエンコーダベースの融合ネットワークを開発する必要性であった。この融合ネットワークは、最初に、それらの入力と同一の融合された特徴を有する２つのデコーダの出力についての再構成誤差を使用して訓練することができる。よって、融合ネットワークは、同一の融合された特徴からＣＳＩおよびビームＳＮＲを再構成することができる。この固有の融合ネットワークは、（１）マルチバンド測定値の粒度の対応関係が不明である、（２）未加工の高次元マルチバンド測定値は、使用、処理、および保存の費用対効果が低い、（３）マルチバンド測定値の分析は、ＷＬＡＮセンシングのための訓練に大量の訓練ラベルを必要とする、および、（４）測定データベースは、ローカリゼーションの１つの特定用途に限定され、姿勢および挙動監視等の他の用途に対する一般化が制限される、という技術的課題を解決する。
【0010】
さらに、この技術的解決策は、２種類のＷｉ－Ｆｉチャネル測定値からの複数のレベルにわたる特徴間の粒度の対応関係を説明するカスタマイズされた融合ブロックを導入する。粒度の対応関係は、ラベル付けされていない訓練データを使用して訓練される特徴置換ネットワークまたは特徴アテンションネットワークによって取り入れることができる。一般化に対処し大規模なラベル付けされた訓練データの要件を緩和するために、オートエンコーダベースの教師なし融合ネットワークが、マルチタスクセンシングデータセットのために使用される。オートエンコーダベースの融合ネットワークが訓練されると、特定のタスクのための限定されたラベル付け訓練データを使用して、これを微調整することができる。
【0011】
この技術的解決策によって生み出される技術的利点は、１）２つの異なるＷｉ－Ｆｉチャネル測定値間の粒度マッチング融合、２）大規模なラベル付けされた訓練の要件の緩和、および３）マルチタスクセンシングの一般化の改善、である。
【0012】
従来のＷＬＡＮセンシングまたは融合ネットワークは粗粒度ＲＳＳＩチャネル測定値から有意義な特徴を抽出することができないので、従来から知られているようなセンシングネットワークを設計および作成するアーキテクチャは、本開示の融合ネットワークを予想または必要とすることはないであろう。
【0013】
また、多くの試験実験後に後から認識されたことは、ＣＳＩエンコーダとビームＳＮＲエンコーダとの間の未知の粒度対応関係によるものであり、カスタマイズされた融合ブロックを導入することで、異なるレベルからの特徴を階層的に融合することができる。具体的には、この融合ブロックは、粒度マッチングのための特徴並べ替えを考慮する。ここで、ＣＳＩエンコーダとビームＳＮＲエンコーダとの間の未知の粒度対応関係は、２つの測定値間の有益な融合を妨げ得る。実際、異なる物理的意味および品質を有する２つのチャネル測定値の単純な融合は、２つの独立したチャネル測定値の良好な性能よりも悪い性能をもたらし得る。融合ブロックの開発における課題の一部は、１）新規の対応関係マッチング方法、２）限定されたラベル訓練、および３）マルチタスクＷＬＡＮセンシングの一般化、を含んでいた。これは、固有の問題であり、ＣＳＩエンコーダとビームＳＮＲエンコーダとの間の未知の粒度対応関係という問題であり、６０ＧＨｚのミリ波帯域における第１の無線帯域または中粒度ビーム信号対雑音比（ＳＮＲ）測定値からの１つの種類の測定値と、複数の空間ストリームからのサブ６ＧＨｚにおける第２の無線帯域または細粒度チャネル状態情報（ＣＳＩ）測定値からの別の種類の測定値との融合に固有である。たとえば、従来のＷＬＡＮセンシングフレームワークは、６０ＧＨｚのミリ波帯域における中粒度ビーム信号対雑音比（ＳＮＲ）測定値を、異なる特徴レベルにわたる複数の空間ストリームからのサブ６ＧＨｚにおける細粒度チャネル状態情報（ＣＳＩ）測定値と融合することとは全く異なる、２つのチャネル測定値の単純な連結により、信号を融合することができる。
【0014】
実験から得られ融合ネットワークの訓練の完了後にいくつかの実施形態に組み込まれた別の認識は、予め訓練された融合ネットワークを使用して、融合ブロックを微調整しマルチタスクヘッドを最初から訓練することにより、マルチタスクヘッドを融合された特徴に添付することを含む。このアプローチは、特にデバイス展開後にＷＬＡＮセンシングのために取得することが困難であるラベル付けされた訓練データの数についての要件を緩和することができる。いくつかの態様において、マルチタスクヘッドを融合された特徴に添付する機能が重要である理由は、１）融合された特徴が適切な一般化機能を有すること、および２）ラベル付けされたデータが限られている場合であってもマルチタスクヘッドは訓練し易いこと、にある。
実際の用途
実際の用途
【0015】
本開示の実施形態は、現代の住宅、工業、および商業用途のうちのいくつかに対処するが、その理由は単に、これらのシステムおよび方法を、専用センサ（たとえばカメラ、Ｌｉｄａｒ、レーダー、超音波、赤外線）を伴わずに屋内空間を監視するために使用することができ、かつ、デバイス搭載およびデバイスフリーの屋内監視の両方に使用できることにある。さらに、これらのシステムおよび方法は、たとえば８０２．１１ａｃおよび８０２．１１ａｄ準拠のＷｉ－ＦｉルータからなるマルチバンドＷｉ－Ｆｉネットワークで動作し、これにより、上記システムおよび方法を多くの異なる種類の用途に取り入れることが可能になる。さらに、これらのシステムおよび方法は、通信デバイスを用いるまたは用いない（デバイスフリー）静止および移動物体の屋内ローカリゼーションを含む用途のために使用することができる。たとえば、本開示のこれらのシステムおよび方法は、人間行動認識、姿勢認識、占有率監視、人数計数、屋内交通、屋内ローカリゼーション、屋外ローカリゼーション、ロボット、屋内ナビゲーション、屋内駐車支援、近接検出などを含む、多くの異なる種類の用途のために構成される。他の用途は、ホームセキュリティ、エンターテイメント、エネルギー管理（ＨＶＡＣ、光、デバイス節電）、高齢者ケア、およびケア付き住宅を含み得る。
【0016】
さらに、本システムおよび方法は、企業の敷地、病院施設、または出荷場のような制御された環境内での資産および人々の追跡に対処するように設計される。具体的には、本システムおよび方法は、物体ならびに生物および非生物の正確な位置を監視するように構成することができる。たとえば、病院内の救急医療用カートの場合、心停止または何らかの他の生命を脅かす出来事が生じたときに、病院のスタッフが救急医療用カートまたは何らかの他の生命維持装置の位置を特定する時間を浪費しないようにする。
【0017】
本発明のさらに他の実用的な特徴を以下で説明する。Ｗｉ－Ｆｉセンシングまたはワイヤレスローカルエリアネットワーク（ＷＬＡＮ）センシングは、過去１０年にわたって極めて大きな注目を集めている。Ｗｉ－Ｆｉカバレッジの主要な目的に加えて、いくつかの実施形態は、Ｗｉ－Ｆｉ信号によってカバーされるエリアにおける環境の状態を推定するためにＷＬＡＮセンシングを使用することが有利である可能性がある、という理解に基づいている。本明細書で使用される、環境の状態は、この環境内に位置する物体および／または人々の状態または状態の変化を示す。環境は、Ｗｉ－Ｆｉ信号によってカバーされる屋内および屋外空間を含み得る。さらに、環境の状態は、追跡、セキュリティ、および制御用途等の多くの異なる用途に使用することができる。
【0018】
いくつかの実施形態は、環境の状態を、Ｗｉ－Ｆｉ信号の特性から、たとえばＷｉ－Ｆｉ信号の伝搬のチャネルのチャネル状態情報（ＣＳＩ）から判断することができる、という認識に基づいている。しかしながら、いくつかの実施形態は、いくつかのＷｉ－Ｆｉ信号の特性が、いくつかの実際の用途に適した所望の精度および効率で環境を推定するのに不十分な情報を提供する可能性がある、という理解に基づいている。たとえば、いくつかのＷｉ－Ｆｉ信号の場合、通信プロトコルの物理（ＰＨＹ）層によって推定されるＷｉ－Ｆｉ信号の特性も、受信信号強度インジケータ（ＲＳＳＩ）等の、媒体アクセス制御（ＭＡＣ）層によって推定されるＷｉ－Ｆｉ信号の特性も、所望の精度で環境の状態を推定するのに十分な情報を提供しないことがある。
【0019】
一見したところでは、この精度問題の原因は、通信プロトコルの異なる層によってＷｉ－Ｆｉチャネルから抽出される情報の種類にある。しかしながら、いくつかの実施形態は、この問題の原因が、情報の種類にあるのではなく、Ｗｉ－Ｆｉ信号自体の物理的特性および／またはＷｉ－Ｆｉ信号の伝搬の特性にある、という認識に基づいている。具体的には、Ｗｉ－Ｆｉ信号の周波数に応じて、信号は、伝搬距離、マルチパス伝搬の種類、物体貫通の能力、物体および人々の動きに対する感度などを、変化させる可能性がある。異なるセンシングの用途に対し、異なる種類のＷｉ－Ｆｉ信号は、ある程度は有益である可能性がある。そのため、環境の状態への関心に応じて、異なる用途には異なる種類のＷｉ－Ｆｉ信号を選択することが合理的であろう。しかしながら、このような選択は非実用的である。
【0020】
いくつかの実施形態は、環境の状態を推定するために、異なる種類のＷｉ－Ｆｉ信号を、個別にではなく共に使用することができる、という認識に基づいている。具体的には、異なるＷｉ－Ｆｉ信号は、それらの対応するチャネルの異なる特性を有するように十分に分離された異なる周波数帯域で伝搬することができる。そのようなマルチバンド送信の一例は、ミリメートル波長およびセンチメートル波長のＷｉ－Ｆｉ信号の送信である。加えて、いくつかの実施形態は、いくつかの現代のアクセスポイント（ＡＰ）が同じエリアまたは環境をカバーするためにそのようなマルチバンド送信を提供することができる、という認識に基づいている。たとえば、８０２．１１ａｃおよび８０２．１１ａｄ通信規格に準拠するいくつかのＷｉ－Ｆｉデバイスは、サブ７ＧＨｚの周波数を有するセンチメートル波長チャネル上で、および６０ＧＨｚのミリ波帯域におけるミリメートル波長チャネル上で、そのようなマルチバンド送信を提供する。
【0021】
そのため、いくつかの実施形態の目的は、センチメートル波長チャネルおよびミリメートル波長チャネルにわたる環境のＷｉ－Ｆｉカバレッジを提供するマルチバンドＷｉ－Ｆｉ送信のマルチチャネル情報を使用して、環境の状態を推定することである。マルチバンドＷｉ－Ｆｉ送信のマルチチャネル情報の共同使用は、計算効率が良い方法で環境の状態の推定の品質を向上させる。
【0022】
したがって、いくつかの実施形態は、以下の特徴１に基づいて実現することができる。特徴１：センチメートル波長チャネルおよびミリメートル波長チャネルにわたる環境のＷｉ－Ｆｉカバレッジを提供するマルチバンドＷｉ－Ｆｉ送信のマルチチャネル情報に基づいて環境の状態を推定するためのシステム。この場合、システムは、少なくとも１つのプロセッサと、命令が格納されたメモリとを含み得るものであり、命令は、少なくとも１つのプロセッサによって実行されると、システムに、センチメートル波長チャネルの１つまたは複数の特性とミリメートル波長チャネルの１つまたは複数の特性とを含むマルチバンドＷｉ－Ｆｉ送信のマルチチャネル情報を受信することと、センチメートル波長チャネルの特性とミリメートル波長チャネルの特性とを共に使用して環境の状態を判断することと、環境の状態を、環境をサービスするタスクを実行するように構成されたサービスプロバイダにサブミットすることとを、実行させる。
【0023】
異なる実施形態は、マルチバンドＷｉ－Ｆｉ送信の異なるチャネルの同じまたは異なる特性を使用することができる。しかしながら、いくつかの実施形態は、ＷｉーＦｉカバレッジの必要性について推定された異なるＷｉ－Ｆｉチャネルの特性を再利用することが有利となり得る、という認識に基づいている。このようにして、状態推定は、Ｗｉ－Ｆｉカバレッジ動作に対する計算負荷を増加させることなく、既存の測定を再利用することができる。
【0024】
たとえば、センチメートル波長送信による各種Ｗｉ－Ｆｉデバイスは、Ｗｉ－Ｆｉカバレッジのためにそれらのチャネルのチャネル状態情報（ＣＳＩ）を推定する。これに対し、ミリメートル波長送信を使用する各種Ｗｉ－Ｆｉデバイスは、効果的なビームフォーミング送信のためにプローブされた空間ビームの信号対雑音比（ＳＮＲ）を推定する。いくつかの実施形態は、いずれにしてもＷｉ－Ｆｉカバレッジについて判断されたこの情報が、共同で利用される場合、環境の状態の推定の品質を改善するのに十分であるという、実験によって証明された認識に基づいている。
【0025】
特徴２：特徴１を有するシステムの追加の特徴として、環境の状態の共同推定に使用される特性は、センチメートル波長チャネルのチャネル状態情報（ＣＳＩ）と、異なる出発角度（ＡｏＤ）でミリメートル波長チャネルで送信される異なる空間ビームの信号対雑音比（ＳＮＲ）とを含み得る。
【0026】
異なる実施形態の原理を採用して環境の状態を推定するためのシステムは、異なる場所に配置することができる。たとえば、一実施形態において、システムは、マルチバンドＷｉ－Ｆｉ送信用に構成されたＷｉ－Ｆｉルータに統合される。この実施形態において、システムは、異なる周波数帯域でＷｉ－Ｆｉ信号を送信および受信するために１つまたは複数のアンテナに接続された１つまたは複数のＷｉ－Ｆｉトランシーバに接続され、および／またはＷｉ－Ｆｉ送信に基づいて異なるチャネルの特性を推定するように構成されたＷｉ－Ｆｉルータのさまざまな回路に接続される。この実施形態は、Ｗｉ－Ｆｉカバレッジの異なる機能を単一のデバイスに統合する。
【0027】
異なる機能を統合した単一のデバイスは、以下の特徴３によって表すことができる。
【0028】
特徴３：ルータの機能と、ワイヤレスアクセスポイントの機能と、インターネットまたはプライベートコンピュータネットワークへのアクセスを提供する機能とを含む機能のうちの１つまたは組み合わせを実行するように構成されたＷｉ－Ｆｉデバイス。この場合、ＷｉーＦｉデバイスは、１つまたは複数のアンテナに接続された１つまたは複数のＷｉ－Ｆｉトランシーバを含み得るものであり、センチメートル波長チャネルおよびミリメートル波長チャネルを含む異なる周波数帯域でＷｉ－Ｆｉ信号を送信および受信し、マルチバンドＷｉ－Ｆｉ送信を実行するために異なるチャネルの特性を推定し、さらに、マルチバンドＷｉ－Ｆｉ送信の異なるチャネルの特性を受信するためにＷｉ－Ｆｉトランシーバに作動的に接続された、特徴１を有するシステムを備える。
【0029】
異なる実施形態において、いくつかの実施形態の原理を採用するシステムは、Ｗｉ－Ｆｉカバレッジによってサービスされるデバイス、またはクラウドベースのサーバ等の環境の外部に位置するリモートデバイスに配置される。これらの実施形態に従って実装されるシステムは、チャネルの特性の推定から切り離される。これは、従来のルータを再利用することが望まれる場合、および／または複数のルータからチャネル情報を収集することが望まれる場合に、有利となり得る。これらの実施形態において、マルチバンドＷｉ－Ｆｉ送信の異なるチャネルの特性は、無線周波数（ＲＦ）通信チャネル等の無線通信チャネルを介して受信される。したがって、この特徴は以下の特徴４によって表すことができる。
【0030】
特徴４：特徴１を有するシステムは、ワイヤレス通信チャネルを介してマルチバンドＷｉ－Ｆｉ送信の異なるチャネルの特性を受信するように構成されたトランシーバをさらに含み得る。
【0031】
いくつかの実施形態は、環境の状態の推定を、さまざまな信号モデルを分析的に使用して異なるチャネルの受信された特性に対して実行することができる、という認識に基づいている。これに加えてまたはこれに代わるものとして、いくつかの実施形態は、環境の状態を、さまざまな機械学習技術を使用して学習することができる、という認識に基づいている。機械学習の実証されている効率に加えて、学習された状態推定器は、チャネルの特性だけでなく、特性から抽出された特徴に対しても機能することができる。チャネルの異なる種類およびチャネルの特性の異なる種類を考慮して、特徴からの環境の状態の共同推定は、異なる情報の統合および融合のためのより優れた可能性を提供する。
【0032】
特徴５：特徴１のシステムにおいて、環境の状態を推定するために、プロセッサは、複数のサブネットワークを含むニューラルネットワークを実行するように構成され、サブネットワークは、センチメートル波長チャネルの特性から特徴を抽出して第１の特徴を生成するように訓練された第１の特徴抽出サブネットワークと、ミリメートル波長チャネルの特性から特徴を抽出して第２の特徴を生成するように訓練された第２の特徴抽出サブネットワークと、第１の特徴と第２の特徴とを組み合わせてまたは融合して融合された特徴を生成するように訓練された融合サブネットワークと、融合された特徴から環境の状態を推定するように訓練された状態推定器サブネットワークとを含む。
【0033】
そのようなニューラルネットワークは、環境の状態の知識に基づいてオンラインまたはオフラインで訓練することができる。これに加えてまたはこれに代わるものとして、そのようなニューラルネットワークを、たとえばタスクの実行の状態に基づいて、タスク固有のやり方でエンドツーエンドで訓練することができる。この実施形態は、タスクの実行状態に関する訓練情報が環境の状態に関する訓練情報よりも入手し易い場合に有利となり得るので、タスクの実行状態を訓練目的に使用することができる。たとえば、タスクの実行がロボットを制御することである場合、ロボットの状態を、ロボット固有のさまざまなセンサによって測定し、訓練に使用することができる。加えて、そのようなタスク固有の訓練は、そのタスクに有益なチャネルの特性から特徴を抽出することを可能にする。この特徴は、以下の特徴６によって表すことができる。
【0034】
特徴６：特徴５を含むシステムにおいて、ニューラルネットワークは、状態推定器によって判断された環境の状態に基づいて環境をサービスするタスクを実行するように訓練されたタスク実行部サブネットワークをさらに含む。
【0035】
いくつかの実施形態は、システムが複数のタスクを実行して環境にサービスを提供するために環境の状態を推定する必要がある場合がある、という認識に基づいている。当然ながら、ニューラルネットワークが特定のタスクのために訓練される場合、システムによって異なるニューラルネットワークを異なるタスクのために訓練し所望のタスクに基づいて選択的に採用することができる。このアプローチは、特殊な訓練が望まれる場合に有益となり得る。しかしながら、いくつかの実施形態は、特徴抽出、融合、および状態推定を複数のタスクを考慮して実行することができる、という理解に基づいている。そのため、いくつかの実施形態は、状態推定部サブネットワークから環境の状態の推定を受信するように接続された複数のタスク実行部サブネットワークを有するマルチヘッドニューラルネットワークを使用する。各タスク実行部サブネットワークは、他のタスク実行部サブネットワークと共同で、特定のタスクのためにエンドツーエンドで訓練される。このようにして、ニューラルネットワークを、複数のタスクの実行に適した融合された特徴を抽出し、融合し、使用するように訓練する。このようなシステムは、以下の特徴７によって表すことができる。
【0036】
特徴７：特徴５を有するシステムにおいて、ニューラルネットワークは、マルチヘッドニューラルネットワークであり、異なるタスクの実行のために共同で訓練される複数のタスク実行部サブネットワークをさらに備え、各タスク実行部サブネットワークは、状態推定器によって判断された環境の状態に基づいて対応するタスクを実行するように訓練される。
【0037】
異なる実施形態において、融合サブネットワークは、異なる特徴を異なるやり方で融合するように、異なるように構築され配置される。たとえば、いくつかの実装形態において、融合サブネットワークは、センチメートル波長チャネルの第１の特徴とミリメートル波長チャネルの第２の特徴とを、後続の処理のテンソル、ベクトル、または行列になるように組み合わせる。異なる実装形態において、融合サブネットワークは、異なる特徴をより適切に融合するために複数の層を含む。たとえば、融合サブネットワークの異なる層のパターンは、融合された特徴の次元を低減するためにＵ字形を、またはより適切な融合を確実にするための砂時計形状を構成することができる。
【0038】
これに加えてまたはこれに代わるものとして、いくつかの実施形態は、環境の状態を推定するために使用される異なるマルチバンドチャネルの特性が、種類だけでなく分解能または粒度も異なり得る、という認識に基づいている。たとえば、複数の周波数帯域は、最大８０ＭＨｚ帯域幅の範囲の一組の周波数サブキャリアにわたる複素振幅の形態の細粒度チャネル測定値、１ＧＨｚ帯域幅の範囲の超粒度チャネル測定値、および６０ＧＨｚ動作周波数における中粒度チャネル測定を含み得る。
【0039】
収集された詳細のレベルにおけるそのような相違は、特徴抽出および／または融合プロセスに影響を及ぼし得る。たとえば、各種実施形態において、第１および第２の特徴抽出サブネットワークは、異なる分解能での特徴の連続抽出のために、同じまたは異なる数の複数の層を含む。たとえば、ある層がチャネルの特性の大域的特徴を抽出する場合、後続の層はより多くの局所的特徴を抽出する。しかしながら、分解能の違いにより、第１および第２の特徴抽出サブネットワークの異なる層は、同じまたは異なる分解能に対応することができ、そのような対応は、融合サブネットワークにとって有益となり得る。
【0040】
この問題に対処するために、いくつかの実施形態において、融合サブネットワークは、第１および第２の特徴抽出サブネットワークの異なる層から出力を受信し、より適切な融合のためにそれらを組み合わせる。たとえば、一実施形態において、融合サブネットワークは、第１の特徴抽出サブネットワークの各層の各出力を受信し、融合サブネットワークの他の層にわたる後続の処理のために、第２の特徴抽出サブネットワークの各層の各出力と組み合わせて、特徴の次元を反復的に低減する。このようにして、融合サブネットワークは、学習されたやり方で、分解能の変動を考慮することができる。
【0041】
特徴８：特徴５のシステムにおいて、融合サブネットワークは、第１の特徴抽出サブネットワークの各層の各出力を受信し、融合サブネットワークの他の層にわたる後続の処理のために第２の特徴抽出サブネットワークの各層の各出力と組み合わせて、組み合わせた出力の次元を反復的に減じる。
【0042】
これに加えてまたはこれに代わるものとして、いくつかの実施形態は、抽出および／または融合プロセス中に異なる特徴に異なるアテンションを向けることにより、異なるチャネルの粒度の差を、実際に受信した測定値に基づいて、共に考慮することができる、という認識に基づいている。具体的には、ニューラルネットワークという文脈において、アテンションは、認知的アテンションを模倣する技術である。この効果は、入力データの重要な部分を強化し残りをフェードアウトするが、この考えは、ネットワークが、データのその小さいが重要な部分に、より多くの計算能力を充てるべきであるというものである。データのどの部分が他の部分よりも重要であるかは、コンテキストに依存し、勾配降下による訓練データを通じて学習される。実装メカニズムの一例は、以下の特徴９によって表されるトランスフォーマアーキテクチャによるネットワークである。
【0043】
特徴９：特徴５を有するシステムにおいて、融合サブネットワークは、第１の特徴抽出サブネットワークの各層の各出力および第２の特徴抽出サブネットワークの各層の各出力を受信し、アテンションメカニズムを使用してすべての出力を融合する。
【0044】
特徴９によって表されるシステムは、以下の特徴１０によって表すことができる別の特徴を追加することにより、改善することができる。
【0045】
特徴１０：請求項９のシステムにおいて、アテンションメカニズムはトランスフォーマアーキテクチャを備えたモジュールを含む。
【0046】
いくつかの実施形態は、融合サブネットワークの出力は、最終目的ではなく、状態推定および／または特定のタスクを実行するための中間ステップである、という理解に基づいている。そのため、特徴抽出サブネットワークおよび融合サブネットワークを状態推定および／またはタスク実行サブネットワークとともに訓練することは、意味をなす。しかしながら、いくつかの状況において、後続のプロセスを使用することなく、特徴融合を別々に訓練することが有益となる場合がある。この状況の例は、訓練を実行するための環境の状態またはタスクの実行に関するラベル付けされたデータがない場合である。別の例は、融合された特徴が使用されるタスクに関する曖昧さがある場合であり、したがって、可能なさまざまなタスクについて融合を訓練することが望ましい可能性がある。
【0047】
いくつかの実施形態は、オートエンコーダが、教師なし方式で異なる粒度を有する異なる特徴のそのような効率的な融合を決定することができる、という認識に基づいている。オートエンコーダは、教師なし方式で効率的なデータ符号化を学習するために使用される人工ニューラルネットワークの一種である。オートエンコーダは、エンコーダおよびデコーダを含む。エンコーダは、元のデータ空間からの入力データを、数値のベクトルによって表される潜在空間に符号化する。言い換えると、エンコーダは、元のデータ空間における入力データと入力データの潜在空間表現との間のマッピングを提供する。デコーダは、潜在空間からの符号化を入力データの推定に復号する、すなわち、入力データを再構築する。ある実施形態において、入力データは、異なるチャネルの特性を含む多次元の場合がある。そのため、オートエンコーダは、教師なし方式で異なる特性の異なる分解能の関係を捉えることができる符号化データおよび復号データのための効率的な潜在空間を決定する。したがって、オートエンコーダの潜在空間は、所望の融合特徴を決定することができる。環境の状態の推定中、状態推定器サブネットワークは、後続の状態推定のために潜在空間の値を受信するように接続される。好都合なことに、オートエンコーダを、対象となる特定の環境に対してオフラインだけでなくオンラインでも訓練することができる。オートエンコーダは、特徴５を特徴１１として有するシステムによって表すことができる。
【0048】
特徴１１：特徴５を有するシステムにおいて、サブネットワークのうちの少なくともいくつかは、エンコーダとデコーダとを有するオートエンコーダアーキテクチャに基づいて訓練され、第１の特徴抽出サブネットワークおよび第２の特徴抽出サブネットワークは、オートエンコーダアーキテクチャにおけるエンコーダを形成し、融合サブネットワークは、復号に使用されるオートエンコーダアーキテクチャの潜在空間を形成する。
【0049】
特徴１１を有するシステムは、さらに改善することができ、以下の特徴１２または特徴１３によって表すことができる。
【0050】
特徴１２：特徴１１を有するシステムにおいて、オートエンコーダアーキテクチャを訓練するために使用されるデコーダは、ニューラルネットワークの実行中に切り離される。
【0051】
特徴１３：特徴１１を有するシステムにおいて、プロセッサは、ニューラルネットワークを訓練しニューラルネットワークを実行するように構成され、訓練中、プロセッサは、マルチバンドチャネルの特性を潜在空間に符号化しマルチバンドチャネルの特性を潜在空間から復号するようにエンコーダおよびデコーダを訓練し、実行中、プロセッサは、潜在空間の値を抽出し、抽出した値を状態推定器サブネットワークにサブミットする。
【0052】
さらに、特徴１のシステムは、改善することができ、特徴１４によって表すことができる。
【0053】
特徴１４：特徴１を有するシステムは、環境の状態を変更するタスクを実行するように構成されたサービスプロバイダをさらに備える。
【0054】
よって、さまざまな実施形態が、ＷＬＡＮセンシングのためのマルチバンドＷｉ－Ｆｉ信号からの結果／測定値を融合することを開示する。マルチバンドＷｉ－Ｆｉ融合は、無理のないオーバーヘッド、改善された精度、およびロバストネスのために、受信機およびプロセッサを感知する能力を高める。加えて、いくつかの実施形態は、異なるＷｉ－Ｆｉチャネル測定値間の粒度対応関係を考慮する学習ベースの融合を導入する。たとえば、融合された測定値は、未処理のＷｉ－Ｆｉチャネル測定値よりも大幅に小さな次元（潜在空間次元）を有し得る。顕著な性能改善を実験データセットで検証する。マルチバンドＷｉ－Ｆｉ融合は、特にＷＬＡＮセンシングデバイスの展開後に、広範なラベル付けされた訓練データの要件をさらに緩和することができる。
【0055】
このようにして、いくつかの実施形態は、ＷＬＡＮセンシングのためのセンシング測定値の一種として中粒度ビーム属性（たとえばビームＳＮＲ）を考慮する。これに加えてまたはこれに代わるものとして、いくつかの実施形態は、１ＧＨｚと７．１２５ＧＨｚとの間および４５ＧＨｚを上回るライセンス免除周波数帯域からのＣＳＩ、ビーム属性、ＲＳＳＩ等の２つ以上のＷｉ－Ｆｉチャネル測定値の間の融合されたマルチバンドＷｉ－Ｆｉ測定値を、ＷＬＡＮセンシングのための一種のセンシング測定値として考える。これに加えてまたはこれに代わるものとして、いくつかの実施形態は、センシングプロセッサにおける融合されたマルチバンドＷｉ－Ｆｉセンシング結果を、ＷＬＡＮセンシングのためのセンシング結果の一種とみなす。
【0056】
特徴１のシステムにおいて、１つ以上のセンシング受信機におけるセンチメートル波長チャネルおよびミリメートル波長チャネルの共同処理された特性が、環境の状態を決定するために、１つ以上のセンシングプロセッサに送信される。
【0057】
特徴１のシステムにおいて、センチメートル波長チャネルの特性およびミリメートル波長チャネルの特性は、環境の状態を判断するために、１つ以上のプロセッサに対する協調または非協調方式で、他のセンシング受信機と共有される。
【0058】
ここに開示される実施形態を添付の図面を参照しながらさらに説明する。示される図面は必ずしも正しい縮尺ではなく、一般的に、ここに開示される実施形態の原理の説明が代わりに強調される。
【図面の簡単な説明】
【0059】
【図1】本開示のある実施形態に係る、屋内環境において方法を実施するために使用されるいくつかの構成要素を示す概略図である。
【図2A】サブ６ＧＨｚ周波数帯域における粗粒度ＲＳＳＩおよび細粒度ＣＳＩ Ｗｉ－Ｆｉ測定を示す概略図であり、マルチパス伝搬を示す。
【図2B】本開示のいくつかの実施形態に係る、サブ６ＧＨｚ周波数帯域における粗粒度ＲＳＳＩおよび細粒度ＣＳＩ Ｗｉ－Ｆｉ測定を示す概略図であり、受信されたマルチパス信号を示す。
【図2C】サブ６ＧＨｚ周波数帯域における粗粒度ＲＳＳＩおよび細粒度ＣＳＩ Ｗｉ－Ｆｉ測定を示す概略図であり、ＲＳＳＩおよびＣＳＩ信号を示す。
【図2D】サブ６ＧＨｚ周波数帯域における粗粒度ＲＳＳＩおよび細粒度ＣＳＩ Ｗｉ－Ｆｉ測定を示す概略図であり、チャネルインパルス応答を示す。
【図2E】本開示のいくつかの実施形態に係る、サブ６ＧＨｚ周波数帯域における粗粒度ＲＳＳＩおよび細粒度ＣＳＩ Ｗｉ－Ｆｉ測定を示す概略図であり、サブキャリアにわたるチャネル伝達関数またはスペクトルプロファイルを示す。
【図3A】ミリ波周波数帯域、すなわち８０２．１１ａｄにおける６０ＧＨｚでの中粒度ビームＳＮＲ測定を示す概略図であり、マルチパス伝搬を示す。
【図3B】ミリ波周波数帯域、すなわち８０２．１１ａｄにおける６０ＧＨｚでの中粒度ビームＳＮＲ測定を示す概略図であり、受信されたマルチパス信号を示す。
【図3C】本開示のいくつかの実施形態に係る、ミリ波周波数帯域、すなわち８０２．１１ａｄにおける６０ＧＨｚでの中粒度ビームＳＮＲ測定を示す概略図であり、ビーム信号対雑音（ＳＮＲ）信号を示す。
【図4A】本開示のいくつかの実施形態に係る、タスク固有の入力融合によるマルチバンドＷｉ－Ｆｉセンシングを示す概略図である。
【図4B】本開示のいくつかの実施形態に係る、タスク固有の入力融合によるマルチバンドＷｉ－Ｆｉセンシングを示す概略図である。
【図4C】本開示のいくつかの実施形態に係る、タスク固有の入力融合によるマルチバンドＷｉ－Ｆｉセンシングを示す概略図である。
【図5A】本開示のいくつかの実施形態に係る、タスク固有の特徴融合によるマルチバンドＷｉ－Ｆｉセンシングを示す概略図である。
【図5B】本開示のいくつかの実施形態に係る、タスク固有の特徴融合によるマルチバンドＷｉ－Ｆｉセンシングを示す概略図である。
【図5C】本開示のいくつかの実施形態に係る、タスク固有の特徴融合によるマルチバンドＷｉ－Ｆｉセンシングを示す概略図である。
【図6A】本開示のいくつかの実施形態に係る、（オートエンコーダ内の）特徴抽出および多粒度マッチング／融合ブロックの教師なし訓練によるマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図6B】本開示のいくつかの実施形態に係る、（オートエンコーダ内の）特徴抽出および多粒度マッチング／融合ブロックの教師なし訓練によるマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図6C】本開示のいくつかの実施形態に係る、（オートエンコーダ内の）特徴抽出および多粒度マッチング／融合ブロックの教師なし訓練によるマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図6D】本開示のいくつかの実施形態に係る、（オートエンコーダ内の）特徴抽出および多粒度マッチング／融合ブロックの教師なし訓練によるマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図6E】本開示のいくつかの実施形態に係る、（オートエンコーダ内の）特徴抽出および多粒度マッチング／融合ブロックの教師なし訓練によるマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図7A】本開示のいくつかの実施形態に係る、タスク固有の転移学習（融合ブロックの微調整およびタスクヘッドの再訓練）によるマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図7B】本開示のいくつかの実施形態に係る、タスク固有転移学習（融合ブロックの微調整およびタスクヘッドの再訓練）を伴うマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図7C】本開示のいくつかの実施形態に係る、タスク固有転移学習（融合ブロックの微調整およびタスクヘッドの再訓練）を伴うマルチバンドＷｉ－Ｆｉ融合ネットワークを示す概略図である。
【図8】本開示のいくつかの実施形態に係る、粒度並べ替えによる教師なし特徴融合を示す概略図である。
【図9A】本開示のいくつかの実施形態に係る、本開示のいくつかの動作実施形態に使用し得る処理システムのいくつかの構成要素を示す図である。
【発明を実施するための形態】
【0060】
実施形態の説明
上記図面はここに開示される実施形態を提示するが、説明において示されるように他の実施形態も企図されている。本開示は、限定ではなく説明のために例示される実施形態を提示する。当業者は、ここに開示される実施形態の原理の範囲および精神に含まれる多数の他の変形例および実施形態に想到することが可能である。
上記図面はここに開示される実施形態を提示するが、説明において示されるように他の実施形態も企図されている。本開示は、限定ではなく説明のために例示される実施形態を提示する。当業者は、ここに開示される実施形態の原理の範囲および精神に含まれる多数の他の変形例および実施形態に想到することが可能である。
【0061】
本開示は、複数の周波数帯域からのＷｉ－Ｆｉ測定値を融合する、インフラストラクチャフリーの屋内および屋外監視を利用して、位置および環境依存のフィンガープリンティングデータベースのための特徴空間を構築する方法およびシステムに関する。これらのシステムおよび方法は、専用センサ（たとえばカメラ、Ｌｉｄａｒ、レーダー、超音波、赤外線）に頼ることなく屋内空間を監視するために使用することができ、デバイス搭載およびデバイスフリーの屋内監視の両方に使用することができる。さらに、これらのシステムおよび方法は、通信デバイスを用いるまたは用いない（デバイスフリー）静止および移動物体の屋内ローカリゼーション、人間の姿勢の認識、占有率センシング、人数計数、動きの認識などを含む用途に使用することができる。
【0062】
図１は、本開示のある実施形態に係る、屋内環境１００において方法を実施するために使用されるいくつかの構成要素を示す概略図である。たとえば、この方法は、サブ７ＧＨｚにおける細粒度ＣＳＩ測定値と６０ＧＨｚのミリ波帯域における中粒度ビームＳＮＲとの間のマルチバンドＷｉ－Ｆｉ融合のために構成された無線デバイス１ａ、１ｂ、１ｃを有するアーキテクチャを含み得る。屋内環境は、限定しない例として、キッチン、リビングエリア、バスルーム、玄関ホール、ベッドルームおよびバルコニーを有する住宅環境を含む。無線デバイス１ａは、リビングエリアと、バルコニーへの出口ドアの近くのキッチンとの間に配置される。無線デバイス１ｂは、ベッドルームからの出口ドアの近くの玄関ホールと、リビングエリアとの間に位置し、無線デバイス１ｃは、無線デバイス１ａおよび１ｂの範囲内の屋内空間の外側の、バルコニーの上に位置し、リビングエリアおよびキッチンに入るバルコニードアに位置する。デバイスの位置および高さは、屋内環境を十分にカバーする他のどこにあってもよく、可動キャリアまたは生きている人に非定常的に装着することができる。
【0063】
各無線デバイス１ａ、１ｂ、１ｃは、無線信号を送信および受信するためのアンテナを有する無線周波数回路と、Ｗｉ－Ｆｉネットワークを介してデータ通信を処理するためのコンピューティングプロセッサと、刺激可能なプログラムおよびＷｉ－Ｆｉデータを保持するためのデータストレージとを含む、いくつかの構成要素を含み得る。これらの無線デバイスは、無線リンクまたは有線リンクを介して互いに通信することができる。無線デバイスのうちのいくつかは、アクセスポイント（ＡＰ）として機能して、他の無線デバイスがローカルエリアネットワークにおいて無線接続するためのカバレッジを提供する。いくつかのＡＰはさらに、ローカルエリアを超えたワイドエリアネットワークおよびクラウドネットワークに接続し得る。
【0064】
引続き図１を参照すると、スマートデバイスおよび機器が図１に組み込まれており、たとえば、デバイス＃１はキッチンのダイニングテーブルの近くに位置するスマートＴＶである。デバイス＃２は、スマートキッチンデバイスである、すなわち、少なくとも１つの冷蔵庫、ラジオ、調理器具、ファン、清掃デバイスなどの可能性がある。デバイス＃３は、バスルームに位置するスマート洗濯機および乾燥機であり、デバイス＃４は、玄関ホールに位置するスマート照明デバイスであり、デバイス＃５は、ベッドルームに位置するスマートコンピュータおよびＴＶであり、デバイス＃６は、リビングエリアに位置するスマートステレオであり、デバイス＃７は、バルコニーに位置するスマート暖房および冷房デバイスである。デバイス＃１～＃７のいずれも、ＡＰと無線接続することが可能な任意のタイプのスマートデバイスの可能性があることが、企図されている。
【0065】
本システムおよび方法は、通信デバイスを備えたまたは備えていない静止物体および移動物体（すなわちデバイス搭載およびデバイスフリーの周囲物）の位置、姿勢、状態、高さ、動き、向き、および挙動の屋内および屋外監視を含む、多くの異なる種類の用途に使用することができる。本開示の実施形態が実施するように構成された異なる種類の用途のうちのいくつかを強調する方法として、人物がいくつかの可能な用途を表すために図１に配置されている。
ａ．各人物Ｐ１～Ｐ５によって説明される実際の用途の種類
ａ．各人物Ｐ１～Ｐ５によって説明される実際の用途の種類
【0066】
「２４時間セキュリティ監視」用途
第１の人物Ｐ１は、バルコニーから屋内空間に侵入する侵入者を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介してセキュリティ監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、屋内空間で居住しているユーザのパターンを監視し、以前に決定されたアラーム起動しきい値に基づいて、すなわちユーザが通常は眠っている真夜中に、バルコニーから侵入者Ｐ１が侵入しようとしていることに基づいて、玄関ホールに位置するアラームを起動するように構成することができる。
第１の人物Ｐ１は、バルコニーから屋内空間に侵入する侵入者を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介してセキュリティ監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、屋内空間で居住しているユーザのパターンを監視し、以前に決定されたアラーム起動しきい値に基づいて、すなわちユーザが通常は眠っている真夜中に、バルコニーから侵入者Ｐ１が侵入しようとしていることに基づいて、玄関ホールに位置するアラームを起動するように構成することができる。
【0067】
侵入者は、既存のデータセットに登録されていない異なるＷｉ－Ｆｉシグネチャを生成する場合がある。このシグネチャが検出されると、ＷＬＡＮセンシングシステムは警告をシステム所有者に与えることができる。
【0068】
「屋内ローカリゼーション監視」用途
第２の人物Ｐ２は、リビングエリアからキッチンに向かって歩いている人物を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介して屋内ローカリゼーション監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、屋内空間で居住しているユーザアクティビティＰ２に対応するユーザＰ２のパターンを監視し、以前の予め定められたデバイス起動しきい値に対応する特定のスマートデバイスまたは機器を起動するように構成することができる、すなわち、ユーザＰ２は常に特定の期間の間に、すなわち５：３０ｐｍから６：３０ｐｍの間に、リビングエリア内の同じ椅子から立ち上がりスマートブレンダーを用いてシェイクを作る。ＷＬＡＮセンシングは、ユーザの動きおよび位置を検出することができる。能動エネルギー管理システムは、エネルギーを節約するためにこの情報を活用することができる。
第２の人物Ｐ２は、リビングエリアからキッチンに向かって歩いている人物を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介して屋内ローカリゼーション監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、屋内空間で居住しているユーザアクティビティＰ２に対応するユーザＰ２のパターンを監視し、以前の予め定められたデバイス起動しきい値に対応する特定のスマートデバイスまたは機器を起動するように構成することができる、すなわち、ユーザＰ２は常に特定の期間の間に、すなわち５：３０ｐｍから６：３０ｐｍの間に、リビングエリア内の同じ椅子から立ち上がりスマートブレンダーを用いてシェイクを作る。ＷＬＡＮセンシングは、ユーザの動きおよび位置を検出することができる。能動エネルギー管理システムは、エネルギーを節約するためにこの情報を活用することができる。
【0069】
「姿勢認識監視」用途
第３の人物Ｐ３は、キッチンで歩いている人物である。本開示のいくつかの実施形態は、無線デバイス１ａ、１ｂ、１ｃを介して屋内姿勢認識監視システムとして動作するように構成される。たとえば、無線デバイス１ａ、１ｂ、１ｃは、屋内空間で居住している予め定められたＰ３の姿勢に対応するＰ３の姿勢を監視するように構成することができる。本開示のシステムおよび方法が、Ｐ３の姿勢を監視し、以前に決定されたＰ３姿勢しきい値に対応する特定のスマートデバイスまたは機器を起動することができるように、予め定められたＰ３の姿勢を予め定められたＰ３のアクティビティに関連付けることもできる。さらに、Ｐ３健康緊急姿勢が検出されその後予め定められたＰ３健康緊急姿勢データベースを介して確認されると、Ｐ３健康緊急姿勢を予め定められた健康緊急Ｐ３姿勢イベントしきい値と比較することが可能である。次に、確認された予め定められたＰ３健康姿勢がしきい値を超えたことに基づいて、Ｐ３健康緊急事態の所定のプロトコルが起動され、そのような動作は、Ｐ３の健康緊急事態の所定のプロトコルに基づいて医療関係者に警告することを含み得る。たとえば、Ｐ３は、てんかん等の医学的状態を有し得、予期しないてんかんエピソード事象時に、本開示のシステムおよび方法は、２４時間の監視を提供し、エピソードを検出することができ、ならびに医学的個人がステーションを離れる前に、Ｐ３の医学的状態、医薬品、以前の状態、アレルギー等のすべてを医学的個人に警告することができる。
第３の人物Ｐ３は、キッチンで歩いている人物である。本開示のいくつかの実施形態は、無線デバイス１ａ、１ｂ、１ｃを介して屋内姿勢認識監視システムとして動作するように構成される。たとえば、無線デバイス１ａ、１ｂ、１ｃは、屋内空間で居住している予め定められたＰ３の姿勢に対応するＰ３の姿勢を監視するように構成することができる。本開示のシステムおよび方法が、Ｐ３の姿勢を監視し、以前に決定されたＰ３姿勢しきい値に対応する特定のスマートデバイスまたは機器を起動することができるように、予め定められたＰ３の姿勢を予め定められたＰ３のアクティビティに関連付けることもできる。さらに、Ｐ３健康緊急姿勢が検出されその後予め定められたＰ３健康緊急姿勢データベースを介して確認されると、Ｐ３健康緊急姿勢を予め定められた健康緊急Ｐ３姿勢イベントしきい値と比較することが可能である。次に、確認された予め定められたＰ３健康姿勢がしきい値を超えたことに基づいて、Ｐ３健康緊急事態の所定のプロトコルが起動され、そのような動作は、Ｐ３の健康緊急事態の所定のプロトコルに基づいて医療関係者に警告することを含み得る。たとえば、Ｐ３は、てんかん等の医学的状態を有し得、予期しないてんかんエピソード事象時に、本開示のシステムおよび方法は、２４時間の監視を提供し、エピソードを検出することができ、ならびに医学的個人がステーションを離れる前に、Ｐ３の医学的状態、医薬品、以前の状態、アレルギー等のすべてを医学的個人に警告することができる。
【0070】
「２４時間高齢者ケア監視」用途
第４の人物Ｐ４は、バスルームで転倒した人物Ｐ４を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介して屋内２４時間高齢者ケア監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、屋内空間の各エリアにおけるＰ４の動きおよび対応する予め定められたＰ４の動きのパターンを監視するように構成することができる。ここで、Ｐ４の各動きを、Ｐ４の予め定められたＰ４アクティビティに対応する予め定められたＰ４の動きに対して意識的に照合してもよい。そうすると、本開示のシステムおよび方法は、Ｐ４の動きを監視し、以前に決定されたＰ４の動きのしきい値に対応する特定のスマートデバイスまたは機器を起動することができる。加えて、本開示のシステムおよび方法は、Ｐ４の動きを監視し、以前に決定されたＰ４の動きのしきい値に対応しないＰ４健康プロトコルを起動することができる。たとえば、Ｐ４がバスルームで転倒しある期間にわたって無意識のまま放置された場合、Ｐ４がバスルームの床の上で横たわっているという予め定められた動きが、予め定められたＰ４の動きイベントしきい値または期間しきい値を上回ったことが確認される場合がある。そうすると、しきい値を超えたことが確認されると予め定められたＰ４医療プロトコルを開始することができ、医療プロトコルアクションが開始される。
第４の人物Ｐ４は、バスルームで転倒した人物Ｐ４を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介して屋内２４時間高齢者ケア監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、屋内空間の各エリアにおけるＰ４の動きおよび対応する予め定められたＰ４の動きのパターンを監視するように構成することができる。ここで、Ｐ４の各動きを、Ｐ４の予め定められたＰ４アクティビティに対応する予め定められたＰ４の動きに対して意識的に照合してもよい。そうすると、本開示のシステムおよび方法は、Ｐ４の動きを監視し、以前に決定されたＰ４の動きのしきい値に対応する特定のスマートデバイスまたは機器を起動することができる。加えて、本開示のシステムおよび方法は、Ｐ４の動きを監視し、以前に決定されたＰ４の動きのしきい値に対応しないＰ４健康プロトコルを起動することができる。たとえば、Ｐ４がバスルームで転倒しある期間にわたって無意識のまま放置された場合、Ｐ４がバスルームの床の上で横たわっているという予め定められた動きが、予め定められたＰ４の動きイベントしきい値または期間しきい値を上回ったことが確認される場合がある。そうすると、しきい値を超えたことが確認されると予め定められたＰ４医療プロトコルを開始することができ、医療プロトコルアクションが開始される。
【0071】
「占有率監視」用途
第５の人物Ｐ５は、ベッドルームから玄関ホールに向かって歩いている人物Ｐ５を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介して屋内占有率監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、Ｐ５の動きと、Ｐ５を含む屋内空間内のすべてのユーザの動きの対応する予め定められたパターンとを監視するように構成することができる。ここで、屋内空間の総占有率を、期間ごとに、予め定められた総占有率パターンに対して連続的に照合することができる。したがって、本開示のシステムおよび方法は、各期間ごとに総占有率を監視し、以前に決定された占有率しきい値に対応する、暖房および冷房システム、スマートデバイス、すなわちファンを、起動することができる。加えて、本開示のシステムおよび方法は、屋内空間の占有率を監視し、特定の期間、屋外検出イベント、屋内空間イベントなどに応じて、以前に決定された占有率しきい値に基づいて占有率プロトコルを起動することができる。
第５の人物Ｐ５は、ベッドルームから玄関ホールに向かって歩いている人物Ｐ５を表す。本開示のいくつかの実施形態は、デバイス１ａ、１ｂ、１ｃを介して屋内占有率監視システムとして動作するように構成される。たとえば、デバイス１ａ、１ｂ、１ｃは、Ｐ５の動きと、Ｐ５を含む屋内空間内のすべてのユーザの動きの対応する予め定められたパターンとを監視するように構成することができる。ここで、屋内空間の総占有率を、期間ごとに、予め定められた総占有率パターンに対して連続的に照合することができる。したがって、本開示のシステムおよび方法は、各期間ごとに総占有率を監視し、以前に決定された占有率しきい値に対応する、暖房および冷房システム、スマートデバイス、すなわちファンを、起動することができる。加えて、本開示のシステムおよび方法は、屋内空間の占有率を監視し、特定の期間、屋外検出イベント、屋内空間イベントなどに応じて、以前に決定された占有率しきい値に基づいて占有率プロトコルを起動することができる。
【0072】
本開示の他の実施形態を構成することができる、通信デバイスを伴うまたは伴わない（デバイスフリー）静止および移動物体のいくつかの他の屋内ローカリゼーションの実際の用途は、非限定的な例として、（Ａ）病院、倉庫、ショッピングモール、工場、ロボット監視、駐車場監視、船舶監視、企業キャンパス監視などにおける物体の位置特定のような、正確な屋内ローカリゼーションを必要とする、屋内ローカリゼーション産業用途と、（Ｂ）屋内駐車支援、近接検出、屋内ナビゲーション、警告用途、ホームエンターテイメント用途、リビングアシスタント生活、子供の追跡、デバイス＆機器動作、健康警告関連検出などを含む、ユーザのための屋内ローカリゼーション用途とを、含む。
【0073】
フィンガープリンティング段階
【0074】
図１は、デバイス１ａ、１ｂ、１ｃが屋内空間においてミリ波通信カバレッジを提供できる場所を示す。それらの位置および向きはフィンガープリンティングと実際のローカリゼーションとの間で変化しないと仮定する。フィンガープリンティングは、各フィンガープリント位置３１１、３１２、３１３、３１４、３１５、３１６ごとの、（１）で説明した測定値と、各位置における可能な向きとを記録することで構成されてもよく、向きは、何らかの予め定められた基準フレーム３２０に対して定められる。
【0075】
デバイスの状態は、各デバイスに関連付けられた挙動の種類（ユーザを各デバイスに関連付けることができる）、各環境における各デバイスの位置および姿勢を含み得る。たとえば、各デバイスをユーザに関連付けることができ、ユーザは、ロボット、人間、コンピュータ、コンピュータのようなデバイス、または人間に適合可能な電子デバイスのうちの１つである。ここで、各デバイスに関連付けられるいくつかの種類の挙動は、非限定的な例として以下を含み得る。（１）環境内でデバイスを保持している特定のユーザの位置および姿勢。（２）デバイスは、人物に装着されていてもよく、埋め込まれていてもよく、または人物の何らかの一部であってもよく、すなわち、インプラント、補装具の部品などであってもよく、そうすると、デバイスを有する人物の位置および姿勢が得られる。（３）デバイスは、製造、病院、組立ライン、輸送システム、製品輸送を含む、環境、すなわち商業またはビジネス環境において、静的または動的であるコンピュータデバイスであってもよい、すなわち、コンピュータデバイスは、追跡／監視ネットワークなどの一部であってもよい。（４）デバイスは、手首デバイスの一部、または人物が着用する他の何らかの種類のデバイスまたは衣服等の、人間に適合可能なものであってもよい。
【0076】
環境の状態は、各環境における物理的な物体の位置および周囲のユーザの挙動の種類を含み得る。各環境における物理的な物体の位置は、特定の種類の環境において見出される物体を含み得る。非限定的な例として以下を挙げる。（１）オフィス環境において、物体は、家具、柱、扉、機械類、ロボットなどを含み得る。（２）産業または製造環境において、物体は、環境内で静的または動的のいずれかである任意の構成要素を含み得る。先に述べたように、ユーザは、ロボット、人間、コンピュータ、コンピュータのようなデバイス、または人間に適合可能な電子デバイスのうちの１つであってもよい。ここで、非限定的な例として、周囲のユーザの挙動の種類は、以下を含み得る。（１）ロボット、すなわち、動く構成要素を有する静的ロボット、または環境内で動く動的ロボット。（２）環境内で動く人間または一群の人間。（３）コンピュータが、環境内で移動する動的デバイスに関連付けられてもよい。（４）環境に、すなわち商用、ビジネス用または住宅用の環境に位置する、移動する構成要素を有する静的デバイス、モバイルデバイス、人間などに適合可能な、電子デバイス。
ＲＳＳＩ：受信信号強度インジケータ
ＲＳＳＩ：受信信号強度インジケータ
【0077】
図２Ａおよび図２Ｂは、サブ６ＧＨｚ周波数帯域のＷｉ－Ｆｉ信号のマルチパス伝搬を示す概略図である。本開示のいくつかの実施形態に従い、図２Ａはマルチパス伝搬を示し、図２Ｂは受信マルチパス信号を示す。図２Ａは、直接ＬＯＳ経路（ｉ＝１）、２つの反射経路（ｉ＝２およびｉ＝３）、および全方向送信機（Ｔｘ）から全方向受信機（Ｒｘ）への１つの貫通経路（ｉ＝４）を含む、マルチパス伝搬を示す。
【0078】
【0079】
図２Ｃ、図２Ｄおよび図２Ｅは、サブ６ＧＨｚ周波数帯域における粗粒度ＲＳＳＩおよび細粒度ＣＳＩ Ｗｉ－Ｆｉ測定値を示す概略図である。図２Ｃは、図２Ｂの信号から計算されたＲＳＳＩ信号を示す。これは、追加のアンテナ利得を有する総信号電力を反映する。本開示のいくつかの実施形態に従い、図２Ｄは、対応する経路利得を有するすべての伝搬経路（ｉ＝１，２，３，４）の遅延プロファイルを示すチャネルインパルス応答を示し、図２Ｅは、図２Ｄにおけるチャネルインパルス応答の周波数スペクトルとして理解することができる一組の周波数サブキャリアにわたる複素振幅の形態のチャネル周波数応答を示す。
【0080】
【数1】
【0081】
初期のＷｉＦｉベースの屋内ローカリゼーションシステムは、ＲＳＳＩ測定値を使用して、屋内位置を直接ローカリゼーション方式で推定していた。フィンガープリンティングベースの方法の場合、ＲＳＳＩは、８０２．１１ａｃ準拠デバイスおよび８０２．１１ｎ準拠デバイスへの容易なアクセスのため、Ｒａｄａｒ、Ｃｏｍｐａｓｓ、およびＨｏｒｕｓ等のシステムにおいてフィンガープリンティングデータとして直接使用されていた。
【0082】
ｋ近傍法（ｋＮＮ）およびサポートベクターマシン（ＳＶＭ）等の機械学習法が、ＲＳＳＩフィンガープリンティング測定に適用された。確率的ベイズ法は、テストおよびフィンガープリントされたＲＳＳＩ測定値間の類似性を測定することができる。ガウスおよび対数正規分布等のパラメトリック統計分布を使用する代わりに、ＲＳＳＩ測定値に適用されるノンパラメトリックカーネル法を使用して、ＲＳＳＩ測定値の統計分布を抽出することにより、テスト測定値の尤度を推測することができる。判別適応ニューラルネットワーク、ロバストで極端な学習マシン、および多層ニューラルネットワーク等の、機械学習フレームワークを活用して、ＲＳＳＩフィンガープリンティングベースの屋内ローカリゼーション法は、機械学習の手法よりも改善されたローカリゼーション性能を示した。提案された手法は、軌道情報を利用するためにＲＳＳＩ測定値に再帰型ニューラルネットワーク（ＲＮＮ）を適用することを考慮した。場合によってはニューラルネットワークがディープニューラルネットワークと呼ばれる場合がある。
【0083】
それでもなお、マルチパス電圧の重畳として、ＲＳＳＩ測定値は、所与の位置において経時的に変動する。すなわち、特定のマルチパス成分のわずかな変化は、遅延した信号の建設的または破壊的な相対位相に寄与し、その結果、ＲＳＳＩのかなりの変動につながる。加えて、所与の時間において、ＲＳＳＩは、通常は粗粒度チャネル測定値と呼ばれるスカラー測定値のみである。
ＣＳＩ：チャネル状態情報
ＣＳＩ：チャネル状態情報
【0084】
【数2】
【0085】
【数3】
【0086】
粗粒度のＲＳＳＩと比較して、ＣＳＩは、時間または周波数ドメインにおいてマルチパスを分解するより適した機能を備えた細粒度チャネル測定を提供する。時間変動の影響も受けるが、ＣＳＩは、スカラーＲＳＳＩと比較して、一組の複素数値ランダム変数（すなわちマルチパス成分）を提供し、これは、マルチパス成分の単純な合計である。それにもかかわらず、ＣＳＩによって提供されるより豊富な情報は、ロバストなタスク固有であるが環境不変の特徴を導出するために慎重に活用される必要がある。
【0087】
既製のＷｉ－Ｆｉデバイス、たとえば、Ｉｎｔｅｌ（登録商標） Ｗｉ－Ｆｉ Ｌｉｎｋ ５３００無線機、Ａｔｈｅｒｏｓ ８０２．１１ｈチップセット、およびＣｙｐｒｅｓｓ ８０２．１１ａｃチップセットからのＣＳＩ抽出は、サブ６ＧＨｚ（すなわち、２．４および５ＧＨｚ帯域）で最大８０ＭＨｚの帯域幅にわたりＣＳＩへのアクセスを可能にし、学習ベースの特徴抽出およびワイヤレスセンシング用途を促した。例として、畳み込みニューラルネットワーク（ＣＮＮ）は、３つのアンテナからのＣＳＩ測定値を訓練して、位置を分類し分類されたカテゴリ後方に等しい重みを有する位置座標を推定するために、使用されてきた。複数の時点にわたるフィンガープリントされた完全なＣＳＩが、それらの位相を較正し、１つの位置に対して１つのオートエンコーダを適合させた。未知の位置は、オートエンコーダの再構成誤差から計算された重みを有する、フィンガープリントされた位置の重心として、推定された。上記の分類第１の位置特定方法に加えて、ＣＳＩ測定が、回帰問題を定式化することによって座標推定を提供するために、直接訓練された。同様に、サブ６ＧＨｚ ＣＳＩは、デバイスフリーのローカリゼーション、アクティビティ認識、転倒検出、個人識別、感情感知、および骨格追跡等の人間感知タスクのために利用されている。カメラ画像からのいくつかの態様を使用して、３つの送信アンテナおよび３つの受信アンテナからの３０サブキャリアおよび５フレームにわたり、細粒度ＣＳＩ測定値を訓練した。クロスモーダル深層学習方式、感知用途のための市販のＷｉＦｉ信号の可能性を示した。
【0088】
帯域幅の増加に伴い、ＣＳＩのより強力な機能は、時間ドメインおよび周波数ドメインにおけるマルチパス成分を区別する。ミリ波帯域（たとえば５Ｇ通信では２８ＧＨｚ、ＩＥＥＥ８０２．１１ａｄおよび８０２．１５．３ｃでは６０ＧＨｚ）で、専用ミリ波プラットフォームのコスト、またはＣＯＴＳミリ波ＷｉＦｉデバイスからのＣＳＩ測定値へのアクセスが原因で、フィンガープリンティングのためのＣＳＩ測定値の使用は、はるかに少なく報告された。
（ミリ波）ビーム属性：ビームＳＮＲ
（ミリ波）ビーム属性：ビームＳＮＲ
【0089】
図３Ａ、図３Ｂおよび図３Ｃは、本開示のいくつかの実施形態に係る、ミリ波周波数帯域、すなわち、８０２．１１ａｄの６０ＧＨｚにおける中粒度ビーム測定値を示す概略図であり、図３Ａはマルチパス伝搬を示し、図３Ｂは受信マルチパス信号を示し、図３Ｃはビーム測定値をビーム信号対雑音比（ＳＮＲ）の形態で示す。
【0090】
ＣＯＴＳデバイスからアクセス不能であり巨大なオーバーヘッドを導入する可能性がある超粒度ミリ波ＣＳＩの代わりに、ビーム訓練（ビームアライメントとも呼ばれる）段階から生成された測定値は、ビーム角度ドメインにおいて明確な中粒度のＷｉ－Ｆｉ測定値を提供する。
【0091】
ビーム訓練段階の間、ミリ波帯域における大きな経路損失を補償するために、指向性プロービングビームパターンを使用して、後続のデータ通信のための所望の方向を決定する。各プローブビームパターン（ビームセクタとも呼ばれる）ごとに、ビームＳＮＲが計算され、ビーム品質の尺度として８０２．１１ａｄデバイスによって収集される。そのようなビーム訓練は、その後周期的に繰り返され、ビームセクタは環境変化に適合するように更新される。
【0092】
【数4】
【0093】
図３Ａは、指向性ビームパターン３５を使用して空間領域を探査する送信側と、リスニングモード（たとえばいわゆる準無指向性ビームパターン３６）の受信側との間のＩ＝２経路の例を示し、図３Ｃは、対応するビームＳＮＲ３０１～３０４を計算するために送信側で使用されるいくつかの予め定められたビームパターン３００を示す。ＴＵ Ｄａｒｍｓｔａｄｔのチャンバ内のＡＤ７２００ルータについて、これらのビームパターン３００を測定した。なお、測定したこれらのビームパターンは、ハードウェアの欠陥および６０ＧＨｚの筐体が原因で、かなり不規則な形状を示している。
【0094】
図２Ａを図３Ａと比較することにより、いくつかの観察を行うことができる。第１に、マルチパス伝搬は、６０ＧＨｚ帯域（すなわち２つの経路）よりもサブ６ＧＨｚ帯域（すなわち４つの経路）の方が豊かである。第２に、図２Ａの貫通経路（点線で示される）は、そのはるかに短い波長と障害物（たとえば壁）を貫通する能力の低さが原因で、６０ＧＨｚリンクでは存続しない。第３に、ミリ波のＷｉ－Ｆｉデバイスは、高指向性のビームパターンを可能にするフェーズドアレイを備えるのに対し、サブ６ＧＨｚのＷｉ－Ｆｉデバイスのアンテナ素子は、たいてい全方向性モードである。サブ６ＧＨｚの複数のアンテナ素子をビーム形成に使用することができるが、ビームパターンは、アンテナの数が少ないことおよび素子間の間隔が比較的大きいことに起因して、ミリ波Ｗｉ－Ｆｉデバイスよりも指向性が低い。
マルチバンドＷｉ－Ｆｉ融合
マルチバンドＷｉ－Ｆｉ融合
【0095】
【0096】
【0097】
サブ６ＧＨｚにおける細粒度ＣＳＩ測定値４２０と６０ＧＨｚのミリ波帯域における中粒度ビームＳＮＲ４３０との間の提案されているマルチバンドＷｉ－Ｆｉ融合が導入される。ＣＳＩ測定値はさらに、（縦軸に沿った）複数の空間ストリームからの、および複数のパケットにわたる、ＣＦＲ測定値からなる。ストリームインデックスは、１つの送信アンテナと１つの受信アンテナのペアを表す。たとえば、４つの送信アンテナおよび３つの受信アンテナの場合、１２個のペアまたは１２個のストリームインデックスを有することができる。各空間ストリームごとに、ＣＦＲのフォーマットのＣＳＩ測定を得ることができる。図４Ａにおいて、ある時間（またはパケット）におけるＣＳＩ測定は、サブキャリアおよびストリームインデックスにわたる２次元ＣＳＩ画像である。一方、ビームＳＮＲ４３０は、一度の１次元ベクトルまたはパケットである。
【0098】
上記セクションで説明したように、これらの２つのＷｉ－Ｆｉチャネル測定値は、スカラー粗粒度ＲＳＳＩと比較して、はるかに豊かな特徴を提供し、これらの特徴は、１）周波数サブキャリア対空間ビームセクタ、および、２）長距離にわたる高い環境感受性対短距離にわたる相対的に中程度の環境感受性、という、互いに相補的なものである。
【0099】
オフラインフィンガープリンティングステップ、正規化、ノイズ除去、およびデータ増強を含む前処理ステップ、その後のタスク特有のマルチバンドＷｉ－Ｆｉ融合アプローチ、および最後の粒度置換を伴う教師なしＷｉ－Ｆｉ融合が、導入される。
【0100】
オフライン訓練データセット：ラベル付きおよびラベルなし
【0101】
【数5】
【0102】
単純ではあるが、オフラインフィンガープリンティング段階は、時間および人手を要する。データをラベル付けするためには、両方のチャネル測定値を、姿勢ジェスチャ、占有パターン、またはユーザの位置の形態の、グラウンドトルースラベルに関連付ける必要がある。この問題は、クラスの数が多い場合に訓練データセットを構築する必要があるときには深刻である。さらに悪いことに、Ｗｉ－Ｆｉセンシングシステムが展開されるとき、Ｗｉ－Ｆｉデバイスはなおも環境を収集またはリッスンし両方のＷｉ－Ｆｉチャネル測定値にアクセスすることができるが、グラウンドトルース情報はアクセスするのが困難である。このため、訓練データを、２つのサブケースである、１）ラベル付き、および２）ラベルなしに、分割する。ラベル付きデータの場合、ラベルクラスｌが、Ｃｒ（ｌ）およびｈｒ（ｌ）の両方に自動的に添付される。他方、Ｃｒおよびｈｒ（ｒ＞Ｒ）をラベルなし訓練データとして表した。
【0103】
タスク固有の入力融合
【0104】
未知の場所からの新たな測定値が利用可能であるとき、関心のある問題は、クラスラベルを識別することである。先ず、入力または後の特徴レベルで２種類の測定値を連結することにより、深層学習ベースのフィンガープリンティングＷｉ－Ｆｉセンシングの２つの直接的な拡張を導入する。
【0105】
【数6】
【0106】
【数7】
【0107】
【数8】
【0108】
タスク固有の特徴の融合
【0109】
【数9】
【0110】
【数10】
【0111】
【数11】
【0112】
次に、融合された特徴マップｆは、出力ブロック５５０、すなわち、（９）に与えられ、入力ｚ０＝ｆで出力ベクトルｕを生成する。タスク固有の入力融合と同様に、図５Ａ～図５Ｃの特徴融合ネットワークは、個々のセンシングタスク、すなわち、屋内ローカリゼーション、姿勢認識、および占有率センシングのために、グラウンドトルースデータを含む対応するラベル付き訓練データを用いて、最初から訓練される必要がある。そのため、タスク固有特徴融合として図５Ａ～図５Ｃを参照する。
【0113】
粒度置換を伴う教師なしマルチバンド融合
【0114】
図６Ａ、図６Ｂ、図６Ｃ、図６Ｄおよび図６Ｅは、本開示のいくつかの実施形態に係る、特徴抽出の教師なし訓練によるマルチバンドＷｉ－Ｆｉ融合ネットワークおよび多粒度マッチング／融合ブロック（オートエンコーダ内）を示す概略図である。
【0115】
【0116】
上記入力融合および特徴融合方法に関連するいくつかの問題がある。先に述べたように、大規模なラベル付けされた訓練データを収集することは、時間および人手を要する。クラウドソーシングは、必要とされるリソースを緩和することができる、グラウンドトルースラベル（たとえば、ユーザの位置および向き）へのアクセスは、プライバシーの問題のために依然として制限されている場合がある。他方、ラベル付けされていない訓練データは、Ｗｉ－Ｆｉデバイスが常にアクティビティを「リッスン」しＣＳＩおよびビームＳＮＲ測定値の両方を収集することができるので、入手するのが比較的容易である。ラベル付けされていないデータセットをより適切に利用するために、これは、ＣＳＩとビームＳＮＲとの間の融合ネットワークを訓練するために従来の教師あり融合とは対照的な教師なし学習アプローチを考慮することを動機付ける。
【0117】
さらに、ＣＳＩおよびビームＳＮＲは、異なる特徴粒度を有する２つの別個のチャネル測定値である。畳み込みニューラルネットワークを使用して特徴マップを抽出する場合、同じ層の特徴マップが同じまたは同様の特徴粒度を示す保証はない。代わりに、後の畳み込み層におけるＣＳＩ特徴マップが、より早い層におけるビームＳＮＲ特徴マップとより適切に整合し得る可能性が高い、というのも、ＣＳＩは、Ｗｉ－Ｆｉチャネルおよび周囲環境上でより細かい粒度を有することがわかっているからである。このため、異なる層からのＣＳＩおよびビームＳＮＲ特徴マップを並べ替えて、整合された粒度を有するより適切なマルチバンドＷｉ－Ｆｉ融合を実現することを提案する。
【0118】
【0119】
エンコーダ
エンコーダ側では、２つの別々の畳み込みネットワークを使用して、ＣＳＩのみおよびビームＳＮＲのみの測定値のための特徴マップを符号化する。
エンコーダ側では、２つの別々の畳み込みネットワークを使用して、ＣＳＩのみおよびビームＳＮＲのみの測定値のための特徴マップを符号化する。
【0120】
【数12】
【0121】
【数13】
【0122】
【数14】
【0123】
【数15】
【0124】
図８は、本開示のいくつかの実施形態に係る、粒度置換を伴う特徴融合を示す概略図である。
マルチタスクＷｉ－Ｆｉセンシングのための転移学習
マルチタスクＷｉ－Ｆｉセンシングのための転移学習
【0125】
図６Ａ～図６Ｅにおける粒度置換を考慮する予め訓練された融合オートエンコーダを用いて、図７Ａ～図７Ｃに示すように転移学習を使用してエンコーダパラメータをフリーズさせ、デコーダブロック６００を除去し、出力分類ブロック７５０を付与することを提案する。
【0126】
【数16】
【0127】
実験
【0128】
試験実験が、従来のＷｉ－Ｆｉセンシングフレームワークについての従来の周知の課題のいくつかを克服する方法を発見しようとすることによって動機付けられた。ほとんどの従来のフレームワークは、物理層からの細粒度チャネル状態情報（ＣＳＩ）またはＭＡＣ層からの粗粒度ＲＳＳＩ測定値を使用する。実験からわかることは、ＲＳＳＩ測定が、測定の不安定さおよびチャネル情報の粗い粒度の影響を受けることであり、これは、ローカリゼーションの限定された精度につながる。また、ＣＳＩ測定値は粒度がより細かいが、物理層インターフェイスへのアクセスと、大量のサブキャリアデータを処理するための高い計算能力とを必要とすることもわかる。１つの試験実験は、（たとえば空間ドメインにおいて）ＲＳＳＩ測定値よりも多くの情報を提供する中粒度ビーム測定値を使用することを含み、より低いレベルのＣＳＩ測定値よりもアクセスが容易であることがわかった。具体的には、ミリ波（ｍｍＷａｖｅ）帯域で動作する第５世代（５Ｇ）およびＩＥＥＥ８０２．１１ａｄ／ａｙ規格のビーム訓練のために本来利用可能であった（ゼロオーバーヘッド）空間ビームＳＮＲが、フィンガープリンティング／訓練データセットを構築するために使用された。中粒度チャネル測定値の使用は、ＣＯＴＳ ８０２．１１ａｄ ＷｉＦｉルータからのビームＳＮＲ測定値への容易なアクセスを提供すると思われた。
【0129】
いくつかの試験融合ベースのアプローチは、オンデバイスまたはウェアラブルセンサ、たとえば慣性航法システム（ＩＮＳ）、磁気センサ、加速度計、ユーザ機器（ＵＥ）上の超音波、ならびにカメラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＺｉｇＢｅｅ（登録商標）等のその他の周囲センサのような、異種センサモダリティを使用することを含んでいた。これらの異種センサ信号は、次に、従来の最尤フレームワークまたはより高度な深層学習というコンテキストにおいて、Ｗｉ－Ｆｉ信号（ＲＳＳＩまたはＣＳＩのいずれか）と融合された。例として、屋内歩行者の連続ローカリゼーションは、Ｗｉ－Ｆｉによって調整された追跡誤差を有する慣性航法システム（ＩＮＳ）を使用して実現された。
【0130】
他の試験実験は、人間活動認識のための異種ウェアラブル（たとえばスマートフォンおよびスマートウォッチ）およびワイヤレス（Ｗｉ－Ｆｉおよび音響）センサを組み合わせた深層融合を含む。別の試験実験は、ワイヤレス無線周波数（ＲＦ）センサ（たとえばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、ＬＴＥ）のみを考慮した場合、粗粒度ＲＳＳＩ、Ｂｌｕｅｔｏｏｔｈ、およびＺｉｇＢｅｅ測定値の融合が、ｋ最近傍（ｋＮＮ）法を用いて考慮されたことを、観察した。別の試験アプローチは、細粒度ＣＳＩを最初に使用して到着角度（ＡｏＡ）測定値を抽出し、次に、従来の最尤推定（ＭＬＥ）フレームワークとの関連でＢｌｕｅｔｏｏｔｈからのＲＳＳＩと融合することができることを、観察した。
【0131】
いくつかの試験アプローチは、範囲をＷｉ－Ｆｉのみの測定にさらに狭めることを含んでいた。１つの試験アプローチは、スカラーＲＳＳＩを高次元ＣＳＩに連結することによって、ＣＳＩとＲＳＳＩとの間の測定値を融合した。ＣＳＩ Ｗｉ－Ｆｉ測定値の場合、別の試験アプローチは、ローカリゼーションの目的のために、大きさのみのＣＳＩとは対照的に、細粒度のＣＳＩの位相および振幅の融合を試験した。観察されたことは、複数のＡＰまたは無線デバイスが利用可能であるとき、さらに別の試験アプローチが、汎用ビュー間およびビュー内判別相関分析を使用して、ＡＰ／無線デバイスにわたるマルチビューＣＳＩ測定値を融合したことである。最後の試験アプローチは、複数のＡＰおよび複数の送信アンテナからの確率マップを融合することを試みた。
【0132】
他の特徴
【0133】
ある態様において、ワイヤレスチャネル属性データは、信号強度の量、雑音強度の量、干渉強度の量、信号対雑音比の量、信号対雑音干渉比の量、チャネル状態情報のセット、到着時間、到着角度、出発角度、電力遅延プロファイル、電力スペクトル密度、遅延ドップラースペクトル、角度電力スペクトル、ビーム電力プロファイル、または他のデータの量のうちの、１つまたは組み合わせに基づく。
【0134】
別の態様において、異種センサデータは、タイムスタンプ、温度の量、音量、光量、画像データ、ビデオデータ、磁束の量、加速度計からの出力の量、圧力の量、振動の量、赤外赤色光の量、湿度の量、電力の量、粒子濃度の量、臭気の量、放射線の量または他のデータのうちの、１つまたは組み合わせに基づく。
【0135】
ある態様において、異種センサデータは、視覚／撮像センサ、温度センサ、放射線センサ、近接センサ、圧力センサ、位置センサ、光電センサ、粒子センサ、運動センサ、金属センサ、レベルセンサ、漏れセンサ、湿度センサ、ガス／化学センサ、力センサ、流量センサ、傷センサ、火炎センサ、電気センサ、接触センサ、非接触センサ、または他のセンサデバイスのうちの、１つまたは組み合わせによって取得される。
【0136】
別の態様において、推定される環境状態が、ある期間にわたって求められ、少なくとも１つの物体の挙動の種類、少なくとも１つの物体の状態、少なくとも１つの物体の姿勢、または少なくとも１つの物体の位置のうちの、１つまたは組み合わせを含む。少なくとも１つの物体は、静止物、移動物、生物、周囲の家具、周囲の材料、周囲の建物、周囲の植物、周囲のペット、周囲のコンピュータ、周囲のロボット、周囲のユーザまたは無線デバイス等の非生物物体のうちの、１つである。
【0137】
別の態様において、環境状態は、少なくとも１つの生物の活動、物体または生物の少なくとも１つの姿勢、物体または生物の占有量、環境のエリア内の物体または生物の量、屋内交通量、物体または生物の位置、無線デバイスの範囲内の屋外物体または屋外生物の位置、静止または移動しているロボットまたは非生物、屋内ナビゲーションに関連する一組の命令、または、屋内駐車支援に関連する一組の命令、のうちの１つまたは組み合わせを含む。
【0138】
さらに別の態様において、パラメータ化されたモデルが、訓練されたディープニューラルネットワークに基づいており、ディープニューラルネットワークは、通信ネットワークにアクセスすることによってオンラインで訓練されるか、または、記憶された測定データにアクセスすることによってオフラインで行われて、第１の無線帯域からの少なくとも１つの種類の測定値、および第２の無線帯域からの少なくとも１つの種類の測定値を取得する。一組の融合された測定値をディープニューラルネットワークに入力して環境内の推定された環境状態を生成する。生成された推定環境状態と記憶された測定データからアクセスされた記憶された推定環境状態との間の差に基づいて、損失値を計算する。ディープニューラルネットワークの一組の訓練可能なパラメータを訓練のための一組のルールによって更新し、訓練のための一組のルールは勾配法に基づく。ディープニューラルネットワークは、融合されるべき２つの種類の測定値が、一様に整合された非同期および非協調測定フォーマットのような、異なる種類の測定フォーマットであるか否かに応じて、一組の融合された測定値を符号化されたベクトルに符号化する、第１のネットワークブロックの１つまたは組み合わせを含む。第２のネットワークブロックは、特徴ベクトルが異なる種類の測定フォーマットの影響を受けないように、符号化されたベクトルを特徴ベクトルに変換する。第３のネットワークブロックは、特徴ベクトルおよび一組の融合測定値に基づいて推定環境状態を生成する。第４のネットワークブロックは、特徴ベクトルから一組の融合測定値を再構築する。第５のネットワークブロックは、敵対的な様式で解きほぐしのために特徴ベクトルを正則化する。
【0139】
ある態様において、第１の無線帯域からの少なくとも１つの種類の測定値が、６０ＧＨｚのミリ波帯域における中粒度ビーム信号対雑音比（ＳＮＲ）測定値であり、第２の無線帯域からの少なくとも１つの種類の測定値が、複数の空間ストリームからのサブ６ＧＨｚにおける細粒度チャネル状態情報（ＣＳＩ）測定値であり、したがって、融合は、複数の空間ストリームからのサブ６ＧＨｚにおける細粒度ＣＳＩ測定値を、複数の空間ストリームからのサブ６ＧＨｚにおける細粒度ＣＳＩ測定値と融合することを含む。細粒度ＣＳＩ測定値は、直交周波数分割多重（ＯＦＤＭ）サブキャリアトーンにおける複素数値振幅を含み、その結果、細粒度ＣＳＩ測定値は、時間ドメインにおける電力遅延プロファイル（ＰＤＰ）と等価であり、伝搬経路に沿った電力分布を反映し、中粒度ビームＳＮＲは、複数のビーム形成方向またはビーム空間にわたって空間領域チャネル測定値を提供する。
【0140】
別の態様において、環境状態のカバレッジは、推定された環境状態の生成に基づいて自動である。コンピューティングプロセッサは、実行可能なプログラムを通して、モジュールの各モジュールにデータストレージを介してアクセスするように構成され、各モジュールは、１つ以上の予め定められたルールを含む。反復的に、推定された環境状態を各モデルに入力して、アラートアクションまたはアクションなしのいずれかの出力を生成し、アラートアクションがモジュールによって生成される場合は、少なくとも１つの予め定められたルールの違反を示唆し、コンピューティングプロセッサは、アラートアクションをアラート信号に変換し、アラート信号をトランシーバを介して通信ネットワークに送信する。アラート信号は、受信され、システムに関連付けられたアラート処理モジュールに入力されて、完了のために作業チームに送信される推定環境状態に基づく一組の命令とともに１つ以上の修正アクションを含む出力を生成する。少なくともモジュールは、推定された環境状態を近接モジュールに入力して近接アラートアクションを生成するか、または近接アラートアクションを生成しないステップを含む、近接モジュールであり、近接アラート（ＰＡ）アクションが生成される場合は、少なくとも１つの予め定められた近接ルールの違反、たとえば環境内で移動している物体が環境内の予め定められた物体侵入禁止指定エリアに入ったことが、示唆され、コンピューティングプロセッサは、ＰＡアクションをＰＡ信号に変換し、ＰＡ信号をトランシーバを介して通信ネットワークに送信する。ＰＡ信号が受信され、システムに関連付けられたアラート処理モジュールに入力されて、完了のために作業チームに送信される推定環境状態に基づく一組の命令を有する１つ以上の訂正近接アクションを含む出力が生成され、１つ以上の修正近接アクションは、移動している物体を予め定められた物体侵入禁止指定エリアの外に移動するように導くことを含む。
【0141】
別の態様は、別々のエンコーダおよびデコーダを有するオートエンコーダベースの融合ネットワークをさらに含み、オートエンコーダベースの融合ネットワークは、先ず、一組の融合された測定値が与えられた少なくとも２つのデコーダの出力から生成された再構成誤差を用いて訓練される。次に、オートエンコーダベースの融合ネットワークが訓練されると、第１および第２の無線帯域からの少なくとも２つの種類の測定値が、訓練されたエンコーダおよび融合ブロックに与えられて、一組の融合された特徴を生成する。
【0142】
もう１つの態様において、複数の期間のうちの各期間ごとの各推定環境状態が、環境内の少なくとも１つの物体または生物の位置を決定し、各推定環境状態は、その期間の少なくとも１つの物体または生物の決定された位置の視覚的追跡指示を提供するために、表示装置に表示される。
【0143】
ある態様において、実行可能なプログラムが命令を含み、命令は、第１の無線帯域の第１の通信チャネルにわたる複数のアンテナ素子を使用する少なくとも１つの無線デバイスと、第１の無線帯域の第１の通信チャネルにわたるそれぞれの複数のアンテナ素子を使用する命令が含まれる他の無線デバイスとの間の調整を行うための命令であり、命令は、コンピューティングプロセッサによって実行されると、上記少なくとも１つの無線デバイスを、他の無線デバイスと時間的に同期させる調整を行う。
【0144】
別の態様において、記憶されたデータは、フェーズドアンテナアレイによって異なるビーム角度で放射され一組の位置で測定された一組のビームの信号対雑音比（ＳＮＲ）測定値を示す値を含み、これは、一組のビームのＳＮＲ値の異なる組み合わせと一組の位置と間のマッピングを提供し、したがって、一組の位置のうちのある位置は、一組のビームのＳＮＲ値の固有の組み合わせにマッピングされるある期間についての位置であり、さらに、その期間のその位置におけるデバイスの挙動の種類と、その期間のその位置におけるデバイスの姿勢と、その期間の環境内の物理的な物体の位置と、その期間の環境における周囲のユーザの挙動の種類とに関連付けられる情報を提供する。
【0145】
さらに、ある態様において、記憶されたデータは、ビーム受信信号強度インジケータ（ＲＳＳＩ）測定値、ビームチャネル状態情報（ＣＳＩ）測定値、ビームパターンまたはビームシーケンス、のうちの１つを含むリンク属性を示す値を含み、各リンク属性は、アンテナのフェーズドアレイによって異なるビーム角度で放射され環境内の一組の位置で測定された一組のビームの測定値を含み、記憶された値は、一組のビームの少なくとも１つのリンク属性値の異なる組み合わせと一組の位置との間のマッピングを提供し、一組の位置のうちのある位置は、一組のビームの少なくとも１つのリンク属性値の固有の組み合わせにマッピングされる。リンク属性は、ＲＳＳＩ測定値またはＣＳＩ測定値のうちの１つまたは組み合わせをさらに含む。
【0146】
ある態様は、環境におけるミリメートル波スペクトルのビームフォーミング送信を有する通信システムを使用することを含み、これは、この環境内の異なる位置のデバイスでミリメートル波チャネルリンクを構築するためにビームフォーミングを実行するように構成されたフェーズドアンテナアレイを含む。この方法は、アンテナに接続された制御回路を使用して、異なるビーム角度にわたって送信される異なるビームのＳＮＲ測定値を推定するために、環境内に位置するターゲットデバイスを用いてビーム訓練を実行することを含む。制御回路は、ビーム訓練に応じて、ターゲットデバイスとのビームフォーミング通信のための少なくとも１つの主角度を選択するように構成される。フェーズドアンテナアレイに接続されたメモリにアクセスし、メモリにはデータが記憶される。記憶されたデータは、フェーズドアンテナアレイによって異なるビーム角度で放射され環境内の一組の位置で測定された一組のビームのＳＮＲ測定値を示す値を含む。記憶された値は、一組のビームのＳＮＲ値の異なる組み合わせと一組の位置と間のマッピングを提供する。したがって、一組の位置のうちのある位置は、一組のビームのＳＮＲ値の固有の組み合わせにマッピングされる。メモリに記憶されたマッピングから、ビーム訓練中に推定された異なるビームのＳＮＲ値に対応するターゲットデバイスの位置を推定する。少なくとも１つの主角度にわたるビームフォーミング送信を介し、フェーズドアンテナアレイを使用してターゲットデバイスの推定位置を送信する。
【0147】
別の態様において、データストレージからの記憶データはフィンガープリンティングデータを含み、フィンガープリンティングデータは、ある期間の一組のビームのＳＮＲ値の固有の組み合わせにマッピングされた一組の位置からの各位置を含み、したがって、その期間の一組のビームのＳＮＲ値の固有の組み合わせは、その期間のその位置におけるデバイスの挙動の種類と、その期間のその位置におけるデバイスの姿勢と、その期間の環境内の物理的な物体の位置と、その期間の環境における周囲のユーザの挙動の種類とに関連付けられる情報を、さらに提供する。
【0148】
いくつかの態様は、環境内の異なる位置におけるデバイスとのミリメートル波チャネルリンクを確立するためにビームフォーミングを実行するように構成されたフェーズドアンテナアレイを含む、環境内のミリメートル波スペクトルのビームフォーミング送信を使用する通信システムを含む。通信システムは、フェーズドアンテナアレイに接続され、記憶されたデータを有するメモリを含む。記憶されたデータは、フェーズドアンテナアレイによって異なるビーム角度で放射され一組の位置で測定された一組のビームの信号対雑音比（ＳＮＲ）測定値を示す値を含み、これは、一組のビームのＳＮＲ値の異なる組み合わせと一組の位置との間のマッピングを提供する。したがって、一組の位置のうちのある位置は、一組のビームのＳＮＲ値の固有の組み合わせにマッピングされる。制御回路が、フェーズドアンテナアレイおよびメモリと通信可能に接続され、環境内に位置するターゲットデバイスでビーム訓練を実行することにより、異なるビーム角度にわたって送信される異なるビームのＳＮＲ値を推定するように構成される。ビーム訓練に応じて、ターゲットデバイスとのビームフォーミング通信のための少なくとも１つの主角度を選択する。メモリに記憶されたマッピングから、ビーム訓練中に推定された異なるビームのＳＮＲ値に対応するターゲットデバイスの位置を推定する。少なくとも１つの主角度にわたるビームフォーミング送信を介し、フェーズドアンテナアレイを使用してターゲットデバイスの推定位置を送信する。
【0149】
他の態様において、記憶されたデータは、ある期間の一組のビームのＳＮＲ値の固有の組み合わせにマッピングされる一組の位置のうちの各位置を含み、したがって、その期間の一組のビームのＳＮＲ値の固有の組み合わせは、その期間の位置におけるデバイスの挙動の種類と、その期間の位置におけるデバイスの姿勢と、その期間の環境内の物理的な物体の位置と、その期間の環境内の周囲のユーザの挙動の種類とに関連付けられる情報をさらに提供する。
定義
定義
【0150】
本開示の態様に従い実験に基づいて以下の定義が確立されたが、確かに各語句または用語の完全な定義ではない。ここで提供される定義は、実験から得られた知識に基づいた一例として提供されているだけであって、他の解釈、定義、および他の態様が関連する可能性がある。しかしながら、提示される語句または用語の少なくとも単なる基本的なプレビューのために、そのような定義が提供されている。
【0151】
フェーズドアレイ：フェーズドアレイは、単一のアンテナでは得られない何らかの所望の特性または特徴を提供するために共に使用される２つ以上のアンテナである。例として、図１、図４Ａ、図５Ａ、図６Ａおよび図７Ａに示されているアンテナ（６０ＧＨｚ）１２、４１２、５１２、６１２、および７１２の各々が、フェーズドアレイアンテナの可能性がある。アレイは、通常、行列からなるマトリクス状にまたは何らかの他のパターンで配置された複数のアンテナの集合である。基本的なダイポールの放射パターンを検討すると、これは、大部分のパワーをアンテナ素子から一斉に放射させ、アンテナ素子の端部の方向を除いて他の方向にも放射させる８の字のパターンを含む。しかしながら、アレイ内の複数のアンテナ、すなわちフェーズドアレイを使用することにより、放射パターンを、以下の図に示されるようにより狭いビームに成形することができる。このパターンまたはローブは、アレイ、すなわちフェーズドアレイ内の複数のアンテナからの複数の信号で構成される。信号は集束されてより強くされ、ビームを所望の方向に向けることを可能にする。たとえば、フェーズドアレイを使用する利点の一部は、いくつかの必要な特徴を実現することである可能性がある。これらの重要な特徴の一部として以下を挙げることができる。指向性：指向性は、アンテナがある方向または別の方向においてより効果的であることを示唆し得る。指向性は、信号が一方向に狭く集束されることを意味する。信号のこの集束は、アンテナ利得を生成するものである。上記数字は、標準的なダイポールの広い放射パターンおよびフェーズドアレイの放射パターン（またはセクタ、ローブ）を示していた。利得は増幅と同様である。いくつかの種類のアンテナは、より大きな信号電力が使用されるかのように、信号レベルまたは実効輻射電力（ＥＲＰ）を高める。利得は、送信と受信の両方に適用される。干渉最小化：アンテナを特定の方向に向けることは、その効果が他の方向では少なくなることを意味する。この特徴は、他の方向から来る信号の干渉を排除または低減するのに役立つ。ヌルは、望ましくない信号を取り出すために作成することができる。操縦可能なフェーズドアレイは、その場でローブを再配置するように調整することができる。信号の方向は、利得を最適化するために電子的に変更することができる。これは、信号の水平および／または鉛直方向の走査を可能にする。フェーズドアレイは、ビームフォーミングと呼ばれるものを実現する。これは、アレイ内のアンテナの各々の放射パターンを取得し、それらがエネルギーを狭いビームまたはローブに集めるように、加算することによって行われる。個々のアンテナ信号は、建設的または破壊的に互いに干渉していると言われる。いくつかの信号は結合してより強い複合信号を形成し、他の信号は部分的に打ち消し合う。
【0152】
図９Ａは、本開示のいくつかの実施形態に係る、本開示の１つまたはすべての実施形態のためのいくつかの動作に使用することができる処理システムのいくつかの構成要素の図である。処理システム１０００Ａは、システムの構成要素を相互接続するバスシステム１０６６を介して相互接続される。システム１０００Ａは、１つ以上の中央処理装置（「プロセッサ」）１０６１を含み得る。プロセッサ１０６１は、サーバコンピュータ、第三者コンピュータ、パーソナルコンピュータ（ＰＣ）、クライアントコンピュータ、ユーザデバイス、タブレットＰＣ、ラップトップコンピュータ、携帯電話、スマートフォン、ウェブデバイス、ネットワークルータ、スイッチもしくはブリッジ、コンソール、またはコンピューティングシステムによって行われる動作に従って命令を実行するように構成された任意の機械であってもよい。さらに、処理システム１０００Ａは、データストレージ１０６２と、記憶されたモジュール１０６３と、一組の命令１０６４とを含み得る。
【0153】
処理システム１０００Ａは、ユーザの要件および動作構成要素に応じて、データベース、不揮発性メモリ機械可読媒体、サーバなどのような他の種類のメモリ（図示せず）を含み得る、主記憶装置１０７１を含み得る。主記憶装置は、上記構成要素とともに、命令、アプリケーション、プログラム、モジュール、コンピュータプログラムを記憶することができ、これらのすべてをシステムの１つ以上のプロセッサによって実行することができる。
【0154】
引続き図９Ａを参照すると、システム１０００Ａは、人を機械、システム、またはデバイスに接続するユーザインターフェイスまたはダッシュボードであるヒューマンマシンインターフェイス（ＨＭＩ）１０８１を含み得る。ＨＭＩのその他の用語として、マンマシンインターフェイス（ＭＭＩ）、オペレータインターフェイス端末（ＯＩＴ）、ローカルオペレータインターフェイス（ＬＯＩ）、またはオペレータ端末（ＯＴ）が挙げられる。ＨＭＩおよびグラフィカルユーザインターフェイス（ＧＵＩ）は類似しており、したがって、ＧＵＩは可視化機能のためにＨＭＩ内で活用されることがよくある。ＨＭＩは、ユーザのシステムおよび動作要件に応じて、データを視覚的に表示し、生産時間、傾向、およびタグを追跡し、ＫＰＩを監督し、機械の入力および出力を監視するために使用することができる。ＨＭＩまたはバスシステム１０６６に接続されるいくつかの構成要素は、キーボード１０８２、表示装置１０８３、制御装置１０８４、および入出力装置１０８５、ならびに特定の産業において機能することが知られている上記用語に関連する同様の他の構成要素であってもよい。
【0155】
システム１０００Ａの他の構成要素は、コントローラインターフェイス１０８６、コントローラ１０８７、外部コンピュータおよびコンピュータシステム１０７２、ネットワークインターフェイス１０８８、ならびに少なくとも１つのネットワーク１０８９を含み得る。ネットワークインターフェイス１０８８はネットワークアダプタを含み得るものであり、これは、典型的には処理システム１０００Ａおよび外部エンティティによってサポートされる任意の公知のおよび／または便利な通信プロトコルを通して構成されるように、必要ではないが、処理システム１０００Ａの外部の可能性があるエンティティ（すなわちネットワーク機器等）を用いて、ネットワーク１０８９内のデータを管理するように処理システム１０００Ａを支援する。ネットワークアダプタ１０８９は、ネットワークアダプタカード、ワイヤレスネットワークインターフェイスカード、ルータ、アクセスポイント、ワイヤレスルータ、スイッチ、多層スイッチ、プロトコルコンバータ、ゲートウェイ、ブリッジ、ブリッジルータ、ハブ、デジタルメディアレシーバ、および／またはリピータを含み得る。ネットワークアダプタ１０８９は、コンピュータネットワーク内のデータにアクセスする許可を支配および／または管理し、異なるマシンおよび／またはアプリケーション間の信頼のレベルを追跡することができるファイアウォールを含み得る。ファイアウォールは、特定の一組のマシンとアプリケーション、マシンとマシン、および／またはアプリケーションとアプリケーションの間における予め定められた一組のアクセス権を実施することができるハードウェアおよび／またはソフトウェア構成要素の任意の組み合わせを有する任意の数のモジュールであってもよい。たとえば、トラフィックの流れおよびこれらの変動するエンティティ間でのリソース共有を調整する。ファイアウォールは、たとえば、個人、機械、および／またはアプリケーションによるオブジェクトのアクセスおよび動作権、ならびに許可権が成立している状況を含む、許可を詳述するアクセス制御リストをさらに管理し得る、および／またはアクセス制御リストへのアクセスをさらに管理し得るおよび／または有し得る。
【0156】
引続き図９Ａを参照すると、ネットワーク１０８９は、本開示の実施形態で使用することができる、機器、機械などの他の構成要素に無線通信するかまたは有線接続することができる、通信システムを含み得る。たとえば、ネットワーク１０８９はクラウド１０９０と通信することができ、クラウド１０９０はデータストレージ１０９１、モジュール１０９２、および一組の命令１０９３、ならびにクラウド産業内のクラウドの理解において知られている他の構成要素および態様を含み得る。なお、バスシステム１０６６は、別々のバス、ある構成要素またはサブシステムから別のコンポーネントまたはサブシステムへの特定の接続、またはブリッジ、アダプタ、またはコントローラによって接続された両方であってもよい。バス１０６６は、ネットワーク機器（すなわちネットワークポート、他のポートなど）の構成要素間でデータパケットを中継するように構成されてもよい。
【0157】
図９Ｂは、本開示のいくつかの実施形態に係る、図９Ａのいくつかまたはすべての構成要素とともにまたはそれらと組み合わせて使用することができる、コンピュータのいくつかの構成要素を示すブロック図である。構成要素１０００Ｂはコンピュータ１０１１を含み得るものであり、コンピュータ１０１１は、バス１０５６を介して接続された、プロセッサ１０４０、コンピュータ読取可能メモリ１０１２、ストレージ１０５８、ならびに表示装置１０５２およびキーボード１０５１を有するユーザインターフェイス１０４９を有する。たとえば、プロセッサ１０４０およびコンピュータ読取可能メモリ１０１２とやり取りするユーザインターフェイス１０６４は、ユーザによるユーザインターフェイス１０５７の表面、キーボード１０５３からの入力を受けると、データを取得してコンピュータ読取可能メモリ１０１２に格納する。
【0158】
コンピュータ１０１１は、電源１０５４を含み得る。用途に応じて、電源１０５４は任意でコンピュータ１０１１の外側に配置されてもよい。バス１０５６を通して、表示装置１０４８に接続するように適合させたユーザ入力インターフェイス１０５７に接続することができ、表示装置１０４８は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスを含み得る。プリンタインターフェイス１０５９も、バス１０５６を通して接続し、印刷装置１０３２に接続するように適合させることができ、印刷装置１０３２は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、サーマルプリンタ、ＵＶプリンタ、または昇華染料プリンタを含み得る。ネットワークインターフェイスコントローラ（ＮＩＣ）１０３４は、バス１０５６を通してネットワーク１０３６に接続するように適合させたものであり、とりわけ、データまたは他のデータを、コンピュータ１０１１の外側の第三者表示装置、第三者撮像装置、および／または第三者印刷装置上にレンダリングすることができる。コンピュータ／プロセッサ１０１１は、バス１０５６に接続されたＧＰＳ１００１を含み得る。
【0159】
引続き図９Ｂを参照すると、とりわけデータまたは他のデータは、ネットワーク１０３６の通信チャネルを通じて送信することができ、および／または保存および／またはさらなる処理のためにストレージシステム１０５８に格納することができる。さらに、時系列データまたは他のデータを、受信機１０４６（もしくは外部受信機１０３８）から無線または有線で受信してもよく、または送信機１０４７（もしくは外部送信機１０３９）を介して無線または有線で送信してもよく、受信機１０４６および送信機１０４７は両方ともバス１０５６を介して接続される。コンピュータ１０１１は、入力インターフェイス１００８を介して、外部センシングデバイス１０４４および外部入出力装置１０４１に接続されてもよい。入力インターフェイス１００８は、マシン様デバイス１００２に接続することができる、１つ以上の入出力装置１０４１、外部メモリデバイス１００６、外部センサ１００４に接続することができる。コントローラ１０４２はデバイス１０４３に接続することができる。さらに、他のコンピュータ１０４５をバス１０５６に接続することができる。たとえば、外部センシングデバイス１０４４は、マシンの収集された時系列データの前後のデータを収集するセンサを含み得る。コンピュータ１０１１は他の外部コンピュータ１０４２に接続されてもよい。出力インターフェイス１００９を使用して、プロセッサ１０４０からの処理されたデータを出力してもよい。なお、プロセッサ１０４０および非一時的なコンピュータ読取可能記憶媒体１０１２と通信するユーザインターフェイス１０４９は、ユーザによるユーザインターフェイス１０４９の表面からの入力を受けると、領域データを取得し非一時なコンピュータ読取可能記憶媒体１０１２に格納する。さらに、本開示のシステムおよび方法の実施形態に関連するデバイスを制御するために、コントローラ１０６１をバス１０５６に接続することができる。
他の実施形態の追加の特徴
他の実施形態の追加の特徴
【0160】
本発明の他の追加の実施形態は、以下の追加の特徴によって表されるＷＬＡＮセンシングのためのマルチバンドＷｉ－Ｆｉ融合システムを提供することができる。
【0161】
追加の特徴１：本システムは、一組の無線デバイスを含み環境におけるカバレッジを提供するマルチバンドワイヤレスネットワークを含み得るものであって、一組の無線デバイスは、マルチバンドワイヤレスチャネルにわたってワイヤレス通信リンクまたはセンシングリンクを構築するように構成され、マルチバンドワイヤレスチャネルは、ミリメートル波長の第１の無線帯域およびセンチメートル波長の第２の無線帯域を使用し、コンピューティングプロセッサが一組の無線デバイスおよびデータストレージに通信可能に結合され、データストレージは、パラメータ化されたモデルと、モジュールと、実行可能なプログラムとを含むデータを有し、プログラムは、実行されると、コンピューティングプロセッサに、マルチバンドワイヤレスチャネルを介して測定データを受信して、一組の異種センサデータ、ネットワーク転送データ、またはワイヤレスチャネル属性データを取得することと、パラメータ化されたモデルにおける１つ以上のステップで第１および第２の無線帯域からの少なくとも２つの種類の測定値を融合することにより、環境における推定環境状態を生成することとを、実行させる。
【0162】
追加の特徴２：ワイヤレスチャネル属性データは、信号強度の量、雑音強度の量、干渉強度の量、信号対雑音比の量、信号対雑音干渉比の量、一組のチャネル状態情報、一組のチャネルインパルス応答、一組のチャネル周波数応答、到着時間の量、到着角度、出発角度、電力遅延プロファイル、電力スペクトル密度、遅延ドップラースペクトル、角度電力スペクトル、ビーム電力プロファイル、または他のデータのうちの１つまたは組み合わせに基づく、追加の特徴１のシステム。
【0163】
追加の特徴３：異種センサデータは、タイムスタンプ、温度の量、音の量、光の量、画像データ、ビデオデータ、磁束の量、加速度計からの出力の量、圧力の量、振動の量、赤外光の量、湿度の量、電力の量、粒子濃度の量、臭気の量、放射線の量または他のデータのうちの１つまたは組み合わせに基づく、追加の特徴１のシステム。
【0164】
追加の特徴４：異種センサデータは、視覚／撮像センサ、温度センサ、放射線センサ、近接センサ、圧力センサ、位置センサ、光電センサ、粒子センサ、運動センサ、金属センサ、レベルセンサ、漏れセンサ、湿度センサ、ガス／化学物質センサ、力センサ、流量センサ、傷センサ、火炎センサ、電気センサ、接触センサ、非接触センサまたは他のセンサデバイスのうちの１つまたは組み合わせによって取得される、追加の特徴１のシステム。
【0165】
追加の特徴５：推定された環境状態は、ある期間について判断され、少なくとも１つの物体の挙動の種類、少なくとも１つの物体の状態、少なくとも１つの物体の姿勢、または少なくとも１つの物体の位置のうちの、１つまたは組み合わせを含む、追加の特徴１のシステム。
【0166】
追加の特徴６：少なくとも１つの物体は、静止物、移動物、生物、非生物のうちの１つ、たとえば、周囲の家具、周囲の材料、周囲の建物、周囲の植物、周囲のペット、周囲のコンピュータ、周囲のロボット、周囲のユーザ、または無線デバイスのうちの１つまたは組み合わせである、追加の特徴５のシステム。
【0167】
追加の特徴７：環境状態は、少なくとも１つの生物のアクティビティ、物体または生物の少なくとも１つの姿勢、物体または生物の占有量、環境のあるエリア内の物体または生物の量、屋内交通の量、物体または生物の位置、無線デバイスの範囲内の屋外の物体または屋外の生物の位置、静止または移動しているロボットまたは非生物、屋内ナビゲーションに関連付けられる一組の命令、または屋内駐車支援に関連付けられる一組の命令、のうちの１つまたは組み合わせを含む、追加の特徴１のシステム。
【0168】
追加の特徴８：パラメータ化されたモデルは、訓練されたディープニューラルネットワークに基づいており、ディープニューラルネットワークは、通信ネットワークへのアクセスを介してオンラインで訓練されるか、またはオフラインで訓練され、これは、記憶された測定データにアクセスして、第１の無線帯域からの少なくとも１つの種類の測定値および第２の無線帯域からの少なくとも１つの種類の測定値を取得することと、第１および第２の無線帯域からの少なくとも２つの種類の測定値を融合することにより、一組の融合された結果を生成することと、一組の融合された結果をディープニューラルネットワークに入力することにより、環境における推定環境状態を生成することと、生成された推定環境状態と記憶された測定データからアクセスされる記憶された推定環境状態との間の差に基づいて損失値を計算することと、訓練のための一組のルールによってディープニューラルネットワークの一組の訓練可能なパラメータを更新することとによって行われ、訓練のための一組のルールは勾配法に基づく、追加の特徴１のシステム。
【0169】
追加の特徴９：ディープニューラルネットワークは、融合する２種類の測定値が、一様に整列した非同期および非協調測定フォーマットのような異なる種類の測定フォーマットか否かに応じて、一組の融合された結果を符号化ベクトルに符号化する第１のネットワークブロック、特徴ベクトルが異なる種類の測定フォーマットの影響を受けないように、符号化ベクトルを特徴ベクトルに変換する第２のネットワークブロック、特徴ベクトルおよび一組の融合測定値に基づいて推定環境状態を生成する第３のネットワークブロック、特徴ベクトルから一組の融合測定値を再構築する第４のネットワークブロック、のうちの１つまたは組み合わせを含む、追加の特徴８のシステム。
【0170】
追加の特徴１０：第１の無線帯域からの少なくとも１つの種類の測定値は、６０ＧＨｚのミリメートル帯域における中粒度ビーム信号対雑音比（ＳＮＲ）測定値であり、第２の無線帯域からの少なくとも１つの種類の測定値は、複数の空間ストリームからのサブ６ＧＨｚの細粒度チャネル状態情報（ＣＳＩ）測定値である［いずれがミリメートル波長でいずれがセンチメートル波長か］、追加の特徴１のシステム。
【0171】
追加の特徴１１：細粒度ＣＳＩ測定値は、直交周波数分割多重（ＯＦＤＭ）サブキャリアトーンにおける複素数値振幅を含み、細粒度ＣＳＩ測定値は、時間ドメインにおける電力遅延プロファイル（ＰＤＰ）と同等であり、伝搬経路に沿った電力分布を反映し、中粒度ビームＳＮＲは、複数のビームフォーミング方向またはビーム空間にわたる空間ドメインチャネル測定値を提供する、追加の特徴１０のシステム。
【0172】
追加の特徴１２：環境状態のカバレッジは、推定された環境状態の生成に基づいて自動であり、コンピューティングプロセッサは、実行可能なプログラムを介して、各モジュールが１つ以上の予め定められたルールを含むようにデータストレージを介してモジュールのうちの各モジュールにアクセスし、反復的に、推定された環境状態を各モジュールに入力して、アラートアクションの出力を生成するかまたはアラートアクションを生成せず、アラートアクションがモジュールによって生成される場合は少なくとも１つの予め定められたルールの違反を示唆し、コンピューティングプロセッサは、アラートアクションをアラート信号に変換し、アラート信号をトランシーバを介して通信ネットワークに送信し、アラート信号は、受信され、システムに関連付けられたアラート処理モジュールに入力されて、完了のために作業チームに送信される推定された環境状態に基づく一組の命令とともに１つ以上の修正アクションを含む出力を生成する、追加の特徴１のシステム。
【0173】
追加の特徴１３：少なくともモジュールは近接モジュールであり、近接モジュールは、推定された環境状態を近接モジュールに入力して、近接アラートアクションを生成するかまたは近接アラートアクションを生成せず、近接アラート（ＰＡ）アクションが生成される場合は少なくとも１つの予め定められた近接ルールの違反が示唆され、それはたとえば環境内の移動物体が環境内の物体侵入禁止指定エリアに入ったことであり、コンピューティングプロセッサは、ＰＡアクションをＰＡ信号に変換し、ＰＡ信号をトランシーバを介して通信ネットワークに送信し、ＰＡ信号は、受信され、システムに関連付けられたアラート処理モジュールに入力されて、完了のために作業チームに送信される推定環境状態に基づく一組の命令とともに１つ以上の修正近接アクションを含む出力を生成し、１つ以上の修正近接アクションは、移動する物体を予め定められた物体禁止指定エリアの外に導くことを含む、追加の特徴１２のシステム。
【0174】
追加の特徴１４：別々のエンコーダおよびデコーダを有するオートエンコーダベースの融合ネットワークをさらに含み、オートエンコーダベースの融合ネットワークは、先ず、一組の融合された結果が与えられた少なくとも２つのデコーダの出力から生成された再構成誤差を用いて訓練され、次に、オートエンコーダベースの融合ネットワークが訓練されると、第１および第２の無線帯域からの少なくとも２つの種類の測定値の出力が、融合されて、一組の融合された結果を生成する、追加の特徴１のシステム。
【0175】
追加の特徴１５：第１の無線帯域から取得された少なくとも１つの種類の測定値は、物体または生物と特定のワイヤレス無線機との間の推定距離を示す信号であり、推定距離は、物体もしくは生物と特定のワイヤレス無線機との間のワイヤレス通信の到着時間（ＴｏＡ）、物体もしくは生物と特定のワイヤレス無線機との間のワイヤレス通信のラウンドトリップタイム（ＲＴＴ）、または、物体もしくは生物と特定のワイヤレス無線機との間のワイヤレス通信の受信信号強度（ＲＳＳ）、のうちのいずれかに基づく、追加の特徴１のシステム。
【0176】
追加の特徴１６：第２の無線帯域から取得された少なくとも１つの種類の測定値は、物体または生物と特定のワイヤレス無線機との間の推定距離を示す信号であり、推定距離は、物体もしくは生物と特定のワイヤレス無線機との間のワイヤレス通信の到着時間（ＴｏＡ）、物体もしくは生物と特定のワイヤレス無線機との間のワイヤレス通信のラウンドトリップタイム（ＲＴＴ）、または、物体もしくは生物と特定のワイヤレス無線機との間のワイヤレス通信の受信信号強度（ＲＳＳ）、のうちのいずれかに基づく、追加の特徴１のシステム。
【0177】
追加の特徴１７：複数の期間のうちの各期間ごとの各推定環境状態は、環境内の少なくとも１つの物体または生物の位置を決定し、各推定環境状態は、その期間の少なくとも１つの物体または生物の決定された位置の視覚的追跡指示を提供するために表示装置に表示される、追加の特徴１のシステム。
【0178】
追加の特徴１８：実行可能なプログラムが命令を含み、命令は、第１の無線帯域の第１の通信チャネルにわたる複数のアンテナ素子を使用する少なくとも１つのワイヤレス無線機と、第１の無線帯域の第１の通信チャネルにわたるそれぞれの複数のアンテナ素子を使用する命令が含まれる他のワイヤレス無線機との間の調整を行うための命令であり、命令は、コンピューティングプロセッサによって実行されると、上記少なくとも１つのワイヤレス無線機を、他のワイヤレス無線機と時間的に同期させる調整を行う、追加の特徴１のシステム。
【0179】
追加の特徴１９：記憶されたデータは、フェーズドアンテナアレイによって異なるビーム角度で放射され一組の位置で測定された一組のビームの信号対雑音比（ＳＮＲ）測定値を示す値を含み、これは、一組のビームのＳＮＲ値の異なる組み合わせと一組の位置との間のマッピングを提供し、したがって、一組の位置のうちのある位置は、一組のビームのＳＮＲ値の固有の組み合わせにマッピングされるある期間についての位置であり、さらに、その期間のその位置におけるワイヤレス無線機の挙動の種類と、その期間のその位置におけるデバイスの姿勢と、その期間の環境内の物理的な物体の位置と、その期間の環境における周囲のユーザの挙動の種類とに関連付けられる情報を提供する、追加の特徴１のシステム。
【0180】
追加の特徴２０：記憶されたデータは、ビーム受信信号強度インジケータ（ＲＳＳＩ）測定値、ビームチャネル状態情報（ＣＳＩ）測定値、ビームパターンまたはビームシーケンス、のうちの１つまたは組み合わせを含むリンク属性を示す値を含み、各リンク属性は、アンテナのフェーズドアレイによって異なるビーム角度で放射され環境内の一組の位置で測定された一組のビームの測定値を含み、記憶された値は、一組のビームの少なくとも１つのリンク属性値の異なる組み合わせと一組の位置との間のマッピングを提供し、一組の位置のうちのある位置は、一組のビームの少なくとも１つのリンク属性値の固有の組み合わせにマッピングされる、追加の特徴１のシステム。
【0181】
追加の特徴２１：データストレージからの記憶データはフィンガープリンティングデータを含み、フィンガープリンティングデータは、ある期間の一組のビームのＳＮＲ値の固有の組み合わせにマッピングされた一組の位置からの各位置を含み、したがって、その期間の一組のビームのＳＮＲ値の固有の組み合わせは、その期間のその位置におけるデバイスの挙動の種類と、その期間のその位置におけるデバイスの姿勢と、その期間の環境内の物理的な物体の位置と、その期間の環境における周囲のユーザの挙動の種類とに関連付けられる情報を、さらに提供する、追加の特徴１のシステム。
【0182】
追加の特徴２２：環境における環境状態に対するカバレッジを提供するための無線デバイスを有するマルチバンドワイヤレスネットワークを含むシステムであって、無線デバイスは、マルチバンドワイヤレスチャネルを介してワイヤレスリンクを確立するように構成され、少なくとも１つの第１の無線デバイスは、ミリメートル波長の第１の無線帯域で第１の通信チャネルを介して複数のアンテナ素子を使用し、これはワイヤレスチャネル測定値を生成し、このワイヤレスチャネル測定値は、（ａ）１つ以上のアンテナ素子から異なるビーム角度で放射された一組のビームのリンク品質を示す値、（ｂ）１つ以上のアンテナ素子からの一組の周波数サブキャリアのリンク品質を示す値、または（ｃ）１つ以上のアンテナ素子からの一組の時間遅延のリンク品質を示す値、のうちの１つを含み、少なくとも１つの第２の無線デバイスは、センチメートル波長の第２の無線帯域で第２の通信チャネルを使用し、これはワイヤレスチャネル測定値を生成し、このワイヤレスチャネル測定値は、（ａ）１つ以上のアンテナ素子から異なるビーム角度で放射された一組のビームのリンク品質を示す値、（ｂ）１つ以上のアンテナ素子からの一組の周波数サブキャリアのリンク品質を示す値、または（ｃ）１つ以上のアンテナ素子からの一組の時間遅延のリンク品質を示す値、のうちの１つを含み、コンピューティングプロセッサが、第１および第２の少なくとも１つの無線デバイスおよびデータストレージに通信可能に結合され、データストレージには、パラメータ化されたモデルと、実行可能なプログラムとを含むデータが格納され、プログラムは、実行されると、コンピューティングプロセッサに、第１および第２の通信チャネルを介して測定データを受信して第１の無線帯域からの少なくとも１つの種類の測定値と、第２の無線帯域からの少なくとも１つの種類の測定値とを取得することを実行させ、測定データは、異種センサデータ、ＷｉＦｉデータ、またはワイヤレスチャネル属性データのうちの１つまたは組み合わせを含み、さらに、入力融合、特徴融合、または出力融合のうちの１つまたは組み合わせを含む、パラメータ化されたモデルにおける１つ以上の処理ステップにおいて第１および第２の無線帯域からの少なくとも２つの種類の測定値を融合して、一組の融合結果を生成することと、一組の融合結果をパラメータ化されたモデルに入力して環境における推定環境状態を生成することとを実行させる、システム。
【0183】
追加の特徴２３：マルチバンドワイヤレスネットワークの形成において他のワイヤレス無線デバイスとともに動作するように構成され、環境内の環境状態に対するカバレッジを提供するのを支援するためにマルチバンドチャネルを介してデータを転送するためのワイヤレスリンクを確立する、ワイヤレス無線デバイスであって、ワイヤレス無線デバイスは、ミリメートル波長の第１の無線帯域で第１の通信チャネルを介して複数のアンテナ素子と通信するように構成された第１のトランシーバと、センチメートル波長の第２の無線帯域で第２の通信チャネルを介して通信するように構成された第２のトランシーバとを含み、さらに、第１のトランシーバ、第２のトランシーバ、およびデータストレージに通信可能に結合されコンピューティングプロセッサを含み、データストレージには、パラメータ化されたモデルと、実行可能なプログラムと、モジュールとを含むデータが格納され、実行可能なプログラムは、実行されると、コンピューティングプロセッサに、第１および第２の通信チャネルを介して測定データを受信して第１の無線帯域からの少なくとも１つの種類の測定値と、第２の無線帯域からの少なくとも１つの種類の測定値とを取得することを実行させ、測定データは、異種センサデータ、ＷｉＦｉデータ、またはワイヤレスチャネル属性データのうちの１つまたは組み合わせを含み、さらに、入力融合、特徴融合、または出力融合のうちの１つまたは組み合わせを含む、パラメータ化されたモデルにおける１つ以上の処理ステップにおいて第１および第２の無線帯域からの少なくとも２つの種類の測定値を融合して、一組の融合された測定値を生成することと、一組の融合された測定値をパラメータ化されたモデルに入力して環境における推定環境状態を生成することとを実行させる、システム。
【0184】
追加の特徴２４：第１の無線帯域からの少なくとも１つの種類の測定値は、中粒度ビーム信号対雑音比（ＳＮＲ）測定値であり、第２の無線帯域からの少なくとも１つの種類の測定値は、細粒度チャネル状態情報（ＣＳＩ）測定値である、追加の特徴２３のシステム。
【0185】
追加の特徴２５：マルチバンドワイヤレスネットワークの形成において他のワイヤレス無線デバイスとともに動作するように構成され、環境内の環境状態に対するカバレッジを提供するのを支援するためにマルチバンドチャネルを介してデータを転送するためのワイヤレスリンクを確立する、ワイヤレス無線デバイスであって、ワイヤレス無線デバイスは、ミリメートル波長の第１の無線帯域で第１の通信チャネルを介して複数のアンテナ素子と通信するように構成され、他のワイヤレス無線デバイスの１つ以上のアンテナ素子からのリンク品質を示す値を含む複数の空間ストリームからワイヤレスチャネル測定値を生成する、第１のトランシーバと、センチメートル波長の第２の無線帯域で第２の通信チャネルを介して通信するように構成され、他のワイヤレス無線デバイスの１つ以上のアンテナ素子からのリンク品質を示す値を含むワイヤレスチャネル測定値を生成する、第２のトランシーバとを含み、さらに、第１のトランシーバ、第２のトランシーバ、およびデータストレージに通信可能に結合されコンピューティングプロセッサを含み、データストレージには、パラメータ化されたモデルと、実行可能なプログラムと、モジュールとを含むデータが格納され、実行可能なプログラムは、実行されると、コンピューティングプロセッサに、第１および第２の通信チャネルを介して測定データを受信して第１の無線帯域からの少なくとも１つの種類の測定値と、第２の無線帯域からの少なくとも１つの種類の測定値とを取得することを実行させ、測定データは、異種センサデータ、ＷｉＦｉデータ、またはワイヤレスチャネル属性データのうちの１つまたは組み合わせを含み、さらに、入力融合、特徴融合、または出力融合のうちの１つまたは組み合わせを含む、パラメータ化されたモデルにおける１つ以上の処理ステップにおいて第１および第２の無線帯域からの少なくとも２つの種類の測定値を融合して、一組の融合された測定値を生成することと、一組の融合された測定値をパラメータ化されたモデルに入力して環境における推定環境状態を生成することとを実行させる、システム。
【0186】
上記説明は、具体例としての実施形態のみを提供し、開示の範囲、適用可能性、または構成を限定することは意図していない。むしろ、具体例としての実施形態の以下の説明は、具体例としての１つ以上の実施形態を実現することを可能にする説明を、当業者に提供するであろう。以下の請求項に記載されている開示された主題の精神および範囲から逸脱することなく、要素の機能および構成に対してなされ得る、各種変更が意図されている。
【0187】
具体的な詳細事項は、以下の記載において、実施形態の十分な理解のために与えられる。しかしながら、これらの具体的な詳細事項がなくても実施形態を実行できることを、当業者は理解できる。たとえば、開示された主題におけるシステム、プロセス、および他の要素は、実施形態を不必要な詳細で不明瞭にしないために、ブロック図の形態で構成要素として示される場合もある。他の例では、実施形態を不明瞭にしないよう、周知のプロセス、構造、および技術は、不必要な詳細事項を伴わずに示されることがある。さらに、各種図面における同様の参照番号および名称は同様の要素を示す。
【0188】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明される場合がある。フローチャートは動作を逐次プロセスとして説明することができるが、動作の多くは並列にまたは同時に実行することができる。さらに、動作の順序は入れ替え可能である。プロセスは、その動作が完了したときに終了されてもよいが、論じられていないかまたは図に含まれていない追加のステップを有する場合がある。さらに、具体的に記載されている何らかのプロセスにおけるすべての動作がすべての実施形態に起こり得る訳ではない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数または主関数に関数を戻すことに対応し得る。
【0189】
さらに、開示された主題の実施形態は、少なくとも部分的に手動または自動のいずれかで実現することができる。手動または自動による実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせの使用を通して行われてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するプログラムコードまたはコードセグメントは、マシン読取可能媒体に格納されてもよい。プロセッサは必要なタスクを実行できる。
【0190】
さらに、本開示の実施形態および本明細書に記載の機能的動作は、デジタル電子回路において、有形で実装されるコンピュータソフトウェアもしくはファームウェアにおいて、本明細書に開示される構造およびそれらの構造的均等物を含むコンピュータハードウェアにおいて、または、それらのうちの１つ以上の組み合わせにおいて、実現することができる。さらに、本開示のいくつかの実施形態は、１つ以上のコンピュータプログラムとして、すなわちデータ処理装置が実行するためにまたはデータ処理装置の動作を制御するために、有形の非一時的なプログラムキャリア上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして、実現することができる。またさらに、プログラム命令は、人為的に生成された伝搬信号上に、たとえば、マシンによって生成された電気、光学、または電磁信号上に、符号化することができる。伝播信号は、データ処理装置が実行するために適切な受信装置に送信される情報を符号化するために生成される。コンピュータ記憶媒体は、マシン読取可能なストレージデバイス、マシン読取可能なストレージ基板、ランダムアクセスメモリデバイスもしくはシリアルアクセスメモリデバイス、またはそれらの１つ以上の組み合わせであってもよい。
【0191】
本開示の実施形態に従うと、「データ処理装置」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するすべての種類の装置、デバイス、およびマシンを包含し得る。装置は、専用論理回路、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含み得る。この装置はまた、ハードウェアに加えて、当該コンピュータプログラムの実行環境を生成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの１つ以上の組み合わせを構成するコードを含み得る。
【0192】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ばれるまたはそういうものとして説明されることもある）は、コンパイルされたもしくは解釈された言語、または宣言的もしくは手続き型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして、任意の形態でデプロイすることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、対応していなくてもよい。プログラムは、他のプログラムまたはデータを保持するファイルの一部に、たとえばマークアップ言語文書に格納された１つ以上のスクリプト、対象プログラム専用の単一ファイル、またはコーディネートした複数のファイル、たとえば１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイルに、格納することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの場所に位置するかもしくは複数の場所に分散され通信ネットワークで相互に接続された複数のコンピュータ上で実行されるようにデプロイすることができる。コンピュータプログラムの実行に適したコンピュータは、一例として、汎用マイクロプロセッサもしくは専用マイクロプロセッサもしくはその両方、または任意の他の種類の中央処理装置に基づいていてもよい。一般的に、中央処理装置は、読出専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受ける。コンピュータの必須要素は、命令を実施または実行するための中央処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータはまた、データを記憶するための１つ以上の大容量記憶装置、たとえば、磁気、光磁気ディスク、もしくは光ディスクを含むか、または、それからデータを受けるかまたはそれにデータを転送するかまたはその両方を行うように、上記ディスクに作動的に結合される。しかしながら、コンピュータはそのようなデバイスを有していなくてもよい。さらに、コンピュータは、別のデバイスに埋め込むことができる。たとえば数例を挙げると、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、グローバルポジショニングシステム（ＧＰＳ）受信機、または携帯型記憶装置、たとえばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに、埋め込むことができる。
【0193】
ユーザとのやり取りを提供するために、本明細書に記載の主題の実施形態を、ユーザに情報を表示するための表示装置、たとえばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタと、ユーザがコンピュータに入力を提供できるようにするキーボードおよびポインティングデバイス、たとえばマウスまたはトラックボールとを有する、コンピュータ上で実現されてもよい。他の種類のデバイスを用いてユーザとのやり取りを提供してもよい。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってもよく、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受けることができる。加えて、コンピュータは、ユーザとのやり取りを、ユーザが使用するデバイスに文書を送信し当該デバイスから文書を受信することによって、たとえばユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受信した要求に応じてウェブページを送信することによって、実現することができる。
【0194】
本明細書に記載の主題の実施形態は、たとえばデータサーバとしてバックエンドコンポーネントを含む、または、ミドルウェアコンポーネント、たとえばアプリケーションサーバを含む、または、フロントエンドコンポーネント、たとえば本明細書に記載の主題の実装形態とユーザがやり取りできるようにするグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータを含む、または、そのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの１つ以上の任意の組み合わせを含む、コンピューティングシステムにおいて実現することができる。システムの構成要素は、デジタルデータ通信の任意の形態または媒体、たとえば通信ネットワークにより、相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、たとえばインターネットを含む。
【0195】
コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、一般的には互いに離れており、典型的には通信ネットワークを通してやり取りする。クライアントとサーバの関係は、各コンピュータ上で実行されクライアントとサーバの相互の関係を有するコンピュータプログラムから発生する。
【0196】
本開示をいくつかの好ましい実施形態を用いて説明してきたが、その他さまざまな適合化および修正を本開示の精神および範囲の中で実施できることが理解されねばならない。したがって、本開示の真の精神および範囲に含まれるこのような変形および修正形をすべてカバーすることが以下の請求項の態様である。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7A】
【図7B】
【図7C】
【図8】
【図9A】
【図9B】
