知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-27
(54)【発明の名称】混合密度ネットワークを使用する多物体測位
(51)【国際特許分類】
G01S 5/02 20100101AFI20240219BHJP
【ＦＩ】
G01S5/02 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023547115
(86)(22)【出願日】2022-01-21
(85)【翻訳文提出日】2023-08-02
(86)【国際出願番号】 US2022070281
(87)【国際公開番号】W WO2022178473
(87)【国際公開日】2022-08-25
(31)【優先権主張番号】17/182,153
(32)【優先日】2021-02-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】ファルハード・ガズヴィニアン・ザンジャニ
(72)【発明者】
【氏名】アラシュ・ベブーディ
(72)【発明者】
【氏名】ダニエル・ヘンドリカス・フランシスカス・ダイクマン
(72)【発明者】
【氏名】イリア・カーマノフ
(72)【発明者】
【氏名】シモーネ・メルリン
(72)【発明者】
【氏名】マックス・ウェリング
【テーマコード（参考）】
5J062
【Ｆターム（参考）】
5J062AA09
5J062BB05
5J062CC11
5J062CC18
(57)【要約】
本開示のいくつかの態様は、物理的空間の中で収集された無線周波数(RF)信号データを受信することと、第1のニューラルネットワークを使用してRF信号データを処理することによって、RF信号データを符号化する特徴ベクトルを生成することと、物理的空間の中の移動物体のセットを示す第1の符号化テンソル、物理的空間の中の移動物体の各々のロケーションを示す第1のロケーションテンソル、および物理的空間の中の移動物体の各々のロケーションの不確実性を示す第1の不確実性テンソルを生成するために、第1の混合モデルを使用して特徴ベクトルを処理することと、第1のロケーションテンソルから少なくとも1つのロケーションを出力することとを備える、混合密度ネットワークを使用する物体測位のための技法を提供する。
【特許請求の範囲】
【請求項1】
物理的空間の中で収集された無線周波数(RF)信号データを受信するステップと、第1のニューラルネットワークを使用して前記RF信号データを処理することによって、前記RF信号データを符号化する特徴ベクトルを生成するステップと、
前記物理的空間の中の移動物体のセットを示す第1の符号化テンソル、
前記物理的空間の中の前記移動物体の各々のロケーションを示す第1のロケーションテンソル、および
前記物理的空間の中の前記移動物体の各々の前記ロケーションの不確実性を示す第1の不確実性テンソルを生成するために、
第1の混合モデルを使用して前記特徴ベクトルを処理するステップと、
前記第1のロケーションテンソルから少なくとも1つのロケーションを出力するステップと
を備える方法。
【請求項2】
前記RF信号データが前記物理的空間の中のRF信号の特性を備え、前記特性が、RFフェージング、RF反射、RF屈折、RF散乱、またはRF減衰のうちの少なくとも1つの結果である、請求項1に記載の方法。
【請求項3】
前記第1の符号化テンソルが、複数の値を指定する一次元テンソルであり、前記第1の符号化テンソルの中の前記複数の値の各それぞれの値が、それぞれの移動物体が前記物理的空間の中にいる確率を示す、請求項1に記載の方法。
【請求項4】
前記複数の値の各それぞれの値に対して、前記第1のロケーションテンソルが、それぞれのガウス分布のそれぞれの平均を指定し、
前記第1の不確実性テンソルが、前記それぞれのガウス分布のそれぞれの共分散行列を指定する、
請求項3に記載の方法。
【請求項5】
前記第1のニューラルネットワークおよび第1の混合モデルが、第1の受信機から収集されたデータに基づいてトレーニングされており、第2のニューラルネットワークおよび第2の混合モデルが、第2の受信機から収集されたデータに基づいてトレーニングされており、
前記方法が、前記少なくとも1つのロケーションを出力する前に前記第2の混合モデルからの第2のロケーションテンソルを前記第1の混合モデルからの前記第1のロケーションテンソルと統合するステップをさらに備える、
請求項1に記載の方法。
【請求項6】
前記第1の不確実性テンソルに基づいて移動物体ごとに移動の方向を決定するステップをさらに備える、請求項1に記載の方法。
【請求項7】
最小しきい値を超える値を有する前記第1の符号化テンソルの中のインデックスのセットを識別するステップと、インデックスの前記セットの中のそれぞれのインデックスごとに、前記第1のロケーションテンソルの中の対応するロケーションを識別するステップと、
前記第1のロケーションテンソルの中の前記識別された対応するロケーションを出力するステップと
をさらに備える、請求項1に記載の方法。
【請求項8】
前記第1の混合モデルが、前記物理的空間のマップに少なくとも部分的に基づいてトレーニングされており、前記マップが、移動物体によって占有され得る有効領域を示し、
前記第1のロケーションテンソルを生成するときに前記有効領域の外側のロケーションに、より小さい確率値が割り当てられるように、前記第1のロケーションテンソルを生成するときに前記有効領域の外側のロケーションにペナルティが課される、
請求項7に記載の方法。
【請求項9】
前記少なくとも1つのロケーションを出力するステップが、前記物理的空間のグラフィカルマップ上に前記少なくとも1つのロケーションを示すステップを備える、請求項1に記載の方法。
【請求項10】
システムであって、コンピュータ実行可能命令を備えるメモリと、
前記コンピュータ実行可能命令を実行し前記システムに動作を実行させるように構成された1つまたは複数のプロセッサとを備え、前記動作が、
物理的空間の中で収集された無線周波数(RF)信号データを受信することと、
第1のニューラルネットワークを使用して前記RF信号データを処理することによって、前記RF信号データを符号化する特徴ベクトルを生成することと、
前記物理的空間の中の移動物体のセットを示す第1の符号化テンソル、
前記物理的空間の中の前記移動物体の各々のロケーションを示す第1のロケーションテンソル、および
前記物理的空間の中の前記移動物体の各々の前記ロケーションの不確実性を示す第1の不確実性テンソルを生成するために、
第1の混合モデルを使用して前記特徴ベクトルを処理することと、
前記第1のロケーションテンソルから少なくとも1つのロケーションを出力することとを備える、
システム。
【請求項11】
前記RF信号データが前記物理的空間の中のRF信号の特性を備え、前記特性が、RFフェージング、RF反射、RF屈折、RF散乱、またはRF減衰のうちの少なくとも1つの結果である、請求項10に記載のシステム。
【請求項12】
前記第1の符号化テンソルが、複数の値を指定する一次元テンソルであり、前記第1の符号化テンソルの中の前記複数の値の各それぞれの値が、それぞれの移動物体が前記物理的空間の中にいる確率を示す、請求項10に記載のシステム。
【請求項13】
前記複数の値の各それぞれの値に対して、前記第1のロケーションテンソルが、それぞれのガウス分布のそれぞれの平均を指定し、
前記第1の不確実性テンソルが、前記それぞれのガウス分布のそれぞれの共分散行列を指定する、
請求項12に記載のシステム。
【請求項14】
前記第1のニューラルネットワークおよび第1の混合モデルが、第1の受信機から収集されたデータに基づいてトレーニングされており、第2のニューラルネットワークおよび第2の混合モデルが、第2の受信機から収集されたデータに基づいてトレーニングされており、
前記動作が、前記少なくとも1つのロケーションを出力する前に前記第2の混合モデルからの第2のロケーションテンソルを前記第1の混合モデルからの前記第1のロケーションテンソルと統合することをさらに備える、
請求項10に記載のシステム。
【請求項15】
前記動作が、前記第1の不確実性テンソルに基づいて移動物体ごとに移動の方向を決定することをさらに備える、
請求項10に記載のシステム。
【請求項16】
前記動作が、最小しきい値を超える値を有する前記第1の符号化テンソルの中のインデックスのセットを識別することと、
インデックスの前記セットの中のそれぞれのインデックスごとに、前記第1のロケーションテンソルの中の対応するロケーションを識別することと、
前記第1のロケーションテンソルの中の前記識別された対応するロケーションを出力することとをさらに備える、
請求項10に記載のシステム。
【請求項17】
前記第1の混合モデルが、前記物理的空間のマップに少なくとも部分的に基づいてトレーニングされており、前記マップが、移動物体によって占有され得る有効領域を示し、
前記第1のロケーションテンソルを生成するときに前記有効領域の外側のロケーションにより小さい確率値が割り当てられるように、前記第1のロケーションテンソルを生成するときに前記有効領域の外側のロケーションにペナルティが課される、
請求項10に記載のシステム。
【請求項18】
前記少なくとも1つのロケーションを出力することが、前記物理的空間のグラフィカルマップ上に前記少なくとも1つのロケーションを示すことを備える、請求項10に記載のシステム。
【請求項19】
1つまたは複数の物体が物理的空間の周囲を移動する間、前記物理的空間の中の信号データレコードのシーケンスを収集するステップと、信号データレコードごとに、前記物理的空間の中で1つまたは複数のカメラを使用して前記1つまたは複数の物体の各々のグラウンドトゥルースロケーションを決定するステップと、
第1のニューラルネットワークおよび第1の混合モデルを使用して前記1つまたは複数の物体の各々の予測されるロケーションを生成するステップと、
前記グラウンドトゥルースロケーションおよび前記予測されるロケーションに基づいて負の対数尤度損失を算出するステップと、
前記物理的空間の中で移動している複数の物体を測位するために前記第1のニューラルネットワークおよび第1の混合モデルがトレーニングされるように、前記負の対数尤度損失に基づいて前記第1のニューラルネットワークおよび前記第1の混合モデルの1つまたは複数のパラメータを改善するステップと
を備える方法。
【請求項20】
前記物理的空間の中の物体の予測される個数を生成するステップをさらに備え、前記第1のニューラルネットワークおよび前記第1の混合モデルの前記1つまたは複数のパラメータを改善するステップが、前記1つまたは複数の物体の実際の個数および物体の前記予測される個数に部分的に基づいて交差エントロピー損失を算出するステップをさらに備える、請求項19に記載の方法。
【請求項21】
前記1つまたは複数の物体の個数を識別するステップと、前記個数を示すグラウンドトゥルース符号化テンソルを生成するステップと
をさらに備える、請求項19に記載の方法。
【請求項22】
前記決定されたグラウンドトゥルースロケーションに基づいてグラウンドトゥルースロケーションテンソルを生成するステップをさらに備える、請求項21に記載の方法。
【請求項23】
前記複数の物体の各それぞれの物体に対してそれぞれの不確実性を決定するステップと、前記決定された不確実性に基づいてグラウンドトゥルース不確実性テンソルを生成するステップと
をさらに備える、請求項22に記載の方法。
【請求項24】
前記それぞれの不確実性を決定するステップが、事前定義された固定の不確実性寸法を識別するステップを備える、請求項23に記載の方法。
【請求項25】
前記負の対数尤度損失が、前記グラウンドトゥルース符号化テンソル、前記グラウンドトゥルースロケーションテンソル、および前記グラウンドトゥルース不確実性テンソルに基づいて算出される、請求項23に記載の方法。
【請求項26】
システムであって、コンピュータ実行可能命令を備えるメモリと、
前記コンピュータ実行可能命令を実行し前記システムに動作を実行させるように構成された1つまたは複数のプロセッサとを備え、前記動作が、
1つまたは複数の物体が物理的空間の周囲を移動する間、前記物理的空間の中の信号データレコードのシーケンスを収集することと、
信号データレコードごとに、前記物理的空間の中で1つまたは複数のカメラを使用して前記1つまたは複数の物体の各々のグラウンドトゥルースロケーションを決定することと、
第1のニューラルネットワークおよび第1の混合モデルを使用して前記1つまたは複数の物体の各々の予測されるロケーションを生成することと、
前記グラウンドトゥルースロケーションおよび前記予測されるロケーションに基づいて負の対数尤度損失を算出することと、
前記物理的空間の中で移動している複数の物体を測位するために前記第1のニューラルネットワークおよび第1の混合モデルがトレーニングされるように、前記負の対数尤度損失に基づいて前記第1のニューラルネットワークおよび前記第1の混合モデルの1つまたは複数のパラメータを改善することとを備える、
システム。
【請求項27】
前記動作が、前記物理的空間の中の物体の予測される個数を生成することをさらに備え、前記第1のニューラルネットワークおよび前記第1の混合モデルの前記1つまたは複数のパラメータを改善することが、前記1つまたは複数の物体の実際の個数および物体の前記予測される個数に部分的に基づいて交差エントロピー損失を算出することをさらに備える、
請求項26に記載のシステム。
【請求項28】
前記動作が、前記1つまたは複数の物体の個数を識別することと、
前記個数を示すグラウンドトゥルース符号化テンソルを生成することと、
前記決定されたグラウンドトゥルースロケーションに基づいてグラウンドトゥルースロケーションテンソルを生成することと、
前記複数の物体の各それぞれの物体に対してそれぞれの不確実性を決定することと、
前記決定された不確実性に基づいてグラウンドトゥルース不確実性テンソルを生成することとをさらに備える、
請求項26に記載のシステム。
【請求項29】
前記それぞれの不確実性を決定することが、事前定義された固定の不確実性寸法を識別することを備える、請求項28に記載のシステム。
【請求項30】
前記負の対数尤度損失が、前記グラウンドトゥルース符号化テンソル、前記グラウンドトゥルースロケーションテンソル、および前記グラウンドトゥルース不確実性テンソルに基づいて算出される、請求項28に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その内容全体が参照により本明細書に組み込まれる、2021年2月22日に出願された米国特許出願第17/182,153号の優先権を主張する。
本出願は、その内容全体が参照により本明細書に組み込まれる、2021年2月22日に出願された米国特許出願第17/182,153号の優先権を主張する。
【0002】
本開示の態様は、ワイヤレス測位に関し、詳細には、多物体測位に関する。
【背景技術】
【0003】
様々な業界においてワイヤレスの知覚および測位がますます普及してきている。たとえば、物体(たとえば、空間の中を移動する人)の屋内測位が、その広範囲の消費者用途およびビジネス用途のために活発に開発されつつある。しかしながら、ワイヤレス測位(特に屋内測位)はまた、特に屋内環境内でのマルチパス信号をモデリングする際の大きい次元および複雑度に関して、厄介な問題であることが判明されている。
【0004】
多物体測位を行うための現在の手法は、一般に、追跡を補助するための信号を送りかつ受信する際に、追跡されつつある物体が能動的な参加者である、アクティブ測位を必要とする。受動測位を達成するためにいくつかの取組みが行われているが、これらの技法は、通常、単一物体追跡に制約される。
【発明の概要】
【課題を解決するための手段】
【0005】
いくつかの態様は、物理的空間の中で収集された無線周波数(RF)信号データを受信することと、第1のニューラルネットワークを使用してRF信号データを処理することによって、RF信号データを符号化する特徴ベクトルを生成することと、物理的空間の中の移動物体のセットを示す第1の符号化テンソル、物理的空間の中の移動物体の各々のロケーションを示す第1のロケーションテンソル、および物理的空間の中の移動物体の各々のロケーションの不確実性を示す第1の不確実性テンソルを生成するために、第1の混合モデルを使用して特徴ベクトルを処理することと、第1のロケーションテンソルから少なくとも1つのロケーションを出力することとを備える、混合密度ネットワークを使用して物体測位を実行するためのコンピュータ実装方法を提供する。
【0006】
いくつかの態様は、複数の物体が物理的空間の周囲を移動する間、物理的空間の中の信号データレコードのシーケンスを収集することと、信号データレコードごとに、物理的空間の中で1つまたは複数のカメラを使用して複数の物体の各々のグラウンドトゥルースロケーションを決定することと、グラウンドトゥルースロケーションに部分的に基づいて負の対数尤度損失を算出することと、物理的空間の中で移動している複数の物体を測位するために第1のニューラルネットワークおよび第1の混合モデルがトレーニングされるように、負の対数尤度損失に基づいて第1のニューラルネットワークおよび第1の混合モデルの1つまたは複数のパラメータを改善することとを備える、物体測位のために混合密度ネットワークをトレーニングするための方法を提供する。
【0007】
さらなる態様は、本明細書で説明する方法を実行するように構成された装置、ならびにデバイスのプロセッサによって実行されたとき、本明細書で説明する方法をデバイスに実行させるコンピュータ実行可能命令を備える非一時的コンピュータ可読媒体に関する。
【0008】
以下の説明および関連図面は、1つまたは複数の態様のいくつかの例示的な特徴を詳細に記載する。
【0009】
添付の図面は、1つまたは複数の態様のうちのいくつかの態様を示し、したがって、本開示の範囲の限定と見なされるべきでない。
【図面の簡単な説明】
【0010】
【図1】本明細書で開示するいくつかの態様による、混合密度ネットワークを使用して多物体測位を行うように構成された測位システムを含む環境を示す図である。
【図2】本明細書で開示するいくつかの態様による、受信機固有の混合密度ネットワークを使用して多物体測位を行うように構成された測位システムを含む環境を示す図である。
【図3】本明細書で開示するいくつかの態様による、基幹機械学習モデルおよび混合密度モデルを使用して多物体測位を行うためのワークフローを示す図である。
【図4】本明細書で開示するいくつかの態様による、多物体測位を行うために混合密度ネットワークをトレーニングするための方法を示すフロー図である。
【図5】本明細書で開示するいくつかの態様による、多物体測位を行うために混合密度ネットワークを使用して信号データを解析するための方法を示すフロー図である。
【図6】本明細書で開示するいくつかの態様による、信号データに基づいて物体測位を行うために混合密度ネットワークを使用するための方法を示すフロー図である。
【図7】本明細書で開示するいくつかの態様による、信号データに基づいて物体測位を行うために混合密度ネットワークをトレーニングするための方法を示すフロー図である。
【図8】本明細書で開示するいくつかの態様による、多物体測位のために混合密度ネットワークをトレーニングおよび利用するように構成された処理システムを示すブロック図である。
【発明を実施するための形態】
【0011】
理解を容易にするために、可能な場合、図面に共通の同一の要素を指定するために同一の参照番号が使用されている。1つの態様の要素および特徴がさらなる記載なく他の態様の中に有益に組み込まれ得ることが企図される。
【0012】
本開示の態様は、受動多物体測位を行うために混合密度ネットワークをトレーニングおよび使用するための装置、方法、処理システム、およびコンピュータ可読媒体を提供する。
【0013】
単一のターゲットを識別および追跡するために信号特性の解析が有用であったが、空間の中の複数の物体への一般化は、現在の技法を使用すると困難または不可能であると判明している。本明細書で開示する態様は、概して、ワイヤレス信号データに基づいて受動多物体測位を行う。態様では、測位は、空間の中の無線周波数(RF)信号特性を使用して遂行される。たとえば、(Wi-Fi(商標)ネットワークなどの)ワイヤレスローカルエリアネットワーク(WLAN)展開において、測位システムは、1つまたは複数の混合密度ネットワーク(MDN:mixture density network)をトレーニングして、空間の中の移動物体(たとえば、人間)の数、各物体のロケーション、および各物体のロケーションを取り巻く不確実性を予測するために、ネットワークに対するチャネル状態情報(CSI:channel state information)を収集および解析し得る。すなわち、ある目的のために(たとえば、空間の中でコンピューティングデバイスとのワイヤレス通信を提供するために)空間の中に様々な信号が存在してよい。本明細書で開示する態様を使用すると、物理的な環境(たとえば、空間の中の物体のロケーション)の特徴を明らかにするために通信チャネルの雑音または他の属性が使用され得る。
【0014】
一態様では、このCSIまたは他の信号データは、伝搬環境の特色、ならびに人物および他の物体の存在を含む、ワイヤレス媒体の中に位置するすべての物体を暗黙的に反映し、システムが物理的空間の中の物体の数および位置を推測することを可能にする。いくつかの態様では、測位システムは、(ニューラルネットワークなどの)基幹モデルおよび混合モデルを各々が備える1つまたは複数のMDNを利用する。
【0015】
基幹モデルは、一般に、入力信号データを特徴空間の中にマッピングし、データを表す特徴ベクトルを生成する。態様では、この特徴ベクトルの次元数は、モデルをトレーニングおよび利用するために必要とされる速度、効率、および計算リソースに作用するように調整され得るハイパーパラメータである。この特徴ベクトルは、次いで、特徴ベクトルに基づいて空間の中の物体の存在およびロケーションを予測するトレーニングされた混合モデルに渡され得る。
【0016】
混合モデルは、所与の観測に対する確率分布を表す確率的モデルである。すなわち、一態様では、混合モデルは、(大部分の典型的なモデルの場合のように)単純な座標ロケーションではなく、確率分布を出力として生成することができる。既存の手法は本質的に単数の物体に限定されるが、これは、システムが複数の物体を良好に一般化し、正確に識別し、同時に追跡することを可能にする。本明細書で説明する混合モデルは、条件付き確率分布(たとえば、任意の条件付き密度関数p(t|x))をモデリングするフレームワークであり、ただし、tはターゲット変数(たとえば、物体ロケーション)であり、xは入力データ(たとえば、空間からの信号データ)である。さらに、少なくともいくつかの態様では、本明細書で説明する混合モデルは入力の関数として雑音を利用する。したがって、ターゲット変数t(たとえば、物体ロケーション)における予測を行うことに加えて、いくつかの態様では、混合モデルは、追加として、予測された値に対する不確実性を推定することができる。
【0017】
このモデルアーキテクチャを利用することによって、測位システムは、空間の中の複数の物体の曖昧さを除去すること、およびそれらのロケーションの正確な予測を生成することができる。対照的に、既存の測位手法は、通常、単一物体追跡に制約されるかまたは複数の物体を追跡するためのアクティブ測位を必要とするかのいずれかである。追加として、態様では、本明細書で説明するMDNは、他の手法よりも高い確度をもたらすことができ、もっと少ないパラメータしか必要としなくてよく、そのことは、トレーニング中のより高速な収束(すなわち、より短いトレーニング時間)、およびモデルをトレーニングするための低減された計算リソースをもたらす。さらに、本明細書で説明するモデルは、環境の知られているマップに依拠する既存の解決策と比較して著しく高い空間分解能を提供することができる。たとえば、いくつかの既存の解決策は、マップ上に個別の画素または領域を生成または識別することによって物体を測位することを伴うが、本開示の態様は、システムが予測の中に著しく高い分解能を提供することを可能にする、継続的な出力を生成するために使用され得る。
【0018】
多物体測位のために混合密度ネットワークを利用する例示的な環境
図1は、本明細書で開示するいくつかの態様による、混合密度ネットワーク130を使用して多物体測位を行うように構成された測位システム125を含む環境100を示す。図示の環境100は、物体115A～Cのセットおよびトランシーバ110を有する物理的空間105を含む。物理的空間105が2次元で図示されるが3次元の物理的空間を表すことに留意されたい。図示したように、トランシーバ110は、物理的空間105の中の信号を送信および受信するように構成される。トランシーバ110は、(たとえば、ワイヤレス測位を行うために取り付けられた)専用デバイスであってよく、または多用途デバイス(たとえば、ワイヤレス接続性を提供するために取り付けられているがワイヤレス測位を行うためにも使用され得るアクセスポイント)であってもよい。
図1は、本明細書で開示するいくつかの態様による、混合密度ネットワーク130を使用して多物体測位を行うように構成された測位システム125を含む環境100を示す。図示の環境100は、物体115A～Cのセットおよびトランシーバ110を有する物理的空間105を含む。物理的空間105が2次元で図示されるが3次元の物理的空間を表すことに留意されたい。図示したように、トランシーバ110は、物理的空間105の中の信号を送信および受信するように構成される。トランシーバ110は、(たとえば、ワイヤレス測位を行うために取り付けられた)専用デバイスであってよく、または多用途デバイス(たとえば、ワイヤレス接続性を提供するために取り付けられているがワイヤレス測位を行うためにも使用され得るアクセスポイント)であってもよい。
【0019】
図示したように、トランシーバ110は、物理的空間105の中で信号120A～Eを送信することができ、信号120A～Eは、空間の中の様々な要素と相互作用(たとえば、それらから反射および屈折すること、それらによって減衰されることなど)してからトランシーバ110に戻る。そのような要素は、一般に、固定物(たとえば、建物、壁、天井、床、柱など)および移動物体(たとえば、人、動物、車両など)を含んでよい。
【0020】
図示の態様では、トランシーバ110は、空間105の中のデバイス117(たとえば、コンピューティングデバイス)と通信するために使用中である。図示したように、トランシーバ110からの信号120Dおよび120Eのうちのいくつかが(直接、あるいは空間105の中の1つまたは複数の物体から反射されるかまたは別様にそれらと相互作用した後)デバイス117に到達するが、他の信号はそうでない。たとえば、信号120Dは直接到達するが、信号120Eは物体115Cから反射する。
【0021】
一態様では、追跡されつつある物体は、信号放出の観点から完全に受動的である。すなわち、信号120は、いかなる物体に関連するデバイス(たとえば、デバイス117)によっても受信される必要がなく、デバイスは、能動的に応答信号をトランシーバ110へ戻して送信する必要がない。代わりに、測位システム125は、物体(たとえば、115A～C)に関して反射、屈折、減衰などによって引き起こされる信号特性を解析する。このことは、人、動物、車両などの(信号放出の観点から)受動的な物体が空間105内に存在し空間105内を移動するとき、測位システム125がそれらの位置を特定しそれらを追跡することを可能にする。屋内の物理的空間105が図示されるが、測位システム125は、(屋外の空間を含む)任意のタイプの環境と一緒に利用されてよい。
【0022】
トランシーバ110は、概して、信号120についての特性を収集し測位システム125に提供するが、他の態様では、トランシーバ110は、様々な信号特性を決定するために、未加工の信号を中間システムに提供してよい。これらの特性は、一般に、トランシーバ110による信号送信と信号受信との間の、物理的空間105の中でのマルチパスフェージング、反射、散乱、および/または減衰の合成結果を反映する。様々な態様では、信号特性は、たとえば、信号強度、信号の位相、信号のキャリア周波数オフセット、信号の信号対雑音比、信号の分散、信号の平均、信号の帯域幅、信号のピーク対平均比、信号のサブキャリア、ならびにハードウェア不完全性に起因する雑音およびひずみの結果を含んでよい。いくつかの態様では、測位システム125は、トランシーバ110からのCSIデータを利用する。
【0023】
態様では、信号120(たとえば、120A～E)は、物理的空間105の中で反射または屈折しながら任意の数の経路を取ることがある。たとえば、いくつかの信号は、物体115から直接反射してからトランシーバ110に戻ることがあるが、他の信号は、(部屋の中の壁などの)1つまたは複数の他の要素から反射してから、物体115から反射しトランシーバ110に戻ることがある(マルチパスと呼ばれる)。物体115はまた、信号を吸収することおよび信号を減衰させることがある。したがって、信号は、まったくトランシーバ110に戻らないか、または著しく劣化した状態で戻るように、反射、屈折、または減衰し得ることが考えられる。いくつかの信号は空間の中のアクティブデバイスに到達し得るが(たとえば、信号120Dおよび120E)、他の信号はそうでない(たとえば、信号120A～C)。物体115A～Cと相互作用するものとして図示される信号120A～Eは概念的な明快のために含められており、当然、トランシーバ110によって受信される任意の数の様々なRF信号があってよい。同様に、空間の中に0個以上のアクティブデバイス(たとえば、デバイス117)があってよい。すなわち、信号が別のアクティブデバイスに到達する(または、アクティブデバイスによって送信される)かどうか、または任意の他のアクティブデバイスが存在するかどうかにさえかかわらず、測位システム125は、空間の中の任意の信号の特性を解析してよい。たとえば、いかなるアクティブデバイスがいかなるRF信号を受信または送信する必要もなく、単一のトランシーバが、RF信号(たとえば、ブロードキャストフレームまたは任意の他の信号)を送信および受信してよく空間の中の(受動的な)物体の存在を検出してよい。
【0024】
図1の図示の態様では、任意の受信信号(たとえば、トランシーバ110によって受信される信号)の信号特性に基づいて、測位システム125は、物理的空間105の中の物体115の位置および/または移動に関係する1つまたは複数の予測135(いくつかの態様では推定とも呼ばれる)を生成する。そうするために、図示の態様では、測位システム125は1つまたは複数のMDN130を利用する。
【0025】
概して、測位システム125は、MDN130をトレーニングするために、いくつかの知られているグラウンドトゥルースデータと一緒に受信信号特性を使用する。2次元もしくは3次元の直交座標の中または(ほんのいくつかの例を挙げれば)極座標の中の符号化された位置などのグラウンドトゥルースデータが、たとえば、画像ベースの追跡システムなどの追加の追跡システムによって提供されてよい。(トレーニングの後の)実行時間において、新たに受信された信号特性を処理して予測135を生成するためにMDN130が使用され得る。
【0026】
いくつかの態様では、MDN130用のトレーニングデータを収集するために、測位システム125は、空間の中の信号データを収集し、同時に、物理的空間105の中の物体(たとえば、人間)の数、ならびにその各々の位置を、任意の好適な知覚データを使用して決定する。たとえば、様々な態様では、トレーニングデータは、物理的空間105の中の深度センサ、物理的空間105の画像をキャプチャするように構成された1つもしくは複数のカメラ、またはRFIDベースの測位システムなどの他の測位システムなどを使用することによって捕捉されてよい。キャプチャされたこのセンサデータを使用して、システムは、(たとえば、画像解析技法を使用して)空間の中の各物体の位置を決定することができる。
【0027】
この信号データは、次いで、決定された物体ロケーション(たとえば、ラベル付けされた位置データ)とともにペアにされてよく、そうした物体ロケーションは、次いで、教師ありトレーニングを通じてMDN130をトレーニングおよび改善するために使用される。少なくとも1つの態様では、トレーニングデータが収集されると、システムは、センサを無効にすることができ(または、センサが除去されてよく)、物体ロケーションを識別するためにMDN130が使用され得る。
【0028】
予測135は、概して、物理的空間105からの現在の信号データに基づいて生成された1つまたは複数のテンソルを含んでよい。一態様では、各予測135は、符号化テンソル、ロケーションテンソル、および不確実性テンソルを含む。
【0029】
符号化テンソルは、概して、部屋の中で検出される物体の個数を示す。一態様では、符号化テンソルはバイナリ値のベクトルであり、ここで、「1」という値は物体の存在を示し、「0」という値は物体がないことを示す。別の態様では、符号化テンソルの中の値は0から1までに及び、ここで、より大きい値は、物体が存在する、より大きい尤度を示す。符号化テンソルの長さは、所与の時間において測位システム125が識別できる固有の物体の個数を制御するハイパーパラメータである。たとえば、符号化テンソルがK=5という次元数を有する場合、測位システム125は、任意の時間において5つの固有の物体を追跡することができる。すなわち、符号化テンソルの中のインデックスkごとに、対応する値は、空間の中に物体がいる確率を示す。
【0030】
一態様では、ロケーションテンソルは、概して、K行を有する2次元行列であり、ここで、各行は符号化テンソルの1つの行に対応する。すなわち、インデックスkごとに、ロケーションテンソルは対応するロケーションを示す。ロケーションテンソルの幅は、物理的空間105の中の関連する次元の数Dによって規定される。すなわち、Dは追跡される次元の数である。たとえば、測位システムが(たとえば、垂直位置を問題にせずに物理的空間105の間取りに沿って)2次元の追跡を行うように構成される場合、ロケーションテンソルは、(たとえば、ほんの2つの例として、直交基準系を使用してxおよびy座標ロケーションを、または極基準系を使用して角度および距離を示す)2つの幅を有してよい。態様では、任意の次元数の、かつ任意の好適な原点を有する、任意の座標系が使用されてよい。少なくとも1つの態様では、システムは、トランシーバ110のロケーションまたは空間105の角に配置された原点を有する直交座標系を利用する(たとえば、すべての他の位置が正の寸法値を表すように、左下角が0,0であってよい)。
【0031】
不確実性テンソルは、概して、ロケーションテンソルの中で示されるような予測されたロケーションの不確実性を示す。そのような1つの態様では、不確実性テンソルは、一般的な共分散行列の形式をなす。すなわち、それは(階数Dの)正方行列であり、ただし、Dは、追跡(たとえば、物理的空間の中での2次元または3次元の追跡)されつつある次元の数であり、予測されたベクトルまたはテンソル(たとえば、ロケーションテンソル)の中の要素の各ペア間の分散を与える。出力される確率分布がK個の成分の混合であるとき、一態様では、不確実性テンソルの次元数はK×D×Dである。
【0032】
たとえば、最大10個の物体を追跡する3次元測位システム125では、不確実性テンソルは10×3×3であってよい。インデックスkごとに、不確実性テンソルは、ロケーションテンソルの中で同じインデックスkによって示される対応するロケーションに対する不確実性(たとえば、各次元に沿った不確実性)を示す。すなわち、ロケーションテンソルが、2次元(x,y)をなす予測ロケーションを含む場合、不確実性テンソルは各次元の不確実性を示す。
【0033】
一態様では、しきい値(たとえば、0.5)を超える、符号化テンソルの中の値ごとに、その値のインデックスは、(ロケーションテンソルからの)対応するロケーションおよび(不確実性テンソルからの)不確実性を識別するために使用される。これらのロケーションおよび不確実性は、次いで、物理的空間105の中の識別された物体およびロケーションとして出力され得る。少なくとも1つの態様では、システムは、空間のマップまたは他のタイプの視覚化もしくは描写の上に物体のいくつかの表示を重ね合わせるためにこれらのロケーションを使用することができ、ユーザが空間の中の移動物体の個数および位置を迅速に確認することを可能にする。
【0034】
態様では、測位システム125は、様々な技法を使用して移動物体(たとえば、物体115A～C)と静的物体(たとえば、壁および家具)との間を区別することができる。いくつかの態様では、測位システム125は、移動物体のパターンを静的物体から弁別するためにドップラー効果を利用する。人間を含む、RF信号を反射または散乱させる任意の移動物体が、データのユニット(たとえば、WiFiネットワークにおけるパケット)にわたる信号の変化を時間にわたって解析することによって検出可能なドップラー効果を引き起こす。いくつかの態様では、MDN130は、連続する複数のパケットを処理できるので、静的物体と比較して、移動物体の方向から特徴の異なるセットを抽出し得る。このことは、測位システム125が移動物体を識別するとともに静的物体を無視することを可能にすることができる。
【0035】
追加として、いくつかの態様では、測位システムは、物体115が空間の中の人間に相当するとき、追加の考慮事項、すなわち、知られている人体反射損失経路を利用することができる。反射性の損失は、通常、異なる物体にとって異なることが知られており、損失のいくつかの様相は空間の中の人体の表示であり得る。電磁的な吸収および散乱の量を示す物体表面の特性に加えて、誘電率が、物体に浸透する信号の量およびそこから反射する量を規定する。一般に、異なる材料および物体は、異なる表面および誘電率を有する。一態様では、人体の方向から到達される、経路からのそのような反射損失は、(静的物体ではなく)環境の中の人間の存在およびロケーションの表示であってよい。
【0036】
いくつかの態様では、測位システム125は、移動物体と静的物体とを区別するためにデータ駆動型学習技法を利用するので、これらの要因は、実行時間中に明示的に決定および評価されるのではなく、トレーニング中に暗黙的に学習されてよい。
【0037】
多物体測位のために受信機固有の混合密度ネットワークを利用する例示的な環境
図2は、本明細書で開示するいくつかの態様による、受信機固有の混合密度ネットワーク130を使用して多物体測位を行うように構成された測位システム125を含む環境200を示す。
図2は、本明細書で開示するいくつかの態様による、受信機固有の混合密度ネットワーク130を使用して多物体測位を行うように構成された測位システム125を含む環境200を示す。
【0038】
図示の態様では、物理的空間205は、単一の送信機210および2つの受信機215A～Bを含む。態様では、空間の中に任意の数の送信機および受信機があってよい。さらに、いくつかの態様では、上記で説明したように、送信機210および受信機215の各々はトランシーバであってよい。いくつかの態様では、複数の受信機を使用することは、空間のより良好なカバレージをもたらしてよく、より正確な測位を可能にする。図示したように、送信機210は、概して、RF信号225を物理的空間205の中に放出し、RF信号225は、空間の中の物体220と相互作用してから1つまたは複数の受信機215によって検出され得る。
【0039】
たとえば、信号225Aは、物体220Aから反射され受信機215Aによって受信されるが、信号225Bは、物体220Aから反射され受信機215Bによって受信される。当然、態様では、空間を横断する任意の数の信号があってよく、そのうちのいくつかは物体220と相互作用し、そのうちのいくつかはそうでない。同様に、信号のうちのいくつかは、1つまたは複数の受信機215によって受信されることがあるが、他の信号はそうでない。
【0040】
図示の環境200では、測位システム125は、物体測位を実行するためにMDN130のセットを利用する。一態様では、各MDN130は物理的空間205の中の特定の受信機215に対応する。すなわち、両方の受信機215A～Bからの信号に基づいてトレーニングされる共有モデルまたは重複モデルではなく、各受信機215からの信号データが、対応するMDN130をトレーニングするために使用され得る。そのような受信機固有モデルの使用は、環境の複数の異なる観点を有益に与えることができ、時間における各点に対して複数の推定が生成されることを可能にする。一態様では、実行時間中に、各受信機215A～Bからの信号データが、対応する受信機固有のMDN130を使用して解析される。いくつかの態様では、受信機固有のMDN130は、最終的な出力予測を生成するための全体的効果(ensemble)として働く。このことは、(たとえば、信頼性が高い出力を生み出したモデルのほうを優先して、確実性が低いモデルは無視され得るかまたは小さい重みが割り当てられ得るので)予測の確度を改善することができる。
【0041】
いくつかの態様では、測位システム125は、次いで、各MDN130によって出力された予測135を統合する。このことは、各モデルが受信機215ごとに固有のRF概観(RF view)を学習することができるので、空間205の中でのより正確な測位を可能にすることがある。追加として、空間全体にわたって物体が移動するにつれて、各物体から各受信機までの距離が著しく変化する場合がある。所与の受信機のより近くの物体が、より強いアーティファクトを信号データの中に生み出す傾向があるので、複数の受信機215を使用することは、物体がどこにいるのかにかかわらず(たとえば、単一の受信機の特に近くにいるかどうかにかかわらず)システムが正確な予測を生成することを可能にすることができる。
【0042】
混合密度ネットワークを使用する多物体測位のための例示的なワークフロー
図3は、本明細書で開示するいくつかの態様による、基幹機械学習モデルおよび混合密度モデルを使用して多物体測位を行うためのワークフロー300を示す。図示の態様では、混合密度ネットワークは、基幹モデル315と混合モデル330との組合せである。態様では、基幹モデル315と混合モデル330とを組み合わせることは、単純な座標ではなく確率分布を伴う、より正確な予測をシステムが生成することを可能にすることができる。
図3は、本明細書で開示するいくつかの態様による、基幹機械学習モデルおよび混合密度モデルを使用して多物体測位を行うためのワークフロー300を示す。図示の態様では、混合密度ネットワークは、基幹モデル315と混合モデル330との組合せである。態様では、基幹モデル315と混合モデル330とを組み合わせることは、単純な座標ではなく確率分布を伴う、より正確な予測をシステムが生成することを可能にすることができる。
【0043】
図示したように、受信機305から信号データ310が受信される。少なくとも1つの態様では、受信機305から直接、未加工データが受信されるのではなく、信号データ310は、(たとえば、成分を事前処理することによって)いくつかの形式で符号化またはベクトル化される。さらに、いくつかの態様では、信号データ310は、部分的には、未加工データに対してフィルタ処理、高速フーリエ変換などの1つまたは複数の演算または変換を実行することによって生成される。上記で説明したように、信号データ310はチャネル状態情報を含むことができ、概して、物理的空間の中のRF媒体の特性を示す。たとえば、特性は、空間の中でのRFフェージング、RF反射、RF屈折、RF散乱、および/またはRF減衰の合成結果であってよい。いくつかの態様では、信号データ310は、追加として、RF信号にとっての到来角、発射角、飛行時間、およびドップラーシフトデータなどの、レーダー特徴を含む。
【0044】
図示のワークフロー300では、信号データ310は基幹モデル315に提供される。基幹モデル315は、概して、全体的なMDNの特徴抽出部分として働く。一態様では、基幹モデル315はニューラルネットワークである。このニューラルネットワークは、畳み込みニューラルネットワーク、多層パーセプトロンネットワークなどを含む、様々なアーキテクチャを利用することができる。少なくとも1つの態様では、基幹モデル315はResNet18アーキテクチャなどの既製のアーキテクチャを利用する。図示の態様では、基幹モデル315は一連の層320A～Cを含む。3つが図示されるが、基幹モデル315の中に任意の数の層があってよい。一態様では、基幹モデル315はいくつかの2次元畳み込み層からなる。層315はまた、再帰接続、プーリング、正規化、非線形演算などの、他の処理態様を含んでよい。
【0045】
図示したように、基幹モデル315は特徴ベクトル325を出力する。いくつかの態様では、この特徴ベクトル325は、信号データ310から層315によって抽出された顕著な特徴を表す高次元(たとえば、128次元)のベクトルである。態様では、この特徴ベクトル325の次元数は構成可能なハイパーパラメータである。すなわち、基幹モデル315は、任意の所望のサイズの特徴ベクトル325を生み出すようにトレーニングされ得る。いくつかの態様では、システムは、事前トレーニングされた基幹モデル315を利用することができる。
【0046】
この特徴ベクトル325は、次いで、混合モデル330に提供される。図示のワークフロー300では、混合モデル330は3つの線形層335A～Cからなり、各層は出力(たとえば、テンソル)のセットを生み出す。詳細には、図示の態様では、層335Aが符号化テンソル340を出力し、層335Bがロケーションテンソル345を出力し、層335Cが不確実性テンソル350を出力する。示した図は理解しやすいように一次元テンソルを示唆するが、態様では、符号化テンソル340、ロケーションテンソル345、および不確実性テンソル350は各々、任意の次元数のものであってよい。図示のワークフロー300の中に示さないが、少なくとも1つの態様では、層335Aは、符号化テンソル340の中の各値が0から1までに及ぶようなシグモイド出力関数を利用する。
【0047】
集合的に、一態様では、符号化テンソル340、ロケーションテンソル345、および不確実性テンソル350は、組み合わせられるとガウス分布のセットを表すことができる。そのような一態様では、空間の中の各物体の位置は、多次元の確率分布としてモデリングされる。インデックスkごとに、ロケーションテンソル345の中で示される値は、物体のロケーションに対応するガウス分布の中心を表す。不確実性テンソル350の中で示される値は、その位置の不確実性を示し、ガウス分布の共分散を制御する。すなわち、ロケーションテンソル345は事実上、次元ごとにガウス確率分布の平均を符号化し、不確実性テンソルは、次元ごとにガウス確率分布の分散を符号化する。
【0048】
さらに、そのような一態様では、符号化テンソル340の中の対応する値は、環境の中に何個の物体があるのか、および使用可能なデータを他のテンソルが有するかどうかを示すための、寄与重みとして使用され得る。すなわち、インデックスkごとに、符号化テンソル340の中の対応する値は、ロケーションテンソル345および不確実性テンソル350の中の対応する値が、(たとえば、空間の中の物体のロケーションを表す可能性がある)有効なデータを含むのか、それとも(たとえば、それらが空間の中の物体に対応する可能性がない)ジャンクデータを含むのかを決定するために、1つまたは複数のしきい値と比較され得る。いくつかの態様では、符号化テンソルを評価するために使用されるしきい値は、最適値を決定するために、検証セットに対して交差検証技法を使用して決定され得る。
【0049】
一態様では、(基幹モデル315および混合モデル330を含む)全体的なMDNが、逆誤差伝搬法および勾配降下法を使用してエンドツーエンドでトレーニングされる。ラベル付けされたトレーニングデータを収集するために、一態様では、1つまたは複数のセンサ(たとえば、カメラ)が空間からのデータをキャプチャする間、タイプスタンプが付けられた信号データが物理的空間に対して収集される。キャプチャされたこのデータは、(たとえば、画像解析を使用して)空間の中の各移動物体の個数およびロケーションを識別するために使用され得る。時間に基づいて信号データとセンサデータとを相関させることによって、システムはラベル付けされたトレーニングデータを生成することができ、ここで、信号データの各要素(たとえば、特定のタイムスタンプにおいて遭遇されるRF特性)は、空間の中の各移動物体の個数およびロケーションを用いてラベル付けされる。
【0050】
少なくとも1つの態様では、符号化テンソル340に対するグラウンドトゥルースラベルはバイナリベクトルであり、ここで、1という値は物体の存在を示し、0という値は物体がないことを示す。たとえば、所与の時間において空間の中に3つの物体が存在する場合、その時間からのRFデータに関連する符号化ラベルは[1,1,1,0,...,0]であってよい。
【0051】
一態様では、このベクトルの並べ替えは、個々の物体のその表された数量に影響を及ぼさない。すなわち、第1のベクトル[0,1,0,1]および第2のベクトル[1,0,1,0]は、その両方が2つの物体の存在を示すので等価と見なされる。そのような一態様では、真のグラウンドトゥルース符号化ベクトルを生成された符号化テンソル340と比較するために、測位システムは2つのテンソル間の距離を算出する。
【0052】
別の態様では、符号化テンソルを埋める順序は、テンソルの中の最初の要素から始まる。たとえば、[0,0,0,0]は部屋の中に移動物体が存在しないことを示し、[1,0,0,0]は1つの物体の存在を示し、[1,1,0,0]は2つの物体の存在を示す。そのような一態様では、グラウンドトゥルースラベルと生成された符号化テンソル340との間の比較は、2つのテンソルの対応する各要素間のバイナリ交差エントロピー損失を算出することによって遂行され得る。
【0053】
ロケーションテンソル345に対するグラウンドトゥルースを提供するために、測位システム(たとえば、図1の中の125)は、空間の中の各物体の決定された座標ロケーションを使用してよい。一態様では、不確実性テンソル350に対するグラウンドトゥルースラベルは、固定の事前定義された不確実性(たとえば、各方向において10cm)である。別の態様では、(たとえば、1つまたは複数のカメラを使用して)トレーニングデータを生成するために、人間のロケーションを測定する際の誤差に基づいてグラウンドトゥルース不確実性が決められる。
【0054】
MDNをトレーニングするために、一態様では、測位システムは、(たとえば、時間的にある瞬間において収集された)所与のタイムスタンプに関連する信号データを入力として、かつタイムスタンプに対するグラウンドトゥルースの中のすべてのガウス分布の重ね合わせを、反復的に利用し、生成されたテンソルをグラウンドトゥルースと比較することによって損失を算出する。すなわち、空間の中の各物体が、対応するグラウンドトゥルースガウス分布に関連付けられ、かつ複数の物体を同時に追跡するようにモデルがトレーニングされるので、トレーニングレコードごとに各物体にとっての別個のガウス分布が組み合わせられて重ね合わせグラウンドトゥルースになり得る。
【0055】
一態様では、損失は、2つの項、すなわち、生成されたテンソルとグラウンドトゥルースとの間の負の対数尤度損失(LNLL)、ならびに部屋の中の人間または他の物体の数を表す生成された符号化テンソルおよびグラウンドトゥルーステンソルにわたる交差エントロピー損失(LCE)を備える。逆誤差伝搬法および勾配降下法を利用することによって、基幹モデル315および混合モデル330のパラメータが反復的に改善される。
【0056】
少なくとも1つの態様では、不確実性テンソル350に対するグラウンドトゥルースとして共分散行列を利用することに加えて、測位システムはまた、空間の中のターゲット移動方位を符号化するために共分散行列を使用することができる。
【0057】
概して、各共分散行列は、分散の概念を複数の次元に一般化する。いくつかの実装形態では、システムは、対角において一定の固有の値を有する対角共分散行列を使用する。このことは、システムが中心点の周囲で各軸に対して一定の等しい不確実性を考慮に入れたことを示す。いくつかの態様では、測位システムは、対角共分散行列を、行列の要素が空間の平面の中での移動の方位を表す完全行列と置き換えることによって、各物体の移動の方向を符号化することができる。
【0058】
一態様では、共分散行列は、ロケーションテンソルの要素の各ペア間の分散を示す。モデルへの入力が、連続するN個のパケットのシーケンスであり得るので、物体の移動方向/方位は、これらのN個のパケットが受信される間、行列の中の分散の異なるスケーリングによって符号化され得る。たとえば、45度の角度を伴って2次元直交座標系の中で物体が対角線方向に移動していることを考える。一態様では、その2つの非対角エントリよりも大きい、共分散行列の主対角が作成され得る。そのような場合、類似の共分散行列を予測することによって、MDNは、その出力において動きの方位/方向を復号することができる。そのような一態様では、予測された不確実性テンソル350は、したがって、各物体の移動方位/方向を復号するために評価され得る。
【0059】
いくつかの態様では、システムは、時間的な依存関係なしに各ターゲット物体のロケーションを推定する。すなわち、システムは、いかなる事前の信号特性および/または推定ロケーションも考慮に入れることなく、所与の瞬間または時間ウィンドウの間、物体のロケーションおよび/または移動を予測するために、その瞬間または時間ウィンドウに対する信号特性を評価してよい。しかしながら、少なくとも1つの態様では、システムは、この事前データを組み込むために様々な技法を使用することができる。たとえば、システムは、時間的な平滑化技法(たとえば、カルマンフィルタ処理プロセス)を後処理ステージとして使用してよい。別の例として、システムは、この時間的なデータを考慮に入れるために、ネットワークのアーキテクチャの中で再帰層(たとえば、LSTM、GRU)を使用してよく、または標準的な畳み込み演算子を、入力のシーケンスに対してカーネルが適用される略式の畳み込み演算子に置き換えてもよい。
【0060】
いくつかの態様では、MDNは、ランダム化された重みを用いて初期化され、トレーニングデータを使用して反復的に改善される。少なくとも1つの態様では、モデルは、環境のジオメトリについての知られている情報に基づいて規則化され得る。たとえば、測位システムは、システムが展開されることになる建物間取りの2次元マップを受信してよい。一態様では、人物または他の物体の存在の可能性が低い場合、マップは小さい確率値を示すことができる。
【0061】
上記で説明したように、MDNの出力は座標系における移動物体の位置である。概して、環境ジオメトリについての事前情報を考慮に入れないことによって、任意の所与の点における人物の存在の確率は一様分布を有する。しかしながら、建物および他の物理的空間の中でシステムを展開することは、空間の中の物体の存在にいくつかの制約を課す。たとえば、物体は、すでに他の物体(たとえば、壁、戸棚など)によって占有されている場所において検出されないはずである。モデルは、ロケーションテンソルを生成するときに有効領域の外側のロケーションにより小さい確率値が割り当てられるように、事前定義されたこれらの有効でないロケーションにおける検出にペナルティを課すことを学習できるので、これらの静的物体の表示を事前情報として提供することは測位作業を改善することができる。すなわち、システムは、物体の存在の可能性が低い領域を無視することを学習することができる。このことは、偽陽性検出誤りを著しく減らすことができる。
【0062】
多物体測位のために混合密度ネットワークをトレーニングするための例示的な方法
図4は、本明細書で開示するいくつかの態様による、多物体測位を行うために混合密度ネットワークをトレーニングするための方法400を示すフロー図である。一態様では、方法400は、図1の測位システム125によって実行される。他の態様では、MDNをトレーニングして空間の中の任意の個数の物体を測位および追跡するために、1つまたは複数の他の構成要素またはシステムが方法400を実行してよい。
図4は、本明細書で開示するいくつかの態様による、多物体測位を行うために混合密度ネットワークをトレーニングするための方法400を示すフロー図である。一態様では、方法400は、図1の測位システム125によって実行される。他の態様では、MDNをトレーニングして空間の中の任意の個数の物体を測位および追跡するために、1つまたは複数の他の構成要素またはシステムが方法400を実行してよい。
【0063】
方法400はブロック405において開始し、ここで、測位システムは、物理的空間に対する信号データを受信する。一態様では、上記で説明したように、この信号データは、空間の中の1つまたは複数のRF信号の特性を含む。たとえば、信号データは、空間の中の1つまたは複数のワイヤレスネットワークからのCSIを備えてよい。上記で説明したように、RF信号は、物体識別以外の目的のために(たとえば、コンピューティングデバイス間の通信のために)使用されてよい。とはいえ、これらの信号の特性は、物体測位を実行するために、本明細書で開示する態様によって使用されてよい。信号データは、概して、RF環境を表し空間の中の物体の位置を暗黙的に符号化する。
【0064】
方法400は、次いで、ブロック410に続き、ここで、測位システムは、信号データが収集された時間において空間の中に存在する物体の個数を決定する。一態様では、測位システムは、対応する時間において1つまたは複数のカメラによってキャプチャされた1つまたは複数の画像を解析すること、および各画像の中の物体(たとえば、人間)を識別することによって、それを行う。ユーザの決定されたこの人数は、信号データに対するグラウンドトゥルースとして使用され得る。いくつかの態様では、物体の実際の個数を決定するのではなく、システムは、単に空間の中の1つまたは複数の物体の存在を検出することができる。
【0065】
ブロック415において、測位システムは、空間の中の識別された各物体のロケーションを識別する。上記で説明したように、いくつかの態様では、測位システムは、空間の中の各移動物体のロケーションを決定するために、空間のキャプチャされた1つまたは複数の画像の画像解析を利用するが、上記で説明したように他のアクティブ測位方法が使用され得る。一態様では、決定されたこれらのロケーションは、生成されるロケーションに対するグラウンドトゥルースとして働く。少なくとも1つの態様では、測位システムはまた、位置に対するグラウンドトゥルース不確実性を生成または決定する。このことは、限定はしないが、事前定義された不確実性(たとえば、10センチメートル)を利用すること、ロケーション決定によって持ち込まれる不確実性(たとえば、画像解析における不確実性または誤差)を決定することなどを含むことができる。
【0066】
方法400は、次いで、ブロック420に進み、ここで、測位システムは、上記で説明したように、MDNを使用して符号化テンソル、ロケーションテンソル、および不確実性テンソルを生成する。そうするために、測位システムは、概して、特徴ベクトルを出力する基幹モデル(たとえば、ニューラルネットワーク)に入力として信号データを提供する。この特徴ベクトルは、次いで、混合モデルへの入力として使用され、混合モデルは、その各々がそれぞれの出力テンソルに対応する3つの線形層を含む。
【0067】
ブロック425において、測位システムは、グラウンドトゥルースと生成されたテンソルとを比較して予測に対する負の対数尤度損失LNLLを算出する。一態様では、測位システムは下の式1を使用してそれを行い、ただし、θは基幹モデルと混合モデルとの結合パラメータを表す。上記で説明したように、システムは、概して、個別の基幹ネットワークおよび混合モデルを利用してよい。態様では、システムアーキテクチャは基幹モデルの特定のアーキテクチャに限定されない。しかしながら、この分割にもかかわらず、測位システムは、エンドツーエンドでトレーニングされる統合モデルとしてそのモデルを扱う。したがって、θは、すべての学習パラメータ、すなわち、基幹モデルと混合モデルの両方の学習パラメータからなる。これらの結合パラメータは共同でトレーニングされ、予測のために一緒に使用される。
【0068】
下の式1において、Kは追跡され得る移動物体の最大数であり、πgtは存在する物体の個数を示すグラウンドトゥルースバイナリベクトルであり、μgtは空間の中の各物体のグラウンドトゥルース座標位置であり、Σgtは各物体の位置不確実性(および、いくつかの態様では移動方向)を表すグラウンドトゥルース共分散行列である。
【0069】
【数1】
【0070】
方法400は、次いで、ブロック430に続き、ここで、測位システムは、グラウンドトゥルース符号化テンソル(空間の中の物体の決定された個数に基づいて生成される)と生成された符号化テンソル(物体の個数を予測するためにMDNによって生成される)との間の交差エントロピー損失LCEを算出する。一態様では、モデルにとっての全体的な損失Lが、次いで、LNLL+λLCEとして算出され得、ただし、λは、交差エントロピー損失の寄与重みに対応する構成可能なハイパーパラメータである。
【0071】
態様では、損失項の間の寄与重みλは、実験によってかつ/または交差検証セットを使用して調整され得る。概して、λを小さくすることは、物体の真の検出および位置特定と一緒に疑わしい予測が出現することにつながる。予測される分布は、物体の正確なロケーション上だけでなく環境の中で追跡され得るすべてのK個のロケーション上にもピークを有するので、そのような疑わしい検出が起こる。一方、λを大きくすることは測位性能を劣化させるが、(物体のロケーションを推定する際にモデルがさほど正確でない場合でも)空間の中の物体の個数を予測する際にモデルがより良好に働き得る。
【0072】
ブロック435において、この損失は、次いで、逆誤差伝搬法および勾配降下法を介してMDNを改善するために使用される。すなわち、基幹ネットワークおよび混合モデルの重みまたは他のパラメータはともに、算出された損失に基づいて改善され得る。このようにして、MDNは、より正確な出力テンソルを生成するように反復的に学習する。
【0073】
方法400は、次いで、ブロック440に続き、ここで、測位システムは、トレーニングが完了したかどうかを決定する。一態様では、このことは、モデルの確度または性能を評価することを含む。モデル性能がいくつかの規定された基準を満たすかまたはそれを超える場合、一態様では、測位システムは、トレーニングが完了していることを決定し、方法400はブロック445に進む。他の態様では、基準は、追加のトレーニングデータが利用可能であるかどうかを決定することを含んでよい。そうである場合、トレーニングは完了していない。また別の態様では、基準は、決定された回数のトレーニング反復が完了されていることを含んでよい。
【0074】
トレーニングが完了していない場合、方法400はブロック405に戻って入力データの次のセットを処理する。トレーニングが完了している場合、方法400はブロック445に続き、ここで、測位システムは、トレーニングされたMDNを実行時間中の使用のために展開する。このことは、(カメラなどの)他のセンサデバイスの使用を伴わずにRF信号特性(たとえば、ワイヤレスネットワーク信号の特性)に基づいて、測位システムが空間の中の物体の個数および位置を識別することを可能にする。
【0075】
多物体測位のために混合密度ネットワークを利用するための例示的な方法
図5は、本明細書で開示するいくつかの態様による、多物体測位を行うために混合密度ネットワークを使用して信号データを解析するための方法500を示すフロー図である。一態様では、方法500は測位システム(たとえば、図1の測位システム125)によって実行される。
図5は、本明細書で開示するいくつかの態様による、多物体測位を行うために混合密度ネットワークを使用して信号データを解析するための方法500を示すフロー図である。一態様では、方法500は測位システム(たとえば、図1の測位システム125)によって実行される。
【0076】
方法500はブロック505において開始し、ここで、物理的空間に対する信号データが測位システムによって受信される。上記で説明したように、信号データは、物体識別以外の目的のために(たとえば、コンピューティングデバイス間の通信のために)使用されるRF信号に対応し得る。とはいえ、これらの信号の特性は、物体測位を実行するために、本明細書で開示する態様によって使用されてよい。一態様では、信号データは、空間の中の1つまたは複数のワイヤレスネットワークからのCSIを含む。上記で説明したように、信号データは、概して、信号が空間の中の物理的な物体と相互作用する結果としての、空間の中のRF環境を反映する。
【0077】
方法500は、次いで、ブロック510に続き、ここで、測位システムは、トレーニングされた基幹ニューラルネットワークを使用して、受信された信号データを処理して、特徴ベクトルを生成する。すなわち、測位システムは、その出力部において特徴ベクトルを生成するネットワークへの入力として、信号データを提供することができる。
【0078】
ブロック515において、測位システムは、トレーニングされた混合モデルを使用してこの特徴ベクトルを処理して、空間の中の任意の物体のロケーションを示す出力テンソルのセットを生成する。一態様では、出力テンソルのセットは、物体の個数を示す符号化テンソル、識別された各物体の座標位置を示すロケーションテンソル、および識別された各物体に対するロケーション不確実性を示す不確実性テンソルを含む。方法500は、次いで、ブロック520に続く。
【0079】
ブロック520において、測位システムは解析のためのインデックス値kを選択する。一態様では、測位システムが出力テンソルを評価するために連続的にまたは並行して各インデックスを通じて反復するにつれて、測位システムは、様々な技法を使用してインデックスを選択してよい。
【0080】
方法500はブロック525に進み、ここで、測位システムは、符号化テンソルの中の、選択されたインデックスkにおける対応する値が、規定されたしきい値を超えるかまたは規定されたいくつかの他の基準を満たすかどうかを決定する。一態様では、このしきい値は、値が0.5よりも大きくなくてはならないことを示す。いくつかの態様では、しきい値は、偽陽性(たとえば、何も存在しない場所で誤って物体を識別すること)および偽陰性(たとえば、空間の中に物体がないことを誤って決定すること)を防止するために手作業でまたは自動的に構成され得る。
【0081】
符号化ベクトルの中の対応する値が基準を満たさない場合、方法500はブロック545に続く。しかしながら、その値が基準を満たす場合、方法500はブロック530に続く。ブロック530において、測位システムは、ロケーションテンソルの中の、選択されたインデックスkにおける対応する値を識別する。すなわち、測位システムは、選択されたインデックスに対する、ロケーションテンソルの中で示される座標を決定する。上記で説明したように、一態様では、ロケーションテンソルは、一般に、各インデックスにおける座標値を含んでよいが、これらの値のサブセットだけが有効である。符号化テンソルを評価することによって、測位システムはどのロケーション値が有効であるのかを決定することができる。
【0082】
方法500は、次いで、ブロック535に続き、ここで、測位システムは、不確実性テンソルの中の、選択されたインデックスkにおける対応する値を識別する。すなわち、測位システムは、選択されたインデックスに対する、不確実性テンソルの中で示される不確実性値を決定する。上記で説明したように、一態様では、不確実性テンソルは、一般に、各インデックスにおける値を含んでよいが、これらの値のサブセットだけが有効である。符号化テンソルを評価することによって、測位システムはどの不確実性値が有効であるのかを決定することができる。
【0083】
ブロック540において、測位システムは、次いで、少なくとも決定されたロケーションをロケーションテンソルから出力する。いくつかの態様では、測位システムは決定された不確実性も出力する。態様では、この出力は任意の数の形態をとることができる。たとえば、一態様では、測位システムは、(たとえば、マップ上のロケーションにおいて物体またはいくつかの他の識別子を置くことによって)グラフィカルユーザインターフェース(GUI)上で出力される空間のマップ上にロケーションの表示を重ね合わせる。いくつかの態様では、測位システムは、予測されたロケーションを取り巻くヒートマップ、または不確実性のゾーンを示す、予測されたロケーションの周囲の囲み円(または、他の形状)を示すことなどによって、不確実性も出力する。
【0084】
少なくとも1つの態様では、不確実性テンソルが移動方向も符号化する場合、測位システムは、(たとえば、物体が移動している方向を示すための矢印を使用して)この方向の表示も出力することができる。追加として、いくつかの態様では、すべてのインデックスが反復されていると、測位システムは、検出された物体の総数の表示も出力してよい。
【0085】
方法500は、次いで、ブロック545に続き、ここで、測位システムは、評価されていない少なくとも1つの残りのインデックスがあるかどうかを決定する。そうである場合、方法500はブロック520に戻る。そうでない場合、方法500はブロック550において終了する。
【0086】
いくつかの態様では、方法500は、新たな信号データが受信されるたびに繰り返される。たとえば、信号データが経時的に受信される場合、測位システムは、そのデータを反復的に処理することができ、更新されたロケーションを経時的に出力することができる。このことは、物体移動が経時的に追跡されることを可能にする。
【0087】
混合密度ネットワークを利用するための例示的な方法
図6は、本明細書で開示するいくつかの態様による、信号データに基づいて物体測位を行うために混合密度ネットワークを使用するための方法600を示すフロー図である。
図6は、本明細書で開示するいくつかの態様による、信号データに基づいて物体測位を行うために混合密度ネットワークを使用するための方法600を示すフロー図である。
【0088】
方法600はブロック605において開始し、ここで、測位システムは、物理的空間の中で収集されたRF信号データを受信する。
【0089】
いくつかの態様では、RF信号データは、物理的空間の中のRF信号の特性を備える。追加として、いくつかの態様では、特性は、RFフェージング、RF反射、RF屈折、RF散乱、またはRF減衰のうちの少なくとも1つの結果である。
【0090】
ブロック610において、測位システムは、第1のニューラルネットワークを使用してRF信号データを処理することによって、RF信号データを符号化する特徴ベクトルを生成する。
【0091】
方法600は、次いで、ブロック615に続き、ここで、測位システムは、物理的空間の中の移動物体のセットを示す第1の符号化テンソル、物理的空間の中の移動物体の各々のロケーションを示す第1のロケーションテンソル、および物理的空間の中の移動物体の各々のロケーションの不確実性を示す第1の不確実性テンソルを生成するために、第1の混合モデルを使用して特徴ベクトルを処理する。
【0092】
いくつかの態様では、第1の符号化テンソルは、複数の値を指定する一次元テンソルであり、ここで、第1の符号化テンソルの中の複数の値の各それぞれの値は、それぞれの移動物体が物理的空間の中にいる確率を示す。
【0093】
いくつかの態様では、符号化テンソルの中の複数の値の各それぞれの値に対して、第1のロケーションテンソルは、それぞれのガウス分布のそれぞれの平均を指定し、第1の不確実性テンソルは、それぞれのガウス分布のそれぞれの共分散行列を指定する。
【0094】
さらに、ブロック620において、測位システムは、第1のロケーションテンソルから少なくとも1つのロケーションを出力する。いくつかの態様では、少なくとも1つのロケーションを出力することは、物理的空間のグラフィカルマップ上に少なくとも1つのロケーションを示すことを備える。
【0095】
いくつかの態様では、第1のニューラルネットワークおよび第1の混合モデルは、第1の受信機から収集されたデータに基づいてトレーニングされており、第2のニューラルネットワークおよび第2の混合モデルは、第2の受信機から収集されたデータに基づいてトレーニングされており、方法600は、少なくとも1つのロケーションを出力する前に第2の混合モデルからの第2のロケーションテンソルを第1の混合モデルからの第1のロケーションテンソルと統合することをさらに備える。
【0096】
いくつかの態様では、方法600は、第1の不確実性テンソルに基づいて移動物体ごとに移動の方向を決定することをさらに備える。
【0097】
いくつかの態様では、方法600は、最小しきい値を超える値を有する第1の符号化テンソルの中のインデックスのセットを識別することをさらに備える。そのような1つの態様では、インデックスのセットの中のそれぞれのインデックスごとに、方法600は、第1のロケーションテンソルの中の対応するロケーションを識別することと、第1のロケーションテンソルの中の識別された対応するロケーションを出力することとを含む。
【0098】
いくつかの態様では、第1の混合モデルは、物理的空間のマップに少なくとも部分的に基づいてトレーニングされており、ここで、マップは、移動物体によって占有され得る有効領域を示し、第1のロケーションテンソルを生成するときに有効領域の外側のロケーションにより小さい確率値が割り当てられるように、第1のロケーションテンソルを生成するときに有効領域の外側のロケーションにペナルティが課される。
【0099】
混合密度ネットワークをトレーニングするための例示的な方法
図7は、本明細書で開示するいくつかの態様による、信号データに基づいて物体測位を行うために混合密度ネットワークをトレーニングするための方法700を示すフロー図である。
図7は、本明細書で開示するいくつかの態様による、信号データに基づいて物体測位を行うために混合密度ネットワークをトレーニングするための方法700を示すフロー図である。
【0100】
方法700はブロック705において開始し、ここで、測位システムは、1つまたは複数の物体が物理的空間の周囲を移動する間、物理的空間の中の信号データレコードのシーケンスを収集する。
【0101】
ブロック710において、測位システムは、信号データレコードごとに、物理的空間の中で1つまたは複数のカメラを使用して1つまたは複数の物体の各々のグラウンドトゥルースロケーションを決定する。
【0102】
方法700は、次いで、ブロック715に続き、ここで、測位システムは、第1のニューラルネットワークおよび第1の混合モデルを使用して1つまたは複数の物体の各々の予測されるロケーションを生成する。
【0103】
ブロック720において、測位システムは、グラウンドトゥルースロケーションおよび予測されるロケーションに基づいて負の対数尤度損失を算出する。
【0104】
さらに、ブロック725において、測位システムは、物理的空間の中で移動している複数の物体を測位するために第1のニューラルネットワークおよび第1の混合モデルがトレーニングされるように、負の対数尤度損失に基づいて第1のニューラルネットワークおよび第1の混合モデルの1つまたは複数のパラメータを改善する。
【0105】
いくつかの態様では、方法700は、追加として、物理的空間の中の物体の予測される個数を生成することを備え、第1のニューラルネットワークおよび第1の混合モデルの1つまたは複数のパラメータを改善することは、1つまたは複数の物体の実際の個数および物体の予測される個数に部分的に基づいて交差エントロピー損失を算出することをさらに備える。
【0106】
いくつかの態様では、方法700は、1つまたは複数の物体の個数を識別することと、個数を示すグラウンドトゥルース符号化テンソルを生成することとをさらに備える。少なくとも1つの態様では、方法700はまた、決定されたグラウンドトゥルースロケーションに基づいてグラウンドトゥルースロケーションテンソルを生成することを含む。追加として、いくつかの態様では、方法700は、複数の物体の各それぞれの物体に対してそれぞれの不確実性を決定することと、決定された不確実性に基づいてグラウンドトゥルース不確実性テンソルを生成することとを含む。
【0107】
いくつかの態様では、それぞれの不確実性を決定することは、事前定義された固定の不確実性寸法を識別することを備える。少なくとも1つの態様では、負の対数尤度損失は、グラウンドトゥルース符号化テンソル、グラウンドトゥルースロケーションテンソル、およびグラウンドトゥルース不確実性テンソルに基づいて算出される。
【0108】
混合密度ネットワークを使用する多物体測位のための例示的なシステム
いくつかの態様では、図3～図7に関して説明した方法およびワークフローは、1つまたは複数のデバイス上で実行され得る。たとえば、トレーニングすることおよび推定することは、単一のデバイスによって実行されてよく、または複数のデバイスにわたって分散されてもよい。
いくつかの態様では、図3～図7に関して説明した方法およびワークフローは、1つまたは複数のデバイス上で実行され得る。たとえば、トレーニングすることおよび推定することは、単一のデバイスによって実行されてよく、または複数のデバイスにわたって分散されてもよい。
【0109】
例として、測位システムは、空間の中でワイヤレス接続性を提供するワイヤレスルータ(または、メッシュアクセスポイントなどのワイヤレスアクセスポイント)内に備えられてよく、ここで、ルータは、空間の中での物体位置特定のための推定を実行するために入力としてワイヤレスチャネル状態情報を受信するワイヤレス感知モジュールを含む。そのような1つの態様では、ディープラーニング(または、ニューラルネットワーク)エンジンコアは、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、中央処理ユニット(CPU)、ニューラル処理ユニット(NPU)、または別のタイプの処理ユニットもしくは集積回路の形態をなしてよい。
【0110】
【0111】
処理システム800は、いくつかの例ではマルチコアCPUであってよい、中央処理ユニット(CPU)802を含む。CPU802において実行される命令は、たとえば、CPU802に関連するプログラムメモリからロードされてよく、またはメモリ814からロードされてもよい。
【0112】
処理システム800はまた、グラフィックス処理ユニット(GPU)804、デジタル信号プロセッサ(DSP)806、およびニューラル処理ユニット(NPU)810などの、特定の機能に適合された追加の処理構成要素を含む。
【0113】
図8に示さないが、NPU810は、CPU802、GPU804、および/またはDSP806のうちの1つまたは複数の一部として実装され得る。
【0114】
処理システム800はまた、入力部/出力部808を含む。図示の態様では、入力部/出力部808はアンテナ812と通信可能に結合される。たとえば、入力部/出力部808は、信号データを受信するために1つまたは複数の送信機、受信機、および/またはトランシーバ(たとえば、図2の中の送信機210および受信機215、ならびに図1の中のトランシーバ110)と結合されてよい。態様では、送信機、受信機、および/またはトランシーバは、処理システム800の一部であってよく、または別個の構成要素もしくはデバイスであってもよい。いくつかの態様では、様々な構成要素は分散されてよいが1つのシステムとして動作する。
【0115】
図示の態様の中に含まれないが、処理システム800はまた、スクリーン、物理ボタン、スピーカー、マイクロフォンなどの、1つまたは複数の追加の入力および/または出力デバイス808を含んでよい。
【0116】
処理システム800はまた、ダイナミックランダムアクセスメモリ、フラッシュベースのスタティックメモリなどの、1つまたは複数のスタティックメモリおよび/またはダイナミックメモリを表すメモリ814を含む。この例では、メモリ814は、処理システム800の上述のプロセッサのうちの1つまたは複数によって実行され得るコンピュータ実行可能構成要素を含む。
【0117】
この例では、メモリ814は、トレーニング構成要素816、推定構成要素818、および表示構成要素819を含む。図示の構成要素および図示されていない他の構成要素が、本明細書で説明する方法の様々な態様を実行するように構成され得る。たとえば、トレーニング構成要素816は、ニューラルネットワーク820および混合モデル822をトレーニングするために信号データおよびグラウンドトゥルース824ラベルを受信および処理するように構成されてよく、推定構成要素818は、実行時間中に空間の中の信号データを処理するために、トレーニングされたニューラルネットワーク820および混合モデル822を利用してよい。表示構成要素819は、予測されるロケーションを物体ごとに(たとえば、GUIの中で示されるマップ上に)生成してよい。
【0118】
図示の態様では、メモリ814は、1つまたは複数のニューラルネットワーク820のセットおよび混合モデル822のセットを含む。いくつかの態様では、各ニューラルネットワーク820は、対応する混合モデル822に関連付けられてMDNを共同で形成する。少なくとも1つの態様では、処理システム800によって使用される受信機ごとに、対応するニューラルネットワーク820および混合モデル822がある。さらに、図示の例では、グラウンドトゥルース824のセットが保持される。いくつかの態様では、グラウンドトゥルース824は履歴的な信号データレコードを含み、各レコードは、物体の実際の個数、各々の位置、および各位置の不確実性を用いてラベル付けされる。
【0119】
例示的な条項
条項1: 物理的空間の中で収集された無線周波数(RF)信号データを受信することと、第1のニューラルネットワークを使用してRF信号データを処理することによって、RF信号データを符号化する特徴ベクトルを生成することと、物理的空間の中の移動物体のセットを示す第1の符号化テンソル、物理的空間の中の移動物体の各々のロケーションを示す第1のロケーションテンソル、および物理的空間の中の移動物体の各々のロケーションの不確実性を示す第1の不確実性テンソルを生成するために、第1の混合モデルを使用して特徴ベクトルを処理することと、第1のロケーションテンソルから少なくとも1つのロケーションを出力することとを備える方法。
条項1: 物理的空間の中で収集された無線周波数(RF)信号データを受信することと、第1のニューラルネットワークを使用してRF信号データを処理することによって、RF信号データを符号化する特徴ベクトルを生成することと、物理的空間の中の移動物体のセットを示す第1の符号化テンソル、物理的空間の中の移動物体の各々のロケーションを示す第1のロケーションテンソル、および物理的空間の中の移動物体の各々のロケーションの不確実性を示す第1の不確実性テンソルを生成するために、第1の混合モデルを使用して特徴ベクトルを処理することと、第1のロケーションテンソルから少なくとも1つのロケーションを出力することとを備える方法。
【0120】
条項2: 条項1の方法であって、RF信号データは物理的空間の中のRF信号の特性を備え、特性は、RFフェージング、RF反射、RF屈折、RF散乱、またはRF減衰のうちの少なくとも1つの結果である。
【0121】
条項3: 条項1～2のうちのいずれかの方法であって、第1の符号化テンソルは、複数の値を指定する一次元テンソルであり、第1の符号化テンソルの中の複数の値の各それぞれの値は、それぞれの移動物体が物理的空間の中にいる確率を示す。
【0122】
条項4: 条項1～3のうちのいずれかの方法であって、複数の値の各それぞれの値に対して、第1のロケーションテンソルは、それぞれのガウス分布のそれぞれの平均を指定し、第1の不確実性テンソルは、それぞれのガウス分布のそれぞれの共分散行列を指定する。
【0123】
条項5: 条項1～4のうちのいずれかの方法であって、第1のニューラルネットワークおよび第1の混合モデルは、第1の受信機から収集されたデータに基づいてトレーニングされており、第2のニューラルネットワークおよび第2の混合モデルは、第2の受信機から収集されたデータに基づいてトレーニングされており、方法は、少なくとも1つのロケーションを出力する前に第2の混合モデルからの第2のロケーションテンソルを第1の混合モデルからの第1のロケーションテンソルと統合することをさらに備える。
【0124】
条項6: 条項1～5のうちのいずれかの方法であって、方法は、第1の不確実性テンソルに基づいて移動物体ごとに移動の方向を決定することをさらに備える。
【0125】
条項7: 条項1～6のうちのいずれかの方法であって、方法は、最小しきい値を超える値を有する第1の符号化テンソルの中のインデックスのセットを識別することと、インデックスのセットの中のそれぞれのインデックスごとに、第1のロケーションテンソルの中の対応するロケーションを識別することと、第1のロケーションテンソルの中の識別された対応するロケーションを出力することとをさらに備える。
【0126】
条項8: 条項7の方法であって、第1の混合モデルは、物理的空間のマップに少なくとも部分的に基づいてトレーニングされており、マップは、移動物体によって占有され得る有効領域を示し、第1のロケーションテンソルを生成するときに有効領域の外側のロケーションにより小さい確率値が割り当てられるように、第1のロケーションテンソルを生成するときに有効領域の外側のロケーションにペナルティが課される。
【0127】
条項9: 条項1～8のうちのいずれかの方法であって、少なくとも1つのロケーションを出力することは、物理的空間のグラフィカルマップ上に少なくとも1つのロケーションを示すことを備える。
【0128】
条項10: 1つまたは複数の物体が物理的空間の周囲を移動する間、物理的空間の中の信号データレコードのシーケンスを収集することと、信号データレコードごとに、物理的空間の中で1つまたは複数のカメラを使用して1つまたは複数の物体の各々のグラウンドトゥルースロケーションを決定することと、第1のニューラルネットワークおよび第1の混合モデルを使用して1つまたは複数の物体の各々の予測されるロケーションを生成することと、グラウンドトゥルースロケーションおよび予測されるロケーションに基づいて負の対数尤度損失を算出することと、物理的空間の中で移動している複数の物体を測位するために第1のニューラルネットワークおよび第1の混合モデルがトレーニングされるように、負の対数尤度損失に基づいて第1のニューラルネットワークおよび第1の混合モデルの1つまたは複数のパラメータを改善することとを備える方法。
【0129】
条項11: 条項10の方法であって、物理的空間の中の物体の予測される個数を生成することをさらに備え、第1のニューラルネットワークおよび第1の混合モデルの1つまたは複数のパラメータを改善することは、1つまたは複数の物体の実際の個数および物体の予測される個数に部分的に基づいて交差エントロピー損失を算出することをさらに備える。
【0130】
条項12: 条項10～11のうちのいずれかの方法であって、方法は、1つまたは複数の物体の個数を識別することと、個数を示すグラウンドトゥルース符号化テンソルを生成することとをさらに備える。
【0131】
条項13: 条項12の方法であって、方法は、決定されたグラウンドトゥルースロケーションに基づいてグラウンドトゥルースロケーションテンソルを生成することをさらに備える。
【0132】
条項14: 条項13の方法であって、方法は、複数の物体の各それぞれの物体に対してそれぞれの不確実性を決定することと、決定された不確実性に基づいてグラウンドトゥルース不確実性テンソルを生成することとをさらに備える。
【0133】
条項15: 条項14の方法であって、それぞれの不確実性を決定することは、事前定義された固定の不確実性寸法を識別することを備える。
【0134】
条項16: 条項14の方法であって、負の対数尤度損失は、グラウンドトゥルース符号化テンソル、グラウンドトゥルースロケーションテンソル、およびグラウンドトゥルース不確実性テンソルに基づいて算出される。
【0135】
条項17: コンピュータ実行可能命令を備えるメモリと、コンピュータ実行可能命令を実行し条項1～16のうちのいずれか1つによる方法を処理システムに実行させるように構成された1つまたは複数のプロセッサとを備える、システム。
【0136】
条項18: 処理システムの1つまたは複数のプロセッサによって実行されたとき、条項1～16のうちのいずれか1つによる方法を処理システムに実行させるコンピュータ実行可能命令を備える、非一時的コンピュータ可読媒体。
【0137】
条項19: 条項1～16のうちのいずれか1つによる方法を実行するためのコードを備えるコンピュータ可読記憶媒体上で具現されたコンピュータプログラム製品。
【0138】
追加の考慮事項
先行する説明は、本明細書で説明した様々な態様を任意の当業者が実践することを可能にするために提供される。本明細書で説明した例は、特許請求の範囲に記載された範囲、適用可能性、または態様を限定するものではない。これらの態様の様々な修正が当業者に容易に明らかになり、本明細書で定義される一般原理が他の態様に適用され得る。たとえば、本開示の範囲を逸脱することなく、説明した要素の機能および構成において変更が加えられてよい。様々な例は、適宜に、様々な手順または構成要素を省略、置換、または追加してよい。たとえば、説明した方法は、説明した順序とは異なる順序で実行されてよく、様々なステップが追加されてよく、省略されてよく、または組み合わせられてよい。また、いくつかの例に関して説明した特徴が、いくつかの他の例において組み合わせられてよい。たとえば、本明細書に記載する任意の数の態様を使用して、装置が実装されてよく、または方法が実践されてよい。加えて、本開示の範囲は、本明細書に記載する開示の様々な態様に加えて、またはそうした態様以外の、他の構造、機能性、または構造および機能性を使用して実践されるような装置または方法をカバーするものである。本明細書で開示する開示のいずれの態様も、特許請求の範囲の1つまたは複数の要素によって具現され得ることを理解されたい。
先行する説明は、本明細書で説明した様々な態様を任意の当業者が実践することを可能にするために提供される。本明細書で説明した例は、特許請求の範囲に記載された範囲、適用可能性、または態様を限定するものではない。これらの態様の様々な修正が当業者に容易に明らかになり、本明細書で定義される一般原理が他の態様に適用され得る。たとえば、本開示の範囲を逸脱することなく、説明した要素の機能および構成において変更が加えられてよい。様々な例は、適宜に、様々な手順または構成要素を省略、置換、または追加してよい。たとえば、説明した方法は、説明した順序とは異なる順序で実行されてよく、様々なステップが追加されてよく、省略されてよく、または組み合わせられてよい。また、いくつかの例に関して説明した特徴が、いくつかの他の例において組み合わせられてよい。たとえば、本明細書に記載する任意の数の態様を使用して、装置が実装されてよく、または方法が実践されてよい。加えて、本開示の範囲は、本明細書に記載する開示の様々な態様に加えて、またはそうした態様以外の、他の構造、機能性、または構造および機能性を使用して実践されるような装置または方法をカバーするものである。本明細書で開示する開示のいずれの態様も、特許請求の範囲の1つまたは複数の要素によって具現され得ることを理解されたい。
【0139】
本明細書で使用する「例示的」という語は、「例、事例、または例示として機能すること」を意味する。「例示的」として本明細書で説明したいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきではない。
【0140】
本明細書で使用する項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含むそれらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-c、ならびに複数の同じ要素を有する任意の組合せ(たとえば、a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、およびc-c-c、またはa、b、およびcの任意の他の順序)をカバーするものとする。
【0141】
本明細書で使用する「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること)、確認することなどを含んでよい。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリの中のデータにアクセスすること)などを含んでよい。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含んでよい。
【0142】
本明細書で開示する方法は、方法を達成するための1つまたは複数のステップまたはアクションを備える。方法ステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換されてよい。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正されてよい。さらに、上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行されてよい。手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含んでよい。一般に、図に示された動作がある場合、それらの動作は、類似の番号付けを伴う対応する相対物のミーンズプラスファンクション構成要素を有してよい。
【0143】
以下の特許請求の範囲は、本明細書で示される態様に限定されるものではなく、特許請求の範囲の文言と一致する全範囲を与えられるべきである。請求項内では、単数形での要素への言及は、そのように明記されていない限り、「唯一無二の」を意味するものではなく、「1つまたは複数の」を意味するものとする。別段に明記されていない限り、「いくつかの」という用語は、1つまたは複数を指す。請求項の要素は、要素が「のための手段」という句を使用して明白に記載されていない限り、または方法クレームの場合には、要素が「のためのステップ」という句を使用して記載されていない限り、米国特許法第112条(f)の規定の下で解釈されるべきではない。当業者に知られているか、または後で知られることになる、本開示全体にわたって説明した様々な態様の要素のすべての構造的および機能的な均等物は、参照により本明細書に明確に組み込まれ、特許請求の範囲によって包含されるものとする。その上、本明細書に開示するものはいずれも、そのような開示が特許請求の範囲において明示的に列挙されているかどうかにかかわらず、公に供されることを意図するものではない。
【符号の説明】
【0144】
100 環境
105 物理的空間
110 トランシーバ
115 物体
117 デバイス
120 信号
125 測位システム
130 混合密度ネットワーク
135 予測
200 環境
205 物理的空間
210 送信機
215 受信機
220 物体
225 RF信号
300 ワークフロー
305 受信機
310 信号データ
315 基幹モデル
325 特徴ベクトル
330 混合モデル
335 線形層
340 符号化テンソル
345 ロケーションテンソル
350 不確実性テンソル
800 処理システム
802 中央処理ユニット(CPU)
804 グラフィックス処理ユニット(GPU)
806 デジタル信号プロセッサ(DSP)
808 入力部/出力部
810 ニューラル処理ユニット(NPU)
812 アンテナ
814 メモリ
816 トレーニング構成要素
818 推定構成要素
819 表示構成要素
820 ニューラルネットワーク
822 混合モデル
824 グラウンドトゥルース
105 物理的空間
110 トランシーバ
115 物体
117 デバイス
120 信号
125 測位システム
130 混合密度ネットワーク
135 予測
200 環境
205 物理的空間
210 送信機
215 受信機
220 物体
225 RF信号
300 ワークフロー
305 受信機
310 信号データ
315 基幹モデル
325 特徴ベクトル
330 混合モデル
335 線形層
340 符号化テンソル
345 ロケーションテンソル
350 不確実性テンソル
800 処理システム
802 中央処理ユニット(CPU)
804 グラフィックス処理ユニット(GPU)
806 デジタル信号プロセッサ(DSP)
808 入力部/出力部
810 ニューラル処理ユニット(NPU)
812 アンテナ
814 メモリ
816 トレーニング構成要素
818 推定構成要素
819 表示構成要素
820 ニューラルネットワーク
822 混合モデル
824 グラウンドトゥルース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】