(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-21
(45)【発行日】2023-09-29
(54)【発明の名称】動的屋内環境におけるインフラストラクチャの無いRF追跡
(51)【国際特許分類】
G01S 5/02 20100101AFI20230922BHJP
G01S 13/76 20060101ALI20230922BHJP
【FI】
G01S5/02 Z
G01S13/76
(21)【出願番号】P 2022534832
(86)(22)【出願日】2020-08-23
(86)【国際出願番号】 US2020047556
(87)【国際公開番号】W WO2021118654
(87)【国際公開日】2021-06-17
【審査請求日】2022-06-08
(32)【優先日】2019-12-11
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-12-13
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-08-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504080663
【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク
【氏名又は名称原語表記】NEC Laboratories America, Inc.
(74)【代理人】
【識別番号】100123788
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】チャクラボーティー、 アイオン
(72)【発明者】
【氏名】サンダレサン、 カルシケヤン
(72)【発明者】
【氏名】ランガラジャン、 サンパス
(72)【発明者】
【氏名】ラーマン、 エムディー. サイファー
【審査官】東 治企
(56)【参考文献】
【文献】特開2009-159336(JP,A)
【文献】特表2010-531430(JP,A)
【文献】J. Aspnes et al.,"A Theory of Network Localization",IEEE Transactions on Mobile Computing,2006年12月,Vol.5, No.12,pp.1663-1678,DOI: 10.1109/TMC.2006.174
【文献】Carmelo Di Franco et al.,"Calibration-free network localization using non-line-of-sight ultra-wideband measurements",IPSN 2017: Proceedings of the 16th ACM/IEEE International Conference on Information Processing in Sensor Networks,2017年04月,pp.235-246,DOI: 10.1145/3055031.3055091
(58)【調査した分野】(Int.Cl.,DB名)
G01S 5/00-5/14
H04B 7/24-7/26
H04W 4/00-99/00
IEEE Xplore
THE ACM DIGITAL LIBRARY
(57)【特許請求の範囲】
【請求項1】
インフラストラクチャの無い、動的屋内環境における複数の移動ノードの無線周波数(RF)追跡方法であって、
前記インフラストラクチャの無い、動的屋内環境に位置する前記複数のノードのそれぞれ個々の1つに無線タグを提供することと、
前記複数のノードの各ノードに提供された前記無線タグにより測定された各ノード対間の距離に基づいて、前記複数のノードのトポロジー推定値を決定することと、
前記トポロジー推定値の剛性kコアサブグラフを生成することによって前記複数のノードの相対位置推定を決定することと、
前記相対位置推定を絶対位置推定に変換することと、
前記絶対位置推定の指標を出力することと、を含む、方法。
【請求項2】
前記トポロジー推定値は、前記トポロジーの位置推定精度に寄与し、時空間的に変化する重要なリンク
の各ノードに提供された前記無線タグにより測定された各ノード対間の距離に基づいて決定される、請求項1に記載の方法。
【請求項3】
前記重要なリンクは、
前記無線タグを用いた測距に関連する3次元の情報を融合することによって決定される、請求項2に記載の方法。
【請求項4】
前記3次元の情報は、
前記無線タグを用いた測距の劣化に影響する前記リンク内のノードの移動性、
前記無線タグを用いたチャネルインパルス応答測定から推測される距離推定値の確実性、および、
前記無線タグを用いた位置推定精度を向上させるサブグラフを作成する際のトポロジージ幾何学的配置へのリンク寄与を含む、請求項3に記載の方法。
【請求項5】
前記無線タグは、WiFi(登録商標)、UWB、およびmmWaveからなる群から選択される無線通信設備を提供する、請求項4に記載の方法。
【請求項6】
前記WiFi通信設備が制御のために使用され、前記UWBが
前記各ノード対間の測距のために使用される、請求項5に記載の方法。
【請求項7】
前記無線タグは、慣性センサ(IMU)をさらに含む、請求項6に記載の方法。
【請求項8】
前記複数のノードの前記相対位置推定は、ユークリッド距離行列(EDM)技法を前記サブグラフに適用することによって、前記剛性kコアサブグラフから決定される、請求項7に記載の方法。
【請求項9】
距離データ、物理接続性、およびIMU機首方位データから、任意の残りのノードの相対位置推定を決定することをさらに含む、請求項8に記載の方法。
【請求項10】
前記残りのノードの相対位置推定は、前記動的屋内環境のフロアプランから決定され、前記屋内環境はいかなるビーコンも有しない、請求項9に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、屋内の移動体を追跡することに関する。より詳細には、本発明は、インフラストラクチャの無い動的屋内環境における移動体のRF追跡に関する。
【背景技術】
【0002】
知られているように、良好な視覚条件で視覚慣性オドメトリを使用して、または基準アンカーにきめ細かな測距(RF、超音波、IRなど)を活用することによって、屋内の移動体を正確に追跡することができる有望な解決策が今日存在する。しかしながら、そのような解決策は、そのような好ましい条件又は基準アンカーがない「動的」屋内環境(例えば、ファーストレスポンダーシナリオ、日常空間におけるマルチプレーヤーAR/VRゲーム等)において効果的に動作することができない。
【発明の概要】
【0003】
上記の問題を解決し、インフラストラクチャサポート無しに、または上述のような好ましい視覚条件なしに、動的屋内環境において移動体の位置推定/追跡を提供するシステム、方法、および構造に向けられた本開示の態様により、当該技術の進歩がなされる。
【0004】
従来技術とは全く対照的に、第1の態様から見ると、本開示の態様によるシステム、方法、および構造は、インフラストラクチャの無い動的屋内環境に位置する複数のノードのそれぞれ個々の1つに無線タグを提供することと、前記複数のノードのトポロジー推定値を決定することと、前記トポロジー推定値の剛性kコアサブグラフを生成することによって前記複数のノードの相対位置推定を決定することと、前記相対位置推定を絶対位置推定に変換することと、前記絶対位置推定の指標を出力することとによって、インフラストラクチャの無い追跡を提供する。
【図面の簡単な説明】
【0005】
本開示のより完全な理解は、添付の図面を参照することによって実現され得る。
【0006】
【
図1(A)】VIOベースのシステムにおける持続的な位置推定誤差を実証するための例示的な単純な実験を示す概略図である。
【0007】
【
図1(B)】VIOベースのシステムを用いた実験のための、様々な照明条件についての位置推定誤差を示すプロットである。
【0008】
【
図2】本開示の態様による、DynoLocタグを有する隊員、DynoLocシステムの概要、およびDynoLocダッシュボードを監視する消防長を例示的に示す概略図である。
【0009】
【
図3(A)】本開示の態様による、配備されたインフラストラクチャへの依存性の関数としての位置推定精度を示すプロットである。
【0010】
【
図3(B)】本開示の態様による、環境のダイナミクスの関数としての位置推定精度を示すプロットである。
【0011】
【
図4(A)】本開示の態様によるクリーク(剛性)配置を示す重み付きグラフである。
【0012】
【
図4(B)】本開示の態様による非クリーク(剛性)配置を示す重み付きグラフである。
【0013】
【
図4(C)】本開示の態様によるノード5の(剛性でない)配置の2つの選択肢を示す重み付きグラフである。
【0014】
【
図5(A)】本開示の態様による、様々なリフレッシュレートについての位置推定誤差を示すプロットである。
【0015】
【
図5(B)】本開示の態様による、様々な数のノードについての位置推定誤差を示すプロットである。
【0016】
【
図6(A)】本開示の態様による、様々なトポロジーについての様々な低ランク行列補完技法を使用した後の位置推定誤差を示すプロットである。
【0017】
【
図6(B)】本開示の態様による、同じトポロジーからのエッジの様々な集合についての様々な低ランク行列補完技法を使用した後の位置推定誤差を示すプロットである。
【0018】
【
図7(A)】本開示の態様による、様々なレベルのリンク雑音についての位置推定誤差を示すプロットである。
【0019】
【
図7(B)】本開示の態様による、移動ノードの様々な断片についての位置推定誤差を示すプロットである。
【0020】
【
図7(C)】DynoLoc動作全体の概略を示すブロックフロー図である。
【0021】
【
図8】本開示の態様によるUWB受信器における第1経路検出を示すプロットである。
【0022】
【
図9】本開示の態様によるkコア分解の実施例を示す概略図である。
【0023】
【
図10】本開示の態様によるDynoLocノードのプロトタイプを示す概略図である。
【0024】
【
図11(A)】様々な位置推定方法についての位置推定誤差の比較を示す一連のプロットであって、本開示の態様によるノード数である。
【
図11(B)】様々な位置推定方法についての位置推定誤差の比較を示す一連のプロットであって、本開示の態様による移動ノードの%である。
【
図11(C)】様々な位置推定方法についての位置推定誤差の比較を示す一連のプロットであって、本開示の態様によるリフレッシュレート(Hz)である。
【
図11(D)】様々な位置推定方法についての位置推定誤差の比較を示す一連のプロットであって、本開示の態様による速度である。
【0025】
【
図12(A)】本開示の態様による移動性メトリックの整合性を示すプロットである。
【0026】
【
図12(B)】本開示の態様による、リンク品質メトリックと測距誤差との相関を示すプロットである。
【0027】
【
図13(A)】本開示の態様による、移動性メトリックなしのDynaLocの比較を示すプロットである。
【0028】
【
図13(B)】本開示の態様による、リンク品質(L)メトリックなしのDynaLocの比較を示すプロットである。
【0029】
【
図14(A)】本開示の態様によるEDM補完誤差を示すプロットである。
【0030】
【
図14(B)】本開示の態様による相対位置推定誤差を示すプロットである。
【0031】
【
図15(A)】本開示の態様によるUWBの異なるモードに対する測距誤差を示すプロットである。
【0032】
【
図15(B)】本開示の態様による、同時測距UWBデータレートおよびノード密度についての位置推定精度およびノード非接続性を示すプロットである。
【0033】
【
図16(A)】本開示の態様による絶対位置推定の精度を示すプロットである。
【0034】
【
図16(B)】本開示の態様による機首方位誤差(heading error)の影響を示すプロットである。
【0035】
【
図17(A)】本開示の態様によるレイテンシ構成要素の分析を示すプロットである。
【0036】
【
図17(B)】本開示の態様による、様々なシステム構成要素および未知の環境への適応のための電力ベンチマークを示す。
【0037】
【
図18(A)】本開示の態様による、DynoLoc対応の位置ベースのマルチプレーヤーゲームの図である。
【0038】
【
図18(B)】本開示の態様による移動性対応距離スケジューリングを示すプロットである。
【0039】
【
図18(C)】本開示の態様によるゲームの全体的な対話性を改善するノードにわたる移動性対応距離スケジューリング分散タイムスロットを示す。
【0040】
【
図19(A)】本開示の態様によるDynoLoc対応リアルタイムジオフェンシングを示す。
【0041】
【
図19(B)】本開示の態様による
図19(A)の例示を示すプロットである。
【発明を実施するための形態】
【0042】
例示的な実施形態は、図面および詳細な説明によってより完全に説明される。しかしながら、本開示による実施形態は、様々な形態で具現化されてもよく、図面および詳細な説明に記載された特定のまたは例示的な実施形態に限定されない。
【0043】
以下は、単に本開示の原理を例示するものである。したがって、当業者は、本明細書では明示的に説明または図示されていないが、本開示の原理を具体化し、その精神および範囲内に含まれる様々な構成を考案することができることが理解されよう。
【0044】
さらに、本明細書に列挙されたすべての実施例および条件付き用語は、読者が本開示の原理および本技術を促進するために本発明者によって寄与された概念を理解するのを助けるための教育目的のためだけのものであることが意図され、そのような具体的に列挙された実施例および条件に限定されないものとして解釈されるべきである。
【0045】
さらに、本開示の原理、態様、および実施形態、ならびにその特定の例を列挙する本明細書のすべての記述は、その構造的および機能的同等物の両方を包含することが意図される。さらに、そのような均等物は現在知られている均等物と、将来開発される均等物、すなわち、構造にかかわらず、同じ機能を実行する開発された任意の要素との両方を含むことが意図される。
【0046】
したがって、たとえば、本明細書の任意のブロック図が、本開示の原理を実施する例示的な回路の概念図を表すことが、当業者には理解されよう。
【0047】
本明細書で特に明記しない限り、図面を構成する図面は、一定の縮尺で描かれていない。
【0048】
いくつかの追加の背景として、本発明者らは、好ましい視覚的条件において視覚的慣性オドメトリを使用して、または基準アンカーに対してきめ細かな測距(RF、超音波、IRなど)を活用することによって、屋内の移動体を正確に追跡することができる既存の解決策が存在することに留意する。しかしながら、それらは、そのような好ましい条件を欠いている「動的」屋内環境(例えば、ファーストレスポンダーシナリオ、日常空間におけるマルチプレーヤーAR/VRゲーム等)に直接対応することができない。したがって、「インフラストラクチャフの無い」環境における移動体追跡を提供し、その一方で、そのような環境において「ノード移動性」および「視覚条件」に対するロバスト性を提供するシステム、方法、および構造に対する継続的かつ差し迫った必要性がある。そのようなシステム、方法、および構造はまた、レイテンシが制限される、インフラストラクチャの無い(すなわち、ピアツーピア)位置推定問題の新規かつ困難な変形に対処しなければならず、移動体の正確な追跡は、解の計算だけでなく、ピアツーピア距離自体の収集にも影響を及ぼすレイテンシバジェットを課す。
【0049】
以下に示すように、本発明者らは「DynoLoc」と呼ばれるシステムの設計および例示的な展開を提示し、このシステムは、有利にはこのレイテンシが制限されたインフラストラクチャの無いRF位置推定問題に対処する。この目的のために、DynoLocはレイテンシと位置推定精度との間の基本的なトレードオフを解明し、実際の環境アーチファクト(無線接続性およびマルチパス、ノード移動性など)に直面しても、位置推定精度を最大化するロバストアルゴリズムと組み合わせて、利用可能な測距リソースを賢明に活用してノードのジョイントトポロジーを適応的に推定する設計要素を組み込む。これは、有利なことに、DynoLocがインフラストラクチャサポート無しで、(ベースラインの5m+と比較して)1~2m未満の中央値精度を有する1~2m/sの速度でさえ、数十の移動体のネットワークを(毎秒)追跡することを可能にする。現実世界の消防士訓練におけるDynoLocの可能性、ならびに(i)マルチプレーヤーAR/VRゲーム、および(ii)ファーストレスポンダーによるアクティブシューター応答/追跡の2つの他の使用事例を例示的に実証する。
【0050】
序章
【0051】
動的屋内環境。前に注目したように、様々な様式(RF、超音波、光(IR)トラッキングなど)と多次元(アンテナ、チャネル、アクセスポイントなど)を利用してきめ細かな(サブメートルレベル、デシメートルレベル)位置推定を提供する屋内位置推定のためのいくつかの有望な解決策が存在する。
【0052】
さらに言及したように、このような現代の解決策の有効性は、それらが動作する特定の環境に極めて依存する。現代の位置推定解決策の大部分は、ターゲットクライアントに距離推定(別名、測距)を提供するために、既知の位置に配置された静的アンカーノードを必要とし、そして、距離推定は、その位置を決定するために集約されることに留意されたい。
【0053】
他方、慣性センサを使用するインフラ無しの解決策は、長時間にわたって数十メートルの誤差を蓄積する傾向がある。ヒューズカメラおよびIMUなどの視覚慣性オドメトリ(VIO)に基づくAR/VRの高精度(cm-レベル)解決策であっても、動作環境が十分に点灯/テクスチャリングされておらず、画面内に動きボケおよび/または動的エンティティを有するなどの場合、(
図1(A)および
図1(B)に概略的に示されているように)かなりの被害を受ける。残念ながら、当業者には容易に理解され認識されるように、既存のアンカーベースおよびインフラ無しの解決策は、基準アンカーの欠如、好ましくない視覚的条件、および移動体によって、本質的に特徴付けられる「動的」屋内環境では効果的に動作しない。
【0054】
動的環境のためのRFベースの位置推定:このような動的環境、特にモバイルクライアントでの位置推定および追跡は、すべてのファーストレスポンダーシナリオの中心であるだけでなく、AR/VRゲームに従事する複数のプレーヤーが好都合ではない視覚条件で複数の部屋にわたる大規模な、日常の(マッピングされていない)屋内空間にわたってリアルタイムで追跡される、複合現実(MR)ゲームを含む新しい消費者アプリケーションにおける新しい性能も可能にする。当業者であれば、アンカーに頼ることなく、高い精度(サブメートル、すなわちcm)を提供することができるRFベースの位置推定解は、好ましくない視覚条件におけるロバスト性のために、ファーストレスポンダーアプリケーションのためのスタンドアロン解、およびMRゲームアプリケーションのための(そのエラーを軽減するための)VIOに対する相補的解として、この重要な必要性を満たすことができることを理解するであろう。
【0055】
測距(ranging)と位置推定の間のギャップ。インフラストラクチャアプリケーションにおいてクライアント(ノード)とアンカーとの間の正確な距離(ranges)(すなわち、距離(distances))を得ることは、自動的に、マルチラテレーションを通じてクライアントの正確な位置推定につながる。しかしながら、このようなアンカーインフラストラクチャが存在しない場合、ノードは、互いに対してのみ距離を定める。もちろん、当業者には容易に理解されるように、既存のマルチラテレーションアプローチを効果的に使用することができない動的環境において、このような相対的な測距と位置推定との間には大きな技術的ギャップがある。
【0056】
ギャップに対処する上での課題。理解されるように、絶対基準座標系におけるノードの位置推定は、1つ以上の基準ノード無しでは困難である。しかしながら、センサ文献の既存の研究は、もしそれらの対ごとに測定された距離を用いてノードの相対的幾何学的配置を推定する(相対位置推定と呼ぶ)ことができれば、潜在的にこの相対的幾何学的配置を回転、平行移動、またはフリップしてノードの絶対位置推定を得るために、追加情報(IMUデータ、フロアプランなど)を用いることができることを示した。しかしながら、理論的分析に従うにもかかわらず、相対位置推定に焦点を当てた結果としての努力は、実際の展開に必要な限界寸法、すなわちノード移動性を考慮していない。しかしながら、ノード移動性を組み込むことは、問題の性質を著しく変化させ、これまで対処されていなかったインフラストラクチャの無いRF位置推定問題のレイテンシ制限バージョンを解決することを必要とする。実際に、今日のインフラストラクチャの無い位置推定解は、6m未満の精度で(ちょうど1m/sの速度で)約10個の移動ノードのネットワークでさえ追跡することができない。これは、以下の重要な課題に起因すると考えられる。
【0057】
(i)レイテンシ対精度のトレードオフ:ノードの正確な位置決定は、1~1.5m/sのノード移動性に対して、ノードが少なくとも毎秒1回(すなわち、1Hzのリフレッシュレート)で追跡されることを必要とする。対応するレイテンシ制約は、(位置推定解を計算する前に)測距可能なノード対の数を制限し、それによって、位置推定の精度を数倍著しく低下させる。さらに、リンク(エッジ)の品質、すなわち測定される距離は、誘導トポロジー、ノード移動性、ならびにマルチパス無線チャネルの幾何学的配置によって影響を受け、精度にも大きな影響を及ぼす。
【0058】
(ii)距離測定のオーバーヘッド:ノード対間の測距は、連続的パケット交換および飛行時間推定技法によって達成され、それによって、大きなレイテンシを招き、したがって、移動ノードの大きなネットワークを追跡する能力が低下する。
【0059】
(iii)部分情報は精度を低下させる:ネットワークトポロジーが完全なグラフであり、すべての距離推定値が利用可能であり、正確である場合、相対位置推定のための既存の解決策(例えば、ユークリッド距離行列(EDM)を使用する技法)がうまく機能する。しかしながら、実際の展開においてそのような特徴がない場合、精度はかなり悪化する可能性がある。
【0060】
DynoLoc(Dynamic Indoor Localization)設計。これらの課題に取り組むために、本発明者らは、DynoLoc、すなわち、動的屋内環境において有利に容易に展開され得る、レイテンシ制限されたインフラストラクチャの無い位置推定のためのシステム、付随する方法および構造を提示する。DynoLocのフレームワークは、測距に使用される基本的な無線テクノロジー(WiFi(登録商標)、UWB、mmWaveなど)とは異なるが、合理的な室内浸透(70~90mLOS、30~50mNLOS)で望ましい測距解像度(数十cm)を提供できることを考慮し、現在はUWBを使用している。
【0061】
さらに示し、説明するように、DynoLocは、追跡することを必要とするノードのそれぞれに、UWB無線(測距用)、WiFi無線(制御/オーケストレーション用)、およびIMUを利用するタグを用意する。UWBは、アクティブ測距の主要な源であるが、IMUは位置推定おける曖昧さを解決するために、限られた範囲(機首方位および移動性指標)で使用される。DynoLocの設計には3つの重要な要素が含まれる。
【0062】
測距のためのトポロジー推定:DynoLocは、トポロジーの位置推定精度に最も寄与する重要なリンク上で、その利用可能な測距ソースを知的に使用する。リンクの重要な性質は、時空間的に変化し、DynoLocによって、3次元の情報、すなわち、(a)リンク内のノードの移動性(その測距の劣化(staleness)に影響する)、(b)(チャネルインパルス応答測定から推測される)LOS対NLOSである距離推定値の確実性、および(c)位置推定精度の向上につながる、ロバストかつ最大剛性(ノードの相対位置推定がトポロジー内で固定される)サブグラフを作成する際のトポロジーの幾何学的配置へのリンクの寄与を融合することによって決定される。
【0063】
集約および同時測距:DynoLocは、測定レイテンシを短縮するために、従来のペアワイズおよびシーケンシャル測距プロトコルを再設計する。それはすべての隣接ノードを有するノードの測距のプロセス(および関連するオーバーヘッド)を集約(および償却)して単一のコンパクト化されたプロセスにし、一方、空間的に分離されたリンクはそのような測距を同時に可能にすることができる。
【0064】
ロバストな相対位置推定。不完全なトポロジー全体にEDM補完技法を適用する代わりに、DynoLocはkコアサブグラフのグラフ剛性構成を活用して、トポロジーの最大剛性サブグラフを識別し、これらにEDMを別々に適用し、それらを組み合わせてロバストで正確な解を提供する。剛性サブグラフ内のノードの相対位置推定が与えられると、DynoLocは、距離、物理的接続性、ならびにIMUからの機首方位データによって駆動される幾何学的制約を活用することによって、トポロジー内の残りのノードの位置推定を行うための追加の機構を考案する。
【0065】
最後に、IMU機首方位データまたはフロアプランによって寄与される、少しの追加のメタ情報を用いて、DynoLocは、解のリフレッシュレートに影響を及ぼすことなく、相対位置推定解を絶対座標系に効率的に変換する。
【0066】
以下に示し説明するように、本発明者らは、生の消防士の訓練(
図2参照)を含む、現実世界の動的環境において、DynoLocを構築して配備した。そこでは、生命を救う上でのその正確さと価値は、十分に評価されていた。DynoLocは、移動性(すなわち、レイテンシ)を念頭に置いて設計され、ノード密度、移動性、アプリケーションリフレッシュレートなどの複数の次元にわたるインフラの無い追跡において優れた性能を提供する。
【0067】
特に、2つの現実世界のユースケースにおける評価は、(i)ファーストレスポンダーシナリオ:DynoLocは、12(20)のレスポンダーのネットワークを追跡でき、速度は1m/s以下(2m/s)で、中央値位置推定誤差は1m(2m)以下で動作し、リフレッシュ速度は1Hzである;既存の解決策は、1m/sのノード移動性に対してさえ、精度(6m+誤差)に苦しむ;(ii)ARゲーム:DynoLocは、64msec以下のレイテンシで、20m×20mの自由流動室内空間にわたってユーザの並進運動を正確に追跡し、準最適照明条件においてさえ、応答性の良い動的3プレーヤーARゲームを可能にすることを明らかにした。このシナリオは、特にマルチプレーヤーコンテキストにおいて、VIOにとって困難である。今後は、VIOとDynoLocを融合させ、現実的な日常シナリオでもVIOの性能を発揮することを目指す。
【0068】
以下に示すように、本発明者らは、いくつかの動的屋内アプリケーションにおける追跡に重要な、レイテンシが制限された、インフラストラクチャの無い位置推定の問題を導入し、対処する。この目的のために、本発明者らは、DynoLocと呼ばれるこのようなシステムの実現可能性を、ファーストレスポンダー(実際の消防士の訓練とアクティブシューター追跡)とマルチプレーヤーAR/VRゲームをターゲットとする2つの現実世界での使用事例において構築し、実証する。
【0069】
動的屋内環境、すなわち、較正されておらず、外部に配備された位置推定のインフラストラクチャを欠き、ノード移動性によって特徴付けられる環境において、移動体(ノード)を追跡する問題を考察する。これは、(NISTプログラムから明らかなように)ファーストレスポンダーの状況における差し迫った必要性を特徴とし、将来のマルチプレーヤーAR/VRゲームアプリケーションにおけるアンカーレスユーザ追跡を可能にする可能性を有する。
関連するアプローチのさらなる背景技術
【0070】
文献は、
図3に示すように、(i)アンカーベース、および(ii)インフラストラクチャ無しとして広く分類することができる、有効な(位置を特定し、識別する)屋内位置推定の領域が豊富であることに留意されたい。
【0071】
アンカーベース。アンカーベースのアプローチはしばしば、位置推定のために先験的に配備されたインフラストラクチャを犠牲にして、それらのインフラの無い対応物を正確に上回る(
図3に捕捉されたトレードオフ)。ここで、ビーコンは、既知の位置に配備され、基準点またはアンカーとして働く。ノードは、3つのこのようなアンカーからのその距離を推定し(測距とも呼ばれる)、次いで、アンカーの位置と結合されて、マルチラテレーションとして当技術分野で一般に知られている技法によって、その自己位置を推定する。正確な測距を実行する技術が与えられると、位置推定は、自明な拡張と考えることができる。したがって、この空間における従来技術の大部分は、特にビーコンとしてWiFiアクセスポイントを使用する、そのような距離の正確な推定に焦点を当ててきたが、一部のものは超音波ビーコンも活用してきた。
【0072】
WiFiベースのアプローチは、制限されたWiFi帯域幅とマルチパスに直面して精度を向上させるために、周波数、アンテナアレイ、またはその両方の、複数の次元にわたる信号情報を活用する。それらの中には、(RSSI、CSIなどを用いて)フィンガープリントアプローチを採用して、後に実時間位置推論に使用される環境a-事前分布を較正するものもある。
【0073】
AR/VR業界で普及している光学追跡システム(例えば、HTC Vive)は、複数のIRビーコン(LED/カメラ)を使用してmm-レベルの追跡精度を提供するが、視線に制限され、配備するのに費用がかかる。
【0074】
当業者は、この時点で、事前に配備されたアンカー(大部分は静的であるが、時には移動可能で、例えば屋外のドローン)への基本的な依存性が、このような従来技術の手法が本発明者らの注目するターゲット環境での配備の成功を妨げることを認識するのであろう。
【0075】
インフラストラクチャ無し。インフラストラクチャの無いアプローチは、本発明者らのターゲット環境により従順であるが、
図3に示されるように、精度とロバスト性との異なるトレードオフを示す。1つの特定のインフラストラクチャの無いアプローチ、慣性センサベースのアプローチは、本質的にノードにローカルであり(測距を必要としない)、したがって普及している。しかしながら、ノードの推測航法のみでは、特に歩行者の移動性の場合に、時間の経過と共に誤差が著しく累積する。
【0076】
最新技術のAR/VR解決策(例えば、ARCore)は、カメラとIMUの両方を組み合わせて、好ましい条件で正確なcm-レベル追跡を提供する視覚慣性オドメトリ(VIO)を活用する。しかしながら、そのようなAR/VRアプローチは、アンカーを必要とし、それらの性能は、
図1に示されるように、ビデオフレームにおける動きぼけ及び/又は複数の移動オブジェクトの存在下で、不十分に照明された及び/又は不十分にテクスチャ化された環境において著しく損なわれる。このような実用的な条件は、ドリフト、ループクロージャ、スケールのあいまいさなど(SLAMベースのアプローチの場合)、および投影、パラメタリゼーションなどに関連する誤差(オプティカルフローベースのアプローチの場合)に関連する様々な誤差をもたらす。
【0077】
当業者は、動的環境、特にファーストレスポンダーシナリオにおける動的環境が良好な精度(サブ1~2m)を提供することができ、そのような好ましい条件の欠如に対してロバストである代替RFモダリティから著しく利益を得ることができることを容易に理解し、認識するのであろう。AR/VRゲームアプリケーションでは、このようなモダリティが周期的な絶対位置固定を用いて、VIOが直面する累積エラーを排除するのに役立つことを補完することができる。
インフラの無い位置推定におけるRFの役割
【0078】
超広帯域(UWB)技術の最近の普及と、(インパルス伝送による)優れたマルチパス抑制でワイドな500~1000MHzの帯域幅に及ぶその能力は、インフラストラクチャアンカーの助けを借りてではあるが、サブmの位置推定のためのポピュラーな候補となった。この空間における既存の研究は、スケーラブル測距(SurePoint、SnapLoc)および個々の移動ノード(例えば、屋内無人機、PolyPoint)の追跡に大部分関心がある。しかしながら、基準アンカーが存在しない場合、UWBの双方向測距(TWR)メカニズムは、ノードが互いに測距することのみを可能にすることができる。したがって、動的環境における位置推定は、異なる課題を提示し、正確な距離の推定を超えて、その距離を正確な位置推定解に変換する必要がある。実際に、インフラの無いRF位置推定の主要な焦点は、アンカーがない場合に生じる推定距離とノード位置推定との間のこのギャップを埋めることになる。
【0079】
相対位置推定の手引き。ノードがアンカーによって定義される座標空間内で絶対的に位置推定されるアンカーベースのアプローチとは対照的に、インフラの無いセットアップにおける位置推定は、2ステッププロセスである。第1に、ノードはそれらの間で相対的に位置推定され、それに続いて、いくつかのメタ情報(例えば、ノードの向き、またはフロアプラン)が、そのような相対位置推定を絶対座標空間に変換するために活用される。相対位置推定は、ノード間の幾何学的配置またはトポロジーを参照し、ノード間のペアワイズ距離ならびにそれらの相対的な向きが保存される。このような相対位置推定を決定する際に、剛体の構造が有用である。
【0080】
G=(V,E,d)を重み付きグラフとし、ここでdは
【数1】
ノードで定義された
【数2】
エッジに対する距離測定値(重み)の集合である。実現(realization)は、各距離値が保存されるように頂点Vの集合を2Dユークリッド空間に写像する関数
【数3】
である。すなわち、
【数4】
であり、ここで、
【数5】
は、ユークリッドノルムである。
【0081】
グラフG=(V,E,d)は、変換、回転、反転を割り引いて、ただ1つの実現(realization)がある場合に「剛性(rigid)」である。したがって、剛性トポロジーは、固有の相対位置推定解を与える。
図4(A)、
図4(B)、および
図4(C)に示すように、
図4(A)の完全なグラフまたはクリークは、ノードのすべての対の間に10個の距離が与えられ、このグラフが唯一の実現であるが、回転、変換、および/または反転させることができるため、剛性である。同様に、9つの距離が与えられるので、
図4(B)のグラフは剛性である。しかしながら、
図4(C)に示されるものは、8つの距離が与えられるので、剛性ではなく、エッジ(2,3)に対してノード5を固定するための2つの選択肢があり、その結果、2つの位置の実現が得られる。
【0082】
ノード間の全ての可能な距離が利用可能である場合、相対位置推定の計算は、静的環境では直接的である。グラフのエッジ重みは、隣接行列EDM(別名ユークリッド距離行列)の形で維持され、各エントリは2つのノード間の測定距離を表す。次に、多次元尺度構成法(MDS)と呼ばれるアプローチがEDM行列に適用され、それによって、EVD(固有値分解)は2Dデカルト空間におけるノードの埋め込み(すなわち、相対位置推定)をもたらす。このような相対位置推定の枠組みは、本発明者らの動的環境に適切であるが、この空間における理論的手法は、実際には成り立たないいくつかの仮定1に基づいて構築されている。
注釈1:例えば、静的ノード、費用をかけずに全てのノード対の正確なレンジ推定値など。
動的環境におけるさらなる課題
【0083】
モバイルノードを正確に位置推定/追跡するために、位置推定解は、ノード移動性よりも細かい粒度で計算され、リフレッシュされる必要がある。例えば、1Hzのリフレッシュレートは、1~2mのエラーを目標として、1~1.5m/sの速度でノードを追跡するのに適している。しかしながら、リフレッシュレートは相対位置推定の全プロセスに対してレイテンシ限界(コスト)を自動的に強制し、これは、距離推定/収集と解計算の両方を含む。これは、以前に対処されていない、インフラの無い位置推定問題(LB-IFLと呼ばれる)のレイテンシ制限バージョンをもたらす。
【0084】
実際の既存のアプローチに対するこのようなレイテンシコストの影響を理解するために、本発明者らは、(瞬時に利用可能な全ての可能な距離推定値TDOAを有する)ジーニー/アンカー支援位置推定解を、上述したもの、すなわち、(ベースと呼ばれる)エッジのランダムな集合で構築されたEDMに適用されたMDSと比較する実験的研究を示し、その距離は、リフレッシュレートによって提供されるレイテンシバジェット内で測定される。
【0085】
レイテンシ対精度。当業者はすべての測距動作が完了するのに有限の時間を要することを容易に理解し、認識するであろう。例えば、一般的なUWBハードウェアでは、単一の距離推定、すなわち、双方向測距(TWR)動作を完了するのに約40msかかる。これは、本質的に、1Hzの位置推定更新レートをサポートするために、毎秒推定/収集することができる距離数を25に制限する。
図5(A)及
図5(C)の結果は、与えられたトポロジーサイズに対するバジェット制限が増加するか、またはその逆の場合、精度が数倍低下し、レイテンシ(コスト)と精度の間のトレードオフが明確に露呈することを示す。これは、インテリジェントトポロジー推定(エッジ選択)の欠如、および制限されたレイテンシバジェット、したがってそれぞれ不完全な距離推定(これまでに対処されていない態様)で動作するために必要とされるロバストな相対位置推定スキームに起因し得る。ここで、この性能劣化に寄与する特定の要因をさらに分析する。
【0086】
距離推定が不完全である。実際には、ノード間の物理的な通信距離によって、トポロジーが完全になることが制限される。これは、レイテンシバジェットのために推定することができる限られた数のエッジ(距離)によってさらに複雑になる。不完全なEDM(すなわち、推定されたトポロジーがクリークではない)は、位置推定の不正確さにつながる可能性があるので、ノードを相対的に位置推定することができる前にEDMを完了するように、行列補完方法(例えば、SDR、OptSpace)が使用される。しかしながら、後者は、位置推定問題に関連する幾何学的意味を念頭に置いて設計されていない。これは、
図6(A)に示すように、大きな位置推定誤差をもたらす可能性があり、それによって、不完全な距離推定に対してロバストである相対位置推定スキームの必要性を提唱する。
【0087】
幾何学的配置の影響。
図6(B)に示される興味深い結果は、選択されたエッジの特定の集合が不完全ではあるが、位置推定解にも大きな影響を及ぼすことをさらに示す。これは、測定されたエッジに関連するトポロジーの幾何学的配置(特にその剛性)がその解に直接影響を及ぼし、エッジに因数分解されなければならないこと、したがってトポロジー選択プロセスに因数分解されなければならないことを示す。
【0088】
不正確な距離推定値。小さな距離の集合でさえも不正確な推定は、トポロジー全体の精度の低下につながる可能性がある。ここで、2つの重要な環境要因、すなわち、LOS閉塞(ボディ、コンクリートなどによる)、およびノード移動性は、距離推定の精度に著しく影響を及ぼす可能性がある。距離推定のための制限されたバジェットが与えられると、
図7(A)および
図7(B)に見られるように、エッジがそれらのチャネルまたは移動特性を考慮せずにランダムに選択されると、影響を受けたエッジの小さな集合であっても、性能は非常に急速に低下することは明らかである。したがって、それらのチャネルおよび移動性に関してエッジの性質を特徴付けることは、改善された位置推定精度のために不可欠である。
設計要件
【0089】
上記の議論から、実際的な動的屋内環境における「インフラストラクチャ無し」と「ノード移動性」との組み合わせは、位置推定問題のレイテンシ制限バージョンを非常に困難にすることに注目されたい。
【0090】
これらの課題に対処する際に、2つの重要な設計要件がDynoLocについて追求される。すなわち、(a)実際の配備設定(≒数10秒)において妥当な数のノードをサポートし、それらの多くは可動性(≦2m/s)であり、(b)最終的にそのような情報を消費する基礎となる位置に基づくサービスに許容可能な位置更新レート(≧1Hz)を提供する。
DynoLoc設計
【0091】
図7(C)は、全体的なDynoLoc動作の概略を示すブロックフロー図である。
【0092】
高レベルでは、DynoLocがノード間のトポロジーを剛性要素のグラフとして集合的にモデル化し、トポロジーがノードの移動性およびチャネル状態に応じて発展することにつれて、時間の経過とともに正確に追跡する。(アプリケーションのリフレッシュレートによって決定される)限られた時間内に、DynoLocのタスクが、基礎となるトポロジーを正確に推定するために、(制御用のWiFiを使用して)マスタ
2ノードにおいてできる限り(リンク上の)多くのUWB測距情報をネットワークから収集することである(
図2参照)。
注釈2:ノードの一つがマスターノードとして倍増する。
DynoLocの概要
【0093】
DynoLocは、エポック(ラウンド)で動作し、すべてのノードの位置は、各エポックの終わりに推定され、その期間はアプリケーションのリフレッシュレート(例えば、0.5~2Hz)によって決定される。各エポックにおいて、以下の一連の動作が実行される。
【0094】
I)測距のためのトポロジー推定。(接続性に基づく)基礎をなす物理トポロジーが与えられると、DynoLocはまず、(フレッシュレートおよびDynoLocの測距プロトコルによって決定される)利用可能な制限された時間内に、どの基礎となる重要なエッジが測距される必要があるかを決定する。エッジ選択は、結果として得られるトポロジーに寄与するエッジを最大剛性であるように優先順位付けし、その一方で、その範囲がマルチパスによって損なわれる可能性があるエッジを回避し、最近において可動であったノードに関連付けられたエッジを優先順位付けし、それによって良好な位置推定精度につながるという点で、ロバストである。
【0095】
II)同時測距。次に、選択されたエッジは、ノードからその近隣にわたる測距のオーバーヘッドを償却する同時測距プロトコルを使用して測距され、同時に、非干渉近隣における同時測距を可能にして、全体のレイテンシを最小限に抑える。
【0096】
III)ロバストな相対位置推定。推定されたトポロジーが測距された後、DynoLocの位置推定アルゴリズムは、ロバストで正確な相対位置推定の両方を提供するために、剛性であり、それらを効果的に組み合わせるトポロジーのサブグラフにのみ、EDMを知的に識別し、適用する。
【0097】
IV)絶対位置推定。DynoLocは最終的に、(フロアプランまたは単一の参照ノードによって寄与される)少ない追加のメタ情報を用いて相対位置推定解を絶対位置推定解に変換し、その一方で、その解に対する所望のリフレッシュレートを依然として実現する。
測距トポロジーの推定
【0098】
DynoLocで具体化された1つの特に重要な革新は、幾何学的剛性のグラフ理論的構成を活用して、全体としてトポロジーの正確な位置推定に集合的に寄与するエッジの集合を識別し、同時に、ノード移動性およびチャネル状態で発展するときにトポロジーを追跡するようにそれ自体を適応させることである。DynoLocは、最初に物理接続トポロジー内のリンクを特徴付け、その後、適応リンク選択のためにそのような特徴付けを活用することによって、これを達成する。
【0099】
A.接続性トポロジーの特徴:すべてのリンクは、そのノードの移動性、その無線チャネルのマルチパス特性、およびトポロジーの剛性への寄与に基づいて特徴付けられる。
【0100】
LOS対NLOS:各ノードは、その送信をオーバーヒアリングすることによって識別される、その隣接ノードのリストを維持し、そのチャネルインパルス応答(CIR)も収集される。したがって、ノードiは、隣接ノードjのいずれかと直接的に結びつけることができ、そのリンク品質(L
ij)はその対応するCIRから推定される。L
ijは、リンクがLOS(直接)経路またはNLOS(間接)経路であることの確実性に基づいて、リンクについての測距の位置精度を捕捉する。このNLOS確率は、
【数6】
として計算される。ここで、
【数7】
前ウィンドウで検出された第1経路(FP)の前の平均ピークカウント(
図8参照)、
【数8】
FP振幅に対する標準ノイズの比率、
【数9】
FP振幅に対するピークの比率、
【数10】
FP電力に対する総受信電力の比率である。リンク品質は、この確率の逆数である。最初に、ブートストラッピング段階中に、すべてのノードは、その隣接ノードによって受けるビーコンパケットを順次ブロードキャストする。システムが定常状態に達すると、近傍リストは追加の測距を必要とせずに、すべてのノードによって暗黙的に維持される。これは、ノードにわたる物理的接続性グラフを実現するのに役立ち、ここで、すべてのエッジは距離推定のための位置の候補であり、その品質(すなわち、正確な距離を配信するための確実性)によって重み付けされる。
【0101】
移動性:さらに、すべてのノードiは、前回の位置推定以降の位置の不確実性を捕捉する移動性メトリックスM
iも維持する。このメトリックは、TsL(time-since-localization)の関数として増加し、ノードの加速度
【数11】
(そのIMUから得られる)を使用して計算される。具体的には、すべてのIMU読取り(kでインデックス付けされる)について、
【数12】
であり、ここで、ノード速度
【数13】
であり、Δtは最後のIMU読取りからの経過時間である。ノードが位置推定されるたびに、M
iとν
iは0に再設定される。
【数14】
がゼロ(静的ノード)である場合、
【数15】
のようにMに指数関数を割り当てる。これにより、ノードは静的であるが、その最後の位置推定から十分な時間が経過した場合であっても、測距のために優先順位付けされることが可能になる。
【0102】
幾何学的剛性:剛性グラフが固有の相対位置推定解を許容することを想起されたい。ノードの接続性トポロジーは実際には剛性グラフではないかもしれないので、DynoLocは、結果として生じるノードトポロジーに対する最大の剛性を保証するこの基礎となる接続性からエッジを選択することを目的とする。これは、グラフの剛性を保証するために使用されるkコアサブグラフの構成を活用することによって、物理的接続性グラフから最大剛性サブグラフを識別することによって行われる。kコアサブグラフでは、すべての頂点は少なくともkの次数を有する。kコアサブグラフは、k-1次元空間において剛性であることが知られている。従って、2Dにおける剛性について、3コアサブグラフ3を得ようとする。2コアサブグラフは、2Dにおいて剛性ではなく、複数の位置推定解を許容することに留意されたい。
注釈3:これは、DynoLocが3D位置推定のために拡張されることを可能にし、ここで、4コアサブグラフが代わりに活用される。
【0103】
DynoLocは、接続性グラフで始まり、k=1、2、3のkコアサブグラフに順次分割することで、最大の3コアサブグラフを識別する。これは、1の次数を有する1コアノードを(1つずつ)識別することから開始し、1コアノードが見つからなくなるまで、1コアノードおよびそれらの入射エッジを反復的に除去する。そして、次数2の2コアノードについてプロセスを繰り返す。1コアおよび2コアノードを除去した後、剛性である最大3コアサブグラフ(
図9の実施例に示す)が残される。
【0104】
B.測距トポロジーの推定:ここで、測距に使用されるエッジ、したがってトポロジー選択のためのDynoLocのアルゴリズムを説明する。高レベルでは、DynoLocが、その測距リソースを、(移動性のために)その距離が古くなったリンク、続いてトポロジーの剛性に最も寄与するリンクに充てることを目指し、一方、(NLOSのために)位置の不正確な距離を有するリンクを回避することも目指す。具体的には、反復ごとに、DynoLocは最高の移動性M(位置不確定性)メトリックを有するノード(例えば、i)を選択する。iが3コアの一部であり、3つより多いエッジを有する場合、最も高いLメトリック(距離精度)を有するそのエッジのうちの3つが選択される。さもなければ、その入射エッジ(≦3)が直接選択される。複数のノードが同じMメトリックを持つ場合、ノード選択はkコアメトリックに基づいて行われ、ノードは、より低いコアに属するものよりも高いコア(より高いノード次数で切断されたタイ)に属する優先順位になる。このプロセスは、測距バジェットが測距用に選択されたエッジによって使い果たされるまで繰り返される。最初に、システムがブートストラップされ、ノード移動性に関する情報が利用可能でないとき、すべてのノードは、古いMメトリックを有すると仮定され、エッジ選択は主に、剛性に対するそれらの寄与およびそれらのLOSの性質に基づいて行われる。完全なDynoLoc方法をアルゴリズム1に示す。
集約および同時測距
【0105】
DynoLocは、以下の2つの重要なメカニズムを使用して、その測距プロトコルを最適化する。
【0106】
集約測距:UWBは、飛行時間(TOF)に基づいてノード対間の距離を推定するために、IEEE 802.15.4で標準化された双方向測距(TWR)メカニズムを使用する。さらに、すべてのノード対は、干渉を回避するために、厳密なTDMAスケジュールに従って別々に測距される必要がある。これは、所望のノード対に対して逐次的な測距をもたらし、重要なレイテンシを消費し、スケーラビリティを妨げる。TWRは、単一の距離推定のために4つのメッセージを交換することを必要とする。DynoLocは、TWRの集約バージョンを備え、イニシエータノードが、協力して測距したい他のノードのIDも含むブロードキャストINITメッセージを送信する。受信ノードは、個別にPOLLメッセージを送信し、その後にイニシエータノードからブロードキャストRESPONSEメッセージを送信する。RESPONSEメッセージを受信すると、ノードは、FINALメッセージを送信するためにもう一度ターンする。上記メッセージ内のタイムスタンプに基づいて、イニシエータノードは、個々のノードへの距離推定値を計算する。したがって、本発明者らの集約されたTWRは、その順次対応物の4N個のスロットと比較して、(2N+2)個のタイムスロット内のN個のノードに及ぶことができる。各送信スロット時間が10msであると仮定すると、この実質的な節約は、同じレイテンシバジェットで測距されるべき2倍の数のリンクを可能にする。
【0107】
同時測距:UWBプロトコルは、無線競合を回避するためにTDMAを使用するが、空間再使用を考慮せず、互いの干渉領域の外側のノード対を同時に動作させることができる。DynoLocは、前述のように各ノードの近傍情報に基づいて、このようなリンク同時実行情報を簡単に計算することができる。したがって、イニシエータノードの集合およびそれらの対応する測距ノードは、論理的に非干渉群に分割され、すべての群はイニシエータノードを含む。各イニシエータノードは、集約されたTWRプロセスを同時に実行して、そのグループ内の関連するノードを測距する。空間再使用を用いるこのような同時測距は、大きなノードトポロジーにとって有益な測距バジェットの著しい増加を提供する。
【0108】
DynoLocは、上記の測距プロトコルを使用して、その測距トポロジー内のリンクの距離を収集する。そのような最適化はまた、そのエッジ選択構成要素による使用のための(アプリケーションのリフレッシュレート内の)著しく大きな測距バジェットをもたらし、これは、より大きな位置推定精度に寄与する。
ロバストな相対位置推定
【0109】
DynoLocは、測距トポロジーから収集された最新の(エポック)距離を、正確で古くなっていない以前のエポックからの他の距離と共に使用して、ノードの相対位置推定を決定する。既存の解決策は、ノードの相対位置推定(埋め込み)を決定するために、mノードトポロジーのための距離の完全なm×mのEDM行列を必要とする。マトリックス補完技術(例えば、OptSpace、SDR)は、実際には欠落しているEDMエントリを補完するために使用されるが、(i)トポロジー全体にわたる剛性と(ii)幾何学的構造の組み込みとの欠如のために、不十分な精度をもたらす。DynoLocは、これらの両方の態様において、以下のようにロバストな位置推定解を提供するように刷新する。
【0110】
A.欠落距離の推定:DynoLocは、トポロジーの剛性サブグラフ(3コアサブグラフ)に対してのみ、個別に、EDM補完を実行する。サブグラフの剛性(例えば、n個のノードを有する)は、n×nのより正確なEDM補完を可能にする。さらに、ノードの幾何学的配置のトポロジーを活用して、欠落しているEDMエントリを以下のように補完する(アルゴリズム2)。アルゴリズムは、測定された距離でEDMを初期化することによって開始し、次いで、連続的なマルチラテレーションによって欠落した距離を埋める。その処理では、すべてのノードの相対位置も計算する。それはEDMの2つのコピーを維持し、一方は計算された相対ノード位置からのみ得られたノード間距離に基づいており、他方は利用可能な場合には実際に測定された距離を含む。そして、これら2つのEDM間のギャップを最小限に抑えるために、各ノードの相対位置を反復的に摂動または更新し、さらに、後続のノード位置からEDMを更新する。したがって、欠落距離の推定における誤差が最小限に抑えられる。
【0111】
B.相対位置推定:トポロジーの剛性構成要素および非剛性構成要素を識別した後、DynoLocはまず、剛性サブグラフ内のノードの相対位置推定を個別に解き、続いて非剛性コンポーネント内のノードの相対位置推定を解く。
【0112】
剛性構成要素:剛性構成要素のためのEDMを補完した後、DynoLocは、多次元スケーリング(MDS)ソルバを使用して、ノード埋め込み(相対位置推定)解を見つける。シーケンシャルマルチラテレーションは、EDM補完には適切であるが、後にマルチラテレーションされるノードについて位置誤差が急速に増加する傾向があるため、最終的な位置推定自体には使用されないことに留意されたい。対照的に、MDSソルバでは、マルチラテレーションの順序は重要ではなく、マルチラテレーション誤差は目的関数の一部であり、マルチラテレーション処理のすべての工程にわたって均等に分散される。MDS問題は、次のように定義できる:二乗EDM
【数16】
が与えられた場合、対応する相対位置行列
【数17】
を見つける。行列表記では、
【数18】
の解と等価であり、ここで、
【数19】
は行列
【数20】
の転置である。DynoLocは、以下のように機能する古典的なMDS(CMDS)ソルバを採用する。
【0113】
二乗距離行列
【数21】
が与えられた場合、
【数22】
のグラム行列
【数23】
を
【数24】
として計算する。ここで、
【数25】
である。
【0114】
【0115】
最後に、固有ベクトル行列
【数27】
と対角固有値行列
【数28】
について、
【数29】
を計算する。
【0116】
「センタリング」仮定のために、解
【数30】
の各列は、合計してゼロになり、すなわち、
【数31】
の原点は、n個の位置の重心と一致する。CMDSは、損失関数(歪みとも呼ばれる)
【数32】
を最小化することに留意されたい。そうする際に、それは欠けているエッジについてのみ距離エントリを更新するが、測定された距離を有するエッジはそのままにしておく。CMDSは、次元が小さい(本発明者らの場合で2)場合に、より発生しやすい局所的な最小値をもたらすことができる。したがって、DynoLocは、ノードのIMUから取り出された機首方位データを使用して位置を相互検証し、また、小さいウィンドウにわたる連続するノード位置に対して平滑化フィルタを使用する。
【0117】
非剛性構成要素:3コアノードの相対位置を解いた後、DynoLocは、非剛性構成要素内のノード、すなわち、2コアノードおよび1コアノードを考慮する。定義によれば、すべての2コアノードは、剛性構成要素に対する2つのエッジを有する。これらの2つの距離を使用して、2コアノードの相対的な位置を見つける。しかしながら、2つの距離のみでは、2つの可能な解が存在する。DynoLocは、解の近傍におけるエッジのリンク品質を活用することによって、これらの解のうちの1つを容易に除去する。解が(その2つのエッジの剛性ノード以外の)隣接する剛性ノードを有する場合、これは、(剛性コンポーネントに対する別のエッジが存在するので)その2コア状態と矛盾し、したがって、解を排除することができる。2コアノードも解かれると、残りの1コアノードは、(剛性構成要素に対する)対応するエッジがIMUデータを使用して地球の南北軸となす角度を使用して決定される。この計算は、次に説明する絶対位置推定手順の一部として行われる。
【0118】
絶対位置推定
DynoLocは、位置推定解を相対座標系からターゲット絶対座標系に変換する必要がある。これは、(ノード上の)IMUまたはフロアマップ情報の助けを借りて、前のステップで導出された剛性グラフを並進させ、回転させ、反転させることによって達成される。
実施及び評価
システムの実施と試作
【0119】
現在構成されているように、本発明者らのDynoLocシステムは、組み込み型コンピュータ(例えば、スマートフォンまたはRaspberry-Pi)とインターフェースされたUWBタグのセットと、距離測定を調整し、位置推定アルゴリズムを実行する中央制御装置とを含む。制御装置及び組み込み型コンピュータの両方は、制御情報及びアプリケーションデータ(例えば、センサ読み取り値、ビデオフィード)を交換するローカルWiFiネットワークに接続される。
【0120】
DynoLoc UWBタグ:このタグは、非常に精密なピコ秒クリスタル(TOF計算用)を収容するDecawave DW1000 超広帯域無線(コスト≒10ドル)で構成されている。これにより、2.2mmという高い距離分解能を実現できる。DW1000のSPIピン(シリアルクロック、マスタ出力、マスタ入力およびスレーブ選択)、VccおよびGNDピンを、低電力ARM Cortex-MベースのマイクロコントローラユニットSTM32 NUCLEOF042K6(コスト≒約10ドル)にインターフェースし、ここで後者はSPIマスタとして働く。DynoLocの最適化された測距プロトコルは、約4000行のCコードで実施され、STM32マイクロコントローラ上で実行される。さらに、STM32は、外部ホスト装置からそのシリアルポートを介して特定の測距命令または推定距離を送受信する。ほとんどの市販のUWBタグは、100~200ドルのコストがかかるが、DynoLocタグは、特徴を損なうことなくコストを20ドル(COTSタグの1020%)未満に維持することが可能であることを示している。本発明者らのタグは、3~7GHz(500MHz帯域幅で)にまたがるUWB許容チャネルを使用できる。大部分の実験では、改良された距離用に中心周波数として3.5GHzを使用した。
【0121】
タグホスト:埋め込み型コンピュータ(スマートフォンなど)は、DynoLocタグ用のUSBホストとして機能する。それは、タグに特定の測距命令(例えば、5つの特定の隣接ノードによる距離)を送信し、測定された距離を受信する。また、タグホストは、慣性センサからのノードの移動性、ならびにタグから得られるリンク品質情報(MおよびLメトリック)を追跡する。本発明者らのタグのデバイスドライバは、Androidプラットフォーム上に実装され、制御装置からのコマンドをインターセプトし、それをタグに渡す、バックグラウンドサービスとして実行され、また、その逆も実行される。また、タグホストは、上下方向の高さ、すなわち、階層展開シナリオにおいて有用な階数を識別するための圧力センサを収容する。
【0122】
制御装置:制御装置は、全体的なトポロジー推定を担当し、個々のタグから距離を収集し、位置推定エンジンを実行する。アプリケーションに応じて、制御装置は、情報を個々のノードに送り返し、ダッシュボードにローカルに表示したり、リモートでの視覚化や意思決定のためにクラウドサービスにオフロードしたりする。制御装置のロジックは、約1000行のPythonコードで実現される。
システム評価
【0123】
DynoLocは、現実的な屋内環境での制御された実験への野外展開にわたり、包括的に評価される(16を超えるノードのより大きなトポロジーについてのみシミュレーションによって補足される)。以下では、本発明者らの方法論に続いて、いくつかの重要な性能結果を説明する。
【0124】
野外展開(In-the-wild Deployment)
【0125】
DynoLocは、実際の消防士の訓練で展開され、試験されている。DynoLocタグを搭載した消防士10名が、重大な火災事故を想定して試験棟(2フロア
4、約50m×100m)に入る。ビルの外に立った消防長は、DynoLocのリアルタイムダッシュボードを通る暗くて煙の多い通路を巡回する要員のあらゆる移動を追跡し、それに応じて無線機を介して要員に指示する。ある特定の事故では、見失って同僚から離れた消防士が救助信号を発した。自分の位置が分かっている消防長は、介入し、見失った消防士の方に自分の仲間を正確に向け直すことによって直ちに支援することができた。本発明者らは、(消防長から)DynoLocの真の価値を、このような難しいシナリオで学習した。このシナリオは一般的で、しばしば消防士の死亡につながる。訓練のスナップショットを
図2に示す。
注釈4:局所的に各ノードでのフロア識別のための圧力センサ+UWBベースのメカニズムが、この訓練のためにDynoLocに追加された。
【0126】
制御実験
【0127】
テストベッド:テストベッドは、約50m×40mの屋内エリアに、8つの予め計画されたナビゲーション可能なルート(フロアに接着テープでマークされている)を含む。ルートの総合的な長さは≒500mである。ルートは様々なタイプの屋内エリア、すなわち、開いた廊下、玄関、会議室、実験室スペースなどを包含し、その結果、本発明者らは、典型的な屋内設定(LOSおよびNLOSの両方)の適正な表現を有する。DynoLocタグに加えて(+スマートフォンホスト)、各ボランティアは、グラウンドトゥルース収集のために異なる周波数(6.5GHz)で動作する別のUWBタグを搬送する。
【0128】
ベースライン:グラウンドトゥルースは、(TDOA情報を使用するマルチラテレーションによって)密に配置され、同期された、静的なアンカーノードのシステムを使用して収集され、10~20cmのオーダーの位置推定精度を与え、それによってインフラストラクチャの無い解決のためのパフォーマンスの下限として役立つ、ビルフロア全体に展開される。また、DynoLocのサブセットである2つのヒューリスティック、すなわちH-AgnosとH-Dynを考察した。H-Agnosは、DynoLocの相対位置推定構成要素を使用するが、ノードダイナミクスおよびリンク品質を考慮しない(ラウンドロビンを介して可能なエッジのすべての対を測距する)ナイーブエッジ選択アプローチを採用する。対照的に、H-Dynのエッジ選択は、最も動的なノードに付随するエッジ上について測距することによってノード移動性を考慮するが、その相対位置推定における幾何学的剛性要件を無視する。
【0129】
全体的な位置推定性能:
図11(A)は、DynoLocの全体的な性能を、様々な要因、すなわち、ノードの数、移動ノードの割合、移動ノードの速度、および目標位置更新レートの関数として強調している。DynoLocは、ほとんどの現実の状況において実用的である妥当な数のノード(
図11(A))に対して良好にスケーリングする。すべてのノードが(1m/sで)移動可する困難なシナリオにおいてさえ、DynoLocは1Hzの更新レートに対して2メートル未満の平均位置推定誤差を提供し、一方、H-AgnosおよびH-Dynは、それぞれ、6~7メートルおよび5~6メートルの誤差を被る(
図11(B))。DynoLocのロバストな相対位置推定構成要素(H-AgnosおよびH-Dynに含まれる)の欠如は、さらなる分解につながるだけである。H-Agnoは、基礎となるグラフの剛性を説明するが、ノードの移動性およびリンク品質の概念を欠いており、したがって、精度を劣化させ、一方、H-Dynは、ノードの移動性を考慮に入れるが、剛性要件を実施することができないため、精度を劣化させる。また、より要求の厳しい2Hzの位置更新レートに対してさえ、DynoLocは、半分のノードが移動可能である場合であっても、サブメータの位置推定精度を維持することに留意されたい(
図11c)。DynoLocの測距アルゴリズムは、移動性対応であり、最も重要な距離を収集する際に利用可能な時間リソースを適応的に費やす。これにより、4倍の更新レートが望まれる場合であっても、2m未満の精度で配信することが可能になる。DynoLocの設計の利点:DynoLocの設計構成要素は、以下のように分離してベンチマークされる。
【0130】
適応測距:
図11(A)および
図11(B)は、(Randにおけるランダム選択と比較して)DynoLocの適応測距(エッジ選択)メカニズムの重要な利点および有用性を明確に示す。ここで、トポロジー推定の一部として、移動性のメリットとリンク品質メトリックを探索する。
【0131】
移動性メトリック:
図13(A)は、移動性メトリック(M)を考慮せずに(純粋に剛性制約に基づいて)エッジ選択を実行すると、サブオプティマル位置推定精度が得られることを示している。さらに、
図12(A)は、その加速を通じてノード移動性を追跡する際のMメトリックのリアクティブな性質を示す。
【0132】
リンク品質メトリック:同様に、
図13(B)は、エッジ選択に対するリンク品質メトリック(L)の影響を示す。Lは、NLOS対LOSの距離の分類子として作用する。特に、NLOSシナリオでは、Lは雑音のないエッジを選択する際に重要な役割を果たし、それによって、より良好な位置推定精度につながる。
図13(B)は、Lメトリックを導入することが、2つの異なるNLOSシナリオ(ミーティングルーム/オフィススペース、およびNLOS1およびNLOS2によってそれぞれ示される実験室スペース)において、精度を30~40%改善することを示す。
【0133】
ロバスト相対位置推定:
図14(A)は、DynoLocのEDM補完アプローチが多くの場合、(欠落したエントリについての)距離推定を2m以内に有利に制限することができることを示す。これは、欠落した距離を推定するためにノード幾何学的配置を利用する逐次マルチラテレーションアプローチを使用しながら、剛性サブグラフを個別にターゲット化するそのアプローチに帰することができる。その剛性サブグラフベースの相対位置推定は、
図14(B)に見られるように、既存のアプローチよりもはるかに改善された精度にさらに寄与する。
【0134】
同時測距:
図15(B)に見られるように、DynoLocの集約および同時測距は、より大きな測距バジェット、したがって、位置推定精度に直接寄与する。DynoLocのタグは、2つのデータレート(低(100Kbps)および高(6.8Mbps)、
図15(A))をサポートする。高いデータレートは、測距当たりのより低いレイテンシをもたらす(低いデータレートの場合、2ms対8ms)。これは最大通信距離(約10m)を制限し、より多くの同時測距を可能にするが、適度に接続されたトポロジーを保証するために、より高いノード密度も必要とする。これは、
図15(A)に示される結果に反映される。
【0135】
絶対位置推定:絶対位置推定に対する相対的な変換は、
図16(A)に示されるように、10~20%の追加誤差を招く。予想通り、ネットワークサイズが大きくなるにつれて増加する。
【0136】
図16(B)は、ユーザが移動(歩行およびスプリント)することにつれて、経時的に機首方位の値がどのように追跡されるかを示す。雑音の多い方位値はより高い追加誤差をもたらすが、これは2m/sでスプリントするユーザに対してさえ、40~60cmだけに依然として制限される。
【0137】
エンドツーエンドシステムレイテンシ:
図17(A)は、DynoLocの全体的レイテンシを3つのカテゴリに大別する。
図17(B)に示される表において、発明者らは、システムの異なる構成要素に対するいくつかのバッテリ寿命ベンチマークを提示した。
アプリケーション
【0138】
DynoLocは、好ましくはインフラストラクチャの配備なしに、最小限のセットアップ時間から利益を得る位置ベースのアプリケーションのホストをリアルタイムサポート可能にする。
マルチプレーヤーAR/VRゲーム
【0139】
現代のマルチプレーヤーAR/VRゲームシステムは、物理的座標空間におけるプレーヤーの位置に関係する特徴をサポートしない。「位置ベースの娯楽」に対する需要が高まっていることを考えると、最近の解決策は、プレーヤーを個々の基準フレームに関して位置推定するために(VIOを使用する)ビジュアルSLAMを使用する。しかしながら、共同マルチプレーヤー設定のためには、グローバル座標系が不可欠である。これは、今日ではスムーズなマルチプレーヤー体験を提供しない視覚的マーカまたはアンカー、あるいは費用効果の高いオンデマンド配備を提供しないIRカメラおよびレーザタグの高価/広範囲な設置(例えば、消費者の家庭)のいずれかを使用して達成される。
【0140】
DynoLocがそのようなゲームシステムにもたらすことができる価値を実証するために、DynoSoccerと呼ばれる単純なAndroidベースのマルチプレーヤーVRゲームを作成した。DynoSoccerは、特に明るくもテクスチャーもないリビングルームのような通常の物理的空間を、プレーヤーが実際の物理的位置に基づいて互いに対話することができるゲーム場に変換する。ゲームには、プレイヤーによってバウンドされたバーチャルボールが含まれる。各プレーヤは、ボールを「キック」するために、ボールに近接するように自分の位置を調整する必要がある。しかしながら、これは、システムがプレーヤー及びボールの動きに応答することを必要とし、さもなければ、「キックミス」をもたらす。本発明者らは、高いボール速度に対してさえ、DynoLocがH-Agnosベースラインと比較して50%~90%少ない「ミスキック」をもたらし、VR経験を有意に増加させることを示す(
図18(A)、
図18(B))。DynoLocは、個々のプレーヤの移動性に基づいて、(H-Agnosにおけるラウンドロビンと比較して)トポロジー内の関連する距離を適応的にスケジューリングする。本発明者らは、VIOをDynoLocと融合させて、あまり好ましくない視覚環境(
図1)、特にマルチプレーヤーコンテキストにおけるVIOの課題を克服することを計画する。
アクティブシューターシナリオ
【0141】
図19(A)および
図19(B)において、DynoLocがアクティブシューターを見つけるようなカオス的状況において、捕捉された犠牲者の安全な避難のために、どのようにしてリアルタイムジオフェンスを生成することができるかを実証する。アクティブシューターを模倣する人は、指定された経路で走る。(シューターの進路を知らない)DynoLocタグを装備した4人のボランティアと、ボディカメラが一般的なエリア(廊下(corridors)、玄関(hallways)など)をスカウトする。シューターがビデオフレーム内で検出された場合、それぞれの位置を安全でないとマークし、ジオフェンス(安全でない点を結ぶ多角形)を更新する。
図19(A)では、正しくはどのように位置推定誤差が不正確なジオフェンシングにつながり、潜在的に危険であるが著しく安全である「露出領域」またはゾーンをもたらすことができるかを示す。DynoLocの限られた露出と比較して、2m中央値位置推定誤差でさえ、露出領域の数百平方フィートをもたらし得る。
【表1】
【表2】
結論
【0142】
本発明者らは、いくつかの動的屋内アプリケーションの中心であるレイテンシ制限インフラストラクチャの無い位置推定の問題を導入した。これらの問題で生じるレイテンシと位置推定精度との間の基本的なトレードオフに対処するために、本発明者らは、DynoLocシステムの設計と実用化を提示した。さまざまな設計革新を通じて、DynoLocはインフラストラクチャサポートなしに、現実世界の消防士の訓練、ならびにマルチプレーヤーARゲームの適用、およびアクティブシューター追跡において、高度に移動可能なエンティティの大きなネットワークを正確に追跡する能力を実証した。
【0143】
いくつかの特定の例を使用して本開示を提示したが、当業者は本教示がそのように限定されないことを認識するのであろう。したがって、この開示は、本明細書に添付される特許請求の範囲によってのみ限定されるべきである。