IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニーの特許一覧

特許7596295追跡(tracking)の集約およびアライメント
<>
  • 特許-追跡(tracking)の集約およびアライメント 図1
  • 特許-追跡(tracking)の集約およびアライメント 図2
  • 特許-追跡(tracking)の集約およびアライメント 図3
  • 特許-追跡(tracking)の集約およびアライメント 図4
  • 特許-追跡(tracking)の集約およびアライメント 図5
  • 特許-追跡(tracking)の集約およびアライメント 図6
  • 特許-追跡(tracking)の集約およびアライメント 図7
  • 特許-追跡(tracking)の集約およびアライメント 図8
  • 特許-追跡(tracking)の集約およびアライメント 図9
  • 特許-追跡(tracking)の集約およびアライメント 図10
  • 特許-追跡(tracking)の集約およびアライメント 図11
  • 特許-追跡(tracking)の集約およびアライメント 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】追跡(tracking)の集約およびアライメント
(51)【国際特許分類】
   G01S 17/87 20200101AFI20241202BHJP
   G01S 17/86 20200101ALI20241202BHJP
   G01S 13/86 20060101ALI20241202BHJP
【FI】
G01S17/87
G01S17/86
G01S13/86
【請求項の数】 25
(21)【出願番号】P 2021558812
(86)(22)【出願日】2020-03-30
(65)【公表番号】
(43)【公表日】2022-06-01
(86)【国際出願番号】 US2020025806
(87)【国際公開番号】W WO2020205782
(87)【国際公開日】2020-10-08
【審査請求日】2023-03-29
(31)【優先権主張番号】62/828,198
(32)【優先日】2019-04-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/831,498
(32)【優先日】2020-03-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511077292
【氏名又は名称】ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100170209
【弁理士】
【氏名又は名称】林 陽和
(72)【発明者】
【氏名】イエ ウェイ チェン
(72)【発明者】
【氏名】コサイル トラヴィス ジョン
(72)【発明者】
【氏名】ロジャース レイチェル
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特開2014-169872(JP,A)
【文献】特開2001-174547(JP,A)
【文献】特開2011-112457(JP,A)
【文献】特開2008-139166(JP,A)
【文献】特開2016-219990(JP,A)
【文献】米国特許出願公開第2019/043281(US,A1)
【文献】米国特許出願公開第2005/207622(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/51
G01S 13/00-13/95
G01S 17/00-17/95
(57)【特許請求の範囲】
【請求項1】
有形の非一時的な機械可読媒体であって、
機械の1以上のプロセッサによって実行されたときに、
第1のカバレッジエリアを追跡する第1の追跡センサシステムから第1の追跡オブジェクトの追跡ターゲットコンテキストを受信することと、
前記第1の追跡センサシステムから、前記第1のカバレッジエリアとは異なる第2のカバレッジエリアを追跡する第2の追跡センサであって、前記第1の追跡センサシステムとは異なる第2の追跡センサシステムに、前記追跡ターゲットコンテキストを提供することと、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて、前記第2の追跡センサシステムによって新たに観測された追跡ターゲットの識別を、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて前記新たに観測された追跡ターゲットが識別できる候補のセットから候補をフィルタリングアウトすることと、識別された場所の範囲外の前の場所で前記候補が観測されたと決定することであって、前記識別された場所の範囲は、前記前の場所で前記候補が観測された時間と、前記新たに観測された追跡ターゲットが前記第2の追跡センサシステムによって観測された時間と、の時間差の間に前記候補が到達可能と予測される範囲である、ことと、
前記候補を含まない前記候補のセットを前記第2の追跡センサシステムに提供することと、
によってもたらすことと、
を前記機械に行わせる機械可読命令を含む、機械可読媒体。
【請求項2】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて前記新たに観測された追跡ターゲットが識別できない前記候補のセットの第1のサブセットを前記候補のセットからフィルタリングすることと、
前記第2の追跡センサシステムを介して、前記第1のサブセットを含まない前記候補のセットから前記新たに観測された追跡ターゲットの識別を行うことと、
を前記機械に行わせる機械可読命令を含む、請求項1に記載の機械可読媒体。
【請求項3】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記第1のサブセットに基づいてブラックリストを生成することと、
前記ブラックリストを前記第2の追跡センサシステムに提供することと、
を前記機械に行わせる機械可読命令を含む、請求項2に記載の機械可読媒体。
【請求項4】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記第1のサブセットに基づいてブラックリストを生成することと、
前記ブラックリストを含まない前記候補のセットを前記第2の追跡センサシステムに提供することと、
を前記機械に行わせる機械可読命令を含む、請求項2に記載の機械可読媒体。
【請求項5】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて前記新たに観測された追跡ターゲットが識別できる前記候補のセットの第2のサブセットを前記候補のセットからフィルタリングすることと、
前記第2の追跡センサシステムを介して、前記第2のサブセットから前記新たに観測された追跡ターゲットの識別を行うことと、
を前記機械に行わせる機械可読命令を含む、請求項1に記載の機械可読媒体。
【請求項6】
前記機械の前記1以上のプロセッサによって実行されたときに、
識別された場所の範囲内の前の場所で観測された前記候補のセットの一部として前記第2のサブセットを決定することであって、前記識別された場所の範囲は、前記候補のセットが前記前の場所で追跡された時間と、前記新たに観測された追跡ターゲットが前記第2の追跡センサシステムによって観測された時間と、の時間差の間に前記候補が到達可能と予測される範囲である、こと
を前記機械に行わせる機械可読命令を含む、請求項5に記載の機械可読媒体。
【請求項7】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記第2のサブセットに基づいてホワイトリストを生成することと、
前記ホワイトリストを前記第2の追跡センサシステムに提供することと、
を前記機械に行わせる機械可読命令を含む、請求項5に記載の機械可読媒体。
【請求項8】
前記第1の追跡センサシステム、前記第2の追跡センサシステム、またはその両方は、光による検出および測距(LIDAR)システム、無線周波数識別(RFID)システム、コンピュータビジョンシステム、飛行時間(ToF)システム、ミリ波(mmWave)システム、またはこれらの任意の組み合わせを含む、
請求項1に記載の機械可読媒体。
【請求項9】
前記第2の追跡センサシステムは、前記LIDARシステムを含む、
請求項8に記載の機械可読媒体。
【請求項10】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記新たに観測された追跡ターゲットの識別の信頼レベルを示す予測信頼スコアを決定することと、
前記予測信頼スコアが信頼閾値を満たさないことに応じて、前記新たに観測された追跡ターゲットの別の識別のために追加の追跡センサシステム入力を収集することと、
を前記機械に行わせる機械可読命令を含む、請求項1に記載の機械可読媒体。
【請求項11】
前記機械の前記1以上のプロセッサによって実行されたときに、
追跡センサシステムのカバレッジエリアに進むように前記新たに観測された追跡ターゲットに方向を提供することにより、前記追加の追跡センサシステム入力を収集すること
を前記機械に行わせる機械可読命令を含む、請求項10に記載の機械可読媒体。
【請求項12】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記追跡センサシステムのカバレッジエリアに進むように前記新たに観測された追跡ターゲットを動機付けることによって支援を提供すること
を前記機械に行わせる機械可読命令を含む、請求項11に記載の機械可読媒体。
【請求項13】
前記第1の追跡オブジェクトは、前記新たに観測された追跡ターゲットとは異なるオブジェクトタイプを含む、
請求項1に記載の機械可読媒体。
【請求項14】
前記第1の追跡オブジェクトは、車両を含み、
前記新たに観測された追跡ターゲットは、1以上の人物を含む、
請求項13に記載の機械可読媒体。
【請求項15】
前記機械の前記1以上のプロセッサによって実行されたときに、
人物のグループおよび関連する属性を示すトレーニングデータを受信することと、
前記人物がグループ化すべきかを示すグループ化属性を識別するために前記関連する属性のパターンを識別することと、
前記第1の追跡オブジェクトが前記パターンに関連付けられているかどうかを決定することと、
前記第1の追跡オブジェクトが前記パターンに関連付けられていると決定されることに応じて、前記第1の追跡オブジェクトをアクティブグループの一部として識別することと、
を前記機械に行わせる機械可読命令を含む、請求項1に記載の機械可読媒体。
【請求項16】
前記機械の前記1以上のプロセッサによって実行されたときに、
前記第1の追跡オブジェクトおよび第2の追跡オブジェクトが互いに閾値近接度にて費やした時間を決定することと、
前記時間が閾値を超えたときに、前記第2の追跡オブジェクトを前記アクティブグループに関連付けることと、
により、前記パターンに基づいて、前記第2の追跡オブジェクトが前記アクティブグループのメンバーであるかどうかを決定すること
を前記機械に行わせる機械可読命令を含む、請求項15に記載の機械可読媒体。
【請求項17】
前記機械の前記1以上のプロセッサによって実行されたときに、
第2の追跡オブジェクトが前記アクティブグループのメンバーである可能性を表す第1の重み付けされた確率を前記第2の追跡オブジェクトに関連付けることと、
前記第2の追跡オブジェクトが前記アクティブグループのメンバーであるという第2の可能性を表す第2の重み付けされた確率を前記第2の追跡オブジェクトに関連付けることと、
前記第1の重み付けされた確率および前記第2の重み付けされた確率の加算が閾値を超えた場合、前記第2の追跡オブジェクトを前記アクティブグループに関連付けること、
により、前記パターンに基づいて、前記第2の追跡オブジェクトが前記アクティブグループのメンバーであるかどうかを決定すること
を前記機械に行わせる機械可読命令を含む、請求項15に記載の機械可読媒体。
【請求項18】
前記第1の重み付けされた確率は、前記第2の追跡オブジェクトが前記第1の追跡オブジェクトの近傍において費やした時間を表す値である、
請求項17に記載の機械可読媒体。
【請求項19】
第1のカバレッジエリアを追跡する第1の追跡センサシステムから第1の追跡オブジェクトの追跡ターゲットコンテキストを含む追跡センサシステム入力を受信することと、
前記第1の追跡センサシステムから、前記第1のカバレッジエリアとは異なる第2のカバレッジエリアを追跡する第2の追跡センサであって、前記第1の追跡センサシステムとは異なる第2の追跡センサシステムに前記追跡ターゲットコンテキストを提供することと、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて、前記第2の追跡センサシステムによって新たに観測された追跡ターゲットの識別を、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて前記新たに観測された追跡ターゲットが識別できる候補のセットから候補をフィルタリングアウトすることと、識別された場所の範囲外の前の場所で前記候補が観測されたと決定することであって、前記識別された場所の範囲は、前記前の場所で前記候補が観測された時間と、前記新たに観測された追跡ターゲットが前記第2の追跡センサシステムによって観測された時間と、の時間差の間に前記候補が到達可能と予測される範囲である、ことと、
前記候補を含まない前記候補のセットを前記第2の追跡センサシステムに提供することと、
によってもたらすことと、
を含む、コンピュータ実装方法。
【請求項20】
前記新たに観測された追跡ターゲットの識別の信頼レベルを示す予測信頼スコアを決定することと、
前記予測信頼スコアが閾値を満たさないことに応じて、前記新たに観測された追跡ターゲットの別の識別のために追加の追跡センサシステム入力を収集することと、
を含む、請求項19に記載のコンピュータ実装方法。
【請求項21】
前記第1の追跡オブジェクトおよび前記新たに観測された追跡ターゲットは、第1のグループの個人を含む、
請求項19に記載のコンピュータ実装方法。
【請求項22】
第1のカバレッジエリアにおいて第1の追跡オブジェクトを追跡するように構成された第1の追跡センサシステムと、
前記第1のカバレッジエリアとは異なる第2のカバレッジエリアにおいて第2の追跡オブジェクトを追跡するように構成された第2の追跡センサシステムと、
コンテキスト追跡システムと、
を備え、
前記コンテキスト追跡システムが、
前記第1の追跡センサシステムから前記第1の追跡オブジェクトの追跡ターゲットコンテキストを受信し、
前記第1の追跡センサシステムから前記第1の追跡センサシステムとは異なる前記第2の追跡センサシステムに前記追跡ターゲットコンテキストを提供し、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて前記第2の追跡オブジェクトの識別を、
前記第1の追跡センサシステムからの前記追跡ターゲットコンテキストに基づいて前記第2の追跡オブジェクトが識別できる候補のセットから候補をフィルタリングアウトすることと、識別された場所の範囲外の前の場所で前記候補が観測されたと決定することであって、前記識別された場所の範囲は、前記前の場所で前記候補が観測された時間と、前記第2の追跡オブジェクトが前記第2の追跡センサシステムによって観測された時間と、の時間差の間に前記候補が到達可能と予測される範囲である、ことと、
前記候補を含まない前記候補のセットを前記第2の追跡センサシステムに提供することと、
によってもたらすように構成されており、
前記第2の追跡センサシステムは、前記第1の追跡センサシステムとは異なる、
システム。
【請求項23】
前記第1の追跡センサシステムは、前記第2の追跡センサシステムとは異なるセンサタイプを含む、
請求項22に記載のシステム。
【請求項24】
識別された場所の範囲であって、前記時間差の間に前記候補が到達可能と予測される範囲を決定することは、前記候補が前記前の場所に留まる推定時間を含めることを含む、
請求項1に記載の機械可読媒体。
【請求項25】
識別された場所の範囲であって、前記時間差の間に前記候補が到達可能と予測される範囲を決定することは、前記候補が前記前の場所に留まる推定時間を含めることを含む、
請求項19に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
<関連出願の相互参照>
本出願は、2019年4月2日に提出された「追跡の集約およびアライメント」と題された米国仮出願第62/828,198号の優先権および利益を主張し、これは、あらゆる目的で引用により全体が本明細書に組み込まれる。
【0002】
本開示は、一般に、追跡システムに関する。より具体的には、本開示の特定の実施形態は、環境内のオブジェクトのより効率的且つ効果的な追跡を容易にするための追跡システム間の追跡システムデータの集約およびハンドオフに関する。
【背景技術】
【0003】
デジタル時代において、デジタルセンサの増加につれて、オブジェクト追跡がますます望まれるようになった。残念ながら、大規模/オープン環境では、特に正確な場所およびアクティビティの追跡が望まれる場合には、ユーザの追跡は極めて厳しい見通しである。ここで使用される場合、オープン環境とは、追跡されるオブジェクトが比較的少ない閉じ込めで多数の方向に移動できる領域を指す。たとえば、このような環境は、遊園地、空港、ショッピングモール、または複数の追跡カバレッジゾーンを有することができる他の比較的大規模な環境を含むことができる。特にオープン環境、並びに群集密度が障害物の問題を提示し、ある個人が別の個人をブロックする可能性がある状況では、固有の個人を正確に追跡することは困難である。
【0004】
このセクションは、以下に説明および/または特許請求の範囲に記載される本発明の技術の様々な態様に関連する可能性がある技術の様々な態様を読み手に紹介することを意図している。ここでの議論は、本開示の様々な態様のより良い理解を容易にする背景情報を読み手に提供するのに役立つと考えられる。従って、これらの記載は、先行技術の自認ではなく、この観点に照らして読まれるべきであることを理解されたい。
【発明の概要】
【0005】
最初に請求項に記載された本発明の範囲内にある一部の実施形態について以下で要約する。これらの実施形態は、本開示の範囲を限定することを意図するものではなく、むしろ、これらの実施形態は、特定の開示された実施形態の簡潔な概要を提供することのみを意図している。実際に、本開示は、以下に記載される実施形態と類似したまたは異なるとすることができる様々な形態を包含することができる。
【0006】
本明細書に記載の実施形態は、追跡システム間で追跡データを効率的に集約および/または通信し、1つの追跡センサのコンテキストが他の追跡センサの追跡を強化することを可能にする追跡システムに関する。より具体的には、1つの追跡センサによって決定されたコンテキスト情報(たとえば、場所、時間、追跡オブジェクトのアイデンティティ)を使用して、他のセンサのより効率的および/または効果的な追跡を容易にすることができる。たとえば、このようなコンテキスト情報により、追跡オブジェクトアイデンティティの信頼性が高まり、追跡オブジェクトに起因する可能性のある実施可能なアイデンティティの効率的なフィルタリングをもたらすことができる。これにより、処理効率が向上し、また、オープン環境でオブジェクトをより細粒に追跡できるようにすることができる。
【0007】
例として、第1の実施形態において、有形で非一時的な機械可読媒体は、機械の1以上のプロセッサによって実行されたときに、第1の追跡センサシステムから第1の追跡オブジェクトの追跡ターゲットコンテキストを受信することと、第1の追跡センサシステムから第1の追跡センサシステムとは異なる第2の追跡センサシステムに追跡ターゲットコンテキストを提供することと、第1の追跡センサシステムからの追跡ターゲットコンテキストに基づいて、第2の追跡センサシステムによって新たに観測された追跡ターゲットの識別をもたらすことと、を機械に行わせる機械可読命令を含む。
【0008】
第2の実施形態において、コンピュータ実装方法は、第1の追跡センサシステムから第1の追跡オブジェクトの追跡ターゲットコンテキストを受信することと、第1の追跡センサシステムから第1の追跡センサシステムとは異なる第2の追跡センサシステムに追跡ターゲットコンテキストを提供するステップと、第1の追跡センサシステムからの追跡ターゲットコンテキストに基づいて、第2の追跡センサシステムによって新たに観測された追跡ターゲットの識別をもたらすことと、を含む。
【0009】
第3の実施形態において、システムは、第1の追跡センサシステムと、第2の追跡センサシステムと、コンテキスト追跡センサシステムと、を含む。第1の追跡センサシステムは、第1のカバレッジエリアで第1の追跡オブジェクトを追跡する。第2の追跡センサシステムは、第2のカバレッジエリアで第2の追跡オブジェクトを追跡する。コンテキスト追跡システムは、第1の追跡センサシステムから第1の追跡オブジェクトの追跡ターゲットコンテキストを受信し、第1の追跡センサシステムから第1の追跡センサシステムとは異なる第2の追跡センサシステムに追跡ターゲットコンテキストを提供し、第1の追跡センサシステムからの追跡ターゲットコンテキストに基づいて、第2の追跡オブジェクトの識別をもたらす。
【図面の簡単な説明】
【0010】
本開示のこれらおよび他の特徴、態様、並びに利点は、図面全体を通じて同様の参照符号が同様の要素を示す添付図面を参照しながら以下の詳細な説明を読むと更に理解できるであろう。
【0011】
図1】本開示の一実施形態による、コンテキスト追跡システムを備えたマルチセンサ追跡構成要素を示す概略図である。
【0012】
図2】本開示の一実施形態による、図1のシステムを使用するオープン環境を示す概略図である。
【0013】
図3】一実施形態による、追跡コンテキストを識別するためのプロセスを示すフローチャートである。
【0014】
図4】一実施形態による、取得されたコンテキストを使用して後続の追跡センサでコンテキストを識別するためのプロセスを示すフローチャートである。
【0015】
図5】一実施形態による、ターゲット識別に十分なコンテキストを決定するための信頼区間を使用するためのプロセスを示すフローチャートである。
【0016】
図6】一実施形態による、追跡入力を増加させるための例示的なダイバージョン(diversion)を示す概略図である。
【0017】
図7】一実施形態による、提供されたセンサコンテキストに基づいて実施可能な識別予測をフィルタリングするためのプロセスを示すフローチャートである。
【0018】
図8】一実施形態による、追跡アイデンティティに基づく例示的な制御動作を示す概略図である。
【0019】
図9】一実施形態による、機械学習技術を使用して個人をグループにグループ化するためのフローチャートである。
【0020】
図10】一実施形態による、グループ化された個人およびグループ化されていない個人の概略図である。
【0021】
図11】一実施形態による、コンプライアンスルールに基づいて対話環境を変更するためのユースケースの概略図である。
【0022】
図12】一実施形態による、追跡アイデンティティに基づく例示的な制御動作を示す概略図である。
【発明を実施するための形態】
【0023】
本開示の1以上の特定の実施形態について以下に記載する。これらの記載された実施形態は、本開示の技術の実施例に過ぎない。加えて、これらの実施形態の簡潔な説明を提供するために、実際の実施構成の全ての特徴が本明細書に記載される訳ではない場合がある。何れかのエンジニアリングまたは設計プロジェクトと同様に、このような何らかの実際の実施構成の開発において、システム関連およびビジネス関連の制約への準拠など、実装毎に異なる可能性のある開発者の特定の目標を達成するために、多数の実施構成固有の決定を行う必要がある点は理解されたい。更に、このような開発努力は複雑で時間がかかるものとなる可能性があるが、それにもかかわらず、本開示の利益を有する当業者にとっては、設計、製作および製造の日常的な作業であることを理解されたい。
【0024】
本開示の種々の実施形態の要素を導入する際に、冠詞「a」、「an」、および「the」は、要素の1以上が存在することを意味するものとする。「備える」、「含む」、および「有する」という用語は、包括的であることを意図しており、リストされた要素以外の追加の要素が存在してもよいことを意味している。更に、本開示の「1つの実施形態」または「実施形態」への言及は、リストされた特徴も組み込んだ追加の実施形態の存在を除外するものとして解釈されることを意図していない点を理解されたい。
【0025】
本開示は、一般に、効率的且つ効果的な追跡処理のためにコンテキスト情報を蓄積および/またはハンドオフする追跡システムに関する。他の追跡センサの以前に決定されたコンテキストを使用することにより、独立した追跡センサは、追跡されたオブジェクトのアイデンティティをより効率的に決定することができる。これを念頭に置いて、図1は、本開示の一実施形態による、コンテキスト追跡システム102を備えたマルチセンサ追跡システム100を示す概略図である。図示のように、マルチセンサ追跡システム100は、1以上の光検出および測距(LIDAR)システム104、1以上の無線周波数識別(RFID)リーダーシステム106、1以上の飛行時間(ToF)システム107、1以上のコンピュータビジョンシステム108、および/または1以上のミリ波(mmWave)システム109などの複数の追跡センサを含む。
【0026】
LIDARシステム104は、パルス光でターゲットを照明して反射パルスを測定することによって、個人、オブジェクト、および/または個人またはオブジェクトのグループを追跡することができる。パルス光と反射パルスとの間の波長および時間の差異を使用して、ターゲットの個人、グループ、および/またはオブジェクトの位置の空間的表示を生成することができる。LIDARシステム104は、比較的容易且つ効率的にオブジェクトを検出しながら、広い空間領域をカバーすることができる。しかしながら、LIDARシステム104は、追跡オブジェクトの識別を実際に行うのに効果的ではない場合があり、代わりに、オブジェクトの識別とは無関係にオブジェクトの存在および位置を識別するために最もよく使用することができる。
【0027】
RFIDリーダーシステム106は、RFIDタグ(たとえば、個人が着用するか、または個人もしくはオブジェクトを追跡するために特定のオブジェクトに配置された)において符号化されたデジタルデータを読み取ることができる。RFIDタグがRFIDリーダーの近傍に入ると、RFIDリーダーがRFIDタグに通電信号を提供することができ、RFIDタグが特定のRFIDタグを識別するためにRFIDリーダーにより解釈可能な放射エネルギーを放出するようになる。各RFIDタグは、独自の識別情報を有するので、RFIDリーダーシステム106は、追跡ターゲットを効果的且つ効率的に識別することができる。しかしながら、RFIDリーダーシステム106は、配置されるRFIDタグがRFIDリーダーに比較的近接している必要があり、このことで、カバレッジが縮小し、および/または多数のRFIDリーダーを実装するためのハードウェアコストが大幅に増加することになる。
【0028】
LIDARシステム104と同様に、ToFシステム107(たとえば、3次元飛行時間型センサシステム)は、パルス光でターゲットを照明して反射パルスの特性を測定することによって、個人、グループ、および/またはオブジェクトを追跡することができる。具体的には、ToFシステム107は、赤外光のパルスを放出し、戻りパルスに対応する時間を測定することができる。ToFシステム107はまた、テクスチャ(たとえば、皮膚テクスチャ)をマッピングして、個人、グループ、および/またはオブジェクトを識別することができる。従って、ToFシステム107は、追跡アイデンティティの3次元位置およびテクスチャ属性を取得することができる。別の利点は、ToFシステム107が可視照明条件に依存しない可能性があることに起因して、ToFシステム107が、一部のカメラベースの視覚取得システムの特徴とすることができる照明条件制限を受けなくてもよいことである。しかしながら、ToFシステム107は、雨降りの日などの特定の環境条件での有効性および精度が低下する可能性があるので、冗長システムが依然として有用とすることができる。
【0029】
コンピュータビジョンシステム108は、コンテキスト分析のためにカメラデータ(たとえば、静止画像および/またはビデオ)を受信することができる。たとえば、カメラデータを分析して、オブジェクトの認識および/または追跡を実行することができる。顔認識を使用して、コンピュータビジョンシステム108は、追跡ターゲットを識別することができる。しかしながら、残念なことに、コンピュータビジョンシステム108は、限られた追跡領域をカバーすることが多い一方で、かなりの費用がかかる可能性がある。更に、コンピュータビジョンシステム108は、コンピュータ画像を分析するのにかなりの時間がかかる可能性がある。
【0030】
ミリ波(mmWave)システム190(たとえば、ミリ波レーダーセンサシステム)は、広帯域幅を提供し、追跡アイデンティティの存在を認証することができる。具体的には、mmWaveシステム190は、低遅延で高レートのデータを転送することを可能にすることができる。たとえば、mmWaveシステム190は、個人を迅速に識別する(または個人によって提案されたアイデンティティを認証する)ために、個人に関連付けられた1以上のコンピューティングデバイス(たとえば、ウェアラブルデバイス)と通信するためにミリ波を放出および/または受信するデバイスを含むことができる。更に、mmWaveシステム190は、表面(たとえば、窓および壁などの電波透過性の物理的障壁)を通してでも、追跡アイデンティティの追跡を維持することができる。しかしながら、mmWaveシステム109は、追跡アイデンティティに比較的近い構成要素を利用することができ、その結果、カバレッジが低下する。
【0031】
理解できるように、追跡システムの各々は、そのトレードオフを有する。従って、追跡システムの組み合わせを使用することが望ましい場合があり、様々な追跡システムの利点の各々を互いに組み合わせて使用できるようにする。これを行うために、コンテキスト追跡システム102は、様々な追跡システムの各々からの追跡データを維持および/またはトレードする役割を担っている。たとえば、コンテキスト追跡システム102は、LIDARシステム104からの位置情報、RFIDリーダーシステム106の1以上に近接しているRFIDタグから取得されたオブジェクトの識別子、および/またはコンピュータビジョンシステム108からオブジェクトアイデンティティおよび/または位置を受信することができる。
【0032】
この情報を使用して、オープン環境内のオブジェクト追跡をより効果的且つ効率的に取得することができる。図2は、本開示の一実施形態による、図1のシステムを使用するオープン環境200を示す概略図である。図2は、テーマパーク環境を示しているが、本議論は、コンテキスト追跡システムの適用をこのような実施形態に限定することを意図するものではない。実際に、本技術は、様々な環境用途で使用することができる。
【0033】
図示のように、オープン環境200は、各々が1以上のセンサシステムによって追跡される、多くの別個のカバレッジゾーン202A、202B、202C、および202Dを有することができる。たとえば、カバレッジゾーン202Aは、コンピュータビジョンシステム204によって追跡される駐車場である。カバレッジゾーン202Bは、入口ゲート206とアトラクション208との間の領域である。カバレッジゾーン202Bは、LIDARシステム210、RFIDリーダーシステム212、およびmmWaveシステム213を有する。カバレッジゾーン202Cは、第2のLIDARシステム214とToFシステム215によって追跡される。カバレッジゾーン202Dは、第2のmmWaveシステム217を使用して追跡される。
【0034】
コンテキスト追跡システム216は、オープン環境200における様々な追跡システムに通信可能に結合されている。図1のコンテキスト追跡システム102と同様に、コンテキスト追跡システム216は、追跡システム間で追跡データを維持および/または交換することができる。たとえば、コンピュータビジョンシステム204は、カバレッジゾーン202A内の特定の車219を検出することができる。コンピュータビジョンシステム204は、車219の視覚画像を分析して、車219の識別を行うことができる。たとえば、コンピュータビジョンシステム204は、車219の識別を行うために、車219のナンバープレートの英数字を識別することができる。
【0035】
識別されたオブジェクトを用いて、コンテキスト追跡システム216において他のオブジェクトを識別することができる。たとえば、車219の識別は、コンテキスト追跡システム216に提供することができる。車219は、たとえば、コンピュータビジョンシステム204が特定の時間において車219からの出口を検出した1以上の人(たとえば、人のグループ)に対応するものとして識別することができる。この情報に基づいて、コンテキスト追跡システム216は、1以上の人がカバレッジゾーン202Aにいる可能性が高いと決定することができる。更に、コンピュータビジョンシステム204に基づく個人またはグループのアイデンティティは、別のカバレッジゾーンにおいて個人またはグループのアイデンティティを決定する際に使用することができる。詳細には、コンテキスト追跡システム216は、カバレッジゾーン202Aで識別された1以上の人物に固有の特性を記録することができ、カバレッジゾーン202Bおよびカバレッジゾーン202Dなどの他のカバレッジゾーンにおいて追跡オブジェクトの識別を決定する際に記録された特性を使用することができる。
【0036】
コンテキスト追跡システム216および/またはカバレッジゾーンの他の追跡センサにこのようなコンテキストを提供することによって、追跡分析は、接近する可能性のある候補オブジェクトをより認識することができる。たとえば、コンピュータビジョンシステム204が、車Aが駐車場にいることの通知(または、車Aに関連する人物AまたはグループAが駐車場にいる可能性が高いこと[たとえば、駐車場に車Aの存在に基づいて])を近隣のカバレッジゾーンの追跡センサに提供する場合、これらの近隣のカバレッジゾーンにおける追跡センサは、可能性のあるオブジェクト識別子を識別するデータで「予熱」することができる。従って、幾つかの実施形態では、LIDARシステム210などの、より少ないオブジェクト識別機能を備えたより大きなカバレッジシステムを使用して、コンピュータビジョンシステム204によって提供される識別に少なくとも部分的に依存して、ユーザの位置を追跡することができる。更に、上記で簡潔に述べたように、識別されたオブジェクトを用いて、人々のグループなどの他のオブジェクトを識別することができる。実際、コンテキスト追跡システム216がグループを追跡することは有益とすることができる。たとえば、車219は、人のグループ(たとえば、グループA)に対応するものとして識別することができる。この場合、コンテキスト追跡システム216は、車219を出る全ての人が互いに関連性を有し、従って、グループAを含むことができると決定することができる。後で説明するように、グループを識別および決定する他の方法が実施可能である。
【0037】
1人のユーザのみが車Aに関連付けられている場合、車を出る単一の識別オブジェクトが関連付けられたユーザである高い可能性があるものとすることができる。しかしながら、場合によっては、先行する追跡システムから提供されたコンテキストにより、閾値レベルの可能性が満たされない場合がある。このような場合、特定のオブジェクト/ユーザを識別するために、追加の追跡を選択的に有効にすることができる。たとえば、オブジェクト/ユーザを識別するための入口ゲート206にある別のコンピュータビジョンシステム218である。入口ゲート206は、オブジェクト/ユーザの望ましい直視アクセスを備えた漏斗状の場所であるので、この場所は、コンピュータビジョンシステム218の主要な場所とすることができる。個々のオブジェクト/ユーザがコンピュータビジョンシステム218によって検出されるこのような実施形態では、コンピュータビジョンシステム218によって実行されるオブジェクト識別分析は、コンテキスト追跡システム216を介してコンピュータビジョンシステム204によって提供されるコンテキストデータにより大きく影響を受ける可能性がある。たとえば、識別の実施可能な候補は、コンピュータビジョンシステム204によって提供されるデータに基づいてフィルタリングすることができ、その結果、オブジェクト/ユーザ識別のより効率的且つ高速な処理がもたらされる。更に、カバレッジゾーン202BにおいてmmWaveシステム213を使用して、個々のオブジェクト/ユーザの存在を識別または認証することもできる。実際、mmWaveシステム213は、オブジェクトを識別する際に、コンピュータビジョンシステム218と共に機能することができる。たとえば、mmWaveシステム213は、コンテキスト追跡システム216を介してコンピュータビジョンシステム204によって提供されるコンテキストデータを使用して、可能性のある候補をフィルタリングしてオブジェクトの識別の精度および処理速度を向上させる第2の機構としての役割を果たすことができる。
【0038】
コンテキスト追跡システム216は、幾つかの実施形態では、位置情報を使用して、オブジェクト/ユーザの識別を推測/予測することができる。たとえば、RFIDリーダーシステム212が、人物Aが正午12:00にアトラクション208に入場しており、アトラクション208が通常10分で到達する出口点を有すると通知した場合、第2のLIDARシステム214は、12:10に出口点に到達するオブジェクトが人物Aである可能性が高いことを推測/予測することができる。従って、アトラクション208の出口では、オブジェクト/ユーザの詳細な識別を提供する追跡システムが必要ではない場合があり、その結果、リソースのより効率的な使用がもたらされる。更に、追跡システムは、必ずしもオブジェクト/ユーザの見通し線内にある必要はない。実際、カバレッジゾーン202Dにて示されているように、第2のmmWaveシステム217は、レストラン221に位置するオブジェクトの見通し線にはないが、レストラン221内のオブジェクトを追跡するように配置されている。第2のmmWaveシステム217は、レストラン221および/または追跡オブジェクトに関連する特定の材料(たとえば、布地、ガラス繊維強化プラスチック、その他)が第2のmmWaveシステム217から出る放射線に対して透明(たとえば、無線周波数に透明)とすることができるので、このタイプの通信が可能とすることができる。
【0039】
以下でより詳細に議論されるように、追跡情報(たとえば、オブジェクト/ユーザの識別および位置)は、多くの異なる目的のために使用することができる。たとえば、一実施形態では、キオスク220は、特定のオブジェクト/ユーザをキオスク220まで追跡する際に、識別されたオブジェクト/ユーザに有用な特定の情報を提供することができる。更に、幾つかの実施形態では、この追跡は、テーマパークの担当者が、オブジェクト/ユーザが追跡される場所(たとえば、アトラクション、レストラン、その他)に基づいてオブジェクト/ユーザの興味を理解するのに役立つことができる。
【0040】
コンテキスト追跡システムの基本的な有用性について論じてきたが、図3は、一実施形態による、追跡コンテキストを識別および維持するためのプロセス300を示すフローチャートである。プロセス300は、追跡ターゲットを選択することから始まる(ブロック302)。追跡ターゲットは、環境内で観測されるオブジェクトの1以上の基準に基づいて選択することができ、カバレッジゾーンごとに異なる場合がある。たとえば、オープン環境200に関して、カバレッジゾーン202Aは、駐車場内の車両の追跡に特に関心を持つことができる。従って、追跡ターゲットは、車両に帰属するオブジェクトの移動速度、オブジェクトのサイズ、オブジェクトの形状などの範囲に基づいて選択することができる。対照的に、カバレッジエリア202Bにおいて、車両は存在せず、代わりに車両に関連する人物が存在すると想定することができる。従って、カバレッジゾーン202B内の追跡オブジェクトを選択する基準は、人または人のグループに帰属するオブジェクトの移動速度、オブジェクトのサイズ、オブジェクトの形状などの範囲とすることができる。
【0041】
プロセス300は、追跡ターゲットアイデンティティを識別することに進む(ブロック304)。たとえば、前述のように、アイデンティティは、オブジェクトのコンピュータビジョン分析に基づいて(たとえば、入口ゲート206にて)、他の識別されたオブジェクトに基づいて決定することができ、この場合、他の識別されたオブジェクトと追跡されたターゲットとの間の関係が記録される(たとえば、コンテキスト追跡システム216などの有形の記憶装置において)。
【0042】
アイデンティティが決定されると、追跡ターゲットの位置および/または場所が識別される(ブロック306)。この情報は、アイデンティティと組み合わせて、他の追跡センサシステムに有用とすることができ、これにより、追跡センサシステムは、追跡するオブジェクトの実施可能なアイデンティティとして特定のアイデンティティ(たとえば、アイデンティティのサブセットなど)をフィルタリングインまたはフィルタリングアウトすることができる。たとえば、前述のように、図2に関して、人物Aがアトラクションに入るのを示すアイデンティティおよび場所は、開始から終了までのアトラクションの長さの持続時間推定と共に、アトラクションのその出口をカバーする追跡システムが、持続時間推定の終了時または終了間際にアトラクションの出口ポイントで検出されたオブジェクトの可能性のあるアイデンティティとして人物Aをフィルタリングインすることを可能にすることができる。更に、人物Aがアトラクションにいる場合、人物Aは、明らかに駐車場にはいない。従って、駐車場の追跡システムセンサは、候補者アイデンティティとして人物Aをフィルタリングアウトすることができ、識別分析のより早い応答時間を可能にする。
【0043】
理解できるように、追跡ターゲットコンテキストは、コンテキスト追跡システムによって維持および/または取引される(ブロック308)。本明細書で述べたように、追跡ターゲットコンテキストは、追跡オブジェクトに関連する追跡時間、追跡位置、追跡アイデンティティ、追跡アイデンティティなど、特定の追跡センサシステムの観測された活動を含むことができる。幾つかの実施形態では、コンテキスト追跡システムは、幾つかの実施形態では、コンテキストデータを維持し、またコンテキストデータに基づいて候補をフィルタリングインまたはフィルタリングアウトして、効率的な識別分析のために追跡システムにフィルタリング結果を提供することができる。他の実施形態では、コンテキスト追跡システムは、追跡システムにコンテキストを提供し、追跡システムが、フィルタリングおよびフィルタリングに基づく識別を実行することを可能にすることができる。
【0044】
図4は、一実施形態による、取得されたコンテキストを使用して後続の追跡センサにてコンテキストを識別するプロセス400を示すフローチャートである。プロセス400は、追跡ターゲットコンテキスト(または追跡ターゲットコンテキストがコンテキスト追跡システムで維持されている場合は、フィルタリング情報)を受信することから始まる(ブロック402)。受信されると、追跡センサは、上記のフィルタリングインおよび/またはフィルタリングアウト技術を使用して、オブジェクトのアイデンティティを決定することができる(ブロック404)。
【0045】
ターゲット制御アクションは、後続の追跡識別子に基づいて実行される(ブロック406)。たとえば、前述のように、キオスクは、識別された人に役立つ特定の情報を表示するように制御することができる。他の実施形態では、環境の特定の制限部分へのアクセスは、アイデンティティが環境の制限部分へのアクセスに対して許可されているとの決定に基づいて認可することができる。更に、幾つかの実施形態では、特定の領域への訪問、ユーザの記録された活動などのようなメトリック追跡は、その後のビジネス分析、調査、および/または報告のために維持することができる。
【0046】
前述のように、時折、追跡オブジェクトに対するアイデンティティの肯定的な適合をさせるために、信頼の特定の閾値レベルが要求することができる。図5は、一実施形態による、ターゲット識別のための十分なコンテキストを決定するための信頼区間を使用するためのプロセス500を示すフローチャートである。プロセス500は、追跡センサ入力(たとえば、コンテキスト)を収集することから始まる(ブロック502)。前述のように、コンテキスト追跡システムは、他の追跡センサの観測オブジェクトに実施可能なコンテキストを提供するアイデンティティ、場所、および/または他の情報を提供する追跡センサ入力を受信することができる。
【0047】
これらの追跡入力に基づいて、観測されたオブジェクトの1以上の追跡アイデンティティは、他の追跡センサによって予測することができる(ブロック504)。たとえば、前述のように、特定の人物Aがアトラクションに入ったことを示すコンテキスト情報を用いて、恐らくは人の属性および/またはアトラクションの属性に基づいて予測された時間にて人物Aが最終的にアトラクションから出ることになると仮定することができる。たとえば、追跡システムによって人が平均以下または平均以上の移動速度を有すると観測された場合、アトラクションの平均持続時間は、これに応じて上方または下方に調整することができる。この調整された持続時間を用いて、人物Aがアトラクションから出る可能性が高い時間を決定し、これにより、アトラクションの出口での追跡システムは、調整された持続時間にアトラクションを離れる人が人物Aであると予測することが可能となる。
【0048】
幾つかの実施形態では、予測信頼スコアを計算することができる。予測信頼スコアは、追跡オブジェクトが特定のアイデンティティを有する可能性を示すことができる。たとえば、既知の情報に基づいて、ターゲットが人物Aである可能性が極めて高い場合、予測信頼スコアは、既知の情報に基づいてターゲットがある程度可能性が高いまたは可能性が低い場合よりも大きくなる可能性がある。予測信頼スコアは、幾つかの要因によって異なる場合がある。幾つかの実施形態では、冗長な情報(たとえば、2以上のデータセットを使用する同様の識別)は、予測信頼スコアを増加させることができる。更に、追跡オブジェクトの観測可能な特性を使用して、予測信頼スコアに影響を与えることができる。たとえば、IDに関連付けられた既知のサイズは、追跡ターゲットのサイズと比較することができる。予測信頼スコアは、既知のサイズおよび追跡センサによって観測されたターゲットのサイズの近接度に基づいて増加することができる。
【0049】
予測信頼スコアが取得された後、予測信頼スコアがスコア閾値を満たしているかどうかに関して決定が行われる(決定ブロック508)。スコア閾値は、追跡ターゲットに関連付けられているアイデンティティをもたらすことができる最小スコアを示すことができる。
【0050】
予測信頼スコアが閾値を満たさない場合、追加の追跡入力を取得することができる(ブロック510)。追加の追跡入力を取得するために、オープン環境の追跡センサは、追跡情報を蓄積し続け、および/または追跡ターゲットのコンテキストデータを取得することができる。幾つかの実施形態では、追跡ターゲットは、追跡ターゲットに関する新しい追跡入力を取得するために、特定のセンサに向かって移動するように促すことができる。たとえば、図6は、一実施形態による、追跡入力を増加させる例示的なシナリオ600を示す概略図である。シナリオ600では、追跡ターゲット602の予測信頼スコアは、吹き出し604によって示されるように、閾値よりも小さい。従って、電子ディスプレイ606は、追加の追跡入力を取得することができる場所、ここではピッツェリア608にターゲットを向けたメッセージを表示するように制御することができる。ここでは、ピッツェリア608にターゲットを誘導する電子看板を介して電子通知を提供することにより、ターゲットは、ピッツェリア608に向かって移動するように促される。ピッツェリア608の入口では、追加の追跡センサ(RFIDリーダー610など)がある。追跡センサは、ターゲット602がピッツェリア608の近傍に移動するときに、ターゲット602の追加の追跡入力を取得する。
【0051】
図5に戻ると、追加の追跡入力が収集されると、ターゲットのアイデンティティの追加の予測が行われ(ブロック504)、新しく収集された追加の追跡入力を使用して、新しい予測信頼スコアが決定され(ブロック506)、予測信頼閾値が満たされているかどうかに関して追加の決定が行われる(決定ブロック508)。このプロセスは、予測信頼度の閾値が満たされるまで続くことができる。
【0052】
予測信頼閾値が満たされると、識別子は、追跡オブジェクトに帰属することができる(ブロック512)。たとえば、図6に戻ると、RFIDリーダー610を介して受信された追加の追跡情報は、吹き出し612によって示されるように、閾値以上のレベルに増加した予測信頼スコアをもたらす。従って、追跡ターゲット602(たとえば、追跡オブジェクト)は、識別子614(たとえば、人物A)に帰属する。
【0053】
前述のように、1つの追跡センサシステムによって提供されるコンテキストは、他の追跡センサシステムによる分析に有用とすることができる。たとえば、候補予測アイデンティティは、別の追跡センサシステムから提供されるコンテキストに基づいて、「フィルタリングイン」(たとえば、ホワイトリストに登録)または「フィルタリングアウト」(たとえば、ブラックリストに登録)することができる。図7は、一実施形態による、提供されたセンサコンテキストに基づいて実施可能な識別予測をフィルタリングするためのプロセス700を示すフローチャートである。
【0054】
プロセス700は、他のセンサシステムからコンテキストデータを受信することで始まる(ブロック702)。たとえば、コンテキストデータは、追跡オブジェクトアイデンティティ、追跡オブジェクトの場所、および追跡オブジェクトが特定の場所にあったことを示すタイムスタンプを含むことができる。
【0055】
コンテキストデータは、追跡センサの追跡機能を補足するのに使用することができる。たとえば、新たに観測された追跡オブジェクトの実施可能な候補識別は、他の追跡センサによって提供される識別された追跡オブジェクトの場所を示すコンテキスト情報に基づいてフィルタリング(たとえば、フィルタリングインまたはフィルタリングアウト)することができる(ブロック704)。たとえば、人物Aのアイデンティティを有するターゲットオブジェクトが5分前に駐車場で追跡されており、駐車場から新しいターゲットオブジェクトを観測した追跡センサに関連付けられたカバレッジエリアに移動するのに20分かかることを駐車場追跡センサが示した場合、人物Aが駐車場からカバレッジエリアに5分で到達することは不可能であるため、人物Aのアイデンティティは新しいターゲットオブジェクトの実施可能な候補アイデンティティとしてフィルタリングアウトすることができる。加えておよび/または代替として、候補アイデンティティのフィルタリングは、新しいターゲットオブジェクトが観測された時点でどのアイデンティティがカバレッジエリアに到達できたかを示すコンテキストデータを取得することによって起こることができる。これらのアイデンティティは、カバレッジエリアで観測された新しいターゲットオブジェクトの実施可能な候補アイデンティティとしてホワイトリストに登録することができる。これにより、開示された実施形態に従って採用されたコンピュータシステムの処理時間を節減し動作を改善することができる。
【0056】
候補アイデンティティがフィルタリングされると、追跡システムは、フィルタリングされた候補アイデンティティから、新しい追跡オブジェクトのアイデンティティを予測することができる(ブロック706)。たとえば、アイデンティティは、フィルタリングアウトされていない(たとえば、ブラックリストにない)アイデンティティのリストから選ぶことができ、および/またはフィルタリングインされた(たとえば、ホワイトリストにある)アイデンティティのリストから選択することができる。理解できるように、コンテキスト情報により追跡オブジェクトを識別するために検討する候補アイデンティティの数を低減することができるので、これにより、より効率的なオブジェクト追跡が可能になる。更に、場合によっては、このようなコンテキストがないと、アイデンティティ追跡ができなくなる可能性がある。たとえば、特定のLIDARシステムは、このようなコンテキストがないとターゲットオブジェクトの識別を実行できない場合がある。従って、本技術は、従来の追跡システムよりも効率的で向上した追跡能力を提供する。
【0057】
強化されたコンテキスト追跡技術について論じてきたが、図8は、一実施形態による、本明細書で提供されるコンテキスト追跡技術を介して追跡されるアイデンティティに基づいて達成できる例示的な制御動作800を示す概略図である。一実施形態では、キオスク802または他のデバイスは、ディスプレイ804を含むことができる。ディスプレイ804は、オープン環境に関する情報を提供するグラフィカルユーザインターフェース(GUI)806を提示することができる。図示のように、GUI806は、追跡アイデンティティに基づいてパーソナライズすることができる。たとえば、ステータス吹き出し808によって示されるように、コンテキスト追跡システムは、様々なターゲットセンサ間のコンテキストデータのトレードオフに基づいて、追跡オブジェクトが「ジェームズ」であることを識別することができる。ディスプレイ804に接近する追跡オブジェクトに応じて、制御アクションコマンドがディスプレイ804(たとえば、ディスプレイ804を制御する基礎となるハードウェア)に提示され、識別された人物に関連する情報を表示するようにGUI806に命令することができる。ここでは、たとえば、ジェームズには、彼のIDに関連付けられたパーソナライズされた待機時間が提供される。理解することができるように、各アイデンティティは、一意の識別子および他の情報(たとえば、待機時間、人口統計情報、および/または他の個人化されたデータ)に関連付けられ、個人化された制御アクションを実行することができる。更に、図3に関して検討するように、図12に示されるように、制御アクションは、グループに対応するアイデンティティに基づいて達成することができる。
【0058】
別の実施形態では、ウェアラブルデバイス810は、追跡オブジェクト812上に配置することができる。オープン環境機能814、ここでは仮想ゲームミステリーボックスとの相互作用に基づいて、追跡オブジェクトのアイデンティティに関連する個人化されたデータは更新することができる。たとえば、ここでは、ゲームデータベース816は、制御アクションコマンドを介して、オープン環境機能814との相互作用に基づいて更新されたゲームステータスを反映するように更新することができる。従って、データベースレコード818に示されるように、ジェームス(James)に関連付けられているアイデンティティ123には、データベース内に5つの追加ポイントが提供される。更に、ウェアラブルデバイス810のディスプレイ820は、制御アクションコマンドを介して制御され、追跡オブジェクト812とオープン環境機能814との相互作用に基づいてステータス変化を確認する通知822を表示することができる。
【0059】
前述のように、コンテキスト追跡システムは、グループを識別および追跡することができる。グループの識別および/または追跡を示すデータの特定のパターンについては以下で検討するが、これらは単なる実施例に過ぎない。理解できるように、機械学習を使用すると、グループ化を示す追加のデータパターンは、本明細書で説明する機械学習システムによって観測することができる。図9は、機械学習技術を使用して個人をグループ化するための方法900のフローチャートである。方法900の1以上のステップは、図1のコンテキスト追跡システム102または図2のコンテキスト追跡システム216の1以上の構成要素によって実行することができる。実際、グループ化システム(たとえば、機械学習システム)は、図1のコンテキスト追跡システム102または図2のコンテキスト追跡システム216に統合することができる。詳細には、グループ化システムは、アクティブグループを示すパターンのトレーニングデータを受信することができる(ブロック902)。たとえば、アクティブグループを示すパターンは、特定の時間の1以上の人物の近接レベル、1以上の人物との車両の関連付けの通知、その他を含むことができる。幾つかの実施形態では、パターンは、追跡された個人の身長に基づいて、1以上の人物(たとえば、大人)と推定される子供などの関連の通知を含むことができる。受信したトレーニングデータに基づいて、ブロック904において、グループ化システムは、アクティブグループの存在の検出に熟練することができる。詳細には、グループ化システムは、環境(たとえば、オープン環境200)においてアクティブなグループを示す生データのパターンを識別することができる。
【0060】
幾つかの実施形態では、時系列データは、グループを識別および追跡するためのパターンについてマイニングすることができる。時系列データは、ある時間期間のデータを提供することができ、これは、機械学習ロジックが時間の経過に伴う人物のパターンを識別するのに役立つことができる。これらのパターンを用いて、時間の経過とともに観測されたアクティビティ/パターンに基づいてグループを識別および/または追跡することができる。たとえば、識別の実施例では、ユーザのグループは、閾値時間で特定の共通アクティビティまたは複数の共通アクティビティに参加したときにグループの一部として識別することができ、これは、時系列データからのパターンとして観測することができる。
【0061】
別の実施例では、機械学習システムはまた、グループの全てのメンバーが互いに特定の近接度内に存在できる訳ではないことを認識するために装備することができる。たとえば、アクティブグループの1以上の人物がトイレに行くことができ、他方、同じアクティブグループの1以上の人物がトイレに行かない。この場合、グループ化システムは、アクティブグループの全てのメンバーのアイデンティティを保持する、および/またはアクティブグループのサブグループを決定することができ、サブグループは、アクティブグループ内で1以上の人物に対応することができる。実際、上記の例に従って、アクティブグループの第1のサブグループは、トイレに行くアクティブグループのメンバーとすることができ、第2のサブグループは、第1のサブグループがトイレにいる間に、トイレに行かないアクティブグループのメンバーとすることができる。更に、アクティブグループは、特定の時間期間に検出されたグループのデータベースに残っているグループに対応することができる。たとえば、アクティブグループは、グループの1以上のメンバーが、特定の時間期間内で図2のオープン環境200に存在する限り、アクティブのままとすることができる。
【0062】
ブロック906において、機械学習システムは、個人またはグループ(たとえば、サブグループ)が、少なくともトレーニングデータおよびアクティブグループを示す識別されたパターンに基づいて、アクティブグループの少なくとも一部であるかどうかを決定することができる。たとえば、機械学習システムは、過去1時間一緒に過ごした2人の個人がグループであると決定することができる。別の例として、グループ化システムは、互いの手をつなぐなど、互いに愛情を示す個人をグループ化することができる。実際、グループ化システムは、1以上の個人をグループ化すべきかどうかを決定する際に重み付き確率を使用することができる。具体的には、特定の追跡されたアイデンティティで観測された1以上の行動パターン、特性、および/または属性は、確率で重み付けされ、グループを決定するために利用することができる。たとえば、通常、乳幼児は成人の監督なしではいない可能性があるので、グループ化システムは、グループに属するという重み付き確率(たとえば、0から1の間の値)を低身長の個人に付加することができる。それでも、グループ化システムは、個人の他の属性および/または行動(たとえば、共通の場所、近接性、同じ車との関連性、その他)に対して重み付き確率を使用することができる。グループ化システムは、グループ内にあることの重み付き確率値を合計することができ、重み付き確率値が関連付けられている個人がそれぞれグループの一部またはグループであることを決定することができる。ある実施形態では、重み付き確率値の1つは、重み付き確率値が関連付けられている個人がそれぞれグループの一部であるか、またはグループを形成するかを決定するための閾値を超えるのに十分な場合がある。
【0063】
ブロック908において、グループ化システムは、アクティブグループを含むデータベースを更新することができる。新たに識別されたグループが決定されると、アクティブなグループを含むデータベースが更新され、追跡できるようになる。従って、機械学習システムは、誰がグループ化されたかを記録に残すことができる。幾つかの実施形態では、グループ化は、下流の処理に影響を与える可能性がある。たとえば、以下で検討するように、グループ追跡は、ゲーム体験において利用することができる。
【0064】
本明細書で述べたように、グループ化システムは、時系列データで観測された活動/パターンに基づいて(たとえば、センサシステムのセンサによってキャプチャされたような)個人のグループを識別することができる。機械学習アルゴリズムにより、あらゆる数のパターンを識別することができ、機械学習アルゴリズムは、グループを識別する方法をグループ化システムにトレーニングするための教師あり機械学習を実装することができる。議論のために、図10は、本明細書に記載の技術を使用するグループ化システムによって、グループである可能性が高いと見なされる個人および/またはグループである可能性が低いと見なされる個人の集合の実施例を提供する、概略図1000である。具体的には、図1002に示すように、同じ車両を出入りする個人は、グループ化システムによってグループ化される可能性が高いと見なすことができる。対照的に、図1004に示すように、車両間の距離が比較的長い異なる車両に出入りする個人は、グループ化される可能性が低いと見なすことができる。更に、図1006に示すように、かなりの時間互いに近接している個人は、グループ化される可能性が高い。しかしながら、アトラクションのキューにおいて一定の閾値距離を通過することができる離間して配置された個人は、グループ化される可能性が低いと見なすことができる。たとえば、図1008において、各人物1011は、一列に並んだ20人の個人を表す。図1008に示すように、個人1010は、100人の人物によるアトラクションの列において別の個人1012から分離されており、従って、グループ化システムは、個人1010および個人1012をグループ化すべきではないと決定することができる。しかしながら、場合によっては、グループ化システムは、個人らが離間して配置されていても、グループ化される可能性が高いと見なされると決定できる。図1014に示すように、人物1016が人物1018、1020から分離されていても、人物1016、人物1018、および人物1020は、グループ化される可能性が高いと見なすことができる。この場合、人物1018、1020は、トイレ1022に向かっており、他方、人物1016は外で待機している。グループ化システムは、人物1016がある時間期間単独とすることができるにしても、人物1016、1018、1020がグループであると決定することができる。更に、グループ化システムはまた、分離されてはいるが特定の閾値期間を過ぎて一緒に時間を過ごした個人をグループ化することができる。たとえば、グループ内の人物は、同じグループの他の人物とアトラクションのキューで待機するのではなく、休憩所に座ることを選択することができる。従って、グループ化システムは、グループの1以上のメンバーが分離されている場合でも、グループをある時間期間アクティブな状態に保つことができる。
【0065】
理解できるように、グループが識別されると、追加の機能を実装することができる。たとえば、図11は、グループ化システムによって認識されたグループが、インタラクティブゲームのインタラクティブ環境をどのように変更できるかを示す図1100である。図1100において、ディスプレイ1103上の規則1102への準拠は、ドア1104(たとえば、仮想および/または拡張現実体験におけるポータルなど)をロック解除するために必要である。ドア1104に入るには、「全てのチームメンバーが一緒に入らなければならない」という規則1102が満たされなければならない。ここでは、グループ化システムは、人物1114および1112を人物1110のグループ/チームの一部として識別している。しかしながら、これらの人物1114および1112は、人物1110と共には存在しない。全てのチームメンバーが一度にチームメンバー110と共にいる訳ではないので、ドアはロック解除されない。後で、時間1113において、全てのチームメンバー(たとえば、人物1110、1112、1114)がドア1104に存在する。グループ全体が存在することに応じて、インタラクティブな環境から効果が現れる(たとえば、ドア1104のロックが解除される)。従って、グループを追跡することにより、インタラクティブ環境の1以上の構成要素は、グループの態様(チームメンバーの場所、チームメンバーの蓄積されたアクティビティなど)に基づいて制御し、ゲストに楽しいインタラクティブな体験を提供することができる。
【0066】
図12は、一実施形態による、本明細書で提供されるコンテキスト追跡技術を介して追跡されるグループアイデンティティに基づいて達成することができる例示的な制御アクション1200を示す概略図である。図8と同様に、図12はキオスク1202を含むか、または別のデバイスは、ディスプレイ1204を含むことができる。ディスプレイ1204は、オープン環境に関する情報を提供するグラフィカルユーザインターフェース(GUI)1206を提示することができる。図示のように、GUI1206は、追跡されたアイデンティティに基づいてパーソナライズすることができる。たとえば、ステータス吹き出し1208によって示されるように、コンテキスト追跡システムは、様々なターゲットセンサ間のコンテキストデータのトレードオフに基づいて、追跡オブジェクトが追跡グループ「グループ1」の一部であることを識別することができる。ディスプレイ1204に接近する追跡オブジェクトに応じて、制御アクションコマンドは、ディスプレイ1204(たとえば、ディスプレイ1204を制御する基礎となるハードウェア)に提示され、識別されたグループに関連する情報を表示するようにGUI1206に命令することができる。ここでは、たとえば、グループ1には、アイデンティティに関連付けられた命令が提供される。具体的には、GUI1209には「こんにちはグループ1、10分未満でタスクを完了して下さい」と書かれている。理解できるように、各グループアイデンティティは、一意の識別子および他の情報(たとえば、待機時間、命令、人口統計情報、および/または他の個人化されたデータ)に関連付けることができ、個人化された制御アクションを実行することを可能にする。
【0067】
別の実施形態では、追跡されたグループ1212の各メンバー(すなわち、グループ1)は、コンテキスト追跡システムの1以上の構成要素と通信可能に結合されたウェアラブルデバイス1210を有することができる。オープン環境機能1214、ここでは仮想ゲームミステリーボックスとの相互作用に基づいて、追跡されたグループのアイデンティティに関連する個人化されたデータを更新することができる。たとえば、ここでは、ゲームデータベース1216は、制御アクションコマンドを介して、オープン環境機能1214との相互作用に基づいて更新されたゲームステータスを反映するように更新することができる。従って、データベースレコード1218に示されているように、グループ1に関連付けられているアイデンティティ456には、データベース内に15ポイントが追加されている。更に、グループメンバーの各々のウェアラブルデバイス1210のディスプレイ1220は、制御アクションコマンドを介して制御されて、オープン環境機能1214と追跡されたグループ1212の各メンバーとの相互作用に基づいてステータスの変化を確認する通知1222を表示することができる。
【0068】
本明細書で提示されるとともに特許請求された技術は、本発明の技術分野を明らかに改善する有形物および実際的な性質の具体例に参照および適用され、このため、抽象的、無形または純粋に理論上のものではない。更に、本明細書に添付されたあらゆる請求項が、「ある機能を実行する手段」または「ある機能を実行するステップ」として指定された1以上の要素を包含する場合には、このような要素は、米国特許法第112条第6項に基づいて解釈されることを意図している。しかしながら、他の何れかの様態で指定された要素を含む何れかの請求項については、このような要素は、米国特許法第112条(f)に基づいて解釈されないものとする。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12