▶ エーエルティー リミティッド ライアビリティ カンパニーの特許一覧
特表2022-520140移動オブジェクトのリバース光学的追跡のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-29
(54)【発明の名称】移動オブジェクトのリバース光学的追跡のためのシステム及び方法
(51)【国際特許分類】
G06T 7/246 20170101AFI20220322BHJP
G06T 7/70 20170101ALI20220322BHJP
G01B 11/00 20060101ALI20220322BHJP
【ＦＩ】
G06T7/246
G06T7/70 Z
G01B11/00 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021523061
(86)(22)【出願日】2018-10-30
(85)【翻訳文提出日】2021-06-21
(86)【国際出願番号】 IB2018058492
(87)【国際公開番号】W WO2020089675
(87)【国際公開日】2020-05-07
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】520220249
【氏名又は名称】エーエルティー リミティッド ライアビリティ カンパニー
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】セヴォスティアノフ，ペトル ヴャチェスラヴォヴィチ
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA14
2F065BB28
2F065BB29
2F065FF01
2F065FF04
2F065GG01
2F065GG21
2F065JJ03
2F065JJ26
2F065NN08
5L096AA06
5L096CA04
5L096DA02
5L096EA07
5L096EA16
5L096FA67
5L096FA69
5L096GA17
5L096HA05
(57)【要約】
本発明は、移動オブジェクトを追跡するための方法及びシステムに関する。本発明は、仮想現実システムまたは拡張現実システム、インサイト物流システム（生産現場、倉庫、または店舗）、ロボットシステム、無人移動オブジェクトの制御システム、及び他の種類の産業システム、科学システム、トレーニングシステム等で使用され得る。追跡する方法は、基本的な光学的パターンの固有の組み合わせの検出及び登録によって、追跡エリアを自動調整するステップと、基本的な光学的パターンの固有の組み合わせの検出と、基本的な光学的パターンの固有の組み合わせと追跡エリア調整中に登録された基本的な光学的パターンの固有の組み合わせとの比較によって、移動オブジェクトの位置及び／または配向の変化を追跡するステップとを含む。移動オブジェクトを追跡するためのシステムは移動オブジェクトに位置する少なくとも１つのトラッカーを備え、トラッカーは、光学センサ、光学センサから取得されたイメージにおける基本的な光学的パターンを形成するアクティブマーカーを含む少なくとも１つのマーカーストリップ、及び中央処理ユニットを含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
移動オブジェクトを追跡する方法であって、基本的な光学的パターンの固有の組み合わせを検出及び登録することによって、追跡エリアを自動的に調整するステップと、
前記基本的な光学的パターンの固有の組み合わせの検出と、前記基本的な光学的パターンと前記追跡エリアを自動的に調整するステップ中に登録された前記基本的な光学的パターンの固有の組み合わせとの比較によって、移動オブジェクトの位置及び／または配向の変化を追跡するステップと、
を含む、方法。
【請求項2】
前記追跡エリアを自動的に調整するステップは、（Ｓ１）前記追跡エリアを定義するステップと、
（Ｓ２）追跡ウィンドウのサイズを決定し、前記追跡ウィンドウを最初の位置に設置するステップと、
（Ｓ３）前記追跡ウィンドウ内にマーカーによって形成された前記基本的な光学的パターンを定義するステップと、
（Ｓ４）「群」候補のＩＤを形成するステップと、
（Ｓ５）前記「群」候補の固有性を検証し、前記群に固有性がない場合、前記「群」候補の前記ＩＤを分類するステップと、
（Ｓ６）前記「群」候補のＩＤを「群」テーブルに登録するステップと、
（Ｓ７）前記追跡ウィンドウを所定の角度だけ回転させるステップと、
（Ｓ８）前記回転させた追跡ウィンドウに対してステップＳ２～Ｓ６を行うステップと、
（Ｓ９）必要な回転数が達成されているかを検証し、必要であれば、ステップＳ７、Ｓ８を繰り返すステップと、
（Ｓ１０）前記追跡ウィンドウを所定のピッチだけシフトさせるステップと、
（Ｓ１１）前記シフトさせた追跡ウィンドウに対してステップＳ２～Ｓ９を行うステップと、
（Ｓ１２）前記追跡エリアが全体的に対象に含まれるかを検証し、必要であれば、ステップＳ１０，Ｓ１１を繰り返すステップと、
（Ｓ１３）前記「群」候補の非固有ＩＤを前記「群」テーブルから削除するステップと、
を含む、請求項１に記載の方法。
【請求項3】
ステップＳ４、Ｓ５、Ｓ６、及びＳ１３は、前記「群」候補のＩＤごとに、「群」候補のＩＤの子ごとに行われる、請求項２に記載の方法。
【請求項4】
前記追跡エリアの投影はステップＳ２の前にセルに分割され、ステップＳ２では、前記追跡ウィンドウの前記サイズは、前記セルの数で表記される、請求項２に記載の方法。
【請求項5】
前記変化を追跡するステップは、（Ｓ２１）イメージを前記移動オブジェクトに位置する光学センサから読み取り、前記イメージを前処理するステップと、
（Ｓ２２）前記追跡ウィンドウ内にマーカーによって形成された前記基本的な光学的パターンを検出するステップと、
（Ｓ２３）「群」ＩＤを形成するステップと、
（Ｓ２４）前記「群」テーブルを使用して、前記「群」の前記ＩＤを識別するステップと、
（Ｓ２５）ステップＳ２４で識別された前記「群」に基づいて、前記移動オブジェクトの位置及び配向を決定するステップと、
を含む、請求項１に記載の方法。
【請求項6】
ステップ２１は、（Ｓ３１）前記イメージを前記光学センサから読み取るステップと、
（Ｓ３２）前記イメージの幾何学的歪みを補償するステップと、
（Ｓ３３）随意に、前記イメージを動作面に投影するステップと、
（Ｓ３４）前記イメージを正規化するステップと、
（Ｓ３５）前記追跡ウィンドウを前記イメージに割り当てるステップと、
を含む、請求項５に記載の方法。
【請求項7】
ステップＳ２２は、（Ｓ４１）前記追跡ウィンドウ内で、前記マーカーに対応する３点を選択するステップと、
（Ｓ４２）前記選択された３点のうち２つの基準点を決定するステップと、
（Ｓ４３）前記２つの基準点に関して、前記基本的な光学的パターンに従って、第３の点の公称位置を決定するステップと、
（Ｓ４４）前記第３の点の実際位置と、前記第３の点の前記公称位置とのずれ値δを決定するステップと、
（Ｓ４５）前記ずれ値δを検証するステップと、前記ずれ値δが所定の閾値を超えない場合、（Ｓ４６）基本的な光学的パターン候補のリストの前記３点の組み合わせをリスト化するステップと、前記ずれ値δが所定の閾値を超える場合、（Ｓ４７）前記３点の前記組み合わせを破棄するステップと、
（Ｓ４８）前記３点の全ての可能な組み合わせが処理されているかを検証し、必要であれば、ステップＳ４１～Ｓ４７を繰り返すステップと、
（Ｓ４９）前記ずれ値δに基づいて、前記基本的な光学的パターン候補のリストをソートするステップと、
（Ｓ５０）最小ずれ値δを有する基本的な光学的パターン候補を、前記基本的な光学的パターン候補のリストから選択するステップと、
（Ｓ５１）使用されたいずれかの点が前記基本的な光学的パターン候補に存在するかを検証するステップと、使用された少なくとも１つの点が前記基本的な光学的パターン候補に存在する場合、（Ｓ５２）前記基本的な光学的パターン候補を破棄するステップと、そうでなければ、使用された点が前記基本的な光学的パターン候補に存在しない場合、（Ｓ５３）前記基本的な光学的パターン候補が有効な基本的な光学的パターンのリストにリスト化され、前記リスト化された基本的な光学的パターンの全ての点が使用され分類されるステップと、
（Ｓ５４）残りの基本的な光学的パターン候補に対してステップＳ５０～Ｓ５３を行うステップと、
を含む、請求項５に記載の方法。
【請求項8】
移動オブジェクトを追跡するためのシステムであって、移動オブジェクトに位置する少なくとも１つのトラッカーであって、前記トラッカーは光学センサを備える、少なくとも１つのトラッカーと、
前記光学センサから取得されたイメージにおける基本的な光学的パターンを形成するアクティブマーカーを含む少なくとも１つのマーカーストリップと、
請求項１～７のいずれかに記載の移動オブジェクトを追跡する方法を部分的に行う中央処理ユニットと、
を備える、システム。
【請求項9】
前記光学センサはマトリクス光学センサである、請求項８に記載のシステム。
【請求項10】
前記マーカーストリップの少なくとも一部は床または他の基部構造に位置する、請求項８に記載のシステム。
【請求項11】
前記マーカーストリップは弾力パズル式フロアマットに統合される、請求項１０に記載のシステム。
【請求項12】
前記マーカーストリップの少なくとも一部は、天井、壁、梁、支柱に位置する、または前記追跡エリア内の床もしくは他の基部構造の上方にいずれかの他の方式で設置される、請求項８に記載のシステム。
【請求項13】
前記アクティブマーカーは赤外線発光マーカーである、請求項８に記載のシステム。
【請求項14】
前記基本的な光学的パターンは線状で基本的な光学的パターンである、請求項８に記載のシステム。
【請求項15】
前記基本的な光学的パターンは非線状の基本的な光学的パターンである、請求項８に記載のシステム。
【請求項16】
前記トラッカーは、請求項１～７のいずれかに記載の方法を部分的に行う、ローカルデータ処理デバイスを備える、請求項８に記載のシステム。
【請求項17】
前記トラッカー及び前記中央データ処理デバイスは、前記追跡エリアの自動調整のステップ中に調整データと、請求項１～７のいずれかに記載の方法で追跡するステップ中に前記トラッカーの位置及び／または配向データとを伝送するように構成される無線データ伝送リンクによって接続される、請求項８に記載のシステム。
【請求項18】
前記システムは、請求項１～７のいずれかに記載の方法によって、基本的な光学的パターンの固有の組み合わせを検出及び登録することによって、前記追跡エリアを自動的に調整するように構成される、請求項８に記載のシステム。
【請求項19】
前記システムは、基本的な光学的パターンの固有の組み合わせの検出と、前記基本的な光学的パターンの固有の組み合わせと請求項１～７のいずれかに記載の方法によって前記追跡エリアの前記調整中に登録された基本的な光学的パターンの固有の組み合わせとの比較によって、前記移動オブジェクトの位置及び／または配向の変化を追跡するように構成される、請求項８に記載のシステム。
【請求項20】
前記トラッカーはさらに少なくとも１つの慣性センサを備え、前記システムは、請求項１～７のいずれかに記載の方法によって、「群」を識別できないとき、前記少なくとも１つの慣性センサのデータを使用することによって、前記移動オブジェクトの位置及び／または配向の変化を追跡するように構成される、請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動オブジェクトを追跡するための方法及びシステムに関する。本発明は、仮想現実システムまたは拡張現実システム、インサイト物流システム、ロボットシステム、無人移動オブジェクトの制御システム、及び他の種類の産業システム、科学システム、トレーニングシステム等で使用され得る。
【背景技術】
【0002】
移動オブジェクトを追跡することは、例えば、ＶＲ（仮想現実）システム、ＡＲ（拡張現実）システム、インサイト物流システム（例えば、生産現場、倉庫、または店舗の物流に関連するシステム）、ロボットシステム、無人移動オブジェクトの制御システム（例えば、車両に関連するシステム）等の多くの用途で使用される。以下の説明では、ＶＲ／ＡＲシステムの追跡手段が主に検討される。しかしながら、主張された追跡概念は、上述のシステムの全てと実質的に同じである。
【0003】
追跡システムの構成に基づいて、追跡概念は、アウトサイドイン追跡（単一のセンサまたは複数のセンサが追跡オブジェクトの外側の空間内に位置する一方、単一の基準点または複数の基準点（例えば、マーカー）は追跡オブジェクト上に位置する）と、インサイドアウト追跡（単一のセンサまたは複数のセンサが追跡オブジェクト上に位置する一方、単一の基準点または複数の基準点は追跡オブジェクトの外側の空間内に位置する）とに分類され得る。
【0004】
センサ種類に基づいて、追跡概念は、光学的追跡（光学センサ（例えば、可視光線範囲または赤外線範囲で動作可能なカメラ）を使用する）と、慣性追跡（慣性センサ（例えば、ジャイロスコープ及び加速度計）を使用する）とに分類され得る。さらに、磁場センサ（すなわち、磁力計）、高度センサ（すなわち、高度計）、及びいくつかの他の種類のセンサは、また、追跡システムで使用され得る。
【0005】
加えて、グローバルシステムまたはローカルシステム、衛星システムまたは地上波システムを含む集中型位置決めシステムを使用する追跡システムがある。さらに、同時位置決め地図作成（ＳＬＡＭ）アプローチに基づくシステムを含む、マーカーフリー追跡システムがある。
【0006】
ゲーム、娯楽、及びトレーニングに関するＶＲ／ＡＲシステムで使用される追跡システムのほとんどは、追跡システムの組み合わせである。具体的には、光学的慣性追跡システムは広範囲に使用される。光学的慣性追跡システムは、光学センサ及び慣性センサの両方の適用の組み合わせに基づき、これらのセンサは相互に補完することと、それらの欠点を互いに打ち消し合うこととを可能にする。
【0007】
追跡エリアの高速及び正確な決定は、インサイドアウト光学追跡システム及び光学的慣性追跡システムに重要であり、これらのシステムでは、ビデオカメラが移動オブジェクト上に位置され、光学的発光マーカーまたは光反射マーカー（光学的追跡のための基準点である）は、既定の方式で追跡エリア（場所または部屋）に固定して設置される。
【0008】
追跡エリアを固定するとき（すなわち、既に決められているとき）、追跡システムは、追跡エリア及びそのロードパラメータの設定オプションの速い選択を提供する必要がある。追跡エリアが不定である場合（すなわち、追跡エリアの形状及びサイズを事前に知らないとき）、追跡システムは、追跡エリアの高速及び精密な調整を提供する必要がある。動作を開始する前に追跡システムの較正の必要性をなくすこと、または可能な限り自動較正を提供することを可能にすることがかなり好ましい。
【0009】
米国特許出願公開第２００８２８５８５４号明細書、米国特許出願公開第２０１３１０６８３３号明細書、米国特許出願公開第２０１７０８６９４１号明細書、国際公開第２０１４１９９１９６号、国際公開第２０１７０５０７６１号の公開特許出願文献では、追跡システムの分野の先行技術の一般的な見解が示されている。
【0010】
独国特許出願公開第１０２０１５０１３５５１号明細書、欧州特許出願公開第１６４５２４１号明細書（米国特許出願公開第２００６０８２７８９号明細書）、欧州特許出願公開第２３３９５３７号明細書、米国特許出願公開第２０１７１６８５９２号明細書の公開特許出願文献、及び米国特許第６７８７７５０号明細書では、追跡システムのアクティブＩＲマーカーを使用することが開示されている。また、米国特許第６７８７７５０号明細書では、追跡エリアの自動決定が開示されている。
【0011】
米国特許出願公開第２０１１０７９７０３号明細書、米国特許出願公開第２０１７３５８１３９号明細書の公開特許出願文献では、移動オブジェクト上に搭載される光学センサ（カメラ）及び慣性センサ（ジャイロスコープまたは加速度計）を使用する追跡システムが開示されている。
【0012】
欧州特許出願公開第２０１２１７０号明細書、米国特許出願公開第２００４０８０５４８号明細書の公開特許出願文献では、移動オブジェクト上に搭載される光学センサ（カメラ）及び慣性センサ（ジャイロスコープまたは加速度計）を含む追跡システムでアクティブＩＲマーカーを使用することが開示されている。
【0013】
国際公開第２００７１０２８５７号、国際公開第２０１６１０２７２１号の公開特許出願文献では、移動オブジェクト上に搭載される光学センサ（カメラ）及び慣性センサ（ジャイロスコープまたは加速度計）を含む追跡システムでアクティブＩＲマーカーを使用することと、固定マーカーによって形成された光学的パターンの認識とが開示されている。
【0014】
国際公開第２０１６１８７６０９号の公開特許出願文献では、固定マーカーによって形成された光学的パターンの認識が開示されている。国際公開第２０１３０７１９８１号の公開特許出願文献では、移動オブジェクト上に搭載される光学センサ（カメラ）及び慣性センサ（ジャイロスコープまたは加速度計）を含む追跡システムでアクティブＩＲマーカーを使用することと、固定マーカーによって形成された光学的パターンの認識とが開示されている。
【0015】
非特許文献［１］では、４つの光反射マーカーによって形成された線状パターンと、平面パターンとの検出が開示されている。検出は２つのカメラによって行われる（アウトサイドイン追跡）。
【0016】
非特許文献［２］では、４つの光反射マーカーによって形成された線状パターンと、平面パターンとの検出が開示されている。検出は複数のカメラによって行われる（アウトサイドイン追跡）。
【0017】
非特許文献［３］では、汎用装着可能デバイスに基づいて、ＶＲシステムの複素コントラスト平面マーカーを使用することが開示されている。
【0018】
非特許文献［４］では、複数のカメラを使用して、光反射マーカーによって形成された様々なパターン（１点マーカーから多点３次元マーカーに及ぶ）の検出（アウトサイドイン追跡）が開示されている。
【0019】
非特許文献［５］では、複数のカメラを使用して、ポイントクラウドによって、光反射ＩＲマーカーの検出及び識別の方法（アウトサイドインポイントクラウドベース追跡方法）が開示されている。
【0020】
非特許文献［６］では、パターンの検出が行われない複数のカメラを利用して、光反射ＩＲマーカーの検出及び識別のためにカルマンフィルタを使用すること（アウトサイドイン追跡）が開示されている。
【0021】
非特許文献［７］では、モーションキャプチャのための色光反射マーカーを使用し、それに続いて、３Ｄアニメーションの３Ｄモデルが形成されること（アウトサイドイン追跡）が開示されている。
【0022】
非特許文献［８］では、インサイドアウト光学的追跡において複素コントラスト平面マーカーを使用することが開示されている。
【0023】
非特許文献［９］では、１つのカメラを使用して天井に搭載される複数の発光ダイオードによって形成された線状パターンを使用すること（インサイドアウト追跡）が開示されている。追跡エリアをスケーリングできることが言及されている。
【0024】
非特許文献［１０］では、いずれかの種類の光学的追跡のために同軸にセットされているマーカーを有する平面パターンを使用することが開示されている。
【0025】
非特許文献［１１］では、いずれかの種類の光学的追跡のためにＬＥＤマーカーの放出強度の時間変調を使用することが開示されている。
【0026】
非特許文献［１２］では、リアルでダイナミックな音場を提供するために、長方形面の光学的パターンを形成する４つの発光ダイオードが装備される無線ヘッドのユーザをアウトサイドイン追跡するためのＷｉｉリモコンを使用することが開示されている。
【0027】
非特許文献［９］の技術的解決策は請求項に係る発明に最も近い技術である。それは、エリアにわたって均等に天井に設置されたＬＥＤストリップを使用する。係るストリップでは、循環マンチェスタ符号に変換されたドブラウン列に基づいて、一連の線状パターンが繰り返されている。
【0028】
しかしながら、上記の特許文献及び非特許文献に従って、同じ種類の複数の光学マーカーを使用する追跡エリアの自動調整の問題に対する解決策がない。この追跡エリアは、ある場所でまたは部屋内の所定の方式に設置された固定式のＩＲマーカーによって形成され、ひいては、動作エリアを制限し、移動可能オブジェクトをインサイドアウト光学追跡または光学的慣性追跡が使用され、このとき、トラッカーが移動可能オブジェクトに搭載され、トラッカーは光学センサ及び（随意に）慣性センサを含む。この問題は、先行技術でさえも少しも定義されていないことに留意されたい。
【0029】
現在、この機能を提供するであろう、また、ゲーム、娯楽、またはトレーニングの目的のための仮想現実システムまたは拡張現実システムで使用されるであろう、市販されているいずれかの追跡システムがない。また、請求された解決策の発明者は、係る機能を有するいずれかの追跡システムを認知していない。生産現場、倉庫、または店舗の物流システム、ロボットシステム、ヒト制御式移動オブジェクトまたは無人移動オブジェクトの制御システム等で使用されるであろう。
【先行技術文献】
【特許文献】
【0030】
【特許文献1】米国特許出願公開第２００８２８５８５４号明細書
【特許文献2】米国特許出願公開第２０１３１０６８３３号明細書
【特許文献3】米国特許出願公開第２０１７０８６９４１号明細書
【特許文献4】国際公開第２０１４１９９１９６号
【特許文献5】国際公開第２０１７０５０７６１号
【特許文献6】独国特許出願公開第１０２０１５０１３５５１号明細書
【特許文献7】欧州特許出願公開第１６４５２４１号明細書
【特許文献8】米国特許出願公開第２００６０８２７８９号明細書
【特許文献9】欧州特許出願公開第２３３９５３７号明細書
【特許文献10】米国特許出願公開第２０１７１６８５９２号明細書
【特許文献11】米国特許第６７８７７５０号明細書
【特許文献12】米国特許出願公開第２０１１０７９７０３号明細書
【特許文献13】米国特許出願公開第２０１７３５８１３９号明細書
【特許文献14】欧州特許出願公開第２０１２１７０号明細書
【特許文献15】米国特許出願公開第２００４０８０５４８号明細書
【特許文献16】国際公開第２００７１０２８５７号
【特許文献17】国際公開第２０１６１０２７２１号
【特許文献18】国際公開第２０１６１８７６０９号
【特許文献19】国際公開第２０１３０７１９８１号
【特許文献20】特許出願ＰＣＴ／ＩＢ２０１７／０５８０６８号
【特許文献21】米国特許出願公開第１５８４４９６７号明細書
【特許文献22】ＰＣＴ／ＲＵ２０１４／００１０１９号明細書
【特許文献23】米国特許出願公開第１５５４０３１３号明細書
【非特許文献】
【0031】
【非特許文献1】Ｒ．ｖａｎ Ｌｉｅｒｅ，Ｊ．Ｄ．Ｍｕｌｄｅｒ，「Ｏｐｔｉｃａｌ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｐｒｏｊｅｃｔｉｖｅ ｉｎｖａｒｉａｎｔ ｍａｒｋｅｒ ｐａｔｔｅｒｎ ｐｒｏｐｅｒｔｉｅｓ」，ＤＯＩ：１０．１１０９／ＶＲ．２００３．１１９１１３８
【非特許文献2】Ｍａｎｕｅｌ Ｌｏａｉｚａ，Ａｌｂｅｒｔｏ Ｒａｐｏｓｏ，Ｍａｒｃｅｌｏ Ｇａｔｔａｓｓ，「Ａ ｎｏｖｅｌ ｏｐｔｉｃａｌ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｐｏｉｎｔ－ｂａｓｅｄ ｐｒｏｊｅｃｔｉｖｅ ｉｎｖａｒｉａｎｔ ｍａｒｋｅｒ ｐａｔｔｅｒｎｓ」，ＩＳＶＣ ２００７：Ａｄｖａｎｃｅｓ ｉｎ Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ，ＰａｒｔＩ，ＬＮＣＳ ４８４１，ｐｐ．１６０～１６９，２００７．
【非特許文献3】Ｄａｎｉｅｌ Ｗａｇｎｅｒ，Ｄｉｅｔｅｒ Ｓｃｈｍａｌｓｔｉｅｇ，「ＡＲＴｏｏｌＫｉｔＰｌｕｓ ｆｏｒ ｐｏｓｅ ｔｒａｃｋｉｎｇ ｏｎ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ」，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｗｉｎｔｅｒ Ｗｏｒｋｓｈｏｐ，Ｓｔ．Ｌａｍｂｒｅｃｈｔ，Ａｕｓｔｒｉａ，Ｆｅｂｒｕａｒｙ６～８，２００７．
【非特許文献4】Ｔｈｏｍａｓ Ｐｉｎｔａｒｉｃ，Ｈａｎｎｅｓ Ｋａｕｆｍａｎｎ，「Ａｆｆｏｒｄａｂｌｅ ｉｎｆｒａｒｅｄ－ｏｐｔｉｃａｌ ｐｏｓｅ－ｔｒａｃｋｉｎｇ ｆｏｒ ｖｉｒｔｕａｌ ａｎｄ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｒｅｎｄｓ ａｎｄ Ｉｓｓｕｅｓ ｉｎ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ Ｗｏｒｋｓｈｏｐ，２００７．
【非特許文献5】Ａｒｊｅｎ ｖａｎ Ｒｈｉｊｎ，Ｊｕｒｒｉａａｎ Ｄ．Ｍｕｌｄｅｒ，「Ｏｐｔｉｃａｌ ｔｒａｃｋｉｎｇ ａｎｄ ｃａｌｉｂｒａｔｉｏｎ ｏｆ ｔａｎｇｉｂｌｅ ｉｎｔｅｒａｃｔｉｏｎ ｄｅｖｉｃｅｓ」，ＩＰＴ ＆ ＥＧＶＥ Ｗｏｒｋｓｈｏｐ，２００５．
【非特許文献6】Ｋｌａｕｓ Ｄｏｒｆｍｕｌｌｅｒ－Ｕｌｈａａｓ，「Ｒｏｂｕｓｔ ｏｐｔｉｃａｌ ｕｓｅｒ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ａ Ｋａｌｍａｎ ｆｉｌｔｅｒ」，Ｒｅｐｏｒｔ ２００３－０６，Ｉｎｓｔｉｔｕｔ ｆｕｒ Ｉｎｆｏｒｍａｔｉｋ，Ｕｎｉｖｅｒｓｉｔａｔ Ａｕｇｓｂｕｒｇ，Ｇｅｒｍａｎｙ．
【非特許文献7】Ａ．Ｋｏｌａｈｉ，Ｍ．Ｈｏｖｉａｔｔａｌａｂ，Ｔ．Ｒｅｚａｅｉａｎ，Ｍ．Ａｌｉｚａｄｅｈ，Ｍ．Ｂｏｓｔａｎ，Ｈ．Ｍｏｋｈｔａｒｚａｄｅｈ，「Ｄｅｓｉｇｎ ｏｆ ａ ｍａｒｋｅｒ－ｂａｓｅｄ ｈｕｍａｎ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ」，Ｂｉｏｍｅｄｉｃａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌ，２，２００７，ｐｐ．５９～６７．
【非特許文献8】Ｄａｖｉｄ Ｃｌａｕｓ，Ａｎｄｒｅｗ Ｗ．Ｆｉｔｚｇｉｂｂｏｎ，「Ｒｅｌｉａｂｌｅ ａｕｔｏｍａｔｉｃ ｃａｌｉｂｒａｔｉｏｎ ｏｆ ａ ｍａｒｋｅｒ－ｂａｓｅｄ ｐｏｓｉｔｉｏｎ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｏｔｉｏｎ ａｎｄ Ｖｉｄｅｏ Ｃｏｍｐｕｔｉｎｇ Ｍｏｔｉｏｎ，２００５，Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００５．ＷＡＣＶ／ＭＯＴＩＯＮＳ’０５ Ｖｏｌｕｍｅ．
【非特許文献9】Ｓｔｅｖｅｎ Ｍａｅｓｅｎ，Ｐａｔｒｉｋ Ｇｏｏｒｔｓ，Ｐｈｉｌｉｐｐｅ Ｂｅｋａｅｒｔ，「Ｓｃａｌａｂｌｅ ｏｐｔｉｃａｌ ｔｒａｃｋｉｎｇ ｆｏｒ ｎａｖｉｇａｔｉｎｇ ｌａｒｇｅ ｖｉｒｔｕａｌ ｅｎｖｉｒｏｎｍｅｎｔｓ ｕｓｉｎｇ ｓｐａｔｉａｌｌｙ ｅｎｃｏｄｅｄ ｍａｒｋｅｒｓ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９ｔｈ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ＶＲＳＴ’１３，ｐｐ．１０１～１１０．
【非特許文献10】Ｆｉｌｉｐｐｏ Ｂｅｒｇａｍａｓｃｏ，Ａｎｄｒｅａ Ａｌｂａｒｅｌｌｉ，Ｅｍａｎｕｅｌｅ Ｒｏｄｏｌａ，Ａｎｄｒｅａ Ｔｏｒｓｅｌｌｏ，「ＲＵＮＥ－Ｔａｇ：ａ ｈｉｇｈ ａｃｃｕｒａｃｙ ｆｉｄｕｃｉａｌ ｍａｒｋｅｒ ｗｉｔｈ ｓｔｒｏｎｇ ｏｃｃｌｕｓｉｏｎ ｒｅｓｉｌｉｅｎｃｅ」，ＤＯＩ：１０．１１０９／ＣＶＰＲ．２０１１．５９９５５４４．
【非特許文献11】Ｌｅｏｎｉｄ Ｎａｉｍａｒｋ，Ｅｒｉｃ Ｆｏｘｌｉｎ，「Ｅｎｃｏｄｅｄ ＬＥＤ ｓｙｓｔｅｍ ｆｏｒ ｏｐｔｉｃａｌ ｔｒａｃｋｅｒｓ」，ＤＯＩ：１０．１１０９／ＩＳＭＡＲ．２００５．２８．
【非特許文献12】Ｙａｓｈａｒ Ｄｅｌｄｊｏｏ，Ｒｅｚａ Ｅｂｒａｈｉｍｉ Ａｔａｎｉ，「Ａ ｌｏｗ－ｃｏｓｔ ｉｎｆｒａｒｅｄ－ｏｐｔｉｃａｌ ｈｅａｄ ｔｒａｃｋｉｎｇ ｓｏｌｕｔｉｏｎ ｆｏｒ ｖｉｒｔｕａｌ ３Ｄ ａｕｄｉｏ ｅｎｖｉｒｏｎｍｅｎｔ ｕｓｉｎｇ ｔｈｅ Ｎｉｎｔｅｎｄｏ Ｗｉｉ－ｒｅｍｏｔｅ」，Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｃｏｍｐｕｔｉｎｇ，ｖｏｌ．１２，２０１６，ｐｐ．９～２７．
【発明の概要】
【発明が解決しようとする課題】
【0032】
特に、ＶＲ／ＡＲ追跡システム用の移動オブジェクトを追跡するためのいずれかのシステムに関して、システムのスイッチオン、リブート、設定変更、または操作シナリオの変更の後に可能な限り高速に、システムをすぐに動作できるように準備させることが重要である。追跡エリアが固定されている（事前に定義されている）場合、追跡システムは、特定の追跡エリアの高速な配置選択及びそのパラメータの高速ローディングを提供することが要求される。追跡エリアが不定の場合（すなわち、追跡エリアの形及びサイズを事前に知らないとき）、追跡システムは、追跡エリアの高速及び精密な調整を提供することが要求される。追跡システムの較正を回避すること、または少なくとも、可能な限り自動較正手順を実施することを可能にすることがかなり好ましい。
【0033】
本発明に従って、トラッカーが移動可能オブジェクトに搭載されるとき、またトラッカーが光学センサ及び（随意に）慣性センサを含むとき、移動オブジェクトを追跡するための方法及びシステムを使用して、インサイドアウト光学的追跡または光学的慣性追跡のための追跡エリアの自動調整の問題を解決する。
【課題を解決するための手段】
【0034】
移動オブジェクトを追跡する方法は、
基本的な光学的パターンの固有の組み合わせを検出及び登録することを含む、追跡エリアを自動的に調整するステップと、 基本的な光学的パターンの固有の組み合わせの検出と、基本的な光学的パターンと追跡エリアの調整中に登録された基本的な光学的パターンの固有の組み合わせとの比較とを含む、移動オブジェクトの位置及び／または配向の変化を追跡するステップと、
を含む。
基本的な光学的パターンの固有の組み合わせを検出及び登録することを含む、追跡エリアを自動的に調整するステップと、 基本的な光学的パターンの固有の組み合わせの検出と、基本的な光学的パターンと追跡エリアの調整中に登録された基本的な光学的パターンの固有の組み合わせとの比較とを含む、移動オブジェクトの位置及び／または配向の変化を追跡するステップと、
を含む。
【0035】
追跡エリアの調整は、
（Ｓ１）追跡エリアを定義するステップと、
（Ｓ２）追跡ウィンドウのサイズを決定し、追跡ウィンドウを最初の位置に設置するステップと、
（Ｓ３）追跡ウィンドウ内にマーカーによって形成された基本的な光学的パターンを定義するステップと、
（Ｓ４）「群」候補のＩＤを形成するステップと、
（Ｓ５）「群」候補のそれぞれの固有性を検証し、群に固有性がない場合、「群」候補のＩＤを分類するステップと、
（Ｓ６）「群」候補のＩＤを「群」テーブルに登録するステップと、
（Ｓ７）追跡ウィンドウを所定の角度だけ回転させるステップと、
（Ｓ８）回転させた追跡ウィンドウに対してステップＳ２～Ｓ６を行うステップと、
（Ｓ９）必要な回転数が達成されているかを検証し、必要であれば、ステップＳ７、Ｓ８を繰り返すステップと、
（Ｓ１０）追跡ウィンドウを所定のピッチだけシフトさせるステップと、
（Ｓ１１）シフトさせた追跡ウィンドウに対してステップＳ２～Ｓ９を行うステップと、
（Ｓ１２）追跡エリアが全体的に対象に含まれるかを検証し、必要であれば、ステップＳ１０，Ｓ１１を繰り返すステップと、
（Ｓ１３）「群」候補の非固有ＩＤを「群」テーブルから削除するステップと、
を含み得る。
（Ｓ１）追跡エリアを定義するステップと、
（Ｓ２）追跡ウィンドウのサイズを決定し、追跡ウィンドウを最初の位置に設置するステップと、
（Ｓ３）追跡ウィンドウ内にマーカーによって形成された基本的な光学的パターンを定義するステップと、
（Ｓ４）「群」候補のＩＤを形成するステップと、
（Ｓ５）「群」候補のそれぞれの固有性を検証し、群に固有性がない場合、「群」候補のＩＤを分類するステップと、
（Ｓ６）「群」候補のＩＤを「群」テーブルに登録するステップと、
（Ｓ７）追跡ウィンドウを所定の角度だけ回転させるステップと、
（Ｓ８）回転させた追跡ウィンドウに対してステップＳ２～Ｓ６を行うステップと、
（Ｓ９）必要な回転数が達成されているかを検証し、必要であれば、ステップＳ７、Ｓ８を繰り返すステップと、
（Ｓ１０）追跡ウィンドウを所定のピッチだけシフトさせるステップと、
（Ｓ１１）シフトさせた追跡ウィンドウに対してステップＳ２～Ｓ９を行うステップと、
（Ｓ１２）追跡エリアが全体的に対象に含まれるかを検証し、必要であれば、ステップＳ１０，Ｓ１１を繰り返すステップと、
（Ｓ１３）「群」候補の非固有ＩＤを「群」テーブルから削除するステップと、
を含み得る。
【0036】
ステップＳ４、Ｓ５、Ｓ６、及びＳ１３は、「群」候補のＩＤごとに、「群」候補のＩＤの子ごとに行われ得る。追跡エリアの投影はステップＳ２の前にセルに分割され得、ステップＳ２では、追跡ウィンドウのサイズは、セルの数で表記され得る。
【0037】
移動オブジェクトの位置及び／または配向の追跡変化は、
（Ｓ２１）イメージを移動オブジェクトに位置する光学センサから読み取り、イメージの前処理を行うステップと、
（Ｓ２２）追跡ウィンドウ内にマーカーによって形成された基本的な光学的パターンを検出するステップと、
（Ｓ２３）「群」ＩＤを形成するステップと、
（Ｓ２４）「群」テーブルを使用して、「群」の形成されたＩＤを識別するステップと、
（Ｓ２５）ステップＳ２４で識別された「群」に基づいて、移動オブジェクトの位置及び配向を決定するステップと、
を含み得る。
（Ｓ２１）イメージを移動オブジェクトに位置する光学センサから読み取り、イメージの前処理を行うステップと、
（Ｓ２２）追跡ウィンドウ内にマーカーによって形成された基本的な光学的パターンを検出するステップと、
（Ｓ２３）「群」ＩＤを形成するステップと、
（Ｓ２４）「群」テーブルを使用して、「群」の形成されたＩＤを識別するステップと、
（Ｓ２５）ステップＳ２４で識別された「群」に基づいて、移動オブジェクトの位置及び配向を決定するステップと、
を含み得る。
【0038】
ステップＳ２１は、
（Ｓ３１）イメージを光学センサから読み取るステップと、
（Ｓ３２）読み取られたイメージの幾何学的歪みを補償するステップと、
（Ｓ３３）随意に、イメージを動作面に投影するステップと、
（Ｓ３４）イメージを正規化するステップと、
（Ｓ３５）追跡ウィンドウをイメージに割り当てるステップと、
を含み得る。
（Ｓ３１）イメージを光学センサから読み取るステップと、
（Ｓ３２）読み取られたイメージの幾何学的歪みを補償するステップと、
（Ｓ３３）随意に、イメージを動作面に投影するステップと、
（Ｓ３４）イメージを正規化するステップと、
（Ｓ３５）追跡ウィンドウをイメージに割り当てるステップと、
を含み得る。
【0039】
ステップＳ２２は、
（Ｓ４１）追跡ウィンドウ内で、マーカーに対応する３点を任意に選択するステップと、
（Ｓ４２）選択された３点のうち２つの基準点を決定するステップと、
（Ｓ４３）基準点に関して、基本的な光学的パターンに従って、第３の点の公称位置を決定するステップと、
（Ｓ４４）第３の点の実際位置と、第３の点の公称位置とのずれ値δを決定するステップと、
（Ｓ４５）ずれ値δを検証するステップと、ずれ値δが所定の閾値を超えない場合、（Ｓ４６）基本的な光学的パターン候補のリストに３点の組み合わせをリスト化するステップと、ずれ値δが所定の閾値を超える場合、（Ｓ４７）３点の組み合わせを破棄するステップと、
（Ｓ４８）３点の全ての可能な組み合わせが処理されているかを検証し、必要であれば、ステップＳ４１～Ｓ４７を繰り返すステップと、
（Ｓ４９）ずれ値δに基づいて、基本的な光学的パターン候補のリストをソーティングするステップと、
（Ｓ５０）最小ずれ値δを有する基本的な光学的パターン候補を、基本的な光学的パターン候補のリストから選択するステップと、
（Ｓ５１）使用されたいずれかの点が基本的な光学的パターン候補に存在するかを検証するステップと、使用された少なくとも１つの点が基本的な光学的パターン候補に存在する場合、（Ｓ５２）基本的な光学的パターン候補を破棄するステップと、使用された点が基本的な光学的パターン候補に存在しない場合、（Ｓ５３）基本的な光学的パターン候補が有効な基本的な光学的パターンのリストにリスト化され、リスト化された基本的な光学的パターンの全ての点が使用され分類されるステップと、
（Ｓ５４）残りの基本的な光学的パターン候補に対してステップＳ５０～Ｓ５３を行うステップと、
を含み得る。
（Ｓ４１）追跡ウィンドウ内で、マーカーに対応する３点を任意に選択するステップと、
（Ｓ４２）選択された３点のうち２つの基準点を決定するステップと、
（Ｓ４３）基準点に関して、基本的な光学的パターンに従って、第３の点の公称位置を決定するステップと、
（Ｓ４４）第３の点の実際位置と、第３の点の公称位置とのずれ値δを決定するステップと、
（Ｓ４５）ずれ値δを検証するステップと、ずれ値δが所定の閾値を超えない場合、（Ｓ４６）基本的な光学的パターン候補のリストに３点の組み合わせをリスト化するステップと、ずれ値δが所定の閾値を超える場合、（Ｓ４７）３点の組み合わせを破棄するステップと、
（Ｓ４８）３点の全ての可能な組み合わせが処理されているかを検証し、必要であれば、ステップＳ４１～Ｓ４７を繰り返すステップと、
（Ｓ４９）ずれ値δに基づいて、基本的な光学的パターン候補のリストをソーティングするステップと、
（Ｓ５０）最小ずれ値δを有する基本的な光学的パターン候補を、基本的な光学的パターン候補のリストから選択するステップと、
（Ｓ５１）使用されたいずれかの点が基本的な光学的パターン候補に存在するかを検証するステップと、使用された少なくとも１つの点が基本的な光学的パターン候補に存在する場合、（Ｓ５２）基本的な光学的パターン候補を破棄するステップと、使用された点が基本的な光学的パターン候補に存在しない場合、（Ｓ５３）基本的な光学的パターン候補が有効な基本的な光学的パターンのリストにリスト化され、リスト化された基本的な光学的パターンの全ての点が使用され分類されるステップと、
（Ｓ５４）残りの基本的な光学的パターン候補に対してステップＳ５０～Ｓ５３を行うステップと、
を含み得る。
【0040】
移動オブジェクトを追跡するためのシステムは、
移動オブジェクト（例えば、ＶＲ／ＡＲシステムのユーザ）に位置する少なくとも１つのトラッカーであって、そのとき、トラッカーは光学センサを備える、少なくとも１つのトラッカーと、
光学センサから取得されたイメージに基本的な光学的パターンを形成するアクティブマーカーを含む少なくとも１つのマーカーストリップと、
上記に説明したように、移動オブジェクトを追跡する方法を部分的に行う中央データ処理ユニットと、
を備える。
移動オブジェクト（例えば、ＶＲ／ＡＲシステムのユーザ）に位置する少なくとも１つのトラッカーであって、そのとき、トラッカーは光学センサを備える、少なくとも１つのトラッカーと、
光学センサから取得されたイメージに基本的な光学的パターンを形成するアクティブマーカーを含む少なくとも１つのマーカーストリップと、
上記に説明したように、移動オブジェクトを追跡する方法を部分的に行う中央データ処理ユニットと、
を備える。
【0041】
光学センサはマトリクス光学センサであり得る。マーカーストリップの少なくとも一部は床または他の基部構造に位置し得る。マーカーストリップは、パズルフロアマットに統合され得る。マーカーストリップの少なくとも一部は、天井、壁、梁、支柱等に位置し得る、または追跡エリア内の床もしくは他の基部構造の上方にいずれかの他の方式で設置され得る。
【0042】
アクティブマーカーは、赤外線発光マーカーであり得る。基本的な光学的パターンは、線状の基本的な光学的パターンまたは非線状の基本的な光学的パターンであり得る。上記に説明したように、移動オブジェクトを追跡する方法を部分的に行うローカルデータ処理デバイスを備え得る。
【0043】
上記に説明したように、トラッカー及び中央データ処理デバイスは、追跡エリアの自動調整のステップ中に調整データと、移動オブジェクトを追跡する方法で追跡するステップ中にトラッカーの位置及び／または配向データとを伝送するように構成される無線データ伝送リンクによって接続され得る。
【0044】
追跡システムは、上記の方法に従って、基本的な光学的パターンの固有の組み合わせを検出及び登録することによって、追跡エリアを自動的に調整するように構成され得る。追跡システムは、基本的な光学的パターンの固有の組み合わせの検出によって、基本的な光学的パターンと追跡エリアの調整中に登録された基本的な光学的パターンの固有の組み合わせとの比較によって、移動オブジェクトの位置及び／または配向の変化を追跡するように構成され得る。
【発明の効果】
【0045】
本発明の追加の特性及び利点は、以下に続く説明に記載され、部分的に、説明から明らかになる、または、本発明の実践によって学習され得る。本発明の利点は、本明細書ならびに請求項及び添付図に具体的に指摘される構造によって実現及び達成される。
【0046】
前述の概要及び以下の「発明を実施するための形態」の両方は例示的及び説明的であり、主張されるような本発明のさらなる説明を提供することを意図することを理解されたい。
【0047】
添付図は、本発明のさらなる理解を提供するために含まれ、本明細書の一部に組み込まれ及び本明細書の一部を構成し、添付図は、本発明の実施形態を示し、「発明を実施するための形態」と一緒に、本発明の原理を説明する役割を果たす。
【図面の簡単な説明】
【0048】
【図1】本発明による、ＶＲ／ＡＲシステムの実装例を示す。
【図2】トラッカーのブロック図を示す。
【図3】展開状態のマーカーストリップの例を示す。
【図4】巻き状態のマーカーストリップの例を示す。
【図5】弾性パズル式フロアマットを使用する、マーカーの設置の例を示す。
【図6】床のマーカーストリップの設置の例を示す。
【図7】天井のマーカーストリップの設置の例を示す。
【図8】弾性パズルフロアマットのマーカーストリップの場所を示し、各パズルピースは追跡エリアのセルに対応する。
【図9】追跡エリアの番号が付されたセルの例を示す。
【図10】マーカーストリップによって形成された基本的な光学的パターンを示し、その公称中心は円でマークされ、その公称方向は矢印によって示され、方向は、数字指示子（例えば、０，１，２，３としてコード化される）によって指定され得る。
【図11】四角形の追跡エリアの基本的な光学的パターンの場所の例を示す。
【図12A】基本的な光学的パターンの固有の組み合わせの例を示す。
【図12B】基本的な光学的パターンの非固有の組み合わせの例を示す。
【図13A】基本的な光学的パターンの固有の組み合わせ（「群」）の登録のアルゴリズムのブロック図を示す。
【図13B】基本的な光学的パターンの固有の組み合わせ（「群」）の登録のアルゴリズムのブロック図を示す。
【図14】マルチユーザＶＲ／ＡＲシステムのマーカーを遮断する例を示す。
【図15】追跡のアルゴリズムのブロック図を示す。
【図16】光学センサから取得されたイメージの例を示す。
【図20】光学センサから取得されたイメージを読み取る及び前処理するアルゴリズムのブロック図を示す。
【図21】光学センサから取得されたイメージにおける基本的な光学的パターンを検出するアルゴリズムのブロック図を示す。
【図22】基本的な光学的パターンの第３の点の公称位置及び実際位置の例を示す。
【図23】基本的な光学的パターンの非同一直線上の位置の例を示す。
【発明を実施するための形態】
【0049】
ここで、本発明の好ましい実施形態を詳細に参照し、本発明の例は添付図に示される。
【0050】
ＶＲ／ＡＲシステムの追跡エリアは変化を受け得、具体的には、追跡エリアの形状及びサイズは、ＶＲ／ＡＲシステムの耐用期間中に、別のサイトまたは別の部屋へのその移送に起因して、ユーザ数の変化に起因して、または、ＶＲ／ＡＲシステム（例えば、ゲームプレイ）のシナリオに従って変化し得る。追跡エリアの形状及びサイズの変化は、追跡システムの調整が必要である。モバイルＶＲ／ＡＲシステムでは、本システムが展開するときごとに、追跡システムの調整が必要である。本発明の追跡システムでは、追跡エリアの自動調整の問題を解決し、さらに、ＶＲ／ＡＲシステムの動作のマルチユーザモードで追跡精度及び信頼性を改善する。
【0051】
インサイドアウト光学的慣性追跡システムでは、追跡を提供するデバイス（トラッカー）は、トレースする移動可能オブジェクト上に設置される一方、トラッカーによってキャプチャされたイメージに特定の組み合わせ（光学的パターン）を形成する光源（アクティブマーカー）はＶＲ／ＡＲシステムの動作エリア内で固定して設置する。ＶＲ／ＡＲシステムは１つ以上のトラッカーを含み得、各トラッカーは、他のトラッカーから独立して、対応する移動可能オブジェクト（またはその一部）の位置及び配向を決定することを可能にする。
【0052】
図１はＶＲ／ＡＲシステム１の実施例を示し、ＶＲ／ＡＲシステム１は、ヘルメットまたはＡＲメガネの形態のヘッドマウントディスプレイ（ＨＭＤ）５、ＨＭＤ５に位置するトラッカー１０、ＨＭＤ５の上にまたはＨＭＤ５の中にも位置する中央データ処理デバイス（ホスト）６、トラッカー２０、トラッカー３０、及びアクティブマーカー４０，４１，４２を含むマーカーストリップ４を含む。ＨＭＤ５は、システム１によって生成された画像をユーザ７に提示することを提供し、トラッカー１０，２０，３０から獲得された追跡データに基づいて、画像を生成する。ユーザに提示された画像は、仮想現実３Ｄ画像または拡張現実３Ｄ画像であり得る。トラッカー１０，２０，３０によって生成された追跡データは、トラッカーの空間位置のデータ、ひいては、ユーザ７の対応する身体部分のデータ、トラッカーの配向及びその運動パラメータ（すなわち、方向、速度、及び加速度）のデータを含む。
【0053】
トラッカー１０は、光学センサ１０１及び１つ以上の慣性センサ１０２を含む。トラッカー１０は、また、追跡データを処理するためのデータ処理デバイス１０３を含む。データ処理デバイス１０３は、全てのセンサの同期、光学センサ、１つ以上の慣性センサからのデータの獲得、イメージに見られるマーカーの情報を形成するための光学センサのデータの処理、及びトラッカーの位置ならびに配向の決定を提供する。また、トラッカー１０は、電源１０４、通信デバイス１０５、メモリデバイス１０６、及びＶＲ／ＡＲシステム１の一部として動作するのに必要な他の部分を含む。トラッカー１０は、調整データ及び追跡データを移送するために、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ等の無線リンクを介して、中央データ処理デバイス６に接続される。
【0054】
トラッカー２０及びトラッカー３０は、トラッカー１０と同じであり得る、または、それらのトラッカーは、対応するユーザの身体部分の移動の異なる方式によって、いくつかの相違をもたらし得る。具体的には、ユーザの手のゲームコントローラに接続されるトラッカー２０及び３０は、ユーザの頭部に位置するトラッカー１０よりも高速でピクピクする動きを追跡することが可能であり得る。しかしながら、追跡システムの主要動作概念は実質的に同じである。トラッカーの様々な実施態様は、以前に公開された特許出願文献であるＰＣＴ／ＩＢ２０１７／０５８０６８号及び米国特許出願公開第１５８４４９６７号明細書に説明され、これらは同じ出願人によって所有され、これらの特許文献の両方は、全体として参照することによって本明細書に組み込まれる。本発明での使用に適切な光学センサの構成は、公開されている特許出願文献であるＰＣＴ／ＲＵ２０１４／００１０１９号明細書及び米国特許出願公開第１５５４０３１３号明細書に説明され、これらは同じ出願人によって所有され、これらの特許文献の両方は、全体として参照することによって本明細書に組み込まれる。
【0055】
マーカーストリップ４（図３）は、電力供給をアクティブマーカー４０，４１，４２に提供する可撓性導体を有する、ポリマー材料から作られた狭い可撓性ストリップの形態の基部を含む。基材は織布材料または不織布材料であり得る。基部及び導体の可撓性は、保管中及び輸送中にその巻かれた状態のコンパクトサイズのマーカーストリップを確実にする（図４）。しかしながら、この配列は、その十分な横剛性（その設置平面における）と、安定した光学的パターンを提供するために必要なマーカーの間の一定距離とを確実にする。導体は、約数ワットの電力消費の値における安全電圧の供給を提供するように、圧膜技術または薄膜技術に基づく、金属性、金属、酸化物、合成物であり得る。アクティブマーカー４０，４１，４２は、所定の場所へのそれらの信頼性のある取り付け及び供給電圧の給電を提供するように、いずれかの適切な方法によって基部に付けられ得る。本発明の例示的な実施形態では、平坦なストリップ金属導体を使用して、アクティブマーカー４０，４１，４２は、マーカーを基部上に高速及び容易に搭載することと、そこから分解することとを提供する磁石コネクタによって基部に付けられる一方、マーカーを分解する容易性は、ユーザが非意図的に物理的にマーカーに接触するとき、マーカーストリップ４を損傷から保護する。電力は、ケーブル４４及び電気コネクタ４３を介して、電源４５からマーカー４０，４１，４２に供給される。
【0056】
本発明の例示的な実施形態では、アクティブマーカー４０，４１，４２は発光ＩＲマーカーである。本発明の他の実施形態では、アクティブマーカー４０，４１，４２は、他の周波数範囲（例えば、可視光線範囲）で動作し得る。
【0057】
電源４５は、必須の安全なＡＣ電圧またはＤＣ電圧（例えば、５、６、１２、２４、３６、または４８Ｖ）を提供するいずれかの幹線に接続された電源または非直結式電源であり得る。例えば、モバイルデバイスを供給／充電するために多くの場合使用されるＰｏｗｅｒＢａｎｋ等の５ＶＤＣもしくは１２ＶＤＣバッテリ、またはメインバッテリが放電するときに車のエンジンの開始を容易にすることを意図するブースタ等の１２．６ＶＤＣバッテリは、非直結式電源として使用され得る。システム１で複数のマーカーストリップ４を使用する場合、電力供給は、単一電源によって、集中方式で提供され得る。代替として、電力供給は、マーカーストリップ４のそれぞれが別個の電源によって給電されるとき、分散方式で提供され得る。具体的には、マーカーストリップ４が床内に内蔵されたとき、または部屋の壁もしくは天井に位置するとき、集中型電力供給は永久的な商業用ＶＲ／ＡＲシステムに好ましくあり得る。分散型電力供給は、具体的には、屋外使用に適切であるモバイルのアマチュアなＶＲ／ＡＲシステムに好ましくあり得る。
【0058】
ケーブル４４及び電気コネクタ４３は、いずれかの適切な種類であり得る。その種類を選ぶことは当業者にとって平凡なタスクであるため、この点を省略する。
【0059】
マーカー４０，４１，４２のそれぞれは、ほぼ半球状方向特性を有する赤外線ＬＥＤ発光体である。要求された方向特性は、例えば、フレネルレンズに基づいて、１つ以上のＬＥＤチップの設置及び配向によって、ならびに光拡散器の使用によって確実になる。マーカーは、広範囲の供給電圧のＬＥＤ発光体の動作能力を提供するドライバを含み得る。
【0060】
所定のように位置するマーカー４０，４１，４２の組み合わせは、基本的な光学的パターン（以下、簡略して「基本パターン」と呼ばれ得る）を形成し、マーカーの存在及び空間位置は、トラッカー１０からデータフローで利用可能であるマーカーデータに基づいて、中央データ処理デバイス６によって検出される。アクティブマーカー（すなわち、発光マーカー）の使用は、インサイドアウト追跡の概念において好ましい。これは、パッシブ（光反射）マーカーの使用と比較していくつかの利点をもたらす。具体的には、アクティブマーカーを使用するとき、トラッカーのための追加の電力供給は、パッシブマーカーを照らすのに必要ではない。これは、トラッカーが移動可能オブジェクト上に設置されるときに特に重要である。利用可能である追跡エリアサイズは、マーカーの寸法及び輝度によって定義される。幹線から接続された電源（複数可）または非直結式電源（複数可）によってマーカーを給電することで、マーカーの発光電力を数倍増加することを可能にすることによって、追跡エリアサイズを拡大する一方、トラッカー自体の電力消費は変化しない。
【0061】
基本パターンは、マーカーデータ処理アルゴリズムによって検出される線状パターンであり得る。線状パターンは、マーカーの間の距離の所定の比率によって特徴付けられる。具体的には、本発明の実施形態では、図３に示されるように、３つのマーカーは一直線に配置され、列４０－４１－４２を形成し、マーカー４０とマーカー４１との間の距離は、マーカー４１とマーカー４２との間の距離の２倍である。光学的パターンの信頼性のある識別が本システムで維持される限り、距離比は異なり得る。
【0062】
動作エリアはマーカーストリップ４の長さを増加させることによってスケーリングされ得る一方、距離比は維持され、マーカーの発光表面及びその輝度は十分に大きい、または十分に高い。これは、光学センサフレーム内のマーカーブロブの角度パラメータ及び光度パラメータを維持する限り、実質的に動作エリアを拡大することを可能にし、同時に、高いトレースパラメータを提供する。
【0063】
基本パターンは、より多くのマーカー（例えば、４つ、５つ等のマーカー）を有する線状パターンであり得る。基本パターンは、また、非線状パターンであり得、すなわち、マーカーは一直線に配置され得ない。
【0064】
動作エリアを増加させる上記の方法に加えて、マーカーストリップを加えることによって、動作エリアをほとんど無制限にスケーリングすることが可能になる。この場合、基本パターンの組み合わせは、個々のマーカーの組み合わせの代わりに、全体のトレースイメージに追加される。したがって、本システムは、フレームの所定の基本パターンの存在を検出し、次に、相互に対するパターンの配置を決定する。これは、追跡システムの調整中に定義される基本パターンのマップに基づいて動作エリア内の追跡システムによって、トラッカー位置の一義的決定を確実にするように、基本パターンの組み合わせを定義することを可能にする。このアプローチは、１つの部屋内に配置される単純形状の動作エリア、または複数の隣接部屋にわたって分配され得る複雑な形状の動作エリアのいずれかを配列するために使用され得る。
【0065】
したがって、本発明の利点の１つは、新しいマーカーストリップを加えることによって、追跡エリアのスケーリングと、係るスケーリング後の追跡エリアの自動調整とを高速及び容易に行えることである。アウトサイドイン光学的追跡システムでは、マーカーは移動可能オブジェクト上に位置し、追加カメラは、通常、複雑及び高価な方法で追跡エリアを拡大するために使用されるはずである。本発明では、マーカーストリップのコストは安価であり、その設置の作業内容は無視できる。
【0066】
スクリーンまたはゲームプレイに応じて、マーカーストリップは、建物の床、壁、または天井に配置され得る。また、マーカーストリップが壁及び天井、または床及び壁に配置されるとき、オプションの組み合わせは可能である。本発明の固定の実施形態では、マーカーは、床、壁、または天井に内蔵され得る。展示サンプル等の本発明の輸送可能な実施形態では、マーカーは展示設置セットの一部であるユニット式分解可能床に内蔵され得る。円柱、梁、カンチレバー、及び他の支持構造にマーカーストリップの設置オプションは、分解可能の構造及び移動可能な構造を含む。
【0067】
代替として、本発明の固定の実施形態及び移動可能な実施形態の両方では、マーカーストリップは、動作位置にあるとき相互に係合する弾性ユニット式フロアマット（パズル式フロアマット、図３参照）を使用して配列され得、したがって、動作エリアを配列する幾何学的精度、その形状及び寸法の安定性を確実にし、ひいては、ＶＲ／ＡＲシステム１の設定及び調整を容易にする。マーカーは、フロアマットの所定の点に搭載され得る。所定の点はマーカーを受ける対応する形状の開口であり得る一方、未使用の開口はフロアマット自体と同じ材料から作られたプラグで閉鎖され得る。集中型電源を使用するとき、供給線はフロアマットの下に配置され得る。電源ワイヤは平坦なストリップ形状であり得、その設計はフロアマットの動作面で不規則であるため、その外観が損なわれる。図３に示されるマーカーストリップ及びユニット式フロアマットの連係も可能である。
【0068】
アマチュア的使用に関して、高速な設置及び容易な適用は重要要素であり、床ベースオプションは好ましくあり得、したがって、ユーザは、マーカーストリップを床に設置し、そのマーカーストリップをほぼ長方形状に配列し、そのマーカーストリップを１つ以上の電源に接続することが可能であるだろう（図６）。係るシステムの設置は、通常、数分以内に行われる。
【0069】
商業用使用と同様に、具体的には、ＶＲパークに関して、ユーザの手に届かない所にマーカーストリップを配置することは重要であり、従って、そのアクションは、較正中に定義されるように及び／またはシステム設定パラメータによって規定されるように、動作エリアの特性を変え得ない。さらに、商業用ＶＲ／ＡＲシステムは、多くの場合、マルチユーザシステムであり、したがって、マーカーストリップの配置を選ぶとき、動作エリア内のそのマーカーの移動中に、ユーザによってマーカーが隠れる可能性を考慮することに好都合である。この場合、マーカーストリップを壁または天井（図７参照、天井は図示されない）に設置するオプションは好ましくあり得る。マーカーストリップが天井に配置される場合、動作エリアサイズは、マーカーストリップによって外形が描かれる幾何学的図形の寸法よりも実質的に大きくなり得ることに留意されたい。しかしながら、この場合、床に位置する少量の追加のマーカーは、マーカーストリップに対する床位置の決定に必要であり得る。代替として、追加の較正手順の使用は、例えば、較正中に１つ以上のトラッカーを床に位置付けることによって必要であり得る。
【0070】
固定の光学的追跡エリアの定義中（すなわち、較正が必要ないとき）及び移動可能オブジェクトの追跡中の基本パターンを検出する原理は、例示の基礎としてＶＲ／ＡＲシステムを使用して下記に説明され、実施態様の変形の概説が説明される。
【0071】
追跡エリアは空間エリアであり、空間エリアでは、移動可能オブジェクトの追跡が行われる。本発明に従って、ＶＲ／ＡＲシステムでは、追跡された移動可能オブジェクトは、ユーザ、またはトラッカーを身に付けるユーザの身体部分（例えば、ユーザの頭、腕、または足）であり得る。追跡された移動可能オブジェクトは、また、ユーザによって保持される（例えば、ユーザの手によって把持される）ものであり得る。しかしながら、追跡された移動可能オブジェクトは、また、ロボットシステム、積み込み装置、またはインサイト物流システムの車両の端点等のいずれかの他の移動可能オブジェクトであり得る。
【0072】
移動可能オブジェクトの追跡は、追跡エリア内で行われる。追跡エリアを自動的に定義するために、追跡エリアを動作面（通常、水平面）への投影は、様々な方式で作られ得る部分（すなわち、セル）に分割される。例えば、動作面は、床面または天井面であり得る。直角座標系を使用する場合、正方形のセルが好ましい。セルサイズは、ＶＲ／ＡＲシステムの工学的実施態様（すなわち、追跡エリアの最小サイズ及び最大サイズ、追跡を維持する精度、マーカー種類、マーカーによって形成された基本パターンの種類及びサイズ等）に基づいて定義される。具体的には、既製のパズルフロアマット（図５）を使用する場合、セルサイズは、パズルピースサイズ（例えば、６０×６０ｃｍ）に等しくなり得る。この場合、（図３に示されるように）３つのマーカーを有する１．５メートルの長さのマーカーストリップは３つのセルの内部に位置する一方、マーカーは、基本パターンの配向（図８）に応じて、相互に対して平面に異なって位置付けられ得る。図８の基本パターンの配向は、暫定的に、マーカーストリップに矢印によって示される。マーカーストリップの長さは１．５メートルよりも長いまたは短い長さであり得、マーカーストリップはより多い数のセルまたはより少ない数のセルの内部に設置され得ることを理解されたい。例えば、基本パターンに対応するマーカーストリップは２つのセルの内部に設置され得るため、マーカー設置の密集度は増加し得る。
【0073】
したがって、表面はセルに分割され、各セルはセル自体の座標を有する。セル座標は、例えば、デカルト座標または極座標を使用して、様々な方法で定義され得る。本発明の例示的な実施形態では、セルは所定の方式で番号付けされ、各セルの座標はその番号によって明確に定義される。セルの番号付けの例は図９に示される。係る座標格子の各基本パターンの位置は、基本パターンの中心を含むセルの番号によって及び基本パターンの方向によって定義される。暫定的な基本パターンの中心は、図１０の円でマークされ、矢印は暫定的な基本パターン方向を示す。図１０に示されるように、基本パターン方向は数字指示子（コード）を有し得る。四角形の追跡エリアの光学的パターンの場所の例は、図１１に示される。追跡エリアは、四角形と異なる形状を有し得ることを理解されたい。
【0074】
基本パターンは、まとめて、固有の組み合わせ（以下、「群」と呼ぶ）を形成する。ＶＲ／ＡＲシステムでは、空間内のトラッカーの位置及び配向は、星空を使用する軍艦航海、空中航法、または地文航法等の「群」を使用して定義される。言い換えれば、追跡エリア内のトラッカーの光学センサから取得されたイメージの基本パターンの固有の組み合わせの検出に応じて、ＶＲ／ＡＲシステムは、トラッカーの位置及び配向を明確に決定することが可能である。このような理由で、ＶＲ／ＡＲシステムの追跡動作の開始前に、光学的追跡エリアを調整するステップにおける「群」の検出及び登録のタスクは重要である。
【0075】
固有ではないそれらのパターンの組み合わせは、「群」の登録のアルゴリズムによって破棄される。固有の基本パターン及び非固有の基本パターンの組み合わせの例は、図１２Ａ及び図１２Ｂに示される。図１２Ａのパターンの組み合わせは固有である一方、図１２Ｂのパターンの組み合わせは固有ではなく、それは、中心対称であり、イメージの中心に対して１８０°だけそのイメージを回転させることで、最初のイメージと技術的に区別できない同一のイメージを生じさせるようになる。したがって、図１２Ｂの基本パターンの組み合わせは、トラッカー及び関連の移動オブジェクトの位置及び配向を決定するために使用されない。
【0076】
概して、追跡エリアのサイズは、トラッカーの対象エリアを越え得ることを理解されたい。これは、トラッカーが追跡エリアの一部のイメージを取得するが、追跡エリア全体を取得し得ないことを意味する。トラッカーの対象エリアは、瞬間毎のその位置及び配向によって決まる。以下に、トラッカー対象エリアは、追跡ウィンドウと呼ばれ得る。トラッカーの位置及び配向を決定するために、光学センサのデータに基づいて、追跡ウィンドウ内の少なくとも１つの「群」を有する必要がある。
【0077】
「群」を登録するためのアルゴリズムのステップの順序は下記に説明され、そのアルゴリズムは、追跡エリアの調整中に行われ、具体的には、設定を切り替えた後に、設定をリブートもしくは変更した後に、または動作シナリオを変更した後に行われる。アルゴリズムは、追跡エリア内に見つけられる全ての「群」の登録を含むテーブルをもたらす。各登録は、「群」の識別子（ＩＤ）と、「群」を構成する基本パターンの識別子とを含む。本発明の例示的な実施形態では、「群」ＩＤは「群」の各基本パターンの座標を含む。座標は、基本パターンの中心が位置するセルの番号と、回転コードによって表される基本パターンの方向とによって表される。基本パターンの識別子は、エリアレイアウトの構成中に、追跡エリアの構成ファイルに定義される連番によって表される。「群」ＩＤ構造は、上述の構造と異なり得ることを理解されたい。
【0078】
【0079】
ステップＳ１では、追跡システムの動作中に使用される追跡エリアを定義する。追跡エリアを定義することで、そのレイアウトを構成することによって、または追跡システムメモリから敏速に構成を読み取ることによって行われ得る。追跡エリアのレイアウト構成の概念は、以前に出願された特許出願ＰＣＴ／ＩＢ２０１７／０５８０６８号及び米国特許出願公開第１５８４４９６７号明細書に説明され、これらは同じ出願人によって所有され、全体として参照することによって本明細書に組み込まれる。
【0080】
ステップＳ２では、追跡ウィンドウのサイズは、追跡エリアをセルに分割することを考慮して、光学センサの技術的特性（対象角度、解像度等）、追跡システムの処理速度、及び「群」の許容可能な最大の複雑性（すなわち、１つの「群」を構成する基本パターン許容可能な最大数）に基づいて選択される。
【0081】
本発明の例示的な実施形態では、追跡ウィンドウは４×４のセルの四角形に等しい（追跡ウィンドウは図９の太線によって示される）。基本パターンの中心の場所の４×４＝１６バージョン（４ビットが必要）と、９０°のピッチがある回転角の４バージョン（２ビットが必要）とを有することが可能である。「群」の最大の複雑性が８つの基本パターンに限定される場合、「群」ＩＤの長さ＝８×（４＋２）＝４８ビットである。
【0082】
本発明の例示的な実施形態の４×４のセルのサイズが、分かりやすくし良く理解するために選択されたことを理解されたい。実際の実施態様では、追跡ウィンドウサイズは、追跡エリアの物理サイズ、ＶＲ／ＡＲシステムの目的、ユーザ数等によって決まる。例えば、追跡ウィンドウサイズは６×６セルまたは１０×１０セルであり得る。この場合、「群」ＩＤの長さは同様に大きくなる。
【0083】
具体的には、６×６セルの四角形になるように追跡ウィンドウサイズを選択する場合、基本パターンの中心の場所の６×６＝３６バージョン（６ビットが必要）と、９０°のピッチがある回転角の４バージョン（２ビットが必要）とを有することが可能である。「群」の最大の複雑性が１６個の基本パターンに限定される場合、「群」ＩＤの長さ＝１６×（６＋２）＝１２８ビットである。
【0084】
最大の「群」の複雑性を減少させ、追跡ウィンドウサイズを減らすことで、高速データ処理を可能にし、ひいては、ユーザのアクションに対するＶＲ／ＡＲシステムの全体的な応答遅延を減らす。しかしながら、最大の「群」の複雑性を増加させることで、特に、マーカーがマルチユーザＶＲ／ＡＲシステムのユーザによって遮断されるとき、追跡の信頼性を改善することを可能にする。したがって、追跡ウィンドウサイズの選択及び最大の「群」の複雑性はトレードオフプロセスであり、ＶＲ／ＡＲシステムの全てのパラメータが考慮される。
【0085】
さらに、追跡ウィンドウは最初の位置に設置される。本発明の例示的な実施形態では、最初の位置は追跡エリアの左下角部である。最初の位置はいずれかの他の適切な位置であり得ることを理解されたい。
【0086】
ステップＳ３では、追跡ウィンドウ内に全体的に位置する全ての基本パターンを決定する。
【0087】
ステップＳ４では、追跡ウィンドウ内に位置する基本パターンを含む「群」候補のＩＤを形成する。
【0088】
（下記に詳細に説明される）追跡アルゴリズムの動作中、光学センサからのイメージが追跡ウィンドウ内に位置するすべての基本パターンを含まない状況が発生する可能性がある。これは、ユーザの手もしくはゲーム機によって、またはマルチユーザＶＲ／ＡＲシステムの他のユーザによって、マーカーを遮断することによって生じ得る（図１４）。具体的には、４つの基本パターンが追跡ウィンドウ内に位置する場合、それらの３つまたは２つのパターンだけが、光学センサからイメージにおいて検出され得る。したがって、一般的にＮ個の基本パターンを含む「群」候補ＩＤごとに、すべての子の「群」候補のＩＤはＮ－１，Ｎ－２，Ｎ－３，．．．個の基本パターンを含む子のそれぞれのいずれかを形成する。
【0089】
固有の基本パターンの組み合わせだけが最後のテーブルの「群」に含まれることになる。基本パターンの組み合わせが固有ではない場合、トラッカーと、トラッカーに関連付けられる移動可能オブジェクトとの位置及び配向の決定において使用できない。
【0090】
したがって、ステップＳ５では、「群」候補は、その固有性について検証する。テーブルに同一の「群」候補ＩＤが含まれる場合、この「群」候補ＩＤ及び「群」候補ＩＤの子は非固有として分類される。
【0091】
いったん現在の追跡ウィンドウの「群」候補ＩＤを形成すると、それは、ステップＳ６で「群」テーブルに登録される。
【0092】
さらに、ステップＳ７では、追跡ウィンドウは所定の角度だけ回転し、ステップＳ８では、回転された追跡ウィンドウに対して、ステップＳ２～Ｓ６を繰り返す。様々な点から見える全ての「群」候補が固有であるかどうかを検証するために、回転が要求される。本発明の例示的な実施形態では、回転について、９０°だけ反時計回りで回転する。時計回りに及び／または他の角度を利用して、回転が行われ得ることを理解されたい。ステップＳ９では、追跡エリアが回転前の位置に戻るまで、回転及びステップＳ７，Ｓ８を数回行う。具体的には、ステップＳ７，Ｓ８では、９０°の回転を４回行う必要がある。
【0093】
アルゴリズムのさらなる動作中、ステップＳ１０では、追跡ウィンドウは、追跡エリア全体にわたってシフトされ、ステップＳ１１では、追跡ウィンドウ内に全体的に位置する「群」候補のＩＤは、ステップＳ２～Ｓ９について説明したように、追跡ウィンドウの位置ごとに形成される。本発明の例示的な実施形態では、シフトは、２つのセルだけシフトする。シフトピッチは異なり得る、例えば、シフトピッチは１つのセルまたは３つのセルに等しくなり得ることを理解されたい。本発明のいくつかの実施形態では、シフトは、垂直方向及び水平方向に異なるピッチをもたらし得る。例えば、垂直シフトピッチは１つのセルに等しくなり得る一方、水平シフトピッチは２つのセルに等しくなり得、逆の場合も同様である。
【0094】
さらに、ステップＳ１２では、追跡エリア対象範囲は検証され、追跡エリア全体が上述のアルゴリズムの動作中に対象に含まれる場合、ステップＳ１３では、全ての非固有の「群」候補ＩＤは「群」テーブルから削除される。ここでは、「群」テーブルの形成を終了し、「群」登録アルゴリズムは停止する。
【0095】
追跡システムが動作を開始する前の追跡エリアの自動調整の問題は上述のように解決される。トラッカーに物理的に関連付けられる移動可能オブジェクトは、自動調整の結果を使用して、追跡システムのさらなる動作中に追跡される。
【0096】
移動可能オブジェクトを追跡するプロセスでは、追跡アルゴリズムを行い、追跡アルゴリズムのブロック図は図１５に示される。
【0097】
ステップＳ２１では、イメージはトラッカーの光学センサから読み取られ、イメージの前処理を行う。図２０を参照して下記に、前処理のアルゴリズムを詳細に説明する。
【0098】
ステップＳ２２では、光学センサからイメージ内に存在し、追跡ウィンドウ内に全体的に位置するすべての基本パターンを検出する。図２１を参照して下記に、基本パターンを検出するアルゴリズムを詳細に説明する。
【0099】
ステップＳ２３では、「群」ＩＤは、追跡ウィンドウ内で検出された「群」のために形成される。「群」ＩＤのフォーマットは同一であり、そのフォーマットの方法は、「群」の登録アルゴリズムについて説明した方法と同様である。
【0100】
ステップＳ２４では、形成された「群」ＩＤは、ＶＲ／ＡＲシステムの追跡エリアの調整中に、「群」テーブルに登録された基本パターンの固有の組み合わせの対応するものに対して検証される。
【0101】
ステップＳ２５では、「群」テーブルから識別された「群」に基づいて、空間のトラッカーの位置及び配向を決定する。外側の基準点を使用するオブジェクトの位置及び配向の決定方法（具体的には、星図を使用するナビゲーションの方法）は、当業者によく知られているため、ここでは、その説明を簡略するために省略する。
【0102】
さらに、新しいイメージを光学センサから受信すると、ステップＳ２１～Ｓ２５を繰り返す。
【0103】
追跡システムは、少なくとも１つの「群」を検出して、トラッカーの位置及び配向を決定し、移動オブジェクトを追跡することを開始する必要があることに留意されたい。さらなる追跡プロセス中に、追跡システムが、光学センサから次のイメージの１つ以上の「群」を検出することが不可能であるとき（例えば、トラッカーに関連付けられるユーザによって、もしくはマルチユーザＶＲ／ＡＲシステムのいずれかの他のユーザによって、マーカーを遮断することに起因して、または、ある瞬間における追跡エリア内のユーザの不便な位置に起因して検出できないとき）、その追跡プロセスにより、追跡システムの機能不全を生じさせない。その理由として、本システムは、慣性追跡を使用して、すなわち、新しいイメージを光学センサから取得することと、光学的追跡を継続または再始動することとに十分な期間に慣性センサから取得されたデータに基づいて、トラッカーの位置及び配向の決定を維持することが可能である。
【0104】
さらに、本発明のいくつかの実施形態では、「群」に基づくだけではなく、検出された個々の基本パターンにも基づいてまたはさらに個々のマーカーにも基づいて、光学的追跡の継続が可能である。例えば、本システムがしばらくの期間、慣性追跡だけによって、トラッカーの位置及び配向を決定することが可能であるとき、本システムは、追跡エリアの設定情報に基づいて、個々のマーカーの公称位置（すなわち、マーカーが見つけられ得る可能性が最も高い空間内の点またはエリア）を決定することが可能であり得る。この場合、個々のマーカーだけを検出することと、その実際位置をその公称位置と比較することとによって、追跡は継続し得る。明らかに、この種類の追跡の信頼性はより少なくなり得る。しかしながら、しばらくの期間の使用により、全ての「群」を含むイメージを光学センサから獲得するのに十分であり、かなり利点をもたらし得る。
【0105】
本発明の追跡システムのこれらの特性は、追跡の精度及び信頼性を増加させることを可能にし、動作のマルチユーザモードを含む。
【0106】
本発明の例示的な実施形態では、データを光学センサから獲得する速度は約６０フレーム／秒であり、データを慣性センサから獲得する速度は約２０００サンプル／秒である。本発明の他の実施形態では、データを光学センサから獲得する速度は、最大で約４００フレーム／秒まで増加し得る。説明した問題を解決するための光学的追跡手段及び慣性追跡手段の技術的解決策及びそれらの相互作用の方法は、以前に出願された特許出願ＰＣＴ／ＩＢ２０１７／０５８０６８号及び米国特許出願公開第１５８４４９６７号明細書に説明され、両方の特許文献は同じ出願人によって所有され、これらの両方は、全体として参照することによって本明細書に組み込まれる。
【0107】
さらに、図２０のブロック図を参照して、イメージを読み取る及び前処理するアルゴリズムを説明する。
【0108】
Ｓ３１では、イメージを光学センサから読み取ることを行う。光学センサから取得されたイメージの例は、図１６に示される。同じ基本パターンの発光体を接続する線は、暫定的に、破線によって示される。
【0109】
ステップＳ３２では、幾何学的歪みの補正を行う。歪みは、トラッカーの光学センサの光及び寸法のずれによって生じる。幾何学的歪みの補正後のイメージの例は、図１７に示される。
【0110】
ステップＳ３３では、補正後のイメージは動作面上に投影される。この投影は、トラッカーの座標系の各マーカー（すなわち、幾何学的光線）に向かう方向に基づいて行われ、そのデータは検出されたマーカーを含み、その投影は、既知の「上向き」方向に基づいて、１つ以上の慣性センサのデータを使用して決定される。この方向は、極座標を使用して決定され得る。あるマーカーに向かう光線を決定する方法は、以前に出願された特許出願ＰＣＴ／ＩＢ２０１７／０５８０６８号及び米国特許出願公開第１５８４４９６７号明細書に説明され、両方の特許文献は同じ出願人によって所有され、これらの両方は、全体として参照することによって本明細書に組み込まれる。本発明のいくつかの実施形態では、具体的には、マーカーが既に動作面上に位置する場合（例えば、その平面が動作面と見なされる床に位置する場合）、動作面上へのイメージの投影はスキップし得る。
【0111】
本発明の例示的な実施形態では、「上向き」方向は、加速度計データに基づいて決定される。別の慣性センサデータ（例えば、ジャイロスコープ）のデータに基づいて、方向を決定し得ることを理解されたい。また、同質または異質の慣性センサ（例えば、加速度計及びジャイロスコープ）のグループのデータに基づいて、方向を決定し得る。慣性センサデータによって必要な方向の決定方法は、当業者によく知られているため、その説明を簡略するために省略する。さらに、他のセンサ（例えば、電場のセンサまたは磁場のセンサ）のデータに基づいて、「上向き」方向を決定し得る。
【0112】
平面に投影されたイメージは、「上向き」方向が垂線（すなわち、垂直）になる平面上（すなわち、水平面上）に光学センサから取得されたイメージの投影である。本発明の例示的な実施形態では、水平面は、ＶＲ／ＡＲシステムが配置される部屋の床面である。マーカーストリップが床に位置する場合、この解決策は最適である。マーカーストリップが天井に位置する場合、水平面は追跡エリア内にある別の平面（例えば、天井面）であり得ることを理解されたい。平行面上に投影されるイメージは、数学的類似性がある方式に関連し、その情報価値は実質的に同じである。
【0113】
ステップＳ３４では、イメージを正規化し、すなわち、グリッドは、上記に説明したように、セルへの追跡エリアの分割に対応するイメージに重ね合わせられ、それにより、基本的な線状パターンのそれぞれの方向がグリッド軸の１つに実質的に平行になる。基本的な線状パターンのそれぞれの中心はセルの中心に実質的に設置されるように、イメージはまた並進する。正規化された追跡ウィンドウイメージの例は図１８に示される。グリッドに対する基本パターンの場所は図１９に示される。そのように画像を処理する方法は当業者によく知られているため、その説明を簡略するために省略する。
【0114】
ステップＳ３５では、追跡ウィンドウはイメージ内に割り当てられ、そのサイズ及び位置は、追跡エリアの調整中に行われたアルゴリズムのステップＳ１について説明したものと同じである。
【0115】
さらに、図２１のブロック図を参照して、基本的な光学的パターンの検出のアルゴリズムを説明する。
【0116】
ステップＳ４１では、マーカーに推定上対応する３点は、追跡ウィンドウ内で任意に選択される。
【0117】
ステップＳ４２では、選択された３点のうち２つの基準点を決定する。基準点は、例えば、最遠位点であり得る。別の例では、基準点は最近位点であり得る。
【0118】
ステップＳ４３では、基準点に関して、第３の点の公称位置は、３点のグループが基本パターンに対応するように決定される。
【0119】
ステップＳ４４では、第３の点の実際位置と、第３の点の公称位置とのずれ値δを決定する。図２２は、２つの最遠位点の間に位置する第３の点の公称位置及び実際位置の例を示す。
【0120】
ステップＳ４５では、ずれ値δを確認する。このずれが所定の閾値εを超えない場合、ステップＳ４６では、３点のグループは、基本パターン候補としてリスト化される。ずれが所定の閾値εを超える場合、ステップＳ４７では、３点のグループは、さらなる考察から破棄される（すなわち、除外される）。
【0121】
ステップＳ４８では、３点の全ての組み合わせがステップＳ４１～Ｓ４７で処理されているかの検証を行う。
【0122】
追跡ウィンドウで見られる３点の全ての組み合わせの処理の完了後に、ステップＳ４９では、基本パターン候補のリストをソートする。基本パターン候補の品質のインジケータとして使用される値δに基づいて、ソーティングを行う。
【0123】
さらに、ステップＳ５０では、最小値δを有する基本パターン候補を選択し、ステップＳ５１では、基本パターン候補が有効な基本パターンで既に使用されたいずれかの点を含むかの検証を行う。基本パターン候補の１つの点が使用されるものとして分類されない場合、ステップＳ５２では、この基本パターン候補は有効な基本パターンのリストに移送される。基本パターン候補の少なくとも１つの点が使用されるものとして分類される場合、ステップＳ５３では、この基本パターン候補は、さらなる考察から破棄される（すなわち、除外される）。移送された基本パターンの全ての点は使用されるものとして分類される。
【0124】
さらに、ステップＳ５４では、基本パターン候補のリストに残っている基本パターン候補に対して、ステップＳ５０～Ｓ５３を繰り返す。
【0125】
基本的な光学的パターンの検出の上述のアルゴリズムは、別の数の点（例えば、４点または５点）から成る基本的な光学的パターンに対して行われ得ることを理解されたい。アルゴリズムは、複数の基本的な光学的パターンの点を３点から成るサブセットに分割し、上記に説明したような処理を行い、次に、処理産物を組み合わせることが可能であり得る。代替として、アルゴリズムは、複数の点の全部を処理し、ずれ値δ１，δ２等を決定することが可能であり得る。
【0126】
上記に説明したように、基本的な光学的パターンの検出のアルゴリズムは、「群」の登録のアルゴリズム及び追跡アルゴリズムでさらに使用される有効な基本パターンのリストを生じさせる。
【0127】
本発明の例示的な実施形態では、基本的な光学的パターン検出のアルゴリズムのステップＳ４１～Ｓ５４は、直線の３点の基本パターンに関して説明される。本発明の他の実施形態では、基本パターンの点の数は３点と異なり得、例えば、４点または５点であり得ることを理解されたい。さらに、基本パターンの形状は直線と異なり得、すなわち、基本パターンの点は、一直線にならないように位置付けられ得るが、それは、所定の幾何学的図形を形成し得る。
【0128】
本発明の上述の実施形態では、線状基本パターンのそれぞれの方向は、グリッド軸の１つに実質的に平行に選ばれる。しかしながら、本発明の他の実施形態では、線状基本パターンは、例えば、図２３に示されるように切り込みを入れられ、異なるように位置し得る。この種類の線状基本パターンのレイアウトは、基本的な光学的パターンの検出のアルゴリズムが、１つの線状パターンのアクティブマーカーを、別の（隣接する）線状パターンのアクティブマーカーとして誤って検討する状況を回避することを可能にする。
【0129】
ステップＳ２１～Ｓ２５及びＳ４１～Ｓ５４に対応するプロセスのそれぞれは、独立して、各トラッカーのデータに対して行われ、すなわち、これらのプロセスはマルチストリームプロセスであり、ストリームの数は、ＶＲ／ＡＲシステムのトラッカーの数以上であることに留意されたい。
【0130】
上記の説明は、本発明の目的を達成するために最も重要であるそれらのアクションを含むことに留意されたい。また、他のアクションが、本システムの動作（例えば、機器を接続すること、その初期化、適切なソフトウェアの起動、命令及び肯定応答の伝送及び受信、制御データの交換、同期化等）を確実にするように行われるべきであることは、当業者に明らかであり、本明細書では、その説明を簡略するために省略する。
【0131】
上記の説明は、本発明の目的を達成するために最も重要であるそれらのデバイスの構成要素を含むことに留意されたい。そのデバイスが、ＶＲ／ＡＲシステムの動作を確実にするように、他の部分または複数の部を含む必要があるまたは含み得ることは当業者に明らかであり、本明細書では、その説明を簡潔にするために省略する。
【0132】
「発明を実施するための形態」に言及され及び図面に示される、デバイス及びその構成部品、方法及びそのステップは、それらが数字指示子を参照して言及されるとき、本発明の１つ以上の特定の実施形態に関し、または、それらが数字指示子を参照しないで言及されるとき、本発明の全ての適用可能な実施形態に関する。
【0133】
「発明を実施するための形態」、図面、及び「特許請求の範囲」に言及されるデバイス及びその一部は、ハードウェア／ソフトウェア手段の組み合わせを構成し、いくつかのデバイスのハードウェアは、別に明示的に記述されない場合、異なり得る、または他のデバイスのハードウェアと部分的にもしくは完全に一致し得る。いくつかのデバイスのハードウェアは、別に明示的に記述されない場合、他のデバイスの異なる部分に位置し得る。ソフトウェアコンテンツは、記憶デバイスに含まれるコンピュータコードの形式で実装され得る。
【0134】
本明細書に提供された方法の説明における一連のステップは例示的であり、それは、機能を維持し結果を達成する限り、本発明のいくつかの実施形態で異なり得る。
【0135】
本発明の部品／構成要素及び特徴は、それらが相互に矛盾しない場合、本発明の異なる実施形態で組み合わせられ得る。上記に説明した本発明の実施形態は、例示だけとして提供され、それらの実施形態は、「特許請求の範囲」に定義される本発明を限定することを意図しない。本発明の主旨に対応する設計、構成、及び動作モードにおける全て及びいずれかの合理的な修正、改変、及び均等物の交換は、本発明の範囲内に含まれる。
【0136】
上記の説明は、仮想現実システムまたは拡張現実システムの移動可能オブジェクトの追跡中に光学的パターンを検出するための方法及び／またはシステムの使用に関する一方、本方法及び／または本システムは、移動可能オブジェクトの決定位置及び／または配向及び／または運動パラメータの問題を解決するためのいずれかの他の業界において十分に適用可能であることに留意されたい。
【0137】
具体的には、上述の工学的解決策は、工場物流システム、倉庫物流システム、または店舗物流システムにおける貨物及び作業者をトレースするために、教育システムまたはトレーニングシステムの参加者の動きをトレースするために、ロボットシステムの端点の位置及び配向を決定するために、航空機を含む有人操作型移動可能オブジェクトまたは無人移動可能オブジェクトを扱うために、現在存在しているもの及び可能性として今後発表されるものを含む移動可能オブジェクトの追跡に関連する他のシステムの様々なタスクを達成するために使用され、利点をもたらし得る。
【0138】
このように、好ましい実施形態を説明してきたが、説明される方法及びシステムの特定の利点が達成されていることは当業者に明らかなはずである。
【0139】
また、様々な修正、適応、及びその代替の実施形態は、本発明の範囲及び主旨の中でなされ得ることを認識されたい。本発明は、さらに、以下の「特許請求の範囲」によって定義される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【国際調査報告】