知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
特許7499860発光ダイオード（ＬＥＤ）アレイのイベント駆動型センサ（ＥＤＳ）による追跡
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-06
(45)【発行日】2024-06-14
(54)【発明の名称】発光ダイオード（ＬＥＤ）アレイのイベント駆動型センサ（ＥＤＳ）による追跡
(51)【国際特許分類】
G06T 7/70 20170101AFI20240607BHJP
G06T 7/593 20170101ALI20240607BHJP
【ＦＩ】
G06T7/70 Z
G06T7/593
【請求項の数】
23
(21)【出願番号】P 2022540979
(86)(22)【出願日】2021-01-08
(65)【公表番号】
(43)【公表日】2023-03-08
(86)【国際出願番号】 US2021012760
(87)【国際公開番号】W WO2021146117
(87)【国際公開日】2021-07-22
【審査請求日】2022-07-01
【審判番号】
【審判請求日】2023-10-11
(31)【優先権主張番号】16/741,051
(32)【優先日】2020-01-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】バシキーロフ、セルゲイ
【合議体】
【審判長】畑中 高行
【審判官】片岡 利延
【審判官】高橋 宣博
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０３５５１６９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０１４７０８８（ＵＳ，Ａ１）
【文献】特開２０１４－０８６１４９（ＪＰ，Ａ）
【文献】特開２０１１－２４４９４０（ＪＰ，Ａ）
【文献】特開２００８－０７０３４３（ＪＰ，Ａ）
【文献】Ａｎｄｒｅａ Ｃｅｎｓｉ ｅｔ ａｌ．， ”Ｌｏｗ－ｌａｔｅｎｃｙ ｌｏｃａｌｉｚａｔｉｏｎ ｂｙ Ａｃｔｉｖｅ ＬＥＤ Ｍａｒｋｅｒｓ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ａ Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ”，２０１３ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，米国，ＩＥＥＥ，２０１３年１１月０３日，ｐｐ．８９１－８９８
【文献】子安 大士、外４名，“サブピクセル推定を用いた全方位ステレオ視による高精度な６自由度ＳＬＡＭ”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００９年０６月１１日，Ｖｏｌ．１０９， Ｎｏ．８８， ｐｐ．１９－２４
【文献】鳥居 秋彦、外２名，“多視点３次元復元の研究動向”，情報処理学会研究報告，日本，一般社団法人情報処理学会，２０１１年０４月１５日，Ｖｏｌ．２０１１－ＣＶＩＭ－１７６， Ｎｏ．１， ｐｐ．１－２２
【文献】友納正裕，“エッジ点追跡に基づくステレオカメラを用いた三次元ＳＬＡＭ”，第２６回日本ロボット学会学術講演会予稿集，日本，（社）日本ロボット学会，２００８年０９月０９日，ｐｐ．１０９１－１０９４
【文献】加藤 喬、外３名，“放送用ＡＲソフト「ＱＵＵ」の開発”，放送技術，Ｖｏｌ．６７， Ｎｏ．１１，日本，西村 瓊江、兼六館出版株式会社，２０１４年１１月０１日，ｐｐ．１２８－１３３
【文献】Ｔｏｍ Ｂｏｔｔｅｒｉｌｌ ｅｔ ａｌ．， ”Ｒｅｆｉｎｉｎｇ ｅｓｓｅｎｔｉａｌ ｍａｔｒｉｘ ｅｓｔｉｍａｔｅｓ ｆｒｏｍ ＲＡＮＳＡＣ”，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｎｅｗ Ｚｅａｌａｎｄ，ＮＺ，Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｎｅｗ Ｚｅａｌａｎｄ，２０１１年１２月０１日，ｐｐ．１－６，ｈｔｔｐ：／／ｗｗｗ．ｈｉｌａｎｄｔｏｍ．ｃｏｍ／ｔｏｍｂｏｔｔｅｒｉｌｌ／
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G01B 11/00-11/30
G01S 5/16,17/66
G06T 1/00,7/00-7/90
G06V 10/00-10/98
(57)【特許請求の範囲】
【請求項1】
少なくとも１つの発光ダイオード（ＬＥＤ）アセンブリであって、前記アセンブリ内の個々のＬＥＤが一度に１つのＬＥＤを発光させるように構成された、前記少なくとも１つの発光ダイオード（ＬＥＤ）アセンブリと、ＬＥＤ放射に応答する照明強度の変化を表す信号を出力するように構成された少なくとも１つのイベント駆動型センサ（ＥＤＳ）と、
プロセッサとを含み、
前記プロセッサは、
異なるＬＥＤからの複数のイベントを使用して生成された少なくとも第１及び第２のフレームをＥＤＳから受信することと、
前記第１及び第２のフレームから基礎行列を決定することと、
前記基礎行列から基本行列を計算し、基本行列を４つの運動仮説に分解することと、
前記４つの運動仮説のうちの第１の運動仮説を、第１の運動仮説が外れ値を有さないことに基づいて、選択することと、
前記第１の運動仮説を基準として使用して新しいＬＥＤ位置を三角測量することによって、前記第１の運動仮説を使用して、ＳＬＡＭを実行することと、
によって、少なくとも部分的に、最初の三角測量及び姿勢推定を決定する命令とともに構成し、
前記基本行列からは、ＳＬＡＭを決定するために、２つの平行移動仮説と２つの回転仮説とが導き出されることを特徴とするシステム。
【請求項2】
前記基本行列はＥ＝Ｋ
Ｔ
ＦＫであり、
Ｋは固有パラメータ行列であり、Ｆは基礎行列であり、前記基本行列の特異値分解は、Ｅ：Ｕ，Ｖ＝ｓｖｄ（Ｅ）として計算され、
Ｔ １，２ ＝＋／－Ｕ ０．．２，２ （Ｕの最後の列）によって与えられる２つの平行移動仮説と、Ｒ １ ＝Ｕ＊Ｗ＊Ｖ Ｔ ，Ｒ ２ ＝Ｕ＊Ｗ Ｔ ＊Ｖ Ｔ によって与えられる２つの回転仮説と、が導き出され、
【数1】
【請求項3】
前記ＥＤＳが移動可能であり、前記ＬＥＤアセンブリが静止している、請求項１に記載のシステム。
【請求項4】
前記ＥＤＳが移動可能でなく、前記ＬＥＤアセンブリが移動可能である、請求項１に記載のシステム。
【請求項5】
前記ＥＤＳ及び前記ＬＥＤアセンブリが両方とも移動可能である、請求項１に記載のシステム。
【請求項6】
前記ＥＤＳが、第１のＥＤＳであり、前記システムが、第２のＥＤＳを含み、前記第２のＥＤＳは、前記プロセッサがステレオ同時位置決め地図作成（ＳＬＡＭ）を決定することを容易にする、請求項１に記載のシステム。
【請求項7】
前記ＥＤＳが第１のＥＤＳであり、前記プロセッサが、前記第１のＥＤＳからの情報のみを受信し、他のＥＤＳからは情報を受信せず、単眼同時位置決め地図作成（ＳＬＡＭ）を決定する、請求項１に記載のシステム。
【請求項8】
前記プロセッサが、異なるＬＥＤからの複数のイベントを使用して生成された少なくとも第１及び第２のフレームを前記ＥＤＳから受信することと、
前記第１及び第２のフレームから基礎行列を決定することと、
前記基礎行列から基本行列を計算することと、
前記基本行列を４つの運動の仮説に分解することと、
前記４つの運動仮説のうちの第１の仮説を、前記第１の仮説が外れ値を有さないことに基づいて、選択することと、
前記第１の仮説を基準として使用して新しいＬＥＤ位置を三角測量することにより、前記第１の仮説を使用してＳＬＡＭを実行することと
によって少なくとも部分的に、最初の三角測量及び姿勢推定を決定する命令とともに構成される、請求項７に記載のシステム。
【請求項9】
一度に１つずつ複数のランプに通電するステップと、前記ランプに通電するステップからのイベントをイベント駆動型センサ（ＥＤＳ）を使用して検出するステップと、
前記ＥＤＳの出力を使用して、少なくとも部分的には複数の運動仮説を生成することにより、同時位置決め情報及び地図作成（ＳＬＡＭ）情報を拡張現実（ＡＲ）環境で生成するステップと、
前記ＳＬＡＭを実行するために、初期相対姿勢表示を行うための１つ以上の運動仮説が外れ値を有さないことに基づいて、当該１つ以上の運動仮説を選択するステップと、
異なるＬＥＤからの複数のイベントを使用して生成された少なくとも第１及び第２のフレームをＥＤＳから受信するステップと、
前記第１及び第２のフレームから基礎行列を決定するステップと、
前記基礎行列から基本行列を計算し、基本行列を４つの運動仮説に分解するステップと、
前記４つの運動仮説のうちの第１の運動仮説を、第１の運動仮説が外れ値を有さないことに基づいて、選択するステップと、
前記第１の運動仮説を基準として使用して新しいＬＥＤ位置を三角測量することによって、前記第１の運動仮説を使用して、ＳＬＡＭを実行するステップと、
によって、少なくとも部分的に、最初の三角測量及び姿勢推定を決定する命令とともに構成するステップと
を含み、
前記基本行列からは、ＳＬＡＭを決定するために、２つの平行移動仮説と２つの回転仮説とが導き出される方法。
【請求項10】
前記基本行列はＥ＝Ｋ
Ｔ
ＦＫであり、
Ｋは固有パラメータ行列であり、Ｆは基礎行列であり、前記基本行列の特異値分解は、Ｅ：Ｕ，Ｖ＝ｓｖｄ（Ｅ）として計算され、
Ｔ １，２ ＝＋／－Ｕ ０．．２，２ （Ｕの最後の列）によって与えられる２つの平行移動仮説と、Ｒ １ ＝Ｕ＊Ｗ＊Ｖ Ｔ ，Ｒ ２ ＝Ｕ＊Ｗ Ｔ ＊Ｖ Ｔ によって与えられる２つの回転仮説と、が導き出され、
【数2】
【請求項11】
前記ランプを移動可能に取り付けることを含む、請求項９に記載の方法。
【請求項12】
前記ＥＤＳを移動可能に取り付けることを含む、請求項９に記載の方法。
【請求項13】
前記ＥＤＳ及び前記ランプを移動可能に取り付けることを含む、請求項９に記載の方法。
【請求項14】
前記ランプが発光ダイオード（ＬＥＤ）を含む、請求項９に記載の方法。
【請求項15】
前記ＥＤＳが第１のＥＤＳであり、前記方法が、ステレオＳＬＡＭを決定するためにＬＥＤによって生成されたイベントを検出するために第２のＥＤＳを使用することを含む、請求項９に記載の方法。
【請求項16】
前記ＥＤＳが第１のＥＤＳであり、前記方法が、単眼ＳＬＡＭを決定するために前記第１のＥＤＳからの情報のみを使用し、他のＥＤＳからの情報を使用しないことを含む、請求項９に記載の方法。
【請求項17】
異なるＬＥＤからの複数のイベントを使用して生成された少なくとも第１及び第２のフレームを前記ＥＤＳから受信することと、前記第１及び第２のフレームから基礎行列を決定することと、
前記基礎行列から基本行列を計算することと、
前記基本行列を４つの運動の仮説に分解することと、
前記４つの運動の仮説のうちの第１の仮説を、前記第１の仮説が外れ値を有さないことに基づいて、選択することと、
前記第１の仮説を基準として使用して新しいＬＥＤ位置を三角測量することにより、前記第１の仮説を使用してＳＬＡＭを実行することと
によって少なくとも部分的に、最初の三角測量と姿勢推定とを決定すること
を含む、請求項１６に記載の方法。
【請求項18】
少なくとも１つの発光ダイオード（ＬＥＤ）アセンブリであって、前記アセンブリ内の個々のＬＥＤが一度に１つのＬＥＤを発光させるように構成された、前記少なくとも１つの発光ダイオード（ＬＥＤ）アセンブリと、ＬＥＤ放射に応答する照明強度の変化を表す信号を出力するように構成された少なくとも１つのイベント駆動型センサ（ＥＤＳ）と、
少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
少なくとも１つの慣性測定装置（ＩＭＵ）からの信号を受信し、
前記ＥＤＳ及び前記ＩＭＵからの前記信号に少なくとも部分的に基づいて、物体の位置及び／または向きの情報を生成する、
ための命令とともに構成された少なくとも１つのプロセッサと
を含み、
前記プロセッサは、
異なるＬＥＤからの複数のイベントを使用して生成された少なくとも第１及び第２のフレームをＥＤＳから受信することと、
前記第１及び第２のフレームから基礎行列を決定することと、
前記基礎行列から基本行列を計算し、基本行列を４つの運動仮説に分解することと、
前記４つの運動仮説のうちの第１の運動仮説を、第１の運動仮説が外れ値を有さないことに基づいて、選択することと、
前記第１の運動仮説を基準として使用して新しいＬＥＤ位置を三角測量することによって、前記第１の運動仮説を使用して、ＳＬＡＭを実行することと、
によって、少なくとも部分的に、最初の三角測量及び姿勢推定を決定する命令とともに構成し、
前記基本行列からは、ＳＬＡＭを決定するために、２つの平行移動仮説と２つの回転仮説とが導き出され、
前記基本行列からは、ＳＬＡＭを決定するために、２つの平行移動仮説と２つの回転仮説とが導き出されるシステム。
【請求項19】
前記基本行列はＥ＝Ｋ
Ｔ
ＦＫであり、
Ｋは固有パラメータ行列であり、Ｆは基礎行列であり、前記基本行列の特異値分解は、Ｅ：Ｕ，Ｖ＝ｓｖｄ（Ｅ）として計算され、
Ｔ １，２ ＝＋／－Ｕ ０．．２，２ （Ｕの最後の列）によって与えられる２つの平行移動仮説と、Ｒ １ ＝Ｕ＊Ｗ＊Ｖ Ｔ ，Ｒ ２ ＝Ｕ＊Ｗ Ｔ ＊Ｖ Ｔ によって与えられる２つの回転仮説と、が導き出され、
【数3】
【請求項20】
少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）であって、前記ＨＭＤの着用者が前記ＨＭＤを通して少なくとも第１の実世界物体を見ることができるようにしながら、仮想現実（ＶＲ）画像を提示するように構成された、前記少なくとも１つのＨＭＤと、一度に１つずつ通電可能なランプの少なくとも１つのコンステレーションと、
前記ランプのアクティブ化によって引き起こされるイベントを表す信号を生成して、少なくとも前記ＨＭＤの姿勢及び／または前記第１の実世界物体の場所を決定するように構成された少なくとも１つのイベント駆動型センサ（ＥＤＳ）と
を含み、
前記ＥＤＳに結合され、前記ＥＤＳからの前記信号に少なくとも部分的に基づいて少なくとも前記ＨＭＤの姿勢を決定するための命令とともに構成される、少なくとも１つのプロセッサを含み、
前記プロセッサは、
異なるランプからの複数のイベントを使用して生成された少なくとも第１及び第２のフレームをＥＤＳから受信することと、
前記第１及び第２のフレームから基礎行列を決定することと、
前記基礎行列から基本行列を計算し、基本行列を４つの運動仮説に分解することと、
前記４つの運動仮説のうちの第１の運動仮説を、第１の運動仮説が外れ値を有さないことに基づいて、選択することと、
前記第１の運動仮説を基準として使用して新しいランプ位置を三角測量することによって、前記第１の運動仮説を使用して、ＳＬＡＭを実行することと、
によって、少なくとも部分的に、最初の三角測量及び姿勢推定を決定する命令とともに構成し、
前記基本行列からは、ＳＬＡＭを決定するために、２つの平行移動仮説と２つの回転仮説とが導き出され、
前記基本行列からは、ＳＬＡＭを決定するために、２つの平行移動仮説と２つの回転仮説とが導き出されるシステム。
【請求項21】
前記基本行列はＥ＝Ｋ
Ｔ
ＦＫであり、
Ｋは固有パラメータ行列であり、Ｆは基礎行列であり、前記基本行列の特異値分解は、Ｅ：Ｕ，Ｖ＝ｓｖｄ（Ｅ）として計算され、
Ｔ １，２ ＝＋／－Ｕ ０．．２，２ （Ｕの最後の列）によって与えられる２つの平行移動仮説と、Ｒ １ ＝Ｕ＊Ｗ＊Ｖ Ｔ ，Ｒ ２ ＝Ｕ＊Ｗ Ｔ ＊Ｖ Ｔ によって与えられる２つの回転仮説と、が導き出され、
【数4】
【請求項22】
前記ＥＤＳに結合され、前記ＥＤＳからの前記信号に少なくとも部分的に基づく前記第１の実世界物体の場所に関する命令とともに構成される少なくとも１つのプロセッサを含む、請求項２０に記載のシステム。
【請求項23】
前記ランプが発光ダイオードを含む、請求項２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は一般的に、コンピュータ技術に必然的に根差し、具体的な技術的改善をもたらす、技術的に独創的で非定型的なソリューションに関する。
【背景技術】
【0002】
同時位置決め地図作成（ＳＬＡＭ）マップは、自律型ロボットが部屋や建物をナビゲートするのを支援するのに役立ち得る、また、ユーザが拡張現実（ＡＲ）ヘッドマウントディスプレイ（ＨＭＤ）を装着しているときに、ユーザが部屋または建物をナビゲートするのを支援するのにも役立ち得る。例えば、ここで理解されているように、ＨＭＤ上に仮想現実（ＶＲ）画像を適切に提示するために、及びその他の理由で、ＡＲ ＨＭＤシステムは、とりわけ、ＨＭＤの姿勢、着用者の手、及びその他の実世界物体を、通常、ＳＬＡＭ原理を使用して追跡する必要がある。
【0003】
これは処理集約的であり、ＨＭＤでかなりのバッテリ電力と計算リソースを消費する。さらに、従来のＳＬＡＭ技術では、特徴点の識別が絶対的なものではないという事実を考慮する必要がある。したがって、特徴が一致しない可能性がある。そのため、追跡が失敗するのを防ぐ様々な技術が使用される。例えば、これらには、ＲＡＮＳＡＣ外れ値拒否、最適化での損失関数の使用、及びマルチステップのフレーム一致検証が含まれる。
【発明の概要】
【0004】
ここに記載されている課題に対処するために、本原理では、イベント駆動型センサ（ＥＤＳ）の原理によって動きを検出するＥＤＳ感知セルを使用する。ＥＤＳは、１つまたは複数のピクセルによって感知された光強度の変化を動きの指標として使用する。したがって、本開示と一致するＥＤＳは、光感知アレイの少なくとも１つのピクセルによって感知される光強度の変化を示す出力を提供する。例えば、ピクセルによって感知される光が減少している場合、ＥＤＳの出力は－１になってよく、増加している場合、ＥＤＳの出力は＋１になってよい。特定の閾値未満の光強度の変化は、０の出力バイナリ信号によって示されてよい。
【0005】
発光ダイオード（ＬＥＤ）をパルスすることと、ＥＤＳでパルスを検出することを組み合わせる本技術を使用すると、各ＬＥＤが正確に既知の時間にパルスを発するため、特徴点を検出するために必要な計算能力は非常に少なく、追跡が失敗しないようにする必要がなくなる。イベント時間とＬＥＤ点滅時間を比較することにより、イベントがどのＬＥＤに関連しているかを判別することが可能である。ＳＬＡＭアルゴリズムは、カルマンフィルタなどのワンステップ最適化を使用したＥＤＳの出力を使用して実行され、消費電力を削減し得る。
【0006】
ＬＥＤはアレイに配置され、一度に１つのＬＥＤを、例えば数マイクロ秒の間、短時間アクティブにする。ＥＤＳイベントの閾値は、ＬＥＤによって引き起こされた「＋」または「－」イベントのみを検出するほど十分に高い。一度にアクティブ及び非アクティブにされるＬＥＤは１つだけであり、ＥＤＳは正確なイベントタイムスタンプを提供するため、どのイベントがどのＬＥＤに対応するかを簡単に解決できる。ＬＥＤアレイは静止していてＥＤＳが動いている場合もあれば、ＥＤＳが静止していてＬＥＤアレイが動いている場合もある。
【0007】
ＥＤＳは強度の変化のみを検出するため、非常に短いパルスを使用して、一度に多数のＬＥＤを非常に高い頻度で、例えば、１秒あたり各ＬＥＤにつき１，０００を超える検出数で、追跡（及び、どのＬＥＤがどっちであるかを解決）することができる。
【0008】
移動可能なＥＤＳの実施態様の場合、ＳＬＡＭの例のようなソリューションが提供される。この場合、すべての「特徴」は別個のものであり、画像処理や特徴比較、または損失関数の実装は必要ない。移動可能なＬＥＤの実施態様については、ＨＭＤ姿勢追跡ソリューションの例が提供される。
【0009】
したがって、第１の態様では、システムは、アセンブリ内の個々の発光ダイオード（ＬＥＤ）が一度に１つのＬＥＤを発光させるように構成された少なくとも１つのＬＥＤアセンブリを含む。このシステムは、ＬＥＤ放射に応答する照明強度の変化を表す信号を出力するように構成された少なくとも１つのイベント駆動型センサ（ＥＤＳ）も含む。システムはさらに、ＥＤＳからの信号に少なくとも部分的に基づいて同時位置決め地図作成（ＳＬＡＭ）情報を生成する命令とともに構成された少なくとも１つのプロセッサを含む。
【0010】
ある実施態様では、ＥＤＳは移動可能であり、ＬＥＤアセンブリは静止している。他の実施態様では、ＥＤＳは移動できず、ＬＥＤアセンブリは移動可能である。さらに他の実施態様では、ＥＤＳ及びＬＥＤアセンブリは両方とも移動可能である。
【0011】
例示の実施形態では、ＥＤＳは第１のＥＤＳであり、システムは、プロセッサがステレオＳＬＡＭを決定するのを容易にするために第２のＥＤＳを含む。他の実施形態では、ＥＤＳは第１のＥＤＳであり、プロセッサは、単眼ＳＬＡＭを決定するために、第１のＥＤＳからの情報のみを受信し、他のＥＤＳからは情報を受信しない。後者の場合、プロセッサは、異なるＬＥＤからの複数のイベントを使用して生成された少なくとも第１及び第２のフレームをＥＤＳから受信することと、第１及び第２のフレームから基礎行列を決定することと、基礎行列から基本行列を計算し、基本行列を４つの運動仮説に分解することと、４つの運動仮説のうちの第１の運動仮説を、第１の運動仮説が外れ値を有さないことに基づいて、選択することと、第１の運動仮説を基準として使用して新しいＬＥＤ位置を三角測量することによって、第１の運動仮説を使用して、ＳＬＡＭを実行することとによって、少なくとも部分的に、最初の三角測量及び姿勢推定を決定する命令とともに構成することができる。
【0012】
別の態様では、方法は、一度に１つずつ複数のランプに通電することと、ランプに通電することからのイベントをイベント駆動型センサ（ＥＤＳ）を使用して検出することとを含む。この方法は、ＥＤＳの出力を使用して、拡張現実（ＡＲ）環境で同時位置決め地図作成（ＳＬＡＭ）情報を生成することを含む。
【0013】
別の態様では、システムは、少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）であって、ＨＭＤの着用者がＨＭＤを通して少なくとも第１の実世界物体を見ることができるようにしながら、仮想現実（ＶＲ）画像を提示するように構成された、少なくとも１つのＨＭＤを含む。このシステムはまた、個別に通電可能なランプの少なくとも１つのコンステレーションと、ランプのアクティブ化によって引き起こされるイベントを表す信号を生成して、少なくともＨＭＤの姿勢及び／または第１の実世界物体の場所を決定するように構成された少なくとも１つのイベント駆動型センサ（ＥＤＳ）とを含む。
【0014】
本願の詳細は、その構造及び動作の両方に関して、添付図面を参照して最もよく理解することができ、図面中、類似の参照番号は類似の部分を指す。
【図面の簡単な説明】
【0015】
【図1】本原理に従った例を含む例示のシステムのブロック図である。
【図2】例示の単眼ＳＬＡＭシステムのブロック図である。
【図3】例示のステレオＳＬＡＭシステムのブロック図である。
【図4】ＥＤＳが移動可能であり、ＬＥＤが静止しているシステムの概略図である。
【図5】ＥＤＳが静止しており、ＬＥＤが移動可能なシステムの概略図である。
【図6】ＥＤＳ及びＬＥＤが移動可能なシステムの概略図である。
【図7】ＬＥＤの一度に１つずつのアクティブ化を示す。
【図8】本原理に一致する例示のロジックのフローチャートである。
【図9】本原理に一致する例示の単眼ＳＬＡＭ初期化ロジックのフローチャートである。
【図10】単眼ＳＬＡＭ初期化の概略図である。
【図11】慣性測定装置（ＩＭＵ）をＥＤＳと協働して使用することによって追跡を改善する概略図である。
【発明を実施するための形態】
【0016】
本開示は一般的に、コンピュータゲームネットワーク等のコンピュータシミュレーションネットワークと、スタンドアロンコンピュータシミュレーションシステムとを含むがこれらに限定されない、家電（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のデバイス及びコンポーネントは、いわゆる「５Ｇ」を使用したネットワークで通信してよく、したがって、本明細書の１つまたは複数のトランシーバは、５Ｇトランシーバであってよい。５Ｇは、１秒あたり数百メガビットからギガビットの範囲の無線データ通信を可能にするデジタルセルラ通信技術である。以前の技術と比較して、５Ｇはデータスループットがはるかに高く、消費電力が少なく、エラーが発生しにくい。非常に大量のデータをエンドユーザデバイスからクラウドサーバに５Ｇを使用して無線で通信できるため、本原理では、コンピュータゲームの処理を含む、ローカルデバイスで現在実行されているより多くのコンピューティングを、これまで実用的であったものよりもはるかに高速で強力なクラウドサーバにオフロードできることを認識している。５Ｇは現在、国際電気通信連合のＩＭＴ－２０２０規格、及び業界標準グループ３ＧＰＰ（登録商標）によって提案された５ＧＮｅｗＲａｄｉｏ（５ＧＮＲ）で説明されている。５Ｇの態様は、米国電気電子学会（ＩＥＥＥ）１９１４シリーズにも記載されている。
【0017】
本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータが交換され得るようにネットワークを介して接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲームコンソール、またはＭｉｃｒｏｓｏｆｔもしくはＮｉｎｔｅｎｄｏもしくは他の仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセットの製造者によって作成されたゲームコンソール、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップコンピュータ及びタブレットコンピュータ等のポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加の例を含む他のモバイルデバイスを含む、１つまたは複数のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、例として、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔのオペレーティングシステム、Ｕｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅコンピュータもしくはＧｏｏｇｌｅによって製造されたオペレーティングシステムを使用してよい。これらの動作環境は、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅもしくはＭｏｚｉｌｌａによって作成されたブラウザ、または下記に説明されるインターネットサーバによってホストされるウェブサイトにアクセスできる他のブラウザプログラム等、１つまたは複数のブラウジングプログラムを実行するために使用されてよい。また、本原理に従った動作環境を使用して、１つまたは複数のコンピュータゲームプログラムを実行してよい。
【0018】
サーバ及び／またはゲートウェイは、インターネット等のネットワークを介してデータを受信及び送信するようにサーバを構成する命令を実行する１つまたは複数のプロセッサを含み得る。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを介して接続することができる。サーバまたはコントローラは、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲームコンソール、パーソナルコンピュータ等によってインスタンス化されてよい。
【0019】
クライアントとサーバとの間でネットワークを介して情報を交換してよい。この目的のために及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つまたは複数のサーバは、ネットワークメンバにオンラインソーシャルウェブサイト等のセキュアコミュニティを提供する方法を実施する装置を形成してよい。
【0020】
本明細書で使用される場合、命令は、システムにおいて情報を処理するためにコンピュータにより実施されるステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実施することができ、システムのコンポーネントにより実施される任意の種類のプログラム化されたステップを含み得る。
【0021】
プロセッサは、アドレス線、データ線、及び制御線等の各種の線、ならびにレジスタ及びシフトレジスタによってロジックを実行できる、従来の任意の汎用シングルチッププロセッサまたは汎用マルチチッププロセッサであってよい。
【0022】
本明細書のフローチャート及びユーザインタフェースによって説明されるソフトウェアモジュールは、様々なサブルーチン、手順などを含み得る。開示を制限することなく、特定のモジュールによって実行されると述べられたロジックは、他のソフトウェアモジュールに再配布することができる、及び／または単一のモジュールに一緒に組み合わせることができる、及び／または共有可能なライブラリで利用可能にすることができる。
【0023】
本明細書に記載された本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装することができる。したがって、説明のためのコンポーネント、ブロック、モジュール、回路、及びステップが、それらの機能の観点から記載されている。
【0024】
さらに上記で示したものに加えて、下記に説明される論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ）等の他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、または本明細書に説明される機能を行うように設計されたそれらのいずれかの組み合わせによって実装または実行することができる。プロセッサは、コントローラもしくは状態機械、またはコンピューティングデバイスの組み合わせによって実装することができる。
【0025】
以下で説明される機能及び方法は、ソフトウェアにおいて実装されるとき、限定ではないが、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋等の適切な言語において記述することができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスクストレージ、磁気ディスクストレージもしくは着脱可能サムドライブ等を含む他の磁気記憶装置等のコンピュータ可読記憶媒体に記憶することができ、またはそれらを通して伝送することができる。接続は、コンピュータ可読媒体を確立し得る。このような接続は、例として、光ファイバ、同軸ワイヤ、デジタル加入者回線（ＤＳＬ）、及びツイストペアワイヤを含む有線ケーブルを含み得る。このような接続は、赤外線及び無線を含む無線通信接続を含み得る。
【0026】
ある実施形態に含まれるコンポーネントを、他の実施形態において任意の適切な組み合わせで使用することができる。例えば、本明細書で説明される、及び／または図に描かれる様々なコンポーネントのいずれも、組み合わされてもよく、交換されてもよく、または他の実施形態から除外されてもよい。
【0027】
「Ａ、Ｂ、及びＣの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａを単独で、Ｂを単独で、Ｃを単独で、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／またはＡ、Ｂ、及びＣを一緒に有するシステム等を含む。
【0028】
ここで具体的に図１を参照すると、例示のシステム１０が示され、これは、本原理に従って、上記に記載され、以下にさらに説明される例示のデバイスの１つまたは複数を含み得る。システム１０に含まれる例示のデバイスの第１は、ＴＶチューナ（同等に、ＴＶを制御するセットトップボックス）を備えたインターネット対応テレビなどであるがこれに限定されないオーディオビデオデバイス（ＡＶＤ）１２などの家電（ＣＥ）デバイスである。しかし、ＡＶＤ１２は、代わりに、電気器具または家庭用品、例えば、コンピュータ制御でインターネット対応の冷蔵庫、洗濯機、または乾燥機であってよい。あるいは、ＡＶＤ１２は、コンピュータ制御型インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、例えば、コンピュータ制御型インターネット対応時計、コンピュータ制御型インターネット対応ブレスレット、他のコンピュータ制御型インターネット対応デバイス等のウェアラブルコンピュータ制御デバイス、コンピュータ制御型インターネット対応ミュージックプレイヤ、コンピュータ制御型インターネット対応ヘッドホン、インプラント可能な皮膚用デバイス等のコンピュータ制御型インターネット対応のインプラント可能なデバイス等であってもよい。いずれにせよ、当然ながら、ＡＶＤ１２は、本原理を実施する（例えば、本原理を実施するように他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行し、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ように構成される。
【0029】
したがって、このような原理を実施するために、ＡＶＤ１２は、図１に示すコンポーネントの一部またはすべてによって確立することができる。例えば、ＡＶＤ１２は、１つまたは複数のディスプレイ１４を備えることができ、ディスプレイ１４は、高解像度または超高解像度の「４Ｋ」以上のフラットスクリーンによって実装されてよく、且つ、ユーザ入力信号をディスプレイ上のタッチを介して受信するためにタッチ対応であってよい。ＡＶＤ１２は、本原理に従ってオーディオを出力するための１つまたは複数のスピーカ１６と、例えば、可聴コマンドをＡＶＤ１２に入力して、ＡＶＤ１２を制御するための、例えば、オーディオ受信機／マイクロホン等の少なくとも１つの追加の入力デバイス１８とを含み得る。例示のＡＶＤ１２はまた、１つまたは複数のプロセッサ２４の制御の下、インターネット、ＷＡＮ、ＬＡＮ等の少なくとも１つのネットワーク２２を介して通信するための１つまたは複数のネットワークインタフェース２０を含み得る。グラフィックプロセッサ２４Ａも含まれてよい。したがって、インタフェース２０は、限定ではないが、Ｗｉ－Ｆｉトランシーバであってよく、Ｗｉ－Ｆｉトランシーバは、限定ではないが、メッシュネットワークトランシーバ等の無線コンピュータネットワークインタフェースの例である。当然ながら、プロセッサ２４は、例えば、ディスプレイ１４を画像を提示するように制御することや、そこから入力を受信すること等、本明細書に説明されるＡＶＤ１２の他の要素を含む、本原理を実施するように、ＡＶＤ１２を制御する。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニートランシーバもしくは上述したＷｉ－Ｆｉトランシーバ等の他の適切なインタフェースであってよいことに留意されたい。
【0030】
上記に加えて、ＡＶＤ１２はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するための高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドホンを通してユーザにＡＶＤ１２からのオーディオを提示するためにヘッドホンをＡＶＤ１２に接続するヘッドホンポート等の１つまたは複数の入力ポート２６を含み得る。例えば、入力ポート２６は、オーディオビデオコンテンツのケーブルまたは衛星ソース２６ａに有線または無線で接続されてよい。したがって、ソース２６ａは、例えば、別個のもしくは統合されたセットトップボックス、または衛星受信機であってよい。または、ソース２６ａは、以下でさらに説明するチャネル割り当て目的でユーザがお気に入りとみなし得るコンテンツを含むゲームコンソールまたはディスクプレーヤであってよい。ソース２６ａは、ゲームコンソールとして実装されるとき、ＣＥデバイス４４に関連して以下に説明するコンポーネントのいくつかまたはすべてを含み得る。
【0031】
ＡＶＤ１２は、ディスクベースストレージまたはソリッドステートストレージ等の１つまたは複数のコンピュータメモリ２８をさらに含み得る。コンピュータメモリ２８は、一時的信号でなく、場合によっては、ＡＶＤのシャーシで、スタンドアロンデバイスとして、またはＡＶＤのシャーシの内部もしくは外部のいずれかでＡＶプログラムを再生するためのパーソナルビデオレコーディングデバイス（ＰＶＲ）もしくはビデオディスクプレイヤとして、またはリムーバブルメモリ媒体として具現化される。また、ある実施形態では、ＡＶＤ１２は、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等であるが、これらに限定されない位置または場所の受信機を含み得る。これらは、例えば、少なくとも１つの衛星または携帯電話塔から地理的位置情報を受信し、その情報をプロセッサ２４に提供するように構成され、及び／またはＡＶＤ１２がプロセッサ２４とともに配置される高度を判定するように構成される。しかし、当然ながら、例えば、３つの次元すべてにおいて、例えば、ＡＶＤ１２の場所を決定するために、本原理に従って、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が使用されてよい。
【0032】
ＡＶＤ１２の説明を続けると、ある実施形態では、ＡＶＤ１２は、１つまたは複数のカメラ３２を備えてよく、１つまたは複数のカメラ３２は、例えば、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／またはＡＶＤ１２に統合され、本原理に従って写真／画像及び／またはビデオを収集するようプロセッサ２４によって制御可能なカメラであってよい。ＡＶＤ１２には、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）トランシーバ３４及び他のＮＦＣ要素３６も含まれてよい。例示のＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってよい。
【0033】
さらにまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つまたは複数の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ等のモーションセンサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、（例えば、ジェスチャコマンドを検知するための）ジェスチャセンサ等）を含み得る。ＡＶＤ１２は、プロセッサ２４に入力を提供するＯＴＡ ＴＶ放送を受信するための無線経由ＴＶ放送ポート３８を含み得る。上述したものに加え、ＡＶＤ１２は、赤外線（ＩＲ）送信機及び／またはＩＲ受信機及び／またはＩＲデータアソシエーション（ＩＲＤＡ）デバイスなどのＩＲトランシーバ４２も含み得ることに留意されたい。ＡＶＤ１２に給電するためのバッテリ（図示せず）が備えられてよい。
【0034】
さらに図１を参照すると、ＡＶＤ１２に加えて、システム１０は、１つまたは複数の他のＣＥデバイスタイプを含み得る。一例では、ＡＶＤ１２に直接送信されるコマンドを介して、及び／または後述のサーバを通して、コンピュータゲームのオーディオ及びビデオをＡＶＤ１２に送信するために、第１のＣＥデバイス４４が使用されてよく、第２のＣＥデバイス４６は、第１のＣＥデバイス４４と同様のコンポーネントを含み得る。図示の例では、第２のＣＥデバイス４６は、示されるようにプレーヤ４７が装着するＡＲヘッドマウントディスプレイ（ＨＭＤ）として構成されてよい。図示の例では、２つのＣＥデバイス４４、４６のみが示されるが、当然ながら、より少ないまたはより多くのデバイスが使用されてよい。
【0035】
図示の例では、本原理を説明するために、３つのデバイス１２、４４、４６はすべて、例えば家庭内のエンターテインメントネットワークの構成要素であること、または少なくとも、住宅等の場所において相互に近接して存在していることが想定される。しかし、本原理は、他に明示的に主張されない限り、破線４８によって示される特定の場所に限定されない。
【0036】
例示の非限定的な第１のＣＥデバイス４４は、上述のデバイス、例えば、ポータブル無線ラップトップコンピュータまたはノートブックコンピュータまたはゲームコンソールの任意のデバイスによって確立されてよく、したがって、以下で説明されるコンポーネントの１つまたは複数を有してよい。第１のＣＥデバイス４４は、例えば、ＡＶ再生コマンド及び一時停止コマンドをＡＶＤ１２に発行するためのリモコン（ＲＣ）であってよく、またはタブレットコンピュータ、有線もしくは無線リンクを介してＡＶＤ１２及び／またはゲームコンソールと通信するゲームコントローラ、パーソナルコンピュータ、無線電話等のより高性能のデバイスであってよい。
【0037】
したがって、第１のＣＥデバイス４４は、ディスプレイのタッチを介したユーザ入力信号を受信するためにタッチ対応であってよい１つまたは複数のディスプレイ５０を含み得る。第１のＣＥデバイス４４は、本原理に従ってオーディオを出力するための１つまたは複数のスピーカ５２と、例えば、デバイス４４を制御するために可聴コマンドを第１のＣＥデバイス４４に入力するための、例えば、オーディオ受信機／マイクロホン等の少なくとも１つの追加の入力デバイス５４とを含み得る。例示の第１のＣＥデバイス４４はまた、１つまたは複数のＣＥデバイスプロセッサ５８の制御下で、ネットワーク２２を介して通信するための１つまたは複数のネットワークインタフェース５６を含み得る。グラフィックプロセッサ５８Ａも含まれてよい。したがって、インタフェース５６は、Ｗｉ－Ｆｉトランシーバであってよいが、これに限定されず、Ｗｉ－Ｆｉトランシーバは、メッシュネットワークインタフェースを含む無線コンピュータネットワークインタフェースの例である。当然ながら、プロセッサ５８は、例えば、ディスプレイ５０を画像を提示するように制御することや、そこから入力を受信すること等、本原理を、本明細書に説明される第１のＣＥデバイス４４の他の要素を含む、第１のＣＥデバイス４４が、実施するように制御する。さらに、ネットワークインタフェース５６は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニートランシーバもしくは上述したＷｉ－Ｆｉトランシーバ等の他の適切なインタフェースであってよいことに留意されたい。
【0038】
上記に加えて、第１のＣＥデバイス４４はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するＨＤＭＩ（登録商標）ポートもしくはＵＳＢポート、及び／またはヘッドホンを通して第１のＣＥデバイス４４からユーザにオーディオを伝えるために第１のＣＥデバイス４４にヘッドホンを接続するためのヘッドホンポート等、１つまたは複数の入力ポート６０を含み得る。第１のＣＥデバイス４４は、さらに、ディスクベースストレージまたはソリッドステートストレージ等の１つまたは複数の有形コンピュータ可読記憶媒体６２を含み得る。また、ある実施形態では、第１のＣＥデバイス４４は、限定ではないが、携帯電話及び／またはＧＰＳ受信機及び／または高度計６４など、位置または場所の受信機を備えることができ、位置または場所の受信機は、例えば、三角測量を使用して、少なくとも１つの衛星及び／または携帯電話塔から地理的位置情報を受信し、その情報をＣＥデバイスプロセッサ５８に提供し、及び／または第１のＣＥデバイス４４がＣＥデバイスプロセッサ５８とともに配置される高度を決定するように構成される。しかし、当然ながら、本原理に従って、例えば、３つの次元のすべてにおいて第１のＣＥデバイス４４の位置を決定するために、携帯電話及び／またはＧＰＳ受信機及び／または高度計以外の他の適切な位置受信機が使用されてもよい。
【0039】
第１のＣＥデバイス４４の説明を続けると、ある実施形態では、第１のＣＥデバイス４４は、１つまたは複数のカメラ６６を備えてよく、１つまたは複数のカメラ６６は、例えば、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／または第１のＣＥデバイス４４に統合され、本原理に従って写真／画像及び／またはビデオを収集するようにＣＥデバイスプロセッサ５８によって制御可能なカメラであってよい。また、第１のＣＥデバイス４４上には、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）トランシーバ６８及び他のＮＦＣ要素７０が含まれてよい。例示のＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってよい。
【0040】
さらにまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する１つまたは複数の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータ等のモーションセンサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、（例えば、ジェスチャコマンドを検知するための）ジェスチャセンサ等）を含み得る。第１のＣＥデバイス４４は、例えば、１つまたは複数の気候センサ７４（例えば、気圧計、湿度センサ、風センサ、光センサ、温度センサなど）及び／または入力をＣＥデバイスプロセッサ５８に提供する１つまたは複数の生体認証センサ７６などのさらに他のセンサを含み得る。前述のものに加えて、ある実施形態では、第１のＣＥデバイス４４はまた、赤外線（ＩＲ）送信機及び／またはＩＲ受信機及び／または赤外線データ協会（ＩＲＤＡ）デバイス等のＩＲトランシーバ７８を含み得ることに留意されたい。第１のＣＥデバイス４４に給電するためのバッテリ（図示せず）が備えられてよい。ＣＥデバイス４４は、前述の通信モード及び関連コンポーネントのうちのいずれかを通してＡＶＤ１２と通信してよい。
【0041】
第２のＣＥデバイス４６は、ＣＥデバイス４４について示したコンポーネントの一部またはすべてを含み得る。いずいれか一方または両方のＣＥデバイスは、１つまたは複数のバッテリにより給電されてよい。
【0042】
ここで、上述の少なくとも１つのサーバ８０を参照すると、サーバ８０は、少なくとも１つのサーバプロセッサ８２と、ディスクベースストレージまたはソリッドステートストレージ等の少なくとも１つの有形コンピュータ可読記憶媒体８４と、サーバプロセッサ８２の制御の下、ネットワーク２２を介して図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を容易にし得る少なくとも１つのネットワークインタフェース８６とを含む。ネットワークインタフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ－Ｆｉトランシーバ、または、例えば、無線テレフォニートランシーバ等の他の適切なインタフェースであってよいことに留意されたい。
【0043】
したがって、ある実施形態では、サーバ８０は、インターネットサーバまたはサーバ「ファーム」全体であってよく、「クラウド」機能を含んでよく、「クラウド」機能を実行してよく、その結果、システム１０のデバイスは、例えば、ネットワークゲーミングアプリケーションについての例示の実施形態においては、サーバ８０を介して「クラウド」環境にアクセスしてよい。または、サーバ８０は、図１に示す他のデバイスと同じ部屋かまたはその近くにある１つまたは複数のゲームコンソールまたは他のコンピュータによって実装されてよい。
【0044】
本明細書における方法は、当業者によって認識されるように、プロセッサ、適切に構成された特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、または任意の他の便利な方式によって実行されるソフトウェア命令として実装されてよい。採用される場合、ソフトウェア命令は、ＣＤ ＲＯＭまたはフラッシュドライブ等の非一時的デバイスに具現化されてよい。あるいは、ソフトウェアコード命令は、無線信号もしくは光信号などの一時的構成で、またはインターネットを通したダウンロードを介して具現化されてよい。
【0045】
ここで図２を参照すると、第１の例では、単眼同時位置決め地図作成（ＳＬＡＭ）配置２００が示され、感知ピクセル２０４の行列を備えた唯一のＥＤＳ２０２が、ランプのアレイまたはコンステレーション２０８内の個々のランプのアクティブ化及び非アクティブ化によって引き起こされるイベントを検出するために、図１に示されるＨＭＤ４６などのプラットフォーム２０６に取り付けられている。ランプは、発光ダイオード（ＬＥＤ）であってよく、アレイまたはコンステレーション２０８は、実世界物体２１０に取り付けられるか、他の方法で係合されてよい。図２に示されるように、追加のランプアレイまたはコンステレーション２１２は、同様に、追加の物体２１４に関連付けられてよい。実世界物体２１０は、ＨＭＤ４６の着用者の手、ＨＭＤの着用者によって扱われるゲームコントローラ、または、例えば、ＡＲコンピュータシミュレーション内の他の人々を含む他の実世界物体であってよいが、これらに限定されない。したがって、ランプアレイまたはコンステレーションの構成は、それが係合する特定の物体、例えば、手の各指関節または人の体の関節にあるＬＥＤに適合し得る。必要に応じて、慣性監視ユニット（ＩＭＵ）２１６が、本明細書の他の場所で説明する目的のために、ＥＤＳ２０２に関連付けられてよい。ＩＭＵ２１６は、ほんの一例として、ジャイロスコープ、加速度計、磁力計のうちの１つまたは複数を含み得る。
【0046】
この配置では、空間内のすべてのＬＥＤの位置決めとＥＤＳ姿勢の追跡を同時に行うために、ＥＤＳの出力信号が使用される。以下でさらに説明する静止ＥＤＳ及び可動ＬＥＤコンステレーションの場合、ＬＥＤの相対位置は事前に決定されていると想定され、コンステレーション２０８全体が剛体として追跡される。
【0047】
図３は、物体３０８上のＬＥＤ３０６からのイベントを検出するために必要に応じて同じプラットフォーム３０４に結合され得る第１のＥＤＳ３００及び第２のＥＤＳ３０２の組み合わされた出力を使用することによってステレオＳＬＡＭが提供される代替の実施形態を示す。ステレオＳＬＡＭの場合、以下に説明する初期化は必要ない。三次元のＬＥＤ位置は、ステレオ視差を使用して三角測量される。ステレオＳＬＡＭの利点の１つは、ステレオ視差がこの目的で使用されるため、ＥＤＳの動き無しに三次元で相対的なＬＥＤ位置を決定できることである。
【0048】
図４は、ＨＭＤ４６などのプラットフォームに結合されたＥＤＳを含むＥＤＳアセンブリ４００を示す。この場合、ＥＤＳは移動可能であり、ＬＥＤ４０４のコンステレーション４０２は、動かない物体と固定的に係合されている。対照的に、図５では、ＥＤＳ５００は、例えば、壁または他の表面に静止して取り付けられ、一方、ＬＥＤ５０４のコンステレーション５０２は、ディスプレイ５０８用のハンドヘルドコントローラまたはリモートコントロールデバイスなどの可動物体５０６に取り付けられている。可動物体５０６に取り付けられることによって移動可能であることに加えて、コンステレーション５０２は、物体５０６自体上で移動可能に、例えば、回転可能に取り付けられてよいことに留意されたい。
【0049】
一方、図６は、ＥＤＳ６００が（例えば、ＨＭＤ４６に結合されることによって）実世界の基準フレーム内で移動することができ、ＬＥＤ６０４のコンステレーション６０２が、可動物体６０６に結合されることによって同様に移動可能である実施形態を示す。ＥＤＳ基準フレーム内で追跡が行われている場合は、ＥＤＳを固定する必要は無い。
【0050】
いずれにせよ、追跡自体は、非常に高速で個々のＬＥＤを区別し、画像平面上でどのＬＥＤがどちらであるかを決定するための計算リソースをほとんどまたはまったく消費しない（画像処理無し）技術を説明する以下のさらなる開示の応用である。ここで述べたように、追跡はＳＬＡＭのようなもの（ＥＤＳを備えたＨＭＤ４６は移動可能、ＬＥＤは静止しているが場所は不明）またはコントローラのようなもの（ＬＥＤコンステレーションはＥＤＳ基準フレームで追跡される）のいずれかであってよい。ＨＭＤ姿勢追跡とヘッドセットに対するコントローラの場所追跡、または事前にマッピングされた（ＬＥＤ位置はすでに分かっている）環境でのＨＭＤ姿勢追跡など、これら２つが混在している可能性がある。これらすべての追跡例には、共通点が１つある。環境内の特徴点を識別し、追跡が機能する特徴点を確実に知る必要がある。本技術は、カメラと画像処理を省略し、代わりに特徴点に高速パルスＬＥＤを使用し、ＥＤＳでそれらのパルスを検出する。当然ながら、ＥＤＳにはフレームの正式な概念がなく、イベントの位置とイベントが発生する時間を報告するが、ＬＥＤの通電またはアクティブ化のラウンドからのイベントレポートをまとめて「フレーム」とみなしてよい。
【0051】
より具体的には、ＥＤＳは個々のピクセルの光強度を継続的に監視し、この強度の経時変化率が閾値を超えると、ＥＤＳはその特定のピクセルのＸ、Ｙ座標に関連するイベントを生成する。ある時間窓内でイベントを収集し、それに基づいて人工的な「フレーム」を生成することが可能である。
【0052】
図７を示す。時差（ｔｉｍｅ－ｓｔａｇｇｅｒｅｄ）パルス７００によって示されるように、一度に１つのＬＥＤ７０２のみがオンまたはオフにされる。これらのパルスのタイミングと毎回どのＬＥＤが発光するかは事前に確立されているため、既知である。正のイベントは、各パルス７００の前縁７０４からＥＤＳ７０３によって、すなわち、ＬＥＤがアクティブ化されたときに検出され、負のイベントは、各パルス７００の後縁７０６からＥＤＳによって、すなわち、ＬＥＤが非アクティブ化されたときに検出される。図示のように、パルス７００の前縁は、直前のパルスの後縁よりも時間的に遅い。ＥＤＳ閾値は、これらのＬＥＤの瞬間的な強度変化のみを検出するのに十分な高さに設定される。パルス７００の時間分離のために、どのイベントがどのＬＥＤに対応するかを解決することが単純化される。ＥＤＳの速度が非常に速いため、多数のＬＥＤをすばやく追跡することができる。
【0053】
ＥＤＳによって検出されたイベントごとに、イベント検出の時間と、イベントに対応するＥＤＳピクセルアレイのｘ座標とｙ座標が取得される。各ＬＥＤのオン／オフ時間が分かっているため、どのＬＥＤが各特定のイベントを引き起こしたかが判別される。
【0054】
図８は、例示のロジックを示す。ブロック８００から開始して、ＥＤＳのイベント検出閾値は、ＬＥＤのアクティブ化及び非アクティブ化によって引き起こされる光強度の比較的大きな変化を検出するのに十分である一方、比較的小さなイベント（すなわち、光強度の比較的小さな変化）を無視するほど十分高く設定される。
【0055】
ブロック８０２に移動すると、任意の特定のＬＥＤＮについて、例えば、最初にＬＥＤ１について、少なくとも１つの、通常は２つのイベント（プラス及びマイナス）が検出され、それに応じてＥＤＳはイベント検出信号を生成する。各イベントについて、イベント検出の時間及びＥＤＳピクセルアレイによって感知されたイベントのｘｙ位置がブロック８０４で記録される。
【0056】
状態８０６及び８０８は、イベントの「フレーム」全体が検出されるまで、例えば、すべての既知のＬＥＤからのイベントの１ラウンドが検出されるまで、このプロセスが繰り返されることを単に示している。そうでない場合、決定ダイアモンド８０６ですべてのＬＥＤが検出され、ブロック８０８は、Ｎ＝Ｎ＋１を設定し、次にブロック８０２にループバックすることによって、次のＬＥＤが（概念的にフローチャートフォーマットを使用して）監視されることを示す。十分なイベントが検出及び記録されると、ロジックはブロック８１０に移動して、イベントの人工的な「フレーム」を出力し、ブロック８１２でプロセッサに送信されて、カメラ画像に基づいてＳＬＡＭ姿勢／追跡を実行するのと同様、イベントに基づいて、ＨＭＤ４６及び他の実世界物体等の物体のＳＬＡＭ姿勢／追跡を決定してよい。言い換えると、イベントは、すべてのＬＥＤが１回点滅する時間間隔の間に蓄積される。ＥＤＳによって検出されたイベントは、追跡に使用される。
【0057】
単眼ＳＬＡＭの初期三角測量と姿勢推定の場合について、図９及び１０を参照する。ブロック９００で、数個の連続するビデオのような「フレーム」（例えば、２つ）が、時間的に近い異なるＬＥＤからの数個のイベントを使用して生成される。図９のブロック９０２に移動すると、「フレーム」間のＬＥＤの対応に基づいて基礎行列１０００（図１０）が計算される。この場合、どのＬＥＤがどちらであるかが分かっているため、外れ値を排除する必要はない。
【0058】
図９のブロック９０４に進むと、基礎行列１０００が基本行列に変換される。基本行列は、４つの運動仮説に分解される。これは、以下によって定義される基本行列１００２を使用して行われてよい。
【0059】
基本行列Ｅ＝ＫＴＦＫ。ここで、Ｋは固有パラメータ行列、Ｆは基礎行列である。基本行列の特異値分解は、Ｅ：Ｕ，Ｖ＝ｓｖｄ（Ｅ）として計算される。これから、Ｔ１，２＝＋／－Ｕ０．．２，２（Ｕの最後の列）によって与えられる（図１０に示される）２つの平行移動仮説１００４とＲ１＝Ｕ＊Ｗ＊ＶＴ，Ｒ２＝Ｕ＊ＷＴ＊ＶＴによって与えられる２つの回転仮説１００６が導き出される（図９のブロック９０４）、ここで、
である。
【数1】
【0060】
三次元のＬＥＤ位置は、４つの仮説の各組み合わせ１００８を使用して三角測量され、画像平面に投影される。４つの仮説１００８のうち、外れ値の無いものは（図１０の１０１０に示される）１つだけである。これは、図９のブロック９０６で選択され、ブロック９０８の２つのフレーム間の初期相対姿勢表示の真の１つとして使用される。この初期化の後、ブロック９１０で生成された少なくとも２つの「フレーム」に現れる新しいＬＥＤ位置を三角測量することにより、ＳＬＡＭは通常の方法で機能することができる。「フレーム」姿勢は、既知の姿勢のＬＥＤの投影を使用して決定される。バンドル最適化を使用して、ＬＥＤの３Ｄ位置とＥＤＳ姿勢の両方を改良することができる。
【0061】
図１１は、カメラ画像に基づくＳＬＡＭ追跡を改善するためにＩＭＵを使用するのと同様に、追跡を改善するためにＥＤＳと組み合わせてＩＭＵを使用することを示す。ＩＭＵの読み取り値はフレーム間で統合され、実世界の物理的物体の全体的なスケールと現在の速度を改良するために使用される。単眼及びステレオＳＬＡＭの両方で、ＩＭＵを使用して垂直に対する真の向きを決定する。加速度と角速度は、連続するフレーム間で積分される。角速度積分は、向きの変化の推定値を表す。図１１の記号１１００は、ＩＭＵ信号の積分を表す。加速度の第１の積分は、速度変化プラス自由落下重力を表す。加速度の第２の積分は、位置の変化と自由落下重力の積分を表す。これら（ＩＭＵ積分）は、動きを調整する追加の制約である。
【0062】
固定ＥＤＳで可動ＬＥＤを追跡するために類似の設定を使用することができる。この目的のために、ＬＥＤのコンステレーションを使用することができる。ＥＤＳ画像平面への二次元ＬＥＤ投影が与えられると、三次元でのコンステレーション姿勢を決定することができる。使用前に、ＬＥＤコンステレーションは、正確なＬＥＤの相対位置を決定するためのキャリブレーションが必要である。
【0063】
同様に、オクルージョンの場合、及び３つ未満のＬＥＤが同時に観測できる場合の追跡を改善するために、ＩＭＵはさらに使用されてよい。この特定の追跡タイプでは、カルマンフィルタのようなワンステップの最適化方法が使用されてよい。ＳＬＡＭの場合、レーベンバーグ・マーカート法が使用されてよい。
【0064】
剛体追跡のために二次元から三次元への点対応を使用する３Ｄ姿勢回復方法がある。通常、２ｄ－３ｄ点対応から得られたソリューションを使用して、カルマンフィルタベースの追跡を開始する。カルマンフィルタは１ステップの改良勾配法であり、初期近似が遠すぎると真の解に収束しない可能性があるため、カルマンフィルタ追跡には初期化が必要である。観測値は、利用可能になるとすぐに、カルマンフィルタを通して供給される。カルマンフィルタは、予測ステップと補正ステップの２つのステップを実行する。予測ステップは、観測時間までシステムモデルを進化させるが、補正ステップは、観測の確率を高くするために前のステップの結果（システム状態）を調整する。多数の観測値が絶えず到着することを考えると、これはシステム状態を継続的に改良し、真の状態に近づける。
【0065】
非線形最適化は一度にすべてに適用することができる。入力はランドマーク観測と慣性観測であり、出力はＥＤＳの連続姿勢とランドマークの三次元位置である。
【0066】
いくつかの例示の実施形態を参照して本原理を説明したが、当然ながら、これらは限定することを意図しておらず、様々な代替的な配置が本明細書で特許請求される主題を実施するために使用されてよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】