ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-04
(45)【発行日】2024-04-12
(54)【発明の名称】低電力セミパッシブ相対６自由度トラッキング
(51)【国際特許分類】
G06F 3/01 20060101AFI20240405BHJP
【ＦＩ】
G06F3/01 510
【請求項の数】
19
(21)【出願番号】P 2022568904
(86)(22)【出願日】2021-10-08
(65)【公表番号】
(43)【公表日】2023-06-21
(86)【国際出願番号】 US2021071791
(87)【国際公開番号】W WO2022077028
(87)【国際公開日】2022-04-14
【審査請求日】2022-11-16
(31)【優先権主張番号】16/949,027
(32)【優先日】2020-10-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/448,768
(32)【優先日】2021-09-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】マルドーン，イアン
(72)【発明者】
【氏名】キンバー，クレイトン
(72)【発明者】
【氏名】スワードロー，ジェレミー
(72)【発明者】
【氏名】ラビンドラン，スリバットサン
【審査官】星野 裕
(56)【参考文献】
【文献】特表２０１８－５３０７９７（ＪＰ，Ａ）
【文献】国際公開第２０１８／１６７８４３（ＷＯ，Ａ１）
【文献】特表２０１７－５２７０５３（ＪＰ，Ａ）
【文献】特表２０１７－５１６１８５（ＪＰ，Ａ）
【文献】特表２０１８－５３４６４３（ＪＰ，Ａ）
【文献】特表２０１６－５０６５３０（ＪＰ，Ａ）
【文献】特開２０１０－１１３５３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
システムであって、ヘッドマウントディスプレイ（ＨＭＤ）を備え、前記ＨＭＤは、
カメラと、
前記ＨＭＤの動作を制御するコントローラとを含み、前記システムはさらに、
前記ＨＭＤとペアリングされ、インターフェースデバイスを含む外部デバイスを備え、
前記ＨＭＤの前記コントローラは、前記ＨＭＤと前記外部デバイスとのペアリング状態に起因する前記外部デバイスの既知の画面状態に基づいて、前記外部デバイスの位置を判定するように構成され、前記外部デバイスの前記既知の画面状態は、前記外部デバイスが前記ＨＭＤの前記カメラの視野内にある間に前記ＨＭＤの前記カメラによって検出可能であり、前記既知の画面状態は、前記外部デバイスの位置の判定以外の用途を有する、前記外部デバイスの標識を含む、システム。
【請求項2】
前記ＨＭＤの前記コントローラは、前記外部デバイスの前記既知の画面状態の検出および前記外部デバイスの前記位置の判定に応答して、前記ＨＭＤによって表示される仮想コンテンツが前記外部デバイスの前記インターフェースデバイスと位置合わせされるように、前記ＨＭＤの表示デバイスを制御するように構成されている、請求項１に記載のシステム。
【請求項3】
前記ＨＭＤの前記コントローラは、前記ＨＭＤの前記カメラの前記視野内における前記外部デバイスの前記既知の画面状態の検出に基づいて、前記外部デバイスの位置データを検出し、
前記位置データと、前記外部デバイスから受信した加速度データまたは方位データのうちの少なくとも１つと組み合わせ、
組み合わされた前記位置データと前記加速度データまたは前記方位データのうちの少なくとも１つとに基づいて、前記ＨＭＤに対する前記外部デバイスの６自由度（６ＤＯＦ）位置を判定するように構成されている、請求項１に記載のシステム。
【請求項4】
前記ＨＭＤの前記コントローラは、前記外部デバイスの判定された前記６ＤＯＦ位置に対応する位置および方位で、拡張現実環境において仮想コンテンツを表示するように、前記ＨＭＤの表示デバイスの動作を制御するように構成されている、請求項３に記載のシステム。
【請求項5】
前記ＨＭＤの前記コントローラは、前記外部デバイスが前記ＨＭＤの前記カメラの前記視野内に留まっている間、前記ＨＭＤによって表示される前記仮想コンテンツが前記外部デバイスと前記インターフェースデバイスの前記６ＤＯＦ位置との位置合わせを維持するように、前記ＨＭＤの前記表示デバイスを制御するように構成されている、請求項４に記載のシステム。
【請求項6】
前記ＨＭＤの前記コントローラは、前記外部デバイスの前記インターフェースデバイスの位置および方位の対応する変化に応答して、前記ＨＭＤによって表示される前記仮想コンテンツの位置および方位が変化するように、前記ＨＭＤの前記表示デバイスを制御するように構成されている、請求項４に記載のシステム。
【請求項7】
前記ＨＭＤの前記コントローラは、前記外部デバイスの前記インターフェースデバイスにおいて検出された入力に応答して仮想コンテンツを表示するように、前記ＨＭＤの前記表示デバイスを制御するように構成されている、請求項１～請求項６のいずれか１項に記載のシステム。
【請求項8】
前記外部デバイスの前記既知の画面状態は、前記外部デバイスをアイドル状態からウェイクさせる、前記外部デバイスに適用されるジェスチャコマンドに応答して、外部デバイスの前記インターフェースデバイスによって出力される基準マーカを含み、前記外部デバイスの前記インターフェースデバイスによって出力される前記基準マーカは、前記ＨＭＤの前記カメラによって検出可能である、請求項１～請求項７のいずれか１項に記載のシステム。
【請求項9】
前記外部デバイスは、前記外部デバイスが前記ＨＭＤの前記カメラの前記視野内にあるときに前記ＨＭＤの前記カメラによって検出可能な少なくとも１つのアクティブマーカと少なくとも１つのパッシブマーカとを含み、前記ＨＭＤの前記コントローラは、前記ＨＭＤの前記カメラの前記視野内における前記少なくとも１つのアクティブマーカと前記少なくとも１つのパッシブマーカとの検出に応答して、前記ＨＭＤによって表示される仮想コンテンツが前記外部デバイスと位置合わせされるように、前記表示デバイスを制御するように構成されている、請求項１～請求項８のいずれか１項に記載のシステム。
【請求項10】
前記標識は、前記外部デバイスにおいて実行される１以上のアプリケーションのウィジェットまたはアイコンの少なくとも一方を含む、請求項１～請求項９のいずれか１項に記載のシステム。
【請求項11】
コンピュータによって実施される方法であって、ヘッドマウントディスプレイ（ＨＭＤ）のカメラが、前記カメラの視野内の外部デバイス上で少なくとも１つのマーカを検出することを備え、前記外部デバイスは前記ＨＭＤとペアリングされ、前記少なくとも１つのマーカは、前記外部デバイスと前記ＨＭＤとのペアリング状態に起因する前記外部デバイスの既知の画面状態を含み、前記コンピュータによって実施される方法はさらに、
前記ＨＭＤのプロセッサが、前記少なくとも１つのマーカの検出に基づいて、前記外部デバイスの位置データを検出することと、
前記プロセッサが、検出された前記位置データを、前記外部デバイスから受信した加速度データおよび方位データと組み合わせることと、
前記プロセッサが、組み合わされた前記位置データ、前記加速度データ、および前記方位データに基づいて、前記ＨＭＤに対する前記外部デバイスの６自由度（６ＤＯＦ）位置を判定することとを備え、前記少なくとも１つのマーカは、前記外部デバイスの位置データの検出以外の用途を有する、前記外部デバイスにおける標識を含む、コンピュータによって実施される方法。
【請求項12】
前記ＨＭＤの表示デバイスが、前記外部デバイスの判定された前記６ＤＯＦ位置に対応する位置において仮想コンテンツを表示するためにトリガすることをさらに備える、請求項１１に記載のコンピュータによって実施される方法。
【請求項13】
前記仮想コンテンツを表示するためにトリガすることは、前記外部デバイスが前記ＨＭＤの前記カメラの前記視野内に留まっている間、前記仮想コンテンツの表示と前記外部デバイスのインターフェースデバイスの前記６ＤＯＦ位置との位置合わせを維持することを含む、請求項１２に記載のコンピュータによって実施される方法。
【請求項14】
前記仮想コンテンツの表示のためにトリガすることは、前記外部デバイスの位置または方位のうちの少なくとも１つの変化を検出することと、
前記仮想コンテンツの表示の位置または方位のうちの少なくとも１つを、前記外部デバイスの前記位置または前記方位のうちの前記少なくとも１つの検出された前記変化に対応するように、変更することとを含む、請求項１２に記載のコンピュータによって実施される方法。
【請求項15】
前記仮想コンテンツの表示のためにトリガすることは、前記ＨＭＤの前記表示デバイスが、前記外部デバイスのインターフェースデバイスにおいて検出された入力に応答して、前記仮想コンテンツの表示のためにトリガすることを含む、請求項１２に記載のコンピュータによって実施される方法。
【請求項16】
前記外部デバイスの前記既知の画面状態は、前記外部デバイスをアイドル状態からウェイクさせる、前記外部デバイスによって出力される基準マーカを含み、前記外部デバイスによって出力される前記基準マーカは、前記ＨＭＤの前記カメラによって検出可能である、請求項１１～請求項１５のいずれか１項に記載のコンピュータによって実施される方法。
【請求項17】
前記少なくとも１つのマーカは、前記外部デバイスが前記ＨＭＤの前記カメラの前記視野内にあるときに前記ＨＭＤの前記カメラによって検出可能な少なくとも１つのアクティブマーカと少なくとも１つのパッシブマーカとを含む、請求項１１～請求項１６のいずれか１項に記載のコンピュータによって実施される方法。
【請求項18】
前記標識は、前記外部デバイスにおいて実行される１以上のアプリケーションのウィジェットまたはアイコンの少なくとも一方を含む、請求項１１～請求項１７のいずれか１項に記載のコンピュータによって実施される方法。
【請求項19】
コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに請求項１１～請求項１８のいずれか１項に記載の方法を実施させる命令を有する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年５月１８日に出願された、「LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING（低電力セミパッシブ相対６自由度トラッキング）」と題された国際特許出願ＰＣＴ／ＵＳ２０／７００５７号の一部継続出願であると共にその優先権を主張する、２０２０年１０月９日に出願された、「LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING（低電力セミパッシブ相対６自由度トラッキング）」と題された米国特許出願第１６／９４９，０２７号の継続出願であると共にその優先権を主張する、２０２１年９月２４日に出願された、「LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING（低電力セミパッシブ相対６自由度トラッキング）」と題された米国特許出願第１７／４４８，７６８号の継続出願であると共にその優先権を主張し、これらの開示全体が引用により本明細書に援用される。
本出願は、２０２０年５月１８日に出願された、「LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING（低電力セミパッシブ相対６自由度トラッキング）」と題された国際特許出願ＰＣＴ／ＵＳ２０／７００５７号の一部継続出願であると共にその優先権を主張する、２０２０年１０月９日に出願された、「LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING（低電力セミパッシブ相対６自由度トラッキング）」と題された米国特許出願第１６／９４９，０２７号の継続出願であると共にその優先権を主張する、２０２１年９月２４日に出願された、「LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING（低電力セミパッシブ相対６自由度トラッキング）」と題された米国特許出願第１７／４４８，７６８号の継続出願であると共にその優先権を主張し、これらの開示全体が引用により本明細書に援用される。
【0002】
分野
本発明は、概して拡張現実環境および／または仮想現実環境における電子デバイスの検出およびトラッキングに関する。
本発明は、概して拡張現実環境および／または仮想現実環境における電子デバイスの検出およびトラッキングに関する。
【背景技術】
【0003】
背景
仮想現実（virtual reality：ＶＲ）システム、または拡張現実（augmented reality：ＡＲ）システム、または複合現実（mixed reality：ＭＲ）システムは、仮想コンテンツを生成および提示し、仮想コンテンツとのユーザ対話を提供することなどのために、種々の異なるタイプの電子デバイスを利用し得る。たとえば、ユーザは、ディスプレイ、眼鏡またはゴーグルを含むヘッドマウントデバイス、ハンドヘルドデバイス、手首装着型デバイスなどの外部電子デバイス、および他のそのような電子デバイスを通して、ＶＲ／ＡＲ／ＭＲ仮想環境における仮想コンテンツを体験し、それと対話することができる。電子デバイスの動作時間が延長されると、特に、仮想コンテンツとのユーザ対話のためにいくらか電力が制約された電子デバイスを使用する場合に、ユーザ体験が向上し得る。
仮想現実（virtual reality：ＶＲ）システム、または拡張現実（augmented reality：ＡＲ）システム、または複合現実（mixed reality：ＭＲ）システムは、仮想コンテンツを生成および提示し、仮想コンテンツとのユーザ対話を提供することなどのために、種々の異なるタイプの電子デバイスを利用し得る。たとえば、ユーザは、ディスプレイ、眼鏡またはゴーグルを含むヘッドマウントデバイス、ハンドヘルドデバイス、手首装着型デバイスなどの外部電子デバイス、および他のそのような電子デバイスを通して、ＶＲ／ＡＲ／ＭＲ仮想環境における仮想コンテンツを体験し、それと対話することができる。電子デバイスの動作時間が延長されると、特に、仮想コンテンツとのユーザ対話のためにいくらか電力が制約された電子デバイスを使用する場合に、ユーザ体験が向上し得る。
【発明の概要】
【0004】
概要
ある一般的な態様では、システムはヘッドマウントディスプレイ（head mounted display：ＨＭＤ）を備え、ＨＭＤは、カメラと、ＨＭＤの動作を制御するコントローラとを含み、システムはさらに、ＨＭＤとペアリングされ、インターフェースデバイスを含む外部デバイスを備える。ＨＭＤのコントローラは、ＨＭＤと外部デバイスとのペアリング状態に起因する外部デバイスの既知の画面状態に基づいて、外部デバイスの位置を判定するように構成されてもよく、外部デバイスの既知の画面状態は、外部デバイスがＨＭＤのカメラの視野内にある間にＨＭＤのカメラによって検出可能である。
ある一般的な態様では、システムはヘッドマウントディスプレイ（head mounted display：ＨＭＤ）を備え、ＨＭＤは、カメラと、ＨＭＤの動作を制御するコントローラとを含み、システムはさらに、ＨＭＤとペアリングされ、インターフェースデバイスを含む外部デバイスを備える。ＨＭＤのコントローラは、ＨＭＤと外部デバイスとのペアリング状態に起因する外部デバイスの既知の画面状態に基づいて、外部デバイスの位置を判定するように構成されてもよく、外部デバイスの既知の画面状態は、外部デバイスがＨＭＤのカメラの視野内にある間にＨＭＤのカメラによって検出可能である。
【0005】
いくつかの実装形態では、ＨＭＤのコントローラは、外部デバイスの既知の画面状態の検出および外部デバイスの位置の判定に応答して、ＨＭＤによって表示される仮想コンテンツが外部デバイスのインターフェースデバイスと位置合わせされるように、ＨＭＤの表示デバイスを制御するように構成されている。
【0006】
いくつかの実装形態では、ＨＭＤのコントローラは、ＨＭＤのカメラの視野内における外部デバイスの既知の画面状態の検出に基づいて、外部デバイスの位置データを検出し、位置データを、外部デバイスから受信した加速度データまたは方位データのうちの少なくとも１つと組み合わせ、組み合わされた位置データと加速度データまたは方位データのうちの少なくとも１つとに基づいて、ＨＭＤに対する外部デバイスの６自由度（six-degree-of-freedom：６ＤＯＦ）位置を判定するように構成されている。ＨＭＤのコントローラは、外部デバイスの判定された６ＤＯＦ位置に対応する位置および方位で、拡張現実環境において仮想コンテンツを表示するように、前記ＨＭＤの前記表示デバイスの動作を制御するように構成されてもよい。ＨＭＤのコントローラは、外部デバイスがＨＭＤのカメラの視野内に留まっている間、ＨＭＤによって表示される仮想コンテンツが外部デバイスのインターフェースデバイスの６ＤＯＦ位置との位置合わせを維持するように、ＨＭＤの表示デバイスを制御するように構成されてもよい。ＨＭＤのコントローラは、外部デバイスのインターフェースデバイスの位置および方位の対応する変化に応答して、ＨＭＤによって表示される仮想コンテンツの位置および方位が変化するように、ＨＭＤの表示デバイスを制御するように構成されてもよい。いくつかの実装形態では、ＨＭＤのコントローラは、外部デバイスのインターフェースデバイスにおいて検出された入力に応答して仮想コンテンツを表示するように、ＨＭＤの表示デバイスを制御するように構成されている。
【0007】
いくつかの実装形態では、外部デバイスの既知の画面状態は、外部デバイスをアイドル状態からウェイクさせる、外部デバイスに適用されるジェスチャコマンドに応答して、外部デバイスのインターフェースデバイスによって出力される基準マーカを含み、外部デバイスのインターフェースデバイスによって出力される基準マーカは、ＨＭＤのカメラによって検出可能である。
【0008】
いくつかの実装形態では、外部デバイスは、外部デバイスがＨＭＤのカメラの視野内にあるときにＨＭＤのカメラによって検出可能な少なくともアクティブマーカと少なくとも１つのパッシブマーカとを含み、ＨＭＤのコントローラは、ＨＭＤのカメラの視野内における少なくとも１つのアクティブマーカと少なくとも１つのパッシブマーカとの検出に応答して、ＨＭＤによって表示される仮想コンテンツが外部デバイスと位置合わせされるように、表示デバイスを制御するように構成されている。
【0009】
別の一般的な態様では、コンピュータによって実施される方法は、ヘッドマウントディスプレイ（ＨＭＤ）のカメラが、カメラの視野内の外部デバイス上で少なくとも１つのマーカを検出することを備え、外部デバイスはＨＭＤとペアリングされ、少なくとも１つのマーカは、外部デバイスとＨＭＤとのペアリング状態に起因する外部デバイスの既知の画面状態を含み、コンピュータによって実施される方法はさらに、ＨＭＤのプロセッサが、少なくとも１つのマーカの検出に基づいて外部デバイスの位置データを検出することと、プロセッサが、検出された位置データを、外部デバイスから受信した加速度データおよび方位データと組み合わせることと、プロセッサが、組み合わされた位置データ、加速度データおよび方位データに基づいて、ＨＭＤに対する外部デバイスの６自由度（６ＤＯＦ）位置を判定することとを備える。
【0010】
いくつかの実装形態では、方法はさらに、ＨＭＤの表示デバイスが、外部デバイスの判定された６ＤＯＦ位置に対応する位置において仮想コンテンツを表示するためにトリガすることを備える。仮想コンテンツを表示するためにトリガすることは、外部デバイスがＨＭＤのカメラの視野内に留まっている間、仮想コンテンツのディスプレイと外部デバイスのインターフェースデバイスの６ＤＯＦ位置との位置合わせを維持することを含んでもよい。仮想コンテンツの表示のためにトリガすることは、外部デバイスの位置または方位のうちの少なくとも１つの変化を検出することと、仮想コンテンツの表示の位置または方位のうちの少なくとも１つを、外部デバイスの位置または方位のうちの少なくとも１つの検出された変化に対応するように、変更することとを含んでもよい。仮想コンテンツの表示のためにトリガすることは、ＨＭＤの表示デバイスが、外部デバイスのインターフェースデバイスにおいて検出された入力に応答して、仮想の表示のためにトリガすることを含んでもよい。
【0011】
いくつかの実装形態では、外部デバイスの既知の画面状態は、外部デバイスをアイドル状態からウェイクさせる、外部デバイスに適用されるジェスチャコマンドに応答して、外部デバイスによって出力される基準マーカを含み、外部デバイスによって出力される基準マーカは、ＨＭＤのカメラによって検出可能である。いくつかの実装形態では、少なくとも１つのマーカは、外部デバイスがＨＭＤのカメラの視野内にあるときにＨＭＤのカメラによって検出可能な少なくともアクティブマーカと少なくとも１つのパッシブマーカとを含む。
【0012】
別の一般的な態様では、非一時的コンピュータ読取可能媒体は命令を格納し、命令は、コンピューティングデバイスによって実行されると、コンピューティングデバイスに、コンピューティングデバイスのカメラによって、カメラの視野内にある外部デバイス上で、少なくとも１つのマーカを検出させ、外部デバイスはコンピューティングデバイスとペアリングされており、少なくとも１つのマーカは、外部デバイスとコンピューティングデバイスとのペアリング状態に起因する外部デバイスの既知の画面状態を含み、命令は、コンピューティングデバイスにさらに、コンピューティングデバイスのプロセッサによって、少なくとも１つのマーカの検出に基づいて、外部デバイスの位置データを検出させ、プロセッサによって、検出された位置データを、外部デバイスから受信した加速度データおよび方位データと組み合わさせ、プロセッサによって、組み合わされた位置データ、加速度データ、および方位データに基づいて、コンピューティングデバイスに対する外部デバイスの６自由度（６ＤＯＦ）位置を判定させる。
【0013】
いくつかの実装形態では、命令は、コンピューティングデバイスに、コンピューティングデバイスの表示デバイスによって、外部デバイスの判定された６ＤＯＦ位置に対応する位置において仮想コンテンツを表示するためにトリガさせる。命令は、コンピューティングデバイスに、外部デバイスがコンピューティングデバイスのカメラの視野内で検出される間、外部デバイスの位置または方位のうちの少なくとも１つの検出された変化に応答して、表示された仮想コンテンツと外部デバイスの６ＤＯＦ位置との位置合わせを維持させてもよい。命令は、コンピューティングデバイスに、外部デバイスをアイドル状態からウェイクさせる、外部デバイスに適用されるジェスチャコマンドに応答して、外部デバイスによって出力される基準マーカを含む、外部デバイスの既知の画面状態を検出させもよく、外部デバイスによって出力される基準マーカは、コンピューティングデバイスのカメラによって検出可能である。
【0014】
別の一般的な態様では、システムは、仮想コンテンツを表示するように構成されたヘッドマウントディスプレイ（ＨＭＤ）を備え、ＨＭＤは、表示デバイスと、カメラと、照明デバイスと、ＨＭＤの動作を制御するコントローラとを含み、システムはさらに、ＨＭＤとペアリングされた外部デバイスを備え、外部デバイスは、インターフェースデバイスと、ＨＭＤのカメラによって検出可能な少なくとも１つのアクティブマーカと、ＨＭＤのカメラによって検出可能な少なくとも１つのパッシブマーカと、外部デバイスの動作を制御するコントローラとを含み、ＨＭＤのコントローラは、ＨＭＤによって表示される仮想コンテンツが、ＨＭＤのカメラの視野内における少なくとも１つのアクティブマーカまたは少なくとも１つのパッシブマーカのうちの少なくとも１つの検出に応答して外部デバイスの入力面と位置合わせされるように、表示デバイスを制御するように構成されている。
【0015】
いくつかの実装形態では、ＨＭＤのコントローラは、ＨＭＤによって表示される仮想コンテンツが、ＨＭＤのカメラの視野内における少なくとも１つのアクティブマーカまたは少なくとも１つのパッシブマーカのうちの少なくとも１つの検出に応答して外部デバイスの入力面と位置合わせされるように、表示デバイスを制御するように構成されている。インターフェースデバイスは、入力デバイスまたは出力デバイスのうちの少なくとも１つを含んでもよく、ＨＭＤのコントローラは、外部デバイスのインターフェースデバイスにおいて検出された入力に応答して仮想コンテンツを表示するように、表示デバイスを制御するように構成されている。
【0016】
いくつかの実装形態では、少なくとも１つのアクティブマーカは、外部デバイス上の第１の位置における第１のアクティブマーカと、外部デバイス上の第２の位置における第２のアクティブマーカとを含み、少なくとも１つのパッシブマーカは、外部デバイスの第３の位置における再帰反射マーカを含む。第１のアクティブマーカは、ＨＭＤのカメラによって検出される光を選択的に放出する光源を含んでもよい。第２のアクティブマーカは、ＨＭＤのカメラによって検出される光を選択的に放出する光源を含んでもよく、第１のアクティブマーカの光源によって放出される光の強度の少なくとも１つは、第２のアクティブマーカの光源によって放出される光の強度と異なる、または、第１のアクティブマーカの光源から放出される光のパターンは、第２のアクティブマーカの光源によって放出される光のパターンと異なる。いくつかの実装形態では、外部デバイスがＨＭＤのカメラの視野内にあるとき、第１のアクティブマーカおよび第２のアクティブマーカは、カメラによって検出可能であり、再帰反射マーカは、照明デバイスによるカメラの視野の照明に応答して、カメラによって検出可能である。
【0017】
いくつかの実装形態では、外部デバイスのコントローラは、第１のアクティブマーカおよび第２のアクティブマーカの動作を制御するように構成され、外部デバイスのコントローラは、外部デバイスが視野内にある動作時間のブロック内の少なくとも１つの期間の間に、第１のアクティブマーカがオンになると共にＨＭＤのコントローラのカメラによって検出可能であるように、動作時間のブロック内の少なくとも１つの期間の間に、第２のアクティブマーカがオンになると共にＨＭＤのカメラによって検出可能になるように、かつ、動作時間のブロック内の少なくとも１つの期間の間に、照明デバイスがオンになると共に再帰反射マーカがＨＭＤのカメラによって検出可能になるように、動作時間のブロックの間に照明デバイスの動作を制御するように構成されている。いくつかの実装形態では、第１のアクティブマーカがオンになる少なくとも１つの期間の間、第２のアクティブマーカはオフであり、照明デバイスはオフであり、第２のアクティブマーカがオンである少なくとも１つの期間の間、第１のアクティブマーカはオフであり、照明デバイスはオフであり、照明デバイスがオンになる少なくとも１つの期間の間、第１のアクティブマーカはオフであり、第２のアクティブマーカはオフである。
【0018】
いくつかの実装形態では、ＨＭＤのコントローラは、第１のアクティブマーカ、第２のアクティブマーカ、およびパッシブマーカの検出に基づいて、外部デバイスの位置データを検出し、位置データを、外部デバイスから受信した加速度データまたは方位データのうちの少なくとも１つと組み合わせ、組み合わされた位置データと、加速度データまたは方位データのうちの少なくとも１つとに基づいて、ＨＭＤに対する外部デバイスの６自由度（６ＤＯＦ）位置を判定するように構成されている。ＨＭＤのコントローラは、外部デバイスの判定された６ＤＯＦ位置に対応する位置において、拡張現実環境において仮想コンテンツを表示するように、表示デバイスの動作を制御するように構成されてもよい。
【0019】
別の一般的な態様では、コンピュータによって実施される方法は、ヘッドマウントディスプレイ（ＨＭＤ）のカメラが、カメラの視野内の外部デバイス上で少なくとも１つのマアクティブーカと少なくとも１つのパッシブマーカとを検出することを備え、外部デバイスはＨＭＤとペアリングされ、コンピュータによって実施される方法はさらに、ＨＭＤのプロセッサが、少なくとも１つのマーカの検出に基づいて、外部デバイスの位置データを検出することと、プロセッサが、検出された位置データを、外部デバイスから受信した加速度データおよび方位データと組み合わせることと、プロセッサが、組み合わされた位置データ、加速度データ、および方位データに基づいて、ＨＭＤに対する外部デバイスの６自由度（６ＤＯＦ）位置を判定することと、ＨＭＤの表示デバイスが、外部デバイスの判定された６ＤＯＦ位置に対応する位置において仮想コンテンツを表示するためにトリガすることとを備える。
【0020】
いくつかの実装形態では、仮想コンテンツの表示のためにトリガすることは、外部デバイスの入力面と位置合わせされた位置において仮想コンテンツを表示することを含む。いくつかの実装形態では、少なくとも１つのアクティブマーカを検出することは、外部デバイス上の第１の位置における第１のアクティブマーカを検出することと、外部デバイス上の第２の位置における第２のアクティブマーカを検出することとを含み、少なくとも１つのパッシブマーカを検出することは、外部デバイス上の第３の位置における再帰反射マーカを検出することを含む。いくつかの実装形態では、第１のアクティブマーカを検出することは、第１のアクティブマーカの光源によって選択的に放出される光を検出することを含み、第２のアクティブマーカを検出することは、第２のアクティブマーカの光源によって選択的に放出される光を検出することを含み、再帰反射マーカを検出することは、ＨＭＤの照明デバイスによるカメラの視野内の照明に応答して、再帰反射マーカを検出することを含む。いくつかの実装形態では、第１のアクティブマーカの光源によって放出される光の強度の少なくとも１つは、第２のアクティブマーカの光源によって放出される光の強度と異なる、または、第１のアクティブマーカの光源によって放出される光のパターンは、第２のアクティブマーカの光源によって放出される光のパターンと異なる。
【0021】
いくつかの実施態様では、外部デバイスがカメラの視野内にある動作時間のブロックの間、第１のアクティブマーカを検出することと、第２のアクティブマーカを検出することと、再帰反射マーカを検出することは、第１のアクティブマーカがオンであると共にＨＭＤのコントローラのカメラによって検出可能な動作時間のブロック内の少なくとも１つの期間の間に第１のアクティブマーカを検出することと、第２のアクティブマーカがオンであると共にＨＭＤのコントローラのカメラによって検出可能な動作時間のブロック内の少なくとも１つの期間の間に第２のアクティブマーカを検出することと、照明デバイスがオンであると共にパッシブマーカがＨＭＤのカメラによって検出可能である動作時間のブロック内の少なくとも１つの期間の間に再帰反射マーカを検出することとを含む。
【0022】
いくつかの実装形態では、第１のアクティブマーカを検出することは、第１のアクティブマーカがオンであり、第２のアクティブマーカがオフであり、照明デバイスがオフである少なくとも１つの期間の間に、第１のアクティブマーカを検出することを含み、第２のアクティブマーカを検出することは、第２のアクティブマーカがオンであり、第１のアクティブマーカがオフであり、照明デバイスがオフである少なくとも１つの期間の間に、第２のアクティブマーカを検出することを含み、再帰反射マーカを検出することは、照明デバイスがオンであり、第１のアクティブマーカがオフであり、第２のアクティブマーカがオフである少なくとも１つの期間の間に、再帰反射マーカを検出することを含む。
【0023】
別の一般的な態様では、非一時的コンピュータ読取可能媒体は命令を格納し、命令は、コンピューティングデバイスによって実行されると、コンピューティングデバイスに、コンピューティングデバイスのカメラによって、カメラの視野内にある外部デバイス上で、少なくとも１つのアクティブマーカと少なくとも１つのパッシブマーカとを検出させ、外部デバイスはコンピューティングデバイスとペアリングされ、命令は、コンピューティングデバイスにさらに、コンピューティングデバイスのプロセッサによって、少なくとも１つのマーカの検出に基づいて、外部デバイスの位置データを検出させ、プロセッサによって、検出された位置データを、外部デバイスから受信した加速度データおよび方位データと組み合わさせ、プロセッサによって、組み合わされた位置データ、加速度データ、および方位データに基づいて、コンピューティングデバイスに対する外部デバイスの６自由度（６ＤＯＦ）位置を判定させ、コンピューティングデバイスの表示デバイスによって、外部デバイスの判定された６ＤＯＦ位置に対応する位置において仮想コンテンツを表示するためにトリガさせる。
【0024】
いくつかの実装形態では、命令は、コンピューティングデバイスに、外部デバイスの入力面と位置合わせされた位置にコンテンツを表示させる。いくつかの実装形態では、命令は、コンピューティングデバイスに、第１のアクティブマーカの光源によって放出された光に基づいて、外部デバイス上の第１の位置における第１のアクティブマーカを検出させ、第２のアクティブマーカの光源によって放出された光に基づいて、外部デバイス上の第２の位置における第２のアクティブマーカを検出させ、コンピューティングデバイスの照明デバイスによって放出され、かつ再帰反射マーカによってカメラに反射で戻された光に基づいて、外部デバイスの第３の位置における再帰反射マーカを検出させる。
【0025】
いくつかの実施態様では、外部デバイスがコンピューティングデバイスのカメラの視野内にある動作時間のブロックの間、第１のアクティブマーカの検出、第２のアクティブマーカの検出、および再帰反射マーカの検出の際に、命令は、コンピューティングデバイスに、第１のアクティブマーカがオンであると共にコンピューティングデバイスのカメラによって検出可能であり、第２のアクティブマーカがオフであり、照明デバイスがオフである動作時間のブロック内の第１の期間の間に、第１のアクティブマーカを検出させ、第２のアクティブマーカがオンであると共にコンピューティングデバイスのカメラによって検出可能であり、第１のアクティブマーカがオフであり、照明デバイスがオフである動作時間のブロック内の第２の期間の間に、第２のアクティブマーカを検出させ、照明デバイスがオンであり、パッシブマーカがコンピューティングデバイスのカメラによって検出可能であり、第１のアクティブマーカがオフであり、第２のアクティブマーカがオフである動作時間のブロック内の少なくとも１つの期間の間に、再帰反射マーカを検出させる。
【0026】
いくつかの実装形態では、命令は、コンピューティングデバイスに、外部デバイスがＨＭＤのカメラの視野内で検出される間、表示された仮想コンテンツと外部デバイスの６ＤＯＦ位置との位置合わせを維持させる。
【0027】
１つ以上の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の特徴は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0028】
【図1】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスと入力デバイスとを含むシステムの一例を示す図である。
【図2A】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスの例を示す正面図である。
【図2B】本明細書で説明する実装形態に係る、入力デバイスの例を示す正面図である。
【図2C】本明細書で説明する実装形態に係る、入力デバイスの例を示す正面図である。
【図3】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスの例および入力デバイスの例を示すブロック図である。
【図4】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスの例および入力デバイスの例を含むシステムを示す図である。
【図7】本明細書で説明する実装形態に係る、入力デバイスの例のバンド部分を示す底面図／背面図である。
【図8】本明細書で説明する実装形態に係る、ＨＭＤに対して入力デバイスを追跡する方法を示すフローチャートである。
【図9A】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスの例に対する外部デバイスの例の移動を概略的に示す図である。
【図9B】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスの例に対する外部デバイスの例の移動を概略的に示す図である。
【図9C】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスの例に対する外部デバイスの例の移動を概略的に示す図である。
【図9D】本明細書で説明する実装形態に係る、ヘッドマウント表示デバイスの例に対する外部デバイスの例の移動を概略的に示す図である。
【図10】本明細書で説明する技法を実現するために使用可能なコンピューティングデバイスおよびモバイルコンピューティングデバイスの例を示す図である。
【発明を実施するための形態】
【0029】
詳細な説明
ユーザは、たとえば、仮想コンテンツを体験するための表示デバイス、および仮想コンテンツと対話するための外部デバイス、または補助デバイス、または入力デバイス等のさまざまな電子デバイスを使用して、ＡＲ環境、またはＭＲ環境、またはＶＲ環境において、仮想コンテンツの体験およびそれとの対話が可能である。同様に、外部補助／入力デバイスから利用可能なコンテンツは、表示デバイスと共有可能である。たとえば、いくつかの実装形態では、ヘッドマウントディスプレイ（ＨＭＤ）デバイスは、ＡＲ、またはＭＲ、またはＶＲ環境を生成し、ユーザに提示可能である。いくつかの実装形態では、ＨＭＤは、ユーザ入力を受信することが可能であり得る。しかしながら、場合によっては、ユーザがＨＭＤに含まれるコントロールを介して仮想コンテンツと対話することは困難なことがある。したがって、いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、仮想コンテンツとのユーザ対話を容易にするために、ＨＭＤに動作可能に結合され得る。いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、たとえば、スマートウォッチ等のウェアラブルデバイスでもよい。いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、スマートフォンおよびハンドヘルドコントローラなどのハンドヘルドデバイスでもよい。いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、たとえば、タブレットコンピューティングデバイスおよびラップトップコンピューティングデバイスなどの、別のタイプのモバイル電子デバイスでもよい。いくつかの実装形態では、外部デバイス、補助デバイス、または入力デバイスの位置および／または方位は、たとえば、仮想コンテンツとのユーザ対話を容易にするために、たとえば、ＨＭＤに対して追跡され得る。種々の異なる方法が、ＨＭＤに対する入力デバイスの位置および／または方位を追跡する際に実装され得る。これらの種々の異なる方法は、たとえば、入力デバイスとＨＭＤとの間のセンサデータの交換、ＨＭＤによる、入力デバイス上の追跡デバイス、たとえばアクティブ追跡デバイスおよび／またはパッシブ追跡デバイス、外部デバイス上に設けられたおよび／または外部デバイスによって生成された基準マーカの検出などを含み得る。
ユーザは、たとえば、仮想コンテンツを体験するための表示デバイス、および仮想コンテンツと対話するための外部デバイス、または補助デバイス、または入力デバイス等のさまざまな電子デバイスを使用して、ＡＲ環境、またはＭＲ環境、またはＶＲ環境において、仮想コンテンツの体験およびそれとの対話が可能である。同様に、外部補助／入力デバイスから利用可能なコンテンツは、表示デバイスと共有可能である。たとえば、いくつかの実装形態では、ヘッドマウントディスプレイ（ＨＭＤ）デバイスは、ＡＲ、またはＭＲ、またはＶＲ環境を生成し、ユーザに提示可能である。いくつかの実装形態では、ＨＭＤは、ユーザ入力を受信することが可能であり得る。しかしながら、場合によっては、ユーザがＨＭＤに含まれるコントロールを介して仮想コンテンツと対話することは困難なことがある。したがって、いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、仮想コンテンツとのユーザ対話を容易にするために、ＨＭＤに動作可能に結合され得る。いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、たとえば、スマートウォッチ等のウェアラブルデバイスでもよい。いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、スマートフォンおよびハンドヘルドコントローラなどのハンドヘルドデバイスでもよい。いくつかの実装形態では、外部デバイス、または補助デバイス、または入力デバイスは、たとえば、タブレットコンピューティングデバイスおよびラップトップコンピューティングデバイスなどの、別のタイプのモバイル電子デバイスでもよい。いくつかの実装形態では、外部デバイス、補助デバイス、または入力デバイスの位置および／または方位は、たとえば、仮想コンテンツとのユーザ対話を容易にするために、たとえば、ＨＭＤに対して追跡され得る。種々の異なる方法が、ＨＭＤに対する入力デバイスの位置および／または方位を追跡する際に実装され得る。これらの種々の異なる方法は、たとえば、入力デバイスとＨＭＤとの間のセンサデータの交換、ＨＭＤによる、入力デバイス上の追跡デバイス、たとえばアクティブ追跡デバイスおよび／またはパッシブ追跡デバイス、外部デバイス上に設けられたおよび／または外部デバイスによって生成された基準マーカの検出などを含み得る。
【0030】
状況によっては、外部補助／入力デバイスは、たとえば、外部補助／入力デバイスの電力貯蔵デバイス（すなわち、バッテリ）のサイズおよび／または容量、他の電力要件などに起因して、いくらか電力が制約されることがある。外部補助／入力デバイスがいくらか電力を制約される状況では、外部補助／入力デバイスの位置および／または方位を追跡する際に消費される電力の量を低減または最小化することが有益な場合がある。
【0031】
図１に示す実施形態例では、ユーザは、外部補助／入力デバイス２０の例がＨＭＤ１０の例に動作可能に結合可能な状態で、表示デバイス１０の例、たとえばヘッドマウントディスプレイ（ＨＭＤ）デバイス１０の例を装着している。ＨＭＤ１０の例は、たとえば、ウェアラブルスマートグラス１０の例、またはユーザに仮想コンテンツの表示を提供することができるゴーグル１０の例でもよい。図１に示す配置例では、ＨＭＤ１０は、単に説明および例示を目的として、スマートグラス１０の例の形態である。外部補助／入力デバイス２０の例は、ハンドヘルドデバイス、ウェアラブル入力デバイス、手首装着型入力デバイス、スマートウォッチ、およびＨＭＤ１０によって提示される仮想コンテンツとの対話を容易にすることができ、かつ／またはＨＭＤ１０とコンテンツを共有することができる他のそのようなデバイスを含む。図１に示す配置例は、単に説明および例示の目的で、スマートウォッチ２０Ａの例の形態の第１の外部デバイス２０Ａと、スマートフォン２０Ｂの形態の第２の外部デバイス２０Ｂとを含む。上述したように、他の電子デバイスが、ＨＭＤ１０の例に動作可能に結合されてもよい。
【0032】
【0033】
この例におけるスマートグラス１０の例の形態のＨＭＤ１０の例は、フレーム１１を含んでもよく、表示デバイス１２がフレーム１１内で結合されている。いくつかの実装形態では、オーディオ出力デバイス１３がフレーム１１に結合されてもよい。ＨＭＤ１０は、ＨＭＤ１０の動作を容易にするために、さまざまな感知システムデバイスを含む感知システム１６と、さまざまな制御システムデバイスを含む制御システム１７とを含み得る。制御システム１７は、制御システム１７の構成要素に動作可能に結合されたプロセッサ１９を含み得る。ＨＭＤ１０はまた、画像センサ１８（すなわち、カメラ１８）を含み得る。いくつかの実装形態では、画像センサ１８またはカメラ１８は、静止画および／または動画をキャプチャすることが可能でもよい。いくつかの実装形態では、画像センサ１８またはカメラ１８は、画像センサ１８またはカメラ１８からの外部物体の距離に関連するデータを収集可能な深度カメラでもよい。いくつかの実装形態では、画像センサ１８またはカメラ１８は、たとえば、外部デバイス上の光学マーカ等の外部デバイス上の１つ以上の光学マーカを検出し、それに追従することができる点追跡カメラ１８でもよい。いくつかの実装形態では、ＨＭＤ１０は、画像センサ１８またはカメラ１８の視野内の物体を検出するために、たとえば画像センサ１８またはカメラ１８と共に選択的に動作し得る照明デバイス１５を含み得る。
【0034】
スマートウォッチ２０Ａの形態の外部補助／入力デバイス２０Ａの例、およびスマートフォン２０Ｂの形態の外部補助／入力デバイス２０Ｂの例は、インターフェースデバイス２１（２１Ａ，２１Ｂ）を含み得る。いくつかの実装形態では、インターフェースデバイス２１は、たとえば、ユーザからのタッチ入力を受信可能なタッチ面２２（２２Ａ，２２Ｂ）を含む入力デバイスとして機能してもよい。いくつかの実装形態では、インターフェースデバイス２１は、たとえば、インターフェースデバイス２１がユーザに情報を出力できるようにする表示部２３（２３Ａ，２３Ｂ）を含む出力デバイスとして機能してもよい。いくつかの実装形態では、インターフェースデバイス２１は、入力デバイスおよび出力デバイスとして機能することができる。補助／入力デバイス２０Ａ，２０Ｂは、さまざまな感知システムデバイスを含む感知システム２６（２６Ａ，２６Ｂ）を含み得る。補助／入力デバイス２０Ａ，２０Ｂは、外部デバイス２０Ａ，２０Ｂの動作を容易にするために、さまざまな制御システムデバイスを含む制御システム２７（２７Ａ，２７Ｂ）と、プロセッサ２９（２９Ａ，２９Ｂ）とを含み得る。いくつかの実装形態では、外部デバイス２０Ａ，２０Ｂは、複数のマーカ２５（２５Ａ，２５Ｂ）を含み得る。複数のマーカ２５は、ＨＭＤ１０によって、たとえば、ＨＭＤ１０の画像センサ１８またはカメラ１８によって検出可能であってもよく、ＨＭＤ１０に対する外部デバイス２０Ａ，２０Ｂの位置および／または方位の検出ならびに追跡のためのデータを提供し得る。いくつかの実装形態では、複数のマーカ２５はアクティブマーカでもよい。アクティブマーカは、アクティブマーカが有効にされているとき、またはオン状態にあるとき、ＨＭＤ１０の画像センサ１８またはカメラ１８によって実質的に常に検出可能であり得る。いくつかの実装形態では、複数のマーカ２５は、たとえば、ＨＭＤ１０の照明デバイス１５によって照明される場合など、事前設定された条件下でＨＭＤ１０の画像センサ１８またはカメラ１８によって検出可能なパッシブマーカでもよい。いくつかの実装形態では、複数のマーカ２５は、アクティブマーカとパッシブマーカとの組み合わせを含んでもよい。
【0035】
本明細書で説明する実装形態に係る相対追跡システムのブロック図が、図３に示されている。システムは、第２の電子デバイス２００と通信する第１のユーザ電子デバイス１００を含み得る。第１の電子デバイス１００は、たとえば、図１および図２Ａに関して上述したような、ユーザに仮想コンテンツを表示可能なＨＭＤなどのＨＭＤでもよい。第２の電子デバイス２００は、たとえば、ＨＭＤと通信し、ＨＭＤによって表示される仮想コンテンツとのユーザ対話を容易にし、ＨＭＤなどとコンテンツを共有する、外部デバイス、または補助デバイス、または図１、図２Ｂおよび図２Ｃに関して上述した外部補助／入力デバイスなどの入力デバイスであり得る。第１の電子デバイス１００と第２の電子デバイス２００とは、情報を交換するために通信することができる。たとえば、第１の電子デバイス１００および第２の電子デバイス２００は、たとえば有線接続、たとえばＷｉ－ＦｉもしくはＢｌｕｅｔｏｏｔｈ（登録商標）を介した無線接続、または他のタイプの接続を介した通信を容易にするために、動作可能に結合され得る。
【0036】
第１の電子デバイス１００は、感知システム１６０およびコントローラ１７０を含み得る。いくつかの実装形態では、感知システム１６０およびコントローラ１７０は、図１および図２Ａに関して上述した感知システム１６および制御システム１７と同様（または同じ、または同一）でもよい。感知システム１６０は、たとえば、画像センサ、またはカメラ、オーディオセンサ、またはマイクロフォン、たとえば、慣性測定ユニット（ＩＭＵ）などに含まれる加速度計、ジャイロスコープ、磁力計などの位置および／または方位センサなど、ならびに他のセンサおよび／またはセンサの異なる組み合わせ（複数可）を含む、多数の異なるタイプのセンサを含み得る。コントローラ１７０は、たとえば、電源／休止制御デバイス、画像および音声制御デバイス、ならびに他のそのようなデバイスおよび／またはデバイスの異なる組み合わせ（複数可）を含む、多数の異なるタイプのデバイスを含み得る。いくつかの実装形態では、感知システム１６０および／またはコントローラ１７０は、特定の実装形態に応じて、より多くのまたはより少ないデバイスを含んでもよい。
【0037】
第１の電子デバイス１００は、感知システム１６０およびコントローラ１７０と通信するプロセッサ１９０と、たとえばコントローラ１７０のモジュールによってアクセス可能なメモリ１９５と、第１の電子デバイス１００とたとえば第２の電子デバイス２００などの別の外部デバイスとの間の通信を提供する通信モジュール１７５とを含み得る。コントローラ１７０は、たとえば、上述したコントローラ１７０の制御デバイスを介して受信された入力、および／または通信モジュール１７５を介して第２の電子デバイス２００から受信された入力に応答して、第１の電子デバイス１００のオーディオおよび／またはビデオ出力コンポーネントの動作を含む、第１の電子デバイス１００の全体的な動作を制御してもよい。
【0038】
第２の電子デバイス２００は、第２の電子デバイス２００と、たとえば、第２の電子デバイス２００に動作可能に結合されるかまたはそれとペアリングされる第１の電子デバイス１００などの別の外部デバイスとの間の通信を提供する通信モジュール２７５を含み得る。第２の電子デバイス２００は、複数の異なるセンサを含む感知システム２６０を含み得る。たとえば、いくつかの実装形態では、感知システム２６０はＩＭＵを含んでもよく、ＩＭＵは、たとえば、加速度計、ジャイロスコープおよび磁力計などを含む。いくつかの実装形態では、感知システム２６０は、たとえば、オーディオセンサ、画像センサ、タッチセンサ、ならびに他のセンサおよび／またはセンサの異なる組み合わせ（複数可）を含んでもよい。プロセッサ２９０は、第２の電子デバイス２００の感知システム２６０およびコントローラ２７０と通信することができ、コントローラ２７０は、メモリ２９５にアクセスし、第２の電子デバイス２００の全体的な動作を制御する。いくつかの実装形態では、感知システム２６０およびコントローラ２７０は、図１、図２Ｂおよび図２Ｃに関して上述した感知システム２６および制御システム２７と同様（または同じ、または同一）でもよい。
【0039】
上述したように、ＡＲ、またはＭＲまたはＶＲ環境では、第１の電子デバイス１００（すなわち、ＨＭＤ１００の例）は、ユーザが第２の電子デバイス２００を使用して第１の電子デバイス１００によってユーザに提示される仮想コンテンツと対話することができ、第１の電子デバイス１００と第２の電子デバイス２００等との間でコンテンツを共有することができるように、第２の電子デバイス２００と動作可能に結合されてもよい。
【0040】
以下では、単に説明および例示を容易にするために、本明細書で説明する実装形態に係るシステムおよび方法について、拡張現実（ＡＲ）環境に関して説明し、拡張現実（ＡＲ）環境では、ＡＲ環境においてスマートメガネによって提示される仮想コンテンツとの対話のために、スマートグラスの形態のヘッドマウント表示デバイスが、スマートウォッチの形態の補助／入力デバイスと動作可能に結合されている。このように説明される概念は、仮想現実（ＶＲ）環境および混合現実（ＭＲ）環境に、および／または仮想コンテンツの提示および仮想コンテンツとの対話、コンテンツの共有などのために使用されている電子デバイス（複数可）の他の組み合わせ（複数可）と共に適用可能である。
【0041】
図４は、単に説明および例示を目的として、スマートウォッチ２００の形態の外部デバイス２００の例と動作可能に結合された、スマートグラス１００の形態のＨＭＤ１００の例を示す。ＨＭＤ１００の例および外部デバイス２００の例は、ユーザが外部デバイス２００を使用してＨＭＤ１００によって提示される仮想コンテンツと対話できるように、動作可能に結合され得る。たとえばＨＭＤ１００に対する外部デバイス２００の位置および／または方位は、ＨＭＤ１００によって提示される仮想コンテンツとの対話のための外部デバイス２００の使用を容易にするために検出および追跡され得る。
【0042】
ＨＭＤ１００の例は、フレーム１１０において結合された表示デバイス１２０およびオーディオデバイス１３０を含み得る。ＨＭＤ１００は、上述のようなさまざまな感知システムデバイスを含む感知システム１６０と、上述のようなさまざまな制御システムデバイスを含むコントローラ１７０と、ＨＭＤ１００の動作を容易にするためのプロセッサ１９０とを含み得る。ＨＭＤ１０はまた、画像センサ１８０またはカメラ１８０と、画像センサ１８０またはカメラ１８０の視野内の物体の検出を容易にするための画像センサ１８０またはカメラ１８０と共に選択的に動作し得る照明デバイス１５０とを含み得る。
【0043】
外部デバイス２００の例は、入力デバイス２００がユーザによって着用されることを可能にするバンド２８０に結合されたインターフェースデバイス２１０を含み得る。上述したように、いくつかの実装形態では、インターフェースデバイス２１０は、たとえば、ユーザからタッチ入力を受信することができるタッチ面２２０を含む入力デバイスとして機能し得る。いくつかの実装形態では、インターフェースデバイス２１０は、たとえば、インターフェースデバイス２１０がユーザに視覚情報を出力することを可能にする表示部２３０を含む出力デバイスとして機能し得る。いくつかの実装形態では、インターフェースデバイス２１０は、入力デバイスと出力デバイスとの両方として機能することができる。外部デバイス２００は、外部デバイス２００の動作を容易にするために、上記のようなさまざまな感知システムデバイスを含む感知システム２６０と、上記のようなさまざまな制御システムデバイスを含むコントローラ２７０と、プロセッサ２９０とを含み得る。いくつかの実装形態では、外部デバイス２００は、外部デバイス２００が画像センサ１８０またはカメラ１８０の視野内にある場合に、ＨＭＤ１００に対する外部デバイス２００の位置および／または方位の検出ならびに追跡用のデータを提供するために、ＨＭＤ１００によって、たとえば、ＨＭＤ１００の画像センサ１８０またはカメラ１８０によって検出可能である複数のマーカを含み得る。
【0044】
いくつかの実装形態では、複数のマーカは、パッシブマーカ２４０とアクティブマーカ２５０との組み合わせを含み得る。いくつかの実装形態では、アクティブマーカは、実質的に常にオンでもよく、したがって、外部デバイス２００がＨＭＤ１００の画像センサ１８０またはカメラ１８０の視野内にある場合に、実質的に常に検出可能でもよい。いくつかの実装形態では、たとえば、ＨＭＤ１００の画像センサ１８０またはカメラ１８０の視野内にある場合に、アクティブマーカが周期的または断続的に検出可能であるように、アクティブマーカは周期的または断続的に照明されてもよい。パッシブマーカは、ＨＭＤ１００の画像センサ１８０またはカメラ１８０の視野内にある場合、特定の条件下で検出可能であり得る。たとえば、パッシブマーカは、ＨＭＤ１００の画像センサ１８０またはカメラ１８０の視野内にある間に照明デバイス１５０によって照明されると、検出可能であり得る。アクティブマーカ２５０が、実質的に、常にオンであるか、または周期的／断続的にオンであるかにかかわらず、アクティブマーカ２５０の照明のための電力は、外部デバイス２００によって提供される。したがって、外部デバイス２００において消費される電力の量は、たとえば、外部デバイス２００の追跡のためにアクティブマーカのすべてまたはアクティブマーカのみが使用される配置と比較した場合、アクティブマーカ２５０とパッシブマーカ２４０との組み合わせを使用することによって低減され得る。アクティブマーカ２５０（複数可）とパッシブマーカ２４０との数および／または組み合わせ、ならびにアクティブマーカ２５０（複数可）とパッシブマーカ２４０との相対的な位置決めは、たとえば、外部デバイス２００の既知の物理的構成、マーカ２４０，２５０の検出可能性、および他のそのような要因に基づき得る。図４に示す配置例では、外部デバイス２００の例は、１つのパッシブマーカ２４０および２つのアクティブマーカ２５０（２５０Ａ，２５０Ｂ）を含み、インターフェースデバイス２１０は、説明および例示の目的で、実質的に長方形の構成を有する。いくつかの実装形態では、マーカの他の組み合わせが可能であり得る。たとえば、いくつかの実装形態では、外部デバイス２００は、１つのアクティブマーカと２つのパッシブマーカとを含んでもよい。いくつかの実装形態では、たとえば、外部デバイスの構成／サイズ／形状、マーカを検出する際のＨＭＤ１００のカメラ１８０の能力、外部デバイス２００の電力貯蔵容量、および他のそのような要因に応じて、アクティブマーカとパッシブマーカとの他の組み合わせが組み込まれてもよい。
【0045】
図４に示すシステム例では、ＨＭＤ１００の例の感知システム１６０は、上述のようなＩＭＵを含んでもよく、外部デバイス２００の例の感知システム２６０は、上述のようなＩＭＵを含んでもよい。それぞれのＩＭＵは、外部デバイス２００の位置および／または方位、たとえば、ＨＭＤ１００に対する外部デバイス２００の位置／方位の判定を少なくとも部分的に制約するために使用可能なデータを提供し得る。ユーザが外部デバイス２００を移動させることができるボリュームに向けられた画像センサ１８０またはカメラ１８０によって収集されたデータは、外部デバイス２００およびＨＭＤ１００の相対位置／方位の判定をさらに制約するために使用され得る。たとえば、カメラ１８０によってキャプチャされた画像内で検出された外部デバイス２００とＨＭＤ１００との間の既知の対応点は、外部デバイス２００とＨＭＤ１００との相対位置の判定をさらに制約し得る。
【0046】
いくつかの実装形態では、ＨＭＤ１００のカメラ１８０は、カメラ１８０の視野Ｄ内、および／またはユーザの前方のボリューム内で、たとえば、上述したようなマーカの形態の輝点を観察、または検出、またはキャプチャしてもよく、検出された輝点に関連する位置情報を検出してもよい。このように収集された位置情報は、外部デバイス２００とＨＭＤ１００との相対的な位置／方位の判定をさらに制約するために使用され得る。外部デバイス２００上のマーカがすべてアクティブマーカである配置では、アクティブマーカは、既に電力が制約されているデバイスにおいて比較的大量の電力を消費し得る。上述したように、外部デバイス２００においてこの目的のための電力消費を低減する目的で、ＨＭＤ１００に対する外部デバイス２００の位置を追跡するためのアクティブマーカの必要性を低減または排除することが有利であり得る。いくつかの実装形態では、図４に示す配置例におけるように、パッシブマーカ２４０とアクティブマーカ２５０との組み合わせが、電力を節約しながら、このようにＨＭＤ１００に対する外部デバイス２００の位置／方位の追跡を提供してもよい。
【0047】
特に、上述したように、図４に示す配置例において、外部デバイス２００の例は、外部デバイス２００上の第１の場所における第１のアクティブマーカ２５０Ａと、外部デバイス２００上の第２の場所における第２のアクティブマーカ２５０Ｂと、外部デバイス２００上の第３の場所におけるパッシブマーカ２４０とを含む。いくつかの実施態様では、パッシブマーカ２４０は、たとえば、外部デバイス２００からの電力を消費しないパッシブ再帰反射マーカでもよい。どちらかと言えば、（再帰反射マーカの形態の）パッシブマーカ２４０に入射する光は、反射され、照明源に向けられてもよい。たとえば、外部デバイス２００がＨＭＤ１００のカメラ１８０の視野内にあるとき、照明デバイス１５０によって放出された光は、パッシブ再帰反射マーカ２４０に照明デバイス１５０（およびそれに隣接するカメラ１８０）に向かって光を方向Ｄ３で反射させることができる。いくつかの実施態様では、照明デバイス１５０は、パッシブ再帰反射マーカ２４０からの光の反射が照明デバイス１５０に隣接するカメラ１８０に実質的に戻されるように、ＨＭＤ１００のカメラ１８０に隣接して位置決めされてもよい。いくつかの実装形態では、照明デバイス１５０はカメラ１８０内に組み込まれてもよい。このようにして、ＨＭＤ１００のカメラ１８０によるパッシブ再帰反射マーカ２４０によって反射された光の検出によって、ＨＭＤ１００がＨＭＤ１００に対するパッシブ再帰反射マーカ２４０の位置を識別することができ、この位置は、外部デバイス２００上の既知の第３の位置と関連付けられている。
【0048】
上述したように、図４に示す配置例では、外部デバイス２００の例は、外部デバイス２００上の第１の位置における第１のアクティブマーカ２５０Ａと、外部デバイス２００上の第２の位置における第２のアクティブマーカ２５０Ｂとを含む。アクティブマーカ２５０は、たとえば発光ダイオード（ＬＥＤ）などの光源を含み得る。第１のアクティブマーカ２５０Ａによって放出される光は、方向ＤＩに沿ってカメラ１８０によって検出可能であり、検出された点は、外部デバイス２００上の既知の第１の場所と関連付けられている。同様に、第２のアクティブマーカ２５０Ｂによって放出された光は、方向Ｄ２に沿ってカメラ１８０によって検出可能であり、検出された点は、外部デバイス２００上の既知の第２の位置に関連付けられている。いくつかの実装形態では、アクティブマーカ２５０は、アクティブマーカ２５０によって放出された光がユーザに見えないように、赤外領域の光を放出してもよい。いくつかの実装形態では、アクティブマーカ２５０Ａ，２５０Ｂの各々は、ＨＭＤ１００のカメラ１８０／プロセッサ１９０による検出および処理のために特定のアクティブマーカ２５０Ａ，２５０Ｂを識別する特定の特性を有する光を放出してもよい。たとえば、いくつかの実装形態では、第１のアクティブマーカ２５０Ａは、第１のアクティブマーカ２５０Ａを第２のアクティブマーカ２５０Ｂと区別するために、第２の強度を有する光を放出する第２のアクティブマーカ２５０Ｂとは異なる第１の強度を有する光を放出してもよい。いくつかの実装形態では、第１のアクティブマーカ２５０Ａは、第１のアクティブマーカ２５０Ａを第２のアクティブマーカ２５０Ｂと区別するために、第２のパターンを有する光を放出する第２のアクティブマーカ２５０Ｂとは異なる第１のパターンを有する光を放出してもよい。上述したように、いくつかの実装形態では、アクティブマーカ２５０Ａ，２５０Ｂのうちの１つまたは複数は、実質的に常にオン状態でもよく、それにより、外部デバイス２００がカメラ１８０の視野内にあるとき、照明デバイス１５０によって提供される照明を必要とすることなく、アクティブマーカ２５０Ａ，２５０Ｂは、カメラ１８０によって実質的に常に検出可能である。いくつかの実装形態では、アクティブマーカ２５０Ａ，２５０Ｂの各々は、外部デバイス２００の電力を節約するために、たとえば、アクティブマーカ２５０がＨＭＤ１００のカメラ１８０の既知の視野内にあるとき、設定された周期で周期的にまたは断続的に照明されてもよい。ＨＭＤ１００のカメラ１８０による、アクティブマーカ２５０によって放出される光の検出によって、ＨＭＤ１００がＨＭＤ１００に対するアクティブマーカ２５０の位置を識別することが可能になり、第１のアクティブマーカ２５０Ａおよび第２のアクティブマーカ２５０Ｂはそれぞれ、外部デバイス２００上の既知の第１の位置および第２の位置と関連付けられている。
【0049】
仮想コンテンツとのユーザ対話を容易にするために、ＨＭＤ１００のカメラ１８０によるマーカ２４０，２５０の組み合わせの検出に基づいて判定された位置情報を、ＩＭＵから受信された方位／加速度情報と共に使用して、ＨＭＤ１００に対する外部デバイス２００の６自由度（６ＤＯＦ）位置を追跡することが可能である。外部デバイス２００の６ＤＯＦ位置は、外部デバイス２００の座標位置、およびその座標位置における外部デバイス２００の方位または姿勢を表す。たとえば、Ｘ軸、Ｙ軸およびＺ軸に沿った外部デバイス２００の移動、ならびに外部デバイス２００の方位の変化に対応するＸ軸、Ｙ軸およびＺ軸を中心とした回転を追跡して、外部デバイス２００の６ＤＯＦ位置および方位を得ることができる。いくつかの実装形態では、ＩＭＵ（たとえば、外部デバイス２００のＩＭＵおよび／またはＨＭＤ１００のＩＭＵ）によって提供されるデータは、ＨＭＤ１００と外部デバイス２００との間の回転自由度（たとえば、３つの回転自由度のうちの少なくとも２つ）を制約するために処理され得る。外部デバイス２００の位置は、外部デバイス２００上のマーカ２４０，２５０の既知の幾何学的形状または配置、およびカメラ１８０の視野内のマーカ２４０，２５０の位置決めの検出に基づいて導出され得る。ＩＭＵ（複数可）によって提供される回転データと、上述したようにマーカ２４０，２５０の組み合わせの検出によって得ることができる位置データとの融合によって、ＨＭＤに対する外部デバイス２００の６ＤＯＦ追跡が可能になり得る。
【0050】
上述したように、図４に示すスマートウォッチ２００の例などの電力制限された外部デバイスでは、外部デバイス２００上の既知の位置における１つ以上のアクティブマーカ２５０と組み合わせた外部デバイス２００上の既知の位置（複数可）における１つ以上のパッシブ再帰反射マーカ２４０の使用によって、ＨＭＤ１００に対する外部デバイス２００の位置の追跡（すなわち、ＨＭＤ１００に対する外部デバイス２００の６ＤＯＦ追跡）の問題に対する比較的低電力の解決策がもたらされ得る。上述したように、いくつかの実装形態では、外部デバイス２００は、外部デバイス２００（およびアクティブマーカ（複数可）２５０）がＨＭＤ１００のカメラ１８０の視野内にあるときのみアクティブマーカ（複数可）２５０がオンになるように制御されてもよい。このように、ＨＭＤ１００に対する外部デバイス２００の６ＤＯＦ追跡を達成するために外部デバイス２００において消費される電力を、さらに低減することができる。
【0051】
いくつかの実装形態では、ＨＭＤ１００は、カメラ１８０の視野内の外部デバイス２００の検出に応答して照明デバイス１５０が光を放出するように、照明デバイス１５０の動作を制御してもよい。いくつかの実装形態では、ＨＭＤ１００は、たとえば、ＩＭＵ（複数可）から受信されたデータと、受信されたＩＭＵデータに基づく外部デバイス２００の予測された移動方向および／または速度とに基づいて、外部デバイス２００がカメラ１８０の視野内へ移動することを予想して照明デバイス１５０が光を放出するように、照明デバイス１５０の動作を制御してもよい。同様に、いくつかの実装形態では、外部デバイス２００は、たとえば、ＨＭＤ１００のカメラ１８０の既知の視野にあるとき、アクティブマーカ２５０Ａ，２５０Ｂが周期的または断続的に光を放出するように、第１のアクティブマーカ２５０Ａおよび第２のアクティブマーカ２５０Ｂの動作を制御してもよい。
【0052】
図５は、本明細書で説明する実装形態に係る、動作時間のブロック例内のシステムの動作パターン例を示すチャートである。動作時間のブロック例内のシステムの動作のための時間パターンのこの例では、説明および例示の目的で、外部デバイス２００およびその上のマーカ２４０，２５０がＨＭＤ１００のカメラ１８０によって検出可能であるように、外部デバイス２００がカメラ１８０の視野内にあると仮定することができる。この動作時間のブロック例では、カメラ１８０は、図示される各期間の間、実質的に常にオンのままである。期間１および２の例の間、照明デバイス１５０はオン状態であり、（１つ以上の）パッシブ再帰反射マーカ２４０の位置は、照明デバイス１５０／カメラ１８０に反射して戻る光に基づいて検出することができる。期間３および４の例の間、照明デバイス１５０はオフ状態であり、したがって、パッシブ再帰反射マーカ２４０の位置は期間３および４では検出されない。期間３の例の間、第１のアクティブマーカ２５０Ａはオン状態であり（第２のアクティブマーカ２５０Ｂはオフであり）、第１のアクティブマーカ２５０Ａの位置が、第１のアクティブマーカ２５０Ａとカメラ１８０との間で検出される光に基づいて検出され得る（カメラ１８０と第１のアクティブマーカ２５０Ａとの間の視線ＤＩに沿って検出可能である）。期間４の例の間、第２のアクティブマーカ２５０Ｂはオン状態であり（第１のアクティブマーカ２５０Ａはオフであり）、第２のアクティブマーカ２５０Ｂの位置は、第２のアクティブマーカ２５０Ｂとカメラ１８０との間で検出される光に基づいて検出され得る（カメラ１８０と第２のアクティブマーカ２５０Ｂとの間の視線Ｄ２に沿って検出可能である）。期間５，６，７および８の例の間、照明デバイス１５０は再びオン状態であり、（１つ以上の）パッシブ再帰反射マーカ２４０の更新された位置が、照明デバイス１５０／カメラ１８０に反射して戻る光に基づいて検出され得る。図５では、第１のアクティブマーカ２５０Ａの例は、期間３の例の間のみ照明されるように示され、第２のアクティブマーカ２５０Ｂの例は、期間４の例の間のみ照明されるように示されている。しかしながら、いくつかの実装形態では、アクティブマーカ２５０Ａ，２５０Ｂは、関連する期間の間の外部デバイス２００の位置の判定用の追加のデータを提供するために、実質的に常にオン状態でもよく、または期間３および４より長い間（照明デバイス１５０がオン状態であるか否かにかかわらず）オン状態でもよい。
【0053】
いくつかの実装形態では、外部デバイス２００とＨＭＤ１００との間に共通クロックが確立されてもよい。共通クロックは、カメラ１８０がフレームを記録する時間を、（パッシブ再帰反射マーカ２５０の検出を容易にするために）照明デバイス１５０がオンである時間と調整または同期させるために使用され得る。同様に、共通クロックは、カメラ１８０がフレームを記録する時間と、アクティブマーカ２５０が照明される時間とを調整または同期させるために使用され得る。このように共通クロックに従って動作を同期させることにより、パッシブ再帰反射マーカ（複数可）２４０およびアクティブマーカ（複数可）２５０のそれぞれの位置の記録を同期させることが可能になる。アクティブオン時間が減ることによって、外部デバイス２００だけでなく、ＨＭＤ１００における電力消費がさらに低減され得る。概して、フレーム記録時間が減少するにつれて、（アクティブマーカ２５０によって、および照明デバイス１５０によって放出される）光の強度は、追跡データを改善するように（減少したフレーム記録時間に対して）増加され得る。
【0054】
いくつかの実施態様では、パッシブ再帰反射マーカ（複数可）２４０は、外部デバイス２００の外観を改善するために、パッシブ再帰反射マーカ（複数可）２４０がユーザに見えないように、外部デバイス２００の表面で見えにくくされてもよい。たとえば、いくつかの実施態様では、パッシブ再帰反射マーカ（複数可）２４０は、パッシブ再帰反射マーカ（複数可）２４０が上述したように光を反射することができるがユーザには見えないように、視覚的に不透明で赤外光を透過するコーティングまたは層の背後に位置してもよい。
【0055】
図６Ａ～図６Ｄは、本明細書で説明する実装形態に係る、図４に示すシステム例などのシステムの使用を示す。図６Ａ～図６Ｄでは、システム例は、単に説明および例示を容易にするために、上述のＨＭＤ１００の例またはスマートグラス１００の形態の表示デバイスの例と、上述のスマートウォッチ２００の例の形態の外部デバイスの例とを含む。
【0056】
図６Ａに示すように、ユーザは、表示デバイス１００またはＨＭＤ１００と、外部デバイス２００またはスマートウォッチ２００とを使用して、ＨＭＤ１００によってユーザに表示される仮想コンテンツを眺め、それと対話することができる。たとえば、ユーザは、仮想コンテンツを表示するコマンドを発行してもよい。いくつかの実装形態では、ユーザは、たとえば、ＨＭＤ１００の制御デバイスまたは外部デバイス２００の制御デバイスの操作、ＨＭＤ１００または外部デバイス２００に発行された音声コマンド、ジェスチャコマンド、および仮想コンテンツを表示するコマンドを実装する他のそのようなモードによってコマンドを発行してもよい。いくつかの実装形態では、上述したようなＨＭＤ１００に対する外部デバイス２００の位置および／または方位の追跡によって、ＨＭＤ１００によってユーザに表示される仮想コンテンツが外部デバイス２００に取り付けられるか、またはオーバーレイされてもよい。仮想コンテンツがユーザの視野内で浮かんでいるように見える態様でユーザに仮想コンテンツが表示されると、特に、ユーザが外部デバイス２００のインターフェースデバイス２１０のいずれかやジェスチャなどを使用して仮想コンテンツと対話することになる場合、やや非現実的でやや不快な体験をユーザに提供する可能性がある。表示された仮想コンテンツをこのように外部デバイス２００に取り付けることによって、より固定された、より現実的な体験をユーザに提供し得る。表示された仮想コンテンツをこのように外部デバイスに取り付けることにより、特に外部デバイス２００が仮想コンテンツとのユーザの対話に関与することになる場合に、仮想コンテンツとの対話を容易にし得る。
【0057】
図６Ｂは、表示する仮想コンテンツを選択するための外部デバイス２００のインターフェースデバイス２１０のユーザ操作を示す。この例では、ユーザは、単に説明および例示の目的で、表示する仮想コンテンツを選択するために、外部デバイス２００のタッチ面２２０上の外部でタッチを行う。しかしながら、上述したように、他のタイプのユーザ外部／コマンドが、仮想コンテンツを選択および表示させるために実装されてもよい。
【0058】
ＨＭＤ１００によって表示される仮想コンテンツのユーザ選択に応答して、図６Ｃに示されるように、仮想コンテンツ３００がＨＭＤ１００によってユーザに表示され得る。図６Ｃに示す配置例では、仮想コンテンツ３００は、外部デバイス２００が第１の位置／方位にある状態で、外部デバイス２００に取り付けられるか、またはそれと位置合わせされる。図６Ｄに示す配置例では、ユーザは、外部デバイス２００を第２の位置／方位に移動させており、仮想コンテンツ３００は、外部デバイス２００に取り付けられたままであり、第２の位置／方位に外部デバイス２００を追跡している。図６Ｄでは、ユーザは、たとえば、外部デバイス２００のタッチ面２２０上のタッチ入力を通して、仮想コンテンツ３００と対話している。いくつかの実装形態では、ユーザは、たとえば、音声コマンド、ジェスチャコマンド、外部デバイス２００の他の入力機構の操作、ＨＭＤ１００の入力機構の操作など、他の方法で仮想コンテンツ３００と対話してもよい。いくつかの実装形態では、仮想コンテンツ３００は、たとえば、さらに別のユーザ入力または対話なしに、情報目的でユーザに表示されてもよい。
【0059】
上述したような表示デバイス１００の例および外部デバイス２００の例を含むシステム例は、ＨＭＤ１００に対する外部デバイス２００の６ＤＯＦ位置を追跡するためのデータを提供するために、外部デバイス２００上の既知の配置および位置決めと共に、アクティブマーカ２４０とパッシブマーカ２５０との組み合わせを利用する。状況によっては、カメラ１８０は、個々のパッシブマーカ（これらは、アクティブマーカのように異なる出力強度および／または出力パターンを有することができない）を区別することが困難なことがある。たとえば、状況によっては、外部デバイス２００の幾何学的形状または構成は、上述したスマートウォッチの例の形態の外部デバイス２００の例のインターフェースデバイス２１０など、比較的小さくてもよい。この例では、外部デバイス２００のサイズ／構成に起因して、複数の非アクティブマーカは必然的に互いに比較的近く、特に外部デバイス２００がユーザの前方のボリューム内で移動している場合、互いに区別することが困難である。したがって、１つ以上のアクティブマーカを使用して、外部デバイス２００のインターフェースデバイス２１０の相対的な幾何学的形状およびマーカ２４０，２５０の相対的な位置決についての基準系を確立することが可能である。
【0060】
スマートウォッチ２００の例の形態の外部デバイス２００の例が、外部デバイス２００のバンド２８０の背面側に第１のパッシブ再帰反射マーカ４４０Ａおよび第２のパッシブ再帰反射マーカ４４０Ｂを含む実装形態が図７に示されている。図７に示す配置例では、第１のパッシブ再帰反射マーカ４４０Ａと第２のパッシブ再帰反射マーカ４４０Ｂとの間の距離を、ＨＭＤ１００のカメラ１８０が、照明デバイス１５０によって放出された光に応答して明スポットと、第１の再帰反射マーカ４４０Ａおよび第２の再帰反射マーカ４４０Ｂからの反射とを区別するのに、十分になるよう大きくすることができる。この配置では、（外部デバイス２００のインターフェースデバイス２１０は、この方位での入力のためにユーザにとっていくらかアクセス不可能なことがあるため）仮想コンテンツの表示は、たとえば、ユーザの手のひらに固定または取り付け可能である。ＨＭＤ１００がジェスチャ認識可能であるいくつかの実装形態では、ユーザは、ハンドジェスチャを使用して仮想コンテンツと対話してもよい。いくつかの実施態様では、図７に示す方位での第１のパッシブ再帰反射マーカ４４０Ａおよび第２のパッシブ再帰反射マーカ４４０Ｂの検出は、モード切り替えを示し得る。
【0061】
本明細書で説明する実装形態に係る、ヘッドマウントディスプレイ（ＨＭＤ）デバイスに対して外部補助／入力デバイスを追跡する方法８００が図８に示される。上述したように、外部デバイスは、たとえば、図４に示すスマートウォッチ２００の例、またはＨＭＤと動作可能に結合され得る他のタイプのデバイスであり得る。ＨＭＤは、たとえば、図４に示すスマートグラス１００の例、または仮想コンテンツをユーザに表示することができる他のタイプの表示デバイスであり得る。ＨＭＤおよび外部デバイスが起動され、ペアリングされた後（ブロック８１０）、ＨＭＤに対する外部デバイスの位置データが、ＨＭＤの点追跡カメラによって収集され得る（ブロック８２０）。詳細に上述したように、ＨＭＤの点追跡カメラによるデータの収集は、たとえば、アクティブマーカおよびパッシブマーカの組み合わせ、ならびにそれぞれに関連付けられた外部デバイス上のそれぞれの位置の検出を含み得る。外部デバイスの位置情報の検出は、外部デバイスが点追跡カメラの視野内にある間に行われてもよい。パッシブマーカおよび外部デバイス上の関連する位置の検出は、図５に示されるように、ＨＭＤの照明デバイスの動作と共に実行され得る。加速度データおよび方位データは、外部デバイスのＩＭＵから、および／またはＨＭＤのＩＭＵから収集され得る（ブロック８３０）。データ合成は、外部デバイスの位置および移動を追跡するために、ＨＭＤおよび外部デバイスによって実行され得る。たとえば、ＨＭＤの点追跡カメラによって収集された位置データならびにＩＭＵ（複数可）によって収集された加速度データおよび／または方位データは、実質的に連続して収集および処理され得る。現時点において取得された位置および移動および／または方位データは、データが連続して収集、処理、および／または合成されるにつれて連続して更新される移動軌道を判定するように、前の時点における位置および移動および／または方位データと比較されてもよい（ブロック８４０）。ＨＭＤに対する外部デバイスの位置および方位の追跡は、たとえば、図６Ａ～図６Ｄに関して上述したように、仮想コンテンツを外部デバイスに取り付けるために使用可能である。このプロセスは、体験が終了したと判定されるまで繰り返し実行され得る（ブロック８５０）。
【0062】
上述したように、いくつかの実装形態では、ＨＭＤ１００は、外部デバイス２００の１つ以上の基準マーカまたは参照マーカの検出に応答して、外部デバイス（複数可）２００を検出および／または位置特定してもよい。いくつかの実装形態では、基準マーカ（複数可）または参照マーカ（複数可）は、外部デバイス２００によって生成されてもよい。いくつかの実装形態では、外部デバイス２００は、たとえば、外部デバイス２００がＨＭＤ１００のカメラ１８０の視野Ｄ内に移動したことに応答して、基準マーカを生成してもよい。いくつかの実装形態では、基準マーカ（複数可）は、たとえば、デバイス２００が検出／位置特定されると外部デバイス２００の６ＤＯＦ位置を追跡する上述した方法などの他の追跡方法を用いて、ＨＭＤ１００のカメラ１８０の視野Ｄへの外部デバイス２００の進入を検出すること、外部デバイス２００の位置を確立することなどに使用可能である。いくつかの実装形態では、システムは、ＨＭＤ１００に対する外部デバイス２００の６ＤＯＦ追跡を実行するために基準マーカ（複数可）に依拠し続けることができる。いくつかの実装形態では、基準マーカ（複数可）は、外部デバイス２００の検出および／または位置特定および／または追跡を容易にするように、具体的に生成される。いくつかの実装形態では、基準マーカ（複数可）は、外部デバイス２００の検出および／または位置特定および／または追跡に特有の基準マーカを生成することなく、たとえば、外部デバイス２００の画面状態等の外部デバイス２００の既知の特性を含む。
【0063】
図９Ａ～９Ｄは、本明細書で説明する実装形態に係る、基準マーカの検出に基づく外部デバイス２００の例の検出および／または位置特定を概略的に示す。図９Ａ～９Ｄに示す例では、外部デバイス２００は、単に説明および例示の目的で、ハンドヘルドデバイスまたはスマートフォンの形態である。本明細書で説明する原理は、たとえば、上述のスマートウォッチ、およびＨＭＤ１００と通信することができる他のそのようなデバイスなど、他のタイプの外部デバイスに適用され得る。
【0064】
上述したように、この例では、外部デバイス２００およびＨＭＤ１００は、外部デバイス２００とＨＭＤ１００との間の通信および対話を提供するために、動作可能に結合またはペアリングされている。この例では、外部デバイス２００のインターフェースデバイス２１０の表示部２３０にさまざまな項目が表示されている。図９Ａに示す配置例では、時間ウィジェットＴと、天気ウィジェットＷと、第１のアプリケーションを表す第１のアイコンＡと、第２のアプリケーションを表す第２のアイコンＢと、第３のアプリケーションを表す第３のアイコンＣとが、外部デバイス２００の表示部２３０に表示されている。
【0065】
図９Ａでは、外部デバイス２００は、ＨＭＤ１００のカメラ１８０の視野Ｄの外側にある。図９Ｂおよび図９Ｃでは、ユーザは、外部デバイス２００をＨＭＤ１００のカメラ１８０の視野Ｄに向かって、およびその中に移動させている。
【0066】
いくつかの実装形態では、外部デバイス２００およびＨＭＤ１００の動作可能に結合された状態またはペアリングされた状態において、ペアリングされた状態のＨＭＤ１００に知られている外部デバイス２００の画面状態は、ＨＭＤ１００のカメラ１８０の視野Ｄ内の外部デバイス２００を検出および／または位置特定および／または追跡するために使用可能な基準マーカを定義し得る。たとえば、いくつかの実装形態では、ウィジェットＴおよびＷならびにアプリケーションおよび／または外部デバイス２００の表示部２３０上のそれらのそれぞれの位置を表すアイコンＡ，ＢおよびＣのうちの１つまたは複数は、１つ以上の基準マーカを定義してもよい。いくつかの実装形態では、ウィジェットＴおよびＷの両方を３つのアイコンＡ，ＢおよびＣと共に含む、全体としての画面状態は、一緒に基準マーカを定義してもよい。
【0067】
図９Ｃに示すように、外部デバイス２００がカメラ１８０の視野内に移動すると、カメラ１８０は、外部デバイス２００の画面状態によって定義される１つ以上の基準マーカを検出し得る。このような基準マーカ（複数可）の検出に応答して、システムは、外部デバイス２００を検出／認識および／または位置特定することができ、基準マーカ（複数可）または図４～図６Ｄに関して上述した追跡方法、または、ＨＭＤ１００に対する外部デバイス２００の６ＤＯＦ位置を追跡する他の方法を使用して、外部デバイスの６ＤＯＦ位置を追跡することができる。
【0068】
カメラ１８０が実質的に常にオンであるいくつかの実装形態では、カメラ１８０は、外部デバイス２００がＨＭＤ１００のカメラ１８０の視野内に移動されるときに、１つ以上の基準マーカを実質的に連続して走査し、検出することができる。いくつかの実装形態では、図９Ａに示す位置から図９Ｃに示す位置への外部デバイス２００の移動、および外部デバイス２００の方位の対応する変化は、ジェスチャコマンドを定義してもよい。いくつかの実装形態では、このタイプのジェスチャコマンドは、（たとえば、カメラ１８０がアイドル状態である状況で）外部デバイス２００をスキャンするように、ＨＭＤ１００のカメラ１８０をトリガしてもよい。
【0069】
いくつかの実装形態では、このタイプのジェスチャコマンドは、基準マーカを生成するように外部デバイス２００をトリガするウェイクアップジェスチャを定義し得る。たとえば、外部デバイス２００がアイドル状態にあり、表示部２３０にほとんどまたは全く表示されていない状況では、このタイプのジェスチャコマンドは、最終画面状態（これは、ペアリング状態の外部デバイス２００とＨＭＤ１００との両方に知られている）を表示するように、外部デバイス２００をトリガし得る。いくつかの実装形態では、このタイプのジェスチャコマンドは、図９Ｄに示されるように、外部デバイス２００の検出および追跡に特有である基準マーカ９００を表示するように、外部デバイス２００をトリガしてもよい。図９Ｄに示される基準マーカ９００の例は、単に説明および例示の目的で、クイックレスポンス（quick response：ＱＲ）コード（登録商標）である。ユーザによって生成および記憶された基準マーカを含む、他のタイプの基準マーカが、同様に生成および表示されてもよい。いくつかの実装形態では、ジェスチャコマンドは、図９Ｄに示す基準マーカ９００の表示をアイドル画面状態からトリガすることができる。いくつかの実装形態では、図９Ｄに示す基準マーカ９００は、たとえば、外部デバイス２００の検出および追跡を容易にするために、アクティブ画面状態（たとえば、ウィジェットＴおよびＷならびにアイコンＡ，ＢおよびＣを含む）から生成および表示可能である。
【0070】
いくつかの実装形態では、外部デバイス２００に関連付けられた基準マーカが、外部デバイス２００の既知の外周輪郭によって画定されてもよい。たとえば、動作可能に結合／ペアリングされた状態において、上述のようなジェスチャコマンドが、外部デバイス２００の検出された外周輪郭に基づいて、カメラ１８０の視野内の外部デバイス２００を検出／認識するように、ＨＭＤ１００のカメラ１８０をトリガし得る。
【0071】
図１０は、本明細書で説明する技法と共に使用され得るコンピュータデバイス１３００およびモバイルコンピュータデバイス１３５０の一例を示す。コンピューティングデバイス１３００は、プロセッサ１３０２と、メモリ１３０４と、ストレージデバイス１３０６と、メモリ１３０４および高速拡張ポート１３１０に接続する高速インターフェース１３０８と、低速バス１３１４およびストレージデバイス１３０６に接続する低速インターフェース１３１２とを含む。構成要素１３０２，１３０４，１３０６，１３０８，１３１０および１３１２の各々は、さまざまなバスを使用して相互接続されており、共通のマザーボード上に、または必要に応じて他の態様で実装され得る。プロセッサ１３０２は、高速インターフェース１３０８に結合されたディスプレイ１３１６などの外部入出力デバイス上にＧＵＩのためのグラフィカル情報を表示するために、メモリ１３０４またはストレージデバイス１３０６に記憶された命令を含む、コンピューティングデバイス１３００内で実行するための命令を処理することができる。他の実装形態では、複数のプロセッサおよび／または複数のバスが、必要に応じて、複数のメモリおよび複数のタイプのメモリと共に使用されてもよい。また、複数のコンピューティングデバイス１３００が接続されてもよく、各デバイスは、（たとえば、サーババンクとして、ブレードサーバのグループとして、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。
【0072】
メモリ１３０４は、コンピューティングデバイス１３００内の情報を記憶する。一実装形態では、メモリ１３０４は、１つ以上の揮発性メモリユニットである。別の実装形態では、メモリ１３０４は、１つ以上の不揮発性メモリユニットである。メモリ１３０４はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ読取可能媒体でもよい。
【0073】
ストレージデバイス１３０６は、コンピューティングデバイス１３００のための大容量ストレージを提供可能である。一実装形態では、ストレージデバイス１３０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイスなどのコンピュータ読取可能媒体、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成内のデバイスを含むデバイスのアレイであるか、またはそれらを含み得る。コンピュータプログラム製品は、情報担体において有形に具現化することができる。コンピュータプログラム製品はまた、実行されると、上述したものなどの１つ以上の方法を実行する命令を含み得る。情報担体は、メモリ１３０４、ストレージデバイス１３０６、またはプロセッサ１３０２上のメモリなどのコンピュータ読取可能媒体または機械読取可能媒体である。
【0074】
高速コントローラ１３０８は、コンピューティングデバイス１３００のための帯域幅集約型動作を管理し、低速コントローラ１３１２は、より低い帯域幅集約型動作を管理する。そのような機能の割り当ては、一例に過ぎない。一実装形態では、高速コントローラ１３０８は、メモリ１３０４、ディスプレイ１３１６（たとえば、グラフィックスプロセッサまたはアクセラレータを介する）、およびさまざまな拡張カード（図示せず）を受け付けることができる高速拡張ポート１３１０に結合されている。この実装形態では、低速コントローラ１３１２は、ストレージデバイス１３０６および低速拡張ポート１３１４に結合されている。さまざまな通信ポート（たとえば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスといった１つ以上の入出力デバイスに、たとえばネットワークアダプタを介して結合され得る。
【0075】
コンピューティングデバイス１３００は、図に示されるように、多くの異なる形態で実装され得る。たとえば、標準サーバ１３２０として、またはそのようなサーバのグループ内で複数回、実装されてもよい。また、ラックサーバシステム１３２４の一部として実装されてもよい。くわえて、ラップトップコンピュータ１３２２などのパーソナルコンピュータにおいて実装されてもよい。代替的に、コンピューティングデバイス１３００からの構成要素は、デバイス１３５０などのモバイルデバイス（図示せず）内の他の構成要素と組み合わされ得る。そのようなデバイスの各々は、コンピューティングデバイス１３００，１３５０のうちの１つまたは複数を含んでもよく、システム全体は、互いに通信する複数のコンピューティングデバイス１３００，１３５０で構成されてもよい。
【0076】
コンピューティングデバイス１３５０は、特に、プロセッサ１３５２と、メモリ１３６４と、ディスプレイ１３５４などの入出力デバイスと、通信インターフェース１３６６と、トランシーバ１３６８とを含む。デバイス１３５０はまた、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスを備え得る。構成要素１３５０，１３５２，１３６４，１３５４，１３６６および１３６８の各々は、さまざまなバスを使用して相互接続され、構成要素のうちのいくつかは、共通のマザーボード上に、または必要に応じて他の態様で実装され得る。
【0077】
プロセッサ１３５２は、メモリ１３６４に格納された命令を含む、コンピューティングデバイス１３５０内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサは、たとえば、ユーザインターフェースの制御、デバイス１３５０によって実行されるアプリケーション、およびデバイス１３５０によるワイヤレス通信など、デバイス１３５０の他の構成要素の調整を提供し得る。
【0078】
プロセッサ１３５２は、ディスプレイ１３５４に結合された制御インターフェース１３５８および表示インターフェース１３５６を通してユーザと通信し得る。ディスプレイ１３５４は、たとえば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）およびＬＥＤ（発光ダイオード）またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。表示インターフェース１３５６は、グラフィカル情報および他の情報をユーザに提示するようにディスプレイ１３５４を駆動するための適切な回路を含み得る。制御インターフェース１３５８は、ユーザからコマンドを受信し、それらをプロセッサ１３５２にサブミットするために変換し得る。くわえて、外部インターフェース１３６２は、他のデバイスとのデバイス１３５０の近距離通信を可能にするように、プロセッサ１３５２と通信して提供され得る。外部インターフェース１３６２は、たとえば、いくつかの実装形態では有線通信を提供してもよく、または他の実装形態では無線通信を提供してもよく、複数のインターフェースが使用されてもよい。
【0079】
メモリ１３６４は、コンピューティングデバイス１３５０内の情報を格納する。メモリ１３６４は、１つ以上のコンピュータ読取可能媒体、１つ以上の揮発性メモリユニット、または１つ以上の不揮発性メモリユニットのうちの１つまたは複数として実装可能である。拡張メモリ１３７４はまた、たとえばＳＩＭＭ（Single In-Line Memory Module）カードインターフェースを含み得る拡張インターフェース１３７２を介して提供され、デバイス１３５０に接続され得る。そのような拡張メモリ１３７４は、デバイス１３５０のための余分な記憶空間を提供してもよい、またはデバイス１３５０のためのアプリケーションもしくは他の情報を格納してもよい。具体的には、拡張メモリ１３７４は、上述したプロセスを実行または補足するための命令を含んでもよく、セキュア情報も含んでもよい。したがって、たとえば、拡張メモリ１３７４は、デバイス１３５０のためのセキュリティモジュールとして提供されてもよく、デバイス１３５０の安全な使用を可能にする命令でプログラムされてもよい。さらに、ハッキング不可能な態様でＳＩＭＭカード上に識別情報を配置するなど、追加の情報と共に、安全なアプリケーションがＳＩＭＭカードを介して提供されてもよい。
【0080】
メモリは、以下で説明するように、たとえば、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実装形態では、コンピュータプログラム製品は、情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると、上述の方法などの１つ以上の方法を実行する命令を含む。情報担体は、メモリ１３６４、拡張メモリ１３７４、またはプロセッサ１３５２上のメモリ等のコンピュータ読取可能媒体または機械読取可能媒体であり、たとえば、トランシーバ１３６８または外部インターフェース１３６２を介して受信されてもよい。
【0081】
デバイス１３５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェース１３６６を介して、無線で通信し得る。通信インターフェース１３６６は、特に、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、もしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、もしくはＧＰＲＳなどのさまざまなモードまたはプロトコルの下での通信を提供し得る。そのような通信は、たとえば、無線周波数トランシーバ１３６８を通して発生し得る。さらに、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）の使用などによって、短距離通信が発生し得る。くわえて、ＧＰＳ（全地球測位システム）受信機モジュール１３７０は、デバイス１３５０上で実行されるアプリケーションによって適宜使用され得る追加のナビゲーション関連無線データおよび位置関連無線データを、デバイス１３５０に提供し得る。
【0082】
デバイス１３５０はまた、ユーザからの発話情報を受信してそれを使用可能なデジタル情報に変換し得る音声コーデック１３６０を使用して、可聴的に通信可能である。音声コーデック１３６０は、同様に、たとえばデバイス１３５０のハンドセット内のスピーカを通じてなど、ユーザのための可聴音を生成し得る。そのような音は、音声電話通話からの音を含んでもよく、録音された音（たとえば、音声メッセージ、音楽ファイルなど）を含んでもよく、デバイス１３５０上で動作するアプリケーションによって生成された音を含んでもよい。
【0083】
コンピューティングデバイス１３５０は、図に示されるように、多くの異なる形態で実装され得る。たとえば、携帯電話１３８０として実装されてもよい。また、スマートフォン１３８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実装されてもよい。
【0084】
本明細書で説明するシステムおよび技法のさまざまな実装は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらのさまざまな実装形態は、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスに対するデータおよび命令の受信もしくは送信を行うように結合された、専用または汎用であり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能である１つ以上のコンピュータプログラムにおける実装形態を含み得る。
【0085】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラマブルプロセッサのための機械命令を含み、高水準手続き型および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ／機械言語で実装可能である。本明細書で使用される場合、「機械読取可能媒体」、「コンピュータ読取可能媒体」という用語は、機械読取可能信号として機械命令を受信する機械読取可能媒体を含む、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置、および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。「機械読取可能信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
【0086】
ユーザとの対話を提供するために、本明細書で説明するシステムおよび技法は、情報をユーザに表示するための表示デバイス（ＬＥＤ（発光ダイオード）またはＯＬＥＤ（有機ＬＥＤ）またはＬＣＤ（液晶ディスプレイ）モニタ／画面）と、ユーザが入力をコンピュータに提供することができるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実装することができる。他の種類のデバイスを使用して、ユーザとの対話を提供することもでき、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）でもよく、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信することができる。
【0087】
本明細書で説明するシステムおよび技法は、（たとえば、データサーバとして）バックエンド構成要素を含むコンピューティングシステム、またはミドルウェア構成要素（たとえば、アプリケーションサーバ）を含むコンピューティングシステム、またはフロントエンド構成要素（たとえば、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータであって、それを通して、ユーザが本明細書で説明するシステムおよび技法の実装と対話することができるクライアントコンピュータ）を含むコンピューティングシステム、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせにおいて、実装可能である。システムの構成要素は、デジタルデータ通信（たとえば、通信ネットワーク）の任意の形態または媒体によって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットを含む。
【0088】
コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、概して、互いに遠隔地にあり、典型的には、通信ネットワークを通して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。
【0089】
いくつかの実装形態では、図示されるコンピューティングデバイスは、物理空間内の挿入されたコンテンツを閲覧するための拡張環境を生成するために、ＡＲヘッドセット／ＨＭＤデバイス１３９０とインターフェースするセンサを含み得る。たとえば、コンピューティングデバイス１３５０または図示される他のコンピューティングデバイス上に含まれる１つ以上のセンサは、ＡＲヘッドセット１３９０に入力を提供するか、または概して、ＡＲ空間に入力を提供することができる。これらのセンサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、バイオメトリックセンサ、温度センサ、湿度センサ、および周囲光センサを含むことができるが、それらに限定されない。コンピューティングデバイス１３５０は、センサを使用して、次にＡＲ空間への入力として使用することができるＡＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を判定することができる。たとえば、コンピューティングデバイス１３５０は、コントローラ、レーザポインタ、キーボード、武器などの仮想オブジェクトとしてＡＲ空間に組み込まれ得る。ＡＲ空間に組み込まれたときのユーザによるコンピューティングデバイス／仮想オブジェクトの位置決めによって、ユーザが、ＡＲ空間において特定の態様で仮想オブジェクトを眺められるように、コンピューティングデバイスを位置決めすることが可能になる。たとえば、仮想オブジェクトがレーザポインタを表す場合、ユーザは、それがあたかも実際のレーザポインタであるかのようにコンピューティングデバイスを操作することができる。ユーザは、コンピューティングデバイスを左右、上下、円形などに移動させ、レーザポインタを使用するのと同様の方法でデバイスを使用することができる。いくつかの実装形態では、ユーザは、仮想レーザポインタを使用して、目標位置に狙いを定めることができる。
【0090】
いくつかの実装形態では、コンピューティングデバイス１３５０上に含まれる、またはそれに接続する１つ以上の入力デバイスが、ＡＲ空間への入力として使用可能である。入力デバイスは、タッチスクリーン、キーボード、１つ以上のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイクロフォン、入力機能を有するイヤホンまたはイヤーバッド、ゲームコントローラ、または他の接続可能入力デバイスを含み得るが、それらに限定されない。コンピューティングデバイスがＡＲ空間に組み込まれるときにコンピューティングデバイス１３５０上に含まれる入力デバイスと対話するユーザは、ＡＲ空間内で特定のアクションを発生させることができる。
【0091】
いくつかの実装形態では、コンピューティングデバイス１３５０のタッチスクリーンは、ＡＲ空間内のタッチパッドとしてレンダリングされ得る。ユーザは、コンピューティングデバイス１３５０のタッチスクリーンと対話することができる。対話は、たとえばＡＲヘッドセット１３９０において、ＡＲ空間内のレンダリングされたタッチパッド上移動としてレンダリングされる。レンダリングされた移動は、ＡＲ空間内の仮想オブジェクトを制御することができる。
【0092】
いくつかの実装形態では、コンピューティングデバイス１３５０上に含まれる１つ以上の出力デバイスは、ＡＲ空間内のＡＲヘッドセット１３９０のユーザに、出力および／またはフィードバックを提供することができる。出力およびフィードバックは、視覚的、触覚的、または聴覚的であり得る。出力および／またはフィードバックは、振動、１つ以上のライトもしくはストロボのオンおよびオフもしくは点滅および／または点滅、アラームを鳴らすこと、チャイムを再生すること、曲を再生すること、およびオーディオファイルを再生することを含み得るが、それらに限定されない。出力デバイスは、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを含み得るが、それらに限定されない。
【0093】
いくつかの実装形態では、コンピューティングデバイス１３５０は、コンピュータ生成３Ｄ環境において別のオブジェクトとして現れてもよい。ユーザによるコンピューティングデバイス１３５０との対話（たとえば、タッチスクリーンを回転させる、振る、タッチスクリーンに触れる、タッチスクリーンを横切って指をスワイプする）は、ＡＲ空間内のオブジェクトとの対話として解釈可能である。ＡＲ空間内のレーザポインタの例では、コンピューティングデバイス１３５０は、コンピュータ生成３Ｄ環境内の仮想レーザポインタとして現れる。ユーザがコンピューティングデバイス１３５０を操作すると、ＡＲ空間内のユーザは、レーザポインタの移動が見える。ユーザは、コンピューティングデバイス１３５０上またはＡＲヘッドセット１３９０上のＡＲ環境におけるコンピューティングデバイス１３５０との対話からフィードバックを受信する。コンピューティングデバイスとのユーザの対話は、制御可能デバイスのためのＡＲ環境内で生成されるユーザインターフェースとの対話に変換され得る。
【0094】
いくつかの実装形態では、コンピューティングデバイス１３５０はタッチスクリーンを含み得る。たとえば、ユーザは、タッチスクリーンと対話して、制御可能デバイスのためのユーザインターフェースと対話することができる。たとえば、タッチスクリーンは、制御可能デバイスの特性を制御することができるスライダ等のユーザインターフェース要素を含み得る。
【0095】
コンピューティングデバイス１３００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータを含むがこれらに限定されない、さまざまな形態のデジタルコンピュータおよびデバイスを表すことが意図されている。コンピューティングデバイス１３５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、さまざまな形態のモバイルデバイスを表すと意図されている。本明細書に示される構成要素、それらの接続および関係、ならびにそれらの機能は単なる例示であることが意図されており、本明細書で説明および／または請求される本発明の実装形態を限定することを意図するものではない。
【0096】
多数の実施形態について説明した。それにもかかわらず、本明細書の精神および範囲から逸脱することなく、種々の修正が行われ得ることが理解されるであろう。
【0097】
くわえて、図に示す論理フローは、所望の結果を達成するために、示される特定の順序または連続順序を必要としない。くわえて、他のステップが提供されてもよい、またはステップが、説明されるフローから削除されてもよく、他の構成要素が、説明されるシステムに追加されてもよく、またはそこから除去されてもよい。したがって、他の実施形態は、以下の特許請求の範囲内にある。
【0098】
説明される実装形態の特定の特徴が本明細書で説明するように示されているが、当業者には、多くの修正、置換、変更、および均等物が思い浮かぶであろう。したがって、添付の特許請求の範囲は、実装形態の範囲内のすべてのそのような修正および変更を包含することが意図されていることを理解されたい。これらは、限定的ではなく例としてのみ提示されており、形態および詳細のさまざまな変更が行われ得ることを理解されたい。本明細書で説明する装置および／または方法の任意の部分は、相互排他的な組み合わせを除いて、任意の組み合わせで組み合わせられてもよい。本明細書で説明する実装形態は、説明する異なる実装形態の機能、構成要素および／もしくは特徴のさまざまな組み合わせならびに／または部分的組み合わせを含み得る。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図10】