特許 7459375 ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240325BHJP

   G06F 3/0481 20220101ALI20240325BHJP

   G09G 5/00 20060101ALI20240325BHJP

   G09G 5/37 20060101ALI20240325BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481

G09G5/00 510G

G09G5/00 550C

G09G5/00 550H

G09G5/00 530H

G09G5/37 300

G09G5/00 530T

【請求項の数】 26

(21)【出願番号】P 2023515028

(86)(22)【出願日】2021-09-24

(65)【公表番号】

(43)【公表日】2023-10-11

(86)【国際出願番号】 US2021052047

(87)【国際公開番号】W WO2022067097

(87)【国際公開日】2022-03-31

【審査請求日】2023-03-03

(31)【優先権主張番号】17/483,744

(32)【優先日】2021-09-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/083,911

(32)【優先日】2020-09-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】ハルバート， トーマス エス．

(72)【発明者】

【氏名】バーク， カーリン ワイ．

(72)【発明者】

【氏名】ウエルゴ， ワグナー アルフレート ビー．

(72)【発明者】

【氏名】バーシム デ アラウージョ エ シルヴァ， フェリペ

(72)【発明者】

【氏名】キム， スン ウク

(72)【発明者】

【氏名】ソレンティーノ サード， ウィリアム エー．

【審査官】岩橋 龍太郎

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０００４４７８（ＵＳ，Ａ１）

【文献】国際公開第２０１４／０４１８７１（ＷＯ，Ａ１）

【文献】特開２０２０－０３４６４６（ＪＰ，Ａ）

【文献】特表２０１８－５１２６４０（ＪＰ，Ａ）

【文献】国際公開第２０１６／０７６３７６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０９Ｇ ５／００－５／４２

Ｇ０２Ｂ ２７／００－３０／６０

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ １３／００－１７／０６

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

ユーザの身体の所定の部分の上に装着されるように構成された電子デバイスであって、１つ以上のプロセッサと、メモリと、前記ユーザの身体の前記所定の部分とは反対側にて前記電子デバイス上に配置された表示生成コンポーネントとを有する、電子デバイスにおいて、
前記電子デバイスが前記ユーザの身体の前記所定の部分の上に装着されている間に、前記表示生成コンポーネントを介して、前記ユーザの身体の前記所定の部分に対応する身体部分の外観のグラフィック表現を表示することと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出したことに応答して、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って、前記ユーザの身体の所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することであって、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の一部を不明瞭にすることを含む、ことと、
を含む、方法。

【請求項2】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出することが、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの個別の位置から離れる方向への前記電子デバイスの動きを検出することを含み、
前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記電子デバイスの前記位置が前記電子デバイスの前記個別の位置に対して変化するにつれて、前記身体部分の前記外観の前記グラフィック表現の１つ以上の特徴を徐々に不明瞭にすること、
を含む、請求項１に記載の方法。

【請求項3】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って前記グラフィック表現を修正することが、
前記ユーザの身体の前記所定の部分から離れた所定の距離において、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部の表示を停止すること、
を含む、請求項２に記載の方法。

【請求項4】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することが、
前記ユーザの身体の前記所定の部分に対する前記グラフィック表現の少なくとも一部の位置を維持すること、
を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することが、
前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の全てよりも少ないサブセットを含むように、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすること、
を含む、請求項１～３のいずれか一項に記載の方法。

【請求項6】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することが、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置を前記ユーザが調節しているのを検出することを含む、請求項１～３のいずれか一項に記載の方法。

【請求項7】

前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部をフェードアウトさせることを含む、請求項１～３のいずれか一項に記載の方法。

【請求項8】

前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部をぼかすことを含む、請求項１～３のいずれか一項に記載の方法。

【請求項9】

前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現をビネットにすることを含む、請求項１～３のいずれか一項に記載の方法。

【請求項10】

前記ユーザが前記電子デバイスを装着する前に、前記ユーザが前記電子デバイスを着けようとしている間、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を表示すること、
を含む、請求項１～３のいずれか一項に記載の方法。

【請求項11】

前記ユーザの身体の前記所定の部分から離れた所定の距離において、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の表示を開始すること、
を含む、請求項１～３のいずれか一項に記載の方法。

【請求項12】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の第２の変化を検出することであって、前記電子デバイスの前記位置の前記第２の変化が前記ユーザの身体の前記所定の部分に向かうものである、ことと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化を検出したことに応答して、徐々に、経時的に、又は前記ユーザの身体の前記所定の部分に向かう前記位置の変化の進行に従って、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することと、
を含む、請求項１～３のいずれか一項に記載の方法。

【請求項13】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することが、
前記電子デバイスが前記ユーザの身体の前記所定の部分に向かって移動されるにつれて、より多い数の解剖学的特徴のグラフィック表現を含むように、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正すること、
を含む、請求項１２に記載の方法。

【請求項14】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することは、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部をフェードインさせることを含む、請求項１２に記載の方法。

【請求項15】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することは、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部のぼかしを減少させることを含む、請求項１２に記載の方法。

【請求項16】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することは、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現のビネット効果を低減することを含む、請求項１２に記載の方法。

【請求項17】

前記ユーザの身体の前記所定の部分が両目を含む、請求項１～３のいずれか一項に記載の方法。

【請求項18】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化が、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の第１の変化であり、
前記方法が、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の第２の変化を検出することであって、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化は、前記第１の変化と反対である、ことと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第２の変化に応答して、ある期間にわたって、又は前記ユーザの身体の前記所定の部分から離れる位置の前記第２の変化の進行に従って、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記修正を反転させることと、
を更に含む、請求項１～３のいずれか一項に記載の方法。

【請求項19】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の前記第２の変化を検出することが、前記ユーザの身体の前記所定の部分から離れる又は近づく前記電子デバイスの動き、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの上又は下への動き、及び前記ユーザの身体の前記所定の部分に対する前記電子デバイスの左又は右への動きのうちの１つ以上を検出することを含む、請求項１８に記載の方法。

【請求項20】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が第１の方向に沿っているという判定に従って、第１の方式で前記グラフィック表現を修正することと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が前記第１の方向とは異なる第２の方向に沿っているという判定に従って、前記第１の方式とは異なる第２の方式で前記グラフィック表現を修正することと、
を含む、請求項１～３のいずれか一項に記載の方法。

【請求項21】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が、前記第１の方向に沿った成分及び前記第２の方向に沿った成分を有するという判定に従って、
前記第１の方向に沿った前記成分に基づいて、前記第１の方式で前記グラフィック表現を修正することと、
前記第２の方向に沿った前記成分に基づいて、前記第２の方式で前記グラフィック表現を修正することと、
を含む、請求項２０に記載の方法。

【請求項22】

前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの回転であるという判定に従って、第３の方式で前記グラフィック表現を修正すること、
を含む、請求項２１に記載の方法。

【請求項23】

電子デバイスであって、
ユーザの身体の所定の部分とは反対側にて前記電子デバイス上に配置された表示生成コンポーネントと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成されている１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、
前記電子デバイスが前記ユーザの身体の前記所定の部分の上に装着されている間に、前記表示生成コンポーネントを介して、前記ユーザの身体の前記所定の部分に対応する身体部分の外観のグラフィック表現を表示することと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出したことに応答して、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って、前記ユーザの身体の所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することであって、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の一部を不明瞭にすることを含む、ことと、
を行うための命令を含む、
電子デバイス。

【請求項24】

前記１つ以上のプロセッサが、請求項２～２２のいずれか一項に記載の方法を実行するように構成されている、請求項２３に記載の電子デバイス。

【請求項25】

プログラムであって、ユーザの身体の所定の部分とは反対側にて電子デバイス上に配置された表示生成コンポーネントと１つ以上の入力デバイスとを含む、及び／又はそれらと通信する前記電子デバイスによって実行されると、前記電子デバイスに、
前記電子デバイスが前記ユーザの身体の前記所定の部分の上に装着されている間に、前記表示生成コンポーネントを介して、前記ユーザの身体の前記所定の部分に対応する身体部分の外観のグラフィック表現を表示することと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することと、
前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出したことに応答して、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って、前記ユーザの身体の所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することであって、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の一部を不明瞭にすることを含む、ことと、
を行わせる命令を含む、プログラム。

【請求項26】

前記電子デバイスによって実行されると、前記電子デバイスに請求項２～２２のいずれか一項に記載の方法を実行させる、命令を更に含む、請求項２５に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本出願は、２０２０年９月２６日出願の米国特許仮出願第６３／０８３，９１１号の優先権を主張する２０２１年９月２３日出願の米国特許出願第１７／４８３，７４４号の継続出願であり、これら特許出願のそれぞれは、参照によりその全体が組み込まれる。

【0002】

（技術分野）
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成コンポーネントと、コンピュータ生成体験を提供する１つ以上の入力デバイスと、を有するコンピュータシステムに関する。

【背景技術】

【0003】

拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、仮想オブジェクトを含み、デジタル画像、動画、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。

【0004】

しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインターフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、退屈かつエラーを起こしやすいシステムは、ユーザに対して大きな認知負荷を引き起こし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。

【発明の概要】

【0005】

したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインターフェースを有するコンピュータシステムが必要とされている。このような方法及びインターフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を任意選択的に補完又は置換することができる。このような方法及びインターフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインターフェースを生成する。

【0006】

表示生成コンポーネント及び１つ以上の入力デバイスを有するコンピュータシステムのためのユーザインターフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイス（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス）である。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力生成器及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインターフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触やジェスチャ、カメラ及び他の動きセンサによってキャプチャされたときのＧＵＩ又はユーザの身体に対する空間内のユーザの目及び手の動き、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。

【0007】

三次元環境と相互作用するための改善された方法及びインターフェースを備えた電子デバイスが必要とされている。そのような方法及びインターフェースは、三次元環境と相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインターフェースは、ユーザからの入力の数、程度、及び／又は種類を低減し、より効率的なヒューマンマシンインターフェースを生成する。

【0008】

いくつかの実施形態によれば、方法は、ユーザの身体の所定の部分の上に装着されるように構成された電子デバイスにおいて実行され、電子デバイスは、１つ以上のプロセッサと、メモリと、ユーザの身体の部分とは反対側にて電子デバイス上に配置された表示生成コンポーネントとを有する。本方法は、電子デバイスがユーザの身体の所定の部分の上に装着されている間に、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を表示することを含む。本方法は、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出することを更に含む。本方法は、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出したことに応答して、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することを含む。

【0009】

前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。

【図面の簡単な説明】

【0010】

説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。

【0011】

【図1】いくつかの実施形態による、ＣＧＲ体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。

【0012】

【図2】いくつかの実施形態による、ユーザのＣＧＲ体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。

【0013】

【図3】いくつかの実施形態による、ＣＧＲ体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。

【0014】

【図4】いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。

【0015】

【図5】いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。

【0016】

【図6】いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。

【0017】

【図7A】いくつかの実施形態による、ディスプレイを備えたデバイスを示す図である。

【0018】

【図7B】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7C】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7D】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7E】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7F】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7G】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7H】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7I】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【図7J】いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。

【0019】

【図8A】いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。

【図8B】いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。

【図8C】いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。

【図8D】いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。

【発明を実施するための形態】

【0020】

本開示は、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）体験をユーザに提供するユーザインターフェースに関する。

【0021】

本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインターフェース相互作用を改善する。

【0022】

いくつかの実施形態では、本明細書に記載するシステム、方法、及びＧＵＩは、表示によって網羅されるユーザの身体のアニメーション化された部分を表示することによって、ユーザ及び周囲環境内の他者に利用可能な視覚情報を改善する。例えば、それらは、コンピューティングシステムとの相互作用をユーザ及び周囲環境内の他者にとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供することをより容易にする。

【0023】

図１～図６は、ＣＧＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～図７Ｊは、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための例示的なユーザインターフェースを示す。図８Ａ～図８Ｄは、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供する方法のフロー図を示す。図７Ａ～図７Ｊのユーザインターフェースを使用して、図８Ａ～図８Ｄのプロセスを示す。

【0024】

いくつかの実施形態では、図１に示すように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力生成器１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と一体化される。

【0025】

ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。

【0026】

物理的環境：物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。

【0027】

コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的にシミュレートされた環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出す音声オブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、かつ／又はそれと相互作用し得る。

【0028】

ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。

【0029】

仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された、シミュレートされた環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。

【0030】

複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された、シミュレートされた環境を指す。仮想の連続体上では、複合現実環境は、一方の完全な物理的環境と、他方の仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する位置及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。

【0031】

複合現実の例としては、拡張現実及び拡張仮想が挙げられる。

【0032】

拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた、シミュレートされた環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムは、仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される、シミュレートされた環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を付与するように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。

【0033】

拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ、シミュレートされた環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。

【0034】

ハードウェア：人が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィック画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造体を共有する。

【0035】

いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。

【0036】

いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。

【0037】

いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、自身の頭部や自身の手など）に装着される。したがって、表示生成コンポーネント１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を装着又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツを表示するための１つのタイプのハードウェア（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を参照して説明される多くのユーザインターフェースは、ＣＧＲコンテンツを表示するための別のタイプのハードウェア（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインターフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実施され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚搭載デバイスの動きに基づいてトリガされたＣＲＧコンテンツとの相互作用を示すユーザインターフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの動きによって引き起こされるＨＭＤと同様に実施され得る。

【0038】

動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより関連のある態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。

【0039】

図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより関連のある態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インターフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインターフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インターフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。

【0040】

いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。

【0041】

メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲ ＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。

【0042】

オペレーティングシステム２３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザの各グループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２、トラッキングユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。

【0043】

いくつかの実施形態では、データ取得ユニット２４２は、データ（例えば、提示データ、相互作用データ、センサデータ、場所データなど）を、少なくとも、図１の表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上から取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0044】

いくつかの実施形態では、トラッキングユニット２４４は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット２４４は、ハンドトラッキングユニット２４５及び／又はアイトラッキングユニット２４３を含む。いくつかの実施形態では、ハンドトラッキングユニット２４５は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分の位置、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４５について、図４に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４３は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）の位置及び動きを追跡するように構成される。アイトラッキングユニット２４３について、図５に関して以下でより詳細に説明する。

【0045】

いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、及び任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0046】

いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、位置データなど）を少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0047】

データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４５を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４５を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。

【0048】

更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。

【0049】

図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより関連のある態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、ＨＭＤ１２０には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インターフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインターフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インターフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。

【0050】

いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。

【0051】

いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、ＨＭＤ１２０は、単一のＣＧＲディスプレイを含む。別の実施例では、ＨＭＤ１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。

【0052】

いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ＨＭＤ１２０が存在しない場合にユーザが視認するシーンに対応する画像データを取得するように、前方を向くように構成される（及び、シーンカメラと称される場合がある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。

【0053】

メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。

【0054】

オペレーティングシステム３３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。

【0055】

いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0056】

いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0057】

いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成現実を生成するためにコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0058】

いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、位置データなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0059】

データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。

【0060】

更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。

【0061】

図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、ハンドトラッキングユニット２４５（図２）によって制御されて、ユーザの手の１つ以上の部分の位置、及び／又は図１のシーン１０５に対する（例えば、ユーザを取り囲む物理的環境の部分に対する、表示生成コンポーネント１２０に対する、又はユーザの部分（例えば、ユーザの顔、目、若しくは頭部）に対する、及び／又はユーザの手に対して定義された座標系に対するユーザの手の１つ以上の部分の移動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。

【0062】

いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手の画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の動きがコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。

【0063】

いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データ）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインターフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、手４０８を移動させ、手の姿勢を変更することによって、コントローラ１１０上で動作するソフトウェアと相互作用することができる。

【0064】

いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は装着する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、直交する一連のｘ、ｙ、ｚ軸を定義すると想定される。あるいは、ハンドトラッキングデバイス４４０は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。

【0065】

いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１本以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手の関節及び指先の３Ｄ位置を含む。

【0066】

ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれ以上）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応答して、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。

【0067】

いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と一体化された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の好適なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。

【0068】

図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、即ち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特徴を有する画像の成分（即ち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。

【0069】

図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手の骨格４１４を概略的に示す。図４では、骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び動きがコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手のジェスチャ又は手の現在の状態を判定する。

【0070】

図５は、アイトラッキングデバイス１３０（図１）の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス１３０は、アイトラッキングユニット２４３（図２）によって制御されて、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対するユーザの視線の位置及び動きを追跡する。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と一体化される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成するコンポーネント及びＣＧＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０はヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０はヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。

【0071】

いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。

【0072】

図５に示すように、いくつかの実施形態では、視線トラッキングデバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、対応するアイトラッキングカメラ及び照明源によって追跡される。

【0073】

いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目のパラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目の間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。

【0074】

図５に示すように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と、光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示すように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示すように）ユーザの目（単数又は複数）５９２からの反射されたＩＲ又はＮＩＲ光を受け取るようにユーザの目（単数又は複数）５９２に向けられてもよい。

【0075】

いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の好適な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線追跡入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。

【0076】

以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調節する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調節することができる。

【0077】

いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及び光源（例えば、光源５３０（例えば、ＩＲ ＬＥＤ又はＮＩＲ ＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示すように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及び位置が用いられてもよい。

【0078】

いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０の位置及び角度は例として与えられおり、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、ユーザの顔の各側に位置する単一のアイトラッキングカメラ５４０。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。

【0079】

図５に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び／又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び／又は拡張仮想の体験をユーザに提供することができる。

【0080】

図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム（例えば、図１及び図５に示すようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。

【0081】

図６に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。

【0082】

６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示すように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。

【0083】

６４０で、要素４１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態は、いいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態は、はいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。

【0084】

図６は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現存するか、又は将来開発される他のアイトラッキング技術が、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。

【0085】

本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインターフェース及び関連するプロセス

【0086】

ここで、ユーザインターフェース（「ＵＩ」）の実施形態、並びに、表示生成コンポーネント、１つ以上の入力デバイス、及び（任意選択的に）１つ以上のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。

【0087】

図７Ａ～図７Ｊは、いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図８Ａ～図８Ｄのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示すユーザインターフェースを表示する間にタッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。

【0088】

図７Ａは、いくつかの実施形態による、ディスプレイを備えたデバイスを示す。いくつかの実施形態では、デバイス７００は、コンピュータシステム３０１である。いくつかの実施形態では、デバイス７００は、ディスプレイ７１２（例えば、タッチ感知ディスプレイ）及び側面入力ボタン７０２を含む。いくつかの実施形態では、デバイス７００は、ウェアラブルデバイス（例えば、ウォッチ、ヘッドセットなど）である。デバイス７００は、ユーザによって装着されるように設計されたバンド７０６に取り付けられる（例えば、装着される）。

【0089】

図７Ｂ～図７Ｊは、いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す。図７は、２つのタトゥ、すなわち太陽タトゥ７１６及び星タトゥ７１４を含むユーザの腕を示す。腕は、タトゥが腕の異なる部分に位置することを示すために、腕の上からの第１の斜視図と、腕の内側を見る第２の斜視図とを含む２つの異なる斜視図から示されている。以下の説明では、タトゥは、タトゥに対するデバイス７００の調節（例えば、デバイス７００の位置の調節）に基づくユーザインターフェース特徴を示すために使用される。ユーザは、デバイス７００が以下のユーザインターフェースを提供するためにタトゥを有する必要はない。例えば、以下の説明は、ユーザによって装着されたときにデバイスによって覆われる、ユーザの任意の身体部分又は身体特徴（例えば、目、眉、髪、顔、そばかすなど）に適用される。「タトゥ」を指す説明は、ユーザの任意の他の身体部分又は身体特徴を指すこともできる。

【0090】

図７Ｃは、ユーザの腕の第１の位置に装着される、デバイス７００に取り付けられる、又はそれと一体化された、バンド７０６を示す。ユーザの腕の第１の位置において、デバイス７００は、星タトゥ７１４の一部分を覆い、デバイス７００のディスプレイ７１２は、デバイス７００によって覆われているユーザの腕の物理的特徴のグラフィック表現を表示する。例えば、図７Ｃ及び図７Ｄにおいて、グラフィック表現を表示することは、デバイス７００によって覆われている星タトゥ７１４の一部に対応するアニメーション化されたバージョンの星タトゥ（例えば、アニメーション化された星タトゥ７１８の一部）を表示することを含む。より具体的には、図７Ｃでは、星の先端のうちの２つのグラフィック表現が、デバイス７００によって、２つの星の先端がユーザの腕に現れるおおよその位置に（例えば、ユーザがデバイス７００を通して見ることができるかのように）表示される。アニメーション化された星タトゥ７１８に加えて、ディスプレイ７１２はまた、デバイス７００によって覆われているユーザの腕の一部分のグラフィック表現をも表示する。ユーザの腕のグラフィック表現は、任意選択でアニメーション化され、その場合、デバイス７００のディスプレイ７１２は、ユーザの腕のアニメーション化されたバージョンを表示する。このようにして、ディスプレイ７１２は、ディスプレイ７１２によって覆われているユーザの腕の部分（例えば、星タトゥ７１４の部分を含む）を表示する。

【0091】

いくつかの実施形態では、バンド７０６は、ユーザの身体上に配置された後に調節可能（例えば、移動可能）である。例えば、ユーザは、図７Ｃから図７Ｄへの変化によって示すように、バンド７０６を左に（例えば、ユーザの手に向かって）移動させる。バンド７０６は、左に移動される、右に移動される、上に移動される（例えば、垂直に、腕から離れるように）、下に移動される（例えば、腕に向かって）、回転される、又はこれらの動きの任意の組み合わせを含む、複数の方法で調節することができる。バンド７０６が調節される（例えば、かつデバイス７００がユーザの身体に対して移動される）、アニメーション化された星タトゥ７１８の表示部分及びユーザの腕のグラフィック表現は、デバイス７００の現在位置に対応するように更新される。例えば、デバイス７００が星タトゥ７１４のより大きな部分を覆うように移動されると、アニメーション化された星タトゥ７１８のより大きな部分が表示される。

【0092】

図７Ｄは、図７Ｃに示す第１の位置の左に（例えば、手に向かって）移動された後の、ユーザの腕の第２の位置にあるバンド７０６を示す。ディスプレイ７１２は、デバイス７００が覆うユーザの腕の新しい部分（例えば、ユーザの手首）を表示するように更新される。更に、デバイス７００及びそのディスプレイ７１２は、ここで、星タトゥ７１４を完全に覆う（例えば、重なる）。ディスプレイ７１２は、星タトゥ７１４がデバイス７００に対して相対的である位置に、アニメーション化された星タトゥ７１８を（例えば、リアルタイムで）表示する。いくつかの実施形態では、グラフィック表現のアニメーションを生成するために、１つ以上の視覚効果がグラフィック表現（例えば、アニメーション化された星タトゥ７１８）に重ね合わされる（又は適用される）。例えば、１つ以上の視覚効果は、グラフィック表現（例えば、アニメーション化された星タトゥ７１８）を移動させ、サイズを増大させ、回転させ、点滅させ、フェードさせ、ぼかし、及び／又は色を変化させる。いくつかの実施形態では、アニメーション化された動きは、デバイスによって覆われる身体部分（又は身体特徴）に基づく。例えば、デバイスがユーザの目及び／又は眉を覆う場合、アニメーションは、目が動くこと、まばたきすること、及び／又は焦点若しくは視線方向を変更すること、及び／又は眉が動くこと（例えば、様々な表情を示すために）を含む。

【0093】

図７Ｅは、ユーザの身体上のデバイス７００の位置を変更するためにユーザがバンド７０６を回転させることを示す。例えば、ユーザは、ディスプレイがユーザの手首の上部を覆うように、バンドを回転させる。いくつかの実施形態では、ユーザがバンド７０６を回転させると、デバイス７００は、デバイス７００及びそのディスプレイ７１２が現在覆っているユーザの身体の部分のグラフィック表現を表示するように、ディスプレイ７１２を更新し続ける。いくつかの実施形態では、ユーザがバンド７０６を回転させると、デバイス７００は、図７Ｅのディスプレイ７１２の陰影によって示すように、（例えば、アニメーションにおいて）経時的に変化するディスプレイのフェード、ぼかし、又は暗化などのアニメーションを生成する。いくつかの実施形態では、生成されたアニメーションは、ディスプレイ７１２全体に適用される。いくつかの実施形態では、生成されたアニメーションは、ディスプレイの一部（例えば、アニメーション化された星タトゥ７１８を含む部分）に適用される。例えば、デバイス７００は、ディスプレイ７１２上のアニメーション化された星タトゥ７１８をぼかす（又は暗くする）。

【0094】

図７Ｆは、第３の位置に回転された後のバンド７０６を示し、ディスプレイ７１２は、太陽タトゥ７１６を含むユーザの身体の部分に重なる。ディスプレイ７１２は、太陽タトゥ７２０及びデバイス７１２の下にあるユーザの腕の部分の外観のグラフィック表現を表示するように更新される。グラフィック表現は、任意選択的に、アニメーション化された太陽タトゥ７２０を含む。いくつかの実施形態では、アニメーション化された太陽タトゥ７２０は、太陽タトゥ７１６とは異なる色である。図７Ｄを参照して説明するように、いくつかの実施形態では、デバイス７００は、ディスプレイ７１２上で、タトゥを移動させ、サイズを増大させ、回転させ、点滅させ、及び／又は色を変化させるようにアニメーション化する。いくつかの実施形態では、アニメーション化された太陽タトゥ７２０のアニメーションは、アニメーション化された星タトゥ７１８のアニメーションとは異なるアニメーションである。

【0095】

図７Ｇは、太陽タトゥ７１６を含むユーザの腕の部分を覆うディスプレイ７１２の別の斜視上面図を示す。上面図から、アニメーション化された太陽タトゥ７２０がディスプレイ７１２上に表示される。図７Ｇは、（例えば、バンドを取り外すために）ユーザがバンド７０６をユーザの腕から持ち上げることを示す。

【0096】

図７Ｈは、ユーザの身体から取り外されつつあるときのデバイス７００を示す。いくつかの実施形態では、バンド７０６をユーザの腕から持ち上げたことに応じて、ディスプレイ７１２は、アニメーション（例えば、図７Ｅに記載されるバンドを回転させるためのアニメーションとは異なるアニメーション）を示す。図７Ｈに示すように、デバイス７００の動きは、表示されているタトゥ７１６のグラフィック表現７２０の全てよりも少ないサブセットのみをもたらしている。別の例では、バンド７０６の異なる動きは、（例えば、動きの方向及び向きに基づいて）異なるアニメーションを生成する。例えば、デバイスがユーザの身体から離れる（例えば、取り外される）につれて、アニメーションは、ディスプレイ７１２上に現在表示されているコンテンツの少なくとも一部のぼかしアニメーションを含む。更に別の例では、デバイスがユーザの身体から離れる（例えば、取り外される）と、デバイスは、ユーザの身体の所定の部分のグラフィック表現の少なくとも一部を徐々に不明瞭にする（例えば、その特性が、デバイスとユーザの身体の所定の部分との間の距離が変化するにつれて変化する、オーバーレイを用いて）。デバイスがユーザの腕から持ち上げられると、ディスプレイ７１２は、デバイス７００が現在重なっているユーザの身体の部分に対応するように、アニメーション化された太陽タトゥ７２０の部分を更新し続ける。

【0097】

図７Ｉでは、デバイス７００は、（例えば、デバイスをユーザの手に向かってスライドさせ、デバイスを腕から引き離すことによって）ユーザの身体から取り外され続ける。ディスプレイ７１２は、デバイスによって覆われているユーザの身体の部分に対応するユーザの身体の部分の外観のグラフィック表現を表示し続ける。デバイス７００は、図７Ｈを参照して説明するように、（例えば、表示をぼかすことによって）ディスプレイ７１２をアニメーション化し続ける。図７Ｉに見られるように、デバイス７００は、もはや、太陽タトゥ７１６を含むユーザの腕の部分と重なっておらず、したがって、ディスプレイ７１２は、もはや、アニメーション化された太陽タトゥ７２０を含むグラフィック表現を表示しない。

【0098】

図７Ｊでは、（例えば、バンド７０６上に搭載される）デバイス７００は、ユーザの腕から取り外されている。いくつかの実施形態では、デバイス７００がユーザの身体から取り外されているという判定に従って、ディスプレイ７１２が更新される。いくつかの実施形態では、ディスプレイ７１２は暗くなる（例えば、陰影を増加させる、又は色を変化させる）。いくつかの実施形態では、ディスプレイ７１２はオフになる。

【0099】

図８Ａ～図８Ｄは、いくつかの実施形態による、所定の入力ジェスチャを使用して三次元環境と相互作用するための例示的な方法８００のフローチャートである。いくつかの実施形態では、方法８００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、カメラ（例えば、ユーザの手元で下方に向く又はユーザの頭部から前方に向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））と、を含む、電子デバイス又はウェアラブル電子デバイスとも呼ばれるコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法８００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法８００のいくつかの動作は、任意選択的に組み合わされ、及び／又はいくつかの動作の順序は、任意選択的に変更される。

【0100】

以下で説明するように、方法８００は、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするために、コンピュータ生成された体験をユーザに提供する直観的な方法を提供する。本方法は、デバイスの位置を調節することに関連付けられたアクションを実行する間に提供される視覚的フィードバックを改善する。バッテリ動作式電子デバイスの場合、デバイスをユーザ入力に対してより応答性があるように見せることは、電力を節約し、バッテリ充電間の時間を増加させる。改善された視覚的フィードバックは、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を更に向上させる。

【0101】

いくつかの実施形態では、電子デバイスは、ユーザの手首に近い若しくは隣接するユーザの腕の部分、又はユーザの目など、ユーザの身体の所定の部分の上に装着されるように構成される。いくつかの実施形態では、電子デバイスの表示生成コンポーネントは、ユーザの身体の所定の部分に最も近いデバイスの側部とは反対側のデバイスの側部又は表面上にて、電子デバイス上に配置される。例えば、図７Ｂ～図７Ｊでは、ディスプレイ７１２は、ユーザの腕の部分に最も近い電子デバイスの側部とは反対側の電子デバイスの側部又は表面に配置され、外向き（ユーザの身体から離れる方向）に向いている。電子デバイスがユーザの身体の所定の部分の上に装着されている間、電子デバイスは、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を表示する（８０２）。

【0102】

いくつかの実施形態では、グラフィック表現は、ユーザの身体の所定の部分に対応する身体部分の外観のシミュレートされた表現又は模写であり、これは身体部分の外観の現実的にレンダリングされた表現又は身体部分の外観の戯画化された表現（例えば、身体部分の外観の１つ以上の特徴を意図的に単純化し、及び／又は身体部分の外観の１つ以上の特徴を意図的に誇張する身体部分の外観のグラフィック表現）であってもよい。例えば、図７Ｃ～図７Ｈに示すように、ユーザの腕の外側部分及びユーザの腕にあるタトゥーのグラフィック表現が、デバイス７００に表示される。いくつかの実施形態では、グラフィック表現は、（例えば、ディスプレイ上のグラフィック表現に視覚効果を適用することによって）アニメーション化される。いくつかの実施形態では、ユーザの身体の所定の部分は、ユーザの顔の少なくとも一部を含む。

【0103】

例えば、電子デバイスは、（例えば、ユーザの頭部に装着されるように構成された）ヘッドセット又はヘッドマウントディスプレイ（ＨＭＤ）であり、これは外向き（ユーザの身体から離れる方向）の表示生成コンポーネントを含み、ユーザの身体の所定の部分は、ユーザの目、眉、鼻、口、髪、そばかす、眼鏡、及び／又はユーザの顔に存在する任意の他の特徴を含む。例えば、ＨＭＤの表示生成コンポーネントは、ＨＭＤがユーザの目（及び／又は他の特徴）の上に装着されると、ユーザの目（及び／又は他の特徴）のグラフィック表現を表示する。いくつかの実施形態では、ユーザの目のグラフィック表現はアニメーション化されて、ユーザの目のグラフィック表現がまばたき（又はウインク）して見えるように、サイズを変化させる（例えば、ユーザの目のグラフィック表現が、より大きく又はより小さくなる）ように、又は別様に、異なる顔の表情を示すようにされる（例えば、ユーザの眉のグラフィック表現が、ユーザの目のグラフィック表現の位置に対して上昇又は下降する）。

【0104】

電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出する（８０４）。電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出したことに応答して、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正する（８０６）。例えば、図７Ｃ～図７Ｈに示すように、デバイス７００がユーザの腕に対して調節される（例えば、再配置される）と、ディスプレイ７１２上のグラフィック表現は、ユーザの腕の部分及びデバイス７００によって現在覆われているタトゥの部分を表示するように更新される。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出する。

【0105】

例えば、ＨＭＤは、ユーザがＨＭＤをユーザの頭部に置くとき、ユーザがＨＭＤをユーザの頭部から取り外すとき、及びＨＭＤがユーザの頭部にある間にユーザがＨＭＤを調節するとき、例えば、ＨＭＤをユーザの顔（及び目）から引き離す、ＨＭＤを（ユーザの目の上の所定の位置に配置されたＨＭＤに対応する中立位置に対して）左右に移動させる、及びＨＭＤを上下に移動させるとき（又はこれらの移動の任意の組み合わせ）を含む、複数の状況において、ユーザの目に対して位置を変化させる。いくつかの実施形態では、ＨＭＤがこれらの方法のいずれかで位置を変化させているという判定に従って、ＨＭＤ上の表示生成コンポーネントは、ＨＭＤ上に表示されるユーザの目のグラフィック表現を修正するように更新される。以下に説明するように、ユーザの目のグラフィック表現に対する修正は、ユーザの目に対するＨＭＤの位置の変化又は調節の種類に基づく（例えば、対応する）。

【0106】

電子デバイスの背後に隠れているユーザの身体の一部を示すようにディスプレイを更新することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対してどこに位置しているか、ユーザの身体のその部分が覆われてユーザ（又は周囲環境内の他者）に見えない場合であっても、それを知るためのより直感的な方法を提供する。これは、電子デバイスの背後に何があるかを想像又は推測するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0107】

いくつかの実施形態では、電子デバイスの位置の検出された変化は、ユーザの身体の所定の部分から離れるデバイスの動きである（８０８）。例えば、図７Ｇ～図７Ｈは、ユーザの腕から引き離されているときのデバイス７００を示す。いくつかの実施形態では、ユーザの身体の所定の部分から離れるデバイスの動きは、ユーザの身体から電子デバイスを取り外すことなく、ユーザの身体から離れるように電子デバイスを移動させることを含む。いくつかの実施形態では、検出された位置の変化は、ユーザの身体の所定の部分から離れるデバイスの動きとして始まり、デバイスがユーザの身体から少なくとも閾値距離離れた位置にあるという判定に従って、検出された位置の変化は、ユーザの身体からデバイスを取り外すことに対応する。

【0108】

ユーザの目の上に装着されるように構成されるＨＭＤの上記の例によれば、いくつかの実施形態では、ユーザは、ユーザの目から離れるようにＨＭＤを移動させる（例えば、ユーザの顔から離れるようにＨＭＤを前方に引っ張る）。いくつかの実施形態では、ユーザは、ＨＭＤをユーザの頭部から取り外すことなく、ＨＭＤをユーザの目から離して移動させる。例えば、ユーザは、ユーザの顔とＨＭＤとの間により多くの空間（例えば、より大きな距離）を生じさせる。いくつかの実施形態では、ユーザは、ＨＭＤをユーザの顔から（例えば、真っ直ぐ前方を見ているユーザの顔に対して、ＨＭＤを左、右、上、又は下に移動させることなく）真っ直ぐに引き離す。

【0109】

ユーザの身体に対する電子デバイスの動きを追跡することは、電子デバイスによって隠されているユーザの身体の部分のより正確な表現を提供する。電子デバイスによって隠されているユーザの身体の部分の表現を正確に表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、ユーザの身体に対して電子デバイスがどこに位置しているか、ユーザの身体又は少なくともユーザの身体の前述の部分が覆われてユーザに見えない場合であっても、それを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0110】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従ってグラフィック表現を修正することは、ユーザの身体の所定の部分から所定の距離だけ離れたところで、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部（又は全部）の表示を停止することを含む（８１０）。例えば、図７Ｊに示すように、ディスプレイ７１２は、デバイスがユーザの腕から（例えば、少なくとも所定の距離だけ）離れると、ユーザの腕のグラフィック表現を表示するのを停止する。例えば、上で説明したように、位置の変化が、デバイスが少なくとも閾値量（身体から離れた所定の距離）だけ離れた後にユーザの身体からデバイスを取り外すことに対応するとき、デバイスは、身体部分の外観のグラフィック表現の少なくとも一部を表示するのを停止する。

【0111】

ユーザの目の上に装着されるように構成されるＨＭＤの上記の例において、いくつかの実施形態では、ユーザは、ＨＭＤをユーザの頭部から取り外すことによって、ＨＭＤの位置を変更する。いくつかの実施形態では、ＨＭＤがユーザの目から所定の距離だけ取り外されたという判定に従って、表示生成コンポーネントは、ユーザの目のグラフィック表現を表示するのを停止する。

【0112】

電子デバイスが取り外されたときにユーザの身体の一部の表現を表示するのを停止することは、電子デバイスがユーザの身体から取り外されたこと、かつデバイスがユーザの身体の一部から取り外されたときにディスプレイがユーザの身体の一部の表現をもはや表示しないことを、ユーザ及びディスプレイを見ている周囲環境内の他者に示す直感的な遷移を提供する。これは、ユーザの身体に対する電子デバイスの現在位置を認識するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0113】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対する（ユーザの身体の所定の部分に対応する身体部分の外観の）グラフィック表現の少なくとも一部の位置を維持することを含む（８１２）。例えば、電子デバイスの位置が変化する間、電子デバイスは、ユーザの身体の解剖学的特徴のグラフィック表現を、ユーザの身体のその解剖学的特徴に対して同じ位置に維持する（例えば、ユーザの目又は腕のグラフィック表現は、解剖学的特徴を覆う位置で表示生成コンポーネント上に表示されたままであるように更新又は移動される）。例えば、図７Ｃ～図７Ｄに示すように、デバイス７００がユーザの腕の異なる部分に調節されると、デバイスの現在位置に対応するユーザの腕の部分のグラフィック表現がディスプレイ７１２上に表示される。したがって、デバイス７００が星タトゥ７１４を完全に覆うように移動すると、アニメーション化されたバージョンの星タトゥ７１８が生成され、ユーザの腕の上の星タトゥ７１４の位置に対応する位置に表示され、したがって、アニメーション化されたバージョンの星タトゥ７１８は、デバイス７００が移動するにつれて、星タトゥ７１４の位置に一致し続け、それを覆い続ける。

【0114】

ユーザの目の上に装着されるように構成されるＨＭＤの上記の例によれば、いくつかの実施形態では、ユーザがユーザの目に対してＨＭＤを移動させる（例えば、調節する）と、表示生成コンポーネントは、ユーザの目のグラフィック表現を、（ＨＭＤによって現在カバーされている）ユーザの目の現在位置に対応するディスプレイ上の位置に表示するように更新される。例えば、ユーザがＨＭＤをユーザの左に移動させると、ユーザの目のグラフィック表現は、（例えば、表示生成コンポーネントを見ている第三者には）ＨＭＤとともに移動しないように見える。代わりに、ユーザの目のグラフィック表現は、ユーザの実際の目の前の位置に対応する一定の位置に留まるように見える。したがって、ユーザがＨＭＤをユーザの顔上の異なる場所に移動させても、ユーザの目のグラフィック表現は、表示生成コンポーネントを見ている第三者には、ユーザの目が現在ＨＭＤによって覆われていない場合にユーザの目が見られるであろう位置に現れる。

【0115】

電子デバイスがユーザの身体の異なる部分を覆うように移動するときに、ユーザの身体の部分のグラフィック表現内の特徴の相対位置を維持することは、ユーザ、及びディスプレイを見ている周囲環境内の他者が、ユーザの身体が覆われてユーザに見えない場合であっても、ユーザの身体に対して電子デバイスがどこに位置するかを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0116】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の全てよりも少ないサブセットを含むように、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を（例えば、徐々に）修正することを含む（８１４）。グラフィック表現のそのような修正の例は図７Ｈに示されており、図７Ｈに関して上で論じられている。別の例では、グラフィック表現は、電子デバイスがユーザの身体の所定の部分に対して位置を変えるにつれて、より抽象的になる（例えば、あまり詳細でなくなる）。

【0117】

いくつかの実施形態では、ユーザの身体の所定の部分の外観のグラフィック表現は、ユーザの身体の複数の解剖学的特徴（例えば、目、眉、鼻、口、タトゥ）のグラフィック表現（例えば、描写）を含む。いくつかの実施形態では、ユーザの身体の所定の部分のグラフィック表現の全てよりも少ないサブセットを含むように表示されたグラフィック表現を修正することは、複数の解剖学的特徴のグラフィック表現の数を減らすこと（例えば、複数の解剖学的特徴における解剖学的特徴のグラフィック表現のうちの１つ以上を排除すること）を含む。

【0118】

いくつかの実施形態では、ユーザの身体の所定の部分のグラフィック表現の全てよりも少ないサブセットを含むように表示されたグラフィック表現を修正することは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化がユーザの身体の所定の部分（から離れる）第１の方向に沿っているという判定に従って実行される（例えば、修正することは、ユーザが電子デバイスを取り外している間に行われる）。例えば、グラフィック表現は、電子デバイスがユーザの身体から離れるように移動されるにつれて、ユーザの身体の所定の部分のあまり詳細でないバージョン（より少ない特徴又はあまり詳細でない特徴を有する）を示す。

【0119】

例えば、ユーザがＨＭＤをユーザの目から離れるように移動させる（例えば、ＨＭＤをユーザの顔から離れるように前方に引っ張る）と、ユーザの目のグラフィック表現は、より詳細でなくなる。例えば、ＨＭＤが中立位置に（例えば、ユーザの顔に適切に配置されて）配置されると、グラフィック表現は、ユーザの目のグラフィック表現及びユーザの眉のグラフィック表現（及び／又はユーザの目に関連する他の特徴のグラフィック表現又はユーザの目を取り囲むユーザの顔のグラフィック表現）を含む。ＨＭＤが（例えば、ユーザがＨＭＤをユーザの顔から引き離すことによって）ユーザの目から更に離れるように移動されると、グラフィック表現は、（例えば、グラフィック表現内にある１つ以上の特徴を除去するか又は不明瞭にすることによって）より抽象的になるように更新される。例えば、グラフィック表現は、修正されたグラフィック表現がユーザの眉のグラフィック表現のみを含むように、ユーザの目のグラフィック表現の表示を控えるように更新される。別の実施例では、グラフィック表現は、ユーザの目のグラフィック表現の表示を目の簡略化されたグラフィック表現（例えば、目の線画、目のシミュレートされた三次元表現の代わりの目の二次元表現、及び／又は、５、１０、若しくは２５６色などのより多くの色を伴う目の表現の代わりの目のモノトーン又は２トーン表現）と置換するように更新される。

【0120】

いくつかの実施形態では、方法は、ユーザの身体の所定の部分に対する電子デバイスの位置の後続の変化を検出することを含み、ユーザの身体の所定の部分に対する電子デバイスの位置の後続の変化は、第１の方向と反対である。例えば、後続の変化は、電子デバイスをユーザの身体に近づけること（例えば、電子デバイスをユーザの身体の上に置くこと）を含む。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の後続の変化に応答して、ユーザの身体の解剖学的特徴のグラフィック表現の数を増加させる（例えば、ユーザが電子デバイスをユーザの身体の所定の部分から離れるように移動させている間に行われた表示されたグラフィック表現の修正（単数又は複数）を反転させる）。例えば、グラフィック表現は、電子デバイスがユーザの身体のより近くに移動されるにつれて、（より多くの特徴又はより詳細な特徴を有する）ユーザの身体の所定の部分のより詳細を示す。

【0121】

例えば、ユーザがＨＭＤをユーザの目から引き離した後、ユーザは、その後、ＨＭＤを反対方向に（例えば、ユーザの目に向かって戻るように）持ってくる。ユーザがＨＭＤをユーザの顔（及び目）のより近くに移動させると、ユーザの眉のみを含んだ（かつユーザの目のグラフィック表現ではない）修正されたグラフィック表現は、修正されたグラフィック表現内に存在する詳細のレベルを増加させるように更新される。例えば、修正されたグラフィック表現は、ユーザがＨＭＤをユーザの顔に近づけるにつれて、ユーザの眉のグラフィック表現のみを表示する状態から、ユーザの目及びユーザの眉を含むグラフィック表現を表示する状態に更新される。

【0122】

ユーザの身体の所定の部分のより詳細でない（又はより詳細な）表現を徐々に表示することは、電子デバイスがユーザの身体から遠く離れて（又は近くに）移動しているかどうかを視覚的に示し、これは、ユーザの身体の所定の部分が覆われてユーザに見えない場合であっても、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体にどの程度近接して位置しているかを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0123】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部を不明瞭にすることを含む（８１６）。例えば、図７Ｇ～図７Ｈを参照して上述したように、デバイス７００がユーザの腕に対して位置を変える（例えば、ユーザの腕から離れるように移動される）と、ディスプレイ７１２は、図７Ｈに示すユーザの腕及びアニメーション化された太陽タトゥ７２０のグラフィック表現を（例えば、オーバーレイを用いて）不明瞭にする。任意選択的に、不明瞭にすることの１つ以上の視覚特性（例えば、ぼかし、輝度、彩度、コントラストなどのうちの１つ以上）は、デバイスとユーザの身体の所定の部分との間の距離が変化するにつれて変化する。

【0124】

いくつかの実施形態では、表示されたグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が、ユーザの身体の所定の部分から離れる第２の方向（例えば、第１の方向とは異なる）に沿っているという判定に従って実行される。

【0125】

例えば、上記で説明したように、ユーザが、（例えば、ＨＭＤを左、右、上、又は下に移動させることなく）ＨＭＤを顔から真っ直ぐに引き離すことによって、ＨＭＤをユーザの顔から離れるように移動させると、グラフィック表現は、より詳細でなくなるように更新される。いくつかの実施形態では、ユーザがＨＭＤを上などの別の方向に（例えば、ＨＭＤがユーザの目の上のユーザの額に配置されるかのように）移動させると、グラフィック表現は、グラフィック表現に適用される視覚効果を表示するように修正される。いくつかの実施形態では、修正されたグラフィック表現は、グラフィック表現の不明瞭にされたバージョンである（例えば、グラフィック表現の少なくとも一部のフェード、ぼかし、又はビネットによって生成される）。例えば、ユーザがＨＭＤを上方に移動させることによって、ＨＭＤの位置が変化するにつれて、ユーザの目のグラフィック表現はぼかされる。動きの個別の方向又はタイプに従って特定の視覚効果を生成することを説明する記述は単なる例であり、本明細書に説明される視覚効果（又は視覚効果の組み合わせ）のいずれも、電子デバイスが任意の他の可能な方向に移動されるときにグラフィック表現に適用され得ることが理解されよう。更に、以下でより詳細に説明するように、複数の方向におけるＨＭＤの動き（例えば、左、上、及び離れる方向における成分を伴う動き）は、視覚効果の組み合わせをもたらし、各視覚効果は、個別の移動方向に対応する。

【0126】

電子デバイスがユーザの身体に対して移動していることを示すためにユーザの身体の一部の表現の不明瞭にされたビューを表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直観的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0127】

いくつかの実施形態において、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部をフェードアウトさせることを含む（８１８）。例えば、いくつかの実施形態では、不明瞭にすることは、グラフィック表現の周辺部分をフェードアウトさせることによって（例えば、輝度及び／又は彩度を低減することによって）、グラフィック表現にビネット効果を適用することを含む。

【0128】

上記の例に続いて、いくつかの実施形態では、ユーザがＨＭＤを上などの別の方向に（例えば、ＨＭＤがユーザの目の上のユーザの額に配置されるかのように）移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にフェードアウト視覚効果を適用するように修正される。例えば、ユーザがＨＭＤを上方に移動させることによってＨＭＤの位置が変化するにつれて、ユーザの目（例えば、及び／又は眉）のグラフィック表現はフェードされる。

【0129】

電子デバイスがユーザの身体に対して移動していることを示すためにユーザの身体の一部の表現のフェードされたビューを表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスの位置がユーザの身体に対して又はユーザの身体の所定の部分に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0130】

いくつかの実施形態において、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部をぼかすことを含む（８２０）。

【0131】

上記の例に続いて、いくつかの実施形態では、ユーザがＨＭＤを左などの別の方向に移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にぼかし効果を適用するように修正される。例えば、ユーザがＨＭＤを左に移動させることによってＨＭＤの位置が変化するにつれて、ユーザの目（例えば、及び／又は眉）のグラフィック表現はぼかされる。

【0132】

電子デバイスがユーザの身体又はユーザの身体の所定の部分に対して移動していることを示すために、ユーザの身体の部分の表現のぼかされたビューを表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直観的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0133】

いくつかの実施形態において、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現をビネットにすることを含む（８２２）。

【0134】

上記の例に続いて、ユーザがＨＭＤを右に移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にビネット効果を適用するように修正される。例えば、ユーザがＨＭＤを右に移動させることによってＨＭＤの位置が変化するにつれて、ユーザの目（例えば、及び／又は眉）のグラフィック表現は、ユーザの目のグラフィック表現の中心が焦点が合っているように見える一方で、ユーザの目のグラフィック表現の外側部分は、ぼやけて、フェードされて、及び／又は（色が）あまり濃くないように見える、ビネット効果を伴って表示される。

【0135】

電子デバイスがユーザの身体に対して移動していることを示すために、ユーザの身体の所定の部分のグラフィック表現上にオーバーレイされたビネット効果を表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0136】

いくつかの実施形態では、電子デバイスは、ユーザが電子デバイスを装着する前に、ユーザが電子デバイスを装着している間に、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を（例えば、アニメーション化されたグラフィック表現として）表示する（８２４）。いくつかの実施形態では、グラフィック表現の表示は、グラフィック表現の（例えば、視覚効果をグラフィック表現に適用することによる）修正バージョンである。例えば、グラフィック表現は、デバイスが移動するにつれて、暗くされるか、ぼかされるか、又は移動する（例えば、アニメーション化する）ように見える。いくつかの実施形態では、電子デバイスは、ステップ８２６を参照して以下に説明するように、電子デバイスがユーザの身体の所定の部分から所定の距離内にあるという判定に従って、ユーザが電子デバイスを装着していると判定する。

【0137】

いくつかの実施形態では、ユーザがＨＭＤを（例えば、物理的特徴の表現が個別の外観で表示される位置として指定され、任意選択で、ＨＭＤがＡＲ又はＶＲ環境を見るためのＡＲ又はＶＲビューイングデバイスとして機能する位置である、ユーザの頭部の所定の位置（例えば、使用位置、操作位置、又は適切な位置）に）装着すると、ユーザの目のグラフィック表現がＨＭＤの表示生成コンポーネント上に現れる。例えば、ＨＭＤの表示生成コンポーネントは、（例えば、ＨＭＤがユーザの頭部上の所定の位置に到達する前に）ユーザの目のグラフィック表現の修正バージョンを表示する。例えば、ＨＭＤが依然として調節されている（例えば、所定の位置に移動されている）ことを示すために、ユーザの目のグラフィック表現の不明瞭にされたバージョン（例えば、暗くされたバージョン）が表示される。いくつかの実施形態では、ユーザがＨＭＤをユーザの頭部に装着しているときにＨＭＤが位置を変えるにつれて、ユーザの目のグラフィック表現を目が移動する（例えば、目で見回す）ように表示するなど、ユーザの目のグラフィック表現のアニメーション化されたバージョンが表示される。

【0138】

電子デバイスがユーザの身体上の適所に配置されると、電子デバイスによって現在隠されているユーザの身体の部分の表現を表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者に、電子デバイスがユーザの身体上に配置されつつあること、かつ電子デバイスが電子デバイスによって覆われているユーザの身体の部分を表示するためにディスプレイを更新し続けることになることを示す、直観的な遷移を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0139】

いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分から所定の距離だけ離れたところで、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の表示を開始する（８２６）。例えば、電子デバイスは、電子デバイスがユーザの身体の所定の部分に近接する（例えば、３インチ以内、又は６インチ以内）まで、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を表示しない。いくつかの実施形態では、電子デバイスは、１つ以上のセンサ（例えば、図３Ｂ～図３Ｃのカメラ（単数又は複数）３１１及び／又は姿勢センサ（単数又は複数）３１２）を使用して、ユーザの身体の所定の部分からの距離を決定する。

【0140】

いくつかの実施形態では、ユーザがＨＭＤを（例えば、物理的特徴の表現が個別の外観で表示される位置として指定され、任意選択で、ＨＭＤがＡＲ又はＶＲ環境を見るためのＡＲ又はＶＲビューイングデバイスとして機能する位置である、ユーザの頭部の所定の位置に）装着すると、ユーザの目のグラフィック表現は、ＨＭＤがユーザの頭部の所定の位置から所定の距離内（例えば、ユーザの目の上）になった後にのみ、ＨＭＤの表示生成コンポーネント上に現れる。例えば、表示生成コンポーネントは、ＨＭＤがユーザによって持ち上げられたときにはユーザの目のグラフィック表現を表示しない。ユーザがＨＭＤをユーザの目に向かって移動させ続けると、ＨＭＤがユーザの目に十分に近い（例えば、所定の距離内にある）（例えば、所定の位置にある）という判定に従って、表示生成コンポーネントは、ユーザの目のグラフィック表現（又は、上で説明された不明瞭にされたバージョンなどの、ユーザの目のグラフィック表現の修正バージョン）を表示し始める。

【0141】

電子デバイスがユーザの身体に十分に接近すると、電子デバイスによって隠されているユーザの身体の部分のグラフィック表現の表示を開始することは、ユーザ及びディスプレイを見ている周囲環境内の他者に、電子デバイスがユーザの身体に接近していること、及びディスプレイが電子デバイスによって覆われているユーザの身体の部分を表示するようにディスプレイを更新し続けることになることを示す、直観的な遷移を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0142】

いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化を検出し（８２８）、電子デバイスの位置の第２の変化は、ユーザの身体の所定の部分に向かうものである。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化を検出することに応答して、徐々に、経時的に、又はユーザの身体の所定の部分に向かう位置の変化の進行に従って、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化に従ってユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正する。いくつかの実施形態では、グラフィック表現は、電子デバイスがユーザの身体の一部から所定の距離内にあるという判定に従って、初期状態で最初に表示される。いくつかの実施形態では、所定の距離に達する前にはグラフィック表現は表示されない。例えば、ディスプレイは、グラフィック表現を表示する前は、別のユーザインターフェースを表示する、ブランクにされる／暗くされる、又はオフにされる。ユーザが電子デバイスを装着すると、電子デバイスは、ユーザが電子デバイスを装着するにつれて、グラフィック表現をぼかす、フェードインさせる、ビネットを低減する、又は抽象化のレベルを低減することによって、最終状態のグラフィック表現（例えば、ユーザの身体の所定の部分のグラフィック表現）を表示することに徐々に遷移する。

【0143】

いくつかの実施形態では、ユーザがＨＭＤを（例えば、物理的特徴の表現が個別の外観で表示される位置として指定され、任意選択で、ＨＭＤがＡＲ又はＶＲ環境を見るためのＡＲ又はＶＲビューイングデバイスとして機能する位置である、ユーザの頭部の所定の位置に）装着すると、ユーザの目のグラフィック表現が表示生成コンポーネント上に徐々に現れる。例えば、ＨＭＤが移動した距離に従ってより明確になる（例えば、より焦点が合う）ように、グラフィック表現のフェードインなどの１つ以上の視覚効果がグラフィック表現に適用される。例えば、ＨＭＤが所定の位置に近づけられるほど、グラフィック表現はより焦点が合うようになる。このようにして、ユーザの目のグラフィック表現は、ＨＭＤが所定の位置に配置されるまで修正されて（例えば、ぼかされて、暗くされて、又は他の方法で不明瞭にされて）見え、その時点で、ユーザの目のグラフィック表現は修正されずに（例えば、ユーザの目の修正されていないグラフィック表現が所定の輝度及び所定の量の詳細（及び焦点）で表示される中立位置に）見える。

【0144】

電子デバイスがユーザの身体に対して位置を変えるにつれて、ユーザの身体の一部の表現の表示を徐々に更新して、より表現に詳細を示すことは、電子デバイスがユーザの身体のより近くに移動していることを示す直感的な遷移効果を提供し、これにより、ユーザ及びディスプレイを見ている周囲環境内の他者は、デバイスが調節されていながらも、電子デバイスがユーザの身体に対してどこに位置するかを知ることができる。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0145】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、電子デバイスがユーザの身体の所定の部分に向かって移動するにつれて、より多い数の解剖学的特徴のグラフィック表現を含むように、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を（例えば、徐々に）修正することを含む（８３０）。例えば、グラフィック表現は、デバイスがユーザの身体の所定の部分のより近くに移動されるにつれて、より抽象的でなくなる（例えば、より詳細になる）。

【0146】

例えば、ユーザがＨＭＤをユーザの目に向かって移動させる（例えば、ＨＭＤを内向きに移動させてユーザの顔に近づける）につれて、ユーザの目のグラフィック表現は徐々に（例えば、ＨＭＤがユーザの目に近づくにつれて）より多くの詳細を含むようになる。例えば、グラフィック表現は、ユーザの目のグラフィック表現に加えて、グラフィック表現であるユーザの眉（及び／又はユーザの目を関連付けさせた他の特徴若しくはユーザの目を取り囲むユーザの顔のグラフィック表現）などの追加の特徴を表示する。いくつかの実施形態では、より詳細なグラフィック表現を表示することは、焦点が合った（ぼかされていない又はフェードされていない）グラフィック表現を表示することを含む。いくつかの実施形態では、グラフィック表現は、ユーザの目に対するＨＭＤの移動量（例えば、移動距離）に比例して、より詳細になるように修正される。例えば、ＨＭＤがユーザの目に近づけられるにつれて、グラフィック表現は徐々に不明瞭さが少なくなる。

【0147】

デバイスがユーザの身体に近づくにつれてディスプレイ上により多くの特徴を示すユーザの身体の表現のより詳細なビューを徐々に表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、ユーザの身体が覆われてユーザに見えない場合であっても、電子デバイスがユーザの身体に近づいていることを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0148】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部をフェードインさせることを含む（８３２）。

【0149】

上記の例に続いて、いくつかの実施形態では、ユーザが、下向き（例えば、ＨＭＤがユーザの頭／額の上部から移動され、ユーザの目の上に引き下げられるかのように）又はユーザの目に向かって（例えば、ユーザの顔に近づくように内向きに）などの別の方向にＨＭＤを移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にフェードイン視覚効果を適用するように修正される。例えば、ユーザがＨＭＤを下方及び／又は内側に移動させることによってＨＭＤの位置が変化すると、ユーザの目（例えば、及び／又は眉）のグラフィック表現がフェードインする（例えば、フェード状態から非フェード状態に変わる）。

【0150】

表現であるユーザの身体の部分のビューをフェードインさせるための視覚効果を提供することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直観的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0151】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部のぼかしを減少させることを含む（８３４）。

【0152】

上記の例に続いて、いくつかの実施形態では、ユーザがＨＭＤを右などの別の方向に（ユーザの目に向かって）（例えば、ＨＭＤがユーザの目の左に位置し、右に移動されユーザの目の上に装着されるかのように）移動させると、グラフィック表現は、グラフィック表現の少なくとも一部に対するぼかし視覚効果を低減するように修正される。例えば、ユーザがＨＭＤを右に（かつユーザの目に向かって）移動させることによってＨＭＤの位置が変化するにつれて、ユーザの目（例えば、及び／又は眉）のグラフィック表現は、ぼかしが少なくなる（例えば、より焦点が合う）。

【0153】

ユーザの身体の一部の表現の上に表示されるぼかし効果を低減することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0154】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現のビネット効果を低減することを含む（８３６）。

【0155】

上記の例に続いて、いくつかの実施形態では、ユーザがＨＭＤを左などの別の方向に（例えば、ＨＭＤがユーザの目の右に位置し、左に移動されてユーザの目の上に装着されるかのように）移動させると、グラフィック表現は、グラフィック表現の少なくとも一部に対するビネット効果を低減するように修正される。例えば、ユーザがＨＭＤを右に（かつユーザの目に向かって）移動させることによってＨＭＤの位置が変化すると、ユーザの目（例えば、及び／又は眉）のグラフィック表現は、ビネット効果が低減されて表示される（例えば、グラフィック表現のディスプレイの外側部分に適用されるビネット／ぼかしは、グラフィック表現全体が焦点が合って表示されるように除去される）。

【0156】

ユーザの身体の部分の表現の上に表示されるビネット効果を低減することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0157】

上記の例では、ＨＭＤの動きは、ユーザの目に対する動きの方向（上、下、左、右）によって定義される。例えば、ステップ８１６～８２２に関連付けられた例では、特定の効果に関連付けられた動きの方向は、その特定の効果に対するステップ８３０～８３６に関連付けられた例とは反対方向の動きから生成される。これは、ＨＭＤがユーザの目から離れて左に移動されるとき、より不明瞭なグラフィック表現が表示される一方で、ユーザの目に向かう（かつＨＭＤの中立位置に戻る）右へのＨＭＤの移動は、より不明瞭でないグラフィック表現を生成するためである。したがって、不明瞭なグラフィック表現は、ＨＭＤがユーザの目から離れるにつれて（ステップ８１６～８２２に記載されるように、それが上、下、左、又は右の方向であるかどうかにかかわらず）より不明瞭になり、不明瞭にされたグラフィック表現は、ＨＭＤがユーザの目に向かって移動するにつれて（例えば、ステップ８３０～８３６に記載されるように）より不明瞭でなくなる（例えば、より鮮明かつより焦点が合う）。ユーザの目のグラフィック表現は、ＨＭＤがユーザの目の上の所定の位置に装着されているとき、修正されていない（例えば、鮮明で焦点が合っている）と見なされる。ユーザの目のグラフィック表現は、ＨＭＤがその中立位置から離れるように移動されるとき、任意の視覚効果又は視覚効果の組み合わせを使用して不明瞭にされる。

【0158】

いくつかの実施形態では、ユーザの身体の所定の部分は、ユーザの目（例えば、両目）を含む（８３８）。上記の例で説明したように、いくつかの実施形態では、電子デバイスは、ユーザの目の上に装着されるように構成されたヘッドセット又はＨＭＤであり、電子デバイスは、ユーザの身体の所定の部分に最も近い（例えば、身体から離れて面する）デバイスの側とは反対の電子デバイスの側又は表面に位置する表示生成コンポーネント上に表示するために、ユーザの目のグラフィック表現を生成する。

【0159】

ユーザの目が電子デバイスによって覆われているときにユーザの目の表現を表示することは、ユーザの目を見ることができない状態でディスプレイを見ている他者間のより直感的な相互作用を提供する。他者に対してユーザの目のグラフィック表現を表示することによって、他者とユーザとの間の相互作用は、他者がユーザとより関わりがあると感じることを可能にすることにより改善される。他者がユーザの目のグラフィック表現を見ることを可能にすることは、他者に、デバイスを装着しているユーザと対話することがより容易であると感じさせる。改善された視覚的フィードバックをユーザ及び他者に提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0160】

いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの検出された位置の変化は、ユーザの身体の所定の部分に対する電子デバイスの位置の第１の変化である（８４０）。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化を検出し、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化は、第１の変化と反対である。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第２の変化に応答して、ある期間にわたって、又はユーザの身体の所定の部分から離れる第２の位置の変化の進行に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の修正を反転（例えば、徐々に反転）させる。例えば、第１の位置の変化は、電子デバイスをユーザの身体から取り外すこと（例えば、電子デバイスをユーザの身体から離すこと）を含み、第２の位置の変化は、電子デバイスをユーザの身体に装着すること（例えば、電子デバイスをユーザの身体に向かって移動させること）を含む。いくつかの実施形態では、ユーザの身体の所定の部分のグラフィック表現に適用される視覚効果は、２つの位置の（反対の）変化の間で反転される。例えば、デバイスがユーザの身体から取り外されるにつれて、修正は、ユーザの身体のグラフィック表現を徐々に（より少ない詳細を提供するように）抽象化することを含む。次いで、デバイスがユーザの身体に置かれると、修正は、ユーザの身体のグラフィック表現により多くの詳細を徐々に追加することを含む。

【0161】

いくつかの実施形態では、電子デバイスの位置を調節するためのジェスチャ（又は一連のジェスチャ）は、電子デバイスをユーザの身体に向かって移動させることを含む１つ以上の成分と、電子デバイスをユーザの身体から離れるように移動させることを含む１つ以上の成分とを含む、複数の成分を含む。ジェスチャの複数の成分が動きのタイプの間で交互になるにつれて、グラフィック表現に対する修正は、滑らかに（例えば、流れるように）遷移される。例えば、電子デバイスは、電子デバイスの位置の移動に従って、（電子デバイスが身体の所定の部分から離れるように移動されるにつれて）身体部分の外観のグラフィック表現の修正（例えば、抽象化のレベル）を増加させることと、（デバイスがユーザの身体の所定の部分に向かって移動されるにつれて）身体部分の外観のグラフィック表現の修正を減少させることとの間を滑らかに遷移する。

【0162】

電子デバイスの位置を調節するためのジェスチャの複数の成分は、例えば、ユーザの身体の所定の部分に対する電子デバイスの垂直アライメントに対する調節、ユーザの身体の所定の部分に対する電子デバイスの水平アライメントに対する調節、電子デバイスとユーザの身体の所定の部分との間の距離に対する調節、及びユーザの身体の所定の部分に対する電子デバイスの向き（例えば、垂直軸及び／又は水平軸に対する傾き）に対する調節、のうちの２つ以上を含み得る。更に、いくつかの実施形態では、複数の成分の各別個の成分に対して、グラフィック表現に対する対応する修正は、ジェスチャのその成分が経時的に変化するにつれて滑らかに遷移される。したがって、ジェスチャの異なる同時成分は、限定することなく、フェード、ぼかし、抽象化、又はビネットなどのグラフィック表現の異なるタイプの修正における同時遷移をもたらし得る。

【0163】

例えば、ユーザがＨＭＤをユーザの目に対して第１の方向に移動させた後、ユーザは、その後、ＨＭＤを反対方向に移動させる。例えば、ユーザは、ＨＭＤを上方に（例えば、ユーザの額の上に）移動させることによって、ＨＭＤを再配置し、それは、ユーザの目のグラフィック表現を不明瞭にさせ（例えば、ぼかし、フェード、ビネットなど）、ユーザがＨＭＤを上方に再配置した後、ユーザは、ＨＭＤを下方に（例えば、ユーザの目の上の位置に戻るように）移動させ、それは、グラフィック表現への修正を取り消すことによって、ユーザの目のグラフィック表現を反対の方に（例えば、より不明瞭でなくなるように）修正させる。このようにして、グラフィック表現は、ＨＭＤがユーザの目から離れて再配置されるにつれて、グラフィック表現が１つ以上の視覚効果を使用してより不明瞭になり、ＨＭＤがユーザの目の上の所定の位置に再配置されるにつれて、グラフィック表現がその未修正状態に戻るように、動的に修正される（例えば、未修正状態では、グラフィック表現はユーザの目の不明瞭にされていない表現である）。

【0164】

電子デバイスの動きの方向（又はタイプ）に基づいて修正が増加又は減少するように見えるように、ユーザの身体の表現に対する異なる修正を生成することは、表示される修正に基づいてデバイスがどのように動いているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0165】

いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が第１の方向に沿っているという判定に従って、第１の方式でグラフィック表現を修正する（８４２）。例えば、電子デバイスの位置の変化は、デバイスをユーザの身体の所定の部分から離れるように移動させること（例えば、デバイスをシフトさせてユーザの目から引き離すこと）を含み、修正は、グラフィック表現に適用される視覚効果、例えばぼかし、ビネットの適用、及び／又はディスプレイ上のユーザの身体の所定の部分（例えば、ユーザの目）の位置（ｚ高さ）の変化を含む。

【0166】

いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が第１の方向とは異なる（例えば、平行ではない）第２の方向に沿っているという判定に従って、第１の方式とは異なる第２の方式でグラフィック表現を修正する。いくつかの実施形態では、第２の方向は、（第１の軸に沿った）第１の方向とは異なる第３の軸に沿って定義される。このようにして、グラフィック表現に適用される視覚効果は、電子デバイスがどのように移動されるかに依存する。例えば、電子デバイスを傾けることは第１の視覚効果を生成し、電子デバイスをユーザの身体に向かって（又はそこから離れるように）移動させることは（第１の効果とは異なる）第２の視覚効果を生成し、電子デバイスを（例えば、ｙ軸に沿って）上又は下にシフトすることは（第１及び第２の視覚効果とは異なる）第３の視覚効果を生成し、電子デバイスをユーザの身体の所定の部分から取り外すことは第４の視覚効果を生成する。

【0167】

例えば、ユーザがＨＭＤを傾ける（例えば、ＨＭＤの左側を上に移動させる一方でＨＭＤの右側を下に移動させる）ことによってＨＭＤを動かすとき、グラフィック表現は、ユーザの目のグラフィック表現をフェードさせるなど、第１の視覚効果を使用して修正される。ユーザがＨＭＤをユーザの目から（例えば、前方に）引き離すと、グラフィック表現は、ユーザの目のグラフィック表現をぼかすなど、第１の視覚効果とは異なる第２の視覚効果を使用して修正される。ユーザがＨＭＤを上又は下に（例えば、ＨＭＤをユーザの額又は鼻の上に配置するために）移動させると、グラフィック表現は、グラフィック表現内に表示される特徴の数を減らす（例えば、ユーザの目のグラフィック表現を示さずにユーザの眉のグラフィック表現を示す）など、第１の視覚効果及び第２の視覚効果とは異なる第３の視覚効果を使用して修正される。ユーザがユーザの頭部からＨＭＤを取り外すと、グラフィック表現は、グラフィック表現がもはや表示されなくなるまでグラフィック表現を（例えば、徐々に）暗くするなど、第４の視覚効果を使用して修正される。どの視覚効果が特定の位置の変化と関連付けられるかの関連付けは、例示的な目的のためだけのものである。（例えば、第１の方向における）第１の位置の変化は、本明細書に説明される１つ以上の視覚効果のいずれかと関連付けられ得ることが理解されるであろう。

【0168】

各視覚効果が電子デバイスの位置に対する異なる調節を反映するように、電子デバイスの位置がどのように変化しているかに基づく異なる視覚効果をユーザの身体の表現に適用することは、表示される視覚効果に基づいてデバイスがどのように移動しているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0169】

いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が第１の方向に沿った成分及び第２の方向に沿った成分を有するという判定に従って、第１の方向に沿った成分に基づいて第１の方式でグラフィック表現を修正し、第２の方向に沿った成分に基づいて第２の方式でグラフィック表現を修正する（８４４）。いくつかの実施形態では、第１の方式での修正及び第２の方式での修正は、上記のように徐々に起こり、同時に起こる（例えば、両方の修正が同時に適用される）。例えば、ユーザが電子デバイス（例えば、ヘッドセット）をユーザの頭部から取り外すと、少なくとも２つの方向、すなわち、ユーザの身体から離れる方向及びユーザの身体の上を下に移動する方向に位置の変化がある。この例では、ユーザが電子デバイスを取り外す際に両方の視覚効果が表示される、例えば、ヘッドセットがユーザの頭部から取り外される際に、（ユーザの身体の下への位置の変化を反映するために）ユーザの目をシフトさせることと、（ユーザの身体から離れる位置の変化を反映するために）ユーザの目をぼかすことの両方が表示される。

【0170】

いくつかの実施形態では、ユーザは、同時に（例えば、同じ動き内で）複数の方向にＨＭＤを移動させる。複数の方向におけるユーザの動きに応答して、動きの方向の各々に関連付けられた視覚効果が、ユーザの目のグラフィック表現に同時に適用される。例えば、ユーザが、ユーザの目から離れるようにＨＭＤを前方に引っ張り、ユーザの目から離れるようにＨＭＤを上方向に移動させる場合、ユーザの目のグラフィック表現は（例えば、ＨＭＤを引き離す際の移動量に比例して）ぼかされ、グラフィック表現内に表示される特徴の数は、（例えば、上方向へのＨＭＤの移動量に比例して）減らされる。いくつかの実施形態では、ＨＭＤの（例えば、複数の軸に沿った）位置の変化をもたらす動きの他の組み合わせは、ユーザの目のグラフィック表現に同時に適用される視覚効果の対応する組み合わせを生成する。

【0171】

視覚効果の組み合わせが電子デバイスの位置に対する異なるタイプの調節を同時に反映するように、電子デバイスの位置がどのように変化しているかに基づくユーザの身体の表現に異なる視覚効果を組み合わせることは、表示される視覚効果の組み合わせに基づいてデバイスがどのように移動しているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0172】

いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化がユーザの身体の所定の部分に対する電子デバイスの回転であるという判定に従って、第３の方式でグラフィック表現を修正する（８４６）。いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの回転を検出することは、ユーザの身体に対する電子デバイスの位置の調節を検出することを含む。例えば、図７Ｅでは、デバイス７００が回転されてバンドをユーザの腕の周りに巻き付けるとき、ディスプレイ７１２は、デバイス７００がユーザの手首に向かって又は手首から離れて移動されるときに表示される修正（例えば、図７Ｃ～図７Ｄに示すとおり）とは異なり、デバイス７００が腕から離れて移動されるときに表示される修正（例えば、図７Ｇ～図７Ｈに示すとおり）とは異なる修正（第３の方式）を使用して、アニメーションのグラフィック表現を修正する。いくつかの実施形態では、位置の変化が異なる軸に沿っているとき、異なる修正（例えば、視覚効果）が表示される。

【0173】

以下の例では、軸は、（ユーザの身体の所定の部分としてのユーザの目に対して）以下のように定義される。ｘ軸は、前方又は後方への（例えば、目から離れる又は目に近づく）動きを指し、ｙ軸は、上又は下への（例えば、目の上方又は下方への）動きを指し、ｚ軸は、左及び右への動きを指す。例えば、デバイスの（例えば、ｙ軸に対して上又は下に移動する）傾きは、電子デバイスの旋回（回転）（例えば、ｚ軸に沿った移動）とは異なる視覚効果、及び押す又は引く移動（例えば、ｘ軸に沿って前方又は後方に移動する）とは異なる視覚効果を引き起こす。いくつかの実施形態では、電子デバイスの傾きは、ディスプレイをオフにするか又は薄暗くし、目の代わりに眉を示す視覚効果に対応する（例えば、電子デバイスに視覚効果を生成させる）。いくつかの実施形態では、電子デバイスの巻き付けは、ディスプレイ上のユーザの身体の部分の表現をシフトさせて、表現がユーザの身体の部分の位置に一致する（例えば、ユーザの目のグラフィック表現の位置がユーザの実際の目に一致するように移動される）ようにする視覚効果に対応する（例えば、電子デバイスに視覚効果を生成させる）。例えば、ユーザがＨＭＤを傾ける（例えば、ＨＭＤの左側を上に移動させる一方で、ＨＭＤの右側を下に移動させる）ことによってＨＭＤを移動させると、ユーザの目のグラフィック表現が薄暗くなる（又は暗くなる）。ユーザが（例えば、ＨＭＤをｚ軸に沿って右又は左に移動させることによって）ＨＭＤを回すと、グラフィック表現は、ディスプレイ上のユーザの目のグラフィック表現の場所を変えることによって修正される。例えば、ユーザの目のグラフィック表現は、ユーザの目のグラフィック表現の位置が、ディスプレイによって覆われるユーザの実際の目に対応する位置に留まるように、ディスプレイ上で移動される。

【0174】

電子デバイスの位置の変化を引き起こす動きのタイプ（又は方向）に基づいて複数の視覚効果を区別することは、どの視覚効果が表示されるかに基づいてデバイスがどのように動いているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより）ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。

【0175】

いくつかの実施形態では、第１の方式でグラフィック表現を修正することは、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部を不明瞭にするオーバーレイを表示することを含む。例えば、電子デバイスの位置が変えられている間（例えば、ユーザが電子デバイスの位置を調節するにつれて）、オーバーレイを表示することは、ユーザが電子デバイスの位置を調節していることを示すために、身体部分の外観のグラフィック表現を、ぼかす、フェードさせる、又は薄暗くするなどして流動的に示すことを含む。いくつかの実施形態では、オーバーレイは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部の上にテキスト又は絵文字を示すことを含む。

【0176】

例えば、いくつかの実施形態では、ユーザがＨＭＤの位置を変えた（例えば、ユーザの頭部にあるＨＭＤを調節する）ことに応答して、ユーザがＨＭＤを調節していることを（例えば、ディスプレイを見ている第三者に）示すために、ユーザの目のグラフィック表現の上にオーバーレイが表示される。いくつかの実施形態では、ユーザの目のグラフィック表現は、ユーザの目が閉じて見えるようにアニメーション化される。

【0177】

いくつかの実施形態では、電子デバイスは、電子デバイスにおいてのトリガ（例えば、入力）を検出する（例えば、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出して、又は検出せずに）。いくつかの実施形態では、トリガは、電子デバイスの表示生成コンポーネントの前で検出された入力（例えば、顔の前で（電子デバイスがユーザの顔の上にある間に電子デバイスの前で）検出された手）、電子デバイスの物理的制御部（例えば、ボタン）を選択する入力、及び電子デバイスの縁部で検出された入力、からなる群から選択された入力を含む。

【0178】

いくつかの実施形態では、電子デバイスは、トリガを検出したことに応答して、検出されたトリガに従ってユーザの身体の所定の部分の外観のグラフィック表現を修正し、これは、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部を不明瞭にするオーバーレイを表示することを含む。例えば、トリガは、現在のセッションを一時停止するためのトリガであり、トリガに応答して、電子デバイスは、電子デバイスの表示生成コンポーネントで表示されるグラフィック表現の少なくとも一部の上にオーバーレイを表示して、現在のセッションが一時停止されていることを示す。

【0179】

例えば、ユーザが、ユーザの頭部に装着されたＨＭＤの前に手を置くことに応答して、ユーザの目のグラフィック表現は、ディスプレイ上で不明瞭にされる（例えば、ユーザの目のグラフィック表現の上に置かれたオーバーレイを用いて）。いくつかの実施形態では、ユーザの目の不明瞭にされたグラフィック表現は、表示生成コンポーネントを見る第三者に、ユーザが現在第三者に関わっていない（例えば、第三者とのユーザのセッションが一時停止されている）ことを示す。

【0180】

いくつかの実施形態では、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現は、デバイスがユーザの所定の部分の上に装着されているときにユーザの身体の対応する部分が移動するにつれて移動する。例えば、目のグラフィック表現は、電子デバイスの、又は電子デバイスと通信する、カメラ又は他のバイオメトリックセンサによって検出されるような、ユーザの目の動き及び開閉に基づいて、見回す及び／又は開閉するように動く。

【0181】

図８Ａ～図８Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。

【0182】

上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図7H】

【図7I】

【図7J】

【図8A】

【図8B】

【図8C】

【図8D】