特許 6765306 オーディオナビゲーション支援

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6765306

(24)【登録日】2020年9月17日

(45)【発行日】2020年10月7日

(54)【発明の名称】オーディオナビゲーション支援

(51)【国際特許分類】

   A61H 3/06 20060101AFI20200928BHJP

   G08G 1/005 20060101ALI20200928BHJP

   G01C 21/26 20060101ALI20200928BHJP

   G06F 3/16 20060101ALI20200928BHJP

   G09B 21/00 20060101ALI20200928BHJP

   G06F 3/01 20060101ALI20200928BHJP

【ＦＩ】

   A61H3/06 G

   G08G1/005

   G01C21/26 P

   G06F3/16 660

   G06F3/16 540

   G09B21/00 D

   G06F3/01 510

   A61H3/06 A

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2016-547926(P2016-547926)

(86)(22)【出願日】2015年1月22日

(65)【公表番号】特表2017-513535(P2017-513535A)

(43)【公表日】2017年6月1日

(86)【国際出願番号】US2015012329

(87)【国際公開番号】WO2015112651

(87)【国際公開日】20150730

【審査請求日】2017年12月22日

(31)【優先権主張番号】14/163,943

(32)【優先日】2014年1月24日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ジェロールド，ロバート

【審査官】 菊地 牧子

(56)【参考文献】

【文献】 特開２００３−０２３６９９（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０８００２１（ＷＯ，Ａ１）

【文献】 特開２００８−２５６４１９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０２６８５６３（ＵＳ，Ａ１）

【文献】 特開２０１１−０３０５８４（ＪＰ，Ａ）

【文献】 特開２００３−０７９６８５（ＪＰ，Ａ）

【文献】 特開２００６−１７１３０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｈ ３／０６

Ａ６１Ｆ ９／０８

Ｇ０１Ｃ ２１／２６

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｇ０８Ｇ １／００５

Ｇ０９Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

オーディオ出力を介してユーザに環境内のナビゲーション支援を提供するための頭部装着型コンピューティングデバイスであって、当該頭部装着型コンピューティングデバイスは：
前記環境から深度画像データを生成するための１つ以上の深度センサと；
前記環境から可視画像データを生成するための１つ以上の可視光センサと；
１つ以上のトランスデューサと；
当該頭部装着型コンピューティングデバイスのプロセッサによって実行されるナビゲーションモジュールであって、該ナビゲーションモジュールは、ナビゲーション支援が前記ユーザの周囲への精通性を考慮するように適合される精通ナビゲーションモードと、ナビゲーション支援が前記ユーザの周囲への非精通性を考慮するように適合される非精通ナビゲーションモードを備え、該ナビゲーションモジュールは、前記ユーザが前記環境に以前に訪問したことがあるかどうか及び前記環境が該環境を識別する識別子でタグ付けされているかどうかに応じて、前記精通ナビゲーションモード又は前記非精通ナビゲーションモードで動作するように構成され、該ナビゲーションモジュールは、
前記深度画像データ及び前記可視画像データを使用して、前記環境の少なくとも一部の３次元メッシュを生成し、
前記３次元メッシュを使用して、前記環境内の少なくとも１つの特徴を検出し、
前記精通ナビゲーションモードで動作しているとき、前記特徴を検出したことに基づいて、前記１つ以上のトランスデューサを介して前記環境の第１オーディオ・ナビゲーションキューをユーザに出力し、
前記非精通ナビゲーションモードで動作しているとき、前記特徴を検出したことに基づいて、前記１つ以上のトランスデューサを介して前記環境の第２オーディオ・ナビゲーションキューを前記ユーザに出力し、前記第２オーディオ・ナビゲーションキューが前記第１オーディオ・ナビゲーションキューと異なる、
ように構成される、頭部装着型コンピューティングデバイス。

【請求項2】

前記ナビゲーションモジュールは、
キューが前記特徴の３次元位置から発生しているように前記ユーザに知覚させる方法で、前記第１オーディオ・ナビゲーションキューと前記第２オーディオ・ナビゲーションキューのうちの１つ以上を前記ユーザに出力するように更に構成される、
請求項１に記載の頭部装着型コンピューティングデバイス。

【請求項3】

前記特徴はスロープを備え、前記第１オーディオ・ナビゲーションキュー及び前記第２オーディオ・ナビゲーションキューは、傾斜したスロープを示す複数の上昇ピッチ音又は下向きのスロープを示す複数の下降ピッチ音を備える、
請求項１に記載の頭部装着型コンピューティングデバイス。

【請求項4】

前記第１オーディオ・ナビゲーションキュー及び前記第２オーディオ・ナビゲーションキューは、連続的なスロープを示す複数の連続ピッチ音又は複数の階段を示す複数の個別ピッチ音を備える、
請求項３に記載の頭部装着型コンピューティングデバイス。

【請求項5】

前記ナビゲーションモジュールは、前記第１オーディオ・ナビゲーションキュー及び前記第２オーディオ・ナビゲーションキューを、前記ユーザに対する前記特徴の近さが縮まると増大するボリュームで前記ユーザに出力するように更に構成される、
請求項１に記載の頭部装着型コンピューティングデバイス。

【請求項6】

頭部装着型コンピューティングデバイスにおいて、オーディオ出力を介してユーザに環境内のナビゲーション支援を提供するための方法であって、当該方法は：
前記環境から深度画像データを受け取るステップと；
前記環境から可視画像データを受け取るステップと；
前記深度画像データ及び前記可視画像データを使用して、前記環境の少なくとも一部の３次元メッシュを生成するステップと；
前記３次元メッシュを使用して、前記環境内の少なくとも１つの特徴を検出するステップと；
ナビゲーション支援が前記ユーザの周囲への精通性を考慮するように適合される精通ナビゲーションモードで前記頭部装着型コンピューティングデバイスが動作しているとき、前記特徴を検出したことに基づいて、１つ以上のトランスデューサを介して前記環境の第１のオーディオ・ナビゲーションキューをユーザに出力するステップと；
ナビゲーション支援が前記ユーザの周囲への非精通性を考慮するように適合される非精通ナビゲーションモードで前記頭部装着型コンピューティングデバイスが動作しているとき、前記特徴を検出したことに基づいて、前記１つ以上のトランスデューサを介して前記環境の第２のオーディオ・ナビゲーションキューを前記ユーザに出力するステップと；
を含み、前記頭部装着型コンピューティングデバイスは、前記ユーザが前記環境に以前に訪問したことがあるかどうか及び前記環境が前記環境を識別する識別子でタグ付けされているかどうかに応じて、前記精通ナビゲーションモード又は前記非精通ナビゲーションモードで動作するように構成され、前記第２のオーディオ・ナビゲーションキューが前記第１のオーディオ・ナビゲーションキューと異なる、
方法。

【請求項7】

前記深度画像データ及び前記可視画像データのうちの１つ以上を使用して、前記環境内の顔を認識するステップと；
前記顔を人の識別情報と関連付けるステップと；
前記人の前記識別情報を前記ユーザに通知するステップと；
を更に備える、請求項６に記載の方法。

【請求項8】

識別情報イアコンを前記人の前記識別情報に割り当てるステップと；
前記１つ以上のトランスデューサを介して前記識別情報イアコンを前記ユーザに出力するステップと；
を更に備える、請求項７に記載の方法。

【請求項9】

前記１つ以上のトランスデューサを介して触覚ナビゲーションキューを前記ユーザに出力するステップ
を更に備える、請求項６に記載の方法。

【請求項10】

前記特徴を検出したことに応答して、前記頭部装着型コンピューティングデバイスのディスプレイシステムを介して視覚ナビゲーションキューを前記ユーザに表示するステップを更に備え、前記視覚ナビゲーションキューは、前記環境内の特徴の少なくとも３次元の位置に基づく、
請求項６に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

生理的な視覚障害のある人々は、１つ以上の移動補助（mobility aid）を用いてその周囲をナビゲートすることがある。そのような移動補助には、例えば杖や介助動物、視覚強化デバイス等が含まれ得る。同様に、暗い部屋や煙の充満した部屋のように、状況的な視覚障害に遭遇している目が見える人も、その現在の環境のためのナビゲーション支援（navigation assistance）を提供する移動補助から恩恵を受け得る。

【0002】

一部の移動補助は、杖が道路の縁石に接触することのように、ユーザの周囲の態様を示す触覚フィードバックを提供する。しかしながら、そのような補助を使用することは、ユーザの手とともに相当量のユーザの注意を占める可能性がある。加えて、そのような補助は一般に、その周囲のコンテキストに関わらず、ユーザのごく近くの周囲について同じ量及びタイプのフィードバックを提供する。したがって、これらの補助は、一般に、ユーザの現在の環境のコンテキストに基づいて、そのフィードバックのユーティリティを修正又は強化することができない。

【発明の概要】

【0003】

オーディオ出力を介して環境内のナビゲーション支援を提供することに関する様々な実施形態を開示する。例えば開示される一実施形態では、頭部装着型コンピューティングデバイスにおいて、方法は、深度画像データ及び可視画像データを環境から受け取ることを備える。深度画像データ及び可視画像データを使用して、環境の少なくとも一部の３次元メッシュを生成する。この３次元メッシュを使用して、環境内の少なくとも１つの特徴を検出する。頭部装着型コンピューティングデバイスが精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、１つ以上のトランスデューサを介して、環境の第１のオーディオ・ナビゲーションキューをユーザに出力する。頭部装着型コンピューティングデバイスが非精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、１つ以上のトランスデューサを介して、環境の第２のオーディオ・ナビゲーションキューをユーザに出力する。第２のオーディオ・ナビゲーションキューは、第１のオーディオ・ナビゲーションキューとは異なる。

【0004】

この発明の概要の記載は、下記で発明の詳細な説明において更に説明される概念の選択を簡略化した形式で紹介するために提供される。この発明の概要の記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、特許請求に係る主題の範囲を限定するよう使用されるようにも意図されていない。さらに、特許請求に係る主題は、本開示のいずれかの部分で示されるいずれかの又はすべての欠点を解決する実装に限定されない。

【図面の簡単な説明】

【0005】

【図1】本開示の実施形態に係る、ナビゲーション支援を提供するための頭部装着型コンピューティングデバイスの概略図である。

【0006】

【図2】本開示の実施形態に係る例示の頭部装着型コンピューティングデバイスを示す図である。

【0007】

【図3】家で図２の頭部装着型コンピューティングデバイスを装着しているユーザの概略図である。

【0008】

【図4】ホテルで頭部装着型コンピューティングデバイスを装着している図３のユーザの概略図である。

【0009】

【図5】階段を備えるスロープに近づいている、図２の頭部装着型コンピューティングデバイスを装着しているユーザの概略図である。

【0010】

【図6】連続する下向きに傾いたスロープに近づいている図６のユーザの概略図である。

【0011】

【図7】本開示の実施形態に係る頭部装着型コンピューティングデバイスを介して見える屋外環境の概略図である。

【0012】

【図8A】本開示の実施形態に従って、オーディオ出力を介して環境内のユーザにナビゲーション支援を提供するための方法のフローチャートである。

【図8B】本開示の実施形態に従って、オーディオ出力を介して環境内のユーザにナビゲーション支援を提供するための方法のフローチャートである。

【0013】

【図9】コンピューティングデバイスの実施形態の簡略化した概略図である。

【発明を実施するための形態】

【0014】

図１は、ユーザ１４にナビゲーション支援を提供するための頭部装着型コンピューティングデバイス１０の一実施形態の概略図を示す。頭部装着型コンピューティングデバイス１０はナビゲーションモジュール１６を含む。ナビゲーションモジュール１６は、頭部装着型コンピューティングデバイス１０の大容量ストレージ１８内に格納され得る。ナビゲーションモジュール１６は、メモリ２０内にロードされて、頭部装着型コンピューティングデバイス１０のプロセッサによって実行され、以下でより詳細に説明される方法及び処理の１つ以上を実行し得る。

【0015】

ナビゲーションモジュール１６は、精通ナビゲーションモード（familiar navigation mode）２６及び非精通ナビゲーションモード（unfamiliar navigation mode）２８を備える複数のナビゲーションモード２４を含む。有利には、以下でより詳細に説明されるように、ナビゲーションモード２４のうちの１つ以上が、状況に適した方法でユーザの特定のニーズに適合したナビゲーション支援を提供するように選択的に携わる。例えば精通ナビゲーションモード２６は、プログラム又はユーザ入力３０により、ユーザが慣れている環境をユーザ１４がナビゲートしているときに携わることができる。精通ナビゲーションモード２６では、ナビゲーション支援は、ユーザの周囲への精通性を考慮するように適合され得る。

【0016】

同様にして、非精通ナビゲーションモード２８は、プログラム又はユーザ入力３０により、ユーザが不慣れな環境をユーザ１４がナビゲートしているときに携わることができる。非精通ナビゲーションモード２８では、ナビゲーション支援は、ユーザの周囲への非精通性を考慮するように適合され得る。認識されるように、ナビゲーションモジュール１６は、特定の特性又は態様を有する環境又は周囲に関連する１つ以上の追加のナビゲーションモード２４を含んでもよく、例えばそのようなモードには、屋内ナビゲーションモード、屋外ナビゲーションモード、都会ナビゲーションモード、田舎ナビゲーションモード等がある。一部の例では、２つ以上のナビゲーションが、例えば精通ナビゲーションモードと屋外ナビゲーションモード等が同時に関与してもよい。

【0017】

頭部装着型コンピューティングデバイス１０は、物理環境３２から物理環境データを受け取る様々なセンサ及び関連するシステムを含むことができる。次に図２も参照すると、１対のウェアラブル眼鏡の形の頭部装着型コンピューティングデバイス２００の一例が提供されている。一部の例では、頭部装着型コンピューティングデバイス２００は、見る者の１つ以上の目の正面で支持される透明、半透明又は不透明のディスプレイ２０４を備え得る。他の例では、頭部装着型コンピューティングデバイス２００は、様々な他の形式を取ってもよく、そのような形式はユーザの目の正面で支持されるディスプレイを備えることも、備えないこともある。

【0018】

例えば一部の実施形態では、頭部装着型コンピューティングデバイス１０は、ディスプレイを含まない１対の眼鏡フレームを備え得る。したがって、様々なフォームファクタを有する多くの他のタイプ及び構成の頭部装着型コンピューティングデバイス１０が使用されてもよく、本開示の範囲内にある。また、図１に示される頭部装着型コンピューティングデバイス１０は、以下でより詳細に説明されるように、図２に示される頭部装着型コンピューティングデバイス２００の形をとってもよく、任意の他の適切な頭部装着型コンピューティングデバイスの形をとってもよい。

【0019】

図１及び図２を参照すると、この例では、頭部装着型コンピューティングデバイス１０は、深度画像データ３８を生成する１つ以上の深度カメラ２０８を含む、深度センサシステム３４を含む。深度センサシステム３４は、例えばジェスチャベースの入力や、ユーザ１４によって又はユーザの視野内の人間若しくは物理的物体によって実行される他の動きのような、その視野内の動きも検出することができる。一例では、各深度カメラ２０８は、立体ビジョンシステムの左右のカメラを含んでもよい。これらの深度カメラの１つ以上からの時間分解画像を、互いに対して、かつ／又は可視スペクトルカメラ等の別の光センサからの画像に対して登録することができ、これらの時間分解画像を組み合わせて深度分解ビデオを得ることができる。

【0020】

他の例では、構造化された光深度カメラが、構造化された赤外線照明を投影し、その照明が投影されるシーンから反射された照明を画像化するように構成され得る。シーンの深度マップを、撮像されるシーンの様々な領域内の近接する特徴の間の間隔に基づいて構造化することができる。更に他の例では、深度カメラは、パルス化された赤外線照明をシーン上に投影して、そのシーンから反射された照明を検出するよう構成される飛行時間深度カメラの形をとってもよい。本開示の範囲内で任意の他の適切な深度カメラを使用することができることが認識されよう。

【0021】

頭部装着型コンピューティングデバイス１０は、RGBカメラ又は他の光センサのような、少なくとも１つの外側向きのセンサ２１２を用いる可視光センサシステム４２も含み得る。可視光センサシステム４２は可視画像データ４６を生成することができ、この可視画像データ４６はナビゲーションモジュール１６に提供され得る。外側向きのセンサ２１２は、物理環境３２からの２次元の画像情報及び環境３２内の特徴５０をキャプチャすることができる。以下でより詳細に説明されるように、特徴５０は、環境３２内の物理的な物体５２及び危険要因（hazard）５４を含み得る。一部の例では、物理的な物体５２が危険要因５４を備えることもある。外側向きのセンサ２１２は、ユーザが置かれている物理環境３２の画像をキャプチャすることができる。

【0022】

頭部装着型コンピューティングデバイス１０は、深度画像データ３８及び可視画像データ４６を使用して、ユーザ１４を囲む物理環境３２の少なくとも一部をモデル化する３次元メッシュ５８を生成する、３Ｄモデリングプログラム５６も含み得る。一部の例では、３Ｄモデリングプログラム５６は、ポリゴンモデリング技術を用いてもよく、ポリゴンモデリング技術では、３Ｄ空間内の頂点を線分によって接続して、テクスチャのある３Ｄポリゴンメッシュを形成する。これらには限られないが、カーブモデリングやデジタル彫刻技術のような３Ｄモデリングのための他の技術を使用してもよいことも認識されよう。

【0023】

頭部装着型コンピューティングデバイス１０は、ナビゲーションモジュール１６からの電子信号を別の形のエネルギに変換する１つ以上のアクチュエータを備える、トランスデューサシステム６０も含み得る。以下でより詳細に説明されるように、ナビゲーションモジュール１６は、トランスデューサシステム６０を用いて、環境３２のナビゲーションキュー６２をユーザ１４へ出力することができる。図２を再び参照すると、一部の例では、トランスデューサ６０は、オーディオ・ナビゲーションキュー６４を生成するための１つ以上のスピーカ２１６を含むことができる。他の例では、１つ以上のスピーカ２１６は、ユーザ１４によって装着されるヘッドフォン又は耳の中のイヤホンの形をとることができる。

【0024】

一部の例では、ナビゲーションモジュール１６及び／又はトランスデューサシステム６０は、オーディオ・ナビゲーションキューが物理環境３２の３Ｄ空間内の特定の位置で発生したようにユーザが認識することを可能にするよう、オーディオ・ナビゲーションキュー６４を処理する。例えば１つ以上のクロストーク除去技術を用いて、第１のオーディオ信号（例えば左チャネル）が第１の耳（例えば左耳）へ伝達され、第２のオーディオ信号（例えば右チャネル）が第２の耳（例えば右耳）へ伝達され、一方、第２の耳への第１のオーディオ信号の伝達及び第１の耳への第２のオーディオ信号の伝達を実質的に減衰させるように構成し得る。

【0025】

他の例では、３次元オーディオのプロビジョンは、音が３Ｄ音響空間内の特定の位置から発生しているという錯覚を生じるよう、頭部伝達関数「ＨＲＴＦ」（head-related transfer function）及び／又は頭部インパルス応答「ＨＲＩＲ」（head-related impulse response）に基づくことができる。ＨＲＴＦは、音が鼓膜及び内耳に到達する前に、所与の音波入力が頭部及び耳介（pinna）の解析及び反射特性によってどのようにフィルタされるかを示す。言い換えると、ＨＲＴＦは、自由大気内の音と、鼓膜に到達するときのその音との間の差に基づいて定義され得る。

【0026】

他の例では、トランスデューサシステム６０は、ユーザ１４に対して振動のような触覚ナビゲーションキューを生成するための１つ以上の触覚トランスデューサ２２０を含んでもよい。

【0027】

頭部装着型コンピューティングデバイス１０は、物理環境３２からのオーディオ入力を受け取るためのマイクロフォンシステム６６及び１つ以上のマイクロフォン２２４も含み得る。一部の例では、頭部装着型コンピューティングデバイス２００上の様々な位置に配置される複数のマイクロフォン２２４を含むマイクロフォンアレイを備えてもよい。マイクロフォン２２４は、物理環境３２からの音声及び他のオーディオ入力を受け取るように構成される全方向性マイクロフォン及び／又は一方向性マイクロフォンを備えることができる。

【0028】

一部の例では、マイクロフォンシステム６６及び／又はナビゲーションモジュール１６は、１つ以上の音源定位技術（acoustic source localization technique）を用いて、ユーザ１４の後ろに配置されるソースを含め、物理環境３２の３Ｄ空間内で音源を見つけることができる。例えばマイクロフォンシステム６６及び／又はナビゲーションモジュール１６は、１つ以上のビーム形成技術をマイクロフォンアレイからのオーディオ入力の少なくとも一部に適用することができる。例えば単一の方向適応的な音響信号（directionally-adaptive sound signal）が、任意の適切な方法で決定され得る。方向適応的な音響信号は、時間不変（time-invariant）ビーム形成技術、適応的ビーム形成技術又は時間不変と適応的ビーム形成技術の組合せに基づいて決定され得る。結果として得られる組合せの信号は、音源の方向で操作され得る狭い指向性パターンを有することがある。任意の適切な音源定位技術を使用して、音源の位置を特定することができることも認識されよう。

【0029】

上記のように、一部の例では、頭部装着型コンピューティングデバイス２００は、視覚ナビゲーションキューをユーザ１４の目へ伝達することを可能にするよう、ディスプレイシステム７０及びディスプレイ２０４を含み得る。一例では、ディスプレイ２０４は透明なディスプレイを備えてよく、透明なディスプレイは、該透明なディスプレイを通して環境３２を見るユーザに対して、物理環境３２の見え方（外観）（appearance）を視覚的に増補するように構成される。例えば物理環境３２の見え方は、透明なディスプレイを介して提示されて混合型リアリティ環境を生成するグラフィカルコンテンツ（例えば各々がそれぞれの色と輝度を有する１つ以上のピクセル）によって増補され得る。

【0030】

この例では、透明なディスプレイ２０４は、ユーザが、仮想物体表現を表示している１つ以上の部分的に透明なピクセルを通して、物理環境３２内の物理的な実世界の物体５２を見ることを可能にするようにも構成され得る。一例において、透明なディスプレイ２０４は、（例えばシースルーの有機発光ダイオード（ＯＬＥＤ）ディスプレイ等のような）レンズ２１０内に配置される画像生成素子を含むことができる。別の例として、透明なディスプレイは、レンズ２１０のエッジ上に光モジュレータを含んでもよい。この例では、レンズ２１０は、光モジュレータからユーザの目に光を伝達するための光ガイドとして機能することができる。そのような光ガイドは、ユーザが物理環境３２内の物理的な物体５２を見ることを可能にしつつも、ユーザが見ている物理環境３２内に配置される２Ｄ画像又は３Ｄホログラフィック画像をユーザが知覚することを可能にすることができる。

【0031】

再び図１の頭部装着型コンピューティングデバイス１０を参照すると、図９に関連して以下でより詳細に検討されるように、プロセッサ２２が論理サブシステムを備え、メモリ２０がストレージサブシステムを備えてもよく、これらは上述の様々なセンサ及び対応するシステムと通信することが認識されよう。一例では、ストレージサブシステムは、センサから信号を受け取り、その信号を（未処理又は処理済みの形で）ナビゲーションモジュール１６へ転送するよう、論理サブシステムによって実行可能な命令を含み得る。

【0032】

加えて、図１に図示される例は、頭部装着型コンピューティングデバイス１０に一体化される大容量ストレージ１８、メモリ２０及びプロセッサ２２を示している。他の例では、大容量ストレージ１８、メモリ２０及びプロセッサ２２は、頭部装着型コンピューティングデバイス１０が通信可能に結合される１つ以上の他のコンピューティングデバイスに配置されてもよいことが認識されよう。例えば頭部装着型コンピューティングデバイス１０は、有線接続を使用して別のコンピューティングデバイスに動作可能に接続されてよく、あるいはWiFi、Bluetooth（登録商標）又は任意の他の適切な通信プロトコルを用いてもよい。頭部装着型コンピューティングデバイス１０及び他のコンピューティングデバイスのコンポーネント及び演算態様に関する更なる詳細は、以下で図９に関連して更に詳細に説明される。

【0033】

頭部装着型コンピューティングデバイス１０及び関連するセンサ、並びに上述及び図１及び図２に図示される他のコンポーネントは例示として提供されていることが認識されよう。任意の他の適切なセンサ、コンポーネント及び／又はセンサとコンポーネントの組合せを使用してもよいので、これらの例は、いかなる方法でも限定するものとして意図されない。したがって、頭部装着型コンピューティングデバイス１０は、本開示の範囲から逸脱することなく、追加及び／又は代替的なセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス等を含むことができる。さらに、頭部装着型コンピューティングデバイス１０の物理的構成及びその様々なセンサとサブコンポーネントは、本開示の範囲から逸脱することなく、様々な異なる形式を取ることができる。

【0034】

次に図３〜図７を参照して、例示の使用ケースの説明及び頭部装着型コンピューティングデバイス１０の実施形態を提供することにする。図３では、図２の頭部装着型コンピューティングデバイス２００を装着しているユーザ１４が、家３００の中を歩いている。ユーザ１４は、視覚障害を持っており、ナビゲーション支援のために頭部装着型コンピューティングデバイス２００を使用することができる。一例では、ユーザ１４は、家３００の中の部屋から部屋へと歩き、部屋ごとに、その部屋を識別する部屋識別子のユーザ入力３０を提供することによって、頭部装着型コンピューティングデバイス２００を開始することができる。

【0035】

例えばユーザ１４がキッチン３０４の周囲を歩く間に、ユーザは「ここはキッチンです」と言うことができる。ナビゲーションモジュール１６は、このユーザ入力３０を受け取り、音声認識プログラムを使用してこのユーザ入力を処理し、キッチン３０４に「キッチン」識別子でタグを付けることができる。ナビゲーションモジュール１６は、キッチン３０４の可視画像データ４６及び深度画像データ３８を使用して、キッチン及びその様々な特徴５０の３Ｄメッシュ、例えば器具や家具、壁、輪郭、表面等の３Ｄメッシュを生成することができる。ナビゲーションモジュール１６は、「キッチン」識別子でタグ付けされたキッチン３０４を含む、家３００の対応するマップ８０を生成することもできる。同様の手法で、ナビゲーションモジュール１６は、居間３０８の可視画像データ４６及び深度画像データ３８を使用して、この部屋及びその様々な特徴５０の３Ｄメッシュを生成することができる。ナビゲーションモジュールは、ユーザ１４からのユーザ入力３０に基づいて、居間を「居間」識別子でタグ付けして、「居間」識別子でタグ付けされた居間３０８を、家３００のマップ８０に追加することができる。ユーザが部屋から部屋へ、家３００の周囲を歩くと、ナビゲーションモジュール１６は、家をナビゲートするときにユーザが取る通常の経路を認識し、記憶することもできる。

【0036】

その後、ユーザ１４がこれらの部屋の１つに入ると、ナビゲーションモジュール１６は、マップ８０を介してその部屋を識別し、対応する部屋識別子でタグ付けされるものとして、その部屋を検出する。したがって、対応する部屋識別子でタグ付けされる部屋を検出することに少なくとも基づいて、ナビゲーションモジュール１６は、精通ナビゲーションモード２６に関与（engage）することができる。他の例では、物理環境３２の部屋又は他の部分は、識別子に関連付けられないが、ユーザ１４によって以前に訪問されていることがある。これらの例では、ナビゲーションモジュール１６は、例えばマシン学習技術を用いることによって、ユーザの１以上の以前の訪問から環境３２の部屋又は他の部分を認識することができる。ユーザが、環境３２の部屋又は他の部分を、少なくとも所定の回数、例えば１、３、５又は任意の他の適切な回数訪問していた場合、ナビゲーションモジュール１６は、精通ナビゲーションモード２６に関与することができる。更に他の例では、ユーザ１４は、ユーザ入力３０を、精通ナビゲーションモード２６に関与するナビゲーションモジュール１６に提供することができる。

【0037】

図３の参照を続けると、以下でより詳細に説明されるように、精通ナビゲーションモード２６の間、ナビゲーションモジュール１６は、ナビゲーションモジュール１６が非精通ナビゲーションモード２８で動作しているときに提供されるナビゲーションキューとは異なるナビゲーションキュー６２を、ユーザ１４に提供することができる。一例では、ユーザ１４は、通常の位置３１４に配置されるオットマン３１２の一般的方向に歩いていることがある。精通ナビゲーションモード２６では、ナビゲーションモジュール１６は、居間３０８への以前の訪問からオットマン３１２の通常の位置３１４をユーザが覚えているという想定の下で、オットマン３１２に対応するナビゲーションキュー６２は提供しなくてよい。別の例では、ナビゲーションモジュール１６は、スピーカ２１６を介してソフト音声で「オットマン」と発声することのように、オットマン３１２についての軽度なリマインダを備えるオーディオ・ナビゲーションキュー６４を出力することができる。

【0038】

別の例では、ユーザ１４は、家３００に初めて訪れる来客である可能性がある。したがって、ナビゲーションモジュール１６は、非精通ナビゲーションモード２８に関与し得る。このモードでは、ユーザ１４がオットマン３１２の一般的方向に歩くと、ナビゲーションモジュール１６は、ユーザにオットマンの位置を警告するオーディオ・ナビゲーションキュー６４を、ユーザに提供することができる。例えばナビゲーションモジュール１６は、１つ以上の音源定位を使用して、精通イアコン（familiar earcon）３２０として図示される簡単かつ特徴的な音（又はイアコン（earcon））を出力することができる。そのような音源定位は、ユーザ１４に、そのイアコンが、オットマン３１２に対応する通常の３Ｄ位置３１４で発生しているように知覚させる。別の例では、ナビゲーションモジュール１６は、音源定位を使用して、ユーザに対して、通常の位置３１４から「オットマン」という単語を発声してもよい。

【0039】

別の例では、精通ナビゲーションモード２６の間、ナビゲーションモジュール１６は、オットマン３１２が、その通常の位置３１４とは異なる、普段と違う位置３１６にあることを認識することがある。さらに、ユーザの移動の方向にも基づいて、ナビゲーションモジュール１６は、普段と違う位置３１６において、オットマン３１２がユーザ１４の直接経路内にあると判断することがある。ナビゲーションモジュール１６は、この状況において、オットマン３１２によって、ユーザ１４がつまずく危険があると判断することがある。

【0040】

したがって、ナビゲーションモジュール１６は、オットマン３１２を危険要因５４に分類し、音源定位を利用して、オットマン３１２の普段と違う位置３１６についてユーザに警告するオーディオ・ナビゲーションキュー６４を、警告イアコン３２２の形で出力することができる。この例では、オットマン３１２は、ナビゲーションモジュール１６によって物体５２と危険要因５４の双方に分類され得る。加えて、ユーザ１４に切迫感を伝えるために、警告イアコン３２２を、精通イアコン３２０と比べてより高いボリュームで出力してもよく、これは、図３では、精通イアコン３２０よりも大きいサイズを有する警告イアコン３２２によって示されている。他の例では、警告イアコン３２２は、精通イアコン３２０と比べて、異なる特徴的な音（複数可）を備えてもよい。

【0041】

一部の例では、ナビゲーションモジュール１６は、ユーザ１４に対する特徴の近さが縮まるにつれて増大するボリュームで、環境３２内の特徴５０についてのオーディオ・ナビゲーションキュー６４を出力することができる。例えばここで図４を参照すると、ユーザ１４は、初めてホテル４００のロビー４０４にいることがある。したがって、ナビゲーションモジュール１６は非精通ナビゲーションモード２８で動作していることがある。ユーザ１４は、彫刻４１４から第１の距離にある初期位置４１０におり、ロビー４０４の中央にある彫刻に向かって歩いていることがある。ユーザが初期位置４１０にいるとき、ナビゲーションモジュール１６は、彫刻イアコン４１８を、彫刻に対応する３Ｄ位置４２０でその彫刻イアコンが発生しているようにユーザ１４に知覚させる第１のボリュームで出力することができる。ユーザが彫刻に向かって歩き続けて、次の位置４２２に到達すると、ナビゲーションモジュール１６は、より大きな彫刻イアコン４１８’によって示されるように、第１のボリュームよりも大きい第２のボリュームで彫刻イアコンを出力し、彫刻４１４により近いことをユーザに警告することができる。

【0042】

一部の例では、非精通ナビゲーションモード２８において、ナビゲーションモジュール１６は、ユーザ１４が置かれている物理環境３２内の各特徴５０に対応するオーディオ・ナビゲーションキュー６４を出力することができる。例えば図４では、ナビゲーションモジュール１６は、ユーザ１４の視野内の各特徴に対応するオーディオ・ナビゲーションキュー６４を出力することができる。ユーザ１４が初期位置４１０にいるとき、ナビゲーションモジュール１６は、彫刻４１４、机４３０、カウチ４３４、人４３８及び壁４４２に対応するオーディオ・ナビゲーションキュー６４を出力することができる。

【0043】

別の例では、ナビゲーションモジュール１６は、深度画像データ３８及び可視画像データ４６のうちの１つ以上を使用して、カウチ４３４上に座っている人４３８の顔を認識することができる。ナビゲーションモジュールは、次いで、例えばリモートサーバ内に格納される顔認識データベースを使用して、その人の顔を人の識別情報と関連付けることができる。ナビゲーションモジュールは、人４３８の識別情報をユーザ１４に知らせることができる。有利には、ユーザ１４は、これによりユーザの近くにいる人を予想することができる。

【0044】

さらに、一部の例では、識別情報イアコンを人４３８の識別情報に割り当てることができ、この場合、識別情報イアコンは、ユーザ入力３０を介してナビゲーションモジュール１６に提供されるか、ナビゲーションモジュールによりプログラムによって生成される。これらの例では、ナビゲーションモジュール１６が顔を人４３８の識別情報に関連付けると、ナビゲーションモジュール１６は、識別情報イアコンをユーザに出力して、人の識別情報をユーザに通知することができる。

【0045】

次に図５を参照すると、別の例において、オーディオ・ナビゲーションキュー６４は、物理環境３２におけるスロープを識別するようにカスタマイズされ得る。一例では、ユーザ１４が、傾斜したスロープ（inclined slope）５０２に近づいていることがある。ナビゲーションモジュール１６は、傾斜したスロープ５０２を認識し、これに対応して、傾斜したスロープを示す複数の上昇ピッチ音（ascending pitched sound）５０６を備えるオーディオ・ナビゲーションキュー６４をユーザ１４に出力することができる。

【0046】

別の例では、図６を参照すると、ユーザ１４が下向きのスロープ（declined slope）６０２に近づいていることがある。ナビゲーションモジュール１６は、下向きのスロープ６０２を認識し、これに対応して、下向きのスロープを示す複数の下降ピッチ音（descending pitched sound）６０６を備えるオーディオ・ナビゲーションキュー６４をユーザ１４に出力することができる。

【0047】

図５を再び参照すると、一部の例では、ナビゲーションモジュール１６は、傾斜したスロープ５０２を、一連の階段のような、１つ以上の階段５１０として認識することができる。応答として、ナビゲーションモジュール１６は、これに対応して、個々の８分音符５１４によって示されるように、複数の個別の上昇ピッチ音５０６を備えるオーディオ・ナビゲーションキュー６４をユーザ１４に出力することができる。このようにして、ナビゲーションモジュール１６は、上りの階段が前方にあることをユーザ１４に伝えることができる。同様にして、ナビゲーションモジュール１６が、下向きのスロープを１つ以上の階段として認識する場合、ナビゲーションモジュール１６は、これに対応して、複数の個別の下降ピッチ音を備えるオーディオ・ナビゲーションキュー６４をユーザ１４に出力することができる。このようにして、ナビゲーションモジュール１６は、下りの階段が前方にあることをユーザ１４に伝えることができる。

【0048】

一部の例では、ナビゲーションモジュールは、傾斜又は下向きのスロープの階段の数を識別し、階段の数に対応する個別ピッチ音の数により、その階段の数をユーザ１４に伝えることができる。例えば図５に示されるように、ナビゲーションモジュール１６は、傾斜したスロープ５０２内の３つの階段５１０を認識することがある。したがって、ナビゲーションモジュール１６は、ユーザ１４に、３つの８分音符５１４の形で３つの個別ピッチ音を出力することができる。有利には、このようにして、３つの上り階段が前方にあることをユーザに通知することができるので便利である。

【0049】

再び図６を参照すると、一部の例では、ナビゲーションモジュール１６は、下方に向かってスロープ形成される歩道や道、廊下等のように、下向きの勾配の形で連続的なスロープを備えるものとして、下向きのスロープ６０２を認識することがある。この連続的なスロープは、図６に示されるように実質的に平面的であってよく、あるいは起伏しているか幾らか曲がっていることもあり得る。応答として、ナビゲーションモジュール１６は、これに対応して、図６では４つの８分音符をつなぐスラー６１０によって示されるような、複数の連続的な下降ピッチ音６０６を備えるオーディオ・ナビゲーションキュー６４を、ユーザ１４に出力することができる。

【0050】

一部の例では、スロープを特定するようユーザ１４に出力されるオーディオ・ナビゲーションキュー６４は、非精通ナビゲーションモード２８と比べて、精通ナビゲーションモード２６では異なるものとすることができる。例えば再び図５を参照すると、階段５１０を示す個別の上昇ピッチ音５０６は、ナビゲーションモジュール１６が（例えばユーザ１４が家にいるときのように）精通ナビゲーションモード２６で動作しているとき、第１の、より低いボリュームで出力され得る。しかしながら、ナビゲーションモジュール１６が、（例えばユーザが初めて建物にいるときのように）非精通ナビゲーションモード２８で動作しているとき、階段５１０を示す個別の上昇ピッチ音５０６は、第２の、より高いボリュームで出力され、階段についてユーザにより大きな注意を提示することができる。

【0051】

一部の例では、上記のように、ナビゲーションモジュール１６は、１つ以上の触覚トランスデューサ２２０を介して、触覚ナビゲーションキューをユーザ１４に出力するように構成され得る。例えば再び図４を参照すると、ユーザ１４によって装着される頭部装着型コンピューティングデバイス２００は、デバイスの右テンプルアーム２４０上に触覚トランスデューサ２２０を含むことができ、この場合、触覚トランスデューサは、ユーザ１４が感じる振動を生成するように構成される。ユーザ１４が初期位置４１０にいるとき、ユーザのすぐ右の机４３０についてユーザに警告するために、ナビゲーションモジュール１６は、頭部装着型コンピューティングデバイス２００の右テンプルアーム２４０上の触覚トランスデューサ２２０を、物体がユーザ１４の近くに右にあることを示す所定のパターンで振動させることができる。

【0052】

次に図７を参照すると、一部の例では、ナビゲーションモジュール１６は、頭部装着型コンピューティングデバイス１０のディスプレイシステム７０を介して視覚ナビゲーションキューをユーザ１４に表示するように構成されてもよい。一例では、ユーザ１４は、遠くの物体を見るユーザの能力を限定する、強度の近視を備える視覚障害を持っていることがある。ユーザ１４は、図７に示される頭部装着型コンピューティングデバイス２００の透明なディスプレイ２０４を通した道路のビューとともに、街の道路を歩いていくことができる。バン７０４がユーザ１４に向かって運転されている。

【0053】

ナビゲーションモジュール１６は、バン７０４がユーザ７１４に向かって動いてくると、深度画像データ３８を使用して、バン７０４の３次元の位置を決定し、バンがユーザ１４に衝突する可能性がある経路上にあることを決定することができる。したがって、ナビゲーションモジュール１６は、複数の点滅する警告アイコン７０８を透明なディスプレイ２０４上に表示して、近づいている危険要因についてユーザに警告することができる。一部の例では、ナビゲーションモジュール１６は、近づいている危険要因についてユーザに警告するオーディオ・ナビゲーションキュー６４を出力することもできる。例えばオーディオ・ナビゲーションキュー６４は、例えば「警告！車が急接近中！右に移動してください！」といった、１つ以上の発声される警告及び関連する命令７１２を備えることができる。

【0054】

上記のように、一部の例では、頭部装着型コンピューティングデバイス１０は、ディスプレイシステム７０を含み得る。頭部装着型コンピューティングデバイス１０がディスプレイシステム７０を含む場合、一部の例では、頭部装着型コンピューティングデバイス１０は、ディスプレイシステム７０を介してユーザに画像や他の視覚コンテンツを表示せずに、上述のようにオーディオ・ナビゲーションキュー６４を出力してもよい。

【0055】

図８Ａ及び図８Ｂは、本開示の実施形態に係る、オーディオ出力を介して環境内のユーザにナビゲーション支援を提供するための方法８００のフローチャートを図示している。方法８００の以下の説明は、上述され、図１〜図７に示される頭部装着型コンピューティングデバイス１０のソフトウェア及びハードウェアコンポーネントとの関連で提供される。方法８００は、他の適切なハードウェア及びソフトウェアコンポーネントを使用する他のコンテキストで実行されてもよいことが認識されよう。

【0056】

図８Ａを参照すると、８０４において、方法８００は、環境から深度画像データを受け取ることを含み得る。８０８において、方法８００は、環境から可視画像データを受け取ることを含み得る。８１２において、方法８００は、深度画像データ及び可視画像データを使用して、環境の少なくとも一部の３次元メッシュを生成することを含み得る。８１６において、方法８００は、３次元メッシュを使用して、環境内の少なくとも１つの特徴を検出することを含み得る。８２０において、方法８００は、頭部装着型コンピューティングデバイスが精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、１つ以上のトランスデューサを介して、環境の第１のオーディオ・ナビゲーションキューをユーザに出力することを含み得る。

【0057】

８２４において、方法８００は、頭部装着型コンピューティングデバイスが、非精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、１つ以上のトランスデューサを介して、環境の第２のオーディオ・ナビゲーションキューをユーザに出力することを含み得る。第２のオーディオ・ナビゲーションキューは第１のオーディオ・ナビゲーションキューとは異なる。８２８において、方法８００は、そのキューが特徴の３次元の位置で発生したようにユーザに知覚させるような方法で、第１のオーディオ・ナビゲーションキュー及び第２のオーディオ・ナビゲーションキューのうちの１つ以上をユーザに出力することを含み得る。８３２において、特徴はスロープを備え、第１のオーディオ・ナビゲーションキュー及び第２のオーディオ・ナビゲーションキューは、傾斜したスロープを示す複数の上昇ピッチ音又は下向きのスロープを示す複数の下降ピッチ音を備える。

【0058】

８３６において、第１のオーディオ・ナビゲーションキュー及び第２のオーディオ・ナビゲーションキューは、連続的なスロープを示す複数の連続ピッチ音又は複数の階段を示す複数の個別ピッチ音を備え得る。次に図８Ｂを参照すると、８４０において、方法８００は、第１のオーディオ・ナビゲーションキュー及び第２のオーディオ・ナビゲーションキューを、検出された物体のユーザに対する近さが縮まると増大するボリュームでユーザに出力することを含み得る。８４４において、方法８００は、深度画像データ及び可視画像データのうちの１つ以上を使用して、環境内の顔を認識することを含み得る。８４８において、方法８００は、顔を人の識別情報に関連付けることを含み得る。８５２において、方法８００は、人の識別情報をユーザに通知することを含み得る。

【0059】

８５６において、方法８００は、識別情報イアコンを、人の識別情報に割り当てることを含み得る。８６０において、方法８００は、１つ以上のトランスデューサを介して、識別情報イアコンをユーザに出力することを含み得る。８６４において、方法８００は、１つ以上のトランスデューサを介して、触覚ナビゲーションキューをユーザに出力することを含み得る。８６８において、方法８００は、特徴を検出したことに基づいて、頭部装着型コンピューティングデバイスのディスプレイシステムを介して、視覚ナビゲーションキューをユーザに表示することを含み、ここで、視覚ナビゲーションキューは、環境内の特徴の３次元の位置に基づく。

【0060】

方法８００は、例として提供されており、限定であるように意図されていないことが認識されよう。したがって、方法８００は、図８Ａ及び図８Ｂに例示されるものに対して追加及び／又は代替的なステップを含んでもよいことが理解されよう。さらに、方法８００は、任意の適切な順番で実行されてもよいことが認識されよう。またさらに、本発明の範囲から逸脱することなく、方法８００から１つ以上のステップが省略されてもよいことが認識されよう。

【0061】

図９は、上述の方法及び処理のうちの１つ以上を実行することができるコンピューティングシステム９００の非限定的な実施形態を概略的に示す図である。頭部装着型コンピューティングデバイス１０は、コンピューティングシステム９００の１つ以上の態様の形をとるか、その１つ以上の態様を含むことがある。コンピューティングシステム９００は、簡略化された形で示されている。本開示の範囲から逸脱することなく、実質的に任意のコンピュータアーキテクチャを使用してもよいことが理解されよう。異なる実施形態において、コンピューティングシステム９００は、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、ゲームデバイス等の形をとり得る。

【0062】

図９に示されるように、コンピューティングシステム９００は、論理サブシステム９０４、ストレージサブシステム９０８及びセンササブシステム９１２を含む。コンピューティングシステム９００は、任意選択で、ディスプレイサブシステム９１６、通信サブシステム９２０、入力サブシステム９２２及び／又は図９に図示されていない他のサブシステム及びコンポーネントを含んでもよい。コンピューティングシステム９００はコンピュータ読取可能媒体を含んでもよく、コンピュータ読取可能媒体は、コンピュータ読取可能記録媒体とコンピュータ読取可能通信媒体を含む。コンピューティングシステム９００は任意選択で、例えばキーボード、マウス、ゲームコントローラ及び／又はタッチスクリーン等の他の入力デバイスも含み得る。さらに、一部の実施形態では、本明細書で説明される方法及び処理は、コンピュータアプリケーション、コンピュータサービス、コンピュータＡＰＩ、コンピュータライブラリ及び／又は１つ以上のコンピュータを含むコンピューティングシステム内の他のコンピュータプログラム製品として実装されてもよい。

【0063】

論理サブシステム９０４は、１つ以上の命令を実行するよう構成される１つ以上の物理的デバイスを含み得る。例えば論理サブシステム９０４は、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造又は他の論理構造体の一部である、１つ以上の命令を実行するように構成され得る。そのような命令は、タスクを実行し、データタイプを実装し、１つ以上のデバイスの状態を変換し、あるいは他の方法で所望の結果に到達するように実装され得る。

【0064】

論理サブシステム９０４は、ソフトウェア命令を実行するように構成される１つ以上のプロセッサを含み得る。あるいはまた、論理サブシステムは、ハードウェア又はファームウェア命令を実行するように構成される、１つ又は複数のハードウェア又はファームウェア論理マシンを含んでもよい。論理サブシステムのプロセッサは、シングルコアであってもマルチコアであってもよく、このプロセッサ上で実行されるプログラムは、並列処理又は分散処理用に構成され得る。論理サブシステムは任意選択で、リモートに配置されるか及び／又は協調処理のために構成され得る、２つ又はそれ以上のデバイスの全体を通して分散される個々のコンポーネントを含んでもよい。論理サブシステムの１つ以上の態様は、クラウドコンピューティングの構成で構成される、リモートからアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化され、実行され得る。

【0065】

ストレージサブシステム９０８は、本明細書において説明される方法及び処理を実装するように論理サブシステム９０４によって実行可能なデータ及び／又は命令を保持するように構成される、１つ以上の物理的な持続的デバイスを含み得る。そのような方法及び処理を実装するとき、ストレージサブシステム９０８の状態は、（例えば異なるデータを保持するように）変換され得る。

【0066】

ストレージサブシステム９０８は、取外し可能媒体及び／又は組込みデバイスを含んでよい。ストレージサブシステム９０８は、他の中でも特に、光メモリデバイス（例えばＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ（登録商標）ディスク等）、半導体メモリデバイス（例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）及び／又は磁気メモリデバイス（例えばハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、ＭＲＡＭ等）を含み得る。ストレージサブシステム９０８は、次の特性のうちの１つ以上、すなわち：揮発性、不揮発性、動的、静的、読取／書込、読取専用、ランダムアクセス、順次アクセス、位置アドレス可能、ファイルアドレス可能及びコンテンツアドレス可能、という特性のうちの１つ以上を有するデバイスを含み得る。

【0067】

一部の実施形態において、論理サブシステム９０４及びストレージサブシステム９０８の態様は、１つ以上の共通のデバイスに統合されてもよく、この共通のデバイスを通して、少なくとも部分的に本明細書で説明される機能を定めることができる。そのようなハードウェア論理コンポーネントには、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム及び特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム及び特定用途向け規格品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）システム及び結合プログラム可能論理回路（ＣＰＬＤ）が含まれ得る。

【0068】

図９は、取外し可能コンピュータ読取可能記録媒体９２４の形のストレージサブシステム９０８の態様も示しており、取外し可能コンピュータ読取可能記録媒体９２４は、本明細書で説明される方法及び処理を実装するように実行可能なデータ及び／又は命令を格納するように使用され得る。取外し可能コンピュータ読取可能記録媒体９２４は、他の中でも特にＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ（登録商標）ディスク、ＥＥＰＲＯＭ及び／又はフロッピーディスクの形をとることができる。

【0069】

ストレージサブシステム９０８は、１つ以上の物理的な持続的デバイスを含むことが認識されよう。対照的に、一部の実施形態では、本明細書で説明される命令の態様は、少なくとも有限の期間の間物理デバイスによって保持されない、純粋な信号（例えば電磁信号、光信号等）により一時的な方法で伝搬され得る。さらに、本開示に関するデータ及び／又は他の形式の情報は、コンピュータ読取可能通信媒体を介して純粋な信号によって伝搬され得る。

【0070】

センササブシステム９１２は、上述のような異なる物理的な現象（例えば可視光、赤外光、サウンド、加速度、向き、位置等）を感知するよう構成される１つ以上のセンサを含み得る。センササブシステム９０２は、例えば論理サブシステム９０４にセンサデータを提供するように構成され得る。上述のように、そのようなデータは、画像情報、環境光情報、深度情報、オーディオ情報、位置情報、動き情報、ユーザ位置情報及び／又は上述の方法及び処理を実行するのに使用され得る任意の他の適切なセンサデータを含み得る。

【0071】

ディスプレイサブシステム９１６が含まれるとき、ディスプレイサブシステム９１６は、ストレージサブシステム９０８によって保持されるデータの視覚的表現を提示するのに使用され得る。上述の方法及び処理は、ストレージサブシステム９０８によって保持されるデータを変更し、ストレージサブシステムの状態を変換するので、ディスプレイサブシステム９１６の状態も同様に、基礎となるデータの変化を視覚的に表すように変換され得る。ディスプレイサブシステム９１６は、実質的に任意のタイプの技術を用いる１つ以上のディスプレイデバイスを含み得る。そのようなディスプレイデバイスは、共有される筐体内において論理サブシステム９０４及び／又はストレージサブシステム９０８と結合されてよく、あるいはそのようなディスプレイデバイスは周辺ディスプレイデバイスであってよい。ディスプレイサブシステム９１６は、例えば頭部装着型コンピューティングデバイス１０のオプションのディスプレイシステム７０及びディスプレイプログラム７２を含み得る。

【0072】

通信サブシステム９２０が含まれるとき、通信サブシステム９２０は、コンピューティングシステム９００を、１つ以上のネットワーク及び／又は１つ以上の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステム９２０は、１つ以上の異なる通信プロトコルと互換性のある有線及び／又は無線通信デバイスを含み得る。非限定的な例として、通信サブシステム９２０は、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク等経由の通信のために構成され得る。一部の実施形態において、通信サブシステムは、コンピューティングシステム９００が、インターネットのようなネットワークを介して、他のデバイスへ及び／又は他のデバイスからのメッセージを送信及び／又は受信するのを可能にする。

【0073】

入力サブシステム９２２が含まれるとき、入力サブシステム９２２は、ゲームコントローラ、ジェスチャ入力検出デバイス、音声認識装置、慣性測定ユニット、キーボード、マウス又はタッチスクリーン等のような１つ以上のセンサ又はユーザ入力デバイスを備えるか、あるいはこれとインタフェースすることができる。一部の実施形態において、入力サブシステム９２２は、選択されたナチュラルユーザインプット（ＮＵＩ）の構成部品を備えるか、これとインタフェースすることができる。そのような構成部品は、統合されるか周辺機器であってよく、入力動作の変換及び／又は処理は、オンボード又はオフボードで処理され得る。例示のＮＵＩ構成部品には、音声及び／又は言語認識のためのマイクロフォン；マシンのビジョン及び／又はジェスチャ認識のための赤外線、色、立体及び／又は深度カメラ；動き検出及び／又は意図認識のためのヘッドトラッカ、アイトラッカ、加速度計及び／又はジャイロスコープ；並びに脳の活動を評価するための電界感知構成部品が含まれ得る。

【0074】

「モジュール」及び「プログラム」という用語は、１つ以上の特定の機能を実行するよう実装される頭部装着型コンピューティングデバイス１０の態様を説明するのに使用され得る。一部の場合において、そのようなモジュール又はプログラムは、ストレージサブシステム９０８によって保持される命令を実行する論理サブシステム９０４によりインスタンス化され得る。異なるモジュール及びプログラムが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数等からインスタンス化されてもよいことが理解されよう。同様に、同じモジュール又はプログラムが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数等によってインスタンス化されてもよい。「モジュール」及び「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々又はグループを包含し得る。

【0075】

本明細書で説明される構成及び／又はアプローチは例示的性質であり、様々な変形が可能であるので、これらの具体的な実施形態又は実施例は、限定の意味で解釈されるべきでないことが理解されよう。本明細書において説明される具体的なルーチン又は方法は、任意の数の処理ストラテジの１つ又は複数を表してよい。したがって、例示される様々な動作を、例示される順序で実行してもよく、あるいは他の順序で並行に実行してもよく、一部の場合には省略してもよい。同様に、上述の処理の順序を変更してもよい。

【0076】

本開示の主題は、様々な処理、システム及び構成についての全ての新規かつ容易でない組合せ及び副次的組合せ、本明細書で説明される他の特徴、機能、動作及び／又は特性並びにこれらの均等物のいずれか及び全てを含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】