知財求人 - 知財ポータルサイト「IP Force」
▶ マイクロソフト テクノロジー ライセンシング，エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5965410
(24)【登録日】2016年7月8日
(45)【発行日】2016年8月3日
(54)【発明の名称】拡張現実ディスプレイ用最適焦点エリア
(51)【国際特許分類】
G06F 3/0481 20130101AFI20160721BHJP
G06F 3/01 20060101ALI20160721BHJP
H04N 5/64 20060101ALI20160721BHJP
G02B 27/02 20060101ALI20160721BHJP
G09G 3/20 20060101ALI20160721BHJP
【ＦＩ】
G06F3/0481 150
G06F3/01 510
H04N5/64 511A
G02B27/02 Z
G09G3/20 680A
G09G3/20 680C
【請求項の数】9
【全頁数】37
(21)【出願番号】特願2013-544713(P2013-544713)
(86)(22)【出願日】2011年12月14日
(65)【公表番号】特表2014-511512(P2014-511512A)
(43)【公表日】2014年5月15日
(86)【国際出願番号】US2011064750
(87)【国際公開番号】WO2012082807
(87)【国際公開日】20120621
【審査請求日】2014年12月12日
(31)【優先権主張番号】12/972,100
(32)【優先日】2010年12月17日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】314015767
【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー
(74)【代理人】
【識別番号】100140109
【弁理士】
【氏名又は名称】小野 新次郎
(74)【代理人】
【識別番号】100075270
【弁理士】
【氏名又は名称】小林 泰
(74)【代理人】
【識別番号】100101373
【弁理士】
【氏名又は名称】竹内 茂雄
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100153028
【弁理士】
【氏名又は名称】上田 忠
(74)【代理人】
【識別番号】100120112
【弁理士】
【氏名又は名称】中西 基晴
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100147991
【弁理士】
【氏名又は名称】鳥居 健一
(74)【代理人】
【識別番号】100119781
【弁理士】
【氏名又は名称】中村 彰吾
(74)【代理人】
【識別番号】100162846
【弁理士】
【氏名又は名称】大牧 綾子
(74)【代理人】
【識別番号】100173565
【弁理士】
【氏名又は名称】末松 亮太
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】バー−ジーヴ，アヴィ
(72)【発明者】
【氏名】ルイス，ジョン・アール
(72)【発明者】
【氏名】クライン，ゲオルグ
【審査官】
▲高▼瀬 健太郎
(56)【参考文献】
【文献】
特開２０００−１９４４６７（ＪＰ，Ａ）
【文献】
国際公開第０１／０１６６４０（ＷＯ，Ａ２）
【文献】
特表２００８−５０２９９２（ＪＰ，Ａ）
【文献】
安田 敏宏 Toshihiro Yasuda，ブラウザ上でのインタラクティブな３次元仮想環境を実現するサーバレンダリングに関する検討 A Study on Server Rendering for Interactive 3D Virtual Environments on a Web Browser，ヒューマンインタフェース学会研究報告集 Ｖｏｌ．１０ Ｎｏ．４ Correspondences on Human Interface，日本，特定非営利活動法人ヒューマンインタフェース学会 Human Interface Society，２００８年１１月 ６日，第10巻，第17頁-第20頁
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｆ ３／０４８１
Ｇ０２Ｂ ２７／０２
Ｇ０６Ｆ ３／０１
Ｇ０９Ｇ ３／２０
Ｈ０４Ｎ ５／６４
(57)【特許請求の範囲】
【請求項1】
解像度を有するディスプレイを通して、ユーザーの左右の目のそれぞれの中心窩領域に、それぞれ対応する左右の最適画像を提供する方法であって、
前記ユーザーの左右の目の各々について、前記ディスプレイ内にそれぞれ最適画像領域を作成するステップであって、前記作成された最適画像領域は、前記ユーザーの左右の目のそれぞれに対して当該領域上にレンダリングされたそれぞれの最適画像を有し、前記左右の最適画像領域のそれぞれにレンダリングされたそれぞれの最適画像は、前記ディスプレイの他の領域にレンダリングされた他の画像よりも高い解像度と大きいレンダリング輝度のうちの少なくとも一方を有し、前記左右のレンダリングされた最適画像のそれぞれと前記レンダリングされた他の画像との結合が、前記ユーザーが占める３次元（３Ｄ）の物理的なユーザー視認可能環境内における前記ユーザーの現在の視野に存在する現実の物体に基づいている、ステップと、
前記現在の視野に対する前記ユーザーの左右の目の位置および左右の目の動きをそれぞれ追跡して、前記ユーザーの占有された視認可能な３Ｄ物理的環境内における前記ユーザーの対応する３Ｄ焦点領域を決定するステップと、
前記ユーザーの左右の目の各々について、少なくとも、前記最適画像領域のそれぞれにおける前記レンダリングされた最適画像を前記ユーザーのそれぞれの中心窩領域が現在焦点を合わせている前記ディスプレイ上の場所に対応するように前記ディスプレイ上で位置付けることによって、前記最適画像領域のそれぞれにおける前記レンダリングされたそれぞれの最適画像を、前記ユーザーの左右の目のそれぞれの中心窩の現在の位置に光学的に結合させるステップと、
前記ユーザーの左右の目の各々について、当該目の次の動きと位置を予測するステップと、
前記それぞれの最適画像がレンダリングされたままである間に、前記ユーザーの左右の目の少なくとも一方の予測された次の中心窩領域の位置に対応する前記ディスプレイの部分に、次の最適画像をレンダリングするステップと、
を含む方法。
前記ユーザーの左右の目の各々について、前記ディスプレイ内にそれぞれ最適画像領域を作成するステップであって、前記作成された最適画像領域は、前記ユーザーの左右の目のそれぞれに対して当該領域上にレンダリングされたそれぞれの最適画像を有し、前記左右の最適画像領域のそれぞれにレンダリングされたそれぞれの最適画像は、前記ディスプレイの他の領域にレンダリングされた他の画像よりも高い解像度と大きいレンダリング輝度のうちの少なくとも一方を有し、前記左右のレンダリングされた最適画像のそれぞれと前記レンダリングされた他の画像との結合が、前記ユーザーが占める３次元（３Ｄ）の物理的なユーザー視認可能環境内における前記ユーザーの現在の視野に存在する現実の物体に基づいている、ステップと、
前記現在の視野に対する前記ユーザーの左右の目の位置および左右の目の動きをそれぞれ追跡して、前記ユーザーの占有された視認可能な３Ｄ物理的環境内における前記ユーザーの対応する３Ｄ焦点領域を決定するステップと、
前記ユーザーの左右の目の各々について、少なくとも、前記最適画像領域のそれぞれにおける前記レンダリングされた最適画像を前記ユーザーのそれぞれの中心窩領域が現在焦点を合わせている前記ディスプレイ上の場所に対応するように前記ディスプレイ上で位置付けることによって、前記最適画像領域のそれぞれにおける前記レンダリングされたそれぞれの最適画像を、前記ユーザーの左右の目のそれぞれの中心窩の現在の位置に光学的に結合させるステップと、
前記ユーザーの左右の目の各々について、当該目の次の動きと位置を予測するステップと、
前記それぞれの最適画像がレンダリングされたままである間に、前記ユーザーの左右の目の少なくとも一方の予測された次の中心窩領域の位置に対応する前記ディスプレイの部分に、次の最適画像をレンダリングするステップと、
を含む方法。
【請求項2】
前記ディスプレイ内にそれぞれ最適画像領域を作成する前記ステップは、前記ユーザーが占める前記３Ｄ物理的環境内における現在のユーザー位置の決定に基づいて前記最適画像のそれぞれを作成するステップを含む、請求項１に記載の方法。
【請求項3】
光学的に結合させる前記ステップは、前記最適画像のそれぞれの少なくとも一部分を傾いた反射面に投射して、前記投射されたそれぞれの最適画像が反射によって前記対応する目の中心窩領域へ導かれるようにするステップを含む、請求項１に記載の方法。
【請求項4】
光学的に結合させる前記ステップは、ユーザーの各々の目の前に配置された発光ディスプレイを用いるステップを含む、請求項１に記載の方法。
【請求項5】
予測する前記ステップは、少なくとも１つの予測アルゴリズムを用いて、前記追跡するステップで取得されたデータに基づいてユーザーの目の少なくとも１つの次の位置を決定するステップを含む、請求項１に記載の方法。
【請求項6】
光学的に結合させる前記ステップは、前記最適画像の一部分を前記環境にある実世界の物体に重ねて提示するステップを含む、請求項１に記載の方法。
【請求項7】
光学的に結合させる前記ステップは、前記環境にある実世界の物体を際立たせるステップを含む、請求項１に記載の方法。
【請求項8】
頭部装着ディスプレイ・デバイスであって、
解像度を有し、左右それぞれの最適画像をユーザーの左右の目の中心窩領域にそれぞれ結合するように構成されたディスプレイと、
前記頭部装着ディスプレイ・デバイスについての配向情報を検知する慣性センサーと、
左右それぞれのユーザーの目の位置を検出するように構成された目追跡センサーと、
前記ディスプレイ、慣性センサー、および目追跡センサーと通信する少なくとも１つの演算装置と、
を備え、前記演算装置は、
前記左右それぞれの最適画像の左右それぞれの最適部分を自動的に生成して、前記最適部分を、前記ユーザーの目のそれぞれの中心窩領域の現在位置に光学的に結合させるように配置し、前記それぞれ生成された左右の最適画像部分は、前記ディスプレイの他の領域にレンダリングされるように前記少なくとも１つの演算装置によって生成された他の画像よりも高い解像度を有し、
前記ユーザーの目の少なくとも一方の中心窩領域の対応するそれぞれの次の位置を決定し、
前記最適画像部分が提示されている間に、前記最適画像の別の最適部分を生成し、前記ユーザーの目の少なくとも一方の中心窩領域の前記決定された次の位置に配置して、前記最適画像の前記別の最適部分が、前記ユーザーの中心窩領域が前記決定されたそれぞれの次の位置に合った時に前記次の位置で前記ユーザーの中心窩領域に結合されるように準備される
ように構成されている、頭部装着ディスプレイ・デバイス。
解像度を有し、左右それぞれの最適画像をユーザーの左右の目の中心窩領域にそれぞれ結合するように構成されたディスプレイと、
前記頭部装着ディスプレイ・デバイスについての配向情報を検知する慣性センサーと、
左右それぞれのユーザーの目の位置を検出するように構成された目追跡センサーと、
前記ディスプレイ、慣性センサー、および目追跡センサーと通信する少なくとも１つの演算装置と、
を備え、前記演算装置は、
前記左右それぞれの最適画像の左右それぞれの最適部分を自動的に生成して、前記最適部分を、前記ユーザーの目のそれぞれの中心窩領域の現在位置に光学的に結合させるように配置し、前記それぞれ生成された左右の最適画像部分は、前記ディスプレイの他の領域にレンダリングされるように前記少なくとも１つの演算装置によって生成された他の画像よりも高い解像度を有し、
前記ユーザーの目の少なくとも一方の中心窩領域の対応するそれぞれの次の位置を決定し、
前記最適画像部分が提示されている間に、前記最適画像の別の最適部分を生成し、前記ユーザーの目の少なくとも一方の中心窩領域の前記決定された次の位置に配置して、前記最適画像の前記別の最適部分が、前記ユーザーの中心窩領域が前記決定されたそれぞれの次の位置に合った時に前記次の位置で前記ユーザーの中心窩領域に結合されるように準備される
ように構成されている、頭部装着ディスプレイ・デバイス。
【請求項9】
前記少なくとも１つの演算装置は、ハブ計算デバイスと通信して１つまたは複数の物体を特定する空間の３次元モデルを受け取り、
前記少なくとも１つの演算装置は、ユーザーの視野を決定し、第１物体が前記視野の中にあるか否かを判定し、前記ディスプレイにおける前記第１物体の位置を決定し、物理的環境における前記ユーザーの向きに基づいて、前記最適画像のサイズおよび向きを調節する、請求項８に記載の頭部装着ディスプレイ・デバイス。
前記少なくとも１つの演算装置は、ユーザーの視野を決定し、第１物体が前記視野の中にあるか否かを判定し、前記ディスプレイにおける前記第１物体の位置を決定し、物理的環境における前記ユーザーの向きに基づいて、前記最適画像のサイズおよび向きを調節する、請求項８に記載の頭部装着ディスプレイ・デバイス。
【発明の詳細な説明】
【背景技術】
【0001】
[0001] 拡張現実(augmented reality)とは、仮想形像(virtual imagery)を実世界の物理環境または空間と混合することを可能にする技術である。一般に、ニアアイ・ディスプレイは、光学素子と立体素子(stereopsis)との組み合わせを用いて、仮想形像を空間内において合焦する。このようなディスプレイでは、表示解像度および処理が限られている。
【0002】
[0002] ある種の状況では、ニアアイ・ディスプレイ・デバイスを介してユーザーに表示される仮想形象が、仮想物体を含んだり、または非常に詳細なグラフィクスを含むオブジェクト(object)を含む場合がある。ユーザーは、ニアアイ・ディスプレイ・デバイスを着用するが、ユーザーが必ずしも見ることに興味があるとは限らない大量の情報が提示されるのが通例である。
【発明の概要】
【0003】
[0003] 端的に言うと、本技術は、最適画像をユーザーに提示する方法を含む。場面においてユーザーの視野に対する表示に合わせて、最適画像を供給する。ユーザーの頭部および目の位置、ならびに動きを追跡して、ユーザーにの焦点領域を判定する。現在の目の位置において、最適画像の一部をユーザーの焦点領域に結合し、頭部および目の次の位置を予測し、この次の位置において、最適画像の一部をユーザーの焦点領域に結合する。
【0004】
[0004] 加えて、頭部装着ディスプレイ・デバイスを提供する。この頭部装着ディスプレイ・デバイスは、最適画像の少なくとも一部をユーザーの焦点領域に結合するディスプレイを含む。慣性、時期、機械、およびその他のセンサーが、頭部装着ディスプレイ・デバイスについての配向情報を検知し、目追跡センサーが、ユーザーの目の位置(eye position)を検出する。演算装置は、このディスプレイ、慣性センサーおよび／または他のセンサー、ならびに目追跡センサーと通信し、最適画像の最適部分をディスプレイに対するユーザーの目の現在の位置に表示し、この画像の部分をユーザーの焦点領域に結合する。次いで、処理デバイスは、ユーザーの目の次の位置を判定し、最適画像の他の最適部分を、ディスプレイに対するユーザーの目の次の位置に表示して、この画像の部分がユーザーの焦点領域の次に位置に結合する。
【0005】
[0005] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断する際に補助として用いられることを意図するのでもない。更に、特許請求する主題は、本開示のいずれの部分に記されているいずれの欠点を解決する実施態様にも、そして全ての欠点を解決する実施態様にも限定されないものとする。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
[0031] ニアアイ・ディスプレイ・デバイスを用いたときのユーザーの体験を改良する技術を開示する。ユーザーは、頭部装着ディスプレイ・デバイスのようなニアアイ・ディスプレイ・デバイスを介して場面を見る。ユーザーの視野は、ユーザーが見ている環境または空間であり、このユーザーの視野を判定する。この視野に関して用いるのに最適な画像をレンダリングする。視野におけるユーザーの目の位置を追跡することによって、ユーザーの焦点領域を判定する。最適画像の表示は、この画像の最適部分をユーザーの焦点領域、１つの場合では、ユーザーの眼窩に結合することによって行われ、表示に必要とされる処理およびエネルギーを低減する。ユーザーの目の位置を追跡し、次の目の位置を計算し、ユーザーの目の次の位置への動きと同時に、その次の位置に画像のその部分を位置付ける。
【0008】
[0032] 画像の最適部分の位置付けは、多数の異なるディスプレイ・デバイスのいずれでも行われ、機械的に制御されるミラーおよび投射ディスプレイが含まれる。ユーザーの目の潜在的な次の位置を判定するために、予測アルゴリズムを用いる。
【0009】
[0033] 図１は、ユーザーの意図に基づいて最適画像を生成するシステム１０の一実施形態のコンポーネント例を示すブロック図である。システム１０は、ワイヤ６を通じて演算装置４と通信するニアアイ頭部装着ディスプレイ・デバイス２のような、透視ディスプレイ・デバイスを含む。 他の実施形態では、頭部装着ディスプレイ・デバイス２は、ワイヤレス通信によって演算装置４と通信する。図１のコンポーネントは透視ディスプレイ・デバイスを示すが、本技術と共に用いるのに適した他のデバイスの実施形態を、図３Ｂ〜図３Ｄに示す。
【0010】
[0034] 頭部装着ディスプレイ・デバイス２は、一実施形態ではめがねの形状であり、ユーザーがディスプレイを透視しこれによってユーザーの前方にある空間の実際の直接視(actual and direct view)を有することができるように、ユーザーの頭部に着用する。「実際の直接視」という用語の使用は、形成された物体の画像表現を見るのではなく、人間の目で直接実世界の物体を見る能力を指す。例えば、ガラスを通して室内を見ると、ユーザーはその部屋の実際の直接視を有することができ、一方テレビジョンにおいて部屋のビデオを見ることは、その部屋の実際の直接視ではない。頭部装着ディスプレイ・デバイス２のこれ以上の詳細については、以下で説明する。図１および図３Ａ〜図３Ｄに示すデバイスはめがねの形状となっているが、頭部装着ディスプレイ・デバイス２は、ゴーグルが付いたヘルメットというような、他の形態をなしてもよい。
【0011】
[0035] 一実施形態では、演算装置４は、ユーザーの手首に着用され、頭部装着ディスプレイ・デバイス２を動作させるために用いられる計算パワーの多くを含む。演算装置４は、１つ以上のハブ計算システム１２にワイヤレスで通信する（例えば、ＷｉＦｉ、Bluetooth（登録商標）、赤外線、または他のワイヤレス通信手段）。
【0012】
[0036] ハブ計算システム１２は、コンピューター、ゲーミング・システムまたはコンソール等であってもよい。一実施形態例によれば、ハブ計算システム１２は、このハブ計算システム１２が、ゲーミング・アプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを実行するために用いることができるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。一実施形態では、ハブ計算システム１２は、本明細書において記載するプロセスを実行するためにプロセッサー読み取り可能記憶デバイスに格納されている命令を実行することができる、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等のようなプロセッサーを含むことができる。
【0013】
[0037] 種々の実施形態において、図２Ａおよび図８〜図１５に関して本明細書において説明するプロセスは、全体的にまたは部分的に、ハブ計算デバイス１２または演算装置４のいずれか、および／またはこれら２つの組み合わせによって実行する。
【0014】
[0038] 更に、ハブ計算システム１２は、キャプチャー・デバイス２０Ａおよび２０Ｂのような、１つ以上のキャプチャー・デバイスも含む。他の実施形態では、２つよりも多いまたは少ないキャプチャー・デバイスを用いることができる。一実施態様例では、キャプチャー・デバイス２０Ａおよび２０Ｂは、部屋の異なる部分を取り込むように、異なる方向に照準を向けられている。尚、２つのキャプチャー・デバイスの視野が多少重複し、ハブ計算システム１２が、これらのキャプチャー・デバイスの視野が互いにどのように関係するのか把握できるようにすると有利であると考えられる。このように、複数のキャプチャー・デバイスを用いて、部屋全体（または他の空間）を見る(view)ことができる。あるいは、動作中に１つのキャプチャー・デバイスをパンニングすることができ、関連する空間全体が経時的にそのキャプチャー・デバイスによって見ることができるような場合、１つのキャプチャー・デバイスを用いることもできる。
【0015】
[0039] キャプチャー・デバイス２０Ａおよび２０Ｂは、例えば、１人以上のユーザーおよび周囲の空間を視覚的に監視するカメラとするとよく、周囲の空間の構造だけでなく、１人以上のユーザーによって行われるジェスチャーおよび／または動きも取り込み、分析し、そして追跡して、アプリケーションにおいて１つ以上の制御または動作(action)を実行する、および／またはアバターまたは画面上のキャラクターを動画化することができるとよい。
【0016】
[0040] ハブ計算システム１２は、ゲームまたはアプリケーションの映像部分を供給することができるテレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等のようなオーディオビジュアル・デバイス１６に接続されていてもよい。例えば、ハブ計算システム１２は、ゲーム・アプリケーション、ゲーム以外のアプリケーション等と関連するオーディオビジュアル信号を供給することができる、グラフィクス・カードのようなビデオ・アダプター、および／またはサウンド・カードのようなオーディオ・アダプターを含んでもよい。オーディオビジュアル・デバイス１６は、ハブ計算システム１２からオーディオビジュアル信号を受け取ることができ、次いでこのオーディオビジュアル信号と関連するゲームまたはアプリケーションの映像部分および／またはオーディオを出力することができる。一実施形態によれば、オーディオビジュアル・デバイス１６は、例えば、Ｓ−Ｖｉｄｅｏケーブル、同軸ケーブル、ＨＤＭＩ（登録商標）ケーブル、ＤＶＩケーブル、ＶＧＡケーブル、コンポーネント・ビデオ・ケーブル、ＲＣＡケーブル等によって、ハブ計算システム１２に接続されるとよい。一例では、オーディオビジュアル・デバイス１６は内部スピーカを含む。他の実施形態では、オーディオビジュアル・デバイス１６、別個のステレオ、またはハブ計算システム１２を外部スピーカ２２に接続する。
【0017】
[0041] ハブ計算デバイス１０は、キャプチャー・デバイス２０Ａおよび２０Ｂと共に、人間（または他のタイプの）ターゲットを認識、分析、および／または追跡するために用いることができる。例えば、キャプチャー・デバイス２０Ａおよび２０Ｂを用いて、頭部装着ディスプレイ・デバイス２を着用しているユーザーを追跡することができ、ユーザーのジェスチャーおよび／または動きを取り込んでアバターまたは画面上のキャラクターを動画化することができ、および／またはハブ計算システム１２が実行しているアプリケーションに作用するために用いることができる制御として、ユーザーのジェスチャーおよび／または動きを解釈することもできる。
【0018】
[0042] 開示する技術の一実施形態では、以下で詳細に論ずるように、システム１０は、ユーザーの視野および焦点領域を判定することに基づいて、ユーザーに最適な画像を生成する。この最適画像は、例えば、物体の強調した外観、または視野上に人工的に重ね合わせた物体を含むことができ、ユーザーに改良した体験を提供する。最適画像は、ユーザーの目の位置および移動パターンに応じて、最適な部分（図２Ｂに示す）が、頭部装着ディスプレイ・デバイス２を介して、ユーザーに表示される。
【0019】
[0043] 図２Ａは、ディスプレイにおいて最適画像の一部を目に結合する方法の一実施形態を示す。図２Ａのプロセスについて、図２Ｂ〜図２Ｇと関係付けて説明する。[0044] ステップ３０において、ユーザーの視野および焦点領域を判定する。先に注記したように、ユーザーの視野は、ユーザーの環境または場面、ユーザーの頭部の位置および向き、ならびにユーザーの目の位置の関数である。図２Ｆは、環境１１００におけるユーザー１１１２を示す。ユーザー１１１２は、照明１１０６、テーブル１１２０、処理デバイス１１１６、キャプチャー・デバイス２０Ａ、２０Ｂ、ディスプレイ１１１０、および時計１１１８を含む多数の物体を視野内（線１１２１によって規定する）で見ている様子が示されている。また、ユーザーは床１１０８および壁１１０２を見るが、椅子１１０７は見ず、壁１１０４の一部だけを見る。環境１１００は、座標系１１５０に関して定義することができ、ユーザーの頭部位置は、第２座標系１１５２に関して定義することができる。
【0020】
[0045] 一実施形態では、ユーザーの視野内における焦点領域とは、焦点曲線に沿った固定点１５０における領域である。例えば、瞳間の収斂(convergence)は、焦点曲線１４７上にある焦点、即ち、ホロプターまで三角測量するために用いることができ、ホロプターから、焦点領域およびパナムの融合エリアを計算することができる。パナムの融合エリア１４７とは、一方の網膜におけるいずれの点も他方の網膜上の１つの点と融合するような網膜のエリアであり、人間の目による両眼立体視に対する単一視のエリアを形成する。図２Ｅに示すように、各ユーザーの目は、中心窩を含む。これは、一般に眼窩としても知られており、網膜の黄斑領域の中心に位置する。眼窩は、鮮明な中心視野を担う（眼窩視野とも呼ばれる）。これは、読むため、テレビジョンまたは映画を見るため、運転するため、および視覚的詳細が最も重要であるいずれの活動のためにも必要となる。図２Ｅにおいて、眼窩は１４８および１４９で示されている。
【0021】
[0046] 眼窩１４８、１４９に対して最適画像を向けるまたは結合すると、ユーザーは画像の最適部分に対する視野に確実に焦点を合わせることができる。加えて、眼窩に結合するために必要な画像の部分は比較的小さく、網膜上において直径約１ｍｍの画像である。頭部装着ディスプレイ２によって比較的小さいエリア部分をレンダリングするため、頭部装着ディスプレイ２に対する電力要件が低下する。
【0022】
[0047] ステップ３２において、判定した視野に対して、ユーザーに表示する最適画像を作成する。最適画像は、アプリケーションがその画像をレンダリングすることによって決定され、視野内の１つ以上の個々のオーバーレイ画像を含むか、または視野全体を覆う(encompass)。
【0023】
[0048] 図２Ｂは、画像がディスプレイ上に投射されていないときに、ユーザー１１１２が環境１１００においてディスプレイ・デバイスを介して何を見るかを示す。図２Ｃは、図２Ｂにおける場面に投射することができる最適画像を示す。図２Ｃの例では、最適画像１２００は、環境１１００の場面を完全に遮っている。この例では、この場面は、男性１１２８、鳥のイメージ１１２６、およびトロフィー１１２７を描画する。一実施形態では、画像をレンダリングするアプリケーションは、場面におけるこれらのエレメントの外形(configuration)および位置を決定しており、更にこのような物体が、照明１１０６、時計１１１８、およびディスプレイ１１１０というような実世界の物体を遮るか否か判断し終えている。
【0024】
[0049] ステップ３４において、ユーザーの目の現在の位置を判定し、３６において、この目の現在の位置において、ユーザーの焦点領域に、最適画像の最適部分を結合する。一例では、これを図２Ｄに示し、鳥のイメージ１１２６の画像が、際立って実世界環境１１００上に重ね合わせて示されている。この鳥のイメージ１１２６は、画像のバランスに関して際立っている。一実施形態では、最適画像の他のエレメント（この場合、男性およびトロフィー）はレンダリングされないか、または解像度を落としてレンダリングされる（図示しない）。更に他の態様では、この部屋の他の視覚的エレメントは、ユーザーの視野から遮られてもよい。
【0025】
[0050] ディスプレイ・デバイスの処理パワーを、ユーザーの中心視覚に結合される画像の最適部分をレンダリングすることのみに集中することによって、最適画像における他のエレメントをレンダリングしないで済ませるか、または、最適画像よりも低い正確度、したがって少ないリソースでレンダリングしてもよい。一実施形態では、最適画像は画像全体の内の断片である。正常な目の瞳は、直径が、明るい場合の１ｍｍと暗い場合の７ｍｍとの間であると考えられる。表示は、通常、直径３ｍｍの光に最適化されている。瞳上における画像の一部に集中することによって、画像光をユーザーの焦点領域に直接変換することができ、画像を生成するために必要な光を大幅に減少させることができる。
【0026】
[0051] 画像の一部を対象者の瞳上に集中するために、画像によって生成される光線に、方向および瞳上の目標点を与える。目の近傍からの光線の一部はその目の瞳に入るが、瞳に入らない光線は無駄になり、電力を消費し、他の望ましくない影響を及ぼす可能性もある。
【0027】
[0052] 一般に、離れた地点からの光線は、目の近傍において全てほぼ平行となり、ほぼ共通の方向を共有すると考えることができる。理想的には、目の光学系(optics)がこれらの光線を、網膜上の眼窩領域において合焦させる。異なる方向からの平行な光線は、異なる点として見られる。
【0028】
[0053] 目の瞳において画像を最適化するために、頭部装着ディスプレイは、画像からの光線が導かれる瞳における方向および入射点を変更する。対象者が自由空間において光学エレメントを介して見た場面の光学的歪みを補正しようとする場合、本技術における頭部装着ディスプレイの機構によって、画像表示の補正および誘導が行われる。
【0029】
[0054] 本技術によれば、以下で説明する実施形態の位置付けシステム１６０および１６０ａが、画像をユーザーに反射するマイクロ・ディスプレイまたはミラーの方向的位置付け(directional positioning)を行う手段を有する(provide)。この方向的位置付けは、ディスプレイまたはミラーに対する画像の位置付けと共に、目の位置に対して最適な位置および方向を規定する。これは、例えば、ディスプレイ１５３またはミラー１６６を三次元で傾けることによって行うことができ、画像は、ディスプレイまたはミラー上において、ミラーまたはディスプレイ上の適正な位置にレンダリングされる。
【0030】
[0055] 尚、以下で明記することに加えて、表示画像の方向を最適化するためには、種々の他のタイプの機械式または電気機械式エレメントを設けてもよいことは認められよう。この方向的位置付けを、本技術の予測目追跡と併せることによって、システムにとって最適な処理が行われる。
【0031】
[0056] この画像の最適部分の結合を維持するために、ステップ３８において、次にありそうなユーザーの目の動きを追跡し、ステップ４０において、最適表示画像の他の最適部分を、２４０における次の位置において、ユーザーの焦点領域に結合する。視野が４４において変化した場合、新たな視野を３２において判定する。４４において、視野が変化しない場合、３８において、ユーザーの目が実際に予測した位置に移動したか否かについて判定を行い、本方法は、３８において、潜在的な次の目移動位置を計算する。４４における目の現在の位置の追跡、および３８における次の位置の計算のループは、相応しい視覚体験を提供するために、１つ以上のマイクロプロセッサーまたは専用追跡回路によって、ユーザーの目の移動と同時に、最適画像の当該部分をこの移動の次の位置に持って行くために、ほぼ瞬時に行うことができる。
【0032】
[0057] 尚、以上で述べた説明における次のおよび現在のという用語の使用は、画像の１つの部分に限定される必要はないことは認められてしかるべきである。例えば、図２Ｇを参照すると、ステップ３６または４０において現在の位置としてレンダリングされる各部分は、図２Ａにおいて説明した各「現在の」および「次の」部分が２つの画像部分を含むことができるように、第１時点Ｔにおける画像の部分（画像１１２６）、およびユーザーの目が時点ｔ２において位置すると予測される第２時点Ｔ２における画像の部分（画像１１３５）を含むとよい。
【0033】
[0058] 更にまた、画像１２００の代わりの部分を、ユーザーの目をその位置に引きつけるために、全体的にまたは部分的に最大解像度でレンダリングしてもよいことも認められてしかるべきである。例えば、ユーザーの目の動き、およびユーザーの注意をアプリケーションの所与のコンテキストに引きつけるために、アプリケーションがプレーヤー１１２８またはトロフィー１１２７をレンダリングすることを選択することもできる。
【0034】
[0059] 更に、本技術は、オーバーレイ画像の使用を必要とせず、ユーザーの環境を参照することなく、画像のみをユーザーに表示するために用いることができるという利点があることも認められてしかるべきである。
【0035】
[0060] 図３Ａは、頭部装着ディスプレイ・デバイス２の一部の上面図を示し、弦１０２および鼻ブリッジ１０４を含むフレームの一部を含む。頭部装着ディスプレイ・デバイス２の右側だけが図示されている。鼻ブリッジ１０４の中には、以下で説明するように、音を記録しそのオーディオ・データーを演算装置４に送信するマイクロフォン１１０が組み込まれている。頭部装着ディスプレイ・デバイス２の前方には、ビデオおよび静止画像を取り込むことができるビデオ・カメラ１１３に面する部屋がある。これらの画像は、以下で説明するように、演算装置４に送信される。
【0036】
[0061] 頭部装着ディスプレイ・デバイス２のフレームの一部が、ディスプレイ（１つ以上の光学エレメントを含む）を包囲する。頭部装着ディスプレイ・デバイス２のコンポーネントを示すために、ディスプレイを包囲するフレームの一部は図示されていない。一実施形態では、このディスプレイは、導光光エレメント１１２、不透明フィルター１１４、透視レンズ１１６、および透視レンズ１１８を含む。一実施形態では、不透明フィルター１１４は、透視レンズ１１６の後ろにあってこれと整列されており、導光光学エレメント１１２は不透明フィルター１１４の後ろにあってこれと整列されており、透視レンズ１１８は、導光光学エレメント１１２の後ろにあってこれと整列されている。透視レンズ１１６および１１８は、めがねに用いられる標準的なレンズであり、いずれの処方(prescription)に合わせてでも（処方がない場合も含む）作成することができる。一実施形態では、透視レンズ１１６および１１８は、可変処方レンズと置き換えることができる。実施形態の中には、頭部装着ディスプレイ・デバイス２が１つの透視レンズしか含まない場合、または透視レンズを含まない場合もある。他の代替案では、処方レンズは導光光学エレメント１１２の内側に入ることができる。不透明フィルター１１４は、自然光（画素毎または均一にのいずれか）を排除して、仮想形像のコントラストを強調する。導光光学エレメント１１２は、人工光を目まで伝える。不透明フィルター１１４および導光光学エレメント１１２のこれ以上の詳細については、以下で説明する。
【0037】
[0062] 弦１０２には、またはその内側には、画像ソースが装着されており、（一実施形態では）仮想画像を投射するマイクロ・ディスプレイ・アセンブリー１２０と、マイクロ・ディスプレイ１２０からの画像を導光光学エレメント１１２に導く連ス１２２とを含む。一実施形態では、レンズ１２２は平行化レンズである。
【0038】
[0063] 制御回路１３６は、頭部装着ディスプレイ・デバイス２の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路１３６のこれ以上の詳細については、以下で図３に関して示すことにする。弦１０２の内側には、イヤホン１３０、慣性センサー１３２、および温度センサー１３８があり、またはこれらは弦１０２に取り付けられる。一実施形態では、慣性センサー１３２は、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃ（図５参照）を含む。慣性センサーは、頭部装着ディスプレイ・デバイス２の位置、向き、急激な加速を検知するためにある。
【0039】
[0064] マイクロ・ディスプレイ１２０は、レンズ１２２を通して画像を投射する。マイクロ・ディスプレイ１２０を実現するために用いることができる、異なる画像生成技術がある。例えば、マイクロ・ディスプレイ１２０は、透過型投射技術を用いて実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学的にアクティブな材料によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギ密度を有するＬＣＤ型ディスプレイを用いて実現されている。また、マイクロ・ディスプレイ１２０は、反射技術を用いて実現することもできる。この場合、外部光が反射され光学的にアクティブな材料によって変調される。技術に応じて、白色光源またはＲＧＢ光源のいずれかによって、照明を前方に発する。ディジタル光処理（ＤＬＰ）、シリコン上液晶（ＬＣＯＳ）、およびQualcomm, inc.（クアルコム社）からのMirasol（登録商標）表示技術は全て、反射技術の例である。これらの技術は、殆どのエネルギーが変調構造(modulated structure)から遠ざかるように反射されるので効率的であり、本明細書において記載するシステムにおいて用いることができる。加えて、マイクロ・ディスプレイ１２０は、発光技術(emissive technology)を用いて実現することもできる。この場合、ディスプレイによって光を生成する。例えば、Microvision, Inc.（マイクロビジョン社）からのPicoP（登録商標）は、レーザー信号を、マイクロ・ミラー制御(steering)によって、透過エレメントとして作用する小さな画面上に出すか、または直接目に向けて放つ（例えば、レーザー）。
【0040】
[0065] 導光光学エレメント１１２は、マイクロ・ディスプレイ１２０からの光を透過させて、頭部装着ディスプレイ・デバイス２を着用しているユーザーの目１４０に向かわせる。また、導光光学エレメント１１２は、矢印１４２によって示されるように、頭部装着ディスプレイ・デバイス２の前方からの光も、導光光学エレメント１１２を介して目１４０に向けて透過させることができ、これによってユーザーがマイクロ・ディスプレイ１２０からの仮想画像を受け取ることに加えて、頭部装着ディスプレイ・デバイス２の前方にある空間の実際の直接視を有することを可能にする。つまり、導光光学エレメント１１２の壁は、透けて見える(see-through)。導光光学エレメント１１２は、第１反射面１２４（例えば、ミラーまたは他の表面）を含む。マイクロ・ディスプレイ１２０からの光は、レンズ・システム１２２を通過して、反射面１２４に入射する。反射面１２４は、マイクロ・ディスプレイ１２０からの入射光を反射して、導光光学エレメント１１２を構成する平面基板の内側に、内反射によって光が取り込まれるようにする。この基板の表面を数回反射した後、取り込まれた光波は、選択的反射面１２６のアレイに到達する。尚、図面が混みすぎるのを防止するために、５つの表面の内１つだけに１２６を付していることを注記しておく。反射面１２６は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目１４０に結合する。異なる光線が進行し異なる角度で基板の内側から反射する(bounce off)と、異なる光線が種々の反射面１２６に異なる角度で衝突する。したがって、異なる光線が、反射面の異なる１つ１つによって、基板から反射される。どの光線をどの表面１２６によって基板から反射させるかという選択は、表面１２６の適した角度を選択することによって管理される。導光光学エレメントについてのこれ以上の詳細は、米国特許出願公開２００８／０２８５１４０、第１２／２１４，３６６号において見いだすことができる。この出願は、"Substrate−Guide Optical Device"（基板誘導光学デバイス）と題し、２００８年１１月２０日に公開された。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。一実施形態では、各目がそれ自体の導光光学エレメント１１２を有する。頭部装着ディスプレイ・デバイスが２つの導光光学エレメントを有するとき、各目は、それ自体のマイクロ・ディスプレイ１２０を有し、双方の目で同じ画像を表示すること、または２つの目で異なる画像を表示することができる。他の実施形態では、光を双方の目に反射させる１つの導光光学エレメントを設けることができる。
【0041】
[0066] 不透明フィルター１１４は、導光光学エレメント１１２と整列されており、選択的に自然光が、均一にまたは画素毎に、導光光学エレメント１１２を通過するのを遮断する。一実施形態では、不透明フィルターは、透視ＬＣＤパネル、エレクトロクロミック・フィルム、または不透明フィルターとして役割を果たすことができる同様のデバイスとすることができる。このような透視ＬＣＤパネルは、従来のＬＣＤから基板、バックライト、およびディフューザーの種々の層を除去することによって得ることができる。ＬＣＤパネルは、光に液晶を通過させる１つ以上の光透過性ＬＣＤチップを含むことができる。このようなチップは、例えば、ＬＣＤプロジェクターにおいて使用されている。
【0042】
[0067] 不透明フィルター１１４は、密集した画素の格子を含むことができ、各画素の光透過度は、最低透過度および最高透過度の間で個々に制御可能である。透過度の範囲は０〜１００％が理想的であるが、これよりも限られた範囲でも容認可能である。一例として、偏光フィルターが２つしかないモノクロームＬＣＤパネルでも、画素当たり約５０％から９０％の不透明度範囲をＬＣＤの分解能まで与えるには十分である。最低の５０％において、レンズは多少着色した外観を有するが、許容可能である。１００％の透過度は、完全に透明なレンズを表す。「アルファ」スケールを０〜１００％まで定めることができ、０％では光を通過させず、１００％では光を通過させる。アルファの値は、以下で説明する不透明フィルター制御回路２２４によって、画素毎に設定することができる。[0068] 実世界物体の代用にｚ−バッファリングを行った後、レンダリング・パイプラインからアルファ値のマスクを用いることができる。本システムは、拡張現実表示のために場面をレンダリングするとき、どの実世界物体がどの仮想物体の前にあるか注意を払う。仮想物体が実世界物体の前にある場合、仮想物体が遮るエリアを不透明にしなければならない。仮想物体が（仮想的に）実世界物体の後ろにある場合、ユーザーが実際の光のその対応するエリア（１画素以上のサイズ）の実世界の物体だけを見るように、その画素に対するあらゆる色だけでなく不透明性もオフにする。遮蔽(coverage)は、画素毎であるので、本システムは、仮想物体の一部が実世界の物体の前にある場合、仮想物体の一部が実世界の物体の後ろにある場合、そして仮想物体の一部が実世界の物体と同じ位置にある場合も扱うことができる。０％から１００％まで不透明性を可変にすることができる低コスト、低パワーおよび軽量のディスプレイが、この使用には最も望ましい。更に、不透明フィルターは、カラーＬＣＤによって、または有機ＬＥＤのような他のディスプレイによって、カラーでレンダリングし、広い視野を設けることができる。不透明フィルターについてのこれ以上の詳細は、"Opacity Filter For See-Through Mounted Display"（透過装着ディスプレイ用不透明フィルター）と題し、２０１０年９月２１日に出願された米国特許出願第１２／８８７，４２６号において示されている。この出願をここで引用したことにより、その内容全体が本願にも含まれることとする。
【0043】
[0069] ＬＣＤのような不透明フィルターは、一般に、本明細書において記載するような透視レンズには用いられなかった。何故なら、このように目に近い距離では、焦点がはずれる可能性があるからである。しかしながら、場合によっては、この結果が望ましいこともあり得る。ユーザーは、焦点が合うように設計された、追加カラーを用いた通常のＨＭＤディスプレイによって、生き生きとしたカラー・グラフィクスによる仮想画像を見る。ＬＣＤパネルは、曖昧な黒い境界があらゆる仮想コンテンツを包囲するように、このディスプレイの「後ろに」配され、これを所望通りに不透明にする。本システムは、自然なぼけという欠点を変換して、アンチエリアシングおよび帯域幅削減という特徴を功利的に獲得する。これらは、低解像度で焦点がはずれた画像を用いることの当然の結果である。ディジタル的にサンプリングした画像には、効果的なスムージングがある。あらゆるディジタル画像にはエリアシングが生じ、サンプリングの離散的性質のために、自然なアナログおよび連続信号と比較すると、光の波長の周りで誤差が生ずる。スムージングが意味するのは、理想的なアナログ信号に視覚的に近づけることである。低解像度にしたことによって失われた情報は復元されないが、結果的に生ずる誤差はさほど目立たない。
【0044】
[0070] 一実施形態では、ディスプレイおよび不透明フィルターを同時にレンダリングし、角度−オフセットの問題を補償するために空間におけるユーザーの正確な位置に合わせてディスプレイおよび不透明フィルターを較正する。視野の両端における正しい画像オフセットを計算するために、目追跡を採用することができる。実施形態の中には、不透明フィルターにおいて、不透明量の時間的または空間的衰退(fade)を用いることができる。同様に、仮想画像の時間的または空間的衰退も用いることができる。１つの手法では、不透明フィルターの不透明量の時間的衰退は、仮想画像の時間的衰退に対応する。他の手法では、不透明フィルターの不透明量の空間的衰退が、仮想画像の空間的衰退に対応する。
【0045】
[0071] １つの手法では、特定したユーザーの目の位置の視界から、仮想画像の後ろに来る不透明フィルターの画素には、不透明性を増大して与える。このように、仮想画像の後ろに来る画素を暗くして、実世界場面の対応部分からの光が、ユーザーの目に達しないように遮断する。これによって、仮想画像が現実的となり、最大範囲の色および輝度を表すことが可能になる。更に、拡張現実エミッタによる電力消費が低減する。何故なら、仮想画像は低い輝度で供給されるからである。不透明フィルターがないと、仮想画像が区別でき透明にならないようにするためには、実世界場面の対応する部分よりも明るい十分高い輝度で、仮想画像を供給しなければならない。一般に、不透明フィルターの画素を暗くする際、仮想画像の閉じた周囲を辿る画素を、その周囲の内部にある画素と共に暗くする。この周囲の直ぐ外側にありこの周囲を包囲する画素も暗くなるように（同じレベルの暗さ、または周囲の内部にある画素よりは暗くない）、多少の重複が得られることが望ましいこともあり得る。周囲の直ぐ外側にあるこれらの重複する画素は、周囲の内側における暗さから周囲の外側における最大量の不透明までの衰退（例えば、徐々に変わる不透明性の推移）を規定することができる。
【0046】
[0072] また、頭部装着ディスプレイ・デバイス２は、ユーザーの目の位置を追跡するシステムも含む。以下で説明するが、このシステムは、ユーザーの視野を判定できるようにユーザーの位置および向きを追跡する。しかしながら、人間は、彼らの前にあるあらゆるものを認知する訳ではない。逆に、ユーザーの目は環境の内一部(subset)に向けられる。したがって、一実施形態では、本システムは、ユーザーの視野の測定の精度を高めるために、ユーザーの目の位置を追跡する技術を含む。例えば、頭部装着ディスプレイ・デバイス２は、目追跡アセンブリー１３４（図３Ａ参照）を含む。目追跡アセンブリー１３４は、目追跡照明デバイス１３４Ａ(図４Ａ参照）、および目追跡カメラ１３４Ｂ（図４Ａ参照）を含む。一実施形態では、目追跡照明源１３４Ａは、ＩＲ光を目に向けて放出する１つ以上の赤外線（ＩＲ）発光器を含む。目追跡カメラ１３４Ｂは、反射したＩＲ光を検知する１つ以上のカメラを含む。瞳の位置は、角膜の反射を検出する既知の撮像技法によって特定することができる。例えば、２００８年７月２２日にKranz et al.,に発行された"Head Mounted Eye Tracking and Display System"（頭部装着目追跡および表示システム）と題する米国特許第７，４０１，９２０号を参照のこと。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。このような技法は、追跡カメラに対する目の中心の位置を突き止めることができる。一般に、目の追跡には、目の画像を得て、コンピューター映像技法を用いて眼窩内部における瞳の位置を判定する必要がある。一実施形態では、１つの目の位置を追跡すれば十分である。何故なら、目は通常一緒に動くからである。しかしながら、各目を別々に追跡することも可能である。
【0047】
[0073] 一実施形態では、目追跡照明デバイス１３４Ａは、頭部装着ディスプレイ・デバイス２のレンズの角毎に１つずつのＩＲ ＬＥＤおよびＩＲ光検出器があるように、矩形配列とした４つのＩＲＬＥＤおよび４つのＩＲ光検出器を用いる。ＬＥＤからの光は目で反射する。４つのＩＲ光検出器の各々において検出された赤外線光量によって、瞳の方向を判定する。即ち、目における白および黒の量から、その特定の光検出器に対して目から反射する光の量を判定する。こうして、光検出器は白目または黒目の量を測定する。４つのサンプルから、本システムは目の方向を判定することができる。
【0048】
[0074] 他の代替案は、先に論じたように、４つの赤外線ＬＥＤを用いるが、頭部装着ディスプレイ・デバイス２のレンズの側には１つの赤外線ＣＣＤしか用いないことである。このＣＣＤは、小型のミラーおよび／またはレンズ（魚眼）を用い、このＣＣＤがめがねのフレームから見ることができる目の７５％までを撮像することができるようにしている。次いで、このＣＣＤは、先に論じたのと全く同じように、画像を検知し、コンピューター映像を用いて画像を発見する。つまり、図３Ａ〜図３Ｃは１つのＩＲ発光器を有する１つのアセンブリーを示すが、図２の構造は、４つのＩＲ送信機および／または４つのＩＲセンサーを有するように調節することができる（注意：図の参照番号を更新する必要がある。図のいずれにおいても、これを見てはならない）。４つよりも多いまたは少ないＩＲ送信機および／またはＩＲセンサーを用いることもできる。
【0049】
[0075] 目の方向を追跡する他の実施形態は、電荷追跡に基づく。この概念は、網膜が測定可能な正の電荷を保持し、角膜は負の電荷を有するという観察に基づく。目が動き回る間に電位を検出するために、ユーザーの耳にセンサーを装着し（イヤホン１３０の近く）、これらのセンサーは、目が何をしているのかリアル・タイムで効果的に読み出す。めがねの内部に装着された小型カメラというような、目を追跡するための他の実施形態を用いることもできる。
【0050】
[0076] 図３Ｂ〜図３Ｄは、頭部装着ディスプレイ・デバイス２の一部の代替実施形態２ｂおよび２ｃを示す。図３Ｂ〜図３Ｄにおいて、同様の参照番号は、図３Ａにおいて識別した部分と同様の部分を示すこととする。
【0051】
[0077] 図３Ｂは、透視型でない頭部装着ディスプレイ・デバイス２ｂを示す。図３Ｂのディスプレイ・デバイス２ｂは、前方に面したレンズ１３３ａを用いている。このレンズ１３３ａは、場面（環境１１００のような）の映像(view)をユーザーの目１４０に結合するために、導波路１２４Ａに結合されている。マイクロ・ディスプレイ１５３は、ＬＣＤ、ＬＥＤ、またはＯＬＥＤというような、前述のディスプレイ・タイプであればいずれでも備えることができ、個々の活性化された画素エレメントのアレイによって規定される解像度を有する。その組み合わせは、ユーザーの眼窩に結合するのに適した最適画像の部分を生成するために用いられる。マイクロディスプレイ１５３は、ディスプレイの各角において結合されている複数の微小電気機械エレメント１６０ａに結合し、ユーザーの目１４０に対してディスプレイを三次元で位置付けることができる。つまり、マイクロ・ディスプレイ１５３は、ディスプレイの中心点を中心とする多数の回転軸「Ｚ」および「Ｘ」と、ユーザーに目に対して垂直「Ｖ」および水平「Ｈ」配位(positioning)を有することができる。
【0052】
[0078] 図３Ｂに示すように、最適画像の画像部分１１２６、この場合、鳥１１２６をレンダリングするディスプレイのエレメントのみを駆動して、ユーザーの目１４０の焦点領域が直接画像１１２６からの光に結合されるように、高解像度の画像を供給する。画像１１２６は、部分１１２６ａによって取り囲まれ、画像１１２６、つまり、環境におけるユーザーの視野全体の最適画像の一部のみが図３Ｂにおいてレンダリングされることを例示する。
【0053】
[0079] 図３ｃおよび図３ｄは、本技術の他の代替実施形態２ｂを示す。図３Ｄは、頭部装着ディスプレイ・デバイス２Ｄの上面図であり、図３Ｃは側面図である。図３Ｃおよび図３Ｄにおいて、頭部装着ディスプレイ・デバイス２ｃは、サポート構造１６２、微小電気機械式エレメント１６０、１６１、１６３（および、図示しない第４微小電気機械式エレメント）、およびミラー１６６を含む。１つ以上のマイクロディスプレイ・エレメント１７０が、ミラー１６６に隣接して位置付けられており、エレメント１７０は、図３Ａに関して説明したディスプレイ１２０と同等であってもよい。ミラー１６６は、マイクロディスプレイ・エレメントからの放出をユーザーの目の焦点領域に誘導するために、微小機械式エレメント１６０、１６１、１６３によって、ディスプレイ構造１６２に対して移動させることができる。微小機械式エレメント１６０、１６１、１６３は、圧電エレメント、あるいはその他の機械的に制御されるエレメントまたは電気機械的に制御されるエレメントを備えるとよい。これらのエレメントを協同して用いると、ミラー１６６をサポート構造１６２に対して３本の移動軸に沿って位置付けることができる。マイクロディスプレイ１５３と同様に、微小電気機械式エレメント１６０〜１６３は、ミラーの各角において結合され、ユーザーの目１４０に対してミラーを三次元で位置決めする。つまり、ミラー１６６は、ディスプレイの中心点を中心として多数の回転軸「Ｚ」および「Ｘ」、ならびにユーザーに目に対する垂直「Ｖ」および水平「Ｌ」配位を有する。尚、ミラー１６６の移動は、ユーザーの焦点領域内において画像の最適部分（この場合、鳥のイメージ１１２６）を位置決めするために、単独で用いることも、またはマイクロ・ディスプレイ・エレメントの指向性出力(directional output)と組み合わせて用いることもできることは、認められてしかるべきである。
【0054】
[0080] 図３Ａ〜図３Ｄは、頭部装着ディスプレイ・デバイス２ａ〜２ｃの半分のみを示す。頭部装着ディスプレイ・デバイス全体では、他の１組のレンズ、他の不透明フィルタ、他の導光光学エレメント、他のマイクロ・ディスプレイ、他のレンズ、部屋に面するカメラ、目追跡アセンブリー、マイクロ・ディスプレイ、イヤホン、および温度センサーが含まれる（該当する場合）。
【0055】
[0081] 図４Ａは、頭部装着ディスプレイ・デバイス２ａ〜’２ｃの種々のコンポーネントを示すブロック図である。尚、時４Ａに示すコンポーネントの一部は、図３Ａ〜図３Ｄに示した各実施形態において、なくてもよいことは、図３Ａ〜図３Ｄを参照すると理解されよう。図４Ｂは、演算装置４の種々のコンポーネントを説明するブロック図である。頭部装着ディスプレイ・デバイス２は、そのコンポーネントが図４Ａに示されており、ユーザーに最適画像を表示するために用いられる。加えて、図４Ａの頭部装着ディスプレイ・デバイスのコンポーネントは、種々の状態を追跡する多くのセンサーを含む。頭部装着ディスプレイ・デバイス２ａ〜２ｃは、仮想画像についての命令を演算装置４から受け、逆にセンサー情報を演算装置４に提供する。演算装置４は、そのコンポーネントが図４Ｂに示されており、頭部装着ディスプレイ２から、そしてハブ計算デバイス１２（図１参照）からもセンサー情報を受け取る。この情報に基づいて、演算装置４は、仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令を図４Ａの頭部装着ディスプレイ・デバイスに送る。
【0056】
[0082] 尚、図４Ａのコンポーネントの一部（例えば、後部境対面カメラ１１３、目追跡カメラ１３４Ｂ、マイクロ・ディスプレイ１２０、不透明フィルター１１４、目追跡照明１３４Ａ、イヤホン１３０、および温度センサー１３８）は、これらのデバイスが各々２つずつあり、１つが頭部装着ディスプレイ・デバイス２の左側、そして１つが右側にあることを示すために、影を付けて（in shadow)図示されていることを注記しておく。図４Ａは、電力管理回路２０２と通信する制御回路２００を示す。制御回路２００は、プロセッサー２１０、メモリー２１４（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー・コントローラー２１２、カメラ・インターフェース２１６、カメラ・バッファー２１８、ディスプレイ・ドライバー２２０、ディスプレイ・フォーマッター２２２、タイミング・ジェネレーター２２６、ディスプレイ出力インターフェース２２８、およびディスプレイ入力インターフェース２３０を含む。一実施形態では、制御回路２２０のコンポーネントは全て、互いに、専用線または１つ以上のバスを介して通信する。他の実施形態では、制御回路２００のコンポーネントは全て、プロセッサー２１０と通信する。カメラ・インターフェース２１６は、２つの部屋対面カメラ１１３にインターフェースを設け、部屋対面カメラから受け取った画像をカメラ・バッファー２１８に格納する。ディスプレイ・ドライバー２２０は、マイクロ・ディスプレイ１２０を駆動する。ディスプレイ・フォーマッター２２２は、マイクロ・ディスプレイ１２０上に表示されている仮想画像についての情報を、不透明フィルター１１４を制御する不透明制御回路２２４に提供する。タイミング・ジェネレーター２２６は、システムにタイミング・データーを供給するために用いられる。ディスプレイ出力インターフェース２２８は、部屋対面カメラ１１３から演算装置４に画像を供給するためのバッファーである。ディスプレイ入力２３０は、マイクロ・ディスプレイ１２０に表示しようとする仮想画像のような画像を受け取るためのバッファーである。ディスプレイ出力２２８およびディスプレイ入力２３０は、演算装置４に対するインターフェースである帯域インターフェース２３２と通信する。また、ディスプレイ・ドライバー２２０は、図３Ｃおよび図３Ｄの先の実施形態にしたがって合焦画像を表示するために、ミラー１６６を位置付けるようにミラー・コントローラ１６２を駆動することもできる。
【0057】
[0083] 電力管理回路２０２は、電圧レギュレーター２３４、目追跡照明ドライバー２３６、オーディオＤＡＣおよび増幅器２３８、マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０、温度センサー・インターフェース２４２、ならびにクロック・ジェネレーター２４４を含む。電圧レギュレーター２３４は、演算装置４から帯域インターフェース２３２を介して電力を受け、その電力を頭部装着ディスプレイ・デバイス２の他のコンポーネントに供給する。目追跡照明ドライバー２３６は、前述のように、ＩＲ光源を目追跡照明１３４Ａのために設ける。オーディオＤＡＣおよび増幅器２３８は、オーディオ情報をイヤホン１３０から受け取る。マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０は、マイクロフォン１１０に対するインターフェースを設ける。温度センサー・インターフェース２４２は、温度センサー１３８に対するインターフェースである。また、電力管理ユニット２０２は、電力を供給し、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃからは逆にデーターを受け取る。
【0058】
[0084] 図４Ｂは、演算装置４の種々のコンポーネントを説明するブロック図である。図４Ｂは、電力管理回路３０６と通信する制御回路３０４を示す。制御回路３０４は、中央演算装置（ＣＰＵ）３２０、グラフィクス処理ユニット（ＧＰＵ）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリー３３０（例えば、Ｄ−ＲＡＭ）と通信するメモリー制御部３２８、フラッシュ・メモリー３３４（または他のタイプの不揮発性ストレージ）と通信するフラッシュ・メモリー・コントローラー３３２、帯域インターフェース３０２および帯域インターフェース２３２を介して頭部装着ディスプレイ・デバイス２と通信するディスプレイ出力バッファー３２６、帯域インターフェース３０２および帯域インターフェース２３２を介して頭部装着ディスプレイ・デバイス２と通信するディスプレイ入力バッファー３３８、マイクロフォンに接続するために外部マイクロフォン・コネクター３４２と通信可能なマイクロフォン・インターフェース３４０、ワイヤレス通信デバイス３４６に接続するためのＰＣＩエクスプレス・インターフェース、ならびにＵＳＢポート（１つまたは複数）３４８を含む。一実施形態では、ワイヤレス通信コンポーネント３４６は、Ｗｉ−Ｆｉ対応通信デバイス、BlueTooth（登録商標）通信デバイス、赤外線通信デバイス等を含むことができる。ＵＳＢポートは、演算装置４をハブ計算デバイス１２にドッキングして、データーまたはソフトウェアを演算装置４にロードするため、および演算装置４を充電するために用いることができる。一実施形態では、ＣＰＵ３２０およびＧＰＵ３２２は、どこに、いつ、そしてどのように仮想画像をユーザーの視野に挿入すべきか判断するための主要な機械(workhorse)である。これ以上の詳細は、以下で示す。
【0059】
[0085] 電力管理回路３０６は、クロック・ジェネレーター３６０、アナログ／ディジタル変換器３６２、バッテリー充電器３６４、電圧レギュレーター３６６、頭部装着ディスプレイ電源３７６、および温度センサー３７４（演算装置４の手首バンド上に配置されている）と通信可能な温度センサー・インターフェース３７２を含む。アナログ／ディジタル変換器３６２が、ＡＣ供給電力を受け、本システムのためにＤＣ供給電力を発電するために、充電ジャック３７０に接続されている。電圧レギュレーター３６６は、本システムに電力を供給するために、バッテリー３６８と通信する。バッテリー充電器３６４は、充電ジャック３７０から受電すると、バッテリー３６８を充電する（電圧レギュレーター３６６を介して）ために用いられる。ＨＭＤ電力インターフェース３７６は、電力を頭部装着ディスプレイ・デバイス２に供給する。
【0060】
[0086] 前述のシステムは、仮想画像が実世界物体の映像(view)と置き換わるように、ユーザーの視野内に仮想画像を挿入するように構成される。あるいは、仮想画像は、実世界物体の画像を置き換えることなく、挿入することもできる。種々の実施形態において、置き換えられる物体または画像が挿入されようとしている環境に基づいて、しかるべき向き、サイズ、および形状に一致するように、仮想画像を調節する。加えて、仮想画像は、反射(reflectivity)および影を含むように調節することができる。一実施形態では、頭部装着ディスプレイ・デバイス１２、演算装置４、およびハブ計算デバイス１２は、一緒に動作する。これは、これらのデバイスの各々が、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断するためのデーターを得るために用いられるセンサーの一部(subset)を含むからである。一実施形態では、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断する計算は、ハブ計算デバイス１２が実行する。他の実施形態では、これらの計算は演算装置４によって実行される。他の実施形態では、これらの計算の一部はハブ計算デバイス１２によって実行するが、他の計算は演算装置４によって実行する。他の実施形態では、これらの計算は頭部装着ディスプレイ・デバイス１２によって実行することができる。
【0061】
[0087] 一実施形態例では、ハブ計算デバイス１２は、ユーザーが存在する環境のモデルを作成し、その環境内において動いている種々の物体を追跡する。代替実施形態では、環境において関心のある物体およびユーザーを、他の手段によって判定する。加えて、ハブ計算デバイス１２は、頭部装着ディスプレイ・デバイス２の位置および向きを追跡することによって、頭部装着ディスプレイ・デバイス２の視野を追跡する。モデルおよび追跡情報を、ハブ計算デバイス１２から演算装置４に供給する。頭部装着ディスプレイ・デバイス２によって得られたセンサー情報を、演算装置４に送信する。すると、演算装置４は、頭部装着ディスプレイ・デバイス２からそれが受け取った追加のセンサー情報を用いて、ユーザーの視野を厳密に定め、どのように、どこに、そしていつ仮想画像を挿入すべきかについての命令を頭部装着ディスプレイ・デバイス２に供給する。
【0062】
[0088] 図５は、ハブ計算システム１２の一実施形態例を、キャプチャー・デバイスと共に示す。一実施形態では、キャプチャー・デバイス２０Ａおよび２０Ｂは同じ構造であり、したがって、図５はキャプチャー・デバイス２０Ａのみを示す。一実施形態例によれば、キャプチャー・デバイス２０Ａは、深度値を含むこともできる深度画像を含む深度情報によって、いずれかの適した技法によってビデオを取り込むように構成するとよい。適した技法には、例えば、飛行時間、構造化光、ステレオ撮像等が含まれる。一実施形態によれば、キャプチャー・デバイス２０Ａは、深度情報を「Ｚレイヤー」に編成することができる。即ち、深度カメラからその見通し線に沿って延びるＺ軸に対して垂直であるとよいレイヤーに編成することができる。
【0063】
[0089] 図５に示すように、キャプチャー・デバイス２０Ａはカメラ・コンポーネント４２３を含むことができる。一実施形態例によれば、カメラ・コンポーネント４２３は、場面の深度画像を取り込むことができる深度カメラであってもよく、またはこの深度カメラを含むのでもよい。深度画像は、取り込まれた場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、カメラからの取り込まれた場面における物体の距離というような深度値を、例えば、センチメートル、ミリメートル等を単位として表すことができる。
【0064】
[0090] カメラ・コンポーネント２３は、赤外線（ＩＲ）発光コンポーネント４２５、三次元（３Ｄ）カメラ４２６、および場面の深度画像を取り込むために用いることができるＲＧＢ（視覚画像）カメラ４２８を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス２０ＡのＩＲ発光コンポーネント４２５は、キャプチャー・エリアに向けて赤外線光を出すことができ、次いでセンサー（実施形態の中には、図示されていないセンサーを含む場合もある）を用いて、その場面内にある１つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、３Ｄカメラ４２６および／またはＲＧＢカメラ４２８を用いて検出することができる。実施形態の中には、パルス状赤外線光を用いて、発射光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス２０Ａから場面内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために用いられるようにするとよい場合がある。加えて、他の実施形態例では、発射光波の位相を着信光波の位相と比較して、位相ずれを判定することもできる。次いで、この位相ずれを用いて、キャプチャー・デバイスからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。
【0065】
[0091] 他の一実施形態例によれば、飛行時間分析を用いて、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャー・デバイス２０Ａからターゲットまたは物体上の特定の位置までの物理的距離を間接的に判定することができる。
【0066】
[0092] 他の一実施形態例では、キャプチャー・デバイス２０Ａは、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光（即ち、格子パターン、縞パターン、または異なるパターンのような既知のパターンとして表示される光）を、例えば、ＩＲ発光コンポーネント４２４によって、場面に向けて投射する。場面において１つ以上のターゲットまたは物体の表面に衝突したときに、それに応答して、パターンが変形すると考えられる。このようなパターンの変形を、例えば、３Ｄカメラ４２６および／またはＲＧＢカメラ４２８（および／または他のセンサー）によって取り込むことができ、次いで分析して、キャプチャー・デバイスからターゲットまたは物体上における特定の位置までの物理的距離を判定することができる。実施態様の中には、ＩＲ発光コンポーネント４２５をカメラ４２５および４２６から変位させて、カメラ４２５および４２６からの距離を判定するために三角測量法を用いることができるようにしたものもある。実施態様の中には、キャプチャー・デバイス２０Ａが、ＩＲ光を検知するために専用のＩＲセンサー、またはＩＲフィルターを有するセンサーを含む場合もある。
【0067】
[0093] 他の実施形態によれば、キャプチャー・デバイス２０Ａは、２つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度から場面を捕らえて、視覚的な立体データーを得て、これを解明することによって深度情報を生成することができる。他のタイプの深度画像センサーも、深度画像を形成するために用いることができる。
【0068】
[0094] 更に、キャプチャー・デバイス２０Ａは、マイクロフォン４３０も含むことができる。マイクロフォン４３０は、音を受けて電気信号に変換することができる変換器またはセンサーを含む。マイクロフォン４３０は、オーディオ信号を受け取るために用いることもできる。オーディオ信号は、ハブ計算デバイス１２によって供給することもできる。
【0069】
[0095] 一実施形態例では、キャプチャー・デバイス２０Ａは、更に、撮像カメラ・コンポーネント４２３と通信することができるプロセッサー４３２も含むことができる。プロセッサー４３２は、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができ、例えば、深度画像を受け取る命令、しかるべきデーター・フォーマット（例えば、フレーム）を生成する命令、およびデーターをハブ計算デバイス１２に送信する命令を含む命令を実行することができる。
【0070】
[0096] キャプチャー・デバイス２０Ａは、更に、プロセッサー４３２が実行する命令、３−Ｄカメラおよび／またはＲＧＢカメラによって取り込まれた画像または画像のフレーム、あるいは他の適した情報、画像等であればいずれでも格納することができるメモリー４３４も含むことができる。一実施形態例によれば、メモリー４３４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または他の適した記憶コンポーネントであればいずれでも含むことができる。図５に示すように、一実施形態では、メモリー４３４は、画像キャプチャー・コンポーネント４２３およびプロセッサー４３２と通信する別個のコンポーネントであってもよい。他の実施形態によれば、メモリー４３４をプロセッサー４３２および／または画像キャプチャー・コンポーネント４２２に統合してもよい。
【0071】
[0097] キャプチャー・デバイス２０Ａおよび２０Ｂは、通信リンク４３６を介して、ハブ計算デバイス１２と通信することができる。通信リンク４３６は、例えば、ＵＳＢ接続、Firewire接続、イーサネット（登録商標）・ケーブル接続等を含む有線接続、および／またはワイヤレス８０２．１ｂ、ｇ、ａ、またはｎ接続というようなワイヤレス接続とすることができる。一実施形態によれば、ハブ計算デバイス１２は、クロックをキャプチャー・デバイス２０Ａに供給することができる。このクロックは、例えば、通信リンク４３６を介して場面を取り込むときを決定するために用いることができる。加えて、キャプチャー・デバイス２０Ａは、例えば、３−Ｄカメラ４２６および／またはＲＧＢカメラ４２８によって取り込まれた深度情報ならびに視覚（例えば、ＲＧＢ）画像をハブ計算デバイス１２に、通信リンク４３６を介して供給する。一実施形態では、深度画像および視覚画像は、毎秒３０フレームで送られる。しかしながら、他のフレーム・レートも用いることができる。次いで、ハブ計算デバイス１２はモデルを作成し、このモデル、深度情報、および取り込まれた画像を用いて、例えば、ゲームまたはワード・プロセッサーのようなアプリケーションを制御すること、および／またはアバターまたは画面上のキャラクターを動画化することができる。
【0072】
[0098] ハブ計算システム１２は、深度画像処理および骨格追跡モジュール４５０を含む。このモジュール４５０は、深度画像を用いて、キャプチャー・デバイス２０Ａの深度カメラ機能によって検出可能な１人以上の人を追跡する。深度画像処理および骨格追跡モジュール４５０は、追跡情報をアプリケーション４５２に提供する。アプリケーション４５２は、ビデオ・ゲーム、生産性アプリケーション、通信アプリケーション、または他のソフトウェア・アプリケーション等とすることができる。また、オーディオ・データーおよびビジュアル画像データーも、アプリケーション４５２および深度画像処理および骨格追跡モジュール４５０に供給する。アプリケーション４５２は、追跡情報、オーディオ・データー、およびビジュアル画像データーを認識エンジン４５４に供給する。他の実施形態では、認識エンジン４５４は、追跡情報を直接深度画像処理および骨格追跡モジュール４５０から受け取り、オーディオ・データーおよびビジュアル画像データーを直接キャプチャー・デバイス２０Ａおよび２０Ｂから受け取る。
【0073】
[0099] 認識エンジン４５４は、フィルター４６０、４６２、４６４、．．．、４６６の集合体と関連付けられている。各フィルターは、キャプチャー・デバイス２０Ａまたは２０Ｂによって検出可能なあらゆる人あるいは物体によって行うことができるジェスチャー、行為、または状態に関する情報を含む。例えば、キャプチャー・デバイス２０Ａからのデーターは、フィルター４６０、４６２、４６４、．．．、４６６によって処理して、ユーザーまたはユーザーのグループが１つ以上のジェスチャーまたは他の行為を行ったときを特定することができる。これらのジェスチャーには、アプリケーション４５２の種々の制御、物体、または条件と関連付けることもできる。つまり、ハブ計算デバイス１２は、これらのフィルターと共に認識エンジン４５４を用いて、物体（人を含む）の動きを解釈し追跡することができる。
【0074】
[00100] キャプチャー・デバイス２０Ａおよび２０Ｂは、ＲＧＢ画像（あるいは他のフォーマットまたは色空間における視覚画像）および深度画像を、ハブ計算デバイス１２に供給する。深度画像は、複数の被観察画素とすることもでき、各被観察画素は観察画素値を有する。例えば、深度画像は、取り込まれた場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、取り込まれた場面における物体のキャプチャー・デバイスからの距離というような、深度値を有することができる。ハブ計算デバイス１２は、ＲＧＢ画像および深度画像を用いて、ユーザーまたは物体の動きを追跡する。例えば、本システムは、深度画像を用いて人の骨格を追跡する。深度画像を用いて人の骨格を追跡するために用いることができる方法は、数多くある。深度画像を用いて骨格を追跡するのに適した一例が、２００９年１０月２１日に出願されたCraig, et al.の米国特許出願第１２／６０３，４３７号、"Pose Tracking Pipeline"（姿勢追跡パイプライン）に示されている（以後、’４３７出願と呼ぶ）。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。’４３７出願のプロセスは、深度画像を取り込み、データーをダウン・サンプリングするステップと、高分散ノイズ・データー(high variance noisy data)を除去および／またはスムージングするステップと、背景を特定および除去するステップと、前景画素の各々を身体の異なる部分に指定するステップを含む。これらのステップに基づいて、本システムは、モデルをこのデーターに当てはめ、骨格を形成する。この骨格は、１組の関節と、これらの関節間にある接続とを含む。他の追跡方法を用いることもできる。また、適した追跡技術が以下の４件の米国特許出願にも開示されている。その全てをここで引用することにより、その内容全体が本願にも含まれるものとする。２００９年５月２９日に出願された米国特許出願第１２／４７５，３０８号、"Device for Identifying and Tracking Multiple Humans Over Time"（複数の人間を経時的に特定および追跡するデバイス）、２０１０年１月２９日に出願された米国特許出願第１２／６９６，２８２号、"Visual Based Identity Tracking"（外見に基づく識別追跡）、２００９年１２月１８日に出願された米国特許第１２／６４１，７８８号、"Motion Detection Using Depth Images"（深度画像を用いた動き検出）、および２００９年１０月７日に出願された米国特許第１２／５７５，３８８号、"Human Tracking System"（人間追跡システム）。
【0075】
[00101] 認識エンジン４５４は、ジェスチャーまたは行為を判定するために複数のフィルター４６０、４６２、４６４、．．．、４６６を含む。フィルターは、ジェスチャー、行為、または状態を定義する情報を、そのジェスチャー、行為、または状態についてのパラメーター、またはメタデーターと共に含む。例えば、投げる動作は、一方の手が身体の背後から身体の前方を通過する動きを含み、その動きが深度カメラによって取り込まれると、ユーザーの一方の手が身体の背後から身体の前方を通過する動きを表す情報を含むジェスチャーとして実現することができる。次いで、このジェスチャーに対してパラメーターを設定することができる。ジェスチャーが投げる動作である場合、パラメーターは、手が達しなければならない閾値速度、手が移動する距離（ユーザー全体のサイズに対して絶対的、または相対的のいずれか）、および認識エンジンによる、ジェスチャーが行われたことの信頼度格付けとするとよい。ジェスチャーに対するこれらのパラメーターは、アプリケーション間、１つのアプリケーションのコンテキスト間、または１つのアプリケーションの１つのコンテキスト内においてときの経過に連れて様々に変化するのであってもよい。
【0076】
[00102] フィルターは、モジュール状または相互交換可能であるとよい。一実施形態では、フィルターは、複数の入力（これらの入力の各々はある型を有する）と、複数の出力（これらの出力の各々はある型を有する）とを有する。認識エンジンのアーキテクチャーの他の態様を全く変更することなく、第１のフィルターを、この第１のフィルターと同じ数および同じ型の入力と出力とを有する第の２フィルターと交換することができる。例えば、入力として骨格データーを取り込み、そのフィルターと関連するジェスチャーが行われている確実度と、操縦角度とを出力する駆動用第１フィルターがあってもよい。おそらくは第２駆動フィルターの方が効率的であり必要な処理リソースが少なくて済むために、この第１駆動フィルターを第２駆動フィルターと交換したい場合、第２フィルターが同じ入力および出力、即ち、骨格データー型である１つの入力と、確実度型および角度型である２つの出力を有する限り、単に第１フィルターを第２フィルターと交換することによって、そうすることができる。
【0077】
[00103] フィルターがパラメーターを有する必要はない。例えば、ユーザーの身長を戻す「ユーザー身長」フィルターが、調整することができるパラメーターを全く考慮しなくてもよい。代わりの「ユーザー身長」フィルターが、ユーザーの身長を判定するときに、ユーザーの靴、髪形、帽子、および姿勢を考慮に入れるべきか否かというような、調整可能なパラメーターを有してもよい。
【0078】
[00104] フィルターへの入力は、関節において合体する骨によって形成される角度のような、ユーザーの関節位置についての関節データー、場面からのＲＧＢカラー・データー、およびユーザーの態様の変化率というような事項を含むことができる。フィルターからの出力は、所与のジェスチャーが行われる確実度、ジェスチャーの動きが行われる速度、およびジェスチャーの動きが行われた時刻というような事項を含むことができる。
【0079】
[00105] 認識エンジン４５４は、前述のフィルターに機能を設ける基本認識エンジンを有することができる。一実施形態では、認識エンジン４５４が実装する機能は、認識されたジェスチャーおよび他の入力を追跡する経時的入力アーカイブ、隠れマルコフ・モデルの実装（モデル化されるシステムは、未知のパラメーターを有するマルコフ・プロセスであると仮定する。このプロセスでは、現在の状態が、今後の状態を判定するために必要なあらゆる過去の状態情報をカプセル化するので、この目的のために他の過去の状態情報を維持しなくてもよく、隠れているパラメーターを、観察可能なデーターから判定する）、およびジェスチャー認識の特定の場合(instance)を解決するために必要とされる他の機能を含む。
【0080】
[00106] フィルター４６０、４６２、４６４、．．．、４６６は、認識エンジン４５４の上にロードされ実装され、認識エンジン４５４によって全てのフィルター４６０、４６２、４６４、．．．、４６６に提供されるサービスを利用することができる。一実施形態では、認識エンジン４５４は、いずれかのフィルター４６０、４６２、４６４、．．．、４６６の要件を満たすか否か判断するためにデーターを受け取る。入力の解析というような、これらの提供されるサービスは、各フィルター４６０、４６２、４６４、．．．、４６６によってではなく、認識エンジン４５４によって１回提供されるので、このようなサービスは、ある時間期間に１回だけ処理されればよいのであって、その期間においてフィルター毎に１回ずつ処理されるのではない。したがって、ジェスチャーを判定するために用いられる処理が少なくなる。
【0081】
[00107] アプリケーション４５２は、認識エンジン４５４に設けられたフィルター４６０、４６２、４６４、．．．、４６６を用いることができ、またはそれ自体のフィルターを設けることもできる。このフィルターは、認識エンジン４５４に差し込まれる。一実施形態では、全てのフィルターは、この差し込み特性を可能にするために、共通のインターフェースを有する。更に、全てのフィルターはパラメーターを利用することができるので、以下の１つのジェスチャー・ツールを用いて、フィルター・システム全体のデバッグおよび調整(tune)を行うことができる。
【0082】
[00108] 認識エンジン４５４についてのこれ以上の情報は、２００９年４月１３日に出願された米国特許出願第１２／４２２，６６１号、"Gesture Recognizer System Architecture"（ジェスチャー認識システムのアーキテクチャー）において見いだすことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。ジェスチャー認識についてのこれ以上の情報は、２００９年２月２３日に出願された米国特許出願第１２／３９１，１５０号、"Standard Gestures"（標準的ジェスチャー）、および２００９年５月２９日に出願された米国特許第１２／４７４，６５５号、"Gesture Tool"（ジェスチャー・ツール）において見いだすことができる。これら双方の特許出願をここで引用したことにより、それらの内容全体が本願にも含まれるものとする。
【0083】
[00109] 一実施形態では、計算システム１２は、ハブ計算システム１２と相互作用する1人以上のユーザーに関するユーザー特定情報を含むユーザー・プロファイル・データーベース４７０を含む。一例では、ユーザー特定情報は、ユーザーの表現した好み、ユーザーの友人のリスト、ユーザーが好む活動、ユーザーの備忘録のリスト、ユーザーのソーシャル・グループ、ユーザーの現在地、ユーザーの環境ならびにユーザーの写真、画像、および記録ビデオというような、その他のユーザー作成コンテンツにおける物体と相互作用したユーザーの過去の意図というような、ユーザーに関する情報を含む。一実施形態では、ユーザー特定情報は、ユーザーのソーシャル・ネットワーキング・サイト、住所録、電子メール・データー、インスタント・メッセージング・データー、ユーザー・プロファイル、またはインターネット上の他のソースというような、１つ以上のデーター・ソースから得ることができる。１つの手法では、そして以下で詳細に論ずるように、ユーザー特定情報は、ユーザーの環境において１つ以上の物体と相互作用するユーザーの意図を自動的に判定するために利用される。
【0084】
[00110] 図６は、ハブ計算デバイス１２を実現するために用いることができる計算システムの一実施形態例を示す。図６に示すように、マルチメディア・コンソール５００は、中央演算装置（ＣＰＵ）５０１を有する。ＣＰＵ５０１は、レベル１（Ｌ１）キャッシュ５０２、レベル２（Ｌ２）キャッシュ５０４、およびフラッシュＲＯＭ（リード・オンリー・メモリー）５０６を有する。レベル１キャッシュ５０２およびレベル２キャッシュ５０４は、一時的にデーターを格納し、したがってメモリー・アクセス・サイクル回数を減らすことによって、処理速度およびスループットを向上させる。ＣＰＵ５０１は、１つよりも多いコア、つまり追加のレベル１およびレベル２キャッシュ５０２および５０４を有するものが、設けられてもよい。フラッシュＲＯＭ５０６は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール５００に最初に電力を投入するときのブート・プロセスの初期フェーズの間にロードされる。
【0085】
[00111] グラフィクス処理ユニット（ＧＰＵ）５０８およびビデオ・エンコーダー／ビデオ・コデック（コーダー／デコーダー）５１４は、高速および高分解能グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、グラフィクス処理ユニット５０８からビデオ・エンコーダー／ビデオ・コデック５１４に、バスを通じて搬送される。ビデオ処理パイプラインが、テレビジョンまたはその他の表示装置への送信のために、データーをＡ／Ｖ（オーディオ／ビデオ）ポート５４０に出力する。メモリー・コントローラー５１０がＧＰＵ５０８に接続されており、限定ではないが、ＲＡＭ（ランダム・アクセス・メモリー）のような、種々の形式のメモリー５１２にプロセッサーがアクセスし易くする。
【0086】
[00112] マルチメディア・コンソール５００は、Ｉ／Ｏコントローラー５２０、システム管理コントローラー５２２、オーディオ処理ユニット５２３、ネットワーク・インターフェース・コントローラー５２４、第１ＵＳＢホスト・コントローラー５２６、第２ＵＳＢコントローラー５２８、およびフロント・パネルＩ／Ｏサブアセンブリー５３０を含む。これらは、モジュール５１８上に実装することが好ましい。ＵＳＢコントローラー５２６および５２８は、ペリフェラル・コントローラー５４２（１）〜５４２（２）、ワイヤレス・アダプター５４８、および外部メモリー・ユニット５４６（例えば、フラッシュ・メモリー、外部ＣＤ／ＤＶＤ ＲＯＭドライブ、リムーバブル・メディア等）のホストとしての役割を果たす。ネットワーク・インターフェース５２４および／またはワイヤレス・アダプター５４８は、ネットワーク（例えば、インターネット、ホーム・ネットワーク等）へのアクセスを与え、イーサネット（登録商標）・カード、モデム、Bluetooth（登録商標）モジュール、ケーブル・モデム等を含む、多種多様の様々な有線またはワイヤレス・アダプター・コンポーネントの内いずれでもよい。
【0087】
[00113] システム・メモリー５４３は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられている。メディア・ドライブ５４４が設けられており、ＤＶＤ／ＣＤドライブ、ブルー・レイ・ドライブ、ハード・ディスク・ドライブ、またはその他のリムーバブル・メディア・ドライブ等を含むことができる。メディア・ドライブ１４４は、マルチメディア・コンソール５００の内部でも外部でもよい。マルチメディア・コンソール５００による実行、再生(playback)等のために、マルチメディア・コンソール５００はアプリケーション・データー５４４にアクセスすることができる。メディア・ドライブ５４４は、シリアルＡＴＡバスまたはその他の高速接続（例えば、ＩＥＥＥ１３９４）のようなバスを通じて、Ｉ／Ｏコントローラー５２０に接続されている。
【0088】
[00114] システム管理コントローラー５２２は、マルチメディア・コンソール５００の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット５２３およびオーディオ・コデック５３２は、高信頼度およびステレオ・オーディオ処理を備えた、対応するオーディオ処理パイプラインを形成する。通信リンクが、オーディオ処理ユニット５２３とオーディオ・コデック５２６との間において、オーディオ・データーを伝達することができる。オーディオ処理パイプラインは、外部オーディオ・ユーザーまたはオーディオ能力を有するデバイスによる再生のために、Ａ／Ｖポート５４０にデーターを出力する。
【0089】
[00115] フロント・パネルＩ／Ｏサブアセンブリー５３０は、電力ボタン５５０およびイジェクト・ボタン５５２の機能をサポートし、更にマルチメディア・コンソール５００の外面上に露出するあらゆるＬＥＤ（発光ダイオード）またはその他のインディケーターの機能もサポートする。システム電源モジュール５３６は、電力をマルチメディア・コンソール１００のコンポーネントに供給する。ファン５３８は、マルチメディア・コンソール５００内部にある回路を冷却する。
【0090】
[00116] ＣＰＵ５０１、ＧＰＵ５０８、メモリー・コントローラー５１０、およびマルチメディア・コンソール５００内部にある種々の他のコンポーネントは、１つ以上のバスによって相互接続されている。これらのバスには、シリアルおよびパラレル・バス、メモリー・バス、ペリフェラル・バス、ならびに種々のバス・アーキテクチャーの内いずれかを用いたプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、周辺コンポーネント相互接続（ＰＣＩ）バス、PCI−Expressバス等を含むことができる。
【0091】
[00117] マルチメディア・コンソール５００に電源を投入すると、アプリケーション・データーをシステム・メモリー５４３からメモリー５１２および／またはキャッシュ５０２、５０４にロードすることができ、ＣＰＵ５０１において実行することができる。アプリケーションは、マルチメディア・コンソール５００において利用可能な異なるメディア・タイプにナビゲートするときに、一貫性のあるユーザー体験を提供するグラフィカル・ユーザー・インターフェースを提示することができる。動作において、アプリケーションおよび／またはメディア・ドライブ５４４内に含まれているその他のメディアをメディア・ドライブから起動または再生して、追加の機能をマルチメディア・コンソール５００に提供することもできる。
【0092】
[00118] マルチメディア・コンソール５００は、単に単体システムをテレビジョンまたはその他のディスプレイに接続することによって、その単体システムとして動作させることができる。この単体モードでは、マルチメディア・コンソール５００は、１人以上のユーザーがシステムと相互作用すること、ムービーを見ること、音楽を聞くこと等を可能にする。しかしながら、ネットワーク・インターフェース５２４またはワイヤレス・アダプター５４８を通じて利用可能なブロードバンド接続の統合により、マルチメディア・コンソール５００は、更に、それよりも大きなネットワーク共同体における参加者として動作することができる。加えて、マルチメディア・コンソール５００は、演算装置４とワイヤレス・アダプター５４８を介して通信することができる。
【0093】
[00119] マルチメディア・コンソール５００の電源をオンにすると、マルチメディア・コンソールのオペレーティング・システムによって、設定されている量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー、ＣＰＵおよびＧＰＵサイクル、ネットワーキング帯域幅等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。特に、メモリーの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。確保されたＣＰＵの使用がそのシステム・アプリケーションによって用いられない場合、アイドル状態にあるスレッドが未使用サイクルの内いずれかを消費するように、ＣＰＵの確保を一定に維持することが好ましい。
【0094】
[00120] ＧＰＵの確保に関して、ＧＰＵ割り込みを用いることによって、システム・アプリケーション（例えば、ポップアップ）によって生成される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに必要とされるメモリー量は、オーバーレイのエリア・サイズに依存し、オーバーレイは画面の解像度と共にスケーリングする(scale)ことが好ましい。コンカレント・システム・アプリケーションによってユーザー・インターフェース全体が用いられる場合、アプリケーションの解像度とは独立した解像度を用いることが好ましい。周波数を変更しＴＶの同期を取り直す必要性をなくすように、スケーラーを用いてこの解像度を設定するとよい。
【0095】
[00121] マルチメディア・コンソール５００がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。これらのシステム機能は、前述の確保したシステム・リソースの内部で実行する１組のシステム・アプリケーション内にカプセル化されている。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でＣＰＵ５０１において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミング・アプリケーションに対するキャッシュの分裂(disruption)を最少に抑えるためにある。
【0096】
[00122] コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミング・アプリケーションにスケジューリングする。マルチメディア・コンソール・アプリケーション管理部（以下で説明する）は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル（例えば、無音化、減衰）を制御する。
【0097】
[00123] 任意選択肢の入力デバイス（例えば、コントローラー５４２（１）および５４２（２））は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されたリソースではないが、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられて、各々がそのデバイスのフォーカス(a focus of the device)を有するようにする。アプリケーション管理部は、好ましくは、ゲーミング・アプリケーションの知識を知ることなく、入力ストリームの切換を制御し、ドライバーがフォーカス・スイッチ(focus switches)に関する状態情報を維持する。キャプチャー・デバイス２０Ａおよび２０Ｂは、コンソール５００のための追加の入力デバイスを、ＵＳＢコントローラー５２６または他のインターフェースを介して、定めることができる。他の実施形態では、ハブ計算システム１２は、他のハードウェア・アーキテクチャーを用いて実現することができる。ハードウェア・アーキテクチャーが１つである必要はない。
【0098】
[00124] 図１は、１つのハブ計算デバイス１２（ハブと呼ぶ）と通信する１つの頭部装着ディスプレイ・デバイス２および演算装置４（纏めて移動体ディスプレイ・デバイスと呼ぶ）を示す。他の実施形態では、複数の移動体ディスプレイ・デバイスが１つのハブと通信することができる。これらの移動体ディスプレイ・デバイスの各々は、前述のように、ワイヤレス通信を用いてハブと通信する。このような実施形態では、移動体ディスプレイ・デバイスの全てに有用である情報の多くが、ハブにおいて計算および格納され、移動体ディスプレイ・デバイスの各々に送られることが考えられる。例えば、ハブは環境のモデルを生成し、ハブと通信する移動体ディスプレイ・デバイスの全てにこのモデルを供給する。加えて、ハブは、移動体ディスプレイ・デバイスの位置および向きを追跡し、更に部屋内において動いている物体の位置および向きを追跡し、その情報を移動体ディスプレイ・デバイスの各々に転送することができる。
【0099】
[00125] 他の実施形態では、システムが多数のハブを含むことができ、各ハブが１つ以上の移動体ディスプレイ・デバイスを含む。これらのハブは、互いに直接またはインターネット（または他のネットワーク）を介して通信することができる。例えば、図７はハブ５６０、５６２、および５６４を示す。ハブ５６０は、直接ハブ５６２と通信する。ハブ５６０は、ハブ５６４とインターネットを介して通信する。ハブ５６０は、移動体ディスプレイ・デバイス５７０、５７２、．．．、５７４と通信する。ハブ５６２は、移動体ディスプレイ・デバイス５７８、５８０、．．．、５８２と通信する。ハブ５６４は、移動体ディスプレイ・デバイス５８４、５８６、．．．、５８８と通信する。先に論じたように、移動体ディスプレイ・デバイスの各々は、それらそれぞれのハブと、ワイヤレス通信を介して通信する。これらのハブが共通の環境にある場合、これらのハブの各々は環境のモデルの一部を設けることができ、または１つのハブが他のハブのためにモデルを作成することができる。これらのハブの各々は、動いている物体の一部(subset)を追跡し、その情報を他のハブと共有する。一方、他のハブは、しかるべき移動体ディスプレイ・デバイスとこの情報を共有する。移動体ディスプレイ・デバイスについてのセンサー情報が、それらそれぞれのハブに提供され、次いで他のハブに分配され、最終的に他の移動体ディスプレイ・デバイスに分配される。つまり、ハブ間で共有される情報は、骨格追跡、モデルについての情報、アプリケーションの種々の状態、およびその他の追跡を含むことができる。ハブおよびそれらそれぞれの移動体ディスプレイ・デバイス間で伝えられる情報には、動いている物体の追跡情報、世界モデルについての状態および物理的更新(physics updates)、幾何学的形状および表面模様の情報、ビデオおよびオーディオ、ならびに本明細書において記載される動作を実行するために用いられる他の情報が含まれる。
【0100】
[00126] 図８は、頭部装着ディスプレイ・デバイスのユーザーに提示する可視化情報の表示を最適化するプロセスの一実施形態を説明する。図８は、先の図２Ａにおけるステップ３２を実行する一実施形態を示す。
【0101】
[00127] ステップ６００において、システム１０を構成する。例えば、アプリケーション（図５のアプリケーション４５２）が、場面の三次元モデルにおける指定位置に最適画像を挿入することを示すように、本システムを構成することができる。他の例では、ハブ計算システム１２上で実行するアプリケーションが、ビデオ・ゲームまたは他のプロセスの一部として拡張コンテンツ（特定の仮想画像または仮想物体というような）を場面内に挿入するように指示する。
【0102】
[00128] ステップ６０２において、本システムは、頭部装着ディスプレイ・デバイス２を配置する空間の立体モデルを作成する。一実施形態では、例えば、ハブ計算デバイス１２は、１つ以上の深度カメラからの深度画像を用いて、頭部装着ディスプレイ・デバイス２を配置する環境または場面の三次元モデルを作成する。ステップ６０４において、このモデルを１つ以上の物体に区分する。例えば、ハブ計算デバイス１２が部屋の三次元モデルを作成する場合、この部屋はその内部に多数の物体を有することがありそうに思われる。部屋の中にある可能性がある物体の例には、人、椅子、テーブル、ソファ等が含まれる。ステップ６０４は、別個の物体を互いから区別することを含む。ステップ６０６において、本システムはこれらの物体を特定する。例えば、ハブ計算デバイス１２は、１つの特定の物体がテーブルであり、他の物体が椅子であることを特定することができる。
【0103】
[00129] 尚、一実施形態では、立体モデルを作成し物体を特定することは、本技術で用いてもよいが、ステップ６０２〜６０８は、代替実施形態では、省略してもよいことは認められてしかるべきである。代替実施形態では、最適画像の生成は、環境１１００を参照せずに行うこともでき、周囲の環境を参照せずに用いるためのオーバーレイ画像を供給することを含むのでもよい。即ち、本技術は、オーバーレイ画像の使用を必要とせず、ユーザーの環境を参照せずに、画像のみをユーザーに表示するために用いることができるという利点がある。
【0104】
[00130] 図８のステップ６０８において、本システムは、ユーザー空間のモデルに基づいて、ユーザーの視野を判定する。一実施形態では、ステップ６０８は、図２Ａのステップ３２と同等である。即ち、本システムは、ユーザーが見ている環境または空間を判定する。一実施形態では、ステップ６０８は、ハブ計算デバイス１２、演算装置４、および／または頭部装着ディスプレイ・デバイス２を用いて実行することができる。一実施態様例では、ハブ計算デバイス１２がユーザーおよび頭部装着ディスプレイ・デバイス２を追跡して、頭部装着ディスプレイ・デバイス２の位置および向きについて暫定的な判定を行う。頭部装着ディスプレイ・デバイス２上にあるセンサーを用いて、判定した向きを厳密に定める。例えば、先に説明した慣性センサー３４は、頭部装着ディスプレイ・デバイス２の向きを厳密に定めるために用いることができる。加えて、以下で説明する目追跡プロセスも、最初に判定した視野の内、特にユーザーが見ているところ、あるいは視野においてユーザーの焦点領域または深度焦点として把握したところに対応する一部(subset)を特定するために用いることができる。これ以上の詳細については、図１１〜図１３に関して以下で説明する。
【0105】
[00131] ステップ６１０において、演算装置４において実行するソフトウェアというような本システムは、ユーザーの視野内においてユーザーの現焦点領域を判定する。一実施形態では、ステップ６１０は、図２Ａのステップ３４と同等である。図１２および図１３において以下で更に論ずるが、目毎に目追跡カメラ１３４によって取り込まれたデーターに基づく目追跡処理によって、ユーザーの現在の焦点領域を規定することができる。例えば、瞳間の収斂(convergence)は、ユーザーの顔の位置を示すデーターと共に、焦点曲線、即ち、ホロプター上の焦点距離まで三角測量するために用いることができる。焦点領域、即ち、パナムの融合エリアは、この焦点から計算することができる。パナムの融合エリアとは、人間の目によって用いられる両眼立体視に対する単一視のエリアである。
【0106】
[00132] ステップ６１２において、ソフトウェアの制御の下で、演算装置４は、単独でまたはハブ計算デバイス１２と協同して、最適画像を生成する。この最適画像は、三次元モデル、検出された視野内の物体、およびユーザーの視野に基づく。
【0107】
[00133] 最適画像は、この最適画像の生成を制御するアプリケーションに応じて、多くの形態をなすことができる。更に、画像という用語は、動きの画像(motion image)、つまり、表示されている１つまたは複数の物体の動きを表示する画像を含む場合もあることは、言うまでもない。
【0108】
[00134] 次いで、頭部装着ディスプレイ・デバイス２のユーザーは、頭部装着ディスプレイ・デバイス２に表示された最適画像に基づいて、ハブ計算デバイス１２（または他の計算デバイス）上で実行しているアプリケーションと相互作用を行う。図８の処理ステップ（６０８〜６１２）は、ユーザーが彼または彼女の頭部を動かすに連れてユーザーの視野および焦点領域を更新し、新たな視野からの新たな最適画像を判定し、ユーザーの意図に基づいて最適画像をユーザーに表示するように、本システムの動作中に連続して実行することができる。ステップ６０４〜６１２の各々については、以下で詳細に説明する。
【0109】
[00135] 図９は、ユーザーの空間のモデルを作成するプロセスの一実施形態を説明する。例えば、図９のプロセスは、図８のステップ６０２の一実施態様例である。ステップ６２０において、ハブ計算デバイス１２は頭部装着ディスプレイ・デバイス２が存在する空間の、図１に示したもののような、多数の視線(perspective)に対する１つ以上の深度画像を受け取る。例えば、ハブ計算デバイス１２は、多数の深度カメラから深度画像を得ることができ、あるいはカメラを異なる方向に向けることによって、またはモデルを構築する空間の全視野(full view)を可能にするレンズを有する深度カメラを用いることによって、同じカメラから複数の深度画像を得ることができる。ステップ６２２において、種々の深度画像からの深度データーを共通座標系に基づいて組み合わせる。例えば、このシステムが深度画像を多数のカメラから受け取る場合、本システムは２つの画像を相関付けて共通の座標系を有する（例えば、画像を並べる）。ステップ６２４において、深度データーを用いて、空間の立体記述を作成する。
【0110】
[00136] 図１０は、空間のモデルを物体に区分するプロセスの一実施形態を説明するフローチャートである。例えば、図１０のプロセスは、図８のステップ６０４の一実現例である。図１０のステップ６２６において、本システムは、先に論じたように、１つ以上の深度画像を１つ以上の深度カメラから受け取る。あるいは、本システムは、既に受け取っている１つ以上の深度画像にアクセスすることもできる。ステップ６２８において、本システムは、１つ以上の仮想画像を前述したカメラから受け取る。あるいは、本システムは、既に受け取られている１つ以上の仮想画像にアクセスすることもできる。ステップ６３０において、ハブ計算システム１２は、深度画像および／または視覚画像に基づいて１人以上の人を検出する。例えば、本システムは１つ以上の骨格を認識する。ステップ６３２において、ハブ計算デバイス１２は、深度画像および／または視覚画像に基づいてモデル内で縁端を検出する。ステップ６３４において、ハブ計算デバイス１２は、検出した縁端を用いて、別個の物体を互いから識別する。例えば、縁端が物体間の境界であると仮定する。ステップ６３６において、モデルのどの部分が異なる物体と関連付けられているかを示すために、図９のプロセスを用いて作成したモデルを更新する。
【0111】
[00137] 図１１は、図８のステップ６０８の一実施態様例である、ユーザーの視野を判定するプロセス、更に図８のステップ６１０の一実施態様例である、ユーザーの焦点領域を判定するプロセスの一実施形態を説明するフローチャートである。図１１のプロセスは、ハブ計算デバイス１２からの情報および先に説明した目追跡技術を拠り所とすることができる。図１２は、図１２のプロセスにおいて用いられる追跡情報を提供するためにハブ計算システムによって実行するプロセスの一実施形態を説明するフローチャートである。あるいは、図１２のプロセスは、図４Ａのプロセッサー２１０によって実行してもよい。図１３は、目を追跡するプロセスの一実施形態を説明するフローチャートであり、この結果は図１２のプロセスによって用いられる。
【0112】
[00138] ハブ計算システムを利用する場合、図１２のステップ６８６において、ハブ計算デバイス１２はユーザーの位置を追跡する。例えば、ハブ計算デバイス１２は、１つ以上の深度画像および１つ以上の視覚画像を用いてユーザーを追跡する（例えば、骨格追跡を用いる）。１つ以上の深度画像および１つ以上の視覚画像は、ステップ６８８において頭部装着ディスプレイ・デバイス２の位置、および頭部装着ディスプレイ・デバイス２の向きを判定するために用いることができる。ステップ６９０において、ユーザーおよび頭部装着ディスプレイ・デバイス２の位置ならびに向きを、ハブ計算デバイス１２から演算装置４に送信する。ステップ６９２において、演算装置４においてこの位置および配向情報を受け取る。図１２の処理ステップは、ユーザーを連続的に追跡するように、本システムの動作中継続して実行することができる。
【0113】
[00139] 図１３は、環境においてユーザーの目の位置を追跡する一実施形態を説明するフローチャートである。ステップ６６２において、目に照明を当てる。例えば、目追跡照明１３４Ａからの赤外線光を用いて、目に照明を当てることができる。ステップ６６４において、１つ以上の目追跡カメラ１３４Ｂを用いて目からの反射を検出する。ステップ６６５において、頭部装着ディスプレイ・デバイス２から演算装置４に反射データーを送る。ステップ６６８において、演算装置４は、先に論じたように、反射データーに基づいて目の位置を判定する。
【0114】
[00140] 図１１は、ユーザーの視野を判定するプロセス（例えば、図８のステップ６０８）およびユーザーの焦点領域を判定するプロセス（例えば、図８のステップ６１０）の一実施形態を説明するフローチャートである。ステップ６７０において、演算装置４は、ハブから受け取った最新の位置および配向情報にアクセスする。図１２のプロセスは、ステップ８１４からステップ８１０への矢印によって示されるように、連続的に実行することができ、したがって、演算装置４は周期的に更新された位置および配向情報を、ハブ計算デバイス１２から受け取る。しかしながら、演算装置４は、ハブ計算デバイス１２から更新情報を受け取るよりも高い頻度で仮想画像を描画する必要がある。したがって、演算装置４は、ローカルに（例えば、頭部装着ディスプレイ・デバイス２から）検知された情報を拠り所として、ハブ計算デバイス１２からのサンプルの間に、向きに対する更新を行う必要がある。加えて、処理レイテンシーのために、仮想画像を素早くレンダリングしなければならないこともある。
【0115】
[00141] あるいは、ステップ６７０は、いずれの数の手段によって実行してもよい。加速度計、磁力計、およびジャイロスコープを含む、頭部装着ディスプレイ内に埋め込まれているセンサー技術、または他のセンサー技術を用いて、環境におけるユーザーの位置および向きを特定することもできる。ステップ６７２において、演算装置４は、三軸ジャイロ１３２Ｂからのデーターにアクセスする。ステップ６７４において、演算装置４は三軸加速度１３２Ｃからのデーターにアクセスする。ステップ６７６において、演算装置４は三軸磁力計１３２Ａからのデーターにアクセスする。ステップ６７８において、演算装置４は、ジャイロ、加速度計、および磁力計からのデーターによって、ハブ計算デバイス１２からの位置および配向データーの精度を高める（または、言い換えると、更新する）。ステップ６８０において、演算装置４は、頭部装着ディスプレイ・デバイスの位置および向きに基づいて、潜在的な視点(point of view)を判定する。頭部装着ディスプレイの位置は、いかなる数の技法を用いてでも判定され、目位置追跡と共に、ユーザーの視野を判定するために用いられる。尚、実施態様の中には、ユーザーの環境の三次元モデルを必要としない場合もあることを注記しておく。多数の頭部追跡技法のいずれでも、用いることができる。頭部装着ディスプレイから入手できるセンサーがあるとすると、慣性検知は加速度計からの慣性測定値を用い、ジャイロスコープを用いることもできる。しかしながら、他の技法を用いてもよい。このような技法には、飛行時間、空間走査、機械的連係、位相差検知、および／または直接場検知が含まれる。このような場合、頭部装着ディスプレイには、追加のハードウェアが必要となることもある。
【0116】
[00142] ステップ６８２において、演算装置４は最新の目位置情報にアクセスする。ステップ６８４において、演算装置４は、ユーザーによって見られているモデルの部分を、潜在的な視野の一部として目の位置に基づいて判定する。例えば、ユーザーが壁に向かっていることもあり、したがって、頭部装着ディスプレイの視点は、壁に沿ったいずれかの場所を含むこともあり得る。しかしながら、ユーザーの目が右に向けられている場合、ステップ６８４では、ユーザーの視野は壁の右側部分のみであると結論付ける。ステップ６８４の終了時には、演算装置４は頭部装着ディスプレイ２を介したユーザーの視点を判定し終えている。次いで、演算装置４は、その視野内において、不透明フィルターを用いて仮想画像を挿入し光を遮断する位置を特定することができる。図１２の処理ステップは、ユーザーが彼または彼女の頭を動かすに連れてユーザーの視野および焦点領域が連続的に更新されるように、本システムの動作中に連続的に実行することができる。
【0117】
[00143] 図１４は、最適画像の一部をユーザーの焦点領域に結合するプロセスを説明するフローチャートである。一実施形態では、図１４は、図２Ａのステップ２３６および図２Ａのステップ２４０の一実施態様である。
【0118】
[00144] ステップ１４０２において、検出したユーザーの視野に基づく画像を、読み出す。この画像は、先のステップ６１２においてレンダリングしたものである。レンダリングは、ハブ計算システム、あるいは図４Ａおよび図４Ｂの処理コンポーネント２００または３０４のいずれかによってそれぞれ行うことができる。一実施形態では、画像を処理するためにハブ計算デバイス１２を用いると、頭部装着ディスプレイ２以外の計算リソースな効率的な使用に役立ち、図４Ａおよび図４Ｂのコンポーネントというような処理コンポーネントが頭部装着ディスプレイのディスプレイ・エレメントおよび／または微小機械式エレメントを一層アクティブに駆動することが可能になる。１４０４において、予測した目の位置(eye location)（図１５および図１６にしたがって計算する）を受け取り、１４０５において、ユーザーの焦点領域に結合するために利用可能な、選択した数の潜在的な高解像度部分を減らす。一実施形態では、ステップ１４０６においてハブ計算デバイスが処理を実行する場合、１４０５において、多数の潜在的な部分を選択し、バッファに移動させ、頭部装着ディスプレイ２におけるレンダリング・エリアに最も近い、演算装置において利用可能なメモリ位置の内１つ以上に入れる。一実施形態では、このようなエレメントは、演算装置４のメモリ３３０に設けることができる。他の実施形態では、これらの部分を頭部装着ディスプレイ２のメモリ２２４に供給してもよい。１４０８において、現在の目の位置および視野内における１つ以上の次の可能な目の位置(eye position)においてレンダリングすることができる潜在的な最適セクションを、更に減らす。この場合も、最適部分はハブ計算システムによって計算し、例えば、ハブ計算システムからメモリ３３０へというように、処理チャネルの下流にバッファするか、またはステップ１４１０において、演算装置において処理し、メモリ２２４にバッファしてもよい。１４１２において、ステップ２３６または２４０にしたがって、視聴者の焦点領域に対して最適化された位置において、ディスプレイ上の位置にレンダリングする。
【0119】
[00145] 図１５は、目の位置の追跡、既知の目のデーター、ならびに既知の頭部の位置および配向データーに基づいて、次のユーザーの目の位置ならびに頭部の位置および向きを判定するプロセスを示すフローチャートである。先に注記したように、目位置データーは、目追跡カメラ１３４Ｂによって取り込むことができる。１５０２において、ユーザーの目の動きを取り込み、１５０４において、頭部装着ディスプレイ・センサーおよびキャプチャー・デバイス２０Ａ、２０Ｂから入手可能なユーザーの頭部の位置、向き、および動き情報と共にデーターを収集する。目位置データーは、頭部の位置および向きに対する目の位置を含み、頭部は、部屋または環境に対する位置である。１５０６において、時間Ｔｎ毎に、時点Ｔｎ＋１におけるユーザーの目位置予測を、１５０８において行う。１５１０および１５１２において、時点Ｔｎ＋１に対する代わりの予測を計算することもできる。目のデーターに対してユーザーの目の位置を予測する方法を、図１６に示す。また、時間Ｔｎ毎に、ユーザーの次の頭部の向きおよび位置の予測を、１５０７において行う。１５１０および１５１２において、頭部の向きおよび位置の追加の予測を行うこともできる。１５１５において、予測した目の位置の内１つを、図２Ａに関する画像の使用にしたがって、次の位置の選択し、１５１３において、予測した頭部の位置の内１つを選択する。１５１６において、これらの位置をステップ２４０において用いて、画像のどの部分を次の位置にレンダリングするか決定し、ユーザーの目および頭部の動きが続くのにしたがって、本方法は１５１８において繰り返す。
【0120】
[00146] 図１６は、可能な目の位置を予測するプロセスを示すフローチャートである。１６３０において、ユーザーの目についての複数のデーター位置をバッファし、１６３２において。一旦十分な量のデーターを得てバッファしたなら、予測モデリング・フィルタを用いて、ユーザーの目が時点Ｔｎ＋１、Ｔｎ＋２等において所与の位置にある可能性を計算する。一実施形態では、カルマン・フィルタを用い、値を予測し、予測した値の不確実性を推定し、予測値および測定値の加重平均を計算することによって、目位置測定値の真の値の推定値を計算する。最も大きな重みは、不確実性が最も小さい値に与えられる。あるいは、マルコフ・モデルを用いる。マルコフ・モデルは、時間の経過と共に変化するランダム変数によって、システムの状態を判定する。このコンテキストでは、マルコフ特性(Markov property)は、この変数についての分布が、直前の状態の分布のみに依存することを示唆する。頭部の位置および向きを予測するためには、同様の方法を使用してもよい。
【0121】
[00147] １６３４において、いずれの数の連続予測でも行って出力することができる。尚、ユーザーの頭部の座標枠組みに対する目の位置の予測には、いずれの数の予測アルゴリムでも利用できることは認められてしかるべきである。以上で参照した方法は、多数の適した実施形態の内の２つに過ぎない。
【0122】
[00148] 以上、構造的特徴および／または方法論的動作に特定な文言で主題について説明したが、添付した特許請求の範囲において定義されている主題は、以上で説明した特定の特徴や動作には必ずしも限定されないことは理解されてしかるべきである。逆に、以上で説明した特定の特徴および動作は、特許請求の範囲を実現する形態例として開示されたまでである。本発明の範囲は、添付する特許請求の範囲によって定義されることを意図している。