特許 6110938 仮想表示機能を改善させた頭部装着コンピュータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6110938

(24)【登録日】2017年3月17日

(45)【発行日】2017年4月5日

(54)【発明の名称】仮想表示機能を改善させた頭部装着コンピュータ

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20170327BHJP

   G06F 3/01 20060101ALI20170327BHJP

   G06F 3/0346 20130101ALI20170327BHJP

【ＦＩ】

   G06F3/0484 120

   G06F3/01 510

   G06F3/01 570

   G06F3/0346 423

   G06F3/0346 421

【請求項の数】18

【全頁数】15

(21)【出願番号】特願2015-515031(P2015-515031)

(86)(22)【出願日】2013年5月16日

(65)【公表番号】特表2015-523642(P2015-523642A)

(43)【公表日】2015年8月13日

(86)【国際出願番号】US2013041349

(87)【国際公開番号】WO2013180966

(87)【国際公開日】20131205

【審査請求日】2016年4月22日

(31)【優先権主張番号】13/799,888

(32)【優先日】2013年3月13日

(33)【優先権主張国】US

(31)【優先権主張番号】61/653,127

(32)【優先日】2012年5月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502176580

【氏名又は名称】コピン コーポレーション

(74)【代理人】

【識別番号】100087941

【弁理士】

【氏名又は名称】杉本 修司

(74)【代理人】

【識別番号】100086793

【弁理士】

【氏名又は名称】野田 雅士

(74)【代理人】

【識別番号】100112829

【弁理士】

【氏名又は名称】堤 健郎

(74)【代理人】

【識別番号】100144082

【弁理士】

【氏名又は名称】林田 久美子

(74)【代理人】

【識別番号】100150566

【弁理士】

【氏名又は名称】谷口 洋樹

(72)【発明者】

【氏名】パーキンソン・クリストファー

(72)【発明者】

【氏名】ホプキンス・リューク

(72)【発明者】

【氏名】ニランド・デイビッド

【審査官】 西田 聡子

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／００６８９１４（ＵＳ，Ａ１）

【文献】 特開２０１１−１９８３０４（ＪＰ，Ａ）

【文献】 特開２００７−０４８２９５（ＪＰ，Ａ）

【文献】 特開２００７−３０３８７８（ＪＰ，Ａ）

【文献】 特開２０１２−０２２６６８（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０７０７０５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

頭部装着コンピュータのディスプレイにユーザインターフェースを表示する方法であって、
前記頭部装着コンピュータのディスプレイ上の前記ユーザインターフェース内に第１の情報層を表示することと、
体の動き、アイトラッキング、ハンドジェスチャーのうちの少なくとも１つからの方向入力を受信することと、
前記ユーザインターフェースの領域であって、前記受信した方向入力に基づいて前記ユーザインターフェース内に配置される該領域を、前記ディスプレイ上で第２の情報層でハイライト表示することとを含む方法。

【請求項2】

請求項１に記載の方法において、前記第２の情報層を前記第１の情報層と並べることをさらに含む方法。

【請求項3】

請求項１に記載の方法において、前記受信した方向入力と同じ方向におよび前記受信した方向入力に比例させて前記ユーザインターフェースの前記ハイライト表示した領域を移動させることをさらに含む方法。

【請求項4】

請求項１に記載の方法において、前記第２の情報層は、前記第１の情報層の領域を起動させるボイスコマンドを表示する方法。

【請求項5】

請求項４に記載の方法において、
前記第２の情報層に表示したボイスコマンドを受信することと、
前記ボイスコマンドに対応する前記第１の情報層の機能を起動させることとをさらに含む方法。

【請求項6】

請求項１に記載の方法において、
選択ユーザ入力に基づいて前記ディスプレイ上の前記ユーザインターフェースの前記領域を第３の情報層でハイライト表示することをさらに含み、
前記選択ユーザ入力は、前記第１、第２、および第３の情報層で、前記ディスプレイ上の前記ユーザインターフェースの前記ハイライト表示された領域を巡回するよう構成される方法。

【請求項7】

請求項１に記載の方法において、前記第１の情報層は、ウェブページの表示を含み、前記第２の情報層は、前記ウェブページ内のリンクを起動させるボイスコマンドの表示を含む方法。

【請求項8】

請求項１に記載の方法において、ボイスコマンドの表示を、その表示が重複せず読み取り可能であるように、再編成することをさらに含む方法。

【請求項9】

請求項１に記載の方法において、前記受信した方向入力は頭部の動きから得られ、前記領域は前記頭部の動きと同じ方向に移動する方法。

【請求項10】

ユーザインターフェースを表示するための頭部装着コンピュータシステムであって、
体の動き、アイトラッキング、ハンドジェスチャーのうちの少なくとも１つからの方向入力を受信するよう構成された受信モジュールと、
前記頭部装着コンピュータのディスプレイ上の前記ユーザインターフェース内に第１の情報層を表示し、さらに前記ユーザインターフェースの領域であって、前記受信した方向入力に基づいて前記ユーザインターフェース内に配置される該領域を、前記ディスプレイ上で第２の情報層でハイライト表示するよう構成された表示モジュールとを備えるシステム。

【請求項11】

請求項１０に記載のシステムにおいて、前記表示モジュールは、さらに、前記第２の情報層を前記第１の情報層と並べるよう構成されるシステム。

【請求項12】

請求項１０に記載のシステムにおいて、前記表示モジュールは、さらに、前記受信した方向入力と同じ方向におよび前記受信した方向入力に比例させて前記ユーザインターフェースの前記ハイライト表示した領域を移動させるよう構成されるシステム。

【請求項13】

請求項１０に記載のシステムにおいて、前記第２の情報層は、前記第１の情報層の領域を起動させるボイスコマンドを表示するシステム。

【請求項14】

請求項１３に記載のシステムにおいて、
前記受信モジュールは、さらに、前記第２の情報層に表示したボイスコマンドを受信するよう構成され、
前記表示モジュールは、さらに、前記ボイスコマンドに対応する前記第１の情報層の機能を起動させるよう構成されるシステム。

【請求項15】

請求項１０に記載のシステムにおいて、
前記表示モジュールは、さらに、選択ユーザ入力に基づいて前記ディスプレイ上の前記ユーザインターフェースの前記領域を第３の情報層でハイライト表示するよう構成され、
前記選択ユーザ入力は、前記第１、第２、および第３の情報層で、前記ディスプレイ上の前記ユーザインターフェースの前記ハイライト表示された領域を巡回するよう構成されるシステム。

【請求項16】

請求項１０に記載のシステムにおいて、前記第１の情報層は、ウェブページの表示を含み、前記第２の情報層は、前記ウェブページ内のリンクを起動させるボイスコマンドの表示を含むシステム。

【請求項17】

請求項１０に記載のシステムにおいて、前記表示モジュールは、さらに、ボイスコマンドの表示を、その表示が重複せず読み取り可能であるように再編成するよう構成されるシステム。

【請求項18】

請求項１０に記載のシステムにおいて、前記受信した方向入力は頭部の動きから得られ、前記領域は前記頭部の動きと同じ方向に移動するシステム。

【発明の詳細な説明】

【関連出願】

【0001】

本願は、２０１２年５月３０日に出願された米国仮特許出願第６１／６５３，１２７号の利益を主張する、２０１３年３月１３日に出願された米国継続特許出願第１３／７９９，８８８号の優先権を主張するものである。上記出願の全内容は、参照により本明細書に組み込まれる。

【背景技術】

【0002】

ノートＰＣ、スマートフォン、タブレットコンピューティングデバイスなどのモバイルコンピューティングデバイスは、現在、ビジネスと私生活の両方において、データを生成、分析、伝達および消費するために用いられる一般的なツールとなっている。高速ワイヤレス通信技術のユビキタス化とともに、デジタル情報へのアクセスの容易さが増すに連れて、消費者は、モバイルデジタルライフスタイルを享受し続けている。モバイルコンピューティングデバイスの一般的な用途は、多くの場合デバイスにワイヤレスでストリーム配信される大量の高解像度のコンピュータグラフィックス情報およびビデオコンテンツの表示を含む。これらのデバイスは、典型的には、表示スクリーンを含むが、そのようなデバイスの物理的な大きさが、可動性の向上のために制限されるため、高解像度の大型ディスプレイの好ましい視覚体験は、そのようなモバイルデバイスでは容易に再現され得ない。上述のデバイスのタイプの別の欠点は、ユーザインターフェースが、手に依存するものであり、典型的には、ユーザが、物理的または仮想的なキーボードまたはタッチスクリーンディスプレイを用いてデータ入力や選択を行う必要があることである。結果として、消費者は、手に依存するモバイルデバイスを拡張するまたはこれに取って代わる、ハンズフリーの高品質で携帯可能なカラー表示のソリューションを求めている。

【発明の概要】

【課題を解決するための手段】

【0003】

一実施形態では、頭部装着コンピュータのディスプレイにユーザインターフェースを表示する方法は、前記頭部装着コンピュータのディスプレイ上の前記ユーザインターフェース内に第１の情報層を表示することを含んでいてもよい。この方法は、体の動き、アイトラッキング（目の動きの追跡、視線追跡、瞳孔の動きの追跡等のこと）、またはハンドジェスチャーからの方向入力を受信することをさらに含んでいてもよい。この方法は、前記ユーザインターフェースの領域を、前記ディスプレイ上で第２の情報層でハイライト表示することを、追加的に含んでいてもよい。該領域は、前記受信した方向入力に基づいて前記ユーザインターフェース内に配置され得る。

【0004】

他の実施形態では、この方法は、前記第２の情報層を前記第１の情報層と並べることを含んでいてもよい。この方法は、また、前記受信した方向入力と同じ方向におよび前記受信した方向入力に比例させて前記ユーザインターフェースの前記ハイライト表示した領域を移動させることを含んでいてもよい。

【0005】

他の実施形態では、前記第２の情報層は、前記第１の情報層の領域を起動させるボイスコマンドを表示してもよい。この方法は、前記第２の情報層に表示したボイスコマンドを受信することをさらに含んでいてもよい。この方法は、また、前記ボイスコマンドに対応する前記第１の情報層の機能を起動させることを含んでいてもよい。

【0006】

他の実施形態では、この方法は、また、選択ユーザ入力に基づいて前記ディスプレイ上の前記ユーザインターフェースの前記領域を第３の情報層でハイライト表示することを含んでいてもよい。前記選択ユーザ入力は、前記第１、第２、および第３の情報層で、前記ディスプレイ上の前記ユーザインターフェースの前記ハイライト表示された領域を巡回するよう構成されてもよい。前記受信した方向入力は頭部の動きから得られる。前記領域は前記頭部の動きと同じ方向に移動してもよい。

【0007】

前記第１の情報層は、ウェブページの表示を含んでいてもよい。前記第２の情報層は、前記ウェブページ内のリンクを起動させるボイスコマンドの表示を含んでいてもよい。

【0008】

この方法は、また、ボイスコマンドの表示を、その表示が重複せず読み取り可能であるように、再編成することを含んでいてもよい。

【0009】

他の実施形態では、ユーザインターフェースを表示するための頭部装着コンピュータシステムは、体の動き、アイトラッキング、ハンドジェスチャーのうちの少なくとも１つからの方向入力を受信するよう構成された受信モジュールを備えていてもよい。この頭部装着コンピュータは、前記頭部装着コンピュータのディスプレイ上の前記ユーザインターフェース内に第１の情報層を表示し、さらに前記ユーザインターフェースの領域を、前記ディスプレイ上で第２の情報層でハイライト表示するよう構成された表示モジュールを、さらに備えていてもよい。該領域は、前記受信した方向入力に基づいて前記ユーザインターフェース内に配置され得る。

【図面の簡単な説明】

【0010】

上記は、添付図面に示す以下の本発明の例示的な実施形態のさらに詳細な説明から明らかになるであろう。添付図面において、異なる図全体にわたり、同様の部分は同様の参照符号で示す。図面は必ずしも原寸に比例しておらず、本発明の実施形態の説明に重点が置かれている。

【図1】ワイヤレス・ハンズフリー・ビデオコンピューティングヘッドセット（またはヘッドマウントディスプレイ（ＨＭＤ）、またはヘッドセットコンピュータ（ＨＳＣ））を示す斜視図である。

【図2】ヘッドセットコンピュータによってユーザに表示されるウェブページ層の例示的な実施形態のユーザインターフェースを示す画像図である。

【図3】ハイライト表示されたウェブページ層の例示的な実施形態のユーザインターフェースを示す画像図である。

【図4A】局所領域内のハイライト表示されたウェブページ層を示すスポットライト（またはトーチライト）および残りのユーザインターフェース内のウェブページ層の例示的な実施形態のユーザインターフェースを示す画像図である。

【図4B】局所領域内のハイライト表示されたウェブページ層を示すスポットライト（またはトーチライト）および残りのユーザインターフェース内のウェブページ層の例示的な実施形態のユーザインターフェースを示す画像図である。

【図5】地図アプリケーションで用いられるスポットライトの例示的な実施形態のユーザインターフェースを示す画像図である。

【図6】本発明を実施できるコンピュータネットワークまたは同様のデジタル処理環境を示す概略図である。

【図7】図６のコンピュータシステム内のコンピュータ（例えば、クライアントプロセッサ／デバイスまたはサーバコンピュータ）の内部構造を示すブロック図である。

【発明を実施するための形態】

【0011】

以下に、本発明の例示的な実施形態について説明する。

【0012】

図１は、１つまたは複数のマイクロディスプレイと、ローカルプロセッサと、オーディオ／ボイス、および／またはグラフィカル／ビデオデータを含み得るデータの通信のためのワイヤレストランシーバとを含むワイヤレス・ハンズフリー・ビデオコンピューティングヘッドセット（またはヘッドマウントディスプレイ（ＨＭＤ）、またはヘッドセットコンピュータ（ＨＳＣ））を示す。ワイヤレス・ハンズフリー・ビデオコンピューティングヘッドセットは、１つまたは複数の周辺機器とさらに一体化されていてもよい、または一体化されていなくてもよい。そのような一体化された周辺機器の例として、マイクロホン、スピーカ、３軸〜９軸自由度方位検知、地理測位センサ、大気センサ、健康状態センサ、ＧＰＳ、デジタルコンパス（多軸磁力計）、フラッシュライト、高度計、圧力センサ、さまざまな環境センサ、対人センサ、エネルギーセンサ、光学センサおよび／またはカメラが含まれるが、これらには限定されない。

【0013】

ワイヤレス・ハンズフリー・ビデオコンピューティングヘッドセットは、ユーザに情報をグラフィカルに提示するマイクロディスプレイ装置を含み得て、任意のボイスコマンドと共に頭部の動き、手の動き、および／またはジェスチャーなどの動作を検出する、頭部追跡加速度計、ジャイロまたは１つもしくは複数のカメラなどの入力装置を用いて、さまざまな方法でローカルプロセッサまたはリモートホストプロセッサ上で動作しているアプリケーションの遠隔制御を提供し得る。

【0014】

図１に図示された例示的な実施形態は、ＷＱＶＧＡまたはそれ以上の解像度のマイクロディスプレイ要素１０１０と以下に記載する他の機能とを含むワイヤレスコンピューティングヘッドセットデバイス１００（本明細書では、ＨＳＣ１００であるビデオアイウエアデバイス１００とも呼ぶ）を示す。ヘッドセットに組み込まれた、および／または１つ以上の周辺機器ポートを介してデバイスに取り付けられた、１つ以上のマイクロホン（複数可）、入出力スピーカ（複数可）、地理測位検知、３軸〜９軸自由度方位検知、大気センサ、健康状態センサ、ＧＰＳ、デジタルコンパス、圧力センサ、環境センサ、エネルギーセンサ、加速度用、位置用、高度用、運動用、速度用または光学用センサ、カメラ（可視光、赤外線（ＩＲ）、紫外線（ＵＶ）用など）、付加的なワイヤレス無線（Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、４ＧのＬＴＥセル方式、ＦＭなど）、補助照明、距離計など、および／またはセンサ配列を含む（図１では詳細に図示していない）、オーディオ入力および／または出力装置をＨＳＣ１００は有していてよい。（Ｂｌｕｅｔｏｏｔｈ（登録商標）は、ワシントン州カークランドのBluetooth Sig, Inc.の登録商標であり、Ｗｉ−Ｆｉ（登録商標）は、テキサス州オースチンのWi-Fi Alliance Corporationの登録商標である。）また、筐体内に典型的に配置されているのは、すぐに理解されるように、マイクロコンピュータ（シングルまたはマルチコア）、１以上の有線もしくは無線インターフェースおよび／または光学インターフェースを含むさまざまな電子回路、付随するメモリおよび／または記憶装置、さまざまなセンサ、ならびに「ホットシュー」などのひとつまたは複数の周辺マウントである。

【0015】

デバイス１００は、種々の方法で使用することができる。デバイス１００は、リモートホストコンピューティングデバイス１２０によって提供されたストリーミングビデオ信号のリモートディスプレイとして用いられ得る。ホスト１２０は、例えば、ラップトップコンピュータ、携帯電話、ブラックベリー（登録商標）、ｉＰｈｏｎｅ（商標）、または、ワイヤレスコンピューティングヘッドセットリモートコントロールデバイス１００より計算量が少ないまたは多いその他のコンピューティングデバイスであってもよい。さらに、ホスト１２０は、他のネットワークに、例えば有線または無線接続１２２を介してインターネットに、接続されてもよい。デバイス１００とホスト１２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、セルラー方式、ＬＴＥ、ＷｉＭａｘ（登録商標）または他のワイヤレス無線リンク１５０によって提供されるような１つ以上の好適な無線接続を介して、接続される。

【0016】

デバイス１００は、ホスト１２０用のリモコン装置としても用いられ得る。例えば、デバイス１００によって、ユーザは、ホスト１２０の仮想ディスプレイ１４０で区画されたかなり大きい領域内の視野１３０を選択できる。ユーザは、典型的には、例えば、ＨＳＣ１００で検出された音声コマンドとともに、頭部の動き、手の動き、または体のジェスチャーを用いるか、または他の方法で、視野１３０の位置、大きさ（例えば、Ｘ−Ｙまたは３Ｄ範囲）および／または倍率を制御できる。ワイヤレスコンピューティングヘッドセットデバイス１００は、よって、例えばパンおよびズームをしたり、ディスプレイの視野を制御するための専用のユーザ入力周辺機器および処理を備え得る。

【0017】

また、デバイス１００内に配置されているのは、すぐに理解されるように、マイクロコンピュータ（シングルまたはマルチコア）、１つ以上のワイヤレスインターフェースを含む回路、付随するメモリもしくは他の記憶装置、１つ以上のカメラ（光学センサ）および／または先に述べた各種センサである。カメラ（複数可）、運動センサ（複数可）および／または位置センサ（複数可）は、ユーザの頭部、手および／または体の動き、および／または位置を追跡するために、少なくとも第１軸１１１（水平）において、好ましくは、第２軸（垂直）１１２、第３軸（奥行き）１１３、第４軸（ピッチ）１１４、第５軸（ロール）１１５、および第６軸（ヨウ）１１６においても、用いられる。３軸磁力計（デジタルコンパス）が、ワイヤレスコンピューティングヘッドセットまたは周辺機器に、完全な９軸自由度位置精度を提供するために、付加され得る。

【0018】

デバイス１００は、また、少なくとも１つのマイクロホン、対応する電子機器、および／または音声認識のためのプログラム可能なプロセッサを含む。デバイス１００は、ユーザのボイスを検出し、音声認識を用いて、コマンドおよび／またはディクテーションしたものを導き出す。デバイス１００は、音声認識から導き出されたコマンドを用いて、当該コマンドで示された機能を実行する。

【0019】

述べたように、デバイス１００は、ホストコンピューティングデバイス１２０用のリモコン装置として用いられる。ホスト１２０は、例えば、ラップトップコンピュータ、携帯電話、ブラックベリー（登録商標）、ｉＰｈｏｎｅ（商標）、または、リモートコントロールデバイス１００より計算量が少ないまたは多いその他のコンピューティングデバイスであってもよい。さらに、ホスト１２０は、他のネットワークに、例えば無線接続１２２を介してインターネットに、接続されてもよい。リモコン装置１００とホスト１２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、または他の短距離無線リンク１５０によって提供されるような好適な無線接続を介して、接続される。

【0020】

以下、さらに詳細に説明する局面によれば、リモートコントロールデバイス１００によって、ユーザは、仮想ディスプレイで区画されたかなり大きい領域内の視野１３０を選択できる。ユーザは、典型的には、視野１３０の位置、大きさ（例えば、Ｘ−Ｙまたは３Ｄ範囲）および／または倍率を制御できる。

【0021】

ＨＳＣ１００は、１つ以上のホストプロセッサと通信１５０をする。ホストプロセッサは、典型的なパソコン（ＰＣ）２００、ワイヤレステストプローブを備える気象用、診断用、もしくは他の試験用機器１４５、および／または、これらに限定されないがプリンタ１６０、サーモスタットまたは車両の車載コンピュータシステムを備える任意の他のコンピューティングデバイス等のデバイスに組み込まれていてもよい。ワイヤレス・ハンズフリー・ビデオコンピューティングヘッドセット１００は、ホストにコマンド１５０を送信して、これらのコマンドに基づいた応答を受信する。

【0022】

ＨＳＣ１００が受信した応答１５０は、ホストプロセッサからの状態メッセージを含んでいてもよい。該状態メッセージは、コンピューティングデバイスの状態、自己診断処理結果のデータ、または他の情報を示す。

【0023】

変形形態では、ＨＳＣコマンド１５０と受信した応答１５０は、１つ以上のエキスパートによるディシジョンツリーを利用した診断手順を円滑化して実行するメッセージングを含んでいてもよい。

【0024】

また更なる変形形態では、ＨＳＣ１００のホストプロセッサとの通信１５０は、オーディオ、グラフィカル、および／またはビデオデータを、リアルタイムにライブでエキスパートと送受信することを含んでいてもよい。

【0025】

また更なる変形形態では、ＨＳＣ１００のホストプロセッサとの通信１５０は、ユーザ近隣の環境における物理的オブジェクトおよび非物理的オブジェクトの表現または表示を含み得る、ユーザのボディの三次元表現のビデオ、および／またはユーザにエキスパートのガイダンスを提供する、エキスパートのボディのオーバレイを含んでいてもよい。

【0026】

一実施形態では、ＨＳＣ１００により、ハイパーリンクされたページの「サーチライトナビゲーション」を可能とする。ユーザインターフェース画面と、アプリケーションと、ウェブページ等の複雑にハイパーリンクされたページとを、音声、ボイス、またはジェスチャーによってナビゲートできる。ＨＳＣ１００は、ページ上にハイパーリンクをハイライト表示し、対応するボイスコマンドで各々を列挙する。列挙されたボイスコマンドによって、ユーザは、リンク番号、名称、またはコードワードを音声で発してもよく、それによりＨＳＣ１００は、選択されたハイパーリンク先に移動する。この手法は、例えば、ページ毎に列挙するリンクが３０未満のウェブページなど、ウェブページが単純な性質である場合によく機能する。しかし、ウェブページはもっと複雑であり得、ページ毎に数百ものリンクをユーザに提供し得る。さらに、ウェブページは、ハイライト表示して個々にラベルを付与することが難しい小さくタイトに詰め込まれたリンクを提供し得る。

【0027】

一実施形態では、システムは、ユーザに追加的な関連情報を提示するユーザインターフェースでサーチライト（例えば、スポットライト、トーチライト、ハイライト表示領域等）を有効にし、画面および／またはウェブページの一部にのみにフォーカスして、ＨＳＣにおいて複雑なウェブページのナビゲーションを容易にする。サーチライトは、円形、矩形、または他の形状で典型的なウェブページを表して、ユーザがフォーカスしている画面の領域をハイライト表示する。このサーチライトは、頭部追跡（またはアイトラッカ、ハンドジェスチャー、またはこの３つの任意の組み合わせ）を用いて、ウェブページ中を移動することができる。自然な頭部の動き１１０、１１１、１１２で、サーチライトを左方、右方、上方および下方に、または、任意の傾きの斜線上を動かすことができる。ジェスチャーで、さらに、サーチライトの大きさを大きくまたは小さくできる。

【0028】

サーチライトの外では、ウェブページは、オーバレイされたリンクが無く、通常どおりに表示される。しかし、サーチライトの中では、リンクがハイライト表示され列挙される。ＨＳＣ１００のサーチライトは、さらに、密に詰め込まれたリンク間を「広げ（explode）」て、サーチライトの形状の外部周辺にリンクの対応するラベルをリスト化または一覧表示できる。

【0029】

別の実施形態では、サーチライトナビゲーションは、多層ドキュメントの「Ｘ線透視」を提供する。そして、ＨＳＣ１００は、音声のリンクに加え多数の視覚データのタイプに同じ手法を適用して、最上層すなわち最初に見える層の下のデータセットまたは層に「Ｘ線」可視性、すなわち透視性を与え得る。例えば、多層の電子基板の概略配置図などの多層図表において、最上層を図示してもよく、サーチライトは、下の層を追跡するのに用いてもよい。さらに、一実施形態では、ハンドジェスチャーで多数の下の層の間を巡回できる。

【0030】

同様に、ＨＳＣ１００は、最上部レベルに道路地図を表示でき、サーチライト内に衛星写真を重畳して示すことができる。サーチライトは、頭部の動きによる制御で誘導される。ジェスチャーで、例えば、地形を示す地図、交通を示す地図、および衛星写真を示す地図などの複数の地図の間を巡回できる。

【0031】

図２は、ＨＳＣ１００によってユーザに表示されるウェブページ層２０２の例示的な実施形態を示すユーザインターフェースの画像図２００である。ウェブページ層２０２では、ユーザに通常示されるような、ニュースのウェブページが示される。このウェブページは、ユーザが他のウェブページを閲覧するよう選択できる複数のハイパーリンクを含む。しかし、ユーザが、ボイスコマンドでナビゲーションしているとき、ユーザは、適切なハイパーリンクの選択を可能とするようプロンプトを必要としてもよい。

【0032】

図３は、ハイライト表示されたウェブページ層３０２の例示的な実施形態を示すユーザインターフェースの画像図３００である。ハイライト表示されたウェブページ層３０２は、ハイライト表示されたリンク３０４ａ〜ｓを含む。ハイライト表示されたリンク３０４ａ〜ｓの各々は、リンク（例えば、リンク１〜１９）を開く各コマンドすなわちボイスタグを示す。いくつかの実施形態では、ハイライト表示されたリンク３０４ａ〜ｓは、ユーザが下にあるハイパーリンクのテキストを見ることができるように半透明であってもよい。さらに、ハイライト表示されたリンク層３０２は、広告がボイスタグと組み合わされることを防いで、さらに、ユーザに提示される選択項目を簡素化するよう構成され得る。

【0033】

図４Ａは、局所領域内のハイライト表示されたウェブページ層３０２を示すスポットライト（またはトーチライト）４０２および残りのユーザインターフェース内のウェブページ層２０２の例示的な実施形態を示すユーザインターフェースの画像図４００である。スポットライトの中には、ハイライト表示されたリンク３０４ｃ〜ｉ、３０４ｋ、３０４ｎ、および３０４ｑがある。スポットライトは、円形等の形状であり、第１の層に関連する他の層の情報を示す。この例では、スポットライトは、ウェブページ層２０２の上にハイライト表示されたウェブページ層３０２を見せる。そして、ユーザは、所定のハイパーリンクを起動させるために図示されたボイスコマンドを読んでもよい。さらに、ユーザは、ユーザの頭を動かすことで、他のハイライト表示されるリンクを表示するために、スポットライトをユーザインターフェースの中で移動させることができる。ＨＳＣ１００は、頭部追跡技術から頭部の動きを判別して対応する態様でスポットライトを動かすことができる。

【0034】

他の実施形態では、ユーザにハイライト表示されるリンク層３０２の全体を提示する「Ｓｈｏｗ Ｃｏｍｍａｎｄｓ（コマンド表示）」などのボイスコマンドをユーザが音声で発してもよい。スポットライトモードに入る「ｓｈｏｗ ｓｐｏｔｌｉｇｈｔ（スポットライト表示）」などのボイスコマンドをユーザが発することもできる。

【0035】

図４Ｂは、局所領域内のハイライト表示されたウェブページ層４５４を示すスポットライト（またはトーチライト）４５６および残りのユーザインターフェース内のウェブページ層４５２の例示的な実施形態を示すユーザインターフェースの画像図４５０である。スポットライト４５６は、図４Ａとの関連で述べたスポットライトと同様のものであるが、図４Ｂのスポットライト４５６は、最小限のテキストを示すハイライト表示されたリンク４５８ａ〜ｄを含む、ハイライト表示されたウェブページ層４５４を示す。すなわち、これらは、リンクに関連する番号を示す（例えば、それぞれ、１〜４）。この実施形態では、ハイライト表示されたリンク４５８ａ−ｄは、さらにコンパクトであり、例えば、小さい領域により多くのリンクをハイライト表示できる。

【0036】

図５は、地図アプリケーションで用いられるスポットライト５０８の例示的な実施形態を示すユーザインターフェースの画像図５００である。ユーザインターフェース５０２は、衛星地図層５０４とスポットライト５０８を示す。スポットライトの中には、道路地図層５０６がある。ユーザは、上述のように、頭部追跡技術を用いて、ユーザインターフェース内にわたってスポットライト５０８を移動させることができ、他の領域の道路地図層５０６を示すことができる。

【0037】

スポットライトはまた、複数の層の間を巡回できる。例えば、ユーザは、他の層を表示するために、「次の層」または「前の層」などのボイスコマンドまたはジェスチャーコマンドを出してもよい。例えば、地図アプリケーションでは、他の層は、地形層または交通層であり得る。

【0038】

図６は、本発明を実施できるコンピュータネットワークまたは同様のデジタル処理環境を示す。

【0039】

クライアントコンピュータ（複数可）／デバイス５０およびサーバコンピュータ（複数可）６０は、アプリケーションプログラム等を実行する処理装置、記憶装置、および入／出力装置を提供する。クライアントコンピュータ（複数可）／デバイス５０はまた、コミュニケーションネットワーク７０を介して、他のクライアントデバイス／処理５０およびサーバコンピュータ（複数可）６０を含む他のコンピューティングデバイスにリンクされ得る。コミュニケーションネットワーク７０は、一般に各プロトコル（ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を使用して相互に通信するリモートアクセスネットワーク、グローバルネットワーク（例えば、インターネット）、コンピュータのワールドワイドの集合体、ローカルエリアネットワークまたは広域ネットワーク、およびゲートウェイの一部であり得る。他の電子デバイス／コンピュータネットワークアーキテクチャは上記の構成に適するようになっている。

【0040】

図７は、図６のコンピュータシステム内のコンピュータ（例えば、クライアントプロセッサ／デバイス５０またはサーバコンピュータ６０）の内部構造の図である。コンピュータ５０、６０の各々は、システムバス７９を含み、システムバスは、コンピュータシステムまたは処理システムの構成要素間のデータ転送に用いられる一組のハードウェア回線である。バス７９は、本質的に、要素間での情報の転送を可能にするコンピュータシステムの異なる要素（例えば、プロセッサ、ディスク記憶装置、メモリ、入／出力ポート、ネットワークポート等）間を接続する共用のコンジットである。システムバス７９に取り付けられるのは、種々の入力および出力装置（例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカ等）をコンピュータ５０、６０に接続するためのＩ／Ｏデバイスインターフェース８２である。ネットワークインターフェース８６によって、ネットワーク（例えば、図６のネットワーク７０）に取り付けられた種々の他のデバイスにコンピュータを接続できる。メモリ９０は、本発明の実施形態（例えば、先に詳述したスポットライトモジュールコード）を実行するために用いられるコンピュータソフトウェア命令９２およびデータ９４のための揮発性記憶装置を提供する。ディスク記憶装置９５は、本発明の実施形態を実行するために用いられるコンピュータソフトウェア命令９２およびデータ９４のための不揮発性記憶装置を提供する。中央プロセッサユニット８４も、システムバス７９に取り付けられ、コンピュータ命令の実行を行う。

【0041】

一実施形態では、プロセッサルーチン９２およびデータ９４は、本発明のシステムのためのソフトウェア命令の少なくとも一部を提供するコンピュータ読み取り可能な媒体（例えば、１つ以上のＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープ等の着脱可能な記憶媒体）を含む、コンピュータプログラム（プロダクト）である（総称して９２で参照する）。コンピュータプログラム（プロダクト）９２は、この技術の分野において周知の任意の好適なソフトウェアインストール手順によってインストールできる。他の実施形態では、ソフトウェア命令の少なくとも一部はまた、ケーブル、通信および／または無線接続を介してダウンロードされてもよい。他の実施形態では、本発明のプログラムは、伝播媒体（例えば、電波、赤外線波、レーザ波、音波、またはインターネット等のグローバルネットワークもしくは他のネットワーク（複数可）を伝わる電気波）上の伝搬信号において具現化されるコンピュータプログラム伝搬信号プロダクト１０７である。このようなキャリア媒体または信号は本発明のルーチン／プログラム９２のためのソフトウェア命令の少なくとも一部を提供する。

【0042】

変形形態では、伝搬信号は、伝播媒体上を伝搬されるデジタル信号またはアナログ搬送波である。例えば、伝搬信号は、グローバルネットワーク（例えば、インターネット）、電気通信ネットワーク、または他のネットワーク上を伝播するデジタル化された信号であってもよい。一実施形態では、伝搬信号は、数ミリ秒、数秒、数分、またはこれより長い期間にわたってネットワーク上をパケットで送信されるソフトウェアアプリケーションのための命令のような、ある期間にわたって伝播媒体上を送信される信号である。他の実施形態では、コンピュータプログラムプロダクト９２のコンピュータ読み取り可能な媒体は、コンピュータプログラム伝搬信号プロダクトのために上述したように、伝播媒体を受信し伝播媒体で具現化された伝搬信号を識別することなどによって、コンピュータシステム５０が受信および読み取りできる伝播媒体である。

【0043】

一般的に言えば、用語「キャリア媒体」すなわち一時的なキャリアは、前述の一時的な信号、伝搬信号、伝播媒体、記憶媒体等を包含する。

【0044】

本明細書に引用したすべての特許、公開された出願、および参考文献の内容は参照によりその全体が組み込まれる。

【0045】

本発明をその例示的な実施形態を参照して詳細に示して説明してきたが、添付の特許請求の範囲に包含される本発明の範囲を逸脱することなく、さまざまな形の変更および詳細化がなされ得ることが当業者によって理解されるであろう。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
頭部装着コンピュータのディスプレイにユーザインターフェースを表示する方法であって、
前記頭部装着コンピュータのディスプレイ上の前記ユーザインターフェース内に第１の情報層を表示することと、
体の動き、アイトラッキング、ハンドジェスチャーのうちの少なくとも１つからの方向入力を受信することと、
前記ユーザインターフェースの領域であって、前記受信した方向入力に基づいて前記ユーザインターフェース内に配置される該領域を、前記ディスプレイ上で第２の情報層でハイライト表示することとを含む方法。
［態様２］
態様１に記載の方法において、前記第２の情報層を前記第１の情報層と並べることをさらに含む方法。
［態様３］
態様１に記載の方法において、前記受信した方向入力と同じ方向におよび前記受信した方向入力に比例させて前記ユーザインターフェースの前記ハイライト表示した領域を移動させることをさらに含む方法。
［態様４］
態様１に記載の方法において、前記第２の情報層は、前記第１の情報層の領域を起動させるボイスコマンドを表示する方法。
［態様５］
態様４に記載の方法において、
前記第２の情報層に表示したボイスコマンドを受信することと、
前記ボイスコマンドに対応する前記第１の情報層の機能を起動させることとをさらに含む方法。
［態様６］
態様１に記載の方法において、
選択ユーザ入力に基づいて前記ディスプレイ上の前記ユーザインターフェースの前記領域を第３の情報層でハイライト表示することをさらに含み、
前記選択ユーザ入力は、前記第１、第２、および第３の情報層で、前記ディスプレイ上の前記ユーザインターフェースの前記ハイライト表示された領域を巡回するよう構成される方法。
［態様７］
態様１に記載の方法において、前記第１の情報層は、ウェブページの表示を含み、前記第２の情報層は、前記ウェブページ内のリンクを起動させるボイスコマンドの表示を含む方法。
［態様８］
態様１に記載の方法において、ボイスコマンドの表示を、その表示が重複せず読み取り可能であるように、再編成することをさらに含む方法。
［態様９］
態様１に記載の方法において、前記受信した方向入力は頭部の動きから得られ、前記領域は前記頭部の動きと同じ方向に移動する方法。
［態様１０］
ユーザインターフェースを表示するための頭部装着コンピュータシステムであって、
体の動き、アイトラッキング、ハンドジェスチャーのうちの少なくとも１つからの方向入力を受信するよう構成された受信モジュールと、
前記頭部装着コンピュータのディスプレイ上の前記ユーザインターフェース内に第１の情報層を表示し、さらに前記ユーザインターフェースの領域であって、前記受信した方向入力に基づいて前記ユーザインターフェース内に配置される該領域を、前記ディスプレイ上で第２の情報層でハイライト表示するよう構成された表示モジュールとを備えるシステム。
［態様１１］
態様１０に記載のシステムにおいて、前記表示モジュールは、さらに、前記第２の情報層を前記第１の情報層と並べるよう構成されるシステム。
［態様１２］
態様１０に記載のシステムにおいて、前記表示モジュールは、さらに、前記受信した方向入力と同じ方向におよび前記受信した方向入力に比例させて前記ユーザインターフェースの前記ハイライト表示した領域を移動させるよう構成されるシステム。
［態様１３］
態様１０に記載のシステムにおいて、前記第２の情報層は、前記第１の情報層の領域を起動させるボイスコマンドを表示するシステム。
［態様１４］
態様１３に記載のシステムにおいて、
前記受信モジュールは、さらに、前記第２の情報層に表示したボイスコマンドを受信するよう構成され、
前記表示モジュールは、さらに、前記ボイスコマンドに対応する前記第１の情報層の機能を起動させるよう構成されるシステム。
［態様１５］
態様１０に記載のシステムにおいて、
前記表示モジュールは、さらに、選択ユーザ入力に基づいて前記ディスプレイ上の前記ユーザインターフェースの前記領域を第３の情報層でハイライト表示するよう構成され、
前記選択ユーザ入力は、前記第１、第２、および第３の情報層で、前記ディスプレイ上の前記ユーザインターフェースの前記ハイライト表示された領域を巡回するよう構成されるシステム。
［態様１６］
態様１０に記載のシステムにおいて、前記第１の情報層は、ウェブページの表示を含み、前記第２の情報層は、前記ウェブページ内のリンクを起動させるボイスコマンドの表示を含むシステム。
［態様１７］
態様１０に記載のシステムにおいて、前記表示モジュールは、さらに、ボイスコマンドの表示を、その表示が重複せず読み取り可能であるように再編成するよう構成されるシステム。
［態様１８］
態様１０に記載のシステムにおいて、前記受信した方向入力は頭部の動きから得られ、前記領域は前記頭部の動きと同じ方向に移動するシステム。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】