特許 6356157 ＨＭＤのための人体ジェスチャーベースの領域および体積の選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6356157

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】ＨＭＤのための人体ジェスチャーベースの領域および体積の選択

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180702BHJP

   G06T 19/00 20110101ALI20180702BHJP

   G06T 7/20 20170101ALI20180702BHJP

   H04M 1/00 20060101ALI20180702BHJP

【ＦＩ】

   G06F3/01 570

   G06T19/00 600

   G06T7/20 300A

   H04M1/00 U

【請求項の数】15

【全頁数】24

(21)【出願番号】特願2015-558093(P2015-558093)

(86)(22)【出願日】2014年2月12日

(65)【公表番号】特表2016-514298(P2016-514298A)

(43)【公表日】2016年5月19日

(86)【国際出願番号】US2014015946

(87)【国際公開番号】WO2014126966

(87)【国際公開日】20140821

【審査請求日】2017年1月27日

(31)【優先権主張番号】13/767,820

(32)【優先日】2013年2月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】アルピト・ミタール

(72)【発明者】

【氏名】ジュリアーノ・マチョッチ

(72)【発明者】

【氏名】マイケル・エル・タンマー

(72)【発明者】

【氏名】ポール・マバット

【審査官】 萩島 豪

(56)【参考文献】

【文献】 特開２０１０−０６７０８３（ＪＰ，Ａ）

【文献】 特開２００８−０１７５０１（ＪＰ，Ａ）

【文献】 特開２０１０−２０６６７３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１１０２３５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／００３８６７１（ＵＳ，Ａ１）

【文献】 特開２００３−３２３６９３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００１９５５７（ＵＳ，Ａ１）

【文献】 国際公開第２０１２／０３８５８５（ＷＯ，Ａ１）

【文献】 ISMAIL HARITAOGLU，INFOSCOPE: LINK FROM REAL WORLD TO DIGITAL INFORMATION SPACE，LECTURE NOTES IN COMPUTER SCIENCE/COMPUTATIONAL SCIENCE，ドイツ，SPRINGER，２００１年 １月 １日，V2201，P247-255

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ １９／００

Ｈ０４Ｍ １／００

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントデバイス(HMD)上の拡張現実(AR)オブジェクトを選択するための方法であって、
関心領域(ROI)の少なくとも部分的な輪郭を構成するユーザの少なくとも一方の手の形状によって形成される第1のジェスチャーに基づいて前記ROIを定義するステップと、
前記ユーザに対して前記HMD上に第1の形状を表示するステップであって、前記第1の形状が前記ROIの輪郭を表し、2次元平面上に表示される、ステップと、
前記ユーザに対して前記表示された第1の形状内の複数のARオブジェクトを表示するステップであって、前記複数のARオブジェクトが前記第1のROIの内側の1つまたは複数の目標のうちの1つに関連付けられ、前記第1の形状内に表示される第1のARオブジェクトが前記2次元平面に対する第1の深さに関連付けられ、前記第1の形状内に表示された第2のARが前記2次元平面に対する第2の深さに関連付けられる、ステップと、
第2のジェスチャーに基づいて前記第2のARオブジェクトを表示のために選択するステップであって、前記第2のジェスチャーが、前記2次元平面に対する第3の次元において前記ユーザの前記少なくとも一方の手の第1の動きによって実行されるステップと、
前記第2のARオブジェクトを表示のために選択したことに応答して前記第2のARオブジェクトを表示するステップと、
を含む方法。

【請求項2】

前記第1のジェスチャーは、前記ユーザの両手によって形成される、請求項1に記載の方法。

【請求項3】

前記第2のARオブジェクトを表示のために選択するための前記第1の動きは、前記ユーザの両手を前記第3の次元において移動させることを含む、請求項2に記載の方法。

【請求項4】

前記表示されたROIのサイズを第3のジェスチャーに基づいて縮小して、縮小されたサイズのROIを形成するステップであって、前記第3のジェスチャーは前記ユーザの少なくとも片方の手の第2の動きにより実施され、前記縮小されたサイズのROIは、前記HMDによりキャプチャされたシーンの前記1つまたは複数の画像を表示する表示領域内で定義され、前記縮小されたサイズのROIは前記ROIよりも小さな前記表示領域内の領域である、ステップと、
前記縮小されたサイズのROIの輪郭を表す第2の形状を前記HMDに表示するステップと、
前記複数のARオブジェクトから選択すべき特定のARオブジェクトを決定するステップであって、前記特定のARオブジェクトは前記縮小されたサイズのROIを用いて選択されると判定される、ステップと、
前記特定のARオブジェクトが前記縮小されたサイズのROI内にあることに基づいて、前記特定のARオブジェクトを前記複数のARオブジェクトから選択するステップであって、前記特定のARオブジェクトは前記縮小されたサイズのROI内の前記複数の目標のうち第1の目標に関連付けられる、ステップと、
前記縮小されたサイズのROIの輪郭を構成する前記表示された第2の形状内の前記特定のARオブジェクトを前記HMDに表示するステップと、
前記特定のARオブジェクトを選択したことに応答して、前記縮小されたサイズのROIの外部にある1つまたは複数のARオブジェクトを表示しないように、前記複数のARオブジェクトから除去するステップと、
をさらに含む、請求項1に記載の方法。

【請求項5】

前記表示されたROIの内側のテキストを取り込むステップと、
前記取り込まれたテキストに基づく翻訳を初期設定するステップとをさらに含む、請求項1に記載の方法。

【請求項6】

前記表示されたROIの内側で視覚的認識探索を行うステップをさらに含む、請求項1に記載の方法。

【請求項7】

解除イベントに基づいて前記表示されたROIを解除するステップをさらに含む、請求項1に記載の方法。

【請求項8】

前記解除イベントは、前記ユーザの前記少なくとも一方の手が前記ROIから離れたとき、前記ユーザの少なくとも1本の指と親指が互いに近付いたとき、またはユーザによって解除のためのボイスコマンドが発せられたときに生じる、請求項7に記載の方法。

【請求項9】

請求項1乃至8の何れか1項に記載の方法を実施するためのコンピュータ実行可能命令を格納する、1つまたは複数のコンピュータ可読記憶媒体。

【請求項10】

拡張現実(AR)オブジェクトを選択するためのヘッドマウントデバイス(HMD)であって、
関心領域(ROI)の少なくとも部分的な輪郭を構成するユーザの少なくとも一方の手の形状によって形成される第1のジェスチャーに基づいて前記ROIを定義するための手段と、
前記ユーザに対して前記HMD上に第1の形状を表示するための手段であって、前記第1の形状が前記ROIの輪郭を表し、2次元平面上に表示される、手段と、
前記ユーザに対して前記表示された第1の形状内の複数のARオブジェクトを表示するための手段であって、前記複数のARオブジェクトが前記第1のROIの内側の1つまたは複数の目標のうちの1つに関連付けられ、前記第1の形状内に表示される第1のARオブジェクトが前記2次元平面に対する第1の深さに関連付けられ、前記第1の形状内に表示された第2のARが前記2次元平面に対する第2の深さに関連付けられる、手段と、
第2のジェスチャーに基づいて前記第2のARオブジェクトを表示のために選択するための手段であって、前記第2のジェスチャーが、前記2次元平面に対する第3の次元において前記ユーザの前記少なくとも一方の手の第1の動きによって実行される手段と、
前記第2のARオブジェクトを表示のために選択したことに応答して前記第2のARオブジェクトを表示するための手段と、
を備えるHMD。

【請求項11】

前記第1のジェスチャーは、前記ユーザの両手によって形成される、請求項10に記載のHMD。

【請求項12】

前記第2のARオブジェクトを表示のために選択するための前記第1の動きは、前記ユーザの両手を前記第3の次元において移動させることを含む、請求項11に記載のHMD。

【請求項13】

前記表示されたROIのサイズを第3のジェスチャーに基づいて縮小して、縮小されたサイズのROIを形成するための手段であって、前記第3のジェスチャーは前記ユーザの少なくとも片方の手の第2の動きにより実施され、前記縮小されたサイズのROIは、前記HMDによりキャプチャされたシーンの前記1つまたは複数の画像を表示する表示領域内で定義され、前記縮小されたサイズのROIは前記ROIよりも小さな前記表示領域内の領域である、手段と、
前記縮小されたサイズのROIの輪郭を表す第2の形状を前記HMDに表示するための手段と、
前記複数のARオブジェクトから選択すべき特定のARオブジェクトを決定するための手段であって、前記特定のARオブジェクトは前記縮小されたサイズのROIを用いて選択されると判定される、手段と、
前記特定のARオブジェクトが前記縮小されたサイズのROI内にあることに基づいて、前記特定のARオブジェクトを前記複数のARオブジェクトから選択するための手段であって、前記特定のARオブジェクトは前記縮小されたサイズのROI内の前記複数の目標のうち第1の目標に関連付けられる、手段と、
前記縮小されたサイズのROIの輪郭を構成する前記表示された第2の形状内の前記特定のARオブジェクトを前記HMDに表示するための手段と、
前記特定のARオブジェクトを選択したことに応答して、前記縮小されたサイズのROIの外部にある1つまたは複数のARオブジェクトを表示しないように、前記複数のARオブジェクトから除去するための手段と、
をさらに備える、請求項10に記載のHMD。

【請求項14】

前記表示されたROIの内側のテキストを取り込むための手段と、
前記取り込まれたテキストに基づく翻訳を初期設定するための手段と
をさらに備える、請求項10に記載のHMD。

【請求項15】

前記表示されたサイズのROIの内側で視覚的認識探索を行うための手段をさらに備える、請求項10に記載のHMD。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の態様は、人体ジェスチャーを使用してヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択することに関する。

【背景技術】

【0002】

HMDは、ある程度の計算能力が組み込まれるかまたはスマートフォンなどの、HMDに接続されたホストデバイスによって実現される軽量で手ごろなデバイスとして開発することができる。

【0003】

HMDは、眼鏡フレーム上に取り付けられた1つまたは複数のエゴセントリックカメラを含んでよい。HMDは、光学センサ、加速度計、GPS、ジャイロスコープ、固体コンパス、RFID、およびワイヤレスセンサを含んでもよい。HMDは、ユーザが物理オブジェクトとディスプレイ上の仮想オブジェクトの両方を見ることができるユーザの視界内の透明な表示エリアを有してよい。

【0004】

HMDは、内蔵カメラを使用してユーザの入力に応じて画像およびビデオを取り込むことができる。従来の方法は、ユーザがHMD上のボタンに触れてユーザの視界内の画像を取り込むことを含む。

【発明の概要】

【課題を解決するための手段】

【0005】

ユーザが、ヘッドマウントディスプレイ(HMD)に物理的に触れずにHMD上の1つまたは複数の拡張現実(AR)オブジェクトを選択するのを可能にするいくつかの実施形態について説明する。

【0006】

いくつかの実施形態では、HMDは、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義してよい。続いて、HMDはユーザに対してHMD上に形状を表示してよい。少なくとも1つの構成では、形状はROIを概略的に描く。さらに、HMDは、複数のARオブジェクトをユーザに対して表示してよく、複数のARオブジェクトの各々がROIの内側の目標に関連付けられる。さらに、HMDは、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成してよい。少なくとも1つの構成では、縮小サイズのROIを使用して複数のARオブジェクトから特定のARオブジェクトを選択する。1つまたは複数の構成では、ROIのサイズを縮小するための方法は、ユーザの両手を互いに近付けることを含む。さらに、HMDは、解除イベントに基づいて縮小サイズのROIを解除してよい。たとえば、分離イベントは、ユーザの少なくとも一方の手がROIから離れたとき、ユーザの少なくとも1本の指と親指が互いに近付いたとき、またはユーザによってボイスコマンドが発せられたときに生じ得る。

【0007】

別の構成では、複数のオーグメンテーションが特定のARオブジェクトに関連付けられ、HMDは、特定のARオブジェクトの方向におけるユーザの少なくとも一方の手の第2の動きに基づいて特定のARオブジェクトに関連付けられた複数のオーグメンテーションのうちの対応するオーグメンテーションをユーザに対してさらに表示してよい。

【0008】

別の構成では、HMDは、縮小サイズのROIの内側のテキストをさらに取り込み、取り込まれたテキストに基づく翻訳を初期設定してよい。HMDは、ROIまたは縮小サイズのROIの自動視覚認識および視覚的探索を実行してもよい。

【0009】

別の構成では、HMDは縮小サイズを使用して、1人または複数の他のユーザとビデオを共有する間視界を狭くしてよい。

【0010】

いくつかの実施形態では、拡張現実(AR)オブジェクトを選択するためのヘッドマウントデバイス(HMD)であって、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されたときに、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義することと、ユーザに対してHMD上に形状を表示することであって、形状がROIの輪郭を表すことと、複数のARオブジェクトをユーザに対して表示することであって、複数のARオブジェクトの各々がROIの内側の目標に関連付けられることと、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成することであって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用されることとをHMDに行わせるコンピュータ可読命令を記憶したメモリとを備えてよい。

【0011】

いくつかの実施形態では、ヘッドマウントデバイス(HMD)上の拡張現実(AR)オブジェクトを選択するための1つまたは複数のコンピュータ実行可能命令を記憶する1つまたは複数のコンピュータ可読媒体であって、コンピュータ実行可能命令が、実行されたときに、HMDに含まれる1つまたは複数のコンピューティングデバイスに、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義することと、ユーザに対してHMD上に形状を表示することであって、形状がROIの輪郭を表すことと、複数のARオブジェクトをユーザに対して表示することであって、複数のARオブジェクトの各々がROIの内側の目標に関連付けられることと、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成することであって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用されることであって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用されることとをHMDに行わせてよいコンピュータ可読媒体。

【0012】

いくつかの実施形態では、拡張現実(AR)オブジェクトを選択するためのヘッドマウントデバイス(HMD)は、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義するための手段と、ユーザに対してHMD上に形状を表示するための手段であって、形状がROIの輪郭を表す手段と、複数のARオブジェクトをユーザに対して表示するための手段であって、複数のARオブジェクトの各々がROIの内側の目標に関連付けられる手段と、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成するための手段であって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用される手段とを備えてよい。

【0013】

本開示の態様が例として示される。添付の図面において、同様の参照番号は類似の要素を示す。

【図面の簡単な説明】

【0014】

【図1A】1つまたは複数の実施形態を含むことができるHMDの簡略図である。

【図1B】1つまたは複数の実施形態を含むことができるHMDの簡略図である。

【図2】一実施形態による、HMDと対話してAR目標を選択するタッチレス方法について説明するフローチャートを示す図である。

【図3A】一実施形態による関心領域(ROI)を選択するための方法を示す図である。

【図3B】一実施形態による関心領域(ROI)を選択するための方法を示す図である。

【図4】一実施形態による、HMD上に表示された5つの目標を有するROIを示す図である。

【図5】一実施形態による、HMD上に表示された3つの目標を有する縮小ROIを示す図である。

【図6】AR目標のためのオーグメンテーションの特定の層を選択するためのフローチャートである。

【図7】ユーザが、VOIを使用して目標の方向にスクロールすることによって複数のオーグメンテーションを閲覧している状態を示す図である。

【図8】ROIに基づいてスマートアプリケーション(たとえば、翻訳、視覚的探索)を開始するためのフローチャートを示す図である。

【図9】1つまたは複数の実施形態が実施され得るコンピューティングシステムの一例を示す図である。

【発明を実施するための形態】

【0015】

次に、いくつかの例示的な実施形態について、それらの実施形態の一部を形成する添付の図面に関連して説明する。本開示の1つまたは複数の態様が実装され得る特定の実施形態について以下で説明するが、本開示の範囲、または添付の特許請求の範囲の趣旨を逸脱することなく、他の実施形態を使用することができ、かつ様々な変更を行うことができる。

【0016】

本発明の実施形態は、人体ジェスチャーを使用してヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択することを対象とする。いくつかの実施形態は、ユーザが、ヘッドマウントディスプレイ(HMD)に物理的に触れずにHMD上の1つまたは複数の拡張現実(AR)オブジェクトを選択するのを可能にするいくつかの実施形態について説明する。

【0017】

HMDは、ユーザが見ている物理オブジェクトに、たとえば、その物理オブジェクトに関連付けられるか、またはユーザの位置および/もしくはコンテキストに関連付けられるデジタルコンテンツ(たとえば、テキスト、ピクチャ、ビデオ)を重ねることによって、「拡張現実」機能を提供することができる。たとえば、拡張現実(AR)機能を有するHMDは、物質界と仮想オブジェクトの両方の画像をユーザの視界に重ねることができる。その結果、HMDは、ユーザに対して移動可能でコラボラティブなARエクスペリエンスを実現することができる。

【0018】

本明細書で使用するHMDという用語は、距離センサデータをキャプチャし、モバイルプロセッサにリンクされたディスプレイ能力を有するデバイスを指し、モバイルプロセッサは、ヘッドマウントデバイスに対して別個のデバイスであってもよい。一実施形態では、HMD120は、モバイルデバイスCPU(たとえば、セル電話、タブレットコンピュータ、スマートフォンなどのプロセッサ)のためのアクセサリーであってもよく、ヘッドマウントデバイス制御システムの主要な処理は、モバイルデバイスのプロセッサ上で実行される。別の実施形態では、HMD120は、プロセッサと、メモリと、ディスプレイと、カメラとを備え得る。

【0019】

別の実施形態では、HMDは、インターネット、ローカルワイヤレスネットワーク、または別のコンピューティングデバイスと接続するための、ワイヤレスインターフェースを含み得る。別の実施形態では、プロジェクタがHMD内で関連付けられて、表面上への画像の投影が可能にされ得る。HMDは、好ましくは軽量であり、デバイスの装着を不快に感じさせ得る重い構成要素の使用を回避するように構築される。HMDはまた、音声/ジェスチャー入力をユーザから受信するようにも動作可能であり得る。そのようなジェスチャー入力または音声入力は、口頭のボイスコマンドまたは認識されたユーザジェスチャーであってもよく、コンピューティングデバイスによって認識されるとき、対応するコマンドをそのデバイスに実行させることができる。

【0020】

拡張現実(AR)は、要素が、限定はしないが、音声、テキスト、グラフィックス、ビデオ、およびGPSデータなどのコンピュータ生成されたセンサ入力によって拡張された、物理的な実世界環境のライブビューまたは直接的もしくは間接的なビューであってよい。

【0021】

オブジェクト認識などのAR技術を使用することによって、ユーザの周囲の実世界に関する情報がインタラクティブになり、デジタルに処理可能になる。ユーザの環境およびそのオブジェクトに関する人工的な情報を実世界にオーバレイされてよい。

【0022】

さらに、本明細書では実施形態がHMDに関して記載されるが、ヘッドマウントディスプレイの他の形態を利用できることを、当業者は諒解されよう。たとえば、本明細書に記載される実施形態は、ユーザが装着することができる1つもしくは複数のコンタクトレンズに関して実装され、かつ/または、それを通してユーザが視界を認知できる別の形態のディスプレイに実装される場合がある。

【0023】

いくつかの実施形態は、HMDと対話してジオロケーションが特定された関心点(POI)およびAR目標を選択するのを可能にする。システムは、自然な人体ジェスチャーを検出することによって、眼鏡を通して見られているROI内のPOIまたはAR目標のサブセットを選択するようにHMDをトリガすることができる。

【0024】

様々な実施形態は、拡張現実システムにおけるAR目標を選択する方法であって、1つまたは複数のヘッドマウントセンサによって空間データを取り込むことによってユーザのジェスチャーに基づいてROIを定義することと、ROIの輪郭を表す形状をHMDのディスプレイ上に表示することと、AR目標に対応するHMDに対する距離を含むパラメータを計算することと、ROI内に複数のAR目標を表示することと、ユーザの手の動きに基づいてROIのサイズを縮小し、縮小されたROIを使用して特定のAR目標を選択することとを含む方法を含む。一実施形態では、この方法は、ユーザがユーザの頭部を回転させたときに仮想オブジェクトがディスプレイに固定されたように見えるように、生成される仮想オブジェクトの表示を連続的に更新することを含んでよい。

【0025】

図1Aおよび図1Bは、1つまたは複数の実施形態を組み込んでよいHMD120の概略図を示す。

【0026】

図2によって示されるフローチャートは、一実施形態による、HMDと対話してジオロケーションが特定されたPOI(関心点)およびAR目標を選択するタッチレス方法について説明する図である。HMDは、自然な人体ジェスチャーを検出することによって、眼鏡を通して見られているPOIまたはAR目標のサブセットを選択することができる。図3Aは、HMDと対話して、図2において説明する方法を使用してARオブジェクトを選択する例示的な方法を示す。ジェスチャーには、図3Aおよび図4に示すように両手の人差し指および親指を直交方向に向けることを含めてよい。HMDによってROIが認識された後、ユーザは、図3B、図5、および図7に示すように、ROIまたは関心体積(VOI)をさらに指定することによって、2次元空間または3次元空間内のジオロケーションが特定されたPOIまたはAR目標を選択してよい。

【0027】

別の実施形態によれば、ARオブジェクトに複数のオーグメンテーションが関連付けられているときに、HMD上のデプス対応カメラ(たとえば、ステレオカメラ)を使用して、VOIを使用してオーグメンテーションを選択してよい。デプス対応カメラは、ユーザの正面またはカメラビュー内の手の動きを認識することができる。このようなカメラを用いた場合、HMDは、目標に対するユーザの手の位置を認識し、したがって、位置に基づいて様々なオーグメンテーションを表示してよい。

【0028】

たとえば、ユーザは、図6によって示されるフローチャートでさらに説明するように、AR目標用の特定のオーグメンテーション層を選択してよい。まず、ユーザは、ROIを選択することによって特定のAR目標を選択してよい。さらに、所与のAR目標に複数のオーグメンテーションが関連付けられている場合、ユーザは、VOIを使用して目標の方向にスクロールすることによってオーグメンテーションを閲覧してよい。たとえば、図7において、映画のポスター720の場合、ユーザは、映画の名称とレビュー、予告編、およびその映画に関連する上映時間を示す3つの異なるオーグメンテーション705、710、715を閲覧してよい。手の位置に応じて、対応するARオーグメンテーションがユーザに示される。

【0029】

別の実施形態によれば、システムは、図8によって示されるフローチャートでさらに説明するようにROIに基づいてスマートアプリケーション(たとえば、翻訳、視覚的探索)を開始してよい。たとえば、ROIは、視覚的探索システムまたは光学文字認識(OCR)ベースのトランスレータに供給されてよく、結果がHMD上に表示される。

【0030】

別の実施形態によれば、ROIを利用してビデオシェアリングのために視界を狭くしてよい。たとえば、ROIは、ビデオベースの通信のために共有ビューとして扱われ、それによって、視界の一部のみ(たとえば、プレゼンテーション、ドキュメント)が遠隔ユーザと共有される。

【0031】

ハンドジェスチャーを使用した関心領域の定義

【0032】

図1Aは、一実施形態による、ユーザのジェスチャーに基づいて関心領域(ROI)を定義するように構成されたHMD120の簡略図100である。この実施形態では、ユーザ110によって装着されたHMD120は、ROIを定義するためにユーザの手130を追跡するように構成されたカメラおよび/または他のセンサを有する。HMD120はこうする際に、HMD120のディスプレイ140上にROIの輪郭を表す形状を表示することができる。これによって、ユーザは、リアルタイムフィードバックを与えて必要に応じてROIを調整し、ユーザ入力を受信するための別個のインターフェース(たとえば、タッチパッド、ボタン)を不要にすることができる。必要な機能に応じて、他のインターフェースをHMD120に組み込んでよい。HMD120は、プレインストールされた1つまたは複数のカメラ150を利用してユーザの手130を追跡しROIを判定してよい。

【0033】

図1Bは、本明細書で提供される技法を利用できるHMD120の一実施形態の図である。示された実施形態は、ディスプレイ140と、1つまたは複数のカメラ150とを含む。この実施形態は、ユーザ110の鼻と耳に載ることができる眼鏡と同様のフレームを含み、ディスプレイ140をユーザの眼の前面に配置する。

【0034】

様々な実施形態は、HMD120がHMD120上のセンサを使用してユーザの手130のジェスチャーを取り込むのを可能にする。一実施形態では、このカメラ150は、ヘッドマウントカメラであってもよく、プロセッサが画像の三角法による解析を通して画像内のオブジェクトまでの距離を推定するように解析することができる画像データを生成することができる。代替的にまたは追加として、HMD120は、画像内の様々な表面までの距離を測定することができる、1つまたは複数の距離測定センサ(たとえば、レーザーまたは音波距離計)を含み得る。様々な実施形態では、多種多様なタイプの距離測定センサおよびアルゴリズムが、ユーザ110によって見られるシーン内のオブジェクトまでの距離を測定するために、測定すべき撮像されたシーンにおいて使用され得る。また、2つ以上のセンサおよび2つ以上のタイプのセンサが、HMD120において使用され得る。

【0035】

さらに、HMD120は、加速度計、ジャイロスコープ、磁気センサ、光学センサ、機械的または電子的レベルセンサ、および慣性センサなど、向きセンサを含んでもよく、これらのセンサは、単体または組合せで、(たとえば、重力の向きを検知することによって)デバイスの上/下/レベルの向きに関して、および、したがって、ユーザの頭の(および、その眺める視点からの)位置/向きに関して、データをデバイスのプロセッサに供給することができる。さらに、HMD120は、左/右の向きおよび動きに関して、データをデバイスのプロセッサに供給することができる、電子コンパスおよび加速度計などの回転向きセンサを含み得る。全体として、センサ(加速度計、ジャイロスコープ、磁気センサ、光学センサ、機械的または電子的レベルセンサ、慣性センサ、および電子コンパスを含む)はHMD120(および、したがって、ユーザの眺める視点)の上/下および回転の向きに関するデータを供給するように構成される。

【0036】

HMD120は、カメラによって撮像することのできるジェスチャーによるユーザ入力を認識するように構成されてよい。画像内の認識されたオブジェクトまでの距離は、取り込まれた画像および/または距離センサから収集されたデータから決定され得る。HMD120は、スマートフォンまたは他のモバイルデバイスにおけるものなど、HMD120とは別個であり得るモバイルプロセッサに画像および距離センサデータを供給し、モバイルプロセッサからディスプレイ情報を受信することができる。

【0037】

ディスプレイ140の少なくとも一部分は透明であり、ユーザがディスプレイ140に示される画像だけでなく、ユーザの周囲の物理オブジェクトも見ることを可能にする透明な表示エリアを提供する。ディスプレイ140上に示される画像の透明度は、ディスプレイ140の必要な機能、ディスプレイ140に示されるGUIの設定、および/またはHMD120によって実行されるソフトウェアアプリケーション(たとえば、ビデオ、地図、インターネットブラウザ)に応じて変化する場合がある。図1Aおよび図1Bに示された実施形態は、眼鏡のようなフレーム内に配置されたディスプレイ140を示すが、透明な表示エリアを提供することが可能な他の技法(たとえば、網膜プロジェクタまたは他の光学システム)を、他の実施形態で利用することができる。

【0038】

さらに、カメラ150(外向きのカメラ)は、ユーザの手130および/またはHMD120に入力を提供するためにユーザ110によって制御できる他のオブジェクトを含む、ユーザの周囲の画像を取り込むことができる。カメラは、画像および/またはその他の情報を、HMD120がユーザの正面の物理的オブジェクトを追跡するのを可能にする処理ユニットに供給する他の種類のセンサを含んでよい。一実施形態では、HMD120はデプスを求めることのできるカメラ150(たとえば、ステレオカメラ)を使用してオブジェクトのデプスも追跡することができる。一実施形態によれば、図7に示すように、VOIを使用して複数のオーグメンテーションを表示するときにデプスカメラを利用してよい。

【0039】

カメラ150は、ユーザの視点から透明な表示エリア内に見えるオブジェクト(たとえば、手のジェスチャー)をHMD120が追跡することを可能にする視界を有することができる。実施形態は、物理オブジェクトがユーザ110の視点から透明な表示エリア内にないとき、低電力モードに切り替えることができる。いくつかの実施形態では、(ユーザ110の視点から)物理オブジェクトが透明な表示エリアに近付いているとHMD120が判断したとき、HMD120がオブジェクト追跡アルゴリズムの実行および/または拡大を開始することを可能にするために、カメラ150は透明な表示エリアよりも広い視界を有することができる。

【0040】

複数のAR目標からの特定のAR目標の選択

【0041】

図2は、ヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択する方法200の一実施形態を示す流れ図である。ブロック205において、HMDはユーザのジェスチャーに基づいて関心領域(ROI)を定義する。

【0042】

検出アルゴリズムを使用してユーザのジェスチャーを検出してよい。HMDは、ユーザの所定のジェスチャーを検出し、ユーザのジェスチャーに基づいてROIを定義してよい。たとえば、ユーザのジェスチャーでは、図3Aおよび図3Bに示すように、両手の人差し指と親指を直交方向に向けて矩形形状を作成してよい。他の例では、ユーザのジェスチャーには、こぶし、広げた手、指さし、手の回転、手を振ること、1本または複数の指の動き、およびそれらの任意の組合せを含めてよい。

【0043】

さらに、別の実施形態によれば、以後のユーザジェスチャーは、ROIが定義された後で行われてよい。たとえば、ジェスチャーには、ユーザの両手を互いに遠ざけたり近付けたりしてROIのサイズを変更することを含めてよい。他の例では、以後のユーザジェスチャーに、写真を撮るためのタップジェスチャー、ARオブジェクトを画面を横切るように案内するためのプッシュジェスチャー、ARオブジェクトを移動させるためのフリックジェスチャー、ARオブジェクトを回転させるためのターンジェスチャー、ズーム動作のためのグラブ/プルジェスチャー、媒体をスクロールするためのスワイプジェスチャーを含めてよい。

【0044】

上記のように、透明な表示エリアは、ユーザがディスプレイに示された画像ならびにユーザの周囲の物理オブジェクトを見ることが可能になるように構成された、HMD120のディスプレイおよび/または表示手段の少なくとも一部分であり得る。ユーザは、ユーザの手のジェスチャーに基づいてROIを選択してよい。図3Aは、HMD120がROIをどのように特定するかをさらに示す。

【0045】

ブロック210において、透明な表示エリア内にROIを概略的に示す形状が定義され、ユーザに対して表示される。形状は、たとえば、HMD120上にROIの輪郭を表す矩形オーバレイであってよい。形状は、ROIのロケーションの視覚的フィードバックをユーザに与えることができる。形状自体は、透明な表示エリア内で強調表示および/または別の方法で指示されてもまたはされなくてもよい。形状を定義することは、たとえば、HMDに組み込まれ、かつ/またはHMDと通信可能に結合されたコンピューティングシステムの一部であり得る、処理ユニット、メモリ、および/または他の計算手段によって実行される場合がある。形状は、表示要素、たとえば、表示画面の縁部から延びるように表示されてよい。その上、以下でより詳細に説明するように、形状は、ARまたは他のソフトウェアアプリケーション内の対話型要素、デジタルコンテンツ、および/または物理オブジェクトに関連付けられる場合がある。そのような形状は、たとえば、ユーザが物理オブジェクトに対して移動するにつれて、サイズ、形状、および表示エリア内の位置が変化する場合がある。その結果、選択されたオブジェクトに関連付けされた形状を示す強調表示は常に表示されてもされなくてもよい。

【0046】

様々な実施形態は、HMD120が、ディスプレイ140上にROIの輪郭を表す仮想形成をレンダリングするのを可能にする。これによって、HMD120は、コンピューティングデバイスとの対話およびリアルタイムコラボレーションおよびユーザからのフィードバックを容易にすることのできる拡張現実エクスペリエンスを実現することができる。

【0047】

いくつかの実施形態では、HMD120は、認識されたジェスチャーをHMD120上でタスクを実行するための入力コマンドとして処理してよい。方法は、各動作を実行するようにプロセッサ実行可能命令によって構成されたプロセッサを有するコンピューティングデバイス内で実施され得る。プロセッサは、HMD120の向きに関するセンサデータを受信することによって、動作を開始することができる。さらに、プロセッサは、カメラ150からの画像データ、ならびに、上記で説明したHMD120中に含まれる他のセンサからのデータを受信することができる。したがって、プロセッサは、カメラ150の視界内の画像および表面までの距離に関して、HMD120によって収集されたすべての情報を取得することができる。プロセッサは、画像内のオブジェクトの距離および向きデータを計算することができる。これらの計算では、画像がブロックで供給されるときにはよく知られている三角法を使用し、距離データを供給するために距離センサが使用されるときには直接測定値を使用することができ、かつセンサから取得された距離情報と画像から計算された距離情報との組合せを使用することができる。さらに、プロセッサは、距離センサデータ、カメラデータ、ならびに、距離および向きデータを使用して、画像を処理することができる。

【0048】

さらに、ある時間間隔にわたってユーザの手130を追跡して、所定のジェスチャーが認識されるかどうかを判定することができる。この判定において、プロセッサは、いずれかのジェスチャーが、視界内で認識されるかどうかを判定することができる。ジェスチャーが認識される場合、プロセッサは、認識されたジェスチャーをHMD120のメモリに記憶された入力コマンドと実質的に照合してよい。プロセッサは、認識されたジェスチャーに対応する入力コマンドを実行することができる。

【0049】

一実施形態によれば、ROIが特定された後、ピクチャおよび/またはビデオは、ユーザ110がROIを解除したときにROIの内側の画像を取り込んでよい。たとえば、ユーザが、写真を撮るポーズなど、ROIの輪郭を表す形状を受信した後手のジェスチャーを引き続き維持する場合、HMD120は、ユーザがROIを解除した後にROIによって概略的に表される画像を取り込むようにセットアップしてよい。解除イベントの一例は、ユーザの手がROIから迅速に離れるイベントであってよい。したがって、従来のHMDとは異なり、ユーザは、写真を撮るために従来のHMD上のボタンに実際に触れる必要はない。

【0050】

別の実施形態によれば、HMD120は、一定のバッファサイズのビデオを取り込んでよい。この例では、ジェスチャーメカニズムは、直前の所定の持続時間(たとえば、30秒)に得られたすべてのフレームを保存することをHMDに指示するために使用されてよい。たとえば、HMD120を装着しているユーザが、海でクジラがジャンプしているのを見て、音声によってHMD120に過去30秒間を記録するように要求することがある。したがって、HMD120は、フレームをバッファする機能を有してよく、認識されたジェスチャーまたはボイスコマンドに基づいて、これらのフレームをメモリに記憶してよい。

【0051】

ブロック215において、ROIが認識された後、HMD120は、ROIの内側の目標に関連付けられた複数のARオブジェクト(たとえば、図4のRita's Fashion 405)をユーザ110に対して表示する。さらに、ユーザがROIまたはユーザの視界を移動させるにつれて最初にROIの内側にある目標を追跡することができる。追跡するための手段は、画像および/または位置測定値を取り込むように構成され、処理ユニット、メモリ、および/または画像および/または位置測定値に基づいて位置を特定するように構成された他の計算手段と通信可能に結合された、カメラ、センサ、および/または他の構成要素によって実行することができる。目標を追跡するための構成要素は、透明な表示エリア内に画像を表示するための構成要素で較正することができ、ユーザが見るものをHMDが判断することが可能になる。

【0052】

追跡手段は、様々な追跡アルゴリズムのうちのいずれかと連動する場合がある。特定の追跡アルゴリズムは、単一のポイント(たとえば、透明な表示エリア上の座標)、および/またはオブジェクトに関連付けられた領域、および/またはオブジェクト上の位置(たとえば、ユーザの手)を単に追跡することができる。より高度な追跡アルゴリズムは、オブジェクトの距離などの他の特徴を追跡してよい。実施形態は、AR対話用の複数の目標および/または異なる目標を追跡することが可能であり得る。

【0053】

ブロック215を使用して複数のARオブジェクトがユーザに対して表示された後、ユーザが、選択されたオブジェクトをさらに操作するために、ブロック220において説明したように、特定のARオブジェクトを選択することを望むことがある。

【0054】

たとえば、ユーザがHMDを装着していると、複数のARオブジェクトに関連付けされた広告およびバナーがポップアップすることがある。すべての機能が同時に活動化された場合、ユーザの気が散りユーザにとって迷惑になる可能性がある。ユーザは、ROIのサイズを縮小することによって、対話するARオブジェクトの数を減らしてよい。

【0055】

ブロック220において、ユーザは、図3Aおよび図3Bにさらに示すように、ユーザの手の動きに基づいてROIのサイズを縮小または拡大してよい。ユーザ110は、リアルタイムユーザフィードバックを使用してROIを操作することによって、特定のARオブジェクトを選択してよい。ここで再び、ROIのサイズを縮小または拡大するための手段は、処理ユニット、メモリ、および/またはROIを示すディスプレイに結合された他の計算手段を含むことができる。

【0056】

ブロック225において、HMD120は、ブロック220において得られた縮小サイズのROIを使用して、ブロック215における複数のARオブジェクトから特定のARオブジェクトを選択する。たとえば、Qualcomm's Vuforiaを使用して、HMD120によってHMDディスプレイ140上にARオブジェクトを表示してよい。

【0057】

拡張現実機能は、ユーザがユーザの周囲についてより多く学ぶことを可能にする無数のシナリオで使用することができる。たとえば、後で図6および図7において説明するように、HMD120は、ARが関連付けられた映画のポスターを認識してよく、別の手のジェスチャーによって活動化することのできる仮想「予告編再生」ボタンを表示してよい。無数の他のシナリオが考えられる。したがって、本明細書に提示された技法は拡張現実シナリオに拡張されてよく、ユーザの視点からの、選択されたオブジェクトに対するデジタルコンテンツの要素との対話が可能になる。これらの対話型要素はユーザの周囲の選択されたオブジェクトに結合されるので、HMDのディスプレイ140上の対応するROIは、選択されたオブジェクトの位置に対して、移動し、スケール変更することができる。さらに、いくつかの実施形態によれば、次に、図6および図8において説明した方法を使用して、選択されたARオブジェクトをさらに操作してよい。

【0058】

ARプラットフォームの一例は、Qualcomm Vuforia拡張現実プラットフォームであり、ユーザが拡張現実を使用することによって目標を選択した後HMDおよび/またはモバイルデバイスのディスプレイ140に情報を供給することができる。たとえば、Vuforiaのコンピュータビジョン機能は、様々な2D視覚目標および3D視覚目標を認識し、認識された目標に関連付けされたARを表示することができる。したがって、ユーザは、実世界目標を選択してよく、選択された目標に関連付けされたARがHMD120のディスプレイ140上に表示されてよい。いくつかの例では、広告が印刷されたページから飛び出すか、または小売店の棚で製品パッケージが活動状態になることがある。さらに、製品自体が対話性を向上させ命令を下すことがある。

【0059】

したがって、ARは印刷媒体および広告、消費者製品およびパッケージ、ならびに教材の価値を上げることができる。ブロック225において選択された目標に関連付けられたARは、実世界対話性を有効化することができる。たとえば、ARは印刷された広告、製品、およびパッケージに小売環境において関連付けられてよい。

【0060】

図2に示された特定のステップが、ユーザとHMD120との対話を可能にする方法200の一例であることを諒解されたい。代替的な実施形態は、図示されている実施形態に対する代替形態を含む場合がある。たとえば、代替実施形態は、透明な表示エリア内に形状を定義することと、ROIの輪郭を表す形状を表示することと、方法200の間の様々な時点にARを表示することとを含んでよい。さらに他の実施形態は、ROIの定義を較正するためのアクションを実行すること、形状を表示することと、HMD120の表示構成要素によって構成要素を追跡することとを含んでよい。さらに、具体的な用途に応じて、追加の特徴が追加、削除、または合成される場合がある。当業者は、多くの変形、修正、および代替を認識するはずである。

【0061】

ユーザのジェスチャーに基づくROIの定義

【0062】

図3Aおよび図3Bは、HMDと対話して特定のARオブジェクト320を選択するタッチレス方法を示す。HMD120は、自然な人体ジェスチャーを検出することによって、眼鏡を通して見られている画像またはビデオを取り込むようにトリガされてよい。図3Aに示すように、指と親指が縁部に位置することによって矩形が形成されるように両手が配置される。この矩形の内側の領域は、ユーザ110の関心領域(ROI)と見なされてよい。

【0063】

図3Aは、上記のブロック205において説明したように、ユーザのジェスチャーに基づいてROI305を定義するための方法を示す。たとえば、ジェスチャーには、両手の人差し指350と親指355を直交方向に向けることを含めてよい。

【0064】

図3Aに示すように、ジェスチャーには、両手の人差し指と親指を直交方向に向けて矩形形状を作成することを含めてよい。一例では、ジェスチャーには親指355と各指360を使用してC字形を形成することを含めてよい。他の例では、ジェスチャーには、こぶし、広げた手、指さし、手の回転、手を振ること、1本または複数の指の動き、およびそれらの任意の組合せを含めてよい。

【0065】

図3Bは、ROI305のサイズを縮小または拡大して特定のARオブジェクト320を選択するための方法を示す。たとえば、ジェスチャーには、両手の隙間を狭くしてROIのサイズを縮小することを含めてよい。たとえば、ジェスチャーには、両手の隙間を広げてROIのサイズを拡大することを含めてよい。

【0066】

他の実施形態によれば、ROIが定義された後、ユーザは、以後のユーザのジェスチャーを使用してROIの内側のARオブジェクトを操作してよい。たとえば、ジェスチャーには、ユーザの両手を互いに遠ざけたり近付けたりしてROIのサイズを変更することを含めてよい。他の例では、以後のユーザジェスチャーには、写真を撮るためのタップジェスチャー、ARオブジェクトを画面を横切るように案内するためのプッシュジェスチャー、ARオブジェクトを移動させるためのフリックジェスチャー、ARオブジェクトを回転させるためのターンジェスチャー、ズーム動作のためのグラブ/プルジェスチャー、媒体をスクロールするためのスワイプジェスチャー、およびそれらの任意の組合せを含めてよい。

【0067】

HMD120は、ユーザの手130を追跡してよく、ユーザ110が対話しROI305を定義するのを可能にする。たとえば、ユーザは、ユーザの手130を動かして矩形を形成すること、写真を撮るポーズをとること、所定の動きを行うこと、または手の形状を要素に近接する位置にしきい値時間の間維持することなど、様々な方法でジェスチャーを行ってよい。

【0068】

写真を撮るポーズをとる例では、ユーザ110が両手を使用して2つのC字形を作成する。しかしながら、写真を撮るポーズでは、両手を互いに水平方向に離すことのみでき、対角方向に離すことはできず、したがって、ROIのサイズを変更してもより大きい矩形領域を再定義することはできず、より幅の広い矩形領域のみ再定義することができる。

【0069】

別の実施形態では、ROIは、基準としてL字形にされた一方の手に基づいてよく、ROIは、カメラビューの中心とユーザの手130との間の距離に応じて変化する。この例では、HMD120内のユーザの視界および手によって定義される「L」の角部がどこに位置するかを使用してROIを定義してよい。HMD120からのフィードバックは、ディスプレイ140の中心を示す小さい赤い点、およびROIの境界がどこであるかを示す矩形であってよい。ROIは、中心視界に対するユーザの手130に応じて拡大することもまたは縮小することもできる。

【0070】

HMD120は、ジェスチャーの選択を認識した後、ユーザに対してHMD上に形状315を表示してよい。形状315(たとえば、矩形オーバレイ)はROI305を概略的に表してよい。ユーザは、手を内側または外側に動かすことによってROI305をリアルタイムに調整してよい。所望の機能に応じて、一方の手のみを使用する場合、HMD120上に表示される形状は、ディスプレイ上の点(たとえば、ディスプレイの中央の点)に固定されてよく、それによって、ユーザはそれに応じて、両手によって形状の境界の輪郭を表す必要なしに形状を調整することができる。

【0071】

たとえば、HMD120は、指の先端または両手の形状によって形成される輪郭を追跡することによってROI305(たとえば、矩形)を特定する。ROI305が検出された後、HMD120は、上記のブロック210において説明したように、形状315のオーバレイされた投影としてHMD120眼鏡上に表示する。次いで、ユーザは、図3Bに示すようにROIを解除する前に両手を動かすことによって、上記のブロック220において説明したようにROIのサイズを調整してよい。

【0072】

図3Bは、選択されたROIをリアルタイムユーザ入力に基づいてどのように調整できるかを示す。たとえば、ROI305は最初、図3Aにおいてユーザによって選択される。図3Bでは、両手を互いに近付けるかまたは遠ざけることによって、ARオブジェクト320が選択されてよい。オブジェクト認識技法を使用するHMDは、ROI305がユーザの手の動きに基づいて縮小するかまたは拡大するかを判定してよい。

【0073】

別の実施形態によれば、システムは手のジェスチャーおよび/またはボイスコマンドを使用してHMD上のカメラを活動化してよい。縮小サイズのROIが特定された後、ピクチャおよび/またはビデオは、ROI305の内側の画像を取り込んでよい。代替として、ジェスチャーメカニズムおよびボイスコマンドは、直前の所定の持続時間(たとえば、30秒)に得られたすべてのフレームを保存することをHMDに指示するためのトリガとして使用されてよい。

【0074】

さらに、両手が目標の視界から十分に離れると解除イベントが生じてよい。解除イベントは、指と親指が近付いた場合またはボイスドリブンコマンドによって生じてもよい。解除イベントは、ROI305の検出および選択が完了したことをHMD120に示すことができる。したがって、一実施形態によれば、HMD120はいくつかのセンサをオフにして低電力モードに入ってよい。

【0075】

解除イベントは、両手が十分に近付くことを含んでよい。HMD120は、両手および両手の縁部によって形成される形状を連続的に追跡してよく、したがって、HMD120は、両手がいつ所定の距離だけ離れたかを判定してよい。

【0076】

したがって、HMD120は、両手がしきい値を超える量だけ離れたかどうかを判定してよく、次いで、解除が生じたかどうかを判定してよい。たとえば、ユーザは、手がROIの近くに位置しないように手を遠ざけてよい。

【0077】

しかし、HMD120は、両手が互いに遠ざかっているときに、ユーザが関心領域を拡大しようとしているか、またはユーザがROIを解除しようとしているかを区別することのできる機能を実現してよい。たとえば、HMD120は、ROIに対する手の位置および手の動きの速度に基づいてROIのサイズ変更と解除イベントを区別してよい。

【0078】

代替として、一方の手のみを握りしめることが解除イベントであってよい。たとえば、HMD120は、両手の輪郭から八角形のフレームを検出できないと判定した場合、ユーザがROIを解除したと仮定してよい。

【0079】

複数のARオブジェクトの表示

【0080】

図4は、HMD120のディスプレイ140におけるユーザの視界の一例を示す。図4に示すように、ROI305の内側の目標に関連付けられた複数のARオブジェクトがディスプレイ140に示される。上記のブロック215において説明したように、ユーザがROI305を選択した後、HMD120は、ROIの内側の目標に関連付けられた複数のARオブジェクト(たとえば、関心点(POI))をユーザに対して表示する。さらに、ユーザがROI305またはユーザの視界を移動させるにつれて最初にROIの内側にある目標を追跡することができる。

【0081】

ROI305が定義された後、HMD120は、関連するARアプリケーションを有する目標をユーザに対して表示してよい。HMDは、ROI305を検出しかつ/またはROIの輪郭を表す形状315をユーザに表示した後、ARアプリケーションを開始してよい。HMDは、ROI305を検出した後、ROI305内の関連するARアプリケーションを開始してよい。たとえば、図4では、ユーザに対して、ARアプリケーションを有する5つのオブジェクト(POI)が表示されている。この例では、以下の5つのオブジェクト、すなわち、50メートル離れたRita's Fashion 405、Starbucks 410、Henry's diner 415、Henry's diner 420、およびcinema 425がROIの内側にある。一実施形態によれば、でディスプレイ140は、オブジェクトに関する他の関連情報を示してもよい(たとえば、レビュー、ユーザからの距離)。

【0082】

場合によっては、広告主がそのプロジェクトバナー/ロゴ/ラッパーをAR目標として登録してよい。たとえば、Qualcomm's Vuforiaを使用すると、目標は、ARを使用してHMDディスプレイ140上に表示することのできる追加の情報を有することができる。したがって、ユーザがROI305を縮小してAR目標320を選択したときに、選択された目標に関連付けられたARアニメーションが特別な情報を与えてよい。

【0083】

図5は、ROI305がユーザによって縮小され、それによって、より少ない数のAR目標またはPOIがディスプレイ140上に示されている例を示す。ブロック220において説明したように、ユーザは、手のジェスチャーを使用して(たとえば、両手を互いに近付けることによって)ROI305のサイズを縮小してよい。縮小サイズを使用しているので、図5のディスプレイ140は今や、ROIの内側に3つのPOI(Starbucks 505、Henry's Diner 510、Henry's Diner 515)のみを示している。ROIのサイズを縮小することによって、ROIの内側の目標の数が図4の5つのPOIから図5の3つのPOIに減少している。別の実施形態によれば、ユーザは、1つのAR目標320のみがROI305の内側に位置するようにROIのサイズをさらに縮小してよい。

【0084】

いくつかの実施形態によれば、選択されたAR目標320には複数のオーグメンテーションが関連付けられてよい。このシナリオの間、ユーザは、図6および図7においてさらに説明する関心体積(VOI)技法を使用して、選択されたAR目標320に関する特定のオーグメンテーション層を選択してよい。

【0085】

選択された目標が複数のオーグメンテーションを有するときの関心体積の使用法

【0086】

図6は、目標の方向(たとえば、z軸)に沿って手のジェスチャーを使用して関心体積(VOI)を定義する方法600を示す流れ図である。たとえば、ユーザは、1つまたは複数の手をz軸に沿ってスクロールすることによって同じ目標に関するジオロケーションポイントまたは様々なオーグメンテーションを閲覧してよい。図2に示すように、ユーザはROIのサイズを縮小して目標を選択している。目標を選択した後、場合によっては、選択された目標に複数のオーグメンテーションが関連付けられていることがある。

【0087】

ブロック605において、HMDは、上記で図2において説明したようにユーザのジェスチャーに基づいてROIをすでに定義している。ユーザは、リアルタイムユーザフィードバックを使用してROIを操作することによって、ブロック225と同様に特定のARオブジェクトをリアルタイムに選択してよい。さらに、所与のAR目標に複数のオーグメンテーションが関連付けられている場合、ユーザはブロック610において説明した方法を使用して特定の層を指定してよい。

【0088】

ブロック610において、ユーザは、選択された目標の方向(たとえば、z軸)にスクロールすることによって複数のオーグメンテーションを閲覧してよい。たとえば、ユーザは、図7に示すように、VOIを使用して目標の方向にスクロールすることによりAR目標320に関するオーグメンテーションを閲覧することによってAR目標320に関する特定のオーグメンテーション層を選択してよい。

【0089】

ブロック615において、システムは、ユーザの手の位置に基づいて(たとえば、図7に示すようにz軸に沿って)選択された目標に関連付けられた様々なオーグメンテーションをユーザに対して表示する。

【0090】

図7は、ユーザの手の位置に基づく異なるオーグメンテーションのリアルタイム対話および表示を示す。たとえば、ユーザは、図2において説明した方法を使用して映画のポスターを選択してよい。場合によっては、選択された映画のポスターに複数のオーグメンテーションが関連付けられていることがある。ユーザは、図6において説明した方法を使用して、映画のポスターに関連付けられた様々なオーグメンテーションを閲覧してよい。

【0091】

図7において様々な位置に示されるように、ユーザの手の位置に基づいて様々なオーグメンテーションをユーザに対して表示してよい。たとえば、ユーザの手の位置が705にあるとき、HMD120のディスプレイ140は、映画の名称およびレビューを示す。ユーザの手の位置が目標720（たとえば、z軸）の方向において位置705に近付くと位置710が生じ得る。位置710において、この例では、映画の予告編を再生するためのオーグメンテーションがディスプレイ140上に示される。ユーザの手が目標により近くなると、位置715において、映画の上映時間およびチケットをオンラインで購入するためのオプションが表示されてよい。最後に、この例では、目標720に最も近い位置において、HMD120が映画に関連付けられた画像を表示してよい。

【0092】

図6および図7の例によって示されるように、HMD120は手の位置および/または手のジェスチャーを使用してVOIを定義してよい。HMD120は、VOIに基づいて、選択された目標に関連付けられた様々なオーグメンテーションを表示してよい。代替として、目標が選択された後、HMD120は、図8に示すように、ユーザの好みまたは所定のジェスチャー認識機能に基づいて他のモードを実施してよい。

【0093】

目標が選択された後の他の実装形態の例

【0094】

図8は、ヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択する方法800の一実施形態を示す流れ図である。スマートアプリケーションの一例はビジュアルトランスレータを含んでよい。たとえば、ROIの内側に取り込まれた画像は、視覚的探索システムまたはOCRに送られてよい。この例では、OCRを使用して画像から得られるテキストを判定し認識してよい。認識された文字に基づいて、トランスレータが自動的に翻訳を行ってよく、結果がディスプレイ140上に表示されてよい。

【0095】

この実施形態を例示するために、ブロック805において、ユーザは特定の目標または翻訳すべきテキストを選択してよい。図2において説明した方法と同様に、ユーザは手のジェスチャーを使用してROI305を概略的に表し翻訳すべきテキストを選択する。

【0096】

ブロック810において、ユーザはROI305内の特定のテキストの翻訳を要求してよい。たとえば、ユーザはボイスコマンドまたは所定の手のジェスチャーを使用して翻訳を開始してよい。代替として、HMD120は、外国語を自動的に認識し、ユーザからの要求なしに翻訳を開始してよい。

【0097】

ブロック815において、HMD120は、視覚的探索システムまたはOCRを使用してROI305内のテキストを認識してよい。テキスト認識のための従来の方法がHMD120によって利用されてよい。

【0098】

ブロック820において、HMD120は、認識されたテキストをユーザによって指定された言語に変換し、それをディスプレイ140上に表示してよい。たとえば、言語はデフォルトの言語であっても、または以前の使用に基づいてあらかじめ定められても、またはユーザによってリアルタイムに指定されてもよい。さらに、HMD120は、変換されたテキストをユーザ110に対して声に出して読んでよい。テキスト翻訳のための従来の方法がHMD120によって利用されてよい。

【0099】

図8は、手のジェスチャーを使用して目標が選択された後の一実装形態の例を示す。代替的な実施形態は、図示されている実施形態に対する代替形態を含む場合がある。たとえば、代替実施形態は、HMDが外国語を自動的に認識し、ユーザからの要求なしにテキストを翻訳することを含んでよい。さらに、具体的な用途に応じて、追加の特徴が追加、削除、または合成される場合がある。当業者は、多くの変形、修正、および代替を認識するはずである。

【0100】

別の実施形態によれば、ROIを利用してビデオシェアリングのために視界を狭くしてよい。HMD120は、コラボレーションモードの間ROIを共有ビューとして使用してよい。ユーザは、自分の視界の一部を共有したいとき、図2において説明した方法を使用してROI305を選択してよい。コラボレーションモードの間、HMD120は、ROI305をビデオベースの通信のために共有ビューとして扱い、それによって、視界の一部のみ(たとえば、プレゼンテーション、ドキュメント)が遠隔ユーザと共有される。一実施形態によれば、共有ビューは、解除イベントが生じた後に終了してよい。代替的な実施形態は、図示されている実施形態に対する代替形態を含む場合がある。さらに、具体的な用途に応じて、追加の特徴が追加、削除、または合成される場合がある。

【0101】

図9は、1つまたは複数の実施形態が実施され得るコンピューティングシステムの一例を示す図である。

【0102】

コンピュータシステム900はさらに、1つまたは複数の非一時的記憶デバイス925を含む(かつ/またはそれらと通信する)場合があり、非一時的記憶デバイス925は、限定はしないが、ローカルおよび/またはネットワークでアクセス可能な記憶装置を備えることができ、かつ/または限定はしないが、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/またはプログラム可能、フラッシュ更新可能などであり得る、リードオンリメモリ(「ROM」)などのソリッドステート記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータストアを実装するように構成される場合がある。たとえば、ユーザが直前の所定の持続時間において得られたすべてのフレームを取り込みたい場合に、記憶デバイス925を使用してHMD120のカメラ150から取り込まれたビデオをバッファしてよい。

【0103】

コンピュータシステム900はまた、通信サブシステム930を含む場合があり、通信サブシステム930は、限定はしないが、モデム、ネットワークカード(ワイヤレスもしくは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/または(Bluetooth（登録商標）デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備などの)チップセットなどを含むことができる。通信サブシステム930は、データがネットワーク、他のコンピュータシステム、および/または任意の他の電気デバイス/周辺装置と交換されることを可能にする、1つまたは複数の入力および/または出力の通信インターフェースを含む場合がある。多くの実施形態では、コンピュータシステム900は作業メモリ935をさらに備え、作業メモリ935は、上述されたように、RAMデバイスまたはROMデバイスを含むことができる。通信サブシステム930を使用してHMD120をユーザのスマートフォンにリンクしてよい。

【0104】

コンピュータシステム900はまた、オペレーティングシステム940、デバイスドライバ、実行可能ライブラリ、および/または1つまたは複数のアプリケーション945などの他のコードを含む、現在は作業メモリ935内に配置されているものとして示された、ソフトウェア要素を備えることができ、他のコードは、様々な実施形態によって提供されるコンピュータプログラムを備えることができ、かつ/または本明細書に記載されたように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計することができる。単に例として、図2に関して記載された方法200などの、上記で説明された方法に関して記載された1つまたは複数の手順の一部分は、コンピュータ(および/または、コンピュータ内の処理ユニット)によって実行可能なコードおよび/または命令として実装することができ、次いで、ある態様では、そのようなコードおよび/または命令は、記載された方法による1つまたは複数の動作を実行するように、汎用コンピュータ(または他のデバイス)を構成および/または適合するために使用することができる。

【0105】

1組のこれらの命令および/またはコードは、上述された記憶デバイス925などの非一時的コンピュータ可読記憶媒体に記憶される場合がある。場合によっては、記憶媒体は、コンピュータシステム900などのコンピュータシステム内に組み込まれてもよい。他の実施形態では、命令/コードがそこに記憶された汎用コンピュータをプログラム、構成、および/または適合するために記憶媒体が使用され得るように、記憶媒体は、コンピュータシステムから分離される場合があり(たとえば、光ディスクなどの取外し可能媒体)、かつ/またはインスタレーションパッケージ内で提供される場合がある。これらの命令は、コンピュータシステム900によって実行可能である、実行可能コードの形態をとる場合があり、かつ/または、(たとえば、様々な一般的に利用可能なコンパイラ、インスタレーションプログラム、圧縮/解凍ユーティリティなどのうちのいずれかを使用して)コンピュータシステム900でコンパイルおよび/またはインストールされると実行可能コードの形態をとる、ソースコードおよび/またはインストール可能コードの形態をとる場合がある。

【0106】

実質的な変形が特定の要件に従って行われる場合があることが、当業者には明らかであろう。たとえば、カスタマイズされたハードウェアを使用することもでき、かつ/または、特定の要素は、ハードウェア、(アプレットなどの移植可能なソフトウェアを含む)ソフトウェア、またはその両方に実装することができる。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続を使用することができる。

【0107】

上述のように、一態様では、いくつかの実施形態は、(コンピュータシステム900などの)コンピュータシステムを使用して、本発明の様々な実施形態による方法を実行し得る。1組の実施形態によれば、そのような方法の手順のうちのいくつかまたはすべては、プロセッサ910が作業メモリ935に含まれる(オペレーティングシステム940および/またはアプリケーションプログラム945のような他のコードに組み込むことのできる)1つまたは複数の命令の1つまたは複数のシーケンスを実行したことに応答してコンピュータシステム900によって実行される。そのような命令は、記憶デバイス925のうちの1つまたは複数などの別のコンピュータ可読媒体から作業メモリ935に読み込まれる場合がある。単に例として、作業メモリ935に含まれる命令のシーケンスの実行は、プロセッサ910に、本明細書で説明する方法の1つまたは複数の手順を実行させ得る。追加または代替として、本明細書に記載された方法の部分は、専用ハードウェアを介して実行される場合がある。単に一例として、図2に関して説明した方法200などの上述の方法に関して説明した1つまたは複数の手順の一部が、HMD120内のプロセッサ910によって実現されてよい。代替として、HMD120は通信サブシステム930を介してスマートフォンにリンクされてよく、図2の方法はスマートフォン内のプロセッサ910によって実施されてよい。

【0108】

本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム900を使用して実現される実施形態では、様々なコンピュータ可読媒体が、命令/コードを実行できるようにプロセッサ910に供給することに関与してよく、かつ/またはそのような命令/コードを記憶しかつ/もしくは搬送するのに使用されてよい。多くの実装形態では、コンピュータ可読媒体は、物理記憶媒体および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態を取り得る。不揮発性媒体には、たとえば、記憶デバイス925などの光ディスクおよび/または磁気ディスクが含まれる。揮発性媒体としては、限定はしないが、作業メモリ935などのダイナミックメモリが挙げられる。

【0109】

通常の形態の物理コンピュータ可読媒体および/または有形コンピュータ可読媒体には、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは任意の他の磁気媒体、CD-ROM、任意の他の光媒体、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが命令および/またはコードを読み取ることができる任意の他の媒体が含まれる。

【0110】

様々な形態のコンピュータ可読媒体は、実行用にプロセッサ910に1つまたは複数の命令の1つまたは複数のシーケンスを搬送することに関与することができる。単に例として、命令は、最初に、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送されてよい。リモートコンピュータは、そのダイナミックメモリ内に命令をロードし、コンピュータシステム900によって受信および/または実行されるべき送信媒体上の信号として命令を送信することができる。

【0111】

通信サブシステム930(および/またはその構成要素)は、一般に信号を受信し、次いで、バス905は、信号(および/または信号によって搬送されたデータ、命令など)を作業メモリ935に搬送することができ、プロセッサ910は、作業メモリ935から命令を取り出し、実行する。作業メモリ935によって受信された命令は、随意に、プロセッサ910による実行の前または後のいずれかに非一時的記憶デバイス925に記憶され得る。

【0112】

上記で論じた方法、システム、およびデバイスは例である。様々な構成において、様々な手順または構成要素を、適宜、省略し、置換し、または追加することができる。たとえば、代替構成では、本方法は、説明される順序とは異なる順序で実行されてもよく、かつ/または、様々なステージが加えられ、省略され、かつ/もしくは組み合わされてもよい。また、いくつかの構成に関して説明される特徴が、様々な他の構成と組み合わされてもよい。構成の様々な態様および要素を同様に組み合わせることができる。また、技術は発展するものであり、したがって、要素の多くは、例であり、本開示または特許請求の範囲の範囲を限定しない。

【0113】

例示的な構成(実装形態を含む)の完全な理解をもたらすために、具体的な詳細が説明において与えられている。しかしながら、構成はこれらの具体的な詳細を伴わずに実施され得る。たとえば、構成を不明瞭にするのを避けるために、既知の回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細を伴わずに示されてきた。この説明は、例示的な構成を提供するのみであり、請求項の範囲、適用可能性、または構成を限定しない。むしろ、これらの構成の上述の説明は、記載された技法を実装するための有効な説明を当業者に提供することになる。本開示の趣旨または範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。

【0114】

また、構成は、流れ図またはブロック図として示されるプロセスとして説明されることがある。各々は順次的なプロセスとして動作を説明することがあるが、動作の多くは、並列に、または同時に実行され得る。加えて、動作の順序は並べ替えられ得る。プロセスは、図に含まれていない追加のステップを有し得る。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などの非一時的コンピュータ可読媒体に記憶され得る。プロセッサは説明したタスクを実行し得る。

【0115】

いくつかの例示的な構成について説明してきたが、本開示の趣旨から逸脱することなく、様々な変更、代替構造、および均等物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、他の規則が、本発明の適用例よりも優先されるか、または本発明の適用例を変更し得る。また、上記の要素が考慮される前に、その間に、またはその後に、いくつかのステップが行われ得る。したがって、上の説明は、請求項の範囲を拘束しない。

【符号の説明】

【0116】

110 ユーザ
120 HMD
130 ユーザの手
140 ディスプレイ
150 カメラ
305 ROI
315 形状
320 ARオブジェクト
350 人差し指
355 親指
360 指
405 Rita's Fashion
410 Starbucks
415 Henry's diner
420 Henry's diner
425 cinema
705、710、715 オーグメンテーション
720 映画のポスター
900 コンピュータシステム
925 非一時的記憶デバイス
930 通信サブシステム
935 作業メモリ
940 オペレーティングシステム
945 アプリケーション

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】