特開 2022-92745 拡張現実におけるジェスチャによる操作方法及びヘッドマウントディスプレイシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022092745

(43)【公開日】2022-06-23

(54)【発明の名称】拡張現実におけるジェスチャによる操作方法及びヘッドマウントディスプレイシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220616BHJP

   G06F 3/0482 20130101ALI20220616BHJP

   G06T 7/20 20170101ALI20220616BHJP

【ＦＩ】

G06F3/01 570

G06F3/0482

G06T7/20 300A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2020205628

(22)【出願日】2020-12-11

(71)【出願人】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】郭 勝修

【テーマコード（参考）】

5E555

5L096

【Ｆターム（参考）】

5E555AA64

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CB45

5E555CB55

5E555CB66

5E555CC01

5E555DA08

5E555DB16

5E555DB53

5E555DC11

5E555DC13

5E555DC19

5E555DC21

5E555DD02

5E555EA19

5E555EA20

5E555EA22

5L096AA06

5L096CA04

5L096DA02

5L096FA12

5L096FA69

5L096GA55

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】拡張現実（ＸＲ）におけるジェスチャによる操作方法及びヘッドマウントディスプレイ（ＨＭＤ）システムを提供する。
【解決手段】
この方法では、第１ジェスチャは、第１画像で識別される。第１ジェスチャは、ユーザの手に対応する。インタラクティブ領域に配置された仮想手と第１インタラクティブオブジェクトは、第１ジェスチャの識別された結果に応答して表示される。仮想手が第１ジェスチャを行う。第２ジェスチャは、第２画像で識別される。第２ジェスチャはユーザの手に対応し、第１ジェスチャとは異なる。第２ジェスチャは、インタラクティブ領域の第１インタラクティブオブジェクトと相互動作する。仮想手と第２インタラクティブオブジェクトは、第２ジェスチャの識別された結果に応答してディスプレイに表示される。仮想手が第２ジェスチャを行う。従って、直感的なジェスチャ制御が提供される。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１画像において、ユーザの手に対応する第１ジェスチャを識別するステップと、
第１ジェスチャの識別された結果に応答して、インタラクティブ領域に配置された仮想手及び第１インタラクティブオブジェクトを表示し、前記仮想手が前記第１ジェスチャを行うステップと、
第２画像において、前記ユーザの手に対応し且つ前記第１ジェスチャと異なる第２ジェスチャを識別し、前記第２ジェスチャは、前記インタラクティブ領域において前記第１インタラクティブオブジェクトと相互作用するステップと、
前記第２ジェスチャの識別された結果に応答して前記仮想手と第２インタラクティブオブジェクトを表示し、前記仮想手が前記第２ジェスチャを行うステップと、
を含む、拡張現実（ＸＲ）におけるジェスチャによる操作方法。

【請求項2】

画像をキャプチャする画像キャプチャデバイスと、
ディスプレイと、
前記画像キャプチャデバイス及び前記ディスプレイに結合され、
前記画像キャプチャデバイスによってキャプチャされた第１画像において、ユーザの手に対応する第１ジェスチャを識別し、
第１ジェスチャの識別された結果に応答して、インタラクティブ領域に配置された仮想手及び第１インタラクティブオブジェクトを前記ディスプレイに表示し、前記仮想手が前記第１ジェスチャを行い、
前記画像キャプチャデバイスによってキャプチャされた第２画像において、ユーザの手に対応し且つ前記第１ジェスチャと異なる第２ジェスチャを識別し、前記第２ジェスチャは、前記インタラクティブ領域において前記第１インタラクティブオブジェクトと相互作用し、
前記第２ジェスチャの識別された結果に応答して前記仮想手と第２インタラクティブオブジェクトを前記ディスプレイに表示し、前記仮想手が前記第２ジェスチャを行う、
ように構成されたプロセッサと、
を備えるヘッドマウントディスプレイシステム。

【請求項3】

前記第１ジェスチャ又は前記第２ジェスチャを識別するステップは、
前記第１画像又は前記第２画像から前記ユーザの手の関節を識別することと、
ジェスチャ分類子によって前記第１画像又は前記第２画像及び前記ユーザの手の識別された関節に基づいて前記ユーザの手のジェスチャを予測し、前記ジェスチャ分類子は、機械学習アルゴリズムによって訓練されることと、
を含む請求項１に記載の操作方法、
又は、
前記プロセッサは、更に、
前記第１画像又は前記第２画像から前記ユーザの手の関節を識別し、
前記ジェスチャ分類子によって、前記第１画像又は前記第２画像と前記ユーザの手の識別された関節に基づいて前記ユーザの手のジェスチャを予測し、前記ジェスチャ分類子は、機械学習アルゴリズムによって訓練される、
ように構成される請求項２に記載のヘッドマウントディスプレイシステム。

【請求項4】

前記ユーザの手のジェスチャを予測するステップは、
前記ユーザの手の識別された関節なしで、単に前記第１画像又は前記第２画像に基づいて、ジェスチャを予測することと、
前記ユーザの手の識別された関節に基づいて予測されたジェスチャを確定することと、
を含む請求項３に記載の操作方法、
又は、
前記プロセッサは、更に、
前記ユーザの手の識別された関節なしで、単に前記第１画像又は前記第２画像に基づいて、ジェスチャを予測し、
前記ユーザの手の識別された関節に基づいて予測されたジェスチャを確定する、
ように構成される請求項３に記載のヘッドマウントディスプレイシステム。

【請求項5】

前記第２ジェスチャの識別された結果に応答して前記第１インタラクティブオブジェクトを非表示にするステップを更に含む請求項１に記載の操作方法、
又は、
前記プロセッサは、更に、
前記第２ジェスチャの識別された結果に応答して前記第１インタラクティブオブジェクトを非表示にする、
ように構成される請求項２に記載のヘッドマウントディスプレイシステム。

【請求項6】

前記第２ジェスチャの識別された結果に応答して前記第１インタラクティブオブジェクト及び前記第２インタラクティブオブジェクトを非表示にするステップを更に含む請求項１に記載の操作方法、
又は、
前記プロセッサは、更に、
前記第２ジェスチャの識別された結果に応答して前記第１インタラクティブオブジェクト及び前記第２インタラクティブオブジェクトを非表示にする、
ように構成される請求項２に記載のヘッドマウントディスプレイシステム。

【請求項7】

前記第１ジェスチャ又は前記第２ジェスチャを識別するステップは、
前記ユーザの右手と左手の一方を識別することを含み、前記第２インタラクティブオブジェクトを表示するステップは、
右手が識別されたことに応答して第１メニューを表示することと、
左手が識別されたことに応答して前記第１メニューとは異なる第２メニューを表示し、前記第２インタラクティブオブジェクトは、前記第１メニュー及び前記第２メニューを含む請求項１に記載の操作方法、
又は、
前記プロセッサは、更に、
前記ユーザの右手と左手の一方を識別し、
右手が識別されたことに応答して前記ディスプレイに第１メニューを表示し、
左手が識別されたことに応答して前記ディスプレイに前記第１メニューとは異なる前記第２メニューを表示し、前記第２インタラクティブオブジェクトは、前記第１メニュー及び前記第２メニューを含む、
ように構成される請求項２に記載のヘッドマウントディスプレイシステム。

【請求項8】

前記第１メニューは、クイック設定メニューに対応し、前記第２メニューは、メインメニューに対応する、
請求項７に記載の操作方法、
又は、
請求項７に記載のヘッドマウントディスプレイシステム。

【請求項9】

前記第１ジェスチャは、掌を上に向けるジェスチャであり、前記第２ジェスチャは、拳ジェスチャである、
請求項１に記載の操作方法、
又は、
請求項２に記載のヘッドマウントディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、仮想シミュレーション、特に、拡張現実（ＸＲ）におけるジェスチャによる操作方法及びヘッドマウントディスプレイシステムに関する。

【背景技術】

【0002】

仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ，ＶＲ）、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，ＡＲ）、複合現実（ｍｉｘｅｄ ｒｅａｌｉｔｙ，ＭＲ）などの感覚、知覚及び／又は環境をシミュレートするための拡張現実（Ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ，ＸＲ）技術が最近流行している。前述の技術は、ゲーム、軍事訓練、ヘルスケア、リモートワークなど、複数の分野に適用することができる。ＸＲでは、ユーザがヘッドマウントディスプレイ（ＨＭＤ）を着用した場合、ユーザは、自分の手を使用してジェスチャを行い、さらに特定の機能をトリガすることができる。その機能は、ハードウェア又はソフトウェアの制御に関連するものであり得る。従って、ユーザが自分の手でヘッドマウントディスプレイシステムを制御することが簡単となっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

幾つかのジェスチャは、直感的に機能をトリガするものでない可能性がある。従って、本開示は、直観的なジェスチャ制御を提供するＸＲにおけるジェスチャによる操作方法及びヘッドマウントディスプレイシステムを対象とする。

【課題を解決するための手段】

【0004】

一例示的実施形態において、ＸＲにおけるジェスチャによる操作方法は、これに限定するものではないが、以下のステップを含む。第１ジェスチャは、第１画像において識別される。前記第１ジェスチャは、ユーザの手に対応する。インタラクティブ領域に位置する仮想手と第１インタラクティブオブジェクトは、前記第１ジェスチャの識別された結果に応答して表示される。前記仮想手は、前記第１ジェスチャを行う。第２ジェスチャは、第２画像において識別される。前記第２ジェスチャは、前記ユーザの手に対応し、前記第１ジェスチャとは異なる。前記第２ジェスチャは、前記インタラクティブ領域の前記第１インタラクティブオブジェクトと相互作用する。前記仮想手及び第２インタラクティブオブジェクトは、前記第１ジェスチャ及び前記第２ジェスチャの識別された結果に応答してディスプレイに表示される。前記仮想手が前記第２ジェスチャを行う。前記仮想手の数は、１つ又は２つであることができる。前記仮想手は、ＸＲでは全身又は半身のアバターの手であることができる。

【0005】

一例示的実施形態において、ヘッドマウントディスプレイシステムは、これに限定するものではないが、画像キャプチャデバイス、ディスプレイ、及びプロセッサを含む。前記画像キャプチャデバイスは、画像をキャプチャする。前記プロセッサは、前記画像キャプチャデバイス及び前記ディスプレイに結合される。前記プロセッサは、次のステップを実行するように構成される。前記プロセッサは、前記画像キャプチャデバイスによってキャプチャされた第１画像における第１ジェスチャを識別する。前記第１ジェスチャは、ユーザの手に対応する。前記プロセッサは、前記第１ジェスチャの識別された結果に応答して、前記ディスプレイのインタラクティブ領域に位置する仮想手と第１インタラクティブオブジェクトを表示する。前記仮想手が前記第１ジェスチャを行う。前記プロセッサは、前記画像キャプチャデバイスによってキャプチャされた第２画像における第２ジェスチャを識別する。前記第２ジェスチャは、前記ユーザの手に対応し、前記第１ジェスチャとは異なり、前記第２ジェスチャは、インタラクティブ領域の第１インタラクティブオブジェクトと相互作用する。前記プロセッサは、前記第１ジェスチャ及び前記第２ジェスチャの識別された結果に応答して、前記ディスプレイ上に前記仮想手及び第２インタラクティブオブジェクトを表示する。前記仮想手が前記第２ジェスチャを行う。前記仮想手の数は１つ又は２つであることができる。前記仮想手は、ＸＲでは全身又は半身のアバターの手であることができる。

【発明の効果】

【0006】

上記に照らして、操作方法及びヘッドマウントディスプレイシステムによれば、２つの連続するジェスチャが２つの画像で識別され、ジェスチャの組み合わせがディスプレイをトリガして、異なるインタラクティブオブジェクトを表示することができる。更に、仮想手と更に相互作用するために、１つのインタラクティブオブジェクトが提供される。従って、ヘッドマウントディスプレイシステムを制御するための便利で興味深い方法が提供される。

【0007】

理解されるべきこととして、この概要は、本開示の全ての態様及び実施形態を含むとは限らず、いかなる方法にも制限又は限定することを意味するものではなく、本明細書に開示される発明は、それに対する自明な改良及び修正を含むものであると当業者により理解されるものである。

【図面の簡単な説明】

【0008】

【図1】本開示の一例示的実施形態によるヘッドマウントディスプレイシステムを示すブロック図である。

【図2】本開示の一例示的実施形態による拡張現実（ＸＲ）におけるジェスチャによる操作方法を示すフローチャートである。

【図3】本開示の一例示的実施形態によるジェスチャ分類子の予測を示す概略図である。

【図4A】、

【図4B】本開示の一例示的実施形態によるジェスチャによるインタラクティブオブジェクトのトリガーを示す概略図である。

【図5A】、

【図5B】本開示の一例示的実施形態によるジェスチャによるインタラクティブオブジェクトのトリガーを示す概略図である。

【図6A】、

【図6B】本開示の一例示的実施形態によるジェスチャによるインタラクティブオブジェクトのトリガーを示す概略図である。

【発明を実施するための形態】

【0009】

本開示の好適実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、図面及び説明で同じ参照番号を使用して同じ又は類似の部材を参照している。

【0010】

図１は、本開示の一例示的実施形態によるヘッドマウントディスプレイシステム１００を示すブロック図である。図１を参照し、ヘッドマウントディスプレイ（ＨＭＤ）システム１００は、これらに限定しないが、メモリ１１０、ディスプレイ１２０、画像キャプチャデバイス１３０、及びプロセッサを含む。ＨＭＤシステム１００は、ＸＲ又はその他の現実シミュレーション関連技術に適用される。

【0011】

メモリ１１０は、任意のタイプの固定又は可動のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、類似のデバイス、又は上記デバイスの組み合わせであることができる。メモリ１１０は、プログラムコード、デバイス構成、バッファーデータ、又は永続データ（画像、ジェスチャ分類子、事前定義されたジェスチャ、設定等）を記録し、これらのデータについては、後述する。

【0012】

ディスプレイ１２０は、ＬＣＤ、ＬＥＤディスプレイ、又はＯＬＥＤディスプレイであることができる。

【0013】

画像キャプチャデバイス１３０は、モノクロカメラ又はカラーカメラ、ディープカメラ、ビデオレコーダ等のカメラ、又は他の画像をキャプチャすることができる画像キャプチャデバイスであることができる。

【0014】

プロセッサ１５０は、メモリ１１０、ディスプレイ１２０、及び画像キャプチャデバイス１３０に結合される。プロセッサ１５０は、メモリ１１０に格納されたプログラムコードをロードして、本開示の例示的実施形態の手順を実行するように構成される。

【0015】

幾つかの実施形態では、プロセッサ１５０は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）であることができる。プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）によって実行されることもでき、プロセッサ１５０の動作は、ソフトウェアによって実施されることもできる。

【0016】

一実施形態において、ＨＭＤ又はデジタル眼鏡は、メモリ１１０、ディスプレイ１２０、画像キャプチャデバイス１３０、及びプロセッサ１５０を含む。幾つかの実施形態では、プロセッサ１５０は、ディスプレイ１２０及び／又は画像キャプチャデバイス１３０と同じ装置に配置されない場合がある。しかしながら、それぞれディスプレイ１２０、画像キャプチャデバイス１３０、及びプロセッサ１５０を備えた装置は、ブルートゥース（登録商標）、Ｗｉ‐Ｆｉ、及びＩＲ無線通信などの互換性のある通信技術を備えた通信トランシーバ、又は物理的な伝送ラインをさらに含み、お互いにデータを受信することができる。例えば、プロセッサ１５０は、ＨＭＤ内に配置され、一方で、画像キャプチャデバイス１３０は、ＨＭＤの外側に配置されることができる。別の例では、プロセッサ１５０がコンピューティングデバイス内に配置され、一方で、ディスプレイ１２０がコンピューティングデバイスの外側に配置されることができる。

【0017】

本開示の１つ又は複数の実施形態で提供される動作プロセスをよりよく理解するために、幾つかの実施形態を以下に例示して、ヘッドマウントディスプレイシステム１００を詳しく説明する。ヘッドマウントディスプレイシステム１００のデバイスとモジュールは、次の実施形態に適用され、ここで提供されるＸＲにおけるジェスチャによる操作方法を説明する。その方法の各ステップは、実際の実装状況に応じて調整することができ、ここで説明するものに限定するものではない。

【0018】

図２は、本開示の一例示的実施形態による、拡張現実（ＸＲ）におけるジェスチャによる操作方法を示すフローチャートである。図２を参照すると、プロセッサ１５０は、画像キャプチャデバイス１３０によってキャプチャされた第１画像における第１ジェスチャを識別することができる（ステップＳ２１０）。具体的には、第１ジェスチャは、掌を上に向ける、掌を下に向ける、手を振る、拳ジェスチャなどの事前定義されたジェスチャである。第１ジェスチャは、ユーザの手に対応する。第一に、プロセッサ１５０は、画像の手を識別することができる。次に、プロセッサ１５０は、第１画像においてユーザの手によって行われたジェスチャを識別し、識別されたジェスチャが事前定義された第１ジェスチャであるかどうかを比較することができる。

【0019】

一実施形態では、プロセッサ１５０は、第１画像からユーザの手の関節を識別し、ジェスチャ分類子を介して第１画像及び識別されたユーザの手の関節に基づいてユーザの手のジェスチャを予測することができる。具体的には、手の関節の位置は手のジェスチャに関連している。さらに、画像の輪郭、サイズ、テクスチャ、形状、及びその他の特徴は、手のジェスチャに関連している。設計者は、事前定義されたジェスチャを含む多くの画像を訓練サンプルとして準備し、訓練サンプルを使用して、ジェスチャ認識機能で構成されている機械学習アルゴリズム（深層学習、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ）等）によってジェスチャ分類子を訓練することができる。更に、これらの訓練サンプルでは手関節が識別され、手関節は同じジェスチャ分類子又は別のジェスチャ分類子を訓練するための別の訓練サンプルになる。次に、訓練されたジェスチャ分類子を使用して、入力画像で行われるジェスチャを判定することができる。

【0020】

幾つかの実施形態では、プロセッサ１５０は、ユーザの手の識別された関節なしで、単に第１画像に基づいて、ジェスチャを予測し、それから、ユーザの手の識別された関節に基づいて予測されたジェスチャを確定することができる。例えば、図３は、本開示の一例示的実施形態によるジェスチャ分類子の予測を示す概略図である。図３を参照し、ジェスチャを含む画像ＯＭがジェスチャ分類子に入力されると、その特徴が画像ＯＭから抽出される（ステップＳ３０１、即ち、特徴抽出）。例えば、ステップＳ３０１では、プロセッサ１５０は、画像ＯＭのピクセル値を含むフィルターで畳み込み計算を実行し、対応するカーネルを使用して特徴マップを出力する。特徴は、テクスチャ、コーナー、エッジ、又は形状であることができる。次に、プロセッサ１５０は、特徴マップ等のステップＳ３０１から抽出された特徴を分類することができる（ステップＳ３０２、即ち、分類）。なお、１つのジェスチャ分類子は、１つ以上のラベル（即ち、本実施形態の１つ以上のジェスチャ）で構成されている場合がある。ジェスチャ分類子は、判定されたジェスチャを出力することができる。

【0021】

単に画像ＯＭに基づいて１つ又は複数のジェスチャが判定された後、手関節Ｊを識別した画像ＯＭが、同じ又は別のジェスチャ分類子に入力される。同様に、プロセッサ１５０は、手関節Ｊを識別した画像ＯＭに対して特徴抽出（ステップＳ３０１）及び分類（ステップＳ３０２）を実行し、判定されたジェスチャを出力することができる。次いで判定されたジェスチャは、最初に判定されたジェスチャの正しさをチェックするために使用される。例えば、両方の判定されたジェスチャが同じである場合、プロセッサ１５０は、そのジェスチャを確定することができる。判定されたジェスチャが異なる場合、プロセッサ１５０は、別の画像において、そのジェスチャを判定することができる。

【0022】

一実施形態では、プロセッサ１５０は、更にユーザの右手及び左手を識別することができる。これは、プロセッサ１５０が、どちらの手が、ジェスチャを行うか、又は画像キャプチャデバイス１３０にキャプチャされるかを認識していることを意味する（即ち、手は画像キャプチャデバイス１３０の視野（ＦＯＶ）内に配置される）。幾つかの実施形態では、プロセッサ１５０は、ユーザの右手と左手にそれぞれ異なる事前定義ジェスチャ又は同じ事前定義ジェスチャを定義することができる。例えば、１つの機能は、右手又は左手での親指を立てるジェスチャによってトリガされる。別の例では、別の機能が、右手で人差し指を上げるジェスチャによってトリガされ、同じ機能が、左手で小指を上げるジェスチャによってトリガされる。

【0023】

なお、例えば、３Ｄモデルベースのアルゴリズム、骨格ベースのアルゴリズム、外観ベースのモデル、筋電図ベースのモデル等、多くのジェスチャ認識アルゴリズムが存在する。これらのアルゴリズムは、実際の要件に合わせて実装できる。

【0024】

プロセッサ１５０は、第１ジェスチャの識別された結果に応答して、ディスプレイ１２０上のインタラクティブ領域に配置された仮想手及び第１インタラクティブオブジェクトを表示することができる（ステップＳ２３０）。具体的には、識別された結果が第１画像のジェスチャが第１ジェスチャと同一である場合、ユーザの手に対応する仮想手が第１ジェスチャを行う。プロセッサ１５０は、ディスプレイ１２０上に第１ジェスチャを行う仮想手を表示することができ、それにより、ユーザは、彼／彼女が正しいジェスチャを行っているかどうかを認識することができる。但し、第１画像の識別されたジェスチャが第１ジェスチャではない場合でも、プロセッサ１５０は識別されたジェスチャをディスプレイ１２０に表示することができる。更に、第１ジェスチャは、ディスプレイ１２０をトリガし、第１インタラクティブオブジェクトを表示することに用いられる。これは、ユーザが第１ジェスチャを行うまで、第１インタラクティブオブジェクトがディスプレイ１２０に表示されなくすることができることを意味する。第１インタラクティブオブジェクトは、画像、ビデオ、仮想ボール、又はその他の仮想オブジェクトである。第１インタラクティブオブジェクトは、仮想手又はアバターの手のインタラクティブ領域に位置する。これは、仮想の手の指、掌、又はその他の部分が、インタラクティブ領域に位置する任意のオブジェクトと相互作用可能となり得ることを意味する。例えば、インタラクティブ領域において、指が仮想キーに触れたり、又は掌が仮想ボールを持ったりすることができる。なお、インタラクティブ領域の形状と位置は、実際の要求に応じて変更されることができる。更に、仮想手の数は１つ又は２つであることができる。仮想手は、ＸＲでは全身又は半身のアバターの手であることができる。

【0025】

一実施形態では、第１インタラクティブオブジェクトは、相互作用できることをユーザに通知し、ユーザに別のジェスチャの実行を試行させる。即ち、第１インタラクティブオブジェクトは、後続のジェスチャのヒントに関連している。例えば、第１インタラクティブオブジェクトは、仮想ボールであり、ユーザは仮想ボールを持ったり、掴んだりすることを試行することができる。

【0026】

プロセッサ１５０は、第２画像における第２ジェスチャを識別することができる（ステップＳ２５０）。具体的には、第２ジェスチャは、掌を上に向ける、掌を下に向ける、交差させた指、又は拳ジェスチャ等の別の事前定義されたジェスチャであるが、第１ジェスチャとは異なるものである。第２ジェスチャも、ユーザの手に対応する。プロセッサ１５０は、第２画像においてユーザの手によって行われたジェスチャを識別し、識別されたジェスチャが事前定義された第２ジェスチャであるかどうかを比較することができる。

【0027】

一実施形態では、ステップＳ２１０で詳細に述べたように、プロセッサ１５０は、第２画像からユーザの手の関節を識別し、ジェスチャ分類子を介して第２画像及び識別されたユーザの手の関節に基づいてユーザの手のジェスチャを予測することができる。幾つかの実施形態では、ステップＳ２１０で詳細に述べたように、プロセッサ１５０は、ユーザの手の識別された関節なしで、単に第２画像に基づいて、ジェスチャを予測し、次に、ユーザの手の識別された関節に基づいて予測されたジェスチャを確定することができる。

【0028】

プロセッサ１５０は、第２ジェスチャの識別された結果に応答して、ディスプレイ１２０上に仮想手及び第２インタラクティブオブジェクトを表示することができる（ステップＳ２７０）。具体的には、識別された結果が、第２画像のジェスチャが第２ジェスチャと同一であるという場合、ユーザに対応する仮想手が第２ジェスチャを行う。プロセッサ１５０は、ディスプレイ１２０上に第２ジェスチャを行う仮想手を表示することができ、第２ジェスチャを有する手は、インタラクティブ領域内の第１インタラクティブオブジェクトと相互作用することができる。例えば、仮想手が仮想ボールを掴む。幾つかの実施形態では、第１インタラクティブオブジェクトの変形のアニメーションがディスプレイ１２０に表示されることができる。例えば、仮想ボールが握り潰される。但し、第２画像の識別されたジェスチャが第２ジェスチャではない場合でも、プロセッサ１５０は、識別されたジェスチャをディスプレイ１２０に表示することができる。更に、第１インタラクティブオブジェクトは、間違ったジェスチャのために非表示にされることができる。

【0029】

更に、第１ジェスチャと第２ジェスチャの組み合わせを使用して、ディスプレイ１２０をトリガして第２インタラクティブオブジェクトを表示し、第１インタラクティブオブジェクトを非表示にする。これは、ユーザが第１ジェスチャを実行してから第２ジェスチャを実行するまで、第２インタラクティブオブジェクトがディスプレイ１２０に表示されないようにできることを意味する。第１画像で第１ジェスチャが識別された後に第２ジェスチャとは異なる第３ジェスチャが第２画像で識別された場合、第１インタラクティブオブジェクトは、引き続きディスプレイ１２０に表示され、第２インタラクティブオブジェクトは表示されない。第２インタラクティブオブジェクトは、画像、ビデオ、メニュー、又はその他の仮想オブジェクトであることができる。一方、第２ジェスチャが識別されるため、第２ジェスチャのヒントである第１インタラクティブオブジェクトは、表示される必要はない。従って、第１インタラクティブオブジェクトは、ユーザが第１ジェスチャと第２ジェスチャを直感的に組み合わせることを補助することができる。

【0030】

例えば、図４Ａ及び図４Ｂは、本開示の一例示的実施形態によるジェスチャによるインタラクティブオブジェクトのトリガを示す概略図である。図４Ａを参照し、第１ジェスチャとして定義される掌を上に向けるジェスチャは、第１時点で左手を有する第１画像において識別される。掌を上に向けるジェスチャを備えた仮想左手ＬＨと仮想ボールｉｏ１（即ち、第１インタラクティブオブジェクト）がディスプレイ１２０に表示される。図４Ｂを参照し、第２ジェスチャとして定義される拳ジェスチャは、第２時点で左手を有する第２画像において識別される。拳ジェスチャのある仮想左手ＬＨとメインメニューｉｏ２（即ち、第２インタラクティブオブジェクト）が、ディスプレイ１２０に表示される。メインメニューｉｏ２は、友達リスト、地図、アプリストアのアイコン等の複数のアイコンを含む。

【0031】

一実施形態では、第２インタラクティブオブジェクトは、第１メニューと第２メニューを含む。第２メニューは、第１メニューとは異なる。プロセッサ１５０は、右手が識別された場合は、ディスプレイ１２０に第１メニューを表示し、左手が識別された場合は、ディスプレイ１２０に第２メニューを表示する。これは、第１ジェスチャと第２ジェスチャの組み合わせが右手によって行われた場合、第１メニューがディスプレイ１２０に表示されるが、第１ジェスチャと第２ジェスチャの組み合わせが左手で行われた場合、ディスプレイ１２０に第２メニューが表示されることを意味する。

【0032】

例えば、図４Ｂに示すように、第２メニューはメインメニューｉｏ２である。図５Ａ及び図５Ｂは、本開示の一例示的実施形態に基づくジェスチャによるインタラクティブオブジェクトのトリガを示す概略図である。図５Ａを参照し、第１ジェスチャとして定義される掌を上に向けるジェスチャは、第３時点で右手を有する第１画像において識別される。掌を上に向けるジェスチャと仮想ボールｉｏ３を備えた仮想右手ＲＨ（即ち、第１インタラクティブオブジェクト）がディスプレイ１２０に表示される。図５Ｂを参照し、第２ジェスチャとして定義される拳ジェスチャは、第４時点で左手を有する第２画像において識別される。第１ジェスチャを有する仮想右手ＲＨ及びクイック設定メニューｉｏ４（即ち、第２インタラクティブオブジェクト又は第１メニュー）がディスプレイ１２０に表示される。クイック設定メニューｉｏ４は、カメラのオン／オフ、仮想手での特定の動作、メッセージングのアイコン等の複数のアイコンを含む。

【0033】

一実施形態では、第２ジェスチャが検出された場合、プロセッサ１５０はディスプレイ１２０上の第１インタラクティブオブジェクトを更に非表示にすることができる。これは、後続のジェスチャを更に指示する必要がなく、第１インタラクティブオブジェクトが表示されないことを意味する。従って、第２インタラクティブオブジェクトのみがディスプレイ１２０に表示される。図５Ａ及び５Ｂを例にとると、拳ジェスチャが識別された後、仮想ボールｉｏ３は非表示にされる。

【0034】

別の実施形態では、第２インタラクティブオブジェクトがディスプレイ１２０に表示され、第１ジェスチャと第２ジェスチャの識別結果が確定された場合（即ち、第１ジェスチャと第２ジェスチャの組み合わせがユーザによって行われた場合）、プロセッサ１５０はディスプレイ１２０上の第１インタラクティブオブジェクトと第２インタラクティブオブジェクトを非表示にすることができる。従って、ジェスチャによってメニューをオフにすることができる。

【0035】

例えば、図６Ａ及び図６Ｂは、本開示の一例示的実施形態に基づくジェスチャによるインタラクティブオブジェクトのトリガを示す概略図である。図６Ａを参照し、クイック設定メニューｉｏ４がディスプレイ１２０に表示されている。仮想ボールｉｏ３は、右手ＲＨでの掌を上に向けたジェスチャのために表示される。図６Ｂを参照し、右手ＲＨでの拳ジェスチャのため、仮想ボールｉｏ３とクイック設定メニューｉｏ４の両方が非表示にされている。

【0036】

なお、図４Ａ～図６Ｂの第１インタラクティブオブジェクト及び第２インタラクティブオブジェクト及びジェスチャは、実際の要求に応じて変更されることができ、実施形態は、それに限定するものではない。

【0037】

要約すると、上記の例示的実施形態は、ＸＲにおけるジェスチャによる操作方法及びヘッドマウントディスプレイシステムを示した。ジェスチャの組み合わせは２つの画像で識別され、ディスプレイで第２インタラクティブオブジェクトを表示するために用いられる。更に、第２ジェスチャを行うようにさらに促すために、第１ジェスチャが識別された後に第１インタラクティブオブジェクトが表示されることができる。従って、直感的なジェスチャ制御が提供される。

【0038】

当業者であれば明らかであるように、本開示の範囲又は精神から逸脱することなく、本開示の構造に対して様々な修正及び変形を行うことができる。前述の観点において、本開示は、それらが後述の特許請求の範囲及びそれらの均等の範囲内にあるという条件で、本開示の修正及び変形を含むことが意図される。

【産業上の利用可能性】

【0039】

ジェスチャによる操作方法とヘッドマウントディスプレイシステムは、拡張現実に適用できる。

【符号の説明】

【0040】

１００ ヘッドマウントディスプレイシステム
１１０ メモリ
１２０ ディスプレイ
１３０ 画像キャプチャデバイス
１５０ プロセッサ
Ｓ２１０～Ｓ２７０、Ｓ３０１～Ｓ３０２ ステップ
ＯＭ 画像
J 関節
ＬＨ 仮想左手
ｉｏ１ 仮想ボール
ｉｏ２ メインメニュー
ＲＨ 仮想右手
ｉｏ３ 仮想ボール
ｉｏ４ クイック設定メニュー

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【外国語明細書】