特許 7137804 ジェスチャベースインタラクションのための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-07

(45)【発行日】2022-09-15

(54)【発明の名称】ジェスチャベースインタラクションのための方法およびシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220908BHJP

   A63F 13/428 20140101ALI20220908BHJP

   A63F 13/53 20140101ALI20220908BHJP

   A63F 13/55 20140101ALI20220908BHJP

   G06T 13/40 20110101ALI20220908BHJP

【ＦＩ】

G06F3/01 570

G06F3/01 510

A63F13/428

A63F13/53

A63F13/55

G06T13/40

【請求項の数】 21

(21)【出願番号】P 2019511905

(86)(22)【出願日】2017-09-06

(65)【公表番号】

(43)【公表日】2019-12-26

(86)【国際出願番号】 US2017050325

(87)【国際公開番号】W WO2018063759

(87)【国際公開日】2018-04-05

【審査請求日】2019-04-03

【審判番号】

【審判請求日】2021-06-07

(31)【優先権主張番号】201610866360.9

(32)【優先日】2016-09-29

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】15/695,980

(32)【優先日】2017-09-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】510330264

【氏名又は名称】アリババ・グループ・ホールディング・リミテッド

【氏名又は名称原語表記】ＡＬＩＢＡＢＡ ＧＲＯＵＰ ＨＯＬＤＩＮＧ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】ジャン・レイ

(72)【発明者】

【氏名】ドゥ・ウーピン

【合議体】

【審判長】▲吉▼田 耕一

【審判官】稲葉 和生

【審判官】▲高▼瀬 健太郎

(56)【参考文献】

【文献】国際公開第２０１６／０２９１８０（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０５９７５１５８（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１５／０２１２５８５（ＵＳ，Ａ１）

【文献】４Ｇａｍｅｒ．ｎｅｔ，「ハドソン，Ｋｉｎｅｃｔ専用タイトル第１弾「ＤＥＣＡ ＳＰＯＲＴＡ ＦＲＥＥＤＯＭ」を１２月１６日に発売。この冬は世界中のプレイヤーと１０種目の競技で対戦しよう」，［ｏｎｌｉｎｅ］，インターネット・アーカイブ ウェイバック・マシン（Ｉｎｔｅｒｎｅｔ Ａｒｃｈｉｖｅ Ｗａｙｂａｃｋ Ｍａｃｈｉｎｅ）の保存日：２０１０年９月１５日，［２０２２年３月１５日検索］，インターネット＜ＵＲＬ： ｈｔｔｐｓ：／／ｗｅｂ．ａｒｃｈｉｖｅ．ｏｒｇ／ｗｅｂ／２０１００９１５００００００＊／ｈｔｔｐｓ：／／ｗｗｗ．４ｇａｍｅｒ．ｎｅｔ／ｇａｍｅｓ／１１９／Ｇ０１１９８８／２０１００９０８０４５／＞

【文献】根津 禎，「Ｋｉｎｅｃｔに見るジェスチャー入力の可能性」，日経エレクトロニクス 第１０４６号、日経ＢＰ社，２０１０年１２月２７日，第７３～８５頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F3/01

G06T19

A63F13

(57)【特許請求の範囲】

【請求項1】

方法であって、
ユーザの指関節の状態を認識することを含む、ジェスチャ認識を実行し、異なる指関節は、仮想オブジェクト上の異なる位置に対応し、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定し、前記ジェスチャは、前記ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力し、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせることであって、前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの前記異なる位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、前記仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせること、
を備える、方法。

【請求項2】

請求項１に記載の方法であって、
前記仮想オブジェクトを表示することは、
前記ジェスチャに基づいて前記仮想オブジェクトの表示属性を決定し、対応する表示を提供すること、
前記ジェスチャに基づいて前記仮想オブジェクトの形態を決定し、対応する表示を提供すること、
前記ジェスチャに基づいて前記仮想オブジェクトの姿勢を決定し、対応する表示を提供すること、および、
前記ジェスチャに基づいて前記仮想オブジェクトの空間位置を決定し、対応する表示を提供すること、の内の少なくともいずれか１つを含む、方法。

【請求項3】

請求項１に記載の方法であって、前記ジェスチャに関連付けられている前記仮想オブジェクトは、２以上の仮想オブジェクトを含む、方法。

【請求項4】

請求項１に記載の方法であって、
前記ジェスチャに関連付けられている２以上の仮想オブジェクトが存在するとの判定に応じて、ユーザの手における異なる位置は個々の仮想オブジェクトに関連し、
前記ジェスチャに応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることは、
前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることを含む、方法。

【請求項5】

請求項１に記載の方法であって、
前記ジェスチャに関連付けられている２以上の仮想オブジェクトが存在するとの判定に応じて、ユーザの手における異なる位置は、対応する仮想オブジェクトに関連し、
前記ジェスチャに応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることは、
前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることを含み、
前記ユーザの手における前記異なる位置は、
前記ユーザの手の異なる指、
前記ユーザの手の異なる指関節、または、
それらの組み合わせ、を含む、方法。

【請求項6】

請求項１に記載の方法であって、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることは、
前記ジェスチャ内の動作情報に基づいて、前記仮想オブジェクトによって動作を実行することを含み、
前記ジェスチャ内の前記動作情報は、動きの軌道、動きの速度、動きの大きさ、回転角度、手の状態、または、それらの任意の組み合わせを含む、方法。

【請求項7】

請求項１に記載の方法であって、前記アプリケーションシナリオは、仮想現実（ＶＲ）アプリケーションシナリオ、拡張現実（ＡＲ）アプリケーションシナリオ、または、複合現実（ＭＲ）アプリケーションシナリオ、を含む、方法。

【請求項8】

請求項１に記載の方法であって、現在のアプリケーションは、前記アプリケーションシナリオを含む、方法。

【請求項9】

方法であって、
ジェスチャを取得するためにジェスチャ認識技術を実行し、前記ジェスチャを取得するためにジェスチャ認識技術を実行することは、ユーザの指関節の状態を認識することを含み、異なる指関節は、仮想オブジェクト上の異なる位置に対応し、
前記ジェスチャに応じて、前記仮想オブジェクトを、前記ジェスチャに関連付けられている動作させ、前記ジェスチャに応じて、前記仮想オブジェクトを、前記ジェスチャに関連付けられている動作させることは、前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの対応する位置に、前記ジェスチャに関連付けられている前記動作をさせることを含み、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定し、前記ジェスチャは、前記ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力し、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更すること、
を備える、方法。

【請求項10】

請求項９に記載の方法であって、
前記仮想オブジェクトを表示することは、
前記ジェスチャに基づいて前記仮想オブジェクトの表示属性を決定し、対応する表示を提供し、
前記ジェスチャに基づいて前記仮想オブジェクトの形態を決定し、対応する表示を提供し、
前記ジェスチャに基づいて前記仮想オブジェクトの姿勢を決定し、対応する表示を提供し、および、
前記ジェスチャに基づいて前記仮想オブジェクトの空間位置を決定し、対応する表示を提供することの内の少なくともいずれか１つを含む、方法。

【請求項11】

方法であって、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定し、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記ジェスチャに関連付けられている前記仮想オブジェクトは、２以上の仮想オブジェクトを含み、前記ジェスチャに関連付けられている前記２以上の仮想オブジェクトが存在するとの判定に応じて、前記ユーザの手における異なる位置は個々の仮想オブジェクトに関連し、前記ユーザの手における前記異なる位置は、前記ユーザの手の異なる指、前記ユーザの手の異なる指関節、または、それらの任意の組みあわせを含み、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力し、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更し、前記仮想オブジェクトが表示される方法を変更することは、前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記対応する仮想オブジェクトが表示される前記方法を変更することを含む、
方法。

【請求項12】

請求項９に記載の方法であって、
前記仮想オブジェクトが表示される前記方法を変更することは、
前記仮想オブジェクトの表示属性を変更すること、
前記仮想オブジェクトの形態を変更すること、
前記仮想オブジェクトの姿勢を変更すること、
前記仮想オブジェクトの空間位置を変更すること、または、
それらの任意の組み合わせ、を含む、方法。

【請求項13】

請求項９に記載の方法であって、
前記アプリケーションシナリオは、
仮想現実（ＶＲ）アプリケーションシナリオ、または、
拡張現実（ＡＲ）アプリケーションシナリオ、または、
複合現実（ＭＲ）アプリケーションシナリオ
を含む、方法。

【請求項14】

請求項９に記載の方法であって、
現在のアプリケーションが、１または複数のアプリケーションシナリオを含む、方法。

【請求項15】

コンピュータプログラムであって、
ジェスチャ認識を実行する機能であって、ユーザの指関節の状態を認識することを含むジェスチャ認識を実行する機能と、異なる指関節は、仮想オブジェクト上の異なる位置に対応し、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定するための機能と、前記ジェスチャは、前記ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定するための機能は、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得するための機能と、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定するための機能と、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力するための機能と、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせるための機能であって、前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの前記異なる位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせるための機能と、
をコンピュータによって実現させる、コンピュータプログラム。

【請求項16】

コンピュータプログラムであって、
ジェスチャを取得するためにジェスチャ認識技術を実行するための機能であって、ユーザの指関節の状態を認識することを含むジェスチャ認識技術を実行するための機能と、異なる指関節は、仮想オブジェクト上の異なる位置に対応し、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせるための機能であって、前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの対応する位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせるための機能と、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定するための機能と、前記ジェスチャは、前記ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定するための機能は、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得するための機能と、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定するための機能と、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力するための機能と、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更するための機能と、
をコンピュータによって実現させる、コンピュータプログラム。

【請求項17】

システムであって、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
ジェスチャ認識を実行することであって、ユーザの指関節の状態を認識することを含むジェスチャ認識を実行することと、異なる指関節は、仮想オブジェクト上の異なる位置に対応し、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定することと、前記ジェスチャは、前記ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力することと、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせることであって、前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの前記異なる位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせることと、を前記プロセッサに実行させる、システム。

【請求項18】

システムであって、
ディスプレイと、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
ジェスチャを取得するためにジェスチャ認識技術を実行することであって、ユーザの指関節の状態を認識することを含むジェスチャ認識技術を実行することと、異なる指関節は、仮想オブジェクト上の異なる位置に対応し、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせることであって、前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの対応する位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせることと、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定することと、前記ジェスチャは、前記ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力することと、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせることと、を前記プロセッサに実行させる、システム。

【請求項19】

システムであって、
ディスプレイと、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
ジェスチャを取得するためにジェスチャ認識技術を実行することであって、ユーザの指関節の状態を認識することを含むジェスチャ認識技術を実行することと、異なる指関節は、仮想オブジェクト上の異なる位置に対応し、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせることであって、前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの対応する位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせること、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定することと、前記ジェスチャは、前記ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力することと、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更することと、を前記プロセッサに実行させる、システム。

【請求項20】

システムであって、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定し、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記ジェスチャに関連付けられている前記仮想オブジェクトは、２以上の仮想オブジェクトを含み、前記ジェスチャに関連付けられている前記２以上の仮想オブジェクトが存在するとの判定に応じて、前記ユーザの手における異なる位置は個々の仮想オブジェクトに関連し、前記ユーザの手における前記異なる位置は、前記ユーザの手の異なる指、前記ユーザの手の異なる指関節、または、それらの任意の組みあわせを含み、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力し、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更し、前記仮想オブジェクトが表示される方法を変更することは、前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記対応する仮想オブジェクトが表示される前記方法を変更すること、を前記プロセッサに実行させる、システム。

【請求項21】

コンピュータプログラムであって、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定するための機能と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムが備えるカメラによって検出され、前記ジェスチャに関連付けられている前記仮想オブジェクトは、２以上の仮想オブジェクトを含み、前記ジェスチャに関連付けられている前記２以上の仮想オブジェクトが存在するとの判定に応じて、前記ユーザの手における異なる位置は個々の仮想オブジェクトに関連し、前記ユーザの手における前記異なる位置は、前記ユーザの手の異なる指、前記ユーザの手の異なる指関節、または、それらの任意の組みあわせを含み、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定するための機能は、
アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、を含み、前記対応関係は、予め規定されているか、または、予め設定されており、
表示される前記仮想オブジェクトを出力するための機能と、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更するための機能であって、前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記対応する仮想オブジェクトが表示される前記方法を変更することを含む、前記仮想オブジェクトが表示される方法を変更するための機能と、
をコンピュータによって実現させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

他の出願の相互参照
本願は、２０１６年９月２９日に出願された発明の名称を「Ａ ＧＥＳＴＵＲＥ－ＢＡＳＥＤ ＩＮＴＥＲＡＣＴＩＯＮ ＭＥＴＨＯＤ ＡＮＤ ＭＥＡＮＳ」とする中国特許出願第２０１６１０８６６３６０．９号に基づく優先権を主張する。当該出願は、すべての目的のために参照により本明細書に組み込まれる。

【0002】

本願は、ジェスチャベースインタラクションのための方法およびシステムに関する。

【背景技術】

【0003】

ヴァーチャルリアリティ（ＶＲ）は、仮想世界の創造および体験を可能にするコンピュータシミュレーション技術に関する。ＶＲ技術は、コンピュータに基づいてシミュレーション環境を生み出す。ＶＲ技術は、複数の情報源を融合してユーザを環境に没頭させる、インタラクティブ、三次元、動的、視覚的、および、身体的な活動システムシミュレーションである。ＶＲ技術は、コンピュータグラフィクスヒューマンマシンインターフェース技術、マルチメディア技術、検知技術、ネットワーク技術、および、その他の技術と組み合わせられたシミュレーション技術である。ＶＲ技術は、頭部の回転と、目、手、または、その他の身体部位の動きに基づいて、参加者の動きに適合されたデータを処理し、コンピュータを用いてユーザ入力へのリアルタイムな応答を生成することができる。

【0004】

拡張現実（ＡＲ）技術は、コンピュータ技術に基づいて現実世界に仮想情報を適用する。ＡＲ技術は、実際の環境および仮想オブジェクトが同時に存在するように、実際の環境および仮想オブジェクトを同じタブローまたは空間に重ね合わせる。

【0005】

複合現実（ＭＲ）技術は、拡張現実および拡張仮想（ＡＶ）を含む。ＡＶとは、仮想世界に現実世界のオブジェクトを融合させることである。ＭＲ技術とは、現実と仮想世界とを組み合わせることによって生成された新たな可視化環境のことである。新たな可視化環境では、物理的オブジェクトおよび仮想オブジェクト（すなわち、デジタルオブジェクト）が、リアルタイムに共存して相互作用する。

【0006】

ＶＲ、ＡＲ、または、ＭＲ技術では、１つのアプリケーションが、多くのアプリケーションシナリオを有することができ、異なるアプリケーションシナリオにおける同じユーザジェスチャは、動作のために異なる仮想オブジェクトを必要としうる。現在、ジェスチャベースのインタラクションをこれらのマルチシナリオアプリケーションのためにどのように達成するのかについては、すぐに使える解決策がない。異なる仮想オブジェクトに関連する異なるジェスチャ、異なる指、または、異なる指関節で、ＶＲ、ＡＲ、または、ＭＲ技術をユーザに制御させる解決策が求められている。

【図面の簡単な説明】

【0007】

以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。

【0008】

【図1】ジェスチャベースインタラクションのためのシステムの一実施形態を示す機能構造ブロック図。

【0009】

【図2】ジェスチャベースインタラクションのための処理の一実施形態を示すフローチャート。

【0010】

【図3】指と、仮想オブジェクト上の対応する位置との間の関連の一実施形態を示す関連図。

【0011】

【図4】ジェスチャベースインタラクションのための処理の別の実施形態を示すフローチャート。

【0012】

【図5】ジェスチャベースインタラクションのための処理の別の実施形態を示すフローチャート。

【0013】

【図6】ジェスチャベースインタラクションのためにプログラムされたコンピュータシステムを示す機能図。

【発明を実施するための形態】

【0014】

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

【0015】

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術要素については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

【0016】

本願の一実施形態は、ジェスチャベースインタラクションのための処理を含む。処理は、複数のアプリケーションシナリオを備えたＶＲ、ＡＲ、または、ＭＲアプリケーションで適用されてよく、また、複数のアプリケーションシナリオを有する同様のアプリケーションに適しうる。アプリケーションシナリオは、アプリケーションが動作する特定のモードに関連しうる。

【0017】

いくつかの実施形態において、マルチシナリオアプリケーションは、複数のアプリケーションシナリオを有し、複数のアプリケーションの間の切り替えが可能である。例えば、スポーツ関連のＶＲアプリケーションは、卓球シングルスマッチのシナリオ、バドミントンシングルスマッチのシナリオ、などの多くのスポーツシナリオを有する。ユーザは、様々なスポーツシナリオから選択できる。別の例において、疑似戦闘ＶＲアプリケーションは、射撃シナリオ、接近戦シナリオ、などの多くの戦闘シナリオを含む。疑似戦闘ＶＲアプリケーションは、ユーザ選択およびアプリケーション設定に基づいて、異なる戦闘シナリオの間で切り替えることができる。いくつかの実施形態において、或るアプリケーションが、別のアプリケーションを呼び出すことができる。したがって、複数のアプリケーションの間での切り替えが起こりうる。かかる状況では、１つのアプリケーションが、１つのアプリケーションシナリオに対応しうる。

【0018】

アプリケーションシナリオは、事前に規定されてもよいし、サーバによって設定されてもよい。例えば、マルチシナリオアプリケーションの場合、シナリオ分割が、アプリケーションの構成ファイルまたはアプリケーションのコーディングにおいて事前に規定されるか、もしくは、サーバによって設定されうる。端末が、アプリケーションの構成ファイル内に、サーバによって分割されたシナリオに関連する情報を格納しうる。端末は、パーソナルコンピュータ（ＰＣ）、携帯電話、タブレット、組み込みデバイスなどに関係しうる。別の例において、アプリケーションシナリオのパーティションは、アプリケーションの構成ファイルまたはアプリケーションのコーディング内に事前に規定される。次に、サーバは、アプリケーションシナリオを再分割し、マルチシナリオアプリケーションの柔軟性を高めるために、再分割されたアプリケーションシナリオに関する情報を端末に送信することができる。

【0019】

異なるアプリケーションシナリオに対処するために、対応するアプリケーションシナリオに対して仮想オブジェクトに関連するジェスチャが設定されうる。ジェスチャは、身体の部分の動きに関係する。アプリケーションシナリオの下で、ジェスチャが検出されると、仮想オブジェクトが呼び出される。仮想オブジェクトは、デジタルオブジェクトと呼んでもよい。仮想オブジェクトは、コンピュータ技術を用いて生成することができ、端末によって表示することができる。

【0020】

上述のスポーツ関連ＶＲアプリケーションの一例を用いると、卓球シングルスマッチシナリオでは、ユーザジェスチャが、このシナリオの参加者の手の中のラケットに関連付けられる。バドミントンシングルマッチシナリオでは、ユーザジェスチャが、このシナリオの参加者の手の中のラケットに関連付けられる。さらに別の例において、疑似戦闘仮想現実アプリケーションに関しては、射撃シナリオの場合、ユーザジェスチャが、ピストルに関連付けられる。さらに別の例において、接近戦シナリオに関しては、ユーザジェスチャが、ナイフに関連付けられる。

【0021】

対応するアプリケーションシナリオの下でのジェスチャと仮想オブジェクトとの関係性が、予め規定されうる。例えば、マルチシナリオアプリケーションの場合、アプリケーションシナリオの下でのジェスチャおよび仮想オブジェクトの間の対応関係が、アプリケーションの構成ファイルまたはアプリケーションのコーディングにおいて予め規定されうる。対応関係は、例えば、パペットの四肢を制御するための人差し指の動き、ナイフの動きを制御するための手のひらの状態、などを含みうる。別の例において、対応関係は、サーバによって設定されうる。端末が、アプリケーションの構成ファイル内に、サーバによって設定された対応関係を格納しうる。別の例において、対応関係は、アプリケーションの構成ファイルまたはアプリケーションのコーディング内に事前に規定される。その後、サーバは、必要であれば、アプリケーションシナリオの下でのジェスチャおよび仮想オブジェクトの間の対応関係をリセットして、リセットした対応関係を端末に送信することで、マルチシナリオアプリケーションの柔軟性を高めることができる。

【0022】

アプリケーションシナリオの下でのジェスチャおよび仮想オブジェクトの間の対応関係の一例を以下に述べる。

【0023】

疑似果物カットＶＲアプリケーションに関して、ユーザジェスチャは、「果物ナイフ」に関連付けられる。「果物ナイフ」は、疑似果物カットＶＲアプリケーションにおける仮想オブジェクトに対応する。このＶＲアプリケーションを実行すると、端末は、キャプチャおよび認識されたユーザジェスチャ（例えば、手のひらで前後にスライスする動きなど）に基づいて、ＶＲアプリケーションインターフェースに「果物ナイフ」を表示しうる。さらに、「果物ナイフ」は、ＶＲアプリケーションインターフェース内で果物を切る視覚的効果を生み出すように、ユーザジェスチャに合わせて動きうる。

【0024】

疑似パペット操作ＶＲアプリケーションに関しては、「パペット」に関連付けられているユーザジェスチャが、複数の指の動き、腕を上下させる動き、または、それらの組み合わせを介して制御されうる。「パペット」は、疑似パペット操作ＶＲアプリケーション内の仮想オブジェクトである。ＶＲアプリケーションを実行すると、端末は、キャプチャおよび認識されたユーザジェスチャに基づいて、ＶＲアプリケーションのインターフェースに表示された「パペット」の動き（例えば、異なる方向への動き）を制御しうる。

【0025】

さらに、「パペット」のより柔軟かつ正確な操作のために、ユーザの手の全部または一部の指が、「パペット」上の対応する位置に関連しうる。換言すると、端末は、キャプチャおよび認識されたユーザジェスチャにおける指の動きまたは状態に基づいて、ＶＲアプリケーションのインターフェースに表示された「パペット」の対応する位置の動きを制御しうる。例えば、指の全部または一部が、「パペット」の四肢の動きを制御することで、仮想オブジェクトのより繊細な操作を達成できる。

【0026】

さらに、ユーザの手の全部または一部の指が、「パペット」上の対応する位置に関連しうる。このように、端末は、キャプチャおよび認識されたユーザジェスチャにおける指の動きまたは状態に基づいて、ＶＲアプリケーションのインターフェースに表示された「パペット」の対応する位置の動きを制御しうる。一例として、人差し指の動きが、「パペット」の頭部を制御する。別の例において、キャプチャおよび認識されたユーザジェスチャの指の動きまたは状態は、「パペット」の四肢の動きを制御することで、仮想オブジェクトのより繊細な操作を達成できる。中指と薬指の動きが、「パペット」の腕を制御しうる。

【0027】

さらに、ユーザの手の指関節が、「パペット」上の対応する位置に関連しうる。このように、端末は、キャプチャおよび認識されたユーザジェスチャにおける指関節の動きまたは状態に基づいて、ＶＲアプリケーションのインターフェースに表示された「パペット」の対応する位置の動きを制御することで、仮想オブジェクトのより繊細な制御を達成しうる。人差し指の関節が、「パペット」の頭部を制御し、中指の関節が、「パペット」の胴体を制御し、薬指の関節が、「パペット」の脚を制御しうる。

【0028】

指および指関節は、互いに組み合わせられて、「パペット」上の対応する位置に関連付けられてもよい。例えば、「パペット」上のいくつかの位置が指に関連し、「パペット」上の他の位置が関節に関連しうる。

【0029】

疑似戦闘ＶＲアプリケーションの射撃シナリオにおいて、ユーザの手が、「銃」に関連付けられてよく、接近戦シナリオにおいて、ユーザの手が、「ナイフ」に関連付けられてよい。「銃」および「ナイフ」はいずれも、疑似戦闘ＶＲアプリケーションにおける仮想オブジェクトである。したがって、異なるアプリケーションシナリオにおいて、関連する仮想オブジェクトが、ユーザジェスチャに基づいて表示されうる。さらに、仮想オブジェクトの様々な状態および動きが、ユーザジェスチャによって制御されうる。

【0030】

さらに、ユーザの手の指関節が、「銃」上の対応する位置に関連しうる。一例として、端末は、キャプチャおよび認識されたユーザジェスチャ（例えば、引き金を引くジェスチャ、など）における指関節の動きまたは状態に基づいて、銃の動作を制御しうる。したがって、仮想オブジェクトのより繊細な制御が達成されうる。

【0031】

一部のビデオ再生アプリケーションまたはソーシャルネットワーキングアプリケーションの場合、ユーザジェスチャが、仮想入力デバイス（例えば、仮想キーボードまたは仮想マウスなど）に関連付けられうる。例えば、ユーザの手の指関節の位置が、仮想入力デバイス上の対応する位置に関連付けられる。例えば、ユーザの手の指関節は、仮想マウスの左または右のキーもしくは仮想キーボードの様々なキーに関連付けられる。このように、仮想入力デバイスは、ユーザジェスチャに基づいて作動され、仮想デバイスの動作に基づいて応答を提供できる。

【0032】

一例として、右手を例に取ると、ユーザの親指の位置（上または下）が仮想キーボード上の文字Ａに関連付けられ、ユーザの人差し指（親指の隣）の第１関節（指先に近い関節）の位置が文字Ｂに関連付けられ、ユーザの人差し指の第２関節の位置が文字Ｆに関連付けられ、ユーザの中指（人差し指の隣）の第１関節の位置が文字Ｃに関連付けられ、ユーザの中指の第２関節の位置が文字Ｇに関連付けられ、ユーザの薬指（中指の隣）の第１関節の位置が文字Ｄに関連付けられ、ユーザの薬指の第２関節の位置が文字Ｈに関連付けられ、ユーザの小指（小指の隣）の第１関節の位置が文字Ｅに関連付けられ、ユーザの小指の第２関節の位置が文字Ｉに関連付けられてよい。したがって、ユーザは、様々な指を用いてジェスチャすることによって、任意の文字Ａ～Ｉをタイプできる。文字は、ユーザの右手の様々な関節上の異なる位置に再対応付けされてもよいし、ユーザの左手が用いられてもよい。文字および様々な関節の対応付けに制限はない。

【0033】

他のアプリケーションシナリオについて、ユーザジェスチャは、複数の仮想オブジェクトに関連付けられてもよい。例えば、異なる指が、対応する仮想オブジェクトに関連付けられるか、または、異なる指関節が、異なる仮想オブジェクトに関連付けられる。例えば、人差し指および中指を合わせることが、「パペット」の口を開く制御に関連する。別の例において、１本の指で小さな「パペット」を制御し、ここで、第１指関節で「パペット」の頭部を制御し、第２関節で「パペット」の胴体を制御し、第３関節で「パペット」の脚を制御してもよい。

【0034】

いくつかの実施形態において、マルチシナリオアプリケーションを実行する端末は、マルチシナリオアプリケーションを実行できる電子デバイスである。端末は、ジェスチャをキャプチャするために用いられる構成要素、アプリケーションシナリオに基づいて、そのアプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定し、ジェスチャに基づいて、関連する仮想オブジェクトに動作を実行するための構成要素、表示のための構成要素などを備えてよい。端末が仮想現実アプリケーションを実行する例において、ジェスチャキャプチャ構成要素は、赤外線カメラまたはその他の種類のセンサ（光学センサまたは加速度計など）を備えてよく、表示構成要素は、仮想現実シナリオ画像を表示する、ジェスチャに基づいて反応動作結果を提供するなどしてよい。いくつかの実施形態において、ジェスチャキャプチャ構成要素、表示構成要素などは、端末と一体化される必要はなく、その代わり、端末に接続された外部構成要素であってもよい。

【0035】

図１は、ジェスチャベースインタラクションのためのシステムの一実施形態を示す機能構造ブロック図である。いくつかの実施形態において、システム１００は、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、適応的インタラクションモジュール１３０、対応関係モジュール１４０、および、表示処理モジュール１５０を備える。

【0036】

いくつかの実施形態において、シナリオ認識モジュール１１０は、アプリケーションシナリオを認識するよう構成される。 様々なアプリケーションシナリオが、従来のシーン認識技術によって認識されうる。

【0037】

いくつかの実施形態において、ジェスチャ認識モジュール１２０は、ユーザジェスチャを認識するよう構成される。様々なユーザジェスチャが、従来のジェスチャ認識技術によって認識されうる。ユーザジェスチャ認識結果は、指の状態および動き、指関節の状態および動き、手の位置の状態、および／または、適切なジェスチャの状態および動きを含みうる。

【0038】

いくつかの実施形態において、適応的インタラクションモジュール１３０は、認識されたアプリケーションシナリオに基づいて、対応関係モジュール１４０にクエリするよう構成される。対応関係モジュール１４０は、そのアプリケーションシナリオの下でのユーザジェスチャおよびそれに関連付けられている仮想オブジェクトの間の対応関係を決定し、ジェスチャ認識結果に基づいて、仮想オブジェクトに対する動作を実行するよう構成される。

【0039】

いくつかの実施形態において、表示処理モジュール１５０は、適応的インタラクションの結果に基づいて表示を提供するよう構成される。例えば、表示処理モジュール１５０は、ジェスチャ制御の下で仮想オブジェクトの様々な動きまたは状態を表示に向けて処理する。

【0040】

上述のシステム１００は、コンピュータプログラムよって、または、ハードウェアと組み合わせたコンピュータプログラムによって実施されてよい。例えば、システム１００は、仮想現実ヘッドセットなど、ジェスチャベースインタラクティブ手段によって実施されてよい。

【0041】

上述のモジュールは、１または複数の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、特定の機能を実行するよう設計されたプログラム可能論理デバイスおよび／または特定用途向け集積回路などのハードウェアとして、もしくは、それらの組み合わせとして実装することができる。いくつかの実施形態において、モジュールは、コンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワーク装置など）に本発明の実施形態に記載された方法を実行させるための複数の命令など、不揮発性記憶媒体（光学ディスク、フラッシュ記憶装置、携帯用ハードディスクなど）に格納することができるソフトウェア製品の形態で具現化されてよい。モジュールは、単一のデバイス上に実装されてもよいし、複数のデバイスにわたって分散されてもよい。モジュールの機能は、互いに統合されてもよいし、複数のサブモジュールにさらに分割されてもよい。

【0042】

本明細書に開示の実施形態に照らして説明した方法またはアルゴリズム工程は、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または、両方の組み合わせを用いて実施されうる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、メモリ、リードオンリーメモリ（ＲＯＭ）、電気的プログラム可能ＲＯＭ、電気的消去可能プログラム可能ＲＯＭ、レジスタ、ハードドライブ、リムーバブルディスク、ＣＤ－ＲＯＭ、または、任意の他の形態の当業者に周知の記憶媒体内にインストールされてよい。

【0043】

上述した機能構造ブロック図に基づいて、図２は、本願の一実施形態によって提供されるジェスチャベースインタラクション処理の例を提示する。

【0044】

図２は、ジェスチャベースインタラクションのための処理の一実施形態を示すフローチャートである。いくつかの実施形態において、処理２００は、図１のシステム１００で動作するオペレーティングシステムによって実施され、以下の動作を備える。

【0045】

動作２１０では、第１アプリケーションシナリオの下で第１ジェスチャに関連付けられている仮想オブジェクトが、第１アプリケーションシナリオに基づいて決定される。

【0046】

「第１アプリケーションシナリオ」は、単に議論のために用いられ、或るタイプまたはカテゴリのアプリケーションシナリオを指すものではない。

【0047】

第１アプリケーションシナリオを含む特定の実施例において、システムは、そのアプリケーションシナリオの下でのジェスチャおよび仮想オブジェクトの間の対応関係を取得し、対応関係に基づいて、第１アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定することができる。上述のように、対応関係は、予め規定されてもよいし、サーバによって設定され、要求に応じてシステムに送信されてもよい。

【0048】

いくつかの実施形態において、仮想オブジェクト決定動作で、ジェスチャ認識が最初に行われ、次いで、システムが、ジェスチャ認識の行われた第１アプリケーションシナリオに基づいて、第１アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定する。

【0049】

いくつかの実施形態において、システムは、ユーザジェスチャのキャプチャについて複数のモードをサポートする。例えば、赤外線カメラが、画像のキャプチャに用いられ、システムは、キャプチャされた画像にジェスチャ認識を実行することによってユーザジェスチャを取得する。このアプローチがジェスチャをキャプチャするために用いられた場合、システムは、素手でのジェスチャまたは手のひらのジェスチャをキャプチャできる。例えば、素手でのジェスチャは、引き金を引くように拳を握ることに関連しうる。

【0050】

いくつかの実施形態において、ジェスチャ認識動作の精度を高めるために、赤外線カメラによってキャプチャされた画像は、ノイズ除去のために前処理される。例えば、画像前処理動作は、以下を含みうる。

【0051】

画像補正。輝度補正は、外部照明が不十分であるかまたは強すぎる場合に実行される。輝度補正は、ジェスチャ検出精度および認識精度を高めることができる。例えば、いくつかの実施形態において、輝度パラメータ検出が、以下のように実行される。ビデオフレームの平均輝度（Ｙ）値を計算し、閾値Ｔを用いる。Ｙ＞Ｔであれば、結果は、輝度が高すぎることを示す。そうでなければ、輝度は、比較的薄暗いことを示す。さらに、非線形アルゴリズムが、Ｙ補正（Ｙ’＝Ｙ＊ａ＋ｂなど）を算出するために用いられてよい。パラメータａおよびｂの値は、経験から導出されうる。

【0052】

画像２値化。画像２値化とは、画像上のピクセル点のグレースケール値を０または２５５に設定することである。換言すると、画像２値化は、画像全体が明らかな白黒効果を示すようにすることに関する。

【0053】

グレースケール画像変換。ＲＧＢ（赤－緑－青）モデルにおいて、Ｒ＝Ｇ＝Ｂである場合、色はグレースケール色として表現され、Ｒ＝Ｇ＝Ｂの値はグレースケール値と呼ばれる。したがって、グレースケール画像の各ピクセルは、グレースケール値（強度値または輝度値とも呼ばれる）を格納するたった１バイトに対応しうる。グレースケール値の範囲は、０～２５５である。

【0054】

ノイズ除去。ノイズ除去は、画像からのノイズ点の除去に関する。このノイズ除去は、帯域通過フィルタを画像に適用することによって実行されうる。

【0055】

特定の実施の際、システムは、ジェスチャ精度要件および性能要件（例えば、応答速度など）に基づいて、画像の前処理を実行するか、または、利用する画像処理技術を決定するか、を決定できる。

【0056】

ジェスチャ認識中、ジェスチャは、ジェスチャ分類モデルに基づいて認識されうる。ジェスチャがジェスチャ分類モデルに基づいて認識される時、ジェスチャ分類モデルのための入力パラメータは、赤外線カメラによってキャプチャされた画像であってよく、出力パラメータは、ジェスチャタイプであってよい。ジェスチャ分類モデルは、サポートベクターマシン（ＳＶＭ）、畳み込みニューラルネットワーク（ＣＮＮ）、ディープラーニング（ＤＬ）アルゴリズム、または、その他のかかるアルゴリズムに基づいた学習アプローチを用いて取得されてよい。

【0057】

いくつかの実施形態において、仮想オブジェクトのより正確な制御を達成するために、システムは、ジェスチャ認識中にユーザの指関節の状態を認識する。いくつかの実施形態では、異なる指関節が、仮想オブジェクト上の異なる位置に対応する。したがって、第１アプリケーションシナリオの下でジェスチャに基づいて仮想オブジェクトに動作を実行する時、システムは、第１アプリケーションシナリオの下でジェスチャにおける異なる指関節の状態に基づいて、仮想オブジェクト上の対応する位置に動作を実行しうる。関節の認識のための具体的な技術は、Ｋｉｎｅｃｔアルゴリズムに関連しうる。関節認識の実行に用いる関節情報を取得するために、手のモデリングを用いることができる。

【0058】

動作２２０では、決定された仮想オブジェクトは、表示のために出力される。システムは、表示のために仮想オブジェクトを出力する処理を実行できる。

【0059】

仮想オブジェクトが表示されている場合、システムは、第１ジェスチャの現在の状態に基づいて、仮想オブジェクトを表示に向けて出力しうる。例えば、システムは、以下のうちの少なくとも１つを決定するよう構成されてよい。

【0060】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの表示属性を決定し、対応する表示を提供できる。仮想オブジェクトの表示属性は、色、透明度、グラデーション効果、または、それらの任意の組みあわせを含みうる。

【0061】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの形態を決定し、対応する表示を提供できる。この点に関して、仮想オブジェクトの状態は、仮想オブジェクトの長さ、幅、および、高さ、仮想オブジェクトの形状、もしくは、それらの組み合わせを含みうる。形態は、ナイフ、銃、剣などを含みうる。

【0062】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの姿勢を決定し、対応する表示を提供できる。仮想オブジェクトの姿勢は、仰角、回転角、偏角、または、それらの任意の組みあわせを含みうる。

【0063】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの空間位置を決定し、対応する表示を提供できる。仮想オブジェクトの空間位置は、現在のアプリケーションシナリオ画像における仮想オブジェクトの被写界深度を含みうる。

【0064】

ＶＲについて、システムは、現在シミュレートされている第１アプリケーションシナリオ内に、決定された仮想オブジェクトを表示しうる。ＡＲについて、システムは、実際のシーンに重ね合わせられた現在のシミュレーションを含む第１アプリケーションシナリオ内に、決定された仮想オブジェクトを表示しうる。ＭＲについて、システムは、実際のシーンと融合された（または組み合わせられた）現在のシミュレーションを含む第１アプリケーションシナリオ内に、決定された仮想オブジェクトを表示しうる。

【0065】

動作２３０において、受信された第１ジェスチャ動作に応答して、システムは、決定された仮想オブジェクトに、第１ジェスチャ動作と関連する動作をさせる。

【0066】

いくつかの実施形態において、システムは、第１ジェスチャ動作内の以下の動作情報に基づいて、仮想オブジェクトに対して動作を実行する。第１ジェスチャ動作内の動作情報は、動きの軌道、動きの速度、動きの大きさ、回転角度、手の状態、または、それらの任意の組みあわせを含みうる。

【0067】

いくつかの実施形態において、手の状態は、手のひら全体の状態（例えば、手のひらが上向きまたは手のひらが下向き）、指の状態、指関節の状態、または、それらの任意の組み合わせを含む。いくつかの実施形態において、状態は、姿勢、指が曲げられているか否か、指を曲げている方向、および／または、ユーザの手の状態に関する任意のその他の適切な情報を含む。手の姿勢は、仰角、回転角、偏角、または、それらの任意の組みあわせを含みうる。

【0068】

図２に示した処理２００を上述の疑似果物カットのＶＲアプリケーションに適用した例を用いると、ジェスチャベースインタラクティブ処理は、以下の動作を備えうる。

【0069】

動作２１０では、ＶＲアプリケーションが動作しており、果物カットシナリオに入る。［アプリケーション？オペレーティングシステム？］のシナリオ認識機能が、シナリオのタイプを認識する。適応的インタラクション機能が、認識されたアプリケーションシナリオに基づいて、そのアプリケーションシナリオの下でのジェスチャと仮想オブジェクトとの対応関係をクエリして、そのアプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトが「果物ナイフ」であることを取得する。

【0070】

動作２２０では、システムは、現在の仮想現実シナリオにおいて果物ナイフを表示する。

【0071】

動作２３０では、現在の仮想現実シナリオの下で、ユーザは、果物を切るジェスチャをするように手を振る。ジェスチャ認識機能は、ユーザジェスチャを認識して、ジェスチャ関連パラメータを取得する。ジェスチャ関連パラメータは、手のひら全体の状態（手のひらの中心の向きなど）、動きの速度、動きの大きさ、動きの軌道、回転角度、または、それらの任意の組みあわせを含みうる。適応的インタラクション機能は、認識されたジェスチャに基づいて、ジェスチャに関連付けられている仮想オブジェクトである「果物ナイフ」を伴う動作を実行し、「果物ナイフ」がジェスチャの動きに基づいて動くことを可能にする。「果物ナイフ」の動きは、果物を切る効果を達成する。例えば、果物ナイフの刃のエッジの向きは、手のひらの中心の方向に基づいて決定されてよく、果物ナイフの動きの軌道は、動きの軌道に基づいて決定されてよく、果物ナイフの果物を切る力は、動きの速度および動きの大きさに基づいて決定されてよい、などである。

【0072】

処理２００が疑似パペット操作のＶＲアプリケーションに適用される別の例において、ジェスチャベースインタラクティブ処理は、以下の動作を備える。

【0073】

動作２１０では、ＶＲアプリケーションが動作しており、パペット操作シナリオに入る。シナリオ認識機能は、シナリオのタイプを認識する。この例において、適応的インタラクション機能は、認識されたアプリケーションシナリオに基づいて、そのアプリケーションシナリオの下でのジェスチャと仮想オブジェクトとの対応関係をクエリして、そのアプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトが「パペット」であるという事実を得る。

【0074】

動作２２０では、システムは、現在の仮想現実シナリオにおいて「パペット」を表示する。例えば、「パペット」が、ヘッドマウントディスプレイ、モニタなどにレンダリングされる。

【0075】

動作２３０では、アプリケーションシナリオの下、ユーザは、パペットを操作するジェスチャを行うように各指を動かす。ジェスチャ認識機能は、ユーザジェスチャを認識して、ジェスチャ関連パラメータを取得する。ジェスチャ関連パラメータは、手全体ならびに各指および指関節に関するパラメータを含みうる。これらのジェスチャ関連パラメータは、動きの速度、動きの大きさ、動きの軌道、回転角度、または、それらの任意の組みあわせを含みうる。適応的インタラクション機能は、認識されたジェスチャに基づいて、ジェスチャに関連付けられている仮想オブジェクトである「パペット」に対する動作を実行することができ、「パペット」上の異なる位置が、ジェスチャの各指の動きに基づいて動き、パペットの動きの効果を達成することを可能にする。

【0076】

図３は、指と、仮想オブジェクト上の対応する位置との間の関連の一実施形態を示す関連図である。例えば、仮想オブジェクトは、パペットである。指１、指２、指３、および、指５は、「パペット」の四肢と個別に関連付けられており、指４は、「パペット」の頭部に関連付けられている。異なる指の状態または動きが、「パペット」上の対応する位置の動きまたは状態を変化させうる。

【0077】

図４は、ジェスチャベースインタラクションのための処理の別の実施形態を示すフローチャートである。いくつかの実施形態において、処理４００は、図１のシステム１００によって実施され、以下の動作を備える。

【0078】

動作４１０において、システムは、第１シナリオに基づいて、第１シナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定する。

【0079】

動作４１０において、システムは、最初に、アプリケーションシナリオの下でのジェスチャおよび仮想オブジェクトの間の対応関係を取得し、次いで、対応関係に基づいて、第１アプリケーションシナリオの下で第１ジェスチャに関連付けられている仮想オブジェクトを決定することができる。対応関係は、予め規定されてもよいし、サーバによって設定されてもよい。さらに、ジェスチャ認識が、動作４１０の前に実行されうる。

【0080】

動作４２０において、システムは、仮想オブジェクトを表示する。

【0081】

動作４２０において、システムは、第１ジェスチャの現在の状態に基づいて、仮想オブジェクトを表示しうる。システムは、以下のうちの少なくとも１つを実行してよい。

【0082】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの表示属性を決定し、対応する表示を提供できる。仮想オブジェクトの表示属性は、色、透明度、グラデーション効果など、または、それらの任意の組みあわせといった属性を含みうる。

【0083】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの形態を決定し、対応する表示を提供できる。この点に関して、仮想オブジェクトの形態は、仮想オブジェクトの長さ、幅、および、高さ、仮想オブジェクトの形状など、もしくは、それらの組み合わせを含みうる。

【0084】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの姿勢を決定し、対応する表示を提供できる。仮想オブジェクトの姿勢は、仰角、回転角、偏角など、または、それらの任意の組みあわせを含みうる。

【0085】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの空間位置を決定し、対応する表示を提供できる。仮想オブジェクトの空間位置は、現在のアプリケーションシナリオ画像における仮想オブジェクトの被写界深度を含みうる。

【0086】

動作４３０において、受信した第１ジェスチャ動作に応じて、システムは、仮想オブジェクトが表示される方法を変更する。

【0087】

動作４３０において、第１ジェスチャ動作に応じて、システムは、仮想オブジェクトの表示のされ方（方法）の内の１または複数を変更しうる。

【0088】

さらに、第１ジェスチャに関連付けられている１または複数の仮想オブジェクトが存在しうる。第１ジェスチャに関連付けられている２以上の仮想オブジェクトが存在する場合、ユーザの手における異なる位置が、対応する仮想オブジェクトに関連付けられうる。したがって、動作４３０において、対応する仮想オブジェクトが表示される方法は、受信された第１ジェスチャ動作の中のユーザの手における位置の状態に応じて変化しうる。ユーザの手における異なる位置は、ユーザの手の異なる指、および、ユーザの手の異なる指関節を含みうる。

【0089】

図５は、ジェスチャベースインタラクションのための処理の別の実施形態を示すフローチャートである。いくつかの実施形態において、処理５００は、図１のシステム１００によって実施され、以下の動作を備える。

【0090】

動作５１０で、システムは、第１ジェスチャを受信する。例えば、第１ジェスチャは、手のひらを振る動作に関連しうる。

【0091】

動作５１０において、受信されるジェスチャは、ジェスチャキャプチャ構成要素によってキャプチャされうる。ジェスチャキャプチャ構成要素は、赤外線カメラ、様々なセンサ（例えば、光学センサ、加速度計など）、または、それらの組みあわせを含みうる。

【0092】

さらに、動作５１０の前に、システムは、ジェスチャ認識を実行できる。

【0093】

さらに、システムは、第１ジェスチャが受信された後に、アプリケーションシナリオの下でのジェスチャおよび仮想オブジェクトの間の対応関係を取得し、次いで、対応関係に基づいて、第１アプリケーションシナリオの下で第１ジェスチャに関連付けられている仮想オブジェクトを決定できる。対応関係は、予め規定されてもよいし、サーバによって設定されてもよい。

【0094】

動作５２０において、システムは、現在のシナリオの下で第１ジェスチャに対応する仮想オブジェクトを表示する。いくつかの実施形態において、仮想オブジェクトの表示状態は、第１ジェスチャに関連する。一例において、第１ジェスチャが、手のひらを上に向けることに関連する場合に、第１ジェスチャに関連付けられている仮想オブジェクトはナイフである。別の例において、第１ジェスチャが、手（例えば、すべての指を伸ばして手のひらを下に向けた状態）に関連する場合に、仮想オブジェクトに関連付けられている仮想オブジェクトはパペットである。

【0095】

動作５２０において、仮想オブジェクトが表示されている時、システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトを表示できる。例えば、システムは、以下の動作の内の１または複数を実行しうる。

【0096】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの表示属性を決定し、対応する表示を提供できる。例えば、手のひらの状態（例えば、上向きおよび下向き）で、表示されている色を制御できる。仮想オブジェクトの表示属性は、色、透明度、グラデーション効果、または、それらの任意の組みあわせを含みうる。

【0097】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの形態を決定し、対応する表示を提供できる。この点に関して、仮想オブジェクトの形態は、仮想オブジェクトの長さ、幅、および、高さ、仮想オブジェクトの形状、もしくは、それらの組み合わせを含みうる。

【0098】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの姿勢を決定し、対応する表示を提供できる。手のひらの姿勢は、仮想オブジェクトの姿勢を制御できる。仮想オブジェクトの姿勢は、仰角、回転角、偏角、または、それらの任意の組みあわせを含みうる。

【0099】

システムは、第１ジェスチャの現在の状態に基づいて仮想オブジェクトの空間位置を決定し、対応する表示を提供できる。一例として、仮想オブジェクトの空間位置は、第１ジェスチャを実行する手のひらに対する顔の位置に基づいて決定されうる。仮想オブジェクトの空間位置は、現在のアプリケーションシナリオ画像における仮想オブジェクトの被写界深度を含みうる。

【0100】

第１ジェスチャの異なる状態と仮想オブジェクトの表示され方との間の対応関係は、予め規定されてもよいし、サーバによって設定されてもよい。

【0101】

さらに、第１ジェスチャに関連付けられている１または複数の仮想オブジェクトが存在しうる。第１ジェスチャに関連付けられている２以上の仮想オブジェクトが存在する場合、ユーザの手における異なる位置が、対応する仮想オブジェクトに関連付けられうる。ユーザの手における異なる位置は、ユーザの手の異なる指、ユーザの手の異なる指関節、または、それらの組みあわせを含みうる。

【0102】

上述の記載から、システムは、第１アプリケーションシナリオに基づいて、第１アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定し、第１アプリケーションシナリオの下で第１ジェスチャ動作に基づいて応答を実行し、仮想オブジェクトを対応する動作に従わせ、複数のアプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを適応的に決定することができ、その結果、ジェスチャは、対応するシナリオ内の仮想オブジェクトにマッチする。

【0103】

図６は、ジェスチャベースインタラクションのためにプログラムされたコンピュータシステムを示す機能図である。明らかに、ジェスチャベースインタラクションを実行するために、他のコンピュータシステムアーキテクチャおよび構成を用いることも可能である。以下に述べるような様々なサブシステムを備えるコンピュータシステム６００は、少なくとも１つのマイクロプロセッササブシステム（プロセッサまたは中央処理装置（ＣＰＵ）とも呼ばれる）６０２を備える。例えば、プロセッサ６０２は、シングルチッププロセッサまたはマルチプロセッサによって実装できる。いくつかの実施形態において、プロセッサ６０２は、コンピュータシステム６００の動作を制御する汎用デジタルプロセッサである。メモリ６１０から読み出された命令を用いて、プロセッサ６０２は、入力データの受信および操作、ならびに、出力デバイス（例えば、ディスプレイ６１８）上でのデータの出力および表示を制御する。

【0104】

プロセッサ６０２は、メモリ６１０と双方向的に接続されており、メモリ６１０は、第１のプライマリストレージ（通例は、ランダムアクセスメモリ（ＲＡＭ））および第２のプライマリストレージ領域（通例は、リードオンリーメモリ（ＲＯＭ））を含みうる。当業者に周知のように、プライマリストレージは、一般的な記憶領域として、および、スクラッチパッドメモリとして利用可能であり、また、入力データおよび処理済みデータを格納するために利用可能である。プライマリストレージは、さらに、プロセッサ６０２上で実行される処理のための他のデータおよび命令に加えて、データオブジェクトおよびテキストオブジェクトの形態で、プログラミング命令およびデータを格納できる。また、当業者に周知のように、プライマリストレージは、通例、機能（例えば、プログラムされた命令）を実行するためにプロセッサ６０２によって用いられる基本的な動作命令、プログラムコード、データ、および、オブジェクトを備える。例えば、メモリ６１０は、例えば、データアクセスが双方向である必要があるか、単方向である必要があるかに応じて、後述する任意の適切なコンピュータ読み取り可能な記憶媒体を含みうる。例えば、プロセッサ６０２は、頻繁に必要になるデータをキャッシュメモリ（図示せず）に直接的かつ非常に迅速に格納し取り出すことができる。

【0105】

着脱可能マスストレージデバイス６１２が、コンピュータシステム６００にさらなるデータ記憶容量を提供しており、プロセッサ６０２に対して双方向（読み出し／書き込み）または単方向（読み出しのみ）に接続されている。例えば、ストレージ６１２は、磁気テープ、フラッシュメモリ、ＰＣカード、携帯型マスストレージデバイス、ホログラフィックストレージデバイス、および、その他のストレージデバイスなどのコンピュータ読み取り可能な媒体も含みうる。固定マスストレージ６２０も、例えば、さらなるデータ記憶容量を提供しうる。マスストレージ６２０の最も一般的な例は、ハードディスクドライブである。マスストレージ６１２および６２０は、一般に、プロセッサ６０２によって通例はあまり利用されないさらなるプログラミング命令、データなどを格納する。マスストレージ６１２および６２０に保持された情報は、必要であれば、仮想メモリとしてのメモリ６１０（例えば、ＲＡＭ）の一部に標準的な方式で組み込まれうることが理解される。

【0106】

プロセッサ６０２がストレージサブシステムにアクセスできるようにすることに加えて、バス６１４が、その他のサブシステムおよびデバイスへのアクセスを可能にするために用いられてもよい。図に示すように、これらは、ディスプレイモニタ６１８、ネットワークインターフェース６１６、キーボード６０４、および、ポインティングデバイス６０６、ならびに、必要に応じて、補助入力／出力デバイスインターフェース、サウンドカード、スピーカ、および、その他のサブシステムを含みうる。例えば、ポインティングデバイス６０６は、マウス、スタイラス、トラックボール、または、タブレットであってよく、グラフィカルユーザインターフェースと相互作用するのに有用である。

【0107】

ネットワークインターフェース６１６は、図に示すように、ネットワーク接続を用いて、別のコンピュータ、コンピュータネットワーク、または、遠隔通信ネットワークにプロセッサ６０２を接続することを可能にする。例えば、ネットワークインターフェース６１６を通して、プロセッサ６０２は、方法／処理ステップを実行する過程で、別のネットワークから情報（例えば、データオブジェクトまたはプログラム命令）を受信したり、別のネットワークに情報を出力したりすることができる。情報は、しばしば、プロセッサ上で実行される一連の命令として表され、別のネットワークから受信されたり、別のネットワークへ出力されたりしうる。インターフェースカード（または同様のデバイス）と、プロセッサ６０２によって実装（例えば、実行／実施）される適切なソフトウェアとを用いて、コンピュータシステム６００を外部ネットワークに接続し、標準プロトコルに従ってデータを転送することができる。例えば、本明細書に開示された様々な処理の実施形態は、プロセッサ６０２上で実行されてもよいし、処理の一部を共有するリモートプロセッサと共に、ネットワーク（インターネット、イントラネットワーク、または、ローカルエリアネットワークなど）上で実行されてもよい。さらなるマスストレージデバイス（図示せず）が、ネットワークインターフェース６１６を通してプロセッサ６０２に接続されてもよい。

【0108】

補助Ｉ／Ｏデバイスインターフェース（図示せず）が、コンピュータシステム６００と共に用いられてよい。補助Ｉ／Ｏデバイスインターフェースは、プロセッサ６０２がデータを送信すること、ならびに、より典型的には、他のデバイス（マイクロホン、タッチセンサ方式ディスプレイ、トランスデューサカードリーダ、テープリーダ、音声または手書き認識装置、バイオメトリクスリーダ、カメラ、携帯型マスストレージデバイス、および、他のコンピュータなど）からデータを受信することを可能にする汎用インターフェースおよびカスタマイズされたインターフェースを含みうる。

【0109】

図６に示したコンピュータシステムは、本明細書に開示された様々な実施形態と共に利用するのに適切なコンピュータシステムの一例にすぎない。かかる利用に適した他のコンピュータシステムは、より多いまたは少ないサブシステムを含みうる。さらに、バス６１４は、サブシステムをつなぐよう機能する任意の相互接続スキームの例である。異なる構成のサブシステムを有する他のコンピュータアーキテクチャが利用されてもよい。

【0110】

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。
適用例１：方法であって、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定し、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される前記仮想オブジェクトを出力し、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせること、
を備える、方法。
適用例２：適用例１に記載の方法であって、
前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
前記アプリケーションシナリオの下での前記ジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、
を含む、方法。
適用例３：適用例１に記載の方法であって、
前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
前記アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、
を備え、
前記対応関係は、予め規定されているか、または、サーバによって設定されている、方法。
適用例４：適用例１に記載の方法であって、さらに、
ジェスチャ認識技術を実行して、前記ジェスチャを取得することを備える、方法。
適用例５：適用例１に記載の方法であって、さらに、
ジェスチャ認識を実行することを備え、前記ジェスチャ認識を行うことは、
ユーザの指関節の状態を認識することを含み、異なる指関節は、前記仮想オブジェクト上の異なる位置に対応し、
前記仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることは、
前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの前記異なる位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、方法。
適用例６：適用例１に記載の方法であって、
前記仮想オブジェクトを表示することは、
前記ジェスチャに基づいて前記仮想オブジェクトの表示属性を決定し、対応する表示を提供すること、
前記ジェスチャに基づいて前記仮想オブジェクトの形態を決定し、対応する表示を提供すること、
前記ジェスチャに基づいて前記仮想オブジェクトの姿勢を決定し、対応する表示を提供すること、および、
前記ジェスチャに基づいて前記仮想オブジェクトの空間位置を決定し、対応する表示を提供すること、の内の少なくともいずれか１つを含む、方法。
適用例７：適用例１に記載の方法であって、前記ジェスチャに関連付けられている前記仮想オブジェクトは、２以上の仮想オブジェクトを含む、方法。
適用例８：適用例１に記載の方法であって、
前記ジェスチャに関連付けられている２以上の仮想オブジェクトが存在するとの判定に応じて、ユーザの手における異なる位置は個々の仮想オブジェクトに関連し、
前記ジェスチャに応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることは、
前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることを含む、方法。
適用例９：適用例１に記載の方法であって、
前記ジェスチャに関連付けられている２以上の仮想オブジェクトが存在するとの判定に応じて、ユーザの手における異なる位置は、対応する仮想オブジェクトに関連し、
前記ジェスチャに応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることは、
前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記２以上の仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることを含み、
前記ユーザの手における前記異なる位置は、
前記ユーザの手の異なる指、
前記ユーザの手の異なる指関節、または、
それらの組み合わせ、を含む、方法。
適用例１０：適用例１に記載の方法であって、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている前記動作をさせることは、
前記ジェスチャ内の動作情報に基づいて、前記仮想オブジェクトによって動作を実行することを含み、
前記ジェスチャ内の前記動作情報は、動きの軌道、動きの速度、動きの大きさ、回転角度、手の状態、または、それらの任意の組み合わせを含む、方法。
適用例１１：適用例１に記載の方法であって、前記アプリケーションシナリオは、仮想現実（ＶＲ）アプリケーションシナリオ、拡張現実（ＡＲ）アプリケーションシナリオ、複合現実（ＭＲ）アプリケーションシナリオ、または、これらの任意の組み合わせを含む、方法。
適用例１２：適用例１に記載の方法であって、現在のアプリケーションは、前記アプリケーションシナリオを含む、方法。
適用例１３：方法であって、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定し、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される前記仮想オブジェクトを出力し、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更すること、
を備える、方法。
適用例１４：適用例１３に記載の方法であって、
前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
前記アプリケーションシナリオの下での前記ジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、
を含む、方法。
適用例１５：適用例１３に記載の方法であって、
前記アプリケーションシナリオの下でジェスチャに関連付けられている前記仮想オブジェクトを決定することは、
前記アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、
を含み、
前記対応関係は、予め規定されているか、または、サーバによって設定されている、方法。
適用例１６：適用例１３に記載の方法であって、さらに、
前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定する前に、ジェスチャ認識技術を実行して前記ジェスチャを取得することであって、
前記ユーザの指関節の状態を認識することを含む前記ジェスチャ認識技術を実行して前記ジェスチャを取得することと、前記異なる指関節は、前記仮想オブジェクト上の異なる位置に対応し、
前記ジェスチャ内の前記ユーザの指関節の前記状態に応じて、前記仮想オブジェクトの前記対応する位置に、前記ジェスチャに関連付けられている前記動作をさせることを含む、前記ジェスチャに応じて、前記仮想オブジェクトを、前記ジェスチャに関連付けられている動作させること、を備える、方法。
適用例１７：適用例１３に記載の方法であって、
前記仮想オブジェクトを表示することは、
前記ジェスチャに基づいて前記仮想オブジェクトの表示属性を決定し、対応する表示を提供し、
前記ジェスチャに基づいて前記仮想オブジェクトの形態を決定し、対応する表示を提供し、
前記ジェスチャに基づいて前記仮想オブジェクトの姿勢を決定し、対応する表示を提供し、および、
前記ジェスチャに基づいて前記仮想オブジェクトの空間位置を決定し、対応する表示を提供することの内の少なくともいずれか１つを含む、方法。
適用例１８：適用例１３に記載の方法であって、前記ジェスチャに関連付けられている前記仮想オブジェクトは、２以上の仮想オブジェクトを含む、方法。
適用例１９：適用例１８に記載の方法であって、
前記ジェスチャに関連付けられている前記２以上の仮想オブジェクトが存在するとの判定に応じて、前記ユーザの手における異なる位置は個々の仮想オブジェクトに関連し、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更することは、
前記ジェスチャ内の前記ユーザの手における位置の状態に応じて、前記対応する仮想オブジェクトが表示される前記方法を変更することを含む、方法。
適用例２０：適用例１９に記載の方法であって、前記ユーザの手における前記異なる位置は、前記ユーザの手の異なる指、前記ユーザの手の異なる指関節、または、それらの任意の組みあわせを含む、方法。
適用例２１：適用例１３に記載の方法であって、
前記仮想オブジェクトが表示される前記方法を変更することは、
前記仮想オブジェクトの表示属性を変更するころ、
前記仮想オブジェクトの形態を変更すること、
前記仮想オブジェクトの姿勢を変更すること、
前記仮想オブジェクトの空間位置を変更すること、または、
それらの任意の組み合わせ、を含む、方法。
適用例２２：適用例１３に記載の方法であって、
前記アプリケーションシナリオは、
仮想現実（ＶＲ）アプリケーションシナリオ、または、
拡張現実（ＡＲ）アプリケーションシナリオ、または、
複合現実（ＭＲ）アプリケーションシナリオ
を含む、方法。
適用例２３：適用例１３に記載の方法であって、現在のアプリケーションが、１または複数のアプリケーションシナリオを含む、方法。
適用例２４：方法であって、
ジェスチャを受信するし、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出される、
表示される仮想オブジェクトを出力することを備え、し、前記仮想オブジェクトは現在のアプリケーションシナリオの下で前記ジェスチャに関連付けられており、前記仮想オブジェクトの表示状態は前記ジェスチャに関連付けられ、前記仮想オブジェクトは、前記ジェスチャに基づいて選択される、方法。
適用例２５：適用例２４に記載の方法であって、さらに、
前記ジェスチャを受信した後に、
前記アプリケーションシナリオの下での前記ジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定すること、
を備える、方法。
適用例２６：適用例２４に記載の方法であって、さらに、
前記ジェスチャを受信した後に、
前記アプリケーションシナリオの下でのジェスチャおよび前記仮想オブジェクトの間の対応関係を取得し、
前記対応関係に基づいて、前記アプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを決定し、前記対応関係は、予め規定されているか、または、サーバによって設定されていること、
を備える、方法。
適用例２７：適用例２４に記載の方法であって、
前記現在のアプリケーションシナリオの下で前記ジェスチャに関連付けられている前記仮想オブジェクトを表示することは、
前記ジェスチャに基づいて前記仮想オブジェクトの表示属性を決定し、対応する表示を提供し、
前記ジェスチャに基づいて前記仮想オブジェクトの形態を決定し、対応する表示を提供し、
前記ジェスチャに基づいて前記仮想オブジェクトの姿勢を決定し、対応する表示を提供し、および、
前記ジェスチャに基づいて前記仮想オブジェクトの空間位置を決定し、対応する表示を提供すること内の少なくとも１つを含む、方法。
適用例２８：適用例２４に記載の方法であって、前記ジェスチャに関連付けられている前記仮想オブジェクトは、２以上の仮想オブジェクトを含む、方法。
適用例２９：適用例２４に記載の方法であって、
前記ジェスチャに関連付けられている２以上の仮想オブジェクトが存在するとの判定に応じて、ユーザの手における異なる位置は、対応する仮想オブジェクトに関連する、方法。
適用例３０：適用例２４に記載の方法であって、
前記現在のアプリケーションシナリオは、
仮想現実（ＶＲ）アプリケーションシナリオ、
拡張現実（ＡＲ）アプリケーションシナリオ、または、
複合現実（ＭＲ）アプリケーションシナリオ
を含む、方法。
適用例３１：適用例２４に記載の方法であって、現在のアプリケーションが、１または複数のアプリケーションシナリオを含む、方法。
適用例３２：コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な媒体内に具現化され、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定するためのコンピュータ命令と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される前記仮想オブジェクトを出力するためのコンピュータ命令と、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせるためのコンピュータ命令と、
を備える、コンピュータプログラム製品。
適用例３３：コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な媒体内に具現化され、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定するためのコンピュータ命令と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される前記仮想オブジェクトを出力するためのコンピュータ命令と、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。
適用例３４：コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な媒体内に具現化され、
ジェスチャを受信するためのコンピュータ命令と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される仮想オブジェクトを出力するためのコンピュータ命令と、前記仮想オブジェクトは、現在のアプリケーションシナリオの下で前記ジェスチャに関連付けられており、前記仮想オブジェクトの表示状態は、前記ジェスチャに関連付けられ、前記仮想オブジェクトは、前記ジェスチャに基づいて選択されること、
を備える、コンピュータプログラム製品。
適用例３５：システムであって、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定する動作と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される前記仮想オブジェクトを出力する動作と、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせる動作と、を前記プロセッサに実行させる、システム。
適用例３６：システムであって、
ディスプレイと、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定する動作と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される前記仮想オブジェクトを出力する動作と、
前記ジェスチャに応じて、前記仮想オブジェクトに、前記ジェスチャに関連付けられている動作をさせる動作と、を前記プロセッサに実行させる、システム。
適用例３７：システムであって、
ディスプレイと、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
アプリケーションシナリオに基づいて、前記アプリケーションシナリオの下でジェスチャに関連付けられている仮想オブジェクトを決定する動作と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される前記仮想オブジェクトを出力する動作と、
前記ジェスチャに応じて、前記仮想オブジェクトが表示される方法を変更する動作と、を前記プロセッサに実行させる、システム。
適用例３８：システムであって、
ディスプレイと、
プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備え、
前記命令は、実行された時に、
ジェスチャを受信する動作と、前記ジェスチャは、ユーザによって実行され、仮想現実（ＶＲ）システムによって検出され、
表示される仮想オブジェクトを出力する動作と、を前記プロセッサに実行させ、前記仮想オブジェクトは、現在のアプリケーションシナリオの下で前記ジェスチャに関連付けられており、前記仮想オブジェクトの表示状態は、前記ジェスチャに関連付けられ、前記仮想オブジェクトは、前記ジェスチャに基づいて選択される、システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】