特許 7556156 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240917BHJP

   G06F 3/0484 20220101ALI20240917BHJP

【ＦＩ】

G06F3/01 510

G06F3/0484

【請求項の数】 6

(21)【出願番号】P 2023542386

(86)(22)【出願日】2022-08-12

(86)【国際出願番号】 JP2022030768

(87)【国際公開番号】W WO2023022109

(87)【国際公開日】2023-02-23

【審査請求日】2024-01-16

(31)【優先権主張番号】P 2021132517

(32)【優先日】2021-08-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100122275

【弁理士】

【氏名又は名称】竹居 信利

(72)【発明者】

【氏名】久慈 拓也

【審査官】酒井 優一

(56)【参考文献】

【文献】国際公開第２０２０／０７９８５２（ＷＯ，Ａ１）

【文献】特開２０１９－０３２８４４（ＪＰ，Ａ）

【文献】特開２０１８－０３２１３２（ＪＰ，Ａ）

【文献】特開２０１７－０５８９７１（ＪＰ，Ａ）

【文献】国際公開第２０１８／１８６０３１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４

(57)【特許請求の範囲】

【請求項1】

ユーザーの視線の状態を特定する視線状態特定部と、
ユーザーの手指の状態を特定する手指状態特定部と、
仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するユーザー手オブジェクト制御部と、
を含み、
前記視線状態特定部は、前記ユーザーが注視する方向に基づいて、前記仮想空間内に配置されるオブジェクトのうち前記ユーザーが注目するオブジェクトを前記ユーザーの視線の状態として特定し、
前記ユーザー手オブジェクト制御部は、前記ユーザーが注目するオブジェクトに応じて定められる内容で、前記手オブジェクトの状態を制御する
ことを特徴とする情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記ユーザー手オブジェクト制御部は、前記ユーザーが所与のオブジェクトに注目している場合に、前記手オブジェクトの状態を、予め定められた複数の状態のうち、前記ユーザーの手指の状態に応じて決定される状態になるよう制御する
ことを特徴とする情報処理装置。

【請求項3】

請求項１又は２に記載の情報処理装置において、
前記手指状態特定部は、前記ユーザーの手指のうち、一部の指を特定対象とし、
前記ユーザー手オブジェクト制御部は、前記手オブジェクトが備える指のうち、前記特定対象とされていない指の状態を、前記ユーザーの視線の状態、及び前記特定対象とされているユーザーの指の状態に基づいて制御する
ことを特徴とする情報処理装置。

【請求項4】

請求項３に記載の情報処理装置において、
前記ユーザー手オブジェクト制御部は、前記特定対象とされていない指を、前記特定対象とされている指と連動するように制御する
ことを特徴とする情報処理装置。

【請求項5】

ユーザーの視線の状態を特定するステップと、
ユーザーの手指の状態を特定するステップと、
仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、
を含み、
前記視線の状態を特定するステップでは、前記ユーザーが注視する方向に基づいて、前記仮想空間内に配置されるオブジェクトのうち前記ユーザーが注目するオブジェクトを前記ユーザーの視線の状態として特定し、
前記手オブジェクトを制御するステップでは、前記ユーザーが注目するオブジェクトに応じて定められる内容で、前記手オブジェクトの状態を制御する
ことを特徴とする情報処理方法。

【請求項6】

ユーザーの視線の状態を特定するステップと、
ユーザーの手指の状態を特定するステップと、
仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、
をコンピュータに実行させるためのプログラムであって、
前記視線の状態を特定するステップでは、前記ユーザーが注視する方向に基づいて、前記仮想空間内に配置されるオブジェクトのうち前記ユーザーが注目するオブジェクトを前記ユーザーの視線の状態として特定し、
前記手オブジェクトを制御するステップでは、前記ユーザーが注目するオブジェクトに応じて定められる内容で、前記手オブジェクトの状態を制御する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザーの手を表すオブジェクトを仮想空間内に配置する情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

ユーザーが仮想空間内で様々な活動を行うゲームなどにおいては、現実のユーザーの手指の状態を認識し、その状態を仮想空間内において手を表すオブジェクトに反映させることがある。これにより、ユーザーは仮想空間内で物を掴んだりじゃんけんをしたりといった手指の動作を自然に行うことができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述した技術においては、ハードウェアの制約や認識精度の問題などにより、ユーザーの全ての手指の状態を正確に把握できない場合がある。そのような場合、ユーザーは自身の意図を仮想空間内のオブジェクトに完全に反映させることができず、違和感を感じてしまうおそれがある。

【0004】

本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーの手を表すオブジェクトに対してよりユーザーの意図を反映させることのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の一態様に係る情報処理装置は、ユーザーの視線の状態を特定する視線状態特定部と、ユーザーの手指の状態を特定する手指状態特定部と、仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するユーザー手オブジェクト制御部と、を含み、前記ユーザー手オブジェクト制御部は、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御することを特徴とする。

【0006】

本発明の一態様に係る情報処理方法は、ユーザーの視線の状態を特定するステップと、ユーザーの手指の状態を特定するステップと、仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、を含み、前記手オブジェクトを制御するステップでは、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御することを特徴とする。

【0007】

本発明の一態様に係るプログラムは、ユーザーの視線の状態を特定するステップと、ユーザーの手指の状態を特定するステップと、仮想空間内に配置されるユーザーの手を表す手オブジェクトを、前記ユーザーの手指の状態と連動するように制御するステップと、をコンピュータに実行させるためのプログラムであって、前記手オブジェクトを制御するステップでは、前記ユーザーの視線の状態に基づいて、前記手オブジェクトの状態を制御することを特徴とする。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る情報処理装置の概略構成を示す構成ブロック図である。

【図2】頭部装着型表示装置の外観の一例を示す図である。

【図3】操作デバイスの外観の一例を示す図である。

【図4】本発明の実施の形態に係る情報処理装置が実現する機能を示す機能ブロック図である。

【図5】仮想空間内の様子の一例を示す図である。

【図6】ユーザーの現実の手指の状態に応じたユーザー手オブジェクトの制御の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態について、図面に基づき詳細に説明する。

【0010】

本発明の一実施形態に係る情報処理装置１０は、家庭用ゲーム機やパーソナルコンピュータ等であって、図１に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、情報処理装置１０は、頭部装着型表示装置２０、及び２個の操作デバイス３０とデータ通信可能に接続されている。

【0011】

制御部１１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

【0012】

インタフェース部１３は、頭部装着型表示装置２０、及び操作デバイス３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで頭部装着型表示装置２０、及び２個の操作デバイス３０のそれぞれと接続される。具体的にインタフェース部１３は、情報処理装置１０が供給する映像データを頭部装着型表示装置２０に送信するために、ＨＤＭＩ（登録商標）等のマルチメディアインタフェースを含むこととする。また、操作デバイス３０による検出結果を示す信号を受信するために、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のデータ通信インタフェースを含んでいる。

【0013】

頭部装着型表示装置２０は、ユーザーが頭部に装着して使用する表示装置であって、図２に示すように、表示部２１と、内部カメラ２２と、外部カメラ２３と、を備えている。

【0014】

表示部２１は、ユーザーが頭部装着型表示装置２０を装着した際にユーザーの左右それぞれの目と相対する位置に配置されており、情報処理装置１０から送信される映像信号に応じた映像を表示して、ユーザーに閲覧させる。内部カメラ２２もユーザーの左右それぞれの目と相対するように、ユーザーの目を撮像可能な位置及び向きで配置されている。情報処理装置１０は、内部カメラ２２の撮像画像を解析することによって、ユーザーの注視方向、すなわちユーザーが視線を向けている方向を特定することができる。

【0015】

頭部装着型表示装置２０の表面には、周囲の様子を撮影するために複数の外部カメラ２３が配置されている。これらの外部カメラ２３によって撮像された画像を解析することによって、情報処理装置１０は現実空間内における頭部装着型表示装置２０の位置及び向きの変化を特定する。この位置及び向きの変化は、ユーザー自身の顔の位置及び向きの変化を表している。頭部装着型表示装置２０の位置、及び向きの特定には、公知のＳＬＡＭ（Simultaneous Localization and Mapping）技術を利用することができる。

【0016】

また、本実施形態においてこの外部カメラ２３の撮像画像は、操作デバイス３０の位置を特定するためにも用いられることとする。撮像画像内に写っている操作デバイス３０の位置を特定することにより、情報処理装置１０は頭部装着型表示装置２０の位置を基準として現実空間内における操作デバイス３０の位置を特定することができる。

【0017】

操作デバイス３０は、ユーザーの操作入力を受け付けるためのデバイスであって、ユーザーが手で持って使用する。本実施形態では、２個の操作デバイス３０が情報処理装置１０と接続されており、ユーザーは左右の手のそれぞれで操作デバイス３０を把持することとする。図３に示されるように、各操作デバイス３０は把持部３１と、複数の操作部材３２と、複数の指位置センサー３３と、力覚提示機構３４と、を備えている。

【0018】

ユーザーは、操作デバイス３０の把持部３１を薬指、及び小指で握ることによって操作デバイス３０を把持する。そのため、操作デバイス３０の使用中、ユーザーは薬指、及び小指を握ったり開いたりする動作を行うことはできず、薬指、及び小指の状態は変化しないことになる。

【0019】

操作デバイス３０の表面には、複数の操作部材３２が配置されている。特に本実施形態では、親指で操作可能な位置に、傾けて操作することによって方向を指示するための傾倒操作部材３２ａが配置されている。また、人差し指で操作可能な位置に押し込み量を検出可能な操作ボタン３２ｂが配置されている。

【0020】

指位置センサー３３は、対応する指の位置を検出するためのセンサーデバイスである。本実施形態では、親指、人差し指、及び中指の３本の指の位置を検出するために、指位置センサー３３として複数の距離センサーが操作デバイス３０表面に配置されている。

【0021】

力覚提示機構３４は、ユーザーの手指に対して力覚を提示する。本実施形態では、力覚提示機構３４は操作ボタン３２ｂを操作するユーザーの人差し指に対して力覚を提示可能であるものとする。

【0022】

情報処理装置１０は、この指位置センサー３３の検出結果を用いて、ユーザーの左右それぞれの手の親指、人差し指、及び中指の状態を特定する。ここでユーザーの各指の状態とは、手のひらに対してユーザーの指が伸びているか曲げられているか、またどの程度折り曲げられているかを指しているものとする。情報処理装置１０は、各指に対応する指位置センサー３３の検出結果を用いて各指がどの程度折り曲げられているかを特定する。

【0023】

以下、本実施形態において情報処理装置１０が実現する機能について、図４の機能ブロック図を用いて説明する。同図に示されるように、情報処理装置１０は、機能的に、仮想空間表示制御部５１と、視線状態特定部５２と、手指状態特定部５３と、ユーザー手オブジェクト制御部５４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に格納されているプログラムを実行することにより、実現される。このプログラムは、インターネット等の通信ネットワークを経由して情報処理装置１０に提供されてもよいし、光ディスク等の情報記憶媒体に格納されて情報処理装置１０に提供されてもよい。

【0024】

仮想空間表示制御部５１は、３次元の仮想空間を構築し、その様子をユーザーに提示する。具体的に仮想空間表示制御部５１は、各種のオブジェクトが配置された仮想空間を構築する。そして、仮想空間内に設定された視点カメラＰから仮想空間内を見た様子を示す空間画像を描画し、頭部装着型表示装置２０の表示部２１に表示させる。このとき仮想空間表示制御部５１は、空間画像を描画する際の基準となる視点カメラＰの位置、及び向きを、頭部装着型表示装置２０の位置、及び向きの変化に応じてリアルタイムで変化させることとする。これによりユーザーは、自身があたかも仮想空間内にいるかのように、自身の頭を動かして仮想空間内の様子を見渡したり、現実空間を移動することで仮想空間内の移動を体験したりすることができる。

【0025】

さらに本実施形態において、仮想空間表示制御部５１は、仮想空間内にユーザーの手を表すユーザー手オブジェクトＵＨを配置する。本実施形態では、左右の手に対応する２個のユーザー手オブジェクトＵＨＲ及びＵＨＬを配置するものとする。これらのユーザー手オブジェクトＵＨは、人の手を模した形状を有しており、特に本実施形態では独立に制御可能な５本の指を備えているものとする。

【0026】

また、仮想空間表示制御部５１は、これらのユーザー手オブジェクトＵＨと相互作用可能なオブジェクトを仮想空間内に配置する。図５は、仮想空間の様子の具体例を示している。この図においては、ユーザー手オブジェクトＵＨとじゃんけんをすることのできる別の手オブジェクトＨ１や、ユーザー手オブジェクトＵＨと握手することが可能な手オブジェクトＨ２が仮想空間内に配置されている。なお、ここでは手オブジェクトだけが図示されているが、これらの手オブジェクトは仮想空間内に存在するアバターの一部などであってもよい。また、その他にも仮想空間内にはユーザーがユーザー手オブジェクトＵＨを介して相互作用することのできる各種のオブジェクトが配置されてよい。

【0027】

視線状態特定部５２は、ユーザーの視線の状態を特定する。具体的に視線状態特定部５２は、前述したように、外部カメラ２３の撮像画像を解析することによって、頭部装着型表示装置２０の位置、及び向きを特定する。この頭部装着型表示装置２０の位置、及び向きは、現実空間内におけるユーザーの顔の位置、及び向きに対応しており、ユーザーの視線の起点となる視点の位置、及び向きを表している。視線状態特定部５２は、このユーザーの視点の位置、及び向きに連動するように、仮想空間内における視点カメラＰの位置、及び向きを変化させる。

【0028】

さらに本実施形態において、視線状態特定部５２は、視線状態の一部として、ユーザーの注視方向を特定するものとする。頭部装着型表示装置２０の使用中、ユーザーは、顔の向きを変えずに視線の向きだけを上下左右などに動かすことができる。このような視線の動きは、頭部装着型表示装置２０の位置や向きを変化させるわけではないので、外部カメラ２３の撮像画像を解析するだけでは特定することができない。そこで視線状態特定部５２は、内部カメラ２２の撮像画像に写っているユーザーの目を解析することで、ユーザーの瞳の位置の変化などからユーザーの視線の向き（注視方向）を特定する。

【0029】

この注視方向の特定結果は、視点カメラＰの位置や向きには反映されないが、ユーザーが仮想空間内において何に注目しているかを特定するために用いられる。具体的に視線状態特定部５２は、仮想空間内に配置された所与のオブジェクトをユーザーが注目しているか否かを、注視方向の特定結果を用いて判定する。以下ではユーザーが注目しているか否かの判定対象となるオブジェクトを、注目候補オブジェクトという。この注目候補オブジェクトは、ユーザーがユーザー手オブジェクトＵＨを介して相互作用可能なオブジェクトであってよい。

【0030】

視線状態特定部５２は、視点カメラＰの位置及び向きを基準として、仮想空間内においてユーザーの注視方向が向けられた先に注目候補オブジェクトが存在していれば、ユーザーがその注目候補オブジェクトに注目していると判定する。あるいは視線状態特定部５２は、注目候補オブジェクトを含む所与の空間領域に注視方向が向けられている場合に、その空間領域内に存在する注目候補オブジェクトを注目していると判定してもよい。以下では、実際にユーザーが注目していると判定された注目候補オブジェクトを注目対象オブジェクトという。

【0031】

具体例として、前述した図５の例において、手オブジェクトＨ１及び手オブジェクトＨ２が注目候補オブジェクトであることとする。この図の例では、視点カメラＰは手オブジェクトＨ１と手オブジェクトＨ２の中間の方向に向けられているが、この状態においてユーザーが左方向に視線を向け、その視線を延ばした先に手オブジェクトＨ１を含む空間領域Ａ１が存在している場合には、視線状態特定部５２は手オブジェクトＨ１を注目対象オブジェクトとして特定する。視点カメラＰの位置及び向きがそのままであっても、ユーザーが視線を右方向に向け、注視方向に沿った直線が手オブジェクトＨ２を含む空間領域Ａ２を通っていれば、視線状態特定部５２は手オブジェクトＨ２を注目対象オブジェクトとして特定する。なお、ここではそれぞれの手オブジェクトを中心として所定の大きさの立方体形状の領域が空間領域Ａ１又はＡ２として設定されている。ユーザーの視線がいずれの注目候補オブジェクトにも向けられていない場合、視線状態特定部５２は、ユーザーがどの注目候補オブジェクトにも注目していないと判定する。

【0032】

手指状態特定部５３は、現実空間内におけるユーザーの手、及び手指の状態を特定する。前述したように、本実施形態において手指の状態とは、ユーザーの各指がどの程度曲げられているかの状態を指している。ここでは手指状態特定部５３は、左右それぞれの操作デバイス３０に設けられた複数の指位置センサー３３の検出結果を用いて、ユーザーの右手の親指、人差し指、中指、及び左手の親指、人差し指、中指の計６本の指の状態をリアルタイムで特定する。

【0033】

ユーザー手オブジェクト制御部５４は、仮想空間内に配置されるユーザー手オブジェクトＵＨの状態を制御する。まずユーザー手オブジェクト制御部５４は、手指状態特定部５３が特定したユーザーの左右の手の位置に連動するように、ユーザー手オブジェクトＵＨの位置を変化させる。より具体的に、ユーザー手オブジェクト制御部５４は、頭部装着型表示装置２０の位置及び向きを基準とした現実空間における操作デバイス３０の位置と対応するように、視点カメラＰの位置及び向きを基準とした仮想空間内におけるユーザー手オブジェクトＵＨの位置を決定する。

【0034】

さらにユーザー手オブジェクト制御部５４は、手指状態特定部５３によるユーザーの左右の手それぞれの手指の状態の特定結果に基づいて、ユーザー手オブジェクトＵＨＲ及びＵＨＬの状態を制御する。具体的に、ユーザー手オブジェクトＵＨＲ及びＵＨＬは、それぞれ５本の指を備えている。そして、手指状態特定部５３が状態を特定する対象としている指については、ユーザー手オブジェクトＵＨＲ及びＵＨＬの対応する指をユーザーの実際の指と連動するように動作させる。例えばユーザーが右手の親指を折り曲げた場合、ユーザー手オブジェクト制御部５４は対応するユーザー手オブジェクトＵＨＲの親指を折り曲げる制御を行う。なお、手指状態特定部５３による特定の対象とされない指については、後述する視線状態に応じた制御を行わない間、ユーザー手オブジェクト制御部５４はその状態を変化させないこととする。

【0035】

さらに本実施形態では、ユーザー手オブジェクト制御部５４は、視線状態特定部５２が特定するユーザーの視線状態の情報に応じてユーザー手オブジェクトＵＨの状態を制御する。視線状態の情報としては、現実空間におけるユーザーの顔の位置及び向き、また注視方向の情報をそのまま用いてもよいが、これらの情報に基づいて特定される仮想空間内の注目対象オブジェクトの情報を用いてもよい。

【0036】

以下、ユーザーの視線状態に関する情報として、ユーザーがどの注目対象オブジェクトに注目しているかを示す情報を利用する例について説明する。注目候補オブジェクトが、予め定められた方法でユーザー手オブジェクトＵＨと相互作用するオブジェクトである場合、ユーザー手オブジェクト制御部５４は、その注目候補オブジェクトが注目対象オブジェクトとして特定された場合、その注目対象オブジェクトに応じて予め定められている内容でユーザー手オブジェクトＵＨの状態を制御する。これにより、ユーザー手オブジェクトＵＨをその注目対象オブジェクトとの相互作用に適した状態にすることができる。なお、ユーザー手オブジェクト制御部５４が制御対象とするユーザー手オブジェクトＵＨは、ユーザー手オブジェクトＵＨＲ及びユーザー手オブジェクトＵＨＬのうち、注目対象オブジェクトに対して予め定められたいずれか一方のユーザー手オブジェクトＵＨであってもよいし、両方のユーザー手オブジェクトＵＨであってもよい。あるいは、仮想空間内において注目対象オブジェクトにより近い位置に存在するユーザー手オブジェクトＵＨなど、所与の基準に基づいて決定される一方のユーザー手オブジェクトＵＨを制御対象としてもよい。

【0037】

ユーザー手オブジェクト制御部５４は、制御対象とするユーザー手オブジェクトＵＨの状態を、注目対象に応じて予め定められた制限を満たすように制御する。以下、ユーザー手オブジェクトＵＨに対する制御の具体例について説明する。

【0038】

まず第１の例として、制御対象のユーザー手オブジェクトＵＨを予め定められた複数の状態のいずれかになるように制御する例について説明する。前述の例において注目対象オブジェクトが手オブジェクトＨ１である場合、ユーザーは手オブジェクトＨ１との間でじゃんけんを行うことが想定されている。この場合、ユーザー手オブジェクト制御部５４は、制御対象のユーザー手オブジェクトＵＨをグー、チョキ、パーのいずれかの状態にすべきであり、その他の状態（例えば３本の指を伸ばして２本の指を折り曲げた状態）はユーザーの意図と異なっていると考えられる。

【0039】

そこでユーザー手オブジェクト制御部５４は、特定対象としているユーザーの手指の状態に基づいてユーザーが複数の状態（ここではグー、チョキ、パーの３種類の状態）のうちどの状態を意図しているかを推定し、その結果に応じて特定対象ではない手指の状態を制御する。例えば図６（ａ）に示すようにユーザーが特定対象である親指、人差し指、中指を全て伸ばしている場合、ユーザーはパーを出そうとしていると推定される。この場合ユーザー手オブジェクト制御部５４は、図６（ｂ）に示すように、特定対象の３本の指に対応するユーザー手オブジェクトＵＨの指を特定結果に応じて伸ばした状態に変化させるとともに、特定対象でない薬指及び小指についても伸ばした状態に変化させる。これにより、現実空間ではユーザーの手がパーの形になっていなくとも、仮想空間内におけるユーザー手オブジェクトＵＨはパーの形に変化し、ユーザーは違和感なく手オブジェクトＨ１を相手にじゃんけんを行うことができる。

【0040】

なお、この例においてユーザー手オブジェクト制御部５４は、特定対象の指についても、予め定められた状態のいずれかに合致するように変化させてもよい。例えば親指、人差し指、及び中指の全てがある程度開いた状態であって、ユーザーが出そうとしているのがパーであると推定される場合、ユーザー手オブジェクト制御部５４は、これらの指を完全に伸ばした状態に変化させてもよい。

【0041】

ユーザー手オブジェクト制御部５４は、以上説明したようなユーザー手オブジェクトＵＨの制御を、仮想空間内の様子をユーザーに提示している間、リアルタイムで実行することとする。すなわち、視線状態特定部５２は継続してユーザーの視線状態をモニタし、ユーザー手オブジェクト制御部５４は、ユーザーの視線が注目対象オブジェクトに向けられていると判定された場合、直ちにユーザー手オブジェクトＵＨを所与の状態にする制御を開始する。また、それまで注目対象オブジェクトを注視してたユーザーが別の場所に視線を向けた場合には、ユーザー手オブジェクトＵＨの制御を通常の制御（特定された指の状態をそのまま反映させる制御）に戻すこととする。

【0042】

このような制御によれば、ユーザー手オブジェクト制御部５４は、ユーザーが手オブジェクトＨ１を注視している間だけ、ユーザー手オブジェクトＵＨにじゃんけんの手の動きをさせることができる。逆に、たまたまユーザー手オブジェクトＵＨが手オブジェクトＨ１の近くまで移動したとしても、ユーザーが手オブジェクトＨ１の方に視線を向けていなければ、じゃんけんをするつもりがないと考えられるため、ユーザー手オブジェクト制御部５４はユーザー手オブジェクトＵＨの状態を強制的にグー、チョキ、パーのいずれかに変化させることはない。

【0043】

次に第２の例として、特定対象でない指を特定対象の指と連動して変化させる例について説明する。前述の例において注目対象オブジェクトが手オブジェクトＨ２である場合、ユーザーは手オブジェクトＨ２と握手することが想定されている。この場合、ユーザー手オブジェクト制御部５４は、手オブジェクトＨ２に近接する位置まで移動したユーザー手オブジェクトＵＨを制御対象として、その薬指及び小指を、特定対象の指と連動して曲げる制御を行う。具体的にユーザー手オブジェクト制御部５４は、基準となる指（例えば人差し指又は中指）と同じだけ薬指及び小指を曲げる制御を行うこととしてもよい。こうすれば、ユーザーが人差し指や中指を曲げて手オブジェクトＨ２を握り込むジェスチャーを行うと、これに連動して薬指及び小指も手オブジェクトＨ２を握るように動作し、ユーザー手オブジェクトＵＨを手オブジェクトＨ２と握手させることができる。

【0044】

なお、この例においては、制御対象となるユーザー手オブジェクトＵＨの仮想空間内における位置についても、現実空間内における手の位置にかかわらず、手オブジェクトＨ２と握手できる位置まで移動させることとしてもよい。

【0045】

さらにこの例では、ユーザーは握手のジェスチャーをする際に人差し指で操作ボタン３２ｂを押し込むことになる。これに応じてユーザー手オブジェクト制御部５４は、操作デバイス２０の力覚提示機構３４を動作させ、ユーザーの指に力覚を提示してもよい。これにより、ユーザーは実際に手オブジェクトＨ２を握っているかのような感覚を体験することができる。

【0046】

また、ここではユーザー手オブジェクトＵＨは握手の相手である手オブジェクトＨ２を握ることとしたが、ユーザー手オブジェクト制御部５４は、同様の制御により、例えばボールなど、各種のオブジェクトをユーザー手オブジェクトＵＨの５本の指で掴む制御を実行できる。さらにこの例において、ユーザー手オブジェクトＵＨが掴んでいるオブジェクトを投げる動作を行った場合、ユーザー手オブジェクト制御部５４は、そのオブジェクトが仮想空間内を飛んでいく制御を実行してもよい。この場合において、投げられたオブジェクトが飛んでいく方向は、ユーザーの注視方向に応じて制御してもよい。すなわち、ユーザー手オブジェクト制御部５４は、ユーザーの視線が向かっている先にボールなどのオブジェクトが飛んでいく制御を行うこととする。このような制御によれば、ユーザー手オブジェクトＵＨだけでなくユーザー手オブジェクトＵＨと相互作用するオブジェクトについても、ユーザーの視線状態に基づいてよりユーザーの意図を反映した挙動を行うようにすることができる。

【0047】

以上説明したように、本実施形態に係る情報処理装置１０によれば、ユーザーがどのオブジェクトに注目しているのかなど、ユーザーの視線の状態に応じてユーザー手オブジェクトＵＨの状態を制御することで、ユーザー手オブジェクトＵＨをよりユーザーの意図を反映した状態にすることができる。

【0048】

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、ユーザーが注目する注目対象オブジェクトを特定し、特定された注目対象オブジェクトによってユーザー手オブジェクトＵＨに対する制御内容を変化させることとしたが、これに限らず、ユーザーの視線が向けられている空間領域や、ユーザーの視点の位置によってユーザー手オブジェクトＵＨに対する制御内容を変化させてもよい。

【0049】

また、以上の説明ではユーザーは両手のそれぞれで操作デバイス３０を保持することとし、ユーザー手オブジェクト制御部５４は左右の手に対応する２個のユーザー手オブジェクトＵＨを制御対象とした。しかしながら、これに限らずユーザー手オブジェクト制御部５４は、いずれか一方の手に対応する１個のユーザー手オブジェクトＵＨだけを視線状態に応じた制御の対象としてもよい。

【0050】

また、以上の説明におけるユーザーの視線状態や手指の状態の特定方法は、いずれも一例に過ぎず、本実施形態に係る情報処理装置１０は各種の情報を用いて視線状態や手指の状態を特定してもよい。例えば情報処理装置１０は、距離を計測するセンサーに限らず、操作デバイス３０に設けられたその他の種類のセンサーの検出結果を用いてユーザーの指の状態を特定してもよい。また、情報処理装置１０は、ある操作ボタンが押し込まれた場合に、その操作ボタンを操作することが想定されている指が曲げられた状態にあることを特定してもよい。また、その操作ボタンの押し込み量に応じてどの程度握り込まれているかを特定してもよい。

【0051】

また、以上の説明ではユーザーは自身の一部の指（薬指、及び小指）で操作デバイス３０を把持することとしたが、これに限らず、各指の状態を検出するためのデバイスはユーザーの手のひらに装着されたり各指の先端に装着されたりしてもよい。あるいは、情報処理装置１０は、ユーザーの指の状態を外部からカメラで撮像するなどして特定してもよい。このような方法によれば、ユーザーは５本の指全てを任意に動かすことができる。このような場合にも、ハードウェアの制約や検出精度の問題などにより、一部の指の状態を正確に認識できない場合が生じ得る。このような場合においても、以上説明したようにユーザーの視線状態に応じてユーザー手オブジェクトＵＨの指の状態を制御することで、ユーザーの意図を反映するようにユーザー手オブジェクトＵＨを動作させることができる。

【符号の説明】

【0052】

１ 情報処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 頭部装着型表示装置、２１ 表示部、２２ 内部カメラ、２２ 外部カメラ、３０ 操作デバイス、３１ 把持部、３２ 操作部材、３３ 指位置センサー、３４ 力覚提示機構、５１ 仮想空間表示制御部、５２ 視線状態特定部、５３ 手指状態特定部、５４ ユーザー手オブジェクト制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】