特許 7353305 バーチャルリアリティに対する触覚フィードバック

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-21

(45)【発行日】2023-09-29

(54)【発明の名称】バーチャルリアリティに対する触覚フィードバック

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230922BHJP

【ＦＩ】

G06F3/01 560

【請求項の数】 22

(21)【出願番号】P 2020566337

(86)(22)【出願日】2019-02-19

(65)【公表番号】

(43)【公表日】2021-06-10

(86)【国際出願番号】 GB2019050439

(87)【国際公開番号】W WO2019158949

(87)【国際公開日】2019-08-22

【審査請求日】2022-02-18

(31)【優先権主張番号】1802645.0

(32)【優先日】2018-02-19

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】520313079

【氏名又は名称】バルキリー・インダストリーズ・リミテッド

【氏名又は名称原語表記】ＶＡＬＫＹＲＩＥ ＩＮＤＵＳＴＲＩＥＳ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】イサコフ，イワン

(72)【発明者】

【氏名】アテフィポー，コーロッシュ

(72)【発明者】

【氏名】クレバリー－ジョーンズ，オリバー

【審査官】酒井 優一

(56)【参考文献】

【文献】国際公開第２０１５／００７２９６（ＷＯ，Ａ２）

【文献】特表２０１７－５３７３７０（ＪＰ，Ａ）

【文献】特開２００９－２７６９９６（ＪＰ，Ａ）

【文献】国際公開第２００６／０２２３０７（ＷＯ，Ａ１）

【文献】特開２００８－１０８０５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムであって、
コントローラと、
前記ユーザの上腕の向き及び／又は速度及び／又は加速度、並びに前記ユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成する決定手段とを備え、
前記決定手段は、前記コントローラに出力データを提供するために前記コントローラと通信し、
人体の肢に取り付けるための電極のセットをさらに備え、
前記コントローラは、
バーチャル環境を定義し、
前記決定手段から出力データを受信し、前記ユーザの上腕の第１の向き及び前記ユーザの前腕の第２の向きを決定し、
前記バーチャル環境において前記ユーザのバーチャルハンドを表し、
前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、
前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートし、シミュレートされた力を前記触覚フィードバックによってユーザに提供するための刺激信号を生成するように構成され、
前記コントローラは、前記第１及び第２の向きに基づいて決定されるよう、前記刺激信号を生成するように構成され、
各電極は、前記コントローラから刺激信号を受信するために前記コントローラと通信し、前記刺激信号に基づいて電気刺激をユーザの筋肉に与え、
前記コントローラは、トレーニングモードを有し、
前記トレーニングモードにおいて、前記コントローラは、
複数のターゲットデータを生成するために、１つ又は複数の電極から複数の筋電図データを受信し、
各ターゲットデータについて、前記ユーザの上腕の第１の向き、前記ユーザの前腕の第２の向き、及び前記ユーザが保持する質量を示すデータを含むトレーニングデータを受信し、
機械学習アルゴリズムを前記トレーニングデータ及び前記ターゲットデータに適用して、前記上腕及び前腕の前記向き及び保持される質量から筋肉活動を予測するための予測アルゴリズムを提供するように構成され、
前記コントローラは、シミュレーションモードを有し、
前記シミュレーションモードにおいて、前記コントローラは、
バーチャル環境を定義し、
前記シミュレーションモードにおいて定義された前記バーチャル環境において前記ユーザのバーチャルハンドを表し、
前記シミュレーションモードにおいて定義された前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、
１つ又は複数の前記電極から筋電図データを受信し、
前記予測アルゴリズムを用いて、前記上腕及び前腕の前記向き及び所定の質量から筋肉活動を予測し、
前記シミュレーションモードにおいて表された前記バーチャルハンドに与えられる力をシミュレートし、シミュレートされた力を前記触覚フィードバックによってユーザに提供するための刺激信号を生成するステップを実行するように構成され、
前記ステップは、前記予測された筋肉活動から前記刺激信号を生成することを含む、バーチャルリアリティシステム。

【請求項2】

前記決定手段は、前記ユーザの上腕の向き、速度及び加速度、並びに前記ユーザの前腕の向き、速度及び加速度を表す出力データを生成するように構成され、
前記コントローラは、前記決定手段から出力データを受信し、前記ユーザの上腕の第１の向き、第１の速度及び第１の加速度、並びに前記ユーザの前腕の第２の向き、第２の速度及び第２の加速度を決定するように構成され、
前記コントローラは、前記第１及び前記第２の向き、前記第１及び第２の速度、並びに前記第１及び第２の加速度に基づいて前記刺激信号を生成するように構成される、請求項１に記載のバーチャルリアリティシステム。

【請求項3】

前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットを含み、
各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、
各センサは、前記コントローラにセンサデータを提供するために前記コントローラと通信し、
前記コントローラは、前記センサユニットのうちの１つ又は複数からセンサデータを受信し、前記ユーザの上腕の第１の向き及び前記ユーザの前腕の第２の向きを決定するように構成される、請求項１又は請求項２に記載のバーチャルリアリティシステム。

【請求項4】

前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラと通信するビデオカメラを含み、
前記コントローラは、前記ビデオカメラからビデオデータを受信し、前記ユーザの上腕の第１の向き及び前記ユーザの前腕の第２の向きを決定するために姿勢認識アルゴリズムを適用するように構成される、請求項１又は請求項２に記載のバーチャルリアリティシステム。

【請求項5】

前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラ
と通信するビデオカメラを備え、
前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットをさらに含み、
各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、
各センサは、前記コントローラにセンサデータを提供するために前記コントローラと通信し、
前記コントローラは、前記センサユニットのうちの１つ又は複数からセンサデータを受信し、当該センサデータに基づいて前記ユーザの上腕の第１の公称方向及び前記ユーザの前腕の第２の公称方向を決定するように構成され、
前記コントローラは、ビデオカメラからビデオデータを受信し、姿勢認識アルゴリズムを適用して、当該ビデオデータに基づいて前記ユーザの上腕の第３の公称方向及び前記ユーザの前腕の第４の公称方向を決定するように構成され、
前記コントローラは、前記第１及び第３の公称方向を用いて上腕の第１の向きを決定し、前記第２及び第４の公称方向を用いて第２の向きを決定するように構成される、請求項１又は請求項２に記載のバーチャルリアリティシステム。

【請求項6】

前記コントローラからタッチ信号を受信するように構成された１つ又は複数の触覚デバイスをさらに備え、
各触覚デバイスは手又は指に装着されるように構成され、それによって振動が指の先端に伝わることができ、
前記コントローラは、前記第１及び第２の向きに基づいて前記タッチ信号を生成するように構成される、請求項１～請求項５のいずれか１項に記載のバーチャルリアリティシステム。

【請求項7】

前記決定手段は、前記ユーザの上腕の向き、速度及び加速度、並びに前記ユーザの前腕の向き、速度及び加速度を表す出力データを生成するように構成され、
前記コントローラは、前記決定手段から出力データを受信し、前記ユーザの上腕の第１の向き、第１の速度及び第１の加速度、並びに前記ユーザの前腕の第２の向き、第２の速度及び第２の加速度を決定するように構成され、
前記コントローラは、前記第１及び第２の向き、並びに前記第１及び第２の加速度に基づいて前記タッチ信号を生成するように構成される、請求項６に記載のバーチャルリアリティシステム。

【請求項8】

前記１または複数の触覚デバイスは、ソレノイドを備え、
前記コントローラは、前記ソレノイドの振動の周波数及び振幅を表すようにタッチ信号を決定する、請求項６又は請求項７に記載のバーチャルリアリティシステム。

【請求項9】

前記コントローラは、ユーザの肢のモデルを格納し、
前記刺激信号を生成する前記ステップは、前記第１及び第２の向き並びに前記所定の質量を前記モデルに適用することによって前記刺激信号を生成するステップを含む、請求項１～請求項８のいずれか１項に記載のバーチャルリアリティシステム。

【請求項10】

前記決定手段は、さらに、前記ユーザの手の向き及び／又は速度及び／又は加速度を表す出力データを生成するように構成され、
前記コントローラは、前記決定手段から出力データを受信し、前記ユーザの前記手の手の向きを決定するようにさらに構成され、
前記コントローラは、前記第１、第２、及び手の向きに基づいて前記刺激信号を生成するように構成される、請求項１～請求項９のいずれか１項に記載のバーチャルリアリティシステム。

【請求項11】

前記決定手段は、さらに、前記ユーザの手の向き、速度、及び加速度を表す出力データを生成するように構成され、
前記コントローラは、さらに、前記決定手段から出力データを受信し、前記ユーザの手の手の向き、手の速度、及び手の加速度を決定するように構成され、
前記コントローラは、前記第１、第２、及び手の向き、前記第１、第２、及び手の速度、並びに前記第１、第２、及び手の加速度に基づいて前記刺激信号を生成するように構成される、請求項１～請求項９のいずれか１項に記載のバーチャルリアリティシステム。

【請求項12】

ユーザに触覚フィードバックを提供するための方法であって、
コントローラを用いてバーチャル環境を定義するステップと、
前記コントローラを用いて前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表すステップと、
決定手段を用いて、前記ユーザの上腕の向き及び／又は速度及び／又は加速度、並びに前記ユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成し、それによって出力データを前記コントローラに提供するステップと、
前記コントローラを用いて前記ユーザの上腕の第１の向きと前記ユーザの前腕の第２の向きとを決定するステップと、
前記定義された第１及び第２の向きを用いて前記バーチャル環境において前記ユーザのバーチャルハンドを表すステップと、
前記コントローラを用いて、前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートし、シミュレートされた力を前記触覚フィードバックによってユーザに提供するための刺激信号を生成するステップであって、前記コントローラが、前記第１及び第２の向きに基づいて前記刺激信号を生成するように構成されるステップと、
前記コントローラからの刺激信号に基づいて、前記刺激信号に基づく電気刺激を前記ユーザの筋肉に与えるステップとを備え、
前記コントローラは、トレーニングモードを有し、
前記コントローラは、前記トレーニングモードにおいて、
１つ又は複数の電極から複数の筋電図データを受信し、それによって、複数のターゲットデータを生成するステップと、
各ターゲットデータについて、前記ユーザの上腕の第１の向き、前記ユーザの前腕の第２の向き、及び前記ユーザが保持する質量を示すデータを含むトレーニングデータを受信するステップと、
機械学習アルゴリズムを前記トレーニングデータ及び前記ターゲットデータに適用して、前記上腕及び前腕の前記向き及び保持される質量から筋肉活動を予測するための予測アルゴリズムを提供するステップとを実行するように構成され、
前記コントローラは、シミュレーションモードを有し、
前記コントローラは、前記シミュレーションモードにおいて、
バーチャル環境を定義するステップと、
前記シミュレーションモードにおいて定義された前記バーチャル環境において前記ユーザのバーチャルハンドを表すステップと、
前記シミュレーションモードにおいて定義された前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表すステップと、
１つ又は複数の前記電極から筋電図データを受信するステップと、
前記予測アルゴリズムを用いて、前記上腕及び前腕の前記向き及び所定の質量から筋肉活動を予測するステップと、
前記シミュレーションモードにおいて表された前記バーチャルハンドに与えられる力をシミュレートし、シミュレートされた力を前記触覚フィードバックによってユーザに提供するために刺激信号を生成するステップとを実行するように構成され、
前記ステップは、前記予測された筋肉活動から前記刺激信号を生成することを含む、方法。

【請求項13】

出力データを生成する前記ステップは、前記決定手段を用いて、前記ユーザの上腕の向き、速度及び加速度、並びに前記ユーザの前腕の向き、速度及び加速度を表す出力データを生成するステップを含み、
前記コントローラで決定する前記ステップは、前記ユーザの上腕の第１の向き、第１の速度及び第１の加速度、並びに前記ユーザの前腕の第２の向き、第２の速度及び第２の加速度を決定するステップを含み、
刺激信号を生成する前記ステップは、前記第１及び第２の向き、前記第１及び第２の速度、並びに前記第１及び第２の加速度に基づいて刺激信号を生成するステップを含む、請求項１２に記載の方法。

【請求項14】

前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットを含み、
各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、
各センサは、前記コントローラにセンサデータを提供するために前記コントローラと通信し、
前記コントローラは、前記ユーザの上腕の前記第１の向き及び前記ユーザの前腕の前記第２の向きを決定するために前記センサユニットのうちの１つ又は複数からセンサデータを受信するように構成される、請求項１２又は請求項１３に記載の方法。

【請求項15】

前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラと通信するビデオカメラを備え、
前記コントローラを用いて決定する前記ステップは、
前記ビデオカメラからビデオデータを受信するステップと、
前記ユーザの上腕の前記第１の向き及び前記ユーザの前腕の前記第２の向きを決定するために姿勢認識アルゴリズムを適用するステップとを含む、請求項１２又は請求項１３に記載の方法。

【請求項16】

前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラと通信するビデオカメラを備え、
前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットをさらに含み、各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、各センサは、前記コントローラにセンサデータを提供するために
前記コントローラと通信し、
前記コントローラは、前記センサユニットのうちの１つ又は複数からセンサデータを受信し、前記センサデータに基づいて前記ユーザの上腕の第１の公称方向及び前記ユーザの前腕の第２の公称方向を決定するように構成され、
前記コントローラは、前記ビデオカメラからビデオデータを受信し、姿勢認識アルゴリズムを適用して、前記ビデオデータに基づいて前記ユーザの上腕の第３の公称方向及びユーザの前腕の第４の公称方向を決定するように構成され、
前記コントローラは、前記第１及び第３の公称方向を用いて上腕の第１の向きを決定し、前記第２及び第４の公称方向を用いて第２の向きを決定するように構成される、請求項１２又は請求項１３に記載の方法。

【請求項17】

１つ又は複数の触覚デバイスが提供され、それぞれが手又は指に装着されるように構成され、
前記コントローラを用いて、前記第１及び第２の向きに基づいてタッチ信号を生成するステップと、
各触覚デバイスを作動させ、それによって振動を１つまたは複数の指の先端に伝達するステップとを備える、請求項１２～請求項１６のいずれか１項に記載の方法。

【請求項18】

出力データを生成する前記ステップは、前記決定手段を用いて、前記ユーザの上腕の向き、速度及び加速度、並びに前記ユーザの前腕の向き、速度及び加速度を表す出力データを生成するステップを含み、
前記コントローラで決定する前記ステップは、前記ユーザの上腕の第１の向き、第１の速度及び第１の加速度、並びに前記ユーザの前腕の第２の向き、第２の速度及び第２の加速度を決定するステップを含み、
前記コントローラは、前記第１及び第２の向き、並びに前記第１及び第２の加速度に基づいて前記タッチ信号を生成するように構成される、請求項１７に記載の方法。

【請求項19】

前記１または複数の触覚デバイスはソレノイドを備え、
前記コントローラは、前記ソレノイドの振動の周波数及び振幅を表すようにタッチ信号を決定する、請求項１７又は請求項１８に記載の方法。

【請求項20】

前記コントローラは、前記ユーザの肢のモデルを格納し、
前記刺激信号を生成する前記ステップは、前記第１及び第２の向き並びに前記所定の質量を前記モデルに適用することによって前記刺激信号を生成するステップを含む、請求項１２～請求項１９のいずれか１項に記載の方法。

【請求項21】

前記決定手段を用いて前記ユーザの手の向き及び／又は速度及び／又は加速度を表す出力データを生成し、
前記決定手段から出力データを前記コントローラで受信し、前記ユーザの前記手の手の向きを決定し、
前記コントローラは、前記第１、第２、及び手の向きに基づいて前記刺激信号を生成する、請求項１２～請求項２０のいずれか１項に記載の方法。

【請求項22】

前記決定手段を用いて、前記ユーザの手の向き、速度及び加速度を表す出力データを生成し、
前記決定手段から出力データを前記コントローラで受信し、それによって前記ユーザの手の手の向き、手の速度、及び手の加速度を決定し、
前記コントローラは、前記第１、第２、及び手の向き、前記第１、第２、及び手の速度、並びに前記第１、第２、及び手の加速度に基づいて刺激信号を生成する、請求項１２～請求項２０のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザに触覚フィードバックを提供するバーチャルリアリティシステムに関する。特に、以下は、バーチャルオブジェクトによって加えられる力の表れ及び／又はバーチャルオブジェクトのテクスチャの表れをユーザに提供することができるシステムを説明する。

【0002】

テクスチャの表れを提供するために振動信号を提供することは、この技術分野において知られている。

【0003】

バーチャルリアリティシステムを使用する場合、ユーザによって操作される装置を介して力のフィードバックを提供することも知られている。

【0004】

この技術分野では、バーチャルオブジェクトによって与えられるテクスチャ及び力のより正確な表現と、ユーザによって保持される装置の使用に依存しない表現とを提供することが依然として必要である。

【発明の概要】

【課題を解決するための手段】

【0005】

本発明によれば、以下の特許請求の範囲によって定義されるシステム及び方法が提供される。

【0006】

システムは、ユーザに触覚フィードバックを提供するように構成される。触覚フィードバックは、電極のセットによってユーザの筋肉に与えられる電気的刺激の形式であってもよい。このようにしてシミュレートされた重量を有するバーチャルオブジェクトは、ユーザの手に実際には加重されていないにもかかわらず、ユーザの手に「感じ」させることができる。

【0007】

システムは、シミュレートされた力が、その力が加えられている肢の位置を考慮するよう、電気刺激を生成してもよい。荷重に抵抗するためのユーザの筋肉の活動が、肢の向きに依存するので、このことは都合がよい。

【0008】

同様に、システムは、テクスチャをシミュレートする際に、肢の向きを考慮してもよい。

【0009】

本発明によれば、特許請求の範囲で定義されるシステム及び方法が提供される。
本発明の第１の態様によれば、ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムは、コントローラと、ユーザの上腕の向き及び／又は速度及び／又は加速度、並びにユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成する決定手段とを備え、決定手段は、コントローラに出力データを提供するためにコントローラと通信し、人体の肢に取り付けるための電極のセットをさらに備え、各電極は、コントローラから刺激信号を受信するためにコントローラと通信し、刺激信号に基づいて電気刺激をユーザの筋肉に与える。

【0010】

コントローラは、バーチャル環境を定義し、決定手段から出力データを受信し、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを決定し、バーチャル環境においてユーザのバーチャルハンドを表し、バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための刺激信号を生成するように構成され、コントローラは、第１及び第２の向きに基づいて刺激信号を生成するように構成される。

【0011】

本発明の第２の態様によれば、ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムは、コントローラと、人体の肢に取り付けるための電極のセットを備え、各電極は、コントローラから刺激信号を受信するためにコントローラと通信し、刺激信号に基づいて電気刺激をユーザの筋肉に与え、電極のセットは、ユーザの前腕に取り付けるための少なくとも１つの前腕電極と、ユーザの上腕に取り付けるための少なくとも１つの上腕電極と、ユーザの掌に取り付けるための少なくとも１つのパーム電極とを含む。

【0012】

コントローラは、バーチャル環境を定義し、バーチャル環境においてユーザのバーチャルハンドを表し、バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、上腕電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための上腕刺激信号を生成し、前腕電極を用いて、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための前腕刺激信号を生成し、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための皮膚刺激信号を生成するように構成され、皮膚刺激信号は、周波数及び振幅に関して上腕及び前腕刺激信号と異なる。皮膚刺激信号並びに上腕及び前腕刺激信号は、第１又は第３の態様と同様に生成され得る。

【0013】

本発明の第３の態様によれば、ユーザに触覚フィードバックを提供するための方法は、コントローラを用いてバーチャル環境を定義するステップと、コントローラを用いてバーチャル環境において所定の質量を有するバーチャルオブジェクトを表すステップと、決定手段を用いて、ユーザの上腕の向き及び／又は速度及び／又は加速度、並びにユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成し、それによって出力データをコントローラに提供するステップと、コントローラを用いてユーザの上腕の第１の向きとユーザの前腕の第２の向きとを決定するステップと、定義された第１及び第２の向きを用いてバーチャル環境においてユーザのバーチャルハンドを表すステップと、コントローラを用いて刺激信号を生成し、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするステップであって、コントローラが、第１及び第２の向きに基づいて刺激信号を生成するように構成されるステップと、コントローラからの刺激信号に基づいて、刺激信号に基づく電気刺激をユーザの筋肉に与えるステップとを備える。

【0014】

本発明の第４の態様によれば、ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムは、バーチャル環境を定義するステップと、バーチャル環境においてユーザのバーチャルハンドを表すステップと、バーチャル環境において所定の質量でバーチャルオブジェクトを表すステップと、皮膚刺激信号を生成し、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするステップと、刺激信号に基づいて電気刺激をユーザの筋肉に与えるステップとを備える。皮膚刺激信号は、第１又は第３の態様のように生成されてもよい。

【0015】

本発明のより良い理解のため、及びそれが如何に実施され得るかを示すため、あくまでも例として、添付の図面の参照はなされる。

【図面の簡単な説明】

【0016】

【図1A】本発明による刺激方法の一実施形態を示す図である。

【図1B】本発明による刺激方法の一実施形態を示す図である。

【図2】本発明による刺激信号を生成する方法の一実施形態を示す図である。

【図3】開示される方法を実施するための本発明によるシステムの概略図である。

【図4】開示される方法を実施するための本発明によるシステムの一実施形態を示す。

【図5】開示される方法を実施するための本発明によるシステムの一実施形態を示す。

【発明を実施するための形態】

【0017】

この技術分野において知られているように、バーチャルリアリティシステムは、ディスプレイを含む少なくとも１つのヘッドマウントデバイス５を備える。ヘッドマウントデバイス５は、ユーザの頭の位置及び向きを検知するセンサを含む。バーチャル環境におけるアイテムの位置は、これに対して定義され得る。

【0018】

図３の概略図から見て取れるように、本発明によるバーチャルリアリティシステムは、また、コントローラ１と、ユーザの肢の向きを表す出力データを生成する決定手段２と、肢に取り付けるセットの電極３とを備える。選択的に、触覚デバイス４が提供されてもよい（これらは以下で説明される）。

【0019】

決定手段２及び各電極３は、コントローラ１と通信する。
各電極３は、刺激信号に基づいてユーザの筋肉に電気刺激を与えるためにコントローラ１から刺激信号を受信するように構成される。電気刺激は、筋肉が所定の張力で収縮するように刺激するように構成される。

【0020】

電極３には共通の接地電極が設けられてもよい。しかしながら、電極３は、クロストーク（すなわち、ある信号が他の信号へ重ね合わさること）を避けるためにペアで設けられることが好ましい。ペアで提供される場合、刺激信号は、ペアの他方の電極が接地として働く状態で、ペアの一方の電極３に与えられるであろう。

【0021】

以下で説明するように、コントローラ１は、ユーザの手に与えられる力をシミュレートするための刺激信号を生成する。

【0022】

決定手段２は、ユーザの上腕の向き及び／又は速度及び／又は加速度、並びにユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成する。決定手段２は、出力データをコントローラ１に提供する。

【0023】

コントローラ１は、決定手段２から出力データを受け取り、その出力データを用いて、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを推定する。好ましくは、決定手段２はまた、ユーザの手の第３の向き、及び選択的には、ユーザの体の第４の向き（例えば、これは、ユーザの肩の位置の間に延びる線の向きの推定であってもよい。）を推定する。

【0024】

好ましい一実施形態では、決定手段２ａは、人体の腕に取り付けるためのセンサユニットのセットを含み、各センサユニットは、センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、各センサユニットは、コントローラ１にセンサデータを提供するためにコントローラ１と通信する。

【0025】

例えば、センサユニットのセットは、複数の三次元コンパスを含んでもよく、それらは、向きを表すデータを出力する。ユーザの少なくとも１つの腕（及び好ましくは各腕）のため、その上腕及び前腕の各々、並びに好ましくは手及び／又は肩に、三次元コンパスが設けられる。

【0026】

これに替えて、又は加えて、センサユニットのセットは、複数の加速度計又は慣性測定ユニットを含んでもよい。ユーザの少なくとも１つの腕（及び好ましくは各腕）に対して、その上腕及び前腕の各々、並びに好ましくは手及び／又は肩に、慣性測定ユニットが設けられる。各慣性測定ユニットは、測定された向きを表すデータを出力するように構成される。最も好ましくは、ユーザの少なくとも１つの腕（及び好ましくは各腕）に対して、１つ又は複数の慣性測定ユニットがその上腕に対して設けられ、１つ又は複数の慣性測定ユニットがその前腕に対して設けられる。好ましくは、１つ又は複数の慣性測定ユニットが肩に設けられてもよい。選択的に、１つ又は複数の慣性測定ユニットが手に設けられてもよい（以下でさらに論じる）。

【0027】

選択的に、指の向きは、監視対象の各指の上の慣性測定ユニットを用いて、同様の方法で監視されてもよい。

【0028】

測定された加速度を使用すると、上腕及び前腕（一方又は両方の腕に対する）の向き、または、選択的に手及び／又は肩の向きを推定することが可能である。理想的には、加速度計又は慣性測定ユニットは、ユーザの身体に対して装着可能又はそうでなければ固定可能であるとよい。

【0029】

上腕及び前腕（また、選択的に、手及び／又は肩も）の向きから、腕の関節の位置、体に対する腕の伸びなどの推定を導くことが可能である。

【0030】

代替的な好ましい実施形態では、又は補足的な特徴として、決定手段２ｂは、ビデオデータをコントローラ１に提供するため、コントローラ１と通信するビデオカメラ（可視光及び／又は赤外線）を含む。この使用は、図２のステップ２０５に示されている。

【0031】

コントローラ１は、ビデオカメラからビデオデータを受信し、一方又は両方の腕に姿勢認識アルゴリズム及び／又は姿勢追跡アルゴリズムを適用して、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを推定するように構成される。選択的に、決定手段２はまた、ユーザの手の第３の向き、及び、選択に、ユーザの体の第４の向きを推定する。

【0032】

いくつかの実施形態では、決定手段２ａ、２ｂの両方のタイプが提供されてもよい。各決定手段２ａ、２ｂによって出力された、推定された第１及び第２の向きは、融合／合成され得る（例えば、各決定手段２ａ、２ｂによって導きかれた方向の平均化によって）。

【0033】

ヘッドマウントデバイス５はまた、カメラ７を含んでもよい。カメラ７は、前方及び一般的に後方に向けることができ、広視野角を有してもよい。カメラは可視光カメラまたは赤外線カメラでもよい。

【0034】

任意の実施形態では、バーチャルリアリティシステムは、片手又は各手用のグローブを含むことができ、グローブは、指の曲げ／伸ばしを検知するためのセンサを含む。例えば、各指の背側（掌側とは反対側）に沿って延びるように配置された歪みゲージがそこに存在してもよい。

【0035】

好ましい実施形態では、触覚フィードバックは、テクスチャ及び／又はタッチフィードバックを含んでいてもよく、その場合、バーチャルリアリティシステムは、それぞれが指に取り付けられる１つ又は複数の触覚デバイス４も備えるであろう。触覚デバイス４は、タッチ信号に応答して振動を与え、及び／又はタッチ信号に応答して一定の圧力を与えるように構成されてもよい。したがって、各触覚デバイス４に対するタッチ信号は、バーチャル指先とバーチャルオブジェクトとの間の接触力、及び／又はバーチャルオブジェクトに沿って動くバーチャル指先によって感じられるであろうテクスチャを特徴付けることができる。

【0036】

各触覚デバイス４は、振動を指の先端に伝達することができるように、手又は指に装着されるように構成される。例えば、１つ又は２つのグローブに、グローブの各指の先端に取り付けられた触覚デバイス４が提供されてもよい。

【0037】

触覚デバイス４としては、偏心回転モータ、線形共振アクチュエータ、ボイスコイル、圧電アクチュエータ、又はソレノイドなど、任意の振動触覚デバイスが使用され得る。

【0038】

好ましくは、触覚デバイス４は、圧電デバイス、又はより好ましくは、ソレノイド（例えば、プッシュープル型ソレノイド）であってもよい。ソレノイドが好ましく、その理由はそれらは、一定の力、より低い周波数におけるより強い振動、及び広い周波数帯域の振動を提供することができるからである。

【0039】

触覚デバイス４は、コントローラ１からタッチ信号を受信するように構成される。
好ましい実施形態では、電極３は、図４に見られるように衣服に組み込まれる。同様に、決定手段２ａが使用される場合、これも衣服に組み込まれ得る。

【0040】

コントローラ１は、以下に記載する方法の１つ又はすべてを実行するように構成してもよい。

【0041】

ユーザの片腕に与える力をシミュレートする方法について以下に説明する。しかしながら、これは両方のアームに対して行われることが好ましい。また、これは、例えば、異なる重力を有する環境、又はおそらく水中環境をシミュレートするため、一方又は両方の脚（ここで、上腕の言及は上腿に対応し、前腕の言及は下腿に対応する）に対して行われ得ることも想定される。

【0042】

図１Ａ、１Ｂに見られるように、力をシミュレートする方法の一実施形態は、バーチャル環境においてバーチャルオブジェクトを定義するステップ１００と、ユーザの対応する腕を表すためのバーチャルアームを生成するステップ２００と、バーチャルアームとバーチャルオブジェクトがいつ接触したかを識別するステップ３００と、そのような接触によってそのような物体がそのような腕に与えたであろう力を計算するステップ３３０，３４０と、バーチャルアームの向きに基づいて刺激信号を生成するステップ３５０とを備える。

【0043】

バーチャル環境においてバーチャルオブジェクトを定義するステップ１００は、バーチャル環境におけるオブジェクトの質量及び位置を表すバーチャルオブジェクトデータを格納するステップ１５０を含んでもよい。バーチャルオブジェクトデータはまた、オブジェクトの表面上のテクスチャ（例えば、表面からの突起の高さを表す２次元アレイ）を定義するテクスチャデータを含んでもよい。選択的に、バーチャルオブジェクトデータはまた、速度、加速度、及び／又は振動特性のうちの１つ又は複数も含んでもよい。オブジェクトの振動特性は、オブジェクトがどのように接触に対して反応するかを表し得る。これらは、圧力の強度、振動の強度及び／又は周波数、振動の周波数スペクトル、オブジェクトへの指の貫通又はオブジェクトに沿った指の動きに対する振動の強度／振動の周波数の依存性のうちの１または複数を含み得る。

【0044】

バーチャルアームを生成するステップ２００は、上腕及び前腕を含む２パートのバーチャルアームを生成すること、又は上腕及び前腕並びに肩及び／又は手を含む３パート又は４パートのバーチャルアームを生成することを含んでもよい。

【0045】

バーチャルアーム２００を生成するステップは、ユーザの上腕及び前腕の長さを表す腕データを記憶することを含んでもよい（これは以下でさらに説明される）。選択的に、肩間の距離及び／又は手のサイズも格納される。

【0046】

さらに、バーチャルアーム２００を生成するステップはまた、ステップ２１０において、コントローラ１が、決定手段２からユーザの上腕及び前腕の向きを表す出力データを取得し、それによって、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを決定することを含んでもよい。

【0047】

選択的に、ステップ２１０はまた、コントローラ１が、決定手段２のセンサユニットのうちの１つ又は複数からセンサデータを受信し、ユーザの上腕の第１の速度及び／又は加速度と、ユーザの前腕の第２の速度及び／又は加速度とを決定することを含んでもよく、それによって、ユーザの上腕の第１の速度及び／又は加速度、並びにユーザの前腕の第２の速度及び／又は加速度を決定する。

【0048】

ステップ２２０では、第１及び第２の向きから、ユーザの腕（肩、肘、手首）の関節の位置及び伸びが、腕データを用いて推定され得る（例えば、ヘッドマウントデバイスに関して）。したがって、ユーザの手の位置が決定され得る。

【0049】

ステップ２１０及び２２０の代わりに、又はそれと組み合わせて、ステップ２０５は、姿勢認識アルゴリズム及び／又は姿勢追跡アルゴリズムを適用するためにビデオカメラ（好ましくは赤外線カメラ）を利用し、ユーザの上腕の第１の速度及び／又は加速度、並びにユーザの前腕の第２の速度及び／又は加速度を推定することができ、それによって、ユーザの上腕の第１の速度及び／又は加速度、並びにユーザの前腕の第２の速度及び／又は加速度を決定する。

【0050】

選択的に、ユーザの手の指の位置は、任意選択のステップ２２５、２３０、２４０に関して以下で論じるように決定され得る。

【0051】

さらに、好ましい実施形態では、これらの量のいずれかの第１の導関数及び第２の導関数が推定され得る（すなわち、アームセグメントの速度及び加速度、並びに関節の周りの角速度及び加速度）。

【0052】

ステップ２２０は、インバースキネマティクスの周知の技術を用いて実行されてもよい。

【0053】

ステップ２５０では、決定手段２を用いて導出された実世界におけるユーザの腕の対応する量に一致するように、バーチャルアームのバーチャル環境における位置及び角度が設定される。任意選択のステップ２３０及び２４０の一方又は両方が提供される場合、これらは、ステップ２５０において、ステップ２２０の結果と融合／結合される。

【0054】

ステップ２００～２５０は、上腕及び前腕のみを含む２パートのバーチャルアームに関して説明されているが、肩及び／又は手もバーチャルアームに含まれてもよい。

【0055】

ステップ３００では、バーチャルアームとバーチャルオブジェクトとの間に接触があるかどうかが確認される。

【0056】

ステップ３３０及び３４０は、電極３を用いてユーザの筋肉に電気刺激を与えるための適切な刺激信号を計算するための代替的な方法である。これらについては、後に詳述する。

【0057】

ステップ３３０及び３４０の出力は、刺激信号のパラメータであってもよい。例えば、パラメータは、振幅（電力、電圧又は電流）、周波数、パルス形状（例えば、三角形、正方形、正弦波）、パルス極性、及び／又はパルス幅変調パラメータ（例えば、デューティサイクル）のうちの１つまたは複数を含んでもよい。

【0058】

ステップ３３０及び３４０は、代替的な方法であってもよく、又は組み合わせて使用されてもよい（出力は、例えば、平均化によって、融合／合成され得る）。

【0059】

ステップ３５０において、コントローラ１は、ユーザに刺激を与えるように刺激信号を出力する。

【0060】

具体的には、ステップ３５０は、電極３を用いてユーザの腕の筋肉に電気刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ａを含んでもよい。

【0061】

ステップ３５０は、接触をシミュレートするために電極３を用いてユーザの掌に電気的刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ｂを含んでもよい。

【0062】

ステップ３５０は、触覚デバイス４を用いてユーザの指の１つ又は複数に振動信号及び／又は圧力を与えるように、コントローラ１がタッチ信号を出力するステップ３５０ｃを含んでもよい。

【0063】

したがって、実施形態は、ユーザの腕のより大きい筋肉、例えば、ユーザの手の指の曲げ又は伸びに使用される、二頭筋、三頭筋、及び前腕の筋肉、に与えられる荷重をシミュレートするために使用され得る。

【0064】

指ごとに（もし、両方を監視する場合、腕ごとに）慣性測定ユニットを設けることが可能である。これは、図１Ａのステップ２２５によって示される。

【0065】

しかしながら、好ましい実施形態では、指の位置は、上腕及び前腕の位置とは異なる方法で推定されてもよい。

【0066】

バーチャルリアリティシステムは、カメラを含んでもよい。例えば、図５に示されるように、ヘッドマウントデバイス５は、カメラを含んでもよい。カメラは、前方及び一般的には下方に向けることができ、広視野角を有してもよい。カメラは可視光カメラでも赤外線カメラでもよい。

【0067】

ステップ２３０では、カメラは、ユーザの手の画像を捕捉し、既知のマシンビジョン及びトラッキングアルゴリズムを適用して、カメラによって捕捉された１つ又は複数の画像を処理することによって指の位置を推定する。指の位置データは、コントローラ１に渡される。

【0068】

あるいは、バーチャルリアリティシステムは、片手又は両手の手袋を含んでもよく、手袋は、指の曲げ／伸ばしを検知するためのフィンガーポジションセンサを含む。例えば、各指の背側（掌側とは反対側）に沿って延びるように配置された歪みゲージがそこにあってもよい。

【0069】

ステップ２４０において、コントローラ１は、フィンガーポジションセンサから受信した信号を用いて指の位置を推定する。

【0070】

ステップ２３０及び２４０は、代替的な方法であってもよく、又は組み合わせて使用されてもよい（指の位置は、例えば、平均することによって融合／結合することができる）。

【0071】

選択的に、ステップ３１０では、バーチャルアームとバーチャルオブジェクトとの間の接触が、バーチャルハンドがバーチャルオブジェクトをつかんでいるようなものであるかどうかが確認される。例えば、このような決定は、単に、接触があるかどうか（ステップ３００で決定される）、及び手の指がつかんだ形状を形成するかどうか（ステップ２３０及び／又は２４０で決定される）を識別することによって行うことができる。

【0072】

バーチャルオブジェクトがつかまれた場合、ステップ３２０が実行される（ステップ３３０及び／又は３４０に加えて）。

【0073】

ステップ３２０において、コントローラ１は、電極３を用いてユーザの前腕の筋肉に電気的刺激を与えるための適切な刺激信号を計算する。刺激信号は、隣接する肘関節の角度の関数として生成されてもよい（例えば、刺激信号の振幅は、隣接する肘関節の角度（上腕と前腕との間の角度）の関数であってもよい）。追加的に又は代替的に、刺激信号は、ユーザの手の幾何学的構成を考慮した現実的な負荷をシミュレートすることができるように、ユーザの指及び手の角度に基づいて計算されてもよい。

【0074】

選択的に、以下に記載するように、ユーザの掌は、電極３によって刺激されてもよい。以下で説明するように、異なる刺激信号が掌に適切であろう。

【0075】

ステップ３５０は、電極３を用いてユーザの腕の筋肉に電気刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ａを含んでもよい。

【0076】

そのような実施形態では、ステップ３５０はまた、電極３を用いて接触をシミュレートするためにユーザの掌に電気的刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ｂを含んでもよい。

【0077】

バーチャルオブジェクトデータが、オブジェクトの表面上にテクスチャを定義するテクスチャデータを含み、バーチャルリアリティシステムが触覚デバイス４を含む実施形態では、ステップ３５０はまた、コントローラ１が触覚デバイス４を用いてユーザの指のうちの１つ又は複数に振動信号及び圧力を与えるようにタッチ信号を出力するステップ３５０ｃを含んでもよい。タッチ信号は、意図された振動の周波数及び振幅の両方をエンコードしてもよい。

【0078】

たとえば、ユーザの指の１つ又は複数がオブジェクトに接触すると決定されるとき、接触点におけるオブジェクトのテクスチャに基づいてタッチ信号が生成されてもよい。指とオブジェクトとの相対運動は、例えば、振動の周波数又は圧力レベルを決定するために、タッチ信号の生成において使用されてもよい。有利な観点においては、振動の振幅は、バーチャルオブジェクトによってバーチャルハンドに加えられる力に基づいて（少なくとも部分的に）決定されてもよい。力は、オブジェクトの質量及びバーチャルハンドの向きに基づいて決定され得る。したがって、コントローラ１は、第１の方向及び第２の方向に基づいてタッチ信号を生成するように構成されてもよい。

【0079】

腕の位置及び向きの第１の導関数及び第２の導関数（例えば、アームセグメントの速度及び加速度、並びに関節の周りの角速度及び加速度）が推定される実施形態では、これは、力を決定するために、バーチャルオブジェクトの位置、速度、加速度、及び質量パラメータと組み合わせて使用され得る。したがって、コントローラ１は、第１及び第２の向き、及び／又は第１及び第２の速度及び／もしくは加速度に基づいてタッチ信号を生成するように構成されてもよい。

【0080】

２つのステップ３３０、３４０は、代替的に、又は組み合わせて、適切な刺激信号を計算する。これらは図２に並列に示されており、そこにおいて、ステップ３３０はオプション４００ａを含み、ステップ３４０はオプション４００ｂを含む点で異なる。２つのステップ４００ａ、４００ｂの出力は、２つの代替的に提案される筋肉活動を組み合わせることによって（例えば、平均化することによって）融合／結合されてもよい。

【0081】

ステップ３３０は、腕のフィジカルモデルを利用し、そのモデルは、上腕及び前腕の位置及び角度を含み、選択的に手及び／又は肩の向きも含む。ステップ３３０は、予め定めた負荷（例えば、バーチャルオブジェクトの重み）によって与えられる力をシミュレートするために、各電極３に与える適切な筋肉活動を計算する。

【0082】

フィジカルモデルは、以下を表すパラメータを含む。
・刺激される各筋肉の筋肉タイプ。

【0083】

・刺激される筋肉の位置（例えば、筋肉がその周りに作用する関節）。
・刺激される筋肉の長さ（収縮した筋肉は、弛緩した筋肉とは異なる刺激を必要とする）。これは、関節角度から推定することができる。

【0084】

・各筋肉に対する対応するアゴニスト／アンタゴニスト（反対の意識で作用する筋肉、例えば、二頭筋ＶＳ．三頭筋）。筋肉がその周りに作用する関節を安定化するため、筋肉が対で活動されることは普通のことである。

【0085】

・共活動の時間。アゴニストは、所定の遅延の後に誘発され得る。
・ランダム性。筋肉刺激は、短時間（例えば、１００ｍｓ未満）で非活動化され得る。これは、システムの人工感を少なくし、疲労をシミュレートすることができる。

【0086】

・疲労。これは、筋肉の刺激周波数及び振幅を調節すること（例えば、筋肉の特定の長い高レベルの活動化の後に、周波数及び振幅を減少させる）によってモデリングすることができる。

【0087】

推定された上腕の向き及び前腕の向き（任意選択的に、手及び／又は肩の向き）並びにバーチャルオブジェクト質量を、瞬間的／静的な力を考慮するか、又は選択的に、モデルを上腕、前腕、及びバーチャルオブジェクトの速度及び加速度で補足するかのいずれかで、フィジカルモデルに適用することにより、実世界におけるそのようなオブジェクトにより各筋肉が受けるであろう力を計算することが可能である。

【0088】

このようにして、ステップ４００ａでは、各電極３によって対応する筋肉に適用されるべき筋肉活動が、その後、フィジカルモデル並びに推定された上腕及び前腕の向き及びバーチャルオブジェクトの質量を用いて、計算される。

【0089】

続いて、ステップ４２０では、各電極３に対する刺激信号のパラメータが計算されて、特定の筋肉活動を達成する。ステップ３３０及び３４０の出力は、刺激信号のパラメータであってもよい。パラメータは、振幅（電圧及び／又は電流）、周波数、及び／又はパルス幅変調パラメータ（例えばデューティサイクル）のうちの１つまたは複数を含んでもよい。好ましくは、パラメータは、異なる筋肉に応じて異なって計算される（例えば、２つの異なる筋肉によって与えられる同じ力は、異なる刺激信号をもたらす）。これは、力のより現実的なシミュレーションを提供することができる。

【0090】

ステップ３４０は、推定された向き及びバーチャルオブジェクトの質量から適切な筋肉活動を予測するようにトレーニングされた予測アルゴリズムを利用する。

【0091】

発明者らは、筋肉活動をモデリングするのに適したデータは、腕の筋肉の自然な活動を用いてトレーニングされる予測アルゴリズム（人工神経ネットワークなど）を用いて、腕の位置及びオブジェクトの質量から直接推定されるであろうことを理解した。好ましくは、これは、筋肉の刺激（あるいは、しかしあまり好ましくはないが、異なる電極を設けることができる）に使用される電極３を用いて測定され得る。言い換えれば、電極３は、それゆえに筋電図データを提供するために使用されることができ、上腕及び前腕の向き並びにユーザの手に保持された質量は、予測アルゴリズムを用いて筋電図データ上にマッピングされ得る。

【0092】

具体的な例として、ニューラルネットワークなど、各筋肉に対する予測アルゴリズムは、上腕及び前腕の向き（並びに選択的に、速度及び加速度データ）の連結と、ユーザの手に保持された質量の値（様々な質量及び向きが使用される）と、測定された筋肉活動に対応するターゲットデータと、によって形成される複数の入力ベクトルを含むトレーニングデータによってトレーニング（たとえば、逆伝播を用いて）されてもよい。

【0093】

好ましい実施形態では、ターゲットデータを生成するために使用される測定された筋肉活動は、刺激信号を定義する同じパラメータ（又はそのサブセット）によって特徴付けられてもよい。好ましくは、少なくとも振幅及び周波数は、ターゲットデータに含まれる。選択的に、ターゲットデータは、共活動化及び疲労をモデリングするための時間変数を含むことができる。

【0094】

予測アルゴリズムは、一旦、トレーニングされると、入力ベクトル及び向きの連結（及び、選択的に、速度及び加速度データ）を提示され得、筋肉活動を特徴付ける対応するデータの予測（周波数及び振幅、及び選択的に、時間変数）を出力することができる。出力データは、電気刺激信号を生成するために使用することができる。

【0095】

パルス幅変調など、刺激を特徴付けるために使用され得る他のパラメータは、異なる方法（たとえば、ルックアップテーブル）を用いて提供され得る。

【0096】

他の実施形態のように、手及び／又は肩の向き（並びに選択的に、速度及び加速度データ）並びに測定された筋肉活動が考慮され得る。

【0097】

したがって、ステップ４００ａの分析手法とは対照的に、ステップ４００ｂは、筋電図データを予測アルゴリズムへの入力として利用して、必要な筋肉活動に直接マッピングする。

【0098】

ステップ３３０及び３４０は、代替的な方法であってもよく、又は組み合わせて使用されてもよい（出力は、例えば平均化によって融合／合成され得る）。

【0099】

上記の説明では、各筋肉電極３は、コントローラ１から筋肉刺激信号を受信し、筋肉が収縮するように刺激するように構成されるが、発明者らは、電極が、圧力の感覚を提供するために皮膚にも刺激を与えることができることを理解した。したがって、皮膚刺激信号に基づいてユーザの手の皮膚に電気的刺激を与えるために、１つ又は各々の掌にパーム電極６を設けることも好ましい。皮膚刺激信号は、接触感を提供するために皮膚を刺激するように構成される。

【0100】

内側にある筋肉を刺激することなく皮膚を刺激するために、パーム電極６によって与えられる電力及び／又は電圧及び／又は電流は、筋肉電極３によって与えられる電力及び／又は電圧及び／又は電流よりも低くなる。

【0101】

したがって、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするために皮膚刺激信号を生成するステップ３５０ｂが、好ましいものの、選択的なステップとして存在する。

【0102】

皮膚刺激信号は、オブジェクトと手の掌との間の接触力に応じて変えることができ、それゆえ、上述の方法及び装置を利用することができる。

【0103】

そのようなバーチャルリアリティシステムの一実施形態は、ユーザの片腕又は両腕に対して、ユーザの掌に取り付けるための少なくとも２つのパーム電極６を備える。好ましくは、電極は、ユーザの掌の両側（例えば、拇指球及び小指球の筋肉の上）に配置される。上記の実施形態のいずれかで与えられる機能に加えて、コントローラ１は、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための皮膚刺激信号を生成するように構成される。

【0104】

皮膚刺激信号は、振幅、並びに選択的に、パルス幅及び周波数に関して上腕及び前腕刺激信号と異なる。

【0105】

バーチャルリアリティシステムの好ましい実施形態は、ユーザの一方又は両方の腕に対して、ユーザの前腕に取り付けるための少なくとも１つ、好ましくは２つの前腕電極３と、ユーザの上腕に取り付けるための少なくとも１つ、好ましくは２つの上腕電極３と、ユーザの掌に取り付けるための少なくとも１つのパーム電極対６とを備える。コントローラ１は、上腕電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための上腕刺激信号を生成し、前腕電極を用いて、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための前腕刺激信号を生成し、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための掌刺激信号を生成するように構成されているであろう。

【0106】

いくつかの実施形態では、２つを超えるパーム電極が設けられる。例えば、複数のパーム電極６は、掌の周囲の周りに間隔を空けて配置されてもよい。１対のパーム電極６は、特定の位置（例えば、選択された一対のパーム電極６の間の点）における接触の指示を提供するように選択されてもよい。一対のパーム電極６は、バーチャルハンドとバーチャルオブジェクトとの接触位置に基づいて選択されてもよい。

【0107】

バーチャルアームを生成するステップ２００は、ユーザの上腕及び前腕の長さを表す腕データを格納するステップを含んでもよい。選択的に、肩間の距離及び手のサイズも格納される。

【0108】

いくつかの実施形態では、このデータは、手動で入力されてもよい。ただし、自動的にこのデータを得ることが好ましい。

【0109】

ヘッドマウントデバイス５に組み込まれたカメラ７を伴う実施形態では、これらの測定値は、ユーザに腕を直接前方に伸ばすように指示することによって推定されてもよい。画像認識アルゴリズム及びカメラパラメータの記憶された値は、腕の長さを計算するために使用されてもよい。

【0110】

上記の実施形態のいずれにおいても、コントローラ１は、単一のユニット（図４及び図５に示されるように）であってもよく、又は複数の場所に複数の構成要素を有する分散型コントローラ１であってもよい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】