特表 2022-512479 環境触覚を仮想現実に統合するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-04

(54)【発明の名称】環境触覚を仮想現実に統合するためのシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220128BHJP

   A63F 13/217 20140101ALI20220128BHJP

   A63F 13/52 20140101ALI20220128BHJP

   A63F 13/285 20140101ALI20220128BHJP

   A63F 13/65 20140101ALI20220128BHJP

   G09G 5/00 20060101ALI20220128BHJP

   G09G 5/36 20060101ALI20220128BHJP

   G06T 19/00 20110101ALI20220128BHJP

   A63G 31/02 20060101ALN20220128BHJP

【ＦＩ】

G06F3/01

A63F13/217

A63F13/52

A63F13/285

A63F13/65

G09G5/00 550C

G09G5/00 510A

G09G5/00 555D

G09G5/00 530A

G09G5/36 520D

G06T19/00 300B

A63G31/02

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021533613

(86)(22)【出願日】2019-12-16

(85)【翻訳文提出日】2021-08-02

(86)【国際出願番号】 US2019066464

(87)【国際公開番号】W WO2020131670

(87)【国際公開日】2020-06-25

(31)【優先権主張番号】16/224,162

(32)【優先日】2018-12-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】フォレスト，サイモン

(72)【発明者】

【氏名】モーサカニアン，ラズミク

(72)【発明者】

【氏名】ウー，リーウェン

(72)【発明者】

【氏名】レヴェスク，ヴィンセント

(72)【発明者】

【氏名】ウオン，チャニー

【テーマコード（参考）】

5B050

5C182

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA07

5B050EA09

5B050EA27

5B050FA02

5B050FA05

5C182AB14

5C182AB25

5C182AB33

5C182BA03

5C182BA04

5C182BA14

5C182BA25

5C182BA29

5C182BA30

5C182BA35

5C182BA39

5C182BA45

5C182BA46

5C182BA65

5C182BA66

5C182BA75

5C182BC26

5E555AA64

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA41

5E555CA42

5E555CA44

5E555CA45

5E555CA47

5E555CB21

5E555DA08

5E555DA09

5E555DA24

5E555DC84

5E555EA20

5E555EA27

5E555FA00

(57)【要約】

環境触覚効果を仮想現実に統合するためのシステム及び方法が開示される。本明細書に記載される１つの例示的なシステムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサを含む。システムは、仮想現実効果を出力するように構成された仮想現実ディスプレイも含む。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも含み、プロセッサは、センサ信号を受信し、センサ信号に部分的に基づいて仮想現実効果に対する修正を決定し、修正に関連する表示信号を仮想現実ディスプレイに送信するように構成されている。別の１つの例示的なシステムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、仮想現実効果を出力するように構成された仮想現実ディスプレイと、を含む。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも含み、プロセッサは、センサ信号を受信し、センサ信号に少なくとも部分的に基づいて、環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果を決定し、被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信するように構成されている。
【選択図】 図１

【特許請求の範囲】

【請求項1】

環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、
仮想現実効果を出力するように構成された仮想現実ディスプレイと、
前記センサ及び前記仮想現実ディスプレイに連結されたプロセッサと、を備え、
前記プロセッサは、
前記センサ信号を受信し、
前記センサ信号に部分的に基づいて前記仮想現実効果に対する修正を決定し、
前記修正に関連する表示信号を前記仮想現実ディスプレイに送信する、
ように構成されている
、システム。

【請求項2】

前記プロセッサに連結された触覚出力デバイスを更に備えており、
前記プロセッサは、前記センサ信号に少なくとも部分的に基づいて触覚信号を決定すると共に、前記触覚信号を前記触覚出力デバイスに送信するようにさらに構成されている、請求項１のシステム。

【請求項3】

前記センサは、カメラ、レーザ、レーダ、加速度計、ジャイロメータ、ジャイロスコープ、圧力センサ、磁気センサ、光センサ、又はマイクのうち少なくとも１つを備える、請求項１のシステム。

【請求項4】

前記仮想現実ディスプレイは仮想現実ヘッドセットを備える、請求項１のシステム。

【請求項5】

前記環境条件は表面上の特徴に対応する、請求項１のシステム。

【請求項6】

前記特徴は砂利面を備える、請求項５のシステム。

【請求項7】

前記環境条件は擾乱を備える、請求項１のシステム。

【請求項8】

前記擾乱は乱気流を備える、請求項７のシステム。

【請求項9】

環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、
仮想現実効果を出力するように構成された仮想現実ディスプレイと、
前記センサ及び前記仮想現実ディスプレイに連結されたプロセッサと、を備え、
前記プロセッサは、
前記センサ信号を受信し、
前記センサ信号に少なくとも部分的に基づいて、前記環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果を決定し、
前記被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信する、
ように構成されている
、システム。

【請求項10】

環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから前記センサ信号を受信することと、
前記センサ信号に部分的に基づいて仮想現実効果に対する修正を決定することと、
前記修正に関連する表示信号を仮想現実ディスプレイに送信することと、
を備える、方法。

【請求項11】

前記プロセッサに連結された触覚出力デバイスを更に備えており、
前記プロセッサは、前記センサ信号に少なくとも部分的に基づいて触覚信号を決定すると共に、前記触覚信号を前記触覚出力デバイスに送信するようにさらに構成されている、請求項１０の方法。

【請求項12】

前記センサは、カメラ、レーザ、レーダ、加速度計、ジャイロメータ、ジャイロスコープ、圧力センサ、磁気センサ、光センサ、又はマイクのうち少なくとも１つを備える、請求項１０の方法。

【請求項13】

前記仮想現実ディスプレイは仮想現実ヘッドセットを備える、請求項１０の方法。

【請求項14】

前記環境条件は表面上の特徴に対応する、請求項１０の方法。

【請求項15】

前記特徴は砂利面を備える、請求項１４の方法。

【請求項16】

前記環境条件は擾乱を備える、請求項１０の方法。

【請求項17】

被生成触覚効果を決定することは、確率論的シナリオに少なくとも部分的に基づいて被生成触覚効果を修正することを備える、請求項１の方法。

【請求項18】

環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから前記センサ信号を受信することと、
ユーザに対して出力されるべき所望の触覚効果を決定することと、
前記センサ信号に少なくとも部分的に基づいて、前記環境触覚効果と組み合わせられたときに前記所望の触覚効果を生み出す被生成触覚効果を決定することと、
前記被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信することと、
を備える、方法。

【請求項19】

前記被生成触覚効果は前記環境触覚効果を相殺するように構成されている、請求項１８の方法。

【請求項20】

プログラムコードを備える非一時的コンピュータ可読媒体であって、
前記プログラムコードは、プロセッサによって実行されたときに、
環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから前記センサ信号を受信することと、
前記センサ信号に部分的に基づいて仮想現実効果に対する修正を決定することと、
前記修正に関連する表示信号を仮想現実ディスプレイに送信することと、
を前記プロセッサに行わせるように構成されている、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001] 本願は、２０１８年１２月１８日に提出された米国出願第１６／２２４，１６２号の利益を主張するものであり、同出願はここでの参照によりその全体が本明細書に組み込まれる。

【0002】

[0002] 本願は、ユーザインターフェイスデバイスの分野に係る。より具体的には、本願は、環境触覚を仮想現実に統合することに関する。

【背景技術】

【0003】

[0003] 仮想現実及び拡張現実（「ＶＲ」及び「ＡＲ」）アプリケーションが益々人気になっている。そのようなアプリケーションは、ユーザが実世界環境から発せられる触覚効果を体験しそうな状況において用いられ得る。例えば、ＶＲユーザは、飛行機、列車、車、又はボートなどの乗り物での移動中にＶＲ環境を体験している（映像を見ている又はゲームをプレイしている）かもしれない。これらの乗り物の各々において、ユーザは、ＶＲ体験とは関係がない触覚効果であって、ＶＲ体験を損ね得る触覚効果を感じそうになる。よって、環境触覚を仮想現実に統合するためのシステム及び方法が必要とされる。

【発明の概要】

【0004】

[0004] 本開示の実施形態は、環境触覚を仮想現実に統合するためのシステム及び方法を備える。一実施形態において、システムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサを備える。システムは、視覚効果又は聴覚効果などの仮想現実効果を出力するように構成された仮想現実ディスプレイも備える。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも備え、プロセッサは、センサ信号を受信し、センサ信号に部分的に基づいて仮想現実効果に対する修正を決定し、修正に関連する信号を仮想現実ディスプレイに送信するように構成されている。

【0005】

[0005] 別の一実施形態において、システムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、仮想現実効果を出力するように構成された仮想現実ディスプレイと、を備える。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも備え、プロセッサは、センサ信号を受信し、センサ信号に少なくとも部分的に基づいて、環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果（generated haptic effect）を決定し、被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信するように構成されている。

【0006】

[0006] 別の一実施形態において、環境触覚を仮想現実に統合するための方法は、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから、センサ信号を受信することを備える。方法は、センサ信号に部分的に基づいて仮想現実効果に対する修正を決定することと、修正に関連する表示信号を仮想現実ディスプレイに送信することと、を更に備える。

【0007】

[0007] 別の一実施形態において、方法は、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサからセンサ信号を受信することを備える。方法は、ユーザに対して出力されるべき所望の触覚効果を決定することと、センサ信号に少なくとも部分的に基づいて、環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果を決定することと、被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信することと、を更に備える。

【0008】

[0008] また別の一実施形態において、非一時的コンピュータ可読媒体は、プロセッサによって実行されたときにこのような方法を実施するように構成されたプログラムコードを備えていてもよい。

【0009】

[0009] これらの例示的な実施形態は、本主題を限定するため又は本主題の限定を定義するためではなく、その理解を助ける例を提供するために言及されるものである。詳細な説明の項において、例示的な実施形態について述べると共に、更なる説明を提供する。様々な実施形態によって提示される利点は、本明細書を吟味することによって及び／又は特許を請求する主題の１つ以上の実施形態を実践することによって、更に理解されるであろう。

【図面の簡単な説明】

【0010】

[0010] 本明細書の残りの部分には、完全且つ実施可能な開示がより詳細に記載される。本明細書は、以下の添付図を参照する。

【0011】

【図1】[0011] 環境触覚を仮想現実に統合するための例示的なシステムを示す。

【図2】[0012] 環境触覚を仮想現実に統合するための別の例示的なシステムを示す。

【図3】[0013] 環境触覚を仮想現実に統合するための一実施形態例の方法ステップのフローチャートである。

【図4】[0014] 環境触覚を仮想現実に統合するための別の一実施形態例の方法ステップのフローチャートである。

【発明を実施するための形態】

【0012】

詳細な説明
[0015] 次に、様々な及び代替的な例示的実施形態並びに添付の図面を詳細に参照する。各例は説明のために提供されるものであって、限定として提供されるものではない。当業者には、修正及び変更がなされ得ることが明らかであろう。例えば、ある実施形態の一部として説明又は記載される特徴が、別の一実施形態において用いられ、更に別の一実施形態をもたらし得る。したがって、本開示は、添付の特許請求の範囲及びその均等物の範囲内にある修正及び変更を含むことが意図されている。

【0013】

＜環境触覚を仮想現実に統合することの例示的な一例＞
[0016] 実施形態は、ＶＲシミュレーションが実世界の環境触覚に適合することを可能にする。そのような実施形態は、ユーザが、実世界の触覚を体験することなしにＶＲシミュレーションを楽しむことを可能にするであろう。あるいは、そのような一実施形態は、ユーザが触覚効果のソースに気付かないように、実世界の触覚をシームレスにＶＲシミュレーションに組み込むことができる。他の実施形態においては、ユーザが特定の所望の触覚効果を体験するように、実世界の触覚効果が被生成触覚効果と組み合わされ得る。

【0014】

[0017] 例示的な一実施形態では、ユーザは、仮想現実（「ＶＲ」）ヘッドセットを装着してＶＲムービーを体験しながら旅客機で飛行している。シミュレーションにおいては、実世界環境条件が環境触覚効果を引き起こし得る。例えば、飛行機の座席又は壁は、ＶＲシミュレーションにおいては障壁として描かれるかもしれない。乗客は、飛行機が上昇又は下降するとき、あるいは飛行機が乱流を通って飛行するときなどに、飛行機の動きに基づいた触覚効果も体験し得る。加速度計又はレーダなど、飛行機の１つ以上のセンサが、環境条件を検出して、触覚効果を予測することができる。又は代替的には、センサが、環境条件、例えば乱流による飛行機の揺れに関連する触覚効果自体を検出することができる。

【0015】

[0018] 例示的な一実施形態においては、１つ又は複数のセンサからの情報が、やはりＶＲムービーを処理すると共に表示しているプロセッサに渡される。すると、ＶＲムービーは、環境触覚効果を反映するように、実時間で修正されることができる。追加的又は代替的には、現実世界の触覚効果を最小化又は変更するように触覚効果が出力されることができる。例えば、ある例示的な一実施形態においては、ＶＲムービーは修正されない。その代わりに、触覚出力デバイスが、環境触覚効果を相殺又は排除するように設計された触覚効果を生成する。

【0016】

[0019] そのような実施形態においては、１つ又は複数のセンサは、イベントが発生するとき又は発生する前にそれらのイベントを検出するために用いられる。例えば、飛行中の乱流の場合には、レーダが、飛行機の飛行経路中における不安定な大気の特定のエリアが特定の効果を引き起こすであろうことを検知し、次いで、それが起こる際に、予測される環境触覚効果を反映するようにヘッドセットで表示されるＶＲ映像を修正するかもしれない。同様に、環境触覚効果を相殺するように設計された一実施形態においては、プロセッサが、触覚効果を予測し、次いで、ユーザが環境触覚効果を体験するのと同時に相殺触覚効果を生み出すことができる。これらの例は例示的なものに過ぎず、特許請求の範囲を限定しようとするものではない。

【0017】

＜環境触覚を仮想現実に統合するための例示的なシステム＞
[0020] 図１は、環境触覚を仮想現実に統合するための例示的なシステム１００を示す。特に、本例においては、システム１００は、バス１０６を介して他のハードウェアとインターフェイスするプロセッサ１０２を有する演算デバイス１０１を備えている。ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ又は同様のもののような任意の適当なタンジブルな（及び非一時的な）コンピュータ可読媒体を備えることのできるメモリ１０４が、演算デバイスの動作を構成するプログラムコンポーネントを具現化する。本例においては、演算デバイス１０１は、１つ以上のネットワークインターフェイスデバイス１１０と、入力／出力（Ｉ／Ｏ）インターフェイスコンポーネント１１２と、追加的な記憶装置１１４とを更に含む。

【0018】

[0021] ネットワークデバイス１１０は、ネットワーク接続を容易にする任意のコンポーネントのうち１つ以上を表すことができる。例としては、イーサネット、ＵＳＢ、ＩＥＥＥ１３９４などの有線インターフェイス、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ、もしくは携帯電話ネットワークにアクセスするための無線（radio）インターフェイス（例えばＣＤＭＡ、ＧＳＭ、ＵＭＴＳ、もしくは他の１つ又は複数の移動通信ネットワークにアクセスするためのトランシーバ／アンテナ）などの無線（wireless）インターフェイスを含むが、これらに限定されない。

【0019】

[0022] Ｉ／Ｏコンポーネント１１２は、ＶＲヘッドセット又はタッチスクリーンディスプレイのような１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイク、カメラ、及び／又はデータを入力するためもしくはデータを出力するために用いられる他のハードウェアなどのデバイスとの接続を容易にするために用いられ得る。記憶装置１１４は、デバイス１０１に含まれる磁気記憶媒体、光記憶媒体、又は他の記憶媒体などの不揮発性記憶装置を表す。いくつかの実施形態においては、Ｉ／Ｏコンポーネント１１２はＶＲコントローラを備え得る。他の実施形態においては、Ｉ／Ｏコンポーネントは、車又はボートのような輸送装置のコントローラを備え得る。更に他の実施形態においては、コントローラはユーザの手であってもよく、センサ１０８が、自由空間における動き及びジェスチャを検出することができてもよい。

【0020】

[0023] システム１００は更に、１つ以上のセンサ１０８を含む。センサ１０８は、環境効果を検出してプロセッサ１０２による使用に適したデータを提供するように構成されている。任意の適当な数、タイプ、又は配列のセンサを用いることができる。例えば、種々の実施形態は、加速度計、ジャイロメータ／ジャイロスコープ、圧力センサ、磁気センサ、光センサ、マイク、静電容量センサ、タッチセンサ、又はそのようなセンサの任意の組み合わせを含み得る。一実施形態においては、ユーザの周囲の環境を識別するために、カメラ、レーザマッピング、又はレーダスキャンが用いられる。そのような実施形態は、識別を行うために人工知能（「ＡＩ」）を利用し得る。加速度計は、振動、変位、及びスピードを検出するために用いられ得る。ジャイロメータ又はジャイロスコープは、回転を検知するために用いられ得る。圧力センサは高度を判定するために、そして磁気センサは方向又は配向を判定するために用いられ得る。光センサは、知覚される光度を判定するために用いられ得る。そしてマイクは、音を検出するために用いられ得る。これらのセンサはいずれも、任意の他のセンサと組み合わせて用いられ得る。

【0021】

[0024] 他の実施形態においては、センサ１０８はＬＥＤディテクタを備えていてもよい。いくつかの実施形態においては、プロセッサ１０２は単一のセンサ１０８と通信し、他の実施形態においては、プロセッサ１０２は複数のセンサ１０８と通信する。

【0022】

[0025] ここでは単一の触覚出力デバイス１１８が示されているが、実施形態は、触覚効果を出力するために、同一の又は異なるタイプの複数の触覚出力デバイスを使用してもよい。一例として、触覚出力デバイス１１８は、例えばピエゾアクチュエータ、電動モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）、もしくはリニア共振アクチュエータ（ＬＲＡ）のうち１つ以上、薄型触覚アクチュエータ、触覚テープ、又は静電摩擦（ＥＳＦ）アクチュエータのような静電効果を出力するように構成された触覚出力デバイスを備え得る。いくつかの実施形態においては、触覚出力デバイス１１８は、複数のアクチュエータ、例えば１つの薄型触覚アクチュエータと、１つのピエゾアクチュエータと、１つのＬＲＡとを備えていてもよい。また、触覚出力デバイス１１８は、ユーザ環境内又はユーザの衣類内に組み込まれてもよいし、又は装着可能なデバイスであってもよい。

【0023】

[0026] 次にメモリ１０４を見てみると、触覚効果を決定及び出力するためにデバイスがどのように構成され得るのかを説明するべく、代表的なプログラムコンポーネント１２４，１２６，及び１２８が図示されている。本例においては、検出モジュール１２４が、１つ又は複数のセンサ１０８を監視して環境条件を決定するようにプロセッサ１０２を構成している。例えば、モジュール１２４は、位置、経路、速度、加速、圧力、及び／又は環境触覚条件の他の特性のうち１つ以上を経時的に追跡するために、センサ１０８をサンプリングしてもよい。

【0024】

[0027] 触覚効果決定モジュール１２６は、生成する触覚効果を選択するために音響及び映像特性に関するデータを解析するプログラムコンポーネントを表す。特に、モジュール１２６は、触覚出力デバイスによって生成し出力する効果を環境条件及びＶＲ環境に基づいて決定するコードを備えている。モジュール１２６は更に、出力する１つ以上の既存の触覚効果を環境条件の検出に応答して選択するコードを備え得る。例えば、航空機における強い乱流の検出は、その乱流のユーザへの影響を打ち消すための強い振動の生成をトリガし得る。こうした特徴の様々な組み合わせに基づいて、種々の触覚効果が選択され得る。

【0025】

[0028] 触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて触覚出力デバイス１１８へと送信させるプログラミングを表し、それによって触覚出力デバイス１１８に選択された触覚効果を生成させる。例えば、生成モジュール１２８は、触覚出力デバイス１１８に送信するための記憶された波形又はコマンドにアクセスしてもよい。別の一例として、触覚効果生成モジュール１２８は、所望のタイプの触覚効果を受信し、信号処理アルゴリズムを利用して、触覚出力デバイス１１８に送信するのに適した信号を生成してもよい。更なる一例として、所望の触覚効果がテクスチャの目標座標と共に表示され、その触覚効果を提供するべく表面（及び／又は他のデバイスコンポーネント）の適切な変位を生成するために適切な波形が１つ以上のアクチュエータに送信されてもよい。いくつかの実施形態は、特徴をシミュレーションするために複数の触覚出力デバイスを一斉に利用し得る。例えば、ある環境擾乱が検知され得る。しかしながら、所望の触覚効果は、振動をほとんど又は全く有さず、運動感覚コンポーネント（kinesthetic component）を含んでいるかもしれない。そのような場合、環境擾乱を打ち消すために振動が利用され得る一方で、同時に、ユーザの環境におけるテーブルなどのオブジェクトの存在を示すために運動感覚効果が出力される。このような構成は例示的なものに過ぎず、システムが構築され得る唯一の手法ではない。

【0026】

[0029] 図２は、環境触覚を仮想現実に統合するための別の例示的なシステムを示す。図２のシステムはローラーコースター用である。図２に示される実施形態においては、ユーザ２０２がローラーコースター車両２０４に着座している。軌道に沿ってユーザを運ぶローラーコースター車両２０４は、環境触覚効果を検知するため、並びに触覚効果を決定し、生成し、出力するために、図１に図示されるシステムを内蔵し得る。

【0027】

[0030] 図示される実施形態においては、ユーザ２０２はＶＲヘッドセット２０６を装着している。ＶＲヘッドセット２０６は、視覚表示装置並びにヘッドフォンを含む。ＶＲヘッドセット２０６は、ＬＲＡのような、ユーザに触覚効果を提供するための１つ以上の触覚アクチュエータも含み得る。

【0028】

[0031] ローラーコースター車両２０２は座席２０８を含み、ユーザ２０２はそこに座る。図示される実施形態においては、座席２０８は、ユーザ２０２に触覚出力を提供するための様々な触覚出力デバイスを含む。いくつかの実施形態においては、ユーザは、一対の手袋など、触覚アクチュエータデバイスを含む衣類も装着するかもしれない。

【0029】

[0032] ローラーコースター車両２０４が軌道を横断するとき、車両２０４のセンサは、車両の動きを検知して、発生しそうなイベントを予測することができる。例えば、車両が傾斜を登るためにチェーンに接近するときには、車両２０４の前方のフォトセンサがチェーンを検知し、チェーンドッグがいつチェーンと係合するかを予測する。チェーンドッグがチェーンと係合するときには、車両２０４の他のセンサが振動、すなわちカチカチという感覚を検知する。センサが振動を検知するときには、座席２０８の触覚出力デバイスが相殺振動を出力して、チェーンドッグが係合するときの車両２０４の触感を滑らかにする。このような実施形態は、ＶＲヘッドセット２０６が車両２０４の動きと一致した飛行シミュレーションをしているときに有用であろう。相殺触覚フィードバックはユーザに、ローラーコースターに乗っているよりも飛行しているのに近い、より滑らかなライドを体験させる。例えばローラーコースターの力を相殺するための圧力をユーザの体に印加するために、他のタイプのアクチュエータが用いられてもよい。また、いくつかの実施形態においては、ユーザは、より没入型の体験を達成するために、体の様々な部位に追加的なアクチュエータを装着してもよい。

【0030】

[0033] 様々な実施形態がいくつかのシナリオにおいて有用であり得る。例えば、あるユーザが長いフライトの間、没入型のＶＲゲームをしている。ユーザがシミュレーションにおいて橋の上を歩くときに、地震で仮想世界が揺れる。この実施形態は、ユーザの下で橋を揺らし、森の木を揺らし、付近の崖から岩を落下させることができ、これらは全て検知された乱流に応答したものである。このような実施形態は、飛行機での乱流を紛らしながら極めて現実的な体験を提供する。

【0031】

[0034] 別の一例として、あるユーザが乗客として車に乗っている間、ＶＲレーシングゲームをしている。ゲームは未来に設定されており、仮想道路をいつでも変えることができる。突然、ユーザは道路がデコボコになるのを見、タイヤがデコボコにぶつかるときの変化を聞き、テクスチャの変化を感じる。シミュレーションされたレーシングゲームのこうした変化は、現実の車が今、砂利道に沿って進んでいるという事実によって引き起こされた。現実の車が窪みに近づくと、車の前方のカメラがその窪みを検出し、シミュレーションに対して行う修正を決定する。そして、車が窪みに衝突すると、ユーザは触覚出力デバイスから自身の側に衝撃を感じて、シミュレーションされた爆発が表示される方を向き、それによって環境触覚効果がシミュレーションに組み込まれる。

【0032】

[0035] 別の一例においては、あるユーザがシミュレーションにおいて、青い海の浅瀬で寛いでいる。ユーザは何かがユーザの右腕に掠っているのを感じ、そちらを向くと、魚が逃げていくところが見えたり、水が魚によって変位するのが聞こえたりするかもしれない。ユーザは実際にはリビングルームで横になっており、別の人物が通りがかりにユーザに偶然に掠ってしまった。システムは接触が起こりそうであることを検知し、ＶＲシミュレーションを修正し、ユーザのＶＲ没入を維持するために対応する触覚効果を生成及び出力した。

【0033】

[0036] さらに別の一例においては、ユーザが、ＶＲヘッドセットを装着して仮想ジャングルの中を歩いている。ユーザのリビングルームの家具や壁は、ＶＲシミュレーションにおけるオブジェクトにマッピングされる。張り出したランプが現れるところには木の枝が現れ、コーヒーテーブルは大きな岩のように見える。壁があるところでは、森がより深くなる。ユーザがこれらのオブジェクトのうちいずれかに接近するとき、システムは対応する触覚効果を生成及び出力することができ、ユーザの周りの実世界環境に自動的に適合する。こうして、シミュレーションは、実世界のオブジェクトがまるで仮想世界のオブジェクトであるかのように、ユーザが実世界のオブジェクトを回避する又は実世界のオブジェクトと相互作用することを可能にし得る。

【0034】

＜環境触覚を仮想現実に統合するための例示的な方法＞
[0037] 図３は、環境触覚を仮想現実に統合するための一実施形態例の方法ステップのフローチャートである。図示される実施形態においては、プロセス３００が、プロセッサ１０２のようなプロセッサがシミュレーションを実行することによって始まる３０２。

【0035】

[0038] プロセッサ１０２はまた、１つ以上のセンサ１０８からのセンサ信号を受信する。それらのセンサ信号を用いて、プロセッサ１０２は環境を分析し、ユーザがシミュレーションを体験している環境を識別する３０４。例えば、センサ信号は、ユーザが、図２に関連して上述したようにローラーコースターに乗っていることを示し得る。いくつかの実施形態においては、環境は、シミュレーションが始まる前に識別されてもよいし、又は演算デバイス１００にハードコードされてもよい。

【0036】

[0039] プロセッサ１０２は次に、環境に基づいて一連の確率論的シナリオを決定する３０６。例えば、シミュレーションが飛行機において実行を始める場合、センサ１０８は、飛行機が地上にあることを示す１つ以上の信号を送信し得る。するとプロセッサ１０２は、地上走行又は離陸に関連するシナリオを、近い将来に最も起こりそうな２つのシナリオとして識別するであろう。プロセッサは、人工知能アルゴリズムに依拠して最もあり得るシナリオを識別させてもよい。

【0037】

[0040] プロセッサ１０２は次に、環境伝導に関連するセンサ１０８からのセンサ信号を受信する３０８。例えば、飛行機の加速度計又はスピードセンサは、飛行機が動き始めていることを示すかもしれない。あるいは、ローラーコースターの場合には、センサは、傾斜で車両を引き上げるために車両がチェーンと係合していることを示すかもしれない。

【0038】

[0041] センサ１０８は次に、センサ信号が確率論的シナリオの１つに関連するかどうかを判定する３１０。例えば、飛行機が静止していて、飛行機が地上走行を開始しそうであるとプロセッサが判定する場合には、飛行機が動き始めたことを示すセンサ信号が、確率論的シナリオの１つに一致するであろう。ローラーコースターであれば、車両が突然停止した場合、それは軌道を横断するローラーコースターに関連する確率論的シナリオには一致しないかもしれない。別の一例において、車が道路を走行中であり、路面が突然砂利に変化する場合、砂利面に沿って進むことは、プロセッサ１０２によって予測される確率論的シナリオの１つではないかもしれない。

【0039】

[0042] 確率論的シナリオがセンサシグナルに関連する場合には、プロセッサ１０２は確率論的シナリオに関連する修正を識別する３１２。その修正は、ＶＲヘッドセットにおける表示の修正であり得る。代替的には、その修正は、環境条件の検知に応答してユーザに提供される１つの触覚効果又は一連の触覚効果の修正であり得る。いずれの場合も、修正は事前に定義され、プロセッサ１０２による今後の検索のために、例えば記憶装置１１４に記憶される。

【0040】

[0043] 確率論的シナリオがセンサシグナルに関連しない場合には、プロセッサ１０２は、センサ信号に少なくとも部分的に基づいて修正を決定する３１６。既存の確率論的シナリオと同様、修正は、ＶＲヘッドセットによって出力される表示又は音に対する修正、又は１つの触覚効果もしくは一連の触覚効果もしくはこれらの出力の組み合わせに対する修正であり得る。もっとも、この場合、プロセッサは、センサ信号に少なくとも部分的に基づいて、映像、音響、及び／又は触覚効果に対する修正を識別又は生成しなくてはならない。

【0041】

[0044] プロセッサ１０２は次に、修正に基づいてシミュレーションを変更する３１８。例えば、飛行機における乱気流の場合には、映像が修正されてもよく、乱流の特性に近似するように、例えばボートのシミュレーションにおいて波を作り出したり、又はハイキングのシミュレーションにおいて地震を作り出したりすることがトリガされる。代替的には、触覚効果決定モジュール１２６が、乱流を相殺するための触覚効果を識別して、それらの触覚効果をシミュレーションによって生成される触覚効果と組み合わせてもよい。

【0042】

[0045] プロセッサ１０２はその後、修正されたシミュレーション３２０を出力する。例えば、プロセッサ１０２は、修正された映像を、ＶＲヘッドセットを通じて出力してもよい。別の一例においては、プロセッサ１０２は、乱気流によって引き起こされる触覚効果を触覚出力デバイス１１８に出力させてもよく、その一方でシミュレーションに関連する触覚効果も出力される。

【0043】

[0046] いくつかの実施形態においては、実世界の触覚がＶＲシミュレーションに統合される。そのような一実施形態においては、ユーザは、環境条件によって触覚擾乱が引き起こされる可能性のある非制御環境にいる間、ＶＲヘッドセットを装着する。本明細書に記載される飛行機の例に加えて、これは、列車におけるユーザも含み得る。列車は、一定のスピードで移動しながら、特色のあるガタガタという音を発する。駅では減速及び加速もするし、比較的急な旋回もあり得る。これらの状況又はアクションのそれぞれが、実世界の触覚をシミュレーションに統合するようにＶＲシミュレーションを修正するために用いられ得る。

【0044】

[0047] 同様に、車は、道路の特質（新しいアスファルト、砂利、窪み、雪など）に応じて異なるフィードバックを生み出す。車は、加速又は減速するとき、車線を変更するとき、又は曲がるときにも異なる触覚感覚を生み出す。ボートもまた、揺れ、スピードの変化、又は荒れた水域の横断によって、特色のある触覚感覚を生み出し得る。ユーザは、公共空間で環境条件によって引き起こされる触覚を体験するかもしれない。例えば、ユーザは、誰かが自分に掠っているのを感じたり、様々な面を横切って移動するにつれてテクスチャが変化するのを感じたり、他者が自分に触っているのを感じたり、あるいは家具又は壁などのオブジェクトと相互作用したりするかもしれない。そのような実施形態においては、環境条件によって引き起こされる触覚擾乱は、没入型ＶＲ体験を維持するために、少なくとも部分的にＶＲシミュレーションに統合される。いくつかの実施形態においては、カメラのようなＶＲヘッドセットに埋め込まれたセンサ、又は圧力センサのようなユーザの衣類に埋め込まれたセンサが、別の人間が通りかかっているときに検知することができると共に、それに応じてシミュレーションを修正することができる。別の一実施形態においては、センサは、木などのオブジェクトの存在を検知して、ユーザに実世界のオブジェクトとの衝突を回避させるべく、オブジェクトを示すようにＶＲシミュレーションを修正し得る。

【0045】

[0048] 別の一実施形態においては、ユーザは、触覚コンポーネントを有する物理的体験の際に、ＶＲヘッドセットを装着する。ユーザは物理的体験からの触覚を体験するが、それらの触覚はヘッドセットを通じてユーザに提示されるＶＲシミュレーションにマッピングされる。換言すれば、ユーザが物理的体験を制御するにつれ、ＶＲシミュレーションは、ユーザによって体験される触覚に一致するように変化する。触覚は、ローラーコースターのライドなど、比較的予測可能な体験に関係し得る。そのとき、触覚は、ローラーコースターの軌道の様々な特徴と同期され得る。代替的には、ＶＲシミュレーションは、実時間で、それまで知られていなかった体験に適合されてもよい。例えば、ローラーコースターの例の場合、カメラ又は加速度計などのセンサが環境を測定し、ローラーコースターのライドが始まる前に効果をマッピングするのとは対照的に、例えばローラーコースターの車両の垂直及び水平移動に応じて、触覚及びＶＲシミュレーションの変更が実時間で起こることを可能にし得る。

【0046】

[0049] 触覚体験の喜びを高めるために、追加の触覚デバイスが用いられてもよい。例えば、飛行機で乱流が検出されるとき、飛行機の椅子は、乱流を補償するための触覚を出力するべく触覚出力デバイスを含んでいてもよく、不快な乱流をより楽しいユーザ体験へと変化させる。別の一実施形態例においては、センサが実世界での衝突を検出してＶＲ環境でのイベントをトリガする。例えば、ユーザは、左手のコントローラと右手のコントローラとを衝突させてゲーム内で兵器を発射する。衝突の衝撃は、兵器のパワーレベルにマッピングするであろう。兵器の発射の反響をシミュレーションするために、追加的な触覚が同時にトリガされてもよい。

【0047】

[0050] いくつかの実施形態においては、修正は、補償、回避、又は操作として特徴付けられ得る。例えば、一実施形態は、実世界環境における不快な触覚を補償することができる。センサ１０８は、実世界環境においてユーザによって体験される又はユーザによって体験されようとしている不快な触覚感覚を検出し、その不快な触覚を補償するための触覚を生成する。そのような実施形態は、触覚効果に一致するように同時にＶＲ表示も修正することができる。例えば、乱流が検出される場合、そのような実施形態は、実世界環境の触覚が現在のＶＲ環境に近似することができるように乱流を打ち消す触覚を生成し得る。例えば、ユーザは飛行中にレースカーのゲームを見ているかもしれず、乱流効果の修正は車に砂利道の走行を始めさせるかもしれない。

【0048】

[0051] 別の一実施形態は、ユーザが実世界環境における不快な触覚を回避するのに役立つ。 図４は、環境触覚を仮想現実に統合するための一実施形態例の方法ステップのフローチャートである。図示される実施形態においては、プロセス４００が、プロセッサ１０２のようなプロセッサがシミュレーションを実行することによって始まる４０２。

【0049】

[0052] プロセッサ１０２は、環境条件を検出するように構成されたセンサ１０８からセンサ信号を受信する４０４。環境条件は、乱気流などの擾乱であり得る。代替的には、環境条件は路面であってもよい。

【0050】

[0053] 次に、触覚効果決定モジュール１２６が、環境条件に関連する環境触覚効果を決定する４０６。例えば、プロセッサ１０２は、乱気流が大規模・低頻度の触覚効果に関連すると判定し得る。

【0051】

[0054] 触覚効果決定モジュール１２６は、その後、ユーザに対して出力されるべき所望の触覚効果を決定する４０８。例えば、ユーザが見ているシミュレーションは、良路に沿って走っている車であるかもしれない。そのシミュレーションに基づくと、所望の触覚効果は、道に沿って転がる車のタイヤを反映した小規模・高頻度の効果である。このように、所望の触覚効果は環境触覚効果とは実質的に異なり得る。

【0052】

[0055] 触覚効果決定モジュール１２６は、その後、所望の触覚効果及び環境触覚効果に基づいて、被生成触覚効果、すなわち、生成されるべき触覚効果を決定する４１０。例えば、触覚効果生成モジュール１２８は、小規模・高頻度の触覚効果を提供する触覚効果と、それに加えて、大規模・低頻度の環境触覚効果を相殺するための触覚効果とを生成し得る。これらの２つの効果の出力を組み合わせると、結果としてユーザは所望の触覚効果を知覚することになる。プロセッサ１０２は、その後、１つ又は複数の触覚効果を触覚出力デバイス１１８に送信し、触覚出力デバイスが触覚効果を出力する４１２。

【0053】

[0056] このような実施形態は、センサを用いて、環境条件を検知すると共に、センサ出力に基づいて実世界環境で起こりそうな触覚を予測することができる。それが不快なものである場合には、アプリケーションが、不快な状況が発生するのを回避するべく方向、位置、回転、体勢などを変更するようにユーザに警告するための何らかの類似の触覚を先に生成する。例えば、ユーザは混雑したバスで立っており、ＶＲデバイスを装着している。アプリケーションは、誰かがすれ違いざまにユーザの左肩に当たるであろうことを検出し、ユーザに、予想される衝突を回避するべく体を回転させるように警告するための触覚を生成する。

【0054】

[0057] 更に別の一実施形態は、実世界環境における適切な触覚効果を採用するように触覚効果を操作する。そのような実施形態においては、１つ又は複数のセンサが環境触覚効果を検出し、それらの効果を被生成触覚効果と組み合わせて用いて、ＶＲ環境におけるシナリオに近似させる。例えば、あるユーザが実世界でテーブルの上に手を置き、彼女のアバターがＶＲ環境において同じことをする場合、実世界の触感は、被生成触感を何ら追加せずに用いられ得る。しかしながら、現実のテーブルが木のテーブルであり、その一方で仮想のテーブルがガラスのテーブルである場合、アプリケーションは、ガラスのテーブルを触っているとユーザに感じさせるための触覚を生成するであろう。例えば、パラグライディングのようなアクティビティは、鳥のように飛行するＶＲ体験と近似され得る。その場合、ＶＲコンテンツは、予測不可能な現実の触覚体験と同期され得る。

【0055】

[0058] 本明細書に記載されたいくつかの実施形態は、ＶＲシミュレーションを実世界の環境触覚効果に適応させることによって、より没入型でより良く最適化された体験を提供する。他の実施形態においては、望まれない触覚効果が相殺され、これもＶＲシミュレーションの際に没入型の環境を維持するのに役立つ。いくつかの実施形態は、より没入型のシミュレーションを提供するために、環境触覚効果に加え、被生成触覚効果を提供し得る。

【0056】

＜一般的考察＞
[0059] 上述した方法、システム、及びデバイスは例である。様々な構成で、適宜、様々な手順又はコンポーネントを省略し、置換し、又は追加してもよい。例えば、代替的な構成においては、方法は、記載されたものとは異なる順序で実施されてもよく、及び／又は、様々な段階が追加され、省略され、及び／又は組み合わせられてもよい。また、特定の構成に関して記載された特徴は、様々な他の構成においては組み合わせられてもよい。構成の色々な態様及び要素が類似の手法で組み合わせられてもよい。また、技術は進化するものであり、したがって、要素の多くは例であり、開示又は特許請求の範囲を限定しない。

【0057】

[0060] 構成例（実施例（implementation）を含む）の十分な理解を提供するために、明細書においては具体的な詳細が示される。しかしながら、構成はこれらの具体的詳細なしに実用され得る。例えば、周知の回路、プロセス、アルゴリズム、構造、及び技術は、構成を不明瞭にすることを避けるために、不必要な詳細を省いて示されている。本明細書は構成例を提供するものに過ぎず、特許請求の範囲、適用可能性、又は構成を限定しない。むしろ、先の構成の説明は、当業者に、記載された技術の実装を可能にする説明を提供するであろう。要素の機能及び配置には、本開示の精神又は範囲から逸脱することなく、様々な変更がなされてもよい。

【0058】

[0061] また、構成は、フロー図又はブロック図として図示されるプロセスとして記載されてもよい。各々は動作をシーケンシャルなプロセスとして記載するかもしれないが、動作の多くは並行して又は同時に実施され得る。さらに、動作の順序は並び替えられてもよい。プロセスは、図には含まれていない追加的なステップを有していてもよい。また、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実現され得る。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードで実現されるときには、必要なタスクを実施するためのプログラムコード又はコードセグメントが記憶媒体などの非一時的コンピュータ可読媒体に記憶されてもよい。プロセッサが記述されたタスクを実施してもよい。

【0059】

[0062] いくつかの構成例を記載してきたが、本開示の精神を逸脱することなく、様々な修正、代替的な構造、及び均等物が用いられ得る。例えば、上記の要素はより大きなシステムのコンポーネントであってもよく、他の規則が本発明の適用よりも優先され又は本発明の適用を修正してもよい。また、いくつかのステップは、上記の要素が検討される前、最中、又は後に行われてもよい。したがって、上記の説明は特許請求の範囲を制限しない。

【0060】

[0063] 本明細書における「ように適合され」又は「ように構成され」の使用は、追加的なタスク又はステップを実施するように適合され又は構成されたデバイスを除外しない、開放的且つ包括的な言語を意味する。また、「に基づく」の使用は、１つ以上の記載された条件又は値に「基づく」プロセス、ステップ、計算、又は他のアクションが、実用では、記載されているもの以外の追加的な条件又は値に基づき得るという点で、開放的且つ包括的であることが意図されている。本明細書に含まれる見出し、リスト、番号付けは、説明を容易にするためだけのものであり、限定的であることを意図されてはいない。

【0061】

[0064] 本主題の態様による実施形態は、デジタル電子回路において、コンピュータハードウェア、ファームウェア、ソフトウェアにおいて、又はこれらの組み合わせにおいて実現され得る。一実施形態においては、コンピュータは１つ又は複数のプロセッサを備え得る。プロセッサは、プロセッサに連結されたランダムアクセスメモリ（ＲＡＭ）などのコンピュータ可読媒体を備えるか、又はこれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実施するための他のルーチンを含む１つ以上のコンピュータプログラムを実行するなど、メモリに記憶されたコンピュータ実行可能なプログラム命令を実行する。

【0062】

[0065] そのようなプロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、現場プログラム可能ゲートアレイ（ＦＰＧＡ）、及びステートマシンを備え得る。そのようなプロセッサは更に、ＰＬＣ、プログラム可能な割り込みコントローラ（ＰＩＣ）、プログラム可能な論理デバイス（ＰＬＤ）、プログラム可能な読み出し専用メモリ（ＰＲＯＭ）、電子的にプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の類似のデバイスなどのプログラム可能な電子機器を備え得る。

【0063】

[0066] そのようなプロセッサは、プロセッサによって実行されたときに、プロセッサによって行われる又は支援されるものとして本明細書に記載されたステップをプロセッサに実施させることのできる命令を記憶し得る媒体、例えばタンジブルなコンピュータ可読媒体を備えていてもよく、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、ウェブサーバのプロセッサなどのプロセッサにコンピュータ可読命令を提供することのできる全ての電子記憶デバイス、光学記憶デバイス、磁気記憶デバイス、又は他の記憶デバイスを備え得るが、これらに限定されない。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光学媒体、全ての磁気テープもしくは他の磁気媒体、又はコンピュータプロセッサが読み取ることのできる任意の他の媒体を備え得るが、これらに限定されない。また、様々な他のデバイスが、ルータ、プライベートもしくはパブリックネットワーク、又は他の伝送デバイスなどのコンピュータ可読媒体を含み得る。記載されるプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載された方法（又は方法の部分）のうち１つ以上を実行するためのコードを備えていてもよい。

【0064】

[0067] 本主題はその特定の実施形態に関して詳細に記載されているが、当業者であれば上記のことを理解して、そのような実施形態の変更、バリエーション、及び均等物を容易に生み出し得ることが理解されるであろう。したがって、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかであろう通り、本主題へのそのような修正、バリエーション及び／又は追加の包含を排除しないことが理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】