特開 2019-220170 触覚オーバーレイを拡張現実に統合するシステムと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-220170(P2019-220170A)

(43)【公開日】2019年12月26日

(54)【発明の名称】触覚オーバーレイを拡張現実に統合するシステムと方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20191129BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/01 560

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

【外国語出願】

【全頁数】17

(21)【出願番号】特願2019-107855(P2019-107855)

(22)【出願日】2019年6月10日

(31)【優先権主張番号】16/010,230

(32)【優先日】2018年6月15日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】アラキ、 サトシ

(72)【発明者】

【氏名】ウルリッヒ、 クリストファー ジェイ．

(72)【発明者】

【氏名】ウー、 リーウェン

(72)【発明者】

【氏名】クルス−エルナンデス、 ファン マヌエル

(72)【発明者】

【氏名】グラント、 ダニー エイ．

(72)【発明者】

【氏名】アッタリ、 サニャ

(72)【発明者】

【氏名】スウィンデルズ、 コリン

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555AA23

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA10

5E555CA42

5E555CA44

5E555CA47

5E555CB65

5E555CC03

5E555DA24

5E555FA00

(57)【要約】      （修正有）

【課題】触覚オーバーレイを拡張現実に統合するシステム及び方法を提供する。
【解決手段】システムにおいて、触覚出力デバイスと、視覚効果を出力するディスプレイと、プロキシオブジェクトの位置を追跡するセンサと、を含む。システムはまた、センサから受信したデータに部分的に基づいて、修正視覚効果を決定し、センサから受信したデータに部分的に基づいて触覚効果を決定し、修正視覚効果に関連付けられるディスプレイ信号をディスプレイに送信し、触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信し、触覚出力デバイスを使用して触覚効果を出力するプロセッサを含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

システムであって、
触覚出力デバイスと、
視覚効果を出力するべく構成されたディスプレイと、
プロキシオブジェクトの位置を追跡するセンサと、
プロセッサと
を含み、
前記プロセッサは、
前記センサから受信したデータに部分的に基づいて修正視覚効果を決定することと、
前記センサから受信したデータに部分的に基づいて触覚効果を決定することと、
前記修正視覚効果に関連付けられるディスプレイ信号を前記ディスプレイに送信することと、
前記触覚効果に関連付けられる触覚信号を前記触覚出力デバイスに送信することと、
前記触覚出力デバイスを使用して前記触覚効果を出力することと
を行うべく構成される、システム。

【請求項2】

前記触覚出力デバイスは前記プロキシオブジェクトに結合される、請求項１のシステム

【請求項3】

前記プロキシオブジェクトは、靴、衣料品、電子デバイス、ディスプレイ、インタフェイスオブジェクト、又は車両の内装の一つ以上を含む、請求項２のシステム。

【請求項4】

前記プロキシオブジェクトは中性的な物理特性を含む、請求項２のシステム。

【請求項5】

前記拡張現実視覚効果は、前記ディスプレイを介して前記プロキシオブジェクトの外観を修正するべく構成される、請求項２のシステム。

【請求項6】

前記ディスプレイは、ウェアラブルデバイス又は携帯型デバイスの少なくとも一方を含む、請求項１のシステム。

【請求項7】

前記センサは、カメラ、レーザ、レーダー、加速度計、ジャイロメータ、圧力センサ、磁気センサ、光センサ、追跡センサ又はマイクロホンの少なくとも一つを含む、請求項１のシステム。

【請求項8】

前記プロセッサはさらに、入力信号を入力キャプチャデバイスから受信し、前記入力キャプチャデバイスから受信したデータに部分的に基づいて前記触覚効果を決定するべく構成される、請求項１のシステム。

【請求項9】

前記触覚効果は、前記プロキシオブジェクトのテクスチャを修正するべく構成される、請求項１のシステム。

【請求項10】

前記触覚効果は、皮革、プラスチック、ゴム、金属、黄麻布、スエード、デニム、木、布、セラミック、発泡材料又はガラスの一つ以上のテクスチャを模擬するべく構成される、請求項９のシステム。

【請求項11】

方法であって、
センサから受信したデータに部分的に基づいて修正視覚効果を決定することと、
前記センサから受信したデータに部分的に基づいて触覚効果を決定することと、
前記修正視覚効果に関連付けられるディスプレイ信号を前記ディスプレイに送信することと、
前記触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信することと、
前記触覚出力デバイスを使用して前記触覚効果を出力することと
を含む、方法。

【請求項12】

前記触覚出力デバイスはプロキシオブジェクトに結合される、請求項１１の方法。

【請求項13】

前記プロキシオブジェクトは、靴、衣料品、電子デバイス、ディスプレイ、インタフェイスオブジェクト、又は車両の内装の一つ以上を含む、請求項１２の方法。

【請求項14】

前記プロキシオブジェクトは中性的な物理特性を含む、請求項１２の方法。

【請求項15】

前記拡張現実視覚効果は、前記ディスプレイを介して前記プロキシオブジェクトの外観を修正するべく構成される、請求項１２の方法。

【請求項16】

前記ディスプレイは、ウェアラブルデバイス又は携帯型デバイスの少なくとも一方を含む、請求項１１の方法。

【請求項17】

前記センサは、カメラ、レーザ、レーダー、加速度計、ジャイロメータ、圧力センサ、磁気センサ、光センサ、追跡センサ又はマイクロホンの少なくとも一つを含む、請求項１１の方法。

【請求項18】

入力信号を入力キャプチャデバイスから受信することと、
前記入力キャプチャデバイスから受信したデータに部分的に基づいて前記触覚効果を決定することと
をさらに含む、請求項１１の方法。

【請求項19】

前記触覚効果は、前記プロキシオブジェクトのテクスチャを修正するべく構成される、請求項１２の方法。

【請求項20】

前記触覚効果は、皮革、プラスチック、ゴム、金属、キャンバス、エナメル、黄麻布、スエード、デニム、木、布、セラミック、発泡材料又はガラスの一つ以上のテクスチャを模擬するべく構成される、請求項１９の方法。

【請求項21】

非一時的コンピュータ可読媒体であって、
プロセッサにより実行されると前記プロセッサに、
センサから受信したデータに部分的に基づいて修正視覚効果を決定することと、
前記センサから受信したデータに部分的に基づいて触覚効果を決定することと、
前記修正視覚効果に関連付けられるディスプレイ信号を前記ディスプレイに送信することと、
前記触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信することと、
前記触覚出力デバイスを使用して前記触覚効果を出力することと
を行わせるべく構成されたプログラムコードを含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、インタフェイスデバイスの分野に関する。詳しくは、本願は、触覚オーバーレイを拡張現実に統合することに関する。

【背景技術】

【0002】

仮想現実及び拡張現実（「ＶＲ」及び「ＡＲ」）アプリケーションが益々一般的になっている。ＶＲアプリケーションは典型的に、仮想オブジェクトのタッチ感覚をユーザが感じられるようにするべく専用コントローラを組み入れる。例えば、ＶＲユーザは、ＶＲアプリケーションにおいて自分の手で銃の射撃を経験することができるのと同時に専用コントローラを介してその射撃を模擬する触覚効果を感じることができる。ＡＲ空間では、触覚効果をユーザに与えることが難しい。したがって、触覚オーバーレイを拡張現実に統合するシステム及び方法が必要とされている。

【発明の概要】

【0003】

本開示の実施形態は、触覚オーバーレイを拡張現実に統合するシステム及び方法を含む。一実施形態において、システムは触覚出力デバイスを含む。システムはまた、視覚効果を出力するべく構成されたディスプレイを含む。システムはまた、プロキシオブジェクトの位置を追跡するセンサを含む。システムはまた、センサから受信したデータに部分的に基づいて、修正視覚効果を決定することと、当該センサから受信したデータに部分的に基づいて触覚効果を決定することと、当該修正視覚効果に関連付けられるディスプレイ信号をディスプレイに送信することと、当該触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信することと、当該触覚出力デバイスを使用して当該触覚効果を出力することとを行うべく構成されたプロセッサを含む。

【0004】

他実施形態において、触覚オーバーレイを拡張現実に統合する方法は、センサから受信したデータに部分的に基づいて修正視覚効果を決定することと、当該センサから受信したデータに部分的に基づいて触覚効果を決定することと、当該修正視覚効果に関連付けられるディスプレイ信号をディスプレイに送信することと、当該触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信することと、当該触覚出力デバイスを使用して当該触覚効果を出力することとを含む。

【0005】

さらなる他実施形態において、非一時的コンピュータ可読媒体が、プロセッサによって実行されると当該方法を行うべく構成されたプログラムコードを含み得る。

【0006】

これらの具体的な実施形態は、本主題を限定し又はその限定を画定することなく、その理解を補助する例を与えるべく言及される。具体的な実施形態が詳細な説明に説明され、そこには、さらなる記載も与えられる。様々な実施形態により提供される利点が、本明細書を精査することにより、及び／又は請求項に記載される主題の一つ以上の実施形態を実施することにより、さらに理解される。

【図面の簡単な説明】

【0007】

完全かつ実施可能な開示が、本明細書の残り部分に詳細に記載される。本明細書は、以下の添付図面を参照する。

【0008】

【図1】触覚オーバーレイを拡張現実に統合する具体的なシステムを示す。

【図2】触覚オーバーレイを拡張現実に統合する他の具体的なシステムを示す。

【図3】触覚オーバーレイを拡張現実に統合する他の具体的なシステムを示す。

【図4】触覚オーバーレイを拡張現実に統合する他の具体的なシステムを示す。

【図5】触覚オーバーレイを拡張現実に統合する実施形態の一例の方法ステップのフローチャートである。

【発明を実施するための形態】

【0009】

ここで、様々なかつ代替の具体的な実施形態を及び添付の図面を詳細に参照する。説明を介するが、制限としてではなく、各例が与えられる。当業者にわかることだが、修正及び変形を行うことができる。例えば、一実施形態の一部として示され又は記載される特徴が、他実施形態において、なおもさらなる実施形態を得るべく使用することができる。すなわち、添付の特許請求の範囲及びその均等物の範囲内に入る修正及び変形が本開示に含まれることが意図される。

【0010】

触覚オーバーレイを拡張現実に統合する具体的な例

【0011】

実施形態が、ＡＲ空間における仮想オブジェクト上の触覚フィードバックを与える。かかる実施形態により、ユーザは、現実世界のオブジェクト上のテクスチャを、当該オブジェクト上の触覚オーバーレイを使用して、見たり感じたりすることができる。代替的に、かかる実施形態は、ウェアラブル周辺デバイスをシームレスに含み得る。ウェアラブル周辺デバイスもまた、触覚フィードバックを与えることができる。他実施形態において、ウェアラブル周辺デバイスのみを、触覚フィードバックを与えるべく使用してよい。いくつかの実施形態において、ＡＲ空間はＶＲ空間を含む。

【0012】

一つの具体的な実施形態において、ユーザは、ＡＲヘッドセットを装着し、現実空間において、例えば靴のようなプロキシオブジェクトを見ている。ユーザは、材料（例えば、皮革、プラスチック、ゴム、金属、黄麻布、スエード、デニム、木、布、セラミック、発泡材料又はガラスの一つ以上のような材料）のライブラリから、材料を選択することができる。この材料はその後、音声コマンドを大声で言う（例えば皮革材料を当てはめる）ことにより、又はＶＲ若しくはＡＲヘッドセット、ハンドコントローラ、ウェアラブルデバイス、又はジェスチャ認識視覚メニューを介して命令を入力することにより、ＡＲヘッドセットを介してプロキシオブジェクト上に表示される。ＡＲヘッドセットの具体的なＡＲディスプレイがコマンドに基づいて修正される結果、プロキシオブジェクトの外観が、選択された材料から作られたプロキシオブジェクトを示すようにＡＲディスプレイを介して修正される。

【0013】

一つの具体的な実施形態において、プロキシオブジェクトに関連付けられる触覚効果は、例えば、ライブラリから選択された材料のテクスチャを模擬する触覚効果（例えば振動又はＥＳＦ効果）を出力するアクチュエータのような触覚出力デバイスによって出力される。さらなる他の具体的な実施形態において、触覚効果が、グローブのようなウェアラブル周辺デバイスによって生成される。プロキシオブジェクトと相互作用をするユーザは触覚効果を感じ、その触覚効果は、プロキシオブジェクトの表面の異なるテクスチャ材料を模擬する（例えば、触覚効果は、皮革、プラスチック、ゴム、金属、黄麻布、スエード、デニム、木、布、セラミック、発泡材料又はガラスの一つ以上のテクスチャを模擬することができる）。

【0014】

一つの具体的な実施形態において、センサからの情報が、テクスチャに関連付けられる触覚効果に関連付けられる触覚信号を処理及び出力しているプロセッサに引き渡される。ＡＲディスプレイを介してのプロキシオブジェクトの修正画像、及び触覚出力デバイスにより出力されるテクスチャが、その後、当該プロキシオブジェクトの任意の動きを反映するべくリアルタイムで修正され得る。加えて、又は代替的に、プロセッサは、ウェアラブル周辺デバイスがＡＲオブジェクトに「接触」するようになるときを告げるべく、センサからの情報を使用することができる。当該センサはさらに、プロキシオブジェクトに関連付けられるユーザの動きを検出し、当該ユーザの動きに基づいて視覚効果及び触覚効果を修正することができる。

【0015】

この具体的な例は、ここに説明される一般的な主題を読み手に紹介するべく与えられ、本開示がこの例に限定されることはない。以下のセクションに、本開示の様々な付加的非限定例が記載される。

【0016】

触覚オーバーレイを拡張現実に統合する具体的なシステム

【0017】

図１は、環境触覚を仮想現実に統合する具体的なシステム１００を示す。特に、この例において、システム１００は、バス１０６を介して他のハードウェアとのインタフェイスをなすプロセッサ１０２を有するコンピューティングデバイス１０１を含む。ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等のような任意の適切な有体的な（かつ非一時的な）コンピュータ可読媒体を含み得るメモリ１０４により、コンピューティングデバイス１０１の動作を構成するプログラムコンポーネントが具体化される。この例において、コンピューティングデバイス１０１はさらに、一つ以上のネットワークインタフェイスデバイス１１０、入力／出力（Ｉ／Ｏ）インタフェイスコンポーネント１１２、及び付加的ストレージ１１４を含む。

【0018】

ネットワークデバイス１１０は、ネットワーク接続を容易にする任意のコンポーネントの一つ以上を代表し得る。例としては、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４のような有線インタフェイス、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）、若しくはセルラ電話ネットワークにアクセスするための無線インタフェイス（例えばＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、又は他の移動通信ネットワークにアクセスするためのトランシーバ／アンテナ）のような無線インタフェイスを含むがこれらに限られない。

【0019】

ＶＲ及びＡＲヘッドセット若しくはタッチスクリーンのような一つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ、及び／又はデータを入出力するべく使用される他のハードウェアのようなデバイスとの接続を容易にするべく、Ｉ／Ｏコンポーネント１１２を使用することができる。ストレージ１１４は、デバイス１０１に含まれる磁気、光又は他のストレージ媒体のような不揮発性ストレージを代表する。いくつかの実施形態において、Ｉ／Ｏコンポーネント１１２は、ＶＲコントローラ又はＡＲ入力デバイスを含み得る。他実施形態において、Ｉ／Ｏコンポーネントは、車又は船のような輸送デバイスにおけるコントローラ又は入力デバイスを含み得る。さらなる他実施形態において、コントローラ又は入力デバイスはユーザの手としてよく、センサ１０８は、自由空間におけるその動き及びジェスチャを検出することができる。

【0020】

オーディオ／ビジュアル出力デバイス１２２は、プロセッサ１０２から信号を受信してオーディオ又はビジュアル出力をユーザに与えるべく構成された一つ以上のデバイスを含む。例えば、いくつかの実施形態において、オーディオ／ビジュアル出力デバイス１２２は、タッチ画面ディスプレイ、ＬＣＤディスプレイ、プラスズマディスプレイ、ＣＲＴディスプレイ、プロジェクションディスプレイ、又は業界周知の他の何らかのディスプレイのようなディスプレイを含み得る。拡張現実又は仮想現実における使用を目的として、オーディオ／ビジュアル出力デバイス１２２は、各眼のためのディスプレイを含むヘッドセット、例えば携帯電話機若しくはタブレットのような携帯型デバイス、車両のフロントガラス、又は業界周知の他の何らかのディスプレイを含み得る。さらに、オーディオ／ビジュアル出力デバイスは、オーディオをユーザに出力するべく構成された一つ以上のスピーカを含み得る。

【0021】

システム１００はさらに、一つ以上のセンサ１０８を含む。センサ１０８は、触覚出力デバイス１１８を検出し、プロセッサ１０２による使用を目的として適切なデータを与えるように構成される。任意の適切な数、タイプ又は配列のセンサを使用することができる。例えば、異なる実施形態が、カメラ、レーザ、レーダー、加速度計、ジャイロメータ、圧力センサ、磁気センサ、光センサ、マイクロホン、容量センサ、タッチセンサ、トラッキングセンサ、又はかかるセンサの任意の組み合わせを含み得る。一実施形態において、触覚出力デバイス１８を識別するべく、カメラ、レーザマッピング、又はレーダースキャニングが使用される。かかる実施形態は、その識別を行うべく、人工知能（「ＡＩ」）を利用することができる。加速度計は、振動、変位及び速度を検出するべく使用することができる。ジャイロメータは、回転を感知するべく使用することができる。圧力センサは、高度を決定するべく使用することができ、磁気センサは、方向又は配向を決定するべく使用することができる。光センサは、認識された明度を決定するべく使用することができる。そして、マイクロホンは、音を検出するべく使用することができる。これらのセンサはいずれも、任意の他のセンサと組み合わせて使用することができる。

【0022】

他実施形態において、センサ１０８は、ＬＥＤ検出器を含み得る。いくつかの実施形態においてプロセッサ１０２は一つのセンサ１０８と通信し、他実施形態においてプロセッサ１０２は複数のセンサ１０８と通信する。

【0023】

一つの触覚出力デバイス１１８がここに示されるにもかかわらず、実施形態は、触覚効果を出力するべくそれと同じ又は異なるタイプの多数の触覚出力デバイスを使用することができる。例えば、触覚出力デバイス１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（ＥＲＭ）若しくは線形共振アクチュエータ（ＬＲＡ）、薄型（ｌｏｗ ｐｒｏｆｉｌｅ）触覚アクチュエータ、触覚テープ、又は、静電摩擦（ＥＳＦ）アクチュエータのような、静電効果を出力するべく構成された触覚出力デバイスの一つ以上を含み得る。いくつかの実施形態において、触覚出力デバイス１１８は、複数のアクチュエータ、例えば、薄型触覚アクチュエータ、圧電アクチュエータ及びＬＲＡを含み得る。さらに、触覚出力デバイス１１８は、プロキシオブジェクトに統合し、又はユーザの衣服若しくはウェアラブルデバイスに統合してよい。

【0024】

いくつかの実施形態において、触覚出力デバイス１１８は、熱的特性又は運動感覚特性をユーザに出力するべく使用してよい。例えば、異なる材料の熱伝導度を、例えばペルチェデバイスのような加熱トランスデューサ及び冷却トランスデューサを重ねることによって伝え得る。他実施形態において、フォース（ｆｏｒｃｅ）フィードバック特性を、例えば電気活性ポリマーの緊張材を使用して、材料の剛性を修正するトランスデューサに重ねてよい。

【0025】

メモリ１０４を参照すると、どのようにしてデバイスを、触覚効果を決定及び出力するように構成することができるのかを例示するべく、典型的なプログラムコンポーネント１２４、１２６及び１２８が描かれる。この例において、検出モジュール１２４により、プロセッサ１０２は、センサ１０８をモニタリングして触覚出力デバイス１１８の特性を決定するように構成される。例えば、検出モジュール１２４は、触覚出力デバイス１１８の経時的な箇所、経路、速度、加速度、圧力、及び／又は他の特性の一つ以上を追跡するべく、センサ１０８をサンプリングすることができる。

【0026】

触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するべくオーディオ及びビデオの特性に関するデータを解析するプログラムコンポーネントを代表する。特に、モジュール１２６は、生成されて触覚出力デバイス１１８により出力される一つ又は複数の効果を、触覚出力デバイス１１８及びＡＲ環境の特性に基づいて決定するコードを含む。触覚効果決定モジュール１２６はさらに、触覚出力デバイス１１８の特性の変化の検出に応答して出力するべき一つ以上の既存の触覚効果を選択するコードを含んでよい。これらの特徴の様々な組み合わせに基づいて、異なる触覚効果を選択してよい。

【0027】

触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて当該触覚信号を触覚出力デバイス１１８に送信させるプログラミングを代表する。これにより、触覚出力デバイス１１８は、選択された触覚効果を生成する。例えば、生成モジュール１２８は、触覚出力デバイス１１８に送信される格納された波形又はコマンドにアクセスすることができる。他例として、触覚効果生成モジュール１２８は、所望されたタイプの触覚効果を受信し、触覚出力デバイス１１８に送信される適切な信号を生成するべく信号処理アルゴリズムを利用することができる。さらなる例として、所望された触覚効果を、触覚効果を与える表面（及び／又は他のデバイスコンポーネント）の適切な変位を生成するべく、テクスチャのための標的座標、及び一つ以上のアクチュエータに送信される適切な波形とともに示すことができる。いくつかの実施形態は、特徴を模擬するのと同時に多数の触覚出力デバイスを利用することができる。例えば、特定のテクスチャをユーザに伝えるべく振動を利用してよく、それと同時に、靴の甲の材料の剛性のようなオブジェクトの剛性を示すべく、運動感覚効果が出力される。かかる構成は、単なる例示であって、かかるシステムを構築し得る唯一の方法というわけではない。

【0028】

図２は、触覚オーバーレイを拡張現実に統合する他の具体的なシステムを示す。図２に示される実施形態において、ユーザ２０６は、ウェアラブルＡＲデバイス２０４を装着してプロキシオブジェクト２０２との相互作用をしている。この実施形態は、ウェアラブルＡＲデバイス２０４を装着しているユーザを示すが、任意のタイプのＡＲディスプレイシステムを使用してよい。図２の具体的なシステムは、プロキシオブジェクト２０２の状態を感知するための、並びに触覚効果を決定、生成及び出力するための、図１に例示されるシステムを組み入れることができる。ウェアラブルＡＲデバイス２０４は、ビジュアルディスプレイ及びヘッドホン又はスピーカを含んでよい。

【0029】

いくつかの実施形態において、プロキシオブジェクト２０２は、靴、バッグ、衣料品、電子デバイス、ディスプレイ又はインタフェイスオブジェクトを含むがこれらに限られない任意のオブジェクトの形態をとり得る。他実施形態において、プロキシオブジェクト２０２は、中性的な色及びテクスチャのような物理特性を含み得る。例えば、プロキシオブジェクトが、滑らかな表面材料により白色に作られる。さらなる他実施形態において、プロキシオブジェクト２０２は、高品質の視覚的プロトタイプ、例えば、写実的なグラフィック・ステンシル印刷による高品質の視覚的靴プロトタイプを含み得るので、ウェアラブルＡＲデバイス２０４を使用する視覚的重ね合わせが不要となる。

【0030】

ユーザ２０６は、例えば、皮革、プラスチック、ゴム、金属、黄麻布、スエード、デニム、木、布、セラミック、発泡材料又はガラスのような、所与のテクスチャライブラリから任意のテクスチャを選択することができ、ウェアラブルＡＲデバイス２０４を介して、拡張現実視覚効果によりプロキシオブジェクトの外観が修正される。いくつかの実施形態において、ユーザは、オーディオキャプチャデバイス、タッチ画面、キーボード、マウス、ジョイスティック又は拡張現実制御盤のような入力キャプチャデバイスを使用してテクスチャを選択する。プロセッサ１０２は、入力キャプチャデバイスから入力信号を受信し、触覚信号及びディスプレイ信号それぞれを介して送信する必要がある触覚効果及び視覚効果の修正を決定する。

【0031】

いくつかの実施形態において、ひとたびディスプレイ信号が送信されると、ウェアラブルＡＲデバイス２０４を介して視覚効果が出力される。その結果、ユーザ２０６は、選択されたテクスチャを有するプロキシオブジェクトを、ウェアラブルＡＲデバイス２０４を介して見ることができる。例えば、ユーザ２０６が赤い皮革を選択する場合、ユーザ２０６は、同じ赤い皮革から作られたプロキシオブジェクト２０２を、ウェアラブルＡＲデバイス２０４を介して見ることとなる。

【0032】

テクスチャの選択を介してＡＲ視覚効果が変更されると、プロキシオブジェクト２０２に包含された触覚出力デバイス１１８に触覚信号が送信される。これらの触覚出力デバイスは、選択されたテクスチャに関連付けられる触覚効果を出力する。これにより、ユーザ２０６は、当該ユーザがプロキシオブジェクト２０２にタッチするときに、プロキシオブジェクト２０２においてもたらされた触覚効果を介して、選択されたテクスチャを感じることができる。

【0033】

いくつかの実施形態において、センサ１０８がプロキシオブジェクト２０２を追跡するので、ユーザ２０６によるプロキシオブジェクト２０２の任意の動き及び回転にもかかわらず、プロキシオブジェクト２０２において触覚効果により生成されたテクスチャとＡＲ視覚効果とのそれぞれを、感じ及び見ることができる。他実施形態において、ウェアラブルＡＲデバイス２０４のスピーカ又はヘッドホンは、作用テクスチャオブジェクトがタッチされていたとすればユーザ２０６が聞いていたであろう音を伝えるべく、オーディオフィードバックを放射することができる。さらなる他実施形態において、オーディオフィードバックは放射されない。

【0034】

図３は、触覚オーバーレイを拡張現実に統合する他の具体的なシステムを示す。図３に示される実施形態において、ユーザは、ウェアラブルＡＲデバイス３０６及びウェアラブル周辺デバイス３０４を装着してプロキシオブジェクト３０２との相互作用をしている。いくつかの実施形態において、プロキシオブジェクト３０２は、プロキシオブジェクト２０２と同じ特徴のいずれかを含み得る。

【0035】

ウェアラブル周辺デバイス３０４は、ユーザの手の全体を覆うグローブ、ユーザの手及び指の一部のみ、例えばユーザの親指及び人差し指のみ、を覆うグローブ、ユーザの指先のみを覆う小片、靴、シャツ、ズボン、又は任意の他の衣料品を含み得る。ウェアラブル周辺デバイス３０４及びプロキシオブジェクト３０２は、触覚効果をユーザに出力することができる一つ以上の触覚出力デバイス１１８、例えばアクチュエータ、を含む。

【0036】

いくつかの実施形態において、ユーザは、プロキシオブジェクト３０２との相互作用をしない。その代わりに、選択されたオブジェクトが、ウェアラブルＡＲデバイス３０６のＡＲディスプレイを介して視覚効果として表示される。ユーザは再びテクスチャを選択してよく、当該テクスチャは、ＡＲディスプレイを介して表示されているオブジェクト上に表示される。例えば、ユーザは、赤い革靴を選択してよく、赤い革靴は、ウェアラブルＡＲデバイス３０６のＡＲディスプレイを介して表示され得る。

【0037】

センサ１０８は、ウェアラブル周辺デバイス３０４の位置又は他の特性を追跡するべく使用することができる。これにより、システムは、ウェアラブル周辺デバイス３０４が、ＡＲディスプレイを介して表示されているオブジェクトに「接触」するときを決定することができる。ひとたびこの「接触」が生じると、触覚信号がウェアラブル周辺デバイス３０４に送信されるので、オブジェクトと選択されたテクスチャとに対応する触覚効果が、ウェアラブル周辺デバイス３０４によって出力され得る。例えば、上述からの赤い革靴の例を使用して、ユーザは、赤い革靴を感じるようになり得る。ユーザが、ウェアラブルＡＲデバイス３０６のＡＲディスプレイに基づいてオブジェクトにタッチすると、触覚効果がウェアラブル周辺デバイス３０４に出力されるので、ユーザは実際の赤い革靴に触れているかのように感じる。

【0038】

他実施形態において、ユーザは、プロキシオブジェクト３０２及びウェアラブル周辺デバイス３０４の双方を使用する。選択されたテクスチャが、ウェアラブルＡＲデバイス３０６のＡＲディスプレイを介して表示されるので、プロキシオブジェクト３０２が当該選択されたテクスチャを有する外観となる。いくつかの実施形態において、プロキシオブジェクト３０２及びウェアラブル周辺デバイス３０４は、触覚効果を出力するべく構成された少なくとも一つの触覚出力デバイス１１８を含む。一つ以上のセンサ１０８が、プロキシオブジェクト３０２及びウェアラブル周辺デバイス３０４の双方の特性を追跡する。プロキシオブジェクト３０２及びウェアラブル周辺デバイス３０４の使用により、高品質のタッチ感覚が達成され得る。

【0039】

図４は、触覚オーバーレイを拡張現実に統合する他の具体的なシステムを示す。図４に示される実施形態において、ユーザは、ウェアラブルＡＲデバイス４０６及びウェアラブル周辺デバイス４０４を装着してプロキシオブジェクト４０２のシステムとの相互作用をしている。このプロキシオブジェクト４０２のシステムは、少なくとも一つのプロキシオブジェクトを含む。いくつかの実施形態において、プロキシオブジェクト４０２のシステムを構成するプロキシオブジェクトは、プロキシオブジェクト２０２と同じ特徴のいずれかを含み得る。

【0040】

プロキシオブジェクト４０２のシステムは、車の内装、飛行機のコックピット、オフィスの机等を含む任意数のエリアに似せるように配列され得る。ユーザは、プロキシオブジェクト４０２のシステムを介して出力される様々なテクスチャを選択することができる。例えば、ユーザは、チェリーウォールナットの木製センターコンソールを有する車のステアリングホイール用に、黒い皮革テクスチャを選択するかもしれない。

【0041】

図４の実施形態において、プロキシオブジェクト４０２のシステムのみを介して、又はプロキシオブジェクト４０２のシステムとウェアラブル周辺デバイス４０４との組み合わせを介して、触覚効果を出力することができる。例えば、車両販売特約店が、ショールーム内の所定スタイルの車両を模擬するように設定されたプロキシオブジェクト４０２のシステムを有してよい。潜在的な購買者が、異なる材料を、模擬された車両の異なるエリアに出力されるように選択することにより、システムと相互作用をすることができる。プロキシオブジェクト４０２のシステムは、異なる材料のテクスチャを模擬する触覚効果を、潜在的な購買者がウェアラブル周辺デバイス４０４を装着することなしに、正確に出力することができる。他実施形態において、プロキシオブジェクト４０２のシステムがウェアラブル周辺デバイス４０４と組み合わせられる。例えば、ゲーミング環境において、プロキシオブジェクト４０２のシステムは、ゲーム全体で繰り返し生じる環境を模擬するべく使用することができる（例えばレーシングゲームにおいて、プロキシオブジェクト４０２のシステムは、車両の内装を模擬することができる）。さらに、ウェアラブル周辺デバイス４０４を組み入れることにより、ユーザは、プロキシオブジェクト４０２のシステムの外側のゲーミング環境を探索するとともに、プロキシオブジェクト４０２のシステムとの相互作用のときのユーザの体験を増強することができる。

【0042】

触覚オーバーレイを拡張現実に統合する具体的な方法

【0043】

図５は、触覚オーバーレイを拡張現実に統合する実施形態の一例の方法ステップのフローチャートである。いくつかの実施形態において、図５におけるステップは、例えば汎用コンピュータ、携帯型デバイス、仮想及び拡張現実制御システム、又はサーバにおけるプロセッサのようなプロセッサにより実行されるプログラムコードに実装することができる。いくつかの実施形態において、これらのステップは、一群のプロセッサに実装してよい。いくつかの実施形態において、図５に示される一つ以上のステップは、省略してよく、又は異なる順序で行ってよい。同様に、いくつかの実施形態において、図３に示されない付加的なステップも行うことができる。以下のステップは、図１に示されるコンピュータデバイス１０１及び図２に示されるシステムに関して上述されたコンポーネントを参照して記載される。

【0044】

示される実施形態において、プロセス５００は、プロセッサ１０２のようなプロセッサが、修正視覚効果を決定するステップ５０２から開始する。プロセッサ１０２は、一つ以上のセンサ１０８からセンサ信号を受信する。センサ信号を使用して、プロセッサ１０２は、プロキシオブジェクト２０２の特性を識別するべく環境を解析する。当該特性に基づいて、プロセッサ１０２は、修正視覚効果を決定することができる。例えば、プロセッサ１０２は、青い皮革材料が、プロキシオブジェクト２０２、この場合は靴に表示されるように決定することができる。センサ１０８からのデータに基づいて、プロセッサ１０２は、ユーザによる靴の任意の動きを解析し、当該靴に青い皮革材料を表示するための適切な修正視覚効果を決定することができる。

【0045】

ステップ５０４において、プロセッサ１０２は次に、センサ１０８から受信した信号に基づいて触覚効果を決定する。ステップ５０２と同様に、プロセッサ１０２は、センサ１０８からセンサ信号を受信し、当該センサ信号を使用してプロキシオブジェクト２０２の特性を識別するべく環境を解析し、触覚効果を決定する。いくつかの実施形態において、プロセッサ１０２は、テクスチャのライブラリを使用して触覚効果を決定する。例えば、プロセッサ１０２は、靴の青い皮革材料の適切なテクスチャを、触覚効果として出力するように決定することができる。いくつかの実施形態において、プロセッサ１０２は、メモリ１１４にあるテクスチャのライブラリに格納された青い皮革の触覚効果に基づいて、靴上の青い皮革材料を模擬するべく出力される触覚効果を決定することができる。プロセッサ１０２はまた、靴の任意の動きをモニタリングするセンサ１０８からデータを受信し、当該靴の動きが、触覚効果によりもたらされる青い皮革のテクスチャと干渉しないことを保証するように出力される触覚効果を決定する。

【0046】

ステップ５０６において、プロセッサ１０２は、修正視覚効果に関連付けられるディスプレイ信号を、拡張現実ディスプレイ、例えばウェアラブルＡＲデバイス２０４に送信する。例えば、ウェアラブルＡＲデバイス２０４を介して見ると、靴は、青い皮革材料から作られているように見える。拡張現実ディスプレイは、ウェアラブルデバイス又は携帯型デバイスの少なくとも一方を含む。いくつかの実施形態において、修正視覚効果により、プロキシオブジェクト２０２の外観が、拡張現実ディスプレイを介して修正される。

【0047】

ステップ５０８において、プロセッサ１０２は、触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信する。例えば、靴における触覚出力デバイスは、当該靴上の青い皮革のテクスチャを模擬する触覚効果を出力することができる。いくつかの実施形態において、プロキシオブジェクト２０２は、一つ以上の触覚出力デバイス１１８を含み得る。プロキシオブジェクト２０２は、靴、衣料品、電子デバイス、ディスプレイ、インタフェイスオブジェクト、車両の内装の一つ以上としてよい。

【0048】

ステップ５１０において、プロセッサが、入力信号を入力キャプチャデバイスから受信する。いくつかの実施形態において、ユーザは、どのようなテクスチャを表示する必要があるかをシステムに命令するべく、例えばオーディオキャプチャデバイス、タッチ画面、キーボード、マウス、ジョイスティック、又は拡張現実制御盤のような入力キャプチャデバイスを使用することができる。例えば、ユーザは、マイクロホンに「赤いスエード材料を靴に適用して」と言うことができる。プロセッサ１０２は、マイクロホンから、この命令を代表する入力信号を受信する。プロセッサ１０２はその後、この信号に基づいて、視覚効果又は触覚効果への任意の必要な修正を決定する。よって、ウェアラブルＡＲデバイス２０４のディスプレイは、青い皮革材料から赤い皮革材料への靴の変化を示し、当該青い皮革材料から赤い皮革材料への靴の変化による触覚効果が出力される。

【0049】

ここに記載されるいくつかの実施形態によれば、ＡＲ空間を、現実世界の触覚効果をフィーチャする現実のプロキシオブジェクトと組み合わせることにより、さらに没入型のかつ最適化された体験が得られる。他実施形態において、プロキシオブジェクトは、ウェアラブル周辺デバイスと組み合わせられると、さらに強制的な触覚が可能となる。すべての触覚フィードバックが触覚アクチュエータによって与えられるというわけではないからである。プロキシオブジェクトのテクスチャ及び外観の変更が容易となるので、製品設計が効率的となりコスト効果も高まる。

【0050】

一般的な考慮事項

【0051】

上述した方法、システム及びデバイスは例である。様々な構成は、適切な場合には、様々な手順又は部品を省略し、置換し、又は追加することができる。例えば、代替構成において、方法は、上述されたものとは異なる順序で行うことができ、並びに／又は、様々なステージを追加、省略、及び／若しくは結合することができる。また、所定の構成に関して記載された特徴は、様々な他構成と組み合わせることができる。当該構成の異なる側面及び要素を、同様の態様で組み合わせることができる。また、技術は進化するので、要素の多くは例であって本開示又は特許請求の範囲を制限することはない。

【0052】

構成例（実装形態を含む）の完全な理解を与えるべく、本記載において特定の詳細が与えられる。しかしながら、構成は、これら特定の詳細なしに実施することもできる。例えば、当該構成が曖昧になるのを避けるべく、不要な詳細なしに周知の回路、プロセス、アルゴリズム、構造及び技法が示されてきた。本記載は、構成例のみを与え、請求項の範囲、適用性又は構成を制限することがない。むしろ、当該構成の先の記載は、当業者に対し、記載の技法を実装する実施可能な説明を与える。本開示の要旨又は範囲から逸脱することなく、要素の機能及び配列において様々な変更がなし得る。

【0053】

また、構成は、フロー図又はブロック図として描かれるプロセスとして記載することができる。それぞれが順次プロセスとして動作を記載し得るにもかかわらず、当該動作の多くは並列して又は同時に行うこともできる。加えて、当該動作の順序は再配列してよい。プロセスは、図面に含まれない付加的なステップを有してよい。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせにより実装してよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体のような非一時的コンピュータ可読媒体に格納することができる。プロセッサが、上記タスクを行い得る。

【0054】

いくつかの構成例が記載されてきたが、本開示の要旨から逸脱することなく、様々な修正、代替構造及び均等物を使用することができる。例えば、上記要素は、大きなシステムの部品としてよく、ここで、他のルールが本発明の適用よりも優先され、そうでなければ本発明の適用を修正してよい。また、上記要素が考慮される前に、間に、又は上記要素が考慮された後に、一定数のステップを行うことができる。したがって、上記記載は、特許請求の範囲を拘束しない。

【0055】

ここでの「〜するべく適合され」又は「〜するべく構成され」との使用は、付加的なタスク又はステップを行うべく適合され又は構成されたデバイスを排除しないオープンかつ包括的な言語を意味する。加えて、「〜に基づいて」の使用も、一つ以上の記載条件「に基づいて」のプロセス、ステップ、計算又は他の動作が、実際のところ、記載されたものを超える付加的な条件又は値に基づき得る点で、オープンかつ包括的な意味である。ここに含まれる見出し、リスト及び番号付けは、説明の容易のみを目的とし、制限を意味しない。

【0056】

本主題の側面に係る実施形態は、デジタル電子回路に、コンピュータハードウェア、ファームウェア、ソフトウェアに、又は前述の組み合わせに実装することができる。一実施形態において、コンピュータは、一つのプロセッサ又は複数のプロセッサを含んでよい。プロセッサは、当該プロセッサに結合されたランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ可読媒体を含み、又はこれへのアクセスを有する。プロセッサは、上述の方法を行うためのセンササンプリングルーチン、選択ルーチン、及び他のルーチンを含む一つ以上のコンピュータプログラムの実行のような、メモリに格納されたコンピュータ実行可能プログラム命令を実行する。

【0057】

かかるプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び状態機械を含み得る。かかるプロセッサはさらに、例えばＰＬＣ、プログラマブル割り込みコントローラ（ＰＩＣ）、プログラマブルロジック装置（ＰＬＤ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電子的プログラム可能リードオンリーメモリ（ＥＰＲＯＭ又はＥＥＰＲＯＭ）又は他の同様の装置のようなプログラマブル電子装置を含み得る。

【0058】

かかるプロセッサは、例えば有体コンピュータ可読媒体のような媒体を含み又はこれと通信する。媒体は、プロセッサにより実行されると、プロセッサにより実行され又は補助されるここに記載のステップを、当該プロセッサに行わせることができる命令を格納する。コンピュータ可読媒体の実施形態は、ウェブサーバにおけるプロセッサのようなプロセッサにコンピュータ可読命令を与えることができるすべての電子、光、磁気又は他の記憶装置を含むがこれらに限られない。他の例の媒体は、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、すべての光媒体、すべての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含むがこれらに限られない。また、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送デバイスのような様々な他のデバイスは、コンピュータ可読媒体を含み得る。記載されたプロセッサ及び処理は一以上の構造にあり、及び一つ以上の構造に分散させることもできる。プロセッサは、ここに記載された方法（又は方法の部分）の一以上を実行するコードを含み得る。

【0059】

本主題を特定の実施形態について詳細に述べたが、前述したことを理解すれば、当業者が、かかる実施形態の改変、変形及び均等物を容易にもたらし得ることは明かである。したがって、理解すべきことだが、本開示は、限定ではなく例示を目的として提示されており、当業者にとって容易に明らかとなる本主題のそのような修正、変形及び／又は付加を含むことを排除しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】

2019220170000001.pdf