特許 6612522 没入型環境における非コロケートな触覚キュー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6612522

(24)【登録日】2019年11月8日

(45)【発行日】2019年11月27日

(54)【発明の名称】没入型環境における非コロケートな触覚キュー

(51)【国際特許分類】

   G06F 3/01 20060101AFI20191118BHJP

   A63F 13/285 20140101ALI20191118BHJP

   A63F 13/212 20140101ALI20191118BHJP

【ＦＩ】

   G06F3/01 514

   G06F3/01 560

   A63F13/285

   A63F13/212

【請求項の数】27

【外国語出願】

【全頁数】15

(21)【出願番号】特願2015-94900(P2015-94900)

(22)【出願日】2015年5月7日

(65)【公開番号】特開2015-219910(P2015-219910A)

(43)【公開日】2015年12月7日

【審査請求日】2018年5月2日

(31)【優先権主張番号】14/280,726

(32)【優先日】2014年5月19日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】グラント ダニー

(72)【発明者】

【氏名】ウルリッチ クリストファー ジェイ．

【審査官】 原 秀人

(56)【参考文献】

【文献】 米国特許出願公開第２０１０／００５３１５１（ＵＳ，Ａ１）

【文献】 特表２０１３−５０９６４７（ＪＰ，Ａ）

【文献】 特表２０１３−５０７０５９（ＪＰ，Ａ）

【文献】 特開平０７−０２０９７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ａ６３Ｆ １３／２１２

Ａ６３Ｆ １３／２８５

(57)【特許請求の範囲】

【請求項1】

触覚フィードバックを伝達する装置であって、
インタラクトする器官とは非コロケートである身体の一部を取り囲むように構成されたウェアラブルデバイスと、
前記ウェアラブルデバイス内に含まれ、前記ウェアラブルデバイスが装着されるとき、前記身体の一部を取り囲むように構成された複数の位置に配置された複数の触覚再生装置と、
前記複数の触覚再生装置を制御するための駆動回路と、
前記駆動回路に電気的に結合されるプロセッサであって、
前記インタラクトする器官の仮想接触を示すユーザーインターフェイスからのデータに基づいた操作触覚情報を受信し、
前記操作触覚情報および前記ウェアラブルデバイスの配向に基づいて触覚信号を生成し、前記触覚信号は、前記複数の位置のうちの出力位置において前記身体の一部に触覚フィードバックを提供するように選択された前記複数の触覚再生装置のうちの少なくとも１つにおいて触覚フィードバックを生起するように構成され、前記身体の一部への前記触覚フィードバックの前記出力位置は、前記身体の一部における出力位置が前記インタラクトする器官の仮想接触の方向に対応するように、前記ウェアラブルデバイスの配向に基づいて調整され、
前記触覚信号を前記駆動回路に提供して前記複数の触覚再生装置のうちの少なくとも１つにおいて前記触覚フィードバックを生起するように構成された、
プロセッサと、
を備える装置。

【請求項2】

請求項１に記載の装置であって、
前記複数の触覚再生装置は、ユーザーの手首に前記触覚フィードバックを生起するように構成された２以上の触覚再生装置を含む、装置。

【請求項3】

請求項１に記載の装置であって、
前記操作触覚情報は、仮想現実インターフェイス内の仮想オブジェクトへの、ユーザーの手又は指によるユーザーの操作に対応し、前記触覚フィードバックは、ユーザーの手首に生起される、装置。

【請求項4】

請求項３に記載の装置であって、前記触覚フィードバックは、前記操作を象徴する、装置。

【請求項5】

請求項１に記載の装置であって、
前記ウェアラブルデバイスは、ユーザーの付属器官のいずれかに巻き付けられるよう意図される前記ウェアラブルデバイスに取り付けられる４以上の触覚再生装置を含み、
前記操作触覚情報は、ユーザーの手又は指を含む操作付属器官によってユーザーが行う、仮想現実インターフェイス内の仮想オブジェクトへの操作に対応する、
装置。

【請求項6】

請求項５に記載の装置であって、前記触覚フィードバックは、前記操作を象徴する、装置。

【請求項7】

請求項６に記載の装置であって、前記操作触覚情報に従って、前記仮想オブジェクトの操作が、前記触覚再生装置のうちの１つにおいて触覚フィードバックを発生させつつ、その他の触覚再生装置では発生させないように、前記４以上の触覚再生装置のそれぞれにおいて独立して前記触覚フィードバックが生起される、装置。

【請求項8】

請求項１に記載の装置であって、前記触覚再生装置はアクチュエータであり、アクチュエータのオーバードライブとブレーキングを用いて短パルス触覚キューを生起し、圧迫触覚効果をシミュレートする、装置。

【請求項9】

請求項２に記載の装置であって、前記２以上の触覚再生装置は同じ近傍に位置しており、前記触覚フィードバックは、前記触覚フィードバックの目的とする強度に基づいて、前記触覚再生装置のうち１つ又は両方で生起される、装置。

【請求項10】

触覚フィードバックを伝達する方法であって、
インタラクトする器官の仮想接触を示すユーザーインターフェイスからのデータに基づいて操作触覚情報を受信する工程と、
前記操作触覚情報およびウェアラブルデバイスの配向に基づいて触覚信号を生成する工程であって、前記触覚信号は、複数の触覚再生装置のうちの少なくとも１つにおいて触覚フィードバックを生起するように構成され、前記複数の触覚再生装置は、前記インタラクトする器官とは非コロケートであり、前記ウェアラブルデバイスが装着されるとき、身体の一部を取り囲むように構成された複数の位置において前記ウェアラブルデバイス内に配置される、工程と、
前記触覚信号を、前記複数の触覚再生装置のうちの少なくとも１つを制御するための駆動回路に提供して、前記触覚フィードバックを生起する工程と、
を含み、
前記複数の触覚再生装置のうちの少なくとも１つは、前記複数の位置のうちの出力位置において前記身体の一部に触覚フィードバックを提供するように選択され、前記身体の一部への前記触覚フィードバックの前記出力位置は、前記身体の一部における前記出力位置が前記インタラクトする器官の仮想接触の方向に対応するように、前記ウェアラブルデバイスの配向に基づいて調整される、
方法。

【請求項11】

請求項１０に記載の方法であって、前記複数の触覚再生装置は、ユーザーの手首に触覚フィードバックを生起するように構成された２以上の触覚再生装置を含む、方法。

【請求項12】

請求項１０に記載の方法であって、前記操作触覚情報は、仮想現実インターフェイス内の仮想オブジェクトへの、ユーザーの手又は指によるユーザーの操作に対応し、前記触覚フィードバックがユーザーの手首に生起される、方法。

【請求項13】

請求項１２に記載の方法であって、前記触覚フィードバックは、前記操作を象徴する、方法。

【請求項14】

請求項１０に記載の方法であって、前記複数の触覚再生装置は、ユーザーの付属器官に巻き付けられる前記ウェアラブルデバイスに取り付けられる４以上の触覚再生装置を含み、
前記操作触覚情報は、ユーザーの手又は指を含む操作付属器官によってユーザーが行う、仮想現実インターフェイス内の仮想オブジェクトへの操作に対応する、
方法。

【請求項15】

請求項１４に記載の方法であって、前記触覚フィードバックは、前記操作を象徴する、方法。

【請求項16】

請求項１５に記載の方法であって、前記操作触覚情報に従って、前記仮想オブジェクトの操作が、前記触覚再生装置のうちの１つにおいて触覚フィードバックを発生させつつ、その他の触覚再生装置では発生させないように、前記４以上の触覚再生装置のそれぞれにおいて独立して前記触覚フィードバックが生起される、方法。

【請求項17】

請求項１０に記載の方法であって、前記複数の触覚再生装置はアクチュエータを含み、前記方法は、アクチュエータをオーバードライブ及びブレーキングして短パルス触覚キューを生起し、圧迫触覚効果をシミュレートする工程を更に含む、方法。

【請求項18】

請求項１１に記載の方法であって、前記２以上の触覚再生装置は、同じ近傍に位置しており、前記触覚フィードバックは、前記触覚フィードバックの目的とする強度に基づいて、前記触覚再生装置のうち１つ又は両方で生起される、方法。

【請求項19】

命令が格納された、触覚フィードバックを生起するためのコンピュータ読み取り可能媒体であって、
前記生起は、
インタラクトする器官との仮想接触を示すユーザーインターフェイスからのデータに基づいて操作触覚情報を受信する工程と、
前記操作触覚情報およびウェアラブルデバイスの配向に基づいて触覚信号を生成する工程であって、前記触覚信号は、複数の触覚再生装置のうちの少なくとも１つにおいて触覚フィードバックを生起するように構成され、前記複数の触覚再生装置は、前記インタラクトする器官とは非コロケートであり、前記ウェアラブルデバイスが装着されるとき、身体の一部を取り囲むように構成された複数の位置において前記ウェアラブルデバイス内に配置される、工程と、
前記触覚信号を、前記複数の触覚再生装置のうちの少なくとも１つを制御するための駆動回路に提供して、触覚フィードバックを生起する工程と、を含み、
前記複数の触覚再生装置のうちの少なくとも１つは、前記複数の位置のうちの出力位置において前記身体の一部に触覚フィードバックを提供するように選択され、前記身体の一部への前記触覚フィードバックの前記出力位置は、前記身体の一部における前記出力位置が前記インタラクトする器官の仮想接触の方向に対応するように、前記ウェアラブルデバイスの配向に基づいて調整される、
コンピュータ読み取り可能媒体。

【請求項20】

請求項１９に記載のコンピュータ読み取り可能媒体であって、前記複数の触覚再生装置は、ユーザーの手首に触覚フィードバックを提供するように構成された２以上の触覚再生装置を含む、
コンピュータ読み取り可能媒体。

【請求項21】

請求項１９に記載のコンピュータ読み取り可能媒体であって、前記操作触覚情報は、仮想現実インターフェイス内の仮想オブジェクトへの、ユーザーの手又は指によるユーザーの操作に対応し、前記触覚フィードバックがユーザーの手首に生起される、
コンピュータ読み取り可能媒体。

【請求項22】

請求項２１に記載のコンピュータ読み取り可能媒体であって、前記触覚フィードバックは、前記操作を象徴する、コンピュータ読み取り可能媒体。

【請求項23】

請求項１９に記載のコンピュータ読み取り可能媒体であって、前記複数の触覚再生装置は、ユーザーの付属器官に巻き付けられるウェアラブルデバイスに取り付けられる４以上の触覚再生装置を含み、
前記操作触覚情報は、ユーザーの手又は指を含む操作付属器官によって、仮想現実インターフェイス内の仮想オブジェクトへの操作に対応する、
コンピュータ読み取り可能媒体。

【請求項24】

請求項２３に記載のコンピュータ読み取り可能媒体であって、前記触覚フィードバックは、前記操作を象徴する、コンピュータ読み取り可能媒体。

【請求項25】

請求項２４に記載のコンピュータ読み取り可能媒体であって、前記操作触覚情報に従って、前記仮想オブジェクトの操作が、前記触覚再生装置のうちの１つにおいて触覚フィードバックを発生させつつ、その他の触覚再生装置では発生させないように、前記４以上の触覚再生装置のそれぞれにおいて独立して前記触覚フィードバックが生起される、コンピュータ読み取り可能媒体。

【請求項26】

請求項１９に記載のコンピュータ読み取り可能媒体であって、
前記複数の触覚再生装置はアクチュエータを含み、前記生起は、アクチュエータをオーバードライブ及びブレーキングして短パルス触覚キューを生起し、圧迫触覚効果をシミュレートする工程を更に含む、
コンピュータ読み取り可能媒体。

【請求項27】

請求項２０に記載のコンピュータ読み取り可能媒体であって、前記２以上の触覚再生装置は、同じ近傍に位置しており、前記触覚フィードバックは、前記触覚フィードバックの目的とする強度に基づいて、前記触覚再生装置のうち１つ又は両方で生起される、
コンピュータ読み取り可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

一の実施形態は、触覚を利用可能な装置に関する。より具体的には、一の実施形態は、非コロケートな、触覚を利用可能な装置に関する。

【背景技術】

【0002】

電子機器の製造者は、ユーザーに向けて充実したインターフェイスを作り出すために注力している。従来の機器はユーザーにフィードバックを提供するために視覚及び聴覚によるキューを用いる。一部のユーザーインターフェイスにおいて、運動感覚フィードバック（例えば活性力及び抵抗力フィードバック）及び／又は触覚フィードバック（例えば振動、触感、及び熱）もユーザーに提供され、より一般的には、集合的に「触覚フィードバック」又は「触覚効果」として知られる。触覚フィードバックは、ユーザーインターフェイスを拡張及び単純化するキューを提供可能である。例えば、振動効果、又は振動触知（ｖｉｂｒｏｔａｃｔｉｌｅ）触覚効果は、特定のイベントを警告するため、又はリアルなフィードバックを提供してシミュレート環境又は仮想環境内でより優れた感覚的没入を作り出すために、電子機器のユーザーにキューを提供する上で有用であり得る。

【0003】

振動又はその他の効果を生成するために、多くの装置は、特定のタイプのアクチュエータ又はその他の触覚出力装置を利用する。この目的で用いられる既知のアクチュエータとしては、ソレノイドアクチュエータ等の電磁アクチュエータ、偏心マスがモータによって動かされる偏心回転質量（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ、ＥＲＭ）アクチュエータ、リニア共振アクチュエータ振動モータ（ＬＲＡ）、電気活性ポリマーアクチュエータ、及び圧電アクチュエータが挙げられる。

【発明の概要】

【0004】

一実施形態において、非コロケート触覚フィードバックを伝達するための装置は、１以上の触覚再生装置と、触覚再生装置を制御する駆動回路とを含む。駆動回路へと電子的に結合されるプロセッサは、ユーザーインターフェイスから受信したデータに基づいて操作触覚情報を受信する。プロセッサは、操作触覚情報に基づいて触覚信号を生成する。プロセッサは、駆動回路に触覚信号を提供して非コロケート触覚フィードバックを生起する。

【図面の簡単な説明】

【0005】

【図1】一実施形態に係る触覚を利用可能なシステムのブロック図である。

【図2】一部の実施形態に係る、装着されるよう構成された例示的なＥＲＭ型アクチュエータを示す図である。

【図3】一部の実施形態に係る、ストラップ構成の複数のＥＲＭ型アクチュエータを用いた例示的なアクチュエータアレイを示す図である。

【図4】一部の実施形態に係る、非コロケートアクチュエータを用いて起こり得る例示的なインタラクションのスクリーンショットを示す図である。

【図5】一部の実施形態に係る、マルチアクチュエータのウェアラブルリストストラップを有する仮想ボックスを図示する図である。

【図6】一部の実施形態に係る、触覚再生装置の機能を図示するフロー図である。

【発明を実施するための形態】

【0006】

ヘッドマウント型の仮想現実ディスプレイ等の没入型ディスプレイは、ゲーム用途のための、全く新しいレベルのグラフィックな没入を提供する。視覚及び聴覚に深く関与しているため、ユーザーの仮想インタラクションと基礎的な関連を持つ「触覚キュー」を提供することで、ユーザーにとって説得力のある触覚エクスペリエンスを付加することが可能である。すなわち、触覚フィードバックは典型的に、インタラクトする器官、例えばタッチスクリーン上の指、に触覚を提供するが、触覚キューは、近傍の「非コロケート（ｎｏｎ−ｃｏｌｌｏｃａｔｅｄ）」な器官、例えば手首、にフィードバックを提供して説得力のある触覚エクスペリエンスを実現可能である。

【0007】

一の実施形態は、アプリケーションへのユーザーのインタラクションに基づいて生成された触覚信号を再生可能なアクチュエータ等の触覚再生装置である。センサーは、アプリケーションへのユーザーのインタラクションを確認可能であり、触覚再生信号を提供して触覚再生装置によって触覚フィードバックを提供可能である。触覚再生装置がユーザーのインタラクトする器官、例えば指又は手、に接触するのではなく、触覚再生装置は、インタラクトする器官とは異なる身体上の位置でユーザーに接触してよい。すなわち、触覚再生装置は、インタラクトする器官とは非コロケートであってよい。触覚信号は生成され、触覚再生装置へと提供され、身体上の別の位置で触覚フィードバックを生起して、知覚される仮想接触を提供することが可能である。

【0008】

図１は、一実施形態に係る触覚を利用可能なシステム１０のブロック図である。システム１０は、ユーザーインターフェイス１１を含み、メカニカルキー／ボタン１３を含み得る。システム１０は、システム１０上に振動を生成する触覚フィードバックシステムを含む。

【0009】

触覚フィードバックシステムは、プロセッサ又はコントローラ１２を含む。プロセッサ１２には、メモリ２０、及びアクチュエータ１８に結合されるアクチュエータ駆動回路１６が結合される。アクチュエータ１８は任意の種類のモータであってよく、これには偏心回転質量（ＥＲＭ）、リニア共振アクチュエータ振動モータ（ＬＲＡ）、圧電モータ、又はソレノイドアクチュエータが含まれるがこれらに限定されない。アクチュエータ１８に追加して、もしくはその代替として、システム１０は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ、ＥＳＦ）や超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ、ＵＳＦ）を用いる装置、超音波触覚変換器を有する音響放射圧を誘導する装置、触覚基板と、柔軟又は変形可能な表面又は形状変形装置とを用い、ユーザーの身体に取り付けられ得る装置、空気ジェットを用いた空気の吹付け等の発射型触覚出力を提供する装置、電気筋肉刺激を提供する装置等の、非メカニカル又は非振動性の装置であり得るその他の種類の触覚出力装置（図示せず）を含み得る。アクチュエータ駆動回路１６とアクチュエータ１８のうちいずれか又は両方は、ストラップ、手袋、衣料品、もしくは接着剤又は機械的装置を介してユーザーの皮膚に直接取り付けられるもの等のウェアラブルな、又は、座席に配置されるものや、ユーザーの身体から離間して配置されるもの等の非ウェアラブルな、フィードバック装置１５に含まれてよい。

【0010】

プロセッサ１２は任意の種類の汎用プロセッサであり得る、もしくは、特定用途向けＩＣ（ＡＳＩＣ）のような、触覚効果を提供するために特別に設計されたプロセッサであってもよい。プロセッサ１２は、システム１０全体を操作する同じプロセッサでも、又は、別々のプロセッサでもあり得る。プロセッサ１２は、どの触覚効果を再生するか、及び効果が再生される順序を、高レベルのパラメータに基づいて決定可能である。一般的に、特定の触覚効果を定義する高レベルのパラメータとしては、強度（ｍａｇｎｉｔｕｄｅ）、周波数、及び期間が含まれる。特定の触覚効果を決定するために、ストリーミングモータコマンド（ｓｔｒｅａｍｉｎｇ ｍｏｔｏｒ ｃｏｍｍａｎｄ）のような低レベルのパラメータも使用可能である。触覚効果が生成される際にこれらのパラメータのいくつかの変化が含まれる場合、もしくはユーザーのインタラクションに基づいたこれらのパラメータの１つの変化が含まれる場合、触覚効果は「動的」であると見なされ得る。

【0011】

プロセッサ１２は、アクチュエータ１８に必要な電流と電圧（すなわち「モータ信号」）とを供給して所望の触覚効果を起こすために用いられる電子部品及び電気回路を含むアクチュエータ駆動回路１６へと制御信号を出力する。システム１０は、１以上のアクチュエータ１８を含み得て、各々のアクチュエータは、いずれも共通のプロセッサ１２に結合される個別の駆動回路１６を含み得る。メモリ装置２０は、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリーメモリ（ＲＯＭ）等の任意の種類の格納装置又はコンピュータ読み取り可能媒体であってよい。以下に詳述するとおり、メモリ２０は、プロセッサ１２によって実行される命令を格納する。メモリ２０は、これらの命令のうち、プロセッサ１２によって実行された際に、触覚効果を提供するアクチュエータ１８向けの駆動信号を生成する命令である触覚効果モジュール２２を含む。メモリ２０は、プロセッサ１２の内部にも位置し得て、内部メモリと外部メモリとの任意の組み合わせであり得る。アクチュエータ１８は、プロセッサ１２から触覚再生信号を受信するためのワイヤレスレシーバーを含んでワイヤレスであってよい。

【0012】

ユーザーインターフェイス１１は、装置へのタッチ、又は仮想現実アプリケーション内の仮想オブジェクトの操作といったユーザーのインタラクションを認識する。仮想オブジェクトの「操作（ｍａｎｉｐｕｌａｔｉｏｎ）」には、仮想世界内でユーザーによって使用可能かつユーザーによって制御される「仮想手（ｖｉｒｔｕａｌ ｈａｎｄｓ）」（又はその他の仮想器具）を用いた、仮想オブジェクトへの任意の知覚される接触が含まれてよい。その他のアプリケーションにおいて、「操作」は、ユーザーインターフェイスを用いたユーザーによるアプリケーションの要素の制御を含み得る。典型的には、アプリケーションは、視覚的フィードバックをユーザーに提供し、ユーザーのインタラクションを追跡してフィードバックによってユーザーをガイドする。ユーザーインターフェイス１１がタッチを認識する実施形態は、タッチ表面上の位置、押圧の強度、及びタッチの期間も認識し得る。ユーザーインターフェイス１１が仮想現実アプリケーション内の仮想オブジェクトへの操作を認識する実施形態は、手又は指の位置を認識し得る、又は、仮想オブジェクトを操作するためのマウス又はその他の入力インターフェイスからの入力を受信できる。ユーザーのインタラクションに対応するデータは、操作触覚情報又はデータと呼ぶことができ、プロセッサ１２又はシステム１０内のその他のプロセッサに送信される。プロセッサ１２は、ユーザーのインタラクションを解釈して、それに呼応して触覚効果信号を生成する。ユーザーインターフェイス１１は、静電容量感知、抵抗感知、表面弾性波感知、圧力感知、光学感知等を含む任意の感知技術を用いてタッチを感知し得る。ユーザーインターフェイス１１は、マルチタッチ接触を感知し得て、同時に発生した複数のタッチとその位置を区別可能であり得る。ユーザーインターフェイス１１は、キー、ダイヤル等のようなユーザーがインタラクトする画像を生成及び表示するタッチスクリーンであり得て、又は、最小限の画像が表示された、又は画像が表示されないタッチパッドであり得る。ユーザーインターフェイス１１は、手袋に取り付けられたセンサーを用いて、又は空間内の手又は指の位置を追跡する仮想センサーを用いて、手及び指の位置を感知し得る。

【0013】

システム１０は、触覚を利用可能なアプリケーションとのインタラクションを感知するための、センサー１７のような様々なセンサーを含み得て、このインタラクションには、数ある中でも、上下、前後、左右、回転、ピッチ、及びヨーを含む動作の、最大で６段階の、センサーが検出する自由度が含まれる。このようなセンサーには、磁気センサー、電磁場センサー、加速度計、ジャイロスコープ、及び、位置データ及び角度データを検出するためのその他のセンサーが含まれてよい。力検出レジスタ（ＦＳＲ）センサー及びマルチタッチ圧力センサーは、各タッチ場所に加えられた圧力を測定可能である。温度、湿度、及び大気圧センサーは、環境条件を把握可能である。マイクは、ユーザーの音声コマンド又は環境音情報を把握可能である。センサー１７に対応するデータは、プロセッサ１２又はシステム１０内の他のプロセッサに送信され、プロセッサ１２は、センサーのデータを解釈し、これに呼応して触覚効果信号を生成する。

【0014】

当業者は、一部の実施形態において、システム１０が、本稿で具体的に言及されるものに加えて、振動接触又は運動感覚フィードバックを提供するための、アクチュエータの任意の適切な変形を含み得ることを理解するだろう。例えばフィードバックは、ユーザーの皮膚を変形させるか、又は圧力を加える装置も含むことができる。

【0015】

システム１０は、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、コンピュータタブレット、ゲームコンソール、車両を基にしたインターフェイス等の手持ちの装置であり得る。システム１０は、ディスプレイ装置及びユーザーの手の動きを追跡するためのセンサー１７のような１以上のセンサーを含む、仮想現実の装備と共に用いられ得る。ユーザーインターフェイス１１は、タッチ感知式表面、又はその他の任意の種類のユーザーインターフェイス、例えばマウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド又はゲームコントローラ、センサー一体型又は搭載手袋、動作追跡カメラ等、であり得る。１以上のアクチュエータを有する実施形態において、各アクチュエータは、異なる触覚表現を有して異なる範囲の触覚効果を生起し得る。例えば、各回転アクチュエータは、装置上に幅広い触覚効果を作り出すために異なる回転能力を有し得て、例えば、各アクチュエータは個別に制御されることができる；また、一部の回転アクチュエータはその他の回転アクチュエータの回転軸に対して角度を有する回転軸を有する。同様に、その他の機能を持つ複数のアクチュエータを有する実施形態において、各アクチュエータは個別に制御されて装置上に幅広い触覚効果を呈することができる。

【0016】

ユーザーにインターフェイスする触覚効果を提供することに加えて、システム１０は、例えば映像又は音声ファイルと併せてシステム１０内で再生するために静的に生成された触覚効果も提供し得る。

【0017】

システム１０のようなシステムの一例として、ユーザーが仮想世界とインタラクトする際にユーザーの手首に装着された、フィードバック装置１５のような単独又は複数アクチュエータのウェアラブルストラップが挙げられる。この場合、手首への触覚効果は、仮想世界内の仮想手の知覚される仮想接触を伴う非コロケートであってよい。ユーザーが環境とインタラクトし、仮想オブジェクトに接触すると、手首にあるウェアラブルストラップが仮想接触のための触覚キュー（フィードバック）を与える。触覚キューは、アクチュエータ又はその他の触覚装置を用いた、短い振動又は短い一過性のソフトな変形効果であってよい。その他の実施形態は、座席に設けられた触覚再生装置、又はユーザーの皮膚から離間して配置される触覚再生装置のような非ウェアラブルデバイスを通じて触覚フィードバックを提供しうる。触覚キューは、接触の完全な再現ではない場合もある。触覚キューはインタラクションとコロケートでない場合や、ユーザーがオブジェクトに操作又は接触を行っている際に現実感のあるインタラクション力をユーザーに与えない場合もあるが、ユーザーは仮想的に及び聴覚的に環境に没入しているため、触覚キューは、たとえそれが仮想世界とのユーザーのインタラクションを示すだけのものであっても、有用な触覚フィードバックを提供できる。

【0018】

図２は、一部の実施形態に係る、装着されるよう構成された例示的なＥＲＭ型アクチュエータ２１０を図示する。アクチュエータ２１０は、ゴム又はその他の被覆材２２０内に包含され、被覆されたアクチュエータがユーザーの皮膚に押し付けられるようにすることが可能である。システムは、単独のアクチュエータで動作してよいが、複数のアクチュエータは、手の位置についてのセンサー情報を用いて、同一平面上で仮想衝突としてアクチュエータをトリガーすることでより高い現実感を提供できる。例えば、手の前方がオブジェクトに衝突した際、手首の前方のアクチュエータが触覚効果を提供してよい。

【0019】

図３は、一部の実施形態に係る、フィードバック装置１５のような、複数のＥＲＭ型アクチュエータを用いる、ストラップでウェアラブルな構成の例示的なアクチュエータアレイを図示する。１つ又は複数のアクチュエータ３１０が、ユーザーの手首に装着されて手首の上と下にそれぞれ１つのアクチュエータ、手首の両側にそれぞれの１つのアクチュエータを提供するストラップ３２０に一体化されることができる。リストストラップ３２０は、コネクタ３３０又はワイヤレスインターフェイス（図示せず）を介して、プロセッサ１２のようなマイクロコントローラに接続可能である。アクチュエータは、ストラップに取り付けられることができ、約９０度おきに手首の周囲に配置される。アクチュエータは、異なるサイズの手首に対応して移動可能であるように、ベルクロ又は同様の種類の一時固定具によってストラップに取り付けられてよい。アクチュエータは、仮想世界とその世界内の仮想オブジェクトとのインタラクションに応じて起動可能である。

【0020】

一部の実施形態において、アクチュエータは、（上述の例のように）ユーザーの手首、手、腕、足首、脚、及び頭といった、体の一部に取り付けることができる。アクチュエータは、触覚装置を制御するための標準的な方法を用いて制御可能である。例えば、ホスト装置上で実行されているアプリケーションは、アプリケーションの機能に応じて触覚効果を再生するよう呼び出すことができる。ゲームアプリケーションにおいて、ユーザーの手がゲーム内のオブジェクトに接触したときに触覚効果が呼び出され得る。フィードバック装置１５のようなウェアラブルストラップ上の、プロセッサ１２のようなマイクロコントローラは、触覚コマンドを受信し、処理し、必要とされるモータ電圧を、触覚効果を再生するよう意図されたアクチュエータに書き出すことが可能である。アクチュエータの制御には、ＥＲＭのオーバードライビングまたはブレーキングを用いて独特かつより多様な触覚効果を作り出すことなどの、高度な制御アルゴリズムが含まれ得る。触覚アクチュエータが、たとえばゴムの被覆材を介してなど、皮膚と近接しているとき、アクチュエータが本来振動アクチュエータであるにもかかわらず、オーバードライビングとブレーキングによる短パルスの独特な触覚キューを用いて、圧迫感をシミュレートすることができる。

【0021】

このシステムは、ハプティクスのないシステムにハプティクスを追加するためにも用いることができ、また、ハプティクスを有するシステムを補完するためにも用いることができる。例えば、ユーザーはタッチ表面とインタラクトして、アクチュエータ、又はフィードバック装置１５のようなユーザーの手首に位置するアクチュエータストラップアセンブリを通じてタッチフィードバック触覚キューを受け取ることが可能である。このような触覚キューは、ハプティクスを有さない場合より有益であることができ、または、タッチ表面を有する触覚エクスペリエンスを拡張又は改造するために用いることができる。

【0022】

没入型ディスプレイのいくつかの例には、Ｏｃｕｌｕｓ ＶＲ， Ｉｎｃ．が製造する「Ｏｃｕｌｕｓ Ｒｉｆｔ」、Ｓｏｎｙ Ｅｌｅｃｔｒｏｎｉｃｓ Ｉｎｃ．が製造する「ヘッドマウントディスプレイ」又は「ウェアラブルＨＤＴＶ」、及びＳｏｎｙ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｉｎｃ．が製造する「Ｐｒｏｊｅｃｔ Ｍｏｒｐｈｅｕｓ」ヘッドマウントディスプレイが含まれる。ハプティクスは、没入型ディスプレイを用いたインタラクションに、現実感のある要素を付け加える。一部の実施形態においてシステム１０は触覚キューを提供するのみであるが、多くの触覚フィードバックシステムと同様、ユーザーは触覚フィードバック付きの装置に素早く適応する。触覚フィードバック装置が非コロケートであるシステムにおいても、ユーザーは、非コロケートなフィードバックに効果的に適応できる。

【0023】

ユーザーは、ユーザーインターフェイス１１により複数の入力方法を用いて、アプリケーションとインタラクトできる。例えばユーザーは、キーボード、マウス、トラックパッド等のより伝統的なコンピュータのヒューマンインターフェイス手段や、仮想タッチインターフェイスのようなより新しいインターフェイスとインタラクトできる。更に、使用可能な一部のインターフェイスには、Ｒａｚｅｒ Ｉｎｃ．が製造する、上記６段階の動きを検出するセンサーを有する「Ｒａｚｅｒ Ｈｙｄｒａ」動作検知コントローラのようなゲームコントローラが含まれる。一部の実施形態において、インターフェイスは、カメラ技術又は赤外線センサーを用いてオブジェクト及び動作を追跡する非タッチの動作追跡インターフェイスを含む。一部の実施形態において、インターフェイスは、ＣｙｂｅｒＧｌｏｖｅ Ｓｙｓｔｅｍｓ ＬＬＣが製造する「ＣｙｂｅｒＴｏｕｃｈ」グローブのような、手の動作及び位置を検出可能なセンサーが一体化又は搭載されたウェアラブルな手袋を含む。

【0024】

図４は、一部の実施形態に係る、非コロケートアクチュエータを用いて発生し得る例示的なインタラクションのスクリーンショット４００を図示する。この例でユーザーは、仮想環境を作り出す仮想現実ヘッドセットを装着している。ユーザーは、Ｒａｚｅｒ Ｈｙｄｒａ又はＭｉｃｒｏｓｏｆｔ Ｃｏｒｐが製造する「Ｋｉｎｅｃｔ」コントローラ等のゲーム周辺機器を用いて仮想手４０５を制御可能である。ユーザーは、照明スイッチ４１０、回転ダイヤル４２０、木箱４３０の３つの仮想オブジェクトとインタラクト可能である。

【0025】

照明スイッチ４１０に対しては、ユーザーは、仮想手を上下動させて照明スイッチをオン又はオフにすることでインタラクト可能である。照明スイッチが上位置又は下位置に位置するとき、図３のリストストラップ３２０又はその他の触覚再生装置を用いて、触覚効果を手首で感じることができる。触覚再生システム又は複数の触覚再生装置が配置された装置において、ハプティクスは空間的な意味を与えられることが可能である。例えば、図３のリストストラップ３２０では、下から上へ移動する際、ユーザーは、触覚効果を手首の上部で感じることができる。この仮想身体的インタラクションの触覚表現に加えて、照明スイッチの状況に関する第２の触覚効果がトリガー可能である。例えば、光が明るくなるほど触覚効果が強い（つまり、高い強度）という、全体の光量に比例する触覚効果が生起可能である。流動の側面を取り入れた触覚効果も表現可能である。例えば、上部アクチュエータを起動した後に下部アクチュエータを起動することで、上から下へ流動する触覚効果を作り出すことが可能である。

【0026】

回転ダイヤル４２０では、ユーザーは周辺機器又は仮想世界内のボタンを押下することでインタラクトして仮想ダイヤル４２０を操作することが可能である。ユーザーはその後、手首を時計方向又は反時計方向にひねることで仮想ダイヤル４２０を回転できる。触覚効果は、仮想ダイヤルにプログラムされた戻り止めの間隔に従ってユーザーの手首上で再生可能である。例えば、戻り止めは１０度の間隔で表現され、仮想ダイヤルの回転の１０度おきに触覚効果が発生するようにしてよい。複数のアクチュエータが利用可能であれば、空間的な流動型触覚効果を表現できる。例えば、ユーザーが装置を時計方向にひねると、ユーザーの手首に装着されたストラップ内のアクチュエータが時計方向に順々に動作可能である。

【0027】

回転ダイヤル４２０の例は更に、インタラクションの象徴的な（ｓｙｍｂｏｌｉｃ）触覚表現をシステム１０が提供可能であることを示している。例えば、仮想ダイヤルの物理的特性はダイヤルの周囲に戻り止め位置を有することであり得る。現実世界においては、ダイヤルは、ひねられるとカチカチと音を立て得る。仮想世界においては、１以上のアクチュエータを起動して触覚装置を通じて物理的な属性情報を提供することで、これらはハプティクスを用いて象徴的に表現される。例えば、ユーザーが仮想ダイヤルをひねる１回のインタラクションにおいて、ユーザーの手首の周囲でアクチュエータを時計方向の順序で起動することで、戻り止めが象徴的に表現されることができる。別の例において、１２時の位置に最も近いアクチュエータを常に起動する（手首の位置にかかわらず）、又は、手の上部に最も近いアクチュエータのような、手首上の特定の位置にあるアクチュエータを常に起動することで、戻り止めは象徴的に表現されることができる。したがって、触覚効果は、仮想世界における回転ダイヤルの物理的特徴の情報を描写することもできる。

【0028】

象徴的な触覚表現は、仮想オブジェクトについての象徴的な状況情報をも含んでよい。例えば、仮想ダイヤルの状況情報は回転限界、例えば最大設定までひねられた音量ダイヤル等のためのもの、を含む。仮想ダイヤルの状況が回転限界に達したとき、押圧感又は高速オン／オフの繰り返しフィードバック等のフィードバックが提供されて、限界に達したことが象徴的に示されることができる。したがって、非コロケートなハプティクスを用いることは、オブジェクトの物理的な特徴をオブジェクトの状況に組み合わせることによって、現実世界の対応する事象の象徴的な表現、ダイヤル４２０の例においては、次の戻り止め位置又は回転限界に対する相対的なダイヤルの回転位置、を仮想オブジェクトに提供することもできる。スイッチ４１０の例においては、スイッチの位置を状況とし、スイッチの操作の円滑さをスイッチの物理的な特徴とすることが可能である。

【0029】

仮想木箱４３０では、ユーザーは仮想手を箱に差し入れて動かし、上面、底面、左面、右面という、箱の４つの面のうちの１つに接触することによってインタラクト可能である。図５は、複数アクチュエータ型のウェアラブルなリストストラップ５２０と仮想箱５１０を図示する。フィードバック装置１５等の複数の触覚再生装置を有する、リストストラップ５２０のようなウェアラブルなストラップでは、アクチュエータは手首の上側、下側、右側、左側に位置してよい。仮想接触の正しい側に位置するアクチュエータが起動されることができる。例えば、手の上部が箱の上面にぶつかった場合、上側のアクチュエータ５３０が起動されてよい。ユーザーの手の上部が箱の左面にぶつかった場合、システムがユーザーの手首の回転を相殺するため、上側のアクチュエータがまた起動されてよい。この例において、ユーザーの仮想手が接触しているにもかかわらず間隔はユーザーの手首において感じられるため、触覚効果はまだ非コロケートである。一部の実施形態において、アクチュエータを手に配置することで触覚効果をコロケートとすることができる。

【0030】

一部の実施形態において、複数の触覚再生装置はすべてユーザーの手首上の１箇所にフィードバックを提供するよう配置されてよい。例えば、ウェアラブルなリストストラップ５２０内の全てのアクチュエータが、手首の下側に配置されてよい。この実施形態において、提供される触覚効果の範囲を拡大するために、アクチュエータのスケジューリングが用いられてよい。弱い効果には、１つのアクチュエータのみ用いることができる。中程度の効果には、２つ又は３つのアクチュエータが用いられてよく、強い効果には、４つ全てのアクチュエータが同時に用いられてよい。同様に、各位置でアクチュエータのスケジューリングを組み合わせて位置固有の効果を生むために、各位置で複数のアクチュエータが用いられてよい。

【0031】

図６は、一部の実施形態に係る触覚フィードバック装置の機能を図示するフロー図である。一の実施形態において、図６のフロー図の機能はメモリ又は他のコンピュータ読み取り可能媒体又は有形媒体に格納されたソフトウェアによって実装され、プロセッサによって実行される。その他の実施形態において、この機能はハードウェア（例えば、特定用途向けＩＣ（ＡＳＩＣ）、プログラム可能ゲートアレイ（ＰＧＡ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）等を用いる）又はハードウェアとソフトウェアとの任意の組み合わせによって行われ得る。

【0032】

６１０において、アプリケーション、又はユーザーインターフェイス１１のようなユーザーインターフェイスから触覚情報が受信される。触覚情報がアプリケーションから受信される場合、アプリケーションは、ユーザーのシステムとのインタラクションに基づいて触覚情報を生成できる。例えば、ユーザーは、ユーザーインターフェイス１１を介してアプリケーションとインタラクト可能である。アプリケーションは、ユーザーインターフェイス１１によるユーザーのインタラクションを解釈して、対応する反応をディスプレイ上に提供できる。更に、アプリケーションは、ユーザーのインタラクションとアプリケーションの反応とに基づいて触覚情報を提供できる。触覚情報がユーザーインターフェイス１１等のユーザーインターフェイスから受信される場合、触覚情報は、ユーザーインターフェイスから直接受信可能である。このような情報には、ユーザーの手の配向、及び知覚されたユーザーによって行われた動作に関する情報が含まれ得る。一部の実施形態において、触覚情報はワイヤレスに受信可能である。触覚情報がワイヤレスに受信される実施形態において、ワイヤレス受信に用いられるこのようなワイヤレス技術には、無線周波数、磁場、及び可視及び不可視の電磁周波数に基づくもの、をはじめとする任意の周知の種類のワイヤレス技術が含まれてよい。

【0033】

６２０において、触覚情報が処理されて非コロケートな触覚信号が生成されてよい。例えば、アプリケーションからの触覚情報が、仮想手が手の上部によって仮想オブジェクトに接触したことを通知すると、触覚情報が処理されて、その情報に基づいて触覚信号が生成される。アクチュエータが図３の３２０のようなリストストラップ上に位置され、知覚される接触とは非コロケートである一部の実施形態において、触覚信号は、手首上に位置され仮想接触と同じ配向のアクチュエータ１８等の触覚フィードバック装置を起動する情報を含んでよい。例えば、図４について上述したように、ユーザーの親指が上に向くよう手首が配向され、親指が木箱の上部に接触すると、手首の上部にある触覚再生装置が起動されてよい。生起された触覚信号には起動情報が含まれてよい。

【0034】

６３０において、触覚信号はアクチュエータ駆動回路１６のような触覚再生駆動回路へと提供されることができる。駆動回路は、アクチュエータ１８のような触覚再生装置を作動させるための電力源を含むことができる。駆動回路は触覚信号を、触覚フィードバック装置の技術に従って、低レベルのモータコマンド又はその他の適切な低レベルのコマンドへと翻訳することも可能である。一部の実施形態において、駆動回路はオーバードライブ及びブレーキングの指令を触覚再生装置へと提供して、内蔵向けに元々設計された触覚再生装置よりも広い範囲の触覚再生機能を実現できる。このような方法は、短パルスの触覚キューを生起して圧迫触覚効果をシミュレートするために用いることができる。触覚信号は、有線又は無線で触覚再生駆動回路へと提供できる。触覚信号がワイヤレスに提供される実施形態において、ワイヤレス送信のために用いられるこのようなワイヤレス技術には、無線周波数、磁場、及び可視及び不可視の電磁周波数に基づくもの、をはじめとする任意の周知の種類のワイヤレス技術が含まれてよい。

【0035】

６４０において、触覚フィードバックは、触覚信号に基づいてアクチュエータ１８のような触覚再生装置で生起される。ここで触覚信号は、６２０で生起された触覚信号に基づいた低レベルのコマンド又は再生装置特有のコマンドを含んでよいことが理解されるだろう。一部の実施形態において、触覚再生装置は、上述したような任意の周知のワイヤレス技術を用いてワイヤレスで触覚信号（又は低レベルのコマンド）を受信可能である。一部の実施形態において、触覚フィードバックは利用可能な一部の触覚再生装置では生起可能であるがその他の装置では生起可能でない。例えば、起動するよう選択される触覚フィードバック装置は、触覚再生信号（又は低レベルのコマンド）内の情報に基づいてよく、また、再生装置の位置又は触覚効果の所望の強度や規模に基づいて選択されてよい。

【0036】

一部の実施形態は、拡張現実メガネを装着したユーザーを含む。ユーザーはジェスチャーで拡張現実のプロパティを制御することができる。例えば、ユーザーは、手を回すことでジェスチャーで室内の光量を制御できる。フィードバック装置１５は、間隔の空いた戻り止め、又は光量の変化に比例して強度が変化する効果のような触覚効果を伝達できる。当業者は、それぞれジェスチャー及び拡張現実の制御される側面に対して適切な触覚効果を提供する、その他のジェスチャーを用いて拡張現実のその他の側面を制御できることを理解するだろう。

【0037】

開示されるとおり、実施形態は、ウェアラブルな触覚再生装置を用いて、ユーザーインターフェイスとのインタラクションに基づいた触覚キューを提供する触覚フィードバックシステムを実装する。触覚再生装置は、触覚効果がインタラクションの対象と同時に発生するよう知覚されつつも、インタラクションの対象とは異なる体の部位で発生する、インタラクションの対象に対して非コロケートであってよい。ユーザーインターフェイスとのインタラクションを通じて操作されるオブジェクトの物理的な属性を象徴する表現を提供するために、複数の再生装置が用いられてよい。アクチュエータのスケジューリングを通じて異なる強度の触覚効果を提供するために、複数の再生装置が用いられてよい。

【0038】

いくつかの実施形態が、本稿において具体的に図示及び／又は記載されている。しかしながら、開示された実施形態の変形及び変異が、本発明の精神及び意図される範囲から逸脱することなく、上述の記載によって網羅され、添付される請求の範囲に包含されることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】