特許 7089846 触覚対応ニューラルインターフェースのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-15

(45)【発行日】2022-06-23

(54)【発明の名称】触覚対応ニューラルインターフェースのためのシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220616BHJP

   A61B 5/372 20210101ALI20220616BHJP

【ＦＩ】

G06F3/01 515

G06F3/01 560

A61B5/372

【請求項の数】 23

【外国語出願】

(21)【出願番号】P 2017002732

(22)【出願日】2017-01-11

(65)【公開番号】P2017126337

(43)【公開日】2017-07-20

【審査請求日】2019-12-16

【審判番号】

【審判請求日】2021-08-18

(31)【優先権主張番号】14/994,720

(32)【優先日】2016-01-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(74)【代理人】

【識別番号】100153877

【弁理士】

【氏名又は名称】大森 拓

(72)【発明者】

【氏名】クルス－エルナンデス、 ファン マヌエル

【合議体】

【審判長】稲葉 和生

【審判官】野崎 大進

【審判官】▲高▼瀬 健太郎

(56)【参考文献】

【文献】特開２０１５－１３０１６８（ＪＰ，Ａ）

【文献】特開２０１５－１７２９４３（ＪＰ，Ａ）

【文献】特開２０１５－２１５８９４（ＪＰ，Ａ）

【文献】特開２００８－１７６７７９（ＪＰ，Ａ）

【文献】ＣＨＩＮ ｅｔ ａｌ．， Ｏｎｌｉｎｅ Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｍｏｔｏｒ ｉｍａｇｅｒｙ ＢＣＩ ｗｉｔｈ ａｕｇｍｅｎｔｅｄ－ｒｅａｌｉｔｙ ｖｉｒｔｕａｌ ｈａｎｄ ｆｅｅｄｂａｃｋ，Ｉｎ：２０１０ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ［ｏｎｌｉｎｅ］，ＩＥＥＥ，２０１０年，ｐｐ．３３４１－３３４４，（検索日２０２０年１２月２２日），ｄｏｉ：１０．１１０９／ＩＥＭＢＳ．２０１０．５６２７９１１，ＵＲＬ，ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔｏ／５６２７９１１

【文献】ＬＯＴＴＥ ｅｔ ａｌ．，Ｃｏｍｂｉｎｉｎｇ ＢＣＩ ｗｉｔｈ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ： Ｔｏｗａｒｄｓ Ｎｅｗ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｉｍｐｒｏｖｅｄ ＢＣＩ［ｏｎｌｉｎｅ］，２０１２年，ｐｐ．１９７－２２０，（検索日２０２０年１２月２２日），ｄｏｉ：１０．１００７／９７８－３－６４２－２９７４６－５＿１０，ＵＲＬ，ｈｔｔｐｓ：／／ｗｗｗ．ｒｅｓｅａｒｃｈｇａｔｅ．ｎｅｔ／ｐｕｂｌｉｃａｔｉｏｎ／２７８７０２１５３＿Ｃｏｍｂｉｎｉｎｇ＿ＢＣＩ＿ｗｉｔｈ＿Ｖｉｒｔｕａｌ＿Ｒｅａｌｉｔｙ＿Ｔｏｗａｒｄｓ＿Ｎｅｗ＿Ａｐｐｌｉｃａｔｉｏｎｓ＿ａｎｄ＿Ｉｍｐｒｏｖｅｄ＿ＢＣＩ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A61B 5/372

G06F 3/01

(57)【特許請求の範囲】

【請求項1】

プロセッサを備えるシステムにおいて、
前記プロセッサは、
神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信すること、
前記センサ信号に基づいてオブジェクトとの相互作用を決定すること、
前記オブジェクトとの前記相互作用に少なくとも部分的に基づいて触覚効果を決定すること、
触覚信号を第１の装置に送信することであって、前記第１の装置は、前記触覚信号を受信して、第１の触覚出力装置を介して前記触覚効果を出力するように構成されること、及び
前記触覚信号を、前記第１の装置から遠隔にある第２の装置に送信することであって、前記第２の装置は、前記触覚信号を受信して、第２の触覚出力装置を介して前記触覚効果を出力するように構成されること
を行うように構成される、システム。

【請求項2】

前記ニューラルインターフェースは、前記神経系に関係付けられる前記電気信号を検出し且つ前記センサ信号を送信するように構成されるセンサを備え、前記センサは、脳波（ＥＥＧ）電極、分光センサ、磁気共鳴画像診断装置、又は容量性センサの少なくとも１つを含む、請求項１に記載のシステム。

【請求項3】

前記プロセッサは、
前記センサ信号に少なくとも部分的に基づいて聴覚効果を決定し、且つ
前記聴覚効果をスピーカに出力させるように構成される聴覚信号を送信する
ように更に構成される、請求項２に記載のシステム。

【請求項4】

前記プロセッサは、
前記センサ信号に少なくとも部分的に基づいて視覚効果を決定し、且つ
前記視覚効果をディスプレイに出力させるように構成される表示信号を送信する
ように更に構成される、請求項３に記載のシステム。

【請求項5】

前記オブジェクトは拡張現実環境における仮想オブジェクトであり、前記プロセッサは、前記拡張現実環境におけるイベントに少なくとも部分的に基づいて前記触覚効果を決定するように更に構成される、請求項１に記載のシステム。

【請求項6】

前記触覚効果は第１の触覚効果であり、
前記プロセッサは、
前記センサ信号に基づいて体の一部の移動を決定し、且つ
前記移動に少なくとも部分的に基づいて第２の触覚効果を決定する
ように更に構成される、請求項１に記載のシステム。

【請求項7】

前記第２の触覚効果は、前記体の一部の前記移動を確認する又は前記体の一部により接触される表面の特徴をシミュレートするように構成される、請求項６に記載のシステム。

【請求項8】

前記ニューラルインターフェースは第１のニューラルインターフェースであり、前記プロセッサは、遠隔ユーザにより使用可能な第２のニューラルインターフェースを備える遠隔装置に前記触覚信号を送信するように更に構成され、前記触覚信号は前記遠隔装置に前記触覚効果を出力させるように構成される、請求項１に記載のシステム。

【請求項9】

神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信するステップと、
前記センサ信号に基づいてオブジェクトとの相互作用を決定するステップと、
前記オブジェクトとの前記相互作用に少なくとも部分的に基づいて触覚効果を決定するステップと、
前記触覚効果に関係付けられる触覚信号を第１の装置に送信するステップであって、前記第１の装置は前記触覚信号を受信し且つ第１の触覚出力装置を介して前記触覚効果を出力するように構成されるステップと、
前記触覚効果に関係付けられる前記触覚信号を、前記第１の装置から遠隔にある第２の装置に送信するステップであって、前記第２の装置は前記触覚信号を受信し且つ第２の触覚出力装置を介して前記触覚効果を出力するように構成されるステップと
を含む、方法。

【請求項10】

前記ニューラルインターフェースは、前記神経系に関係付けられる前記電気信号を検出し且つ前記センサ信号を送信するように構成されるセンサを備え、前記センサは、脳波（ＥＥＧ）電極、分光センサ、磁気共鳴画像診断装置、又は容量性センサの少なくとも１つを含む、請求項９に記載の方法。

【請求項11】

前記センサ信号に少なくとも部分的に基づいて聴覚効果を決定するステップと、前記聴覚効果をスピーカに出力させるように構成される聴覚信号を送信するステップと
を更に含む、請求項１０に記載の方法。

【請求項12】

前記センサ信号に少なくとも部分的に基づいて視覚効果を決定するステップと、
前記視覚効果をディスプレイに出力させるように構成される表示信号を送信するステップと
を更に含む、請求項１１に記載の方法。

【請求項13】

前記オブジェクトは拡張現実環境における仮想オブジェクトであり、前記触覚効果は前記拡張現実環境におけるイベントに少なくとも部分的に基づく、請求項９に記載の方法。

【請求項14】

前記触覚効果は第１の触覚効果であり、
前記センサ信号に基づいて体の一部の移動を決定するステップと、前記移動に少なくとも部分的に基づいて第２の触覚効果を決定するステップと
を更に含む、請求項９に記載の方法。

【請求項15】

前記第２の触覚効果は、前記体の一部の前記移動を確認する又は前記体の一部により接触される表面の特徴をシミュレートするように構成される、請求項１４に記載の方法。

【請求項16】

前記ニューラルインターフェースは第１のニューラルインターフェースであり、
第２のニューラルインターフェースを備える遠隔装置に前記触覚信号を送信するステップであって、前記触覚信号は前記遠隔装置に前記触覚効果を出力させるように構成されるステップ
を更に含む、請求項９に記載の方法。

【請求項17】

プロセッサにより実行されると、前記プロセッサに、
神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信すること、
前記センサ信号に基づいてオブジェクトとの相互作用を決定すること、
前記オブジェクトとの前記相互作用に少なくとも部分的に基づいて触覚効果を決定すること、
前記触覚効果に関係付けられる触覚信号を第１の装置に送信することであって、前記第１の装置は前記触覚信号を受信し且つ第１の触覚出力装置を介して前記触覚効果を出力するように構成されること、及び
前記触覚効果に関係付けられる前記触覚信号を、前記第１の装置から遠隔にある第２の装置に送信することであって、前記第２の装置は前記触覚信号を受信し且つ第２の触覚出力装置を介して前記触覚効果を出力するように構成されること
を行わせるように構成されるプログラムコードを含む、非一時的なコンピュータ可読媒体。

【請求項18】

前記ニューラルインターフェースは、触覚出力装置を備える、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記プロセッサにより実行されると、前記プロセッサに
前記センサ信号に少なくとも部分的に基づいて聴覚効果を決定すること、及び
前記聴覚効果をスピーカに出力させるように構成される聴覚信号を送信すること
を行わせるように構成されるプログラムコードを更に含む、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記プロセッサにより実行されると、前記プロセッサに
前記センサ信号に少なくとも部分的に基づいて視覚効果を決定すること、及び
前記視覚効果をディスプレイに出力させるように構成される表示信号を送信すること
を行わせるように構成されるプログラムコードを更に含む、請求項１９に記載の非一時的なコンピュータ可読媒体。

【請求項21】

前記オブジェクトは拡張現実環境における仮想オブジェクトであり、前記触覚効果は前記拡張現実環境におけるイベントに少なくとも部分的に基づく、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項22】

前記触覚効果は第１の触覚効果であり、前記プロセッサにより実行されると、前記プロセッサに
前記センサ信号に基づいて体の一部の移動を決定すること、及び
前記移動に少なくとも部分的に基づいて第２の触覚効果を決定することであって、前記第２の触覚効果は、前記体の一部の前記移動を確認する又は前記体の一部により接触される表面の特徴をシミュレートするように構成されること
を行わせるように構成されるプログラムコードを更に含む、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項23】

前記ニューラルインターフェースは第１のニューラルインターフェースであり、前記プロセッサにより実行されると、前記プロセッサに
第２のニューラルインターフェースを備える遠隔装置に前記触覚信号を送信することであって、前記触覚信号は前記遠隔装置に前記触覚効果を出力させるように構成されること
を行わせるように構成されるプログラムコードを更に含む、請求項１７に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザインターフェース装置の分野に関する。より詳細には、本発明は、触覚対応ニューラルインターフェースに関する。

【背景技術】

【0002】

コンピュータベースのシステムがより普及してきており、研究者は、ユーザがこうしたシステムと相互作用することができる新しいインターフェースを模索している。最近開発されたインターフェースの一つは、ブレイン・コンピュータ・インターフェース（ＢＣＩ）等のニューラルインターフェースである。ＢＣＩは、ユーザの脳と外部コンピュータ装置との間の直接通信経路を含み得る。一部のＢＣＩは、ユーザの脳又は頭蓋骨に埋め込まれたプローブ又は電極を使用し、これがユーザの脳から外部コンピュータ装置に電気信号を直接送信する。他のＢＣＩは、ユーザの頭の外部（例えば、ユーザの額）に結合されるセンサを使用し、これはユーザの頭蓋骨を通してユーザの脳からの電気信号（例えば、電磁波）を検出して、外部コンピュータ装置にセンサ信号を送信する。ニューラルインターフェースは、触覚機能を含むことによって改善され得る。

【発明の概要】

【0003】

本開示の実施形態は、触覚対応ニューラルインターフェースを含む。一実施形態では、本開示のシステムは、神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信するように構成されるプロセッサを備えてもよい。また、プロセッサは、センサ信号に基づいて仮想環境における仮想オブジェクトとの相互作用を決定するように構成されてもよい。また、プロセッサは、仮想環境における仮想オブジェクトとの相互作用に少なくとも部分的に基づいて触覚効果を決定するように構成されてもよい。また、プロセッサは、触覚効果に関係付けられる触覚信号を送信するように構成されてもよい。システムは、触覚信号を受信して、触覚効果を出力するように構成される触覚出力装置を更に備えてもよい。

【0004】

別の実施形態では、本開示の方法は、神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信するステップを含んでもよい。また、方法は、センサ信号に基づいて仮想環境における仮想オブジェクトとの相互作用を決定するステップを含んでもよい。また、方法は、仮想環境における仮想オブジェクトとの相互作用に少なくとも部分的に基づいて触覚効果を決定するステップを含んでもよい。方法は、触覚効果に関係付けられる触覚信号を触覚出力装置に送信するステップを更に含んでもよい。触覚出力装置は、触覚信号を受信して、触覚効果を出力するように構成されてもよい。更に別の実施形態は、このような方法を実装するためのコンピュータ可読媒体を含む。

【0005】

こうした例示の実施形態は、本主題を限定し又はその限界を定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

【図面の簡単な説明】

【0006】

本明細書の以下の部分には完全な且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。

【図1】触覚対応ニューラルインターフェースのためのシステムの例示の実施形態を示す。

【図2】一実施形態による触覚対応ニューラルインターフェースのためのシステムを示すブロック図である。

【図3】触覚対応ニューラルインターフェースのためのシステムの実施形態を示す。

【図4】触覚対応ニューラルインターフェースのためのシステムの別の実施形態を示す。

【図5】一実施形態による触覚対応ニューラルインターフェースを提供する方法を実行するためのステップのフローチャートである。

【発明を実施するための形態】

【0007】

次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

【0008】

（触覚対応ニューラルインターフェースの例示）
図１は、触覚対応ニューラルインターフェースのためのシステム１００の例示の実施形態を示す。システム１００は、コンピュータ装置１１２を含む。また、システム１００は、コンピュータ装置１１２と電気通信（例えば、有線又は無線通信）する１つ以上のニューラルセンサ１０６、１０８、１１０を備える。ニューラルセンサ１０６、１０８、１１０は、ユーザの脳１０４、脊椎、及び／又は神経等のユーザの神経系の少なくとも一部と電気的に結合するように構成される。ニューラルセンサ１０６、１０８、１１０がユーザの脳１０４からの脳信号を検出するために配置される場合、システム１００はブレイン・コンピュータ・インターフェース（ＢＣＩ）と呼ばれ得る。しかし、実施形態はブレイン・コンピュータ・インターフェースに限定されず、システム１００は、ユーザの神経系の少なくとも一部に伝播する神経信号を検出するために（例えば、ユーザの体の上又は知覚の任意の場所に）配置される任意の数の及び構成のニューラルセンサ１０６、１０８、１１０を備えてもよい。

【0009】

図１に示される実施形態では、システム１００は、ユーザの頭蓋骨の中に配置される及び／又はユーザの脳に直接結合されるニューラルセンサ１０６（例えば、電極）を備える。一部の実施形態では、ニューラルセンサ１０６は、ユーザの脳１０４の一部に直接埋め込まれる。このようなニューラルセンサ１０６は、ユーザの脳１０４に接触して、ユーザの脳１０４から電気信号を直接受信してもよい。追加的に又は代替的に、システム１００は、ユーザの頭蓋骨の外部（例えば、ユーザの頭の外側）に結合される１つ以上のニューラルセンサ１０８、１１０を備えてもよい。例えば、例示の実施形態では、システム１００は、ユーザの額に結合される１つのニューラルセンサ１０８及びユーザの頭の後部又は上部に結合される別のニューラルセンサ１１０を備える。このようなニューラルセンサ１０８、１１０は、ユーザの頭蓋骨及び／又は頭皮を通してユーザの脳１０４により出力される電気信号（例えば、神経信号）を検出してもよい。ニューラルセンサ１０６、１０８、１１０は、ユーザの脳１０４により出力される電気信号に関係付けられる又はユーザの神経系に他のやり方で関係付けられるセンサ信号をコンピュータ装置１１２に送信するように構成される。

【0010】

例示の実施形態では、コンピュータ装置１１２は、ニューラルセンサ１０６、１０８、１１０からセンサ信号を受信して、センサ信号に基づいて１つ以上の触覚効果（例えば、テクスチャ、振動、ストロークの感覚、突き刺すような感覚、及び／又は知覚される摩擦係数の変化）を決定するように構成される。コンピュータ装置１１２は、触覚効果に関係付けられる１つ以上の触覚信号を１つ以上の触覚出力装置１１４、１１６に送信するように構成される。触覚出力装置１１４、１１６は、コンピュータ装置１１２から触覚信号を受信して、触覚効果を出力するように構成される。

【0011】

一部の実施形態では、コンピュータ装置１１２は、触覚出力装置１１４を備えてもよい。このような実施形態では、ユーザ１０２は、触覚出力装置１１４により出力される触覚効果を知覚するためにコンピュータ装置１１２を把持又は保持してもよい。

【0012】

例えば、一部の実施形態では、コンピュータ装置１１２は仮想環境を生成する。本明細書で用いられる場合、仮想環境は、部分的に又は全体的に仮想的である環境を含む。例えば、仮想環境は、拡張現実環境、仮想現実環境、ビデオゲーム環境等を含み得る。このような実施形態では、コンピュータ装置１１２は、仮想軍事ゲーム等のビデオゲームを実行してもよい。コンピュータ装置１１２は、ディスプレイ上のビデオゲームに関係付けられるコンテンツを表示してもよい。例えば、コンピュータ装置１１２は、ユーザ１０２により制御可能な仮想オブジェクト（例えば、キャラクタ、車両、又は武器）と共に、ビデオゲームに関係付けられる仮想戦争地帯を表示してもよい。一部の実施形態では、コンピュータ装置１１２は、ニューラルセンサ１０６、１０８、１１０からセンサ信号を受信して、センサ信号に基づいて仮想環境内の仮想オブジェクトの相互作用及び／又は操作を決定する。コンピュータ装置１１２は、仮想環境内で相互作用及び／又は操作を発生させてもよい。従って、ユーザは、ユーザの意識で仮想オブジェクトと相互作用する及び／又はそれを操作することが可能であってもよい。

【0013】

一部の実施形態では、コンピュータ装置１１２は、仮想環境内の仮想オブジェクトの相互作用及び／又は操作に基づいて触覚効果を決定して、触覚効果を出力させることができる。例えば、コンピュータ装置１１２は、ニューラルセンサ１０６、１０８、１１０からセンサ信号を受信し、センサ信号に基づいて、仮想オブジェクトが、例えば、凹凸のある地形を超えて前進すべきであることを決定してもよい。また、例示の実施形態では、コンピュータ装置１１２は、仮想オブジェクトの移動に関係付けられる触覚効果を決定して出力する。例えば、仮想オブジェクトが凹凸のある地形を横断すると、コンピュータ装置１１２は、例えば、凹凸のある地形をシミュレートするように構成される１つ以上の振動を決定して出力してもよい。このようにして、ユーザ１０２は、ユーザの脳１０４からの信号を介して仮想オブジェクトと相互作用し及び／又はそれを操作して、関連触覚効果を受信することができる。

【0014】

上記の例示的な実施形態の記載は、単なる例示として提供される。本発明の他の様々な実施形態が本明細書に記載されており、このような実施形態の変形は当業者によって理解されるであろう。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

【0015】

（触覚対応ニューラルインターフェースのための例示のシステム）
図２は、一実施形態による触覚対応ニューラルインターフェース触覚効果のためのシステムを示すブロック図である。システムは、コンピュータ装置２０１を含む。一部の実施形態では、コンピュータ装置２０１は、ヘッドマウント型コンピュータ装置、移動装置（例えば、スマートフォン、タブレット、Ｅリーダ及び／又はラップトップコンピュータ）、デスクトップコンピュータ、又は携帯型ゲーム装置を含む。他の実施形態では、コンピュータ装置２０１は、装着可能装置（例えば、指輪、靴、アームバンド、袖、ジャケット、眼鏡、手袋、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド、及び／又は宝石類）を含んでもよい。

【0016】

一部の実施形態では、コンピュータ装置２０１のコンポーネント（例えば、プロセッサ２０２、ネットワーク装置２１０、センサ２３０等）は単一の筐体に組み込まれてもよい。他の実施形態では、コンポーネントは、（例えば、多数の筐体又は場所の間で）分散され且つ互いと電気通信してもよい。コンピュータ装置２０１は、図２に記載の全てのコンポーネントを含んでもよく又は含まなくてもよい。例えば、一部の実施形態では、コンピュータ装置は、スピーカ２２、嗅覚装置２３４、及びディスプレイ２１６を含まなくてもよい。

【0017】

図２に示される実施形態では、コンピュータ装置２０１は、バス２０６を介して他のハードウェアと通信しているプロセッサ２０２を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ２０４が、コンピュータ装置２０１の動作を構成するプログラムコンポーネントを具現化する。図示の実施形態では、コンピュータ装置２０１は、１つ以上のネットワーク装置２１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント２１２、及び記憶装置２１４を更に含む。

【0018】

ネットワーク装置２１０は、ネットワーク接続を容易にする１つ以上の任意のコンポーネントを表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

【0019】

Ｉ／Ｏコンポーネント２１２は、１つ以上のディスプレイ２１６、ゲームコントローラ、キーボード、マウス、ジョイスティック、カメラ、ボタン、スピーカ、マイクロホン、及び／又はデータの入力若しくは出力に使用される他のハードウェア等の装置への有線又は無線接続を容易にするために使用されてもよい。記憶装置２１４は、コンピュータ装置２０１に含まれ又はプロセッサ２０２に結合される磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。

【0020】

一部の実施形態では、コンピュータ装置２０１は１つ以上のセンサ２３０を備える。センサ２３０は、プロセッサ２０２にセンサ２３０の信号を送信するように構成される。センサ２３０は、例えば、カメラ、ジャイロスコープ、加速度計、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）装置、距離センサ、又は深さセンサを含んでもよい。一部の実施形態では、コンピュータ装置２０１は、センサ２３０からのセンサ信号に基づいて仮想オブジェクトを操作し及び／又は触覚効果を生成してもよい。

【0021】

また、コンピュータ装置２０１は、ディスプレイ２１６、スピーカ２２２、及び／又は嗅覚装置２３４を備えてもよい。ディスプレイ２１６は、（例えば、プロセッサ２０２から）映像信号を受信して、１つ以上の画像をユーザに出力するように構成される任意のコンポーネントを含む。ディスプレイ２１６は、例えば、ヘッドマウント型ディスプレイ、テレビ、プロジェクタ、コンピュータモニタ、及び／又は液晶ディスプレイ（ＬＣＤ）を含んでもよい。一部の実施形態では、ディスプレイ２１６は、タッチセンサ面と統合されて、タッチスクリーンディスプレイを形成してもよい。スピーカ２２２は、（例えば、プロセッサ２０２から）聴覚信号を受信して、１つ以上の音声を出力するように構成される任意のコンポーネントを含む。嗅覚装置２３４は、（例えば、プロセッサ２０２から）嗅覚信号を受信して、ユーザにより知覚可能な１つ以上の匂いを出力するように構成されるコンポーネントを含む。嗅覚装置２３４は、１つ以上の匂いを生成するために任意の数及び構成の芳香、香水、液体、固体、ゲル、及び／又は気体を含んでもよい。嗅覚装置２３４は、嗅覚信号を受信して、目標の匂いを生成するために、１つ以上の芳香、香水、液体、固体、ゲル、及び／又は気体を出力してもよい。

【0022】

また、システムはニューラルセンサ２３２も備える。ニューラルセンサ２３２は、ユーザの神経系からの電気信号（例えば、神経信号）を検出して、１つ以上の関連センサ信号をプロセッサ２０２に送信するように構成される。ニューラルセンサ２３２は、有線インターフェース又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）若しくはラジオインターフェース等の無線インターフェースを介してプロセッサ２０２と通信してもよい。ニューラルセンサ２３２は、１つ以上のプローブ、脳波（ＥＥＧ）電極等の電極、分光センサ、磁気共鳴画像診断装置（例えば、ｆＭＲＩシステム）、及び／又は容量性センサを含んでもよい。追加的に又は代替的に、ニューラルセンサ２３２は、バッテリ及び／又は他の電源、プロセッサ、メモリ、電気刺激装置、磁力計、及び／又は他のコンポーネントを備えてもよい。

【0023】

一部の実施形態では、ニューラルセンサ２３２は、出力装置を備える。ニューラルセンサ２３２は、実際に存在せず及び／又はユーザによって物理的に検出されなくてもよい感覚（例えば、味、匂い、視覚、音、及び／又は触感）をユーザに知覚させるために、ユーザの神経系（例えば、ユーザの脳）の少なくとも一部を刺激することが可能であってもよい。例えば、ニューラルセンサ２３２は、プロセッサ２０２から触覚信号を受信し、それに応じて、ユーザが実際に物理的には存在しなくてもよい触感を知覚させるように構成されるように、ユーザの脳又は別の体の一部を刺激するように構成されてもよい。このような触感は、見掛けの触覚効果と呼ばれ得る。例えば、ピンが実際にはユーザの腕に刺さっていなくても、ユーザの腕に刺さったピンをユーザに知覚させるように構成されるように、ニューラルセンサ２３２はユーザの脳又はユーザの腕の神経を刺激してもよい。

【0024】

一部の実施形態では、ニューラルセンサ２３２は、追加的に又は代替的に、味、匂い、視覚、音、及び／又は他の感覚をユーザに知覚させるように構成されるように、ユーザの神経系を刺激し得る。例えば、ニューラルセンサ２３２は、視覚、聴覚、嗅覚、又は他の感覚をユーザに知覚させるためにユーザの脳に１つ以上の電気パルスを加えるように構成される電気刺激装置を備えてもよい。

【0025】

一部の実施形態では、ニューラルセンサ２３２は、経頭蓋磁気刺激（ＴＭＳ）を使用して感覚を生成することができる。例えば、ニューラルセンサ２３２は、９０ｍｍのＭａｇＳｔｉｍ^TMサークルコイルを含み得る。ニューラルセンサ２３２は、ユーザの脳の運動皮質領域を刺激するように（例えば、ユーザの頭にぴったりくっついて）配置され得る。プロセッサ２０２は、（例えば、１つ以上のパルスを含む）電気信号をニューラルセンサ２３２に送信することができる。一部の実施形態では、プロセッサ２０２は、刺激装置（例えば、Ｍａｇｓｔｉｍ^TM磁気刺激装置）を作動させて、刺激装置により電気信号をニューラルセンサ２３２に送信させることができる。ニューラルセンサ２３２は、電気信号に応じて電磁場を生成することができる。電磁場は、例えば、ユーザに体の一部を移動させる又はユーザが体の一部を移動したことを知覚させる、ユーザの脳の運動皮質領域における電流を含んでもよい。一部の実施形態では、プロセッサ２０２は、刺激装置の最大可能出力（例えば、２．０Ｔ）の５８％から６５％の間でユーザの脳を刺激装置に刺激させるように構成される信号を送信し得る。これは、ユーザに特定の感覚を知覚させてもよい。

【0026】

システムは、プロセッサ２０２と通信する１つ以上の触覚出力装置２１８、２２０を更に含む。触覚出力装置２１８、２２０は、触覚信号に応答して触覚効果を出力するように構成される。一部の実施形態では、触覚出力装置２１８、２２０は、例えば、振動、知覚される摩擦係数の変化、シミュレートされるテクスチャ、突き刺すような感覚、又は表面変形を含む触覚効果を出力するように構成される。更に、一部の触覚効果は、同じ又は異なるタイプの複数の触覚出力装置２１８、２２０を順番に及び／又は同時に使用してもよい。

【0027】

一部の実施形態では、触覚出力装置２１８、２２０は、コンピュータ装置２０１又はコンピュータ装置２０１のコンポーネントを振動させることによって触覚効果を出力してもよい。このような実施形態では、触覚出力装置２１８、２２０は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。

【0028】

コンピュータ装置２０１は、内部触覚出力装置２１８を含んでもよい。追加的に又は代替的に、コンピュータ装置２０１は、コンピュータ装置２０１から遠隔に有る触覚出力装置２２０と有線又は無線通信してもよい。例えば、図２に示される実施形態では、触覚出力装置２２０は、コンピュータ装置２０１の外部に有り、イーサネット（登録商標）、ＵＳＢ又はＩＥＥＥ１３９４等の有線インターフェースを介してコンピュータ装置２０１と通信する。他の実施形態では、触覚出力装置２２０は、ＩＥＥＥ８０２．１１、ブルートゥース（登録商標）又はラジオインターフェース等の無線インターフェースを介してコンピュータ装置２０１と通信してもよい。一部の実施形態では、触覚出力装置は、例えば、靴、袖、ジャケット、眼鏡、手袋、指輪、腕時計、リストバンド、ブレスレット、衣類、帽子、ベスト、ベルト、ヘルメット、ヘッドバンド、及び／又は宝石類を含む装着可能装置に結合されてもよい。他の実施形態では、触覚出力装置は、ユーザの指、腕、手、足、脚、頭、背中、胸、首等のユーザの体の一部又は他の体の部分に結合されてもよい。

【0029】

一部の実施形態では、触覚出力装置２１８、２２０は、例えば、テクスチャをシミュレートする又は触覚信号に応じて表面で知覚される摩擦係数を変調する触覚効果を出力するように構成されてもよい。このような実施形態では、触覚出力装置２１８、２２０は、超音波アクチュエータを含んでもよい。別のこのような実施形態では、触覚出力装置２１８、２２０は、触覚効果を出力するために静電引力を使用するように構成される静電アクチュエータを含んでもよい。触覚効果は、テクスチャをシミュレートするか又は表面に沿って知覚される摩擦係数を変調してもよい。このような実施形態では、静電アクチュエータは、静電アクチュエータに近い又はタッチする体の一部と容量結合してもよい。オブジェクトと導電層との間の引力レベルの変化は、シミュレートされるテクスチャ又は表面に沿って知覚される摩擦係数を変化させることができる。

【0030】

一部の実施形態では、触覚出力装置２１８、２２０は、（例えば、コンピュータ装置２０１又は別の表面を折り曲げ又は変形させるために）変形触覚効果を出力するように構成される流体を含む。例えば、流体は、スマートゲル又はレオロジー流体（例えば、磁性流体又は電気流体）を含んでもよい。刺激に応じて、スマートゲル又はレオロジー流体は、物理的状態を変化させ及び／又は形状を変形させ得る。これは、コンピュータ装置２０１又は別の表面の変形を引き起こしてもよい。

【0031】

他の実施形態では、触覚出力装置２１８、２２０は、コンピュータ装置２０１の表面の形状を変形させるためにコンピュータ装置２０１の表面を物理的に押す及び／又は引くように構成される機械的変形装置を含む。更に、表面を変形させるための他の技術又は方法が用いられ得る。例えば、触覚出力装置２１８、２２０は、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）からの接触に基づいて、その表面を変形させ又はそのテクスチャを変化させるように構成される可撓性表面層を含んでもよい。一部の実施形態では、触覚出力装置２１８、２２０は、例えば、空気若しくは流体ポケット、材料の局部変形、共振機械要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素若しくはポンプ、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調により変形させられる。

【0032】

メモリ２０４に関しては、プログラムコンポーネント２２４、２２６、２２８は、触覚対応ニューラルインターフェースを与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、神経信号解釈モジュール２２４は、プロセッサ２０２がニューラルセンサ２３２からのセンサ信号を解釈するように構成する。例えば、神経信号解釈モジュール２２４は、例えば、図５に関してより詳細に記載されるように、ニューラルセンサ２３２からセンサ信号を受信して、センサ信号に基づいて仮想環境における仮想オブジェクトとの相互作用及び／又は特定の入力を決定するためにアルゴリズム及び／又はルックアップテーブルにセンサ信号の１つ以上の特徴を適用してもよい。

【0033】

一部の実施形態では、神経信号解釈モジュール２２４は、ルックアップテーブルを含む。コンピュータ装置２０１は、ルックアップテーブルを使用して、（複数の）ニューラルセンサ２３２からの１つ以上のセンサ信号の１つ以上の特徴をユーザにより知覚される刺激にマッピングすることが可能であってもよい。例えば、コンピュータ装置２０１は、ルックアップテーブルを使用して、（複数の）ニューラルセンサ２３２からの特定のパターンのセンサ信号又は（複数の）ニューラルセンサ２３２からの１つ以上のセンサ信号の１つ以上の特徴を、特定の刺激（例えば、特定の音、画像、匂い、味、又はユーザにより知覚される他の刺激）にマッピングしてもよい。

【0034】

一部の実施形態では、神経信号は、（例えば、脳波記録を使用して）記録され、且つルックアップテーブルにおける特定の刺激にマッピングされ得る。例えば、コンピュータ装置２０１は、既知の（例えば、既定の）画像、音声、匂い、味、及び／又は他の刺激を出力してもよい。ユーザは、刺激を知覚して、刺激に関係付けられるセンサ信号をニューラルセンサ２３２に送信させてもよい。コンピュータ装置２０１は、ニューラルセンサ２３２からセンサ信号を受信して、受信したセンサ信号の１つ以上の特徴を（例えば、ルックアップテーブルにおける）特定の刺激と関係付けてもよい。コンピュータ装置２０１は、例えば、ルックアップテーブルを構築するために、この処理を任意の回数繰り返してもよい。その後、コンピュータ装置２０１は、ルックアップテーブルを使用して、ユーザにより知覚される未知の刺激を識別してもよい。

【0035】

触覚効果決定モジュール２２６は、生成すべき触覚効果を決定するためにデータを分析するプログラムコンポーネントを表す。特に、触覚効果決定モジュール２２６は、ニューラルセンサ２３２からのセンサ信号及び／又は仮想環境で発生するイベントに基づいて、出力すべき触覚効果を決定するコード、及び効果をシミュレートするために提供すべき１つ以上の触覚効果を選択するコードを含んでもよい。例えば、異なる触覚効果が、ニューラルセンサ２３２からのセンサ信号に基づいて決定される、ユーザの気分（例えば、幸福、悲観、恐怖、ストレス等）に基づいて選択されてもよい。

【0036】

一部の実施形態では、触覚効果決定モジュール２２６は、仮想オブジェクトの大きさ、色、場所、動き、及び／又は他の特徴に基づいて、出力すべき触覚効果を決定するコード、及び効果をシミュレートするために提供すべき１つ以上の触覚効果を選択するコードを含んでもよい。例えば、プロセッサ２０２は、神経信号解釈モジュール２２４を使用して、仮想オブジェクトが仮想環境内で操作されるべきであること（例えば、仮想スキーヤーが仮想スキー場を特定のやり方で滑降するべきであること）をニューラルセンサ２３２からのセンサ信号が示すことを決定してもよい。プロセッサ２０２は、それに応じて、仮想環境内で仮想オブジェクトを移動させてもよい。触覚効果決定モジュール２２６は、仮想オブジェクトの移動に基づいて、出力する１つ以上の触覚効果を決定してもよい。例えば、触覚効果決定モジュール２２６は、モーグル、ジャンプ、又は仮想スキー場の他の特徴をシミュレートするように構成される触覚効果を決定してもよい。

【0037】

触覚効果生成モジュール２２８は、選択された触覚効果を生成するためにプロセッサ２０２に触覚信号を触覚出力装置２１８、２２０へと送信させるプログラミングを表す。例えば、触覚効果生成モジュール２２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置２１８に送信してもよい。別の例示として、触覚効果生成モジュール２２８は、触覚信号を決定するためのアルゴリズムを含んでもよい。触覚効果生成モジュール２２８は、触覚効果に対する目標場所を決定するためのアルゴリズムを含んでもよい。目標場所は、触覚効果を出力すべきユーザの体の場所を含んでもよい。

【0038】

図２にはメモリ２０４内のプログラムコンポーネントとしてモジュール２２４，２２６，及び２２８が描かれているが、一部の実施形態では、モジュール２２４，２２６及び／又は２２８はハードウェアを含んでもよい。例えば、モジュール２２４，２２６及び／又は２２８は、アナログからデジタルへの変換器、プロセッサ、マイクロコントローラ、比較器、増幅器、トランジスタ、及び他のアナログ又はデジタル回路を含んでもよい。

【0039】

図３は、触覚対応ニューラルインターフェースのためのシステムの実施形態を示す。ニューラルセンサ３０４は、ユーザが観ること、聞くこと、匂うこと、感じること、味わうこと、及び／又はユーザの環境における刺激により他のやり方で刺激されることに応じて、コンピュータ装置３０２に電気信号を送信してもよい。図３においてニューラルセンサ３０４はユーザの脳から信号を検出するためにユーザの頭に配置されているが、他の実施形態では、ニューラルセンサ３０４は、ユーザの神経系の他の部分により出力される又は他の部分に伝播する電気信号を検出するためにユーザの体の他の部分（例えば、腕、脚、手、足、背中、脊椎等）に結合され得る。

【0040】

コンピュータ装置３０２は、ニューラルセンサ３０４からのセンサ信号に基づいて１つ以上の入力（例えば、コマンド）を決定するように構成される。例えば、コンピュータ装置３０２は、センサ信号が振幅、位相、周波数、波形、持続時間、及び／又は特定の入力を表す他の特徴若しくは特徴の組み合わせを含むことを決定してもよい。コンピュータ装置３０２は、特徴に基づいて入力を決定してもよい。例えば、コンピュータ装置３０２は、センサ信号の特徴を特定の入力にマッピングするメモリに記憶されているルックアップテーブルを参照することによって入力を決定してもよい。

【0041】

一部の実施形態では、コンピュータ装置３０２は、ニューラルセンサ３０４からのセンサ信号を介してユーザから入力を受信し、及び／又はユーザに関する情報を決定してもよい。例えば、コンピュータ装置３０２は、ユーザが特定の気分（例えば、幸福、恐怖、興奮、悲観等）を有していること、ユーザが特定の考え方（例えば、創作的、論理的、感情的等）をしていること、ユーザの脳の（複数の）特定の領域が刺激されること（例えば、前頭葉、頭頂葉、側頭葉、後頭葉）、ユーザが聴覚的に、触覚的に、及び／又は視覚的に刺激されていること、及び／又はセンサ信号に基づいてユーザに関する他の情報を決定してもよい。情報は、入力であってもよく、さもなければ入力を含んでもよい。

【0042】

一部の実施形態では、コンピュータ装置３０２は、入力に基づいて１つ以上の機能（例えば、デジタル操作）を実行する。機能は、例えば、仮想環境における仮想オブジェクトの操作及び／又は相互作用（例えば、仮想環境でビデオゲームキャラクタを移動させること）、（例えば、インターネットを介して）オブジェクトを購入すること、ウェブページを開くこと、文書の印刷を開始すること、アラート若しくはメッセージを送ること、（例えば、１つ以上のサーバに問い合わせることによって）オブジェクトに関する情報を決定すること、電話を掛けること、写真を撮ること、データを保存すること、プログラムオプション若しくは設定を選択すること、音声を記録すること、音声を出力すること、メディアコンテンツを再生すること、データを送信すること、及び／又はデータを受信することを含んでもよい。

【0043】

例えば、一部の実施形態では、コンピュータ装置３０２は、拡張現実アプリケーション、仮想現実アプリケーション、ビデオゲームを実行するように構成され、及び／又はユーザが仮想環境内で１つ以上の仮想オブジェクトと相互作用することができる仮想ユーザインターフェース（例えば、３次元ユーザインターフェース）を生成してもよい。一部の実施形態では、ユーザは、特定の軌道に沿った仮想オブジェクトの移動、仮想オブジェクトとの相互作用、及び／又は仮想オブジェクトの特定の操作を想像することができる。それに応じて、ユーザの脳は電気信号を生成してもよく、これはコンピュータ装置３０２により受信され且つ解釈され得る。一部の実施形態では、コンピュータ装置３０２は、特定の軌道に沿って仮想オブジェクトを移動させ、仮想オブジェクトとの相互作用に対する応答を生成し、及び／又はユーザの脳からの電気信号に基づいて特定の態様で仮想オブジェクトを操作してもよい。

【0044】

一部の実施形態では、コンピュータ装置３０２は、ニューラルセンサ３０４からのセンサ信号（例えば、ニューラルセンサ３０４に関係付けられる１つ以上の入力）に少なくとも部分的に基づいて１つ以上の触覚効果を出力する。例えば、コンピュータ装置３０２は、ユーザの脳からの電気信号の振幅又は周波数に比例する触覚効果（例えば、振動）を出力してもよい。別の例示として、コンピュータ装置３０２は、センサ信号に基づいて、ユーザが特定の色又はオブジェクトを観ていること、特定の音声を聴いていること、特定の味を味わっていること、及び／又は特定の匂いを嗅いでいることを決定して、関連触覚効果を出力してもよい。例えば、コンピュータ装置３０２は、ユーザが血又は赤色を含むオブジェクトを観ていることを決定して、（例えば、危険性を伝えるために）激しい振動を出力してもよい。

【0045】

一部の実施形態では、コンピュータ装置３０２は、ユーザにより知覚される１つ以上の感覚を向上させる又は低下させるように構成される触覚効果を出力してもよい。例えば、ユーザは、特定の特徴（例えば、凹凸）を含む表面（例えば、テーブル、椅子、机、道路、床、壁等）と相互作用してもよい。ニューラルセンサ３０４は、相互作用に関係付けられる電気信号を検出して、関連するセンサ信号をコンピュータ装置３０２に送信してもよい。コンピュータ装置３０２は、ユーザがセンサ信号に基づいて凹凸の有る表面にタッチしていることを決定してもよい。コンピュータ装置３０２は、特定の特徴を向上させるように構成される触覚効果を出力してもよい。例えば、コンピュータ装置３０２は、ユーザの手又は指に関係付けられる触覚出力装置３０８を介して、より凹凸の有る表面を感じさせるように構成される激しい振動を出力してもよい。

【0046】

一部の実施形態では、コンピュータ装置３０２は、仮想オブジェクト、仮想環境、及び／又は仮想環境内で発生するイベントの特徴に少なくとも部分的に基づいて触覚効果を出力する。イベントは、仮想オブジェクトの存在（例えば、拡張現実アプリケーションにおける仮想家具の存在）、仮想オブジェクトの操作（例えば、仮想オブジェクトの移動又は弾み）、仮想オブジェクトのスケール、場所、方向、色若しくは他の特徴の変化、仮想爆発、砲撃及び／若しくは衝突、ゲームキャラクタ同士の衝突、新しいレベルに進むこと、命を失うこと及び／若しくは仮想キャラクタの死、並びに／又は特定の仮想地形を横断すること等を含んでもよい。

【0047】

例えば、コンピュータ装置３０２は、仮想地形、仮想オブジェクトのテクスチャ、仮想オブジェクトの温度、仮想オブジェクトによる衝突又は強打、仮想銃撃等をシミュレートするように構成される１つ以上の触覚効果を出力してもよい。一部の実施形態では、コンピュータ装置３０２は、靴等の中のユーザの足に関係付けられる触覚出力装置３１８、及び／又は手袋３１２等の中のユーザの手に関係付けられる触覚出力装置３０８を介して触覚効果を出力する。例えば、コンピュータ装置３０２は、ユーザが（例えば、ユーザの脳で）仮想忍者を制御することができる仮想格闘ゲームを実行してもよい。コンピュータ装置３０２は、仮想忍者が鋭利な仮想オブジェクト（例えば、仮想刀又は手裏剣）に接触することに応じて突き刺すような感覚を出力してもよい。コンピュータ装置３０２は、追加的に又は代替的に、仮想忍者が（例えば、オブジェクト、拳又は足による）強打を受けることに応じて衝撃をシミュレートするように構成される触覚効果、及び／又は仮想忍者が温度を含む仮想オブジェクト（例えば、溶岩）に接近することに応じて温度（例えば、熱）をシミュレートするように構成される触覚効果を出力する。

【0048】

別の例示として、コンピュータ装置３０２は、ユーザが自身の脳を介して仮想自動車を制御することができる仮想レーシングゲームを実行してもよい。コンピュータ装置３０２は、仮想自動車が砂、舗装道路、凹凸若しくは窪みの上を走ること及び／又はユーザが試合に勝利若しくは敗北することに応じて１つ以上の触覚効果を出力してもよい。例えば、コンピュータ装置３０２は、仮想自動車が砂の上を走ることに応じて、（例えば、触覚出力装置３１８を介して）ユーザの足に砂の感覚をシミュレートするように構成される触覚効果を出力してもよい。コンピュータ装置３０２は、仮想自動車が凹凸又は窪みの上を走ることに応じて（例えば、触覚出力装置３１８及び／又は触覚出力装置３０６を介して）ユーザの足又は胸に激しい振動を出力してもよい。コンピュータ装置３０２は、（例えば、ユーザの体に結合される及び／又は装着可能品に関係付けられる）任意の数及び組み合わせの触覚出力装置３０６，３０８，３１０，３１８を介して任意の数の触覚効果を出力し得る。

【0049】

一部の実施形態では、コンピュータ装置３０２は、実空間におけるオブジェクトとのユーザ相互作用（例えば、ユーザが手足又は体の一部でオブジェクトに接触すること）に関係付けられる１つ以上の触覚効果を出力する。オブジェクトは、例えば、ボタン、ノブ、スライダ、及び／又はスイッチ（例えば、光スイッチ）を含んでもよい。一部の実施形態では、触覚効果は、ユーザ相互作用を確認するように構成される。例えば、コンピュータ装置３０２は、ユーザがオブジェクトに接触した又は他のやり方で操作した（例えば、光スイッチを入れた）ことを確認するように構成される振動を（触覚出力装置３０８を介して）出力してもよい。これは、例えば、１つ以上の病状のためにユーザの手足（例えば、指）の感受性が低下しているユーザが、このようなユーザ相互作用が起こったことを決定することを支援してもよい。

【0050】

一部の実施形態では、コンピュータ装置３０２は、実空間における体の一部（例えば、手足）の操作（例えば、移動）に関係付けられる触覚効果を出力してもよい。例えば、ユーザは、（例えば、ユーザの手を新しい場所に移動する又は表面に接触するために）手足を操作しようと試みてもよい。一部の実施形態では、ユーザは、（例えば、ユーザが盲目である場合）体の一部が実際に移動したかどうかが分からない又は検出できない可能性が有る。コンピュータ装置３０２は、体の一部が動いたことを確認するように構成される第１の触覚効果（例えば、振動）及び／又は体の一部が動かなかったことをユーザに通知するように構成される第２の触覚効果を出力してもよい。

【0051】

別の例示として、ユーザは、体の一部を使用して、１つ以上のオブジェクト（例えば、テーブル又は椅子）と相互作用してもよい。ユーザは、ある理由で触感を知覚できない場合が有る。例えば、ユーザは神経を損傷している場合が有り、又は手足の全て若しくは一部を失っている場合が有る。これは、ユーザが相互作用及び／又はオブジェクトに関係付けられる触感を直接知覚することを妨げる場合が有る。例えば、ユーザは、オブジェクトに関係付けられるテクスチャ又は他の特徴を物理的に感知することができない場合が有る。コンピュータ装置３０２は、ユーザに特徴を知覚させるように構成されるように、ニューラルセンサ３０４にユーザの神経系を刺激させてもよい。例えば、コンピュータ装置３０２は、ユーザが木のテクスチャを含む表面に接触していることをユーザに知覚させるように構成されるように、ニューラルセンサ３０４にユーザの脳を刺激させてもよい。

【0052】

一部の実施形態では、ユーザは、１つ以上のオブジェクト（例えば、長椅子又は壁）と相互作用するために、義肢３１６等の中間装置を使用してもよい。ユーザは、例えば、手足を失っている場合、中間装置を使用する可能性が有る。中間装置（及び／又は手足の喪失）は、ユーザが相互作用及び／又はオブジェクトに関係付けられる触感を直接知覚することを妨げる場合が有る。例えば、ユーザは、オブジェクトに関係付けられるテクスチャ又は他の特徴を物理的に感知することができない場合が有る。一部の実施形態では、中間装置は、オブジェクトの特徴を検出して、関連するセンサ信号をコンピュータ装置３０２に送信するように構成されるセンサ３２０（例えば、義肢３１６に結合されるカメラ）を備える。例えば、センサ３２０は、オブジェクトのテクスチャを検出して、関連するセンサ信号をコンピュータ装置３０２に送信してもよい。コンピュータ装置３０２は、センサ信号を受信して、ユーザに特徴を知覚させるように構成されるように、ニューラルセンサ３０４にユーザの神経系を刺激させてもよい。例えば、コンピュータ装置３０２は、ユーザが煉瓦のテクスチャを含む表面に接触していることをユーザに知覚させるように構成されるように、ニューラルセンサ３０４にユーザの脳を刺激させてもよい。

【0053】

一部の実施形態では、コンピュータ装置３０２は、義肢３１６の操作の試み及び／又は操作（例えば、移動）に関係付けられる触覚効果を出力してもよい。例えば、ユーザは、（例えば、道に沿って歩くために）義肢３１６を操作しようとしてもよい。しかし、ユーザは、（例えば、ユーザが盲目である場合）義肢３１６が実際に移動したかどうかが分からない又は検出できない可能性が有る。コンピュータ装置３０２は、義肢３１６が動いたことを確認するように構成される第１の触覚効果（例えば、触覚出力装置３１０を介する振動）及び／又は義肢３１６が動かなかったことをユーザに通知するように構成される第２の触覚効果を出力してもよい。

【0054】

図４は、触覚対応ニューラルインターフェースのためのシステムの別の実施形態を示す。システムは、第１のユーザ４０２を含む。この実施形態では、ニューラルセンサ４０４が、第１のユーザの頭に結合され、第１のコンピュータ装置４０６と電気通信している。また、システムは第２のユーザ４０８も含む。この実施形態では、ニューラルセンサ４１０が、第２のユーザの頭に結合され、第２のコンピュータ装置４１２と電気通信している。ユーザは、同じ物理的場所又は異なる物理的場所（例えば、異なる部屋、家、都市、及び／又は国）に居てもよい。

【0055】

一部の実施形態では、コンピュータ装置４０６、４１２は、有線又は無線インターフェースを介して互いと通信する。コンピュータ装置４０６、４１２は、（例えば、ブルートゥース（登録商標）を介して）互いと直接通信し又は互いと間接通信し得る。一部の実施形態では、コンピュータ装置４０６、４１２は、ネットワーク４１４を介して互いと通信する。ネットワーク４１４は、限定されないが、ダイヤルアップネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）、セルラネットワーク、ＷｉＦｉネットワーク、インターネット、イントラネット又は有線及び／若しくは無線通信リンクを含む任意の適切な数又は種類のリンクであってもよい。ネットワーク４１４は、１つ以上のサブネットワークを含んでもよい。

【0056】

追加的に又は代替的に、コンピュータ装置４０６、４１２は、ネットワーク４１４を介して１つ以上のリモートサーバ（例えば、クラウドサーバ、ウェブサーバ、又は他のサーバ）、データベース、及び／又はコンピュータ装置と通信してもよい。例えば、コンピュータ装置４１６は、ビデオゲームを実行してもよい。ユーザ４０２、４０８は、ゲームをプレーするために（例えば、脳信号を介して）各コンピュータ装置４０６、４１２を操作してもよい。コンピュータ装置４０６、４１２は、ゲームプレーを達成するためにコンピュータ装置４１６へデータを送信し且つコンピュータ装置４１６からデータを受信してもよい。

【0057】

一部の実施形態では、１つ以上のコンピュータ装置４０６、４１２、４１６が、仮想環境を生成するように構成されるプログラム（例えば、拡張現実アプリケーション、仮想現実アプリケーション、及び／又はビデオゲーム）を実行してもよい。ユーザ４０２、４０８は、仮想環境を介して互いと相互作用可能であってもよい。例えば、コンピュータ装置４１６は、ユーザ４０２、４０８が１つ以上の仮想兵士を制御できる仮想軍事ゲームを実行してもよい。このような実施形態では、各ニューラルセンサ４０４、４１０は、各ユーザの神経系から電気信号を検出して、各ユーザのコンピュータ装置４０６、４１２に関連するセンサ信号を送信してもよい。コンピュータ装置４０６、４１２は、センサ信号に基づいて仮想環境内で同じ仮想オブジェクト又は異なる仮想オブジェクトを操作してもよい。例えば、コンピュータ装置４０６、４１２は、センサ信号に基づいて軍事ゲーム内の異なる仮想兵士を操作してもよい。これは、ユーザが脳を使用して仮想オブジェクトを操作することを可能にしてもよい。

【0058】

コンピュータ装置４０６、４１２は、例えば、図３に描かれているように、１つ以上の触覚出力装置と電気通信している。先に検討されたように、一部の実施形態では、ニューラルセンサ４０４、４１０は、触覚出力装置であるか又は触覚出力装置を含み得る。コンピュータ装置４０６、４１２は、各ユーザ４０２、４０８に同じ触覚効果又は異なる触覚効果（例えば、振動、テクスチャ、突き刺すような感覚、及び／又はストロークの感覚）を出力してもよい。例えば、上記の軍事ゲームの実施形態では、両方のユーザの仮想兵士から実質的に等距離の場所で爆発が起こることに応じて、コンピュータ装置４０６、４１２はユーザ４０２、４０８に同じ触覚効果（例えば、振動）を出力してもよい。コンピュータ装置４０６は、追加的に又は代替的に、第１のユーザの仮想キャラクタがタスクを行うこと（例えば、仮想武器を発砲すること）に応じてユーザに触覚効果（例えば、振動）を出力してもよく、一方でコンピュータ装置４１２は、（例えば、第２のユーザの仮想キャラクタが仮想武器を持っておらず及び／又は仮想武器から特定の距離に居るので）触覚効果を出力しなくてもよい。

【0059】

一部の実施形態では、コンピュータ装置４０６は、第１のユーザ４０２ユーザにより知覚される音声、視覚、味、触感、匂い、及び／又は他の感覚に関係付けられる第１のユーザ４０２の神経系から１つ以上の電気信号を（例えば、ニューラルセンサ４０４を介して）検出するように構成される。コンピュータ装置４０６は、感覚に関係付けられるデータを別のコンピュータ装置４１２に送信するように構成されてもよい。他方のコンピュータ装置４１２は、データを受信して、データに基づいて第２のユーザ４０８により知覚可能な１つ以上の感覚を生成してもよい。例えば、コンピュータ装置４１２は、第２のユーザ４０８に感覚を知覚させるように構成されるように、ニューラルセンサ４１０に第２のユーザの脳を刺激させてもよい。従って、２人以上のユーザ４０２、４０８が感覚を互いの間で共有することが可能であってもよい。

【0060】

例えば、ユーザ４０２は、実空間におけるオブジェクト（例えば、猫等の動物）又は仮想環境におけるオブジェクトと相互作用してもよく、それに応じて、ユーザの脳は、オブジェクト（例えば、毛皮のテクスチャ、猫が喉を鳴らす音、及び／又は視覚的に猫がどのように見えるか）に関係付けられる電気信号を生成してもよい。コンピュータ装置４０６は、関連データを遠隔コンピュータ装置４１２に送信してもよい。コンピュータ装置４１２は、データに基づいて第２のユーザ４０８に１つ以上の感覚を出力してもよい。例えば、コンピュータ装置４１２は、オブジェクトのテクスチャ（例えば、猫の毛皮のテクスチャ）をシミュレートするように構成される触覚効果を出力してもよい。追加的に又は代替的に、コンピュータ装置４１２は、オブジェクトにより作られる音（例えば、猫が喉を鳴らす音）をシミュレートするように構成される音声を出力してもよい。追加的に又は代替的に、コンピュータ装置４１２は、例えば、オブジェクトがどのように見えるかをシミュレートするように構成される映像を出力してもよい。これは、遠隔ユーザ４０８が、第１のユーザ４０２により知覚される１つ以上の感覚及び／又はオブジェクトの１つ以上の特徴を知覚することを可能にしてもよい。

【0061】

別の例示として、コンピュータ装置４１２は、拡張現実環境又は仮想現実環境等の仮想環境を（例えば、拡張現実眼鏡又はゴーグル等のディスプレイ４０９を介して）出力してもよい。一部の実施形態では、ユーザ４０８は、仮想環境における仮想オブジェクトにタッチする又は他のやり方でそれを操作することができる。例えば、ユーザ４０８は、手を伸ばして、仮想環境における仮想オブジェクトに対応する実空間における場所にタッチしてもよい。一部の実施形態では、コンピュータ装置４１２は、（例えば、カメラ、深度センサ、距離センサ等の１つ以上のセンサを介して）仮想オブジェクトの操作を検出するように構成される。コンピュータ装置４１２は、仮想オブジェクト及び／又は仮想オブジェクトの操作に関係付けられるデータを遠隔コンピュータ装置４０６に送信してもよい。一部の実施形態では、コンピュータ装置４０６は、データを受信して、データに基づいて第１のユーザ４０２に１つ以上の感覚を出力してもよい。例えば、コンピュータ装置４０６は、仮想オブジェクトのテクスチャ（例えば、仮想ペットのテクスチャ）をシミュレートするように構成される触覚効果を出力してもよい。

【0062】

更に別の例示として、ユーザ４０２、４０８は戦争地帯における兵士であってもよい。各ユーザ４０２、４０８は、戦場の異なる部分を探索して、コンピュータ装置４０６、４１２を介して、知覚する感覚を共有することが可能であってもよい。例えば、ユーザ４０２が敵の拠点に侵入すると、コンピュータ装置４０６は関連データをコンピュータ装置４１２に送信してもよく、これはユーザ４０２により知覚される音、味、匂い、視覚及び／又は感覚をシミュレートするように構成される１つ以上の効果を出力してもよい。例えば、コンピュータ装置４１２は、第１のユーザ４０２により知覚される砲撃に基づいて音を出力してもよい。追加的に又は代替的に、コンピュータ装置４１２は、例えば、（第１のユーザ４０２により知覚される）砲撃が発射された方向を示すように構成される触覚効果（例えば、振動）を出力してもよい。これは、例えば、第２のユーザ４０８が支援を提供できるように、第１のユーザ４０２が窮地にあることを第２のユーザ４０８に迅速に（例えば、実質的に即時に）伝達してもよい。

【0063】

更に別の例示として、上記の戦争地帯の実施形態では、第１のユーザ４０２は、敵兵士が（例えば、背後から）第２のユーザ４０８に接近していることが見えてもよい。コンピュータ装置４０６は、この映像を示す電気信号を（例えば、ニューラルセンサ４０４を介して）第１のユーザの脳から検出して、関連データをコンピュータ装置４１２に送信してもよい。コンピュータ装置４１２は、ディスプレイ４０９上の（敵兵士）の視覚、音、及び／又は、例えば、第２のユーザ４０８に危険を知らせるように構成される触覚効果を出力してもよい。これは、例えば、コンピュータ装置４０６の物理的ユーザインターフェースコンポーネント（例えば、ボタン、スイッチ、ノブ）と相互作用しなくても、第１のユーザ４０２が有益な及び潜在的に命を救う情報を第２のユーザ４０８に迅速に伝達することを可能にする。

【0064】

（触覚対応ニューラルインターフェースのための例示の方法）
図５は、一実施形態による触覚対応ニューラルインターフェースを提供する方法を実行するためのステップのフローチャートである。一部の実施形態では、図５のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図５に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図５に示されない追加のステップが実行されてもよい。以下のステップは図２に示されたコンピュータ装置２０１に関して記載されたコンポーネントを参照して記載される。

【0065】

方法５００はステップ５０２で開始して、プロセッサ２０２がニューラルセンサ２３２からセンサ信号を受信する。ニューラルセンサ２３２は、ユーザの神経系により出力される及び／又はそれに伝播する１つ以上の電気信号（例えば、電磁波）を検出して、関連センサ信号をプロセッサ２０２に送信するように構成される。センサ信号は、ユーザにより知覚される感覚（例えば、音、視覚、味、触感、匂い等）に関係付けられるデータを含んでもよい。例えば、一実施形態では、データは、ユーザにより知覚されるオブジェクト（例えば、木片）のテクスチャに関係付けられるデータを含んでもよい。

【0066】

センサ信号は、アナログ信号又はデジタル信号であってもよい。一部の実施形態では、センサ信号は、ユーザの脳により出力される電気信号に関係付けられるデータと共に符号化されてもよい。例えば、ニューラルセンサ２３２は、センサ信号内のデータを符号化するために、パルス幅変調、周波数変調、振幅変調、及び／又は任意の他の技術を使用してもよい。

【0067】

方法５００はステップ５０４に進み、プロセッサ２０２はセンサ信号に基づいて入力を決定する。本明細書で用いられる入力は、ユーザによりプロセッサ２０２に提供される任意の情報を含む。例えば、入力は、仮想環境における仮想オブジェクトとのユーザ相互作用を含んでもよい。

【0068】

一部の実施形態では、プロセッサ２０２は、センサ信号が特定の入力を表す１つ以上の特徴（例えば、振幅、位相、周波数、波形、持続時間、及び／又は他の特徴）を含むことを決定する。一部の実施形態では、プロセッサ２０２は、センサ信号に基づいて入力を決定するために、神経信号解釈モジュール２２４に含まれるプログラミングを利用してもよい。例えば、神経信号解釈モジュール２２４は、ルックアップテーブルを含んでもよい。プロセッサ２０２は、センサ信号の１つ以上の特徴に基づいて入力を決定するためにルックアップテーブルを参照してもよい。例えば、プロセッサ２０２は、ルックアップテーブルを参照して、センサ信号の振幅及び／又は周波数（及び／又はセンサ信号内で符号化されたデジタルデータ）に基づいてユーザが特定の触感を知覚することを入力が含むことを決定してもよい。他の実施形態では、プロセッサ２０２は、センサ信号の１つ以上の特徴に基づいて入力を決定するためにアルゴリズムを適用してもよい。例えば、神経信号解釈モジュール２２４は、センサ信号に基づいて入力を決定するためにプロセッサ２０２により使用可能な１つ以上のアルゴリズムを含んでもよい。

【0069】

プロセッサ２０２は、センサ信号に基づいて入力を決定するために、任意の数及び組み合わせの技術を使用してもよい。例えば、プロセッサ２０２は、センサ信号に基づいて入力を決定するために、ルックアップテーブル及びアルゴリズムの組み合わせを使用してもよい。一部の実施形態では、ユーザは「入力プロファイル」を有してもよく、この場合、ユーザは特定のセンサ信号に関係付けられることを希望する入力の「プロファイル」を決定してメモリ２０４に保存することができる。例えば、一部の実施形態では、ユーザは、利用可能な入力のリストから選択して、こうした入力の１つを、高振幅高周波数センサ信号等の特定のセンサ信号と関係付けることができる。このような実施形態では、プロセッサ２０２は、センサ信号に基づいて入力を決定するためにユーザの入力プロファイルを参照してもよい。

【0070】

方法５００はステップ５０６に進み、プロセッサ２０２は触覚効果を決定する。プロセッサ２０２は、入力及び／又はセンサ信号の特徴（例えば、タイプ）に少なくとも部分的に基づいて触覚効果を決定する。例えば、一実施形態では、プロセッサ２０２は、ユーザが凹凸の有るオブジェクトを知覚することに入力が関係付けられる場合に、振動を含む触覚効果を決定してもよい。

【0071】

一部の実施形態では、プロセッサ２０２は、イベントに少なくとも部分的に基づいて触覚効果を決定する。イベントは、実空間で、コンピュータ装置で、及び／又は仮想環境内で起こってもよい。例えば、イベントは、プログラムアクティビティ（例えば、ゲームアクティビティ）、コンピュータ装置２０１との相互作用（例えば、移動装置を傾ける又は動かすこと、タッチスクリーンディスプレイと相互作用すること）、仮想環境における仮想オブジェクトとの相互作用、コンピュータ装置２０１における状態の変化、データの受信、及び／又はユーザの体の一部（例えば、腕、脚、又は義肢）の移動を含んでもよい。

【0072】

例えば、プロセッサ２０２は、センサ信号に基づいて仮想環境内のユーザの仮想キャラクタを操作し及び／又はそれと相互作用してもよい（例えば、移動させてもよい）。プロセッサ２０２は、操作及び／又は相互作用に少なくとも部分的に基づいて触覚効果を更に決定してもよい。例えば、操作及び／又は相互作用が別の仮想オブジェクト（例えば、木、車両、及び／又は別の仮想キャラクタ）との衝突を生じる場合、プロセッサ２０２は激しい振動を含む触覚効果を決定してもよい。

【0073】

一部の実施形態では、コンピュータ装置２０１は関連する「触覚プロファイル」を記憶してもよく、ここでユーザは特定の入力と関係付けたい触覚効果の「プロファイル」を決定してメモリ２０４に保存することができる。例えば、一実施形態では、ユーザが特定の映像を見ること、特定の音声を聞くこと、特定の仮想オブジェクトを操作すること等に関係付けられる入力等、ユーザがどの触覚効果を特定の入力と関係付けたいかをオプションのリストから選択することができる。一部の実施形態では、リストは、例えば、パルス振動、低振幅振動、又はシミュレートされるテクスチャ等の触覚効果を含んでもよい。一部の実施形態では、プロセッサ２０２は、どの触覚効果を生成すべきかを決定するためにユーザの触覚プロファイルを調べてもよい。例えば、ユーザの触覚プロファイルがパルス振動を含む触覚効果と（例えば、仮想軍事ゲームにおける）仮想敵兵士を含む映像を関係付ける場合、ユーザが仮想敵兵士を観るのに応じて、プロセッサ２０２は、パルス振動を含む触覚効果を決定してもよい。

【0074】

一部の実施形態では、プロセッサ２０２は、複数の触覚効果を決定する。複数の触覚効果の各々は、入力及び／又は関連するセンサ信号の異なる特徴に関係付けられてもよい。例えば、プロセッサ２０２は、入力が決定されたセンサ信号の振幅に基づいて第１の触覚効果（例えば、振動）を決定してもよい。センサ信号の振幅は、ユーザが特定の刺激をどのくらい強く知覚したか（例えば、ボクシングの試合で相手による頭部への強打をユーザがどのくらい強く知覚したか）を示してもよい。また、プロセッサ２０２は、センサ信号において符号化されたデジタルデータに関係付けられる第２の触覚効果を決定してもよい。デジタルデータは、刺激のタイプ（例えば、頭部への強打）を表してもよい。一部の実施形態では、プロセッサ２０２は、複数の触覚効果を別のユーザに出力するように構成される遠隔装置に触覚効果に関係付けられる信号を送信してもよい。複数の触覚効果に基づいて、他のユーザは、刺激の１つ以上の特徴（例えば、刺激が頭部への強打であり、ユーザがそれを強く知覚したこと）を決定することが可能であってもよい。

【0075】

一部の実施形態では、プロセッサ２０２は、特定の触覚効果が別の触覚効果よりも高い優先度を有しており、それにより高い優先度の効果のみを出力することを決定する。例えば、プロセッサ２０２は、第１のタイプの刺激に関係付けられる触覚効果が第２のタイプの刺激に関係付けられる別の触覚効果よりも高い優先度を有しており、第１のタイプの刺激に関係付けられる触覚効果のみを出力することを決定してもよい。代替的に、プロセッサ２０２は、最も強烈な効果のみが出力されるべきであることを決定してもよい。従って、一部の実施形態では、プロセッサは、低い強度の振動及び高い強度の振動を決定するが、高い強度の振動のみを出力してもよい。

【0076】

方法５００はステップ５０８に進み、プロセッサ２０２は（例えば、センサ信号に少なくとも部分的に基づいて）聴覚、視覚、嗅覚、味覚及び／又は他の効果を決定する。プロセッサ２０２は、（例えば、アルゴリズム及び／又はルックアップテーブル等）触覚効果を決定することに関してステップ５０６に記載された任意の方法を使用して効果を決定してもよい。

【0077】

例えば、センサ信号は、ユーザが特定の映像を観ること及び／又は対応する音声を聞くことを示してもよい。音声が砲撃を含む場合、プロセッサ２０２は、ルックアップテーブルを参照して、砲撃を含む聴覚効果を決定してもよい。プロセッサ２０２は、聴覚効果を遠隔ユーザに出力するように構成される遠隔装置に聴覚効果に関係付けられる信号を送信してもよい。従って、遠隔ユーザは、元のユーザが聞いているものを聞くことができる。

【0078】

別の例示として、プロセッサ２０２は、ルックアップテーブルを参照し及び／又はアルゴリズムを適用して、ユーザが恐怖、幸福、ストレス等の特定の気分を有していることを決定してもよい。プロセッサ２０２は、ユーザの気分を変えるように構成される聴覚、視覚、嗅覚及び／又は他の感覚を決定してもよい。例えば、プロセッサ２０２は、ユーザを落ち着かせるように構成される映像（例えば、子犬の映像）、ユーザの幸福レベルを高めるように構成される匂い又は味（例えば、アップルパイの匂い又は味）、及び／又はユーザをリラックスさせるように構成される音（例えば、海の音）を決定してもよい。

【0079】

方法５００はステップ５１０に進み、プロセッサ２０２は触覚、聴覚、視覚、嗅覚、味覚及び／又は他の効果に関係付けられる信号を送信する。一部の実施形態では、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて（例えば、アクチュエータ又はスピーカに対する）駆動信号を生成するのに使用されるデータを出力してもよい。別の例示として、信号は、触覚出力装置、スピーカ２２２、ディスプレイ２１６、嗅覚装置２３４、味覚装置、及び／又は他の感覚生成装置により復号化されるように構成されるデータを含んでもよい。例えば、触覚出力装置２１８、２００自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。

【0080】

プロセッサ２０２は、触覚出力装置２１８、２２０、スピーカ２２２、ディスプレイ２１６、嗅覚装置２３４、味覚装置、及び／又は感覚を生成するように構成される別の装置に信号を送信してもよい。一部の実施形態では、信号は、触覚出力装置に触覚効果を生成させるように構成される触覚信号を含んでもよい。追加的に又は代替的に、信号は、スピーカ２２２に聴覚効果を出力させるように構成される聴覚信号、ディスプレイ２１６に視覚効果を出力させるように構成される映像信号、嗅覚装置２３４に匂いを出力させるように構成される嗅覚信号、及び／又は味覚装置に特定の味を出力させるように構成される味覚信号を含んでもよい。

【0081】

一部の実施形態では、プロセッサ２０２は、ニューラルセンサ２３２に信号を送信する。ニューラルセンサ２３２は、ユーザに効果（例えば、味、匂い、視覚、音声、及び／又は見掛けの触覚効果）を知覚させるためにユーザの神経系を刺激することが可能であってもよい。例えば、プロセッサ２０２は、ニューラルセンサ２３２によって特定の組み合わせの電気パルスをユーザの脳に出力させるように構成されるニューラルセンサ２３２に高レベルコマンドを送信することができる。電気パルスは、ユーザに１つ以上の効果を知覚させるように構成され得る。

【0082】

一部の実施形態では、プロセッサ２０２は、遠隔装置に信号を送信する。遠隔装置は、遠隔ユーザにより使用可能なニューラルインターフェースを備えてもよい。遠隔装置は、信号を受信して、触覚、聴覚、視覚、嗅覚、味覚、及び／又は他の効果を出力するように構成されてもよい。例えば、遠隔装置は、信号を受信して、関連する音、匂い、及び味を遠隔ユーザに出力してもよい。このような実施形態では、遠隔ユーザは、元のユーザにより感知される感覚（又は修正バージョンの感覚）を知覚することが可能であってもよい。

【0083】

（触覚対応ニューラルインターフェースの利点）
触覚対応ニューラルインターフェースには多くの利点がある。このようなシステムは、ユーザが（例えば、ユーザの脳からの信号を使用して）仮想環境における仮想オブジェクトと相互作用するときにより没入感の有る体験を提供し、それによってユーザ満足度を全体的に向上させることができる。例えば、一部の実施形態では、拡張現実アプリケーションが、カメラデータをオーバレイする仮想犬を出力してもよい。ユーザが仮想犬を撫でることを思い描くのに応じて、触覚対応ニューラルインターフェースは、仮想犬の毛皮をシミュレートするように構成される触覚効果を出力してもよい。結果として、ユーザは、仮想犬をより現実的に知覚することができる。

【0084】

一部の実施形態では、触覚対応ニューラルインターフェースは、ユーザに確認を提供することができる。例えば、一部の実施形態では、拡張現実アプリケーションが、ボタンを含む仮想オブジェクトを出力してもよい。ユーザが仮想ボタンと相互作用することを思い描くと、コンピュータ装置は、（例えば、ユーザの指に結合される触覚出力装置に）触覚効果を出力してもよく、それによってボタン押し下げを確認する。一部の実施形態では、確認触覚フィードバックは、向上したユーザ体験を提供し得る。

【0085】

一部の実施形態では、触覚対応ニューラルインターフェースは、ユーザが他のやり方では感じることができないオブジェクトの特徴を知覚できるようにし得る。例えば、ユーザは、義肢を使用してテクスチャの有るオブジェクトと相互作用して、オブジェクトのテクスチャをシミュレートするように構成される触覚フィードバックを受け取ることが可能であり得る。別の例示として、ユーザは、義肢の移動を試行し、移動を確認する及び／又は他のやり方で移動の特徴（例えば、義肢がどのくらい動いたか又は義肢が動かなかったこと）をユーザに通知する触覚フィードバックを受け取ってもよい。

【0086】

一部の実施形態では、触覚対応ニューラルインターフェースは、例えば、物理的なユーザインターフェース装置（例えば、ボタン、スイッチ、ノブ、キーボード、及び／又はタッチセンサ面）と物理的に相互作用しなくても、高速で複数のユーザが通信することを可能にし得る。例えば、第１のニューラルインターフェースは、第１のユーザが負傷し（例えば、車の事故で又は戦いで傷を負う）及び／又は意識が無いことを検出して、第２のユーザのニューラルインターフェースに関連データを送信することが可能であり得る。第２のユーザのニューラルインターフェースは、第２のユーザに負傷及び／又は緊急事態を通知するなど、第２のユーザの医学的及び／又は生理的状態を第２のユーザに通知するように構成される１つ以上の効果を出力してもよい。これは、例えば、第２のユーザが第１のユーザに援助を提供することを可能にし得る。

【0087】

一部の実施形態では、あるユーザが、別のユーザにより接触された又は他のやり方で操作されたオブジェクトの特徴を知覚することが可能になり得る。例えば、第１のユーザは、買い物をしており、第２のユーザが気に入るかもしれないと思う衣類（例えば、シャツ、ズボン、靴下、帽子、ジャケット、ドレス、靴等）を見つける場合がある。第１のユーザは、衣服と相互作用して、衣服のテクスチャ及び／又は材料を知覚することができる。第１のユーザのニューラルインターフェースは、相互作用及び／又は衣類に関係付けられるデータを第２のユーザのニューラルインターフェースに送信することができる。第２のユーザのニューラルインターフェースは、第２のユーザに衣類の特徴を見せる、感じさせる、匂わせる、及び／又は他のやり方で感知させるように構成される１つ以上の効果を出力してもよい。これは、第１のユーザが衣類を購入するべきかどうかを第２のユーザが決定することを可能にし得る。従って、ユーザは、例えば、より情報の多い購買決定を行うために、互いの間で感覚を共有することが可能であり得る。

【0088】

（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許請求の範囲を限定しない。

【0089】

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

【0090】

また、構成は、フロー図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合が有るが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

【0091】

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムのコンポーネントであってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

【0092】

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

【0093】

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

【0094】

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

【0095】

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内に有ってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

【0096】

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】