特開 2024-26254 ヒューマンマシン統合システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024026254

(43)【公開日】2024-02-28

(54)【発明の名称】ヒューマンマシン統合システム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240220BHJP

【ＦＩ】

G06F3/01 515

G06F3/01 560

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023204283

(22)【出願日】2023-12-01

(62)【分割の表示】P 2021556349の分割

【原出願日】2020-03-18

(31)【優先権主張番号】62/819,698

(32)【優先日】2019-03-18

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】500429332

【氏名又は名称】ケース ウェスタン リザーブ ユニバーシティ

【氏名又は名称原語表記】ＣＡＳＥ ＷＥＳＴＥＲＮ ＲＥＳＥＲＶＥ ＵＮＩＶＥＲＳＩＴＹ

(74)【代理人】

【識別番号】100128347

【弁理士】

【氏名又は名称】西内 盛二

(72)【発明者】

【氏名】タイラー，ダスティン，ジェイ．

(57)【要約】      （修正有）

【課題】人間とデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を実現することでヒューマンフュージョンを促進するヒューマンマシン統合システム及び方法を提供する。
【解決手段】方法は、ユーザから動きに関連する生理学的データを受信し、動きに関連する生理学的データを、ネットワークを介して送信される伝送可能な信号に翻訳し、コントローラによって伝送可能な信号をネットワークを介してネットワークに接続される少なくとも１つのデバイスに送信する。少なくとも１つのデバイスは、伝送可能な信号の少なくとも一部を、動きに関連する生理学的データに基づいてアクションを実行するために、少なくとも１つのデバイスの１つのコンポーネントによって使用され得る形式に翻訳する。場合によって、当該デバイスは、ユーザに伝送するために、コントローラにフィードバックを提供する。
【選択図】図８

【特許請求の範囲】

【請求項1】

方法であって、
プロセッサを含むコントローラによってユーザから動きに関連する生理学的データを受信することと、
動きに関連する生理学的データから伝送可能な信号に翻訳する汎用翻訳層を含む前記コントローラによって、前記動きに関連する生理学的データを、ネットワークを介して送信される前記伝送可能な信号に翻訳することと、
前記コントローラによって伝送可能な信号を前記ネットワークを介して前記ネットワークに接続される少なくとも１つのデバイスに送信することとを含み、
前記少なくとも１つのデバイスは、動きに関連する生理学的データに基づいてアクションを実行するために、伝送可能な信号の少なくとも一部を、前記少なくとも１つのデバイスのコンポーネントによって使用され得る形式に翻訳する別の汎用翻訳層を含み、
前記少なくとも１つのデバイスが前記コントローラの汎用翻訳層へのフィードバック信号を送信し、且つ前記フィードバック信号が前記コントローラによってユーザが伝送可能なフォーマットに翻訳されることにより、前記コントローラは、前記少なくとも１つのデバイスによって実行されたアクションに関連する触覚を前記ユーザに経験させるための、前記ユーザの神経系の神経入力としての電気刺激信号を生成することを特徴とする方法。

【請求項2】

請求項１に記載の方法であって、
前記少なくとも１つのデバイスは、前記ネットワークを介して前記コントローラに前記フィードバック信号を送信することは、
前記コントローラによって前記フィードバック信号の少なくとも一部を、ユーザが伝送可能なフィードバック信号に翻訳することと、
前記コントローラによってユーザが伝送可能なフィードバック信号を前記ユーザに送信することとを更に含むことを特徴とする方法。

【請求項3】

請求項２に記載の方法であって、
ユーザが伝送可能なフィードバック信号は、神経入力として伝送されるように、前記ユーザに送信され、
前記ユーザが伝送可能なフィードバック信号は、前記ユーザに感覚入力を提供することで神経的感覚を与えることを特徴とする方法。

【請求項4】

請求項１に記載の方法であって、
前記少なくとも１つのデバイスは、伝送可能な信号から前記少なくとも１つのデバイスのコンポーネントによって使用され得る形式への翻訳を促進するための汎用翻訳層を含むことを特徴とする方法。

【請求項5】

請求項４に記載の方法であって、
前記汎用翻訳層は、共通データライブラリと、前記共通データライブラリに記憶された前記少なくとも１つのデバイスの受け入れ可能なデータに関する情報に基づいてデータをエンコード及びデコードするマッピング層とを含むことを特徴とする方法。

【請求項6】

請求項１に記載の方法であって、
前記少なくとも１つのデバイスのコンポーネントは、軍事アクション、ヘルスケアアクション、ゲームアクション、エンターテインメントアクション及び／又はソーシャルアクションを実行することを特徴とする方法。

【請求項7】

請求項１に記載の方法であって、
受信することは、さらに、神経及び／又は筋肉に関連する少なくとも１つの表面電極或いは植入式電極から、前記ユーザの神経及び／又は筋肉によって生じた動きに関連する生理学的データを受信することを含むことを特徴とする方法。

【請求項8】

システムであって、
ユーザの神経及び／又は筋肉の動きに関連する生理学的データを記録するように構成される少なくとも１つの電極と、
前記少なくとも１つの電極に接続され、且つネットワークに接続されるコントローラとを含み、
前記コントローラは、汎用翻訳層と、プロセッサとを含み、
前記プロセッサは、
動きに関連する生理学的データを受信し、
前記汎用翻訳層によって動きに関連する生理学的データを伝送可能な信号に翻訳し、
伝送可能な信号をネットワークを介して前記ネットワークに接続される少なくとも１つのデバイスに送信するように構成され、
前記少なくとも１つのデバイスは、動きに関連する生理学的データに基づいてアクションを実行するために、伝送可能な信号の少なくとも一部を、前記少なくとも１つのデバイスのコンポーネントによって使用され得る形式に翻訳する別の汎用翻訳層を含み、
前記少なくとも１つのデバイスが前記コントローラの汎用翻訳層へのフィードバック信号を送信し、且つ前記フィードバック信号が前記コントローラによってユーザが伝送可能なフォーマットに翻訳されることにより、前記コントローラは、前記少なくとも１つのデバイスによって実行されたアクションに関連する触覚を前記ユーザに経験させるための、前記ユーザの神経系の神経入力としての電気刺激信号を生成することを特徴とするシステム。

【請求項9】

請求項８に記載のシステムであって、
少なくとも２つのデバイスは、伝送可能な信号を受信するために、前記ネットワークに接続され、且つ、前記少なくとも２つのデバイスのそれぞれは、動きに関連する生理学的データに基づいてアクションを実行するために、いずれも伝送可能な信号の少なくとも一部を前記少なくとも２つのデバイスの少なくとも２つのコンポーネントによって使用され得る形式に翻訳することを特徴とするシステム。

【請求項10】

請求項９に記載のシステムであって、
前記少なくとも２つのデバイスは、伝送された信号の少なくとも一部を前記少なくとも２つのデバイスの少なくとも２つのコンポーネントによって使用可能な異なる形式に翻訳することを特徴とするシステム。

【請求項11】

請求項８に記載のシステムであって、
前記少なくとも１つのデバイスは、前記ネットワークを介して前記コントローラに前記フィードバック信号を送信し、
前記プロセッサは、さらに、
前記フィードバック信号の少なくとも一部を、ユーザが伝送可能なフィードバック信号に翻訳し、
前記ユーザが伝送可能なフィードバック信号を前記少なくとも１つの電極に送信するように構成されるを特徴とするシステム。

【請求項12】

請求項１１に記載のシステムであって、
前記ユーザが伝送可能なフィードバック信号は、前記ユーザに感覚フィードバックを提供することを特徴とするシステム。

【請求項13】

請求項８に記載のシステムであって、
前記プロセッサは、動きに関連する生理学的データから伝送可能な信号への翻訳を促進するために、前記汎用翻訳層を実行することを特徴とするシステム。

【請求項14】

請求項１３に記載のシステムであって、
前記少なくとも１つのデバイスは、伝送可能な信号から前記少なくとも１つのデバイスのコンポーネントによって使用され得る形式への翻訳を促進するための汎用翻訳層を含むことを特徴とするシステム。

【請求項15】

請求項１４に記載のシステムであって、
前記汎用翻訳層は、共通データライブラリと、前記共通データライブラリに記憶された前記少なくとも１つのデバイスの受け入れ可能なデータに関する情報に基づいてデータをエンコード及びデコードするマッピング層とを含むことを特徴とするシステム。

【請求項16】

請求項８に記載のシステムであって、
前記少なくとも１つのデバイスのコンポーネントは、軍事アクション、ヘルスケアアクション、ゲームアクション、エンターテインメントアクション及びソーシャルアクションのうちの少なくとも１つを実行することを特徴とするシステム。

【請求項17】

請求項８に記載のシステムであって、
動きに関連する生理学的データは、軍事アクション、ヘルスケアアクション、ゲームアクション、エンターテインメントアクション及びソーシャルアクションのうちの少なくとも一方の少なくとも一部を制御することを意図していることを特徴とするシステム。

【請求項18】

請求項８に記載のシステムであって、
動きに関連する生理学的データは、前記ユーザの神経及び／又は筋肉によって生成され、且つ少なくとも１つの電極は、神経及び／又は筋肉に関連する少なくとも１つの表面電極或いは植入式電極を含むことを特徴とするシステム。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

（関連出願）
本願は、２０１９年３月１８日に出願された発明名称が「ＳＯＷ ＯＮ ＨＵＭＡＮ ＦＵＳＩＯＮＳ ＷＩＴＨ ＵＴＬ／ＣＤＬ ＴＯ ＮＥＵＲＡＬ ＩＮＴＥＲＦＡＣＥＳ」である米国仮出願第６２／８１９,６９８の優先権を主張する。当該仮出願の全ての内容は、あらゆる目的のために参照により本明細書に組み込まれる。

【技術分野】

【0002】

本開示は、一般に神経系上の人間と機械のネットワーク化された（人間の）機能の共生統合（融合）に関し、より具体的には、人間とデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供することでヒューマンフュージョンを促進するために、ヒューマンマシン統合システム及び方法に関する。

【背景技術】

【0003】

最近、補綴デバイスが開発されており、当該補綴デバイスは、ユーザに長期の信頼できる感覚入力を提供するとともに、ユーザの神経及び筋肉から指令情報を直接収集し、ユーザと補綴デバイスとの間に直接接続を提供することができる。実際、直接接続は、補綴デバイスがユーザに接触することなく確立することができる。補綴デバイスがユーザからの入力を受け取ることができる限り、補綴デバイスは世界中のどこにあっても構わない。人間と補綴デバイスの間のこの物理的な分離は、人間の脳、技術、ソーシャルを神経インタフェースを介して接続して、人間の思想が身体の障壁を超越するようにすることを目的とした、神経系上の人間と機械のネットワーク（人間）機能の共生統合（融合）の夢を生み出した。換言すれば、ヒューマンフュージョンは、理論的に、ある場所に物理的にいる人間が別の（現実又は仮想の）場所で仕事したり経験したりすることを可能にする。ただし、ヒューマンフュージョンには、人間とデバイス間の信頼性の高いエンドポイント間の接続及び通信が必要であるが、これはまだ実現されていない。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は、人間とデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供することでヒューマンフュージョンを促進するヒューマンマシン統合のためのシステム及び方法に関する。

【0005】

一態様では、本開示は、人間とデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供することでヒューマンフュージョンを促進するヒューマンマシン統合のための方法を含むことができる。当該方法のステップは、プロセッサを含むコントローラによって実行することができ、且つ当該方法は、少なくとも、ユーザから動きに関連する生理学的データを受信することと、動きに関連する生理学的データを、ネットワークを介して送信される伝送可能な信号に翻訳することと、伝送可能な信号を、ネットワークを介してネットワークに接続される少なくとも１つのデバイスに送信することとを含む。少なくとも１つのデバイスは、動きに関連する生理学的データに基づいてアクションを実行するために、伝送可能な信号の少なくとも一部をデバイスのコンポーネントによって使用され得る形式に翻訳する。

【0006】

別の態様では、本開示は、システムを含むことができる、当該システムは、ユーザの動きに関連する生理学的データを記録し、当該データを、受信したデータに基づきアクションを実行できるデバイスに送信する。当該システムは、少なくとも１つの電極を含むことができ、当該電極は、ユーザからの神経及び／又は筋肉の動きに関連する生理学的データを記録するように構成される。当該システムは、コントローラをさらに含み、当該コントローラは、電極に接続されるとともに、プロセッサを含むネットワークに接続されている。プロセッサは、動きに関連する生理学的データを受信し、動きに関連する生理学的データを伝送可能な信号に翻訳し、伝送可能な信号を、ネットワークを介してネットワークに接続される少なくとも１つのデバイスに送信するように構成される。デバイスは、動きに関連する生理学的データに基づいてアクションを実行するために、伝送可能な信号の少なくとも一部を当該デバイスのコンポーネントによって使用され得る形式に翻訳する。

【0007】

本開示の前述および他の特徴は、添付の図面を参照して以下の説明を読むことにより、本開示が関連する当業者に明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】本開示の一側面に係る１人または複数の人間と１つ又は複数のデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供してヒューマンマシン統合を実現することでヒューマンフュージョンを促進するシステムの一例を示す模式図である。

【図2】複数のユーザが１つのデバイスと接続及び通信可能に配置される図１のネットワークの一例を示す。

【図3】１つのユーザが複数のデバイスと接続及び通信可能に配置される図１のネットワークの一例を示す。

【図4】複数のユーザが複数のデバイスと接続及び通信可能に配置される図１のネットワークの一例を示す。

【図5】１つ又は複数の汎用翻訳層を含んで１つ又は複数のユーザと１つ又は複数のデバイスとの間の通信を促進する図１のネットワークの一例を示す。

【図6】１つ又は複数の汎用翻訳層の機能コンポーネントを含んで１つ又は複数のユーザと１つ又は複数のデバイスとの間の通信を促進する図１のネットワークの一例を示す。

【図7】１つ又は複数の汎用翻訳層及び追加のコンポーネントを含んで１つ又は複数のユーザと１つ又は複数のデバイスとの間の通信を促進する図１のネットワークの一例を示す。

【図8】本開示の別の側面に係る１人または複数の人間と１つ又は複数のデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供してヒューマンマシン統合を実現することでヒューマンフュージョンを促進する例示的な方法を示すフローチャートである。

【図9】本開示の別の側面に係る１人または複数の人間と１つ又は複数のデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供してヒューマンマシン統合を実現することでヒューマンフュージョンを促進する例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0009】

Ｉ．定義
別段の定義がない限り、本明細書で使用されるすべての技術用語は、本開示が関係する当業者によって一般に理解されるのと同じ意味を有する。

【0010】

本明細書で使用される場合、文脈が明らかに他のことを示さない限り、単数形は、複数形を含むことができる。

【0011】

本明細書で使用される場合、用語「含む」及び／又は「含まれる」は、記載された特徴、ステップ、操作、要素及び／又はコンポーネントの存在を特定することができるが、１つ又は複数の他の特徴、ステップ、操作、要素、コンポーネント及び／又はグループの存在又は追加を排除しない。

【0012】

本明細書で使用される場合、用語「及び／又は」は、１つ又は複数の関連する、リストされた項目の任意の及び全ての組み合わせを含むことができる。

【0013】

本明細書で使用される場合、用語「第１」、「第２」などの用語は、これらの用語によって説明される要素を限定するべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。したがって、以下で説明する「第１」要素は、本開示の教示から逸脱することなく、「第２」要素と呼ぶこともできる。操作（またはアクション／ステップ）の順序は、特に明記しない限り、特許請求の範囲または図に示されている順序に限定されない。

【0014】

本明細書で使用される場合、用語「ヒューマンフュージョン」（又は「神経系上の人間と機械のネットワーク化された（人間）の機能の共生統合（融合）」）は、１箇所にいるユーザが別の（現実の又は仮想の）場所で仕事したり経験したりすることを可能にすることに関する。ヒューマンフュージョンは、ヒューマン―デバイスインタフェースを介してユーザの脳を技術及びソーシャルに接続し、当該インタフェースは、ユーザの脳及び神経系全体がユーザ身体の障壁を超越するようにする。ヒューマン―デバイスインタフェースは、エンドポイント間（例えば、少なくとも１つの人対少なくとも１つのデバイス）の接続を用いて、エンドポイント間の通信（例えば、双方向通信）を可能にする。例えば、デバイスユーザからの制御信号を受信し、制御信号に基づきアクションを実行し、当該アクションに基づきユーザにフィードバック信号を送信する。

【0015】

本明細書で使用される場合、用語「ユーザ」、「人」などは、人間を含むが、これに限定されない任意の生物体を指すことができる。ヒューマンフュージョンの背景では、ユーザは、神経系がネットワークを介してデバイスと統合される人間であり得る。

【0016】

本明細書で使用される場合、用語「デバイス」、「機械」などは、特定の目的のために製造又は改造された１つ又は複数の机械又は電子的機器を指すことができる。

【0017】

本明細書で使用される場合、用語「コンポーネント」は、追加のハードウェア及び／又はソフトウェアを指すことができ、当該ハードウェア及び／又はソフトウェアは、ユーザ又はデバイスの一部であってもよく、又はユーザ又はデバイスに接続されて作動してもよい。

【0018】

本明細書で使用される場合、用語「ネットワーク」は、エンドポイント間の接続システムをさすことができ、ユーザ、デバイス、並びにユーザ及び／又はデバイスに関連する追加のハードウェア又はソフトウェアコンポーネントを含む。例えば、ユーザとデバイスは、ネットワーク化して、ユーザとデバイスとの間に情報をやり取りすることができる。

【0019】

本明細書で使用される場合、用語「往復」は、ネットワークを介して通信を行う過程を指すことができる。例えば、通信は、制御信号を含むことができ、当該制御信号は、ユーザからデバイスに送信可能であり、デバイスが、当該制御信号及び／又は当該制御信号に基づき実行されるアクションに応じてユーザにフィードバック信号を送信することを促す。

【0020】

本明細書で使用される場合、用語「共生」は、異なるユーザ及び／又はデバイス間の相互に有益な相互作用又は関係（例えば、関係する全ての当事者の体験又は機能を改善する相互作用）を指すことができる。

【0021】

本明細書で使用される場合、用語「統合」は、以前関連付けられていなかった別個の要素（例えば人間とデバイス）の協調及び／又混合を指すことができる。

【0022】

本明細書で使用される場合、用語「制御信号」は、生物学的機能に関連する生理学的データに基づき、及び／又はそれから生成される情報を指すことができ、当該生理学的データは、測定、記録及び／又は分析されてもよい。例えば、生理学的データは、ユーザの手足、指、目、頭などの動きのうちの１つ又は複数を含む物理的動きに関連付けることができる。生物学的機能は、１つ又は複数の記録電極によって記録される神経信号、筋電図（ＥＭＧ）信号、物理的動き（ボタンを押すなど）の結果などを含むことができる。

【0023】

本明細書で使用される場合、用語「フィードバック信号」は、制御信号に応答してデバイスから生成される情報（例えば、制御信号を受信して、制御信号に応じて実行されるアクション等）を指すことができる。例えば、デバイスから送信されるフィードバック信号は、ユーザの神経入力とすることができ、当該神経入力は、エンコードされた情報を損なうことなく、ユーザの神経系によって受信及び処理することができる。一例として、フィードバック信号は、１つ又は複数の刺激電極を使用してユーザに伝送することができる。

【0024】

本明細書で使用される場合、用語「エンドポイント診断」は、ネットワークを介してデータ伝送を行うことができ、当該データ伝送は、特定のネットワークの任意のエンティティ（例えば、１つ又は複数のユーザ及び／又は１つ又は複数のデバイス）に接続されて受信して使用することができる。エンドポイント診断データ伝送は、１つ又は複数の追加のコンポーネントを用いることができ、当該コンポーネントは、信号を、あるエンティティが使用するものに翻訳することができる。

【0025】

本明細書で使用される場合、用語「翻訳する」、「翻訳している」、「翻訳」などは、１つの信号を別のタイプの信号に変換し、形式を変更するが、信号が伝達する情報を実質的に変更しないプロセスを指すことができる。例えば、ユーザの動きによって生成される生理学的データは、デバイスが受信して理解できる制御信号に翻訳する必要がある。同様に、デバイスからのフィードバック信号は、ユーザが受信して理解できる形式に翻訳する必要がある。少なくとも１つの共通データライブラリを有する汎用翻訳層は、信号が異なる形式に変換されることを促進するするために用いられる。

【0026】

本明細書で使用される場合、用語「共通データライブラリ」は、信号変換を支援する情報又は処理を指すことができる。例えば、共通データライブラリは、一連の広範なアルゴリズムを含み、当該アルゴリズムは、１つの信号を１つ又は複数の可能な異なる形式に翻訳するために用いることができる。

【0027】

本明細書で使用される場合、用語「電極」は、ユーザの身体の一部に接触する１つ又は複数の導電体を指すことができる。いくつかの場合、各個別の導電体は、いずれも「接点」と呼ばれてもよい。
ＩＩ．概要

【0028】

ヒューマンフュージョン（Ｈｕｍａｎ Ｆｕｓｉｏｎｓ）は、ユーザが世界の任意の場所に位置するリモートデバイスを制御しながら、デバイスとの「直接」接続の感覚フィードバックを経験することを可能にする一種のヒューマンマシン統合を指す。したがって、ヒューマンフュージョンは、ユーザとリモートデバイス間のヒューマンマシン介入を可能にすることで、人間の経験と専門知識を広げることができ、当該ヒューマンマシン介入は、さらに、例えば、人間の健康、ヒューマノイドロボット、工業、軍事、ソーシャル、エンターテインメント、ゲームなど、幅広い産業・アプリケーションに応用することができる。しかしながら、人間とデバイスとの間に信頼性が高く汎用的なエンドポイント間の接続及び通信が欠けているため、ヒューマンフュージョンは、まだ実現されていない。本開示は、人間とデバイスとの間にこのような信頼性が高く汎用的なエンドポイント間の接続及び通信を提供することで、ヒューマンフュージョンを可能にする。

【0029】

本開示は、人間とデバイスとの確実なエンドポイント間の接続及び通信を提供することで、ヒューマンフュージョンを促進するヒューマンマシン統合のためのヒューマンマシン統合システム及び方法に関し、当該システム及び方法は、少なくとも１つのユーザと少なくとも１つのリモートデバイスとの間にエンドポイント診断接続を提供する。操作中に、少なくとも１つのリモートデバイスは、１つ又は複数のユーザ（本明細書に記載されたネットワークを介して送信）から制御信号を受信し、当該制御信号に基づいてアクションを実行することができる。同様に、１つ又は複数のユーザは、１つ又は複数のリモートデバイス（本明細書に記載されたネットワークを介して送信）から実行中のアクションに関するフィードバック信号（例えば、感覚フィードバック信号）を受信することができる。したがって、１つ又は複数のユーザは、世界の任意の場所に位置する１つ又は複数のリモートデバイスを制御するとともに、１つ又は複数のデバイスとの「直接」接続の感覚フィードバック（実際に直接の触覚接続を確立することなく）を体験することができる。
ＩＩＩ．システム

【0030】

本開示の一態様は、システム１０（図１）を含むことができ、当該システムは、１人または複数の人間と１つ又は複数のデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供することでヒューマンフュージョンを促進するために、ヒューマンマシン統合を実現するために用いることができる。ヒューマンフュージョン（又は神経系上の人間と機械のネットワーク化された機能の共生統合）の中核となるのは、ある場所にいるユーザが、別の場所にあるデバイスを使用して別の（実際の又は仮想の）場所で仕事したり経験したりし、ヒューマン―デバイスインタフェースを介してデバイスから感覚フィードバックを得ることを可能にすることである。ヒューマン―デバイスインタフェースは、エンドポイント間（例えば、少なくとも１つの人対少なくとも１つのデバイス）の接続を使用して、エンドポイント間の通信（例えば、双方向通信）を可能にする。例えば、デバイスは、ユーザから制御信号を受信し、制御信号に基づきアクションを実行し、当該アクションに基づきユーザにフィードバック信号を送信することができる。

【0031】

したがって、システム１０のヒューマン―デバイスインタフェースは、往復通信を促進できるネットワーク１６を介して、１つ又は複数のユーザ１２を１つ又は複数のデバイス１４に接続する。システム１０のヒューマン―デバイスインタフェースは、様々なハードウェア及びソフトウェアコンポーネントを利用して１つ又は複数のユーザ１２と１つ又は複数のデバイス１４との汎用接続を可能にし、１つ又は複数のユーザ１２と１つ又は複数のデバイス１４は、それぞれエンドポイント診断を行える共通のネットワーク構造を介して出力を送信したり入力を受信したりすることができる。１つ又は複数のユーザ１２と１つ又は複数のデバイス１４は、ネットワーク１６のエンドポイント、ノードなどと呼ばれることができることに留意されたい。システム１０は、ユーザノードとデバイスノードとの間の任意の接続を可能にすることができる。図１は、ネットワーク１６を介したユーザ１２からデバイス１４へのネットワーク配置の例を示すが、図２～４は、異なる潜在的なネットワーク配置の例を示す。図２は、ネットワーク１６を介した多くのユーザ１２―１、１２―２、…、１２―Ｎから１つのデバイス１４へのネットワーク配置の例を示す。図３は、ネットワーク１６を介したユーザ１２から多くのデバイス１４―１、１４―２、…、１４―Ｎへのネットワーク配置の別の例を示す。図４は、ネットワーク１６を介したユーザ１２―１、１２―２、...、１２―Ｎから多くのデバイス１４―１、１４―２、...、１４―Ｎへのネットワーク配置の別の例を示す。以降、用語「ユーザ１２」及び「デバイス１４」を使用するが、「ユーザ１２」は、１つ又は複数のユーザを指し、「デバイス１４」は、１つ又は複数のデバイスを指すと理解することができる。

【0032】

ユーザ１２は、動きに関連する生理学的データを提供することができ、当該生理学的データは、制御信号としてネットワーク１６を介してデバイス１４に送信することができる。一例として、ユーザは、人間であってもよく、生理学的データは、例えば１つ又は複数の電極（例えば、表面電極、植込み型電極など）によって記録されたデータ（例えば、筋肉に関するデータ、神経に関するデータなど）、入力デバイス（例えば、ボタンの押下、キーストローク、音声信号など）によって収集されたデータであってもよい。制御信号は、デバイス１４に関連するコンポーネント（例えば、デバイスに関連するコントローラ／マイクロコントローラ／プロセッサ）に送信するされることが可能であり、且つ、デバイス１４は、制御信号に基づいてアクションを実行することができる。デバイス１４の同じ又は異なるコンポーネント（例えば、１つ又は複数のセンサ）は、制御信号の受信及び／又はアクションの実行に応じてフィードバック信号を送信することができる。当該フィードバック信号は、ネットワーク１６を介してユーザ１２に伝送することができ、ユーザは、当該フィードバック信号を受信することができる。例えば、ユーザは、１つ又は複数の電極を介してフィードバック信号を受信することができ、当該フィードバック信号は、感覚フィードバックを含むことができる。対応的に、ユーザ１２とデバイス１４の通信は、ユーザ１２からのモータ出力を含むことができ、当該出力は、ネットワーク１６を介してデバイス１４に伝送され、デバイス１４がアクションを実行するように指示し、また、デバイス１４は、ユーザ１２にフィードバック信号を送信し、ユーザは、感覚入力を受信することができる。したがって、ユーザ１２は、リモートデバイス１４を制御することができ、また、制御に関連する感覚フィードバックを受信することができ、ユーザの脳及び神経系全体がユーザの身体の障壁を超越して、ユーザ１２とデバイス１４を隔てる距離を横切ることを可能にする。一例として、ユーザ１２は、ＨＡＰＴＩＸ ｉＳｅｎｓシステムを装備することができ、当該システムは、生理学的信号を提供し、フィードバック信号を受信するように、ネットワーク１６に接続することができる。

【0033】

ユーザ１２とデバイス１４は、それぞれネットワーク１６上の「エンドポイント」である。ユーザ１２とデバイス１４は、追加のハードウェア及びソフトウェア要素を含むことができ、当該追加のハードウェア及びソフトウェア要素は、一般に「コントローラ」と呼ばれ、且つプロセッサ及び／又は非一時的メモリを含むことができ、ネットワーク１６との接続及び／又はネットワーク１６を介した通信を促進する。ユーザ１２とデバイス１４との間のネットワーク１６は、リアルタイムの体験型のヒューマンインザループシステムをサポートすることができる（例えば、少なくとも人間の感覚システムは、多感覚統合と、異なる情報源間のタイミング又は往復制御サイクルでのミリ秒レベルの誤差にされ敏感であるため、ネットワークは、タイムクリティカルな方法でデータを伝送する必要がある）。ユーザ１２とデバイス１４との間のネットワーク１６は、高い信頼性、高い帯域幅、低遅延及び保証された往復時間、並びに誤ったパケット及び失われたパケットの適切な管理を有する。

【0034】

入力及び出力が互いに異なる可能性があっても、１人または複数の人間と１つ又は複数のデバイスとの間の接続は、汎用接続であってもよい。なお、ネットワーク１６は、階層的な入力および出力の分布を考慮し、データ伝送における障害に対してロバスト性を有する。一例として、これは、以下のように行うことができ、ユーザ１２とデバイス１４に、必要な具体的な制御情報についてネゴシエートして合意させ、そして、この具体的な翻訳のためのアルゴリズムを訓練させる（異なるユーザ及び／又はデバイスについて、このアクションは、繰り返す必要がある）別の例として、これは、ユーザ１２とデバイス１４との通信とは独立して行うことができ、且つ汎用翻訳層及び共通データ層を有する。この例では、異なる共通データ層が接続されている場合、異なる共通データ層は、ノードによって理解される共通データ層間でマッピングパラダイムをネゴシエートできる。異なる共通データ層のマッピングは、ソフトウェアによって自動的に行われ、セットアップ入力としてユーザ１２から要求され、及び／又は接続中に必要に応じて調整され得る。共通データライブラリと翻訳は、汎用接続が可能となる。複数のユーザ１２（異なるデータ収集／配信メカニズムを有する可能性がある）がネットワーク１６に接続されている場合、各ユーザ１２は、固有の汎用翻訳層を有することができる。同様に、複数のデバイス１４（異なるデータ収集／配信メカニズムを有する可能性がある）がネットワーク１６に接続されている場合、各デバイス１４は、固有の汎用翻訳層を有することができる。一例として、１つのユーザ１２がネットワーク１６に接続されているが、２つの異なるデバイス１４がネットワーク１６に接続されている場合、生理学的データは、２つのデバイス１４によって受け入れ可能な形式に翻訳され得る。

【0035】

図５に示すように、ネットワーク１６は、ユーザ側の汎用翻訳層５２（汎用翻訳層（Ｕ）５２）及びデバイス側の汎用翻訳層５４（汎用翻訳層（Ｄ）５４）を含み、各汎用翻訳層は、最小限の計算オーバーヘッドで発生し、往復信号を大幅に遅延させないようにする。汎用翻訳層５２、５４は、ネットワーク１６及び／又はユーザ１２とデバイス１４に接続することができ、また、アプリケーションエンジン、並びにユーザ１２の入力／出力及び汎用接続データストリームの間、デバイス１４の入力／出力及び汎用接続データストリームの間で変換するハードウェア及びソフトウェア層を含むことができる。汎用翻訳層（Ｕ）５２は、人間の意図および経験をデバイス１４が受け入れ可能なデータストリーム形式に変換することができる（場合によって、その逆も可能であり、デバイスの出力をユーザ１２が受け入れ可能な形式に変換する）と留意されたい。

【0036】

図６には、さらに汎用翻訳層５２、５４が詳細に示されている。図に示すように、各汎用翻訳層５２、５４は、いずれもマッピング層、共通データライブラリ及びネットワーク層を有する。この例では、各汎用翻訳層５２、５４は、いずれもユーザ（例えば、ｉＳｅｎｓ又は他のデータ収集／配信メカニズムに固有であり得る）又はデバイスのタイプに固有である。しかしながら、ネットワーク１６は、単一の汎用翻訳層のみを有してもよく、当該翻訳層は、マッピング層、共通データライブラリ及びネットワーク層のうちの１つ又は複数を含む。１つ又は複数のユーザ１２及び１つ又は複数のデバイス１４は、異なるデータタイプ及び／又はフォーマットを受信することができる。マッピング層及び共通データライブラリは、異なるデータタイプ及び／又はフォーマットをエンコード／デコードできる。

【0037】

図に示すように、汎用翻訳層５２は、ユーザ１２から生理学的データ（物理的データ入力）を受信し、処理された生理学的データがマッピング層に送信される前に生理学的データを処理することができる。マッピング層は、共通データライブラリを参照することで翻訳キーを取得することができ、生理学的データをネットワーク伝送により受信可能な、及び／又は特定の受信デバイス１４が受信可能なフォーマットにエンコードする。例えば、汎用翻訳層５２の共通データライブラリは、ユーザ１２とネットワーク１６との間の翻訳を提供することができる。翻訳された生理学的データ（又は「伝送可能なデータ」）は、ネットワーク層を介してネットワーク１６に送信することができる。場合によって、ネットワーク層は、メタデータを、翻訳された生理学的データに追加することができる。

【0038】

汎用翻訳層５４は、ネットワーク層で翻訳された生理学的データ（および任意の追加されたメタデータ）を受信することができる。場合によって、ネットワーク層は、メタデータを翻訳された生理学的データと分離することができる。翻訳された生理学的データは、マッピング層に送信され、マッピング層は、共通データライブラリを参照して別の翻訳キーを取得することで、翻訳された生理学的データを送信された形式からデコードし、翻訳された生理学的データを特定の受信デバイス１４が受け入れ可能な形式にエンコードすることができる。例えば、汎用翻訳層５４の共通データライブラリは、ネットワーク１６とデバイス１４との間の翻訳を提供することができる。この再翻訳された生理学的データ（デバイス１４によって受け入れられる言語で）は、処理され、デバイス１４（物理的データ出力）に送信することができる。応答として、デバイス１４は、フィードバック信号を汎用翻訳層５４に送信することができ（物理的データ入力）、当該汎用翻訳層は、当該信号を処理することができる。フィードバック信号は、マッピング層に送信することができ、マッピング層は、共通データライブラリを参照することで、さらに別の翻訳キーを取得してフィードバック信号を、ネットワークを介した伝送により受け入れ可能な、及び／又は特定のユーザ１２が受け入れ可能なフォーマットをエンコードすることができる。例えば、汎用翻訳層５４の共通データライブラリは、デバイス１４とネットワーク１６との間の翻訳を提供することができる。翻訳されたフィードバック信号（「伝送可能なデータ」とも呼ばれてもよい）は、ネットワーク層を介してネットワーク１６に送信することができる。場合によって、ネットワーク層は、メタデータを、翻訳された生理学的データに追加することができる。

【0039】

汎用翻訳層５２は、ネットワーク層で翻訳されたフィードバック信号（及び任意の追加されたメタデータ）を受信することができる。場合によって、ネットワーク層は、メタデータを翻訳されたフィードバック信号と分離することができる。翻訳されたフィードバック信号は、マッピング層に送信され、マッピング層は、共通データライブラリを参照することで適切な翻訳キーを取得することができ、翻訳されたフィードバック信号をデコードし、フィードバック信号を特定の受信ユーザ１２が受け入れ可能な形式にエンコードすることができる。例えば、汎用翻訳層５２の共通データライブラリは、ネットワーク１６とユーザ１２との間の翻訳を提供することができる。この再翻訳されたフィードバック信号（ユーザ１２が受け入れ可能な言語で、又は「ユーザが伝送可能なフィードバック信号」）は、処理され、ユーザ１２（物理的データ出力）に送信することができる。例えば、ユーザが伝送可能なフィードバック信号は、指令を提供する生理学的データに基づき、ユーザ１２に感覚フィードバックを提供することができる。

【0040】

図７は、ユーザ１２とデバイス１４との間の通信を促進するために、汎用翻訳層５２（ユーザ側）及び５４（デバイス側）に付随し得る追加のコンポーネントを示す。例えば、汎用翻訳層５２又は５４に加え、ユーザ側及びデバイス側は、いずれも１つ又は複数の物理層（データ収集を可能にする）、アプリケーション層、セキュリティ層及びネットワーク層を有する。理解できるように、ユーザ側及び／又はデバイス側は、異なる層を含むことができ、図７は、単に実施例を示す。
ＩＶ．方法

【0041】

図８及び９に示すように、本開示の別の態様は、１人または複数の人間と１つ又は複数のデバイスとの間に信頼性の高いエンドポイント間の接続及び通信を提供することでヒューマンフュージョンを促進するために、ヒューマンマシン統合を実現するための方法８０、９０を含むことができる。例えば、方法８０、９０は、図１～４に示すシステム１０、２０、３０又は４０を使用し、図５～７の翻訳ハードウェア及びソフトウェアを使用して実行することができる。方法８０、９０は、ユーザがリモートデバイスを制御することを可能とし、また、制御に関連する感覚フィードバックを受信し、ユーザの脳及び神経系全体がユーザの身体の障壁を超越してユーザとデバイスとの間の距離を横切ることを可能とすることができる。ネットワーク１６は、１つ又は複数のユーザと１つ又は複数のデバイスがそれぞれエンドポイント診断を行える共通のネットワーク構造を介して出力を送信したり入力を受信したりすることを可能にするために、１つ又は複数のユーザと１つ又は複数のデバイスとの間に汎用接続を提供する。１つ又は複数のユーザ及び１つ又は複数のデバイスは、ネットワークのエンドポイント、ノード等と呼ばれることができることに留意されたい。以降、用語「ユーザ１２」及び「デバイス１４」を使用するが、「ユーザ１２」は、１つ又は複数のユーザを指し、「デバイス１４」は、１つ又は複数のデバイスを指すと理解することができる。

【0042】

簡単にするために、方法８０、９０は、連続して実行されるものとして示され、説明され、しかしながら、いくつかのステップが異なる順序で、及び／又は本明細書に示され、説明される他のステップと同時に発生する可能性があるため、本開示は、図示の順序によって限定されないことを理解および理解されたい。なお、方法８０、９０を実施するために、全ての説明された態様が必要とされるわけではなく、及び／又は方法８０、９０を実施するために、説明された態様よりも多くが必要とされ得る。なお、方法８０、９０の１つ又は複数の態様は、１つ又は複数の非一時的メモリデバイスに記憶され、１つ又は複数のハードウェアプロセッサによって実行されることができる。

【0043】

図８を参照すると、図には、方法８０の例が示され、当該方法は、ユーザ（例えばユーザ１２）からの生理学的データを制御信号としてネットワーク（例えばネットワーク１６）を介して伝送する。例として、ユーザは、人間であってもよく、生理学的データは、例えば、１つ又は複数の電極（例えば表面電極、植込み型電極等）によって記録されたデータ（例えば、筋肉に関するデータ、神経に関するデータなど）、入力デバイス（例えば、ボタンの押下、キーストローク、音声信号など）によって収集されたデータであってもよい。一例として、ユーザは、ＨＡＰＴＩＸ ｉＳｅｎｓシステムを装備することができ、当該システムは、生理学的信号を提供するために、ネットワークに接続されてもよく、フィードバック信号を受信することもできる。

【0044】

ステップ８２で、ユーザ（例えば、ユーザ１２）から動きに関連する生理学的データを受信することができる（例えば、汎用翻訳層（Ｕ）５２によって受信）。ステップ８４で、動きに関連する生理学的データを制御信号に翻訳することができる（例えば、共通データライブラリを使用する汎用翻訳層（Ｕ）５２によって翻訳）。当該制御信号は、ネットワークを介して伝送されるように構成されることができる。ステップ８６で、制御信号は、ネットワークを介してネットワーク（例えば、ネットワーク１６）に接続される少なくとも１つのデバイス（例えば、デバイス１４）に送信することができる。

【0045】

図９を参照すると、図には、制御信号を受信し、ネットワーク（例えば、ネットワーク１６）を介してフィードバック信号を送信する（例えば、制御信号の受信、及び／又は制御信号に基づいてアクションを実行することに応答してデバイス１４からフィードバック信号を送信する）方法９０の一例が示される。

【0046】

ステップ９２で、制御信号を受信することができる（例えば、汎用翻訳層（Ｄ）によって受信する）。当該制御信号は、ネットワークを介して伝送するように構成されることができる。ステップ９４で、制御信号は、デバイス（例えば、デバイス１４）の少なくとも１つのコンポーネントによって使用され得る形式に翻訳され得る（例えば、汎用翻訳層（Ｄ）によって翻訳される）。少なくともデバイスのコンポーネント（例えば、デバイスに関連するコントローラ／マイクロコントローラ／プロセッサ）によって使用され得る形式になる制御データは、少なくともデバイスのコンポーネントに送信することができる。デバイスは、制御信号に基づいてアクションを実行することができる。

【0047】

ステップ９６で、制御信号に基づき、デバイス（例えば、デバイス１４の同じ又は異なるコンポーネント）からフィードバックを受信することができる（例えば、汎用翻訳層（Ｄ）によって受信する）。ステップ９８で、フィードバックは、ネットワークを介して送信されるように（例えば、ネットワーク１６を介してユーザ１２に関連するコンポーネントに送信される）、フィードバック信号に翻訳されることができる（例えば、汎用翻訳層（Ｄ）によって翻訳される）。ステップ１００で、フィードバック信号は、ネットワーク（例えば、ネットワーク１６）を介してネットワークに接続されたユーザ（例えば、ユーザ１２に関連するコンポーネント）に送信されることができる。変換されたフィードバック信号は、ユーザに感覚フィードバックを提供できる神経入力（例えば、１つ又は複数の電極によって伝送される）であってもよい。

【0048】

図８及び図９に示すように、ユーザとデバイスの間の通信は、ユーザからのモータ出力を含むことができ、当該出力は、ネットワークを介してデバイスに伝送され、デバイスがアクションを実行するように指示、また、デバイスは、ユーザにフィードバック信号を送信し、ユーザは、感覚入力を受信することができる。例えば、当該デバイス又は当該デバイスのコンポーネントは、軍事アクション、ヘルスケアアクション、ゲームアクション、エンターテインメントアクション及び／又はソーシャルアクションを実行することができる。
Ｖ．例

【0049】

ヒューマンフュージョンの潜在的な用途は、ほぼ無限である。以下の非限定的な例は、医療用途、公安／防衛用途、産業用途、およびソーシャル／エンターテインメント／ゲーム用途を含む、本開示のシステムおよび方法によって可能になったヒューマンフュージョンのいくつかの潜在的な用途を示す。例えば、ユーザ１２からの生理学的データは、医療アクション、公安／防衛アクション（例えば、軍隊、警察又は類似する機関に関連する）、工業アクション及び／又はソーシャル／エンターテインメント／ゲームアクションを制御するために、入力することができる。ユーザ１２は、医療アクション、公安／防衛アクション（例えば、軍事、警察なとに関連する）、工業アクション及び／又はソーシャル／エンターテインメント／ゲームアクションに関連するデバイスから感覚フィードバックを受信することができる。当該デバイスは、医療アクション、公安／防衛アクション（例えば、軍事、警察などに関連する）、工業アクション及び／又はソーシャル／エンターテインメント／ゲームアクションの実施を促進することができる。以下の例は、例示のみを目的としており、添付の特許請求の範囲を限定することを意図するものではない。

【0050】

医学用途

【0051】

ヒューマンフュージョン技術の多くは、切断された四肢を有する患者のための機械的デバイスに関する研究から生まれた。そのような機械的デバイスの１つは、補綴デバイスであり、当該補綴デバイスは、失われた手足を機械的に置き換えるだけでなく、患者が手足が失われていないかのように物体をつかみ、操作し、感じることを可能にする。この補綴デバイスを研究している際、患者が物体を感じるために補綴デバイスを患者に接続される必要さえないことが発見された。患者に接続される必要のない補綴デバイスは、より幅広い医療用途に適用されるヒューマンフュージョンの概念につながり、本開示のヒューマンフュージョンシステム及び方法を利用して、人間（例えば、臨床医）と１つ又は複数のリモートデバイス（例えば、患者に関連する医療ツール、遠隔地にある可能性がある）との間に信頼性の高いエンドポイント間の接続及び通信を提供することは、すでに可能となっている。本開示のシステム及び方法は、少なくとも医療従事者が以前に孤立した集団を治療することを可能にし、侵襲的および非侵襲的の両方の多くの医療処置の安全性および有効性を改善することによって、医療の実践を徹底的に変えることができる。

【0052】

ヒューマンフュージョンは、遠隔医療を具体化することができる。例えば、本開示のシステム及び方法を用いると、身体検査は、患者と臨床医との間の対面のインタラクションに限定されないであろう。代わりに、患者と臨床医は、世界の任意の場所にいることが可能であり、医療に対する空間、時間及び金銭的な障壁を取り除くことができる。

【0053】

ヒューマンフュージョン技術は、臨床医が他の一般的な検査を行うときに収集可能な情報量を大幅に拡張することができる。臨床医は、触覚をよりよく利用して患者を解釈し診断することができ、視覚のみを利用するか、又は視覚以外ではない。例えば、産婦人科医師は子宮内検査を行う時、ヒューマンフュージョンを用いて胎児の心拍を「感覚」し、又は乳房に不規則な組織ブロックが存在することを示す超音波情報を「感覚」することができる。別の例として、ロボット手術に従事する外科医はヒューマンフュージョンを用いて触覚を向上させることにより、視覚的に検出しにくい特定の解剖学的構造を識別することに役立つ。

【0054】

公安／防衛用途

【0055】

ヒューマンフュージョンは、また警察、軍隊及び他の公安／防衛組織に機会を提供する。当該警察、軍隊及び他の公安／防衛組織の個々のメンバーは、高度な訓練を受けていますが、日常的に危険にさらされている。これらの個人の生活は、本開示のシステム及び方法を用いて改善することができ、人とロボット装置との間に共生関係を構築し、高度な訓練を受けている人が安全な距離からより正確に作業を行うことを可能にし、最終的に手足の切断及び他の疾患／死亡につながる怪我を防止する。

【0056】

軍隊で最も危険な仕事の１つは、爆発物処理の専門家の仕事である。本開示のシステム及び方法は、爆発物処理の専門家が、同じ場所にいなくても、現場で作業を行うのと同様の感覚を経験し、デバイスを使用して爆発物を解除および処分することを可能にすることができる。これにより、発物処理の専門家を傷つけたり殺したりする可能性のある単一のミスの危険性を排除できるが、敵対的な環境で作業し、仕事中に撃たれるリスクも回避できる。

【0057】

パイロットは、本開示のシステム及び方法に基づくロボット制御を使用して、航空機内または航空機に対して何が起こっているかをより詳細に感じることができる。ロボットシステム（例えば、ドローンパイロット、ロボット航空機など）からのフィードバックをパイロットに返して、航空機の制御と操作を改善することができる。

【0058】

工業用途

【0059】

ヒューマンフュージョンは、特に工業に関連して、人類の物理的現実の経験に影響を与えることができる。本開示のシステム及び方法を使用して、人間の意識をロボットおよび他の技術と融合することにより、人間は、危険または到達が困難な状態から物理的に離れるが、それでもロボットの位置にいるかのように知覚および機能することができる。

【0060】

本開示のシステム及び方法を使用して、人間が遠隔で材料と相互作用することを可能にすることで、製造及び他の商業目的は、通常直接的に物理的相互作用により得られる器用さ又は感覚入力のレベルを失うことなく、より安全で、より安価で、より容易に達成できるようにすることができる。大工は従来の大工道具を使用できるが、スタッドやワイヤーを感じるために壁をスキャンする指の感覚を受け取ることができる。整備士は、振動又はエンジン内部のセンサーからの温度情報を「感覚」することでエンジンの性能を診断することができる。他の例では、組立作業員は、機械の強度と精度で鉄を曲げて操作することができる。つまり、ヒューマンフュージョンは、製造システムの利点を民主化し、様々な業界の様々な作業者に超人的な力を与えることができる。

【0061】

ソーシャル／エンターテインメント／ゲーム用途

【0062】

ヒューマンフュージョンは、物理的現実に対する人間の体験、特に、ソーシャル、エンターテインメント及び／又はゲーム用途に関連する体験を強化することができる。本開示のシステム及び方法を使用して、感覚を様々なソーシャル、エンターテインメント及び／又はゲーム用途に追加することができる。メディアの伝播力は、視覚、音、相互作用を通じて体験を感じさせる能力にある。ビデオまたはオーディオデータ（視覚および/または聴覚以外）に感覚体験を追加すると、体験を強化して、体験をより強力にすることができる。ソーシャルメディアは、ある人が別の人の手を握っている感覚を知覚できるようにするなど、人間同士の仮想的な接触を可能にすることで強化することができる。感覚体験は、ゲーム用途の仮想的な接触にも関わり、深さや臨場感を強化する。

【0063】

上記の説明から、当業者は、改善、変更、および修正を認識するであろう。そのような改善、変更および修正は、当業者の技術の範囲内であり、添付の特許請求の範囲によってカバーされることを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】