特開 2015-215894 遠隔インタラクションのための触覚フィードバックを提供するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-215894(P2015-215894A)

(43)【公開日】2015年12月3日

(54)【発明の名称】遠隔インタラクションのための触覚フィードバックを提供するシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20151106BHJP

   G06F 3/0346 20130101ALI20151106BHJP

【ＦＩ】

   G06F3/01 310A

   G06F3/033 423

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

【外国語出願】

【全頁数】17

(21)【出願番号】特願2015-93941(P2015-93941)

(22)【出願日】2015年5月1日

(31)【優先権主張番号】14/275,216

(32)【優先日】2014年5月12日

(33)【優先権主張国】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＱＲコード

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(74)【代理人】

【識別番号】100125195

【弁理士】

【氏名又は名称】尾畑 雄一

(72)【発明者】

【氏名】レベスク，ヴィンセント

(72)【発明者】

【氏名】モダーレス，アリ

(72)【発明者】

【氏名】グラント，ダニー エー．

(72)【発明者】

【氏名】ディオンヌ，ジャン フランソワ

(72)【発明者】

【氏名】バーンバウム，ディビッド，エム．

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA09

5B087BC32

5E555AA61

5E555AA64

5E555BA04

5E555BB04

5E555BC01

5E555BD06

5E555CA42

5E555CA45

5E555CB65

5E555CB66

5E555CB74

5E555DA08

5E555DA24

5E555DB57

5E555DD06

5E555FA30

(57)【要約】      （修正有）

【課題】見えるが手が届かない物体をリモートで触知又はインタラクトするために触覚フィードバックを用いる。
【解決手段】システム１００は第１の電子装置１１０と第２の電子装置１２０とを備える。第１の電子装置は該電子装置が経験する状態又は特性を感知するように構成されたセンサ１１２と、センサからの出力に基づいて信号を送信するように構成された通信装置１１４とを含む。第２の電子装置は第１の電子装置と通信を行う。第２の電子装置は、送信された信号を受信するように構成された通信装置１２２と、該装置のユーザが注意を集中している物体を判定するように構成された検出器１２６と、ユーザが注意を集中している物体が第１の電子装置の位置と一致すると判定された場合に、送信された信号を表す触覚信号を生成するプロセッサ１２４と、触覚信号を受信してユーザに対して触覚効果を生成する触覚出力装置１２８とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の電子装置であって、
前記第１の電子装置が経験する状態又は特性を感知するように構成されたセンサと、
前記センサからの出力に基づく信号を送信するように構成された送信機と、
を含む第１の電子装置と、
前記第１の電子装置と通信する第２の電子装置であって、
前記送信された信号を受信するように構成された受信機と、
前記第２の装置のユーザが注意を集中している物体を判定するように構成された検出器と、
前記ユーザが注意を集中している前記物体が前記第１の電子装置の位置と一致すると判定された場合に、前記送信された信号を表す触覚信号を生成するように構成されたプロセッサと、
前記触覚信号を受信して前記ユーザに対して触覚効果を生成するように構成された触覚出力装置と、
を含む第２の電子装置と、
を備えるシステム。

【請求項2】

前記検出器が、前記ユーザの目の画像を取り込むように構成されたカメラと、前記画像に基づいて前記ユーザの視線の方向を判定するように構成された画像処理装置とを備える、請求項１に記載のシステム。

【請求項3】

前記センサが振動又は変形を感知するように構成された、請求項１に記載のシステム。

【請求項4】

前記触覚効果が前記感知された振動又は変形をシミュレートするように構成された、請求項３に記載のシステム。

【請求項5】

前記第１の電子装置は前記送信された信号の一部である動画ストリームを出力するように構成されたカメラをさらに含み、前記第２の電子装置は当該動画ストリームを表示するように構成された表示装置をさらに含む、請求項１に記載のシステム。

【請求項6】

前記第２の電子装置がヘッドマウント表示装置である、請求項１に記載のシステム。

【請求項7】

前記検出器は前記ヘッドマウント表示装置に取り付けられたカメラを含み、当該カメラは前記ヘッドマウント表示装置が向いている方向と一致する視野を有している、請求項６に記載のシステム。

【請求項8】

離れた物体を選択する工程と、
前記物体によって送信された信号であって触覚出力装置の駆動信号を含む信号を検出する工程と、
前記駆動信号に基づいて前記触覚出力装置を用いてユーザに対して触覚効果を生成する工程と、
を含む方法。

【請求項9】

前記離れた物体を選択する工程は、当該離れた物体の所定の近接領域内に前記ユーザがいることを検出することを含む、請求項８に記載の方法。

【請求項10】

前記離れた物体を選択する工程は、当該離れた物体を見ている前記ユーザの視線を検出することを含む、請求項８に記載の方法。

【請求項11】

振動を感知する工程をさらに含み、前記物体から発せられる前記信号は前記感知された振動に基づく、請求項８に記載の方法。

【請求項12】

前記物体から送信される前記信号は動画ストリームを含み、前記方法は当該動画ストリームを前記ユーザに表示する工程をさらに含む、請求項８に記載の方法。

【請求項13】

第１の電子装置であって、
前記第１の電子装置の制御手段を調節するように構成された調節装置と、
当該制御手段の調節に対応付けられた信号を送信するように構成された送信機と、
を含む第１の電子装置と、
前記第１の電子装置と通信する第２の電子装置であって、
前記送信された信号を受信するように構成された受信機と、
前記制御手段を調節するためのユーザ入力を検出するように構成された検出器と、
当該検出器が前記制御手段を調節するための前記ユーザ入力を検出した場合に、前記送信された信号を表す触覚信号を生成するように構成されたプロセッサと、
前記触覚信号を受信して前記制御手段の調節を表す触覚効果を前記ユーザに対して生成するように構成された触覚出力装置と、
を含む第２の電子装置と、
を備えるシステム。

【請求項14】

前記検出器は前記調節装置の動きを表す前記ユーザのジェスチャを検出するように構成される、請求項１３に記載のシステム。

【請求項15】

前記第２の電子装置は前記第１の電子装置の仮想画像を表示するように構成された表示装置をさらに含み、前記ユーザの前記ジェスチャは当該仮想画像に対して行われる、請求項１４に記載のシステム。

【請求項16】

前記第２の電子装置がヘッドマウント表示装置である、請求項１５に記載のシステム。

【請求項17】

離れた物体の制御手段を調節するための調節装置を含む当該離れた物体を選択する工程と、
前記離れた物体の前記制御手段を調節するために前記ユーザが行うジェスチャを検出する工程と、
前記離れた物体の前記制御手段を調節する工程と、
前記調節を表す触覚効果を前記ユーザに対して生成する工程と、
を含む方法。

【請求項18】

前記選択された離れた物体の仮想画像を前記ユーザに対して表示する工程を含み、前記ユーザの前記ジェスチャは前記選択された物体の前記仮想画像に対して行われる、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔インタラクションのための触覚フィードバックを提供するシステム及び方法に関する。

【背景技術】

【0002】

手の届かない範囲にある遠隔物体とのインタラクションは、現段階では視覚及び音声に限られており、これがインタラクションを制限している。手の届かない範囲にある離れた物体を触知したりそれとインタラクトすることができれば、単にその物体を見る及び／又はその音を聴くよりも魅力的なものとなる。

【発明の概要】

【0003】

目に見えるが手が届かない物体をリモートで触知する又はそれとインタラクトするためには触覚フィードバックを用いることが望ましい。

【0004】

本発明の一態様によれば、第１の電子装置及び第２の電子装置を含むシステムが提供される。第１の電子装置は第１の電子装置が経験する状態又は特性を感知するように構成されたセンサと、当該センサからの出力に基づいて信号を送信するように構成された送信機とを含む。第２の電子装置は第１の電子装置と通信を行う。第２の電子装置は、送信された信号を受信するように構成された受信機と、第２の装置のユーザが注意を集中している物体を判定するように構成された検出器と、ユーザが注意を集中している物体が第１の電子装置の位置と一致すると判定された場合に、送信された信号を表す触覚信号を生成するように構成されたプロセッサと、触覚信号を受信してユーザに対して触覚効果を生成するように構成された触覚出力装置とを含む。

【0005】

一実施形態において、検出器は前記ユーザの目の画像を取り込むように構成されたカメラと、当該画像に基づいてユーザの視線の方向を判定するように構成された画像処理装置とを備える、請求項１に記載のシステム。

【0006】

一実施形態において、センサは振動又は変形を感知するように構成される。一実施形態において、触覚効果は感知された振動又は変形をシミュレーションする。

【0007】

一実施形態において、第１の電子装置は送信された信号の一部である動画ストリームを出力するように構成されたカメラを含み、第２の電子装置は当該動画ストリームを表示するように構成された表示装置をさらに含む。

【0008】

一実施形態において、第２の電子装置は、ヘッドマウント表示装置である。一実施形態において、検出器はヘッドマウント表示装置に取り付けられたカメラを含み、当該カメラはヘッドマウント表示装置が向いている方向と一致する視野を有している。

【0009】

本発明の一態様によれば、離れた物体を選択する工程と、当該物体によって送信された信号であって触覚出力装置の駆動信号を含む信号を検出する工程と、当該駆動信号に基づいて触覚出力装置を用いてユーザに対して触覚効果を生成する工程とを含む方法が提供される。

【0010】

一実施形態において、離れた物体を選択する工程は、当該離れた物体の所定の近接領域内にユーザがいることを検出することを含む。

【0011】

一実施形態において、離れた物体を選択する工程は、当該離れた物体を見ているユーザの視線を検出することを含む。

【0012】

一実施形態において、前記方法は振動を感知する工程を含む。前記物体から発せられる信号は感知された振動に基づく。

【0013】

一実施形態において、前記物体から送信される信号は動画ストリームを含み、前記方法は当該動画ストリームをユーザに表示する工程を含む。

【0014】

本発明の一態様によれば、第１の電子装置及び第２の電子装置を含むシステムが提供される。第１の電子装置は第１の電子装置の制御手段を調節するように構成された調節装置と、当該制御手段の調節に対応付けられた信号を送信するように構成された送信機とを含む。第２の電子装置は第１の電子装置と通信を行う。第２の電子装置は、送信された信号を受信するように構成された受信機と、前記制御手段を調節するためのユーザ入力を検出するように構成された検出器と、当該検出器が前記制御手段を調節するためのユーザ入力を検出した場合に、送信された信号を表す触覚信号を生成するように構成されたプロセッサと、触覚信号を受信して前記制御手段の調節を表す触覚効果をユーザに対して生成するように構成された触覚出力装置とを含む。

【0015】

一実施形態において、検出器は調節装置の動きを表すユーザのジェスチャを検出するように構成される。

【0016】

一実施形態において、第２の電子装置は第１の電子装置の仮想画像を表示するように構成された表示装置を含み、ユーザのジェスチャは当該仮想画像に対して行われる。

【0017】

一実施形態において、第２の電子装置は、ヘッドマウント表示装置である。

【0018】

本発明の一態様によれば、離れた物体の制御手段を調節するための調節装置を含む当該離れた物体を選択する工程と、離れた物体の制御手段を調節するためにユーザが行うジェスチャを検出する工程と、離れた物体の制御手段を調節する工程と、当該調節を表す触覚効果をユーザに対して生成する工程とを含む方法が提供される。

【0019】

一実施形態において、前記方法は選択された離れた物体の仮想画像をユーザに対して表示する工程を含み、ユーザのジェスチャは選択された物体の仮想画像に対して行われる。

【0020】

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

【図面の簡単な説明】

【0021】

以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照符号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

【0022】

【図1】本発明の実施形態にかかるシステムを模式的に示す。

【0023】

【図2A】図１のシステムの検出器の実施形態を模式的に示す。

【図2B】図１のシステムの検出器の実施形態を模式的に示す。

【0024】

【図3】図１のシステムのプロセッサを模式的に示す。

【0025】

【図4】図１のシステムの一実施形態を模式的に示す。

【0026】

【図5】本発明の実施形態にかかる方法のフローチャートである。

【0027】

【図6】本発明の実施形態にかかるシステムを模式的に示す。

【0028】

【図7】図６のシステムの一実施形態を模式的に示す。

【0029】

【図8】本発明の実施形態にかかる方法のフローチャートである。

【発明を実施するための形態】

【0030】

図１は、本発明の実施形態に係るシステム１００を示す。図に示すように、システム１００は互いに通信を行う第１の電子装置１１０と第２の電子装置１２０とを含む。第１の電子装置１１０は第２の電子装置１２０から離れた物体に配置されるように構成され、第２の電子装置１２０はシステム１００のユーザによって手に保持され又は体に着用されるように構成される。システム１００は例えばヘッドマウント表示装置であるが、これについては以下に詳述する。

【0031】

第１の電子装置１１０は、センサ１１２と、センサ１１２からの出力に基づいて信号１１５を無線送信するように構成された送信機を含む通信装置１１４を含む。一実施形態において、通信装置１１４はまた、信号１１７を無線受信するように構成された受信機を含む。センサ１１２は、第１の電子装置１１０が経験している特性又は状態を感知するように構成された任意の種類のセンサであってよい。例えば、一実施形態において、センサ１１２は第１の電子装置１１２が経験する振動を感知するように構成され、また、例えば加速度計を含んでもよい。

【0032】

第２の電子装置１２０は、第１の電子装置１１０によって送信される信号１１５などの信号を無線受信するように構成された受信機を含む通信装置１２２を含む。通信装置１２２はプロセッサ１２４と通信を行う。これについては以下に詳述する。第１の電子装置１１０の通信装置１１４と第２の電子装置１２０の通信装置１２２の間で通信される信号１１５，１１７は、無線ネットワークを用いてブロードキャストされてもよい。例えば、信号１１５，１１７はインターネットサーバ上でストリームされてもよい。一実施形態において、信号１１５，１１７はＢｌｕｅｔｏｏｔｈ又はＲＦなどの直接通信プロトコルを用いて近傍の装置１１０，１２０に直接ストリームされてもよい。任意の種類の好適な無線プロトコルを用いて、第１の電子装置１１０及び第２の電子装置１２０が互いに通信できるようにしてもよい。

【0033】

第２の電子装置１２０はまた、プロセッサ１２４と通信を行いシステム１００のユーザが見ている離れた物体がどれかを判定するように構成された検出器１２６を含むが、これについては以下に詳述する。第２の電子装置１２０はまた、プロセッサ１２４と通信する触覚出力装置１２８を含む。触覚装置１２８は、ユーザに対して触覚効果を生成するように構成される。

【0034】

触覚出力装置１２８はアクチュエータを含み得るが、このアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１２８は、非機械的又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又はエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。

【0035】

検出器１２６は、ユーザが注意を集中している離れた物体がどれかを判定又は近似するために用いられる任意の検出手段を含んでもよい。例えば、検出器１２６はシステム１００のユーザの視線を検出するように構成されてもよい。ユーザの視線を検出することによって、ユーザが見ている方向を示すことができる。図２Ａは検出器１２６’の一実施形態を示す。検出器１２６’は、システム１００のユーザの目の画像を取り込むように構成され得るカメラ２１０と、この画像に基づいて視線の方向を判定するように構成されたプロセッサ２１２とを備えてもよい。一実施形態において、プロセッサ２１２は図１のプロセッサ１２４の一部であってもよい。視線の方向を判定する画像処理技術は文献により公知であり、本明細書においては詳述しない。図２Ｂは検出器１２６”の一実施形態を示す。検出器１２６”は、ユーザの目の付近の筋肉の動きを監視するように構成されたセンサ２１４と、この監視された動きに基づいて視線の方向を判定するように構成されたプロセッサ２１６とを備えてもよい。一実施形態において、センサ２１４は、目を動かす筋肉の電気的な活動を計測するように構成されてもよい。一実施形態において、プロセッサ２１６は図１のプロセッサ１２４の一部であってもよい。

【0036】

上述の検出器１２６，１２６’，１２６”の実施形態は、いかなる点においても限定的なものではなく、ユーザの視線の方向を判定するためのその他の検出手段を本発明の実施形態に従って用いてもよい。例えば、一実施形態において、ユーザの視線の方向はユーザの体や頭部の姿勢を分析することによって推定される。一実施形態において、カメラ２１０は例えば、ヘッドマウント表示装置に取り付けられ、ヘッドマウント表示装置が向いている方向、すなわちユーザが見ている方向と一致する視野を有するように構成されてもよい。ヘッドマウント表示装置に取り付けられたカメラの視野の中にある、又はその視野の中心にあるあらゆる物体は、ユーザにとって興味の対象であるということを前提としてもよい。

【0037】

一実施形態において、検出器１２６は、ユーザの現在の視線の方向が集中している箇所を判定するようにも構成されてよい。これを実現するために、ユーザの目の虹彩の位置と形状を判定するための画像処理技術を、標準的なあるいは記憶された虹彩の基準画像と組み合わせて用いてもよい。一実施形態において、ユーザの視線の方向は、各々の目についてピッチ角および偏揺角として記憶されてもよい。この情報を用いて、ユーザの現在の注視範囲の奥行きを判定してもよい。一実施形態において、検出器１２６に加えて、典型的には機能的磁気共鳴画像法（ｆＭＲＩ）または脳波図（ＥＥＧ）に関連するセンサなどの他のセンサを用いて、ユーザの意図や意思をよりよく判定してもよい。一実施形態において、例えばヘッドマウント表示装置に取り付けられたカメラを前方向カメラとし、このカメラを適切に較正してその視野を関連付け、何が注視されているかを判定してもよい。

【0038】

一実施形態において、ユーザが自身の指で興味の対象を指し示し、検出器１２６が前方向カメラ及びベクトル分析技術を用いてユーザの指がどの物体を指し示しているのかを検出するように較正されてもよい。一実施形態において、前方向カメラの視野を表示装置１３０を介してユーザに提示し、ユーザが第２の電子装置１２０の一部をタッチ又はタップして興味の対象を選択してもよい。検出器１２６はタッチ又はタップを検出して、このタッチ又はタップを表示装置１３０に表示される物体と相互に関連付けるように構成されてもよい。例えば、第２の電子装置がタッチスクリーンを含む場合、検出器１２６はそのタッチスクリーンの一部であってもよい。

【0039】

視線に関わる他の通信手段を用いて、ユーザが注意を集中している離れた物体がどれかを判定してもよい。例えば、一実施形態において、通信装置１１４はＬＥＤ又はレーザなどを用いて信号１１５の一部として光線を発するように構成され、通信装置１２２は第２の電子装置１２０が第１の電子装置１１０及び光源をほぼ直接的に指し示しているときにこの光線を検出するように構成されてもよい。通信装置１２２が光を検出するとき、通信装置１２２はセンサ１１２から信号を受信してもよい。通信装置１２２が光を検出しない場合、ユーザは第１の電子装置１１０を備える物体を見ていないか又はそれに注意を集中していないと考えられるため、センサ１１２から信号を受信する必要はない。

【0040】

図３は、プロセッサ１２４の一実施形態をより詳細に例示している。プロセッサ１２４は、一又は複数のコンピュータ・プログラム・モジュールを実行するように構成されてもよい。一又は複数のコンピュータ・プログラム・モジュールは、方向判定モジュール３０２、通信判定モジュール３０４、触覚効果決定モジュール３０６、触覚出力装置制御モジュール３０８、及び／又はこれら以外のモジュールの一又は複数を備えてもよい。プロセッサ１２４は、モジュール３０２、３０４、３０６、及び／又は３０８を実行する際に、ソフトウェア、ハードウェア、ファームウェア、及び／又は、ソフトウェア、ハードウェア及び／又はファームウェアの任意の組み合わせを用いてもよい、及び／又はプロセッサ１２４の処理能力を構成する他の機構を用いてもよい。

【0041】

図３においてモジュール３０２、３０４、３０６、及び３０８は単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１２４が複数の処理装置を含む実施形態においては、モジュール３０２、３０４、３０６、及び／又は３０８のうちの一又は複数が他のモジュールから離れて配置されてもよい。例えば、方向判定モジュール３０２は上述のプロセッサ２１２および２１６内に配置されてもよい。以下の異なるモジュール３０２、３０４、３０６、及び／又は３０８によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール３０２、３０４、３０６、及び／又は３０８はいずれも記述されるよりも多くの、又は少ない機能を提供してもよい。例えば、モジュール３０２、３０４、３０６、及び／又は３０８のうちの一又は複数を取り除き、その機能の一部又はすべてを、モジュール３０２、３０４、３０６、及び／又は３０８のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール３０２、３０４、３０６、及び／又は３０８のうちの１つに帰せられる機能の一部又はすべてを実行する１つ又は複数の追加的なモジュールを実行するように、プロセッサ１２４が構成されてもよい。

【0042】

方向判定モジュール３０２は、検出器１２６によって生成される出力信号からの情報に基づいて、ユーザが見ている方向及び／又はユーザが注意を集中している物体を判定するように構成される。方向判定モジュール３０２によって判定されるユーザが見ている方向に関する情報は、絶対座標系における他のオブジェクトに対するベクトルとして、および／または他の文脈で、その方向を記述してもよい。そのような情報には、座標および／または例えば上述のピッチ角および偏揺角などの角度関係が含まれてもよいが、これらには限定されない。

【0043】

通信判定モジュール３０４は、第２の電子装置１２０及び第１の電子装置１１０の間の通信を管理するように構成される。例えば、通信判定モジュール３０４は、ユーザが見ていると判定された物体が信号を送信しているかを判定するように構成される。この信号は、例えば、センサ１１２によって感知される特性又は状態に基づく、第１の電子装置１１０によって送信される信号１１５である。一実施形態において、通信判定モジュール３０４は第２の電子装置１２０の通信装置１２２が信号１１７を送信するように指示し、この信号１１７は第１の電子装置１１０によって受信されて第１の電子装置１１０が信号１１５の送信を開始するように指示し、この信号１１５がその後第２の電子装置１２０によって受信されてもよい。つまり、第１の電子装置１１０は継続的に信号１１５を送信するのではなく、第１の電子装置を備える物体をユーザが見ていると判定された場合にのみ信号を送信してもよい。

【0044】

触覚効果決定モジュール３０６は、第１の電子装置１１０から通信装置１２２を介して受信された情報に基づいて、触覚出力装置１２８によってユーザに対して生成される触覚効果又は感覚を決定する。触覚効果を決定することは、システム１００によってユーザに提供される体験の一つまたは複数の態様を向上するべく、ユーザに提供される触覚感覚の振幅、周波数、期間等を含む１つ又は複数のパラメータを決定することを含んでもよい。例えば、第１の電子装置１１０のセンサ１１２を用いて第１の電子装置１１０を備える物体が経験している振動を感知する場合、触覚効果決定モジュール３０６はユーザがその物体と接触しているかのようにその振動を経験できるように触覚感覚のためのパラメータを決定してもよい。

【0045】

触覚出力装置制御モジュール３０８は、触覚出力装置１２８を制御して触覚効果決定モジュール３０６が決定した触覚効果を生成するように構成される。この中で、プロセッサ１２４によって生成される触覚出力信号が触覚出力装置１２８に伝達される。生成される触覚効果は、プロセッサ１２４および触覚出力装置１２８の間の有線の通信リンク、無線の通信リンク、および／またはその他の通信リンクを通して伝達される。一実施形態において、触覚出力装置制御モジュール３０８に帰せられる機能の少なくとも一部は、触覚出力装置１２８によって担持されるプロセッサ内に配置されてもよい。

【0046】

また、プロセッサ１２４は電子ストレージ３０９を含んでもよい。電子ストレージ３０９としては、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどのいかなる組合せをも記憶し得るように構成されている。より具体的には、記憶ユニットは、触覚効果のプロフィール、触覚出力装置１２８がいかにして駆動されるかを指示する命令又は触覚効果を生成するためのその他の情報を含む。

【0047】

図４は図１のシステム１００の実施形態４００を示す。図に示すように、第１の電子装置１１０は現地の競走場で競争しているレーシングカー４１０内に配置される。本発明の実施形態は他の観戦スポーツに用いることができる。例えば、フットボール、野球、サッカー、バスケットボール、ホッケーなどがそれに含まれるが、これらには限定されない。図示した実施形態は、限定することを意図していない。システム１００のユーザは、図４に示すようなヘッドマウント表示装置の形態の第２の電子装置１２０を着用してもよい。本発明の実施形態によれば、ヘッドマウント表示装置は検出器１２６を用いて、ユーザが第１の電子装置１１０を備えるレーシングカー４１０に注意を集中していることを検出するように構成される。レーシングカー４１０内の第１の電子装置１１０はすでに信号１１５を送信していてもよく、又は第２の電子装置１２０によって送信された信号１１７を受信して信号１１５の送信を開始してもよい。第１の電子装置１１０の通信装置１１４によって送信された信号１１５は、第１の電子装置１１０のセンサ１１２からのデータストリーミングと対応する。センサ１１２は、例えば、レーシングカー４１０が経験している振動を測定している。第２の電子装置１２０内の通信装置１２２は、受信した信号１１５をプロセッサ１２４に伝達し、プロセッサ１２４は、レーシングカー４１０が経験した振動を表す（単数又は複数の）触覚効果ＨＥが生成されヘッドマウント表示装置を着用しているユーザにそれが感じられるように、第２の電子装置１２０内の触覚出力装置１２８がどのような触覚効果を生成すべきかを決定する。レーシングカー４１０が経験した振動に基づく単数又は複数の触覚効果ＨＥを生成することにより、ユーザはドライバーとともにレーシングカー４１０内にいるかのように感じ、これがレースにおけるユーザの経験を向上する。

【0048】

図１に戻ると、一実施形態において、第１の電子装置１１０は動画取込み装置あるいはカメラ１１６をさらに含んでもよく、第２の電子装置１２０はカメラ１１６によって取り込まれた画像を表示するように構成された視覚表示装置１３０を含んでもよい。カメラ１１６は第１の電子装置１１０を備える、図４のレーシングカー４１０などの物体からの眺めを提供できるように取り付けられてもよい。例えば、カメラ１１６はレーシングカーのドライバーのヘルメットに取り付けられてもよい。第１の電子装置１１０の通信装置１１４によって送信された信号１１５は、動画信号を含んでもよい。図３に示すように、プロセッサ１２４はコンテンツ決定モジュール３１０を含んでもよい。コンテンツ決定モジュール３１０は動画信号を処理し、視覚表示装置１３０によって表示されている動画のコンテンツと触覚出力装置１２８が生成する触覚効果ＨＥとを整合させて、ユーザの経験が可能な限りレーシングカーのドライバーの経験に近づくようにしてもよい。

【0049】

一実施形態において、第１の電子装置１１０は音声取込み装置あるいはマイク１１８を含んでもよい。マイク１１８はレーシングカー４１０などの物体の内部又は周囲の音を取り込み、通信装置１１４によって送信される信号１１５は音声信号を含んでもよい。第２の電子装置１２０は音声出力装置又はスピーカ１３２を含んでもよい。コンテンツ決定モジュール３１０は音声信号を処理し、第２の電子装置１２０のスピーカ１３２によって発せられる音声、触覚出力装置１２８によって生成される触覚効果ＨＥ、及び／又は表示装置によって表示される動画を整合させて、ユーザの経験が可能な限りレーシングカーのドライバーの経験に近づくようにしてもよい。

【0050】

一実施形態において、システム１００は複数の第１の電子装置１１０及び／又は複数の第２の電子装置１２０を含んでもよい。複数の第１の電子装置１１０を含むシステム１００、例えば各レーシングカーが第１の電子装置１１０を備えたカーレースにおいては、ユーザによって手に保持されるか又は体に着用される第２の電子装置１２０は、第１の電子装置１１０によって伝達されている信号１１５の選択された発信源を識別するように構成されてもよい。これは、通信装置１２２によって受信されている信号１１５の強さを、信号１１５の発信源の方向と適合させることによって行われてもよい。また、第１の電子装置１１０を備える特定の自動車に固有の信号１１５内の他の識別子を用い、この識別子をユーザに見られている自動車の物理属性（例えば、レーシングカーのＱＲコード、ＩＤ番号、色など）と適合させてもよく、これは例えばユーザが見ている方向を第２の電子装置１２０の前方向カメラの画像と適合させることによって検証してもよい。

【0051】

一実施形態において、システム１００は、例えばフットボールのようなチームスポーツの異なる選手にそれぞれ関連付けられる複数の第１の電子装置１１０を含んでもよい。このように、複数の発生源から振動を検出し、プロセッサ１２４が利用可能なフィードバックのすべてを生成し、最も強い効果を選択し、又は他の方法でどのようなフィードバックを生成するかをアルゴリズムに基づいて決定し、対応する触覚出力信号を触覚出力装置１２８に提供して触覚効果を生成してもよい。

【0052】

一実施形態において、第１の電子装置１１０は信号１１５を送信せず、第２の電子装置１２０が画像又は音声処理を用いてイベントを検出し、触覚効果を用いて当該イベントを自動的に増大させるように構成されてもよい。例えば、一実施形態において、レーシングカーの検出された速度に基づいてレーシングカー用のエンジンに対応する触覚効果が生成されてもよく、あるいはフットボールの試合中にタックルが検出された場合に衝撃に対応する触覚効果が生成されてもよい。

【0053】

図５は、本発明の実施形態に係る方法５００を示す。工程５１０において、第１の電子装置１１０を備える離れた物体が選択される。一実施形態において、第２の電子装置１２０を有するユーザが離れた物体に注意を集中するときに見ている方向を上述の検出器１２６を用いて検出することによって、この離れた物体が選択されてもよい。工程５２０において、離れた物体に配置された第１の電子装置１１０の通信装置１１４によって送信されている信号１１５が、第２の電子装置１２０の通信装置１２２によって検出される。工程５３０において、信号１１５に基づく少なくとも１つの触覚効果が生成され、ユーザに提供される。

【0054】

図６は本発明の実施形態にかかるシステム６００を示す。図に示すように、このシステムは互いに通信を行う第１の電子装置６１０と第２の電子装置６２０とを含む。第１の電子装置６１０は第２の電子装置６２０から離れた物体に配置されるように構成され、第２の電子装置６２０はシステム６００のユーザによって手に保持され又は体に着用されるように構成される。例えば、第２の電子装置６２０はヘッドマウント表示装置、スマートウォッチ、スマートフォン、タブレットなどである。

【0055】

第１の電子装置６１０は、プロセッサ６１２と、信号６１５を無線送信するように構成された送信機及び信号６１７を無線受信するように構成された受信機を含む通信装置６１４と、第１の電子装置の少なくとも１つの制御設定を調節するように構成された調節装置６１６とを含むが、これについては以下に詳述する。

【0056】

第２の電子装置６２０は、第１の電子装置６１０によって送信される信号６１５などの信号を無線受信するように構成された受信機を含む通信装置６２２を含む。通信装置６２２はプロセッサ６２４と通信を行う。プロセッサ６２４は図３に示すプロセッサ１２４と同じ又は類似のモジュールを備える。第２の電子装置６２０はさらに検出器６２６を含む。この検出器６２６はプロセッサ６２４と通信を行い、ユーザがインタラクトしようとする離れた物体を検出するように構成される。例えば、検出器６２６はシステム６００のユーザの視線を検出するように構成されてもよく、これによって上述のようにユーザが見ている方向を示すことができる。

【0057】

一実施形態において、検出器６２６はビデオカメラ又は他の好適な手段を用いてユーザの指の方位を検出することにより、ユーザが離れた物体を指差したときにユーザが指している方向を検出するように構成されてもよい。検出器６２６はビデオカメラ又は距離画像カメラ（例えば、マイクロソフト社のＫＩＮＥＣＴ（登録商標））を用いて、ユーザのジェスチャを検出するように構成されてもよい。検出器６２６はユーザのタッチ入力を感知するように構成されたセンサの形態であってもよく、この場合タッチパッド又はスマートフォンの一部であってもよい。一実施形態において、検出器６２６はそれが配置された位置によってユーザの頭、手、又は指の動きを検出するように構成された加速度計を含んでもよい。一実施形態において、検出器６２６は識別情報を含む音声命令を検出するように構成された音声検出器であってもよい。ユーザがどの物体とインタラクトしたいのかについてのユーザ入力を検出するように構成された他の任意の検出器を用いてもよい。

【0058】

第２の電子装置６２０はまた、プロセッサ６２４と通信する触覚出力装置６２８を含む。触覚出力装置６２８はユーザに対して触覚効果を生成するように構成され、図１に示すシステム１００の触覚出力装置１２８について上述した任意の構成を有してもよい。触覚効果は異なる形態を有してもよく、その例は、本明細書に参照として組み込まれる米国特許出願第１４／１０６，２７５号（２０１３年１２月１３日出願）に記載されている。例えば、触覚フィードバックは第２の電子装置６２０によって何らかの手段で提供されるが、その手段は例えば、第２の電子装置６２０がヘッドマウント表示装置の形態である場合には、振動、締め付け、又はタッピングなどである。一実施形態において、触覚フィードバックはブレスレット、グローブ、又は指輪などのウェアラブル装置によって提供される。一実施形態において、触覚フィードバックはスマートフォン、タブレット、又は他のハンドヘルド装置、例えば、ペン型スキャナなどによって提供されてもよい。

【0059】

図６にも示されるように、第２の電子装置６２０はさらに表示装置６３０を含んでもよい。この表示装置６３０は、検出器６２６が第１の電子装置６１０を含む離れた物体をユーザが見ていることを検出した際に、この離れた物体の拡大画像を表示するように構成される。例えば、表示装置６３０は離れた物体の画像を拡張現実環境内の仮想物体又は仕掛けとして表示するように構成されてもよい。第２の電子装置６２０がヘッドマウント表示装置である場合、画像はユーザがつかめる距離にあるかのように、またユーザが手を伸ばしてその離れた物体に触れているかのようなジェスチャができるように表示されてもよい。

【0060】

第１の電子装置６１０及び第２の電子装置６２０の間の通信チャネルを確立するために、ユーザはインタラクトしたい物体を見るか又は指差し、必要に応じてまばたきやタッチパッドのタッピングなどの特定のジェスチャを行って、自身がどの物体とインタラクトしたいかを示してもよい。異なる物体又は標的の間で切り換えるためには、ユーザはエアでジェスチャをしたり頭を動かしたりといった入力を用いてもよく、又はユーザはスマートフォンのアプリケーションなどの一般的なユーザー・インターフェースを用いてもよい。一実施形態において、ユーザは拡張現実シナリオ内の異なる物体の仮想表現に触れて、正しい物体が選択されているかをすぐに判断することができる。これは、各物体が明確に区別される信号を送信し、明確に区別される触覚フィードバックを触覚出力装置６２８を用いて生成しているからである。

【0061】

プロセッサ６２４はシステム６００によって提供される機能を有する物体をリスト化した検索テーブル又はデータベースを用いてプログラムされてもよい。これらの物体はすなわち、第１の電子装置６１０を有する物体である。また、プロセッサ６２４は、特定の物体に対して利用可能な操作及び制御調節を用いてもよい。プロセッサ６２４はまた、第１の電子装置６１０を含む物体の識別子を含むようにプログラムされてもよい。例えば、物体の画像を記憶してその物体が見た目で識別されるようにしてもよく、物体がプロセッサに記憶された視覚マーカーと適合する視覚マーカーを含んでもよく、又は第１の電子装置６１０によって発せられる信号６１５が物体に固有のサインを含んでもよい。ユーザがインタラクトすることを望む物体が第２の電子装置６２０によって識別されたとき、この物体は既知の物体のデータベースと比較され、その後性能のリストと比較されてもよい。一実施形態において、第１の電子装置６１０はその性能及び／又は好適なユーザー・インターフェースを、第１の電子装置６１０が送信する信号６１５の一部として伝達するように構成されてもよい。

【0062】

第１の電子装置６１０と第２の電子装置６２０との間で通信チャネルが確立された後、検出器６２６は第１の電子装置６１０の調節装置６１６に対して行われる調節に対応するジェスチャがユーザによって行われたことを検出するように構成されてもよい。一実施形態において、検出器６２６は第１の電子装置６１０の一部であってもよい。例えば、一実施形態において、検出器６２６はユーザが第２の電子装置６２６から所定の範囲内でジェスチャを行っていることを感知するように構成された距離画像センサを含んでもよい。この場合、このジェスチャは第１の電子装置６１０の調節装置６１６に対して行われる調節に対応することが示される。

【0063】

プロセッサ６２４は検出器６２６によって出力された信号を処理し、対応する信号を第１の電子装置６１０の調節装置６１６に送信することによって、ユーザがジェスチャによって行っている調節が離れた物体に対して実際に行われるようにしてもよい。同時に、プロセッサ６２４は触覚出力装置６２８に信号を送信し、それによって触覚効果が生成されて触覚感覚がユーザに提供され、ユーザは自身が離れた物体と実際にインタラクトしその制御手段の調節を行っているかのように感じる。例えば、触覚出力装置によって生成される触覚効果は、ダイアルを回す、ボタンを押す、スライダを動かす、スイッチをはじく等の物理的な感覚を模倣してもよい。拡張現実環境を表示するために表示装置６３０を用いる実施形態において、プロセッサ６２４は検出器６２６によって出力された信号を処理し、対応する信号を第１の電子装置６１０の調節装置６１６に送信することによって、ユーザが仮想物体又は仕掛けに対して行っている調節が離れた物体に対して実際に行われるようにしてもよい。

【0064】

図７はシステム６００の実施形態７００を示す。システム６００のユーザが、壁に配置されたサーモスタット（すなわち、上述の離れた物体）である第１の電子装置６１０の温度設定を、サーモスタットまで移動してそのダイアルを手で調節することなく変更したいと望む場合を想定する。ユーザは第２の電子装置６２０を、例えばヘッドマウント表示装置として着用する。ユーザが壁のサーモスタットを見ると、検出器６２６はユーザがサーモスタットを見ていることを検出する。サーモスタットは第１の電子装置６１０を介して信号６１５を送信している。第２の電子装置６２０は信号６１５を受信し、表示装置６３０を介して仮想サーモスタット７１０をユーザの前に現れるように表示する。ユーザはその後仮想サーモスタット７１０の方に手を伸ばし、サーモスタットのダイアルを回すようなジェスチャを行う。触覚出力装置６２８は、ダイアルに対して行う調節に対応する節度感を与える触覚フィードバックを出力してもよい。一実施形態において、触覚出力装置６２８はやはりユーザが着用するリストバンドＷ内に配置されてもよい。同時に、又は実質的に同時に、通信装置６２２の送信機はサーモスタットに配置された第１の電子装置６１０の通信装置６１４の受信機に対して信号６１７を送信し、調節装置６１６がサーモスタットの設定をユーザのジェスチャによって示された量だけ調節するように指図する。例えば、ユーザが仮想サーモスタットのダイアルをゆっくりと４度回す操作に対応するジェスチャを行ったとすると、触覚出力装置６２８は１度ごとに１回、計４回の節度感をシミュレートする触覚効果ＨＥを生成してもよい。同時に、又は実質的に同時に、第１の電子装置６１０の調節装置６１６は、サーモスタットを４度調節する。

【0065】

他の離れた物体も本発明の実施形態を用いてインタラクトできる。例えば、一実施形態において、物体は電灯のスイッチ又はボタンであり、ユーザが行うジェスチャは電灯のスイッチをはじく操作又はボタンを押す操作をシミュレートしたものであってもよい。本発明の実施形態によれば、物体自体とインタラクトするときにユーザが行うジェスチャに対応する触覚フィードバックは、物体には触れていなくても実際に物体とインタラクトしているような感覚を強くするように提供されてもよい。

【0066】

図８は本発明の実施形態にかかる方法８００を示す。工程８１０において、第１の電子装置６１０を備える離れた物体が調節のために選択される。上述のように、この選択は検出器６２６によって検出される。工程８２０において、離れた物体の制御手段を調節するためにユーザが調節装置６１６を介して行ったジェスチャが検出される。工程８２０において、離れた物体の制御手段は、ユーザが行ったジェスチャに従って調節される。工程８４０において、この調節を表す少なくとも１つの触覚効果が生成され、ユーザに提供される。

【0067】

以上記載した本発明の実施形態は遠すぎて直接触れることができない物体を触知しそれとインタラクトすることを可能にし、一方でこれらの物体が直接触れられているのと同じ経験を再現している。例えば、本発明の実施形態は、ユーザが自動車のドライバや離れ業を行うプロのアスリートを離れた場所で見つつ自身がそれらになったかのように感じることを可能にする。この場合、自動車のドライバ又はプロのアスリートは上述の第１の電子装置を有し、この第１の電子装置がブロードキャストする信号は触覚信号に変換されてユーザが手に保持する又は体に着用する触覚出力装置を駆動する。これによって「そこにいる」という感覚を増すことができる。本発明の実施形態によって、例えばレーシングカーのドライバーや場合によっては遠隔制御される乗物にユーザが注目するとき、これらの物体がカメラを含む第１の電子装置を適切に装備していれば、これらの物体の視点から見ることが可能になる。また、以上述べた本発明の実施形態によって、システムのユーザは見えてはいるものの遠すぎて触れることができない物体の制御手段と、物理的な制御手段を用いているのと実質的に同じようにインタラクトすることが可能になる。

【0068】

本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】

2015215894000001.pdf