特許 6373588 触覚装置における３次元レリーフのための摩擦変調

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6373588

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】触覚装置における３次元レリーフのための摩擦変調

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180806BHJP

   G06F 3/0488 20130101ALI20180806BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/0488

【請求項の数】20

【外国語出願】

【全頁数】20

(21)【出願番号】特願2014-7522(P2014-7522)

(22)【出願日】2014年1月20日

(65)【公開番号】特開2014-142930(P2014-142930A)

(43)【公開日】2014年8月7日

【審査請求日】2016年10月31日

(31)【優先権主張番号】61/756,355

(32)【優先日】2013年1月24日

(33)【優先権主張国】US

(31)【優先権主張番号】13/793,843

(32)【優先日】2013年3月11日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(74)【代理人】

【識別番号】100125195

【弁理士】

【氏名又は名称】尾畑 雄一

(74)【代理人】

【識別番号】100173657

【弁理士】

【氏名又は名称】瀬沼 宗一郎

(72)【発明者】

【氏名】ラクロワ，ロバート

(72)【発明者】

【氏名】レベスク，ヴィンセント

【審査官】 鈴木 大輔

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０２６８４１２（ＵＳ，Ａ１）

【文献】 特開２０１２−１８１８３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

３／０３

３／０４１ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

画像を表示するように構成されたディスプレイと、
ユーザが前記ディスプレイとインタラクトするときに前記ユーザに対して触覚効果を生成するように構成された触覚出力装置と、
プロセッサとを含み、
当該プロセッサは、前記ディスプレイ上に表示された前記画像に関連する情報を受け取り、
前記ディスプレイの表面における１つ又はそれ以上の動きの方向を検出し、
前記画像に対応する複数の触覚効果マップを決定し、該複数の触覚効果マップのそれぞれの触覚効果マップは前記ディスプレイでの異なる場所における触覚効果の強度を特定し、前記表面での異なる方向の動きと関連するものであり、
前記ディスプレイの表面における前記動きの方向の関数としての前記複数の触覚効果マップの中から１つの触覚効果マップを選択し、
選択された前記１つの触覚効果マップと前記ディスプレイの表面における前記動きの方向に基づき前記触覚効果の強度を調整し、
前記ディスプレイ上に前記画像が表示されたときに前記ユーザが前記ディスプレイとインタラクトするときに前記触覚効果を出力するために前記触覚出力装置に対して信号を生成するように構成され、前記触覚効果は３次元における前記画像の感触をシミュレートするように構成される、
触覚装置。

【請求項2】

前記触覚効果は静電摩擦を含む、請求項１に記載の触覚装置。

【請求項3】

前記触覚効果は超音波振動を含む、請求項１に記載の触覚装置。

【請求項4】

前記触覚効果は３次元における前記画像の外形をシミュレートするように構成される、請求項１に記載の触覚装置。

【請求項5】

前記触覚効果は前記画像のテクスチャをシミュレートするように構成される、請求項１に記載の触覚装置。

【請求項6】

ディスプレイ上に表示された画像に関連する情報を受け取ることと、
前記ディスプレイの表面における１つ又はそれ以上の動きの方向を検出することと、
前記画像に対応する複数の触覚効果マップを決定するものであり、該複数の触覚効果マップのそれぞれの触覚効果マップは前記ディスプレイでの異なる場所における触覚効果の強度を特定し、前記表面での異なる方向の動きと関連するものであることと、
前記ディスプレイの表面における前記動きの方向の関数としての前記複数の触覚効果マップの中から１つの触覚効果マップを選択することと、
選択された前記１つの触覚効果マップと前記ディスプレイの表面における前記動きの方向に基づき前記触覚効果の強度を調整することと、
前記ディスプレイが前記画像を表示している間にユーザが前記ディスプレイとインタラクトするときに、３次元における前記画像の感触をシミュレートする触覚効果を出力することと、
を含む方法。

【請求項7】

前記触覚効果は静電摩擦を含む、請求項６に記載の方法。

【請求項8】

前記触覚効果は超音波振動を含む、請求項６に記載の方法。

【請求項9】

前記触覚効果は３次元における前記画像の外形をシミュレートする、請求項６に記載の方法。

【請求項10】

前記触覚効果はテクスチャをシミュレートする、請求項６に記載の方法。

【請求項11】

ビデオ信号を受け取り、前記ビデオ信号に基づいて画像を表示し、触覚効果を出力するように構成された、触覚出力装置を含むタッチスクリーンビデオディスプレイと、
前記ディスプレイ上に表示された前記画像に関連する情報を受け取り、
前記ディスプレイの表面における１つ又はそれ以上の動きの方向を検出し、
前記画像に対応する複数の触覚効果マップを決定し、該複数の触覚効果マップのそれぞれの触覚効果マップは前記ディスプレイでの異なる場所における触覚効果の強度を特定し、前記表面での異なる方向の動きと関連するものであり、
前記ディスプレイの表面における前記動きの方向の関数としての前記複数の触覚効果マップの中から１つの触覚効果マップを選択し、
選択された前記１つの触覚効果マップと前記ディスプレイの表面における前記動きの方向に基づき前記触覚効果の強度を調整し、
前記画像が前記ディスプレイ上に表示されているときユーザが前記ディスプレイとインタラクトするときに前記触覚効果を出力するために前記触覚出力装置に対して信号を生成するように構成されたプロセッサと、を含むシステムであって、前記触覚効果は３次元における前記画像の感触をシミュレートするように構成される、
システム。

【請求項12】

前記触覚効果は静電摩擦を含む、請求項１１に記載のシステム。

【請求項13】

前記触覚効果は超音波振動を含む、請求項１１に記載のシステム。

【請求項14】

前記触覚効果は３次元における前記画像の外形をシミュレートするように構成される、請求項１１に記載のシステム。

【請求項15】

前記触覚効果はテクスチャをシミュレートするように構成される、請求項１１に記載のシステム。

【請求項16】

前記ユーザの画像を取り込むように構成されたビデオカメラと、前記ユーザの前記取り込まれた画像を他の位置へストリーミングするように構成された通信システムとをさらに含む、請求項１１に記載のシステム。

【請求項17】

前記ユーザの前記取り込まれた画像を第２のユーザに対して表示するように構成されて前記他の位置に置かれたビデオディスプレイをさらに含む、請求項１６に記載のシステム。

【請求項18】

前記他の位置に置かれた第２のビデオカメラおよび３次元ビデオ画像スキャナをさらに含み、前記ビデオカメラおよび３次元ビデオ画像スキャナは前記タッチスクリーンビデオディスプレイにより表示される前記画像を生成するように構成され、前記タッチスクリーンビデオディスプレイにより表示される前記画像は第２のユーザの画像である、請求項１６に記載のシステム。

【請求項19】

画像を含むビデオストリームを受け取ることと、
前記ビデオストリームを解析し、前記ビデオストリームで受け取られている前記画像の３次元形状を近似することと、
前記画像の前記３次元形状に基づいて触覚効果を生成することと、
を含み、
前記画像の前記３次元形状に基づく触覚効果の生成は、前記ディスプレイの表面における１つ又はそれ以上の動きの方向を検出し、
前記画像に対応する複数の触覚効果マップを決定し、該複数の触覚効果マップのそれぞれの触覚効果マップは前記ディスプレイでの異なる場所における触覚効果の強度を特定し、前記表面での異なる方向の動きと関連するものであり、
前記ディスプレイの表面における前記動きの方向の関数としての前記複数の触覚効果マップの中から１つの触覚効果マップを選択し、
選択された前記１つの触覚効果マップと前記ディスプレイの表面における前記動きの方向に基づき前記触覚効果の強度を調整する、ことを含む方法。

【請求項20】

前記画像を表す前記３次元形状を摩擦グラジエントマップに変換することをさらに含み、前記触覚効果は、前記摩擦グラジエントマップに基づく強度を有する静電摩擦を含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、触覚装置における３次元レリーフのための摩擦変調に関する。

【背景技術】

【0002】

人間には物の形を感じたいという生来の願望があるが、現在のタッチスクリーン表示装置はその機能をいかなる形態でも提供していない。さらに、静止した状態での視覚視は形状の曖昧性に帰着することがある。実世界においては、人は物体の形状を脱曖昧化するために触覚を用いる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ディスプレイを有する電子装置のユーザにとっては、ディスプレイに触れてディスプレイ上の画像の輪郭を感じることができることが望ましい。画像は、無生物である物体、あるいは人の顔もしくは手などの生きている物体であり得る。

【課題を解決するための手段】

【0004】

本発明の一つの側面に従って、画像を表示するように構成されたディスプレイと、ユーザが該ディスプレイとインタラクトするときに該ユーザに対して触覚効果を生成するように構成された触覚出力装置と、プロセッサとを含む該触覚装置が提供される。当該プロセッサは、該ディスプレイ上に表示された該画像に関連する情報を受け取り、該ディスプレイ上に表示された該画像に関連付けられた摩擦ベースの触覚効果マップを生成し、該ディスプレイ上に該画像が表示されたときに該￥ユーザが該ディスプレイとインタラクトするときに該触覚効果を出力するために該触覚出力装置に対して信号を生成するように構成され、該触覚効果は３次元における該画像の感触をシミュレートするように構成される。

【0005】

本発明の一つの側面に従って、ディスプレイ上に表示された画像に関連する情報を受け取ることと、該ディスプレイ上に表示された該画像と関連付けられた、該画像の３次元フィーチャを表す摩擦ベースの触覚効果マップを生成することと、該ディスプレイが該画像を表示している間にユーザが該ディスプレイとインタラクトするときに、３次元における該画像の感触をシミュレートする触覚効果を出力することとを含む方法が提供される。

【0006】

本発明の一つの側面に従って、触覚出力装置を含むタッチスクリーンビデオディスプレイを含むシステムが提供される。該タッチスクリーンビデオディスプレイは、ビデオ信号を受け取り、該ビデオ信号に基づいて画像を表示し、触覚効果を出力するように構成される。該システムは、該ディスプレイ上に表示された該画像に関連する情報を受け取り、該ディスプレイ上に表示された該画像と関連付けられた摩擦ベースの触覚効果マップを生成し、該画像が該ディスプレイ上に表示されているときユーザが該ディスプレイとインタラクトするときに該触覚効果を出力するために該触覚出力装置に対して信号を生成するように構成されたプロセッサを含む。該触覚効果は、３次元における該画像の感触をシミュレートするように構成される。

【0007】

本発明の一つの側面に従って、画像を含むビデオストリームを受け取ることと、該ビデオストリームを分析して、該ビデオストリームで受け取られている該画像の３次元形状を近似することと、該画像の該３次元形状に基づいて触覚効果を生成することとを含む方法が提供される。

【0008】

以下の図の構成要素は、本開示の一般的原理を強調するために描かれていて、必ずしも等縮尺で描かれてはいない。対応する構成要素を示す参照記号は、一貫性および明瞭性を目的として図面全体にわたって必要に応じて繰り返されている。

【図面の簡単な説明】

【0009】

【図1】本発明の実施態様に従う、電子装置の略図を示す。

【0010】

【図2】本発明の実施態様に従う、図１の電子装置のタッチスクリーンデバイスの略図を示す。

【0011】

【図3】(a）コンタクトスクリーン、（ｂ）手、および（ｃ）顔を含む、図１の電子装置により表示され得る画像の実施態様を示す。

【0012】

【図4】（ａ）ソース画像、および（ｂ）該ソース画像に対応するグレイスケールマスクを含む、グレイスケールマスクを用いる顔画像のテクスチャリングの実施態様を示す。

【0013】

【図5】（ａ）ソース画像、および（ｂ）該ソース画像に対応するテクスチャ領域を含む、ベクトルグラフィックスプリミティブを通してのテクスチャリングの実施態様を示す。

【0014】

【図6】（ａ）ソース画像、および（ｂ）該ソース画像に対応する種々の強度を有するエッジマップを含む、エッジマップの実施態様を示す。

【0015】

【図7】（ａ）ソース画像、（ｂ）歪んだソース画像、および（ｃ）その歪んだソース画像に対応するグリッドの歪を含む、タッチ入力における画像の視覚歪の実施態様を示す。

【0016】

【図8】（ａ）および（ｃ）ソース画像、並びに（ｂ）および（ｄ）該ソース画像のエッジからの距離をそれぞれ含む、許容歪半径の計算の実施態様を示す。

【0017】

【図9】図３ｂのより詳細な図を示す。

【0018】

【図10】（ａ）完全な手、（ｂ）皺の無い手、および（ｃ）皺を含む、図９の画像のためのテクスチャマスクの実施態様を示す。

【0019】

【図11】図９の手の画像のエッジの実施態様を示す。

【0020】

【図12】（ａ）テキストおよび（ｂ）ボタン、および（ｃ）エッジマップのための通信ウィジェットテクスチャマスクのためのテクスチャマスクおよびエッジマップの実施態様を示す。

【0021】

【図13】図３ｃのより詳細な図を示す。

【0022】

【図14】（ａ）顔、（ｂ）首、（ｃ）口、（ｄ）鼻、および（ｅ）耳を含む、図１３の画像のためのテクスチャマスクの実施態様を示す。

【0023】

【図15】図１３の顔画像のエッジマップの実施態様を示す。

【0024】

【図16】本発明の実施態様に従うシステムの略図である。

【0025】

【図17】本発明の実施態様に従う方法の流れ図である。

【0026】

【図18】本発明の実施態様に従う方法の流れ図である。

【発明を実施するための形態】

【0027】

本開示は、ユーザインターフェース、人間−コンピュータインターフェース、またはユーザ装置の他の部分を介してユーザに触覚効果を与える触覚出力装置を含む触覚装置の実施態様を記述する。特に、本書に記載された触覚装置の実施態様は、ユーザ装置のタッチセンシティブ表面に触覚効果を加えるように構成され得る。タッチセンシティブ表面は、或る実施態様においては、視覚出力メカニズムおよびタッチセンシティブ入力メカニズムの両方を含み得る表示装置の一部であり得る。従って、ユーザのために豊かな感覚的経験を提供するために、電子ハンドヘルド装置などのユーザ装置において触覚フィードバックが加えられ得る。

【0028】

本書に記載された例の多くはタッチスクリーン装置に関連するけれども、本開示がタッチセンシティブ構造を含む他のタイプの人間−コンピュータインターフェースをも含むということが理解されるべきである。さらに、本開示の一般的原理を読んで理解すれば他のフィーチャおよび利点は当業者にとって明白となろう。これらの他のフィーチャおよび利点も本開示に含まれるべく意図されている。

【0029】

図１は、本発明の実施態様に従う電子装置１０のブロック図である。図示されているように、電子装置１０は処理装置（例えば、プロセッサ）１２、記憶装置１４、および入力／出力装置１６を含み、これらはバス１８を介して相互に接続されている。一実施態様では、入力／出力装置１６はタッチスクリーン装置２０または他の人間−コンピュータインターフェース装置を含み得る。

【0030】

タッチスクリーン装置２０は、任意の適切な人間−コンピュータインターフェースまたはタッチ／コンタクト表面アセンブリとして構成され得る。タッチスクリーン装置２０は、任意のタッチスクリーン、タッチパッド、タッチセンシティブ構造、コンピュータモニタ、ラップトップ表示装置、ワークブック表示装置、キオスクスクリーン、ポータブル電子装置スクリーン、または他の適切なタッチセンシティブ装置であり得る。タッチスクリーン装置２０は、スタイラスなどのユーザ制御装置、指、などとの物理的インタラクションのために構成され得る。或る実施態様では、タッチスクリーン装置２０は、少なくとも１つの出力装置および少なくとも１つの入力装置を含み得る。例えば、タッチスクリーン装置２０は、視覚ディスプレイと、ユーザの指から入力を受け取るようにその上に重ねられたタッチセンシティブスクリーンとを含み得るであろう。該視覚ディスプレイは高精細度ディスプレイスクリーンを含み得る。

【0031】

種々の実施態様において、タッチスクリーン装置２０は電子装置１０の少なくとも一部分に触覚フィードバックを提供し、それは電子装置１０と接触しているユーザに伝えられ得る。特に、タッチスクリーン装置２０は、ユーザが該スクリーンと接触しているときに触覚効果を加えるために該タッチスクリーン自体に触覚フィードバックを提供することができる。該触覚効果は、ユーザの体験を強化するために使用されることができ、特に、タッチスクリーン装置２０により検出されるに十分にユーザが該スクリーンと接触したことの確認をユーザに提供することができる。

【0032】

電子装置１０は、デスクトップコンピュータ、ラップトップコンピュータ、電子ワークブック、電子ハンドヘルド装置（例えば携帯電話、ゲーム装置、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ（“ＰＤＡ”））、携帯電子メール装置、携帯インターネットアクセス装置、計算機など）、キオスク（例えば自動預金受払器、ティッキング購入機など）、プリンタ、ポイントオブセール装置、ゲームコントローラ、または他の電子装置などの、任意の装置であり得る。

【0033】

処理装置１２は、電子装置１０の動作および機能を管理または制御するための汎用または特殊目的プロセッサまたはマイクロコントローラであり得る。例えば、処理装置１２は、触覚効果を提供するために入力／出力装置１６のドライバへの出力信号を制御するように特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（“ＡＳＩＣ”））として特別に設計され得る。処理装置１２は、所定ファクタに基づいて、どんな触覚効果が生成されるべきかを決定し、該触覚効果が生成される順序を決定し、該触覚効果の大きさ、頻度、持続時間、および／または他のパラメータを決定するように構成され得る。処理装置１２は、特定の触覚効果を提供するために触覚出力装置を駆動するために使用され得るストリーミングコマンドを提供するようにも構成され得る。或る実施態様では、処理装置１２は、電子装置１０内で各々一定の機能を実行するように構成された複数のプロセッサを実際に含むことができる。

【0034】

記憶装置１４は、１つ以上の内部に固定されたストレージユニット、取り外し可能なストレージユニット、および／または遠隔アクセス可能なストレージユニットを含み得る。それらの種々のストレージユニットは、揮発性メモリおよび不揮発性メモリの任意の組み合わせを含み得る。該ストレージユニットは、情報、データ、命令、ソフトウェアコードなどの任意の組み合わせを記憶するように構成され得る。より具体的には、該ストレージ装置は、触覚効果プロファイル、入力／出力装置１６の触覚出力装置がどのように駆動されるべきかの命令、あるいは触覚効果を生成するための他の情報を含むことができる。

【0035】

タッチスクリーン装置２０に加えて、入力／出力装置１６は特定の入力メカニズムおよび出力メカニズムも含むことができる。例えば、該入力メカニズムは、キーボード、キーパッド、カーソル制御装置（例えば、コンピュータマウス）、あるいは他のデータ入力装置のような装置を含むことができる。出力メカニズムは、コンピュータモニタ、仮想現実ディスプレイ装置、オーディオ出力装置、プリンタ、または他の周辺装置を含むことができる。入力／出力装置１６は、タッチスクリーン装置の多くの例のような、ユーザから入力を受け取るだけでなくてユーザにフィードバックも提供するように設計されたメカニズムを含むことができる。タッチスクリーン装置２０および他の入力／出力装置１６は、ボタン、キーパッド、カーソル制御装置、タッチスクリーンコンポーネント、スタイラス受容コンポーネント、または他のデータ入力コンポーネントの任意の適切な組み合わせおよび構成を含むことができる。タッチスクリーン装置２０は、コンピュータモニタ、ディスプレイスクリーン、タッチスクリーンディスプレイ、触覚出力装置、あるいはユーザに出力を提供するための他の通知装置の任意の適切な組み合わせを含むこともできる。

【0036】

一実施態様では、タッチスクリーン装置２０はディスプレイ表面２２を含み、該ディスプレイ表面は、堅固であり得て、指またはスタイラスを該ディスプレイを横切って動かすときに表示画像に対応する表面レリーフ（例えば、丘および谷）の感覚をユーザに与えるために静電摩擦または超音波表面振動
を含むけれどもこれらには限定されない方法を通してその摩擦特性を変調するように構成される。

【0037】

図２は、装置の表面１１０において触覚効果を生成することのできる触覚効果対応ユーザインターフェース装置１００の実施態様を示す。装置１００の表面１１０は、図１のタッチスクリーン装置のディスプレイ表面２２と同じまたは類似するディスプレイ表面であり得る。触覚効果は、装置１００により表される表面フィーチャなどのフィーチャをシミュレートするように生成され得る。例えば、シミュレートされる表面フィーチャは、表面１１０の、自然のまたは人工的な、シミュレートされたテクスチャ、空間的パターン、エッジもしくは境界、または他の任意の触覚であり得る。一実施態様では、表面１１０は、シミュレートされるテクスチャまたは他の触覚を有する物体の画像などの、シミュレートされる表面フィーチャに対応する画像を表示するタッチスクリーンであり得る。一実施態様では、表面１１０は、画像のディスプレイに対応するタッチパッド、または他の任意のタッチインターフェースであり得る。装置１００は、携帯電話、タブレットコンピュータ、電子ディスプレイ、タッチパッド、または他の任意の電子ユーザインターフェース装置を含むことができる。

【0038】

一実施態様では、装置１００は、触覚駆動モジュール（例えばコントローラ１３０）、触覚効果を生成する触覚出力装置１２０、および駆動信号を触覚出力装置１２０に加えるようにコントローラ１３０および触覚出力装置１２０に作用可能に結合された触覚駆動回路１２５を含み得る。コントローラ１３０は、１つ以上のプロセッサまたは他の任意の処理ユニットを含むことができて、図１の処理装置１２の一部であり得る。触覚出力装置１２０は、アクチュエータ（例えば、ボイスコイル、超音波振動装置、ソレノイド、圧電装置、または他の任意のアクチュエータ）、静電装置、または他の任意の触覚出力装置を含むことができる。超音波振動装置は、或る場合には、表面１１０における摩擦のレベルを減少させることができる。コントローラ１３０は触覚出力装置１２０に作用可能に結合されることができ、該触覚出力装置は表面１１０に作用可能に結合されることができる。触覚出力装置は、“電気振動触覚ディスプレイ（Ｅｌｅｃｔｒｏ−ｖｉｂｒｏｔａｃｔｉｌｅ Ｄｉｓｐｌａｙ）”と題され、２０１１年４月２２日に出願されて２０１２年１０月２５日に米国特許出願公開第２０１２／０２６８４１２号として公開された米国特許出願第１３／０９２，２６９号においてより詳しく論じられており、その全内容がここに参照により組み込まれる。

【0039】

一実施態様では、コントローラ１３０、触覚駆動回路１２５、および触覚出力装置１２０は、摩擦のレベルを制御することによって表面１１０で表面フィーチャをシミュレートすることができる。例えば、触覚出力装置１２０は、表面１１０に振動を発生させることによって摩擦を制御し得るアクチュエータを含むことができる。触覚出力装置１２０は、表面１１０にまたはその下に電圧を印加することによって摩擦のレベルを制御し得る静電装置を含むことができる。例えば、交流電圧信号は表面１１０において指Ｆ、スタイラス、または他の任意の物体を引き付ける容量性効果を生じさせることができる。表面における引力は、該物体が該表面を横切って動くとき、摩擦として知覚され得る。該引力を強めれば該表面における摩擦のレベルを高めることができる。触覚効果を通して摩擦を制御することは、“電気振動触覚ディスプレイ（Ｅｌｅｃｔｒｏ−ｖｉｂｒｏｔａｃｔｉｌｅ Ｄｉｓｐｌａｙ）”と題され、２０１１年４月２２日に出願されて２０１２年１０月２５日に米国特許出願公開第２０１２／０２６８４１２号として公開された米国特許出願第１３／０９２，２６９号においてより詳しく論じられており、その全内容がここに参照により組み込まれる。

【0040】

米国特許出願公開第２０１２／０２６８４１２号に記載されているように、静電装置は、一実施態様では、１つ以上の電極を有する導電層を含みかつ絶縁層を含む表面とともに使用されることができる。その導電層は、任意の半導体または他の導電性材料であり得る。該絶縁層は、ガラス、プラスチック（例えば、熱可塑性材料）、ポリマ、または他の任意の絶縁層であり得る。該静電装置は、一実施態様においては該導電層を表面１１０の近くのまたは該表面に触れている物体と容量的に結合させるＡＣ信号を印加することによって動作することができる。該ＡＣ信号は、高電圧増幅器によって生成され得る。

【0041】

この容量性結合は、表面１１０での摩擦のレベルを制御することができる。一実施態様では、テクスチャは表面１１０での摩擦のレベルを制御することによってシミュレートされ得る。該物体と該導電層との間の引力のレベルを変えることにより、表面１１０を横切って移動する物体に対する摩擦を変化させることができる。該摩擦力を変化させることによって１つ以上のテクスチャをシミュレートすることができる。

【0042】

さらに、該容量性結合は、ユーザの指の皮膚の機械受容器などの、表面１１０の近くのまたは該表面に触れている物体の部分を刺激することによって触覚効果を生じさせることもできる。一例では、導電層は、ユーザの指の導電性部分と結合するＡＣ電圧信号を印加され得る。ユーザがスクリーン上で自分の指を動かすと、ユーザは、チクチクする感じ、ざらついた感じ、でこぼこした感じ、粗い感じ、ねばねばする感じのテクスチャ、または他のなんらかのテクスチャを感じることができる。

【0043】

一実施態様では、物体が導電層に直接触れることができるように、表面１１０は絶縁層を持たなくてもよい。触覚効果は、導電層から導電性経路を通して物体に電圧を印加することによって生成され得る。この実施態様は、その代わりに絶縁層を使用することができるけれども、該絶縁層内に１つ以上の電極を含むことができて、該電極は、物体が該絶縁層を横切って移動するときに該導電層から該電極に触れている物体への導電性経路を生じさせることができる。

【0044】

一実施態様では、触覚効果は電子ユーザインターフェース装置の表面（例えば、表面１１０）に限定されない。この実施態様では、例えばユーザの手は、タッチスクリーンまたはタッチパッドを超えて物体に触れることができて、それでも触覚効果を知覚することができる。該触覚効果は、例えば、信号発生器または他の任意の電圧発生装置から電圧をユーザの体に直接印加することによって生成され得る。或る場合には、該電圧発生装置は、ユーザの体と頻繁に接触する位置に据え付けられるようにされたスタンドアロン装置であり得る。該電圧は、テクスチャがシミュレートされるべき物体にユーザの体が触れていることをセンサが検出するごとに印加される。該電圧は、ユーザの体に電荷を置くことができる。ユーザの体の上のその電荷と、触れられている該物体との間の容量性相互作用はユーザの体と該物体との間に引力を生じさせることができる。該引力は、該物体の表面での摩擦のレベルを制御することができ、それは、触れられている該物体のテクスチャまたは他の任意の触覚をシミュレートすることができる。ユーザの体に印加される電圧を変えれば、触覚効果を変化させることができ、従ってシミュレートされる触覚を変化させることができる。該電圧が周期信号に基づくならば、該電圧を変化させることは該信号の振幅または周波数を変化させることを含み得る。或る場合に、物体は、絶縁層に囲まれた導電層を有し得る。該容量性相互作用は該導電層とユーザの体の上の電荷との間に存在し得る。或る場合には、触れられている物体と電圧発生装置との両方が共通のグラウンドを有し得る。或る場合には、ユーザの体は接地され得る。或る場合には、ユーザの体は接地されない。

【0045】

一実施態様では、ユーザは、物体の表面に生成される静電効果と、電子ユーザインターフェース装置により生成される強化された現実体験との両方を通して該物体上のシミュレートされたテクスチャを知覚することができる。例えば、電子ユーザインターフェース装置は、物体の捕獲された画像を表示するとともに該画像上にテクスチャの図式表示を置くことによって、強化された現実体験を生成することができる。該実施態様では、ユーザは、物体に触れることと、電子ユーザインターフェース上で該物体の上に置かれたテクスチャの図式表示を見ることとの両方によって、該物体上のテクスチャを知覚することができる。

【0046】

一実施態様では、コントローラ１３０は、触覚出力装置１２０に周期的触覚効果を生じさせるように構成され得る。例えば、図２は、触覚駆動信号１２０に基づく周期的触覚効果を示す。或る場合には、該触覚駆動信号は周期的駆動信号であり得る。或る場合には、該触覚駆動信号は、触覚出力装置１２０により生成される触覚効果を表すことができる。例えば、触覚出力装置１２０が静電装置を含むならば、触覚駆動信号２０１に基づく触覚効果は、触覚駆動信号２０１に調和あるいは比例する周波数および振幅を有する正弦波ＡＣ電圧を含むことができる。触覚出力装置１２０がアクチュエータを含むならば、触覚駆動信号２０１に基づく触覚効果は、触覚駆動信号２０１に調和する周波数および振幅を有する振動を含むことができる。周期的触覚効果は、図２に示されている正弦波形、方形波形、三角波形、のこぎり波形、あるいは他の任意の周期的波形に従って変化し得る。例えば、周期的静電効果は、正弦波形、方形波形、三角波形、のこぎり波形、あるいは他の任意の波形を有するＡＣ電圧によって生成され得る。

【0047】

一実施態様では、コントローラ１３０は、触覚出力装置１２０により触覚効果を変化させることができる。例えば、周期的触覚効果の周波数は、タッチ入力を生成する指Ｆまたは他の任意の物体が表面１１０を横切って移動するときに変更され得る。例えば、触覚駆動信号は、図２の触覚駆動信号２０１より大きな周波数を持つように変更され得る。一実施態様では、触覚効果がどのように変化するかは、物体の位置、速度、加速度、移動の方向、加えられた圧力、横力、接触領域、接触領域の形状、近寄り角、方位、温度、コンダクタンス、あるいは乾燥度に基づくことができ、あるいはシステム入力に基づくことができる。一実施態様では、以下でさらに詳しく論じられるように、触覚効果は、タッチ表面を通して表示されている画像のシミュレートされた外形に基づいて変化することができる。

【0048】

一実施態様では、二人の人間の間のコンピュータメディアテレビ会議との関係で触覚フィードバックを提供するために静電摩擦が使用され得る。図３（ａ）に示されているように、初めに、３０２および３０４で表される選択される２つのコンタクトを含む画像３００を含むスクリーンがユーザに与えられる。次にユーザはディスプレイスクリーン上の対応する画像３０２または３０４をタップすることによって該コンタクトのうちの１つを選択することができ、それも上で論じられたタッチスクリーン装置２０などのタッチスクリーン装置の一部である。次に、図３ｂに示されている幼児の手の画像３１０、あるいは図３ｃに示されている部分顔の画像３２０などの、リモートコンタクトを表す画像がスクリーン上に示される。ディスプレイにより表示される３つの画像３００、３１０、３２０は全て以下でより詳しく記述されるテクスチャおよび触覚効果で強化され得る。

【0049】

一実施態様では、ディスプレイの平面の上のテクスチャの強度を変調するためにアルゴリズムが使用され得る。一実施態様では、ディスプレイのいろいろな位置におけるテクスチャの強度は、グレイスケールビットマップまたはカラービットマップの単一のチャネル（例えば、ＡＲＧＢビットマップの透明度チャネル）を用いることによって指定され得る。ビットマップは幾つかの方法で生成され得る。一実施態様では、ビットマップは、ＡＤＯＢＥ（登録商標）ＰＨＯＴＯＳＨＯＰ（登録商標）などの画像編集またはペインティングツールを用いることにより手操作で生成され得る。一実施態様では、ビットマップは、グレイスケールへの変換またはエッジ検出などの画像処理手法をソース画像に適用することによって生成され得る。一実施態様では、ソース画像を処理するために両方のアプローチを組み合わせることができ、結果は、例えば或るフィーチャを誇張することによって、手操作で編集され得る。他の実施態様は、専用ハードウェアを用いる代わりに、ビデオデータストリームを観察することによって画像の３次元（３Ｄ）形状を近似するソフトウェアアルゴリズムを含むことができる。

【0050】

図４ｂは、図４ａの部分顔３２０の画像から明るさ情報を抽出するとともに、該画像の首３２２、唇３２４、鼻３２６、および耳３２８などの部分を手操作で分けて除くことによって生成されるグレイスケールマスク４２０の一例を示す。テクスチャリングされた領域の広さおよび強度も、矩形、円および多角形などのベクトルグラフィックスプリミティブを用いることにより指定され得る。このことは、例えばソースコードでテクスチャリングされるべき領域を指定することによってプログラム的に、またはスケーラブルベクトルグラフィックス（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ（ＳＶＧ））などのベクトルグラフィックス言語ならびにＡＤＯＢＥ（登録商標）ＩＬＬＵＳＴＲＡＴＯＲ（登録商標）およびＩＮＫＳＣＡＰＥ（登録商標）などのエディタを通して、行われ得る。

【0051】

図５ｂは、図５ａの画像３００の２つの矩形領域３０２、３０４が図５ｂにおいてそれぞれ５０２、５０４で表されるようにテクスチャリングのためにプログラム的にマークされている例５００を示す。一実施態様では、テクスチャのレンダリングは、タッチイベントが生成されるごとに、あるいは触覚出力が更新されるごとに、タッチ位置でのマスク強度に従ってテクスチャ強度を選択することによって行われ得る。一実施態様では、このことは３０−４５ｍｓごとに起こり得る。一実施態様では、連続するタッチ入力間の運動をシミュレートすることによってより正確な強度遷移を生じさせるようにサブサンプリングすることによって行われ得る。例えば、時刻Ｔにおいて更新された触覚テクスチャはタッチ入力Ｘ_T-1およびＸ_Tの間に起こった強度プロファイルを再生することができるであろう。

【0052】

テクスチャリングされた領域を生じさせるためにビットマップを用いる他の方法が使用され得る。本書に記載された実施態様は、限定をするようには全く意図されていない。例えば、“摩擦ディスプレイにおいてフィーチャを提供するためのシステムおよび方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｆｅａｔｕｒｅｓ ｉｎ ａ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙ）”と題され、２０１０年１月２９日に出願されて２０１０年９月１６日に米国特許出願公開第２０１０／０２３１３６７号として公開された米国特許出願第１２／６９６，８９３号に記載されている方法およびシステムのいずれもが使用され得、該米国特許出願の全体が参照により本書に組み込まれる。

【0053】

さらに、“テクスチャエンジンのためのシステムおよび方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ ａ Ｔｅｘｔｕｒｅ Ｅｎｇｉｎｅ）”と題され、２０１０年１月２９日に出願されて２０１０年９月１６日に米国特許出願公開第２０１０／０２３１５４０号として公開された米国特許出願第１２／６９７，０１０号、“テクスチャを実現するために複数のアクチュエータを使用するためのシステムおよび方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｃｔｕａｔｏｒｓ ｔｏ Ｒｅａｌｉｚｅ Ｔｅｘｔｕｒｅｓ）”と題され、２０１０年１月２９日に出願されて２０１０年９月１６日に米国特許出願公開第２０１０／０２３１５０８号として公開された米国特許出願第１２／６９７，０４２号、“グラフィカルユーザインターフェースウィジェットにおいてテクスチャを用いるためのシステムおよび方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｕｓｉｎｇ Ｔｅｘｔｕｒｅｓ ｉｎ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｗｉｄｇｅｔｓ）”と題され、２０１０年１月２９日に出願されて２０１０年９月１６日に米国特許出願公開第２０１０／０２３１５４１号として公開された米国特許出願第１２／６９７，０３７号、“摩擦ディスプレイおよび追加の触覚効果のためのシステムおよび方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙｓ ａｎｄ Ａｄｄｉｔｉｏｎａｌ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ）”と題され、２０１０年１月２９日に出願されて２０１０年９月１６日に米国特許出願公開第２０１０／０２３１５５０号として公開された米国特許出願第１２／６９６，９００号、および“表面ベースの触覚効果を特徴とするインターフェースのためのシステムおよび方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｅａｔｕｒｉｎｇ Ｓｕｒｆａｃｅ−Ｂａｓｅｄ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ）”と題され、２０１０年１月２９日に出願されて２０１０年９月１６日に米国特許出願公開第２０１０／０２３１５３９号として公開された米国特許出願第１２／６９６，９０８号に記載されている方法および／またはシステムのいずれもが、本発明の実施態様とともに用いられるテクスチャリングされた領域を生じさせるために使用され得、該出願の全ての全体が参照により本書に組み込まれる。

【0054】

一実施態様では、“触覚効果を用いてユーザインターフェースにおいて表面フィーチャをシミュレートするための方法および装置（Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｉｍｕｌａｔｉｎｇ Ｓｕｒｆａｃｅ Ｆｅａｔｕｒｅｓ ｏｎ ａ ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｗｉｔｈ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ）”と題されて２０１２年１０月３１日に出願された米国特許出願第１３／６６５，５２６号に記載されているように確率的テクスチャを生成するための正弦波パターンの組み合わせとランダムネスの使用などの、レンダリングプリミティブは本発明の実施態様とともに用いられ得、該米国特許出願の全体が参照により本書に組み込まれる。

【0055】

一実施態様では、人の肌など、よりリアルなテクスチャを表現するために空間テクスチャが生成され得る。一実施態様では、“触覚効果を用いてユーザインターフェースにおいて表面フィーチャをシミュレートするための方法および装置（Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｉｍｕｌａｔｉｎｇ Ｓｕｒｆａｃｅ Ｆｅａｔｕｒｅｓ ｏｎ ａ ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｗｉｔｈ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ）”と題されて２０１２年１０月３１日に出願された米国特許出願第１３／６６５，５２６号に記載されている時間テクスチャの周波数は、空間テクスチャを生成するためにタッチ入力の速度と調和するように変調されることができ、該米国特許出願の全体が参照により本書に組み込まれる。一実施態様では、空間テクスチャを生成するために時間の代わりにタッチ入力の運動に基づく区分的波形が連続的に生成され得る。両方の実施態様において、方形波形を用いて空間格子上での滑りのイリュージョンが生成され得る。タッチスクリーン上での指の運動が水平運動であるならば、水平格子が生成され得る。

【0056】

一実施態様では、周期的なあるいは非周期的な任意の空間パターンが生成され得る。一実施態様では、該空間パターンは、タッチ入力の絶対運動に基づく空間正弦波形テクスチャの重ね合わせにより生成され得る。各タッチイベントと同時に、タッチ入力が移動した絶対距離が計算されて空間正弦波形テクスチャ内の位置に加えられ得る。その結果は、その方向に関わりなく、スクリーンを背景とする運動に伴って変化する正弦波形テクスチャである。これは、よりリアルなテクスチャをもたらし得る。

【0057】

一実施態様では、例えば、顔の画像上のグラジエントを強めるためにタッチスクリーン上での運動の方向に基づいてテクスチャの特性が変調され得る。例えば、該画像の水平中心に向かって移動するとき、指は重力に抗して移動すると仮定されることができ、テクスチャ全体が感じられることができる。該中心から遠ざかって移動するときには、指は該顔の方へ落ちてゆくと仮定されることができ、テクスチャは半強度で感じられることができる。

【0058】

一実施態様では、画像についての高さマップは、３次元（３Ｄ）センサ（例えば、ＭＩＣＲＯＳＯＦＴ（登録商標）ＫＩＮＥＣＴ（登録商標））を用いることにより、画像処理により（例えば、シェーディングからの形状）、あるいはいろいろな画像位置を手操作でコード化することにより、得られ得る。次に、レンダリングソフトウェアは、該３Ｄ表面のグラジエントを分析し、それに応じて、鋭い上昇スロープのためにはテクスチャの強度を強め下降スロープのためにはテクスチャの強度を弱めるなどしてテクスチャの強度を変調することができる。一実施態様では、方向の関数として、例えば別々のマスクセット間での補間を用いて、いろいろなテクスチャマスクを指定するためにもビットマップまたはベクトルグラフィックスが使用され得る。

【0059】

一実施態様では、触覚効果を生じさせるために重ね合わせを介しての正弦波信号の組み合わせが使用され得る。一実施態様では、２つの正弦波信号が、それらを加え合わせる代わりに掛け合わされることができ、このことは高周波数効果で低周波数エンベロープをもたらすことができ、それは明らかに異なる触覚効果を提供する。

【0060】

一実施態様では、タッチスクリーン上に表示されている画像のエッジをシミュレートするためにエッジ効果が使用され得る。一実施態様では、静電摩擦出力を短時間（〜５０ｍｓ）にわたって最大電圧にセットすることによってエッジ効果が生成され得る。一実施態様では、現存する静電摩擦出力をミューティングすることによってエッジ効果が生成され得る。一実施態様では、テクスチャマスクを用いることによってエッジ効果が強化され得る。

【0061】

テクスチャとほぼ同様に、エッジはビットマップまたはベクトルグラフィックスで指定され得る。一実施態様では、エッジの位置はビットマップにおいてグレイスケール画像またはカラー画像のチャネルとして示され得る。そのようなエッジマップは、例えばエッジ検出アルゴリズムを用いることにより自動的に、あるいは例えば画像エディタを用いることにより手操作で、生成され得る。図６は、図６ｂに示されているエッジマップ６１０が図６ａの手３１０の画像の外形を手操作で追跡することによって生成された実施態様を示す。

【0062】

一実施態様では、タッチスクリーン上の画像との各タッチイベントに衝突検出アルゴリズムが使用され得る。一実施態様では、該アルゴリズムは、次の形をとり得る。例えば、ユーザの指の以前の位置はエッジの上にあったけれども該指の現在の位置はエッジの上に無いと判定されたならば、エッジ効果が生成されるべきである。ユーザの指の現在の位置はエッジの上にあるけれども該指の以前の位置がエッジの上には無かったと判定されたならば、ユーザの指はちょうどエッジに入ったばかりであるのでエッジ効果は生成されるべきではない。両方の位置がエッジの上にあると判定されたならば、ユーザの指はエッジの中にあるので、エッジ効果は生成されるべきではない。両方の位置がエッジの上に無いと判定されたならば、以前の位置から現在の位置への直線内で各ピクセルがチェックされるべきである。いずれかのピクセルがエッジの上にあるならば、ユーザの指はエッジを横切ったのであるから、エッジ効果が生成されるべきである。

【0063】

一実施態様では、エッジ効果の強度は、エッジマップにおいて横切られたエッジのグレイスケール強度に対応し得る。一実施態様では、エッジは、線、円、および多角形などのベクトルグラフィックスプリミティブを用いて指定され得る。そのとき、衝突検出を効率よく実行するために計算幾何学からのアルゴリズムが使用され得る。一実施態様では、図６ａの手３１０の皺３１２は、図６ｂのエッジマップ６１０において短い線のセット６１２として表されることができて、簡単な線交差アルゴリズムを用いて交差があるかどうかテストされることができる。

【0064】

一実施態様では、手および顔の画像は、現実の物体との相互作用のイリュージョンを強めるためにタッチ入力の周りで視覚的に歪められることができる。このことの一例が図７に示されている。図７ａは手３１０の部分画像７１０を示し、図７ｂは手３１０上のタッチ７３０を示し、図７ｃは図７ｂの手３１０のタッチ７３０のグラフィック表示７４０を示す。

【0065】

図７に示されている実施態様では、視覚効果は２つのコンポーネントから成る。第１に、５０ピクセルの半径の中のピクセルは、該ピクセルからタッチ入力までの距離の関数として再マッピングされ得る。図７ｃに示されているように、ピクセルは、中心の近くでは“締め付けられ”、外側の縁の近くでは“押し出される”。第２に、タッチ７３０を表す変形したディスクの形の陰影がタッチ入力に加えられ得る。明瞭性を目的として該陰影は図７ｂおよび７ｃにおいて誇張されている。図７ｂおよび７ｃに示されているように、該陰影は、変形したディスク７３２の頂部７３２ａでは暗くされ、変形したディスク７３２の底部７３２ｂでは明るくされる。図示されているように、該陰影のエッジの近くでは該効果は次第に薄れてゆく。

【0066】

非現実的な変形を防止するために、手３１０または顔３２０のエッジなどにおいては、変形フィルタの半径は、タッチ入力が物体のエッジに近づくにつれて小さくされてゆくことができる。このことは、図８に示されているように、画像のそれぞれのポイントにおいて最も近いエッジからの最小距離を計算することによって行われ得る。例えば、図８ｂは、画像内のそれぞれのポイントにおける最も近いエッジからの最小距離を表す図８ａの手３１０の画像８１０を示し、該画像のより明るい部分は、最も近いエッジからのより大きな距離を示す。同様に、図８ｄは図８ｃの顔３２０の画像８２０を示し、該画像のより明るい部分は最も近いエッジからのより大きな距離を示す。

【0067】

動作時には、２つのコンタクトを示す図３ａのコンタクトスクリーンの画像３００が装置のユーザに提示され得る。ユーザは、対応する画像または名前の上でタップすることによって、どのコンタクトを呼び出すか選ぶことができる。ユーザは、スクリーンの内容に触ってみることもできる。例えば、５０Ｈｚ方形時間正弦曲線でカバーされることによる静電摩擦効果と、該画像に入るときまたは出てゆくときの５０ｍｓエッジ効果とが２つの画像３１０、３２０に提供され得る。該名前は、５０ピクセルの空間波長を有する水平空間格子で覆われ得る。

【0068】

一実施態様では、以下に記載されるように、図３の画像は、ユーザが該画像に触ってみると、該画像の内容のような感じがする。さらに、図３ａの“誰を呼び出したいですか？（Ｗｈｏ ｗｏｕｌｄ ｙｏｕ ｌｉｋｅ ｔｏ ｃａｌｌ？）”というヘッダテキストも格子テクスチャで覆われることができる。

【0069】

図示されている実施態様では、アロン（Ａａｒｏｎ）コンタクトは、図３ｂに示されている幼児の手を示す画像３１０と関連付けられる。図９により鮮明に示されているように、手の画像３１０を表示するスクリーンは、該コンタクトの名前と呼び出しの現在の持続時間とを示すテキスト９１０を含むウィジェット９０２をも左下隅に示す。ウィジェット９０２は三つのボタン９０４、９０６、９０８をも含む。一実施態様では、該ボタンのうちのひとつ９０４は、触覚効果をオンオフするためにトグルするように構成され得る。他のボタン９０６、９０８は、呼び出しを終わらせおよび／または図３ａのコンタクトスクリーンに戻るなどの、他の機能を提供するように構成され得る。

【0070】

図１０は、図９の手の画像３１０とともに用いられ得る種々のテクスチャマスクを示す。一実施態様では、図１０ａに示されているように、手全体のために単一のテクスチャ１０１０が使用され得る。このテクスチャは、例えば、７０％強度で、１２ピクセルの波長を有する空間正弦曲線から成り得る。一実施態様では、該手の皺１０１４（図１０ｃ）および該手の他の領域１０１２（図１０ｂ）に異なるテクスチャが割り当てられ得る。

【0071】

図１１は、図９の手の画像３１０に対応するエッジマップ１１１０の実施態様を示す。一実施態様では、タッチ入力が非ゼロ領域を横切るたびに、その横切られたエッジのグレイスケール値に対応する強度で、５０ｍｓエッジ効果が演じられ得る。

【0072】

図９の左下隅のコミュニケーションウィジェット９０２は、テクスチャおよびエッジ効果で強化されることもできる。テキスト９１０は、図１２ａに示されているように矩形のマスク１２０２により範囲を定められ、５０ピクセルの空間波長を有する空間格子を伴ってレンダリングされることができる。ボタン９０４、９０６、９０８は、同様に、図１２ｂに示されているように、５０Ｈｚの時間方形効果で、マスク１２０４によって範囲を定められることができる。該ボタンのバーに入るときあるいは出るとき、図１２ｃに示されているエッジマップ１２０６に従って５０ｍｓのエッジ効果も感知されることができる。

【0073】

図示されている実施態様では、スキ（Ｓｕｋｉ）コンタクトは、図１３に示されているように、部分的な女性の顔３２０の画像と関連付けられている。コミュニケーションウィジェット９０２は、再び左下隅において利用可能であり、上で論じられたように、図９の手スクリーンについてのと同じ触覚フィードバックで強化されることができる。

【0074】

図１４は、顔画像３２０に用いられ得るテクスチャマスクの実施態様を示す。該顔の主要部分は、オリジナルの画像の強度とともに変化するグレイスケールマスク１４２０に従ってテクスチャリングされることができる（図１４ａ）。該テクスチャは、例えば、５ピクセルの波長と７５％の強度とを有する空間正弦波形で生成されることができる。グラジエントを強化するために、画像の水平中心から遠ざかるときに強度が半減させられることができる。図１４ｂに示されている首１４２２は、例えば、１０ピクセルの空間波長と５０％の強度とを有する方向性正弦波形で同様にテクスチャリングされ得る。図１４ｃに示されている口１４２４は、例えば、５０Ｈｚの周波数と５０％の強度とを有する時間正弦波形でテクスチャリングされることができる。図１４ｄに示されている鼻１４２６および図１４ｅに示されている耳１４２８は、例えば、３０％強度の５００Ｈｚ正弦波形でテクスチャリングされることができる。

【0075】

図１５は、顔の画像３２０のためのエッジマップ１５２０の実施態様を示す。一実施態様では、該エッジマップ上の非ゼロ領域を横切るたびに、その横切られたエッジのグレイスケール値に対応する強度で５０ｍｓのエッジ効果が感知されることができる。一実施態様では、唇などの一定のフィーチャは、より低い強度を有することができる。

【0076】

本書に記載された本発明の実施態様は、ディスプレイと、触覚出力装置を含むユーザインターフェースとを含む任意の電子装置に用いられることができる。例えば、本発明の実施態様に従うシステムおよび方法を用いて二人の人がテレビ会議セッションに参加することができる。

【0077】

テレビ会議システムの一実施態様１６００が図１６に示されている。例えば、第１の人は、第１の位置にある第１システム１６１０を使用することができる。図示されている実施態様では、第１システム１６１０は、ビデオディスプレイ１６１２、オーディオスピーカ１６１４、ビデオカメラ１６１６、３Ｄビデオ画像スキャナ１６１８（ＭＩＣＲＯＳＯＦＴ（登録商標）ＫＩＮＥＣＴ（登録商標）など）、マイクロフォン１６２０、処理装置１６３０、およびテレビ会議を可能にする処理装置１６３０上で動作するソフトウェアアプリケーション１６３２を含む。第１システム１６１０は、適切な通信システム１６４０を介してテレビ会議の他方の端の第２位置にいる第２の人により使用される第２システム１６５０に接続して該第２システムとデータを送受信するように構成される。処理装置１６３０は、ビデオカメラ１６１６、３Ｄビデオ画像スキャナ１６１８、およびマイクロフォン１６２０を通して第１の人の顔、頭、および肩の画像、音、および３Ｄ表示を取り込むように構成されることができる。該ビデオ、該ビデオの３Ｄ表示、および音は、通信システム１６４０を通して第２システム１６５０へ送られることができる。

【0078】

図示されている実施態様では、第２システム１６５０は、上記の表面摩擦変調技術の実施態様を組み込んだタッチスクリーンビデオディスプレイ１６５２を含む。タッチスクリーンビデオディスプレイ１６５２は、本書に記載された本発明の実施態様に従って触覚効果を出力するように構成された触覚出力装置１６５３を含む。第２システム１６５０も、オーディオスピーカ１６５４、ビデオカメラ１６５６、マイクロフォン１６５８、処理装置１６６０、およびテレビ会議を可能にする処理装置１６６０上で動作するソフトウェアアプリケーション１６６２を含むことができる。第２システム１６５０は、通信システム１６４０を通して第１システム１６１０に接続して該第１システムとデータを送受信するように構成される。

【0079】

第２システム１６５０では、ソフトウェアアプリケーション１６６２は第１の人の顔、頭および肩の３Ｄ表示を摩擦グラジエントマップに変換するように構成されることができ、該マップは、第１の人の体の輪郭、鼻、唇、眉などのエッジなどの３Ｄ形状不連続部がタッチスクリーンビデオディスプレイ１６５２上の摩擦がより大きな領域として表示され得るように摩擦ディスプレイを駆動するために使用されることができる。一実施態様では、ビデオストリーム解析ソフトウェアがソフトウェアアプリケーション１６６２に含まれて、通信システム１６４０を通してストリーミングされている画像の近似３Ｄ形状を判定するために使用されることができる。一実施態様では、ビデオデータストリームを観察することにより画像の３Ｄ形状を近似するソフトウェアアルゴリズムを用いて触覚効果を近似するために画像ピクセルが解析されることができる。一実施態様では、第１の人の体のフィーチャの局所曲率と、第２の人がタッチスクリーンビデオディスプレイ１６０２により表示されている第１の人のビデオ画像を横切って指を走らせるときにタッチスクリーンディスプレイ１６５２の触覚出力装置１６５３により加えられる静電摩擦との間に関係が存在するように第１の人の３Ｄ表示に変換が適用されることができる。

【0080】

このように、テレビ会議呼び出し中、第２の人は手を伸ばして第１の人の体の輪郭、鼻、あご、肩などを感知することができ、本発明の実施態様に従う第２システム１６５０は、本発明の実施態様を持たないシステムより高度の“テレプレゼンス”を伝えることができる。

【0081】

本書において開示された実施態様は、限定をするようには決して意図されていない。例えば、テレビ会議実施態様は、非対称的システムセットアップを示すために提供されている。他の実施態様では、第１システム１６１０と第２システム１６５０とは同一のシステムであって、両方の当事者が、本書に記載された技術の全体へのアクセスを有する。

【0082】

図１７は、本発明の実施態様に従う方法１７００を示す。図１７に示されているように、方法１７００は１７０２から始まる。１７０４で、ディスプレイ上の画像に関連する情報がプロセッサにより受け取られる。１７０６で、該プロセッサにより受け取られた該画像に関連する該情報に関連付けられた摩擦ベース触覚効果マップが該プロセッサにより生成される。１７０８で、ユーザが例えば指またはスタイラスで該ディスプレイとインタラクトするときにユーザに対して触覚効果を生成するために該プロセッサは触覚出力装置へ信号を出力する。ユーザが表示されている画像の３Ｄ表示を感知するように、生成される触覚効果は、ディスプレイ上に表示されている画像に対応する。ディスプレイ上で画像が変化すると、該方法は１７０４に戻ることができる。該方法は１７１２で終了する。

【0083】

図１８は、本発明の実施態様に従う方法１８００を示す。図１８に示されているように、方法１８００は１８０２から始まる。１８０４で、画像を含むビデオストリームが受け取られる。１８０６で、該ビデオストリームが解析され、該ビデオストリームで受け取られた画像の３次元形状が近似される。１８０８で、該画像の該３次元形状に基づく触覚効果が生成される。ビデオストリームが受け取られ続けている限り、該方法は１８０４に戻ることができる。該方法は１８１２で終了する。

【0084】

本発明の実施態様は、タッチスクリーンハンドヘルド装置（モバイル装置、ＰＤＡ、およびナビゲーションシステム）、自動車アプリケーション、ゲームコンソールなどの、種々の電子装置において触覚フィードバックを可能にするために使用されることができる。

【0085】

本書に記載された実施態様は、幾つかの可能な実施形態および例を代表するものであって、必ずしも本開示を特定の実施態様に限定するように意図されてはいない。代わりに、当業者に理解されるであろうようにこれらの実施態様に種々の改変を加えることができる。そのような改変はすべて本開示の趣旨および範囲の中に含まれ、添付されている請求項により保護されるべく意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】