特開 2019-50003 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-50003(P2019-50003A)

(43)【公開日】2019年3月28日

(54)【発明の名称】触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション

(51)【国際特許分類】

   G06F 3/01 20060101AFI20190301BHJP

   G06F 3/041 20060101ALI20190301BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/041 480

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

【外国語出願】

【全頁数】22

(21)【出願番号】特願2018-201534(P2018-201534)

(22)【出願日】2018年10月26日

(62)【分割の表示】特願2016-510805(P2016-510805)の分割

【原出願日】2014年4月25日

(31)【優先権主張番号】61/816,605

(32)【優先日】2013年4月26日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(72)【発明者】

【氏名】モダーレス，アリ

(72)【発明者】

【氏名】クルス‐ヘルナンデス，ファン，マヌエル

(72)【発明者】

【氏名】グラント，ダニー エー．

(72)【発明者】

【氏名】レベスク，ヴィンセント

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555BA05

5E555BA06

5E555BB05

5E555BB06

5E555BC01

5E555CA13

5E555CB12

5E555CB19

5E555DA24

5E555FA00

(57)【要約】      （修正有）

【課題】触覚的に使用可能なタッチスクリーンの適用の範囲を拡大したユーザー・インターフェース装置を提供する。
【解決手段】ユーザー・インターフェース装置であるシステム１００は、ユーザによるタッチ操作を受けるように構成されたタッチ表面を含むフレキシブル層と、フレキシブル層によって被覆され、各触覚セルが触覚出力装置を含む、複数の触覚セルと、ユーザがタッチ表面にタッチするときに、フレキシブル層の変形の量及び／又は速度を感知するように構成されたセンサと、センサからの出力信号を受信し、センサからの出力信号に基づいて触覚制御信号を生成し、複数の触覚セルの少なくとも１つの触覚出力装置に対して触覚制御信号を出力することによって、触覚出力装置に、フレキシブル層の感知された変形に応答して、対応する触覚セルを変形させるように構成されたプロセッサと、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザー・インターフェース装置であって、
ユーザによるタッチ操作を受けるように構成されたタッチ表面を含むフレキシブル層と、
前記フレキシブル層によって被覆された複数の触覚セルであって、各触覚セルは触覚出力装置を含む、複数の触覚セルと、
ユーザが前記タッチ表面にタッチするときに、前記フレキシブル層の変形の量及び／又は速度を感知するように構成されたセンサと、
前記センサからの出力信号を受信し、前記センサからの前記出力信号に基づいて触覚制御信号を生成し、前記複数の触覚セルの少なくとも１つの触覚出力装置に対して前記触覚制御信号を出力することによって、前記触覚出力装置に、前記フレキシブル層の前記感知された変形に応答して、対応する触覚セルを変形させるように構成されたプロセッサと、
を備えるユーザー・インターフェース装置。

【請求項2】

前記プロセッサは、互いに近接して配置された複数の触覚出力装置に対して複数の触覚制御信号を出力して全体として触覚効果を生成するように構成された、請求項１に記載のユーザー・インターフェース装置。

【請求項3】

前記触覚効果がボタン又はジョイスティックをシミュレーションする、請求項２に記載のユーザー・インターフェース装置。

【請求項4】

前記複数の触覚出力装置のうちの少なくとも２つが、対応する触覚セルの異なる量の変形を生成して前記触覚効果を生成する、請求項２に記載のユーザー・インターフェース装置。

【請求項5】

前記プロセッサは、前記センサからの前記出力信号に基づいて複数の触覚制御信号を生成し、当該触覚制御信号を複数の触覚出力装置に順次出力して触覚効果を生成するように構成された、請求項１に記載のユーザー・インターフェース装置。

【請求項6】

前記触覚効果が波又はさざ波をシミュレーションする、請求項５に記載のユーザー・インターフェース装置。

【請求項7】

前記触覚効果がジョイスティックの動きをシミュレーションする、請求項５に記載のユーザー・インターフェース装置。

【請求項8】

前記触覚効果がスライダの動きをシミュレーションする、請求項５に記載のユーザー・インターフェース装置。

【請求項9】

前記プロセッサは、前記触覚制御信号とは異なる第２の触覚制御信号を生成し、当該第２の触覚制御信号を前記触覚出力装置に出力することによって、前記触覚出力装置に振動触覚の触覚効果を出力させるように構成された、請求項１に記載のユーザー・インターフェース装置。

【請求項10】

前記触覚セルが前記タッチ表面において前記ユーザに対して示した抵抗を感知するように構成された圧力センサをさらに備える、請求項１に記載のユーザー・インターフェース装置。

【請求項11】

前記プロセッサは、前記触覚セルが示す前記感知された抵抗に基づいて前記触覚制御信
号を変更するように構成された、請求項１０に記載のユーザー・インターフェース装置。

【請求項12】

ユーザー・インターフェース装置のフレキシブル層の変位の量及び／又は速度を感知する工程と、
前記フレキシブル層の前記感知された変位の量及び／又は速度に基づいて、プロセッサを用いて触覚制御信号を生成する工程と、
前記触覚制御信号に基づいて触覚出力装置を用いて触覚セルを変形する工程と、
を備える方法。

【請求項13】

複数の触覚制御信号を生成する工程と、該複数の触覚制御信号に基づいて複数の触覚出力装置を用いて互いに近接して配置された複数の触覚セルを変形して全体として触覚効果を生成する工程と、をさらに備える請求項１２に記載の方法。

【請求項14】

前記触覚効果がボタン又はジョイスティックをシミュレーションする、請求項１３に記載の方法。

【請求項15】

前記触覚セルのうちの少なくとも２つが異なる量だけ変形されて前記触覚効果を生成する、請求項１３に記載の方法。

【請求項16】

複数の触覚制御信号を生成する工程と、該複数の触覚制御信号に基づいて複数の触覚出力装置を用いて互いに近接して配置された複数の触覚セルを順次変形して全体として触覚効果を生成する工程と、をさらに備える請求項１２に記載の方法。

【請求項17】

前記触覚効果が波又はさざ波をシミュレーションする、請求項１６に記載の方法。

【請求項18】

前記触覚効果がジョイスティックの動きをシミュレーションする、請求項１６に記載の方法。

【請求項19】

前記触覚効果がスライダの動きをシミュレーションする、請求項１６に記載の方法。

【請求項20】

前記触覚制御信号とは異なる第２の触覚制御信号を生成する工程と、前記触覚出力装置を用いて振動触覚の触覚効果を生成する工程と、をさらに備える請求項１２に記載の方法。

【請求項21】

前記触覚セルが前記ユーザー・インターフェース装置のユーザに対して示す抵抗を感知する工程をさらに備える、請求項１２に記載の方法。

【請求項22】

前記触覚セルが示す前記感知された抵抗に基づいて前記触覚制御信号を変更する工程をさらに備える、請求項２１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１３年４月２６日に出願された米国仮特許出願第６１／８１６，６０５号に対する優先権の利益を主張するものであり、この出願の全内容が引用により本明細書に組み入れられる。

【0002】

本発明は、触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーションに関する。

【背景技術】

【0003】

タッチスクリーンの形態の現在のユーザー・インターフェースは、音声、動画、及び一部のケースでは振動触知触覚を用いて、ユーザに対してデジタル情報を表示している。また、現在のタッチスクリーンの実施形態では、インタラクションを行うために絶えず視覚的な注意が要求されることが多い。有形の（すなわち、物理的な）ユーザー・インターフェースの要素は、特にドライブなどの視覚的な要素が占める場面においてはユーザー・インターフェース・インタラクションを促進することができるものの、現在デジタルデバイスにおいて実現されているユーザー・インターフェース・インタラクション及びジェスチャは、概して物理的側面及び現実性の側面が欠けている。

【0004】

触覚的に使用可能なタッチスクリーンの適用の範囲を拡大することが望ましい。例えば、タッチスクリーンの知覚される精細度の向上、及びこのようなタッチスクリーンによって伝達可能な触覚情報の広さ及び深さの拡大などである。また、ユーザー・インターフェース・インタラクション及びジェスチャの忠実度及び現実性を、ユーザー・インターフェース要素のシミュレーションによって向上し、有形かつ効率的なインタラクション／インターフェースを生成してユーザの体験を向上させることが望ましい。

【発明の概要】

【0005】

本発明の一態様によれば、ユーザによるタッチ操作を受けるように構成されたタッチ表面を含むフレキシブル層と、前記フレキシブル層によって被覆された複数の触覚セルであって、各触覚セルは触覚出力装置を含む、複数の触覚セルと、ユーザが前記タッチ表面にタッチするときに、前記フレキシブル層の変形の量及び／又は速度を感知するように構成されたセンサと、前記センサからの出力信号を受信し、前記センサからの前記出力信号に基づいて触覚制御信号を生成し、前記複数の触覚セルの少なくとも１つの触覚出力装置に対して前記触覚制御信号を出力することによって、前記触覚出力装置に、前記フレキシブル層の前記感知された変形に応答して、対応する触覚セルを変形させるように構成されたプロセッサと、を備えるユーザー・インターフェース装置が提供される。

【0006】

一実施形態において、前記プロセッサは、互いに近接して配置された複数の触覚出力装置に対して複数の触覚制御信号を出力して全体として触覚効果を生成するように構成される。

【0007】

一実施形態において、触覚効果はボタン又はジョイスティックをシミュレーションする。

【0008】

一実施形態において、前記複数の触覚出力装置のうちの少なくとも２つが、対応する触覚セルの異なる量の変形を生成して前記触覚効果を生成する。

【0009】

一実施形態において、前記プロセッサは、前記センサからの前記出力信号に基づいて複数の触覚制御信号を生成し、当該触覚制御信号を複数の触覚出力装置に順次出力して触覚効果を生成するように構成された。

【0010】

一実施形態において、触覚効果は波又はさざ波をシミュレーションする。一実施形態において、触覚効果はジョイスティック又はスライダの動きをシミュレーションする。

【0011】

一実施形態において、前記プロセッサは、前記触覚制御信号とは異なる第２の触覚制御信号を生成し、当該第２の触覚制御信号を前記触覚出力装置に出力することによって、前記触覚出力装置に振動触覚の触覚効果を出力させるように構成される。

【0012】

一実施形態において、ユーザー・インターフェース装置は、前記触覚セルが前記タッチ表面において前記ユーザに対して示した抵抗を感知するように構成された圧力センサをさらに備える。一実施形態において、前記プロセッサは、前記触覚セルが示す前記感知された抵抗に基づいて前記触覚制御信号を変更するように構成される。

【0013】

本発明の一態様によれば、ユーザー・インターフェース装置のフレキシブル層の変位の量及び／又は速度を感知する工程と、前記フレキシブル層の前記感知された変位の量及び／又は速度に基づいて、プロセッサを用いて触覚制御信号を生成する工程と、前記触覚制御信号に基づいて触覚出力装置を用いて触覚セルを変形する工程と、を備える方法が提供される。

【0014】

一実施形態において、前記方法は、複数の触覚制御信号を生成する工程と、該複数の触覚制御信号に基づいて複数の触覚出力装置を用いて互いに近接して配置された複数の触覚セルを変形して全体として触覚効果を生成する工程と、をさらに備える。一実施形態において、前記触覚セルのうちの少なくとも２つが異なる量だけ変形されて前記触覚効果を生成する。

【0015】

一実施形態において、前記方法は、複数の触覚制御信号を生成する工程と、該複数の触覚制御信号に基づいて複数の触覚出力装置を用いて互いに近接して配置された複数の触覚セルを順次変形して全体として触覚効果を生成する工程と、をさらに備える。

【0016】

一実施形態において、前記方法は、前記触覚制御信号とは異なる第２の触覚制御信号を生成する工程と、前記触覚出力装置を用いて振動触覚の触覚効果を生成する工程と、をさらに備える。

【0017】

一実施形態において、前記方法は、前記触覚セルが前記ユーザー・インターフェース装置のユーザに対して示す抵抗を感知する工程をさらに備える。一実施形態において、前記方法は、前記触覚セルが示す前記感知された抵抗に基づいて前記触覚制御信号を変更する工程をさらに備える。

【0018】

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

【図面の簡単な説明】

【0019】

以下の図面の構成要素は、本開示の原理の概略を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照符号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

【0020】

【図1】本発明の実施形態にかかるシステムの模式図である。

【0021】

【図2】ユーザー・インターフェースの形態における図１のシステムの実施形態の模式的分解図である。

【0022】

【図3】図２のユーザー・インターフェースの模式的上面図である。

【0023】

【図4A】図２のユーザー・インターフェースの触覚セルの第１の状態の模式的側面図である。

【0024】

【図4B】図４Ａのユーザー・インターフェースの触覚セルの第２の変形状態の模式的側面図である。

【0025】

【図5】図１のシステムのプロセッサの一実施形態を示す。

【0026】

【図6】図２のユーザー・インターフェース装置の触覚セルの一実施形態の模式的側面図である。

【0027】

【図7】図４Ａの触覚セルの触覚出力装置を駆動するための２つの異なる触覚制御信号の時間の関数としての電圧を示す図である。

【0028】

【図8】図４Ａの触覚セルの触覚出力装置を駆動するための単一の触覚制御信号の時間の関数としての電圧を示す図である。

【発明を実施するための形態】

【0029】

図１は、本発明の一実施形態に係るシステム１００の模式図である。図示されるように、システム１００は、プロセッサ１１０、記憶装置１２０、及び、入出力装置１３０を備えており、これらはバス１４０を介して相互に接続されている。一実施形態において、入出力装置１３０は、タッチスクリーン装置１５０、触覚出力装置１６０、及び／又は、システム１００のユーザからの入力を受信するその他の装置、及び、システム１００のユーザに情報を出力する出力デバイスを含み得る。一実施形態において、システム１００は、図１に示された構成要素を全てを１つの装置に組み込んだタッチモバイル又はタブレット式装置の形態のユーザインターフェースであってもよい。

【0030】

タッチスクリーン装置１５０は、任意の好適なユーザインターフェース又はタッチ／接触表面アセンブリとして構成されてもよく、スタイラスや指などのユーザによって制御される装置を用いる物理的な相互作用のために構成されていてもよい。実施形態によっては、タッチスクリーン装置１５０は少なくとも１つの出力装置および少なくとも１つの入力装置を備えている。例えば、タッチスクリーン装置１５０は、例えば、画像を表示するように構成された視覚ディスプレイ１５２及びタッチセンサー式スクリーンと、その表面に重ねて設けられる少なくとも１つのセンサ１５４を備え、ユーザの指又はユーザが制御するスタイラスからの入力を受信する。視覚ディスプレイ１５２は、高解像度ディスプレイ・スクリーンを含み得る。

【0031】

センサ１５４は、ユーザとタッチスクリーン装置１５０との間のインタラクションにおける変形量を計測するための歪みゲージセンサ、タッチスクリーン装置１５０に印加された力／応力を測定するための感圧抵抗（「ＦＳＲ」）センサ、ユーザの単一又は複数のタッチインタラクションにおけるタッチ入力の位置を検出するためのマルチタッチ・タッチセンサ、及び／又は各タッチ位置の下に印加される圧力を計測するためのマルチタッチ圧力センサを含んでもよい。一部の実施形態において、センサ１５４は環境条件を把捉するための温度又は湿度又は気圧センサ、装置の運動、速度、加速度、及び／又は方位の特性を明らかにするための加速度計又はジャイロスコープ又は磁気計、又はユーザの音声命令又は環境音声情報を把捉するためのマイクロフォンを含んでもよい。さらに、センサ１５４は他の装置と無線で情報の送受信を行うための無線送信機を含んでもよい。

【0032】

様々な実施形態において、触覚出力装置１６０は、システム１００のユーザがシステム１００の少なくとも一部に接触している間に、当該ユーザに触覚フィードバックを提供するように構成され得る。例えば、触覚出力装置１６０は、ユーザが、タッチスクリーン装置１５０及び／又はシステム１００別の部分、例えば、少なくとも入出力装置１３０を収容する筐体に接触している時に、触覚効果を与えるべく、タッチスクリーン装置１５０に触覚フィードバックを提供してもよい。以下に詳細に記載するように、システム１００とのインタラクションが発生する時のユーザエクスペリエンスを向上させるのに、触覚効果を使用してもよい。

【0033】

触覚出力装置１６０によって提供される触覚フィードバックは、例えば、変形、運動感覚、振動、静電摩擦または超音波摩擦等の触覚効果を生成する任意の方法で生成され得る。一実施形態において、触覚出力装置１６０は、非機械的装置又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又は、熱的効果を提供する装置、又は、エアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。触覚出力装置１６０が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維（「ＭＣＦ」）アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または振動触知フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。異なる触覚効果を生成するために、複数の触覚出力装置１６０を用いてもよい。

【0034】

プロセッサ１１０は、汎用又は特殊用途プロセッサ、あるいはシステム１００の動作及び機能を管理又は制御するマイクロ・コントローラである。例えば、プロセッサ１１０は、触覚効果を提供するために、触覚出力装置１６０への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。プロセッサ１１０は、プロセッサ１１０が受信した又は決定した触覚制御信号に基づいてどのような触覚効果が生成されるべきか、当該触覚効果がどのような順序で生成されるべきか、及び、どの程度の大きさ、頻度、持続時間の触覚効果とすべきか、及び／又は、触覚効果のその他のパラメータについて、所定の因子に基づいて決定してもよい。また、プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１６０を駆動するのに使用することができるストリーミング・コマンドを提供するように構成されてもよい。ある実施形態では、プロセッサ１１０は複数のプロセッサを含み、当該プロセッサの各々がシステム１００の内部で特定の機能を果たすように構成されている。プロセッサ１１０についての詳細は後述する。

【0035】

メモリデバイス１２０としては、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどのいかなる組合せをも記憶し得るように構成されている。より具体的には、記憶ユニットは、触覚効果のプロフィール、触覚出力装置１６０がいかにして駆動されるかを指示する命令又は触覚効果を生成するためのその他の情報を含む。

【0036】

図２は、ユーザー・インターフェース装置２００の形態における、図１のシステム１００の一実施形態を示す。図示するように、ユーザー・インターフェース装置２００はタッチスクリーン装置２１０、ディスプレイ２２０、及び筐体２３０とを備える。一実施形態において、タッチスクリーン装置２１０は実質的に透明な材料で構成されており、これによりディスプレイ２２０によって出力される画像がタッチスクリーン装置２１０を通して見られるようになっている。ディスプレイ２２０は陰極線管（「ＣＲＴ」）、液晶ディスプレイ（「ＬＣＤ」）、発光ダイオード（「ＬＥＤ」）ディスプレイ、プラズマディスプレイ、フラットパネルディスプレイ、フレキシブルディスプレイなど、任意の種類のディスプレイを用いることができる。タッチスクリーン装置２１０及びディスプレイ２２０は、筐体２３０内で結合して設置されてもよい。一実施形態において、タッチスクリーン装置２１０及びディスプレイ２２０は同一のユニット又は装置に統合されてもよい。一実施形態において、ユーザー・インターフェース装置２００はディスプレイ２２０を含まなくてもよい。一実施形態において、ユーザー・インターフェース装置２００は可撓性を有してもよく、例えば、永久に型に合わせた状態、屈曲、折りたたみ、又は巻き取りが可能な状態であってもよい。

【0037】

一実施形態において、タッチスクリーン装置２１０はフレキシブル層４０２（図４Ａに示す）及びアレイ状又はグリッド状に配列された複数の触覚セル２１２を含む。タッチスクリーン装置２１０の模式的上面図である図３に示すように、触覚セル２１２は境界２１４によって分画される。一実施形態において、触覚セル２１２は境界によって分画されずに相互に接していてもよい。触覚セル２１２の各々は入力に応答する触覚効果を他の触覚セル２１２とは独立して提供するように構成される。例えば、タッチスクリーン装置２１０上で複数の接触が実質的に同時に押下された場合、触覚セル２１２は複数の接触に応答して複数の触覚効果を生成するように構成されてもよい。この複数の接触は１本の指又は複数本の指で行われてもよい。各々の触覚セル２１２のサイズの寸法は、５ｍｍ×５ｍｍ未満、又は４ｍｍ×４ｍｍ未満、又は３ｍｍ×３ｍｍ未満、又は２ｍｍ×２ｍｍ未満、又は１ｍｍ×１ｍｍ未満となるように構成されてもよい。

【0038】

図４Ａは触覚セル２１２の１つの一実施形態の模式的側面図を示す。触覚セル２１２は触覚出力装置４１０と、該触覚出力装置４１０を電源及び前述のプロセッサ１１０と接続する電気コネクタ４１１とを備える。フレキシブル層４０２は、装置のユーザから入力を受けるように構成されたタッチ表面４０３を備え、図に示すように触覚出力装置４１０を覆っている。一実施形態では、フレキシブル層４０２は触覚セル２１２のアレイ全体を覆ってもよい。一実施形態では、触覚セル２１２の各々は隣接する触覚セル２１２のフレキシブル層４０２とは分離したフレキシブル層４０２を含んでもよい。一実施形態では、上述のセンサ１５４の少なくとも１つがフレキシブル層４０２に埋め込まれるか又はその他の方法でフレキシブル層４０２に結合されてもよく、これによって当該センサ１５４はユーザによるタッチ表面４０３におけるタッチ入力を検出できる。

【0039】

触覚出力装置４１０は、電源によって通電されたときにフレキシブル層４０２の変形を生じさせる任意の触覚出力装置を含んでもよく、例えば、図１の触覚出力装置１６０について上述した装置のいずれかであってもよい。例えば、触覚出力装置は、微小流体ディス
プレイ、圧電材料又は複合圧電材料、電気活性高分子（「ＥＡＰ」）、形状記憶合金、微小電気機械システム（「ＭＥＭＳ」）装置（ＭＥＭＳポンプを含む）、スマートゲル、エレクトロマグネトレオロジー流体、熱流体ポケット、共振装置、可変多孔性膜、層流変調装置、及び／又は電磁アクチュエータを含んでもよい。

【0040】

後述するようにプロセッサ１１０が触覚出力装置４１０に対して触覚出力信号を出力するとき、触覚出力装置４１０及び触覚セル２１２の形状は図４Ｂに示すように変形してもよい。触覚セル２１２のアレイはモバイル及びタブレット装置のタッチスクリーンに統合され、各触覚セル２１２は、準静的な変形から高周波振動までの幅広い周波数に亘って触覚効果を表示（すなわち出力）するように構成される。後述するように、触覚セル２１２の機械的な組み立て構成及び配置は、力の蓄積と隣接する触覚セルの変位とを考慮して、プログラム可能でスムーズに浮き上がり（突出）又は沈み込む（陥凹）機構、すなわち、自由形状変形を生成する。

【0041】

図５は、プロセッサ１１０の一実施形態をより詳細に例示している。プロセッサ１１０は、一又は複数のコンピュータ・プログラム・モジュールを実行するように構成されてもよい。当該一又は複数のコンピュータ・プログラム・モジュールは、センサモジュール１１２、判定モジュール１１４、触覚出力装置制御モジュール１１６、及び／又はこれら以外のモジュールの一又は複数を備えることができる。プロセッサ１１０は更に、メモリデバイス１２０と同じであってもよい電子記憶装置１１８を備えてもよい、又は、メモリデバイス１２０に加えて当該電子記憶装置を備えてもよい。プロセッサ１１０は、モジュール１１２、１１４、及び／または１１６を実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び／またはファームウェア、及び／またはプロセッサ１１０の処理能力を構成する他の機構を用いてもよい。

【0042】

図２においてモジュール１１２、１１４及び１１６は単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１１０が複数の処理装置を含む実施形態においては、モジュール１１２、１１４及び／又は１１６のうちの一又は複数が他のモジュールから離れて配置されてもよい。以下の異なるモジュール１１２、１１４、及び／または１１６によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール１１２、１１４、及び／または１１６はいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、モジュール１１２、１１４、及び／または１１６のうちの一または複数を取り除き、その機能の一部またはすべてを、モジュール１１２、１１４、及び／または１１６のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール１１２、１１４、及び／または１１６のうちの１つに帰せられる機能の一部またはすべてを実行する１つまたは複数の追加的なモジュールを実行するように、プロセッサ１１０が構成されてもよい。

【0043】

センサモジュール１１２は、センサ１５４がシステム１００又はユーザー・インターフェース装置２００のユーザからの入力を検出すると生成されるセンサ１５４からの入力信号を受信するように構成される。複数のセンサが存在する実施形態では、センサモジュール１１２は、複数のセンサからの入力信号を受信及び処理するように構成される。センサモジュール１１２は、入力信号の強度を、所定の閾値強度と比較することによって、検出された入力が、意図した入力なのか又はタッチスクリーン装置１５０，２１０に意図せず接触しただけなのかを判定するように構成され得る。この場合、所定の閾値強度は、意図した入力に対応する。センサモジュール１１２はまた、更なる処理のために信号を判定モジュール１１４へと送信するように構成される。

【0044】

判定モジュール１１４は、入力をセンサ１５４に供給する時に、ユーザが何を意図した
かを判定するように構成される。例えば、ユーザが、タッチスクリーン装置１５０，２１０のある場所をタッチする、又は、タッチスクリーン装置１５０，２１０に対して特定のジェスチャを行って、システム１００が特定の機能を実行すべきことを示すことが考えられる。判定モジュール１１４は、複数の予め定められたジェスチャ及びタッチスクリーン装置１５０，２１０上の複数のタッチロケーションをライブラリとしてプログラムしていてもよく、ユーザがタッチスクリーン装置１５０，２１０の特定の場所をタッチすると、又は、ユーザがタッチスクリーン装置１５０，２１０に対してあるジェスチャを行うと、判定モジュール１１４が、対応する出力を判断してもよい。加えて、判定モジュール１１４は、触覚出力装置制御モジュール１１６に信号を出力して、以下に記載する発明の実施形態に係る触覚効果を、ユーザに提供してもよい。

【0045】

触覚出力装置制御モジュール１１６は、判定モジュール１１４からの出力信号を受信して、判定モジュール１１４が生成する信号に基づいて、触覚出力装置１６０によって生成されるべき触覚効果を判定するように構成される。以下に詳細に説明されるように、触覚効果を判定することは、例えば、制御ボタンなどの有形のユーザー・インターフェース要素を拡張する触覚効果の振幅、周波数、期間等を含む１つ又は複数のパラメータ及び触覚効果の種類を判定することを含んでもよい。

【0046】

一実施形態において、ユーザー・インターフェース２００は、図６にその一部を示すインピーダンスディスプレイ６００を含んでもよい。このインピーダンスディスプレイ６００は触覚セル２１２のアレイの圧力センシング、変形／変位センシング、変形速度／変位速度、及び／又は変形表示機能を用いて、タッチスクリーン装置２１０のディスプレイ２２０によって表示されている仮想環境内のオブジェクト又は媒体の機械的インピーダンス／堅さをシミュレーションする。一実施形態において、インピーダンスは位置フィードバックによってループを閉じる力制御スキームを通して出力されるが、これについては後に詳述する。このような実施形態によって、ゲームアプリケーション、拡張現実アプリケーション、医療アプリケーション、ハンドシェークコミュニケーションなどにおいて、ハード対ソフトオブジェクトインタラクションを表示する能力を提供できる。

【0047】

ほとんどの物理オブジェクトの機械的特性は、変形に対して示された抵抗の観点で、堅さ（ｋ）及び減衰（λ）パラメータを用いて示すことができる。例えば、本発明の一実施形態において、ユーザの指のインタラクションは各瞬間においてフレキシブル層４０２が受ける変形の量（「ｘ」で表す）及び当該変形の速度（「ｖ」で表す）によって記述することができる。本実施形態において、変形の量（ｘ）及び／又は変形の速度（ｖ）はフレキシブル層４０２に埋め込まれるか又はその他の方法でフレキシブル層４０２に結合された歪みゲージなどの変位センサ６０２によって計測されてもよい。ユーザに示される抵抗（「Ｆｒ」で表す）は、フレキシブル層４０２に埋め込まれるか又はその他の方法でフレキシブル層４０２に結合された圧力センサ６０４を用いて計測されてもよい。ある材料をシミュレーションするために、ユーザの動きに対して示される望ましい抵抗（「Ｆ」で表す）は以下の式（１）に従う。
Ｆ＝ｋ×ｘ＋λ×ｖ （１）
本実施形態において、ユーザに示される抵抗（Ｆｒ）が、式（１）に従ってユーザの動きに対して示される望ましい抵抗（Ｆ）に実質的に等しくなるように、プロセッサ１１０がプログラムされてもよい。例えば、Ｆの値がＦｒの値よりも小さい場合、プロセッサ１１０は触覚出力装置制御モジュール１１６を介して触覚出力装置４１０に触覚制御信号を出力して、例えば、触覚出力装置４１０に印加する電圧を上げることによってＦ＝Ｆｒとなるまでフレキシブル層４０２の抵抗を上げてもよい。同様に、Ｆの値がＦｒの値よりも大きい場合、プロセッサ１１０は触覚出力装置４１０に対して触覚制御信号を出力し、例えば、触覚出力装置４１０に印加する電圧を下げることによってＦ＝Ｆｒとなるまでフレキシブル層の抵抗を下げてもよい。圧力センサによるＦｒの計測、及び変位センサによる変
位の量（ｘ）及び／又は変位の速度（ｖ）の計測が継続して行われ、さらにはＦの値が算出されるが、これらはプロセッサ１１０の判定モジュール１１４によって実行される閉じた制御ループ内で完結している。一実施形態において、ｋ及びλの値は定数であり望ましい抵抗感に基づいてもよい。一実施形態において、ｋ及びλの値は各瞬間における変位の量（ｘ）及び／又は変位の速度（ｖ）の関数であってもよい。

【0048】

例えば、一実施形態において、ディスプレイ２２０が蜂蜜の画像を表示している場合に、蜂蜜の感覚をシミュレーションすることが望ましい。蜂蜜は粘弾性という特性を有するため、変形の速度が比較的速い場合には出力する抵抗の量を増加させ、変形の速度が比較的遅い場合には出力する抵抗の量を低減することが望ましく、これによってユーザは自身が蜂蜜を押している感覚を得ることができる。プロセッサ１１０は、変形速度（ｖ）の関数としての堅さ（ｋ）及び減衰（λ）係数を用いて、ユーザがより現実的な効果を体験できるようにプログラムされてもよい。他の例として、プロセッサ１１０は、ユーザがタッチ表面４０３を押すときにディスプレイ２２０によって表示されるオブジェクトの物理的な状態に生じる変化をシミュレーションするようにプログラムされてもよい。例えば、表示されている物品が脆い場合、ユーザがタッチ表面４０３を押し始めるときに、ユーザに示される抵抗は硬いオブジェクトをシミュレーションするために高くなるが、このオブジェクトが「壊れた」とき、抵抗は急激に低減しオブジェクトの破壊をシミュレーションする。

【0049】

一実施形態において、フレキシブル層４０２のタッチ表面４０３は、物理的に現実性のあるユーザー・インターフェース機構、例えば、ボタン又はジョイスティックをシミュレーションしてもよく、これらは図４Ｂに示すようにタッチ表面４０３から現れる。ユーザはタッチ表面に接する方向にジョイスティックを動かしてもよい。本実施形態において、プロセッサ１１０は触覚出力装置４１０を介して、タッチ表面４０３に平行なユーザの動きに対する抵抗力の形態で、プログラム可能な運動感覚の触覚を示すようにプログラムされてもよい。上述の実施形態と同様に、所定の堅さ（ｋ）及び減衰（λ）がジョイスティックの操作と関連付けられてもよい。変形の量（ｘ）及び／又は変形の速度（ｖ）は埋め込まれた変位センサ６０２を用いて計測されてもよく、またユーザに対して示される抵抗（Ｆｒ）は圧力センサ６０４を用いて計測されてもよい。ユーザに対して示される計測された力（Ｆｒ）が上述の式（１）で算出されたユーザに対して示される望ましい力Ｆよりも小さい場合、プロセッサは例えば、上述のように触覚出力装置４１０に印加する電圧を増加させてＦをＦｒと一致させることによって抵抗を増加させてもよく、またその逆を行ってもよい。

【0050】

一部の実施形態において、触覚セルのサイズによっては、ユーザはタッチ表面４０３の単一の触覚セル２１２の真上ではなく、境界２１４の上などの複数の触覚セル２１２の間、又は複数の触覚セル２１２の上の位置に触れてもよい。このような状況で、プロセッサ１１０は適切な補間技術を用いて、ユーザが単一の触覚セル２１２の真上を操作しているという感覚を再現してもよい。例えば、ユーザの指が２つの触覚セル２１２の間に置かれているとき、触覚出力機能はこれら２つの触覚セル２１２の触覚出力装置を部分的に駆動してユーザが単一のセル２１２の上を操作しているという感覚を再現してもよい。この実施形態によって、向上した知覚可能な触覚精細度をユーザに提供することができる。さらに、この実施形態によって、指よりも細かいレベルでの情報表示のためのセル間移動効果、及び例えば肌を伸ばす効果を表示するためのカスタマイズされた変形機構サイズなどが可能になる。

【0051】

一実施形態において、プロセッサ１１０は隣接する複数の触覚セル２１２の触覚出力装置４１０を連続して制御することで、動きや流れの感覚が示され、物理的な波に似た感覚が生成されるようにプログラムされてもよい。例えば、ユーザがタッチ表面４０３に触れ
指をタッチ表面４０３を横切るように滑らせた場合、プロセッサ１１０は感知された接触に応答して触覚制御信号を生成し、複数の触覚セル２１２の触覚出力装置４１０が最初の接触に対応する位置から接触の最後に対応する位置まで順次駆動され、これによりユーザはオブジェクトがタッチ表面を横切って連続的に動いているように感じる。一実施形態において、波の形状及び波の移動速度は、タッチすくリーン装置２１０によってシミュレーションされている物質の特性の関数であってもよい。一実施形態において、タッチ入力の位置を取り囲んで配置された複数の触覚出力装置４１０を順次タッチの位置から動かすことによって、さざ波を生成してもよい。このように複数の触覚出力装置４１０を連続的に駆動することによって、流れるような動き、進む波、及び／又はさざ波を生成することができ、これによりディスプレイ２２０上での回転及び並進運動を拡大し、例えば渦巻き又は波紋を生成してその中心がイベント又は通知の発生源として識別されるようにすることができる。

【0052】

一実施形態において、プロセッサ１１０はスーパーインポーズされた触覚制御信号を用いて触覚セル２１２のアレイを制御するように構成されてもよく、フレキシブル層４０２が特定の位置で運動感覚的に変形し、同時に振動触覚的刺激を提供するようになっている。例えば、一実施形態において、プロセッサ１１０は少なくとも１つの触覚セル２１２の触覚出力装置４１０に対して触覚制御信号を出力して運動感覚的変形によりボタンを生成し、その後生成されたボタンに対応するフレキシブル層４０２の位置をユーザが押したことをセンサが感知したとき、プロセッサ１１０は触覚出力装置４１０に対してさらなる触覚制御信号を出力して振動触覚的効果によるクリック確認を生成する。

【0053】

一実施形態において、プロセッサ１１０が出力した触覚制御信号は異なる特性を有する２つの成分からなる。第１の成分として、図７に示すように、低周波数かつ大きさが大きい正弦波７１０が生成され、これは単独で出力された場合には各触覚セル２１２に低周波変形を生じさせ、これにより触覚セル２１２は中心部が上下に動作する。第２の成分として、高周波かつ大きさが小さい信号７２０が生成され、これは単独で出力された場合には触覚セル２１２内に高周波振動を生じさせ、振動触覚的フィードバックとして知覚される。図８に信号８１０として示すように、触覚出力信号が低周波かつ大きさが大きい正弦波７１０と高周波かつ大きさが小さい信号７２０との組合せである場合、触覚セル２１２は運動感覚的な触覚変形と同時に振動触覚的触覚を示す。

【0054】

一実施形態において、複数の触覚セル２１２を用いて、複数の入力に応答する複数出力のアプリケーションのための分離された振動効果を生成してもよい。一実施形態において、複数の触覚セル２１２を用いてギターアプリケーションをシミュレーションし、その中で弦に関連付けられたマクロ変形と高周波（マイクロレベル）振動を示してもよい。

【0055】

一実施形態において、触覚セル２１２のアレイを用いて有形のタッチスクリーンキーボードを物理的にシミュレーションし、タッチスクリーンのモバイル及びタブレット装置におけるテキスト入力／キーボードインタラクションを物理的に拡大してもよい。つまり、触覚セル２１２のアレイを用いて、テキスト入力アプリケーションにおいてキーボードの各キーとキー間の縁部を物理的に表示してもよい。その他の有形の機構をシミュレーションしてキー表示を拡大してもよい。例えば、物理的なキーボードにおけるようにＦキーとＪキーに触覚的なマーキングを行ってタイピングをしやすくしてもよく、又は修飾キー（ＣＴＲＬキーなど）を押下して状態で、所定の機能を有するいずれかのキーを触覚的にハイライトしてもよい（ＣＴＲＬ＋Ｃ、ＣＴＲＬ＋Ｂ、ＣＴＲＬ＋Ｖなど）。各キーに関連付けられた移動ストローク及び力プロファイルを調整して実際のボタンと同じ形状、行程、及び力プロファイル有するようにし、実際のキーボードとのインタラクションと比較してテキスト入力／タイピング体験の忠実度及び正確性を向上させてもよい。さらに、例えば親指に対して丸められるなど、キーボードがより人間工学的になるようにキーの形状が
形成されてもよい。

【0056】

一実施形態において、触覚セル２１２のアレイを用いてユーザと項目のリストとのインタラクションを向上させてもよい。この場合、スクロールするリスト又は静止したリスト内で各項目を浮かせる又は沈ませることによって選択を容易にし、現実性を向上させることができる。例えば、静止したリスト内の各項目を浮かせてユーザの指先が項目間をスライドするような移動の感覚を指先に生じさせてもよい。さらに、「お気に入り」のようなマーキングされた項目は異なる形状、手触り、又は振動触覚フィードバックを有し、また項目のグループ（カテゴリ、アルファベットのグループなど）の間の移動を浮き上がった又は沈み込んだ線などの明瞭な特徴によってハイライトしてもよい。類似の変形をスクロールするリストに適用し、リストに軽く触れて項目がスライドしていくのを感じることで形状を感じ取ることができるようにしてもよい。

【0057】

一実施形態において、触覚セル２１２のアレイを用いて仮想環境内のオブジェクトの操作を物理的に拡張して容易にできるようにしてもよく、これによりユーザは当該オブジェクトに「結びつけられた」突起又は凹部と物理的にインタラクションすることが可能になる。このような能力により、現実世界のオブジェクトとのインタラクションを行う場面と類似の直感が提供されるため、インタラクションがより現実的なものになる。さらに、このようなインタラクションに関連付けられた力プロファイルは上述のようにプログラム可能であり、これによってオブジェクト及びその特性についての幅広いデータを表示可能な触覚的に操作できるより豊かなユーザー・インターフェースを可能にする。この実施形態により改善されるユーザーインタラクションの例には、何らかのユーザー・インターフェース要素に重ねられかつ結び付けられた突起（又は凹部）を動かす／押す操作を含むが、これには限定されない。サイズ変更ハンドルのような小型のユーザー・インターフェース・ウィジェットは、一旦変形するとしばしば指によって視覚的に遮られるため、タッチ運動感覚的フィードバックによって検出及び操作を行ってもよい。類似の例において、ユーザはデジタル画像の縁部を、例えば、その形状がこぼれ出ることなく満たされる（すなわち、仮想的に色を塗られる）ように、触れる／調べることができる。指が縁部を遮る場合でも同様である。他の例として、ドラッグされたオブジェクトと画面上のその他のコンテンツとの間のインタラクションの表示は、本発明の実施形態を介して感じられてもよい。例えば、浮き上がったアイコンがウィンドウの縁の上を動くときには、その浮き上がったアイコンを通して動く線が感じられてもよい。類似の例において、ユーザがオブジェクトをドラッグする間、このオブジェクトが障害にぶつかりそれ以上先に動かせなくなってもよい。本発明の実施形態はテキスト操作とともに用いられてもよい。例えば、一片のテキスト上に変形機構を重ねることで、テキスト操作が容易になり、テキストのインタラクションにおける視覚的妨害の問題を改善する。またテキスト上に重ねられた変形機構と物理的にインタラクションすることによって、移動、コピー、及び貼付けなどの操作を行うことができる。同じ機能は仮想オブジェクトがそれ自身で動く場合（例えば、仮想重力の影響下で）に用いられてもく、これによりユーザはそのオブジェクトがその方向に動くのを感じることができる。

【0058】

一実施形態において、触覚セル２１２のアレイを用いてタッチスクリーン装置２１０内の物理コントローラをシミュレーションしてもよい。例えば、変形機構を平坦なタッチ表面４０３から浮かび上がらせて、Ｄ−Ｐａｄなどの標準的な物理的ユーザー・インターフェースを表現してもよい。触覚セル２１２のアレイは単にＤ−Ｐａｄの物理的な形状をシミュレーションするだけでなく、現実のコントローラとインタラクションしているときのユーザの体験を再現することができる。例えば、Ｄ−Ｐａｄの左側が押下されたとき、ユーザの指の下にある触覚セル２１２は下に移動し、一方で右側の触覚セル２１２は上に移動する。これにより実際のＤ−Ｐａｄコントローラとのインタラクションと類似したインタラクションを形成する。一実施形態において、ユーザがインタラクションできる浮かび
上がらせた機構を提供して、例えば２次元（「２Ｄ」）ジョイスティック、インタラクティブゲームコンソール、又はラップトップコンピュータに見られるトラックポイントをシミュレーションしてもよい。

【0059】

一実施形態において、触覚セル２１２のアレイを用いて、現実の生活においてみられる感触などの物理的な感触をマクロスケールでシミュレーションしてもよい。触覚セル２１２の小さい変形を用いて、砂からガラスにわたる感触を生成してもよい。

【0060】

一実施形態において、触覚セル２１２のアレイを用いて視覚的な考察をせずに行われるジェスチャを容易にし触覚フィードバックを提供するための変形を提供することにより、非視覚的なユーザー・インターフェース・インタラクション及びジェスチャを可能にしてもよい。例えば、ユーザの指をある目標位置に向けてガイドする経路をタッチスクリーン２１０上に生成し、その後目標地点に指が到達したときに指の動きを遮ることによって、指のガイダンスを容易にしてもよい。より一般的には、本発明の実施形態はあるグリッド又は形状までユーザが「素早く動く（ｓｎａｐ）」ことを可能にしてもよい。例えば、描画アプリケーションにおいて、このような機能は形状のトレースを生成してもよいが、同時にユーザが望めば該形状をなぞらないことも可能である。ユーザー・インターフェース装置２００が電話である実施形態において、例えば、電話に応答する、電話を切る、無線ヘッドセットに転送するなどの目的機能を表す変形機構を調べることによって、ユーザは自身のポケット内の電話とインタラクションすることで着信に応答することができる。同様に、ガイドするためのタッチスクリーンのシミュレーションされた有形の機構を感じることができれば、タッチスクリーンを見なくても所定のメッセージを送信することができる。

【0061】

上述のプログラム可能な変形ディスプレイを用いて新奇なジェスチャインタラクションを幅広く可能にしてもよく、これによってより豊かなジェスチャ言語がもたらされる。例えば、ユーザはフレキシブル層４０２が粘土又はその他の類似の材料でできているかのようにタッチ表面４０３を操作することによって空間情報を入力してもよい。一実施形態において、ユーザは地図内の標高を操作／変更してもよく、画像内の明るさを操作／変更してもよく（画像の分離された部分に対して局所的に行ってもよく、また画像全体に対して行ってもよい）、２次元表面にマッピングされたパラメータを操作することによって音声信号内に歪みを生成してもよく、又は例えば、文書などの内容にマーキングを施すためにシミュレーションされた粘土内にマークを生成してもよい。

【0062】

本発明の実施形態を用いて、変形によってフリースペースジェスチャを触覚によって拡大してもよい。例えば、一実施形態において、ユーザー・インターフェース装置２００を６自由度で動かしてもよく、また様々な情報を表現する変形触覚効果を出力してもよい。例えば、ユーザはユーザー・インターフェース装置２００を左から右に振るか、又はユーザー・インターフェース装置２００を不連続な角度で回転させてもよく、またタッチスクリーン装置２１０を介して衝突触覚効果を出力するか又は変形触覚の感触を示してもよい。一実施形態において、ユーザー・インターフェース装置２００よりも大きいオブジェクトとのインタラクションが触覚セル２１２のアレイを用いて可能になる。タッチスクリーン装置２１０上の変形によって、ユーザはオブジェクトの部分に関する触覚情報を受け取るだけで仮想オブジェクトを調べる又は感じる能力を得ることができる（空間的な位置及びつかむ方位によって、表示される情報は異なる）。手で球面を調べるのと同様に、触覚セル２１２のアレイは仮想オブジェクトの形状を示してもよく、これは特定の位置でまるでユーザがそれに触れているかのように手で感じることができる。一実施形態において、柔らかさ及び温度などのその他の特性をタッチスクリーン装置２１０によって示してもよい。

【0063】

あるジェスチャによる表現／コミュニケーションにおいては、変形機構の位置、力学、及び動作パターン（浮上／沈下）を、インタラクションにおけるユーザの指の場合と正確に等しくする必要はない。例えば、オブジェクトを操作する場面において、ユーザはオブジェクトを選択し（その結果該オブジェクト上に突起が生成され）、その後タッチスクリーン装置２１０上の他の点をタップし、そこに第２の突起が表示される。次にユーザはオブジェクトを画面を横切って押すために、配列された（ｃｏｌｌｏｃａｔｅｄ）突起（オブジェクトの上にあるもの）を用いるか、又は配列されていない（ｕｎ−ｃｏｌｌｏｃａｔｅｄ）突起を用いるかを選択する。他の例において、オブジェクトの画像の上に現れた単一の突起上に進む代わりに、ユーザは自身の指を画像の境界線に沿って配置された２つ以上の突起の間に置いて、それらの突起をオブジェクトとともに四方に移動させる。

【0064】

一実施形態において、触覚セル２１２のアレイは少なくとも１つのプログラム可能な変形可能「ボタン」によって様々な内容／メタデータを表示してもよい。このような物理的ボタンは様々な形状、形状因子、移動ストローク、及び触覚力プロファイルを採用してもよく、これによってカスタマイズされたボタンのインタラクション及び確認の体験が可能になる。特定の力プロファイル（抵抗、力学的慣性、デテントなど）又はボタンのクリックプロファイル（一回の押下における）を用いて、ボタンとインタラクションしているユーザに対して様々なメタデータを伝達してもよい。類似のアプリケーションの例には、要求された未決アクションを示す点滅ボタン、アクティブでなければ押下できない（又は沈み込んだ）ボタン、又は形状によってアフォーダンス（ａｆｆｏｒｄａｎｃｅ）又はインタラクションテーマを示すボタンを含む。例えば、ボタンの傾斜した形状は、そのボタンが横向きに押されるものであることを示してもよい。一実施形態において、多機能ボタンは形状を変えて新しい機能を示すように構成されてもよい。例えば、ユーザがフラットボタンを押下するとき、該ボタンは丸められてスライダーとして使用できることを示してもよい。ユーザはその後表面に沿ってこのボタンをスライドさせることができる。

【0065】

一実施形態において、触覚セル２１２のアレイを用いて上述のタッチスクリーンのフルキーボードによってコンテンツ情報を表示してもよい。例えば、近接感知を用いる触覚キー拡大を提供してもよく、これによりフレキシブル層４０２にある又はその中にある近接センサがタッチスクリーン装置２１０上のあるキーに指が近づく動きを感知したとき、指の標的ポイントに近いキーのキー／セットのみが浮き上がる（すなわち、変形を用いた触覚によって示される）。一実施形態において、テキスト予想に基づいて、次に叩かれる可能性が最も高いキーのみが物理的に変形されてもよい。ユーザの好みに応じて、プログラム可能な変形によってキーの縁部がより硬く又はより柔らかくなり、ボタンの形状又はコンプライアンスが変化してもよい。一実施形態において、使用中のユーザー・インターフェースにおける便利な機能を有するキーは浮き上がり、直接便利な機能を有さないキー及びアクティブでないキーは沈み込んでもよい。

【0066】

一実施形態において、ディスプレイ２２０によって表示される視覚的コンテンツはある知覚データ又はメタデータによって拡大されてもよく、ここで付加的／拡大化情報は、ディスプレイ２２０によって表示される画像の上に重ねられたタッチスクリーン装置２１０の変形という形で示される。例えば、このような付加的情報は画像の「視覚的な」特徴であってもよく、それは例えば、コントラスト、明るさ、広範囲写真撮影術などである。

【0067】

一実施形態において、変形機構の形態の「非視覚的な」情報（例えば、突起、凹部など）を用いて、仮想環境内の（例えば、映画ゲームなどの）ある特徴を拡大してもよい。例えば、ゲームアプリケーションにおいて、ゲームのキャラクターの装備、健康状態、又は地図上に配置された軍隊の位置及び規模を変形によって拡大（ハイライト）してもよい。このような変形機構は、ある触覚感覚を標的キャラクターと関連付けることに加えて、その視覚的な外見を変更してもよい。後者は例えば、触覚セル２１２のアレイがキャラクタ
ーの上に凹形又は凸形を形成し、スクリーンの有効な光学特性を局所的に変化させることによって行われてもよい。この方法を用いて、仮想環境内のいずれかの領域（キャラクター）がぼやける／薄くなるように表示し、その他がより明るく／強調して表示されるようにすることが可能である。一実施形態において、ユーザー・インターフェース装置２００のある領域を用いて、触覚セル２１２による分離された振動をタッチスクリーン装置２１０の全体に生成することにより、ユーザに異なる音声データ／サウンドを示してもよい。

【0068】

一実施形態において、タッチスクリーン装置２１０の全体をブライユディスプレイに変えることによって、視覚障害者のためのブライユ点字を表示してもよい。各ブライユセルは文字を現し、矩形状の形状要素内に配列された２個×４個のドットのアレイで構成され、ユーザはブライユセルのサイズ等の特性を選択してもよい。一実施形態において、視覚障害者のための「触覚グラフィック」をタッチスクリーン装置２１０を用いて提供してもよい。

【0069】

一実施形態において、触覚セル２１２のアレイを介した変形に基づく触覚を用いて、非視覚的にユーザに情報を表示してもよく、これによってタッチスクリーン装置２１０を視覚的に調べる必要性をできるだけ低減することができる。例えば、検索タスクの結果（テキスト、ウェブページなど）を浮上／沈下機構を用いて示してもよい。検索結果は浮上／沈下によって物理的に「ハイライト」されてもよく、これによりユーザは単にタッチ表面４０３を調べるだけでそれらの位置を特定することができる。これは例えば、指でスクリーンを調べるか、又は手のひら全体をスクリーンに置いて触覚的にハイライトされた項目の位置を特定することによって行われてもよい。一実施形態において、発呼者ＩＤ又はメッセージ送信者ＩＤなどの情報は符号化されて浮上／沈下機構に変換され、例えば、電話がまだポケット内にある間にユーザは発呼者を識別することが可能になる。一実施形態において、道路、交差点、次に曲がる道路を物理的な通路の形態でシミュレーションすることでＧＰＳ経路ガイダンス情報をタッチスクリーン装置２１０上に表示し、車自体は動く突き出したブロックによって表現してもよい。

【0070】

一実施形態において、ユーザがデジタル環境内でユーザー・インターフェース要素又はオブジェクトの操作に没頭しているときに、触覚セル２１２のアレイを用いてあるメタデータを伝達してもよい。例えば、触覚セル２１２のアレイを用いて物理的にシミュレーションされた仮想オブジェクトをユーザが操作しようとしている間、ユーザー・インターフェース要素の操作中の動きに対する調整可能な抵抗の形態（例えば、スティック（ｓｔｉｃｋ）、スリップ（ｓｌｉｐ）、デテント効果など）でのプログラム可能な力の表示により、オブジェクトの種類、サイズ、及びその他の特性に関する情報を伝達できる。さらに、突起又は凹部の変形を用いて、オブジェクトを掴む動作又は選択する動作が成功したか否かを示してもよい。例えば、ディスプレイ２２０によって表示されたテキストの一部が選択又はハイライトされているとき、該選択／ハイライトされたテキストの部分の上には、選択／ハイライトされたテキストの位置に関連付けられた触覚セル２１２の変形によって、突起又は凹部による変形がなされてもよい。

【0071】

本発明の実施形態をブランドの掲示に用いてもよい。特定のＯＥＭの触覚による「サイン」又は特定のＯＥＭを表すメタデータの形態で設計、カスタマイズ、及び配置された触覚効果を表示するようにタッチスクリーン装置２１０を構成してもよい。例えば、ユーザー・インターフェース装置２００の電源が入れられたとき、特定の触覚パターン又はサインが表示され、この中に対応するＯＥＭの静的又は動的な浮上／沈下情報の表示を含んでもよい。一実施形態において、標的ＯＥＭのロゴもまた静的に表示してもよい。

【0072】

一実施形態において、上述のシステム及び方法を用いて遠隔情報表示機能を実現してもよい。例えば、触覚セル２１２のアレイが大きな静的変形を生成し、この静的変形がユー
ザー・インターフェース装置２００を持つ又はそれに触れる必要もなくリモートで視覚的に検出、検査、又は分析されてもよい。静的な凸状表示で表示された場合には、発呼者ＩＤ、時刻、カレンダー日付などの情報は、ユーザー・インターフェース装置２００がユーザから相当の距離だけ離れていても、単にユーザー・インターフェース装置２００を見ることによって取得することができる。

【0073】

本発明の実施形態をウェアラブル装置に実現し、当該ウェアラブル装置が体に押し付けられたときに、特定のコンテキストにおける無音の通知を発して何らかの情報を伝達してもよい。一実施形態において、腕時計はその下面にくぼみを形成し装着者の手首の肌に押し付けることで時間を伝達してもよい。一実施形態において、ブレスレットは装着者の肌に波及びその他のパターンを生成することによってアラームを伝達するように構成されてもよい。一実施形態において、靴は装着者の足に対してくぼみを形成し、装着者が歩く方向を指示するように構成されてもよい。

【0074】

本発明の実施形態は医療機器において実現されてもよい。例えば、腹腔鏡のハンドルの内側には触覚セル２１２のアレイが備えられてもよく、これが手術中の心拍数などの計測された生体信号に関連する圧力感覚を外科医に対して発してもよい。

【0075】

一実施形態において、雰囲気、ユーザ、電話などに関する一定範囲のステータス情報を触覚セル２１２のアレイを用いて伝達してもよい。例えば、頬又は顎と接触しているタッチスクリーン装置２１０を用いて通話をしている間、バッテリーの状態又は使用状態の低下を示す変形に基づくアラートがユーザの肌に発せられてもよい。さらに、ポケット内の電話についても、ユーザはタッチスクリーン装置２１０上でタップし触覚セル２１２のアレイによって提供される変形機構の形態で符号化されたフィードバックを受け取ることにより、出られなかった着信数、受け取ったメッセージ、又はカレンダ内のもうじき発生するイベントなどの情報を問い合わせてもよい。一実施形態において、触覚セル２１２のアレイの変形を用いて、気圧、気温、コンパス方位などの環境情報を表示してもよい。一実施形態において、触覚セル２１２のアレイの変形を社会環境の認識のために用いてもよく、ある共通点を持った人々の数及び／又は位置などの情報を伝達してもよい。

【0076】

上述の本発明の実施形態は、ユーザー・インターフェース構成要素及びそれに関連付けられた変形可能な触覚セルとのインタラクションを物理的に拡大することにより、ユーザー・インターフェース要素の失われた現実性／有形性を回復することができ、これによりより豊かでより直感的でかつ意識の負担の少ないインタラクションの体験を可能にする。有形のユーザー・インターフェースは、例えば、テキストをタイプするための有形のキーボードを実現することによって、より効率的で誤りの少ないインタラクションにもつながる。

【0077】

市販の装置内に変形ディスプレイを実現する上での潜在的な問題の１つは、触覚セルの高精細度（所定の領域における多数のセル）アレイのコストである。上述のようにセル間に力プロファイル／効果を挿入することによって、変形可能な触覚セルの粗いアレイを用いていても、かなり精細な触覚精細度をシミュレーションすることが可能になる。

【0078】

上述の本発明の実施形態は、触覚によって拡大される有形のユーザー・インターフェース及びコンテンツ／情報表示の出力及び制御のためのシステム、方法、及びその基礎となる考慮事項を提供する。上述の実施形態は、様々な制御及び出力の機構を提供し、ユーザの入力及び触覚出力を考慮に入れ、変形可能な触覚セルのアレイの実現に基づいて設計され、異なる種類の触覚情報を効果的に表示し直感的で有形のユーザー・インターフェースを可能にする。上述の方法は機能を拡大し、変形可能な触覚セルのアレイの有効性を向上する。例えば、認識される精細度の向上などを行う。また、より高性能でコストがかかる
ハードウェアの必要性をなくす。

【0079】

上述の本発明の実施形態は、変形可能な触覚セルのアレイに命令し、有形のユーザー・インターフェース・インタラクション及びコンテンツ／メタデータ表示を可能にするために用いられる出力及び制御機構を提供する。上述の本発明の実施形態は、変形可能な触覚セルのアレイを用いてデジタルコンテンツ及びメタデータを表示するためのシステム及び方法を提供し、これによってより豊かで、より有益で、かつより直感的なインタラクション体験を可能にする。上述の本発明の実施形態は、変形可能な触覚セルの触覚によって利用可能でプログラム可能なアレイを用いて、有形で、現実性があり、効率的な方法でコンテンツ／情報／メタデータを表示するための革新的な技術を提供する。上述の実施形態は、変形可能な触覚セルのアレイの適用範囲を拡大し、ユーザー・インターフェース装置が伝達できる触覚情報の広さと深さを拡張する。

【0080】

上述の本発明の実施形態は、より現実性のある、有形の、かつ直感的な態様でコンテンツ及びメタデータを表示することが可能な、プログラム可能で自由形式の変形に基づいた新しい出力特性を提供する。触覚に基づく新たなコンテンツ表示特性としての変形の使用によって、情報表示媒体の広さと深さが拡大し、データ転送帯域がより豊かになる。

【0081】

本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2018年11月16日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザー・インターフェース装置であって、
ユーザによるタッチ操作を受けるように構成されたタッチ表面を含むフレキシブル層と、
前記フレキシブル層によって被覆された複数の触覚セルであって、各触覚セルは触覚出力装置を含む、複数の触覚セルと、
ユーザが前記タッチ表面にタッチするときに、前記フレキシブル層の変形の量及び／又は速度を感知するように構成されたセンサと、
前記センサからの出力信号を受信し、前記センサからの前記出力信号に基づいて触覚制御信号を生成し、前記複数の触覚セルの少なくとも１つの触覚出力装置に対して前記触覚制御信号を出力することによって、前記触覚出力装置に、前記フレキシブル層の前記感知された変形に応答して、対応する触覚セルを変形させるように構成されたプロセッサと、
を備えるユーザー・インターフェース装置。

【外国語明細書】

2019050003000001.pdf