特許 6046833 ユーザ・インタフェースおよび関連する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6046833

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月21日

(54)【発明の名称】ユーザ・インタフェースおよび関連する方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20161212BHJP

【ＦＩ】

   G06F3/01 560

【請求項の数】14

【全頁数】24

(21)【出願番号】特願2015-548415(P2015-548415)

(86)(22)【出願日】2013年12月16日

(65)【公表番号】特表2016-504683(P2016-504683A)

(43)【公表日】2016年2月12日

(86)【国際出願番号】EP2013076758

(87)【国際公開番号】WO2014095756

(87)【国際公開日】20140626

【審査請求日】2015年7月27日

(31)【優先権主張番号】13/720,228

(32)【優先日】2012年12月19日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】515076873

【氏名又は名称】ノキア テクノロジーズ オサケユイチア

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100141162

【弁理士】

【氏名又は名称】森 啓

(74)【代理人】

【識別番号】100141254

【弁理士】

【氏名又は名称】榎原 正巳

(72)【発明者】

【氏名】ヤンネ ビヒトリ キュッロネン

(72)【発明者】

【氏名】アシュリー コリー

【審査官】 松田 岳士

(56)【参考文献】

【文献】 国際公開第２０１４／００６７９９（ＷＯ，Ａ１）

【文献】 特開２００９−２１７８１６（ＪＰ，Ａ）

【文献】 特開２０１０−０１５２３９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１５６８１８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００８／０２２９２０６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０２１９２５２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも１つのメモリとを備える装置であって、
該少なくとも１つのメモリと、該プログラム・コードとは、前記少なくとも１つのプロセッサにより、前記装置に、
少なくとも、グラフィカル・ユーザ・インタフェースの複数の異なるユーザ・インタフェース要素の間での空間インタラクションの程度に基づいて、差動的触覚フィードバックのユーザへの提供を可能にすることであって、前記差動的触覚フィードバックは前記空間インタラクションの前記程度に基づいている、ことを実行させるように構成される、装置であり、
前記装置は、前記複数の異なるユーザ・インタフェース要素の空間インタラクション領域において第１の触覚フィードバック、および、前記複数の異なるユーザ・インタフェース要素のインタラクション領域の外側の前記空間インタラクション領域において第２の異なる触覚フィードバックの提供を可能にする構成、
前記ユーザ・インタフェース要素が空間的にインタラクトしていないときに、前記複数の異なるユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、差動的触覚フィードバックを提供する構成、
前記グラフィカル・ユーザ・インタフェースの検出範囲において、スタイラスが検出されたときにのみ、前記差動的触覚フィードバックの提供を可能にする構成、
前記差動的触覚フィードバックが、空間的にインタラクトしている他のユーザ・インタフェース要素を、前記複数の異なるユーザ・インタフェース要素のうちのどれが覆うのかに依存しているような構成、および、
前記触覚フィードバックが、前記複数の異なるユーザ・インタフェース要素の間のコンタクトの程度に依存しているような構成、のうちの１つ以上の構成である、装置。

【請求項2】

前記装置は、前記触覚フィードバックの波形、触覚フィードバックの期間、触覚フィードバックの一貫性、触覚フィードバックの強度、のうちの１つ以上を変更することによって、差動的触覚フィードバックを提供するように構成される、請求項１に記載の装置。

【請求項3】

前記装置は、前記空間インタラクションを決定するように構成される、請求項１に記載の装置。

【請求項4】

前記空間インタラクションは、一次元、二次元、三次元のうちの少なくとも１つにおける、空間インタラクションを含む、請求項１に記載の装置。

【請求項5】

前記複数の異なるユーザ・インタフェース要素のうちの少なくとも１つは、電子デバイスを用いて実行可能な関連機能を作動させるために選択可能であるように構成される、請求項１に記載の装置。

【請求項6】

前記複数の異なるユーザ・インタフェース要素のうちの少なくとも１つは、前記グラフィカル・ユーザ・インタフェースによって提供されたオブジェクトであり、そして、それは、前記ユーザによって操作されることができるが、電子デバイスで機能を実行するために使用されることはできない、請求項１に記載の装置。

【請求項7】

前記空間インタラクションは、前記複数の異なるユーザ・インタフェース要素のうちの１つ以上の操作を用いて、可能となる、請求項１に記載の装置。

【請求項8】

前記装置は、前記ユーザが前記ユーザ・インタフェース要素とインタラクトしているときに、リアルタイムで、前記差動的触覚フィードバックの提供を可能にするように構成される、請求項１に記載の装置。

【請求項9】

前記触覚フィードバックは、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料（ｅｌｅｃｔｒｏ ｔａｃｔｉｌｅ ｍａｔｅｒｉａｌ）、のうちの１つ以上を使って提供される、請求項１に記載の装置。

【請求項10】

前記装置は、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、前記差動的触覚フィードバックを提供するための電気触覚材料（ｅｌｅｃｔｒｏ ｔａｃｔｉｌｅ ｍａｔｅｒｉａｌ）、のうちの１つ以上を備える、請求項１に記載の装置。

【請求項11】

前記装置は、ディスプレイ出力として、前記複数の異なるユーザ・インタフェース要素を提供するように構成された前記グラフィカル・ユーザ・インタフェースを備える、請求項１に記載の装置。

【請求項12】

前記装置は、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話、スマートフォン、タブレット・コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの１つ以上に対するモジュール／回路である、請求項１に記載の装置。

【請求項13】

少なくとも１つのプロセッサを備える装置のための方法において、
該少なくとも１つのプロセッサが、少なくとも、グラフィカル・ユーザ・インタフェースの複数の異なるユーザ・インタフェース要素の間での空間インタラクションの程度に基づいて、差動的触覚フィードバックのユーザへの提供を可能にするステップであって、前記差動的触覚フィードバックは前記空間インタラクションの前記程度に基づいている、ステップを含む方法であって、
該方法は、

前記少なくとも１つのプロセッサにより、前記複数の異なるユーザ・インタフェース要素の空間インタラクション領域において第１の触覚フィードバック、および、前記複数の異なるユーザ・インタフェース要素のインタラクション領域の外側の前記空間インタラクション領域において第２の異なる触覚フィードバックの提供を可能にするステップ、
前記少なくとも１つのプロセッサにより、前記ユーザ・インタフェース要素が空間的にインタラクトしていないときに、前記複数の異なるユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、差動的触覚フィードバックを提供するステップ、
前記少なくとも１つのプロセッサにより、前記グラフィカル・ユーザ・インタフェースの検出範囲において、スタイラスが検出されたときにのみ、前記差動的触覚フィードバックの提供を可能にするステップ、
前記少なくとも１つのプロセッサにより、前記差動的触覚フィードバックが、空間的にインタラクトしている他のユーザ・インタフェース要素を、前記複数の異なるユーザ・インタフェース要素のうちのどれが覆うのかに依存しているようにするステップ、および、
前記少なくとも１つのプロセッサにより、前記触覚フィードバックが、前記複数の異なるユーザ・インタフェース要素の間のコンタクトの程度に依存しているようにするステップ、
のうちの１つ以上のステップを含む、方法。

【請求項14】

少なくとも、グラフィカル・ユーザ・インタフェースの複数の異なるユーザ・インタフェース要素の間での空間インタラクションの程度に基づいて、差動的触覚フィードバックのユーザへの提供を可能にすることを実行するように構成され、
前記差動的触覚フィードバックは、前記空間インタラクションの前記程度に基づいている、命令を備えるコンピュータ・プログラムであって、
該命令は、少なくとも１つのプロセッサを用いて、
前記複数の異なるユーザ・インタフェース要素の空間インタラクション領域において第１の触覚フィードバック、および、前記複数の異なるユーザ・インタフェース要素のインタラクション領域の外側の前記空間インタラクション領域において第２の異なる触覚フィードバックの提供を可能にするステップ、
前記ユーザ・インタフェース要素が空間的にインタラクトしていないときに、前記複数の異なるユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、差動的触覚フィードバックを提供するステップ、
前記グラフィカル・ユーザ・インタフェースの検出範囲において、スタイラスが検出されたときにのみ、前記差動的触覚フィードバックの提供を可能にするステップ、
前記差動的触覚フィードバックが、空間的にインタラクトしている他のユーザ・インタフェース要素を、前記複数の異なるユーザ・インタフェース要素のうちのどれが覆うのかに依存しているようにするステップ、および、
前記触覚フィードバックが、前記複数の異なるユーザ・インタフェース要素の間のコンタクトの程度に依存しているようにするステップ、
のうちの１つ以上のステップを実行する、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願開示は、ユーザ・インタフェースおよびユーザ・インタフェース要素に関連する方法、コンピュータ・プログラム、ならびに、装置に関するものである。ある開示された態様／実施形態は、ポータブル電子デバイス、特に、（使用中にクレードルに置くことができるが）使用においてハンドヘルドでありえる、いわゆる、ハンド・ポータブル電子デバイスに関するものである。そのようなハンド・ポータブル電子デバイスは、いわゆるパーソナル携帯情報機器（ＰＤＡ）、自動車電話、スマートフォンおよび他のスマート・デバイス、そして、タブレットＰＣを含む。

【0002】

１つ以上の開示された態様／実施形態にしたがう携帯用電子デバイス／装置は、１つ以上のオーディオ／テキスト／ビデオ通信機能（例えば、遠隔通信、ビデオ通信、および／または、テキスト伝送（ショート・メッセージ・サービス（ＳＭＳ）／マルチメディア・メッセージ・サービス（ＭＭＳ）／ｅメール）機能））、インタラクティブ／非インタラクティブ視聴機能（例えば、ウェブ・ブラウジング、ナビゲーション、テレビ／プログラム視聴機能）、音楽録音／再生機能（例えば、ＭＰ３または他フォーマットや、（ＦＭ／ＡＭ）ラジオ放送録音／再生）、データ・ダウンロード／送信機能、（例えば、（ビルトインなど）デジタル・カメラを用いた）画像キャプチャー機能、および、ゲーム機能を提供することができる。

【背景技術】

【0003】

電子デバイスが、ユーザ・インタフェース（例えば、グラフィカル・ユーザ・インタフェースなど）を提供することは、一般的である。ユーザ・インタフェースは、例えば、アプリケーション・アイコンを用いてアプリケーションを開くために、メニューからメニュー項目を選択するコマンドを入力する、あるいは，仮想キーパッドを用いて文字を入力するなど、ユーザが、電子デバイスとインタラクトすることを可能にすることができる。

【0004】

先行文献のリストあるいは議論、または、本願明細書の背景技術のいかなるものも、必ずしも、その文献または背景技術が、技術水準の一部である、あるいは、普通の一般知識であることの承認であるとして解釈されてはならない。本願開示の１つ以上の態様／実施形態は、背景技術の問題の１つ以上について触れることできるし、触れないこともできる。

【発明の概要】

【0005】

第１の態様において、装置が提供される。この装置は、少なくとも１つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも１つのメモリとを備える。この少なくとも１つのメモリと、そして、このコンピュータ・プログラム・コードは、少なくとも１つのプロセッサにより、この装置に、少なくとも、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすることを実行させるように構成される。

【0006】

そのような差動的触覚フィードバックは、ユーザが、タッチの感覚を用いて、複数のユーザ・インタフェース要素の間での空間インタラクションを認識／検査することを可能にする。これは、（例えば、全体、または、部分的に、ユーザの指／スタイラスにより、あるいは，ユーザ・インタフェース要素自体の１つ以上によるなど）空間インタラクションが隠されているときに、特に役に立つことができる。これは、差動的触覚フィードバックを提供するために、適切な信号伝達の供給によって可能にすることができることが理解される。このインタラクションは、２Ｄまたは３Ｄ平面のうちの１つ以上であることができる。

【0007】

前記差動的触覚フィードバックが、複数のユーザ・インタフェース要素が、空間的にインタラクトしているとき、提供された追加的触覚フィードバックであることができる（または、できない）。これは、複数のユーザ・インタフェース要素が、インタラクトしていないときには、提供されない。

【0008】

この装置は、前記複数のユーザ・インタフェース要素の空間インタラクション領域において、差動的触覚フィードバックの供給を可能にするように構成することができ、この装置は、複数のユーザ・インタフェース要素の空間インタラクション領域における第１の触覚フィードバック、および、前記複数のユーザ・インタフェース要素のインタラクション領域の外部の空間領域における第２の異なる触覚フィードバックの提供を可能にするように構成することができる。これは、位置特有の差動的触覚フィードバックであると考えることができる。これは、ユーザが、空間インタラクションに関して、ユーザが空間インタラクション領域でインタラクトしているかどうかの情報を受信することを可能にすることができる。

【0009】

この装置は、その空間インタラクション領域に関連がない位置において、差動的触覚フィードバックを提供するように構成することができる。これは、グローバル差動的触覚フィードバックであると考えることができる。

【0010】

複数のユーザ・インタフェース要素は、それらが接触する（例えば、接する、あるいは、接するエッジや表面を持つ）ときに、および／または、それらが、オーバラップする（例えば、その上を覆ったり、広がって部分を覆ったり、あるいは，共通した領域、広がり、または、範囲を有する）ときに、インタラクトすると考えることができる。

【0011】

この装置は、この触覚フィードバックは、複数のユーザ・インタフェース要素（例えば、共通部分の領域またはオーバラップのボリュームなど）の間のオーバラップの特定の程度、および、複数のユーザ・インタフェース要素（例えば、ライン・セグメントの長さ、または、複数のユーザ・インタフェース要素隣接する境界によって共有される表面の領域に関係があるなど）の間の接触の特定の程度、の１つ以上に依存しているように構成することができる。

【0012】

この装置は、複数のユーザ・インタフェース要素の間で空間的なインタラクションが変化しているとき、触覚フィードバックの提供を可能にするように構成することができる。この装置は、複数のユーザ・インタフェース要素の間の空間インタラクションが変化していないとき、触覚フィードバックの提供を可能にするように構成することができる。

【0013】

この装置は、グラフィカル・ユーザ・インタフェースの検出範囲において、検出されるスタイラスに応じて、差動的触覚フィードバックの供給を可能にするように構成することができる。この装置は、前記ユーザが前記ユーザ・インタフェース要素とインタラクトしているときに（例えば、そのユーザが例えば、グラフィカル・ユーザ・インタフェースへ静止またはスライド入力などの入力を提供するときなど）、リアルタイムで、差動的触覚フィードバックの供給を可能にするように構成することができる。連続的に差動的触覚フィードバックを提供しないことが、エネルギー要求を減らすことができることが理解される。

【0014】

スタイラス入力は、単一タッチまたはマルチ・タッチ・ジェスチャを含むことができる。この入力は、もちろん、タッチ入力でないが、しかし、マウス、タッチパッド、または、他の別々のおよび／または外部入力デバイスなどを使用した入力であることができる。

【0015】

この装置は、ユーザ・インタフェース要素が空間的にインタラクトしていないときに、ユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、複数のユーザ・インタフェース要素のうちの１つに提供された差動的触覚フィードバックを提供するように構成することができる。例えば、複数のユーザ・インタフェース要素が布のテクスチャを持つならば、前記差動的触覚フィードバックは、また、布のテクスチャ（例えば、よりラフな布のテクスチャ）を持つことができる。これは、より一貫したおよび／または直観的なユーザ経験を提供することができる。

【0016】

この装置は、前記差動的触覚フィードバックが、空間的にインタラクトしている他のユーザ・インタフェース要素を前記複数のユーザ・インタフェース要素のうちのどれが覆うのかに依存しているように構成することができる。これは、ユーザに、どのユーザ・インタフェース要素が、どの他のユーザ・インタフェース要素の上を覆っているかに関する触覚情報を提供することができる。

【0017】

この装置は、前記触覚フィードバックの波形（すなわち、触覚波の形状や周波数）、触覚フィードバックの一貫性（例えば、触覚フィードバックが断続的に、または、コンスタントに提供されるかどうか）、触覚フィードバックの強度（例えば、電子触覚波の振幅など）、のうちの１つ以上を変更することによって、差動的触覚フィードバックを提供するように構成することができる。これら例が、触覚フィードバックのタイプを変えると考えることができることが理解される。

【0018】

この装置は、空間インタラクションを決定する構成することができる。

【0019】

この空間インタラクションは、一次元、二次元、三次元のうちの少なくとも１つにおいて、空間インタラクションを含むことができる。

【0020】

前記複数のユーザ・インタフェース要素のうちの少なくとも１つは、電子デバイスを用いて実行可能な関連機能を作動するために選択可能でありえる。その機能は、アプリケーションを開くこと、ファイルを開くこと、または、テキスト文字を入力またはフォーマットすることを含むことができる。テキスト文字は、単語、（例えば、ローマ、ギリシア、アラビアまたはキリル文字のアルファベットからの）文字、図形文字（例えば、漢字、日本カナまたは韓国表記、数字、フレーズ、音節、発音記号、絵文字（ｅｍｏｔｉｃｏｎ）、および、句読記号など）のうちの１つ以上の組合せを含むことができる。

【0021】

上記のユーザ・インタフェース要素は、ユーザが操作することができるグラフィカル・ユーザ・インタフェースにより提供されるオブジェクトであることができる。そのようなオブジェクトは、電子デバイスの機能（例えば、ＣＡＤ計画ツールの要素）を実行するのに用いることができない。空間インタラクションは、複数のユーザ・インタフェース要素の１つ以上の（例えばユーザによる）操作から生じることができる。

【0022】

触覚フィードバックは、タッチ・スクリーン、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料（ｅｌｅｃｔｒｏ ｔａｃｔｉｌｅ ｍａｔｅｒｉａｌ）、のうちの１つ以上を用いて提供することができる。

【0023】

前記差動的触覚フィードバックを提供するために、この装置は、タッチ・スクリーン、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料（ｅｌｅｃｔｒｏ ｔａｃｔｉｌｅ ｍａｔｅｒｉａｌ）、のうちの１つ以上を備えることができる。この装置は、ディスプレイ出力として、複数のユーザ・インタフェース要素を提供するためにグラフィカル・ユーザ・インタフェースを備えることができる。

【0024】

この装置は、スタイラス（例えば、親指を含む指）、手袋をした指、ワンド、ポインティングは刺さる）、マウス、タッチパッド、タッチ・スクリーン、ジョイスティック、または外部的であるの入力デバイスのうちの１つ以上を通して、差動的触覚フィードバックを提供することができる。

【0025】

この装置は、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話、多機能電話、スマート・テレビ、タブレット型コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの１つ以上に対するモジュール／回路であることができる。

【0026】

更なる態様にしたがって、方法が提供される。この方法は、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にするステップを備える。

【0027】

更なる態様にしたがって、コンピュータ・プログラム・コードを備えるコンピュータ・プログラムが提供される。このコンピュータ・プログラム・コードは、少なくとも、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすることを実行するように構成されている。

【0028】

コンピュータ・プログラムは、ストレージ・メディアに（例えば、ＣＤ、ＤＶＤ、メモリ・スティック、または他の固定メディアの上で）保存することができる。コンピュータ・プログラムは、アプリケーションとしてデバイスまたは装置上で動作するように構成することができる。アプリケーションは、オペレーティング・システムを介して、デバイスまたは装置により、動くことができる。コンピュータ・プログラムは、コンピュータ・プログラム・プロダクトの部品を形成することができる。

【0029】

更なる態様にしたがって、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にする手段を備える装置が提供される。

【0030】

この装置は、前記複数のユーザ・インタフェース要素の空間インタラクション領域において第１の触覚フィードバック、および、前記複数のユーザ・インタフェース要素の外側の空間インタラクション領域において第２の異なる触覚フィードバックの供給を可能にする手段を備えることができる。

【0031】

この装置は、その触覚フィードバックが、前記複数のユーザ・インタフェース要素の間のオーバラップの特定の程度、および、前記複数のユーザ・インタフェース要素の間の接触の特定の程度、のうちの１つ以上に依存するようにすることを可能にする手段を備えることができる。

【0032】

この装置は、スタイラスがグラフィカル・ユーザ・インタフェースの検出範囲の中で検出されるとき、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。

【0033】

この装置は、ユーザ・インタフェース要素が空間的にインタラクトしていないときに、ユーザ・インタフェース要素に結びついた触覚フィードバックに基づいて、複数のユーザ・インタフェース要素のうちの１つに提供された差動的触覚フィードバックの供給を可能にするための手段を備えることができる。

【0034】

この装置は、差動的触覚フィードバックは、空間的にインタラクトしている他のユーザ・インタフェース要素を前記複数のユーザ・インタフェース要素のうちのどれが覆うのかに依存しているようにすることを可能にする手段を備えることができる。

【0035】

この装置は、前記触覚フィードバックの波形、触覚フィードバックの期間、触覚フィードバックの一貫性、触覚フィードバックの強度、のうちの１つ以上を変更することによって、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。

【0036】

この装置は、空間インタラクションを決定するための手段を備えることができる。この空間インタラクションは、一次元、二次元、三次元のうちの少なくとも１つにおける、空間インタラクションを含むことができる。

【0037】

前記複数のユーザ・インタフェース要素のうちの少なくとも１つは、電子デバイスを用いて実行可能な関連機能を作動するために選択可能であるように構成することができる。

【0038】

この複数のユーザ・インタフェース要素のうちの少なくとも１つは、グラフィカル・ユーザ・インタフェースにより提供されるオブジェクトであることができる。そして、これは、そのユーザによって操作されることができるが、その電子デバイスで機能を実行するために使用されることはできない。

【0039】

空間インタラクションは、その複数のユーザ・インタフェース要素の１つ以上の操作を用いて可能にすることができる。

【0040】

この装置は、ユーザがユーザ・インタフェース要素とインタラクトしているときに、リアルタイムで、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。

【0041】

触覚フィードバックは、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料（ｅｌｅｃｔｒｏ ｔａｃｔｉｌｅ ｍａｔｅｒｉａｌ）、のうちの１つ以上、または、同様のものを提供するための手段を用いて提供することができる。

【0042】

この装置は、触覚アクチュエータのアレイ、圧電トランスデューサ、電気活性ポリマー、および、電気触覚材料（ｅｌｅｃｔｒｏ ｔａｃｔｉｌｅ ｍａｔｅｒｉａｌ）、のうちの１つ以上、または、前記差動的触覚フィードバックを提供するための同様のものを提供するための手段を備えることができる。

【0043】

この装置は、ディスプレイ出力として、複数のユーザ・インタフェース要素を提供するように構成されるグラフィカル・ユーザ・インタフェースを備えることができる。

【0044】

この装置は、スタイラス、マウス、タッチパッド、タッチ・スクリーン、ジョイスティック、または、外部入力デバイスのうちの１つ以上を通して、差動的触覚フィードバックの供給を可能にするための手段を備えることができる。

【0045】

この装置は、グラフィカル・ユーザ・インタフェース、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話、多機能電話、スマート・テレビ、タブレット・コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの１つ以上に対するモジュール／回路であることができる、

【0046】

更なる態様にしたがって、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間で特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にするように構成されたイネーブラを備える装置が提供される。

【0047】

更なる態様にしたがって、装置が提供される。この装置は、少なくとも１つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも１つのメモリとを備える。この少なくとも１つのメモリと、プログラム・コードとは、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にすることを実行するようにさせるように構成される。

【0048】

更なる態様にしたがって、方法が提供される。この方法は、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にするステップを備える。

【0049】

更なる態様にしたがって、コンピュータ・プログラム・コードを備えるコンピュータ・プログラムが提供される。このコンピュータ・プログラム・コードは、少なくとも、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にすることを実行するように構成されている。

【0050】

本願開示は、１つ以上の対応する態様、実施形態または特徴を、単独に、あるいは、種々の組合せにおいて、（請求項を含み）その組合せであるいは単独において、特に述べられるか否かを問わず、含む。議論された機能の１つ以上を実行するための対応する手段および対応する機能ユニット（例えば、決定器、イネーブラ）は、また、本願開示の範囲内である。

【0051】

開示された方法の１つ以上をインプリメントするための対応するコンピュータ・プログラムは、また、本願開示の範囲内にあり、そして、記載された実施形態の１つ以上によって、含まれるものである。

【0052】

上の概要は、単に、例示的であることを意図するものであり、非限定的なものである。

【図面の簡単な説明】

【0053】

次に、添付の図面を参照して、例を示すだけのために、説明が与えられる。ここで、

【図1】図１は、いくつかの電子部品を備え、メモリとプロセッサとを含む例示的装置の実施形態を表す。

【図2】図２は、いくつかの電子部品を備え、メモリ、プロセッサ、および、通信ユニットを含む例示的装置の実施形態を表す。

【図3】図３は、いくつかの電子部品を備え、メモリ、プロセッサ、および、通信ユニットを含む例示的装置の実施形態を表す。

【図4a】図４ａ−図４ｄは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。

【図4b】図４ａ−図４ｄは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。

【図4c】図４ａ−図４ｄは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。

【図4d】図４ａ−図４ｄは、ユーザ・インタフェース要素がウィンドウである、例示的実施形態を表す。

【図5a】図５ａ−図５ｄは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。

【図5b】図５ａ−図５ｄは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。

【図5c】図５ａ−図５ｄは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。

【図5d】図５ａ−図５ｄは、ユーザ・インタフェース要素が、アイコンである、更なる例示的実施形態を表す。

【図6a】図６ａ−図６ｄは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。

【図6b】図６ａ−図６ｄは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。

【図6c】図６ａ−図６ｄは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。

【図6d】図６ａ−図６ｄは、ユーザ・インタフェース要素は、ユーザによって操作することができる、更なる例示的実施形態を表す。

【図7a】図７ａ−図７ｂは、リモート・サーバ／クラウドと通信を行う例示的装置を図示する。

【図7b】図７ａ−図７ｂは、リモート・サーバ／クラウドと通信を行う例示的装置を図示する。

【図8】図８は、本願開示の例示的方法にしたがって、フローチャートを図示する。

【図9】図９は、プログラムを提供するコンピュータ読取り可能メディアを概略的に図示する。

【発明を実施するための形態】

【0054】

情報を入力および／または情報とインタラクトするために、電子回路デバイスが、ユーザがデバイスとインタラクトするのを可能にするユーザ・インタフェースを有する（視覚ベースであるか否かにかかわらず）ことは一般的である。例えば、ユーザは、テキストを入力したり、または、アプリケーションを開くのにアイコンを使用したりするのにキーボード・ユーザ・インタフェースを使用することができる。いくつかのユーザ・インタフェースは、例えば、タッチ・スクリーンなどディスプレイを含む。これは、ユーザに情報を示すことができる。

【0055】

タッチ・スクリーン上で、複数の（例えば、アイコン、ウィンドウなどの）ユーザ・インタフェース要素を配置するとき、ユーザは、オブジェクト相対位置の視覚フィードバックを受信するだけでよく、そして、これは、ユーザ・インタフェース要素をコントロールしている指によっていくぶん隠されることがあり得る。

【0056】

この開示は、複数のユーザ・インタフェース要素の間での空間インタラクションを基づいた差動的触覚フィードバックを提供することに関連がある。これは、ユーザが、視覚情報とならんで、または、その代わりに、空間インタラクションに関して触覚情報を受信することを可能にする。前記差動的触覚フィードバックは、いつアイテムが互いに接触するか、および／または、オーバラップするか、また、いくつかの場合において、それらのアイテムが、どの程度に、オーバラップしているかの情報を提供することができる。差動的触覚フィードバックを提供することによって、ユーザ・インタフェースは、物理オブジェクトとインタラクトするときにユーザが体験する触覚をより正確に複製することができることが理解される。したがって、実施形態は、より直観的でイマーシブ（ｉｍｍｅｒｓｉｖｅ）なユーザ体験を提供することができる。

【0057】

図に表された他の実施形態は、それより前に記述された実施形態の同様の特徴に対応する参照番号を備えている。例えば、特徴番号１は、また、番号１０１、２０１、３０１その他に対応することができる。これらの特徴番号は、図に現れることができるが、しかし、これらの特定の実施形態の説明のなかで、直接参照することはできない。これらは、依然、特に、類似した以前に記述された実施形態の特徴に関して、更なる実施形態の理解を助けるために、図に提供される。

【0058】

図１は、メモリ１０７、プロセッサ１０８、入力Ｉ、および、出力Ｏを備える装置１０１を示す。この実施の形態において、唯一のプロセッサ、および、１つのメモリが、示されているが、他の例示的実施形態は、１つより多いプロセッサ、および／または、１つより多いメモリ（例えば、同一または異なるタイプのプロセッサ／メモリ）を利用することができることが理解される。

【0059】

この実施の形態において、装置１０１は、タッチ・センシティブ・ディスプレイを有するポータブル電子デバイスにための特定用途向け集積回路（ＡＳＩＣ）である。他の実施形態において、装置１０１は、そのようなデバイスのためのモジュールでありえる、あるいは、そのデバイス自体であり得る。ここで、プロセッサ１０８は、デバイスの汎用ＣＰＵである。および、このメモリ１０７は、デバイスに含まれる汎用メモリである。

【0060】

入力Ｉは、（タッチ・センシティブ・ディスプレイのような）ポータブル電子デバイスのコンポーネント、その他更なるコンポーネントから装置１０１への信号伝達の受信を可能にする。出力Ｏは、装置１０１内から更なるコンポーネントへの信号伝達の前方への供給を可能にする。この実施の形態において、入力Ｉと出力Ｏとは、装置１０１の更なるコンポーネントへの接続を可能にする接続バスの部品である。

【0061】

プロセッサ１０８は、メモリ１０７の上のコンピュータ・プログラム・コードの形で保存された命令に従って、入力Ｉを介して受信された情報を実行／処理するために専用とされた汎用プロセッサである。プロセッサ１０８から、そのような動作によって生成された出力信号伝達は、出力Ｏを介して更なるコンポーネントに、前方へと提供される。

【0062】

メモリ１０７（必然的にでなく単一の記憶装置）は、コンピュータ読取り可能メディアである（この例において、ソリッド・ステート・メモリであるが、しかし、コンピュータ・プログラム・コードを格納する（ハード・ディスク、ＲＯＭ、ＲＡＭ、フラッシュ、その他）他のタイプのメモリであることができる。このコンピュータ・プログラム・コードは、プログラム・コードがプロセッサ１０８で動作するときに、プロセッサ１０８により実行可能である命令を格納する。メモリ１０７とプロセッサ１０８との間の内部接続は、１つ以上の例示的実施形態において、プロセッサ１０８が、メモリ１０７に保存されたコンピュータ・プログラム・コードにアクセスすることを可能にする、プロセッサ１０８とメモリ１０７との間でのアクティブ・カップリングを提供することを理解することができる。

【0063】

この例において、入力Ｉ、出力Ｏ、プロセッサ１０８およびメモリ１０７は、すべて、内部的にお互いに電気的に接続しており、それぞれのコンポーネントＩ、Ｏ、１０８、１０７の間で電気的通信を可能にする。この例において、コンポーネントは、ＡＳＩＣとして一緒に形成されるように、つまり、電子デバイスにインストールすることができるシングルチップ／回路として一緒に集積されるように、互いに近くに配置されている。他の例において、１つ以上の、または、すべてのコンポーネントを、別々に離して配置することができる。

【0064】

図２は、携帯電話などの更なる例示的実施形態の装置２０１を表す、他の例示的実施形態において、装置２０１は、モバイル電話（またはＰＤＡまたはオーディオ／ビデオ・プレーヤー）のためのモジュールを備えることができる。そして、ちょうど適切に構成されたメモリ２０７およびプロセッサ２０８を備えることができる。ある実施形態において、この装置は、ポータブル電子デバイス、ラップトップ・コンピュータ、携帯電話多機能電話、タブレット型コンピュータ、パーソナル携帯情報機器、デジタル・カメラ、腕時計、サーバ、非ポータブル電子デバイス、デスクトップ・コンピュータ、モニター、サーバ、ワンド、ポインティング・スティック、タッチパッド、タッチ・スクリーン、マウス、ジョイスティック、または、それらの１つ以上に対するモジュール／回路であり得る。

【0065】

図２の例示的実施形態は、この場合、例えば、液晶ディスプレイ（ＬＣＤ）、または、タッチ・スクリーン・ユーザ・インタフェースなどのディスプレイ装置２０４を含む。図２の装置２０１は、データを受信することができ、含むことができ、および／または、さもなければアクセスすることができるように構成される。例えば、この例示的実施形態２０１は、データが１つ以上のタイプのネットワークを介して受信できるようにネットワークに物理的接続を受け入れるために、ワイヤレス・ネットワークおよび／またはポート（図示せず）に接続するためにアンテナ２０２で通信を行う受信器、送信器および／または、トランシーバなどの通信装置２０３を備える。この例示的実施形態は、おそらく、アンテナ２０２またはポートを介して受信した後に、または、ユーザ・インタフェース２０５において発生した後に、データを格納するメモリ２０７を備える。プロセッサ２０８は、ユーザ・インタフェース２０５から、メモリ２０７から、または、通信ユニット２０３からデータを受信することができる。ある例示的実施形態において、ディスプレイ装置２０４は、ユーザ・インタフェース２０５を組み込むことができることが理解される。データの起源に関係なく、これらデータは、ディスプレイ装置２０４および／また、任意の他の装置に提供された出力装置を介して装置２０１のユーザに出力することができる。プロセッサ２０８は、また、データを、メモリ２０７に、後の使用のために格納することができる。このメモリ２０７は、（例えば、読み出し、書き込み、削除、編集または、データ処理などの）機能を実行することを、プロセッサ２０８に指示／可能にするのに用いることができるコンピュータ・プログラム・コードおよび／またはやアプリケーションを格納することができる。

【0066】

図３は、タブレット・パソコン、ポータブル電子デバイス、ポータブル・テレコミュニケーション・デバイス、サーバ、または、そのようなデバイスのためのモジュール、図１の装置１０１を備えるデバイスなどの電子デバイス３０１の更なる例示的実施形態を表す。装置１０１は、デバイス３０１のためのモジュールとして、または、そのようなデバイス３０１のためのモジュールのデバイス３０１またはプロセッサ／メモリのためのプロセッサ／メモリとしてさえ、提供することができる。このデバイス３０１は、プロセッサ３０８とストレージ・メディア３０７を備え、これらは、データバス３８０によって（例えば、電気的に、および／または、ワイヤレスで）接続されている。このデータバス３８０は、プロセッサ３０８とプロセッサ３０８がコンピュータ・プログラム・コードにアクセスすることを可能にするために、ストレージ・メディア３０７との間でのアクティブ・カップリングを提供することができる。このデバイス／装置のコンポーネント（例えば、メモリ、プロセッサ）は、クラウド・コンピューティング・アーキテクチャを介してリンクすることができることが理解される。例えば、ストレージ・デバイスは、プロセッサにより、インターネットを介してアクセスされるリモート・サーバであり得る。

【0067】

図３の装置１０１は、装置１０１からの出力を受信し、そして、データバス３８０を介してこれをデバイス３０１に送信する入出力インタフェース３７０に（例えば、電気的に、および／または、ワイヤレスで）接続している。インタフェース３７０は、データバス３８０を介して、装置１０１からの情報をユーザに提供するディスプレイ３０４（タッチ・センシティブであってもなくても）接続することができる。ディスプレイ３０４は、デバイス３０１の一部、あるいは，別々でありえる。このデバイス３０１は、また、動作を管理するために、他のデバイス・コンポーネントに信号伝達したり、信号伝達を受信したりすることによって、デバイス３０１と並んで装置１０１の一般的なコントロールのために構成されたプロセッサ３０８を備える。

【0068】

ストレージ・メディア３０７は、装置１０１の動作を実行、コントロール、あるいは、可能にするように構成されたコンピュータ・コードを格納するように構成される。ストレージ・メディア３０７は、他のデバイス・コンポーネントの設定を格納するように構成することができる。プロセッサ３０８は、ストレージ・メディア３０７にアクセスし、他のデバイス・コンポーネントの動作を管理するために、コンポーネントの設定を読み出すことができる。ストレージ・メディア３０７は、揮発性ランダム・アクセス・メモリなどの一時的なストレージ・メディアであり得る。ストレージ・メディア３０７は、また、ハード・ディスク・ドライブ、フラッシュ・メモリ、リモート・サーバ（クラウド・ストレージなど）または、不揮発性ＲＡＭなどのパーマネント・ストレージ・メディアであることもできる。このストレージ・メディア３０７は、同様の、または、異なるメモリ・タイプの異なる組合せから成ることができる。

【0069】

図４ａ−図４ｄは、例えば、携帯電話など、タッチ・スクリーン・ユーザ・インタフェース４０５、４０４を含むユーザ・インタフェース、メモリ（図示せず）、（電子メール、テキスト・メッセージ、電話、ウェブページに対応する情報など）データを送受信するためのプロセッサ（図示せず）およびアンテナ（図示せず）を有するポータブル電子通信デバイス４０１を備える図２で表される装置の例示的実施形態を表す。タッチ・スクリーン４０５、４０４は、この場合、静電触覚技術を使用して触覚フィードバックを提供するように構成される。

【0070】

この場合、装置／デバイスは、空間インタラクションを決定し、そして、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にする（少なくとも、この信号伝達は、差動的触覚フィードバックを提供することを要求する）ように構成される。この装置のある実施形態は、例えば、装置（例えばプロセッサ／メモリ）が、差動的触覚フィードバックの供給を可能にするのに適切な信号伝達を提供するように構成される限り、必ずしも、グラフィカル・ユーザ・インタフェースまたは触覚アクチュエータを備える必要はないことが理解される。

【0071】

この場合、この装置は、（例えば、ユーザがスクリーンのどこで対話しているかに関係なく、空間インタラクションは変化していることをユーザに警告するためなど）インタラクション領域に関連していない領域で、空間インタラクションを変更ために、ユーザがユーザ・インタフェース要素を操作しているときに、グローバル差動的触覚フィードバックを提供するように、また、複数のユーザ・インタフェース要素の間で、空間インタラクションが、変化していないときに（例えば、ユーザが、複数のユーザ・インタフェース要素の間で、空間インタラクションを調べているときに）、空間インタラクションを位置や範囲を示す位置特有差動的触覚フィードバックを提供するように、構成される。他の実施形態において、位置特有、および、グローバル差動的触覚フィードバックのうちの１つを、提供することができる。位置特有差動的触覚フィードバックは、また、複数のユーザ・インタフェース要素の間での空間インタラクションが、変化しているときに、提供されることが理解される。

【0072】

図４ａで示される状況において、ユーザは、第１および第２のウィンドウ・グラフィカル・ユーザ・インタフェース要素４１１、４１２を、ユーザの指４９１、４９２を用いて、スクリーンを横切って、動かしている。これらのウィンドウ・グラフィカル・ユーザ・インタフェース要素４１１、４１２は、テキスト文書やウェブ・ブラウザ・ウインドウなどのアプリケーション・インスタンスを表す。この場合、装置／デバイスは、複数のウィンドウ・グラフィカル・ユーザ・インタフェース要素の間で空間インタラクションが、変化しているとき、グローバル差動的触覚フィードバックを提供するように構成される。図４ａにおいて、グラフィカル・ユーザ・インタフェース要素４１１、４１２は、間隔をあけて離れている、そして、それで、タッチ・スクリーン４０４、４０５の上で、空間的にインタラクトしていない。この場合、グラフィカル・ユーザ・インタフェースが、空間的にインタラクトしていないとき、グローバル差動的触覚フィードバックは、提供されない。

【0073】

ユーザがグラフィカル・ユーザ・インタフェース要素を（ユーザの指４９１、４９２または他のスタイラスを用いたドラグ操作によって）まとめて動かすので、図４ｂで示すように、ウィンドウ・グラフィカル・ユーザ・インタフェース要素４１１、４１２は接触する（そして、それによって空間的にインタラクトする）。複数のユーザ・インタフェース要素４１１、４１２が、空間的にインタラクトするとき、装置／デバイスは、特定の空間インタラクションに基づいて、ユーザの指への、グローバル差動的触覚フィードバック４２１、４２２の供給を可能にするように構成される。ある実施形態において、（非インタラクト構成に関して）この差動的触覚フィードバックは、インタラクションの程度に拘わらず、一定のままでありえる。また、他の実施例においては、前記差動的触覚フィードバックは、初期に検出されたインタラクションの後に、停止することがあり得る。

【0074】

しかしながら、この場合、グローバル差動的触覚フィードバックの強度は、複数のユーザ・インタフェース要素４１１、４１２の間での（すなわち、オーバラップ領域４３１の領域上の）特定のオーバラップの程度に依存している。接触の場合には、図４ｂに図示されるように、オーバラップの範囲は、小さく、それで、グローバル差動的触覚フィードバック４２１、４２２の強度は、対応して小さい。この場合、それらを動かすことによって、ユーザがユーザ・インタフェース要素を操作しているときに、装置／デバイスは、図４ｂで示すように、スタイラス（この場合には、ユーザの指４９１、４９２である）の位置において、グローバル差動的触覚フィードバック４２１、４２２を提供するように構成される。すなわち、差動的触覚フィードバックは、ユーザがユーザ・インタフェース要素とインタラクトしていると、リアルタイムに提供される。

【0075】

提供されたグローバル差動的触覚フィードバックは、ユーザ・インタフェース要素が空間的にインタラクトしていないときに、提供された触覚フィードバックに加えて、および、それとは異なったある実施形態におけるものであることが理解される。

【0076】

この実施形態において、ユーザが、ウィンドウ・ユーザ・インタフェース要素を、（図４ｃで示すように）そのオーバラップが増加するように一緒に動かすとき、グローバル差動的触覚フィードバック４２１、４２２の強度は、（例えば、電子触覚型の波形の振幅を増加することによってなど）対応して増加する。

【0077】

この実施の形態において、ユーザがウィンドウ・ユーザ・インタフェース要素４１１、４１２をリリースするとき、それらは、その場所に静止したままであるように構成される。ユーザ・インタフェース要素が静止していると、複数のユーザ・インタフェース要素の間での空間インタラクションは、変化せず、それで、グローバル差動的触覚フィードバックはなくなる。しかしながら、複数のユーザ・インタフェース要素の間での空間インタラクションが、変化していないときに、この装置は、タッチ・スクリーン・ユーザ・インタフェースの異なる位置において、位置特有の差動的触覚フィードバックを提供するように構成される。すなわち、装置／デバイスは、複数のユーザ・インタフェース要素４１１、４１２の空間インタラクション領域４３１において第１の触覚フィードバック、および、複数のユーザ・インタフェース要素４１１、４１２のインタラクション領域の外の空間領域において第２の異なる触覚フィードバックを提供するように構成される。この場合、第１および第２の触覚フィードバックが、インタラクション領域の外のユーザ・インタフェース要素の部分に対してよりも、インタラクション領域４３１に対して（例えば、異なるテクスチャに対応する）異なる波形を提供することによって発生する。

【0078】

この場合、複数のユーザ・インタフェース要素のどの部分がインタラクトしているかを示す位置特有差動的空間触覚フィードバックを提供することによって、ユーザは、タッチ・スクリーンの表面を横切るようにユーザの指を動かすことによって、ユーザ・インタフェース要素のオーバラップしている部分４３１とユーザ・インタフェース要素４１１、４１２のオーバラップしていない部分との間での異なる表面テクスチャを検出することができる。すなわち、この場合、２つのユーザ・インタフェース要素のオーバラップ領域４３１のテクスチャは、非オーバラップ領域の触覚テクスチャと異なる。

【0079】

このデバイス／装置は、スタイラスが、グラフィカル・ユーザ・インタフェースの検出範囲の中で検出されたときにだけ、差動的触覚フィードバックの供給を可能にするように構成することができることが理解される。

【0080】

図５ａは、例えば、タッチ・スクリーン・ユーザ・インタフェース５０５、５０４、メモリ（図示せず）、プロセッサ（図示せず）、および、（例えば、電子メール、テキスト・メッセージ、電話、ウェブページに対応する情報などの）データを送受信するためのアンテナ（図示せず）を備えるユーザ・インタフェースを有するモバイル電話などポータブル電子通信デバイス５０１を備える図２で表される装置の更なる例示的実施形態を示す。

【0081】

この例において、携帯電話のディスプレイは、いくつかのアイコン・ユーザ・インタフェース要素５１１−５１４を表示するように構成される。各々のアイコン・ユーザ・インタフェース要素５１１−５１４は、その電子デバイスを用いて実行可能な関連機能を動かすように選択可能である。この場合、電子デバイス５１１のホーム・スクリーンにナビゲートすること、ゲーム・アプリケーション５１２を開くこと、電話呼アプリケーション５１３を開くこと、そして、セッティング・メニュー５１４を開くこと、の機能に対応するアイコン・ユーザ・インタフェース要素が存在する。この場合、ユーザ・インタフェース要素の各々は、アイコンを移動し、および／または、アイコンの大きさを変更するように、ユーザによって操作することができる。

【0082】

この例において、ユーザは、最も頻繁に電話アイコン・ユーザ・インタフェース要素を使用するので、使いやすさのために、それが上にきて、拡大されることを望む。こうするために、ユーザは、電話アイコン・ユーザ・インタフェース要素５１３を選択し、移動する。そして、タッチ・スクリーン・グラフィカル・ユーザ・インタフェースを使い、ドラッグ・ジェスチャーを用いて、トップの方にそれを移動する。この実施の形態において、各々のユーザ・アイコンは、それらが、オーバラップするときに、どのユーザ・インタフェース要素が、他のどのユーザ・インタフェース要素を覆うかをのべるグラフィカル・ユーザ・インタフェースの中で異なる層を占める。この場合、電話ユーザ・インタフェース要素５１３は、ホーム・スクリーン・ユーザ・インタフェース要素５１１によって占められる層より上にある層を占める。

【0083】

この場合、ユーザ・インタフェースは、ユーザは、感触によってユーザ・インタフェース要素を区別することができるように、（例えば、それらが空間的にインタラクトしていないときでさえ）異なるテクスチャを有するユーザ・インタフェース要素５１１−５１４の各々を提供するように構成される。この場合、電話ユーザ・インタフェース要素５１３は、ざらざらした感じを有するように構成される。しかるに、ホーム・スクリーン・ユーザ・インタフェース要素５１１は、布のような感覚を有するように構成される。この場合、その触覚フィードバックは、電気活性ポリマー（Ｅｌｅｃｔｒｏ Ａｃｔｉｖｅ Ｐｏｌｙｍｅｒ）技術を使用して提供される。他の例示的実施形態は、触覚アクチュエータ、圧電トランスデューサ、電気活性ポリマー、または、他の触覚テクノロジーを使用することができることが理解される。

【0084】

ユーザが、電話ユーザ・インタフェース要素５１３を、ホーム・スクリーン・ユーザ・インタフェース要素５１１の方へ持ってくるときに（図５ｃで示すように）、電話ユーザ・インタフェース要素５１３は、ホーム・スクリーン・ユーザ・インタフェース要素５１１にオーバラップする。電話ユーザ・インタフェース要素５１３が、ホーム・スクリーン・ユーザ・インタフェース要素５１１より上の層を占めるので、２つのユーザ・インタフェース要素がオーバラップしているとき、電話ユーザ・インタフェース要素５１３は、ホーム・スクリーン・ユーザ・インタフェース要素を隠す。それがホーム・スクリーン・ユーザ・インタフェース要素５１１を覆うからである。

【0085】

この場合、電話ユーザ・インタフェース要素が、ホーム・スクリーン・ユーザ・インタフェース要素にオーバラップすることによって、ホーム・スクリーン・ユーザ・インタフェース要素と空間的にインタラクトしているとき、装置／デバイスは、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、位置特有差動的触覚フィードバックの供給を可能にするように構成される。この場合、装置／デバイスは、空間的にインタラクトしている領域において覆っているユーザ・インタフェース要素（この場合は、電話ユーザ・インタフェース要素５１３）のテクスチャの粗さを増加するように構成される（すなわち、それによって、空間インタラクション領域の外で提供される第２の触覚フィードバックよりも、複数のユーザ・インタフェース要素の空間インタラクション領域５３１において異なる第１の触覚フィードバックを提供する）。

【0086】

したがって、この例では、電話ユーザ・インタフェースのざらざらしたテクスチャの粗さが、ホーム・スクリーン・ユーザ・インタフェース要素とオーバラップしている部分において増加される。ホーム・スクリーン・ユーザ・インタフェース要素が、電話ユーザ・インタフェース要素の上にある、あるいは、覆っているならば、オーバラップしている空間インタラクション領域５３１は、布の感覚、複数のユーザ・インタフェース要素の空間領域のインタラクション領域の外にあるホーム・スクリーン・ユーザ・インタフェース要素の部分の感触よりラフな布のテクスチャを有することが理解される。

【0087】

ユーザが、オーバラップの程度（領域）が増加するように電話ユーザ・インタフェース要素を動かすと、オーバラップしている空間インタラクション領域のユーザが検出する粗さは増加する。

【0088】

図５ｄで表される状況において、ユーザは、電話ユーザ・インタフェース要素の配置を終え、そして、ホーム・スクリーン・ユーザ・インタフェース要素５１１を完全に覆うように電話ユーザ・インタフェース要素を拡大した。下にあるホーム・スクリーン・ユーザ・インタフェース要素５１１は、オーバラップ／非オーバラップ（両方とも下にあるオブジェクトを隠している）のそれぞれの領域で差動的触覚フィードバックを提供することによって、完全に隠された（図５ｃと図５ｄの点線はガイダンスだけのためである）けれども、ユーザは、（例えば、もし、このケースの場合のように、ホーム・スクリーン・ユーザ・インタフェース要素が、覆っているユーザ・インタフェース要素によって視覚的に隠されているとしても）感触を用いてホーム・スクリーン・ユーザ・インタフェース要素が、どこに位置するかを決定することができる。すなわち、異なるフィードバックが、５３１によって規定され、そして、周辺部５３１の外であるが、ユーザ・インタフェース素子５１３の領域の中である周辺部の中で提供される。

【0089】

ユーザ・インタフェース要素が異なる層を占めるように構成された実施形態は、ユーザ・インタフェース要素が占めるグラフィカル・ユーザ・インタフェースのレイヤに基づくユーザ・インタフェース要素と結びついている差動的触覚フィードバックの供給を可能にすることができることが理解される。例えば、トップに向かうユーザ・インタフェース要素は、ボトムに向かうユーザ・インタフェース要素よりも滑らかなテクスチャを持つことができる。これは、ユーザが、（可視表示を得るために）オーバラップするようにユーザ・インタフェース要素をまわりに動かさなければならないこともなく、特定のユーザ・インタフェース要素が、どの層を占めるのかを決定することを可能にする。

【0090】

図６は、例えば、（図４および図５のタッチ・スクリーン・ユーザ・インタフェースと異なり）ディスプレイ６０４およびマウス６０５を有するユーザ・インタフェース、メモリ（図示せず）、プロセッサ（図示せず）、および、（例えば、電子メール、テキスト・メッセージ、電話、ウェブページに対応する情報などの）データを送受信するためのネットワーク接続（図示せず）を備えるデスクトップ・コンピュータなど、電子デバイス６０１を備える図２で表される装置の更なる例示的実施形態を示す。これは、ユーザが、他のユーザ・インタフェース要素をまわりに動かさなければならないこともなく、隠されたユーザ・インタフェース要素を見つけることを可能にする。

【0091】

この場合、ユーザは、（例えば、コンピュータ支援設計アプリケーションを使用するなど）仮想ルームに家具を配置するための電子デバイスのホーム・プラニング・アプリケーションを使用している。この場合、この仮想ルームは、２席ソファー６１１、３席ソファー６１３、テーブル６１２、机６１４、および、椅子６１５を表すアイコン・ユーザ・インタフェース要素を含む。

【0092】

この場合、ユーザは、より大きなテーブルを持っていたい。それで、マウスを使用して、テーブル・ユーザ・インタフェース要素６１２を選ぶようにカーソル６９５を動かす。ユーザは、次に、（図６ｂで示すように）テーブル・ユーザ・インタフェース要素の左端を左にドラグすることによって、テーブルを拡大する。

【0093】

ユーザ・テーブル・ユーザ・インタフェース要素６１２が拡大されると、それは、２席ソファー・ユーザ・インタフェース要素６１１と、空間的にインタラクトする。この場合、このデバイス／装置は、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素６１１−６１５の間での特定の空間インタラクションに基づいて、グローバル差動的触覚フィードバック６３１の供給を可能にするように構成される。

【0094】

この場合、このデバイス／装置は、複数のユーザ・インタフェース要素間の空間インタラクションが変化していると、グローバル差動的触覚フィードバック６２１を提供するように構成される。この場合、マウス６０５は、オーバラップの領域に比例している周波数で振動するように構成されることによって，グローバル差動的触覚フィードバック６２１を提供するために使用可能である。図６ｂで表される状況において、ユーザが、それが、２席ソファー・ユーザ・インタフェース要素６１１と、空間的にインタラクトするようにテーブル・ユーザ・インタフェース要素６１２を拡大しているとき、マウス６０５は、低周波で振動に触覚フィードバック６２１を提供するように構成される。オーバラップ６３１の程度が比較的小さいからである。

【0095】

（図６ｃで示すように）オーバラップの程度がより大きいように、ユーザが、さらにテーブル・ユーザ・インタフェース要素６１２を拡大したとき、マウス振動差動的触覚フィードバック６２１の周波数が増加される。この実施の形態において、ユーザがユーザ・インタフェース要素を操作することを完成したとき、装置／デバイスは、グローバル差動的触覚フィードバックを提供するのを止めるように構成される。

【0096】

図４の実施形態のように、この実施形態は、また、位置特定触覚フィードバックを提供するように構成される。すなわち、装置／デバイスは、マウスが、カーソルが、複数のユーザ・インタフェース要素のインタラクション領域の外に位置するように構成されるよりも、カーソルが、複数のユーザ・インタフェース要素６１１−６１５の空間インタラクション領域６３１の中に配置されるときに、異なる態様で振動するように構成される。このように、ユーザは、ディスプレイ周辺のマウス運動を用いて、空間インタラクションの位置と範囲を探索することができる。

【0097】

他の実施例においては、装置／デバイスは、異なるように、差動的触覚フィードバックを提供するように構成することができることが理解される。例えば、装置／デバイスは、触覚フィードバックの一貫性を変化するように構成することができる。例えば、空間インタラクションの程度が少ないとき、このデバイス／装置は、大きなギャップで分離された触覚フィードバックの小さなバーストを有する断続的な触覚フィードバックを提供するように構成することができる。空間インタラクションの程度が増加すると、装置／デバイスは、触覚フィードバック・バーストの期間を増加し、および／または、分離しているギャップの期間を減少させるように構成することができる。大きな空間インタラクションがあるとき、このデバイス／装置は、連続的に触覚フィードバックを提供するように構成することができる。

【0098】

他の例示的実施形態は、ユーザが、３次元でユーザ・インタフェース要素を操作することを可能にすることが理解される。この場合、空間インタラクションの程度を、ボリュームに関して測定することができる。

【0099】

図７ａは、リモート・サーバと通信している装置の例示的実施形態を示す。図７ｂは、クラウド・コンピューティングのために、クラウドと通信を行っている装置の例示的実施形態を示す。図７ａと図７ｂとにおいて、装置７０１（これは、装置１０１、２０１または３０１であり得る）は、ディスプレイ７０４と通信を行っている。もちろん、装置７０１とディスプレイ７０４とは、同じ装置／デバイスの部品を形成することができる、ただし、図に示されるように、それらは、別々でありえる。装置７０１は、また、リモート・コンピューティング要素と通信を行っている。そのような通信は、例えば、通信ユニットを介することができる。図７ａは、リモート・コンピューティング要素が、リモート・サーバ７９５であることを示す。これにより、装置は、（例えば、インターネット、ブルートゥース、ＵＳＢ接続、あるいは、当業者に知られているような他の適当な接続などを介して）有線または無線通信を行うことができる。図７ｂにおいて、装置７０１は、リモート・クラウド７９６と通信している（これは、たとえば、インターネット、または、クラウド・コンピューティングのために構成されたリモート・コンピューターのシステムによることができる）。ユーザ・インタフェース要素と関連した機能を、リモート・コンピューティング要素７９５、７９６に格納し、そして、ディスプレイ７０４のために、装置７０１によりアクセスすることができる。これは、リモート・コンピューティング要素７９５、７９６において実行可能にすることができる。装置７０１は、実際に、リモート・サーバ７９５またはリモート・クラウド７９６の部品を形成することができる。そのような実施形態においては、フィードバックの供給は、サーバにより、または、サーバの使用とともに可能にできる。

【0100】

図８は、本願開示の例示的実施形態にしたがって、プロセス・フローを図示する。このプロセスは、グラフィカル・ユーザ・インタフェースの複数のユーザ・インタフェース要素の間での特定の空間インタラクションに基づいて、差動的触覚フィードバックの供給を可能にすること８８１を含む。

【0101】

図９は、実施形態にしたがってコンピュータ／プロセッサ読取り可能メディア（９００）を概略的に図示する。この例において、コンピュータ／プロセッサ読取り可能メディアは、デジタル多用途ディスク（ＤＶＤ）またはコンパクト・ディスク（ＣＤ）などのディスクである。他の実施形態においては、コンピュータ読取り可能メディアは、ここに記述された機能性を実行するようにプログラムされたいかなるメディアでもあり得る。コンピュータ・プログラム・コードは、ＲＯＭ、ＲＡＭ、フラッシュ、ハード・ディスク、ソリッド・ステートなどの同一タイプのメモリまたは、異なるタイプのマルチプル・メモリの間で、配布することができる。

【0102】

この特定の記載された装置／デバイス／サーバのいかなる記載された装置／デバイス／サーバや他の特徴も、例えば、スイッチを入れる、その他により使用可能となったときにのみ、所望の活動を実行するように構成されるように準備された装置によって、提供することができる。そのような場合において、それらは、必ずしも、非使用可能である（例えば、スイッチ・オフ状態の）アクティブ・メモリへロードされた適切なソフトウェアを持つことができるというわけではなく、そして、使用可能（例えば、オン状態）で適切なソフトウェアをロードできるだけである。この装置は、ハードウェア回路やファームウェアを備えることができる。この装置は、メモリの上へロードされるソフトウェアを備えることができる。そのようなソフトウェア／コンピュータ・プログラムは、同一のメモリ／プロセッサ／機能ユニットの上に、および／または、１つ以上のメモリ／プロセッサ／機能ユニットの上に記録することができる。

【0103】

いくつかの実施形態において、特定の記載された装置／デバイス／サーバは、所望の動作を実行するために、適切なソフトウェアで前もってプログラムすることができる。ここで、例えば、ソフトウェアとその関連機能をアンロック／使用可能にするために、ユーザが、「鍵（ｋｅｙ）」をダウンロードすることによって、適切なソフトウェアを使用可能にすることができる。そのような実施形態に結びついた利点は、デバイスに対して更なる機能を要求されたとき、データをダウンロードする要求を少なくすることを含むことができる。そして、これは、例えば、ユーザが使用可能にすることができない機能のためにそのような前もってプログラムされたソフトウェアをストアするのに、デバイスに十分な能力があると認められるような場合に有用である。

【0104】

いかなる記載された装置／回路／要素／プロセッサでも、前述の機能に加えて、他の機能を持つことができる。そして、これらの機能は、同じ装置／回路／素子／プロセッサにより実行することができる。１つ以上の開示された態様は、付随するコンピュータ・プログラム、および、適切なキャリア（例えば、メモリ、信号、など）の上に記録されたコンピュータ・プログラム（これは、ソースあるいは搬送コード化できる）の電子配信を含むことができる。

【0105】

ここに記述されるいかなる「コンピュータ」も、同じ回路基板に、または、回路基板の、あるいは、同じデバイスの上でさえも同じ領域／位置に配置できても配置できなくても１つ以上の個々のプロセッサ／処理要素の集合を備えることができる。いくつかの実施形態において、いかなる記載されたプロセッサの１つ以上を、複数のデバイスに配布することができる。同一の、あるいは、異なるプロセッサ／処理要素は、ここに記述された１つ以上の機能を実行することができる。

【0106】

「信号伝達（ｓｉｇｎａｌｌｉｎｇ）」という用語は、送信されたおよび／または受信された電気／光学信号のシリーズとして送信された１つ以上の信号を指すことができる。この信号のシリーズは、その信号伝達を構成するために、１つ、２つ、３つ、４つ、またはさらに多くの個別の信号コンポーネントまたは別個の信号をふくむことができる。これら個々の信号のいくつかまたは全てが、無線または有線通信で、同時に、シーケンスで、および／または、それらが互いに時間的にオーバラップするように、送受信されることができる。

【0107】

すべての上述されたコンピュータやプロセッサ、および、（例えば、ＲＯＭ、ＣＤ−ＲＯＭその他を含む）メモリのすべての議論を参照すると、これらは、コンピュータ・プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート、アレイ（ＦＰＧＡ）、および／または、本願発明の機能を実行するようにプログラムされた他のハードウェアコンポーネントを備えることができる。

【0108】

出願人は、ここに記述した個々の特徴を、単独で、および、２つ以上のそれらの特徴の任意の組合せで、そのような特徴、または、それらの組合せが、そのような特徴、あるいは、特徴の組合せが、ここに開示された、いかなる問題も解決するかどうかにかかわりなく、そして、本願特許請求の範囲に制限することなく、当業者の一般的共通知識に照らして、全体として本願仕様に基づいて、実行することが可能である範囲で、開示する。本願出願人は、開示された態様／実施形態は、いかなるそのような特徴、あるいは、特徴の組合せをも含むことができることを示す。前述の説明の観点から、種々の修正が、本願開示の範囲内で行うことができることは、当業者には明白である。

【0109】

基本的な新規な特徴を、それらの例示的実施形態に適用されるように、示し、記載し、指摘してきたが、記述されたデバイスおよび方法の形と詳細における種々の省略および代替および変更、当業者によって、本願開示の趣旨を逸脱することなく、作られることができることが理解される。例えば、同一の結果を達成するために、実質的に同一の方法で実質的に同一の機能を実行する、それらの要素や方法ステップのすべての組合せは、本願開示の範囲内であることが、明確に意図されている。さらに、すべての開示された形式または実施形態に関連して示され、および／または、記述された構造や要素や方法ステップは、設計選択の一般的な問題として、任意の他の開示さえた、または、記載された、または、示唆された形式または、実施形態に組み込むことができることは認められなければならない。更にまた、特許請求の範囲において、ミーンズ・プラス・ファンクション・クローズは、述べられた機能を実行するような、ここに記述される構造をカバーすることを意図するものである。また、構造的等価物だけではなく、等価的な構成をもカバーするものである。したがって、釘とネジとは、木の部品を固定する環境でネジが螺旋形の表面を使用するのに対して、木の部品を一緒に固定するのに釘が円筒周面を使用するという点で構造的等価物ではあり得ないけれども、釘とネジとは、等価的な構成であり得る。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図5a】

【図5b】

【図5c】

【図5d】

【図6a】

【図6b】

【図6c】

【図7a】

【図7b】

【図8】

【図9】