特許 5902284 力検出で拡張したユーザ・インタフェース要素

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5902284

(24)【登録日】2016年3月18日

(45)【発行日】2016年4月13日

(54)【発明の名称】力検出で拡張したユーザ・インタフェース要素

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20160331BHJP

   G06F 3/041 20060101ALI20160331BHJP

   H04M 1/247 20060101ALI20160331BHJP

   H04M 1/00 20060101ALI20160331BHJP

【ＦＩ】

   G06F3/0488

   G06F3/041 600

   H04M1/247

   H04M1/00 R

【請求項の数】14

【全頁数】18

(21)【出願番号】特願2014-239769(P2014-239769)

(22)【出願日】2014年11月27日

(62)【分割の表示】特願2014-508192(P2014-508192)の分割

【原出願日】2012年5月1日

(65)【公開番号】特開2015-46192(P2015-46192A)

(43)【公開日】2015年3月12日

【審査請求日】2014年11月27日

(31)【優先権主張番号】61/488,072

(32)【優先日】2011年5月19日

(33)【優先権主張国】US

(31)【優先権主張番号】13/416,731

(32)【優先日】2012年3月9日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ブライアン・モメイヤー

(72)【発明者】

【氏名】ケヴィン・エム・ベックウィズ

【審査官】 浜岸 広明

(56)【参考文献】

【文献】 特開２０１０−１５２７１６（ＪＰ，Ａ）

【文献】 特開２０１１−０５３８３２（ＪＰ，Ａ）

【文献】 特開２０１０−１５２７３７（ＪＰ，Ａ）

【文献】 特開２０１１−０４８６６６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０１０７２１２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／００２６６４０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１−３／１５３

Ｈ０４Ｍ １／００

Ｈ０４Ｍ １／２４７

(57)【特許請求の範囲】

【請求項1】

タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトとの接触を検出するステップであって、前記選択可能なオブジェクトが第1のコマンドおよび第2のコマンドに関連付けられる、ステップと、
前記タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて前記タッチ・スクリーンとの前記接触の力レベルを決定するステップと、
前記力レベルが第１の力レベルより大きいとき、二次的確認を必要としない前記第１のコマンドを開始してコンピューティング・デバイスを制御し、前記力レベルが前記第１の力レベルより大きい第２の力レベルより大きいとき、二次的確認を必要とする前記第２のコマンドを開始するステップと、
を含む、方法。

【請求項2】

前記力レベルを前記第１の力レベルに対応する閾値と比較するステップをさらに含み、前記第１のコマンドは前記力レベルが前記閾値より高いときに開始される、請求項１に記載の方法。

【請求項3】

前記力レベルが前記第２の力レベルより大きいとき、前記第２のコマンドを開始する前に、前記二次的確認のためのダイアログ・ボックスが表示されない、請求項１に記載の方法。

【請求項4】

二次的確認を必要とする前記第２のコマンドは、異常な、非デフォルトの、不可逆な、または潜在的にシステムを危険に陥らせる動作を前記コンピューティング・デバイスに実施させるおそれがある、請求項１に記載の方法。

【請求項5】

二次的確認を必要とする前記第２のコマンドは、非デフォルトのオプション、システムのファイルまたはディレクトリを操作するためのコマンド、非デフォルトのアプリケーションにおけるコンテンツのオープン、または綴りの誤り、文法の誤り、攻撃的な内容、もしくは複数の受信者を有する電子メールの送信のうち少なくとも１つである、請求項１に記載の方法。

【請求項6】

筐体と、
ディスプレイ、前記ディスプレイに接続されたタッチ・センサ、ならびに前記筐体および前記ディスプレイの間で接続された少なくとも１つの力センサを備えたタッチ・スクリーン・ディスプレイと、
前記タッチ・センサと前記少なくとも１つの力センサからデータを受信するように接続されたプロセッサであって、前記プロセッサは、前記タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトとの接触を前記タッチ・センサからの前記データに基づいて検出することであって、前記選択可能なオブジェクトが第1のコマンドおよび第2のコマンドに関連付けられる、ことと、前記タッチ・スクリーンとの前記接触の力レベルを前記少なくとも１つの力センサからのデータに基づいて決定することと、前記力レベルが第１の力レベルより大きいとき、二次的確認を必要としない前記第１のコマンドを開始してコンピューティング・デバイスを制御し、前記力レベルが前記第１の力レベルより大きい第２の力レベルより大きいとき、二次的確認を必要とする前記第２のコマンドを開始することとを行うように構成されたプロセッサと、
を備える、装置。

【請求項7】

前記プロセッサはさらに前記力レベルを前記第１の力レベルに対応する閾値と比較するように構成され、前記第１のコマンドは前記力レベルが前記閾値より高いときに開始される、請求項６に記載の装置。

【請求項8】

前記プロセッサはさらに、前記第２の力レベルより大きいとき、前記第２のコマンドを開始する前に前記ディスプレイに前記二次的確認のためのダイアログ・ボックスを表示させないように構成された、請求項６に記載の装置。

【請求項9】

二次的確認を必要とする前記第２のコマンドは、異常な、非デフォルトの、不可逆な、または潜在的にシステムを危険に陥らせる動作を前記プロセッサに実施させるおそれがある、請求項６に記載の装置。

【請求項10】

二次的確認を必要とする前記第２のコマンドは、非デフォルトのオプション、システムのファイルまたはディレクトリを操作するためのコマンド、非デフォルトのアプリケーションにおけるコンテンツのオープン、または綴りの誤り、文法の誤り、攻撃的な内容、もしく複数の受信者を有する電子メールの送信のうち少なくとも１つである、請求項６に記載の装置。

【請求項11】

タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトとの接触を検出する手段であって、前記選択可能なオブジェクトが第1のコマンドおよび第2のコマンドに関連付けられる、手段と、
前記タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて前記タッチ・スクリーンとの前記接触の力レベルを決定する手段と、
前記力レベルが第１の力レベルより大きいとき、二次的確認を必要としない前記第１のコマンドを開始してコンピューティング・デバイスを制御し、前記力レベルが前記第１の力レベルより大きい第２の力レベルより大きいとき、二次的確認を必要とする前記第２のコマンドを開始する手段と、
を備える、装置。

【請求項12】

前記力レベルを前記第１の力レベルに対応する閾値と比較する手段をさらに含み、前記第１のコマンドは前記力レベルが前記閾値より高いときに開始される、請求項１１に記載の装置。

【請求項13】

プログラム・コードを格納した非一時的なコンピュータ読取可能媒体であって、
タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトとの接触を検出するためのプログラム・コードであって、前記選択可能なオブジェクトが第1のコマンドおよび第2のコマンドに関連付けられる、プログラム・コードと、
前記タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて前記タッチ・スクリーンとの前記接触の力レベルを決定するプログラム・コードと、
前記力レベルが第１の力レベルより大きいとき、二次的確認を必要としない前記第１のコマンドを開始してコンピューティング・デバイスを制御し、前記力レベルが前記第１の力レベルより大きい第２の力レベルより大きいとき、二次的確認を必要とする前記第２のコマンドを開始するプログラム・コードと、
を備える、非一時的なコンピュータ読取可能媒体。

【請求項14】

前記力レベルを前記第１の力レベルに対応する閾値と比較するためのプログラム・コードをさらに含み、前記第１のコマンドは前記力レベルが前記閾値より高いときに開始される、請求項１３に記載の非一時的なコンピュータ読取可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の記載
本出願は、発明の名称を「力検出で拡張したユーザ・インタフェース要素」とした２０１２年３月９日出願の米国特許出願第１３／４１６、７３１号の優先権を主張する。当該米国特許出願第１３／４１６、７３１号は、米国特許法第１１９条により、発明の名称を「力検出で拡張したユーザ・インタフェース要素」とした２０１１年５月１９日出願の米国仮特許出願第６１／４８８、０７２号の優先権を主張する。これらの出願は両方ともその出願人が本出願の出願人であり、引用により本明細書に取り込まれる。

【0002】

本明細書に記載した発明の要旨の諸態様は、一般にコンピューティング・システムのユーザ・インタフェースに関し、より詳細には、コンピューティング・システムのユーザ・インタフェースにおける力検出に関する。

【背景技術】

【0003】

タッチ・スクリーン・ディスプレイは、スマート・フォンのようなモバイル・プラットフォーム・アプリケーションにおいて遍在するようになっている。タッチ・スクリーン・ディスプレイによりキーパッドの必要性が排除されている。１つの適合形態では、タッチ・スクリーン・ディスプレイは、キーパッドを置き換えるものとしてだけではなく、タッチ・スクリーン上のユーザのジェスチャを検出し当該ジェスチャを実行すべき所望のコマンドに変換するユーザ・インタフェースとしても利用されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

通常、タッチ・スクリーン・ディスプレイは、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）技術、またはＬＰＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｐｏｌｙｍｅｒ ｄｉｓｐｌａｙ）技術である。スクリーンにはタッチ・センサが重ねられている。タッチ・センサは、静電容量技術、抵抗膜技術、赤外線技術、および表面弾性波技術といったタッチ・センシング技術を使用して、タッチ・スクリーンとの１つまたは複数の接触点を決定する。しかし、タッチ・センシング技術では情報をディスプレイ面において２次元で受信する。一部のタッチ・センシング技術では、静電容量センサのように、どれだけオブジェクトがタッチ・スクリーン・ディスプレイ１２に近いかを検出できるが、最終的には検出されたパラメータ、例えば静電容量が規定の閾値内にあるときに当該オブジェクトが接触していると判定する。したがって、かかるタッチ・センシング技術では、まさに２次元情報、即ち、当該オブジェクトが接触していると考えられるほど十分に近いかどうかを検出し、十分に近い場合には、その接触の２次元位置を検出するにすぎない。したがって、従来の静電容量型のタッチ・スクリーンおよびユーザ・インタフェースでは力ではなく接触にしか応答しない。

【0005】

このように、従来のタッチ・スクリーン・ディスプレイは２次元のユーザ・インタフェースとして機能するので、ユーザの対話機会（ｉｎｔｅｒｆａｃｉｎｇ ｏｐｐｏｒｔｕｎｉｔｉｅｓ）やそれに対する装置の応答は限られたものとなる。

【課題を解決するための手段】

【0006】

コンピューティング・デバイスは、少なくとも１つの力センサを有するタッチ・スクリーン・ディスプレイを備える。当該力センサの各々は、タッチ・スクリーン・ディスプレイとの接触に応答して信号を提供する。タッチ・スクリーンとの接触から生ずる少なくとも１つの力センサからの力信号を用いて、コンピューティング・デバイスの動作を制御して、例えば、複数の重なり合うインタフェース要素のうち１つを選択し、二次的確認を必要とする想定外のコマンド起動を防ぎ、拡張現実アプリケーションにおける現実のオブジェクトの力要件を模倣してもよい。

【0007】

１実施形態では、方法が、コンピューティング・デバイスに動作可能に接続されたタッチ・スクリーン・ディスプレイ上で少なくとも部分的に重なり合っている複数の選択可能なオブジェクトを表示するステップと、タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いてタッチ・スクリーン・ディスプレイとの接触の力レベルを決定するステップと、当該接触の力レベルを用いて複数の選択可能なオブジェクトからオブジェクトを選択するステップと、選択されたオブジェクトに基づいてコンピューティング・デバイスを制御するステップと、を含む。

【0008】

１実装形態では、装置が、筐体と、ディスプレイならびに当該筐体および当該ディスプレイの間で接続された少なくとも１つの力センサを備えるタッチ・スクリーン・ディスプレイと、当該少なくとも１つの力センサからデータを受信するように接続されたプロセッサであって、当該プロセッサは、少なくとも部分的に重複した複数の選択可能なオブジェクトを当該タッチ・スクリーン・ディスプレイに表示させ、当該少なくとも１つの力センサからの当該データに基づいて当該タッチ・スクリーン・ディスプレイとの接触の力レベルを決定し、当該接触の当該力レベルを用いてオブジェクトを当該複数の選択可能なオブジェクトから選択し、選択された当該オブジェクトに関連するコマンドを開始するように構成されたプロセッサと、を備える。

【0009】

１実装形態では、装置が、コンピューティング・デバイスに動作可能に接続されたタッチ・スクリーン・ディスプレイ上で少なくとも部分的に重なり合っている複数の選択可能なオブジェクトを表示する手段と、タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いてタッチ・スクリーン・ディスプレイとの接触の力レベルを決定する手段と、当該接触の力レベルを用いて複数の選択可能なオブジェクトからオブジェクトを選択する手段と、選択されたオブジェクトに基づいてコンピューティング・デバイスを制御する手段と、を備える。

【0010】

１実装形態では、プログラム・コードを格納した非一時的なコンピュータ読取可能媒体が、コンピューティング・デバイスに動作可能に接続されたタッチ・スクリーン・ディスプレイ上で少なくとも部分的に重なり合っている複数の選択可能なオブジェクトを表示するためのプログラム・コードと、タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いてタッチ・スクリーン・ディスプレイとの接触の力レベルを決定するためのプログラム・コードと、当該接触の力レベルを用いて複数の選択可能なオブジェクトからオブジェクトを選択するためのプログラム・コードと、選択されたオブジェクトに基づいてコンピューティング・デバイスを制御するためのプログラム・コードと、を備える。

【0011】

１実装形態では、方法が、タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトとの接触を検出するステップであって、当該選択可能なオブジェクトがコンピューティング・デバイスを制御するためのコマンドに関連付けられるステップと、当該コンピューティング・デバイスを制御するための当該コマンドが二次的確認を必要とすると判定するステップと、当該タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて当該タッチ・スクリーンとの当該接触の力レベルを決定するステップと、当該選択可能なオブジェクトとの当該接触と前記力レベルに応答して前記コマンドを開始するステップと、を含む。

【0012】

１実装形態では、装置が、筐体と、ディスプレイ、当該ディスプレイに接続されたタッチ・センサ、ならびに当該筐体および当該ディスプレイの間で接続された少なくとも１つの力センサを備えたタッチ・スクリーン・ディスプレイと、当該タッチ・センサと当該少なくとも１つの力センサからデータを受信するように接続されたプロセッサであって、当該プロセッサは、当該タッチ・スクリーン・ディスプレイ上のコマンドに関連付けられた選択可能なオブジェクトとの接触を当該タッチ・センサからの当該データに基づいて検出し、当該コマンドが二次的確認を必要とすると判定し、当該タッチ・スクリーンとの当該接触の力レベルを当該少なくとも１つの力センサからのデータに基づいて決定し、当該選択可能なオブジェクトとの当該接触と当該力レベルに応答して当該コマンドを開始するように構成されたプロセッサと、を備える。

【0013】

１実装形態では、装置が、タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトとの接触を検出する手段であって、当該選択可能なオブジェクトがコンピューティング・デバイスを制御するためのコマンドに関連付けられる手段と、当該コンピューティング・デバイスを制御するための当該コマンドが二次的確認を必要とすると判定する手段と、当該タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて当該タッチ・スクリーンとの当該接触の力レベルを決定する手段と、当該選択可能なオブジェクトとの当該接触と当該力レベルに応答して当該コマンドを開始する手段と、を備える。

【0014】

１実装形態では、プログラム・コードを格納した非一時的なコンピュータ読取可能媒体が、タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトとの接触を検出するためのプログラム・コードであって、当該選択可能なオブジェクトがコンピューティング・デバイスを制御するためのコマンドに関連付けられるプログラム・コードと、当該コンピューティング・デバイスを制御するための当該コマンドが二次的確認を必要とすると判定するためのプログラム・コードと、当該タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて当該タッチ・スクリーンとの当該接触の力レベルを決定するためのプログラム・コードと、当該選択可能なオブジェクトとの当該接触と当該力レベルに応答して当該コマンドを開始するためのプログラム・コードと、を備える。

【0015】

１実装形態では、方法が、コンピューティング・デバイスに動作可能に接続されたタッチ・スクリーン・ディスプレイに現実のデバイスの拡張現実表現を表示するステップであって、当該拡張現実表現は当該現実のデバイスの現実の選択可能なオブジェクトに関連付けられた選択可能なオブジェクトを含み、当該現実の選択可能なオブジェクトは選択すべき力要件を有するステップと、当該タッチ・スクリーン・ディスプレイ上の当該選択可能なオブジェクトとの接触を検出するステップと、当該タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて当該タッチ・スクリーンとの当該接触の力レベルを決定するステップと、当該力レベルを当該力要件に関連付けられた力閾値と比較するステップと、当該力レベルが当該力閾値より高いとき、当該接触に応答して当該コンピューティング・デバイスを制御するステップと、を含む。

【0016】

１実装形態では、装置が、筐体と、選択すべき力要件を有する現実の選択可能なオブジェクトで現実のデバイスのイメージをキャプチャするためのカメラと、ディスプレイ、当該ディスプレイに接続されたタッチ・センサ、ならびに当該筐体および当該ディスプレイの間で接続された少なくとも１つの力センサを備えたタッチ・スクリーン・ディスプレイと、当該カメラから当該イメージを受信し当該タッチ・センサと当該少なくとも１つの力センサからデータを受信するように接続されたプロセッサであって、当該プロセッサは、当該ディスプレイに現実の選択可能なオブジェクトに関連付けられた選択可能なオブジェクトを含む当該現実のデバイスの拡張現実表現を当該ディスプレイ上に表示させ、当該タッチ・スクリーン・ディスプレイ上の当該選択可能なオブジェクトとの接触を当該タッチ・センサからの当該データに基づいて検出し、当該タッチ・スクリーンとの当該接触の力レベルを当該少なくとも１つの力センサからのデータに基づいて決定し、当該力レベルを当該力要件に関連付けられた力閾値と比較し、当該力レベルが当該力閾値より高いときに当該接触に応答して当該選択可能なオブジェクトに関連付けられたコマンドを開始するように構成されたプロセッサと、を備える。

【0017】

１実装形態では、装置が、コンピューティング・デバイスに動作可能に接続されたタッチ・スクリーン・ディスプレイに現実のデバイスの拡張現実表現を表示する手段であって、当該拡張現実表現は当該現実のデバイスの現実の選択可能なオブジェクトに関連付けられた選択可能なオブジェクトを含み、当該現実の選択可能なオブジェクトは選択すべき力要件を有する手段と、当該タッチ・スクリーン・ディスプレイ上の当該選択可能なオブジェクトとの接触を検出する手段と、当該タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて当該タッチ・スクリーンとの当該接触の力レベルを決定する手段と、当該力レベルを当該力要件に関連付けられた力閾値と比較する手段と、当該力レベルが当該力閾値より高いとき、当該接触に応答して当該コンピューティング・デバイスを制御する手段と、を備える。

【0018】

１実装形態では、プログラム・コードを格納した非一時的なコンピュータ読取可能媒体が、コンピューティング・デバイスに動作可能に接続されたタッチ・スクリーン・ディスプレイに現実のデバイスの拡張現実表現を表示するためのプログラム・コードであって、当該拡張現実表現は当該現実のデバイスの現実の選択可能なオブジェクトに関連付けられた選択可能なオブジェクトを含み、当該現実の選択可能なオブジェクトは選択すべき力要件を有するプログラム・コードと、当該タッチ・スクリーン・ディスプレイ上の当該選択可能なオブジェクトとの接触を検出するためのプログラム・コードと、当該タッチ・スクリーン・ディスプレイに接続された少なくとも１つの力センサを用いて当該タッチ・スクリーンとの当該接触の力レベルを決定するためのプログラム・コードと、当該力レベルを当該力要件に関連付けられた力閾値と比較するためのプログラム・コードと、当該力レベルが当該力閾値より高いとき、当該接触に応答して当該コンピューティング・デバイスを制御するためのプログラム・コードと、を備える。

【図面の簡単な説明】

【0019】

【図1】３次元タッチ情報を検出するタッチ・スクリーン・ディスプレイを有するコンピューティング・デバイスを示す図である。

【図2】３次元タッチ情報を検出するための力センサを有するタッチ・スクリーン・ディスプレイの斜視図である。

【図3】力センサを伴うタッチ・スクリーン・ディスプレイを有し、３次元ユーザ・インタフェースが促すコマンドをサポートできるコンピューティング・デバイスのブロック図である。

【図4】タッチ・スクリーン・ディスプレイ上の少なくとも１つの力センサを利用して、検出された力を用いることによりコンピューティング・デバイスの動作を制御して複数の重なり合うインタフェース要素の１つを選択する１実施形態を示す流れ図である。

【図5】ユーザが力を入れてコンピューティング・デバイスのタッチ・スクリーン・ディスプレイを触って複数の重なり合うインタフェース要素の１つを選択することを示す図である。

【図6】タッチ・スクリーン・ディスプレイ上の少なくとも１つの力センサを利用して、二次的確認を必要とする疑わしいコマンド、例えば異常な、不可逆な、非デフォルトの、または潜在的にシステムを危険に陥らせる動作に関連するコマンドの想定外の起動を防ぐことによりコンピューティング・デバイスの動作を制御する１実施形態を示す流れ図である。

【図7】例として、ユーザがコンピューティング・デバイスのタッチ・スクリーン・ディスプレイを触ることを示し、より高い力レベルの接触を要求することにより、二次的確認を必要とする疑わしいコマンドの想定外の起動を防ぐことを示す図である。

【図8】タッチ・スクリーン・ディスプレイの少なくとも１つの力センサを利用して、コンピューティング・デバイスの動作を制御して拡張現実アプリケーションにおける現実のオブジェクトの力要件を模倣する１実施形態を示す流れ図である。

【図9】例として、現実のオブジェクトの力要件を模倣する拡張現実アプリケーションを含むコンピューティング・デバイスのタッチ・スクリーン・ディスプレイにユーザが触れることを示す図である。

【発明を実施するための形態】

【0020】

図１は、タッチ情報を３次元で、即ち、Ｘ軸、Ｙ軸、およびＺ軸に沿って検出するタッチ・スクリーン・ディスプレイ１０２を有するコンピューティング・デバイス１００を示す。Ｚ軸の情報を追加することにより、タッチ・スクリーン・ディスプレイ１０２は３次元でのインタフェースを可能とし、タッチ・スクリーンの表面上の単純な２次元インタフェースに限定されなくなる。

【0021】

コンピューティング・デバイス１００は、セルラ通信デバイスもしくは他の無線通信デバイス、ＰＣＳ（ｐｅｒｓｏｎａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）デバイス、ＰＮＤ（ｐｅｒｓｏｎａｌ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ）、ＰＩＭ（Ｐｅｒｓｏｎａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ラップトップもしくは他の適切なモバイル・デバイスまたは、デスクトップ・コンピュータもしくは他の同様なデバイスを含む他の任意の適切な固定のコンピューティング・デバイスといった、モバイル・プラットフォームであってもよい。このように、「コンピューティング・デバイス」は全てのデバイスを含むことを意図したものであり、タッチ・スクリーン・ディスプレイを備えたユーザ・インタフェースを有する無線通信デバイス、コンピュータ、ラップトップ、等が含まれる。

【0022】

図２は、Ｘ、Ｙ、およびＺ軸を有するコンピュータ・デバイス１００のタッチ・スクリーン・ディスプレイ１０２の斜視図を示す。タッチ・スクリーン・ディスプレイ１０２は、ＬＣＤディスプレイ、ＬＰＤディスプレイまたは他の適切なディスプレイのようなディスプレイ要素１０４を、および少なくとも１つの力センサ１０６を備え、幾つかの実施形態では、例えば、コンピューティング・デバイス１００のケースではディスプレイ要素１０４と筐体１０８のフレームの間にあるディスプレイ要素１０４の外周の周囲に配置した複数の力センサ１０６を備える。力センサ１０６を筐体１０８およびディスプレイ要素１０４に接着して取り付けてもよい。このように、ディスプレイ要素１０４は力センサ１０６を介して筐体１０８に接続される。図２に示すように、４つの力センサ１０６がディスプレイ要素１０４の左側と右側に配置され、３つの力センサ１０６がディスプレイ要素１０４の上側と下側に配置されている。必要ならば、図２に示したものよりも多いかまたは少ない力センサ１０６および図２に示したものと異なる配置構成を使用してもよい。例えば、４つの力センサ１０６を使用し、ディスプレイ要素１０４の各隅に１つずつ配置してもよい。必要ならば、外周の周囲に配置したものと反対にまたはそれに加えて、力センサ１０６をディスプレイ要素１０４の中心に配置してもよい。力センサ１０６は、ＰＰＳ Ｔｏｕｃｈ Ｔｅｃｈｎｏｌｏｇｙ社製、Ｓｔａｎｔｕｍ社製、Ｐｅｒａｔｅｃｈ社製、またはＡｒｔｉｆｉｃｉａｌ Ｍｕｓｃｌｅ社製のような静電容量力センサであってもよい。必要ならば、Ｉｎｔｅｒｌｉｎｋ社製のような抵抗膜方式の力センサといった他の力センサを使用してもよい。さらに、Ｍｅａｓｕｒｅｍｅｎｔ Ｓｐｅｃｉａｌｔｉｅｓ社製のポリマー・タイプもしくはＭｕｒａｔａ社製のセラミック・タイプのような圧電力センサ、または他の任意の適切なタイプの力センサを使用してもよい。

【0023】

力センサ１０６は、センサに加えられた力または力の量を検出する。ディスプレイ要素１０４と筐体１０８の間に配置された複数の力センサ１０６により、力センサ１０６を一体的に使用してディスプレイ要素１０４に加えられたＺ軸方向の力を求め、Ｘ軸とＹ軸に沿った当該力の重心を求めることができる。例えば、ディスプレイ要素１０４の左上隅への接触により、右下隅近傍の力センサ１０６よりも左上隅近傍の力センサ１０６の方が力の測定値は大きくなる。

【0024】

力を加えたときのディスプレイ要素１０４のガラスまたはプラスチックの変形を補償するために校正を行ってもよい。既知の力をディスプレイ要素１０４の特定の領域に加え、それにより生ずるＺ軸に沿った力の測定値ならびにＸ軸およびＹ軸に沿った力の重心を調節して、既知の力と力が加えられた当該特定の領域と釣り合うようにすることによって、校正を行ってもよい。タッチ・スクリーン・ディスプレイ１０２はさらに、ディスプレイ要素１０４上に従来のタッチ・センサ１１０を備えてもよい。当該タッチ・センサ１１０は静電容量技術、抵抗膜技術、赤外線技術、および表面弾性波技術であってもよい。力センサ１０６により決定された力の重心が、タッチ・センサ１１０が特定したタッチ位置と近接して整列すること、例えば当該タッチ位置に集中することを保証することによって、タッチ・センサ１１０を力センサ１０６の校正に使用してもよい。

【0025】

図３は、コンピューティング・デバイス１００に動作可能に接続され、３次元ユーザ・インタフェースが促すコマンドをサポートできる少なくとも１つの力センサ１０６を有するタッチ・スクリーン・ディスプレイ１０２のブロック図である。コンピューティング・デバイス１００は、タッチ・スクリーン・ディスプレイとの接触に応答してタッチ・スクリーン・ディスプレイの複数の位置から力の測定値を受信する手段を備えるシステムである。当該タッチ・スクリーン・ディスプレイは、例えば、力センサ１０６および制御ユニット１５０を備えてもよい。制御ユニット１５０は、プロセッサ１５２および関連するメモリ１５４、ハードウェア１５６、ソフトウェア１５８、ならびにファームウェア１５７を備えてもよい。

【0026】

コンピューティング・デバイス１００は、制御ユニット１５０と通信するユーザ・インタフェース１６０を備える。例えば、制御ユニット１５０はデータを受け取り、ユーザ・インタフェース１６０を制御する。デスクトップ・コンピュータのような一部のコンピューティング・デバイスでは、タッチ・スクリーン・ディスプレイ１０２を物理的に制御ユニット１５０から分離してもよく、ケーブルを介してまたは無線で制御ユニット１５０に接続されることは理解される。ユーザ・インタフェース１６０はタッチ・スクリーン・ディスプレイ１０２を備え、タッチ・スクリーン・ディスプレイ１０２はディスプレイ要素１０４を備える。タッチ・スクリーン・ディスプレイ１０２はさらに、力センサ１０６を備え、タッチ・センサ１１０を備えてもよい。ディスプレイ要素１０４、力センサ１０６、およびタッチ・センサ１１０は、それぞれ、ディスプレイ・コントローラ１９２、力センサ・コントローラ１９６、およびタッチ・センサ・コントローラ１９４によって制御可能である。

【0027】

ユーザ・インタフェース１６０はさらに、キーパッド１６２または、ユーザがそれを介して情報をコンピューティング・デバイス１００に入力できる他の入力デバイスを備えてもよい。必要ならば、仮想キーパッドをタッチ・スクリーン・ディスプレイ１０２に組み込むことによって、キーパッド１６２を取り除いてもよい。ユーザ・インタフェース１６０は、例えばコンピューティング・デバイス１００が携帯電話であるときは、例えばマイクロフォン１６４とスピーカ１６６を備えてもよい。ユーザ・インタフェース１６０は、触覚フィードバックを提供するためのバイブレータ１６３を備えてもよい。

【0028】

コンピューティング・デバイス１００はさらに、イメージをキャプチャするためのカメラ１１２を備えてもよい。当該カメラは、例えば拡張現実タイプのアプリケーションにおいて使用してもよい。コンピューティング・デバイス１００はさらに、アンテナ１７２を介して中継塔、無線アクセス・ポイントまたは他の無線デバイスに対して通信を送受信できる、（送信機および受信機を含む）送受信機１１４、例えばセルラ・モデムまたはワイヤレス・ネットワーク無線受信機／送信機を備えてもよい。コンピューティング・デバイス１００はさらに、３軸加速度計またはジャイロスコープのような動きセンサ１８０を備えてもよい。動きセンサ１８０をユーザ・インタフェース１６０の一部として使用して、例えば、ジェスチャがタッチ・スクリーン・ディスプレイ１０２により検出されたときに、ジェスチャをコンピューティング・デバイス１００の動きまたはコンピューティング・デバイス１００の方位の形で検出してもよい。動きセンサ１８０および／またはカメラ１１２を、拡張現実タイプのアプリケーションで使用できる位置判定に使用してもよい。

【0029】

制御ユニット１５０を、プロセッサ１５２および関連するメモリ１５４、ハードウェア１５６、ソフトウェア１５８、ならびにファームウェア１５７によって提供してもよい。制御ユニット１５０は、ディスプレイ要素１０４を制御するための手段と、タッチ・センサ１１０を制御するための手段と、力センサ１０６を制御するための手段とを備え、これらはそれぞれ、ディスプレイ・コントローラ１９２、タッチ・センサ・コントローラ１９４、および力センサ・コントローラ１９６として示されている。制御ユニット１５０は、拡張現実タイプのアプリケーションを実行する拡張現実（ＡＲ）コントローラ１９８を備えてもよい。ディスプレイ・コントローラ１９２、タッチ・センサ・コントローラ１９４、力センサ・コントローラ１９６、およびＡＲコントローラ１９８を、プロセッサ１５２、ハードウェア１５６、ファームウェア１５７、またはソフトウェア１５８、即ち、メモリ１５４に格納されプロセッサ１５２により実行されるコンピュータ読取可能媒体、またはそれらの組合せに埋め込んでもよい。しかし、明確さのため、ディスプレイ・コントローラ１９２、タッチ・センサ・コントローラ１９４、力センサ・コントローラ１９６、およびＡＲコントローラ１９８は別々に図示してある。例えば、Ｃｙｐｒｅｓｓ社製のタッチ・スクリーンコントローラを、タッチ・センサ・コントローラ１９４として使用してもよく、力センサ・コントローラ１９６として使用してもよい。さらに、Ａ／Ｄ変換器または他のインピーダンス測定回路を有する分圧器を抵抗膜方式の力センサ・コントローラ１９６と併用してもよい。

【0030】

本明細書で使用する際、プロセッサ１５２は、１つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）等を含むことができるが必ずしもこれらを含まないことは理解される。プロセッサという用語は、特定のハードウェアではなくシステムにより実装される機能を説明することを意図したものである。さらに、本明細書で使用する際、「メモリ」という用語は、モバイル・プラットフォームに関連付けられた長期メモリ、短期メモリ、または他のメモリを含む任意の種類のコンピュータ記憶媒体を指し、どの特定のタイプもしくは数のメモリ、またはメモリが格納されるどのタイプの媒体にも限定されない。

【0031】

本明細書に記載の方法を、アプリケーションに応じて様々な手段により実装してもよい。例えば、これらの方法を、ハードウェア１５６、ファームウェア１５７、ソフトウェア１５８、またはそれらの任意の組合せで実装してもよい。ハードウェアの実装では、１つまたは複数のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）、ＰＬＤ（プログラムｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実施するように設計された他の電子ユニット、またはそれらの組合せの内部で演算装置を実装してもよい。

【0032】

ファームウェアおよび／またはソフトウェアの実装では、当該方法を、本明細書に記載の機能を実施するモジュール（例えば、プロシージャ、関数等）で実装してもよい。命令を実際に具体化する任意の機械読取可能媒体を用いて本明細書に記載の方法を実装してもよい。例えば、ソフトウェア・コードをメモリ１５４に格納し、プロセッサ１５２により実行してもよい。メモリを、プロセッサ・ユニット内部で実装してもよく、または、プロセッサ・ユニットの外部で実装してもよい。本明細書で使用する際、「メモリ」という用語は、任意の種類の長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリを指し、どの特定のタイプもしくは数のメモリ、またはメモリが格納されるどのタイプの媒体にも限定されない。

【0033】

コンピューティング・デバイス１００は、タッチ・スクリーン・ディスプレイ１０２上で少なくとも部分的に重なり合う複数の選択可能なオブジェクトを表示するための手段を備えてもよい。タッチ・スクリーン・ディスプレイ１０２は、ディスプレイ・コントローラ１９２とディスプレイ要素１０４を備えてもよい。タッチ・スクリーン・ディスプレイ１０２に加えられた力の大きさ（レベルまたは力レベルと称することもある）を決定するための手段は、力センサ１０６および力センサ・コントローラ１９６を備える。接触の力レベルを用いて複数の選択可能なオブジェクトからオブジェクトを選択するための手段および選択されたオブジェクトに基づいてコンピューティング・デバイスを制御するための手段が、プロセッサ１５２、ハードウェア１５６、ファームウェア１５７および関連するソフトウェア１５８を備えてもよい。コンピューティング・デバイスはさらに、タッチ・スクリーン・ディスプレイ上のオブジェクトとの接触を検出するための手段を備えてもよい。当該タッチ・スクリーン・ディスプレイは、タッチ・センサおよびタッチ・センサ・コントローラ１９４を備えてもよい。コンピューティング・デバイスを制御するためのコマンドが二次的確認を必要とすると判定するための手段および当該コマンドを開始するための手段が、プロセッサ１５２、ハードウェア１５６、ファームウェア１５７、および関連するソフトウェア１５８を備えてもよい。コンピューティング・デバイス１００が、現実のデバイスの拡張現実表現を表示するための手段を備えてもよく、当該手段がＡＲコントローラ１９８、カメラ１１２、および動きセンサ１８０を備えてもよい。接触の力レベルを力閾値と比較するための手段が、プロセッサ１５２、ハードウェア１５６、ファームウェア１５７、および関連するソフトウェア１５８を備えてもよい。

【0034】

ソフトウェア１５８が、メモリ１５４のような非一時的なコンピュータ読取可能媒体に格納されプロセッサ１５２により実行されるプログラム・コードを備えてもよく、ソフトウェア１５８を用いて当該プロセッサを実行し本明細書で説明したようにコンピューティング・デバイスの動作１００を制御してもよい。コンピュータ読取可能媒体に格納されたプログラム・コードがさらに、以下でさらに説明するようにプロセッサにコンピューティング・デバイス１００の任意の動作を制御させるプログラム・コードを含んでもよい。

【0035】

ファームウェアおよび／またはソフトウェアで実装する場合は、上記機能を１つまたは複数の命令またはコードとしてコンピュータ読取可能媒体に格納してもよい。種々の例には、データ構造でエンコードされたコンピュータ読取可能媒体やコンピュータ・プログラムでエンコードされたコンピュータ読取可能媒体がある。コンピュータ読取可能媒体には物理的なコンピュータ記憶媒体が含まれる。記憶媒体は、コンピュータがアクセスできる任意の利用可能な媒体であってもよい。限定ではなく例として、かかるコンピュータ読取可能媒体が、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶、磁気ディスク記憶もしくは他の磁気記憶デバイス、または所望のプログラム・コードを命令もしくはデータ構造の形で格納するために使用できコンピュータによりアクセスできる他の任意の媒体を含むことができる。本明細書で使用する際、ディスクには、ＣＤ（ｃｏｍｐａｃｔ ｄｉｓｃ）、レーザ・ディスク、光ディスク、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、フロッピ・ディスクおよびブルーレイ・ディスクが含まれる。ディスクは通常、データを磁気的に再生し、レーザでデータを光学的に再生する。上記の組合せもコンピュータ読取可能媒体の範囲に含まれるべきである。

【0036】

図４は、タッチ・スクリーン・ディスプレイ１０２上の少なくとも１つの力センサ１０６を利用して、検出された力を用いることによりコンピューティング・デバイス１００の動作を制御して複数の重なり合うインタフェース要素の１つを選択する１実施形態を示す流れ図である。力検出を用いてインタフェース要素を選択することは、例えば、ユーザが歩いていてオブジェクトを選択するための優れたモータ制御を利用できない場合に、特に有効であるかもしれない。図４に示すように、少なくとも部分的に重なり合う複数の選択可能なオブジェクトが、コンピューティング・デバイス１００に動作可能に接続されたタッチ・スクリーン・ディスプレイに表示される（２０２）。当該選択可能なオブジェクトは、その下の選択可能なオブジェクトをユーザが見えるようにして選択可能なオプションをユーザに知らせることを目的として半透明であってもよい。タッチ・スクリーン・ディスプレイ１０２との接触の力レベルを、タッチ・スクリーン・ディスプレイ１０２に接続された少なくとも１つの力センサ１０６を用いて決定する（２０４）。必要ならば、タッチ・スクリーン・ディスプレイ１０２上の接触位置を例えばタッチ・スクリーン・ディスプレイに接続されたタッチ・センサ１１０に基づいて検出してもよく、当該接触位置を使用して重なり合う選択可能なオブジェクトの幾つかのグループのうちどれが選択されているかを判定してもよい。接触の力レベルを用いてオブジェクトを複数の選択可能なオブジェクトから選択する（２０６）。例えば、下にあるオブジェクトを選択するために、その上のオブジェクトを選択するのに必要な力よりも強い力が必要であってもよい。力レベルに基づくオブジェクトの選択を、選択可能なオブジェクトの各々に関連付けられた力閾値と当該力レベルを比較することによって行ってもよい。この場合、例えば、選択可能なオブジェクトに関連付けられた力閾値を超えると下のオブジェクトが選択されることとなる。次いで、コンピューティング・デバイスは、例えば選択されたオブジェクトに関連付けられたコマンドを開始することによって、または、オブジェクトが選択されていることを示す触覚フィードバックを提供することによって、選択されたオブジェクトに基づいて適切に制御される（２０８）。例えば、バイブレータ１６３を用いてコンピューティング・デバイス１００を振動させることによって、触覚フィードバックを提供してもよい。Ａｒｔｉｆｉｃｉａｌ Ｍｕｓｃｌｅ社製のような合成弾性アクティベータにより触覚フィードバックを提供してもよい。これらをフレーム内に設置し、円筒状に丸め、または他の構成の中に設置して適切な触覚フィードバックを提供してもよい。さらに、Ｓｅｎｓｅｇ社のＴｉｘｅｌ電極により提供されるもののような、人間の皮膚への直接的な電気的刺激によって触覚フィードバックを提供してもよい。

【0037】

図５は、ユーザ１０１が力を入れてコンピューティング・デバイス１００のタッチ・スクリーン・ディスプレイ１０２を触って複数の重なり合うインタフェース要素の１つを選択することを示す。コンピューティング・デバイス１００はスピーカ１６６およびマイクロフォン１６４を含む携帯電話またはスマート・フォンとして示されているが、コンピューティング・デバイス１００はそれに限られないことは理解される。図５は、例として、アドレス帳の中の選択可能なエントリ２１０Ａ、２１０Ｂ、および２１０Ｃを表示するタッチ・スクリーン・ディスプレイ１０２を示す。各エントリは、重なり合うインタフェース要素を名前２１２、電話アイコン２１４およびテキスト・メッセージ・アイコン２１６の形で含む。ユーザ１０１のタッチ・スクリーン・ディスプレイ１０２との接触は図５において星形２２０で示されている。本明細書にわたって、示した星形の大きさが大きいほど、タッチ・スクリーン・ディスプレイ１０２に加えられている力は大きい。ユーザ１０１による接触は（図２に示す）力センサ１０６により検出されるように比較的弱い力を生み出すので、名前２１２が選択されることになる。これにより、コンピューティング・デバイス１００に例えば所望のエントリに関する情報を表示させることができる。必要ならば、ボックス２１３で示すように、タッチ・スクリーン・ディスプレイ１０２が、重なり合うインタフェース要素のうちどれが選択されるかを力の大きさに基づいて示してもよい。さらに、必要ならば、ユーザ２０１がタッチ・スクリーン・ディスプレイ１０２との接触をすぐに離すことによって、インタフェース要素の選択結果を受け入れてもよい。換言すれば、タッチ・スクリーン・ディスプレイ１０２との接触の終了を検出し、当該終了を用いて選択結果を受け入れる。さらに、ユーザがタッチ・スクリーン・ディスプレイ１０２との接触を維持し、タッチ・スクリーン・ディスプレイ１０２に加えられた力レベルの変化の検出結果を用いて別のインタフェース要素を選択してもよい。

【0038】

エントリ２１０Ｂ上の星形２２２で示すようにユーザ１０１がより強い力を加えた場合、そのエントリに対して電話アイコン２１４が選択されることになる。電話アイコン２１４が選択されたことにより、タッチ・スクリーン・ディスプレイ１０２にアイコンの表示を半透明から不透明に変更することができる。これは、電話アイコン２１４を他のエントリより暗くすることによって、または、電話アイコン２１４の周囲に箱２１５を生成することもしくは他の任意の望ましい方式によって示される。電話アイコン２１４が選択されることによって、コンピューティング・デバイス１００が当該エントリに関連付けられた電話番号に電話をかけるようにしてもよい。

【0039】

星形２２４により示すように、さらに強い力が加わった結果、テキスト・メッセージ・アイコン２１６が選択されてもよい。当該アイコンの表示を半透明から不透明に変更することによって、テキスト・アイコン２１６の周囲に箱２１７を生成することもしくは他の任意の望ましい方式によって、テキスト・メッセージ・アイコン２１６を表示してもよい。テキスト・アイコン２１６が選択されることによって、コンピューティング・デバイス１００が当該エントリに関連付けられた番号に対してテキスト・メッセージを開始するようにしてもよい。

【0040】

図５から分かるように、星形２２０、２２２、および２２４で示すタッチ・スクリーン・ディスプレイ１０２との接触が、選択したい特定の要素に対して直接行われる必要はなく、当該接触の力の大きさを用いてどのインタフェース要素が選択されるかを判定する。しかし、タッチ・スクリーン・ディスプレイ１０２上の接触位置を使用してどの重なり合うインタフェース要素のグループ、例えばエントリ２１０Ａ、２１０Ｂ、または２１０Ｃのうちどれが選択されているかを判定してもよいことに留意されたい。

【0041】

図６は、タッチ・スクリーン・ディスプレイ１０２上の少なくとも１つの力センサ１０６を利用して、二次的確認を必要とする疑わしいコマンド、例えば異常な、不可逆な、非デフォルトの、または潜在的にシステムを危険に陥らせる動作に関連するコマンドの想定外の起動を防ぐことによりコンピューティング・デバイス１００の動作を制御する１実施形態を示す流れ図である。今日、システムは場合によっては二次的確認のための二次的なダイアログ・ボックスを用いてユーザが特定の動作を実施したいことを確かめる。例えば、ファイルを削除するときは、二次的なダイアログ・ボックスがユーザに当該動作の確認またはキャンセルを求めるのが一般的である。しかし、本実施形態では、疑わしくないコマンドに必要な力よりも大幅に強い力でユーザがタッチ・スクリーン・ディスプレイを触ることで、二次的確認を必要とする疑わしいコマンドを開始して想定外の起動を回避し、必要ならば、二次的なダイアログ・ボックスの必要性を回避してもよい。

【0042】

図６に示すように、タッチ・スクリーン・ディスプレイ１０２上の選択可能なオブジェクトとの接触が検出され、当該選択可能なオブジェクトはコンピューティング・デバイス１００を制御するためのコマンドに関連付けられている（２５２）。コンピューティング・デバイス１００を制御するためのコマンドが二次的確認を必要とすると判定する（２５４）。例えばコマンドの実行が想定外の動作である可能性がありかつ／または異常な、不可逆な、非デフォルトの、または潜在的にシステムを危険に陥らせる動作を引き起こすおそれがある場合には、当該コマンドが二次的確認を必要とすると判定してもよい。二次的確認を必要とする疑わしいコマンドはアプリケーションに固有であるが、その例には、例えば、ファイルの削除、保存せずにアプリケーションを閉じること、大量のファイルの削除、システムのファイルまたは大規模なディレクトリの移動、コピー、または操作、非デフォルトのアプリケーション内でのファイルのオープン、不注意に全員に返信してしまうときのように、綴りの誤りを含むかまたはスペル訂正もしくは文法訂正を受けていない電子メール（ｅｍａｉｌ）の送信、攻撃的な内容、淫らな言葉を有する電子メールもしくは複数の受信者宛ての電子メールの送信、を含めてもよい。タッチ・スクリーン・ディスプレイ１０２との接触の力レベルは、タッチ・スクリーン・ディスプレイ１０２に接続された少なくとも１つの力センサ１０６を用いて決定される（２５６）。選択可能なオブジェクトとの接触および力レベルに応答してコマンドを開始してもよい（２６０）。例えば、必要ならば、力レベルを閾値と比較してもよい（２５８）。この場合、力レベルが閾値を超えた場合にコマンドが開始される。例えば、第１の閾値を疑わしくないコマンドの選択に使用し、二次的確認を必要とするコマンドの選択に対してより強い第２の力を必要としてもよい。

【0043】

図７は、例として、ユーザ１０１がコンピューティング・デバイス１００のタッチ・スクリーン・ディスプレイ１０２を触ることを示し、より高い力レベルの接触を要求することにより、二次的確認を必要とする疑わしいコマンドの想定外の起動を防ぐことを示す。本例では、コンピューティング・デバイス１００が電子メール・メッセージを表示することが示されている。当該電子メール・メッセージは、メッセージの本文２７２に誤字を含む。さらに、当該電子メール・メッセージは、「[e-mail]」宛てであり（２７６）、当該アドレスは多数の人を含んでもよい。その結果、当該電子メール・メッセージを、メッセージの本文２７２の中の誤字およびアドレスに多数の人が含まれる可能性を理由として、二次的確認を必要とする疑わしい動作であると判定してもよい。そこで、当該動作が疑わしくないものであった場合よりも強い力で送信仮想ボタン２７４を触ることをユーザ１０１に要求してもよい。換言すると、星形２８２で示すユーザ１０１の送信仮想ボタン２７４との接触が送信機能を開始するのに不十分であってもよく、その場合、星形２８４で示すより強い力での接触が送信機能を開始するのに十分であるはずである。１実施形態では、必要ならば、星形２８２で示すより弱い力での接触により、二次的なダイアログ・ボックスを出現させて送信機能を確認またはキャンセルさせてもよく、星形２８４で示すより強い力での接触により二次的なダイアログ・ボックスなしに送信機能を開始してもよい。上述のように、力レベルの増加要件は電子メールアプリケーションに限られず、他の種類のアプリケーションおよび二次的確認を必要とする他の種類の疑わしいコマンドとともに使用してもよい。

【0044】

図８は、タッチ・スクリーン・ディスプレイ１０２の少なくとも１つの力センサ１０６を利用して、コンピューティング・デバイス１００の動作を制御して拡張現実（ＡＲ）アプリケーションにおける現実のオブジェクトの力要件を模倣する１実施形態を示す流れ図である。図８に示すように、現実のデバイスのＡＲ表現がコンピューティング・デバイス１００のタッチ・スクリーン・ディスプレイ１０２に表示される（３００）。現実のデバイスのＡＲ表現は、選択すべき力要件を有する現実のデバイス上の現実の選択可能なオブジェクトに関連付けられた選択可能なオブジェクトを含む。例えば、現実の選択可能なオブジェクトが押下に５Ｎの力を要するステレオの電源ボタンであってもよい。タッチ・スクリーン・ディスプレイ上の選択可能なオブジェクトを検出する（３０２）。タッチ・スクリーン・ディスプレイ１０２との接触の力レベルを、タッチ・スクリーン・ディスプレイ１０２に接続された少なくとも１つの力センサ１０６を用いて決定する（３０４）。力レベルを、現実の選択可能なオブジェクトの力要件と関連付けられた力閾値と比較する（３０６）。例えば、力閾値が現実の選択可能なオブジェクトの力要件と同一であってもよい。あるいは、現実のオブジェクトが複数の選択可能なオブジェクト、例えば、異なる力要件を有する電源ボタンと再生ボタンを含む場合、力閾値が現実の選択可能なオブジェクトの力要件の割合に基づいてもよい。力レベルが力閾値より高いとき、選択可能なオブジェクトに関連付けられたコマンドを開始することによって、接触に応答してコンピューティング・デバイス１００を制御する。

【0045】

図９は、例として、現実のオブジェクトの力要件を模倣するＡＲアプリケーションを含むコンピューティング・デバイス１００のタッチ・スクリーン・ディスプレイ１０２にユーザ１０１が触れることを示す図である。図９は、現実の選択可能なオブジェクトを電源ボタン３５２の形で含むステレオ３５０の形の現実のオブジェクトを示す。電源ボタン３５２には力要件の選択肢がある。例えば、電源ボタン３５２を押下するのに５Ｎの力が必要であってもよい。ボタン３５４で示すように、ステレオ３５０が他の選択可能なオブジェクトを含んでもよい。当該他の選択可能なオブジェクトが異なる力要件を有してもよい。コンピューティング・デバイス１００は、ステレオ３５０のＡＲ表現３６０をタッチ・スクリーン・ディスプレイ１０２に表示する。ＡＲ表現３６０は、カメラ１１２がキャプチャしたイメージまたは一連のイメージであり、選択可能なオブジェクトをステレオ３５０の電源ボタン３５２およびボタン３５４に関連付けられた仮想電源ボタン３６２および仮想ボタン３６の形で含み、（仮想電源ボタン３６２およびボタン３６４の上の陰影により示す）重ねられたテキストまたはグラフィックのような拡張データを含んでもよい。現実のオブジェクトのＡＲ表現の生成は当業界では周知である。仮想電源ボタン３６２は現実の電源ボタン３５２と同様なレベルの力に応答する。換言すると、星形３７２で示すようにユーザ１０１が仮想電源ボタン３６２を触ると、当該接触の力レベルが、（図２に示す）力センサ１０６により検出され、現実の電源ボタン３５２の力要件と関連付けられた力閾値と比較される。例えば、力閾値が電源ボタン３５２の力要件と同一であってもよい。あるいは、力閾値がステレオ３５０上の現実の選択可能なオブジェクトの割合に基づいてもよく、例えば、仮想電源ボタン３６２および仮想ボタン３６４に関連付けられた力閾値が、電源ボタン３５２および再生ボタン３５４の力要件と同じ割合を有してもよい。接触３７２の力レベルが力閾値より高いとき、仮想電源ボタン３６２を選択することによりコンピューティング・デバイス１００を制御して例えばコンピューティング・デバイス１００で音楽アプリケーションを起動してもよい。必要ならば、コンピューティング・デバイス１００が、コンピューティング・デバイス１００の送受信機１１４とステレオ３５０の受信機３５６との間の矢印３７４で示すようにステレオ３５０と無線通信してもよい。無線通信を、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または他の任意の所望の無線プロトコルを通じて実現してもよい。仮想電源ボタン３６２を選択することにより、コンピューティング・デバイス１００をステレオ３５０と無線通信させてステレオ３５０を制御し、例えばステレオ３５０の電源をオン（またはオフ）にしてもよい。図９ではステレオを含む具体的な実装形態を示したが、本実施形態では任意の現実のオブジェクトおよび拡張現実表現による力の模倣の利用を考慮している。

【0046】

本発明を教示の目的で具体的な実施形態と関連して説明したが、本発明はそれには限定されない。本発明の範囲から逸脱しない様々な適合および修正が可能である。したがって、添付の諸請求項の範囲と趣旨は以上の説明に限定されるべきではない。

【符号の説明】

【0047】

１０２ タッチ・スクリーン・ディスプレイ
１０４ ディスプレイ
１０６ 力センサ
１１０ タッチ・センサ
１１２ カメラ
１５０ 制御ユニット
１５２ プロセッサ
１５４ メモリ
１５６ ハードウェア
１５７ ファームウェア
１５８ ソフトウェア
１６０ ユーザ・インタフェース
１６２ キーパッド
１６３ バイブレータ
１６４ マイクロフォン
１６６ スピーカ
１８０ 動きセンサ
１９２ ディスプレイ・コントローラ
１９４ タッチ・センサ・コントローラ
１９６ 力センサ・コントローラ
１９８ ARコントローラ

【図1】

【図2】

【図3】

【図4】

【図6】

【図7】

【図8】

【図9】

【図5】