特許 5955861 コンピュータデバイスにおけるタッチイベント予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5955861

(24)【登録日】2016年6月24日

(45)【発行日】2016年7月20日

(54)【発明の名称】コンピュータデバイスにおけるタッチイベント予測

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20160707BHJP

   G06F 3/0481 20130101ALI20160707BHJP

【ＦＩ】

   G06F3/0488

   G06F3/0481 170

【請求項の数】10

【全頁数】12

(21)【出願番号】特願2013-547621(P2013-547621)

(86)(22)【出願日】2011年12月27日

(65)【公表番号】特表2014-505937(P2014-505937A)

(43)【公表日】2014年3月6日

(86)【国際出願番号】US2011067419

(87)【国際公開番号】WO2012092291

(87)【国際公開日】20120705

【審査請求日】2014年12月18日

(31)【優先権主張番号】12/981,184

(32)【優先日】2010年12月29日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】オットー バークス

(72)【発明者】

【氏名】アヴィ ガイガー

(72)【発明者】

【氏名】メレディス イー．アムダー

【審査官】 佐藤 匡

(56)【参考文献】

【文献】 特開２０１１−１７０８３４（ＪＰ，Ａ）

【文献】 特開２００３−００５９１２（ＪＰ，Ａ）

【文献】 特開２００９−２３８０８７（ＪＰ，Ａ）

【文献】 特開２０１０−１７６３２９（ＪＰ，Ａ）

【文献】 特開２００６−２３６１４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ３／０４１，３／０４８８

(57)【特許請求の範囲】

【請求項1】

コンピュータデバイスであって、
センサを含むマルチタッチセンサ式のディスプレイであって、前記センサは、ユーザの手が当該ディスプレイの表面からある距離をもって離間しているときにユーザの手の位置及び／又は動きを示す離間入力を検出するように構成され、前記センサは更に、前記ユーザの手が当該ディスプレイに接触しているときに実際のタッチ入力を検出するように構成される、マルチタッチセンサ式ディスプレイと、
前記ディスプレイ上に表示されるグラフィカルユーザインタフェースであって、当該グラフィカルユーザインタフェースは、複数の実行可能タッチ入力を含んでいる状態を有し、前記複数の実行可能タッチ入力はそれぞれ、当該グラフィカルユーザインタフェースの特定の要素に関連付けられる、グラフィカルユーザインタフェースと、
前記ユーザからの実際のタッチ入力を検出する前に、前記複数の実行可能なタッチ入力を有する前記グラフィカルユーザインタフェースの現在の状態に関連する前記ユーザの手の位置及び／又は動きを示す前記検出された離間入力に基づいて、１又は複数の予測タッチ入力を演算するように構成されたタッチイベント予測モジュールであって、当該タッチイベント予測モジュールは、前記予測タッチ入力の各々が選択される推定可能性を、以前の使用データに基づいて演算し、かつより高い選択可能性を有する１又は複数の予測タッチ入力に事前処理リソースを割り当てて他の予測タッチ入力の事前処理をせずに済ませるように事前処理モジュールに指示するように構成される統計エンジンを含む、タッチイベント予測モジュールと、
当該コンピュータデバイスにおいて、各予測タッチ入力について事前処理されたデータを生成するように構成される事前処理モジュールであって、該事前処理されたデータは、前記グラフィカルユーザインタフェースの１又は複数の要素の各々に関連付けられており、前記予測タッチ入力の１つと合致する前記ユーザから受信した前記実際のタッチ入力の後続の検出において、前記実際のタッチ入力についての前記事前処理されたデータを前記グラフィカルユーザインタフェース上に表示させるように構成される、事前処理モジュールと、
を含む、コンピュータデバイス。

【請求項2】

前記事前処理モジュールは、予測タッチイベントにおいて表示されるべきデータをキャッシュにプリロードするように及び／又は予測タッチイベントに対する事前演算を実行するように構成される、
請求項１に記載のコンピュータデバイス。

【請求項3】

前記センサは、インピクセル光学センサ、容量式タッチセンサ、抵抗式タッチセンサ、圧力センサ又は赤外線センサであり、
前記センサは、前記ユーザの手の１若しくは複数の指及び／又は前記ユーザの手によって保持されるスタイラスの位置及び／又は動きを検出するように構成される、請求項１に記載のコンピュータデバイス。

【請求項4】

前記タッチイベント予測モジュール及び前記事前処理モジュールは、プログラムを当該コンピュータデバイス上のオペレーティングシステム機能にリンクさせるアプリケーションプログラムインタフェースの一部である、請求項１に記載のコンピュータデバイス。

【請求項5】

当該コンピュータデバイスは、前記予測タッチ入力の前記ユーザに表示を提示するように構成されており、前記表示は、前記予測タッチ入力のユーザフィードバックを提供するよう前記グラフィカルユーザインタフェースの部分を明るくする、色を変更する、徐々に消す及び／又は非表示にする変化を含む、請求項１に記載のコンピュータデバイス。

【請求項6】

演算方法であって、
コンピュータデバイスのタッチセンサ式のディスプレイ上に、複数の実行可能なタッチ入力を有する状態を含むグラフィカルユーザインタフェースを表示するステップであって、前記複数の実行可能なタッチ入力の各々は、前記グラフィカルユーザインタフェースの特定の要素に関連付けられている、ステップと、
ユーザの手が前記ディスプレイの表面からある距離をもって離間しているとき、前記コンピュータデバイスのセンサを介してユーザの手の位置及び／又は動きを示す離間入力を検出するステップと、
前記ユーザの手が前記ディスプレイに接触しているときに前記ユーザからの実際のタッチ入力を検出する前に、前記複数の実行可能なタッチ入力を有する前記グラフィカルユーザインタフェースの現在の状態に関連する前記ユーザの手の位置及び／又は動きを示す前記検出された離間入力に基づいて、１又は複数の予測タッチ入力を演算するステップと、
前記予測タッチ入力の各々が選択される推定可能性を、以前の使用データに基づいて演算するステップと、
より高い可能性を有する予測タッチ入力についてデータを事前処理し、より低い可能性を有する予測タッチ入力の事前処理をせずに済ませるステップであって、前記データは、前記グラフィカルユーザインタフェースの１つ又は複数の要素のそれぞれに関連付けられる、ステップと、
前記ユーザの手が前記ディスプレイに接触しているときに前記予測タッチ入力のうちの１つに合致する実際のタッチ入力を検出するステップと、
前記実際のタッチ入力について前記事前処理されたデータを前記グラフィカルユーザインタフェース上に表示するステップと
を含む、方法。

【請求項7】

前記データを事前処理するステップは、各予測タッチイベントの実行において表示されるべきデータをキャッシュ内にプリロードすることと、各予測タッチイベントに対する事前演算を実行することとを含む、請求項６に記載の方法。

【請求項8】

前記検出するステップは、インピクセル光学センサ、容量式タッチセンサ、抵抗式タッチセンサ及び赤外線センサからなるグループから選択されるセンサによって実行され、
前記ユーザの手の位置及び／又は動きを示す離間入力を検出するステップは、
前記ユーザの手の１若しくは複数の指の位置及び／又は動き、あるいは前記ユーザの手によって保持されているスタイラスの位置及び／又は動きを検出することを更に含む、請求項６に記載の方法。

【請求項9】

前記ディスプレイ上に前記予測タッチ入力の前記ユーザへ表示を提示するステップを更に含み、前記表示は、前記予測タッチ入力のユーザフィードバックを提供するよう前記グラフィカルユーザインタフェースの部分を明るくする、色を変更する、徐々に消す及び／又は非表示にする変化を含む、請求項６に記載の方法。

【請求項10】

コンピュータデバイスによって実行されると、当該コンピュータデバイスに、
当該コンピュータデバイスのタッチセンサ式のディスプレイ上に、複数の実行可能なタッチ入力を有する状態を含むグラフィカルユーザインタフェースを表示するステップであって、前記複数の実行可能なタッチ入力の各々は、前記グラフィカルユーザインタフェースの特定の要素に関連付けられている、ステップと、
ユーザの手が前記ディスプレイの表面からある距離をもって離間しているとき、当該コンピュータデバイスのセンサを介してユーザの手の位置及び／又は動きを示す離間入力を検出するステップと、
前記ユーザの手が前記ディスプレイに接触しているときに前記ユーザからの実際のタッチ入力を検出する前に、前記複数の実行可能なタッチ入力を有する前記グラフィカルユーザインタフェースの現在の状態に関連する前記ユーザの手の位置及び／又は動きを示す前記検出された離間入力に基づいて、１又は複数の予測タッチ入力を演算するステップと、
前記予測タッチ入力の各々が選択される推定可能性を、以前の使用データに基づいて演算するステップと、
より高い可能性を有する予測タッチ入力についてデータを事前処理し、より低い可能性を有する予測タッチ入力の事前処理をせずに済ませるステップであって、前記データは、前記グラフィカルユーザインタフェースの１つ又は複数の要素のそれぞれに関連付けられる、ステップと、
前記ユーザの手が前記ディスプレイに接触しているときに前記予測タッチ入力のうちの１つに合致する実際のタッチ入力を検出するステップと、
前記実際のタッチ入力について前記事前処理されたデータを前記グラフィカルユーザインタフェース上に表示するステップと
を含む方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータデバイスにおけるタッチイベントの予測のためのシステム及び方法に関し、より詳細には、手の位置及び／または動きを検出するように構成されているセンサを含むマルチタッチセンサ式ディスプレイを含むコンピュータデバイスに関する。

【背景技術】

【0002】

携帯電話及びタブレットコンピュータの等のタッチセンサ式のコンピュータデバイスは、より小さなプロセッサ及びメモリデバイスの進歩とともにさらに携帯性が向上している。さらに、消費者は、このようなデバイス上で実行される、電子メール、ゲーム、写真、映像及び様々な他のアプリケーションを含む、さらなる複雑なソフトウェアを求めている。さらに、これらのタッチセンサ式のコンピュータデバイスは、通常、ジェスチャベースの入力を用いており、これは処理電力を消費する。これらのタスクを扱うために、さらに高性能なプロセッサ及びメモリが、小さなフットプリントと共に継続的に開発されている。

【0003】

それにも関わらず、ソフトウェア及びハードウェアは、時々ユーザのペースについて行くことができない。その結果、ユーザは、時々タイムラグを経験し、タイムラグの間、タッチセンサ式のデバイスは、ユーザがスクリーンにおいてグラフィカルユーザインタフェースのオプションを選択するかまたはジェスチャをスワイプした直後に「考えている」ように見える。このタイムラグは、ユーザをイライラさせる。なぜなら、ユーザは、デバイスが適切に機能しているか、ジェスチャ入力が適切に受けられているのかもしくは再入力が必要なのか、デバイスがネットワーク接続の問題に見舞われているのか等が分からない故である。この不確定な間において、ユーザはしばしば画面を見つめ、しばらくイライラしたままで、コンピュータ環境内におけるタスクを進行させることができず、自身の周りの環境とやりとりに戻ることができない。このことは、タッチセンサ式デバイスを用いるユーザ経験を悪化させ、潜在的にこのようなデバイスの採用を阻害し、ユーザと、ユーザの周りにいる人々との社会的交流に悪影響を与える。

【発明の概要】

【0004】

コンピュータデバイスにおけるタッチイベントの予測のシステム及びその方法が提供される。このコンピューティングデバイスは、手の位置及び／または動きを検知するように構成されたセンサを含むマルチタッチセンサ式ディスプレイを含むことができる。グラフィカルユーザインタフェース（ＧＵＩ）を表示することができ、ＧＵＩが複数の実行可能なタッチ入力を含む状態を有している。このコンピュータデバイスは、検出された手の位置及び／または動き、並びに複数の実行可能なユーザ入力をともなうＧＵＩの状態に基づいて、１または複数の予測されるタッチ入力を演算するように構成されたタッチイベント予測モジュールをさらに含むことができる。コンピュータデバイスは、予測されたタッチ入力に対するデータを事前処理し、予測タッチ入力のうちの１つに合致するユーザから受信された実際のタッチ入力の検出において、ＧＵＩ上に実際のタッチ入力に対する事前処理されたデータを表示するように構成された事前処理モジュールをさらに含むことができる。

【0005】

この発明の概要は、発明を実施するための形態において以下でさらに説明されるいくつかのコンセプトを、単純な形式で紹介するために提供されている。この発明の概要は、本願特許請求の範囲に記載された発明の重要な特徴または本質的な特徴を特定することを目的としておらず、本願特許請求の範囲に記載された発明の範囲を限定することを目的としていない。さらに、本願特許請求の範囲に記載された発明は、本開示の任意の部分に記載されている任意のまたは全ての欠点を解決する実施例に限定されない。

【図面の簡単な説明】

【0006】

【図1】１または複数のタッチイベントの予測のために構成されたコンピュータデバイスの１の実施形態を示す斜視図である。

【図2】図１のコンピュータデバイスのソフトウェア及びハードウェア構成を示す概略図である。

【図3】コンピュータデバイスの上での第１の手の動きとともに、図１のコンピュータデバイスを示す上面図である。

【図4】コンピュータデバイスの上での第２の手の動きとともに、図１のコンピュータデバイスを示す上面図である。

【図5】コンピュータデバイスの上での第３の手の動きとともに、図１のコンピュータデバイスを示す上面図である。

【図6】コンピュータデバイスの上での第４の手の動きとともに、図１のコンピュータデバイスを示す上面図である。

【図7】１または複数のタッチイベントの予測のための方法の実施形態を示すフロー図である。

【発明を実施するための形態】

【0007】

図１は、１または複数のタッチイベントの予測のために構成されたコンピュータデバイス１０の１つの実施形態を示している。ユーザがタッチ入力を行う用意をしている際に、ユーザの手５は、コンピュータデバイス１０のタッチセンサ式ディスプレイ１２に接近する。タッチセンサ式ディスプレイ１２は、以下に説明する様々な検出技術を用いて、ユーザの手５がディスプレイの表面からギャップ１４だけ離間していてもユーザの手５を検出するように構成される。ディスプレイ１２から見て、手はディスプレイ１２上において検出される影１６を投げかけるように見え得る。コンピュータデバイスは、手の位置及び動きを解釈して、発生するであろう１または複数の予測されるタッチ入力（予測タッチ入力）の予測を生成し、その後、予測されたタッチ入力のうちの１つをユーザが実際に実行した際に遅延を減少するように事前処理を行うよう構成されている。結果として、予測タッチ入力に対するコンピュータデバイスの応答時間を向上することができ、コンピュータデバイスのユーザ経験が向上し、例えば、ユーザがさらに迅速にコンピュータタスクを終了させて他者との交流を再開することが可能になる。

【0008】

図２に示すように、コンピュータデバイス１０は、ユーザの手５の手の位置２０及び／または手の動き２２を検出するように構成されたセンサ１８を含むマルチタッチセンサ式ディスプレイ１２を通常含んでいる。いくつかの実施形態において、センサ１８は、手５がディスプレイ１２に接触している場合の実際タッチ入力４８、及び同様に手がディスプレイの表面からある距離をもって離間している場合の手の位置及び／または動きを示す離間入力４６を検出するように構成されていてもよい。いくつかの実施形態において、センサ１８は、手全体と同様に、手の１または複数の指の位置及び動作を検出してそれらを区別するように構成されていてもよい。さらに、センサを、手に保持されているスタイラスペンの位置または動きを検出し、かつ手からスタイラスペンを区別するように構成できる。

【0009】

センサ１８は、１または複数の様々なタイプのセンサを用いることができる。例えば、センサ１８は、インピクセル（in-pixel）光学センサ、容量式タッチセンサ、抵抗式タッチセンサ、赤外線センサ、圧力センサ、または他のタイプのセンサであるかまたはこれらの１または複数を含んでいてもよい。センサ１８はディスプレイ１２内に一体化されるか、または破線で示されているようにディスプレイ１２と別に形成されてもよい。例えば、容量式、抵抗式及びインピクセルセンサは、通常はディスプレイに一体化され、カメラ等の光学センサは、ディスプレイと別個に形成されてディスプレイ上方の領域の視野に向けられる。

【0010】

コンピュータデバイス１０は、大容量記憶装置２４内に保存されており、メモリ２８の一部を用いてプロセッサ２６を介して実行され、センサ１８から受信したセンサ入力３０を処理して、ディスプレイ１２において表示するために処理結果を出力する１または複数のプログラム及びモジュールを含む。プロセッサ２６、メモリ２８及び大容量記憶装置２４は、１または複数のデータバス２９を介して、互いに及びディスプレイ１２と通信できる。様々なプロセッサ、メモリ及び大容量記憶装置構成を使用できる。いくつかの実施形態において、例えば、コンピュータデバイスは、携帯電話及び／またはタブレットコンピュータデバイスとして構成され、メモリ及び大容量記憶装置は両方とも半導体とすることもできる。他の実施形態において、例えば、コンピュータデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、テーブルトップコンピュータ、キオスクコンピュータ等であってもよく、大容量記憶装置はハードドライブでもよい。

【0011】

大容量記憶装置２４に保存されているプログラム３２は、ディスプレイ１２におけるグラフィカルユーザインタフェース（ＧＵＩ）３６を生成して表示するように構成されたグラフィカルユーザインタフェースモジュール３４を含むアプリケーションプログラム、オペレーティングシステムコンポーネント、または他のプログラムとすることができる。グラフィカルユーザインタフェースは、複数の実行可能なタッチ入力を含む状態３８を通常は含んでいる。図１に示されている例において、ディスプレイ１２に表示されているＧＵＩ３６は、タイルパターンで配されている複数の選択可能アイコンを含んでいる。アイコンの各々は、実行可能なタッチ入力をユーザに対して表示している。１または複数の実行可能なタッチ入力を各々が表示する、ボタン、プルダウンメニュー、スライダ、スクロールバー、ハイパーリンク、リスト、ラジオボタン等、多数の他のＧＵＩ構成がとられ得る。

【0012】

コンピュータデバイス１０は、大容量記憶装置２４に保存されているタッチイベント予測モジュール４０をさらに含む。実行の際に、タッチイベント予測モジュール４０は、検出されたユーザの手の位置２０及び／または手の動き２２、並びに複数の実行可能なユーザ入力を伴うＧＵＩ３６の状態３８に基づいて１または複数の予測タッチ入力４２を演算するように構成されている。通常、タッチイベント予測モジュール４０は、ディスプレイ１２からギャップ１４だけ離間している手の離間入力４６から、検出された手の位置２０及び手の動き２２に基づいて予測タッチ入力４２を演算する。

【0013】

コンピューティングデバイス１０は、大容量記憶装置２４に保存されている事前処理モジュール４４をさらに含んでいる。事前処理モジュール４４は、予測タッチ入力４２の各々に対して事前処理データ５４を生成するように構成されている。例えば、事前処理モジュール４４は、予測されたタッチイベントの実現時に表示されるようにかつ／または予測タッチイベントに対する事前演算５２を実行するために、データをプリロードキャッシュ５０にプリロードするように構成されていてもよい。

【0014】

ディスプレイ１２へのユーザの手の接触による、予測タッチ入力４２のうちの１つと合致するユーザによる実際のタッチ入力４８の検出の際に、事前処理モジュール４４は、実際のタッチ入力４８に対して事前処理データがグラフィカルユーザインタフェースに表示されるように構成されている。実際のタッチイベントを、１つの実施形態においてタッチイベント予測モジュールによって検出することができ、また、他の実施形態において別個のジェスチャ認識モジュールによって検出することができることが理解されるだろう。事前処理モジュールは、例えば、事前処理データ５４が利用可能なプログラム３２と通信し、タッチイベント予測モジュールによって、あるいは上記したジェスチャ認識モジュールによって実際のタッチイベントが知らされた後に、プログラムが予定の場所から事前処理データを取得して表示することを可能とすることによって、事前処理データ５４を表示させることができる。

【0015】

図示されている実施形態において、タッチイベント予測モジュールは、統計エンジン５６を含む。統計エンジン５６は、以前の使用データに基づいて予測タッチ入力４２の各々が選択される推定可能性５８を演算し、事前処理モジュールに、プリロードキャッシュ５０及び事前演算５２のためのロジック等の事前処理リソースを、選択可能性の高い１または複数の予測タッチ入力４２に割り当てて、他の予測タッチ入力４２の事前処理をせずに済ますように命令するように構成される。以前の使用データを、例えば、コンピュータデバイスの個々のユーザに関して、またはコンピュータデバイスの全てのユーザに関して演算できる、またはコンピュータネットワークを介して中央データベースからダウンロードされた広範囲のユーザグループに関する集計された使用統計とすることができる。

【0016】

タッチイベント予測モジュールの予測エンジン６０を、離間入力４６の手の位置２０及び手の動き２２をセンサ１８から受信し、ＧＵＩ状態３８情報をＧＵＩモジュール３４から受信し、かつ可能性を統計エンジン５６から受信して、発生の推定可能性に従ってランク付けされた予測タッチ入力４２のランクリストを演算するように構成することができる。事前処理モジュールは、コンピュータデバイス上の利用可能なメモリ及びプロセッサ使用率を分析して、実行可能な事前処理動作に対する利用可能なリソース閾値を判定し、利用可能リソース閾値に達するまでランクリストにおける予測タッチ入力のサブセットに対する事前処理データ５４を生成することを選択してもよい。この態様において、コンピュータデバイス１０に過負荷を与えずにリソースの効率的な利用がなされ得る。

【0017】

コンピュータデバイスが、様々なプログラムがオペレーティングシステムリソースと通信してこれを利用するために用いられるアプリケーションプログラムインタフェースを含むオペレーティングシステムを含むことができることが理解されるだろう。従って、１つの実施形態において、タッチイベント予測モジュール４０及び事前処理モジュール４４は、コンピュータデバイスにおいてプログラムをオペレーティングシステムに機能的にリンクさせるアプリケーションプログラムインタフェースの一部とすることができる。他の実施形態において、タッチイベント予測モジュール４０及び事前処理モジュール４４は、コンピュータデバイス１０においてユーザセッションに亘るバックグラウンドにおいて実行されるサービス等の実行可能プログラムである。

【0018】

図３には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２の上方に表されている第１の手の動きとともにコンピュータデバイス１０が示されている。手５は、人差し指が伸びた状態で、かつ右から左へ、５で示されている第１の位置から５Ａで示されている第２の位置に移動している状態で示されている。破線で示されているタイル状のウインドウ枠の全てがＧＵＩ３６における実行可能なタッチ入力である別個の選択可能アイコンを表しているのに対して、伸びた人差し指を伴う手のこの右から左の動きの検出において、人差し指が一番左の２つのアイコンを選択する可能性が高くかつＧＵＩ３６上の残りの実行可能な入力を通り過ぎて動いたために、図示されているように、タッチイベント予測モジュール４０を、一番左の２つのアイコンが予測タッチ入力４２であると判定するように構成することができる。

【0019】

図４には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２上に表されている第２の手の動きとともにコンピュータデバイス１０が示されている。手５の指は、伸びておりかつ左から右へ、５で示されている手の指の第１の位置から５Ａで示されている手の指の第２の位置へ移動しているように示されている。伸びた指のこの左から右への動きの検出において、伸びている人差し指が一番右の２つのアイコンを選択する可能性が高くかつＧＵＩ３６上の残りの実行可能な入力を通り過ぎて動いたために、図示されているように、タッチイベント予測モジュール４０を、一番右の２つのアイコンが予測タッチ入力４２であると判定するように構成することができる。

【0020】

図５には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２上に表されている第３の手の動きとともにコンピュータデバイス１０が示されている。手５は、ディスプレイに向かって下方に曲げられ、右から左へ、５に示されている第１の位置から５Ａに示されている第２の位置まで移動しているように示されている。右から左に移動してきてこの位置に停止してホバリングしている手の検出において、タッチイベント予測モジュール４０を、手が左手であること、人差し指及び中指が選択アイコンに関与する可能性が高く、人差し指と中指が予測タッチ入力４２として示される３つのアイコン上に配されていることを判定するように構成できる。残りの実行可能な入力は、人差し指及び中指の到達範囲外にある。従って、残りの３つの実行可能な入力は、予測タッチ入力４２と判定されない。

【0021】

図６には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２上に表されている第４の手の動きとともにコンピュータデバイス１０が示されている。この図において、伸びた指はディスプレイ１２に、紙面に対して垂直に接近している。手の指によって投じられた影は、５に示されるように手の指の第１の位置において大きく広がって示され、５Ａに示されるように手の指の第２の位置においてシャープにかつ小さく示されている。ディスプレイに対する手のこの垂直な移動の検出において、他の実行可能なユーザ入力が選択される可能性が低いために、図示されているように、タッチイベント予測モジュール４０を、手の第２の位置の直下のアイコンのみが予測タッチ入力４２であると判定するように構成することができる。

【0022】

いくつかの実施形態において、予測タッチ入力は、ディスプレイ上の表示を通したフィードバックとしてユーザに提供され得る。例えば、予測タッチ入力であると判定された１または複数のアイコンは、ディスプレイにおいて他のアイコンよりも明るくされかつ／または他のアイコンと色が変えられてもよい。他の例において、予測タッチ入力であると判定された１または複数のアイコンが可視状態にされて他のアイコンがディスプレイから徐々に消されるかまたは非表示にされてもよい。アイコンは、手の動き（例えば、図３−６に示されている第１、第２、第３及び／または第４の手の動き）に対応してリアルタイムで可逆的な表示を提供してもよい。この態様にて、ユーザが予測タッチ入力に関連するフィードバックを受けてもよい。

【0023】

図７は、コンピュータデバイスにおける１または複数のタッチイベントの予測の方法１００の１つの実施形態を表すフロー図である。方法１００を、上述のコンピュータデバイス１０のソフトウェア及びハードウェアコンポーネントによって、または他の適切なハードウェア及びソフトウェアコンポーネントによって実行できることが理解されるだろう。

【0024】

方法１００は、符号１０２において、コンピュータデバイスのマルチタッチセンサ式ディスプレイ等のタッチセンサ式ディスプレイ上の複数の実行可能なタッチ入力を有する状態を含むグラフィカルユーザインタフェースの表示を含む。符号１０４において、本方法は、コンピュータデバイスのセンサを介したユーザの手の位置及び／または動きの検出を含む。例えば、この検出を、上述したようなインピクセル光学センサ、容量式タッチセンサ、抵抗式タッチセンサ及び赤外線センサを含むグループから選択されたセンサによって実行できる。あるいは、他のセンサ技術を使用できる。

【0025】

符号１０６において示されているように、ユーザの手の位置及び／または動きの検出は、手がディスプレイの表面からある距離離間している場合における、手の位置及び／または動きの検出をさらに含むことができる。さらに、符号１０８において示されているように、ユーザの手の位置及び／または動きの検出は、１または複数の手の指の位置及び動きの検出をさらに含むことができる。これは、本方法において、右手と左手の間の差異、手の個々の指の間の差異を区別することを可能にすることができ、この方法は、人差し指と中指の位置及び予測される動きを判定する場合に有用であり、タッチ入力を実行する可能性が最も高いと見なすことができる。さらに、いくつかの実施形態において、符号１１０において示されているように、ユーザの手の位置及び／または動きの検出は、手によって保持されているスタイラスペンの位置または動きの検出をさらに含むことができ、この検出を、予測入力のさらに正確な予測に使用することができる。

【0026】

符号１１２において、この方法は、検出されたユーザの手の位置及び／または動き、並びに複数の実行可能なタッチ入力を有するユーザインタフェースの状態に基づいた１または複数のタッチ入力の演算をさらに含むことができる。この演算を、以下に詳細に説明するように、予測エンジンによって実行することができ、かつ以前の使用データに基づくことができる。

【0027】

符号１１６において、この方法は、予測タッチ入力の各々に対するデータの事前処理を含んでもよい。符号１１８に示されているように、データの事前処理は、予測タッチイベントの各々の実行において表示されるべきデータのキャッシュ内へのプリロードを含むことができる。さらに、符号１２０に示されているように、データの事前処理は、予測タッチイベントの各々に対する事前演算の実行を含むことができる。符号１１６おける事前処理から生成された事前処理データは、リクエストプログラムと通信可能な既知の場所に保存され、プログラムが後に事前処理データにアクセスして事前処理データを表示することができる。

【0028】

符号１２４において、この方法は、予測タッチ入力のうちの１つと合致する実際のタッチ入力の検出を含んでもよい。実際のタッチ入力は、通常は、ユーザによって、手の指及び／または掌がディスプレイの表面へ接触することによって入力されるジェスチャである。この検出は、上述の予測モジュールによって実行されるか、または代替的にコンピュータデバイス１０上で実行される独立したジェスチャ認識モジュールによって実行されてもよい。

【0029】

符号１２６において、この方法は、実際のタッチ入力に対するグラフィカルユーザインタフェース上の事前処理データの表示を含む。事前処理データの表示を、事前処理データが既知の場所において利用可能でありかつ表示する準備ができているという事前処理モジュールからの通信を受信した後に、グラフィカルユーザインタフェースを表示するプログラムのグラフィカルユーザインタフェースモジュールによって実行することができる。事前処理データの表示によって、遅延を低減することができる。すなわち、ＧＵＩ要素のユーザ選択とディスプレイ上の順次データの表示との間のラグが低減され、ユーザ経験の向上という付随の利点が得られる。

【0030】

いくつかの実施形態において、方法１００は、上述のように、符号１１４において、予測タッチ入力の各々が選択される推定可能性の演算であって以前の使用データに基づいた演算を含むことができ、符号１２２において、より高い可能性を伴う予測ユーザ入力に対するデータの事前処理を実行して、より低い可能性を伴う予測ユーザ入力の事前処理をせずに済ますことを含むことができる。

【0031】

いくつかの実施形態において、方法１００は、ユーザへの予測タッチ入力の表示を任意に含むことができる。この表示は、上述のように、ユーザのタッチ予測に応答して、ＧＵＩの部分を明るくする、色を変化させる、徐々に消す及び／または非表示にする変化を含むことができる。

【0032】

符号１１２における１または複数のタッチ入力の演算ステップ、符号１１４における推定可能性の演算ステップ、及び／または符号１１６における予測タッチ入力の各々に対するデータの事前処理ステップを、上述のように、プログラムをオペレーティングシステムへコンピュータデバイス上で機能的にリンクさせているアプリケーションプログラムインタフェースによって全体としてまたは少なくとも部分的に実行することができることが理解されるだろう。

【0033】

上述のシステム及び方法を、コンピュータデバイス上のタッチセンサ式ディスプレイのグラフィカルユーザインタフェースとのユーザインタラクション（user interaction）における遅延を低減するために使用することができ、それによってタスクのさらに迅速な完了を可能にしてユーザ経験を向上させることができる。

【0034】

用語「モジュール」、「プログラム」及び「エンジン」は、本明細書において、コンピュータデバイスのプロセッサによって実行される際に１または複数の特定の機能を実行するソフトウェアをいう。これらの用語は、例えば、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードの各々またはこれらのグループ包含するように意図されている。本明細書に記載されている実施形態は、これらのモジュール、プログラム及びエンジンの構成の一例を示しているが、本明細書に記載されている機能が異なる構成のソフトウェアコンポーネントによって達成されてもよいことが理解されるべきである。

【0035】

数値的な変更が可能であるので、本明細書に記載されている構成及び／またはアプローチは、例示的な性質のものであり、これらの特定の実施形態または実施例は、限定的な意味ではないことが理解されるべきである。本明細書に記載されている特定の動作または方法は、多数の処理戦略の１または複数を表していてもよい。よって、記載されている様々な動作は、記載されている順序で、他の順序で、もしくは並列で実行されてもよく、いくつかの場合において省略されてもよい。同様に、上述の処理の順序は変更されてもよい。

【0036】

本開示の発明の内容は、本明細書に開示されている様々な処理、システム及び構成、並びに他の特徴、機能、動作、及び／または特性の新規かつ非自明な組み合わせ及び下位組み合わせの全て、及びこれらの全ての均等範囲を含んでいる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】