特許 6163249 ユーザデバイスの感覚情報の管理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6163249

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】ユーザデバイスの感覚情報の管理

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20170703BHJP

   G06F 3/041 20060101ALI20170703BHJP

   H04M 1/247 20060101ALI20170703BHJP

【ＦＩ】

   G06F3/0488

   G06F3/041 580

   G06F3/041 570

   H04M1/247

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2016-501341(P2016-501341)

(86)(22)【出願日】2014年3月11日

(65)【公表番号】特表2016-517082(P2016-517082A)

(43)【公表日】2016年6月9日

(86)【国際出願番号】US2014023782

(87)【国際公開番号】WO2014164912

(87)【国際公開日】20141009

【審査請求日】2015年11月16日

(31)【優先権主張番号】13/799,150

(32)【優先日】2013年3月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】506329306

【氏名又は名称】アマゾン テクノロジーズ インコーポレイテッド

(74)【代理人】

【識別番号】100106541

【弁理士】

【氏名又は名称】伊藤 信和

(72)【発明者】

【氏名】ジェイムズ エドワード リックス

【審査官】 星野 昌幸

(56)【参考文献】

【文献】 特開２０１１−０６５４９０（ＪＰ，Ａ）

【文献】 特開平６−１１９０９０（ＪＰ，Ａ）

【文献】 特開２００４−０４６４７８（ＪＰ，Ａ）

【文献】 特開２０１２−１３８０１２（ＪＰ，Ａ）

【文献】 特開２０１０−２８７０３２（ＪＰ，Ａ）

【文献】 特表２００６−５２００２４（ＪＰ，Ａ）

【文献】 特開２００９−００３８６７（ＪＰ，Ａ）

【文献】 特開２００６−１０３３６４（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１５７２７２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０４１

Ｈ０４Ｍ １／２４７

(57)【特許請求の範囲】

【請求項1】

デバイス感覚情報を管理するコンピュータ実行方法であって、
実行可能命令を用いて構成されたコンピュータシステムの制御下で、
デバイスの第１のセンサによって、前記デバイスの画面の外部で前記画面に接触することなく生じるユーザに関連付けられた動作を監視するステップと、
前記デバイスの画面の外部で前記画面に接触することなく生じた前記ユーザに関連付けられた前記動作が識別された場合に、前記動作が示す情報を前記第１のセンサから受信するステップと、
前記識別された動作に少なくとも部分的に基づいて、前記ユーザによる１または複数の潜在的な行動を決定するステップと、
前記ユーザから要求を受信する前に、前記１または複数の潜在的な行動のうちの少なくとも１つのサブセットに関連付けられた命令を実行するステップと、
前記第１のセンサによって識別された前記動作に少なくとも部分的に基づいて第２のセンサを活動状態にするステップと、
前記第２のセンサから前記要求を受信するステップと、
前記ユーザから受信された前記要求に少なくとも部分的に基づいて行われた命令に対応する情報を提供するステップと、
を備えたことを特徴とするコンピュータ実行方法。

【請求項2】

前記ユーザに関連付けられた前記動作は、ユーザインターフェース要素の上で移動する前記ユーザに関連付けられた対象物を含み、前記ユーザインターフェース要素は前記デバイスの前記画面上でレンダリングされることを特徴とする請求項１に記載のコンピュータ実行方法。

【請求項3】

前記第１のセンサは、前記デバイスが電源オンにされた場合に自動的に有効になる外部環境センサグリッドであり、
前記第２のセンサは、前記外部環境センサグリッドにより感知される前記対象物を識別するまで非活動状態のままである外部有効センサグリッドである請求項２に記載のコンピュータ実行方法。

【請求項4】

前記ユーザによる前記１または複数の潜在的な行動は、前記ユーザインターフェース要素上でのホバーまたは前記ユーザインターフェース要素の選択のうちの少なくとも１つを含むことを特徴とする請求項２又は請求項３に記載のコンピュータ実行方法。

【請求項5】

前記ユーザに提供された前記情報は、前記デバイスの前記画面上にレンダリングされた第２のユーザインターフェース要素を含むことを特徴とする請求項２又は請求項３に記載のコンピュータ実行方法。

【請求項6】

前記ユーザインターフェース要素は、第１のユーザインターフェース要素であり、および前記第２のユーザインターフェース要素は、前記第１のユーザインターフェース要素に隣接した前記デバイスの前記画面の領域上にレンダリングされることを特徴とする請求項５に記載のコンピュータ実行方法。

【請求項7】

前記ユーザに関連付けられた対象物のサイズまたは前記ユーザに関連付けられた前記対象物の位置のうちの少なくとも１つに少なくとも部分的に基づいて、前記画面の視認可能領域を決定するステップをさらに備え、前記視認可能領域は前記第２のユーザインターフェース要素をレンダリングするのに十分に大きく、および前記第２のユーザインターフェース要素は前記視認可能領域にレンダリングされることを特徴とする請求項６に記載のコンピュータ実行方法。

【請求項8】

前記ユーザによる前記１または複数の潜在的な行動は、前記画面にレンダリングされた第１のユーザインターフェース要素または前記第２のユーザインターフェース要素のうちの少なくとも１つの選択を含むことを特徴とする請求項５に記載のコンピュータ実行方法。

【請求項9】

前記１または複数の潜在的な行動のうちの少なくとも１つのサブセットに関連付けられた前記命令を実行するステップは、前記画面にレンダリングされた前記第１のユーザインターフェース要素の前記選択に対応する要求をサーバに送信するステップ、または前記画面にレンダリングされた前記第２のユーザインターフェース要素の前記選択に対応する要求をサーバに送信するステップのうちの少なくとも１つを含むことを特徴とする請求項８に記載のコンピュータ実行方法。

【請求項10】

前記１または複数の潜在的な行動のうちの少なくとも１つのサブセットに関連付けられた前記命令を実行するステップは、前記画面にレンダリングされた前記第１のユーザインターフェース要素の前記選択に関連付けられたデータを処理するステップ、または前記画面にレンダリングされた前記第２のユーザインターフェース要素の前記選択に関連付けられたデータを処理するステップのうちの少なくとも１つを含むことを特徴とする請求項８に記載のコンピュータ実行方法。

【請求項11】

感覚情報管理デバイスであって、
ユーザインターフェースをレンダリングするように構成された画面と、
前記画面との接触から独立して対象物を識別するように構成された第１のセンサと、
前記第１のセンサとは異なる前記対象物を識別するための特徴を有する第２のセンサと、
コンピュータ実行可能命令を記憶するメモリと、
前記メモリにアクセスし、および少なくとも、
前記第１のセンサ及び前記第２のセンサによって識別された前記対象物に関連付けられた第１の情報を、前記第１のセンサ及び前記第２のセンサから受信することと、
前記第１のセンサ及び前記第２のセンサによって識別された前記対象物に関連付けられた第２の情報を、前記第１のセンサ及び前記第２のセンサから受信することと、
前記第１の情報および前記第２の情報に少なくとも部分的に基づいて前記感覚情報管理デバイスによって行われることになる行動を決定することと、
前記決定された行動に少なくとも部分的に基づいて、前記画面にレンダリングされた前記ユーザインターフェース内に新しいユーザインターフェース要素を提供することと
をまとめて行う前記コンピュータ実行可能命令を実行する
ように構成されたプロセッサと
を備えたことを特徴とする感覚情報管理デバイス。

【請求項12】

感覚情報管理デバイスであって、
ユーザインターフェースをレンダリングするように構成された画面と、
前記画面との接触から独立して対象物を識別するように構成され、前記デバイスが電源オンにされた場合に自動的に有効になる外部環境センサグリッドである第１のセンサと、
前記ユーザにより活動状態にされない限り又は前記外部環境センサグリッドにより感知される前記対象物を識別するまで非活動状態のままである外部有効センサグリッドである第２のセンサと、
コンピュータ実行可能命令を記憶するメモリと、
前記メモリにアクセスし、および少なくとも、
前記第２のセンサによって識別された前記対象物に関連付けられた第１の情報を、前記第２のセンサから受信することと、
前記第２のセンサによって識別された前記対象物に関連付けられた第２の情報を、前記第２のセンサから受信することと、
前記第１の情報および前記第２の情報に少なくとも部分的に基づいて前記感覚情報管理デバイスによって行われることになる行動を決定することと、
前記決定された行動に少なくとも部分的に基づいて、前記画面にレンダリングされた前記ユーザインターフェース内に新しいユーザインターフェース要素を提供することと
をまとめて行う前記コンピュータ実行可能命令を実行する
ように構成されたプロセッサと
を備えたことを特徴とする感覚情報管理デバイス。

【請求項13】

前記プロセッサは、
前記第１の情報または前記第２の情報の受信の前に、前記画面にレンダリングされた前記ユーザインターフェース内に第１のユーザインターフェース要素を提供することと、
前記第１のユーザインターフェース要素を提供した後に、前記新しいユーザインターフェース要素を提供することと、
をまとめて行う前記コンピュータ実行可能命令を実行するようにさらに構成されることを特徴とする請求項１１又は請求項１２に記載のデバイス。

【請求項14】

前記対象物に関連付けられた前記第１の情報は、前記第１のユーザインターフェース要素に対する前記対象物の位置を示すことを特徴とする請求項１３に記載のデバイス。

【請求項15】

前記対象物に関連付けられた前記第２の情報は、前記対象物が前記位置に位置していた時間の量を示すことを特徴とする請求項１４に記載のデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

モバイルデバイスがより普及し進歩するにつれて、ますます多くのユーザが、大量の異なる機能、特徴、および／またはソフトウェアアプリケーションを有効にすることをそれらに求めている。例えば、モバイルデバイスは、場所および前後関係の両方を認識するようになっている。したがって、それらは、ソフトウェアアプリケーションの機能が実装されることを補助し得る地理的位置ならびに他の関連する前後関係上の情報を検出するように構成され得る。さらに、ますます多くの特徴が有効になるにつれて、消費者も開発者も同様に、モバイルデバイスがデスクトップおよび／またはラップトップコンピュータに取って代わるか、または特徴の利用可能性の観点から少なくとも同等であり得ることを期待している。しかしながら、多くのモバイルデバイスは依然として、それらがより標準的なデスクトップおよび／またはラップトップコンピューティングシステムに匹敵することを妨げる課題に直面しており、これは少なくとも部分的に、非モバイルデバイスが、モバイルデバイスに欠けている１または複数の周辺デバイスで構成される傾向があるためである。このように、感覚情報（sensory information）ならびにデスクトップおよび／またはラップトップの周辺機器によって一般的に提供され得る他のデータを管理することは、ユーザデバイスの消費者ならびに開発者に課題を提示し得る。

【発明の概要】

【0002】

本開示による種々の実施形態は、図面を参照して説明されるであろう。

【図面の簡単な説明】

【0003】

【図1】少なくとも１つの実施例による、本明細書に記載の感覚情報の管理を実装するための例となるデバイスを示す。

【図2】少なくとも１つの実施例による、１または複数のネットワークを介して接続される１または複数のウェブサービスコンピュータおよび／またはユーザデバイスを含む、本明細書に記載の感覚情報の管理を実装するための例となるアーキテクチャを示す。

【図3】少なくとも１つの他の実施例による、本明細書に記載の感覚情報の管理を実装するための例となるデバイスを示す。

【図4】少なくとも１つの他の実施例による、本明細書に記載の感覚情報の管理を実装するための例となるデバイスを示す。

【図5】少なくとも１つの他の実施例による、本明細書に記載の感覚情報の管理を実装するための例となるデバイスを示す。

【図6】少なくとも１つの他の実施例による、本明細書に記載の感覚情報の管理を実装するための処理の例となるフロー図を示す。

【図7】少なくとも１つの他の実施例による、本明細書に記載の感覚情報の管理を実装するための処理の別の例となるフロー図を示す。

【発明を実施するための形態】

【0004】

以下の説明では、様々な実施形態が説明されるであろう。説明の目的のために、特定の構成および詳細が、実施形態の完全な理解を提供するために記載される。しかしながら、実施形態が特定の詳細なしに実施できることも当業者には明らかであろう。さらにまた、周知の特徴は、記述されている実施形態を不明瞭にしないために省略または簡略化されてもよい。

【0005】

本開示の実施形態は、とりわけ、ユーザデバイス（例えば、携帯電話、タブレット、電子書籍（電子ブック）リーダー、ラップトップ、または他のポータブルコンピューティングデバイス）に関連付けられた感覚情報を管理することに関する。いくつかの実施例において、感覚情報は、ユーザデバイスの機能を有効にするために管理されてもよい。例えば、いくつかの場合において、１または複数のセンサは、対象物の動作もしくは存在を監視、および／またはユーザデバイスの外部の対象物（例えば、指、顔、非身体部分の対象等）の動作もしくは存在を検出してもよい。言い換えれば、センサ（例えば、赤外線センサ、超音波センサ等）は、対象物が動いているか否かにかかわらず、動作、熱、または対象物の他の特性が検出され得るように構成されてもよい。いくつかの場合において、検出された動作または存在に少なくとも部分的に基づいて、１または複数のデバイスの特徴が活動状態にされてもよい。

【0006】

いくつかの実施例において、ユーザは、ユーザデバイスの画面上に表示されるグラフィカルユーザインターフェース（ＧＵＩ）要素（例えば、アイコンまたはリンク）上にユーザの指をホバリングさせてもよい。ホバリングは、対象物が、ユーザデバイスに関連付けられた画面または他のインターフェースから何らかの検出可能な距離内にあることを含んでもよいが、これに限定されない。検出されたホバーに少なくとも部分的に基づいて、ユーザデバイスは、ポップアップウィンドウ、ポップアンダーウィンドウ、ポップアラウンドウィンドウなどを含むがそれらに限定されないホバー要素をレンダリングしてもよいし、あるいは提供してもよい。このように、感覚情報（例えば、対象物が要素の上をホバーしていることが検出されたという事実）の検出および／または管理は、マウスなどの周辺デバイスなしでは容易に利用できない特徴を有効にし得る。さらに、感覚情報は、リンクまたは他のアイコンの上にハイライトを提供するために利用されてもよく、このように、ユーザが、ユーザのホバーしている指の位置の下の画面に触れる場合、ユーザが選択しそうなリンクをユーザに示す。

【0007】

さらに、いくつかの例では、感覚情報は、プリフェッチを行う、プリプロセスを行う、あるいは、先制して一つ以上の潜在的なユーザの行動の準備をするために利用されてもよい。例えば、ユーザがユーザの指をアイコンのセットに向けて移動させる場合、ユーザデバイスは、セットの１つの選択を予測してもよく、ユーザが特定のリンクを選択すると、適切なデータが既に受信されたおよび／または処理されたような結果をキャッシュするように構成されてもよい。このようにして、ユーザは、ユーザデバイスがウェブページを要求および／またはユーザによる選択の後、データを処理した場合よりもはるかに速くデータ（例えば、ウェブページ）が与えられてもよい。他の実施例は、ユーザが特定のアイコンまたはリンクを選択しようとしたという検出を含んでもよく、ユーザが実際に画面に触れる前に、特定のアイコンまたはリンクに対応するウェブページを要求する。

【0008】

さらに、いくつかの実施例において、１または複数の異なるユーザは、ユーザデバイスをユーザの顔まで配置することによって、ユーザデバイスの保護されたコンテンツにアクセスまたはログインすることができてもよい。例えば、感覚情報は顔特徴情報を含んでもよく、センサはユーザの顔を検出し、さらに顔の特徴を検出し、および／またはユーザをログインさせるように構成されてもよい。さらに、いくつかの実施例において、ユーザはまた、そのユーザにのみ適した特定のユーザプロファイルまたは他の状態にアクセスすることが可能であってもよい。このようにして、ユーザの顔が、デバイスの保護されたコンテンツまたは他のユーザ固有の情報（例えば、プロファイル、コンタクトなど）にアクセスするためのパスワードまたはトークンとして作用してもよい。少なくとも１つの実施例において、低忠実度センサグリッド（例えば、デバイスの外部で、かつ、それとの接触から独立した動作を検出するように構成されるセンサのアレイに少なくとも部分的に基づいて生成された）は、対象物がいつユーザデバイスの近くにあるかを識別するように構成されてもよい。この識別情報に少なくとも部分的に基づいて、より敏感なセンサグリッド（例えば、より高い忠実度のセンサグリッド）がその後、活動状態にされてもよい。このように、敏感なセンサグリッドは、バッテリ電力および／または処理リソースを節約するために、常に活動状態にされない場合がある。さらに、上記のシナリオのいずれにおいても、ユーザは、所望に応じて、センサを構成してもよく、かつ／またはセンサおよび／もしくは感覚情報管理システムを活動化／非活動化してもよい。

【0009】

図１は、携帯電話、タブレット、電子ブックリーダー、ＭＰ３プレーヤー、リモートコントロール、または本明細書に記載の技術を実装するように構成されてもよいいずれかの他のコンピューティングデバイスなどであるが、それらに限定されない、例示的なユーザデバイス１００を示す。例えば、ユーザデバイス１００は、タッチスクリーンディスプレイ１０２の外部（例えば、タッチスクリーンディスプレイ１０２との接触から独立して）、デバイス１００の内部（例えば、デバイス１００のハウジング内で電気回路を完成させるために押し付けられているボタンまたは他のアクチュエータに少なくとも部分的に基づいて）、および／またはタッチスクリーンディスプレイ１０２上に直接（例えば、表示画面上でＧＵＩアイコンを選択する一般的な方法を介して）のいずれかである、動作、熱、伝導等を含むがそれらに限定されない感覚情報を管理するように構成されてもよい。このように、感覚情報は、デバイス１００のセンサによって収集され、記憶され、処理されたいずれのタイプのデータであってもよく、あるいは（例えば、有線または無線ネットワークを介して）デバイス１００またはウェブサービス、ウェブサイト、またはデバイス１００と通信する他のネットワークリソースによって管理されてもよい。図１に示されるように、いくつかの実施例において、デバイス１００は、外部有効センサグリッド１０４および／または外部環境センサグリッド１０６などの１または複数のセンサグリッドだけでなく、タッチスクリーンディスプレイ１０２を含んでもよい。センサグリッド１０４、１０６は人間の目には見えないかもしれないし、それらは、タッチスクリーンディスプレイ１０２から数ミリメートル、数センチメートル、または数インチ延長してもよく、それらは、グリッド１０４、１０６が効果的にタッチスクリーンディスプレイ１０２と異なる平面で平行になってもよいという構成で個々のセンサ経路として投影されてもよい。対象物の監視または存在は、センサグリッド線と交差する、またさもなければ干渉し、あるグリッド線から別の線などに横断するとき、検出されてもよい。対象物の速度および方向は、１または複数の異なるセンサグリッド線または経路間、またはあるセンサグリッド１０４から別のセンサグリッド１０６までの相対的な干渉または接触を相関させることによって検出されてもよい。

【0010】

さらに、グリッド１０４、１０６の図１に示される各グリッド線は投影されてもよいし、またさもなければ、（例えば、アレイまたは他のクラスタに配置された）１または複数の個々のセンサの感覚経路を表してもよい。例えば、センサは、それらがタッチスクリーンディスプレイ１０２を囲繞するような方法でデバイス１００に結合されてもよく、タッチスクリーンディスプレイ１０２の下に埋め込まれ、および／または１または複数のセンサグリッド１０４、１０６を提供するためのいずれかの既知の技術を使用してデバイス１００に接続される。さらに、任意の数および／またはタイプのセンサが利用されてもよい。このため、いくつかのセンサは動作を検出し得るが、他のセンサ（例えば、赤外線センサ、超音波センサ等）は熱を検出してもよい。いくつかの場合、より多くのセンサが利用されると、例えば、外部有効センサグリッド１０４などのより高い忠実度のグリッドが確立されてもよい。一方、他の場合には、少数のセンサは、例えば、外部環境センサグリッド１０６などのより低い忠実度のグリッドを確立するために利用されてもよい。外部環境センサグリッド１０６は、周囲の動作および／または周囲の熱を検出するように構成され得、さらに粒度の細かい検出にはそれほど有用でない場合がある（例えば、外部環境センサグリッド１０６は、対象物の存在を検出可能であり得るが、対象物の特定の特性を検出不可能な場合がある）。しかしながら、外部環境センサグリッド１０６は、外部有効センサグリッド１０４より少ないバッテリおよび／または処理リソースを利用してもよい。このため、いくつかの実施例において、環境センサグリッド１０６は、有効センサグリッド１０４よりさらに頻繁に活動状態であってもよい（例えばユーザが感覚特徴がオンになるように設定した場合、デバイス１００が電源オンされているか、または常に活動状態である場合、常に活動状態であってもよい）。さらに、いくつかの実施例において、有効センサグリッド１０４は、ユーザがそれを活動状態にしない限り、または少なくとも、環境センサグリッド１０６が感知されるべき対象物を識別するまで、非活動状態のままでもよい。このため、デバイス１００のバッテリ電力は、環境センサグリッド１０６が、監視され、感知され、追跡などされるべき対象物を識別するまで、確保されてもよい。

【0011】

図１に示されるように、いくつかの実施例において、タッチスクリーンディスプレイ１０２は、１または複数のリンク１０８（例えばハイパーリンク、電子的に記憶されたコンテンツに対してリンクを表すアイコン、デバイス１００などに対してローカルなコンテンツまたはアプリケーションを表すリンクまたはアイコン）を提供、レンダリング、あるいは表示するように構成されてもよい。リンク１０８がグリッド１０４、１０６のどちらかに実際に表示されない場合がある一方、ユーザは、ユーザの指を、以下のリンク１０８の位置に対応するタッチスクリーンディスプレイ１０２の上の位置に置くことができるかもしれない。例えば、ユーザは、リンク１０８の真上の位置に対応する位置Ｆ１に、ユーザの指を置いてもよい。このように、ユーザは、タッチスクリーンディスプレイ１０２を実際に触れることなく、リンクの上で「ホバー」してもよい。図１は、ユーザが、環境センサグリッド１０６に対応する、デバイス１００の上の空間でリンク１０８の上を「ホバーしている」ことを示すが、センサグリッドおよび／またはセンサ経路（有効センサグリッド１０４、カメラセンサ、グリッド１０４、１０６のどちらの部分でもないが、依然として対象物の持続的な動作を検出可能なセンサなどであるが、それらに限定されない）に対応するタッチスクリーンディスプレイ１０２上のどの位置でも事足りる可能性があることに留意されたい。しかしながら、いくつかの実施例において、「ホバー」の位置は（例えば、ローカルにまたは設定に基づいて）何らかの方法で、リンク１０８に関連付けられるように要求されてもよい。

【0012】

いくつかの実施例において、いったんユーザが対象物（例えば、ユーザの指）をリンク１０８の上（例えば、真上）の位置に対応する空間上に置いてしまうと、グリッド１０４、１０６のうちの１つ、またはグリッドに関連しないセンサは対象物を検出してもよい。特定期間（例えば、１秒、２秒ぐらい）の後、センサは、対象物が「ホバー」していることを識別してもよい。いくつかの実施例において、「ホバー」行動に関連付けられた時間の量がプリセットされてもよい、またはユーザによって構成されてもよい。いくつかの実施例において、いったん、デバイス１００が、対象物がリンク１０８または他のＧＵＩ要素の上をホバーしていると識別すると、ホバー要素１１０は、リンク１０８に隣接してレンダリングされてもよい。ホバー要素１１０は、付加的な情報および／またはリンク１０８に関連付けられたオプションを提供するように構成されるリンク、アイコン、ウィンドウ、または他のＧＵＩ要素であってもよい。例えば、ホバー要素１１０は、フォーマッティング／オペレーティングシステム（ＯＳ）のオプション（例えば、リンクをコピー、リンクを移動、リンクを貼り付け、リンクを送信等）および／または他のよりリンク特有の情報（例えば、リンクについての情報、リンクによって参照されるウェブページについての情報等）を含んでもよい。さらに、いくつかの態様では、ユーザが、「ホバー」している対象物を動かすことなく、ホバー要素１１０を視認することができるように、ホバー要素１１０は、タッチスクリーンディスプレイ１０２上に設けられてもよい。例えば、図１に示されるように、ホバー要素１１０は、ユーザの手がタッチスクリーンディスプレイ１０２の下部を覆っているときに、リンク１０８の上にレンダリングされてもよい。他の実施例において、センサグリッド１０４、１０６は、他の対象物が位置するタッチスクリーンディスプレイ１０２の上の位置を識別してもよく、ユーザがホバー要素１１０の遮るものがない視認を有するように、これらの位置以外のどこかのタッチスクリーンディスプレイ１０２上にホバー要素１１０を提示してもよい。さらに、いくつかの実施例において、１つのグリッド（例えば、環境グリッド１０６）は、遮るものがない空間（例えば、「ホバー」されている指以外のユーザの手の位置）を決定するように構成されてもよい一方、別のグリッド（例えば、有効グリッド１０４）は、対象物（例えば、指）の「ホバー」を決定するように構成されてもよい。さらに、いくつかの実施例においては、対象物が外部の環境センサグリッド１０６内に移動して、かつそこで十分な長さが残るときに、外部有効センサグリッド１０４は、活動状態にされてもよく、知覚のより大きい忠実度を可能にしてもよく、および／またはホバー要素１１０のプロビジョニングを可能にしてもよい。さらに、外部環境センサグリッド１０６は、ページめくり、またはトラックの変更を示すためにスワイプを含むがそれに限定されない、グロスタイプの機能を検出するように構成されてもよい。

【0013】

いくつかの実施例において、環境センサグリッド１０６のセンサのうちのいくつかは赤外線センサであってもよい一方、グリッド１０６の他のセンサは超音波センサ（または他のタイプのセンサ）であってもよい。同様に、有効センサグリッド１０４のセンサはまた、赤外線および超音波（または他のタイプのセンサ）の両方の組み合わせで構成してもよい。また、いくつかの実施例において、あるセンサグリッドは、あるタイプのセンサ（例えば、超音波）のすべてを備えてもよい一方、他のセンサグリッドは、別のタイプのセンサ（例えば、赤外線）のすべてを備えてもよい。さらに、いくつかの実施例において、赤外線および超音波センサの両方の結合は、付加的な特徴を提供してもよい。例えば、超音波センサは、距離を特定する能力を提供してもよく、赤外線センサはグリッド内（例えば、センサグリッド１０４、１０６のどちらかの内）で、ポイントを非常に正確に識別する能力を提供してもよい。このため、超音波センサおよび赤外線センサの両方からの結合の測定は、デバイス１００に近い対象物のトポグラフィカルマッピングのかなり正確な識別を提供してもよい。

【0014】

図２は、感覚情報を管理するための技術を実装してもよい、例示的なシステムまたはアーキテクチャ２００を示す。アーキテクチャ２００において、１または複数のユーザ２０２（例えば、デバイスの所有者、アカウント保持者等）は、ユーザコンピューティングデバイス１００を利用して、ウェブサービスアプリケーション２０６に、ウェブサービスアプリケーション２０６を通してアクセス可能なユーザアカウントに、または１または複数のネットワーク２０８を介してウェブサイトまたは他のネットワークリソースにアクセスしてもよい。いくつかの態様では、１または複数のサービスプロバイダコンピュータ２１０を利用するなどして、コンピューティングリソースサービスまたはサービスプロバイダによって、ウェブサービスアプリケーション２０６、ウェブサイト、および／またはユーザアカウントはホストされ、管理され、および／あるいは提供されてもよい。１または複数のサービスプロバイダコンピュータ２１０は、いくつかの実施例において、ウェブサイト、ウェブホスティング、クライアントエントリ、データ記憶、データアクセス、管理、仮想化等であるが、それらに限定されないコンピューティングリソースを提供してもよい。１または複数のサービスプロバイダコンピュータ２１０はまた、ウェブホスティング、コンピュータアプリケーション開発、および／またはプラットフォームの実装、前述のものの組み合わせなどを１人以上のユーザ２０２に提供するように操作可能であってもよい。

【0015】

いくつかの実施例において、ネットワーク２０８は、ケーブルネットワーク、インターネット、ワイヤレスネットワーク、セルラーネットワーク、および他のプライベートおよび／または公共ネットワークなどの多くの異なるタイプのネットワークのいずれか１つまたは組み合わせを含んでもよい。図示される実施例がネットワーク２０８上でウェブサービスアプリケーション２０６にアクセスしているユーザ２０２を表す一方、記載された技術は、ユーザ２０２がユーザデバイス１００を介して、固定電話を通じて、キオスクを介して、またはいずれかの他の方法で、サービスプロバイダコンピュータ２１０と相互作用するインスタンスに、同様に当てはまってもよい。記載された技術が、非クライアント／サーバアレンジメント（例えば、ローカルに記憶されたアプリケーション、ピアツーピアのシステム等）だけでなく、他のクライアント／サーバアレンジメント（例えば、セットトップボックス等）に当てはまってもよいこともまた、留意される。

【0016】

簡単に上述したように、ウェブサービスアプリケーション２０６は、ユーザ２０２をサービスプロバイダコンピュータ２１０と相互作用させて、データを記憶する、アクセスする、および／または管理する、コンピュータアプリケーションおよび／またはホストウェブコンテンツを開発するおよび／または展開するなどしてもよい。おそらくサーバのクラスタ内またはサーバファームとして配列された１または複数のサービスプロバイダコンピュータ２１０は、ウェブサービスアプリケーション２０６をホストしてもよい。これらのサーバは、ユーザデバイス１００またはユーザ２０２によってアクセス可能なウェブブラウザを介して視認可能なウェブサイト（またはウェブサイトの組み合わせ）をホストするように構成されてもよい。他のサーバアーキテクチャはまた、ウェブサービスアプリケーション２０６をホストするためにも使用されてよい。ウェブサービスアプリケーション２０６は、多くのユーザ２０２からの要求を処理し、それに応答して、ウェブサイトなどであるがそれに限定されないユーザデバイス１００でレンダリングされ得る種々のユーザインターフェースを供給することが可能であってもよい。ウェブサービスアプリケーション２０６は、ソーシャルネットワーキングサイト、電子小売店、情報サイト、ブログサイト、検索エンジンサイト、ニュースおよびエンターテイメントサイトなどを含む、ユーザ相互作用を支持するいずれかのタイプのウェブサイトであり得る。上述のように、記載された技術は、同様に、ユーザデバイス１００上で起動している他のアプリケーションなどのウェブサービスアプリケーション２０６の外部で実装され得る。

【0017】

サービスプロバイダコンピュータ２１０は、携帯電話、スマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、サーバコンピュータ、シンクライアントデバイス、タブレットＰＣ等であるがそれらに限定されない、いずれかのタイプのコンピューティングデバイスであってもよい。さらにいくつかの実施形態において、サービスプロバイダコンピュータ２１０が、ホストされたコンピューティング環境に実装された１または複数の仮想マシンによって実行されてもよいことが留意されるべきである。ホストされたコンピューティング環境は、１または複数の迅速に供給され解放されたコンピューティングリソースを含んでもよく、このコンピューティングリソースは、コンピューティング、ネットワーキング、および／または記憶デバイスを含んでもよい。ホストされたコンピューティング環境はまた、クラウドコンピューティング環境とも称されてよい。いくつかの実施例において、サービスプロバイダコンピュータ２１０は、ネットワーク２０８を介して、または他のネットワーク接続を介して、ユーザデバイス１００と通信していてもよい。ユーザデバイス１００は、おそらく、クラスタ内、または互いに関連付けられていない個々のサーバとして配置された１または複数のプロセッサを含んでもよい。

【0018】

１つの例示的な構成において、サービスプロバイダコンピュータ２１０は、少なくとも１つのメモリ２１４および１または複数の処理ユニット（またはプロセッサ（複数を含む））２１５を含んでもよい。プロセッサ（複数を含む）２１５は、ハードウェア、コンピュータ実行可能命令、ファームウェア、またはそれらの組み合わせにおいて適切であるように実装されてもよい。プロセッサ（複数を含む）２１５のコンピュータ実行可能命令またはファームウェア実装は、記載された種々の機能を行うためにいずれかの適切なプログラミング言語で書かれたコンピュータ実行可能またはマシン実行可能命令を含んでもよい。

【0019】

メモリ２１４は、プロセッサ（複数を含む）２１５上でロード可能および実行可能であるプログラム命令も、これらのプログラムの実行中に生成されたデータも記憶してよい。サービスプロバイダコンピュータ２１０の構成およびタイプに依存して、メモリ２１４は揮発性（ランダムアクセスメモリ（ＲＡＭ）など）および／または非揮発性（リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ等）であってもよい。サービスプロバイダコンピュータ２１０はまた、磁気記憶装置、光学ディスク、および／またはテープ記憶装置を含むがそれらに限定されない付加的取り外し可能記憶装置および／または取り外し不可能記憶装置も含んでよい。ディスクドライブおよびそれらの関連するコンピュータ可読媒体は、コンピューティングデバイスのためのコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの非揮発性記憶を提供してもよい。いくつかの実装において、メモリ２１４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、またはＲＯＭなどの複数の異なるタイプのメモリを含んでもよい。より詳細にメモリ２１４の内容を参照すると、メモリ２１４は、少なくともウェブサービスアプリケーション２０６を含む本明細書に開示された特徴を実装するための、オペレーティングシステムおよび１または複数のアプリケーションプログラムまたはサービスを含んでよい。

【0020】

いくつかの実施例において、ユーザデバイス１００はまた、携帯電話、スマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、シンクライアントデバイス、タブレットＰＣ等であるがそれらに限定されない、いずれかのタイプのコンピューティングデバイスであってもよい。いくつかの実施例において、ユーザデバイス１００は、ネットワーク２０８、または他のネットワーク接続を介して、サービスプロバイダコンピュータ２１０と通信してもよい。

【0021】

１つの例示的な構成において、ユーザデバイス１００は、少なくとも１つのメモリ２１８および１または複数の処理ユニット（またはプロセッサ（複数を含む））２２４を含んでよい。プロセッサ（複数を含む）２２４は、ハードウェア、コンピュータ実行可能命令、ファームウェア、またはそれらの組み合わせにおいて適切であるように実装されてもよい。プロセッサ（複数を含む）２２４のコンピュータ実行可能命令またはファームウェア実装は、記載された種々の機能を行うためにいずれかの適切なプログラミング言語で書かれたコンピュータ実行可能またはマシン実行可能命令を含んでもよい。

【0022】

メモリ２１８は、プロセッサ（複数を含む）２２４上でロード可能および実行可能であるプログラム命令も、これらのプログラムの実行中に生成されたデータも記憶してよい。ユーザデバイス１００の構成およびタイプに依存して、メモリ２１８は揮発性（ランダムアクセスメモリ（ＲＡＭ）など）および／または非揮発性（リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ等）であってもよい。ユーザデバイス１００はまた、取り外し可能記憶装置および／または取り外し不可能記憶装置を含んでもよい付加的な記憶装置２２６も含んでよい。付加的な記憶装置２２６は、磁気記憶装置、光学ディスク、および／またはテープ記憶装置を含んでもよいが、これらに限定されない。ディスクドライブおよびそれらの関連するコンピュータ可読媒体は、コンピューティングデバイスのためのコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの非揮発性記憶を提供してもよい。いくつかの実装において、メモリ２１８は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、またはＲＯＭなどの複数の異なるタイプのメモリを含んでもよい。

【0023】

メモリ２１８および付加的な記憶装置２２６は、取り外し可能および取り外し不可能の両方ともが、コンピュータ可読記憶装置媒体の実施例である。例えば、コンピュータ可読記憶装置媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のためのいずれかの方法または技術に実装された、揮発性または非揮発性、取り外し可能、または取り外し不可能媒体を含んでもよい。本明細書で使用されるように、モジュールは、ユーザデバイス１００またはサービスプロバイダコンピュータ２１０の一部であるコンピューティングシステム（例えば、プロセッサ）によって実行されるプログラミングモジュールを参照してもよい。メモリ２１８および付加的な記憶装置２２６は、コンピュータ記憶装置媒体のすべての実施例である。ユーザデバイス１００はまた、ユーザデバイス１００を記憶されたデータベース、別のコンピューティングデバイスまたはサーバ、ユーザ端末、および／またはネットワーク２０８上の他のデバイスと通信させる通信接続（複数を含む）２２８も含んでよい。ユーザデバイス１００はまた、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、ディスプレイ、スピーカー、プリンタ等との接続を可能にするなどのために、入力／出力（Ｉ／Ｏ）デバイス（複数を含む）および／またはポート２３０も含んでよい。

【0024】

さらに詳細にメモリ２１８の内容を参照すると、メモリ２１８は、オペレーティングシステム２３２およびセンサ管理モジュール２３４、データ管理モジュール２３６、行動予測モジュール２３８、プリフェッチ／プリプロセスモジュール２４０、および／またはユーザインターフェースモジュール２４２を含む、本明細書に開示された特徴を実装するための１または複数のアプリケーションプログラムまたはサービスを含んでもよい。センサ管理モジュール２３４は、１または複数のセンサ（例えば、赤外線センサ、超音波センサ、熱センサ、他の動作センサ等）の操作を管理するように構成されてもよい。いくつかの場合には、センサ管理モジュール２３４は、図１のグリッド１０４、１０６または他の感覚グリッドが有効になってもよいように、１または複数のセンサの使用を、活動化、非活動化、プログラム、リプログラム、および／あるいは制御することが可能になってもよい。さらに、センサ管理モジュール２３４は、デバイス１００のタッチ画面センサ、マイクロフォン等であるがそれらに限定されない他のセンサを管理してもよい。いくつかの実施例において、センサ管理モジュール２３４はまた、異なるセンサ（またはセンサの異なるセット）によって識別される情報に少なくとも部分的に基づいて、１つのセンサ（またはセンサのセット）を活動状態にするようにも構成されてよい。

【0025】

いくつかの態様において、データ管理モジュール２３６は、デバイス１００のセンサによって受信されたデータを管理するように構成されてもよい。例えば、センサが、それらの検出範囲内で対象物および／または動作を識別あるいは検出するとき、データが収集されてもよい。このデータは、処理および／または記憶のために、データ管理モジュール２３６に提供されてもよい。いくつかの態様において、データは、メモリ２１８に記憶されてもよい、および／または記憶のためにサービスプロバイダコンピュータ２１０に提供されてもよい。さらに、いくつかの態様において、行動予測モジュール２３８は、ユーザの１または複数の潜在的な行動を決定する（また予測するとも呼ばれる）ように構成されてもよい。本明細書で使用されるように、ユーザの潜在的な行動は、ユーザによって行われてもよいが、まだ行われてはいない１つの行動（例えば、リンクまたはアイコンの選択）である。いくつかの実施例において、ユーザの潜在的な行動は、タッチスクリーンディスプレイにレンダリングされた各リンクまたはアイコンの選択を含んでもよい。しかしながら、タッチスクリーンディスプレイ上の各リンクに関連付けられたデータをプリフェッチおよび／またはプリプロセスすることは、より可能性のある選択のセットまたはサブセットをプログラムで予測することおよび／または決定することほど効率的ではないだろう。このように、データ管理モジュール２３６に関連して、行動予測モジュール２３８は、どのリンクが選択されやすいかを決定してもよい。例えば、ユーザの指が特定のリンクに向かって移動している場合、指がそこから離れて移動しているリンクと対向しているそのリンクをユーザが選択する可能性が大きいかもしれない。また、指の動きの速度は、潜在的な行動を示すかもしれない。例えば、リンクの上を「ホバー」している指は、そのリンクまたは他の隣接するリンクの選択が高い可能性を持つことを示してもよい。このように、行動予測モジュール２３８は、「ホバー」の下のリンクの選択が潜在的な行動であってもよいことを予測してもよい。行動予測モジュール２３８はまた、ソフトウェア開発者に、予測されるべき異なる行動および／または予測された行動に少なくとも部分的に基づいて行われるべき異なる命令を構成させるように、あるいはプログラムさせるように構成されてもよい。例えば、ゲーム開発者は、開発されているゲームに固有の潜在的な行動のリストを含むように行動予測モジュール２３８を構成してもよい。

【0026】

さらに、いくつかの実施例では、プリフェッチ／プリプロセスモジュール２４０は、行動予測モジュール２３８により決定される潜在的な行動に少なくとも部分的に基づいてウェブおよび／または他のデータ要求をサービスプロバイダコンピュータ２１０に送信するように構成されてもよい。このようにして、デバイス１００は、どのウェブページを要求するかを、ユーザ２０２が実際にそれらを要求する前に、ユーザ２０２に代わって予測可能であってもよい。この強化は、ユーザ２０２にコンテンツを提供するための前進速度および／または認識された速度を提供し得る。例えば、ウェブサービスアプリケーション２０６を利用して、ユーザ２０２は、デバイス１００を介して動画コンテンツをストリーミングしてもよい。特定の状況下では、サービスプロバイダコンピュータ２１０は、ホストされたコンピューティング環境で構成されてもよく、動画コンテンツのいくつかの処理を行ってもよい（例えば、デバイス１００がシンクライアントとして構成されている場合）。このため、ユーザ２０２の動作を監視する、あるいは検出することに少なくとも部分的に基づいて、モジュール２３４、２３６、２３８、２４０が協働していつユーザがコンテンツを一時停止するおよび／または再生する予定かを予測してもよい。このように、コマンドを一時停止および／または再生することは、サービスプロバイダコンピュータ２１０およびデバイス１００の相対的な反応時間を強化するためにプリフェッチされる、あるいはプリプロセスされてもよく、こうして、システムの知覚される待ち時間を減少させる。さらに、いくつかの実施例において、ユーザインターフェースモジュール２４２は、ＧＵＩおよび／またはＧＵＩ要素（図１のリンク１０８および／またはホバー要素１１０を含む）を提供するように構成されてもよい。プリフェッチ／プリプロセスモジュール２４０はまた、ソフトウェア開発者に、デバイス１００の前に設置された動作または対象物に少なくとも部分的に基づいて行われる異なる命令（例えば、ゲームおよび／またはマルチメディアの行動）を構成させるか、あるいは行わせるように、構成されてもよい。

【0027】

ユーザデバイス１００に存在してもよい付加的なタイプのコンピュータ記憶媒体は、所望の情報を記憶するために使用可能であり、かつ、ユーザデバイス１００によってアクセスされ得る、プログラム可能ランダムアクセスメモリ（ＰＲＡＭ）、ＳＲＡＭ、ＤＲＡＭ、ＲＡＭ、ＲＯＭ、電気的消去可能プログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、またはいずれかの他の媒体を含むがそれらに限定されない。上記のうちのいずれかの組み合わせも、コンピュータ可読媒体の範囲に含まれなければならない。

【0028】

あるいは、コンピュータ可読通信媒体は、搬送波または他の伝送などのデータ信号内で送信されたコンピュータ可読命令、プログラムモジュール、または他のデータを含んでもよい。しかしながら、本明細書で使用されるように、コンピュータ可読記憶媒体はコンピュータ可読通信媒体を含まない。

【0029】

ユーザデバイス１００の操作のいくつかの付加的な実施例もまた、少なくとも図３から７を参照して、以下に詳細に説明される。

【0030】

図３は、本明細書に記載のユーザデバイスの感覚データの管理の付加的な実施例を示す。例えば、図３は、図１および２を参照して説明される、上述のように、タッチスクリーンディスプレイ１０２、有効センサグリッド１０４、および／または環境グリッド１０６を備えたユーザデバイス１００を示す。この非限定的な実施例では、ユーザは、環境センサグリッド１０６がＦ１でユーザの指の存在または動作を検出できるように、ユーザの手をタッチスクリーンディスプレイ１０２に向けて移動させてもよい。しかしながら、図３は、ユーザが環境センサグリッド１０６に実際に触れていることを示す意図はない。その代わり、ユーザの指はセンサ経路の平面を通して交差してもよいし、あるいは環境センサグリッド１０６を有効にするように構成されるセンサによって検出されてもよい。いくつかの実施例において、この段階では、Ｆ１が生じるとき、有効センサグリッド１０４は活動化されていない場合がある。しかしながら、いくつかの実施例において、それは常に活動状態にされていてもよいし、または、上述のように、ユーザは、いつおよび／またはどのぐらい長く、有効センサグリッド１０４が活動状態にされることになるかを構成してもよい。

【0031】

いくつかの実施例において、Ｆ１信号は、有効センサグリッド１０４を活動状態にするように構成されてもよい、センサ管理モジュール２３４に送信されてもよい。すなわち、有効センサグリッド１０４は、環境センサグリッドが有効センサグリッド１０４が監視する対象物、アイテム、または動作を検出するまで、休止状態であってもよい。このため、有効センサグリッド１０４は、有効センサグリッド１０４がＦ２でユーザの手を感知するのに合わせて、活動状態にされることになってもよい。ここで、再び、ユーザはまだデバイス１００自身に接触していない場合がある。しかしながら、有効センサグリッド１０４はまた、タッチスクリーンディスプレイ１０２および／またはデバイス１００自身に対するユーザの手の位置、その動きの方向、および／またはその動きの速度を検出可能であり得る。さらに、上述のように、いくつかの実施例において、有効センサグリッド１０４は、位置、動作、速度等の情報を、リンク３０２、３０４、３０６、３０８のうちのどれを、ユーザが選択し得るかを決定するために、少なくとも行動予測モジュール２３８および／またはプリフェッチ／プリプロセスモジュール２４０と協働してもよい、センサ管理モジュール２３４に送ってもよい。ユーザがユーザの手をＦ２からＦＮに移動させるにつれて、デバイスのモジュールは、ユーザがリンク３０２、３０４、３０６、３０８を選択することを予期して、ウェブサーバまたは他のネットワークに基づくリソースに対して、ウェブページ、コンテンツ、または他の情報を受信する要求を作成し始め得る。

【0032】

いくつかの実施例において、ユーザの手の速度も同様に有益であり得る。例えば、ユーザの手がＦ２からＦＮにゆっくり移動している場合、ユーザがリンク３０４を選択することができる予測は、リンク３０８のそれよりも正確であってもよい。しかしながら、逆が真であって、ユーザの手が速いペースでＦ２からＦＮに移動していた場合、ユーザがリンク３０８を選択するまたはリンクを全く選択しない確率が増加し得る。このため、潜在的な行動が実際の行動であるという決定された確率に少なくとも部分的に基づいて、デバイスはプリフェッチおよび／またはプリプロセスの要求に優先順位を付し得る。例えば、プリフェッチ要求のリストはランク付けされてもよく、その後、順に処理されてもよい。ランク付けされたリストは、ユーザの手の動作または存在に関連付けられた新しいデータが受信されてもよいように、動的に変化してもよい。さらに、いくつかの実施例において、ＧＵＩ要素（例えば、ハイライトまたは境界線）はユーザの指の知覚された位置を示すために、１または複数のリンクの上に提供されてもよい。例えば、リンク３０８の周囲の境界線は、ユーザの指がＦＮで検出されるときに視認され得る。このように、ユーザはまた、どこでユーザの指がリンクに関連しているかを教えることができてもよい。これは、タッチスクリーンディスプレイ１０２上のリンクまたはアイコンが小さいときに特に有益であり、ユーザが、画面に触れるときに、どのリンクを選択し得るかを教えるのは困難である場合がある。図３に示されるように、いくつかの実施例において、指が移動するにつれて、隣接する要素が徐々に減少してもよく、例えば、少し前に、ユーザの指がリンク３０４の上にあって、その後は、リンク３０６の上にあって、最終的にはリンク３０８の上にあることを示している。ユーザが、ＧＵＩと相互作用するのを助けるための他のＧＵＩ要素または指標は、所望の通り有効になり得る。

【0033】

図４は、本明細書に記載のユーザデバイスの感覚データの管理の付加的な実施例を示す。この図において、タッチスクリーンディスプレイ１０２、有効センサグリッド１０４、および／または環境センサグリッド１０６を備えたデバイス１００が再度、示される。この図では、しかしながら、タッチスクリーンディスプレイ１０２とセンサグリッド１０４、１０６は、デバイス１００および／またはタッチスクリーンディスプレイ１０２に関連して視点を示すように、横断面図で示されている。例えば、いくつかの態様では、Ｆ１および／またはＦ２におけるユーザの指は、センサグリッド１０４、１０６のどちらかまたは両方によって感知されてもよく、さらに、この指の感知および／または検出は、Ｆ３で示される、タッチスクリーンディスプレイ１０２との実際の接触から独立していてもよい。さらに、いくつかの実施例において、上述のように、環境センサグリッド１０６は、まず、ユーザの手の存在を検出してもよく、その後、有効センサグリッド１０４を活動状態にしてもよい。さらに、いずれかの他の対象物が、センサグリッド１０４、１０６によって感知され、検出され、および／または監視されてもよい。例えば、ユーザは、デバイス１００に近接して、対象物（例えば、カタログ等における商品）を配置してもよく、グリッド１０４、１０６の１つ以上は、対象物の識別および／または特性を決定することが可能であってもよい。例えば、ユーザが電子小売業者を介して商品を販売したい場合、ユーザは、タッチスクリーンディスプレイ１０２の前にアイテムを置くことができ、センサグリッド１０４、１０６は、アイテムを識別できる場合があり、および／または、ユーザの代わりに、情報を電子小売業者に提供できる場合がある。あるいは、ユーザが同様のアイテムを購入したい場合、デバイス（例えば、アイテムを識別する場合）は、同じおよび／または他の電子小売業者によって同様の商品を見つけ得る。

【0034】

また、上述したように、いくつかの実施例において、環境センサグリッド１０６はまた、全体の動作または他の低い忠実度の行動を検出および／または分析するように構成されてもよい。これらの動作および／または行動は、デバイス１００のマルチメディアやゲーム操作を達成するために利用され得る。例えば、デバイスにわたって手をスワイプすることは、有効センサグリッド１０４の活動化または利用の有無にかかわらず、曲を進める、ページをめくる、ゲーム内で対象物を揺らす、オプションをスクロールする等）のために、低い忠実度のセンサ（例えば、環境センサグリッド１０６）によって検出されてもよい。さらに、いくつかの実施例において、デバイス１００は、タッチスクリーンディスプレイ１０２から数インチのところに生じる動作を検出および／または分析し得る、車両に埋め込まれたデバイス（またはユーザが相互作用してもよいいずれかのタイプのユニットに埋め込まれたデバイス）であってもよい。このように、車両の運転者またはオペレータは、車両を安全に運転しながら、デバイス１００のオプション（例えば、音楽を演奏するときの次または最後の曲および／または音量の上げ下げ、方向などを受信するときの次の方向）を活動状態にすることが可能であってもよい。

【0035】

図５は、本明細書に記載のユーザデバイスの感覚データの管理の付加的な実施例を示す。この図において、タッチスクリーンディスプレイ１０２、有効センサグリッド１０４、および／または環境センサグリッド１０６を備えたデバイス１００が再度、示される。この図では、タッチスクリーンディスプレイ１０２とセンサグリッド１０４、１０６は、デバイス１００および／またはタッチスクリーンディスプレイ１０２に関連して視点を示すように、再度、横断面図で示されている。図５は、ユーザの顔によってデバイス１００にログインするために、ユーザがセンサグリッド１０４、１０６および／または感覚管理の他の特徴を利用する実施例を示す。このように、ユーザの顔は、デバイス１００がユーザの識別された顔に少なくとも部分的に基づいてコンテンツを保護するためにログインまたはその他のアクセスを可能にするように識別可能であってもよい。いくつかの実施例において、ユーザは、ユーザの顔までデバイス１００を保持してもよく、距離を置いて、環境センサ１０６は、顔が存在することを識別し得る。いくつかの実施例において、上述のように、環境センサグリッド１０６は、その後、有効センサグリッド１０４の活動化を有効にし得る。いくつかの実施例において、有効センサグリッド１０４は、その後、ユーザが識別され得るように、顔の特徴を検出してもよい。

【0036】

ユーザは、ユーザの顔やプロファイルに変化が生じてもそれらをデバイス１００が認識し得るように（例えば、異なるヘアスタイルおよび／またはヘアカットを備えた）、デバイスによる顔のスキャンを記憶してもよい。さらに、いくつかの実施例において、同じデバイスを利用する複数のユーザは、特定のアカウントにログインするまたはユーザ／アカウント固有の安全なコンテンツにアクセスすることが可能であってもよい。タッチスクリーンディスプレイ１０２の相対的な頂部からタッチスクリーンディスプレイ１０２の相対的な底部に移動している顔が図５に示される一方、このために機能性を限定する意図はない。言い換えると、顔は、検出されるために、（いくつかの実施例において）デバイス１００および／またはタッチスクリーンディスプレイ１０２の近くに移動する必要があるのみである。しかしながら、他の実施例において、センサグリッド１０４、１０６の両方は、デバイス１００から同じ距離で、アイテム、指、顔等を検出するように構成されてもよい。例えば、より少ないおよび／または異なるセンサは、それらがデバイス１００から同じ距離でセンサ経路を投影してもよいにもかかわらず、有効センサグリッド１０４よりもむしろ環境センサグリッド１０６を実装するために利用されてもよい。さらに、いくつかの実施例において、有効センサグリッド１０４は、環境センサグリッド１０６を活動状態にする同じセンサに加えて、環境センサグリッド１０６が活動状態であるが、活動状態でないいくつかの付加的なセンサから構成されてもよい。

【0037】

さらに、いくつかの実施例において、デバイスによるユーザの顔登録の複数の状態が存在してもよい。例えば、ユーザは、デバイス１００によって無表情の顔のトポグラフィーを登録してもよいし、また、感情的／表情豊かな顔のトポグラフィー（例えば、笑顔、しかめ顔、面白い表情等）を登録してもよい。いくつかの場合には、環境センサグリッド１０６は、ユーザの無表情の顔を識別してもよい、または少なくとも顔がデバイス１００の近傍に入ったことを識別してもよい。有効センサグリッド１０４は、その後、ユーザがデバイスにログインするためのパスワードとして保存された表現を作成しているときを識別するように構成され得る。このように、ユーザにユーザのデバイスを強制的にロック解除させることが不可能であり得るように、付加的なセキュリティが有効にされ得る。その代わりに、ユーザはパスワードとして保存された表現を提供することにより、デバイスのロックを解除し得る。さらに、いくつかの実施例において、ユーザは、デバイス１００のセンサに関して異なる角度または距離のうちの１つにユーザの顔を配置してもよい。例えば、ユーザは、毎回、デバイス１００を参照してユーザの顔を正確な同じ位置に配置することなく、デバイス１００にログインすることが可能な場合もある。さらに、いくつかの実施例において、ユーザがユーザの顔を使用してログインするたびに、デバイス１００は、いかなる顔の角度または顔の変化（例えば、シミ、顔の毛、メガネ等）もユーザのログインにとって満足のいくものであってもよいように、最終的にユーザの顔を学習するために、顔パスワードのライブラリを増強してもよい。

【0038】

図６および７は、ユーザデバイスの感覚データを管理するための各々の処理６００および７００を示す、実施例のフロー図を示す。これらの処理は論理フロー図として示され、その各操作はハードウェア、コンピュータ命令、またはその組み合わせに実装され得る操作のシーケンスを表す。コンピュータ命令の前後関係において、操作は、１または複数のプロセッサによって実行されるとき、記載の操作を実行する、１または複数のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、ルーティン、プログラム、対象物、コンポーネント、特定の機能を行うまたは特定のデータタイプを実装するデータ構造などを含む。操作が記載される順序は、制限として解釈されることを意図されるものではなく、任意の数の記載される操作は、処理を実装するために、任意の順序および／または並行して組み合わせられ得る。

【0039】

さらに、いくつかの、任意の、またはすべての処理は、実行可能な命令で構成される１または複数のコンピュータシステムの制御下で行われてもよく、ハードウェアまたはそれらの組み合わせによって、１または複数のプロセッサ上でまとめて実行するコード（例えば、実行可能命令、１または複数のコンピュータプログラム、または１または複数のアプリケーション）として実装され得る。上述のように、コードは、例えば、１または複数のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形で、コンピュータ可読記憶媒体上に格納されてもよい。コンピュータ可読記憶媒体は、非一過性であってもよい。

【0040】

いくつかの実施例において、図２に示される、（例えば、センサ管理モジュール２３４、行動予測モジュール２３６、および／またはプリフェッチ／プリプロセスモジュール２４０のうちの少なくとも１つを利用する）ユーザデバイス１００は、図６の処理６００を行ってもよい。処理６００は、６０２のユーザデバイスのタッチスクリーンディスプレイの外部で、かつそれとの接触から独立して、対象物の動きを監視することによって開始してもよい。監視は、少なくともユーザデバイスの第１のセンサによって行われ得る。６０４で、処理６００は、対象物の動きまたは存在を示す情報を第１のセンサから受信し得る。すなわち、第１のセンサは、対象物がデバイスの上または下を移動していることを識別してもよいし、または対象物が存在している（あるいは、移動しておらず依然としてそこにある）ことを識別してもよい。６０６で、処理６００は、第１のセンサから受信された指示情報に少なくとも部分的に基づいて、ユーザの潜在的な行動を決定してもよい。いくつかの実施例において、処理６００はまた、６０８でユーザからの要求を受信する前に潜在的な行動に対応する命令を行ってもよい。言い換えれば、ユーザがそのような選択をなしてもよいことを予期して、処理６００はウェブデータをプリフェッチしてもよい、および／または潜在的な要求に関連付けられたデータをプリプロセスしてもよい。６１０で、処理６００は、第１のセンサによって識別された対象物の動作および／または存在に少なくとも部分的に基づいて、第２のセンサを活動状態にし得る。６１２で、処理６００は第２のセンサから要求を受信してもよい。第２のセンサは、（例えば、タッチスクリーンディスプレイの）第１のセンサまたはタッチ式センサよりも高い忠実度を有する動作センサとして構成されてもよい。さらに、いくつかの実施例において、処理６００は、処理６００がユーザからの６１２で受信された要求に少なくとも部分的に基づいて行われた命令に対応する情報を提供し得る６１４で終了してもよい。

【0041】

図７は、ユーザデバイスの感覚データを管理するための処理７００を示す、実施例のフロー図を示す。図２に示されるユーザデバイス１００は（例えば、センサ管理モジュール２３４、行動予測モジュール２３６、および／またはプリフェッチ／プリプロセスモジュール２４０のうちの少なくとも１つを利用して）、図７の処理７００を行い得る。処理７００は、７０２でユーザに関連付けられた動作および／または存在をセンサによって識別することによって開始し得る。例えば、センサは、ユーザの動作またはユーザに関連付けられた対象物を識別してもよい、および／またはセンサは、ユーザの存在またはユーザに関連付けられた対象物を識別してもよい。７０４で、処理７００は、識別された動作および／または存在に少なくとも部分的に基づいて、ユーザによる潜在的な行動を決定してもよい。７０６において、処理７００は、潜在的な行動に関連付けられた命令を行ってもよい。さらに、いくつかの実施例において、処理７００は、７０８でユーザインターフェース要素を表示するための視認可能領域を決定し得る。いくつかの態様において、視認可能領域は、ユーザの視野が遮られない画面の領域に少なくとも部分的に基づいて（例えば、タッチスクリーンディスプレイの前で検出されたおよび／または識別された対象物に少なくとも部分的に基づいて）いてもよい。例えば、ユーザの手がタッチスクリーンディスプレイの下部のユーザの視野を遮る場合、視認可能領域は、手によって遮られている下部以外のタッチスクリーンディスプレイのすべてまたはいくつかの領域を含んでもよい。さらに、処理７００は、行われた命令に少なくとも部分的に基づいて、処理７００が情報をユーザに提供し得る７１０で終了してもよい。処理７００はまた、７１０で決定された視認可能領域上のＵＩ要素（例えば、ホバー要素など）を提供してもよい。この情報および／またはＵＩ要素は、ユーザからの要求を受信すると提供され得る。

【0042】

ユーザデバイスの感覚情報を管理するための例示的な方法およびシステムが上述されている。これらのシステムおよび方法のうちのいくつかまたはすべては、少なくとも上記の図２〜７に示されるようなアーキテクチャによって少なくとも部分的に実装されてもよいが、その必要があるわけではない。

【0043】

種々の実施形態は多種多様な操作環境にさらに実装され得、これらは、ある場合には、任意の数のアプリケーションを操作するために使用され得る、１または複数のユーザコンピュータ、コンピューティングデバイスまたは処理デバイスを含み得る。ユーザまたはクライアントデバイスは、標準的なオペレーティングシステムを起動させるデスクトップ型またはラップトップ型コンピュータ、ならびに、モバイルソフトウェアを起動させ、いくつかのネットワークおよびメッセージプロトコルを支持することが可能な携帯電話、無線、および携帯型デバイス等、任意の数の汎用パーソナルコンピュータを含み得る。このようなシステムはまた、開発およびデータベース管理などの目的のために、様々な市販のオペレーティングシステムおよび他の既知のアプリケーションのうちのいずれかを起動するいくつかのワークステーションも含み得る。これらのデバイスはまたダミーターミナル、シンクライアント、ゲーミングシステム、およびネットワークを介して通信することができる他のデバイス等の他の電子デバイスも含み得る。

【0044】

ほとんどの実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳおよびＡｐｐｌｅ Ｔａｌｋなどの種々の市販のプロトコルのいずれかを使用して通信を支持するために、当業者が熟知しているであろう少なくとも１つのネットワークを利用する。ネットワークは例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせであり得る。

【0045】

ウェブサーバを利用する実施形態においては、ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａサーバ、およびビジネスアプリケーションサーバを含む、あらゆる種類のサーバまたは中間層アプリケーションを起動し得る。サーバ（複数を含む）はまた、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、またはＣ＋＋、またはＰｅｒｌ、ＰｙｔｈｏｎまたはＴＣＬなどの任意のスクリプト言語、ならびにそれらの組み合わせで書かれる１または複数のスクリプトまたはプログラムとして実装され得る１または複数のウェブアプリケーションを実行することによって、ユーザデバイスからの要求に応答してプログラムまたはスクリプトを実行することもでき得る。サーバ（複数を含む）はまた、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から市販されているこれらを制限なく含むデータベースサーバも含み得る。

【0046】

環境は、上述のように、種々のデータストアならびに他のメモリおよび記憶媒体を含み得る。これらは、コンピュータのうちの１つ以上にローカル（および／またはそこに存在する）、またはネットワークにわたるコンピュータのうちのいくつかまたはすべてからリモートの記憶媒体上などの様々な位置に存在し得る。特定の組の実施形態において、情報は、当業者に熟知されたストレージエリアネットワーク（ＳＡＮ）内に存在してもよい。同様に、コンピュータ、サーバ、または他のネットワークデバイスに属する機能を行うために必要な任意のファイルは、必要に応じてローカルおよび／またはリモートで記憶され得る。システムがコンピュータ化されたデバイスを含む場合、それぞれのそのようなデバイスは、バスを介して電気的に結合され得るハードウェア要素を含み得、これらの要素は、例えば、少なくとも１つの中央処理ユニット（ＣＰＵ）、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチスクリーン、またはキーパッド）、および少なくとも１つの出力デバイス（例えば、表示デバイス、プリンタ、またはスピーカー）を含む。このようなシステムはまた、ディスクドライブ、光学記憶デバイス、ならびに、ＲＡＭまたはＲＯＭ、ならびに取り外し可能媒体デバイス、メモリカード、フラッシュカードなどのソリッドステート記憶デバイスなどの１または複数の記憶デバイスを含み得る。

【0047】

このようなデバイスは、上述のように、コンピュータ可読記憶媒体リーダー、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス等）およびワーキングメモリも含み得る。コンピュータ可読記憶媒体リーダーは、コンピュータ可読記憶媒体と接続され得るか、またはコンピュータ可読記憶媒体を受信するよう構成され得、リモート、ローカル、固定、および／または取り外し可能な記憶デバイス、ならびにコンピュータ可読情報を一時的および／またはより恒久的に含有し、記憶し、伝送し、かつ読み出すための記憶媒体を表す。システムおよび種々のデバイスは、典型的には、いくつかのソフトウェアアプリケーション、モジュール、サービス、またはオペレーティングシステムおよびアプリケーションプログラムを含む、クライアントアプリケーションまたはウェブブラウザなどの、少なくとも１つのワーキングメモリデバイス内にある他の要素も含むであろう。代替の実施形態が、上述のものからの多数の変形を有し得ることを理解されたい。例えば、特製のハードウェアもまた使用可能であり、および／または特定の要素は、ハードウェア、ソフトウェア（アプレットなどのポータブルソフトウェアを含む）、またはその両方に実装されてもよい。さらに、ネットワーク入力／出力デバイスなどの他のコンピューティングデバイスへの接続が用いられ得る。

【0048】

コード、またはコードの部分を含有するための記憶媒体およびコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶および／または伝達のための任意の方法または技術において実装される、揮発性および非揮発性、取り外し可能および取り外し不可能媒体などであるがこれらに限定されない、記憶媒体および通信媒体を含む、当該技術分野で既知または使用されている任意の適切な媒体を含み得、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤまたは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用可能であり、システムデバイスによってアクセス可能である任意の他の媒体を含む。本明細書に提供される本開示および教示に基づいて、当業者は、種々の実施形態を実装する他の様式および／または方法を理解するであろう。

【0049】

本明細書および図面は、したがって、限定的な意味ではなく、例示とみなされるものである。しかしながら、種々の修正および変更が、特許請求の範囲に記載される本発明のより広範な精神と範囲から逸脱することなく、そこになされ得ることは明らかであろう。

【0050】

他の変形例は、本開示の精神の範囲内にある。このように、開示された技術は、種々の修正および代替構成が可能である一方、いくつかの例示の実施形態が図面に示され、詳細に上述されている。しかしながら、本発明を開示される特定の形態に限定するものではないが、むしろ逆に、添付の請求項において定義されるように、本発明の趣旨および範囲内に含まれる、すべての修正、代替的な構成、および均等物を網羅することが意図されることを理解されたい。

【0051】

開示された実施形態を示す文脈中における（特に以下の請求項の文脈中における）用語「ａ」、「ａｎ」、「ｔｈｅ」、および同様の指示物は、本明細書に別段の定めがない限りまたは文脈により明らかに矛盾しない限り、単数および複数の両方を含むと解釈されるべきである。「備える」、「有する」、「含む」、「含有する」などの用語は、特に断りのない限りオープンエンドの用語として解釈されるべきである（すなわち「含むが、これらに限定されない」を意味する）。用語「接続されて」は、たとえ介在するものがあっても、一部または全部がその中に含まれ、それに付着し、またはそれに結合されるように解釈されるべきである。値の範囲の列挙は、本明細書において他に示されない限り、単に、範囲内に入るそれぞれ別個の値に個々に言及する速記方法として役立つように意図され、それが個々に本明細書に記載されているかのように、各個別の値は、本明細書に組み込まれる。本明細書に別様に示されるか、あるいは文脈により明らかに矛盾しない限り、本明細書に記載のすべての方法は、任意の適切な順序で行われ得る。本明細書に提供されるいかなるおよびすべての実施例または例示的な言語（例えば、「などの」）の使用は単に本発明の実施形態をよりよく例示することが意図され、別段の請求がない限り、本発明の範囲についての限定を提示しない。明細書の用語は、本発明の実施に不可欠であるとして任意の非請求の要素を示すものと解釈されるべきではない。

【0052】

語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の離接語は、具体的に別途記述されない限り、物品、用語等が、Ｘ、Ｙ、またはＺのいずれか、またはそれらの組み合わせ（例えば、Ｘ、Ｙ、および／またはＺ）であってもよいことを示すために一般に使用される文脈で理解される。したがって、そのような離接語は、一般に、ある実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ、およびＺの少なくとも１つがそれぞれ存在することを必要とすることを含意することは意図していない、かつ意図するべきではない。

【0053】

発明を実施するために発明者に知られている最良の形態を含む本開示の好ましい実施形態は、本明細書に記載されている。これらの好ましい実施形態の変形は、前述の説明を読めば当業者に明らかになるであろう。本発明者らは、当業者が適宜このような変形を採用することを期待し、かつ、本発明者らは、本発明が本明細書に具体的に記載した以外の方法で実施されることを意図する。したがって、本発明は、適用法により許可されるように、本明細書に添付の句および特許請求の範囲に記載の主題のすべての修正および均等物を含む。さらに、上記に示される要素の、それらのすべての可能な変形の、どんな組み合わせも、本明細書に別段の定めなき限り、または別段のように文脈により明らかに矛盾しない限り、本発明に含まれる。

【0054】

各文献が個々にかつ具体的に参照により組み込まれることが示され、その全体が本明細書に記載されたかのように本明細書で引用した刊行物、特許出願、および特許を含むすべての参考文献は、本明細書に同程度に参考として援用される。

【0055】

付記１．実行可能命令で構成されるコンピュータシステムの制御下で、
モバイルデバイスの画面の外部で、かつ、モバイルデバイスの画面との接触から独立した対象物の動きを、モバイルデバイスの第１のセンサによって監視することと、
モバイルデバイスの画面の外部で、かつ、モバイルデバイスの画面との接触から独立した動きが識別されるときに、対象物の動きを示す情報を第１のセンサから受信することと、
対象物を示す情報に少なくとも部分的に基づいて、モバイルデバイスのユーザの潜在的な行動を決定することと、
潜在的な行動を行う要求の表示を受信する前に、ユーザの潜在的な行動に対応する命令を行うことと、
第２のセンサから要求の表示を受信することと、
要求の表示に少なくとも部分的に基づいて、行われた指示に対応する情報を提供することと、を含む、デバイス感覚情報を管理するためのコンピュータ実装方法。

【0056】

付記２．第１のセンサが赤外線センサまたは超音波センサのうちの少なくとも１つであるように構成され、第２のセンサがタッチ画面センサであるように構成される、付記１に記載のコンピュータ実装方法。

【0057】

付記３．第１のセンサが環境センサであるように構成され、第２のセンサが有効センサであるように構成される、付記１に記載のコンピュータ実装方法。

【0058】

付記４．環境センサが有効センサより低い忠実度によって構成される、付記３に記載のコンピュータ実装方法。

【0059】

付記５．第２のセンサが活動状態でないとき、対象物の動きを識別する第１のセンサから受信された情報に少なくとも部分的に基づいて、第２のセンサを活動状態にすることをさらに含む、付記４に記載のコンピュータ実装方法。

【0060】

付記６．対象物の動きを示す情報が対象物の動きの速度、対象物の動きの方向、第１のセンサによって監視された対象物の動きと第２のセンサによって識別された対象物の動き間の時間的違い、または第１のセンサによって監視された対象物の検出と第２のセンサによって識別された対象物の検出間の時間的違いのうちの少なくとも１つを含む、付記１に記載のコンピュータ実装方法。

【0061】

付記７．命令を行うことが、要求をサーバに提供することと、情報を外部コンピューティングシステムに提供することと、情報がウェブサービスによって処理されることを要求することと、または１以上の潜在的な行動に関連付けられたデータを処理することとのうちの少なくとも１つを含む、付記１に記載のコンピュータ実装方法。

【0062】

付記８．実行可能命令で構成されるコンピュータシステムの制御下で、
デバイスのセンサによって、ユーザに関連付けられた動作を識別することであって、動作がデバイスの画面の外部で生じる、識別することと、
識別された動作に少なくとも部分的に基づいて、ユーザによる１または複数の潜在的な行動を決定することと、
ユーザから要求を受信する前に、１または複数の潜在的な行動のうちの少なくとも１つのサブセットに関連付けられた命令を行うことと、
ユーザから要求を受信すると、行われた命令に少なくとも部分的に基づいて、ユーザに情報を提供することと、を含む、デバイス感覚情報を管理するためのコンピュータ実装方法。

【0063】

付記９．ユーザに関連付けられた動作が、ユーザインターフェース要素の上で移動するユーザに関連付けられた対象物を含み、ユーザインターフェース要素がデバイスの画面上でレンダリングされる、付記８に記載のコンピュータ実装方法。

【0064】

付記１０．ユーザに関連付けられた対象物が、ユーザの手、ユーザの指、ユーザの顔、またはユーザによって保持されるアイテムのうちの少なくとも１つを含む、付記９に記載のコンピュータ実装方法。

【0065】

付記１１．ユーザによる１または複数の潜在的な行動が、ユーザインターフェース要素上でのホバーまたはユーザインターフェース要素の選択のうちの少なくとも１つを含む、付記９に記載のコンピュータ実装方法。

【0066】

付記１２．ユーザに提供された情報が、デバイスの画面上にレンダリングされる第２のユーザインターフェース要素を含む、付記８に記載のコンピュータ実装方法。

【0067】

付記１３．ユーザインターフェース要素が、第１のユーザインターフェース要素であり、第２のユーザインターフェース要素が、第１のユーザインターフェース要素に隣接するデバイスの画面の領域上にレンダリングされる、付記１２に記載のコンピュータ実装方法。

【0068】

付記１４．ユーザに関連付けられた対象物のサイズまたはユーザに関連付けられた対象物の位置のうちの少なくとも１つに少なくとも部分的に基づいて、画面の視認可能領域を決定することをさらに含み、視認可能領域が第２のユーザインターフェース要素をレンダリングするのに十分に大きく、第２のユーザインターフェース要素が視認可能領域にレンダリングされる、付記１３に記載のコンピュータ実装方法。

【0069】

付記１５．ユーザによる１または複数の潜在的な行動が、画面にレンダリングされた第１のユーザインターフェース要素または第２のユーザインターフェース要素のうちの少なくとも１つの選択を含む、付記１２に記載のコンピュータ実装方法。

【0070】

付記１６．１または複数の潜在的な行動の少なくとも１つのサブセットに関連付けられた命令を行うことが、画面にレンダリングされた第１のユーザインターフェース要素の選択に対応する要求をサーバに送信すること、または画面にレンダリングされた第２のユーザインターフェース要素の選択に対応する要求をサーバに送信することのうちの少なくとも１つを含む、付記１５に記載のコンピュータ実装方法。

【0071】

付記１７．１または複数の潜在的な行動のうちの少なくとも１つのサブセットに関連付けられた命令を行うことが、画面にレンダリングされた第１のユーザインターフェース要素の選択に関連付けられたデータを処理すること、または画面にレンダリングされた第２のユーザインターフェース要素の選択に関連付けられたデータを処理することのうちの少なくとも１つを含む、付記１５に記載のコンピュータ実装方法。

【0072】

付記１８．１または複数の潜在的な行動の少なくとも１つのサブセットに関連付けられた命令を行うことが、ユーザに関連付けられた対象物が画面のグラフィカルユーザインターフェース要素の上に位置するという表示を画面に提供することを含む、付記１５に記載のコンピュータ実装方法。

【0073】

付記１９．情報が、ユーザからの要求の受信後にユーザに提供され、ユーザからの要求が、ユーザが画面との物理的接触を行うことに少なくとも部分的に基づいて識別される、付記８に記載のコンピュータ実装方法。

【0074】

付記２０．センサがデバイスの画面の外部のセンサグリッドを提供するように構成され、センサグリッドがデバイスの画面の外部で生じる動作、およびデバイスに接触していないデバイスの画面の外部に位置する対象物のうちの少なくとも１つを感知するように構成される、付記８に記載のコンピュータ実装方法。

【0075】

付記２１．ユーザインターフェースをレンダリングするように構成される画面と、
画面との接触から独立して対象物を識別するように構成されるセンサと、
コンピュータ実行可能命令を記憶するメモリと、
プロセッサであって、メモリにアクセスし、少なくとも、
画面との接触から独立してセンサによって識別された対象物に関連付けられた第１の情報を、センサから受信することと、
画面との接触から独立してセンサによって識別された対象物に関連付けられた第２の情報を、センサから受信することと、
第１の情報および第２の情報に少なくとも部分的に基づいて感覚情報管理デバイスによって行われるべき行動を決定することと、
決定された行動に少なくとも部分的に基づいて、画面にレンダリングされたユーザインターフェース内に新しいユーザインターフェース要素を提供することと、をまとめて行うコンピュータ実行可能命令を実行するように構成されるプロセッサと、を備える、感覚情報管理デバイス。

【0076】

付記２２．プロセッサが、
第１の情報または第２の情報を受信する前に、画面にレンダリングされたユーザインターフェース内に第１のユーザインターフェース要素を提供することと、
第１のユーザインターフェース要素を提供した後、新しいユーザインターフェース要素を提供することと、をまとめて行うコンピュータ実行可能命令を実行するようにさらに構成される、付記２１に記載のシステム。

【0077】

付記２３．対象物に関連付けられた第１の情報が、第１のユーザインターフェース要素に対する対象物の位置を示す、付記２２に記載のシステム。

【0078】

付記２４．対象物に関連付けられた第２の情報が、対象物がその位置に位置していた時間の量を示す、付記２３に記載のシステム。

【0079】

付記２５．新しいユーザインターフェース要素が、ユーザが第１のユーザインターフェース要素上をホバーしていることを示すホバー要素を含み、新しいユーザインターフェース要素が、位置と、対象物がその位置に位置していた時間の量に少なくとも部分的に基づく、付記２４に記載のシステム。

【0080】

付記２６．センサが、画面との接触から独立して対象物を識別するためのセンサグリッドを生成するように構成され、センサグリッドが画面の外部に生成される、付記２１に記載のシステム。

【0081】

付記２７．行われるべき行動が、ユーザの物理的な特性に対応する第１の情報または第２の情報のうちの少なくとも１つに少なくとも部分的に基づいて、デバイス上にユーザをログインさせることを含む、付記２１に記載のシステム。

【0082】

付記２８．第１のセンサを備えた画面と、
画面の外部の対象物を識別するように構成される第２のセンサと、
コンピュータ実行可能命令を記憶するメモリと、
メモリにアクセスするように構成されるプロセッサであって、プロセッサは、少なくとも、
対象物がいつ画面上の第１のグラフィカルユーザインターフェース要素の上をホバーするかを決定することと、
第２のグラフィカルユーザインターフェース要素が、第１のグラフィカルユーザインターフェース要素の上をホバーしている対象物の下の位置に隣接する画面上にレンダリングされるように、第２のグラフィカルユーザインターフェース要素を画面上に提供することと、をまとめて行うコンピュータ実行可能命令を実行するように構成される、プロセッサと、
を備えるデバイス感覚情報を管理するためのシステム。

【0083】

付記２９．第１のセンサがタッチセンシティブセンサである、付記２８に記載のシステム。

【0084】

付記３０．第２のセンサが、第１のセンサによって検出されない画面の外部の対象物を検出するように構成される、付記２８に記載のシステム。

【0085】

付記３１．プロセッサが、少なくとも、
第２のセンサによって取得された情報に少なくとも部分的に基づいて、対象物によってユーザの視野から遮蔽されていない画面の位置を決定することと、
第２のグラフィカルユーザインターフェース要素を、対象物によってユーザの視野から遮蔽されていない決定された位置上に、提供することと、をまとめて行うコンピュータ実行可能命令を実行するようにさらに構成される、付記２８に記載のシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】