知財求人 - 知財ポータルサイト「IP Force」
▶ テレフオンアクチーボラゲット エル エム エリクソン（パブル）の特許一覧
特表2024-507663コンピュータ、ソフトウェアモジュールアレンジメント、回路アレンジメント、ユーザ装置、および、複数のアプリケーションを同時に制御する改良されたユーザインターフェースのための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】コンピュータ、ソフトウェアモジュールアレンジメント、回路アレンジメント、ユーザ装置、および、複数のアプリケーションを同時に制御する改良されたユーザインターフェースのための方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240214BHJP
G06F 3/0482 20130101ALI20240214BHJP
【ＦＩ】
G06F3/01 570
G06F3/0482
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023543447
(86)(22)【出願日】2021-03-03
(85)【翻訳文提出日】2023-09-06
(86)【国際出願番号】 EP2021055342
(87)【国際公開番号】W WO2022184250
(87)【国際公開日】2022-09-09
(81)【指定国・地域】
(71)【出願人】
【識別番号】598036300
【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】クリステンソン， アンドレアス
(72)【発明者】
【氏名】ハント， アレクサンダー
(72)【発明者】
【氏名】ダルグレン， フレドリック
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA04
5E555AA62
5E555BA01
5E555BA04
5E555BB01
5E555BB04
5E555BC04
5E555BC07
5E555BE12
5E555CA02
5E555CA12
5E555CA18
5E555CA42
5E555CA46
5E555CB64
5E555CB66
5E555CC01
5E555DA02
5E555DA23
5E555DB11
5E555DC09
5E555DD07
5E555EA14
5E555EA22
5E555FA00
(57)【要約】
少なくとも１つのサイドセンサ（１０４－３）と、コントローラ（１０１）とを備えるユーザ装置（１００）であって、サイドセンサ（１０４－３）は、タッチレスユーザ入力を受け入れ、それによってタッチレス入力エリア（１０４－４）を提供するように構成され、コントローラ（１０１）は、タッチレス入力エリア（１０４－４）内のオブジェクト（Ｆ）のグループを検出し、オブジェクトのグループ内のオブジェクトの数を決定し、オブジェクトの数に関連付けられているアプリケーションを決定し、検出されたオブジェクト（Ｆ）のグループに基づいて入力を受け入れ、オブジェクトの数に関連付けられているアプリケーションのための入力に関連付けられているアクションを決定するように構成されている。
【選択図】図４Ａ
【選択図】図４Ａ
【特許請求の範囲】
【請求項1】
少なくとも１つのサイドセンサ（１０４－３）と、コントローラ（１０１）とを備えるユーザ装置（１００）であって、前記サイドセンサ（１０４－３）は、タッチレスユーザ入力を受け入れるように構成され、それによって、タッチレス入力エリア（１０４－４）を提供し、前記コントローラ（１０１）は、
前記タッチレス入力エリア（１０４－４）内のオブジェクト（Ｆ）のグループを検出し、
前記オブジェクトのグループ内のオブジェクトの数を決定し、
前記オブジェクトの数に関連付けられているアプリケーションを決定し、前記検出されたオブジェクト（Ｆ）のグループに基づいて入力を受け入れ、
前記オブジェクトの数に関連付けられている前記アプリケーションに対する前記入力に関連付けられているアクションを決定する、
ように構成されている、ユーザ装置。
【請求項2】
請求項１に記載のユーザ装置（１００）であって、前記コントローラは、第１の数のオブジェクトを決定し、前記第１の数のオブジェクトを第１のアプリケーションに関連付け、第２の数のオブジェクトを決定し、前記第２の数のオブジェクトを第２のアプリケーションに関連付けるように構成されている、ユーザ装置。
【請求項3】
請求項１または２に記載のユーザ装置（１００）であって、前記少なくとも１つのサイドセンサ（１０４－３）は、異なるタイプのオブジェクトを区別するように構成されており、前記コントローラ（１０１）は、前記オブジェクトのグループ内のオブジェクトのタイプを決定し、
前記オブジェクトの数と前記オブジェクトのタイプとに関連付けられている前記アプリケーションを決定する、
ようにさらに構成されている、ユーザ装置。
【請求項4】
請求項３に記載のユーザ装置（１００）であって、前記コントローラ（１０１）は、前記オブジェクトのグループ内の２つのタイプのオブジェクトの順序を決定し、
前記オブジェクトの数と、前記オブジェクトのタイプと、前記オブジェクトの順序と、に関連付けられている前記アプリケーションを決定する、
ように構成されている、ユーザ装置。
【請求項5】
請求項１から４のいずれか一項に記載のユーザ装置（１００）であって、前記検出されたオブジェクトのグループ内の少なくとも１つのオブジェクトは指である、ユーザ装置。
【請求項6】
請求項１から５のいずれか一項に記載のユーザ装置（１００）であって、前記検出されたオブジェクトのグループ内の少なくとも１つのオブジェクトは、スタイラスまたはペンである、ユーザ装置。
【請求項7】
請求項１から６のいずれか一項に記載のユーザ装置（１００）であって、前記コントローラは、前記検出されたオブジェクトのグループの位置エリアを決定することによって、前記検出されたオブジェクトのグループ内の前記オブジェクトの数を決定するようにさらに構成されている、ユーザ装置。
【請求項8】
請求項１から７のいずれか一項に記載のユーザ装置（１００）であって、前記コントローラは、少なくとも１つの個々のオブジェクトを検出することによって、前記検出されたオブジェクトのグループ内の前記オブジェクトの数を決定するようにさらに構成されている、ユーザ装置。
【請求項9】
請求項１から８のいずれか一項に記載のユーザ装置（１００）であって、前記コントローラは、ジェスチャ（Ｇ）を検出することによって前記入力を受け入れ、
前記オブジェクトの数に関連付けられている前記アプリケーションのための前記検出されたジェスチャに関連付けられているコマンドを実行することによって、前記関連付けられているアクションを決定する、
ようにさらに構成されている、ユーザ装置。
【請求項10】
請求項１から９のいずれか一項に記載のユーザ装置（１００）であって、前記コントローラは、前記検出されたオブジェクト（Ｆ）のグループの位置と距離とを検出し、
前記検出されたオブジェクト（Ｆ）のグループの動きを検出する
ことによって、前記入力を受け入れ、
前記検出された動きに従って前記オブジェクトの数に関連付けられている前記アプリケーションのために動作する
ことによって、前記関連付けられている動作を決定する、
ようにさらに構成されている、ユーザ装置。
【請求項11】
請求項１０に記載のユーザ装置（１００）であって、前記コントローラは、前記動きが前記ユーザ装置（１００）に向かっていることが検出された場合に、前記オブジェクトに対応する位置に表示されている選択肢に関連付けられているアクションを実行することと、
前記動きが前記ユーザ装置（１００）に沿っていることが検出された場合に、前記オブジェクト（Ｆ）の新しい位置に対応する新しい選択肢を決定することと、
前記動きがユーザ装置（１００）から離れて行くことが検出された場合に、少なくとも１つの選択肢をキャンセルすることと、
前記選択肢がそのようなコマンドに関連付けられている場合に、当該コマンドを実行する
ことによって、前記検出された動きに応じて、前記オブジェクトの数に関連付けられている前記アプリケーションのために動作するように構成されている、ユーザ装置。
【請求項12】
請求項１から１１のいずれか一項に記載のユーザ装置（１００）であって、前記ユーザ装置（１００）は、ディスプレイ（１０４－１）を備え、前記少なくとも１つのサイドセンサ（１０４－３）のうちの少なくとも１つは、前記ディスプレイ（１０４－１）に隣接して配置され、前記サイドセンサ（１０４－３）は、前記ディスプレイ（１０４－１）の側面部において前記タッチレスユーザ入力を受け入れるように構成されており、それによって、前記ディスプレイ（１０４－１）の前記側面部において前記タッチレス入力エリア（１０４－４）を提供する、ユーザ装置。
【請求項13】
請求項１から１２のいずれか一項に記載のユーザ装置（１００）であって、前記ユーザ装置（１００）は、入力デバイス（１００－２）を備え、前記少なくとも１つのサイドセンサ（１０４－３）のうちの少なくとも１つは、前記入力デバイス（１００－２）に隣接して配置され、前記サイドセンサ（１０４－３）は、前記入力デバイス（１００－２）の側面部で前記タッチレスユーザ入力を受け入れるように構成されており、それによって、前記入力デバイス（１００－２）の前記側面部において前記タッチレス入力エリア（１０４－４）を提供する、ユーザ装置。
【請求項14】
請求項１から１３のいずれか一項に記載のユーザ装置（１００）であって、前記ユーザ装置（１００）は、前記ユーザ装置（１００）に動作可能に接続されることによって前記サイドセンサ（１０４－３）を備える、ユーザ装置。
【請求項15】
請求項１から１４のいずれか一項に記載のユーザ装置（１００）であって、前記ユーザ装置（１００）は、スマートフォン、スマートウォッチ、またはタブレットコンピュータである、ユーザ装置。
【請求項16】
請求項１から１５のいずれか一項に記載のユーザ装置（１００）であって、前記ユーザ装置（１００）は、キーボード（１００－２）、カーソル制御装置（１００－２）、および／またはディスプレイ（１００－２、１０４－１）に動作可能に接続されるように構成されたコンピュータ（１００－１）である、ユーザ装置。
【請求項17】
タッチレスユーザ入力を受け入れるように構成された少なくとも１つのサイドセンサ（１０４－３）を備え、それによって、タッチレス入力エリア（１０４－４）を提供するユーザ装置（１００）における使用のための方法であって、前記方法は、
前記タッチレス入力エリア（１０４－４）内のオブジェクト（Ｆ）のグループを検出すること（６１０）と、
前記オブジェクトのグループ内のオブジェクトの数を決定すること（６２０）と、前記オブジェクトの数に関連付けられているアプリケーションを決定すること（６３０）と、
前記検出されたオブジェクト（Ｆ）のグループに基づいて入力を受け入れること（６４０）と、
前記オブジェクトの数に関連付けられている前記アプリケーションのための前記入力に関連付けられているアクションを決定すること（６５０）と、
を有する方法。
【請求項18】
ユーザ装置（１００）のコントローラ（１０１）にロードされ、それによって実行されると、前記ユーザ装置（１００）が請求項１６に記載の方法を実行することを可能にする、コンピュータ命令（１２１）を搬送するコンピュータ可読媒体（１２０）。
【請求項19】
ディスプレイ（１０４－１）と、前記ディスプレイ（１０４－１）の側面部でタッチレスユーザ入力を受け入れるように構成された少なくとも１つのサイドセンサ（１０４－３）とを備え、それによってタッチレス入力エリア（１０４－４）を提供するユーザ装置（１００）のためのソフトウェアモジュールアレンジメント（７００）であって、前記ソフトウェアモジュールアレンジメント（７００）は、前記タッチレス入力エリア（１０４－４）内のオブジェクト（Ｆ）のグループを検出するためのソフトウェアモジュール（７１０）と、
前記オブジェクトのグループ内のオブジェクトの数を決定するためのソフトウェアモジュール（７２０）と、
前記オブジェクトの数に関連付けられているアプリケーションを決定するためのソフトウェアモジュール（７３０）と、
前記検出されたオブジェクト（Ｆ）のグループに基づいて入力を受け入れるためのソフトウェアモジュール（７４０）と、
前記オブジェクトの数に関連付けられている前記アプリケーションのための前記入力に関連付けられているアクションを決定するためのソフトウェアモジュール（７５０）と、
を有するソフトウェアモジュールアレンジメント。
【請求項20】
ディスプレイ（１０４－１）と、前記ディスプレイ（１０４－１）の側面部においてタッチレスユーザ入力を受け入れるように構成された少なくとも１つのサイドセンサ（１０４－３）とを備え、それによってタッチレス入力エリア（１０４－４）を提供するユーザ装置（１００）において使用されるように適合したアレンジメント（８００）であって、前記アレンジメント（８００）は、前記タッチレス入力エリア（１０４－４）内のオブジェクト（Ｆ）のグループを検出するための回路（８１０）と、
前記オブジェクトのグループ内のオブジェクトの数を決定するための回路（８２０）と、
前記オブジェクトの数に関連付けられているアプリケーションを決定するための回路（８３０）と、
前記検出されたオブジェクト（Ｆ）のグループに基づいて入力を受け入れるための回路（８４０）と、
前記オブジェクトの数に関連付けられている前記アプリケーションのための前記入力に関連付けられているアクションを決定するための回路（８５０）と、
を有するアレンジメント。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、本願と同時に提出され、同一出願人による「コンピュータ、ソフトウェアモジュールアレンジメント、回路アレンジメント、ユーザ装置および改良された拡張ユーザインターフェースのための方法」と題された特許出願の全内容を組み込む。
【0002】
本発明は、アレンジメントと、コンピュータを含むアレンジメントと、ソフトウェアモジュールと、回路を含むアレンジメントと、ユーザ装置と、改良され拡張されたユーザインターフェースを提供するための方法と、に関し、特に、アレンジメントと、コンピュータを含むアレンジメントと、ソフトウェアモジュールと、回路を含むアレンジメント、ユーザ装置、および複数のアプリケーション、たとえばバックグラウンドアプリケーションの制御を可能にする改良され拡張されたユーザインターフェースを提供するための方法に関する。
【背景技術】
【0003】
今日のユーザ装置またはモバイルデバイスは、タッチスクリーンを有する。これらは、１本または複数本の指でディスプレイに触れることに基づいており、たとえば、ｉＰｈｏｎｅ（登録商標）において、画面に触れ、指を画面の底部から上部に動かすことは、アクティブなアプリケーションたちが、画面内にウィンドウベースのアイコンとしてリスト表示され、ユーザは次のステップとしてその間をスクロールすることができるように、指をある特定の方法で動かすことは、ある特定の意味を有することができる。
【0004】
そのようなモバイルデバイスに追加されるセンサとして、たとえば、デバイスを囲む空間の特定の部分における動きのジェスチャの認識または検出を可能にするレーダなどがある。
【0005】
多くのアプリケーションまたはナビゲーションのシナリオでは、タッチ入力は、デバイスディスプレイのサイズによって制限されるものの、たとえば、コンテンツ自体をスクロールすることは、デバイスディスプレイのサイズに関連しない。たとえば、スマートウォッチは、ディスプレイの物理的サイズが非常に限られている。
【0006】
多くの使用方法のシナリオにおいて、多くのモバイルデバイスのアプリケーションでは、アプリケーションは、アクティブになると画面全面を引き継ぎ、これは、潜在的には、他のアプリケーションを制御するためのタッチスクリーン上のエリアがもはや利用可能でないことを意味し、他のアプリケーションを制御するには、他のアプリケーションに移動するための一連の複数回のタッチが必要であることをしばしば暗示し、つまり、現在表示されているアプリケーションを変更することが必要となり、他のアプリケーションが画面上に表示されるように選択されなければならない。
【0007】
たとえば、レーダまたはカメラによって、物理的デバイスの外部でのジェスチャまたは動きを識別する技術があるが、これらは、通常、使用の観点からは直感的ではない。
【0008】
また、可能な入力のセットが比較的に制限されるという点で、現代のデバイスにも問題がある。たとえば、学習および実行が容易なジェスチャの個数が制限され、複数のアプリケーションを一度に実行する際のユーザビリティが厳しく制限される。
【発明の概要】
【0009】
上述のように、本発明者らは、タッチレス入力エリアがタッチスクリーンと同じ物理的境界によって制限されないため、様々なジェスチャなど、様々な入力を識別するために利用可能な他の手段的領域が存在することを認識した。本開示の教示による解決策は、ユーザが、同じジェスチャまたは他の入力を異なるアプリケーションと関連付けることを可能にし、それによって、いくつかの指を特定のアプリケーションと関連付けることによって、同じ入力を異なるアプリケーションに対して同時に使用することを可能にする。さらに、提供される解決策は、それ自体が発明的であり、単純でエレガントなものである。
【0010】
上で示唆されたように、本発明は、特定のアプリケーションにいくつかの指を関連付けることに基づいており、それによって、入力を提供するために何本の指が使用されるかを単に決定することによって、同じ入力がどのアプリケーションを対象とするかを識別することができる。
【0011】
したがって、本教示の目的は、上記で論じた問題を克服するか、または少なくとも軽減するか、または低減することである。
【0012】
一態様によれば、ユーザ装置が提供され、ユーザ装置は、少なくとも１つのサイドセンサと、コントローラとを備え、サイドセンサは、タッチレスユーザ入力を受け入れ、それによってタッチレス入力エリアを提供するように構成され、コントローラは、タッチレス入力エリア内のオブジェクトのグループを検出することと、オブジェクトのグループ内のオブジェクトの数を決定することと、オブジェクトの数に関連付けられているアプリケーションを決定することと、検出されたオブジェクトのグループに基づいて入力を受け入れることと、オブジェクトの数に関連付けられているアプリケーションのための入力に関連付けられているアクションを決定することとを行うように構成される。
【0013】
これは、限られたユーザインターフェースおよび利用可能なコマンドセットを用いて複数のアプリケーションを制御するユーザ機器とユーザが対話することを、容易かつ自然な方法で可能にする。
【0014】
いくつかの実施形態によれば、コントローラは、第１の数のオブジェクトを決定し、第１の数のオブジェクトを第１のアプリケーションに関連付け、第２の数のオブジェクトを決定し、第２の数のオブジェクトを第２のアプリケーションに関連付けるように構成される。
【0015】
いくつかの実施形態によれば、少なくとも１つのサイドセンサは、異なるタイプのオブジェクトを区別するように構成され、コントローラは、オブジェクトのグループ内のオブジェクトのタイプを決定し、オブジェクトの数およびオブジェクトのタイプに関連付けられているアプリケーションを決定するようにさらに構成されている。
【0016】
いくつかの実施形態によれば、コントローラは、オブジェクトのグループ内の２つのタイプのオブジェクトの順序を決定し、オブジェクトの数、オブジェクトのタイプ、およびオブジェクトの順序に関連付けられているアプリケーションを決定するようにさらに構成されている。
【0017】
いくつかの実施形態によれば、コントローラは、検出されたオブジェクトがユーザの指であることを決定するようにさらに構成されている。
【0018】
いくつかの実施形態によれば、コントローラは、検出されたオブジェクトがペンまたはスタイラスであることを決定するようにさらに構成されている。
【0019】
いくつかの実施形態によれば、第１のアプリケーションはトップアプリケーションであり、他のアプリケーションはバックグラウンドアプリケーションである。これは、２つ以上の指を使用して入力を単に実行することによって、バックグラウンドアプリケーションの制御を可能にしながら、通常の方法で（１つの指を使用して）トップアプリケーションの同時制御を可能にし、したがって、アプリケーションをスワップするか、そうでなければ切り替えるか、またはアクティブにする必要なく、複数の制御を提供する。
【0020】
いくつかの実施形態によれば、第１のアプリケーションはトップアプリケーションであり、少なくとも第２のアプリケーションもトップアプリケーションである。これは、同じジェスチャセットを使用して異なるトップアプリケーションの同時制御を可能にする。
【0021】
いくつかの実施形態によれば、コントローラは、検出されたオブジェクトのグループの位置エリアを決定することによって、検出されたオブジェクトのグループ内のオブジェクトの数を決定するようにさらに構成されている。
【0022】
いくつかの実施形態によれば、コントローラは、少なくとも１つの個々のオブジェクトを検出することによって、検出されたオブジェクトのグループ内のオブジェクトの数を決定するようにさらに構成されている。
【0023】
いくつかの実施形態によれば、コントローラは、ジェスチャを検出することによって入力を受け入れ、オブジェクトの数に関連付けられているアプリケーションについて、検出されたジェスチャに関連付けられているコマンドを実行することによって、関連付けられているアクション（動作）を決定するようにさらに構成されている。
【0024】
いくつかの実施形態によれば、コントローラは、検出されたオブジェクトのグループの位置および距離を検出し、検出されたオブジェクトのグループの動きを検出することによって入力を受け入れ、検出された動きに従ってオブジェクトの数に関連付けられているアプリケーションのために動作することによって、関連付けられているアクションを決定するようにさらに構成されている。
【0025】
いくつかの実施形態によれば、コントローラは、検出された動きに従って、オブジェクトの数に関連付けられているアプリケーションに対して動作するようにさらに構成され、当該動作は、動きがユーザ装置に向かうことが検出されたとき、オブジェクトに対応する位置で表示されているオプション（選択肢）に関連付けられているアクションを実行することと、動きがユーザ装置に沿っていることが検出されたとき、オブジェクトの新しい位置に対応する新しい選択肢を決定することと、動きがユーザ装置から離れていることが検出されたとき、少なくとも１つの選択肢をキャンセルすることと、選択肢がそのようなコマンドに関連付けられているとき、コマンドを実行することとによって行われる。
【0026】
いくつかの実施形態によれば、ユーザ装置は、ディスプレイを備え、少なくとも１つのサイドセンサのうちの少なくとも１つは、ディスプレイに隣接して配置され、サイドセンサは、ディスプレイのサイド（側面部）でタッチレスユーザ入力を受け入れ、それによって、ディスプレイのサイドにタッチレス入力エリアを設けるように構成される。
【0027】
いくつかの実施形態によれば、ユーザ装置は、入力デバイスを備え、少なくとも１つのサイドセンサのうちの少なくとも１つは、入力デバイスに隣接して配置され、サイドセンサは、入力デバイスのサイドでタッチレスユーザ入力を受け入れ、それによって、入力デバイスのサイドにタッチレス入力エリアを設けるように構成される。
【0028】
いくつかの実施形態によれば、ユーザ装置は、それに動作可能に接続されることによって、サイドセンサを備える。
【0029】
いくつかの実施形態によれば、ユーザ装置は、スマートフォン、スマートウォッチ、またはタブレットコンピュータである。
【0030】
いくつかの実施形態によれば、ユーザ装置は、キーボード、カーソル制御装置、および／またはディスプレイに動作可能に接続されるように構成されるコンピュータである。
【0031】
一態様によれば、タッチレスユーザ入力を受け入れ、それによってタッチレス入力エリアを提供するように構成された少なくとも１つのサイドセンサを備えるユーザ装置において使用するための方法であって、本方法は、タッチレス入力エリア内のオブジェクトのグループを検出することと、オブジェクトのグループ内のオブジェクトの数を決定することと、オブジェクトの数に関連付けられているアプリケーションを決定することと、検出されたオブジェクトのグループに基づいて入力を受け入れることと、オブジェクトの数に関連付けられているアプリケーションのための入力に関連付けられているアクションを決定することとを備える、方法。
【0032】
一態様によれば、ユーザ装置のコントローラにロードされ、それによって実行されたときに、ユーザ装置が本開示の方法のいずれかを実施することを可能にする、コンピュータ命令を搬送するコンピュータ可読媒体が提供される。
【0033】
一態様によれば、タッチレスユーザ入力を受け入れ、それによってタッチレス入力エリアを提供するように構成された少なくとも１つのサイドセンサを備えるユーザ装置のためのソフトウェアモジュールアレンジメントが提供され、ソフトウェアモジュールアレンジメントは、タッチレス入力エリア内のオブジェクトのグループを検出するためのソフトウェアモジュールと、オブジェクトのグループ内のオブジェクトの数を決定するためのソフトウェアモジュールと、オブジェクトの数に関連付けられているアプリケーションを決定するためのソフトウェアモジュールと、検出されたオブジェクトのグループに基づいて入力を受け入れるためのソフトウェアモジュールと、オブジェクトの数に関連付けられているアプリケーションのための入力に関連付けられている動作を決定するためのソフトウェアモジュールとを備える。
【0034】
一態様によれば、タッチレスユーザ入力を受け入れ、それによってタッチレス入力エリアを提供するように構成された少なくとも１つのサイドセンサを備えるユーザ装置において使用されるように適合されたアレンジメントが提供され、当該アレジメントは、タッチレス入力エリア内のオブジェクトのグループを検出するための回路と、前記オブジェクトのグループ内のオブジェクトの数を決定するための回路と、前記オブジェクトの数に関連付けられているアプリケーションを決定するための回路と、前記検出されたオブジェクトのグループに基づいて入力を受け入れるための回路と、前記オブジェクトの数に関連付けられているアプリケーションのための前記入力に関連付けられているアクションを決定するための回路とを備える。
【0035】
解決策（ソリューション）は、ソフトウェアソリューション、ハードウェアソリューション、またはソフトウェアコンポーネントとハードウェアコンポーネントとの混合として実装され得る。本発明のさらなる実施形態および利点は、詳細な説明において与えられる。
【図面の簡単な説明】
【0036】
本発明の実施形態は、以下に記載され、本発明の概念をどのように実施することができるかの非限定的な例を示す添付の図面を参照する。
【0037】
【図1A】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0038】
【図1B】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0039】
【0040】
【0041】
【0042】
【図3A】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0043】
【図3B】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0044】
【図3C】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0045】
【図3D】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0046】
【図4A】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0047】
【図4B】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0048】
【図4C】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0049】
【図5A】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0050】
【図5B】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0051】
【図5C】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0052】
【図5D】は、本発明のいくつかの実施形態によるユーザ装置の概略図を示す。
【0053】
【図6】は、本発明のいくつかの実施形態による一般的な方法のフローチャートを示す。
【0054】
【図7】は、本開示の教示のいくつかの実施形態による、ソフトウェアモジュールアレンジメントの構成要素図を示す。
【0055】
【図8】は、本開示の教示のいくつかの実施形態による回路を備える構成の構成要素図を示す。
【0056】
【図9】は、構成のコントローラにロードされ、そのコントローラによって実行されたときに、本発明のいくつかの実施形態を構成が実施することを可能にする、コンピュータ命令を搬送するコンピュータ可読媒体の概略図を示す。
【発明を実施するための形態】
【0057】
図１Ａは、本発明のいくつかの実施形態によるユーザ装置１００の概略図を示す。いくつかの例示的な実施形態によれば、ユーザデバイス１００は、スマートフォン、スマートウォッチまたはタブレットコンピュータである。ユーザ装置１００は、コントローラ１０１と、メモリ１０２と、（以下で詳細に説明されるように、１つまたは複数のインターフェースコンポーネント１０４－１～１０４－４を備える）ユーザインターフェース１０４とを備える。
【0058】
ユーザ機器１００は、単一のデバイスを備え得るか、またはいくつかのデバイスおよび装置にわたって分散され得ることに留意されたい。
【0059】
コントローラ１０１は、ユーザ装置１００の全体的な動作を制御するように構成される。いくつかの実施形態によれば、コントローラ１０１は、特定用途のコントローラである。いくつかの実施形態によれば、コントローラ１０１は、汎用のコントローラである。いくつかの実施形態によれば、コントローラ１０１は、特定用途コントローラおよび／または汎用コントローラのうちの１つまたは複数の組合せである。当業者には理解されるように、コントローラを実装する方法には多くの代替案があり、フィールドプログラマブルゲートアレイ回路、ＡＳＩＣ、ＣＰＵ、ＧＰＵ、ＮＰＵなどが、追加的にまたは代替的に使用可能である。本願の目的のために、すべてのそのような可能性および代替案は、単にコントローラ１０１と呼ばれる。
【0060】
メモリ１０２は、コントローラ１０１にロードされたときにユーザ装置１００がどのように制御されるべきかを示す、アプリケーションデータ、設定、およびコンピュータ可読命令などのデータを記憶するように構成される。メモリ１０２は、いくつかのメモリユニットまたはデバイスを備え得るが、それらは、同じ全体的なメモリ１０２の一部であると認識される。命令およびアプリケーションデータを記憶するディスプレイアレンジメントのための１つのメモリユニット、グラフィックスデータを記憶するディスプレイアレンジメントのための１つのメモリユニット、設定を記憶するための通信インターフェース１０３のための１つのメモリなどがあり得る。当業者が理解するように、データがどこに記憶されるべきかを選択する多くの可能性があり、したがって、ユーザ装置１００のための一般的なメモリ１０２は、本願の目的のための任意のすべてのそのようなメモリユニットを備えると考えられる。当業者が理解するように、たとえば、ＥＥＰＲＯＭメモリ回路などの不揮発性メモリ回路を使用して、またはＲＡＭメモリ回路などの揮発性メモリ回路を使用して、メモリを実装する方法の多くの代替がある。本願の目的のために、すべてのそのような代替案は、単にメモリ１０２と呼ばれる。
【0061】
いくつかの実施形態によれば、ユーザ装置１００は、通信インターフェース１０３をさらに備え得る。通信インターフェース１０３は、有線および／または無線であり得る。通信インターフェース１０３は、いくつかのインターフェースを備え得る。
【0062】
いくつかの実施形態によれば、通信インターフェース１０３は、ＵＳＢ（ユニバーサルシリアルバス）インターフェースを含む。いくつかの実施形態によれば、通信インターフェース１０３は、ＨＤＭＩ（登録商標）（高品位マルチメディアインタフェース）インターフェースを含む。いくつかの実施形態によれば、通信インターフェース１０３は、ディスプレイポートインターフェースを備える。いくつかの実施形態によれば、通信インターフェース１０３は、イーサネット（登録商標）インターフェースを備える。いくつかの実施形態によれば、通信インターフェース１０３は、ＭＩＰＩ（モバイルインダストリプロセッサインタフェース）インターフェースを備える。いくつかの実施形態によれば、通信インターフェースは、アナログインターフェース、ＣＡＮ（コントローラエリアネットワーク）バスインターフェース、Ｉ２Ｃ（集積回路間）インターフェース、または他のインターフェースを含む。
【0063】
いくつかの実施形態によれば、通信インターフェース１０３は、無線周波数（ＲＦ）通信インターフェースを備える。そのような一実施形態によれば、通信インターフェース１０３はＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース、ＷｉＦｉ（登録商標）インターフェース、ＺｉｇＢｅｅ（登録商標）インターフェース、Ｚ－Ｗａｖｅ（トレードマーク）インターフェース、ＲＦＩＤ（トレードマーク）（無線周波数識別子）インターフェース、無線ディスプレイ（ＷｉＤｉ）インターフェース、ミラキャストインターフェース、および／または短距離ＲＦ通信に一般に使用される他のＲＦインターフェースなどを含みうる。代替的または補足的なそのような実施形態によれば、通信インターフェース１０３は、第５世代（５Ｇ）セルラー通信インターフェース、ＬＴＥ（ロングタームエボリューション）インターフェース、ＧＳＭ（グローバルシステムモバイル）インターフェース、および／またはセルラー通信のために一般に使用される他のインターフェースなどのセルラー通信インターフェースを備える。いくつかの実施形態によれば、通信インターフェース１０３は、ＵＰｎＰ（ユニバーサルプラグアンドプレイ）プロトコルを使用して通信するように構成される。いくつかの実施形態によれば、通信インターフェース１０３は、ＤＬＮＡ（登録商標）（デジタルリビングネットワークアプライアンス）プロトコルを使用して通信するように構成される。
【0064】
いくつかの実施形態によれば、通信インターフェース１０３は、上で与えられた例示的な技術のうちの２つ以上を介した通信を可能にするように構成される。通信インターフェース１０３は、ユーザ装置１００が他のスマートフォンなどの他のデバイスと通信することを可能にするように構成され得る。
【0065】
ユーザインターフェース１０４は、１つまたは複数のインターフェース構成要素１０４－１ないし１０４－４を有し、たとえば、１つ以上の出力デバイスおよび１つ以上の入力デバイスである。出力デバイスの例は、ディスプレイ１０４－１、１つまたは複数の光源（図１Ａに図示せず）、およびスピーカ（図示せず）などのディスプレイアレンジメントである。入力デバイスの例は、１つまたは複数のボタン１０４－２、カメラ（図示せず）、およびマイクロフォン（図示せず）である。いくつかの実施形態によれば、ディスプレイアレンジメントは、グラフィックデータを提示することと、たとえば仮想ボタンを介してタッチを介して入力を受け入れることとの両方が可能である、出力および入力デバイスの両方として機能するタッチディスプレイ１０４－１を備える。
【0066】
本開示の教示によるユーザ装置１００のユーザインターフェース１０４は、接触されることなく、物体（オブジェクト）の存在およびオブジェクトまでの距離を、リモートで、検出および決定するように構成された１つまたは複数の側面部（サイド）センサ１０４－３をさらに備える。そのようなサイドセンサ１０４－３は、タッチレス入力が提供され得る拡張ユーザインターフェースエリア１０４－４を実現する。図１Ａの例では、ユーザ装置内に配置された２つのサイドセンサ１０４－３Ａおよび１０４－３Ｂがあり、これらはディスプレイ１０４－１の側面部のどちからに１つある。
【0067】
上述のように、ユーザ機器１００は、単一のデバイスを備えてもよく、またはいくつかのデバイスおよび装置にわたって分散されて配置されてもよい。図１Ａに関連して説明した実施形態は、ユーザ装置が単一のデバイスであることを示しているが、ユーザ装置がいくつかのデバイスを備えることができ、すべての実施形態が、単一のデバイスユーザ装置と、いくつかのデバイスを備えるユーザ装置とに関係することに再び留意されたい。
【0068】
図１Ｂは、本発明のいくつかの実施形態によるユーザ装置１００の概略図を示す。図１Ｂに示されるいくつかの例示的な実施形態によれば、ユーザデバイス１００は、いくつかのデバイスを備える一般的なユーザ機器である。ユーザ装置は、キーボード１００－２または他の入力手段（たとえば、カーソル制御装置（たとえば、コンピュータマウス）であってもよい）に接続されるか、またはそれを備えるコンピュータ（ラップトップまたはデスクトップ）１００－１であってもよい。２つのデバイス１００－１および１００－２のみが図１Ｂに示されている場合であっても、任意の数のデバイスが利用され得ることに留意されたい。様々なデバイスは、直接的または間接的に（たとえば、カーソル制御装置を、デスクトップコンピュータに接続されたキーパッドに接続する）互いに接続されるか、互いに含まれてもよい。コネクション（接続）は、内蔵、外付け、ワイヤレス、および／または有線であってもよい。本開示の説明では、ユーザ装置１００のデバイス１００－１および１００－２がどのように互いに接続され、それらが互いに動作可能に接続されていることのみが重要であるかについては、差はない。したがって、デバイスは、特に使用時にユーザ装置の一部を形成するので、構成は、動作可能に接続されることを含むと見なされるべきである。
【0069】
２つ以上のデバイスを有するユーザ装置１００の一例は、キーボード（第２のデバイス１００－２である）を有するコンピュータ（デスクトップコンピュータは、第１のデバイス１００－１である）であり、キーボードは、キーボードの近傍でオブジェクトおよびコマンドを操作するためのタッチレスユーザインターフェース１０４－４とともに配置される。したがって、キーボードは、第２のデバイス１００－２としての入力デバイスの一例である。他の例は、マウスまたはジョイスティックまたはタッチパッドなどのカーソル制御装置である。代替的に、コンピュータのためのディスプレイ１０４－１は、ディスプレイの近傍のオブジェクトおよびコマンドを操作するためのタッチレスユーザインターフェース１０４－４を備えて配置され得る。ディスプレイがタッチディスプレイである場合、ディスプレイは、ディスプレイおよびｎ個の入力デバイスの両方の例である。
【0070】
図１Ａの例のように、ユーザ装置１００は、コントローラ１０１と、メモリ１０２と、ユーザインターフェース１０４と、他のいくつかの構成要素とを備え、これらについては、再び説明しないが、上記の開示を単に参照する。
【0071】
したがって、いくつかの実施形態によれば、ユーザ装置は、キーボード、カーソル制御装置、および／またはディスプレイに動作可能に接続されるように構成されたコンピュータであり得る。
【0072】
図１Ｃは、図１Ａまたは図１Ｂのユーザ装置１００などのユーザ装置１００の構成要素の概略図を示すが、図１Ｂの例では、ディスプレイ１０４－１の各側面に１つずつ配置された４つのサイドセンサ１０４－３Ａ－Ｄがあり、それによって、４つのサブセクション１０４－４Ａ－Ｄを有する拡張ユーザインターフェース１０４－４を提供する。図１Ｂに示される例が４つのサイドセンサおよび４つのサブセクションに焦点を合わせられた場合であっても、異なる個数のサイドセンサ１０３、ならびに異なる個数のサブセクションを有する変形例が存在し得る。
【0073】
サイドセンサ１０４－３は、そのようなサイドセンサを実装するために使用される技術に応じて、１つのセンサまたはセンサのアレイを備え得ることに留意されたい。そのようなサイドセンサを実装するための技術の例は、いくつかの例を挙げると、レーダセンサ、光ベースの近接センサ、容量ベースの近接センサである。
【0074】
このようなサイドセンサ１０４－４を利用して、本開示の教示によるユーザ装置１００は、図１Ｂに示されるように、ユーザの指Ｆなどのオブジェクトが、ディスプレイ１０４－１に対する位置Ｌから距離Ｄにあると決定することが可能になる。
【0075】
本開示の教示の目的のために、すべてのセンサは、タッチレス入力のための拡張されたユーザインターフェースエリアを提供する１つのセンサ１０４－３として扱われ、以降、タッチレス入力エリア１０４－４と呼ばれる。
【0076】
ディスプレイ１０４－１がタッチスクリーンであるいくつかの実施形態によれば、タッチスクリーン１０４－１とサイドセンサ１０４－３との組合せは、したがって、タッチ入力のための１つの部分（タッチディスプレイ１０４－１）と、タッチレス入力のための１つの部分（タッチレス入力エリア１０４－４）とを有する組合せインターフェースエリアを提供する。
【0077】
いくつかの実施形態によれば、タッチレス入力エリア１０４－４は、トップアプリケーションまたはアクティブアプリケーションとして実行されているアプリケーションまたはプロセスに割り当てられる。いくつかの実施形態によれば、タッチレス入力エリア１０４－４は、バックグラウンドアプリケーションとして実行されているアプリケーションまたはプロセスに割り当てられる。いくつかの実施形態によれば、タッチレス入力エリア１０４－４は、バックグラウンドアプリケーションとして実行されている少なくとも１つのアプリケーションまたはプロセスと、アクティブアプリケーションとして実行されている少なくとも１つのアプリケーションまたはプロセスとに割り当てられる。知られているように、ユーザ装置１００は、アクティブ（またはトップ）モードまたはバックグラウンドモードでアプリケーションを実行することができる。アクティブモードで実行されているアプリケーションには、ディスプレイ１０４－１がタッチスクリーンである場合にディスプレイ１０４－１上に表示される任意の仮想ボタンを含む、グラフィカル出力を提供するためのディスプレイの少なくとも一部分と、ユーザ装置１００のボタン１０４－２の大部分と、が割り当てられる。しかしながら、バックグラウンドモードで実行されているアプリケーションは、せいぜい、何らかの空間であって、通常は全く制御しない場合、表示空間の一部のみを割り当てられる。このようなバックグラウンドアプリケーションを制御するには、バックグラウンドアプリケーションをアクティブにして、アクティブな、または、トップアプリケーションにされる必要があり、背景技術の項で上述したように、それまでのアクティブ（トップ）アプリケーションとして実行されていた任意の他のアプリケーションが一時停止されなければならない。あるいは、バックグラウンドアプリケーションは、複数の入力を必要とし、現在実行中のアクティブなアプリケーションを覆い隠して、特定の制御ウィンドウを引き上げることによって制御されてもよい。しかしながら、本教示によるユーザ装置１００は、タッチレス入力エリア１０４－４を介してもアプリケーションに関する入力を受け入れるように構成される。上述のように、サイドセンサ１０４－３は、オブジェクトＦまでの距離Ｄを決定することができる。したがって、オブジェクトまでの距離Ｄが閾値距離を下回ると決定することによって、（タッチレス）プレスなどのコマンドのアクティブ化を決定することが可能である。さらに、上述のように、サイドセンサ１０４－３は、サイドセンサに対するオブジェクトＦの位置Ｌを決定することができる。したがって、ディスプレイ１０４－１に沿った異なる位置に異なるコマンドまたは制御を割り当てることが可能である。このようにして、ユーザインターフェース１０４は、拡張され、アクティブなアプリケーションに割り当てられた表示空間を覆い隠すことなく、またはそれと干渉することなく、より多くのユーザ制御を提供することを可能にする。
【0078】
サイドセンサ１０４－３は、位置および距離を決定することができるので、サイドセンサ１０４－３は、検出されたオブジェクトによって行われているジェスチャを決定または検出することもでき、したがって、タッチレスユーザインターフェース１０４－４は、ジェスチャベースの入力を受け入れるためにも使用されてもよく、ジェスチャは、実行されるべきコマンドなどのアクションに関連付けられる。
【0079】
図２Ａは、図１Ａおよび図１Ｂのユーザ装置１００を示し、コントローラ１０１は、サイドセンサ１０４－３と組み合わせて、複数のオブジェクトＦ１、Ｆ２、Ｆｎを検出し、オブジェクトの数を決定するように構成される。
【0080】
いくつかの実施形態によれば、コントローラは、オブジェクトが検出される場所に対応するロケーション（位置）エリアを決定するように構成される。この実施形態によれば、複数のオブジェクトは、一緒に保持されているときなど、単一のオブジェクトとして提示された場合であっても検出され得る。
【0081】
位置エリアＬａのサイズが決定され、オブジェクトの既知のサイズと比較される。この比較に基づいて、オブジェクトの数が容易に決定される。
【0082】
いくつかの実施形態によれば、オブジェクトの既知のサイズは、デフォルトサイズである。いくつかの実施形態によれば、オブジェクトの既知のサイズは、ユーザのオブジェクトの入力または測定などによって較正されたサイズである。
【0083】
図２Ｂはまた、図１Ａおよび図１Ｂのユーザ装置を示し、ここで、コントローラ１０１は、サイドセンサ１０４－３と組み合わせて、複数のオブジェクトＦ１、Ｆ２、Ｆｎを検出し、代替または追加の方法でオブジェクトの数を決定するように構成される。
【0084】
いくつかの実施形態によれば、コントローラ１０１は、複数のオブジェクトＦ１、Ｆ２、Ｆｎを検出し、検出されたオブジェクトの各々の位置を決定するように構成される。
【0085】
図２Ａおよび２Ｂに関連して開示される実施形態の組合せは、いくつかのオブジェクトが一緒に保持され、他のオブジェクトが分離される組合せを可能にする。
【0086】
ここでの説明は３つのオブジェクトを示しているが、これは一例に過ぎず、２、３、４、５、またはそれ以上の任意の数のオブジェクトが採用可能であることに留意されたい。
【0087】
いくつかの実施形態によれば、オブジェクトは、ユーザの指である。いくつかの実施形態によれば、オブジェクトは、スタイラスまたはペンである。オブジェクトについてのいくつかの実施形態によれば、スタイラスまたはペンがあり、別のオブジェクトはユーザの指である。これは、ユーザが、１つのアプリケーションのための入力のためにスタイラスを使用し、スタイラスに沿って１つまたは複数の指を配置することによって、異なるアプリケーションを制御することを可能にする。
【0088】
いくつかの実施形態によれば、サイドセンサ（単数または複数）（それ自体またはコントローラとの組み合わせのいずれか）は、スタイラス（または他のオブジェクト）と指とを区別することができる。これは、使用されている指（またはオブジェクト）の数だけでなく、オブジェクトのタイプにも基づいて区別するために利用することができる。たとえば、スタイラスおよび指が使用される場合、１つのアプリケーションが関連付けられてもよく、２つの指が使用される場合、別のアプリケーションが関連付けられてもよい。
【0089】
いくつかの実施形態によれば、異なるタイプのオブジェクト／指の順序は、異なる関連付けを関連付けるために利用され得る。たとえば、親指と人差し指との間にスタイラスを保持することによって、１つのアプリケーションに関連付けることができ、一方、人差し指と中指との間にスタイラスを保持することは、別のアプリケーションに関連付けることができる。
【0090】
図３Ａは、図１Ａ、１Ｂ、および２Ａのユーザ装置１００を示し、異なるコマンドが、タッチレス入力エリア１０４－４の異なる部分に割り当てられている。この例では、タッチレス入力エリア１０４－４の部分Ｐ１～Ｐ３の各々に割り当てられる３つのコマンドＣ１～Ｃ３がある。ユーザ装置１００が、どの部分Ｐ１～Ｐ３内で、オブジェクトが閾値距離を下回る距離にあると検出されているかを決定することによって、どのコマンドＣ１～Ｃ３を実行するかを決定することが可能である。いくつかの実施形態によれば、異なるコマンドＣ１～Ｃ３は、同じアプリケーションに関する。いくつかの実施形態によれば、第１のアプリケーションに関連付けられている少なくとも１つのコマンドと、第２のアプリケーションに関連付けられている少なくとも１つのコマンドとが存在する。第１および第２のアプリケーションがある１つのそのような実施形態によれば、第１のアプリケーションは、タッチレス入力エリア１０４－４の第１の部分に関連付けられ、第２のアプリケーションは、タッチレス入力エリア１０４－４の第２の部分に関連付けられ、各アプリケーションに関連付けられているコマンドは、対応するアプリケーションの部分のサブ部分に割り当てられる。たとえば、図１Ｃの例では、第１のアプリケーションには、部分Ｐ１およびＰ２が割り当てられ、コマンドＣ１およびＣ２は、第１のアプリケーションに関連付けられ、第２のアプリケーションには、部分Ｐ３が割り当てられ、コマンドＣ３は、第２のアプリケーションに関連付けられる。
【0091】
部分のサイズ、ならびに部分の位置および／または分布は、等しいまたは規則的である必要はなく、任意の分布が可能であることに留意されたい。
【0092】
使用が簡単な直感的で覚えやすいユーザインターフェースを提供するために、本開示の教示によるユーザ装置１００は、ユーザがタッチレス入力エリア１０４－４をセットアップすることを可能にするように構成される。
【0093】
また、図３Ａには、検出されたオブジェクトのグループについて位置Ｌがどのように決定されるかが示されている。いくつかの実施形態によれば、位置Ｌは、オブジェクトのグループのミドル（中央）であるとみなされる。１つのそのような実施形態によれば、中央は、エリア位置Ｌの中央であると決定される。代替の実施形態によれば、中央は、中央オブジェクトのセンター（中心）であるとみなされる。
【0094】
オブジェクトまでの距離Ｄを決定することが可能であるので、距離の分散値は、オブジェクトの数を示すこともできる。このようないくつかの実施形態によれば、距離Ｄの最小値の数は、オブジェクトの数に対応する。
【0095】
したがって、中央オブジェクトの位置を決定することによって、オブジェクトが一緒に保持されている場合であっても、中央オブジェクトの位置を決定することも可能である。
【0096】
偶数のオブジェクトがあってそのうちの２つのオブジェクトが中央にあるの場合、２つの中央オブジェクトの間の中心が中央オブジェクトの位置として見られ、代替的に、中央オブジェクトは、２つの中央オブジェクトのトップ（上部）となる。
【0097】
図３Ｂは、オブジェクトのグループの位置がトップオブジェクトとして理解される代替例を示す。
【0098】
この文脈において、トップオブジェクトは、画面１０４－１に関して最も上に検出されたオブジェクトとして見られる。
【0099】
図３Ｃおよび３Ｄは、個々に検出されたオブジェクトのグループについて位置Ｌを決定する方法の対応する状況を示し、図３Ｃは、位置Ｌを決めることになるオブジェクトとしての中央オブジェクトの選択を示し、図３Ｄは、位置Ｌを決定するオブジェクトとしての最上位オブジェクトの選択を示す。
【0100】
どのサブセクションに位置Ｌが対応するかを検出することによって、サブセクションを決定することができる。
【0101】
検出されたオブジェクトまでの距離Ｄが閾値距離に該当することを検出および決定することによって、サブセクションの選択を検出することができる。
【0102】
したがって、ユーザがどのサブセクションＳ１、Ｓ２、Ｓｍ（サブセクションの個数を示すｍ）を指し示し、選択しているかを決定することが可能であり、それによって、ユーザ装置が、サブセクションに関連付けられているコマンドＣ１、Ｃ２、Ｃｍを実行することなどの関連付けられているアクションを実行することを可能にする。
【0103】
図示されるように、タッチレス入力エリア１０４－４は、少なくとも１つのサブセクションを有するように構成される。本開示の教示の文脈では、特に指定されない限り、タッチレス入力エリア１０４－４とサブセクションとの間に差異はない。サブセクションは、それに関連付けられているさらなるサブセクションを有することもできる。
【0104】
図３Ａ～３Ｄの例では、３つのサブセクションが示されているが、理解されるべきであるように、任意の数のサブセクションが設けられてもよく、これらはアプリケーションのためのコマンドに関連付けられ、サブセクションの番号は１（またはさらには０）から開始されてもよい。ゼロのサブセクションの場合、そのアプリケーションに対してジェスチャ入力のみが可能である。
【0105】
上述のように、コントローラ１０１は、オブジェクトのグループを検出するだけでなく、そのグループ内のオブジェクトの数を決定するようにも構成される。したがって、コントローラ１０１は、検出されたオブジェクトの個数を決定するように構成される。
【0106】
また、上述したように、コントローラ１０１は、第１のアプリケーションを第１の数（たとえば、１）のオブジェクトに関連付け、第２の数（たとえば、２）のオブジェクトを第２のアプリケーションに関連付けるように構成される。したがって、コントローラ１０１は、サブセクションのコマンドを、検出されたオブジェクトの数に関連付けられているアプリケーションに関連付けることができるように構成され、それによって、選択のための動きを行うオブジェクトの数に応じて、ある場所での押下が検出された場合に、どのコマンドが実行されるかを変更する。
【0107】
図４Ａは、図１Ａのようなユーザ装置１００の概略図を示し、ここでは、１つのオブジェクトＦ１の第１の個数が検出されている。サブセクションＳ１、Ｓ２、およびＳｍは、第１のアプリケーションのためのコマンド（またはアクション）に関連付けられ、コマンドは、Ｃ１．１（第１のアプリケーションのための第１のコマンド）、Ｃ１．２（第１のアプリケーションのための第２のコマンド）、およびＣ１．ｍ（第１のアプリケーションのための第ｍ番目のコマンド）として例示される。ｍは、利用可能なサブセクションの個数であるので、ｍは、利用可能なコマンドの個数でもある。
【0108】
図４Ｂは、図４Ａのようなユーザ装置１００の概略図を示し、ここでは、第２の個数の、この場合には、２つのオブジェクトＦ１、Ｆ２が検出されている。サブセクションＳ１、Ｓ２、およびＳｍは、次いで、第２のアプリケーションのためのコマンド（またはアクション）に関連付けられ、コマンドは、Ｃ２．１（第２のアプリケーションのための第１のコマンド）、Ｃ２．２（第２のアプリケーションのための第２のコマンド）、およびＣ２．ｍ（第２のアプリケーションのための第ｍ番目のコマンド）として例示される。
【0109】
また、図４Ｃは、図４Ａおよび図４Ｂのようなユーザ装置１００の概略図を示し、ここでは、第３の個数、この場合、ｎ個のオブジェクトＦ１，Ｆ２，．．，Ｆｎが検出されている。サブセクションＳ１、Ｓ２、およびＳｍは、次いで、ｎ番目（またはさらに）のアプリケーションのためのコマンド（またはアクション）に関連付けられ、コマンドは、Ｃ２．１（ｎ番目のアプリケーションのための第１のコマンド）、Ｃ２．２（ｎ番目のアプリケーションのための第２のコマンド）、およびＣ２．ｍ（ｎ番目のアプリケーションのためのｍ番目のコマンド）として例示される。
【0110】
サブセクションｍの個数は、アプリケーションごとに異なり得ることに留意されたい。したがって、第１のアプリケーションは、第２のアプリケーションとは異なる数のサブセクションを関連付けられることができる。
【0111】
図４Ａ、４Ｂ、および４Ｃについて説明したように、コントローラ１０１は、第１のアプリケーションを第１の数（たとえば１）のオブジェクトに関連付け、第２の数（たとえば２）のオブジェクトを第２のアプリケーションに関連付けるように構成される。また、上述したように、コントローラ１０１は、検出されたオブジェクトを利用して、ユーザによって入力または提供されているジェスチャを検出することができる。
【0112】
したがって、コントローラ１０１は、検出されたジェスチャを、検出されたオブジェクトの数に基づいて、それらのアプリケーションのための異なるアプリケーションおよびコマンドに関連付けることも、または代替的に可能に構成され、それによって、ジェスチャＧを行うオブジェクトの数に応じて、ジェスチャＧが検出された場合に、どのコマンドが実行されるかを変更する。
【0113】
図５Ａは、図１Ａ（および図４Ａ）におけるようなユーザ装置１００の概略図を示し、ここでは、１つのオブジェクトＦ１の第１の個数が検出されている。利用可能なジェスチャは、ジェスチャおよび関連付けられているコマンドのテーブルによってグラフィカルに示される、第１のアプリケーションのためのコマンド（またはアクション）に関連付けられ、ジェスチャおよびコマンドは、Ｇ１．１～Ｃ１．１（第１のアプリケーションのための第１のジェスチャのための第１のコマンド）、Ｇ１．２～Ｃ１．２（第１のアプリケーションのための第２のジェスチャのための第２のコマンド）、およびＧ１．ｐ～Ｃ１．ｐ（第１のアプリケーションのためのｐ番目のジェスチャのための番目のコマンド）のごとくである。個数ｐは、所与のアプリケーションについて利用可能なジェスチャの個数であり、ｐは、所与のアプリケーションについて利用可能なコマンドの個数でもある。したがって、個数ｐは、アプリケーションごとに異なっていてもよいし、同じであってもよい。
【0114】
図５Ｂは、図５Ａのようなユーザ装置１００の概略図を示し、ここでは、オブジェクトＦ１、Ｆ２の第２の個数（例：２個）が検出されている。利用可能なジェスチャは、第２のアプリケーションのためのコマンド（またはアクション）と関連付けられ、ジェスチャおよびコマンドは、Ｇ２．１～Ｃ２．１（第２のアプリケーションの第１のジェスチャ用の第１のコマンド）、Ｇ２．２～Ｃ２．２（第２のアプリケーションの第２のジェスチャ用の第２のコマンド）、およびＧ２．ｐ～Ｃ２．ｐ（第２のアプリケーションの第ｐ番目のジェスチャ用のｐ番目のコマンド）として例示される。
【0115】
また、図５Ｃは、図５Ａおよび図５Ｂのようなユーザ装置１００の概略図を示し、ここでは、第３の個数、この場合、ｎ個のオブジェクトＦ１，Ｆ２，．．，Ｆｎが検出されている。次に、利用可能なジェスチャは、第２のアプリケーションのためのコマンド（またはアクション）に関連付けられ、ジェスチャおよびコマンドは、Ｇｎ．１－Ｃｎ．１（ｎ番目のアプリケーションの最初のジェスチャの最初のコマンド）、Ｇｎ．２－Ｃｎ．２（ｎ番目のアプリケーションの２番目のジェスチャの２番目のコマンド）、およびＧｎ．ｐ－Ｃｎ．ｐ（ｎ番目のアプリケーションのｐ番目のジェスチャのｐ番目のコマンド）として例示される。
【0116】
異なるアプリケーションのためのジェスチャのいくつかまたはすべては、同じジェスチャが、ジェスチャを行う指の数に基づいて異なるアプリケーションのために異なるコマンドを実行させる、同じジェスチャであり得ることに留意されたい。したがって、Ｇ１．Ｘは、Ｇ２．Ｘ（Ｘは、１からｎである）に等しくてもよい（第１のアプリケーションのためのジェスチャは、第２のアプリケーションのためのジェスチャと同じ）。
【0117】
図５Ｄは、図４Ａ～図４Ｃのいずれかと、図５Ａ～図５Ｃのいずれかとの組合せにおけるようなユーザ装置１００の概略図を示し、コントローラ１０１は、１つまたは複数のアプリケーションからのコマンドにサブセクションを割り当てることと、１つまたは複数のアプリケーションのためのジェスチャ入力を受け入れることとの両方を行うように構成される。
【0118】
したがって、入力を提供するために使用されるオブジェクトの数に基づいて、異なるアプリケーションに対して異なるコマンドを実行することが可能である。ジェスチャ個数ｐ（すなわち、ｐｘ）の添え字ｘによって示されるように、各アプリケーションは、それに関連付けられている異なる数のコマンドを有することができ、それらは、すべてではなく、またはいくつかでさえも、同じ数の関連付けられているコマンドを有する必要がない。
【0119】
コマンドが意図されるアプリケーションを選択するか、またはそうでなければ指示するために、特定の追加の入力は必要とされないことに留意されたい。なお、オブジェクトの数は、付与するコマンドではなく、使用するアプリケーションを示す。
【0120】
アプリケーションの数ｎは、実装またはセットアップから実装またはセットアップまで異なっていてもよいことにも留意されたい。また、図４Ｃおよび図５Ｃにおいてｎが３として例示されている場合であっても、上述のように任意の数であってもよいことに留意されたい。
【0121】
また、第１の個数が１として例示されたとしても、それは任意の他の個数であり得、第２の個数が２として例示されたとしても、それは任意の他の個数であり得ることに留意されたい。
【0122】
いくつかの実施形態によれば、第１のアプリケーションは、トップアプリケーションまたはアクティブアプリケーションとして実行されるアプリケーション（またはプロセス）である。いくつかの実施形態によれば、第１のアプリケーションは、バックグラウンドアプリケーションとして実行されているアプリケーション（またはプロセス）である。いくつかの実施形態によれば、第２のアプリケーションは、トップアプリケーションまたはアクティブアプリケーションとして実行されるアプリケーション（またはプロセス）である。いくつかの実施形態によれば、第２のアプリケーションは、バックグラウンドアプリケーションとして実行されるアプリケーション（またはプロセス）である。いくつかの実施形態によれば、ｎ番目のアプリケーションは、トップアプリケーションまたはアクティブアプリケーションとして実行されているアプリケーション（またはプロセス）である。いくつかの実施形態によれば、ｎ番目のアプリケーションは、バックグラウンドアプリケーションとして実行されているアプリケーション（またはプロセス）である。
【0123】
図６は、前または後続のいずれかの実施形態のユーザデバイスのコントローラ１０１によって実行される、本開示による一般的な方法のフローチャートを示す。コントローラ１０１は、１つまたは複数のオブジェクトがタッチレス入力エリア１０４－４内にあることを検出する（６１０）。いくつかの実施形態によれば、コントローラ１０１は、検出されたオブジェクトのうちの少なくとも１つがユーザの指であると判定するようにさらに構成されている。いくつかの実施形態によれば、コントローラ１０１は、検出されたオブジェクトのうちの少なくとも１つがユーザのスタイラスまたはペンであると決定するようにさらに構成されている。コントローラ１０１は、検出されたオブジェクトの数を決定し（６２０）、検出されたオブジェクトによって受信された任意の入力のためのターゲットアプリケーションとなる関連アプリケーションを決定する（６３０）。（後述されるであろうような）代替実施形態によれば、選択肢が示される（６３５）。
【0124】
その後、コントローラ１０１は、入力を受け入れ（６４０）、関連付けられている（ターゲット）アプリケーションに対する関連付けられているアクションを決定する（６５０）。したがって、受信された入力は、（潜在的に）使用されるオブジェクトの数に基づいて、異なるアプリケーションに対して異なるコマンドが与えられることになる。
【0125】
入力は、ジェスチャを検出する（６４２）ことによって受信されてもよく（６４０）、それによって、決定された関連アクション６５０は、ジェスチャに関連付けられているコマンドを実行する（６５２）ことになり、コマンドは、オブジェクトの数に関連付けられているアプリケーションのためのものである。
【0126】
入力はまた、または代替的に、検出されたオブジェクトの位置と距離６４４とを検出し、検出されたオブジェクトの動きを検出する（６４６）ことによって受信されてもよく（６４０）、それによって、決定され関連付けられているアクション６５０は、検出された距離が閾値未満である場合、検出された位置に関連付けられているコマンドを選択することなどによって、検出された動きに従ってアクションすること（６５５）になり、ここで、コマンドは、オブジェクトの数に関連付けられているアプリケーションのためのものである。
【0127】
図７は、本開示の教示のいくつかの実施形態による、ソフトウェアモジュール（またはコンポーネント）アレンジメント７００のコンポーネントの概要を示す。ソフトウェアモジュールアレンジメント７００は、本開示で教示されるようにユーザ装置１００において使用され、ユーザ装置１００が図３による方法を実行することを可能にするように適合される。ソフトウェアモジュールアレンジメント７００は、タッチレス入力エリア１０４－４内のオブジェクトＦのグループを検出するためのソフトウェアモジュール７１０と、オブジェクトのグループ内のオブジェクトの数を決定するためのソフトウェアモジュール７２０と、オブジェクトの数に関連付けられているアプリケーションを決定するためのソフトウェアモジュール７３０と、検出されたオブジェクトＦのグループに基づいて入力を受け入れるためのソフトウェアモジュール７４０と、オブジェクトの数に関連付けられているアプリケーションのための入力に関連付けられているアクションを決定するためのソフトウェアモジュール７５０とを備える。
【0128】
図８は、回路を含む構成８００のコンポーネント（構成要素）を示す。回路を含むアレンジメントは、本開示に教示されたようにユーザ装置１００で使用され、図３に示す方法をユーザ装置１００が実行できるようにするように調整される。アレンジメント８００は、タッチレス入力エリア１０４－４内のオブジェクトＦのグループを検出するための回路８１０と、オブジェクトのグループ内の多数のオブジェクトを決定するための回路８２０と、オブジェクトの数に関連付けられているアプリケーションを決定するための回路８３０と、検出されたオブジェクトＦのグループに基づいて入力を受け入れるための回路８４０と、オブジェクトの数に関連付けられているアプリケーションの入力に関連付けられているアクションを決定するための回路８５０と、を含む。
【0129】
タッチレスインターフェースの使用可能性に関する更なる詳細は、本願と同時に提出された「コンピュータ、ソフトウェアモジュールアレンジメント、回路アレンジメント、ユーザ装置および改良された拡張ユーザインターフェースのための方法」と題された本願と同一出願人によって同時に提出された特許出願に関連して、以下に与えられる。なお、以下で説明される特徴（および本開示で説明される特徴）のための対応する回路ならびにソフトウェアモジュールは、明示的に示されていなくても、示されているモジュールおよび回路に含まれるとみなされることに留意されたい。
【0130】
前の図に関連して説明したように、サイドセンサ１０４－３は、オブジェクト（ユーザの指など）Ｆと、オブジェクトのディスプレイまでの位置Ｌおよび距離Ｄとを検出することが可能である。現在実行されているアプリケーション、すなわち上位（トップ）アプリケーションの進行中の実行および／または提示を妨げない拡張されたユーザインターフェースを提供するために、本発明者らは、トップアプリケーションを妨害することなく、多くの、ほぼ無限の制御の選択肢を提供することを可能にする、非常に直感的なメニューインタラクションシステムを実現および考案した。そのようなメニューインタラクションシステムは、バックグラウンドアプリケーションを実行および／または制御するために、および／またはユーザ装置１００のためのシステム制御、全般制御、または具体的な制御を提供するために非常に有益である。加えて、オブジェクトの数がアプリケーションに関連付けられる。また、そのような関連付けによって、複数のバックグラウンドアプリケーションが、トップアプリケーションに加えて制御され得る。たとえば、オブジェクトの数に基づいて、単一のオブジェクトを使用するとトップアプリケーションが制御され、複数の指を使用すると（異なる）バックグラウンドアプリケーションが制御される。いくつかの例としては、ユーザが、自動車運転ゲームをプレイしている間にバックグラウンドで動作する音楽プレーヤアプリケーションのための音量設定または他の制御を制御すること、自動車運転ゲームを中断することなく着呼を処理すること、メッセージへの迅速な応答、および／または接続されたデバイス（メディアデバイス（ＴＶ）、または他のスマートホームデバイスなど）を制御することを望む場合などがある。
【0131】
メニューシステムは、第２のトップアプリケーションをバックグランドアプリケーションとして扱うことによって、現行のトップアプリケーションに干渉することなく、別のトップアプリケーションを実行し、最終的に開始するために、利用され得る。
【0132】
いくつかの実例は、ユーザが、自動車運転ゲームをプレイしている間にバックグラウンドで実行されている音楽プレーヤアプリケーションのために、再生される特定の音楽ファイルを選択すること（すなわち、次の曲にスキップするというよりは、音楽ライブラリ内を見ること）、自動車運転ゲームを中断することなく特定の連絡先への発呼を設定および処理すること、および／または自動車運転ゲームまたは実行されている他のアプリケーションを中断することなくコネクション設定を切り替えることを望む場合である。
【0133】
これを達成するために、ユーザ装置は、コントローラ１０１がサイドセンサ１０４－３からこれを示すデータを受信することによって、ユーザの指Ｆなどのオブジェクトがタッチレス入力エリア１０４－４内にあることを検出するように構成される。コントローラ１０１はまた、オブジェクトＦがタッチレス入力エリア１０４－４のどの部分内にあるかを決定する。いくつかの実施形態によれば、コントローラは、距離Ｄが初期閾値距離未満であると決定することによって、オブジェクトがタッチレス入力エリア１０４－４内にあると決定するように構成される。
【0134】
オブジェクトが検出されると、コントローラ１０１は、いくつかの実施形態によれば、オブジェクトＦが内部にある部分に関連付けられている少なくとも１つのメニューオプション（選択肢）を示すように構成される。いくつかの実施形態によれば、コントローラはまた、たとえばフィードバックを提供することによって、ディスプレイ１０４－１上の対応する部分を示すことによって、その部分がメニューまたはコマンドのアレイに関連付けられていることを示すように構成される。フィードバックは、視覚的（グラフィックおよび／又はライト）および／又は音声であってもよい。フィードバックは、サブセクションＳ１がメニューに関連付けられていること、およびメニューの範囲も示すことができる。
【0135】
フィードバックにかかわらず、コントローラ１０１は、オブジェクトＦが内部にある部分に関連付けられている少なくとも１つのメニュー選択肢を示すように構成される。この文脈において、メニュー選択肢は、制御コマンド、メニュー横断コマンド（アップ／バック／ネクスト，．．．）、更なるメニュー選択肢および／又はアプリケーションであってもよい。以下、これらを全て選択肢と呼ぶ。
【0136】
いくつかの実施形態によれば、オブジェクトＦがディスプレイ１０４－１のより近くに動かされたと決定されると、選択肢が表示されてもよい。１つの文脈において、「より近い」とは、フィードバックが表示されたときのオブジェクトの距離よりも距離が短っくなることを指す。１つの文脈において、「より近い」とは、第１の閾値距離を下回る距離を指す。これらの２つの文脈は、おそらく、第１のコンテキストの距離（フィードバックが表示されたときのオブジェクトの距離）が閾値距離を定義する場合に、組み合わせることができることに留意されたい。
【0137】
選択肢は、ディスプレイ１０４－１上の同じ位置に表示されているコンテンツを覆い隠さないように、実質的に透明である方法で表示されることが好ましい。それらはまた、選択肢のグラフィカル表現によってオーバーラップされた表示領域内で受信された任意の入力を、基礎となるコンテンツのための、すなわち現在のトップアプリケーションのための入力として、コントローラが処理することによって、透明であるとして表示される。
【0138】
選択肢が表示される必要はなく、そのような選択肢の表示はユーザ設定とすることができ、ユーザは、表示されている選択肢を見る必要なしに、選択肢がどこに位置するかを内心で簡単に学習することができることに留意されたい。
【0139】
選択肢は、選択肢のインジケーションを提供する音声によって、代替的に又は追加的に提示されてもよいことにも留意されたい。
【0140】
いくつかの実施形態によれば、選択肢は、選択肢の位置にユーザを案内するためのインジケーションとして単に表示され、これは、ユーザが選択肢の順序を記憶しているが、おそらく正確な位置ではない状況において役立つ。各選択肢は、サブ部分に関連付けられ得る。
【0141】
いくつかの実施形態によれば、コントローラ１０１は、選択が行われた場合にどの選択肢が現在選択されるか、すなわちどの選択肢が現在ホバリングしているとみなされるユーザであるかを示すようにさらに構成されている。マーキングは、選択肢を強調表示すること、選択肢のサイズを変更すること、選択肢の色を変更すること、選択肢のシンボルを変更すること、および／またはそれらの任意の組合せによって行うことができる。コントローラは、オブジェクトＦがディスプレイ１０４－１と平行な方向に（すなわち、ディスプレイの平面内で上または下に）動いたことを決定し、それに応答して、現在選択可能である別の選択肢を示すようにさらに構成されている。
【0142】
コントローラ１０１は、オブジェクトＦがディスプレイ１０４－１のより近くに動かさされ、それによって、オブジェクトの位置における選択肢の選択を受信し、それに応答して、現在選択可能である選択肢に関連付けられているアクションを実行することを決定するようにさらに構成されている。
【0143】
関連付けられているアクションは、選択肢のタイプによって異なる。たとえば、メニュー横断選択肢である選択肢についてのアクションは、メニュー横断（アップ／ダウン／．．．）を実行することであり、コマンドである選択肢についてのアクションは、コマンドを実行することであり、より深いメニューレベルに対応する選択肢についてのアクションは、より深いまたはさらなるメニューレベルを開き、それによって、少なくとも１つの別の選択肢を表示することである。別の選択肢は、前の選択肢に加えて、および／または前の選択肢の代わりに表示することができる。
【0144】
コントローラ１０１はまた、オブジェクトがディスプレイから離れて動かされ、それに応答してより高いメニューレベルに戻ることを決定するように構成され得る。したがって、これは、実行中のトップアプリケーションに実質的に干渉することなく、選択肢のメニュー構造のトラバース（横断）を可能にする。
【0145】
いくつかの実施形態によれば、コントローラ１０１は、オブジェクトがディスプレイのより近くに動かされたことを検出し、それに応答して、選択された選択肢に関連付けられているアクションを実行し、アクションはコマンドを実行することである。この例では、コマンドは、ユーザ装置１００のためのボリューム設定を増加させることである。
【0146】
本開示で与えられる例では、ボリュームは、仮想タッチレスボタンを押すことによって増加される。しかし、このような増加／減少コマンドには他の変形例が存在する。１つの例は、（ディスプレイに向かって移動することによって）機能選択肢を選択し、次いで、関連付けられている機能を増加させるために、指を上に動かしたり、減少させるために、指を下に動かすことである。機能の例は、ボリューム、輝度、スクロール、トグルオン／オフスイッチ、およびいくつかの例を挙げるための調整設定に関連付けられていることができる。
【0147】
アクションが実行されると、コントローラ１０１は、指がディスプレイからわずかに（次の距離間隔に）離れるように動いたことが検出された場合には、現在表示されている選択肢を表示し続けるように構成されてもよい。これは、選択肢のさらなる選択を可能にする。代替的に又は追加的に、コントローラは、全ての選択肢の表示を停止するように構成される。
【0148】
コントローラ１０１はまた、オブジェクトがディスプレイから離れるように動いたと決定された場合、すべての選択肢の表示を停止するように構成され、これ以上選択肢は表示されない。しかしながら、実行された任意のコマンドの効果は、依然として適用可能である。
【0149】
いくつかの実施形態によれば、コントローラ１０１は、オブジェクトが初期閾値距離を上回る距離にあるとき、オブジェクトＦがディスプレイから離れるように動いたと決定するように構成される。
【0150】
いくつかの実施形態によれば、コントローラ１０１は、オブジェクトＦがもはや検出可能でないときに、オブジェクトがディスプレイから離れるように動いたことを決定するように構成される。
【0151】
いくつかの実施形態によれば、コントローラ１０１は、オブジェクトがディスプレイ１０４－１に近づいているときにのみコマンドが起動されることを確実にするために、オブジェクトＦを追跡するようにさらに構成されている。このセーフガード機能は、ユーザが、握りを変更したり、他のオブジェクトがさらに近接することによる、アクション／コマンドの偶発的な起動を防ぐ。このような状況は、列車の台車やバスなどの移動車両に座っている間にユーザ装置１００を操作するときに容易に起こり得る。
【0152】
閾値範囲は、問題の距離（複数可）に関連付けられている複数の閾値間の範囲として見られ、場合によっては、問題の距離（複数可）に関連付けられている複数の閾値を含む。
【0153】
本開示の図が（一度に）３つの選択肢を表示しているにもかかわらず、表示する任意の個数の選択肢が考えられ、利用可能な選択肢の個数、サブセクションのサイズ、ディスプレイ１０４－１のサイズ、およびインジケーションのサイズに依存することに留意されたい。
【0154】
図６に戻ると、いくつかの実施形態によれば、コントローラ１０１は、オブジェクトＦが検出されたときに少なくとも１つの選択肢が選択のために利用可能であることを示す（６３５）ように構成される。これは、メニュー構造の範囲を示すことによって、および／または、少なくとも１つの選択肢を表示することによって、または、むしろ、少なくとも１つの選択肢のグラフィカル表現を表示することによって、行われ得る。
【0155】
（指の先端の位置に対応するように）オブジェクトに対応する位置にある選択肢は、選択可能な選択肢と見なされる。いくつかの実施形態によれば、コントローラ１０１は、どの選択肢が現在選択可能であるかを示すように構成される。
【0156】
上述のように、コントローラ１０１は、オブジェクトＦの動きを検出し（６４６）、それに応じて動作６５５するように構成される。
【0157】
オブジェクトまでの距離が閾値を下回るようにいなるときなど、動きがユーザ装置１００に向かってくることが検出されたとき、コントローラ１０１は、現在選択可能な選択肢に関連付けられているアクション、すなわち、オブジェクトまでの距離が閾値距離を下回るところに対応する位置に表示される選択肢を実行または実施すること６６０によって動作するように構成される。
【0158】
選択肢がコマンドに関連付けられている場合、コントローラ１０１は、そのようなコマンドを実行する（６６２）ように構成される。いくつかの実施形態によれば、コントローラは、コマンドに関するさらなる入力を受け入れ、その後、さらなる入力に基づいて実行する（上述のように、上に動かされて増加させる、下に動かされて減少させるなど）ようにさらに構成されている。
【0159】
選択肢が、メニュー構造内における別の選択肢を表示するためなど、別の選択肢に関連付けられている場合、コントローラ１０１は、別の選択肢を表示する（６６４）ように構成される。
【0160】
選択肢が、開始されるべきアプリケーションに関連付けられている場合、コントローラ１０１は、そのアプリケーションを開始する（６６６）ように構成される。
【0161】
選択肢がデータオブジェクトに関連付けられている場合、コントローラは、データオブジェクトを選択し（６６８）、場合によっては関連付けられているコマンドを実行するように構成される。データオブジェクトの一例は、連絡先であり、関連付けられているアクションは、連絡先との通信を開始することであり得る。
【0162】
これは、メニュー構造および／または完全なユーザインターフェース構造を横断する方法を提供することを可能にし、別の選択肢が表示されてもよく、コマンドおよび機能が実行されてもよく、アプリケーションが開始されてもよく、データオブジェクトが選択されてもよい。
【0163】
動きがユーザ装置１００に沿って又は平行であることが検出されると、コントローラ１０１は、オブジェクトの新しい位置に対応する新しい選択可能な選択肢を決定する（６７０）、すなわち、選択肢をシフトするように構成される。
【0164】
動きがユーザ装置１００から離れて行くことが検出されると、コントローラ１０１は、少なくとも１つの選択肢の表示を停止する（６８０）、すなわち、少なくとも１つの選択肢をキャンセルするように構成される。
【0165】
上記で論じたような様々な機能のために、他の変形形態および代替形態の領域も可能である。これらの代替案のうちのいくつかは、以下で論じられ、それらは、すべて、いくつか、またはそれぞれが、任意であり、互換性があるものとして、上記で論じられた実施形態と組み合わせられ得ることに留意されたい。
【0166】
図９は、ユーザ装置１００のコントローラにロードされ、そのコントローラによって実行されると、ユーザ装置１００が本発明を実施することを可能にする、コンピュータ命令１２１を搬送するコンピュータ可読媒体１２０の概略図を示す。
【0167】
コンピュータ可読媒体１２０は、ハードドライブまたはフラッシュメモリ、たとえばＵＳＢメモリスティックまたはクラウドサーバなどの有形であり得る。あるいは、コンピュータ可読媒体１２０は、コンピュータ命令を、インターネットコネクションなどのネットワークコネクションを介してダウンロードすることを可能にするコンピュータ命令を搬送するシグナルなど、無形であってもよい。
【0168】
図９の例では、コンピュータ可読媒体１２０は、コンピュータ可読コンピュータ命令１２１を担持するコンピュータディスク１２０として示され、コンピュータディスクリーダ１２２に挿入される。コンピュータディスクリーダ１２２は、クラウドサーバ１２３の一部であってもよいし、または他のサーバーの一部であってもよいし、または、コンピュータディスクリーダが、クラウドサーバ１２３に接続されていてもよいし、またはその他のサーバーに接続されていてもよい。クラウドサーバ１２３は、インターネットの一部であってもよく、少なくともインターネットに接続されていてもよい。あるいは、クラウドサーバー１２３は、専有または専用のコネクションを介して接続されてもよい。いくつかの例示的な実施形態によれば、コンピュータ命令は、リモートサーバ１２３に記憶され、コントローラ１０１によって実行されるためにユーザ装置１００のメモリ１０２にダウンロードされる。
【0169】
コンピュータディスクリーダ１２２はまた、または代替として、コンピュータ可読コンピュータ命令１２１をユーザ装置１００のコントローラ１０１に（おそらくユーザ装置１００のメモリ１０２を介して）転送するために、ユーザ装置１００に接続されてもよいる（または場合によっては挿入され得る）。
【0170】
図９は、ユーザ装置１００がサーバーコネクションを介してコンピュータ可読コンピュータ命令１２１を受信する場合の状況と、別のユーザ装置１００が有線インターフェースを介してコンピュータ可読コンピュータ命令１２１を受信する場合の状況の両方を示す。これは、コンピュータ可読コンピュータ命令１２１がユーザ装置１００にダウンロードされることを可能にし、それによって、ユーザ装置１００が、本開示に開示される本発明に従って動作し、それを実装することを可能にする。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】