IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-29
(54)【発明の名称】モバイルデバイスのための入力方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20220921BHJP
   H04M 1/724 20210101ALI20220921BHJP
   G01S 13/58 20060101ALI20220921BHJP
【FI】
G06F3/01 570
H04M1/724
G01S13/58
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021569202
(86)(22)【出願日】2019-08-30
(85)【翻訳文提出日】2022-02-16
(86)【国際出願番号】 US2019049204
(87)【国際公開番号】W WO2021040745
(87)【国際公開日】2021-03-04
(81)【指定国・地域】
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】スターン,デボン・ジェームス・オレイリー
(72)【発明者】
【氏名】ジュスティ,レオナルド
(72)【発明者】
【氏名】サチダナンダム,ビグネッシュ
【テーマコード(参考)】
5E555
5J070
5K127
【Fターム(参考)】
5E555AA26
5E555AA64
5E555BA04
5E555BA87
5E555BB04
5E555BC04
5E555CA41
5E555CB66
5E555DA27
5E555DB18
5E555DC30
5E555DC35
5E555DC36
5E555DC59
5E555DD06
5E555DD08
5E555EA14
5E555FA00
5J070AC01
5J070AC02
5J070AC06
5J070AC12
5J070AD03
5J070AE09
5J070AF02
5K127AA11
5K127BA03
5K127CA10
5K127CB22
5K127CB30
5K127JA26
(57)【要約】
この文書は、モバイルデバイスのための入力方法を可能にする手法およびシステムを説明する。レーダー場(110)は、電子デバイス(102)が、ユーザの手(112)がデバイスのまわりのジェスチャーゾーン(118)内にあると正確に判断することを可能にする。また、デバイスは、レーダーベースのジェスチャー(レーダージェスチャー)を通して入力を受信するように構成されたアプリケーションが、デバイス上で動作しているかどうかを判断することができる。これらの手法を使用して、デバイスは、ユーザの手がデバイスのまわりのジェスチャーゾーン内にある場合に、ディスプレイ(114)上にフィードバックインジケータ(120)を提示することができる。フィードバックインジケータは、ユーザの手が特定のレーダージェスチャーを行なうのに十分にデバイスの近くにあることをユーザに知らせる。これはデバイスがユーザにフィードバックを提供することを可能にし、フィードバックは、デバイスの能力をユーザに教え、ユーザがレーダージェスチャーの利用可能性によって提供される追加の機能性および特徴を利用できるようにすることができる。
【特許請求の範囲】
【請求項1】
ディスプレイとレーダーシステムとを含む電子デバイスにおいて実現される方法であって、前記方法は、
前記レーダーシステムを通して受信されたレーダーデータに基づいて、ユーザの一部分が前記電子デバイスのジェスチャーゾーン内にあると判断するステップと、
前記電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断するステップと、
前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという判断と、前記電子デバイス上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されているという判断とに応答して、前記電子デバイスの前記ディスプレイ上にフィードバックインジケータを提供するステップとを含み、前記フィードバックインジケータを提供するステップは、
前記ユーザの前記一部分が前記ジェスチャーゾーン内にあることと、
前記アプリケーションが前記レーダージェスチャー入力を受信できることとを示す、方法。
【請求項2】
前記フィードバックインジケータは、前記ディスプレイのアクティブエリアの縁に現われる視覚要素である、請求項1に記載の方法。
【請求項3】
前記視覚要素は、
前記ディスプレイの前記アクティブエリアの一部分を含むエリアと、
視覚属性とを含み、前記視覚属性は、前記視覚要素に近接する前記ディスプレイの別の一部分の視覚属性とは異なる光度、色、コントラスト、形状、彩度、または不透明度を含み、前記視覚要素はさらに、
前記ディスプレイの前記アクティブエリアの前記縁のしきい値距離内にある外部境界のセグメントを含む、請求項2に記載の方法。
【請求項4】
前記視覚要素の前記視覚属性は、前記視覚要素の前記エリアにわたって変化する、請求項3に記載の方法。
【請求項5】
前記ジェスチャーゾーン内にある前記ユーザの前記一部分は、前記ユーザの手であり、
前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあると判断するステップは、前記ユーザの前記手が前記電子デバイスに向かって伸びることを検出するステップを含む、請求項1~4のいずれか1項に記載の方法。
【請求項6】
前記電子デバイスの前記ディスプレイ上に前記フィードバックインジケータを提供するステップは、前記ディスプレイ上に以前に提示された視覚要素を調節するステップを含み、前記以前に提示された視覚要素は、前記電子デバイス上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されていることを示し、前記ディスプレイの前記アクティブエリアの縁に現われ、
前記以前に提示された視覚要素を調節するステップは、前記以前に提示された視覚要素のエリアを拡大するステップを含む、請求項1に記載の方法。
【請求項7】
前記以前に提示された視覚要素の前記エリアを拡大するステップは、
前記以前に提示された視覚要素を、前記ディスプレイの前記アクティブエリアの前記縁と平行な方向に拡張するステップ、または、
前記以前に提示された視覚要素を、前記ディスプレイの前記アクティブエリアの前記縁から遠ざかる方向に拡張するステップを含む、請求項6に記載の方法。
【請求項8】
前記電子デバイスまでの距離および/または前記ジェスチャーゾーン内の前記ユーザの前記一部分の動きに対応して、前記フィードバックインジケータの前記視覚属性を動的に調節するステップをさらに含む、請求項1~7のいずれか1項に記載の方法。
【請求項9】
前記視覚属性は、前記フィードバックインジケータの光度、輝度、または視覚強度のうちの少なくとも1つであり、
前記視覚属性の測定値は、前記距離が前記レーダーシステムの向上したレーダージェスチャー認識効力に対応する量に近づくにつれて増加し、
前記フィードバックインジケータの前記視覚属性の測定値は、前記距離が減少したレーダージェスチャー認識効力に対応する量に近づくにつれて減少する、請求項8に記載の方法。
【請求項10】
前記ディスプレイ上の前記フィードバックインジケータの位置を動的に調節するステップをさらに含み、前記フィードバックインジケータの動的調節は、前記電子デバイスの前記ジェスチャーゾーン内にある前記ユーザの前記一部分の動きに対応しており、前記電子デバイスの前記ジェスチャーゾーン内にある前記ユーザの前記一部分の前記動きは、前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの第2の部分集合に基づいており、前記レーダーデータの前記第2の部分集合は、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステムによって受信される、請求項1~9のいずれか1項に記載の方法。
【請求項11】
前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステムによって受信される前記レーダーデータの第2の部分集合に基づいて、前記ユーザの前記一部分はもはや前記ジェスチャーゾーン内にないと判断するステップと、
前記ユーザの前記一部分はもはや前記ジェスチャーゾーン内にないという判断に応答して、前記電子デバイスの前記ディスプレイ上に前記フィードバックインジケータを提供するのを中止するステップとをさらに含む、請求項1~10のいずれか1項に記載の方法。
【請求項12】
前記フィードバックインジケータが表示される前記ディスプレイの領域の背景色を決定するステップと、
前記フィードバックインジケータが表示される前記ディスプレイの前記領域の前記背景色を決定するステップに応答して、前記ディスプレイに、前記背景色とは異なる別の色で前記フィードバックインジケータを提供させるステップとをさらに含み、前記異なる色は、前記フィードバックインジケータと、前記フィードバックインジケータが表示される前記ディスプレイの前記領域との、人間が識別可能なコントラストを提供するのに効果的である、請求項1~11のいずれか1項に記載の方法。
【請求項13】
電子デバイスであって、
ディスプレイと、
少なくとも部分的にハードウェアで実現されたレーダーシステムとを含み、前記レーダーシステムは、
レーダー場を提供し、
前記レーダー場内のユーザからの反射を感知し、
前記レーダー場内の前記ユーザからの前記反射を分析し、
前記反射の分析に基づいてレーダーデータを提供するように構成され、前記電子デバイスはさらに、
コンピュータプロセッサと、
前記コンピュータプロセッサによる実行に応答してレーダーベースの相互作用マネージャを実現する命令が格納されたコンピュータ読取可能媒体とを含み、前記レーダーベースの相互作用マネージャは、
前記電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断し、
前記レーダーデータに基づいて、前記ユーザの一部分が前記電子デバイスのジェスチャーゾーン内にあると判断し、
前記電子デバイス上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されているという判断と、前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという判断とに応答して、前記ディスプレイにフィードバックインジケータを提示させるように構成され、前記フィードバックインジケータの提示は、
前記ユーザの前記一部分が前記ジェスチャーゾーン内にあることと、
前記アプリケーションが前記レーダージェスチャー入力を受信できることとを示す、電子デバイス。
【請求項14】
前記フィードバックインジケータは、前記ディスプレイのアクティブエリアの縁に現われる視覚要素である、請求項13に記載の電子デバイス。
【請求項15】
前記視覚要素は、
前記ディスプレイの前記アクティブエリアの一部分を含むエリアと、
視覚属性とを含み、前記視覚属性は、前記視覚要素に近接する前記ディスプレイの別の一部分の視覚属性とは異なる光度、色、コントラスト、形状、彩度、または不透明度を含み、前記視覚要素はさらに、
前記ディスプレイの前記アクティブエリアの前記縁のしきい値距離内にある外部境界のセグメントを含む、請求項14に記載の電子デバイス。
【請求項16】
前記視覚要素の前記視覚属性は、前記視覚要素の前記エリアにわたって変化する、請求項15に記載の電子デバイス。
【請求項17】
前記ジェスチャーゾーン内にある前記ユーザの前記一部分は、前記ユーザの手であり、
前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという前記判断は、前記ユーザの前記手が前記電子デバイスに向かって伸びているという判断を含む、請求項13~16のいずれか1項に記載の電子デバイス。
【請求項18】
前記ディスプレイに前記フィードバックインジケータを提示させることは、前記ディスプレイに以前に提示された視覚要素への調節を行なわせることを含み、前記以前に提示された視覚要素は、前記電子デバイス上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されていることを示し、前記ディスプレイの前記アクティブエリアの縁に現われ、
前記以前に提示された視覚要素への前記調節は、前記以前に提示された視覚要素のエリアを拡大することを少なくとも含む、請求項13に記載の電子デバイス。
【請求項19】
前記以前に提示された視覚要素の前記エリアを拡大することは、
前記以前に提示された視覚要素を、前記ディスプレイの前記アクティブエリアの前記縁と平行な方向に拡張すること、または、
前記以前に提示された視覚要素を、前記ディスプレイの前記アクティブエリアの前記縁から遠ざかる方向に拡張することを含む、請求項18に記載の電子デバイス。
【請求項20】
前記レーダーベースの相互作用マネージャはさらに、前記電子デバイスまでの距離および/または前記ジェスチャーゾーン内の前記ユーザの前記一部分の動きに対応して、前記フィードバックインジケータの前記視覚属性を動的に調節するように構成される、請求項13~19のいずれか1項に記載の電子デバイス。
【請求項21】
前記視覚属性は、前記フィードバックインジケータの光度、輝度、または視覚強度のうちの少なくとも1つであり、
前記視覚属性の測定値は、前記距離が前記レーダーシステムの向上したレーダージェスチャー認識効力に対応する量に近づくにつれて増加し、
前記フィードバックインジケータの前記視覚属性の測定値は、前記距離が減少したレーダージェスチャー認識効力に対応する量に近づくにつれて減少する、請求項20に記載の電子デバイス。
【請求項22】
前記レーダーベースの相互作用マネージャはさらに、前記ディスプレイ上の前記フィードバックインジケータの位置を動的に調節するように構成され、前記フィードバックインジケータの動的調節は、前記電子デバイスの前記ジェスチャーゾーン内にある前記ユーザの前記一部分の動きに対応しており、前記電子デバイスの前記ジェスチャーゾーン内にある前記ユーザの前記一部分の前記動きは、前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの第2の部分集合に基づいており、前記レーダーデータの前記第2の部分集合は、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステムによって受信される、請求項13~21のいずれか1項に記載の電子デバイス。
【請求項23】
前記レーダーベースの相互作用マネージャはさらに、
前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステムによって受信される前記レーダーデータの第2の部分集合に基づいて、前記ユーザの前記一部分はもはや前記ジェスチャーゾーン内にないと判断し、
前記ユーザの前記一部分はもはや前記ジェスチャーゾーン内にないという判断に応答して、前記ディスプレイに前記フィードバックインジケータの提示を中止させるように構成される、請求項13~22のいずれか1項に記載の電子デバイス。
【請求項24】
前記レーダーベースの相互作用マネージャはさらに、
前記フィードバックインジケータが提示される前記ディスプレイの領域の背景色を決定し、
前記フィードバックインジケータが表示される前記ディスプレイの前記領域の前記背景色の決定に応答して、前記ディスプレイに、前記背景色とは異なる別の色で前記フィードバックインジケータを提示させるように構成され、前記異なる色は、前記フィードバックインジケータと、前記フィードバックインジケータが表示される前記ディスプレイの前記領域との、人間が識別可能なコントラストを提供するのに効果的である、請求項13~23のいずれか1項に記載の電子デバイス。
【発明の詳細な説明】
【背景技術】
【0001】
背景
スマートフォン、ウェアラブルコンピュータ、およびタブレットなどの電子デバイスは、事業用途および個人的用途双方のために通常頼られる強力なツールである。これらのデバイスの処理能力は、当該デバイスがそれらのユーザの嗜好を予想するのを助ける機械学習によって増強される。しかしながら、この計算能力および人工知能にもかかわらず、これらのデバイスは依然として反応的通信機である。すなわち、スマートフォンがどんなに「スマート」であったとしても、また、ユーザがどれほど頻繁にスマートフォンにそれが人間であるかのように話しかけたとしても、電子デバイスは依然として、それがフィードバックを提供できる前に起動されることに依存している。モバイルデバイスを起動するには、ユーザは典型的にはまず、デバイスを手に取って、電子デバイスを使用しようとするユーザの意図をデバイスに認識させる。この物理的相互作用の後でのみ、デバイスは、アプリケーションおよび機能性をユーザが利用できるようにすることができる。したがって、多くの電子デバイスは、ユーザによる明示的な相互作用の前に劣ったユーザ体験を提供する。
【発明の概要】
【課題を解決するための手段】
【0002】
概要
この文書は、モバイルデバイスのための入力方法を可能にする手法およびシステムを説明する。これらの手法およびシステムは、レーダー場(レーダフィールド)を使用して、電子デバイスが当該電子デバイスの近くのユーザの存在または不在を正確に判断することを可能にする。また、電子デバイスは、レーダーベースのタッチ非依存ジェスチャー(レーダージェスチャー)を通して入力を受信できるアプリケーションが、電子デバイス上で動作しているかどうかを判断することができる。これらの手法を使用して、電子デバイスは、ユーザの手が電子デバイスのまわりのジェスチャーゾーン内にある場合に、フィードバックインジケータを提示する。レーダージェスチャー入力が電子デバイスと相互作用するために一般に利用可能である場合、フィードバックインジケータは、ユーザの手が特定のレーダージェスチャーを行なうのに十分に電子デバイスの近くにあることをユーザに知らせる。これはデバイスがユーザにフィードバックを提供することを可能にし、フィードバックは、電子デバイスが何をできるかをユーザに教え、ユーザがレーダージェスチャーの利用可能性によって提供される追加の機能性および特徴を利用できるようにすることができる。
【0003】
以下に説明される局面は、ディスプレイとレーダーシステムとを含む電子デバイスにおいて実現される方法を含む。方法は、レーダーシステムを通して受信されたレーダーデータに基づいて、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあると判断するステップを含む。方法はまた、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断するステップを含む。方法はさらに、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断と、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されているという判断とに応答して、電子デバイスのディスプレイ上にフィードバックインジケータを提供するステップを含む。フィードバックインジケータを提供するステップは、ユーザの一部分がジェスチャーゾーン内にあることと、アプリケーションがレーダージェスチャー入力を受信できることとを示す。
【0004】
以下に説明される局面はまた、ディスプレイとレーダーシステムとコンピュータプロセッサとコンピュータ読取可能媒体とを含む電子デバイスを含む。レーダーシステムは、少なくとも部分的にハードウェアで実現され、レーダー場を提供する。レーダーシステムはまた、レーダー場内のユーザからの反射を感知し、レーダー場内のユーザからの反射を分析し、反射の分析に基づいてレーダーデータを提供する。コンピュータ読取可能媒体は、レーダーベースの相互作用マネージャを実現するためにコンピュータプロセッサによって実行され得る格納された命令を含む。レーダーベースの相互作用マネージャは、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断する。レーダーベースの相互作用マネージャはまた、レーダーデータに基づいて、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあると判断する。電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されているという判断と、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断とに応答して、レーダーベースの相互作用マネージャは、ディスプレイにフィードバックインジケータを提示させ、フィードバックインジケータの提示は、ユーザの一部分がジェスチャーゾーン内にあることと、アプリケーションがレーダージェスチャー入力を受信できることとを示す。
【0005】
以下に説明される局面は、ディスプレイと電子デバイスとを含むシステムを含み、電子デバイスは、レーダーデータを提供するレーダー場を提供するための手段を含むかまたは当該手段に関連付けられており、レーダーデータは、レーダー場内の物体からの反射を感知し分析することに基づいている。システムはまた、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断するための手段を含む。システムはまた、レーダーデータに基づいて、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあると判断するための手段を含む。システムはさらに、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されているという判断と、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断とに応答して、電子デバイスのディスプレイ上にフィードバックインジケータを提示するための手段を含み、フィードバックインジケータの提示は、ユーザの一部分がジェスチャーゾーン内にあることと、アプリケーションがレーダージェスチャー入力を受信できることとを示す。
【0006】
この概要は、以下の詳細な説明および図面においてさらに説明される、モバイルデバイスのための入力方法に関する単純化された概念を紹介するために提供される。この概要は、主張される主題の本質的特徴を識別するよう意図されてはおらず、主張される主題の範囲を定める際に使用するよう意図されてもいない。
【0007】
図面の簡単な説明
この文書では、モバイルデバイスのための入力方法の1つ以上の局面の詳細を、以下の図面を参照して説明する。同様の特徴および構成要素に言及するために、同じ番号が図面全体を通して使用される。
【図面の簡単な説明】
【0008】
図1】モバイルデバイスのための入力方法を可能にする手法が実現され得る例示的な環境を示す図である。
図2】モバイルデバイスのための入力方法を実現することができる、レーダーシステムを含む電子デバイスの例示的な実現化例を示す図である。
図3図1および図2のレーダーシステムの例示的な実現化例を示す図である。
図4図3のレーダーシステムのための受信アンテナ素子の例示的な配置を示す図である。
図5図1および図2のレーダーシステムの例示的な実現化例の追加の詳細を示す図である。
図6図1および図2のレーダーシステムによって実現され得る例示的なスキームを示す図である。
図7】モバイルデバイスのための入力方法を可能にする例示的な方法を示す図である。
図8図1および図2の電子デバイス上でレーダージェスチャーアプリケーションが実行されている場合に電子デバイスのディスプレイ上に提示され得る、フィードバックインジケータを含む視覚要素を示す図である。
図9図1および図2の電子デバイス上でレーダージェスチャーアプリケーションが実行されている場合に電子デバイスのディスプレイ上に提示され得る、フィードバックインジケータを含む視覚要素を示す図である。
図10図1および図2の電子デバイス上でレーダージェスチャーアプリケーションが実行されている場合に電子デバイスのディスプレイ上に提示され得る、フィードバックインジケータを含む視覚要素を示す図である。
図11図1および図2の電子デバイス上でレーダージェスチャーアプリケーションが実行されている場合に電子デバイスのディスプレイ上に提示され得る、フィードバックインジケータを含む視覚要素を示す図である。
図12図1および図2の電子デバイス上でレーダージェスチャーアプリケーションが実行されている場合に電子デバイスのディスプレイ上に提示され得る、フィードバックインジケータを含む視覚要素を示す図である。
図13】複数のモードで動作する図1および図2の電子デバイスを、異なるモードでディスプレイ上に提示され得る視覚要素の例とともに示す図である。
図14】複数のモードで動作する図1および図2の電子デバイスを、異なるモードでディスプレイ上に提示され得る視覚要素の例とともに示す図である。
図15】複数のモードで動作する図1および図2の電子デバイスを、異なるモードでディスプレイ上に提示され得る視覚要素の例とともに示す図である。
図16】モバイルデバイスのための入力方法を実現するか、または、当該入力方法を可能にする手法が実現され得るように、図1~15を参照して説明されるような任意のタイプのクライアント、サーバ、および/または電子デバイスとして実現され得る例示的なコンピューティングシステムを示す図である。
【発明を実施するための形態】
【0009】
詳細な説明
概略
この文書は、モバイルデバイスのための入力方法を可能にする手法およびシステムを説明する。説明される手法は、ユーザの存在(または不在)および電子デバイスに対する場所を判断するレーダーシステムを採用する。手法はまた、デバイスがいつ、レーダーベースのタッチ非依存ジェスチャーを通して入力を受信できるアプリケーションを実行しているかを判断する。デバイスがこれらのアプリケーションのうちの1つを実行しており、かつ、ユーザが存在する場合、手法はフィードバックインジケータを提供して、レーダージェスチャーが受信可能であり、電子デバイス上で動作しているアプリケーションを制御するのに効果的であるというフィードバックをユーザに与える。
【0010】
この説明では、「レーダーベースのタッチ非依存ジェスチャー」、「3Dジェスチャー」、または「レーダージェスチャー」という用語は、電子デバイスから離れた空間におけるジェスチャーの性質を指す(たとえば、このジェスチャーはユーザがデバイスを触ることを必要としないが、触ることを除外しない)。レーダージェスチャー自体は、平面での左上から右下へのスワイプで構成されるレーダージェスチャーといった、2次元にあるアクティブ情報コンポーネントのみを有することが多いが、レーダージェスチャーは電子デバイスからの距離(「第3の」寸法)も有するため、ここに説明されるレーダージェスチャーは一般に、3次元であると考えられ得る。
【0011】
これらの手法を使用して、電子デバイスは、利用可能なレーダージェスチャー入力モードをユーザに認識させるためにフィードバックおよび通知を提供し、また、場合によっては、レーダージェスチャーの使用および結果に関するフィードバックを提供することができる。ユーザの不在、存在、および場所の判断はまた、より応答性が高く、より効率的な認証プロセスを提供するために使用され得る。たとえば、手法は、デバイスが、ユーザが認証される準備がいつできるかを予想すること、および、ユーザが離れている場合にデバイスをいつロックするべきかをより正確に判断することを可能にする。説明される手法は、電子デバイスが、利用可能な入力モードについての有用なフィードバックをユーザを提供することを可能にするため、相互作用はより便利になり、それほど苛立たしくなくなるかもしれない。なぜなら、ユーザは入力モードを認識しており、デバイスが相互作用して入力を受信することができる異なるやり方について確信できるためである。
【0012】
説明されるレーダーシステムを含む例示的なスマートフォンを考慮されたい。この例では、レーダージェスチャーを通して入力を受信する能力を有するアプリケーションが、電子デバイス上で動作している。このタイプのアプリケーションは、レーダージェスチャーサブスクライブアプリケーション(「レーダージェスチャーアプリケーション」)と呼ばれるであろう。レーダージェスチャーアプリケーションの例は、音楽プレーヤー、メディアプレイヤー、および、カレンダーのような、アラートまたはリマインダを提供する電子デバイスのアプリケーションまたは機能を含む。ユーザの手が電子デバイスのまわりのジェスチャーゾーン内にある場合、相互作用マネージャが、電子デバイスに、フィードバックインジケータをデバイスのディスプレイ上に提示させる。ジェスチャーゾーンとは、レーダージェスチャーがレーダーシステムによって検出され得る、電子デバイスのまわりの体積である。たとえば、相互作用マネージャはレーダーデータを使用して、ユーザの手が電子デバイスからしきい値距離(たとえばジェスチャーゾーン)内にあると判断することができる。しきい値距離とは、3インチ、5インチ、7インチ、または9インチ以内といった、レーダーシステムがユーザの手を認識できる任意の好適な距離であり得る。場合によっては、ジェスチャーゾーンは、電子デバイスから異なる方向に異なるしきい値距離だけ延在していてもよい(たとえば、それはくさび形、長円形、楕円形、または非対称形を有し得る)。ジェスチャーゾーンのサイズまたは形状はまた、時間とともに変化してもよく、あるいは、電子デバイスの状態(たとえば、バッテリーレベル、配向、ロックされているかロック解除されているか)、または環境(ポケットまたはハンドバックの中、車の中、または平坦面上など)といった他の要因に基づいていてもよい。また、ジェスチャーゾーンは、異なるフィードバックインジケータに対応する複数のサブゾーンを有し得る。たとえば、ユーザがジェスチャーゾーンの外側限界に入ると、主要フィードバックインジケータが提示され得る。次に、ユーザ(たとえばユーザの手)が電子デバイスにより近づくにつれて、フィードバックインジケータの属性が変化し得る(たとえば、それはより明るくなり、より不透明になるかまたはより透明になり、色を変え、サイズまたは形状を変える)。ユーザが撤退すると、フィードバックインジケータは逆の順序で変化し得る。
【0013】
フィードバックインジケータとは、ユーザの手がジェスチャーゾーン内にあることを示す電子デバイスのディスプレイ上に提示される視覚要素といった、ユーザが知覚可能な要素である。これは、レーダージェスチャーアプリケーションと相互作用するためにレーダージェスチャーが使用できることをユーザに通知する。たとえば、レーダージェスチャーアプリケーションが電子デバイス上で実行されている場合、ディスプレイは、アイコン、コントラストのある点灯エリア(たとえば、周囲のエリアよりも明るいかまたは薄暗いエリア)、あるいは、異なる色またはコントラストのある色のエリアを提示してもよい。場合によっては、フィードバックインジケータは、これらの特徴のうちの1つ以上の特徴の組合せであってもよい。このため、この例では、ユーザの手がジェスチャーゾーンにある間にレーダージェスチャーアプリケーションが実行されていると電子デバイスが判断すると、照明されたラインが、ディスプレイの上縁またはその近くに現われる。いくつかの実現化例では、このインジケータは、ジェスチャーゾーン内のユーザの手の動きを概して表わすように、ユーザによる動きに何か関連して動くことができ、または、その出現を他の態様で動的に変更することができる。
【0014】
加えて、レーダージェスチャーの量および種類は、電子デバイスからの距離によって変化してもよい。たとえば、(左から右、右から左、または上下の)「スワイプ」ジェスチャーといった、アラームを止めるかまたはベルを消音するジェスチャーは、3~5フィートなどの特定の距離で利用可能であってもよい。より近い距離(たとえば7インチ、9インチ、または12インチ)では、ボリュームまたは輝度を少しずつ調節するために、2本の指をこすり合わせるといった、より詳細な細かい動きのジェスチャーが利用可能であってもよい。フィードバックインジケータは、これらの違いに関する情報も提供することができる。たとえば、説明される例では、(電子デバイスから約3フィートの距離で)「スワイプ」ジェスチャーのみが利用可能である場合、フィードバックインジケータは、より小さくてもよく、それほど明るくなくてもよく、または異なる色を有していてもよい。しかし、近い距離では、より多くのまたは異なるジェスチャーが利用可能である場合、フィードバックインジケータは、大きくなるか、明るくなるか、または異なる色になることができる。
【0015】
説明される手法およびシステムはレーダーシステムを他の特徴とともに使用して、ユーザの存在または不在と電子デバイス上でのレーダージェスチャーアプリケーションの動作とに基づいて変化する有用で価値のあるユーザ体験を提供する。ユーザの知識および明示的なユーザ入力のみに頼るのではなく、電子デバイスは、デバイスがユーザの場所を認識していることを示すためにユーザにフィードバックを提供し、利用可能な特徴および機能性についてユーザに知らせることができる。
【0016】
いくつかの従来の電子デバイスは、ユーザの場所を判断し、ユーザの近接性に基づいて電子デバイスのさまざまな機能を調節するために、カメラ、近接センサ(たとえば容量性センサまたは赤外線センサ)、または加速度計といったセンサを含む場合がある。たとえば、電子デバイスは、ユーザが予め定められた距離内にいなければディスプレイをオフにすることによって、追加のプライバシーまたは美的価値を提供してもよい。しかしながら、従来の電子デバイスは典型的には、電子デバイスの能力をユーザに教えることができる有用で豊かなアンビエント体験を提供することができない。これらは、モバイルデバイスのための入力方法を可能にするために、説明される手法およびデバイスがどのように使用され得るかについてのほんの数例であり、それらの他の例および実現化例が、この文書全体を通して説明される。文書はここで、例示的な動作環境に変わり、その後、例示的なデバイス、方法、およびシステムが説明される。
【0017】
動作環境
図1は、モバイルデバイスのための入力方法を可能にする手法が実現され得る例示的な環境100を示す。例示的な環境100は電子デバイス102を含み、それは、レーダーシステム104と、永続的なレーダーベースの相互作用マネージャ106(相互作用マネージャ106)と、オプションの1つ以上の非レーダーセンサ108(非レーダーセンサ108)とを含むかまたはそれらに関連付けられている。「永続的な」という用語は、レーダーシステム104または相互作用マネージャ106に言及する場合、(休止モード、関与モード、またはアクティブモードなどのさまざまなモードで動作し得る)レーダーシステム104または相互作用マネージャ106を起動するためにユーザ相互作用が必要とされないということを意味する。いくつかの実現化例では、「永続的な」状態は、(たとえばユーザによって)一時停止されるかまたはオフにされてもよい。他の実現化例では、「永続的な」状態は、電子デバイス102(または他の電子デバイス)の1つ以上のパラメータに従ってスケジューリングされるかまたは他の態様で管理されてもよい。たとえば、ユーザは、電子デバイス102が夜および日中の双方でオンであっても、それが日中のみ動作可能であるように、「永続的な」状態をスケジューリングしてもよい。非レーダーセンサ108は、音声センサ(たとえばマイク)、タッチ入力センサ(たとえばタッチスクリーン)、または画像取込デバイス(たとえばカメラまたはビデオカメラ)といったさまざまなデバイスのうちのいずれであってもよい。
【0018】
例示的な環境100では、レーダーシステム104は、図3~6を参照して以下に説明されるように、1つ以上のレーダー信号または波形を送信することによってレーダー場110を提供する。レーダー場110は空間体積であり、そこからレーダーシステム104は、レーダー信号および波形の反射(たとえば、空間体積内の物体から反射されたレーダー信号および波形)を検出することができる。レーダー場110は、(たとえば、レーダーが貫通できない障害物の両側のエリアをカバーできる)球、半球、楕円体、円錐、1つ以上のローブ、または非対称形といった複数の形状で構成されてもよい。レーダーシステム104はまた、電子デバイス102または他の電子デバイスが、レーダー場110内の物体からの反射を感知して分析することを可能にする。レーダー場110は、認識ゾーンを提供するために使用されてもよい。認識ゾーンとは、レーダーシステム104から、約3フィート、7フィート、10フィート、または14フィート(すなわち、約1メートル、2メートル、3メートル、または4メートル)といったさまざまな距離のうちのいずれかだけ延在していてもよい、レーダーシステム104のまわりの体積である。認識ゾーンは、レーダー場110の最大範囲と同じかまたはそれより小さくてもよい。認識ゾーンは、定義済であるか、ユーザ選択可能であるか、または、別の方法を介して(たとえば、電力要件、残りのバッテリ寿命、または別の要因に基づいて)定められる静的サイズまたは形状であってもよい。場合によっては、認識ゾーンは、電子デバイス102の速度または場所、時刻、あるいは、電子デバイス102上で実行されているアプリケーションの状態といったさまざまな要因に基づいて、相互作用マネージャ106によって動的にかつ自動的に調節可能であってもよい。認識ゾーンのしきい値距離は、バッテリーレベル、電子デバイスの場所、電子デバイスの速度、あるいは、レーダーシステム、他のセンサ、または電子デバイス上で実行されているアプリケーションのうちの1つ以上から受信されたデータといった多くの関連要因に基づいて定められ得る。
【0019】
レーダーシステム104のいくつかの実現化例は、低電力の必要性、処理効率の必要性、アンテナ素子の間隔およびレイアウトにおける制限、および他の問題といった問題が集中する電子デバイス102などのスマートフォンの状況で適用される際に特に有利であり、細かい手のジェスチャーのレーダー検出が望まれるスマートフォンの特定の状況でさらに有利である。実現化例は、レーダーによって検出される細かい手のジェスチャーが必要とされるスマートフォンの上述の状況で特に有利であるが、本発明の特徴および利点の利用可能性は必ずしもそう限定されておらず、(たとえば図2を参照して説明されるような)他のタイプの電子デバイスに関わる他の実現化例も本教示の範囲内にあってもよいということが理解されるべきである。
【0020】
物体は、木、プラスチック、金属、布地、人体、または人体部分(たとえば、電子デバイス102のユーザの足、手、または指)といった、レーダーシステム104がレーダー反射を感知して分析することができるさまざまな物体のうちのいずれであってもよい。図1に示すように、物体は、電子デバイス102のユーザの手112である。反射の分析に基づいて、レーダーシステム104は、図3~6を参照して説明されるように、レーダー場110と手112からの反射とに関連付けられたさまざまなタイプの情報を含むレーダーデータを提供することができる(たとえば、レーダーシステム104は、相互作用マネージャ106などの他のエンティティにレーダーデータを渡すことができる)。
【0021】
レーダーデータは、物体(たとえば、レーダー場110内の手112)からの感知され分析された反射に基づいて、時間とともに連続的にまたは定期的に提供され得る。手112の位置は時間とともに変わる場合があり(たとえば、手112はレーダー場110内で動く場合がある)、このため、レーダーデータは、変更された位置、反射、および分析に対応して時間とともに変わる場合がある。レーダーデータは時間とともに変わり得るため、レーダーシステム104は、異なる期間に対応するレーダーデータの1つ以上の部分集合を含むレーダーデータを提供する。たとえば、レーダーシステム104は、第1の期間に対応するレーダーデータの第1の部分集合、第2の期間に対応するレーダーデータの第2の部分集合などを提供できる。場合によっては、レーダーデータの異なる部分集合は、完全にまたは部分的に重複してもよい(たとえば、レーダーデータのある部分集合が、別の部分集合と同じデータのうちの一部またはすべてを含んでいてもよい)。
【0022】
電子デバイス102はまた、ディスプレイ114と、アプリケーションマネージャ116とを含み得る。ディスプレイ114は、タッチスクリーン、液晶ディスプレイ(liquid crystal display:LCD)、薄膜トランジスタ(thin film transistor:TFT)LCD、イン・プレース・スイッチング(in-place switching:IPS)LCD、容量性タッチスクリーンディスプレイ、有機発光ダイオード(organic light emitting diode:OLED)ディスプレイ、アクティブマトリックス有機発光ダイオード(active-matrix organic light-emitting diode:AMOLED)ディスプレイ、スーパーAMOLEDディスプレイなどといった任意の好適な表示デバイスを含み得る。ディスプレイ114は、図10~15を参照してここにさらに詳細に説明される、電子デバイス102のさまざまなモードに関連付けられる視覚要素を表示するために使用される。アプリケーションマネージャ116は、電子デバイス102上で動作しているアプリケーションと通信し相互作用して、アプリケーション間の不一致(たとえば、プロセッサリソース使用量、電力使用量、または、電子デバイス102の他のコンポーネントへのアクセス)を判断し解決することができる。アプリケーションマネージャ116はまた、アプリケーションと相互作用して、タッチ、音声、またはレーダージェスチャーといった、当該アプリケーションの利用可能な入力モードを判断し、当該利用可能なモードを相互作用マネージャ106に通信することができる。
【0023】
相互作用マネージャ106は、電子デバイス102のさまざまなコンポーネント(たとえば、モジュール、マネージャ、システム、インターフェイス、または非レーダーセンサ108のうちの1つ以上)と相互作用するかまたは当該コンポーネントを制御するために使用され得る。たとえば、相互作用マネージャ106は、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力(たとえばレーダージェスチャーアプリケーション)を受信する能力を有すると(独立して、またはアプリケーションマネージャ116を通して)判断することができる。レーダージェスチャー入力は、レーダーデータに基づいていてもよく、レーダーシステム104を通して受信されてもよい。相互作用マネージャ106またはレーダーシステム104はまた、レーダーデータの1つ以上の部分集合を使用して、手112などのユーザの一部分が電子デバイス102のジェスチャーゾーン118内にあると判断することができる。ジェスチャーゾーン118とは、レーダーシステム104(または他のモジュールまたはアプリケーション)がレーダージェスチャーを検出し、当該レーダージェスチャーに関連付けられたアクションを判断することができる、電子デバイス102のまわりの領域または体積である。たとえば、相互作用マネージャ106は、ユーザが電子デバイス102に向かって手を伸ばすことを検出することができる。これを行なうために、相互作用マネージャ106は、電子デバイス102から3インチ、5インチ、7インチ、または9インチ以内といった、電子デバイス102のしきい値距離(ジェスチャーゾーン118)内に手112があると判断することができる。レーダーシステム104は、レーダー場110内のより遠く離れた物体を検出できる一方、ジェスチャーゾーン118は、電子デバイス102およびレーダージェスチャーアプリケーションが、ユーザによる意図的なレーダージェスチャーと、レーダージェスチャーに似ているかもしれない他の種類の動きとを区別するのを助ける。
【0024】
ジェスチャーゾーン118は、場合によっては、定義済であるか、ユーザ選択可能であるか、または、別の方法を介して(たとえば、電力要件、残りのバッテリ寿命、または別の要因に基づいて)定められる静的サイズまたは形状を有する、電子デバイスのまわりの固定体積であってもよい。他の場合、ジェスチャーゾーン118は、電子デバイス102の速度または場所、時刻、電子デバイス102上で実行されているアプリケーションの状態、または別の要因といった要因に基づいて、相互作用マネージャ106によって動的にかつ自動的に調節可能である、電子デバイスのまわりの体積であってもよい。ジェスチャーゾーン118のしきい値距離は、バッテリーレベル、電子デバイスの場所、電子デバイスの速度、あるいは、レーダーシステム、他のセンサ、または電子デバイス上で実行されているアプリケーションのうちの1つ以上から受信されたデータといった多くの関連要因に基づいて定められ得る。ジェスチャーゾーン118のサイズおよび形状は対称的であっても非対称的であってもよく、ジェスチャーの範囲(たとえば、電子デバイスからのしきい値距離)は、電子デバイスからの異なる方向において異なっていてもよい。
【0025】
レーダージェスチャーアプリケーションが電子デバイス上で動作しており、手112(またはユーザの他の一部分)が電子デバイス102のジェスチャーゾーン118内にあると相互作用マネージャ106が判断する場合、相互作用マネージャ106は、それに応答して、ディスプレイ114にフィードバックインジケータ120を提示させることができる。同様に、手112(またはユーザの他の一部分)が電子デバイス102のジェスチャーゾーン118の外側にあり、および/または、レーダージェスチャーアプリケーションはもはや電子デバイス上で動作していないと相互作用マネージャ106が判断する場合、相互作用マネージャ106は、それに応答して、ディスプレイ114にフィードバックインジケータ120の提示を停止させることができる。フィードバックインジケータ120とは、ディスプレイ114のアクティブエリア上に現われる視覚要素といった、ユーザが知覚可能な要素である。フィードバックインジケータ120の出現は、手112(またはユーザの別の一部分)がジェスチャーゾーン118内にあることと、レーダージェスチャーアプリケーションがレーダージェスチャー入力を受信する能力を有することとを示す。フィードバックインジケータ120はまた、ディスプレイ上にない光要素(たとえば、電子デバイスのハウジングまたはベゼル上に搭載された発光ダイオード(LED)またはLEDアレイ)、触覚要素(たとえば振動要素)、および/または、音声要素(たとえばユーザが知覚可能な音)であり得る(または、当該要素を含み得る)。
【0026】
いくつかの実現化例では、レーダージェスチャーアプリケーションが電子デバイス102上で動作しているという判断と、手112(またはユーザの他の一部分)がジェスチャーゾーン118内にあるという判断との前に、電子デバイスは、電子デバイス102または電子デバイス上のアプリケーションがレーダージェスチャーを受信できるものの、レーダーシステム104または相互作用マネージャ106が(たとえばユーザがジェスチャーゾーン内にいないため)電子デバイスまたはアプリケーションがジェスチャーを受信することを防止する状態にある場合がある。これらの実現化例では、レーダージェスチャーアプリケーションが動作しているという判断と、手112がジェスチャーゾーン118内にあるという判断とにより、電子デバイス102は、レーダージェスチャーが許可される状態(たとえば、レーダーシステム104または相互作用マネージャ106が、電子デバイスおよび/またはアプリケーションに、レーダージェスチャーを受信することを許可する状態)に入るようになる。
【0027】
フィードバックインジケータ120は、ディスプレイ114の縁で、または当該縁に沿って提示されてもよい。この文書では、「縁で」および「縁に沿って」という文言は、縁の近くにあること、または縁に隣接すること(たとえば、間隙なしで、または1画素、2画素、3画素などの間隙を有して縁に隣接すること)を指す。フィードバックインジケータ120は、さまざまな形状、サイズ、色、および他の視覚パラメータまたは属性のうちのいずれを有していてもよい。他の視覚パラメータまたは属性の例は、光度、色、コントラスト、形状、彩度、または不透明度を含む。光度とは、人間によって知覚されるオブジェクトの輝度を指し、光度を修正することは、輝き(たとえば輝度)、コントラスト、および/または不透明度を修正することを含んでいてもよい。
【0028】
場合によっては、視覚要素は、視覚要素に近接するディスプレイ114の別の一部分の光度または他の視覚属性とは異なる光度または他の視覚属性を有する、ディスプレイ114のアクティブエリアの一部分であるエリアを有していてもよい。この場合、視覚要素はまた、ディスプレイのアクティブエリアの縁からしきい値距離内にある(たとえば、間隙なしで、または1画素、2画素、3画素、1ミリメートル、2ミリメートル、3ミリメートルなどの間隙を有して縁に隣接する)外部境界のセグメントを有していてもよい。これらの例のうちのいくつかはフィードバックインジケータ120をディスプレイ114の縁でまたは当該縁に沿って提示されるとして説明しているが、フィードバックインジケータ120は、ディスプレイ114上の縁ではない場所に現われてもよい。たとえば、ディスプレイ114の縁は、ディスプレイ114のアクティブエリアの境界で始まり、ディスプレイ114の境界の全長の約15パーセント以下である距離だけ境界から延在するエリアを含んでいてもよい。
【0029】
図1に示す例を考慮されたい。詳細図100-1は、ジェスチャーゾーン118内の手112を示す。詳細図100-1では、相互作用マネージャ106が手112を検出したこと(たとえば、相互作用マネージャ106が、レーダーデータの1つ以上の部分集合を使用して、手112はジェスチャーゾーン118内にあると判断したこと)と、少なくとも1つのレーダージェスチャーアプリケーションが電子デバイス102上で動作していることとを示すために、フィードバックインジケータ120の一例が、より高い光度レベルで例示的なディスプレイ114-1上に提示される。別の詳細図100-2は、ジェスチャーゾーン118の外側の手112を示す。詳細図100-2では、視覚要素122が、例示的なディスプレイ114-2上に提示される。相互作用マネージャ106が、手112はジェスチャーゾーン118の外側にある(および/または、電子デバイス102上で動作しているレーダージェスチャーアプリケーションがない)と判断したことを示すために、視覚要素122は、フィードバックインジケータ120よりも短く、フィードバックインジケータ120と比べて低下した光度(たとえば、30パーセントまたは50パーセントの光度低下)を有する。
【0030】
図1に示す例では、フィードバックインジケータ120および視覚要素122は双方とも、電子デバイス102の上縁に位置するラインとして示される。他の実現化例では、フィードバックインジケータ120および/または視覚要素122は、別のサイズ、別の形状であってもよく、または別の場所に提示されてもよい。また、相互作用マネージャ106は、レーダーデータの1つ以上の部分集合を使用して、フィードバックインジケータ120が手112の小さい動きを追跡することを可能にし、ディスプレイ114上のフィードバックインジケータ120の位置を動的に調節してもよい。フィードバックインジケータ120の位置への動的調節は、ジェスチャーゾーン118内にあるユーザの手112(またはユーザの他の一部分)の動きに対応することができる。フィードバックインジケータ120の位置の調節に加えて、またはそれに代えて、相互作用マネージャ106は、フィードバックインジケータ120の他の視覚属性(たとえば、光度、色、コントラスト、形状、彩度、および/または不透明度)を、手112の動きに対応するやり方で調節することができる。これにより、ユーザは、ユーザの手112の動き(たとえば前後、上下など)に対応してフィードバックインジケータ120が動くかまたは他の態様で動的応答性視覚フィードバックを提供するのを見ることができる。
【0031】
いくつかの実現化例では、フィードバックインジケータ120は、ディスプレイのアクティブエリアの縁でまたは当該縁に沿ってすでに提示されている視覚要素(たとえば、電子デバイス102上で動作しているアプリケーションがレーダージェスチャー入力を受信する能力を有することを示す、以前に提示された視覚要素)への調節として提示されてもよい。たとえば、図1に示す例では、詳細図100-2は、例示的なディスプレイ114-2上にすでに提示されている視覚要素122を示す。ユーザの手112がジェスチャーゾーン118内に戻ると、視覚要素122は、詳細図100-1に示されるような例示的なフィードバックインジケータ120になるように調節されてもよい。この場合、ユーザは手112を引っ込めるかもしれず、レーダージェスチャーアプリケーションが依然として実行されていれば、相互作用マネージャ106はフィードバックインジケータ120の提示を停止し、視覚要素122の提示を再開してもよい。
【0032】
図1に示すように、以前に提示された視覚要素122への調節は、視覚要素122の長さおよび光度の増加である。他の場合、当該調節は、以前に提示された視覚要素122のサイズの変化であってもよい。たとえば、サイズの変化は、以前に提示された視覚要素122のエリアの拡大であってもよい。当該拡大は、以前に提示された視覚要素122を、ディスプレイのアクティブエリアの縁と平行な方向に、ディスプレイのアクティブエリアの縁から遠ざかる方向に、または、ディスプレイのアクティブエリアの縁と平行な方向とディスプレイのアクティブエリアの縁から遠ざかる方向との双方に、拡張することを含んでいてもよい。他の実現化例では、当該調節はまた、または代わりに、光度、色、コントラスト、形状、彩度、および/または不透明度といった、別の視覚属性の変化であってもよい。
【0033】
いくつかの実現化例では、フィードバックインジケータ120がディスプレイ114のアクティブエリアの縁からある距離にわたって延びるにつれて、フィードバックインジケータ120の光度(または他の視覚パラメータ)が変化してもよい(たとえば、形状が縁から遠ざかって延びるにつれて減少または増加する光度を、ディスプレイ114の縁で、または当該縁に沿って有してもよい)。たとえば、フィードバックインジケータ120は、ディスプレイ114の別のエリア(たとえば、フィードバックインジケータ120の周囲または近くのエリア)とは異なる光度を有し、ディスプレイ114の縁に隣接する、ディスプレイ114のエリアとして提示されてもよい。別の例では、フィードバックインジケータ120は、ディスプレイ114とは異なる光度を有し、ディスプレイ114の縁に隣接する、予め定められた厚さを有するラインとして提示されてもよい。
【0034】
フィードバックインジケータ120の色は、それが提示されるディスプレイ114の背景から視覚的に区別可能な任意の好適な色であってもよい。フィードバックインジケータ120の色は、電子デバイス102の動作状態またはディスプレイ114の周囲背景色などのさまざまな要因のうちのいずれかに基づいて変化してもよい。いくつかの実現化例では、相互作用マネージャ106は、フィードバックインジケータ120が表示されるかまたは表示されるであろうディスプレイ114の領域の背景色を決定することができる。背景色を決定することに応答して、相互作用マネージャ106は、ディスプレイ114に、背景色とは異なる別の色でフィードバックインジケータ120を提示させることができる。フィードバックインジケータ120の異なる色は、フィードバックインジケータ120と背景色との人間が識別可能なコントラストを提供して、ユーザがフィードバックインジケータ120を見ることをより容易にすることができる。場合によっては、相互作用マネージャ106は、背景色への変化に基づいて、フィードバックインジケータ120の色を連続的に、自動的に、かつ動的に調節することができる。
【0035】
フィードバックインジケータ120は、いくつかの実現化例では、少なくとも部分的に、簡潔なアニメーションとして現われてもよい。たとえば、フィードバックインジケータ120は、アクティブなディスプレイの縁に現われ、次に伸びるかまたは縮んでから、デフォルト外観を呈してもよい。同様に、フィードバックインジケータ120が現われるかまたは消える(たとえば、レーダージェスチャーアプリケーションが動作を停止する場合)につれて色、光度、または形状が変化してから、デフォルト外観を呈してもよい。
【0036】
場合によっては、フィードバックインジケータ120は、ディスプレイ114の領域に現われる要素ではなく、ディスプレイ114上に現われる画像であってもよい。画像は、光度、彩度、色などといったディスプレイ114の周囲背景のパラメータとは異なる視覚パラメータを有していてもよい。他の場合、周囲背景は画像であってもよく、フィードバックインジケータ120は、光度、彩度、色などといった視覚パラメータが異なった、同じ画像である。このように、フィードバックインジケータ120は、電子デバイス102と相互作用するためにレーダージェスチャーが利用可能であるモードで電子デバイスが動作していることをユーザに通信することによって、ユーザの体験を向上させることができる。フィードバックインジケータ120の追加の詳細および例は、図8を参照して説明される。
【0037】
いくつかの実現化例では、フィードバックインジケータ120の場所は、ディスプレイ114上のコンテンツの配向に基づいて定められてもよい。たとえば、相互作用マネージャ106は、ディスプレイ114上のコンテンツの配向を、アプリケーションマネージャ116から(または別のソースから)取得してもよい。相互作用マネージャ106はまた、コンテンツの配向に基づいて、コンテンツと相互作用するために使用され得るレーダージェスチャー入力の方向を判断することができる。レーダージェスチャー入力の方向に基づいて、相互作用マネージャ106はディスプレイに、レーダージェスチャー入力の方向に対応するディスプレイ114のアクティブエリアの特定の縁でフィードバックインジケータ120を提示させることができる。このため、表示されたコンテンツの状況が水平である(たとえば、レーダージェスチャーの方向が左から右、または右から左である)場合、フィードバックインジケータ120は、レーダージェスチャーが水平であることをユーザに示すのに役立つように、上縁または底縁で表示される。同様に、表示されたコンテンツの状況が垂直である(たとえば、レーダージェスチャーの方向が下から上、または上から下である)場合、フィードバックインジケータ120は、レーダージェスチャーが垂直であることをユーザに示すのに役立つように、側縁で表示される。
【0038】
さらに、相互作用マネージャ106はまた、ユーザに対する電子デバイス102の配向の変化を検出可能であってもよい。たとえば、ユーザは、ビデオを見るためにデバイスを垂直配向から水平配向へ回転させるか、または、記事を読むためにデバイスを水平配向から垂直配向へ回転させる場合がある。配向の変化に基づいて、相互作用マネージャ106はディスプレイ114に、アクティブなディスプレイの異なる縁でフィードバックインジケータ120を提示させることができる。この異なる縁は、ユーザに対するフィードバックインジケータ120の配向および場所を維持することができる(たとえば、デバイスに対するユーザの配向が変化するにつれて、フィードバックインジケータ120は動くかまたは移動する)。このため、フィードバックインジケータ120がディスプレイ114の上縁に位置付けられ、ユーザが電子デバイス102を回転させる場合、フィードバックインジケータ120の場所は、それがユーザに対して「上部」にとどまるように、ある縁から別の縁へ変化する。述べられたように、相互作用マネージャ106はコンテンツの配向も考慮に入れ、これらの特徴は、フィードバックインジケータ120を、ディスプレイ114上の、ディスプレイ114上のコンテンツの配向とユーザに対するディスプレイ114の配向との双方にとって適切な場所で提示するために、互いにともに使用され得る。
【0039】
いくつかの実現化例では、相互作用マネージャ106は、電子デバイス102上のレーダージェスチャーアプリケーションが、制御機構が提示されていない全画面モードなどの没入型モードで動作していると判断することができる。この判断に応答して、相互作用マネージャはディスプレイ114にフィードバックインジケータ120を定期的に提示させることができる。たとえば、ディスプレイ114は、提示持続時間の間、フィードバックインジケータ120を提示し、次に、非提示持続時間の間、フィードバックインジケータ120の提示を停止することができる。提示持続時間および非提示持続時間は双方とも、予め定められていてもよく、または選択可能であってもよい。場合によっては、これらの持続時間は、没入型モードで実行されているレーダージェスチャーアプリケーションのタイプ(たとえば、ゲーム、またはストリーミングメディアプレーヤー)、レーダージェスチャーアプリケーションのステータス、または、ユーザがレーダージェスチャーを採用する頻度といったさまざまな要因に基づいて、(たとえばユーザによって)ユーザ選択可能であってもよく、または相互作用マネージャ106によって選択されてもよい。
【0040】
いくつかの実現化例では、ユーザがレーダージェスチャー以外の入力(たとえばタッチ入力または音声入力)を使用して電子デバイス102と相互作用する場合、フィードバックインジケータ120は薄くなるかまたは完全に消えてもよい。たとえば、レーダージェスチャーアプリケーションが電子デバイス102上で動作している間、ユーザはタッチ指令を使用して別のアプリケーションを起動しようと決めてもよい。この場合、ユーザが電子デバイス102を手に取るかまたはディスプレイ114を触ると、フィードバックインジケータ120は薄くなるかまたは消えてもよい。ユーザがディスプレイ114を触るのをやめるかまたは電子デバイス102を下に置くと、1つ以上のレーダージェスチャーアプリケーションが電子デバイス102上で動作していれば、フィードバックインジケータ120は再び現われる(または明るくなる)。タッチ入力または音声入力が終了すると、または、選択可能な持続時間の後で、フィードバックインジケータ120はすぐに再び現われるかまたは明るくなってもよい。同様に、レーダージェスチャーアプリケーションがアラートまたは通知を提供するアプリケーションである場合、アラートまたは通知が表示されると、たとえばカレンダーリマインダが表示されると、フィードバックインジケータ120が現われる。ユーザがレーダージェスチャーを使用してアラートまたは通知と相互作用する(たとえば、アラートまたは通知を消すかリセットする)と、他のジェスチャーサブスクライブアプリケーションが実行されていなければ、フィードバックインジケータ120は消える。
【0041】
フィードバックインジケータ120は、電子デバイス102がロック状態またはロック解除状態にある間に提示されてもよい。たとえば、電子デバイス102は、ユーザが近くに(たとえば認識ゾーン内に)いるものの認証されていない場合、または、認証されたユーザが近くにいる場合に、(手112がジェスチャーゾーン118内にあることと、レーダージェスチャーアプリケーションが実行されていることとを示すために)フィードバックインジケータ120を提示してもよい。ロック状態およびロック解除状態は、電子デバイス102へのアクセスのレベルを指す。ロック状態とは、どのユーザも認証されておらず、デバイスを使用する人は誰でも、完全ではない権利またはアクセス(たとえば、アクセスまたは権利がないこと、あるいは、制限されたアクセスまたは権利)を有するであろう状態であってもよい。ロック状態の例は、ここに説明されるような電子デバイス102の認識モードおよび関与モードを含んでいてもよい。同様に、ロック解除状態とは、少なくとも1人のユーザが認証され、そのユーザがデバイスに対する完全な権利および/またはアクセスを有する状態であり得る。ロック解除状態の一例は、ここに説明されるような電子デバイス102のアクティブモードである。場合によっては、ロック状態またはロック解除状態は、電子デバイス102のタイプ、構成、またはステータス(たとえばバッテリーレベルまたは接続性ステータス)に依存して、さまざま属性を有していてもよい。したがって、異なるデバイスについての、または異なる状況における同じデバイスについてのロック状態およびロック解除状態の属性は、それらの要因に依存して、重複していてもよく、または類似した特徴を含んでいてもよい。
【0042】
より詳細には、モバイルデバイスのための入力方法を実現できる(レーダーシステム104と相互作用マネージャ106と非レーダーセンサ108とディスプレイ114とアプリケーションマネージャ116とを含む)電子デバイス102の例示的な実現化例200を示す図2を考慮されたい。図2の電子デバイス102は、スマートフォン102-1、タブレット102-2、ラップトップ102-3、デスクトップコンピュータ102-4、コンピューティングウォッチ102-5、ゲーミングシステム102-6、コンピューティング眼鏡102-7、ホームオートメーションおよび制御システム102-8、スマート冷蔵庫102-9、ならびに自動車102-10を含むさまざまな例示的デバイスとともに図示される。電子デバイス102はまた、テレビ、娯楽システム、オーディオシステム、ドローン、トラックパッド、ドローイングパッド、ネットブック、電子リーダ、ホームセキュリティシステム、および他の家庭用機器といった他のデバイスを含み得る。なお、電子デバイス102はウェアラブルであってもよく、非ウェアラブルであるもののモバイルであってもよく、または、比較的非モバイル(たとえば、デスクトップおよび機器)であってもよい。
【0043】
いくつかの実現化例では、電子デバイス102の例示的な全体的横寸法は、約8センチメートル×約15センチメートルであり得る。レーダーシステム104の例示的な設置面積は、アンテナを含めて約4ミリメートル×6ミリメートルといったように、さらにより制限され得る。レーダーシステム104のためのそのような制限された設置面積についてのこの要件は、電子デバイス102の多くの他の望ましい機能(たとえば指紋センサ、非レーダーセンサ108など)をそのような空間が制限されたパッケージ内に収容することである。電力制限および処理制限と組合されると、このサイズ要件は、レーダージェスチャー検出の精度および効力における妥協をもたらし得るが、妥協のうちの少なくともいくつかは、ここでの教示に鑑みて克服され得る。
【0044】
電子デバイス102はまた、1つ以上のコンピュータプロセッサ202と1つ以上のコンピュータ読取可能媒体204とを含み、コンピュータ読取可能媒体204は、メモリ媒体と記憶媒体とを含む。コンピュータ読取可能媒体204上のコンピュータ読取可能命令として実現されるアプリケーションおよび/またはオペレーティングシステム(図示せず)は、ここに説明される機能性のうちのいくつかまたはすべてを提供するためにコンピュータプロセッサ202によって実行され得る。たとえば、プロセッサ202は、レーダーベースの相互作用マネージャ106および/またはアプリケーションマネージャ116を実現するためにコンピュータ読取可能媒体204上の命令を実行するために使用され得る。電子デバイス102はまた、ネットワークインターフェイス206を含んでいてもよい。電子デバイス102は、有線ネットワーク、無線ネットワーク、または光ネットワークを通してデータを通信するためにネットワークインターフェイス206を使用することができる。限定ではなく例示として、ネットワークインターフェイス206は、ローカルエリアネットワーク(local-area-network:LAN)、無線ローカルエリアネットワーク(wireless local-area-network:WLAN)、パーソナルエリアネットワーク(personal-area-network:PAN)、ワイドエリアネットワーク(wide-area-network :WAN)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを通してデータを通信してもよい。
【0045】
レーダーシステム104のさまざまな実現化例は、システム・オン・チップ(System-on-Chip:SoC)、1つ以上の集積回路(Integrated Circuit:IC)、埋込まれたプロセッサ命令を有するかまたはメモリに格納されたプロセッサ命令にアクセスするように構成されたプロセッサ、埋込まれたファームウェアを有するハードウェア、さまざまなハードウェアコンポーネントを有するプリント回路基板、またはそれらの任意の組合せを含み得る。レーダーシステム104は、それ自体のレーダー信号を送受信することによってモノスタティックレーダーとして動作することができる。
【0046】
いくつかの実現化例では、レーダーシステム104はまた、バイスタティックレーダー、マルチスタティックレーダー、またはネットワークレーダーを実現するために、外部環境内にある他のレーダーシステム104と協働してもよい。しかしながら、電子デバイス102の制約または制限が、レーダーシステム104の設計に影響を与える場合がある。電子デバイス102は、たとえば、レーダーを動作させるために利用可能な電力の制限、計算能力の制限、サイズ制約、レイアウト制約、レーダー信号を減衰させるかまたは歪める外部ハウジングなどを有する場合がある。レーダーシステム104は、図3に関して以下にさらに説明されるように、これらの制約が存在する状態で高度のレーダー機能性および高性能が実現されることを可能にするいくつかの特徴を含む。なお、図2では、レーダーシステム104および相互作用マネージャ106は、電子デバイス102の一部として示される。他の実現化例では、レーダーシステム104および相互作用マネージャ106のいずれかまたは双方が、電子デバイス102から離れているかまたはリモートであってもよい。
【0047】
これらのおよび他の能力および構成と、図1のエンティティが作用し相互作用するやり方とを、以下により詳細に述べる。これらのエンティティは、さらに分割されたり、組合されたりしてもよい。図1の環境100と、図2~15の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示す。図3~6は、レーダーシステム104の追加の詳細および特徴を説明する。図3~6では、レーダーシステム104は電子デバイス102の状況で説明されるが、上述のように、説明されるシステムおよび手法の特徴および利点の利用可能性は必ずしもそう限定されておらず、他のタイプの電子デバイスに関わる他の実現化例も本教示の範囲内にあってもよい。
【0048】
図3は、モバイルデバイスのための入力方法を可能にするために使用され得るレーダーシステム104の例示的な実現化例300を示す。例300では、レーダーシステム104は、通信インターフェイス302、アンテナアレイ304、トランシーバ306、プロセッサ308、およびシステム媒体310(たとえば、1つ以上のコンピュータ読取可能記憶媒体)というコンポーネントの各々のうちの少なくとも1つを含む。プロセッサ308は、デジタル信号プロセッサ、コントローラ、アプリケーションプロセッサ、他のプロセッサ(たとえば、電子デバイス102のコンピュータプロセッサ202)、またはそれらの何らかの組合せとして実現され得る。電子デバイス102のコンピュータ読取可能媒体204内に含まれていても、またはコンピュータ読取可能媒体204から離れていてもよいシステム媒体310は、減衰緩和器314、デジタルビーム形成器316、角度推定器318、または電力マネージャ320というモジュールのうちの1つ以上を含む。これらのモジュールは、電子デバイス102内へのレーダーシステム104の一体化を補償するかまたは当該一体化の影響を緩和することができ、それにより、レーダーシステム104が、小さいジェスチャーまたは複雑なジェスチャーを認識すること、ユーザの異なる配向を区別すること、外部環境を連続的に監視すること、または、目標誤警報確率を実現することを可能にする。これらの特徴を有して、レーダーシステム104は、図2に示すデバイスなどのさまざまな異なるデバイス内で実現され得る。
【0049】
通信インターフェイス302を使用して、レーダーシステム104はレーダーデータを相互作用マネージャ106に提供することができる。通信インターフェイス302は、レーダーシステム104が電子デバイス102から離れてまたは電子デバイス102内に一体化されて実現されることに基づいて、無線または有線インターフェイスであってもよい。アプリケーションに依存して、レーダーデータは、未加工データまたは最小限に処理されたデータ、同相および直交位相(in-phase and quadrature:I/Q)データ、レンジドップラーデータ、目標位置情報(たとえば範囲、方位角、仰角)を含む処理済データ、クラッタマップデータなどを含んでいてもよい。一般に、レーダーデータは、モバイルデバイスのための入力方法のために相互作用マネージャ106によって使用可能な情報を含む。
【0050】
アンテナアレイ304は、少なくとも1つの送信アンテナ素子(図示せず)と、(図4に示すような)少なくとも2つの受信アンテナ素子とを含む。場合によっては、アンテナアレイ304は、複数の別個の波形(たとえば、送信アンテナ素子ごとに異なる波形)を一度に送信することができるマルチ入力マルチ出力(multiple-input multiple-output:MIMO)レーダーを実現するために、複数の送信アンテナ素子を含んでいてもよい。複数の波形の使用は、レーダーシステム104の測定精度を高め得る。3つ以上の受信アンテナ素子を含む実現化例のために、受信アンテナ素子は、1次元形状(たとえば線)または2次元形状で位置付けられ得る。1次元形状は、レーダーシステム104が1つの角度寸法(たとえば、方位角または仰角)を測定することを可能にし、一方、2次元形状は、2つの角度寸法(たとえば、方位角および仰角の双方)が測定されることを可能にする。受信アンテナ素子の例示的な2次元配置を、図4に関してさらに説明する。
【0051】
図4は、受信アンテナ素子402の例示的な配置400を示す。アンテナアレイ304がたとえば少なくとも4つの受信アンテナ素子402を含む場合、受信アンテナ素子402は、図4の中央に示されるような矩形配置404-1で配置され得る。これに代えて、アンテナアレイ304が少なくとも3つの受信アンテナ素子402を含む場合、三角形配置404-2またはL字形配置404-3が使用されてもよい。
【0052】
電子デバイス102のサイズまたはレイアウト制約により、受信アンテナ素子402間の素子間隔、または受信アンテナ素子402の数量が、レーダーシステム104が監視する際の角度にとって理想的ではない場合がある。特に、素子間隔は、従来のレーダーがターゲットの角度位置を推定することを困難にする角度曖昧性を存在させる場合がある。従来のレーダーはしたがって、角度曖昧性を有する曖昧なゾーンを回避し、それによって誤検出を減少させるために、視野(たとえば、監視されるべき角度)を制限する場合がある。たとえば、従来のレーダーは、5ミリメートル(mm)の波長および3.5mmの素子間隔(たとえば、素子間隔は波長の70%である)を使用して生じる角度曖昧性を回避するために、視野を約-45度~45度の角度に制限する場合がある。したがって、従来のレーダーは、視野の45度の限度を超えるターゲットを検出できないかもしれない。対照的に、レーダーシステム104はデジタルビーム形成器316と角度推定器318とを含み、それらは角度曖昧性を解決し、レーダーシステム104が、約-90度~90度の角度、または約-180度および180度までの角度といった、45度の限度を超える角度を監視することを可能にする。これらの角度範囲は、1つ以上の方向(たとえば、方位角および/または仰角)にわたって適用され得る。したがって、レーダーシステム104は、レーダー信号の中心波長の半分よりも小さい、または大きい、または当該中心波長の半分と等しい素子間隔を含む、さまざまな異なるアンテナアレイ設計のために、低い誤警報確率を実現することができる。
【0053】
アンテナアレイ304を使用して、レーダーシステム104は、操向されるかまたは操向されていない、広いかまたは狭い、もしくは(たとえば半球、立方体、扇、円錐、または円筒として)形作られたビームを形成することができる。一例として、1つ以上の送信アンテナ素子(図示せず)は、操向されていない全方向放射パターンを有していてもよく、または、広い送信ビーム406などの広いビームを生成可能であってもよい。これらの手法のいずれも、レーダーシステム104が大きい空間体積を照明することを可能にする。しかしながら、目標角度精度および角度分解能を達成するために、受信アンテナ素子402およびデジタルビーム形成器316は、狭い受信ビーム408などの何千もの狭い操向されているビーム(たとえば2000本のビーム、4000本のビーム、または6000本のビーム)を生成するために使用され得る。このように、レーダーシステム104は、外部環境を効率的に監視し、外部環境内の反射の到来角を正確に判断することができる。
【0054】
図3に戻って、トランシーバ306は、アンテナアレイ304を介してレーダー信号を送受信するための回路およびロジックを含む。トランシーバ306のコンポーネントは、レーダー信号を調整するための増幅器、ミキサー、スイッチ、アナログ/デジタル変換器、フィルタなどを含み得る。トランシーバ306はまた、変調または復調などの同相/直交位相(I/Q)動作を行なうためのロジックを含み得る。トランシーバ306は、連続波レーダー動作またはパルスレーダー動作のために構成され得る。レーダー信号を生成するために、線形周波数変調、三角形周波数変調、階段状周波数変調、または位相変調を含むさまざまな変調が使用され得る。
【0055】
トランシーバ306は、1ギガヘルツ(GHz)~400GHz、4GHz~100GHz、または57GHz~63GHzといった、ある範囲の周波数(たとえば周波数スペクトル)内のレーダー信号を生成することができる。周波数スペクトルは、同様の帯域幅または異なる帯域幅を有する複数のサブスペクトルに分割され得る。帯域幅は、500メガヘルツ(MHz)、1GHz、2GHzなどのオーダーであり得る。一例として、異なる周波数サブスペクトルは、約57GHz~59GHz、59GHz~61GHz、または61GHz~63GHzの周波数を含んでいてもよい。同じ帯域幅を有し、隣接していても隣接していなくてもよい複数の周波数サブスペクトルはまた、干渉性のために選択されてもよい。複数の周波数サブスペクトルは、単一のレーダー信号または複数のレーダー信号を使用して、同時に送信されてもよく、または時間的に隔てられてもよい。隣接している周波数サブスペクトルは、レーダー信号がより広い帯域幅を有することを可能にし、一方、隣接していない周波数サブスペクトルは、角度推定器318が角度曖昧性を解決することを可能にする振幅および位相の差をさらに強調することができる。減衰緩和器314または角度推定器318は、図5および図6に関してさらに説明されるように、レーダーシステム104の性能を向上させるためにトランシーバ306に1つ以上の周波数サブスペクトルを利用させてもよい。
【0056】
電力マネージャ320は、レーダーシステム104が電子デバイス102内で電力を内部または外部で節約することを可能にする。いくつかの実現化例では、電力マネージャ320は、相互作用マネージャ106と通信して、レーダーシステム104または電子デバイス102のいずれかまたは双方の内部で電力を節約する。たとえば、内部では、電力マネージャ320は、レーダーシステム104に、定義済電力モードまたは特定のジェスチャーフレーム更新レートを使用してデータを収集させ得る。ジェスチャーフレーム更新レートは、レーダーシステム104が1つ以上のレーダー信号を送受信することによってどれくらい頻繁に外部環境をアクティブに監視するかを表わす。概して言えば、消費電力は、ジェスチャーフレーム更新レートに比例する。そのため、より高いジェスチャーフレーム更新レートは、より多い量の電力がレーダーシステム104によって消費されることをもたらす。
【0057】
各定義済電力モードは、特定のフレーミング構造、特定の送信電力レベル、または特定のハードウェア(たとえば、低電力プロセッサまたは高電力プロセッサ)に関連付けられ得る。これらのうちの1つ以上を調節することは、レーダーシステム104の消費電力に影響を与える。しかしながら、消費電力を減少させることは、ジェスチャーフレーム更新レートおよび応答遅延といった性能に影響を与える。この場合、電力マネージャ320は、環境内での活動に基づいてジェスチャーフレーム更新レート、応答遅延および消費電力がともに管理されるように異なる電力モード間を動的に切り替える。一般に、電力マネージャ320は、電力がいつ、どのように節約され得るかを判断し、レーダーシステム104が電子デバイス102の電力制限内で動作することを可能にするように消費電力を徐々に調節する。場合によっては、電力マネージャ320は、残りの利用可能電力の量を監視し、それに応じてレーダーシステム104の動作を調節してもよい。たとえば、残りの電力の量が少ない場合、電力マネージャ320は、より高い電力モードに切り替わる代わりに、より低い電力モードで動作し続けてもよい。
【0058】
より低い電力モードは、たとえば、数ヘルツ(たとえば約1Hz、または5Hz未満)のオーダーのより低いジェスチャーフレーム更新レートを使用し、数ミリワット(mW)(たとえば約2mW~4mW)のオーダーの電力を消費してもよい。一方、より高い電力モードは、数十ヘルツ(Hz)(たとえば約20Hz、または10Hzを上回る)のオーダーのより高いジェスチャーフレーム更新レートを使用してもよく、それは、レーダーシステム104に、数ミリワット(たとえば約6mW~20mW)のオーダーの電力を消費させる。より低い電力モードは、外部環境を監視するかまたは接近するユーザを検出するために使用され得るが、ユーザがジェスチャーを行ない始めているとレーダーシステム104が判断した場合、電力マネージャ320はより高い電力モードに切り替えてもよい。異なるトリガが、電力マネージャ320に、異なる電力モード間を動的に切り替えることを行なわせてもよい。例示的なトリガは、動きまたは動きの欠如、ユーザが現われることまたはいなくなること、ユーザが指定領域(たとえば、範囲、方位角、または仰角によって定義された領域)に入ることまたは当該指定領域から出ること、ユーザに関連付けられた動きの速度の変化、あるいは、(たとえば、レーダー断面の変化による)反射信号強度の変化を含む。一般に、ユーザが電子デバイス102と相互作用する可能性がより低いこと、または、より長い応答遅延を使用してデータを収集することを好むことを示すトリガは、電力を節約するためにより低い電力モードを起動させてもよい。
【0059】
各電力モードは、特定のフレーミング構造に関連付けられ得る。フレーミング構造は、レーダー信号の送受信に関連付けられた構成、スケジューリング、および信号特性を特定する。一般に、フレーミング構造は、適切なレーダーデータが外部環境に基づいて収集され得るようにセットアップされる。フレーミング構造は、異なるアプリケーション(たとえば近接検出、特徴認識、またはジェスチャー認識)のための異なるタイプのレーダーデータの収集を容易にするためにカスタマイズされ得る。フレーミング構造の各レベル全体にわたる非アクティブ時間中、電力マネージャ320は、電力を節約するために、図3のトランシーバ306内のコンポーネントをオフにすることができる。フレーミング構造は、電力が、各フレームタイプ内の調節可能なデューティサイクルを通して節約されることを可能にする。たとえば、第1のデューティサイクルは、特徴フレームの総数量に対するアクティブ特徴フレームの数量に基づき得る。第2のデューティサイクルは、レーダーフレームの総数量に対するアクティブレーダーフレームの数量に基づき得る。第3のデューティサイクルは、レーダーフレームの持続時間に対するレーダー信号の持続時間に基づき得る。
【0060】
約2mWの電力を消費し、約1Hz~4Hzのジェスチャーフレーム更新レートを有するより低い電力モードについての例示的なフレーミング構造(図示せず)を考慮されたい。この例では、フレーミング構造は、約250ms~1秒の持続時間を有するジェスチャーフレームを含む。ジェスチャーフレームは、31個のパルスモード特徴フレームを含む。31個のパルスモード特徴フレームのうちの1つが、アクティブ状態にある。これは、デューティサイクルが約3.2%に等しいことをもたらす。各パルスモード特徴フレームの持続時間は、約8ms~32msである。各パルスモード特徴フレームは、8個のレーダーフレームから構成される。アクティブパルスモード特徴フレーム内では、8個のレーダーフレームはすべてアクティブ状態にある。これは、デューティサイクルが100%に等しいことをもたらす。各レーダーフレームの持続時間は、約1ms~4msである。各アクティブレーダーフレーム内のアクティブ時間は、約32μs~128μsである。そのため、結果として生じるデューティサイクルは、約3.2%である。この例示的なフレーミング構造は、良好な性能結果を生み出すことが分かっている。これらの良好な性能結果は、良好なジェスチャー認識および存在検出に関するものであり、低電力状態にあるハンドヘルドスマートフォンの適用状況においても良好な電力効率結果を生み出す。この例示的なフレーミング構造に基づいて、電力マネージャ320は、レーダーシステム104がレーダーデータをアクティブに収集していない時間を判断することができる。この非アクティブ期間に基づいて、電力マネージャ320は、以下にさらに説明されるように、レーダーシステム104の動作状態を調節し、トランシーバ306の1つ以上のコンポーネントをオフにすることによって、電力を節約することができる。
【0061】
電力マネージャ320はまた、非アクティブ期間の間、トランシーバ306内の1つ以上のコンポーネント(たとえば電圧制御発振器、マルチプレクサ、アナログ/デジタル変換器、位相ロックループ、または水晶発振器)をオフにすることによって、電力を節約することができる。これらの非アクティブ期間は、マイクロ秒(μs)、ミリ秒(ms)、または秒(s)のオーダーであり得るレーダー信号をレーダーシステム104がアクティブに送信または受信していない場合に生じる。また、電力マネージャ320は、信号増幅器によって提供される増幅の量を調節することによって、レーダー信号の送信電力を修正することができる。加えて、電力マネージャ320は、電力を節約するために、レーダーシステム104内の異なるハードウェアコンポーネントの使用を制御することができる。プロセッサ308がたとえばより低い電力のプロセッサおよびより高い電力のプロセッサ(たとえば、異なる量のメモリおよび計算能力を有するプロセッサ)を含む場合、電力マネージャ320は、低レベル分析(たとえば、アイドルモードを実現すること、動きを検出すること、ユーザの場所を判断すること、または環境を監視すること)のためにより低い電力のプロセッサを利用することと、高忠実度または正確なレーダーデータが相互作用マネージャ106によって要求される場合のために(たとえば、認識モード、関与モード、またはアクティブモード、ジェスチャー認識、またはユーザ配向を実現するために)より高い電力のプロセッサを利用することとを切り替えることができる。
【0062】
また、電力マネージャ320は、電子デバイス102のまわりの環境の状況を判断することができる。その状況から、電力マネージャ320は、どの電力状態が利用可能になるべきか、および、それらはどのように構成されるかを判断することができる。たとえば、電子デバイス102がユーザのポケットの中にある場合、ユーザは電子デバイス102に近接しているとして検出されるが、レーダーシステム104が高いジェスチャーフレーム更新レートを有するより高い電力モードで動作する必要はない。したがって、電力マネージャ320は、ユーザが電子デバイス102に近接しているとして検出されても、レーダーシステム104をより低い電力モードのままにし、ディスプレイ114をオフ状態または他のより低い電力状態のままにすることができる。電子デバイス102は、その環境の状況を、任意の好適な非レーダーセンサ108(たとえばジャイロスコープ、加速度計、光センサ、近接センサ、容量性センサなど)をレーダーシステム104と組合せて使用して判断することができる。状況は、時刻、暦日、明るさ/暗さ、ユーザの近くのユーザの数、周囲のノイズレベル、電子デバイス102に対する周囲の物体(ユーザを含む)の動きのスピードなどを含んでいてもよい。
【0063】
図5は、電子デバイス102内のレーダーシステム104の例示的な実現化例500の追加の詳細を示す。例500では、アンテナアレイ304は、ガラスカバーまたは外部ケースといった、電子デバイス102の外部ハウジングの下に位置付けられる。その材料特性に依存して、外部ハウジングは減衰器502として作用する場合があり、それは、レーダーシステム104によって送受信されるレーダー信号を減衰させるかまたは歪める。減衰器502は、異なるタイプのガラスまたはプラスチックを含んでいてもよく、それらのいくつかは、電子デバイス102のディスプレイスクリーン、外部ハウジング、または他のコンポーネント内で見つかってもよく、約4~10の誘電率(たとえば比誘電率)を有していてもよい。したがって、減衰器502はレーダー信号506に対して不透過性または半透過性であり、送信または受信されたレーダー信号506の一部が(反射部分504によって示されるように)反射されることをもたらし得る。従来のレーダーについては、減衰器502は、監視可能な有効範囲を減少させ、小さいターゲットが検出されることを防止し、または、全体的精度を減少させ得る。
【0064】
レーダーシステム104の送信電力が制限され、外部ハウジングの再設計が望ましくないと仮定すると、レーダー信号506の1つ以上の減衰依存特性(たとえば、周波数サブスペクトル508または操向角510)、もしくは、減衰器502の減衰依存特性(たとえば、減衰器502とレーダーシステム104との間の距離512、または減衰器502の厚さ514)が、減衰器502の影響を緩和するために調節される。これらの特性のうちのいくつかは、製造中に設定され、または、レーダーシステム104の動作中に減衰緩和器314によって調節され得る。減衰緩和器314はたとえば、トランシーバ306が、選択された周波数サブスペクトル508または操向角510を使用してレーダー信号506を送信するようにし、プラットフォームが、距離512を変更するためにレーダーシステム104を減衰器502に近づくかまたは減衰器502から遠ざかるように動かすようにし、もしくは、ユーザに、減衰器502の厚さ514を増加させるために別の減衰器を適用するよう促し得る。
【0065】
減衰器502の予め定められた特性(たとえば、電子デバイス102のコンピュータ読取可能媒体204に、またはシステム媒体310内に格納された特性)に基づいて、もしくは、減衰器502の1つ以上の特性を測定するためにレーダー信号506のリターンを処理することによって、適切な調節が減衰緩和器314によって行なわれ得る。減衰依存特性のうちのいくつかが固定または制約されても、減衰緩和器314は、これらの制限を考慮に入れて、各パラメータのバランスを取り、目標レーダー性能を達成することができる。その結果、減衰緩和器314は、レーダーシステム104が、減衰器502の反対側に位置するユーザを検出して追跡するための高められた精度およびより大きい有効範囲を実現することを可能にする。これらの手法は、レーダーシステム104の消費電力を増加させる送信電力の増加に対する代替案、または、デバイスがいったん生産され始めると困難で高価になり得る減衰器502の材料特性の変更に対する代替案を提供する。
【0066】
図6は、レーダーシステム104によって実現される例示的なスキーム600を示す。スキーム600の部分は、プロセッサ308、コンピュータプロセッサ202、または他のハードウェア回路によって行なわれてもよい。スキーム600は、異なるタイプの電子デバイスおよびレーダーベースのアプリケーション(たとえば相互作用マネージャ106)をサポートするためにカスタマイズ可能であり、また、レーダーシステム104が設計制約にもかかわらず目標角度精度を達成することを可能にする。
【0067】
トランシーバ306は、受信されたレーダー信号に対する受信アンテナ素子402の個々の応答に基づいて、生データ602を生成する。受信されたレーダー信号は、角度曖昧性の解決を容易にするために角度推定器318によって選択された1つ以上の周波数サブスペクトル604に関連付けられてもよい。周波数サブスペクトル604はたとえば、サイドローブの量を減少させるように、または、サイドローブの振幅を減少させる(たとえば、振幅を0.5dB、1dB、またはそれ以上減少させる)ように選択されてもよい。周波数サブスペクトルの量は、レーダーシステム104の目標角度精度または計算制限に基づいて判断され得る。
【0068】
生データ602は、受信アンテナ素子402にそれぞれ関連付けられた期間、異なる波数、および複数のチャネルについてのデジタル情報(たとえば、同相および直交位相データ)を含む。生データ602に対して高速フーリエ変換(Fast-Fourier Transform:FFT)606が行なわれ、前処理済データ608を生成する。前処理済データ608は、当該期間にわたって、異なる範囲(たとえば、範囲ビン)についての、および当該複数のチャネルについてのデジタル情報を含む。前処理済データ608に対してドップラーフィルタリングプロセス610が行なわれ、レンジドップラーデータ612を生成する。ドップラーフィルタリングプロセス610は、複数の範囲ビン、複数のドップラー周波数についての、および当該複数のチャネルについての振幅および位相情報を生成する別のFFTを含んでいてもよい。レンジドップラーデータ612に基づいて、デジタルビーム形成器316はビーム形成データ614を生成する。ビーム形成データ614は、デジタルビーム形成器316によって異なる操向角またはビームが形成される視野を表わす1組の方位角および/または仰角についてのデジタル情報を含む。図示されていないものの、これに代えて、デジタルビーム形成器316は、前処理済データ608に基づいてビーム形成データ614を生成してもよく、ドップラーフィルタリングプロセス610は、ビーム形成データ614に基づいてレンジドップラーデータ612を生成してもよい。計算量を減少させるために、デジタルビーム形成器316は、対象の範囲、時間、またはドップラー周波数間隔に基づいて、レンジドップラーデータ612または前処理済データ608の一部を処理してもよい。
【0069】
デジタルビーム形成器316は、シングルルックビーム形成器616、マルチルック干渉計618、またはマルチルックビーム形成器620を使用して実現され得る。一般に、シングルルックビーム形成器616は、決定論的物体(たとえば、単一の位相中心を有するポイントソースターゲット)のために使用され得る。非決定論的ターゲット(たとえば、複数の位相中心を有するターゲット)については、マルチルック干渉計618またはマルチルックビーム形成器620が、シングルルックビーム形成器616と比べて精度を向上させるために使用される。人間は、非決定論的ターゲットの一例であり、624-1および624-2で示されるような異なるアスペクト角に基づいて変わり得る複数の位相中心622を有する。複数の位相中心622によって生成された建設的または相殺的干渉における変動は、従来のレーダーが角度位置を正確に判断することを困難にし得る。しかしながら、マルチルック干渉計618またはマルチルックビーム形成器620は、ビーム形成データ614の精度を高めるために干渉平均化を行なう。マルチルック干渉計618は、2つのチャネルの干渉平均化を行ない、角度情報を正確に判断するために使用され得る位相情報を生成する。一方、マルチルックビーム形成器620は、フーリエ、カポン(Capon)、多重信号分類(multiple signal classification:MUSIC)、または最小分散無歪応答(minimum variance distortion less response:MVDR)といった線形または非線形ビーム形成器を使用して、2つ以上のチャネルの干渉平均化を行なうことができる。マルチルックビーム形成器620またはマルチルック干渉計618を介して提供された精度向上は、レーダーシステム104が小さいジェスチャーを認識するかまたはユーザの複数の部分を区別することを可能にする。
【0070】
角度推定器318は、ビーム形成データ614を分析して、1つ以上の角度位置を推定する。角度推定器318は、信号処理手法、パターンマッチング手法、または機械学習を利用してもよい。角度推定器318はまた、レーダーシステム104の設計またはレーダーシステム104が監視する視野から生じ得る角度曖昧性を解決する。例示的な角度曖昧性を振幅プロット626内に示す(たとえば振幅応答)。
【0071】
振幅プロット626は、ターゲットの異なる角度位置について、および異なる操向角510について生じ得る振幅差を示す。第1の振幅応答628-1(実線で図示)が、第1の角度位置630-1に位置付けられたターゲットについて示される。同様に、第2の振幅応答628-2(点線で図示)が、第2の角度位置630-2に位置付けられたターゲットについて示される。この例では、差は、-180度~180度の角度にわたると考えられる。
【0072】
振幅プロット626に示されるように、2つの角度位置630-1および630-2について曖昧なゾーンが存在する。第1の振幅応答628-1は、第1の角度位置630-1で最も高いピークを有し、第2の角度位置630-2でより低いピークを有する。最も高いピークはターゲットの実際の位置に対応する一方、より低いピークは第1の角度位置630-1を曖昧にする。なぜなら、それは、従来のレーダーが、ターゲットが第1の角度位置630-1にあるかまたは第2の角度位置630-2にあるかを確信を持って判断することができないかもしれない、何らかのしきい値内にあるためである。対照的に、第2の振幅応答628-2は、第2の角度位置630-2でより低いピークを有し、第1の角度位置630-1でより高いピークを有する。この場合、より低いピークはターゲットの場所に対応する。
【0073】
従来のレーダーは角度位置を判断するために最も高いピーク振幅を使用するよう限定され得るが、角度推定器318は代わりに、振幅応答628-1および628-2の形状の微妙な違いを分析する。形状の特性は、たとえば、ロールオフ、ピークまたはヌルの幅、ピークまたはヌルの角度位置、ピークおよびヌルの高さまたは深さ、サイドローブの形状、振幅応答628-1または628-2内の対称性、もしくは、振幅応答628-1または628-2内の対称性の欠如を含み得る。同様の形状特性は位相応答において分析されてもよく、それは、角度曖昧性を解決するための追加情報を提供することができる。角度推定器318はしたがって、一意的な角度署名またはパターンを角度位置にマッピングする。
【0074】
角度推定器318は、電子デバイス102のタイプ(たとえば計算能力または電力制約)もしくは相互作用マネージャ106のための目標角度分解能に従って選択され得るアルゴリズムまたはツール一式を含み得る。いくつかの実現化例では、角度推定器318は、ニューラルネットワーク632、畳み込みニューラルネットワーク(convolutional neural network:CNN)634、または長短期記憶(long short-term memory:LSTM)ネットワーク636を含み得る。ニューラルネットワーク632は、さまざまな深さまたは数量の隠れ層(たとえば3つの隠れ層、5つの隠れ層、または10個の隠れ層)を有していてもよく、また、異なる数量の接続を含み得る(たとえば、ニューラルネットワーク632は、完全に接続されたニューラルネットワークまたは部分的に接続されたニューラルネットワークを含み得る)。場合によっては、角度推定器318の計算速度を増加させるために、CNN634が使用され得る。LSTMネットワーク636は、角度推定器318がターゲットを追跡することを可能にするために使用され得る。機械学習手法を使用して、角度推定器318は、非線形関数を採用し、振幅応答628-1または628-2の形状を分析して角度確率データ638を生成し、それは、ユーザまたはユーザの一部分が角度ビン内にいる可能性を示す。角度推定器318は、ターゲットが電子デバイス102の左側または右側にある確率を提供するために、2つの角度ビンといった少数の角度ビンについての角度確率データ638を提供してもよく、または、(たとえば、連続的な角度測定についての角度確率データ638を提供するために)何千もの角度ビンについての角度確率データ638を提供してもよい。
【0075】
角度確率データ638に基づいて、トラッカーモジュール640が角度位置データ642を生成し、それはターゲットの角度位置を識別する。トラッカーモジュール640は、角度確率データ638において最も高い確率を有する角度ビンに基づいて、または、予測情報(たとえば、以前に測定された角度位置情報)に基づいて、ターゲットの角度位置を判断してもよい。トラッカーモジュール640はまた、1つ以上の動くターゲットを、レーダーシステム104が当該ターゲットを確信を持って区別または識別することを可能にするように追跡してもよい。範囲、ドップラー、速度、または加速度を含む他のデータも、角度位置を判断するために使用され得る。場合によっては、トラッカーモジュール640は、アルファ-ベータトラッカー、カルマン(Kalman)フィルタ、多重仮説トラッカー(multiple hypothesis tracker:MHT)などを含み得る。
【0076】
量子化器モジュール644が、角度位置データ642を取得してデータを量子化し、量子化済角度位置データ646を生成する。量子化は、相互作用マネージャ106のための目標角度分解能に基づいて行なわれ得る。いくつかの場合では、量子化済角度位置データ646が、ターゲットが電子デバイス102の右側にあるかまたは左側にあるかを示すように、もしくは、ターゲットが位置する90度の象限を識別するように、より少ない量子化レベルが使用され得る。これは、ユーザ近接検出といったいくつかのレーダーベースのアプリケーションにとっては十分かもしれない。他の場合では、量子化済角度位置データ646が、1度の数分の1、1度、5度などといった精度内でターゲットの角度位置を示すように、より多くの量子化レベルが使用され得る。この分解能は、ジェスチャー認識などのより高分解能のレーダーベースのアプリケーションのために、もしくは、ここに説明されるようなジェスチャーゾーン、認識ゾーン、認識モード、関与モード、またはアクティブモードの実現化例において使用され得る。いくつかの実現化例では、デジタルビーム形成器316、角度推定器318、トラッカーモジュール640、および量子化器モジュール644は、単一の機械学習モジュールにおいてともに実現される。
【0077】
これらのおよび他の能力および構成と、図1~6のエンティティが作用し相互作用するやり方とを、以下により詳細に述べる。説明されるエンティティは、さらに分割されたり、組合されたり、他のセンサまたはコンポーネントとともに使用されたりしてもよい。このように、レーダーシステム104および非レーダーセンサの異なる構成を有する電子デバイス102の異なる実現化例が、モバイルデバイスのための入力方法を実現するために使用され得る。図1の例示的な動作環境100と、図2~6の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示す。
【0078】
例示的な方法
図7は、モバイルデバイスのための入力方法を可能にする例示的な方法700を示す。方法700は、ディスプレイと、レーダージェスチャーを介して入力を受信するように構成されたアプリケーションと、レーダー場を提供することができるレーダーシステムとを含むかまたはそれらに関連付けられた電子デバイスを用いて行なわれ得る。レーダーシステムおよびレーダー場は、電子デバイスのユーザなどのレーダー場内の物体からのレーダー場の反射に基づいて、レーダーデータを提供することができる。たとえば、レーダーデータは、図1を参照して説明されたように、レーダーシステム104によって生成されてもよく、および/または、レーダーシステム104を通して受信されてもよい。レーダーデータは、レーダー場内のユーザの存在、レーダー場内でユーザによって行なわれたジェスチャー、および電子デバイスに対するユーザの動きといった、電子デバイスとのユーザの相互作用を判断するために使用される。ユーザの存在、動き、およびジェスチャーの判断に基づいて、電子デバイスは、異なる機能性モードに出入りし、異なる視覚要素をディスプレイ上に提示することができる。視覚要素は、デバイスに対するユーザの姿勢、電子デバイスのための異なる機能性の利用可能性、および電子デバイスとのユーザの相互作用を示すために、ユーザにフィードバックを提供する。視覚要素の追加の例は、図8~12を参照して説明される。
【0079】
方法700は、行なわれる動作を特定する1組のブロックとして示されるが、それぞれのブロックによって動作を行なうために示された順序または組合せに必ずしも限定されない。また、幅広い追加のおよび/または代替的な方法を提供するために、動作のうちの1つ以上のうちのいずれかが繰り返され、組合され、再編成され、またはリンクされてもよい。以下の説明の部分では、図1の例示的な動作環境100、もしくは、図2~6に詳述されるようなエンティティまたはプロセスへの言及が行なわれてもよく、これらへの言及は例示のためにのみ行なわれる。手法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。
【0080】
702で、レーダーシステムを通して受信されたレーダーデータに基づいて、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあると判断される。たとえば、図1を参照して説明されたように、相互作用マネージャ106またはレーダーシステム104は、レーダーシステム104からのレーダーデータを使用して、ユーザの手112が電子デバイス102のジェスチャーゾーン内(たとえば3インチ、5インチ、7インチ、または9インチ以内)にあることを検出することができる。
【0081】
704で、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信する能力を有すると判断される。レーダージェスチャー入力(レーダージェスチャーと呼ばれることもある)は、レーダーシステムによって生成されるレーダーデータによって定義される。たとえば、アプリケーションマネージャ116または相互作用マネージャ106などのアプリケーションマネージャは、電子デバイス(たとえば電子デバイス102)上で動作しているアプリケーションが、レーダージェスチャー入力を受信する能力を有する(たとえば、レーダージェスチャーアプリケーションである)と判断することができる。レーダージェスチャー入力が基づくレーダーデータは、図1を参照して説明されたように、レーダーシステム104によって生成されてもよく、および/または、レーダーシステム104を通して受信されてもよい。
【0082】
706で、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断と、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信する能力を有するという判断とに応答して、電子デバイスのディスプレイ上にフィードバックインジケータが提供され、フィードバックインジケータは、ユーザの一部分がジェスチャーゾーン内にあることと、アプリケーションがレーダージェスチャー入力を受信できることとを示す。たとえば、手112がジェスチャーゾーン118内にあり、電子デバイス102上で動作しているアプリケーションがレーダージェスチャーアプリケーションであるという判断に応答して、相互作用マネージャ106は、ディスプレイ114上にフィードバックインジケータ120を提供することができる。同様に、フィードバックインジケータが提供されており、次にユーザの手(またはユーザの他の一部分)がジェスチャーゾーンの外側にある(および/または、レーダージェスチャーアプリケーションはもはや電子デバイス上で動作していない)と判断された場合、別の視覚要素が依然として提供されていたとしても、フィードバックインジケータは提供されるのを中止してもよい。このため、ジェスチャーゾーンの外側にいるユーザが電子デバイスに向かって、およびジェスチャーゾーン内へと手に伸ばすと、フィードバックインジケータが表示され、ユーザの手が引っ込められると、フィードバックインジケータはもはや表示されない。
【0083】
図1を参照して説明されたように、ジェスチャーゾーンとは、レーダーシステム104(または他のモジュールまたはアプリケーション)がユーザの手を検出できる、電子デバイス102のまわりの領域または体積である。ジェスチャーゾーンは、3インチ、5インチ、7インチ、または9インチ以内などといった、レーダーシステムがユーザの手を認識できる任意の好適な距離であり得る。レーダーシステム104および相互作用マネージャ106は、より遠く離れたところからレーダージェスチャーを認識し、レーダージェスチャーに関連付けられたアクションを判断することができるかもしれないが、ジェスチャーゾーンは、電子デバイスが、意図的なジェスチャーと、電子デバイス上のアプリケーションと相互作用するために使用されるよう意図されていない他のユーザ動きとを区別できるようにするのを助ける。一般に、フィードバックインジケータは、ユーザの手122といったユーザの一部分が、レーダージェスチャーアプリケーションと相互作用するためにレーダージェスチャーを使用するのに十分に電子デバイスの近くにあることを示す(たとえば、ユーザの手がジェスチャーゾーン内にあることを示す)、ディスプレイのアクティブエリア上に現われる視覚要素といった、ユーザが知覚可能な要素である。図1を参照して述べられたように、ジェスチャーゾーンは、ジェスチャーゾーン内に、異なる形状およびサイズを有するさまざまなサブゾーンを有し得る。異なるサブゾーンでは、フィードバックインジケータの視覚属性は異なっていてもよい(たとえば、ユーザの手がより近くなるにつれて、フィードバックインジケータはより明るくなるかまたはより大きくなってもよい)。
【0084】
フィードバックインジケータは、図1を参照して説明されたように、ディスプレイの縁で、または当該縁に沿って提供されてもよく、さまざまな形状、サイズ、色、および他の視覚パラメータまたは属性(たとえば、光度、色、コントラスト、形状、彩度、または不透明度)のうちのいずれかを呈してもよい。いくつかの実現化例では、図1を参照して説明されたように、視覚要素は、視覚要素に近接するディスプレイの別の一部分の光度または他の視覚属性とは異なる光度または他の視覚属性を有する、ディスプレイのアクティブエリアの一部分であるエリアを有していてもよい。この場合、視覚要素はまた、ディスプレイのアクティブエリアの縁からしきい値距離内にある(たとえば、間隙なしで、または1画素、2画素、3画素、1ミリメートル、2ミリメートル、3ミリメートルなどの間隙を有して縁に隣接する)外部境界のセグメントを有していてもよい。加えて、フィードバックインジケータがディスプレイのアクティブエリアの縁からある距離にわたって延びるにつれて、フィードバックインジケータの光度(または他の視覚パラメータ)が変化してもよい(たとえば、形状が縁から遠ざかって延びるにつれて減少または増加する光度を、ディスプレイの縁で、または当該縁に沿って有してもよい)。他の実現化例では、フィードバックインジケータは、ディスプレイ上の縁ではない場所に現われてもよい(たとえば、フィードバックインジケータは、ディスプレイの縁に隣接または接触しないディスプレイの内部領域に提示されてもよい)。
【0085】
加えて、フィードバックインジケータは、ジェスチャーゾーンにおけるユーザの手の進行中の動きに関連する視覚フィードバックを提供するために使用されてもよい。たとえば、図1を参照して説明されたように、相互作用マネージャ106は、レーダーデータの1つ以上の部分集合を使用して、フィードバックインジケータがユーザの手の動きを追跡することを可能にし、フィードバックインジケータに、ジェスチャーゾーン内のユーザの手(またはユーザの他の一部分)の動きに対応する態様でディスプレイ上のフィードバックインジケータの位置を動的に調節させてもよい。フィードバックインジケータの位置の調節に加えて、またはその代わりに、フィードバックインジケータの他の視覚属性(たとえば光度、色、コントラスト、形状、彩度、および/または不透明度)が、ユーザの手の動きに対応するやり方で調節され得る。これらの調節は、フィードバックインジケータが、ユーザの手の動き(たとえば、前後、上下など)に対応する動的応答性視覚フィードバックを提供することを可能にする。
【0086】
方法700のいくつかの実現化例では、フィードバックインジケータは、ディスプレイのアクティブエリアの縁でまたは当該縁に沿ってすでに提示されている視覚要素(たとえば、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信する能力を有することを示す、以前に提示された視覚要素)への調節として提示されてもよい。たとえば、図1に示す例では、詳細図100-2は、例示的なディスプレイ114-2上にすでに提示されている視覚要素122を示す。ユーザの手112がジェスチャーゾーン118内に戻ると、視覚要素122は、詳細図100-1に示されるような例示的なフィードバックインジケータ120になるように調節されてもよい。この場合、ユーザは手112を引っ込めるかもしれず、レーダージェスチャーアプリケーションが依然として実行されていれば、相互作用マネージャ106はフィードバックインジケータ120の提示を停止し、視覚要素122の提示を再開してもよい。
【0087】
図1を参照して述べられたように、以前に提示された視覚要素への調節は、視覚要素の長さおよび光度の増加である。他の場合、当該調節は、以前に提示された視覚要素のサイズの変化であってもよい。たとえば、サイズの変化は、以前に提示された視覚要素のエリアの拡大であってもよい。当該拡大は、以前に提示された視覚要素を、ディスプレイのアクティブエリアの縁と平行な方向に、ある増加した距離だけ拡張すること、ディスプレイのアクティブエリアの縁から遠ざかる方向に、ある増加した距離だけ拡張すること、または、ディスプレイのアクティブエリアの縁と平行な方向とディスプレイのアクティブエリアの縁から遠ざかる方向との双方に拡張することを含んでいてもよい。他の実現化例では、当該調節はまた、または代わりに、光度、色、コントラスト、形状、彩度、および/または不透明度といった、別の視覚属性の変化であってもよい。
【0088】
フィードバックインジケータの色は、それが提示されるディスプレイの背景から視覚的に区別可能な任意の好適な色であってもよい。色は、図1を参照して説明されたように、さまざまな要因のうちのいずれかに基づいて変化してもよい。方法700のいくつかの実現化例では、電子デバイスのコンポーネント(たとえば相互作用マネージャ106)は、フィードバックインジケータが表示されるディスプレイの領域の背景色を決定することができる。背景色を決定することに応答して、フィードバックインジケータは、背景色とは異なる別の色で提示されてもよく、それは、図1を参照して説明されたように、フィードバックインジケータと背景色との人間が識別可能なコントラストを提供する。場合によっては、フィードバックインジケータの色は、背景色への変化に基づいて、連続的に、自動的に、かつ動的に調節され得る。
【0089】
フィードバックインジケータは、少なくとも部分的に、簡潔なアニメーションとして現われてもよい。たとえば、フィードバックインジケータは、アクティブなディスプレイの縁に現われ、次に伸びるかまたは縮んでから、デフォルト外観を呈してもよい。同様に、フィードバックインジケータが現われるかまたは消える(たとえば、レーダージェスチャーアプリケーションが動作を停止する場合)につれて色、光度、または形状が変化してから、デフォルト外観を呈してもよい。また、フィードバックインジケータは、ディスプレイの領域に現われる要素ではなく、ディスプレイ上に現われる画像であってもよい。画像は、光度、彩度、または色といったディスプレイの周囲背景のパラメータとは異なる視覚パラメータを有していてもよい。他の場合、周囲背景は画像であってもよく、フィードバックインジケータは、光度、彩度、色などといった視覚パラメータが異なった、同じ画像である。このように、フィードバックインジケータは、レーダージェスチャーアプリケーションが電子デバイス上で動作していることをユーザに通信することによって、ユーザの体験を向上させることができる。
【0090】
方法700のいくつかの実現化例では、フィードバックインジケータの場所は、ディスプレイ上のコンテンツの配向、および/または、コンテンツと相互作用するために使用されるレーダージェスチャー入力の方向に基づいて定められてもよい。たとえば、相互作用マネージャ106などの電子デバイスのコンポーネントは、ディスプレイ上のコンテンツの配向を(たとえばアプリケーションマネージャ116から)取得してもよい。コンテンツの配向に基づいて、ディスプレイは、コンテンツと相互作用するために使用され得るレーダージェスチャー入力の方向を判断し、レーダー入力の方向に対応するディスプレイのアクティブエリアの特定の縁でフィードバックインジケータを提示することができる。このため、図1を参照して説明されたように、表示されたコンテンツの状況が水平である場合、フィードバックインジケータは上縁で表示され、表示されたコンテンツの状況が垂直である場合、フィードバックインジケータは側縁で表示される。
【0091】
さらに、ユーザに対する電子デバイスの配向の変化が検出されてもよく、配向の変化に基づいて、フィードバックインジケータが、ユーザに対するフィードバックインジケータの配向および場所を維持するために、ディスプレイの異なる縁で提供されてもよい。たとえば、図1を参照して説明されたように、ユーザは、ビデオを見るためにデバイスを垂直配向から水平配向へ回転させるか、または、記事を読むためにデバイスを水平配向から垂直配向へ回転させる場合がある。配向の変化に基づいて、相互作用マネージャ106は、ユーザに対するフィードバックインジケータ120の配向および場所を維持するために、ディスプレイ114に、アクティブなディスプレイの異なる縁でフィードバックインジケータ120を提供させることができる。述べられたように、コンテンツの配向も考慮されてもよく、これらの特徴は、フィードバックインジケータを、ディスプレイ上の、ディスプレイ上のコンテンツの配向とユーザに対するディスプレイの配向との双方にとって適切な場所で提供するために、互いにともに使用され得る。
【0092】
場合によっては、電子デバイス上で実行されているレーダージェスチャーアプリケーションが没入型モード(たとえば、制御機構が提示されていない全画面モード)で動作していると判断され得る。この判断に応答して、ディスプレイは、フィードバックインジケータを定期的に提供することができる。たとえば、図1を参照して説明されたように、フィードバックインジケータを、提示持続時間の間、ディスプレイ上に提供し、次に、非提示持続時間の間、提供を停止することができる。提示持続時間および非提示持続時間は双方とも、予め定められていてもよく、または選択可能であってもよい。これらの持続時間は、(たとえば、没入型モードで実行されているレーダージェスチャーアプリケーションのタイプ、レーダージェスチャーアプリケーションのステータス、または、ユーザがレーダージェスチャーを採用する頻度といったさまざまな要因に基づいて、ユーザによって、または相互作用マネージャ106によって)選択可能であってもよい。
【0093】
ユーザがレーダージェスチャー以外の入力(たとえばタッチ入力または音声入力)を使用して電子デバイスと相互作用する場合、フィードバックインジケータは薄くなるかまたは完全に消えてもよい。たとえば、図1を参照して説明されたように、レーダージェスチャーアプリケーションが実行されている間、ユーザは、電子デバイスに対するタッチ指令を使用してアプリケーションを起動しようと決めてもよい。この場合、ユーザが電子デバイスを手に取るかまたはディスプレイを触ると、フィードバックインジケータは薄くなるかまたは消えてもよい。ユーザがディスプレイを触るのをやめるかまたは電子デバイスを下に置くと、(1つ以上のレーダージェスチャーアプリケーションが依然として動作していれば)フィードバックインジケータは再始動する。タッチ入力または音声入力が終了すると、または、選択可能なデフォルト持続時間の後で、フィードバックインジケータはすぐに再び現われるかまたは明るくなってもよい。同様に、レーダージェスチャーアプリケーションがアラートまたは通知を提供するアプリケーションである場合、アラートまたは通知が表示されると、フィードバックインジケータが現われ、ユーザがレーダージェスチャーを使用してアラートまたは通知と相互作用すると、他のジェスチャーサブスクライブアプリが実行されていなければ、フィードバックインジケータは消える。
【0094】
フィードバックインジケータは、電子デバイス102がロック状態またはロック解除状態にある間に提供され得る。このため、電子デバイスは、ユーザの一部分がジェスチャーゾーン内にある(および、レーダージェスチャーアプリケーションが実行されている)場合、ユーザが認証されていてもいなくても、フィードバックインジケータを提供してもよい。図1を参照して説明されたように、ロック状態およびロック解除状態は、電子デバイスへのアクセスのレベルを指す。ロック状態とは、どのユーザも認証されておらず、デバイスを使用する人は誰でも、完全ではない権利またはアクセス(たとえば、アクセスまたは権利がないこと、あるいは、制限されたアクセスまたは権利)を有するであろう状態であってもよい。ロック状態の例は、ここに説明されるような電子デバイスの認識モードおよび関与モードを含んでいてもよい。同様に、ロック解除状態とは、少なくとも1人のユーザが認証され、そのユーザがデバイスに対する完全な権利および/またはアクセスを有する状態であり得る。ロック解除状態の一例は、ここに説明されるような電子デバイスのアクティブモードである。
【0095】
モバイルデバイスのための入力方法のためのこれらの手法は、他の認証およびフィードバック手法よりもセキュアであり得る。たとえば、ユーザの位置、配向、またはレーダージェスチャー(特に、ユーザ定義ジェスチャー、マイクロジェスチャー、および、姿勢または位置ベースのジェスチャー)の使用は典型的には、(たとえばパスワードとは異なり)認可されていない人間によって複製または取得不可能である。また、(たとえば、上述のレーダーデータに基づいた)ユーザのレーダー画像は、それがユーザの顔を含んでいても、写真またはビデオが行ない得るようにユーザを視覚的に識別しない。それでも、上述の説明に加えて、ユーザは、この文書で説明されるシステム、プログラム、マネージャ、モジュール、または特徴のうちのいずれかが、ユーザ情報(たとえば、ユーザの画像、ユーザを説明するレーダーデータ、ユーザのソーシャルネットワーク、ソーシャルアクションまたは活動、職業、ユーザの嗜好、またはユーザの現在の場所についての情報)の収集を可能にし得るかどうか、およびいつ可能にし得るかと、ユーザがサーバからコンテンツまたは通信を送信されるかどうか、およびいつ送信されるかとの双方について、ユーザが選択を行なうことを可能にする制御機構を提供されてもよい。加えて、あるデータは、それが格納または使用される前に、個人を識別できる情報が除去されるように1つ以上のやり方で処理されてもよい。たとえば、ユーザのアイデンティティは、そのユーザについて個人を識別できる情報が判断できないように処理されてもよく、または、ユーザの地理的位置が一般化され、位置情報は(市、郵便番号、または州レベルなどまで)取得され、ユーザの特定の位置を判断できないようになっていてもよい。このため、ユーザは、ユーザについてどんな情報が収集されるか、その情報がどのように使用されるか、および、ユーザにどんな情報が提供されるか、またはユーザについてどんな情報が提供されるかに対する制御を有していてもよい。
【0096】
例示的な視覚要素
述べられたように、ここに説明される手法およびシステムは、電子デバイス102が、利用可能なレーダージェスチャー入力モードをユーザに認識させるためにフィードバックおよび通知を提供し、また、場合によっては、レーダージェスチャーの使用および結果に関する追加のフィードバックを提供することができるようにすることができる。フィードバックおよび通知は、ディスプレイ114上に提示される視覚要素といった、ユーザが知覚可能な1つ以上の要素によって提供される。手法およびシステムはまた、ユーザの不在、存在、および場所の判断を可能にし、それは、より応答性が高く、より効率的な認証プロセスを提供するために使用され得る。たとえば、手法は、電子デバイスが、ユーザが認証される準備がいつできるかを予想すること、および、ユーザが離れている場合にデバイスをいつロックするべきかをより正確に判断することを可能にする。フィードバック、視覚要素、および他の特徴は、より便利でそれほど苛立たしくない相互作用を可能にする。なぜなら、ユーザは入力モードを認識しており、デバイスが相互作用して入力を受信することができる異なるやり方について確信できるためである。図8~15は、レーダージェスチャーアプリケーションを実行している電子デバイス102の例を示し、ユーザにフィードバックを提供するためにディスプレイ上に提示され得る視覚要素の例を説明する。複数の異なるモードで動作している電子デバイスの例と、異なるモードでディスプレイ上に提示され得る視覚要素の例も、説明される。
【0097】
レーダージェスチャーアプリケーションが電子デバイス102上で実行されていることを示すために使用され得る視覚フィードバック要素の一例を概して800で示す図8を考慮されたい。図8では、詳細図800-1は、レーダージェスチャーアプリケーションが実行されていない電子デバイス102の状態を示すための例示的なディスプレイ114-3を示す。少なくとも1つのレーダージェスチャーアプリケーションが実行されている電子デバイス102の別の状態が、別の例示的なディスプレイ114-4上に示されている。例示的なディスプレイ114-4の上部の視覚要素802は、電子デバイス102が上述のようにレーダージェスチャーを通して入力を受信できることを示す。視覚要素802は照明されたラインとして示されているが、上述のように、別の場所に、異なる照明レベルで(たとえば、部分的にのみ照明されて)、あるいは、別の形状またはタイプの要素として提示されてもよい。たとえば、別の詳細図800-2では、レーダージェスチャーアプリケーションが実行されていない電子デバイス102の状態を示すために、例示的なディスプレイ114-5が示されている。少なくとも1つのレーダージェスチャーアプリケーションが実行されている電子デバイス102の別の状態が、別の例示的なディスプレイ114-6上に示されている。例示的なディスプレイ114-6の上部の視覚要素804は、電子デバイス102が上述のようにレーダージェスチャーを通して入力を受信できることを示す。視覚要素804は照明されたエリア(たとえば輝くエリア)として示されている。視覚要素802と同様に、視覚要素804は、ディスプレイ114-6上の別の場所に、異なる照明レベルで(たとえば、より多く照明されるかまたはより少なく照明されて)、あるいは、別の形状またはタイプの要素として提示され得る。なお、明確にするために、例示的なディスプレイ114-3~114-6上には、他の要素(たとえば、時間、日付、またはアプリケーション開始アイコン)が示されていない。しかしながら、他の実現化例では、視覚要素802または804は、他のコンテンツとともにディスプレイ上に表示されてもよい。また、視覚要素802または804は、電子デバイス102が認識モード、関与モード、アクティブモード、または別のモードである間、表示されてもよい。
【0098】
いくつかの実現化例では、電子デバイス102はまた、レーダージェスチャーの利用可能性に関連するより詳細な視覚フィードバックを提供することができる。たとえば、相互作用マネージャ106は、ディスプレイ114に、レーダーベースのレーダージェスチャーを通して受信された入力に関するフィードバックを提供する他の視覚要素を提示させてもよい。図9~12は、レーダージェスチャーの使用に関連するフィードバックを提供するために視覚要素が使用され得るやり方のうちのいくつかの追加の詳細を示す。
【0099】
たとえば、レーダージェスチャーアプリケーションがレーダージェスチャー入力を受信することを可能にするジェスチャーゾーン(たとえばジェスチャーゾーン118)内にユーザの手があることを示すために使用され得るフィードバックインジケータ120の例を概して900で示す図9A~9Dを考慮されたい。ジェスチャーゾーン118とは、電子デバイス102がスワイプまたはピンチなどのレーダージェスチャーを受信し、解釈し、それらに基づいて作用することができる、電子デバイス102(またはレーダーシステム104)のまわりのエリアである。ジェスチャーゾーンは、電子デバイス102から任意の好適な距離(たとえば、約3インチ、約5インチ、約7インチ、または約9インチ)延在し得る。
【0100】
図9Aでは、例示的なディスプレイ114-7が、少なくとも1つのレーダージェスチャーアプリケーションが実行されている状態で示されている(たとえば、図8を参照して説明された例示的なディスプレイ114-6に類似している)。ユーザの手902は、例示的なディスプレイ114-7に近いもののジェスチャーゾーン118の外側で示されている(ジェスチャーゾーンの境界は点線904として示されている)。例示的なフィードバックインジケータ906(視覚要素906)は、例示的なディスプレイ114-7の上部の近くに、上部からの距離とともに変化する光度を有する輝くエリア(たとえば、変化する輝度、色、または他の属性を有するエリアまたは形状)として示されている。他の実現化例では、視覚要素906は、別の場所に、あるいは、別の形状またはタイプの要素(たとえば、図8の詳細図800-1に示されるようなライン)として提示され得る。図9Bでは、矢印908によって示されるように、ユーザの手902は電子デバイスの方へ動き、ジェスチャーゾーンの境界904を越える。電子デバイスが動き908を検出したことに応答して、例示的なディスプレイ114-8に示されるように、別の視覚要素910が視覚要素906を置き換える。この例では、視覚要素910は、視覚要素906よりも大きく、異なる輝度または光度を有する(たとえば、より少なく、より多く、または完全に照明された)輝くエリアである。他の実現化例では、視覚要素910も、別の場所に、あるいは、別の形状またはタイプの要素として提示され得る。
【0101】
図9Cに示すように(および図1を参照して説明されたように)、ユーザの手902がジェスチャーゾーンの境界904内にある場合、視覚要素910は、両端矢印912によって表わされるユーザの手902のより小さい非ジェスチャー動きを示すフィードバックを提供するために使用され得る。たとえば、例示的なディスプレイ114-9上に示されるように、視覚要素は、矢印914によって示されるように、ユーザの手とともに前後に動くことによってユーザの手の動きを示すように動くことができる。図9Dでは、矢印916によって示されるように、ユーザの手902は、ジェスチャーゾーンの境界904の外側へ引っ込められる。ユーザの手の動きに応答して、ディスプレイ114は、視覚要素906がディスプレイ114の上縁の近くに表示される例示的なディスプレイ114-7に示されるような状態に戻る。
【0102】
図9A~9Dに図示されない)いくつかの実現化例では、非ジェスチャー動きは、他の視覚要素または視覚要素への変化によって表わされ得る。たとえば、動きを表わすために、サイズおよび/または形状が変化してもよく、あるいは、形状の中心または焦点が動いてもよい(形状自体は静止したままである)。それに加えて、またはそれに代えて、輝度または色の強度への変化(たとえば、形状または形状の一部の輝度または色、非ジェスチャー動きに従った変化)が、動きを表わすために使用され得る。視覚要素906および910は、視覚要素910の動きとともに、ジェスチャーがいつ利用可能であるかをユーザが理解するのを助け、電子デバイス102がユーザの手の相対位置を認識していることを示すフィードバックを提供することができ、それは、ユーザの電子デバイス102との体験を向上させることができる。図9A~9Dに示す実施形態は、フィードバックインジケータの視覚属性が、電子デバイスまでの距離および/またはジェスチャーゾーンにおけるユーザの一部分の動きに対応して動的に調節される例12~18である。
【0103】
図9Cを参照して説明されたように、電子デバイス102は、ユーザの手の動きに対応してディスプレイ上で視覚要素を前後に動かすなどといった、ジェスチャーゾーンにおけるユーザの手のより小さい非ジェスチャー動きを表わすための視覚フィードバックを提供することができる。同様に、ユーザがレーダージェスチャー(たとえば、歌をスキップするためのスワイプジェスチャー、あるいは、アラートまたは通知を消すためのオムニジェスチャー)を行なうと、電子デバイス102は、ジェスチャーがうまく受信されたこと、または、ジェスチャーの試みが受信されたもののそれはレーダージェスチャーとして確認されるほど十分に明確ではなかったことをユーザに通知するために、フィードバックを提供することができる。たとえば、図10は、ジェスチャーがうまく受信されたことをユーザに通知するために使用され得る例示的な視覚要素のシーケンスを概して1000で示す。
【0104】
図10では、例示的なディスプレイ114-10が、少なくとも1つのレーダージェスチャーアプリケーションが実行され、ユーザの手1002がジェスチャーゾーンの境界内にある状態で示されている(たとえば、図9Bを参照して説明された例示的なディスプレイ114-8によって表わされる状態に類似している)。例示的なディスプレイ114-10は、レーダージェスチャーの利用可能性と、ユーザの手1002がジェスチャーゾーン内にあることとを示すために、例示的なディスプレイ114-10の上部の近くに照明されたラインとして示された視覚要素1004を提示している。図10の例では、ユーザは、矢印1006によって示されるように、左から右へスライドまたはスワイプジェスチャーを行なう。ユーザの手1002の動き1006に応答して、視覚要素1004も(破線長方形内に示される)シーケンス1008で示されるように動く。例示的なディスプレイ114-11は、視覚要素1004が矢印1010によって示されるように右へ動き始めるとシーケンス1008が始まることを示す。
【0105】
シーケンス1008は別の例示的なディスプレイ114-12へ続き、そこでは、視覚要素1004は、矢印1012によって示されるように例示的なディスプレイ114-12の角を曲がる。視覚要素1004は、可変距離にわたってディスプレイ114の辺を降り続け、次に(たとえば、視覚要素の終端が曲がりを完了するやいなや、または、終端が辺に沿って特定の距離移動した後で)消えることができる。別の例示的なディスプレイ114-13においてシーケンス1008を続けると、視覚要素1004は、矢印1014によって示されるように、例示的なディスプレイ114-13の左側から再び現われるかまたは再び生じ、中心位置の方へ動く。いくつかの実現化例では、視覚要素1004は、左側からではなく、(例示的なディスプレイ114-10に示されるような)初期位置で再び現われるかまたは再び生じることができる。シーケンス1008が完了すると、ディスプレイは、例示的なディスプレイ114-10に示されるような状態に戻り、視覚要素1004はディスプレイ114の上部の近くに表示され、ユーザの手1002がジェスチャーゾーンの境界内にとどまっている間、手を微細に追跡してもよい。視覚要素1004の動きは、レーダージェスチャーがいつ受け入れられたか、およびジェスチャーがいつ完了したかをユーザが理解するのを助けることができ、それは、ユーザの電子デバイス102との体験を向上させることができる。
【0106】
ユーザがスマートフォン(たとえば電子デバイス102)上のレーダージェスチャーアプリケーションを用いて音楽を聞いている例を考慮されたい。ユーザは、トラックをスキップしようと決め、スマートフォンに対してレーダージェスチャーを行なう。レーダージェスチャーは、一方の方向におけるスワイプ(たとえば、次のトラックへスキップするための左から右へのスワイプ、あるいは、現在のトラックを再始動するかまたは以前のトラックへスキップするための右から左へのスワイプ)であってもよい。ユーザの手がジェスチャーゾーンに入ると、フィードバックインジケータ120などの視覚要素が提示される。ユーザがレーダージェスチャーを開始するにつれて、スマートフォンは(たとえば相互作用マネージャ106を通して)、図10を参照して説明されたようにシーケンス1008において視覚要素を提示する。このように、視覚要素は、レーダージェスチャーの成功についてのフィードバックをユーザに提供することができる。
【0107】
なお、ユーザがジェスチャーを開始するとシーケンス1008は始まるが、ジェスチャーとシーケンス1008とは異なる時間に完了されてもよい。また、上述のように、視覚要素1004はディスプレイ114の上部の近くに照明されたラインとして示されているが、視覚要素1004は、(たとえば、図9A~9D、または図8の詳細図800-2に示すように)別の場所に、または別の形状またはタイプの要素として提示され得る。シーケンス1008はまた、ディスプレイ114上の別の場所で始まり、(たとえば、レーダージェスチャーが右から左、上から下、または下から上に動いた場合)右から左、上から下、または下から上といった別の方向に進んでもよい。成功するレーダージェスチャー(図10に図示せず)を示すシーケンスの別の例は、膨張して明るくなり、次に自己崩壊して一時的に消え、次に(たとえばその元の位置から)再び生じる視覚要素を含む。他の例はまた、ディスプレイ114に対して垂直な方向に行なわれたジェスチャー、またはディスプレイ114に対して垂直なコンポーネントを用いるジェスチャーなどの成功するレーダージェスチャーを示すために、(たとえば、一端で、両端で、中央で、または別の場所で)曲がるかまたは屈曲する視覚要素を含む。他の場合、視覚要素1004は、角で、またはそれが角に達する前に消えてもよく、あるいは、それは、角を曲がってディスプレイ114の辺を降り続けてもよく、さらには、ディスプレイ114のまわりをずっと動いてもよい。
【0108】
場合によっては、ここに説明されるように、視覚要素は、レーダージェスチャーが利用可能である場合でも、(たとえば、ユーザが音声入力またはタッチ入力と相互作用したため、または、画面焼き付きのリスクを減らすために)隠されてもよい。この場合、視覚要素1004などの視覚要素は、ユーザが成功するレーダージェスチャーを行なった場合に依然として示されてもよい。ユーザが音楽を聞いており、別のアプリケーションを開くために音声入力を使用している間、視覚要素が隠される、上述の音楽プレーヤーの例の変形を考慮されたい。この例では、ユーザは、歌をスキップするためにレーダージェスチャーを行ない、ディスプレイは、レーダージェスチャーが成功したことをユーザに通知するためにシーケンス1008を提示する。
【0109】
図11は、ジェスチャーがうまく行なわれなかったことまたはうまく受信されなかったことをユーザに通知するために使用され得る例示的な視覚要素のシーケンスを概して1100で示す。図11では、例示的なディスプレイ114-14が、少なくとも1つのレーダージェスチャーアプリケーションが実行され、ユーザの手1102がジェスチャーゾーンの境界内にある状態で示されている(たとえば、図9Bを参照して説明された例示的なディスプレイ114-8において表わされる状態に類似している)。例示的なディスプレイ114-14は、レーダージェスチャーの利用可能性と、ユーザの手1102がジェスチャーゾーン内にあることとを示すために、例示的なディスプレイ114-14の上部の近くに照明されたラインとして示された視覚要素1104を提示している。図11の例では、ユーザは、左から右へスライドまたはスワイプジェスチャーを行なうよう試みたものの、スワイプジェスチャーのための十分な基準を満たさなかったか、または、電子デバイス上のレーダージェスチャーアプリケーションのためのレーダージェスチャーに対応しなかったと仮定する。たとえば、曲がった矢印1106によって示されるように、ユーザの手1102は、引っ込められる前に、関連する方向に十分な距離移動しないかもしれない。この場合、電子デバイス102(またはレーダーシステム104)が、レーダージェスチャーであるとうまく判断されるための十分な定義を欠くユーザの手1102の動き1106を検出すると、視覚要素1104は、(破線長方形内に示される)シーケンス1108で示されるように動く。例示的なディスプレイ114-15は、視覚要素1104が矢印1110によって示されるように右へ動き始めるとシーケンス1108が始まることを示す。
【0110】
別の例示的なディスプレイ114-16においてシーケンス1108を続けると、視覚要素1104は、例示的なディスプレイ114-16の反対の縁に達する前に止まり、(例示的なディスプレイ114-14に示されるようなその開始長さと比べて)縮まっている。シーケンス1108は別の例示的なディスプレイ114-17へ続き、そこでは、視覚要素1104は、別の矢印1112によって示されるように方向を反転させ、その元の場所(この例では中心)に向かって戻り始める。視覚要素1104はまた、その元の長さに戻るよう伸び始める。他の実現化例では、視覚要素1104は方向を反転させる前に、止まって縮むのではなく、減速して弾んでもよい。シーケンス1108が完了すると、ディスプレイは、例示的なディスプレイ114-14に示されるような状態に戻り、視覚要素1104はディスプレイ114の上部の近くに表示され、(たとえば図9A~9Dに示されるように)ユーザの手1102がジェスチャーゾーンの境界内にとどまっている間、手を微細に追跡する。視覚要素1104の動きは、ジェスチャーがいつうまく完了しなかったかをユーザが理解するのを助けることができ、そのためユーザは、成功するレーダージェスチャーを行なうための手法を学んで、試みられたジェスチャーがいつ失敗するかを認識できる(そのため、たとえば、必要であればジェスチャーを再び試みることができる)ようになり、それは、ユーザの電子デバイス102との体験を向上させることができる。
【0111】
なお、電子デバイス102(または相互作用マネージャ106)が(たとえばレーダーデータの1つ以上の部分集合を使用して)ユーザがレーダージェスチャーを試みたことを検出したものの、ジェスチャーが受入れのために必要な少なくとも1つの基準を満たさないと判断した場合に、シーケンス1108は始まってもよい。したがって、試みられたジェスチャーとシーケンス1108とは、試みられたジェスチャーの性質とシーケンス1108のスピードとに依存して、異なる時間に完了されてもよい。また、上述のように、視覚要素1104はディスプレイ114の上部の近くに部分的に照明されたラインとして示されているが、視覚要素1104は、(たとえば、図9A~9D、または図8の詳細図800-2に示すように)別の場所に、または別の形状またはタイプの要素として提示されてもよい。シーケンス1108はまた、ディスプレイ114上の別の場所で始まり、(たとえば、試みられたレーダージェスチャーが右から左、上から下、または下から上に動いた場合)右から左、上から下、または下から上といった別の方向に進んでもよい。成功しなかったレーダージェスチャーの試みを示すシーケンスの他の例は、一時的に縮むことなどによって部分的に自己崩壊し、次にその元のサイズおよび位置に戻る視覚要素を含む。
【0112】
いくつかの実現化例では、電子デバイス102は、システムがジェスチャーを受信または解釈するのに非能率的または非効果的であるかもしれないことを条件が示す場合に、電子デバイス102のレーダージェスチャー能力をオフにするかまたは中止することができるジェスチャー一時停止モードを含む。たとえば、電子デバイス102がしきい値を上回る速度で動いている場合、または、電子デバイス102が動いている方向が速やかにかつ繰り返し変化する場合、電子デバイスは、ジェスチャー一時停止モードに入り、視覚フィードバックをユーザに提供することができる。電子デバイス102は、レーダーセンサ(たとえばレーダーシステム104)、慣性計測ユニット(inertial measurement unit:IMU)、近接センサ(たとえばアクティブ赤外線近接センサ)などを含むさまざまなセンサのうちのいずれかからの入力に基づいて、ジェスチャー一時停止モードに入るよう判断してもよい。たとえば、ユーザが、前後に揺れるユーザの手に持った電子デバイス102で音声コンテンツを聞きながら歩いている場合、動きはレーダーベースのスワイプジェスチャーに似ているかもしれないが、ユーザはトラックをスキップしたりボリュームを調節するよう意図していない。したがって、電子デバイス102の動きはジェスチャー解釈プロセスに曖昧性を生じさせ得るため、電子デバイス102は、曖昧性が解決される(たとえば、ユーザが歩くのを止める)までジェスチャー一時停止モードに入るよう判断してもよい。
【0113】
レーダージェスチャー入力を受信するためにレーダージェスチャーアプリケーションが利用可能であるものの、ジェスチャーは現在一時停止されていることを示すために使用され得る例示的な視覚要素を概して1200で示す図12を考慮されたい。ジェスチャー一時停止モードは、ユーザの手がジェスチャーゾーンの中にあろうと外にあろうと、レーダージェスチャーが利用可能である場合はいつでも起動されてもよい。図12では、例示的なディスプレイ114-18が、少なくとも1つのレーダージェスチャーアプリケーションが実行され、ユーザの手がジェスチャーゾーンの境界内にある状態で示されている(たとえば、図9Bを参照して説明された例示的なディスプレイ114-8において表わされる状態に類似している)。例示的なディスプレイ114-18は、レーダージェスチャーの利用可能性と、ユーザの手1102がジェスチャーゾーン内にあることとを示すために、例示的なディスプレイ114-18の上部の近くに照明されたラインとして示された視覚要素1202を提示している。ユーザが、電子デバイス102をジェスチャー一時停止モードに入らせるアクションを取る(たとえば、ユーザが歩いている間、ユーザの手が矢印1204によって示されるように前後に動き始める)と、視覚要素1202は、(破線長方形内の)シーケンス1206で示されるように変化し得る。
【0114】
例示的なディスプレイ114-19は、電子デバイス102が動き1204を検出したことに応答して別の視覚要素1208が視覚要素1202を置き換えるとシーケンス1206が始まることを示す。例示的なディスプレイ114-19に示されるように、視覚要素1208は、視覚要素1202よりも短く薄暗い別のラインである。視覚要素1202が特定の色を有する実現化例では、視覚要素1208は、視覚要素1202の色とは異なる色を有していてもよい(たとえば、色は、特定の色から、グレーまたは白といった別の色へ変化してもよい)。シーケンス1206は別の例示的なディスプレイ114-20へ続き、そこでは、視覚要素1208は、矢印1210によって示されるように右へ動き始める。別の例示的なディスプレイ114-21においてシーケンス1206を続けると、視覚要素1208は、矢印1212によって示されるように左へ動く。シーケンス1206では、視覚要素1208は、それがディスプレイの辺に達する前に止まって方向を反転させてもよく、または、縁までずっと進んでから方向を反転させてもよい。いくつかの実現化例では、視覚要素1208は、それが方向を反転させるために止まるとさらに縮み、次に、それが反対方向に動き始めると、動き始めた後、または動き始めるにつれて別のサイズに戻ってもよい。また、視覚要素1208の発振は、ジェスチャー一時停止モードが基づく条件と一致してもよい。たとえば、ユーザの腕が揺れている場合、視覚要素1208の発振の速度または周波数は、動いているユーザの手の速度または周波数とほぼ一致してもよい。
【0115】
上述のように、視覚要素1208はディスプレイ114の上部の近くに照明されたラインとして示されているが、視覚要素1208は、(たとえば、図9A~9D、または図8の詳細図800-2に示すように)別の場所に、または別の形状またはタイプの要素として提示され得る。シーケンス1108はまた、ディスプレイ114上の別の場所で始まり、(たとえば、ディスプレイ114上のコンテンツの配向、レーダージェスチャー入力の方向、または別の要因に依存して)右から左、上から下、または下から上といった別の方向に進んでもよい。
【0116】
電子デバイス102がジェスチャー一時停止モードを出ると、シーケンス1206は完了し、ディスプレイ114は、ユーザの手の場所で実行されているレーダージェスチャーアプリケーションがあるかどうかに依存して、適切な状態に戻る。視覚要素1208の動きのシーケンス1206は、ジェスチャーがいつ一時停止され得るかをユーザが理解するのを助け、ジェスチャー一時停止モードを回避または利用するために電子デバイス102がどのように使用されるかをユーザが調節できるようにすることができ、それは、ユーザの電子デバイス102との体験を向上させることができる。
【0117】
図12に図示されない)いくつかの場合、ユーザが電子デバイスを持って歩き、それを自分の前で安定して保持している場合などでは、ユーザの動きは曖昧性を生じさせないかもしれない。これらの場合、電子デバイスはジェスチャー一時停止モードに入らず、視覚要素1202は、ユーザおよび電子デバイスが動いている間でもレーダージェスチャーが利用可能であることをユーザに知らせるために1つ以上の視覚パラメータを変化させてもよい。たとえば、視覚要素1202は、デフォルト色から別の色へ(たとえば、グレーから青へ、グレーから白へ、または白から青へ)変化してもよい。
【0118】
いくつかの実現化例では、電子デバイス102は、電子デバイス102上で実行されているレーダージェスチャーアプリケーションが、没入型モード(たとえば、制御機構が提示されていない全画面モード)で動作していると判断することができる。この判断に応答して、ディスプレイは、図8~12を参照して説明された視覚要素(たとえば、視覚要素802、804、906、910、1004、1104、1202、および/または1208)を定期的に提供することができる。たとえば、視覚要素は、ある持続時間の間、ディスプレイ上に提供され、次に、別の持続時間の間、提供を停止され得る。これらの持続時間は、(たとえば、没入型モードで実行されているレーダージェスチャーアプリケーションのタイプ、レーダージェスチャーアプリケーションのステータス、または、ユーザがレーダージェスチャーを採用する頻度といった要因に基づいて、ユーザによって、または電子デバイス102によって)選択可能であってもよい。
【0119】
なお、図8~12を参照して上述された視覚要素(たとえば、視覚要素802、804、906、910、1004、1104、1202、1208、および/またはフィードバックインジケータ120)は、それが提示されるディスプレイの背景から視覚的に区別可能な任意の好適な色で提示されてもよい。また、視覚要素の色は、電子デバイスの動作状態またはディスプレイの周囲背景色などのさまざまな要因のうちのいずれかに基づいて変化してもよい。たとえば、相互作用マネージャ106(または別のエンティティ、モジュール、またはマネージャ)は、視覚要素が表示されるかまたは表示されるであろうディスプレイの領域の背景色を決定することができる。背景色を決定することに応答して、視覚要素は、背景色とは異なる別の色で提示されてもよい。異なる色は、視覚要素と背景色との人間が識別可能なコントラストを提供して、ユーザが視覚要素を見ることをより容易にすることができる。場合によっては、視覚要素の色は、背景色への変化に基づいて連続的に、自動的に、かつ動的に調節され得る。
【0120】
ユーザの場所および動きはまた、電子デバイスと相互作用しようとする(または相互作用しようとしない)ユーザの意図のしるしとして分類されるユーザアクションを検出するために使用され得る。たとえば、電子デバイスは、デバイスと相互作用しようとするかまたは相互作用しようとしないユーザの意図のしるし(たとえば、電子デバイスに手を伸ばすこと、電子デバイスの方にまたは電子デバイスから遠い方に向きを変えるかまたは歩くこと、電子デバイスの方に身を乗り出すかまたは電子デバイスを見ること)として分類されるアクションの(たとえばメモリデバイス内の)ライブラリへのアクセスを有していてもよい。場合によっては、電子デバイスはまた、ライブラリに格納されたアクションを追加、除去、または修正することができる機械学習技術を含んでいてもよい。ユーザの存在、動き、および意図の検出に基づいて、電子デバイスは、電子デバイスが、異なる機能性モードに出入りし、当該モードに基づいて異なる視覚要素をディスプレイ上に提示することを行なわせることができる。これらのモードは、電子デバイスのための異なる機能性を可能にし、電子デバイスが動作しているモードと利用可能なサービスおよび機能とをユーザが理解するのを助けることができる。図13~15は、複数のモードで動作している電子デバイスを示し、異なるモードでディスプレイ上に提示され得る視覚要素の例を説明する。
【0121】
たとえば、ユーザが電子デバイスの近く(たとえば、レーダー場110または認識ゾーン内)で検出されない場合、デバイスは休止モードで動作する。休止モードでは、ディスプレイ(たとえばディスプレイ114)は、他のモードよりも少ない視覚要素を提示してもよく、または視覚要素を提示しなくてもよく、また、ディスプレイはオンであってもオフであってもよい。電子デバイスが(たとえば、レーダーシステム104からのレーダーデータ、または当該レーダーデータの1つ以上の部分集合を使用して)認識ゾーン内のユーザの存在を判断すると、電子デバイスは休止モードを出て認識モードに入る。認識モードでは、ディスプレイは、電子デバイスのステータスまたは機能性レベルを示すことができる1つ以上の視覚要素を提示する。
【0122】
電子デバイスが認識モードにある間、電子デバイスは、電子デバイスと相互作用しようとするユーザの意図のしるしとして分類されるユーザアクションを検出することができる。このユーザアクションの検出に応答して、電子デバイスは、認証プロセスを行なうために認証システムを準備することができる。いくつかの実現化例では、電子デバイスが相互作用しようとするユーザの意図のしるしを検出すると、電子デバイスも認識モードを出て関与モードに入る。関与モードでは、ディスプレイは、電子デバイスのステータスまたは機能性レベルの変化を示すことができる追加のまたは代替的な視覚要素を提示する。電子デバイスはまた、トリガー事象を検出し、当該トリガー事象に基づいて認証システムにユーザを認証させることができる。ユーザが認証されることに応答して、電子デバイスは認識モードまたは関与モードを出てアクティブモードに入る。アクティブモードでは、ディスプレイは、電子デバイスのステータスまたは機能性レベルの変化を示すことができる追加のまたは代替的な視覚要素を提示する。
【0123】
図13は、電子デバイスが休止モードから認識モードへ移行する例1300を示す。詳細図1300-1は、ユーザ1302が認識ゾーン1304の外側にいる間の、休止モードにある電子デバイス102を示す。この例では、認識ゾーン1304はくさび形を有するが、述べられたように、認識ゾーン1304は任意の好適な形状またはサイズを呈することができる。この例を続けると、この場合、ディスプレイ114は、例示的なディスプレイ114-22上に示されるように、休止モードでは視覚要素を提示していない。別の詳細図1300-2では、ユーザ1302は電子デバイス102により近づいており、電子デバイス102は、ユーザ1302が認識ゾーン1304に入ったと判断する。この判断に基づいて、電子デバイス102は、矢印1306によって示されるように、休止モードを出て認識モードに入る。
【0124】
詳細図1300-2では、例示的なディスプレイ114-23上に複数の視覚要素が提示される。たとえば、認識モードでは、例示的なディスプレイ114-23は、時刻要素1308(時計)、日付要素1310、接続性ステータス要素1312(たとえば、Wi-Fi、セルラー、または他のネットワーク接続性)、および(グラフィカル要素とパーセンテージインジケータとを含む)バッテリーレベルインジケータ要素1314を提示する。詳細図1300-2では、例示的なディスプレイ114-23の残りは空白である。しかしながら、いくつかの実現化例では、壁紙または他の画像といった背景画像を含む追加の要素が表示されてもよい。図13には図示されていないが、ユーザ1302が認識ゾーン1304を出ると、電子デバイス102は(すぐに、または、選択可能な予め定められた量の時間にわたってユーザ1302が認識ゾーン1304の外側にいた後で)視覚要素の表示を停止し、休止モードに戻ってもよい。
【0125】
図14は、電子デバイスが認識モードからオプションの関与モードへ移行する例1400を示す。詳細図1400-1は、例示的なディスプレイ114-24上に複数の視覚要素(1308、1310、1312、1314)を表示することを含む、図13を参照して説明されたような認識ゾーン1304内のユーザ1302と認識モードにある電子デバイス102とを示す。別の詳細図1400-2は、ユーザ1302が電子デバイス102に手を伸ばしていることを示す。電子デバイス102は(たとえば、レーダーデータの1つ以上の部分集合を使用して)、手を伸ばすことを、電子デバイス102と相互作用しようとするユーザの意図のしるしであるユーザアクションとして検出する。意図を示すこのユーザアクションの検出に応答して、電子デバイス102は、矢印1402によって示されるように、認識モードを出て関与モードに入る。
【0126】
詳細図1400-2では、例示的なディスプレイ114-25上に追加の視覚要素が提示される。たとえば、関与モードでは、例示的なディスプレイ114-25は、背景画像1404(この場合、ゴールデンゲートブリッジの画像)を提示する。背景画像1404は、アニメーションといった、ユーザの状況とともに調節する動的特徴、あるいは、手を伸ばす距離またはスピードに依存して変化するさまざまな輝度または透明度のレベルを有していてもよい。関与モードにある間、電子デバイス102はまた、認証プロセスを行なうために認証システムを準備する(なお、場合によっては、電子デバイス102は、ユーザの意図を示すユーザアクションに応答して、関与モードに入らず、代わりに、認識モードにある間に認証システムを準備する)。したがって、例示的なディスプレイ114-25はロックアイコン1406も提示し、それは、ユーザ1302が認証されるまで、電子デバイス102への完全なアクセスが利用できないことを示す。いくつかの実現化例では、追加の視覚要素が例示的なディスプレイ114-25上に表示されてもよく、例示的なディスプレイ114-24上に提示された視覚要素のうちのいくつかまたはすべてが提示を中止されてもよい。図14には図示されていないが、ユーザ1302が手を伸ばすジェスチャーを引っ込めると、電子デバイス102は(すぐに、または、選択可能な予め定められた量の時間にわたって伸ばした手が引っ込められた後で)関与モードを出て認識モードに戻ってもよい。
【0127】
図15は、ユーザ1302が認証された後で電子デバイスが関与モードからアクティブモードへ移行する例1500を示す(なお、いくつかの実現化例では、電子デバイスは認識モードからアクティブモードへ移行することができる)。詳細図1500-1は、例示的なディスプレイ114-26上に複数の視覚要素(1308、1310、1312、1314、1404、1406)を表示することを含む、図14を参照して説明されたような認識ゾーン1304内のユーザ1302と関与モードにある電子デバイス102とを示す。図14を参照して述べられたように、ユーザが電子デバイス102に手を伸ばすと、認証システムはユーザ1302を認証する準備をする。図15では、別の詳細図1500-2が、ユーザ1302が電子デバイス102を手に取ったことを示す。電子デバイス102は、手に取られることは上述のようなトリガー事象であると判断し、ユーザ1302を認証する。ユーザ1302が認証されると、電子デバイス102は、矢印1502によって示されるように、関与モード(または認識モード)を出てアクティブモードに入る。
【0128】
詳細図1500-2に示されるように、アクティブモードに関連付けられた追加の視覚要素も、例示的なディスプレイ114-27上に提示されてもよい。たとえば、アクティブモードでは、例示的なディスプレイ114-27は認識モードに関連付けられた視覚要素を提示し続けるが、(関与モードに関連付けられた)背景画像1404は、海岸のシルエットという別の背景画像1504に変化している(なお、背景画像1504は異なる色彩設計を有するため、視覚要素のうちのいくつかは、それらがユーザ1302に見え続けるように、コントラストまたは色を変化させている)。加えて、関与モードのロックアイコン1406はロック解除アイコン1506へ移行し、それはユーザ1302が認証されていることを示す。いくつかの実現化例では、ロック解除アイコン1506は、ある持続時間にわたって提示され、その後、薄くなってもよい。図15には図示されていないが、ロック解除アイコン1506が薄くなった後で、命令(たとえば、「開くにはスワイプまたはタップしてください」)、1つ以上のアプリケーション開始アイコン、または、電子デバイス102が利用可能な他の視覚要素といった追加の視覚要素が、例示的なディスプレイ114-27上に表示されてもよい。
【0129】
いくつかの実現化例では、ユーザ1302は、ユーザ1302が認識ゾーン(たとえば認識ゾーン1304)内に、または、レーダーシステムがユーザ1302の存在を検出できる別の定義されたエリア内にとどまる限り、認証されたままであってもよい。これらの実現化例では、ディスプレイ114は電力供給され続け、入力を受信してコンテンツを提示することが可能であってもよく、または、バッテリー電力を節約するために画面がオフにされてもよい。ユーザ1302は認証されたままであるため、画面がオフであっても、ユーザは、画面を触ること、デバイスを手に取ること、または別のアクションによって、再認証される必要なく電子デバイス102にアクセスすることができる。このように、バッテリー電力を節約しつつ、ユーザの電子デバイス102との楽しみおよび体験を向上させることができる。
【0130】
また、(たとえば、休止モードから、認識モードおよび関与モードを介して、認証およびアクティブモードへの)モード間の説明された進行は、代わりに反対方向に進んでもよい。たとえば、電子デバイス102がアクティブモードにあり、ユーザ1302がそれを下に置いた場合(たとえば、別のトリガー事象が生じた場合)、電子デバイスは、上述のように、ロック状態に入ってもよく(たとえば、ユーザ1302の認証を解除してもよく)、および/または、電子デバイス102を関与モードまたは認識モードにしてもよい。したがって、ユーザの手が電子デバイス102の近くにとどまる場合(たとえば「手を伸ばした」位置にとどまる場合)、電子デバイス102は関与モードのままであってもよい。逆に、ユーザの手が引っ込められる場合、電子デバイス102は認識モードに入ってもよい。次に、述べられたように、ユーザが認識ゾーンにいる間、電子デバイス102は認識モードのままであってもよい。ゾーン間のこの進行中、ディスプレイ114は、電子デバイス102の変化するステータスをユーザ1302に示すために、ゾーンごとに上述の視覚要素を提示してもよい。
【0131】
述べられたように、いくつかの実現化例では、電子デバイス102上で実行されているアプリケーションは、レーダーベースのタッチ非依存ジェスチャー(レーダージェスチャー)を通して入力を受信可能であってもよい。これらの場合、レーダーシステム104は、電子デバイス102の状況に基づいて、ユーザが手を伸ばすことを検出し、アクションを行なってもよい。たとえば、電子デバイスが上述のモードのうちのいずれかにある場合、ユーザは電子デバイスを通して通話を受信したり、アラーム、アラート、または通知を受信したり、または音楽を再生してもよい。これらの場合、ユーザは、アクションに応答するために電子デバイスに向かって手を伸ばしてもよい。このため、手を伸ばすことは、着信またはアラーム中にベルまたは通知の音を下げるかまたは消してもよい。また、ユーザがアラートまたは通知が表示されていることに気付いて電子デバイスに向かって手を伸ばす場合、通知は消されるかまたは相互作用的になってもよい。たとえば、ユーザが手を伸ばしたことを検出すると、電子デバイスは、アラート/通知を消すかまたは後回しにすること、返答すること(メッセージまたは電子メール通知の場合)によって、あるいは別の態様でユーザが応答することを可能にするモードで、通知を表示してもよい。場合によっては、表示された通知は、色またはサイズも変化させてもよい。ユーザが音楽を聞いている例では、手を伸ばすことは、ユーザがトラック、ボリューム、または他のパラメータを制御できるように、電子デバイスに音楽プレーヤーのための制御画面を提示させてもよい。
【0132】
これらの特徴のうちのいくつかまたはすべては異なるモードで利用可能であってもよく、また、どの特徴が利用可能であるかはユーザ選択可能であってもよい。たとえば、ユーザは、すべてのモードでボリューム消音および音楽制御を可能にするものの、アクティブモード(たとえば、ユーザが認証され、かつ認識ゾーンを出なかった場合)でのみアラートおよび通知への応答を可能にしてもよい。特徴および許可レベルの他の組合せも、ユーザによって選択されてもよい。
【0133】
認識ゾーン内のユーザの存在を検出するためにレーダー感知が使用される実現化例を含み、電子デバイスと相互作用しようとするユーザの意図のしるしとして分類されるユーザアクションを検出するためにレーダーが使用される実現化例をさらに含む(これらの実現化例のいずれも、大半の現代のスマートフォンに設けられたデバイス搭載カメラを使用して代替的に達成可能であり得る)、説明される実現化例の利点のなかでも、利点は、レーダー設備の電力使用量はカメラ設備の電力使用量よりも実質的に少ないものの、結果の正当性はしばしば、カメラ設備よりもレーダー設備でより良好であり得る、ということである。たとえば、上述のレーダー設備を使用すると、判断を下すためにレーダーベクトルデータを処理するための処理電力を含めても、数ミリワット~数十ミリワット(たとえば、10mW、20mW、30mW、または40mW)の範囲の平均電力で、所望のユーザ状態またはユーザ意図検出を達成することができる。これらの低電力レベルでは、レーダー設備を常時オン状態にすることは、容易に受け入れ可能であろう。そのため、たとえば、スマートフォンレーダー設備が常時オン状態にある場合、ここに説明される所望の楽しくシームレスな体験が依然として、部屋で自分のスマートフォンから長時間離れて座っているユーザに提供され得る。
【0134】
対照的に、大半の今日のスマートフォンに設けられた光学カメラは典型的には、数百ミリワットの電力(たとえば、40mWよりも1桁高い電力、すなわち400mW)で動作する。そのような電力レートでは、光学カメラは不利であろう。なぜなら、それらは、光学カメラを常時オン状態にすることを禁止はしないにせよ非常に非現実的にするほど、大半の今日のスマートフォンのバッテリ寿命を著しく減少させるためである。レーダー設備の追加の利点は、(レーダーチップが概して自撮りカメラと同じ方向に外向きに面している、多くの典型的な実現化例のために)テーブルの上に画面を上にして平らに載っている場合でも、任意の方向からユーザが歩いてくるのを容易に検出できるほど、視野がかなり大きくなり得ること、さらには、そのドップラー処理能力により、さまざまな方向からの動く身体の比較的微妙な動きさえも検出する際に(特に、60GHz近くの動作周波数で)非常に効果的であり得ることである。
【0135】
加えて、レーダー設備は、カメラ設備の性能が低下または制限されている環境で動作可能である。たとえば、より低光量の環境では、カメラ設備は、形状または動きを検出する能力が低下するかもしれない。対照的に、レーダー設備は、全光量での場合と同じくらい良好に、低光量において機能する。レーダー設備はまた、何らかの障害物を通して存在およびジェスチャーを検出することができる。たとえば、スマートフォンがジャケットまたはズボンのポケットに入っている場合、カメラ設備は、ユーザまたはジェスチャーを検出することができない。しかしながら、レーダー設備は依然として、カメラ設備を阻止するような布地さえも通して、レーダー場にある物体を検出することができる。スマートフォンの内蔵ビデオカメラ設備を上回る、レーダー設備を使用するさらなる利点は、プライバシーである。なぜなら、ユーザは、ここに説明される楽しくシームレスな体験という利点を有することができ、同時に、そのような目的のために自分の映像を撮影しているビデオカメラがあることを心配しなくてもよいためである。
【0136】
例示的なコンピューティングシステム
図16は、モバイルデバイスのための入力方法を実現するために、前述の図1~15を参照して説明されたような任意のタイプのクライアント、サーバ、および/または電子デバイスとして実現され得る例示的なコンピューティングシステム1600のさまざまなコンポーネントを示す。
【0137】
コンピューティングシステム1600は、デバイスデータ1604(たとえば、レーダーデータ、認証データ、参照データ、受信されたデータ、受信中のデータ、同報通信のためにスケジューリングされたデータ、および、データのデータパケット)の有線および/または無線通信を可能にする通信デバイス1602を含む。デバイスデータ1604または他のデバイスコンテンツは、デバイスの構成設定、デバイス上に格納されたメディアコンテンツ、および/またはデバイスのユーザに関連付けられた情報(たとえば、レーダー場内の人間のアイデンティティ、またはカスタマイズされたジェスチャーデータ)を含み得る。コンピューティングシステム1600上に格納されたメディアコンテンツは、任意のタイプのレーダーデータ、生体認証データ、音声データ、映像データ、および/または画像データを含み得る。コンピューティングシステム1600は1つ以上のデータ入力1606を含み、それを介して、人間の発話、レーダー場との相互作用(たとえばレーダージェスチャー)、タッチ入力、ユーザ選択可能な入力または相互作用(明示的または暗黙的)、メッセージ、音楽、テレビメディアコンテンツ、録画された映像コンテンツ、ならびに、任意のコンテンツおよび/またはデータソースから受信された任意の他のタイプの音声データ、映像データ、および/または画像データといった、任意のタイプのデータ、メディアコンテンツ、および/または入力が受信され得る。
【0138】
コンピューティングシステム1600はまた、通信インターフェイス1608を含み、それは、シリアルおよび/またはパラレルインターフェイス、無線インターフェイス、任意のタイプのネットワークインターフェイス、モデムのうちのいずれか1つ以上として、および任意の他のタイプの通信インターフェイスとして実現され得る。通信インターフェイス1608は、コンピューティングシステム1600と、他の電子デバイス、コンピューティングデバイス、および通信デバイスがコンピューティングシステム1600とデータを通信するための通信ネットワークとの間に、接続および/または通信リンクを提供する。
【0139】
コンピューティングシステム1600は、1つ以上のプロセッサ1610(たとえば、マイクロプロセッサ、コントローラ、または他のコントローラのうちのいずれか)を含み、それは、コンピューティングシステム1600の動作を制御するための、および、モバイルデバイスのための入力方法のための手法または当該入力方法が具現化され得る手法を可能にするための、さまざまなコンピュータ実行可能命令を処理することができる。それに代えて、またはそれに加えて、コンピューティングシステム1600は、ハードウェア、ファームウェア、または、概して1612で識別される処理および制御回路に関連して実現される固定論理回路のうちのいずれか1つまたはそれらの組合せを用いて実現され得る。図示されていないものの、コンピューティングシステム1600は、デバイス内のさまざまなコンポーネントを結合するシステムバスまたはデータ転送システムを含み得る。システムバスは、メモリバスまたはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および/または、さまざまなバスアーキテクチャのうちのいずれかを利用するプロセッサまたはローカルバスといった、異なるバス構造のうちのいずれか1つまたはそれらの組合せを含み得る。図示されていないが、コンピューティングシステム1600は、非レーダーセンサ108などの1つ以上の非レーダーセンサを含み得る。
【0140】
コンピューティングシステム1600はまた、(たとえば、単なる信号伝送とは対照的な)永続的および/または非一時的なデータ記憶を可能にする1つ以上のメモリデバイスといった、コンピュータ読取可能媒体1614を含み、それの例は、ランダムアクセスメモリ(random access memory:RAM)、不揮発性メモリ(たとえば、読出専用メモリ(read-only memory:ROM)、フラッシュメモリ、EPROM、EEPROMなどのうちのいずれか1つ以上)、およびディスク記憶デバイスを含む。ディスク記憶デバイスは、ハードディスクドライブ、記録可能および/または書換可能コンパクトディスク(compact disc:CD)、任意のタイプのデジタル多用途ディスク(digital versatile disc:DVD)などといった、任意のタイプの磁気または光学記憶デバイスとして実現されてもよい。コンピューティングシステム1600はまた、大容量記憶媒体デバイス(記憶媒体)1616を含み得る。
【0141】
コンピュータ読取可能媒体1614は、デバイスデータ1604、さまざまなデバイスアプリケーション1618、ならびに、コンピューティングシステム1600の動作局面に関連する任意の他のタイプの情報および/またはデータを格納するためのデータ記憶メカニズムを提供する。たとえば、オペレーティングシステム1620は、コンピュータ読取可能媒体1614でコンピュータアプリケーションとして維持され、プロセッサ1610上で実行され得る。デバイスアプリケーション1618は、任意の形の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、抽象化モジュール、ジェスチャー認識モジュール、および/または他のモジュールといった、デバイスマネージャを含んでいてもよい。デバイスアプリケーション1618はまた、レーダーシステム104、相互作用マネージャ106、またはアプリケーションマネージャ116といった、モバイルデバイスのための入力方法を実現するためのシステムコンポーネント、エンジン、モジュール、またはマネージャを含んでいてもよい。コンピューティングシステム1600はまた、1つ以上の機械学習システムを含むか、または、1つ以上の機械学習システムへのアクセスを有していてもよい。
【0142】
いくつかの例を以下に説明する。
例1:ディスプレイとレーダーシステムとを含む電子デバイスにおいて実現される方法であって、方法は、レーダーシステムを通して受信されたレーダーデータに基づいて、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあると判断するステップと、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断するステップとを含み、レーダージェスチャー入力は、レーダーシステムによって生成されるレーダーデータから判断され、方法はさらに、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断と、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されているという判断とに応答して、電子デバイスのディスプレイ上にフィードバックインジケータを提供するステップを含み、フィードバックインジケータを提供するステップは、ユーザの一部分がジェスチャーゾーン内にあることと、アプリケーションがレーダージェスチャー入力を受信できることとを示す、方法。
【0143】
例2:フィードバックインジケータは、ディスプレイのアクティブエリアの縁に現われる視覚要素である、例1に記載の方法。
【0144】
例3:視覚要素は、ディスプレイのアクティブエリアの一部分を含むエリアと、視覚属性とを含み、視覚属性は、視覚要素に近接するディスプレイの別の一部分の視覚属性とは異なる光度、色、コントラスト、形状、彩度、および/または不透明度を含み、視覚要素はさらに、ディスプレイのアクティブエリアの縁のしきい値距離内にある外部境界のセグメントを含む、例2に記載の方法。
【0145】
例4:視覚要素の視覚属性は、視覚要素のエリアにわたって変化する、例3に記載の方法。
【0146】
例5:ジェスチャーゾーン内にあるユーザの一部分は、ユーザの手であり、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあると判断するステップは、ユーザの手が電子デバイスに向かって伸びることを検出するステップを含む、例1~4のいずれか1つに記載の方法。
【0147】
例6:電子デバイスのディスプレイ上にフィードバックインジケータを提供するステップは、ディスプレイ上に以前に提示された視覚要素を調節するステップを含み、以前に提示された視覚要素は、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていることを示し、ディスプレイのアクティブエリアの縁に現われ、以前に提示された視覚要素を調節するステップは、以前に提示された視覚要素のエリアを拡大するステップを含む、例1に記載の方法。
【0148】
例7:以前に提示された視覚要素のエリアを拡大するステップは、以前に提示された視覚要素を、ディスプレイのアクティブエリアの縁と平行な方向に拡張するステップ、または、以前に提示された視覚要素を、ディスプレイのアクティブエリアの縁から遠ざかる方向に拡張するステップを含む、例6に記載の方法。
【0149】
例8:電子デバイスまでの距離および/またはジェスチャーゾーン内のユーザの一部分の動きに対応して、フィードバックインジケータの視覚属性を動的に調節するステップをさらに含む、例1~7のいずれか1つに記載の方法。
【0150】
例9:視覚属性は、フィードバックインジケータの光度、輝度、または視覚強度のうちの少なくとも1つであり、視覚属性の測定値は、距離がレーダーシステムの向上したレーダージェスチャー認識効力に対応する量に近づくにつれて増加し、フィードバックインジケータの視覚属性の測定値は、距離が減少したレーダージェスチャー認識効力に対応する量に近づくにつれて減少する、例8に記載の方法。
【0151】
例10:ディスプレイ上のフィードバックインジケータの位置を動的に調節するステップをさらに含み、フィードバックインジケータの動的調節は、電子デバイスのジェスチャーゾーン内にあるユーザの一部分の動きに対応しており、電子デバイスのジェスチャーゾーン内にあるユーザの一部分の動きは、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断が基づいていたレーダーデータの第1の部分集合に、または、レーダーデータの第2の部分集合に基づいており、レーダーデータの第2の部分集合は、レーダーデータの第1の部分集合の受信後にレーダーシステムによって受信される、例1~9のいずれか1つに記載の方法。
【0152】
例11:ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断が基づいていたレーダーデータの第1の部分集合に、または、レーダーデータの第1の部分集合の受信後にレーダーシステムによって受信されるレーダーデータの第2の部分集合に基づいて、ユーザの一部分はもはやジェスチャーゾーン内にないと判断するステップと、ユーザの一部分はもはやジェスチャーゾーン内にないという判断に応答して、電子デバイスのディスプレイ上にフィードバックインジケータを提供するのを中止するステップとをさらに含む、例1~10のいずれか1つに記載の方法。
【0153】
例12:フィードバックインジケータが表示されるディスプレイの領域の背景色を決定するステップと、フィードバックインジケータが表示されるディスプレイの領域の背景色を決定するステップに応答して、ディスプレイに、背景色とは異なる別の色でフィードバックインジケータを提供させるステップとをさらに含み、異なる色は、フィードバックインジケータと、フィードバックインジケータが表示されるディスプレイの領域との、人間が識別可能なコントラストを提供するのに効果的である、例1~11のいずれか1つに記載の方法。
【0154】
例13:電子デバイスであって、ディスプレイと、少なくとも部分的にハードウェアで実現されたレーダーシステムとを含み、レーダーシステムは、レーダー場を提供し、レーダー場内のユーザからの反射を感知し、レーダー場内のユーザからの反射を分析し、反射の分析に基づいてレーダーデータを提供するように構成され、電子デバイスはさらに、コンピュータプロセッサと、コンピュータプロセッサによる実行に応答してレーダーベースの相互作用マネージャを実現する命令が格納されたコンピュータ読取可能媒体とを含み、レーダーベースの相互作用マネージャは、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断し、レーダーデータに基づいて、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあると判断し、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されているという判断と、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断とに応答して、ディスプレイにフィードバックインジケータを提示させるように構成され、フィードバックインジケータの提示は、ユーザの一部分がジェスチャーゾーン内にあることと、アプリケーションがレーダージェスチャー入力を受信できることとを示す、電子デバイス。
【0155】
例14:フィードバックインジケータは、ディスプレイのアクティブエリアの縁に現われる視覚要素である、例13に記載の電子デバイス。
【0156】
例15:視覚要素は、ディスプレイのアクティブエリアの一部分を含むエリアと、視覚属性とを含み、視覚属性は、視覚要素に近接するディスプレイの別の一部分の視覚属性とは異なる光度、色、コントラスト、形状、彩度、および/または不透明度を含み、視覚要素はさらに、ディスプレイのアクティブエリアの縁のしきい値距離内にある外部境界のセグメントを含む、例14に記載の電子デバイス。
【0157】
例16:視覚要素の視覚属性は、視覚要素のエリアにわたって変化する、例15に記載の電子デバイス。
【0158】
例17:ジェスチャーゾーン内にあるユーザの一部分は、ユーザの手であり、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断は、ユーザの手が電子デバイスに向かって伸びているという判断を含む、例13~16のいずれか1つに記載の電子デバイス。
【0159】
例18:ディスプレイにフィードバックインジケータを提示させることは、ディスプレイに以前に提示された視覚要素への調節を行なわせることを含み、以前に提示された視覚要素は、電子デバイス上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていることを示し、ディスプレイのアクティブエリアの縁に現われ、以前に提示された視覚要素への調節は、以前に提示された視覚要素のエリアを拡大することを少なくとも含む、例13に記載の電子デバイス。
【0160】
例19:以前に提示された視覚要素のエリアを拡大することは、以前に提示された視覚要素を、ディスプレイのアクティブエリアの縁と平行な方向に拡張すること、または、以前に提示された視覚要素を、ディスプレイのアクティブエリアの縁から遠ざかる方向に拡張することを含む、例18に記載の電子デバイス。
【0161】
例20:レーダーベースの相互作用マネージャはさらに、電子デバイスまでの距離および/またはジェスチャーゾーン内のユーザの一部分の動きに対応して、フィードバックインジケータの視覚属性を動的に調節するように構成される、例13~19のいずれか1つに記載の電子デバイス。
【0162】
例21:視覚属性は、フィードバックインジケータの光度、輝度、または視覚強度のうちの少なくとも1つであり、視覚属性の測定値は、距離がレーダーシステムの向上したレーダージェスチャー認識効力に対応する量に近づくにつれて増加し、フィードバックインジケータの視覚属性の測定値は、距離が減少したレーダージェスチャー認識効力に対応する量に近づくにつれて減少する、例20に記載の電子デバイス。
【0163】
例22:レーダーベースの相互作用マネージャはさらに、ディスプレイ上のフィードバックインジケータの位置を動的に調節するように構成され、フィードバックインジケータの動的調節は、電子デバイスのジェスチャーゾーン内にあるユーザの一部分の動きに対応しており、電子デバイスのジェスチャーゾーン内にあるユーザの一部分の動きは、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断が基づいていたレーダーデータの第1の部分集合に、または、レーダーデータの第2の部分集合に基づいており、レーダーデータの第2の部分集合は、レーダーデータの第1の部分集合の受信後にレーダーシステムによって受信される、例13~21のいずれか1つに記載の電子デバイス。
【0164】
例23:レーダーベースの相互作用マネージャはさらに、ユーザの一部分が電子デバイスのジェスチャーゾーン内にあるという判断が基づいていたレーダーデータの第1の部分集合に、または、レーダーデータの第1の部分集合の受信後にレーダーシステムによって受信されるレーダーデータの第2の部分集合に基づいて、ユーザの一部分はもはやジェスチャーゾーン内にないと判断し、ユーザの一部分はもはやジェスチャーゾーン内にないという判断に応答して、ディスプレイにフィードバックインジケータの提示を中止させるように構成される、例13~22のいずれか1つに記載の電子デバイス。
【0165】
例24:レーダーベースの相互作用マネージャはさらに、フィードバックインジケータが提示されるディスプレイの領域の背景色を決定し、フィードバックインジケータが表示されるディスプレイの領域の背景色の決定に応答して、ディスプレイに、背景色とは異なる別の色でフィードバックインジケータを提示させるように構成され、異なる色は、フィードバックインジケータと、フィードバックインジケータが表示されるディスプレイの領域との、人間が識別可能なコントラストを提供するのに効果的である、例13~23のいずれか1つに記載の電子デバイス。
【0166】
結論
モバイルデバイスのための入力方法のための手法および当該入力方法を可能にする装置の実現化例が、特徴および/または方法に特有の文言で説明されてきたが、請求項の主題は説明された特定の特徴または方法に必ずしも限定されないということが理解されるべきである。むしろ、特定の特徴および方法は、モバイルデバイスのための入力方法を可能にする例示的な実現化例として開示されている。
図1
図2
図3
図4
図5
図6
図7
図8
図9A-9D】
図10
図11
図12
図13
図14
図15
図16
【手続補正書】
【提出日】2022-04-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ディスプレイ(114;114-1~114-27)とレーダーシステム(104)とを含む電子デバイス(102)において実現される方法であって、前記方法は、
前記レーダーシステム(104)を通して受信されたレーダーデータに基づいて、ユーザの一部分が前記電子デバイス(102)のジェスチャーゾーン(118)内にあると判断するステップと、
前記電子デバイス(102)上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断するステップと、
前記ユーザの前記一部分が前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にあるという判断と、前記電子デバイス(102)上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されているという判断とに応答して、前記電子デバイス(102)の前記ディスプレイ(114;114-1~114-27)上にフィードバックインジケータ(120)を提供するステップとを含み、前記フィードバックインジケータ(120)を提供するステップは、
前記ユーザの前記一部分が前記ジェスチャーゾーン(118)内にあることと、
前記アプリケーションが前記レーダージェスチャー入力を受信できることとを示し、
前記電子デバイス(102)の前記ディスプレイ(114;114-1~114-27)上に前記フィードバックインジケータ(120)を提供するステップは、前記電子デバイス(102)上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されていることを示すために前記ディスプレイ(114;114-1~114-27)のアクティブエリアの縁にすでに提示されている視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)を調節するステップを含み、
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)を調節するステップは、すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)のエリアを拡大するステップを含む、方法。
【請求項2】
前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)は、
前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの一部分を含むエリアと、
視覚属性とを含み、前記視覚属性は、前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)に近接する前記ディスプレイ(114;114-1~114-27)の別の一部分の視覚属性とは異なる光度、色、コントラスト、形状、彩度、または不透明度を含み、前記視覚要素はさらに、
前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの前記縁のしきい値距離内にある外部境界のセグメントを含む、請求項1に記載の方法。
【請求項3】
前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)の前記視覚属性は、前記視覚要素の前記エリアにわたって変化する、請求項2に記載の方法。
【請求項4】
前記ジェスチャーゾーン(118)内にある前記ユーザの前記一部分は、前記ユーザの手(112;902;1002;1102)であり、
前記ユーザの前記一部分が前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にあると判断するステップは、前記ユーザの前記手(112;902;1002;1102)が前記電子デバイス(102)に向かって伸びることを検出するステップを含む、請求項1~3のいずれか1項に記載の方法。
【請求項5】
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)の前記エリアを拡大するステップは、
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)を、前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの前記縁と平行な方向に拡張するステップ、または、
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)を、前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの前記縁から遠ざかる方向に拡張するステップを含む、請求項1に記載の方法。
【請求項6】
前記ユーザの前記一部分の前記電子デバイス(102)までの距離および/または前記ジェスチャーゾーン(118)内の前記ユーザの前記一部分の動きに対応して、前記フィードバックインジケータ(120)の視覚属性を動的に調節するステップをさらに含む、請求項1、4または5のいずれか1項に記載の方法。
【請求項7】
前記視覚属性は、前記フィードバックインジケータの光度、輝度、または視覚強度のうちの少なくとも1つであり、
前記視覚属性の測定値は、前記距離が前記レーダーシステム(104)の向上したレーダージェスチャー認識効力に対応する量に近づくにつれて増加し、
前記フィードバックインジケータ(120)の前記視覚属性の前記測定値は、前記距離が減少したレーダージェスチャー認識効力に対応する量に近づくにつれて減少する、請求項6に記載の方法。
【請求項8】
前記ディスプレイ(114;114-1~114-27)上の前記フィードバックインジケータ(120)の位置を動的に調節するステップをさらに含み、前記フィードバックインジケータ(120)の前記位置の動的調節は、前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にある前記ユーザの前記一部分の動きに対応しており、前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にある前記ユーザの前記一部分の前記動きは、前記ユーザの前記一部分が前記電子デバイス(102)の前記ジェスチャーゾーン内(118)にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの第2の部分集合に基づいており、前記レーダーデータの前記第2の部分集合は、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステム(104)によって受信される、請求項1~7のいずれか1項に記載の方法。
【請求項9】
前記ユーザの前記一部分が前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステム(104)によって受信される前記レーダーデータの第2の部分集合に基づいて、前記ユーザの前記一部分はもはや前記ジェスチャーゾーン(118)内にないと判断するステップと、
前記ユーザの前記一部分はもはや前記ジェスチャーゾーン(118)内にないという判断に応答して、前記電子デバイス(102)の前記ディスプレイ(114;114-1~114-27)上に前記フィードバックインジケータ(120)を提供するのを中止するステップとをさらに含む、請求項1~8のいずれか1項に記載の方法。
【請求項10】
前記フィードバックインジケータ(120)が表示される前記ディスプレイ(114;114-1~114-27)の領域の背景色を決定するステップと、
前記フィードバックインジケータ(120)が表示される前記ディスプレイ(114;114-1~114-27)の前記領域の前記背景色を決定するステップに応答して、前記ディスプレイ(114;114-1~114-27)に、前記背景色とは異なる別の色で前記フィードバックインジケータ(120)を提供させるステップとをさらに含み、前記異なる色は、前記フィードバックインジケータ(120)と、前記フィードバックインジケータ(120)が表示される前記ディスプレイ(114;114-1~114-27)の前記領域との、人間が識別可能なコントラストを提供するのに効果的である、請求項1~9のいずれか1項に記載の方法。
【請求項11】
電子デバイス(102)であって、
ディスプレイ(114;114-1~114-27)と、
少なくとも部分的にハードウェアで実現されたレーダーシステム(104)とを含み、前記レーダーシステムは、
レーダー場(110)を提供し、
前記レーダー場(110)内のユーザからの反射を感知し、
前記レーダー場(110)内の前記ユーザからの前記反射を分析し、
前記反射の分析に基づいてレーダーデータを提供するように構成され、前記電子デバイスはさらに、
コンピュータプロセッサ(202)と、
前記コンピュータプロセッサ(202)による実行に応答してレーダーベースの相互作用マネージャ(106)を実現する命令が格納されたコンピュータ読取可能媒体(204)とを含み、前記レーダーベースの相互作用マネージャは、
前記電子デバイス(102)上で動作しているアプリケーションがレーダージェスチャー入力を受信するように構成されていると判断し、
前記レーダーデータに基づいて、前記ユーザの一部分が前記電子デバイス(102)のジェスチャーゾーン(118)内にあると判断し、
前記電子デバイス(102)上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されているという判断と、前記ユーザの前記一部分が前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にあるという判断とに応答して、前記ディスプレイ(114;114-1~114-27)にフィードバックインジケータ(120)を提示させるように構成され、前記フィードバックインジケータ(120)の提示は、
前記ユーザの前記一部分が前記ジェスチャーゾーン(118)内にあることと、
前記アプリケーションが前記レーダージェスチャー入力を受信できることとを示し、
前記ディスプレイ(114;114-1~114-27)に前記フィードバックインジケータ(120)を提示させることは、前記ディスプレイ(114;114-1~114-27)に、前記電子デバイス(102)上で動作している前記アプリケーションがレーダージェスチャー入力を受信するように構成されていることを示すために前記ディスプレイ(114;114-1~114-27)のアクティブエリアの縁にすでに提示されている視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)への調節を行なわせることを含み、
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)への前記調節は、すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)のエリアを拡大することを少なくとも含む、電子デバイス。
【請求項12】
前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)は、
前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの一部分を含むエリアと、
視覚属性とを含み、前記視覚属性は、前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)に近接する前記ディスプレイ(114;114-1~114-27)の別の一部分の視覚属性とは異なる光度、色、コントラスト、形状、彩度、または不透明度を含み、前記視覚要素はさらに、
前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの前記縁のしきい値距離内にある外部境界のセグメントを含む、請求項11に記載の電子デバイス。
【請求項13】
前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)の前記視覚属性は、前記視覚要素の前記エリアにわたって変化する、請求項12に記載の電子デバイス。
【請求項14】
前記ジェスチャーゾーン(118)内にある前記ユーザの前記一部分は、前記ユーザの手(112;902;1002;1102)であり、
前記ユーザの前記一部分が前記電子デバイスの前記ジェスチャーゾーン内にあるという前記判断は、前記ユーザの前記手(112;902;1002;1102)が前記電子デバイス(102)に向かって伸びているという判断を含む、請求項11~13のいずれか1項に記載の電子デバイス。
【請求項15】
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)の前記エリアを拡大することは、
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)を、前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの前記縁と平行な方向に拡張すること、または、
すでに提示されている前記視覚要素(122;802;804;906;910;1004;1104;1202、1208;1308、1310、1312、1314;1404、1406)を、前記ディスプレイ(114;114-1~114-27)の前記アクティブエリアの前記縁から遠ざかる方向に拡張することを含む、請求項11に記載の電子デバイス。
【請求項16】
前記レーダーベースの相互作用マネージャ(106)はさらに、前記ユーザの前記一部分の前記電子デバイス(102)までの距離および/または前記ジェスチャーゾーン(118)内の前記ユーザの前記一部分の動きに対応して、前記フィードバックインジケータ(120)の視覚属性を動的に調節するように構成される、請求項11、14または15のいずれか1項に記載の電子デバイス。
【請求項17】
前記視覚属性は、前記フィードバックインジケータ(120)の光度、輝度、または視覚強度のうちの少なくとも1つであり、
前記視覚属性の測定値は、前記距離が前記レーダーシステム(104)の向上したレーダージェスチャー認識効力に対応する量に近づくにつれて増加し、
前記フィードバックインジケータ(120)の前記視覚属性の前記測定値は、前記距離が減少したレーダージェスチャー認識効力に対応する量に近づくにつれて減少する、請求項16に記載の電子デバイス。
【請求項18】
前記レーダーベースの相互作用マネージャ(106)はさらに、前記ディスプレイ(114;114-1~114-27)上の前記フィードバックインジケータ(120)の位置を動的に調節するように構成され、前記フィードバックインジケータ(120)の前記位置の動的調節は、前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にある前記ユーザの前記一部分の動きに対応しており、前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にある前記ユーザの前記一部分の前記動きは、前記ユーザの前記一部分が前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの第2の部分集合に基づいており、前記レーダーデータの前記第2の部分集合は、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステム(104)によって受信される、請求項11~17のいずれか1項に記載の電子デバイス。
【請求項19】
前記レーダーベースの相互作用マネージャ(106)はさらに、
前記ユーザの前記一部分が前記電子デバイス(102)の前記ジェスチャーゾーン(118)内にあるという前記判断が基づいていた前記レーダーデータの第1の部分集合に、または、前記レーダーデータの前記第1の部分集合の受信後に前記レーダーシステム(104)によって受信される前記レーダーデータの第2の部分集合に基づいて、前記ユーザの前記一部分はもはや前記ジェスチャーゾーン(118)内にないと判断し、
前記ユーザの前記一部分はもはや前記ジェスチャーゾーン(118)内にないという判断に応答して、前記ディスプレイ(114;114-1~114-27)に前記フィードバックインジケータ(120)の提示を中止させるように構成される、請求項11~18のいずれか1項に記載の電子デバイス。
【請求項20】
前記レーダーベースの相互作用マネージャ(106)はさらに、
前記フィードバックインジケータ(120)が提示される前記ディスプレイ(114;114-1~114-27)の領域の背景色を決定し、
前記フィードバックインジケータ(120)が提示される前記ディスプレイ(114;114-1~114-27)の前記領域の前記背景色の決定に応答して、前記ディスプレイ(114;114-1~114-27)に、前記背景色とは異なる別の色で前記フィードバックインジケータ(120)を提示させるように構成され、前記異なる色は、前記フィードバックインジケータ(120)と、前記フィードバックインジケータ(120)が提示される前記ディスプレイ(114;114-1~114-27)の前記領域との、人間が識別可能なコントラストを提供するのに効果的である、請求項11~19のいずれか1項に記載の電子デバイス。
【請求項21】
請求項1~10のいずれか1項に記載の方法をコンピュータに実行させるためのプログラム。
【国際調査報告】