特許 6861311 レーダーシステムを備えるスマートフォン、システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6861311

(24)【登録日】2021年3月31日

(45)【発行日】2021年4月21日

(54)【発明の名称】レーダーシステムを備えるスマートフォン、システムおよび方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210412BHJP

   G06F 3/0484 20130101ALI20210412BHJP

   G06F 3/0488 20130101ALI20210412BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/0484 120

   G06F3/0484 150

   G06F3/0488

【請求項の数】20

【外国語出願】

【全頁数】32

(21)【出願番号】特願2020-90667(P2020-90667)

(22)【出願日】2020年5月25日

(62)【分割の表示】特願2020-517425(P2020-517425)の分割

【原出願日】2019年8月5日

(65)【公開番号】特開2020-173817(P2020-173817A)

(43)【公開日】2020年10月22日

【審査請求日】2020年6月15日

(31)【優先権主張番号】16/112,130

(32)【優先日】2018年8月24日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】ジュスティ，レオナルド

(72)【発明者】

【氏名】プピレフ，アイバン

(72)【発明者】

【氏名】アミフッド，パトリック・エム

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開平１１−３３８１２０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／００４１６１７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／０１８１５０９（ＵＳ，Ａ１）

【文献】 特開２０１２−０４８７２０（ＪＰ，Ａ）

【文献】 特開２０１３−１２５３２８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０３７０４４３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１８／０１２０９４６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３−３／０３８

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０−１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

システムであって、
ディスプレイを含む電子デバイスと、
ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、前記レーダーシステムは、
レーダーフィールドを提供し、
前記レーダーフィールド内のオブジェクトからの反射を検知し、
前記レーダーフィールド内の前記オブジェクトからの前記反射を分析し、および、
前記反射の前記分析に基づいて、レーダーデータを提供するように構成され、前記システムはさらに、
１つ以上のコンピュータプロセッサと、
前記１つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶された、１つ以上のコンピュータ可読媒体とを備え、前記レーダーベースアプリケーションは、
前記電子デバイスの前記ディスプレイを通して拡張現実（ＡＲ）要素を呈示し、
前記電子デバイスの前記ディスプレイを介してなされるタッチ入力を受信し、前記タッチ入力は前記ＡＲ要素を選択するのに有効であり、
前記ＡＲ要素の選択の後に、前記レーダーデータに基づいて、前記レーダーフィールド内の前記オブジェクトによるジェスチャを判断し、および、
判断された前記ジェスチャに対応する、前記選択されたＡＲ要素に関連するアクションを行うように構成されており、
前記レーダーシステムは、さらに、デジタルビームフォーマと角度推定器とを備え、
前記デジタルビームフォーマは、前記反射からビームフォーミングデータを生成し、
前記角度推定器は、前記ビームフォーミングデータを分析して、前記オブジェクトに関する角度確率データを生成する、システム。

【請求項2】

判断された前記ジェスチャは３次元（３Ｄ）ジェスチャである、請求項１に記載のシステム。

【請求項3】

前記オブジェクトはユーザの体の一部である、請求項１または請求項２に記載のシステム。

【請求項4】

判断された前記ジェスチャは、前記オブジェクトと前記レーダーシステムとの間の距離を変更することを含む、請求項１〜請求項３のいずれか１項に記載のシステム。

【請求項5】

前記オブジェクトと前記レーダーシステムとの間で増加した距離である、変更された前記距離に対応する前記アクションは、ユーザに近接する、選択された前記ＡＲ要素の移動であり、
前記オブジェクトと前記レーダーシステムとの間で減少した距離である、変更された前記距離に対応する前記アクションは、前記ユーザから離れる、選択された前記ＡＲ要素の移動である、請求項４に記載のシステム。

【請求項6】

前記ユーザに近接する、選択された前記ＡＲ要素の移動は、増加した前記距離に比例し、
前記ユーザから離れる、選択された前記ＡＲ要素の移動は、減少した前記距離に比例する、請求項５に記載のシステム。

【請求項7】

判断された前記ジェスチャは、ユーザの体の一部と前記電子デバイスの前記ディスプレイの平面との間の距離と実質的に同じ距離を維持しつつ、前記レーダーシステムに対する前記オブジェクトの位置を変更することを含む、請求項１〜請求項６のいずれか１項に記載のシステム。

【請求項8】

第１の方向における前記位置の変更に対応する前記アクションは、選択された前記ＡＲ要素の軸の周囲での第１の回転方向における選択された前記ＡＲ要素の回転であり、
第２の方向における前記位置の変更に対応する前記アクションは、前記軸の周囲での第２の回転方向における選択された前記ＡＲ要素の回転である、請求項７に記載のシステム。

【請求項9】

前記レーダーシステムは、約−９０°〜約９０°の視野における角度を監視するように構成されている、請求項１〜請求項８のいずれか１項に記載のシステム。

【請求項10】

前記レーダーシステムは、−４５°〜４５°の視野を超える範囲の角度を監視するように構成されている、請求項１〜請求項９のいずれか１項に記載のシステム。

【請求項11】

前記レーダーシステムは、約−１８０°〜約１８０°の視野までの範囲の角度を監視するように構成されている、請求項１０に記載のシステム。

【請求項12】

前記システムはスマートフォンによって構成される、請求項１〜請求項１１のいずれか１項に記載のシステム。

【請求項13】

ディスプレイ、レーダーシステム、および１つ以上のコンピュータプロセッサを備える電子デバイスによって実行される方法であって、
前記レーダーシステムによって、レーダーフィールドを提供するステップと、
前記レーダーシステムによって、前記レーダーフィールド内のオブジェクトからの反射を検知するステップと、
前記レーダーシステムによって、前記レーダーフィールド内の前記オブジェクトからの前記反射を分析するステップと、
前記レーダーシステムによって、前記反射の前記分析に基づいて、レーダーデータを提供するステップと、
前記１つ以上のコンピュータプロセッサによって、前記ディスプレイを通して拡張現実（ＡＲ）要素を呈示するステップと、
前記１つ以上のコンピュータプロセッサによって、前記電子デバイスの前記ディスプレイを介してなされるタッチ入力を受信し、前記タッチ入力は前記ＡＲ要素を選択するのに有効であり、
前記ＡＲ要素の選択の後に、前記１つ以上のコンピュータプロセッサによって、前記レーダーデータに基づいて、前記レーダーフィールド内の前記オブジェクトによるジェスチャを判断するステップと、
前記１つ以上のコンピュータプロセッサによって、判断された前記ジェスチャに対応する、前記選択されたＡＲ要素に関連するアクションを行うステップと、を備え、
前記方法は、さらに、
前記反射からビームフォーミングデータを生成するステップと、
前記ビームフォーミングデータを分析して、前記オブジェクトに関する角度確率データを生成するステップと、を備える方法。

【請求項14】

前記ビームフォーミングデータの生成および前記オブジェクトに関する前記角度確率データの生成によって、約−９０°〜約９０°の視野における角度が監視される、請求項１３に記載の方法。

【請求項15】

前記ビームフォーミングデータの生成および前記オブジェクトに関する前記角度確率データの生成によって、−４５°〜４５°の視野を超える範囲の角度が監視される、請求項１３または請求項１４に記載の方法。

【請求項16】

前記ビームフォーミングデータの生成および前記オブジェクトに関する前記角度確率データの生成によって、約−１８０°〜約１８０°の視野までの範囲の角度が監視される、請求項１５に記載の方法。

【請求項17】

判断された前記ジェスチャは３次元（３Ｄ）ジェスチャである、請求項１３〜請求項１６のいずれか１項に記載の方法。

【請求項18】

前記オブジェクトはユーザの体の一部である、請求項１３〜請求項１７のいずれか１項に記載の方法。

【請求項19】

判断された前記ジェスチャは、前記オブジェクトと前記レーダーシステムとの間の距離を変更することを含む、請求項１３〜請求項１８のいずれか１項に記載の方法。

【請求項20】

判断された前記ジェスチャは、ユーザの体の一部と前記電子デバイスの前記ディスプレイの平面との間の距離と実質的に同じ距離を維持しつつ、前記レーダーシステムに対する前記オブジェクトの位置を変更することを含む、請求項１３〜請求項１９のいずれか１項に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

背景
通信、ナビゲーション、買い物、ゲームプレー、拡張現実（ＡＲ）インタラクション、および他の多くの機能のために、スマートフォンなどの電子デバイスが用いられる。ユーザは、タッチ入力で電子デバイス上のアプリケーションとインタラクトすることが典型的である。これらのアプリケーションが提供可能な機能は広範囲にわたるため、多段階、または他の態様では複雑な入力をユーザが提供する必要がますます一般的になってきている。ジェスチャ認識技術は、ジェスチャがタッチスクリーンおよびタッチパッドなどのデバイスの表面を通して行われる場合、電子デバイスとのより複雑でないジェスチャインタラクションを可能にしている。しかしながら、タッチ入力インターフェースでさらに複雑な入力を提供するための電子デバイスとのインタラクションは、不便で、効果的でなく、不愉快なことがある。

【発明の概要】

【発明が解決しようとする課題】

【0002】

ＡＲ環境は特に、ユーザに難題をもたらすことがある。２次元（２Ｄ）タッチスクリーンを用いた３次元（３Ｄ）オブジェクトの操作は難しいことがある。たとえば、特定のリアルオブジェクトに関する３ＤのＡＲオブジェクトを操作するために、ユーザは、２Ｄタッチスクリーンを介してＡＲオブジェクトとインタラクトするために一方の手を用いつつ、電子デバイスを安定した状態に保つために、他方の手を用いなければならない（そのため、ＡＲオブジェクトはディスプレイ内でフレーム化されたままである）。これは、不満、不快、および不正確または不完全な入力につながることがある。ユーザはそれゆえ、タッチ入力方法に限界があるために、電子デバイスの全潜在能力を実現できない場合がある。

【課題を解決するための手段】

【0003】

概要
本明細書は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術ならびにシステムについて説明する。これらの技術およびシステムは、レーダーフィールドを用いて、スマートフォンなどの電子デバイスのディスプレイに呈示される拡張現実（ＡＲ）オブジェクトとインタラクトするために使用可能な３次元（３Ｄ）ジェスチャを正確に求める。これらの技術によって、ユーザは、遠くから３Ｄジェスチャを行うことが可能になる、つまり、ユーザは、スクリーンをタッチしながら電子デバイスを安定して保持する必要がなく、ジェスチャは、ディスプレイに呈示されるＡＲオブジェクトのユーザの視点を遮ることはない。

【0004】

以下で説明される態様は、ディスプレイと、レーダーシステムと、１つ以上のコンピュータプロセッサと、１つ以上のコンピュータ可読媒体とを備えるスマートフォンを含む。レーダーシステムは、ハードウェアで少なくとも部分的に実現され、レーダーフィールドを提供する。レーダーシステムはまた、レーダーフィールド内のオブジェクトからの反射を検知し、レーダーフィールド内のオブジェクトからの反射を分析する。レーダーシステムはさらに、反射の分析に基づいてレーダーデータを提供する。１つ以上のコンピュータ可読媒体は、レーダーベースアプリケーションを実現するために１つ以上のコンピュータプロセッサによって実行可能な、記憶された命令を含む。レーダーベースアプリケーションは、スマートフォンのディスプレイを通して拡張現実（ＡＲ）要素を呈示する。ＡＲ要素は、タッチ入力コントローラを含み、リアルオブジェクトに関連する。リアルオブジェクトの画像が、スマートフォンのディスプレイに呈示される。レーダーデータに基づく、
レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、レーダーベースアプリケーションは、ディスプレイの固定場所にタッチ入力コントローラを維持する。

【0005】

また、以下で説明される態様は、ディスプレイを含む電子デバイスと、レーダーシステムと、１つ以上のコンピュータプロセッサと、１つ以上のコンピュータ可読媒体とを備えるシステムを提供する。レーダーシステムは、ハードウェアで少なくとも部分的に実現され、レーダーフィールドを提供する。レーダーシステムは、第１の時間に、レーダーフィールド内のオブジェクトからの反射を検知する。また、レーダーシステムは、レーダーフィールド内のオブジェクトからの反射を分析し、反射の分析に基づいて、レーダーデータを提供する。１つ以上のコンピュータ可読媒体は、レーダーベースアプリケーションを実現するために１つ以上のコンピュータプロセッサによって実行可能な、記憶された命令を備える。レーダーベースアプリケーションは、電子デバイスのディスプレイを通して拡張現実（ＡＲ）要素を呈示する。また、レーダーベースアプリケーションは、第１の時間よりも後の第２の時間に、ＡＲ要素を選択する入力を受信する。さらに、レーダーベースアプリケーションは、レーダーデータに基づいて、レーダーフィールド内のオブジェクトによるジェスチャを判断し、選択されたＡＲ要素に関連するアクションを行う。行われたアクションは、判断されたジェスチャに対応する。

【0006】

また、以下で説明される態様は、ディスプレイ、レーダーシステム、およびレーダーベースアプリケーションを含む電子デバイスで実現される方法を含む。方法は、レーダーシステムが、レーダーフィールドを提供することと、レーダーシステムが、レーダーフィールド内のオブジェクトからの反射を検知することとを備える。方法はまた、レーダーフィールド内のオブジェクトからの反射を分析することと、反射の分析に基づいて、レーダーシステムがレーダーデータを提供することとを備える。方法はまた、レーダーベースアプリケーションが、拡張現実（ＡＲ）要素を、電子デバイスのディスプレイを通して呈示することを備える。ＡＲ要素は、タッチ入力コントローラを含み、かつ、リアルオブジェクトに関連し、リアルオブジェクトの画像がディスプレイに呈示される。レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラは、ディスプレイ上の固定場所に維持される。

【0007】

また、以下で説明される態様は、電子デバイスと、レーダーフィールドを提供し、かつ、レーダーフィールド内のオブジェクトが電子デバイスに向かって移動していると判断するための手段とを備えるシステムを含む。システムは、電子デバイスのディスプレイを通して、拡張現実（ＡＲ）要素を呈示する。ＡＲ要素は、タッチ入力コントローラを含み、リアルオブジェクトに関連し、リアルオブジェクトの画像が電子デバイスのディスプレイに呈示される。システムはさらに、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、電子デバイスのディスプレイ上の固定場所にタッチ入力コントローラを維持するための手段を備える。

【0008】

この概要は、レーダーシステムを備えるスマートフォン、システム、および方法に関する簡潔な概念を導入するために提供され、詳細な説明および図面において以下でさらに説明される。この概要は、クレームに記載された対象の実質的な特徴を特定するために使用されるものでもなければ、クレームに記載された対象の範囲を決定する際に使用されることを意図されたものでもない。

【0009】

レーダーシステムを備えるスマートフォン、システム、および方法の１つ以上の態様が、以下の図面を参照して本明細書において詳細に説明される。図面を通して、同じ番号は、同様の特徴及び構成要素を参照するために使用される。

【図面の簡単な説明】

【0010】

【図1】レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な環境の例を示す図である。

【図2】レーダーシステムを備え、レーダーシステムを備えるスマートフォン、システム、および方法を実現可能な、図１のスマートフォンの実現例を示す図である。

【図3】図２のレーダーシステムの実現例を示す図である。

【図4】図３のレーダーシステムのための受信アンテナ要素の配置例を示す図である。

【図5】図２のレーダーシステムの実現例の追加的な詳細を示す図である。

【図6】図２のレーダーシステムによって実現可能な方式の例を示す図である。

【図7】レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な環境の他の例を示す図である。

【図8】図７のレーダーシステムの実現例を示す図であり、３次元（３Ｄ）ジェスチャを用いて、レーダーシステムを備えるスマートフォン、システム、および方法を可能にするレーダーシステムの能力に関する追加な詳細を説明する図である。

【図9】図７のレーダーシステムの他の実現例を示す図であり、３次元（３Ｄ）ジェスチャを用いて、レーダーシステムを備えるスマートフォン、システム、および方法を可能にするレーダーシステムの能力に関する追加的な詳細を説明する図である。

【図10】レーダーシステムを備えるスマートフォン、システム、および方法を可能にする方法の例を示す図である。

【図11】レーダーシステムを備えるスマートフォン、システム、および方法を可能にする方法の他の例を示す図である。

【図12】図１０および図１１の方法の追加的な詳細を示す図である。

【図13】レーダーシステムを備えるスマートフォン、システム、および方法を実現可能な、または、これらを可能にする技術が実現され得るコンピューティングシステムの例を示す図である。

【発明を実施するための形態】

【0011】

詳細な説明
概観
本明細書は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術およびシステムについて説明する。説明されるように、２次元（２Ｄ）タッチスクリーンを用いて３次元（３Ｄ）オブジェクトを操作するのは困難なため、タッチ入力インターフェースを用いて拡張現実（ＡＲ）アプリケーションのための複雑な入力を行うことは難しいことがある。それゆえ、タッチ入力方法に限界があるために、ユーザは、ＡＲアプリケーションの全潜在能力を実現できない場合がある。これらの技術およびシステムは、３次元（３Ｄ）ジェスチャ（たとえば、レーダーフィールドによって照射される３Ｄ空間内の任意の方向の１つ以上の移動を含むジェスチャ）を正確に判断するために、レーダーフィールドを用いる。３Ｄジェスチャは、拡張現実（ＡＲ）オブジェクトとインタラクトするために使用可能である。特定の文脈で他の態様で示されていない限り、高い精度は洗練の度合いが高いこと、真実により適合すること、または、洗練の度合いが高いことと真実により適合することとの両方を表す。これらの技術およびシステムは、電子デバイスに電子デバイスの周囲の３Ｄ空間において行われるジェスチャを認識させるためにレーダーフィールドを用いるため、ユーザは、スクリーンをタッチする必要がない、または、ディスプレイに呈示されるオブジェクトの視点を遮る必要もない。

【0012】

これらの技術およびシステムは、電子デバイスに、ＡＲ環境における３Ｄジェスチャと２次元（２Ｄ）タッチ入力との両方を認識させることができる。ＡＲコンテンツがリアルオブジェクトに関連していることがある。それゆえ、ユーザがＡＲ可能なリアルオブジェ
クトを見るためにデバイスを回りに動かすと、ＡＲコンテンツは、２Ｄタッチ入力コントローラとしてディスプレイに呈示され得る一方で、リアルオブジェクトはディスプレイにおいてフレーム化される。たとえば、家具店における観葉植物についてのＡＲコンテンツは、製品情報と購入選択とを含み得る。上述の技術を有するレーダーフィールドを用いて、電子デバイスは、ユーザがディスプレイ上の２Ｄタッチ入力コントローラに向かっていると判断し、タッチ入力コントローラを特定の場所において２Ｄタッチスクリーンに固定またはロックすることができる。これによって、ユーザは、リアルオブジェクトがディスプレイにおいてフレーム化されなくなるように電子デバイスを移動させる場合であっても、コントローラとインタラクションが可能である。さらに、これらの技術およびシステムによって、デバイスは、３次元でＡＲオブジェクトを操作するために使用可能な３Ｄジェスチャを判断可能である。それによって、これらの技術は、ユーザの視点を遮ることなく、３Ｄオブジェクトとインタラクトするための便利で自然な３Ｄジェスチャを可能にすることによってＡＲアプリケーションを用いるときの、ユーザの効率、ワークフロー、および楽しみを改善する。

【0013】

たとえば、買い物をするときに追加の機能を提供するＡＲインターフェースを有するレーダーベースアプリケーションを含む電子デバイスを考える。たとえば、レーダーベースアプリケーションによって、ユーザは、リアルオブジェクトを店内で眺め、ユーザがリアルオブジェクトを仮想ショッピングカートに追加できる仮想値札またはリンクなどの、リアルオブジェクトと関連付けられたＡＲオブジェクトを表示することができる。この例では、電子デバイスは、ＡＲインターフェースを可能にするために複数のカメラを含み得る。従来のＡＲインターフェースは、主に「発見」（たとえば、ＡＲコンテンツを利用可能なものは何でも実環境の周囲でパンして表示する）のために構成されている。それゆえ、ユーザは、実環境においてデバイスを動かすことが可能になり、タッチによって起動された、スクリーンに表示されたリアルオブジェクトに関するＡＲコンテンツが、表示されたリアルオブジェクト（たとえば、「カートに追加」ボタン）付近のスクリーンに呈示可能になる。しかしながら、従来のＡＲインターフェースは、タッチスクリーン上のタッチインタラクションにとって便利でないことが典型的である。たとえば、ＡＲコンテンツとインタラクトするために、ユーザは、一方の手をデバイスに向かって伸ばしつつ、他方の手でデバイスを安定させた状態に保持しようとしなければならない。これによってディスプレイのユーザの視点が遮られることがある、または、リアルオブジェクトが表示されなくなるように、ユーザはデバイスを動かさなければならないことがあり、このため、レーダーベースアプリケーションに、ＡＲコンテンツの表示を停止させることがある。常に困難または不便なＡＲインターフェースとのインタラクションによって、ユーザの効率、ジェスチャの効果、およびデバイスとアプリケーションとを用いたユーザの体験の質が低減することがある。

【0014】

これらの従来技術を、いくつかの領域において効率および有用性を改善可能な、本明細書で説明されるシステムおよび技術と比較する。たとえば、上述の例では、ユーザは第１の手で実環境においてデバイスを動かしており、リアルオブジェクトに関連するタッチ起動されたＡＲコンテンツが、表示されたリアルオブジェクト（たとえば、「カートに追加」ボタン）付近のスクリーンに呈示されている。この状況では、電子デバイスは、デバイスの周囲の領域（たとえば、デバイスの周囲の５または８フィート半径、ほとんどの場合、領域はユーザの他方の手を包含する「カメラの背後の」空間を含む）内に延在するレーダーフィールドを提供可能なレーダーシステムを備え得る。レーダーセンサーは、電子デバイスに向かって伸ばしているユーザの他方の手を検出するために、レーダーフィールドに入るオブジェクトから反射されたレーダー信号を用いることが可能である。このように手を伸ばしていることを検出すると、電子デバイスは、ユーザがデバイスを動かし続けている場合でもＡＲコンテンツが移動または消失しないように、特定の場所でＡＲコンテンツを固定可能である。

【0015】

このように、説明される技術およびシステムによって、タッチベースＡＲコンテンツとアプリケーションとのインタラクションが容易になり、便利になる。ユーザは、ＡＲアプリケーションの発見特性を楽しむことが可能であり、依然として容易にタッチベースＡＲコンテンツとインタラクション可能である。これによって、効率を改善可能であり、ＡＲコンテンツにアクセスするためにオブジェクトをリフレームする必要があるといった、ユーザの不満を減らすことが可能であり、これによって、ユーザの体験の質が向上する。さらに、複数のカメラを使用して、ＡＲインターフェースを提供し、ユーザが電子デバイスに向かっているかどうかを判断可能ないくつかの従来の技術と比較して、レーダーシステムの消費電力が大幅に少なくなり得る。

【0016】

これらは、ユーザに３Ｄジェスチャと２Ｄジェスチャとの両方でＡＲアプリケーションおよびオブジェクトとインタラクションさせるために、本明細書で説明されるこれらの技術およびデバイスを使用可能な態様のいくつかの例にすぎない。それらの他の例および実現について、本明細書で説明される。システム、装置、方法、および構成要素の例についての説明が行われた後で、本明細書は次に環境の例について説明する。

【0017】

動作環境
図１は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な環境の例１００を示す図である。環境の例１００は、レーダーシステム１０４、レーダーベースアプリケーション１０６、およびディスプレイ１０８を備える、またはこれらと関連付けられたスマートフォン１０２を含む。レーダーシステム１０４のいくつかの実施形態は、低電力の必要性、処理効率の必要性、アンテナ要素の間隔および配置における制限などの問題ならびに他の問題などが集まる、スマートフォン１０２などのスマートフォンの文脈において適用されると特に有利であり、特に、細かい手のジェスチャのレーダー検出が望まれるスマートフォンの文脈でさらに有利である。実施形態は、レーダーで検出された手のジェスチャを必要とするスマートフォンの上述の文脈で特に有利であるが、本発明の特徴および利点の適用可能性は必ずしもそのように限定されておらず、他の種類の電子デバイスを含む他の実施形態も本発明の教示の範囲内であることが認められるべきである。

【0018】

環境の例１００では、レーダーシステム１０４は、図３〜図６を参照して以下で説明されるような１つ以上のレーダー信号および波形を送信することによって、レーダーフィールド１１０を提供する。レーダーフィールド１１０は、そこからレーダーシステム１０４がレーダー信号または波形（たとえば、空間の容積におけるオブジェクトで反射されたレーダー信号または波形）の反射を検出可能な空間の容積である。また、レーダーシステム１０４は、スマートフォン１０２に、レーダーフィールド１１０内のオブジェクト１１２からの反射の検出および分析を行わせることができる。オブジェクト１１２は、木材、プラスチック、金属、繊維、または人間の体の一部（たとえば、スマートフォン１０２のユーザの手）などからの反射の検知および分析を行うことができる、さまざまなオブジェクトのうちいずれかであり得る。図３〜図６を参照して以下で説明されるように、レーダーシステム１０４は反射の分析に基づいて、レーダーフィールド１１０と関連付けられた様々な種類の情報およびオブジェクト１１２からの反射を含むレーダーデータを提供可能である（たとえば、レーダーシステム１０４は、レーダーベースアプリケーション１０６などの他のエンティティに、レーダーデータを渡すことが可能である）。さらに、レーダーデータに基づいて、レーダーシステム１０４、レーダーベースアプリケーション１０６、または他のエンティティは、レーダーフィールド１１０内のオブジェクト１１２が（網掛け矢印１１４によって示されるように）ディスプレイ１０８に向かって移動していると判断可能である。

【0019】

なお、レーダーフィールド１１０内のオブジェクト１１２からの検出および分析された反射に基づいて、経時的に連続してまたは周期的にレーダーデータが提供され得る。オブジェクト１１２の位置は経時的に変化可能であり（たとえば、オブジェクト１１２は、レーダーフィールド１１０内で移動可能であり）、レーダーデータは、変化した位置、反射、および分析に応じて経時的に変化可能である。レーダーデータは経時的に変化し得るため、レーダーシステム１０４は、異なる期間に対応するレーダーデータの１つ以上のサブセットを含むレーダーデータを提供し得る。たとえば、レーダーシステム１０４は、第１の期間に対応するレーダーデータの第１のサブセットと、第２の期間に対応するレーダーデータの第２のサブセットなどを提供し得る。

【0020】

また、レーダーベースアプリケーション１０６は、ディスプレイ１０８を通して拡張現実（ＡＲ）要素１１６を呈示可能である。ＡＲ要素１１６は、タッチ入力コントローラ１１８を含み、ディスプレイ１０８を通して見えるリアルオブジェクト１２０−１に関連する。タッチ入力コントローラ１１８は、タッチされると、リアルオブジェクト１２０−１についての追加的な詳細（たとえば、寸法、重量、または技術仕様）、リアルオブジェクト１２０−１を購入するためのリンク、またはリアルオブジェクト１２０−１に関連するアイテムのリストを提供し得る。図１に示すように、ＡＲ要素１１６は、タッチ入力コントローラ１１８を含む仮想値札である。このように、ユーザはＡＲ要素１１６にタッチすることが可能であり、タッチ入力コントローラ１１８は、追加のＡＲコンテンツを呈示する。

【0021】

いくつかの実現例では、レーダーベースアプリケーション１０６は、ディスプレイ１０８に、リアルオブジェクト１２０−１の画像とリアルオブジェクト１２０−１に関連するＡＲ要素１１６との両方を呈示可能なＡＲアプリケーションでもよい。たとえば、図１に示すように、リアルオブジェクト１２０−１は、実環境において示される、およびディスプレイ１０８上の画像１２０−２として示される観葉植物である（画像１２０−２は、破線矢印で示される）。いくつかの実施形態では、レーダーベースアプリケーション１０６は、リアルタイム（または、ニアリアルタイム）でリアルオブジェクト１２０−１の画像１２０−２を呈示する。リアルタイムまたはニアリアルタイムでの表示は、たとえば、スマートフォン１０２と共に含まれる、またはこれとは隔離しているものと通信している１つ以上の撮像デバイスを介して実現されてもよい。

【0022】

レーダーフィールド１１０内のオブジェ１１２がディスプレイ１０８に向かって移動しているという判断に応じて、レーダーベースアプリケーション１０６は、スマートフォン１０２のタッチスクリーン上の固定場所においてタッチ入力コントローラ１１８を提供可能である。いくつかの実施形態では、レーダーベースアプリケーション１０６は、リアルオブジェクト１２０−１の画像１２０−２そのものがディスプレイ１０８において見えなくなったときでも、タッチ入力コントローラ１１８の固定場所を維持可能である。さらに、レーダーベースアプリケーション１０６は、レーダーフィールド１１０内のオブジェクト１１２がディスプレイ１０８に向かって移動しているという判断の閾値時間内に固定場所においてタッチ入力コントローラ１１８がタッチされていないことに応じて、固定場所におけるタッチ入力コントローラの提供を停止し得る。たとえば、タッチ入力コントローラ１１８が閾値時間内にタッチされないことに基づいて、レーダーベースアプリケーション１０６はデフォルトモードに戻ってもよく、レーダーベースアプリケーション１０６は、タッチ入力コントローラ１１８の呈示を中止してもよい（たとえば、タッチ入力コントローラが消失する）、または、レーダーベースアプリケーション１０６は、固定場所ではなく、ディスプレイ１０８に呈示されているコンテンツに適切などの場所でも、タッチ入力コントローラ１１８の呈示を続けてもよい。閾値時間は、１．５秒（ｓ）、２ｓ、または３ｓなど、任意の適切な時間でもよい。さらに他の実現例では、レーダーベースアプリケーション１０６は、レーダーフィールド１１０内のオブジェクト１１２が閾値速度（た
とえば、０．２５フィート／秒（ｆｐｓ）、０．５ｆｐｓ、または０．７５ｆｐｓ）を超える速度でディスプレイ１０８に向かって移動していると判断されると、固定場所でタッチ入力コントローラを提供可能である。それゆえ、スマートフォン１０２は、レーダーシステム１０４およびレーダーベースアプリケーション１０６と連携して、ＡＲアプリケーションのユーザに、効果的におよび便利にＡＲ環境においてタッチ入力を使用させることができる。

【0023】

たとえば、スマートフォン１０２は、ＡＲ特徴および機能を含むアプリケーションを備えると仮定する。ＡＲ機能のうち少なくとも一部にアクセスするために、ユーザは、さまざまなタッチ入力コントローラを起動するようにディスプレイ１０８に手を伸ばし、これにタッチする一方で、スマートフォン１０２のディスプレイ１０８においてリアルオブジェクトをフレーム化された状態に維持する。これは、ユーザにいくつか難題を提示することがある。なぜなら、ディスプレイ１０８に向かうことは、ディスプレイ１０８のユーザの視点を遮って、コントローラとのインタラクションを困難にすることがあるからである。また、一部のユーザは、いくつかのデバイス、とりわけ大きなまたは重いデバイスを安定して保持することが難しいことがある。さらに、リアルオブジェクトがフレーム化されなくなるようにユーザがスマートフォン１０２を移動させると、ＡＲコントローラも表示されなくなる。対照的に、レーダーシステム１０４について考える。このレーダーシステム１０４は、レーダーシステム１０４（または、レーダーベースアプリケーション１０６などの他のエンティティ）に、ユーザがディスプレイ１０８に向かい絶え間なく自動的にディスプレ１０８上でコントローラをフリーズまたは固定する時を自動的に判断させるレーダーフィールド１１０を提供する。容易に明らかなように、レーダーシステム１０４は、ＡＲインターフェースの使用を実質的にさらに容易に、およびさらに便利にすることができ、従来のＡＲインターフェースを使用するデバイスと比較して、改良された体験を提供することができる。

【0024】

より詳細に、（レーダーシステム１０４、レーダーベースアプリケーション１０６、およびディスプレイ１０８を含む）スマートフォン１０２の実現例２００を示す図２を考える。図２のスマートフォン１０２は、携帯電話１０２−１、タブレット１０２−２、ラップトップ１０２−３、デスクトップコンピュータ１０２−４、コンピューティングウォッチ１０２−５、コンピューティングめがね１０２−６、ゲーム機１０２−７、電子レンジ１０２−８、および自動車１０２−９を含む、レーダーシステムを備えるスマートフォン、システム、および方法を実現可能な他のデバイスの例を含むが、これらに限定されないことが示されている。他の電子デバイスは、テレビ、娯楽システム、オーディオシステム、ドローン、トラックパッド、スケッチブック、ネットブック、電子書籍リーダー、家庭自動化および制御システム、ホームセキュリティーシステム、および他の家電も含み得る。なお、説明された技術を実現可能な電子デバイスは、ウェアラブルでも、ウェアラブルではないが携帯型でも、または比較的固定したもの（たとえば、デスクトップおよび機器）でもよい。

【0025】

スマートフォン１０２の例示的な全横寸法は、たとえば、約８センチメートル×約１５センチメートルでもよい。レーダーシステム１０４の例示的なフットプリントは、さらに制限されてもよく、たとえば、アンテナを含めて約４ミリメートル×６ミリメートルでもよい。レーダーシステム１０４の例示的な消費電力は、約２、３ミリワット（ｍＷ）〜数ｍＷ（たとえば、約２ｍＷ〜１２ｍＷの間）でもよい。電力および処理の制限と組み合わされたそのような空間が制限された実装（たとえば、カメラ、指紋センサ、ディスプレイ１０８など）におけるスマートフォン１０２の他の多くの所望の特徴に対応するのに必要な、レーダーシステム１０４についてのそのように制限されたフットプリントの必要条件は、レーダージェスチャ検出の精度および効力における妥協につながることがあるが、そのうち少なくとも一部は、本明細書の教示を考慮して克服可能である。

【0026】

また、スマートフォン１０２は、１つ以上のコンピュータプロセッサ２０２および１つ以上のコンピュータ可読媒体２０４を含み、メモリ媒体および記憶媒体を含む。コンピュータ可読指令としてコンピュータ可読媒体２０４で実現されるアプリケーションおよび／またはオペレーティングシステム（図示せず）は、本明細書で説明される機能のうち一部を提供するために、コンピュータプロセッサ２０２によって実行可能である。また、スマートフォン１０２は、ネットワークインターフェースを含み得る。スマートフォン１０２は、有線、無線、または光ネットワークを利用してデータを伝達するために、ネットワークインターフェース２０６を使用可能である。限定的ではないが一例として、ネットワークインターフェース２０６は、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、広域ネットワーク（ＷＡＮ）、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを利用して、データを伝達可能である。

【0027】

レーダーシステム１０４のさまざまな実現は、システムオンチップ（ＳｏＣ）、１つ以上の集積回路（ＩＣ）、埋め込まれたプロセッサ指令を有するまたはメモリに記憶されたプロセッサ命令にアクセスするように構成されたプロセッサ、埋め込まれたファームウェアを有するハードウェア、さまざまなハードウェアコンポーネントを有するプリント基板、またはそれらの任意の組合せを含み得る。レーダーシステム１０４は、それ自体のレーダー信号の送受信によって、モノスタティックレーダーとして動作する。いくつかの実現例では、レーダーシステム１０４はまた、バイスタティックレーダー、マルチスタティックレーダー、またはネットワークレーダーを実現するために、外部環境内の他のレーダーシステムと協調可能である。説明したように、スマートフォン１０２の制約または制限は、レーダーシステム１０４の設計に影響を与えることがある。スマートフォン１０２はたとえば、レーダーを動作するのに利用可能な制限された電力、制限された計算能力、サイズの制約、配置の制限、レーダー信号を減衰または歪ませる外側筐体などを有し得る。レーダーシステム１０４は、図３を参照して以下でさらに説明されるように、高度なレーダー機能および高性能がこれらの制約がある場合に実現可能になる複数の特徴を含む。なお、図２では、レーダーシステム１０４は、スマートフォン１０２の一部として示されている。他の実現例では、レーダーシステム１０４は、スマートフォン１０２とは別でもよい、またはこれと離れていてもよい。

【0028】

これらおよび他の性能および構成、ならびに図１のエンティティが作動しインタラクトする方法が、以下でさらに詳細に説明される。これらのエンティティは、たとえば、さらに分割されても、組合わされてもよい。図１の環境１００および図２〜図１２の詳細な図示は、説明された技術を用いることが可能な多くの可能性のある環境およびデバイスのうちの一部を示す。図３〜図６は、レーダーシステム１０４の付加的な詳細および特徴を説明する図である。図３〜図６において、レーダーシステム１０４は、スマートフォン１０２の文脈で説明されるが、上述のように、上述のシステムおよび技術の特徴および利点の適用可能性は必ずしもそのように制限されるわけではなく、他の種類の電子デバイスを含む他の実施形態も、本発明の教示の範囲内であり得る。

【0029】

図３は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にするために使用可能なレーダーシステム１０４の実現例３００を示す図である。例３００では、レーダーシステム１０４は、以下のコンポーネント、すなわち、通信インターフェース３０２、アンテナアレイ３０４、トランシーバ３０６、プロセッサ３０８、およびシステム媒体３１０（たとえば、１つ以上のコンピュータ可読記憶媒体）のうち各々のいずれか１つを含む。プロセッサ３０８は、デジタル信号プロセッサ、制御部、アプリケーションプロセッサ、他のプロセッサ（たとえば、スマートフォン１０２のコンピュータプロセ
ッサ２０２）、またはこれらの組合わせとして実現可能である。スマートフォン１０２のコンピュータ可読媒体２０４内に含まれ得る、またはこれとは別であり得るシステム媒体３１０は、以下のモジュール、すなわち、減衰ミティゲータ３１４、デジタルビームフォーマ３１６、角度推定器３１８、または電力マネージャ３２０のうち１つ以上を含む。これらのモジュールは、スマートフォン１０２内のレーダーシステム１０４の統合を補償可能、またはその効果を緩和可能であり、それによって、レーダーシステム１０４は、小さいまたは複雑なジェスチャの認識、ユーザの異なるオリエンテーションの区別、連続した外部環境の監視、または誤警報率の認識が可能である。これらの特徴によって、レーダーシステム１０４は、図２に示すデバイスのようなさまざまな異なるデバイス内で実現可能である。

【0030】

通信インターフェース３０２を用いて、レーダーシステム１０４は、レーダーベースアプリケーション１０６にレーダーデータを提供可能である。通信インターフェース３０２は、スマートフォン１０２とは別に実現されている、またはこの内部で統合されているレーダーシステム１０４に基づく無線または有線インターフェースでもよい。用途によって、レーダーデータは、生のまたは最小限に処理されたデータ、同相直交（Ｉ／Ｑ）データ、範囲ドップラーデータ、目標位置情報（たとえば、範囲、方位、高度）を含む処理データ、クラッタマップデータなどを含み得る。一般に、レーダーデータは、 レーダーシス
テムを備えるスマートフォン、システム、および方法を実現するためにレーダーベースアプリケーション１０６によって利用可能な情報を含む。

【0031】

アンテナアレイ３０４は、少なくとも１つの送信アンテナ要素（図示せず）および（図４に示すような）少なくとも２つの受信アンテナ要素を含む。いくつかの例では、アンテナアレイ３０４は、一度に複数の別個の波形（たとえば、送信アンテナ要素ごとに異なる波形）を送信可能な多入力多出力（ＭＩＭＯ）レーダを実現するために、複数の送信アンテナを含み得る。複数の波形を用いることによって、レーダーシステム１０４の測定精度を増大し得る。受信アンテナ要素は、１次元形状（たとえば、線）または３つ以上の受信アンテナ要素を含む実現のために２次元形状で位置決めされ得る。１次元形状によって、レーダーシステム１０４は、１つの角度寸法（たとえば、方位または高度）を計測することができる一方で、２次元形状によって、２つの角度寸法を計測することができる（たとえば、方位と高度との両方）。受信アンテナ要素の２次元配置の例がさらに、図４に関して説明される。

【0032】

図４は、受信アンテナ要素４０２の配置例４００を示す図である。アンテナアレイ３０４が少なくとも４つの受信アンテナ要素４０２を含む場合、たとえば、受信アンテナ要素４０２は、図４の中間に示された方形配置４０４−１で配置可能である。代替的に、アンテナアレイ３０４が少なくとも３つの受信アンテナ要素４０２を含む場合、三角配置４０４−２またはＬ字形状配置４０４−３が用いられ得る。

【0033】

スマートフォン１０２のサイズまたは配置の制約のため、受信アンテナ要素４０２間の要素の間隔または受信アンテナ要素４０２の量は、レーダーシステム１０４が監視する角度にとって理想的ではないことがある。特に、要素の間隔は、従来のレーダーが目標の角位置を推定するのを困難にする角度の曖昧さを生じる場合がある。そのため、従来のレーダーは、角度の曖昧さを有する曖昧なゾーンを避けて誤検出を減らすために、視野（たとえば、監視される角度）を制限し得る。たとえば、従来のレーダーは、５ミリメートル（ｍｍ）の波長と要素の３．５ｍｍ（たとえば、要素の間隔が波長の７０％である）の間隔とを用いて、発生する角度の曖昧さを避けるために、視野を約−４５°〜４５°の間の角度に制限してもよい。その結果、従来のレーダーは、視野の４５°の制限を超える目標を検出することができない場合がある。対照的に、レーダーシステム１０４は、角度の曖昧さを解消し、かつ、レーダーシステム１０４に４５°の制限を超える角度、たとえば約−
９０°〜９０°、または最大で約−１８０°〜１８０°の角度を監視させるデジタルビームフォーマ３１６と角度推定器３１８とを含む。これらの角度範囲は、１つ以上の方向（たとえば、方位および／または高度）にわたって適用可能である。したがって、レーダーシステム１０４は、レーダー信号の中央波長の半分よりも小さい、大きい、またはこれと等しい要素の間隔を含む、さまざまな異なるアンテナアレイ設計について低い誤警報率を実現可能である。

【0034】

アンテナアレイ３０４を用いて、レーダーシステム１０４は、方向付けられたまたは方向付けられていない、広いもしくは狭い、または形成された（たとえば、半球、立方体、扇、円錐、または円柱）ビームを形成可能である。一例では、１つ以上の送信アンテナ要素（図示せず）は、方向付けられていない全方向放射パターンを有し得る、または、広域送信ビーム４０６などの広域ビームを生成し得る。これらの技術のいずれかによって、レーダーシステム１０４は、広い空間体積を照射できる。しかしながら、目標角度精度および角度分解能を得るために、受信アンテナ要素４０２およびデジタルビームフォーマ３１６は、狭域受信ビーム４０８などの数千の狭い方向付けられたビーム（たとえば、２０００ビーム、４０００ビーム、または６０００ビーム）を生成するために使用可能である。このように、レーダーシステム１０４は、効率的に外部環境を監視することができ、正確に外部環境内の到達反射角度を求めることができる。

【0035】

図３に戻って、トランシーバ３０６は、アンテナアレイ３０４を介してレーダー信号の送受信を行うための回路およびロジックを含む。トランシーバ３０６のコンポーネントは、レーダー信号を調整するための増幅器、周波数混合器、スイッチ、アナログデジタル変換器、フィルタなどを含み得る。また、トランシーバ３０６は、変調または復調などの同相直交位相（Ｉ／Ｑ）演算を行うためにロジックを含み得る。トランシーバ３０６は、連続波レーダー演算またはパルスレーダー演算のために構成され得る。直線周波数変調、三角周波数変調、段階周波数変調、または位相変調などのさまざまな変調が、レーダー信号を生成するために使用可能である。

【0036】

トランシーバ３０６は、１ギガヘルツ（ＧＨｚ）〜４００ＧＨｚ、４ＧＨｚ〜１００ＧＨｚ、または５７ＧＨｚ〜６３ＧＨｚといった、周波数範囲（たとえば、周波数スペクトル）内のレーダー信号を生成可能である。周波数スペクトルは、類似の帯域幅または異なる帯域幅を有する複数のサブスペクトルに分割できる。帯域幅は、約５００メガヘルツ（ＭＨｚ）、１ＧＨｚ、２ＧＨｚなどでもよい。一例では、異なる周波数サブスペクトルは、約５７ＧＨｚ〜５９ＧＨｚ、５９ＧＨｚ〜６１ＧＨｚ、または６１ＧＨｚ〜６３ＧＨｚの周波数を含み得る。同じ帯域幅を有し隣接していてもよい、または隣接していなくてもよい複数の周波数サブスペクトルも、整合性を得るために選択可能である。複数の周波数サブスペクトルは、１つのレーダー信号または複数のレーダー信号を用いて時間内に同時に送信可能である、または分離可能である。隣接する周波数サブスペクトルによって、レーダー信号は広帯域幅を有することができる一方で、隣接しない周波数サブスペクトルはさらに、角度推定器３１８が角度の曖昧さを解消できるような振幅および位相の相違を強調することができる。図５および図６に関してさらに説明されるように、減衰ミティゲータ３１４または角度推定器３１８によって、レーダーシステム１０４の性能を改善するために、トランシーバ３０６に、１つ以上の周波数サブスペクトルを利用させることができる。

【0037】

電力マネージャ３２０によって、レーダーシステム１０４は、スマートフォン１０２内で内部にまたは外部に電力を保存することができる。内部に、たとえば、電力マネージャ３２０は、レーダーシステム１０４に、所定の電力モードまたは特定のデューティサイクルを用いてデータを収集させる。電力マネージャ３２０は、低電力モードまたは高電力モードのいずれかで動作するのではなく、応答遅延および消費電力が環境内のアクティビテ
ィに基づいて一緒に管理されるように、異なる電力モード間で動的に切替える。一般に、電力マネージャ３２０は、電力がいつどのように保存されるかを決定し、徐々に消費電力を調節して、レーダーシステム１０４をスマートフォン１０２の電力制限内で操作させることができる。いくつかの例では、電力マネージャ３２０は、残っている利用可能な電力量を監視することができ、それに応じてレーダーシステム１０４の動作を調節することができる。たとえば、残りの電力量が少ない場合、電力マネージャ３２０は、より高い電力モードに切替えるのではなく、低電力モードで動作を続けることができる。

【0038】

たとえば、低電力モードは、約数ヘルツ（たとえば、約１Ｈｚまたは５Ｈｚ未満）の低デューティサイクルを使用可能であり、これによって、消費電力が数ミリワット（ｍＷ）（たとえば、約２ｍＷ〜５ｍＷ）に低減する。一方、高電力モードは、約数十ヘルツ（Ｈｚ）（たとえば、約２０Ｈｚまたは１０Ｈｚより大きい）の高デューティサイクルを使用可能であり、これによって、レーダーシステム１０４は、約数ミリワット（たとえば、約８ｍＷ〜２０ｍＷ）の電力を消費する。低電力モードは外部環境の監視または接近するユーザの検出に使用可能である一方で、電力マネージャ３２０は、ユーザがジェスチャを行い始めているとレーダーシステム１０４が判断した場合、高電力モードに切替え可能である。異なるトリガによって、電力マネージャ３２０は、異なる電力モード間で切替え可能である。トリガの例としては、動きがあることまたはないこと、ユーザが現れることまたは消えること、ユーザが指定された領域（たとえば、範囲、方位、または高度によって規定される領域）内または外に移動すること、ユーザと関連付けられた動きの速度変化、または（たとえば、レーダー断面の変化による）反射信号強度の変化が挙げられる。一般に、スマートフォン１０２とインタラクトしているユーザのより低い確率またはより長い応答遅延を用いてデータを収集するプリファランスを示すトリガは、節電のためにより低い電力モードを起動させ得る。

【0039】

電力マネージャ３２０は、非活動期間にトランシーバ３０６内の１つ以上のコンポーネント（たとえば、電圧によって制御される振動器、多重装置、アナログデジタル変換器、位相ロックループ、または水晶振動子）をオフにすることによって、節電することも可能である。レーダーシステム１０４がマイクロ秒（μｓ）、ミリ秒（ｍｓ）、または秒（ｓ）オーダーのこともあるレーダー信号を活発に送信または受信していない場合、これらの非活動期間が発生する。さらに、電力マネージャ３２０は、節電のために、レーダーシステム１０４内の異なるハードウェアコンポーネントの使用を制御可能である。プロセッサ３０８が低電力プロセッサと高電力プロセッサ（たとえば、異なるメモリ量および計算能力を有するプロセッサ）とを含む場合、たとえば、電力マネージャ３２０は、低レベル分析（たとえば、検出動き、ユーザの位置の決定、または環境の監視）について低電力プロセッサの使用、高忠実度または正確なレーダーデータがレーダーベースアプリケーション１０６によって必要とされる状況について（たとえば、ジェスチャ認識またはユーザオリエンテーションについて）、高電力プロセッサの使用との間で切替えることができる。

【0040】

上述の内部の節電技術に加えて、電力マネージャ３２０はまた、スマートフォン１０２内の他の外部コンポーネントまたはセンサを起動または停止することによって、スマートフォン１０２内での節電が可能である。これらの外部コンポーネントは、スピーカ、カメラセンサ、全地球測位システム、無線通信トランシーバ、ディスプレイ、ジャイロスコープ、または加速度計を含み得る。レーダーシステム１０４はわずかな電力量を用いて環境を監視することができるため、電力マネージャ３２０は、ユーザのいる場所またはユーザが行っている事に基づいて、これらの外部コンポーネントを適宜オフにすることができる。このように、スマートフォン１０２は、途切れることなくユーザに応答することが可能であり、停止タイマの利用またはスマートフォン１０２に物理的にタッチしているもしくはスマートフォン１０２を口頭で制御しているユーザを必要とせずに節電が可能である。

【0041】

図５は、スマートフォン１０２内のレーダーシステム１０４の実現例５００の追加的な詳細を示す図である。例５００では、アンテナアレイ３０４は、グラスカバーまたは外部ケースといった、スマートフォン１０２の外部筐体の下に位置している。材料特性に応じて、外部筐体は、レーダーシステム１０４によって送受信されるレーダー信号を減衰または変形させる減衰器５０２として動作し得る。減衰器５０２は異なる種類のガラスまたはプラスチックを含んでもよく、それらのうち複数は、スマートフォン１０２のディスプレイスクリーン、外部筐体、または他のコンポーネント内において見られることがあり、約４〜１０の誘電率（たとえば、比誘電率）を有し得る。そのため、減衰器５０２はレーダー信号５０６に対して不透明または半透明であり、送信または受信されたレーダー信号５０６の一部を（反射部分５０４によって示されるように）反射させてもよい。従来のレーダーの場合、減衰器５０２は、監視可能な有効距離を減らすこと、小さな目標が検出されるのを防ぐこと、または全体的な精度を減少させることができる。

【0042】

レーダーシステム１０４の送信パワーが制限されており、かつ、外部筐体の再設計が好ましくないと仮定すると、レーダー信号５０６の１つ以上の減衰依存特性（たとえば、周波数サブスペクトル５０８またはステアリング角５１０）または減衰器５０２の減衰依存特性（たとえば、減衰器５０２とレーダーシステム１０４との間の距離５１２または減衰器５０２の厚さ５１４）が、減衰器５０２の効果を緩和するために調節される。これらの特性のいくつかは、製造中に設定可能である、または、レーダーシステム１０４の動作中に減衰ミティゲータ３１４によって調節可能である。たとえば、減衰ミティゲータ３１４は、トランシーバ３０６に、選択された周波数サブスペクトル５０８またはステアリング角５１０を用いてレーダー信号５０６を送信させることができ、距離５１２を変更するために、プラットフォームにレーダーシステム１０４を減衰器５０２の近くにまたは遠くに移動させることができ、減衰器５０２の厚さ５１４を増大させるために他の減衰器を適用するように、ユーザを促すことができる。

【0043】

適切な調節は、減衰器５０２の所定の特性（たとえば、スマートフォン１０２のコンピュータ可読媒体２０４にまたはシステム媒体３１０内に記憶された特性）に基づいて減衰ミティゲータ３１４によって、または、減衰器５０２の１つ以上の特性を測定するためにレーダー信号５０６の処理復帰によって、行うことができる。減衰依存特性のうち一部が固定または制約されている場合であっても、減衰ミティゲータ３１４は、これらの制限を考慮して各パラメータのバランスをとり、目標レーダー性能を得ることができる。その結果、減衰ミティゲータ３１４は、レーダーシステム１０４に、精度を増大させ、減衰器５０２の反対側に位置するユーザの検出およびトラッキングに効果的な範囲を広くすることができる。これらの技術によって、レーダーシステム１０４の消費電力を増大させる送信電力の増加、または、一旦デバイスが製造されると困難で高価になることがある減衰器５０２の材料特性の変化の代替が提供される。

【0044】

図６は、レーダーシステム１０４によって実現される方式の例６００を示す図である。この方式６００の部分は、プロセッサ３０８、コンピュータプロセッサ２０２、または他のハードウェア回路によって行われ得る。方式６００は、異なる種類の電子デバイスおよびレーダーベースアプリケーション１０６に対応するようにカスタマイズ可能であり、レーダーシステム１０４に、設計の制約にかかわらず、目標角度精度を実現させる。

【0045】

トランシーバ３０６は、受信されたレーダー信号に対する受信アンテナ要素４０２の個々の応答に基づいて、生データ６０２を生成する。受信されたレーダー信号は、角度の曖昧さの解消を容易にするために、角度推定器３１８によって選択された１つ以上の周波数サブスペクトル６０４と関連付けられ得る。周波数サブスペクトル６０４は、たとえば、サイドローブの量を減らすために、またはサイドローブの振幅を減らす（たとえば、０．５ｄＢ、１．０ｄＢまたはそれ以上振幅を減らす）ために選択可能である。周波数サブス
ペクトルの量は、レーダーシステム１０４の目標角度精度または演算の制限に基づいて求めることができる。

【0046】

生データ６０２は、ある期間のデジタル情報（たとえば、同相直交位相データ）、異なる波数、および受信アンテナ要素４０２とそれぞれ関連付けられた複数のチャネルを含む。前処理データ６０８を生成するために、高速フーリエ変換（ＦＦＴ）６０６が生データ６０２に対して行われる。前処理データ６０８は、異なる範囲（たとえば、レンジビン）について、および複数のチャネルについて、期間にわたるデジタル情報を含む。レンジドップラーデータ６１２を生成するために、ドップラーフィルタリング処理６１０が前処理データ６０８に対して行われる。ドップラーフィルタリング処理６１０は、複数のレンジビン、複数のドップラー周波数について、および複数のチャネルについて、振幅および位相情報を生成する他のＦＦＴを含み得る。デジタルビームフォーマ３１６は、レンジドップラーデータ６１２に基づいて、ビームフォーミングデータ６１４を生成する。ビームフォーミングデータ６１４は、異なるステアリング角またはビームがデジタルビームフォーマ３１６によって形成される視野を表す、一連の方位および／または高度についてのデジタル情報を含む。図示されていないが、デジタルビームフォーマ３１６は、前処理データ６０８に基づいてビームフォーミングデータ６１４を代替的に生成してもよく、ドップラーフィルタリング処理６１０は、ビームフォーミングデータ６１４に基づいて、レンジドップラーデータ６１２を生成してもよい。演算の品質を下げるために、デジタルビームフォーマ３１６は、対象のレンジ、時間、またはドップラー周波数間隔に基づいて、レンジドップラーデータ６１２または前処理データ６０８の一部を処理してもよい。

【0047】

デジタルビームフォーマ３１６は、シングルルックビームフォーマ６１６、マルチルック干渉計６１８、またはマルチルックビームフォーマ６２０を用いて実現可能である。一般に、シングルルックビームフォーマ６１６は、決定論的なオブジェクト（たとえば、１つの位相中心を有する点光源目標）について使用可能である。非決定論的目標（たとえば、複数の位相中心を有する目標）について、シングルルックビームフォーマ６１６に対する精度を向上するために、マルチルック干渉計６１８またはマルチルックビームフォーマ６２０が使用される。人間は、非決定論的目標の例であり、６２４−１および６２４−２で示すような異なるアスペクト角に基づいて変化可能な複数の位相中心６２２を有する。複数の位相中心６２２によって生成される建設的干渉または相殺的干渉の変化によって、従来のレーダーが角位置を正確に求めることが困難になる場合がある。しかしながら、マルチルック干渉計６１８またはマルチルックビームフォーマ６２０は、ビームフォーミングデータ６１４の精度を増大するためにコヒーレントな平均化を行うことができる。マルチルック干渉計６１８はコヒーレントに、２つのチャネルの平均をとって、角度情報を正確に求めるために使用可能な位相情報を生成する。他方で、マルチルックビームフォーマ６２０は、フーリエ、カポン、多重信号分類（ＭＵＳＩＣ）、または最小分散無歪応答（ＭＶＤＲ）などの線形または非線形ビームフォーマを用いて、コヒーレントに２つ以上のチャネルの平均をとることができる。マルチルックビームフォーマ６２０またはマルチルック干渉計６１８を介して提供される精度の増大によって、レーダーシステム１０４は、小さなジェスチャの認識、またはユーザの複数の部分の区別が可能になる。

【0048】

角度推定器３１８は、ビームフォーミングデータ６１４を分析して、１つ以上の角位置を推定する。角度推定器３１８は、信号処理技術、パターンマッチング技術、または機械学習を利用可能である。また、角度推定器３１８は、レーダーシステム１０４の設計またはレーダーシステム１０４が監視する視野から生じ得る角度の曖昧さを解消する。角度の曖昧さの例が、振幅プロット６２６（たとえば、振幅応答）内に示されている。

【0049】

振幅プロット６２６は、目標の異なる角位置について、および異なるステアリング角５１０について生じ得る振幅の相違を表す。第１の振幅応答６２８−１（実線で示される）
が、第１の角位置６３０−１に位置する目標について示される。同様に、第２の振幅応答６２８−２（点線で示される）が、第２の角位置６３０−２に位置する目標について示される。この例では、これらの相違は、−１８０°〜１８０°の角度にわたって考慮される。

【0050】

振幅プロット６２６において示されるように、２つの角位置６３０−１および６３０−２について、曖昧なゾーンが存在する。第１の振幅応答６２８−１は、第１の角位置６３０−１で最高ピークを有し、第２の角位置６３０−２でそれよりも小さなピークを有する。最高ピークが目標の実際の位置に対応している間、それよりもピークが小さいと、目標が第１の角位置６３０−１または第２の角位置６３０−２にあるかを従来のレーダーが確信を持って求めることができないであろう何らかの閾値内にあるため、第１の角位置６３０−１が曖昧になる。対称的に、第２の振幅応答６２８−２は、第２の角位置６３０−２でより小さなピークを有し、第１の角位置６３０−１でより高いピークを有する。この場合、より小さいピークは、目標の場所に対応する。

【0051】

角位置を求めるために最高ピーク振幅を用いるように従来のレーダーを制限し得る間、角度推定器３１８は替わりに、振幅応答６２８−１および６２８−２の形状の微妙な差異を分析する。形状の特徴は、たとえば、ロールオフ、ピークもしくは空白幅、ピークもしくは空白の角位置、ピークおよび空白の高さもしくは深さ、サイドローブの形状、振幅応答６２８−１もしくは６２８−２内の対称性、または振幅応答６２８−１もしくは６２８−２内の対称性の欠如を含み得る。類似の形状特性が位相応答において分析可能であり、これによって、角度の曖昧さを解消するための付加的な情報を提供可能である。そのため、角度推定器３１８は、固有の角度シグネチャまたはパターンを角位置にマッピングする。

【0052】

角度推定器３１８は、電子デバイスの種類（たとえば、演算能力または電力制限）に応じて選択可能な一連のアルゴリズムもしくはツール、またはレーダーベースアプリケーション１０６についての目標角度分解能を含み得る。いくつかの実現例では、角度推定器３１８は、ニューラルネットワーク６３２、畳み込みニューラルネットワーク（ＣＮＮ）６３４、または長短期記憶（ＬＳＴＭ）ネットワーク６３６を含み得る。ニューラルネットワーク６３２は、隠れ層（たとえば、３個の隠れ層、５個の隠れ層、または１０個の隠れ層）のさまざまな深さまたは量を有することができ、また、異なる量の接続を含むこともできる（たとえば、ニューラルネットワーク６３２は、完全に接続されたニューラルネットワークまたは部分的に接続されたニューラルネットワークを含み得る）。場合によっては、角度推定器３１８の演算速度を増大させるために、ＣＮＮ６３４を使用可能である。ＬＳＴＭネットワーク６３６は、角度推定器３１８にターゲットのトラッキングを行わせるために使用可能である。機械学習技術を用いて、振幅応答６２８−１または６２８−２の形状を分析するために、および、ユーザまたはユーザの一部が角度ビン内にある可能性を示す、角度確率データ６３８を生成するために、角度推定器３１８は非線形機能を採用する。角度推定器３１８は、目標がスマートフォン１０２の左側または右側に位置する確率を提供するための２つの角度ビンなどのいくつかの角度ビンについて、または数千の角度ビン（たとえば、連続角度測定について角度確率データ６３８を提供するために）、角度確率データ６３８を提供し得る。

【0053】

角度確率データ６３８に基づいて、追跡モジュール６４０は、目標の角位置を特定する角位置データ６４２を生成する。追跡モジュール６４０は、角度確率データ６３８において最も高い確率を有する角度ビンに基づいて、または予測情報（たとえば、以前に測定された角位置情報）に基づいて、目標の角位置を求め得る。また、追跡モジュール６４０は、レーダーシステム１０４に確信をもって目標を区別または特定させるために、１つ以上の移動している目標のトラッキングを続けてもよい。範囲、ドップラー、速度、または加
速度を含む角位置を求めるために、他のデータも使用可能である。場合によっては、追跡モジュール６４０は、アルファベータトラッカー、カルマンフィルタ、多重仮説トラッカー（ＨＭＴ）などを含み得る。

【0054】

量子化モジュール６４４は、角位置データ６４２を取得し、データを量子化して、量子化角位置データ６４６を生成する。量子化は、レーダーベースアプリケーション１０６についての目標角度分解能に基づいて行うことができる。状況によっては、量子化角位置データ６４６が目標がスマートフォン１０２の右側か左側か示すように、または目標が位置している９０°象限を特定するように、より低い量子化レベルを用いてもよい。これは、ユーザ近接検出など、いくつかのレーダーベースアプリケーション１０６にとって十分であり得る。他の状況では、量子化角位置データ６４６がコンマ１°、１°、５°などの精度内の対象の角位置を示すように、多数の量子化レベルを使用可能である。この分解能は、ジェスチャ認識などの、分解能がより高いレーダーベースアプリケーション１０６について使用可能である。いくつかの実現例では、デジタルビームフォーマ３１６、角度推定器３１８、追跡モジュール６４０、および量子化モジュール６４４は、１つの機械学習モジュールにおいて一緒に実現される。

【0055】

これらおよび他の能力ならびに構成、同様に図１〜図６のエンティティが作用しインタラクトする態様について、以下で説明する。説明されるエンティティは、たとえば、さらに分割されても、結合されても、他のセンサまたはコンポーネントと共に使用されてもよい。このように、レーダーシステムを備えるスマートフォン、システム、および方法を実現するために、レーダーシステム１０４および非レーダーセンサの異なる構成を有する電子デバイス（たとえば、スマートフォン１０２）の異なる実現を用いることができる。図１の動作環境の例１００および図２〜図６の詳細な説明は、説明された技術を採用可能な多数の考えられる環境およびデバイスの一部のみを示す。

【0056】

システムの例
また、上述のように、本明細書で説明される技術およびシステムは、拡張現実（ＡＲ）オブジェクトを操作するために使用可能な３次元（３Ｄ）ジェスチャをデバイスに判断させることができる。

【0057】

図７は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする技術を実現可能な別の環境の例７００を示す図である。動作環境の例７００は、レーダーシステム１０４、ディスプレイ１０８、およびレーダーベースアプリケーション７０２を含む、またはこれらと関連付けられたスマートフォン１０２を備える。動作環境の例７００はスマートフォン１０２の文脈で示されており、図１および図２を参照して上述されたように、他の電子デバイスも、図７〜図９を参照して説明される特徴および技術を実現するために使用し得る。環境の例７００では、レーダーシステム１０４は、図１〜図６を参照して説明されたレーダーフィールド１１０を提供する。レーダーシステム１０４はまた、スマートフォン１０２に、レーダーフィールド１１０におけるオブジェクト７０４からの反射の検知および分析を行わせる。図７に示されるように、オブジェクト７０４は人間の手であり、オブジェクト７０４は、木材、プラスチック、金属、繊維、または有機材料（たとえば、ユーザの体の一部）などからの反射の検知および分析を行うことができる。反射の分析に基づいて、レーダーシステム１０４は、図１〜図６を参照して上述されたようなレーダーデータを提供可能である。たとえば、レーダーシステム１０４は、レーダーベースアプリケーション７０２など他のエンティティに、レーダーデータを渡すことができる。

【0058】

レーダーベースアプリケーション７０２は、ディスプレイ１０８を通じたＡＲ要素７０６の呈示およびＡＲ要素７０６を選択する入力の受信が可能なさまざまなＡＲ対応アプリ
ケーション（たとえば、レーダーベースアプリケーション１０６）のうちいずれかでもよい。ＡＲ要素７０６を選択するために受信された入力は、スマートフォン１０２のタッチスクリーンを通して受信された音声入力またはタッチ入力でもよい。さらに、レーダーベースアプリケーション７０２は、レーダーデータに基づいて、レーダーフィールド１１０（たとえば、ユーザの手または体の他の一部）内のオブジェクト７０４によって行われたジェスチャを判断可能であり、判断されたジェスチャに対応する、選択されたＡＲ要素７０６に関連する動作を行い得る。ジェスチャを判断するために用いられるレーダーデータは、ＡＲ要素７０６を選択する入力がレーダーベースアプリケーション７０２によって受信された後に受信される反射の分析に基づくレーダーデータである。いくつかの実現例では、判断されたジェスチャは、３Ｄジェスチャ（たとえば、レーダーフィールド１１０によって照射された３Ｄ空間内における、いずれかの方向の１つ以上の移動を含むジェスチャ）でもよい。

【0059】

３Ｄジェスチャは、水平方向寸法に沿って（たとえば、スマートフォン１０２の左側からスマートフォン１０２の右側に）スマートフォン１０２上方で手を移動させることによって行われるスクローリングジェスチャ、肘の周囲で回転するユーザの腕によって行われる手を振るジェスチャ、垂直方向寸法に沿って（たとえば、スマートフォン１０２の底面側からスマートフォン１０２の上面側に）スマートフォン１０２上方でユーザの手を移動させることによって行われる手を押すジェスチャを含む、さまざまなジェスチャのうちいずれかを含み得る。ユーザの手をスマートフォン１０２に向かって動かすことによって行われる手を伸ばすジェスチャ、仮想のドアノブを握るためにユーザの手の指を曲げ、仮想のドアノブを回転させる動作をまねるために時計回りまたは反時計回りに回転させることによって行われる、ノブを回すジェスチャ、ならびに、親指および少なくとも他の１つの指を一緒にこすることによって行われる、スピンドルをねじるジェスチャなど、他の種類の３Ｄジェスチャまたは動きも行うことができる。これらの例のジェスチャの種類の各々は、レーダーシステム１０４によって検出し得る。スマートフォン１０２は、これらのジェスチャの各々を検出すると、新しいコンテンツの表示、カーソルの移動、１つ以上のセンサの起動、アプリケーションのオープン、またはＡＲ要素の操作などの動作を行い得る。このように、レーダーシステム１０４は、スマートフォン１０２のタッチフリー制御を提供する。例示的な３Ｄジェスチャおよび対応するアクションについて、図８および図９を参照して以下で説明する。

【0060】

レーダーベースアプリケーション７０２はまた、レーダーデータに基づく３Ｄジェスチャの判断に関連する情報と、３Ｄジェスチャに対応するアクションに関連する情報とを記憶可能な３Ｄジェスチャモジュール７０８を含む。このように、説明された装置および技術によって、ＡＲアプリケーションのユーザは、ＡＲ環境においてタッチ入力と３Ｄジェスチャとの両方を連続して便利に使用可能である。

【0061】

他の例として、実現例８００および９００をそれぞれ示す図８および図９を考える。実現例８００および９００は、レーダーシステム１０４が３Ｄジェスチャを用いてレーダーシステムを備えるスマートフォン、システム、および方法を可能にする能力に関する付加的な詳細について説明する。

【0062】

図８の詳細図８００−１において、環境の例８００は、レーダーフィールド１１０（図示せず）を提供しているレーダーシステム１０４を含むスマートフォン１０２を示す図である。詳細図８００−１では、ユーザが、たとえばタッチ入力を介してＡＲ要素８０２を選択することによって、ＡＲ要素８０２を既に選択していると仮定する。ユーザの体の一部８０４（この例ではユーザの手８０４）はレーダーフィールド１１０内にあり、レーダーシステム１０４は、ユーザの手８０４によって行われる３Ｄジェスチャを判断可能である。

【0063】

詳細図８００−２では、ユーザは、ユーザの手８０４とレーダーシステム１０４（たとえば、手を伸ばすジェスチャ）との間の距離を変更することによって、ジェスチャを行っている。詳細図８００−２では、矢印８０６で示すように、ユーザの手８０４とレーダーシステム１０４との間の距離を増加させるためにユーザの手８０４を移動することによって距離が変更される。このジェスチャに対応するアクションは、選択されたＡＲ要素８０２の拡大されたサイズとして詳細図８００−２示される、選択されたＡＲ要素８０２のユーザに近づく移動である。同様に、図８に示されていないが、ユーザは、ユーザの手８０４とレーダーシステム１０４との間の距離を減少させるためにユーザの手８０４を移動することによって、ジェスチャを行い得る。このような場合、このジェスチャに対応するアクションは、選択されたＡＲ要素８０２のユーザから遠ざかる移動である。

【0064】

いくつかの実現例では、選択されたＡＲ要素８０２をユーザに近づける移動は、ユーザの手８０４とレーダーシステム１０４との間の増加した距離に比例する。同様に、選択されたＡＲ要素８０２をユーザから遠ざける移動は、ユーザの手８０４とレーダーシステム１０４との間の減少した距離に比例する。他の実現例では、選択されたＡＲ要素８０２の移動は、速度もしくは角度などのレーダーデータから求めることができるジェスチャの他の側面、またはジェスチャのさまざまな側面の組合せに比例し得る。

【0065】

図９の詳細図９００−１では、環境の例９００は、レーダーフィールド１１０（図示せず）を提供しているレーダーシステム１０４を含むスマートフォン１０２を示す。詳細図９００−１では、ユーザは、たとえばタッチ入力を介してＡＲ要素９０２を選択することによって、ＡＲ要素９０２を既に選択していると仮定する。ユーザの体の一部９０４（この例ではユーザの手９０４）はレーダーフィールド１１０内にあり、レーダーシステム１０４は、ユーザの手９０４によって行われる３Ｄジェスチャを判断可能である。

【0066】

詳細図９００−２では、ユーザは、ユーザの手９０４とディスプレイ１０８の平面などの参照物との間で実質的に同様の距離を保ちつつ、レーダーシステム１０４に対するユーザの手９０４の位置を変更することによって、ジェスチャ（たとえば、スクローリングジェスチャ）を行っている。詳細図９００−２では、ユーザの手９０４の変更された位置は、矢印９０６によって示されるような、右側から左側への動きである。このジェスチャに対応するアクションは、矢印９０８および約９０°回転するＡＲ要素９０２（「Ｘ」で印が付けられている）の印を付けられた、選択されたＡＲ要素９０２の軸周りの一方向における、選択されたＡＲ要素９０２の回転である。同様に、図９では示されていないが、ユーザは、ユーザの手９０４を左側から右側に移動することによってジェスチャを行い得る。このような場合、このジェスチャに対応するアクションは、軸周りの反対方向における選択されたＡＲ要素９０２の回転である。

【0067】

いくつかの実現例では、選択されたＡＲ要素９０２の軸周りの回転の速度および量はそれぞれ、ユーザの手９０４の一方の側から他方の側への動きの速度または距離に比例する。他の実現例では、ＡＲ要素９０２の回転は、ユーザの手９０４の形状または表面積などのレーダーデータから求めることができるジェスチャの他の側面に、またはジェスチャのさまざまな側面の組合せに比例し得る。

【0068】

実現例８００および９００は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする上述の技術、システム、および装置を用いて可能な多くの実現可能なジェスチャのうちの２つの例にすぎない。たとえば、ユーザは、ＡＲ環境において３Ｄオブジェクトを選択するためにタッチ入力を用いてもよく、その後、３Ｄオブジェクトをより小さくするために、さらにオブジェクトを削除するために、３Ｄピンチジェスチャを用いてもよい。同様に、ユーザは、ＡＲ環境において選択された３Ｄオブジェクトを投
入するために、フリック動作を用いてもよい。

【0069】

さらに、上述の技術は、他の種類のアプリケーション（たとえば、非ＡＲ）またはＡＲアプリケーションの非ＡＲ特徴と共に用いることもできる。たとえば、ユーザは、図画ベースまたはテキストベースアプリケーションおよび特徴とインタラクトするために、混合された制御（たとえば、３Ｄジェスチャと組合わされたタッチまたは音声入力）を用いてもよい。一例では、ユーザは、デバイスのタッチスクリーンに指をタッチし、その後指をタッチスクリーンに沿ってスライドすることによって、アプリケーションに線を引いてもよい。その後、ユーザは、タッチスクリーンから指を離し、仮想ダイアルを回すといった、３Ｄジェスチャを用いて、線の太さまたは他の特性を変更することができる。他の例では、ユーザは、タッチスクリーン上でテキストの選択、コピー、およびペーストが可能である。たとえば、ユーザは、表示されたテキストの一部を選択するために、タッチスクリーン上でタッチ−ピンチジェスチャを行うことができる。ユーザはその後、テキストをコピーするために３Ｄピンチジェスチャを行ってタッチ入力にもう一度切り替えることができ、カーソルをタッチスクリーン上で位置決めすることができる。他の３Ｄピンチジェスチャによって、選択されたテキストが新しい場所にペーストされる。このように、レーダーシステムを備えるスマートフォン、システム、および方法によって、タッチおよび３Ｄジェスチャの連続した統合が可能になり、ＡＲアプリケーションと非ＡＲアプリケーションとの両方の機能性およびユーザの楽しみが改善される。

【0070】

方法の例
図１０および図１１は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする方法の例１０００を示す図である。方法１０００は、レーダーフィールドを提供するためにレーダーシステムを用いる電子デバイスを用いて行うことができる。レーダーフィールドは、レーダーフィールド内のオブジェクトがレーダーシステムに向かって移動していると判断するために用いられ、さまざまなタッチ入力コントローラの場所を、オブジェクトがレーダーシステムに向かって移動しているという判断に応じて特定の場所に固定することができる。方法１００は、行われる動作を指定するがそれぞれのブロックによる動作を行うために示された順番または組合せに必ずしも限定されない、一連のブロックとして示されている。さらに、広範囲の付加的なおよび／または代替的な方法を提供するために、動作の１つ以上の繰返し、組合せ、認識、または関連付けが行われ得る。以下の説明の部分では、図１の動作環境の例１００または図２〜図９に詳細に説明されているようなエンティティもしくはプロセスが参照されてもよいが、それらの参照は例示に過ぎない。これらの技術は、１つのデバイスで動作する１つのエンティティまたは複数のエンティティによる実行に制限されない。

【0071】

１００２において、レーダーフィールドが提供される。このレーダーフィールドは、ディスプレイ（たとえば、ディスプレイ１０８）、レーダーシステム（たとえば、レーダーシステム１０４）、およびレーダーベースアプリケーション（たとえば、レーダーベースアプリケーション１０６または７０２）を含む、さまざまな電子デバイス（たとえば、上述のスマートフォン１０２）のうちのいずれかによって提供することができる。さらに、レーダーフィールドは、上述のレーダーフィールド１１０などのさまざまな種類のレーダーフィールドのうちいずれかでもよい。

【0072】

１００４において、レーダーフィールド内のオブジェクトからの反射が、レーダーシステムによって検知される。オブジェクトは、木材、プラスチック、金属、繊維、または有機材料など、さまざまなオブジェクトのうちいずれかでもよい。たとえば、オブジェクトは、上述のオブジェクト１１２、７０４、８０４、または９０４のうち１つなど、人間の体の一部（たとえば、手）でもよい。

【0073】

１００６において、レーダーフィールド内のオブジェクトからの反射が分析される。この分析は、さまざまなエンティティ（たとえば、レーダーシステム１０４、または本明細書で説明されるレーダーベースアプリケーションのうちいずれか）のうちいずれかによって行われてもよく、図３〜図６を参照して説明されたもののような、さまざまな動作および判断を含み得る。

【0074】

１００８において、反射の分析に基づいて、図３〜図６を参照して説明されたレーダーデータなどのレーダーデータが提供される。レーダーデータは、レーダーシステム１０４などのさまざまなエンティティのうちいずれか、または本明細書で説明されるレーダーベースアプリケーションのうちいずれかによって提供されてもよい。いくつかの実現例では、レーダーシステムは、レーダーデータを提供し、レーダーデータを他のエンティティ（たとえば、説明されたレーダーベースアプリケーションのうちいずれか）に渡し得る。方法１０００の説明は、図１０のブロック１００８の後の文字「Ａ」によって示されるように、図１１において続いており、この「Ａ」は、図１１のブロック１０１０の前の「Ａ」に対応する。

【0075】

１０１０において、レーダーベースアプリケーションは、ディスプレイ（たとえば、ディスプレイ１０８）を通して拡張現実（ＡＲ）要素を呈示する。ＡＲ要素は、上述のＡＲ要素１１６など、さまざまな種類のＡＲ要素のうちいずれかでもよい。ＡＲ要素は、上述のタッチ入力コントローラ１１８などのタッチ入力コントローラを含み、リアルオブジェクト（たとえば、上述のリアルオブジェクト１２０−１）に関連し、リアルオブジェクトの画像は、ディスプレイに呈示される。

【0076】

１０１２において、レーダーフィールド内のオブジェクトがレーダーシステムに向かって移動しているという判断に応じて、タッチ入力コントローラは、電子デバイスのタッチスクリーン上の固定場所に提供され、ここで維持される。固定場所は、タッチ入力コントローラが最初に表示される場所でもよく、ディスプレイ上の他の場所でもよい。レーダーフィールド内のオブジェクトがレーダーシステムに向かって移動しているという判断は、レーダーシステムまたはレーダーベースアプリケーションなど、さまざまなエンティティのうちいずれかによって行われてもよい。

【0077】

いくつかの実現例では、タッチ入力コントローラは、リアルオブジェクトの画像がディスプレイに呈示されなくなると、固定場所で維持される。たとえば、関連するリアルオブジェクトが電子デバイスのディスプレイにおいて見える状態であり、かつ、ユーザがディスプレイに向かっている間に、ディスプレイの特定のコーナーにＡＲ要素でタッチ入力コントローラが呈示されていると仮定する。何らかの理由で（たとえば、ユーザがタッチ入力コントローラに手を伸ばしつつフリアルオブジェクトをフレーム化された状態に維持していなかったために）リアルオブジェクトの画像がディスプレイ上に呈示されなくなると、タッチ入力コントローラは、ディスプレイの特定のコーナー（または、別の場所）で維持され続けることが可能であり、ユーザは、タッチ入力コントローラとインタラクトすることができる。

【0078】

たとえば、方法１０００の付加的な詳細を説明する環境の例１２００を示す図１２を考える。図１２の詳細図１２００−１では、環境の例１２００は、レーダーフィールド１１０（図示せず）を提供しているレーダーシステム１０４を含む電子デバイス（この場合、スマートフォン１０２）を示す。詳細図１２００−１は、スマートフォンを片手（たとえば、左手１２０２）に保持するユーザが、スマートフォン１０２−１で実行しているレーダーベースアプリケーション１０６のＡＲインターフェースにおいてリアルオブジェクト１２０−１をフレーム化していることを示す。図示するように、レーダーベースアプリケーション１０６は、リアルオブジェクト１２０−１の画像（たとえば、画像１２０−２）
をディスプレイ１０８に呈示している（画像１２０−２は、破線矢印で示されている）。レーダーベースアプリケーション１０６はまた、タッチ入力コントローラ１１８を含むＡＲ要素１１６を、ディスプレイ１０８のコーナー付近の場所に呈示している。

【0079】

詳細図１２００−２では、ユーザは、斜線矢印１２０６によって示されるように、他の手（たとえば、右手１２０４）をタッチ入力コントローラ１１８に向かって伸ばし始めている。ユーザはスマートフォン１０２に向かって手を伸ばしていると判断された（たとえば、レーダーベースアプリケーション１０６または他のエンティティが、レーダーデータを用いて、スマートフォン１０２に向かって右手１２０４を延ばしていると判断した）と仮定する。ユーザはまた、右手１２０４をタッチ入力コントローラ１１８に向けて延ばしつつ、リアルオブジェクト１２０−１の画像１２０−２がディスプレイ１０８を通して見えなくなるように、スマートフォン１０２を移動させている。この移動は、点線矢印１２０８によって示されている。説明された技術を用いて、レーダーベースアプリケーション１０６は依然として、ＡＲ要素１１６およびタッチ入力コントローラ１１８を、ディスプレイ１０８のコーナー付近でほぼ同じ場所に維持している。

【0080】

詳細図１２００−３では、ユーザがタッチ入力コントローラ１１８を（たとえば、右手１２０４によるタッチ入力を介して）起動させていると仮定する。これに応じて、レーダーベースアプリケーション１０６は、ユーザにリアルオブジェクト１２０−１に関する情報を提供可能な付加的なタッチ入力コントローラ１２１２と共に、リアルオブジェクト１２０−１（図示せず）の他の画像１２０−２を示す２Ｄインターフェース１２１０を呈示している。

【0081】

いくつかの実現例では、固定場所に提供されているタッチ入力コントローラ１１８は、レーダーフィールド内のオブジェクトがディスプレイ１０８に向かって移動しているという判断から閾値時間内にタッチされない場合、タッチ入力コントローラは、固定場所に提供されなくなってもよい。閾値時間は、１．５秒（ｓ）、２ｓ、または３ｓなどさまざまな時間でもよく、前もって設定可能である、または、ユーザが選択可能である。さらに他の実現例では、レーダーベースアプリケーション１０６は、ユーザの手が閾値速度を超える速度でディスプレイ１０８に向かって移動していると判断される場合のみ、固定場所にタッチ入力コントローラを提供してもよい。閾値速度は、０．２５フィート／秒（ｆｐｓ）、０．５ｆｐｓ、または０．７５ｆｐｓなどの任意の速度でもよい。

【0082】

コンピューティングシステムの例
図１３は、レーダーシステムを備えるスマートフォン、システム、および方法を実現するために、前述の図１〜図１２を参照して説明されるいずれかの種類のクライアント、サーバ、および／または電子デバイスとして実現可能なコンピューティングシステムの例１３００のさまざまなコンポーネントを示す図である。

【0083】

コンピューティングシステム１３００は、デバイスデータ１３０４（たとえば、レーダーデータ、３Ｄジェスチャデータ、認証データ、参照データ、受信データ、受信中のデータ、ブロードキャスト予定のデータ、データのデータパケット）の有線および／または無線通信を可能にする通信デバイス１３０２を備える。デバイスデータ１３０４または他のデバイスは、デバイスの設定項目、デバイスに記憶されたメディアコンテンツ、および／またはデバイスのユーザと関連付けられた情報（たとえば、レーダーフィールド内の人の識別）を含み得る。コンピューティングシステム１３００に記憶されたメディアコンテンツは、任意の種類のレーダー、バイオメトリック、音声、映像、および／または画像データを含み得る。コンピューティングシステム１３００は、人間の発声、レーダーフィールドとのインタラクション、タッチ入力、（明示的または暗示的な）ユーザが選択可能な入力、メッセージ、音楽、テレビメディアコンテンツ、記録された映像コンテンツ、および
任意のコンテンツおよび／またはデータソースから受信された他の種類の音声、映像、および／または画像データなどの、それを介して任意の種類のデータ、メディアコンテンツ、および／または入力を受信可能な１つ以上のデータ入力１３０６を含む。

【0084】

また、コンピューティングシステム１３００は通信インターフェース１３０８を備え、これらの通信インターフェースは、直列および／または並列インターフェース、無線インターフェース、任意の種類のネットワークインターフェース、モデムのいずれか１つ以上として、および他の種類の通信インターフェースとして実現可能である。通信インターフェース１３０８は、コンピューティングシステム１３００と、他の電子、計算、および通信デバイスがコンピューティングシステム１３００とデータを通信する通信ネットワークとの間に接続および／または通信リンクを提供する。

【0085】

コンピューティングシステム１３００は、コンピューティングシステム１３００の動作を制御し、レーダーシステムを備えるスマートフォン、システム、および方法のための技術を可能にする、またはこれを実現可能にするために、さまざまなコンピュータ実行可能な命令を処理できる１つ以上のプロセッサ１３１０（たとえば、マイクロプロセッサ、制御部、または他の制御部）を備える。代替的にまたは付加的に、コンピューティングシステム１３００は、一般に１３１２で特定される処理および制御回路に関連して実現されるハードウェア、ファームウェア、または固定論理回路のうちいずれか１つまたはこれらの組合せで実現可能である。図示されないが、コンピューティングシステム１３００は、デバイス内のさまざまなコンポーネントを結合するシステムバスまたはデータ転送システムを備え得る。システムバスは、メモリバスまたはメモリ制御部、周辺バス、ユニバーサルシリアルバス、および／または、さまざまなバスアーキテクチャのいずれかを用いるプロセッサもしくはローカルバスのうちいずれか１つ、またはこれらの組合せを備え得る。

【0086】

コンピューティングシステム１３００はまた、永続的なおよび／または非一時的なデータ記憶（すなわち、単なる信号の送信とは対称的である）を可能にする１つ以上のメモリデバイスなどのコンピュータ可読媒体１３１４を備え、その例としては、ランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリ（たとえば、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどのうちいずれか１つ以上）、およびディスク記憶装置を含む。ディスク記憶装置は、ハードディスクドライブ、記録可能および／または書換え可能なコンパクトディスク（ＣＤ）、任意の種類のデジタル多用途ディスク（ＤＶＤ）などの、任意の種類の磁気または光学記憶装置として実現可能である。コンピューティングシステム１３００は、大容量記憶媒体デバイス（記憶媒体）１３１６も備え得る。

【0087】

コンピュータ可読媒体１３１４は、デバイスデータ１３０４、ならびにさまざまなデバイスアプリケーション１３１８およびコンピューティングシステム１３００の動作状況に関連する他の種類の情報および／またはデータを記憶するために、データ記憶装置メカニズムを提供する。たとえば、オペレーティングシステム１３２０は、コンピュータ可読媒体１３１４を有するコンピュータアプリケーションとして維持可能であり、プロセッサ１３１０で実行可能である。デバイスアプリケーション１３１８は、任意の形式の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、抽象モジュール、ジェスチャ認識モジュール、ならびに他のモジュールなどのデバイスマネージャを含み得る。デバイスアプリケーション１３１８は、レーダーシステム１０４、レーダーベースアプリケーション１０６、またはレーダーベースアプリケーション７０２（３Ｄジェスチャモジュール７０８を含む）などの、レーダーシステムを備えるスマートフォン、システム、および方法を実現するために、システムコンポーネント、エンジン、またはマネージャも含み得る。また、コンピューティングシステム１３００は、１つ以上の機械学習システムを含み得る、またはこれらへのアクセスを
有し得る。

【0088】

いくつかの例について、以下で説明する。
例１：スマートフォンであって、ディスプレイと、ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、レーダーシステムは、レーダーフィールドを提供し、レーダーフィールド内のオブジェクトからの反射を検知し、レーダーフィールド内のオブジェクトからの反射を分析し、および、反射の分析に基づいて、レーダーデータを提供するように構成され、スマートフォンはさらに、１つ以上のコンピュータプロセッサと、１つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶された、１つ以上のコンピュータ可読媒体とを備え、レーダーベースアプリケーションは、スマートフォンのディスプレイを通して、タッチ入力コントローラを含みリアルオブジェクトに関連する拡張現実（ＡＲ）要素を呈示するように構成され、リアルオブジェクトの画像がディスプレイに呈示され、レーダーベースアプリケーションはさらに、レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラをディスプレイ上の固定場所に維持する。

【0089】

例２：レーダーフィールド内のオブジェクトはユーザであり、これによって、リアルオブジェクトの画像がディスプレイ上で不安定に移動している際であっても、タッチ入力コントローラとのユーザのインタラクションの容易さおよび精度が、固定場所にタッチ入力コントローラを維持することによって高められる、例１に記載のスマートフォン。

【0090】

例３：レーダーベースアプリケーションはさらに、ユーザがスマートフォンを第１の手で保持する間、タッチ入力コントローラを含む拡張現実（ＡＲ）要素を呈示するように構成されている、例１または２に記載のスマートフォン。

【0091】

例４：レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断は、ユーザが第２の手をスマートフォンに向かって伸ばしているという判断を含み、スマートフォンは、リアルオブジェクトの画像がディスプレイに呈示されなくなるように位置決めされており、レーダーベースアプリケーションはさらに、リアルオブジェクトの画像がディスプレイに呈示されなくなるように、ＡＲ要素とタッチ入力コントローラとを、ユーザがスマートフォンを移動させる前に呈示される場所とほぼ同じディスプレイ上の場所で維持するように構成されている、前述の例の少なくとも１つに記載のスマートフォン。

【0092】

例５：タッチ入力コントローラは、第２の手による以前のタッチ入力を介して起動されており、レーダーベースアプリケーションはさらに、タッチ入力コントローラの起動に応じて、２次元（２Ｄ）インターフェースをディスプレイに呈示するように構成されており、２次元（２Ｄ）インターフェースは、リアルオブジェクトの他の画像と、リアルオブジェクトについての情報をユーザに提供する他のタッチ入力コントローラとを含む、前述の例の少なくとも１つに記載のスマートフォン。

【0093】

例６：レーダーベースアプリケーションはさらに、リアルオブジェクトの画像がディスプレイに呈示されなくなると、タッチ入力コントローラの固定場所を維持するように構成されている、前述の例の少なくとも１つに記載のスマートフォン。

【0094】

例７：レーダーベースアプリケーションはさらに、固定場所におけるタッチ入力コントローラが閾値時間内にタッチされないことに応じて、固定場所においてタッチ入力コントローラを提供することを中止するように構成されている、前述の例の少なくとも１つに記載のスマートフォン。

【0095】

例８：レーダーベースアプリケーションはさらに、レーダーフィールド内のオブジェクトが閾値速度を超える速度でディスプレイに向かって移動している場合、固定位置においてタッチ入力コントローラを提供するように構成されている、前述の例の少なくとも１つに記載のスマートフォン。

【0096】

例９：スマートフォンは撮像デバイスを備え、レーダーベースアプリケーションは、撮像デバイスを介して、リアルオブジェクトの画像をリアルタイムまたはニアリアルタイムで呈示する、前述の例の少なくとも１つに記載のスマートフォン。

【0097】

例１０：レーダーシステムはさらに、レーダーデータに基づいて、レーダーフィールド内のオブジェクトがディスプレイに向かって移動していると判断するように構成されている、前述の例の少なくとも１つに記載のスマートフォン。

【0098】

例１１：レーダーベースアプリケーションはさらに、レーダーデータに基づいて、レーダーフィールド内のオブジェクトがディスプレイに向かって移動していると判断するように構成されている、前述の例の少なくとも１つに記載のスマートフォン。

【0099】

例１２：レーダーフィールド内のオブジェクトは、ユーザの体の一部である、前述の例の少なくとも１つに記載のスマートフォン。

【0100】

例１３：システムであって、ディスプレイを含む電子デバイスと、ハードウェアで少なくとも部分的に実現されるレーダーシステムとを備え、レーダーシステムは、レーダーフィールドを提供し、第１の時間に、レーダーフィールド内のオブジェクトからの反射を検知し、レーダーフィールド内のオブジェクトからの反射を分析し、および、反射の分析に基づいて、レーダーデータを提供するように構成され、システムはさらに、１つ以上のコンピュータプロセッサと、１つ以上のコンピュータ可読媒体とを備え、１つ以上のコンピュータ可読媒体には、１つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶されており、レーダーベースアプリケーションは、電子デバイスのディスプレイを通して拡張現実（ＡＲ）要素を呈示し、第１の時間よりも後の第２の時間に、ＡＲ要素を選択する入力を受信し、レーダーデータに基づいて、レーダーフィールド内のオブジェクトによるジェスチャを判断し、および、判断されたジェスチャに対応する、選択されたＡＲ要素に関連するアクションを行うように構成されている、または、１つ以上のコンピュータ可読媒体とを備え、１つ以上のコンピュータ可読媒体には、１つ以上のコンピュータプロセッサによる実行に応じてレーダーベースアプリケーションを実現する命令が記憶されており、レーダーベースアプリケーションは、スマートフォンのディスプレイを通して、タッチ入力を含みリアルオブジェクトに関連する拡張現実（ＡＲ）要素を呈示するように構成され、リアルオブジェクトの画像がディスプレイに呈示され、レーダーベースアプリケーションはさらに、レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラをディスプレイの固定場所に維持するように構成されている、システム。

【0101】

例１４：ＡＲ要素を選択する入力はタッチ入力である、例１３に記載のシステム。
例１５：判断されたジェスチャは３次元（３Ｄ）ジェスチャである、例１３または１４に記載のシステム。

【0102】

例１６：オブジェクトはユーザの体の一部である、例１３〜１５の少なくとも１つに記載のシステム。

【0103】

例１７：判断されたジェスチャは、オブジェクトとレーダーシステムとの間の距離を変更することを含む、例１３〜１６の少なくとも１つに記載のシステム。

【0104】

例１８：オブジェクトとレーダーシステムとの間で増加した距離である、変更された距離に対応するアクションは、ユーザに近接する、選択されたＡＲ要素の移動であり、オブジェクトとレーダーシステムとの間で減少した距離である、変更された距離に対応するアクションは、ユーザから離れる、選択されたＡＲ要素の移動である、例１７に記載のシステム。

【0105】

例１９：ユーザに近接する、選択されたＡＲ要素の移動は、増加した距離に比例し、ユーザから離れる、選択されたＡＲ要素の移動は、減少した距離に比例する、例１８に記載のシステム。

【0106】

例２０：判断されたジェスチャは、体の一部と電子デバイスのディスプレイの平面との間の距離と実質的に同じ距離を維持しつつ、レーダーシステムに対するオブジェクトの位置を変更することを含む、例１３〜１９の少なくとも１つに記載のシステム。

【0107】

例２１：第１の方向における位置の変更に対応するアクションは、選択されたＡＲ要素の軸の周囲での第１の回転方向における選択されたＡＲ要素の回転であり、第２の方向における位置の変更に対応するアクションは、軸の周囲での第２の回転方向における選択されたＡＲ要素の回転である、例２０に記載のシステム。

【0108】

例２２：レーダーシステムはさらに、デジタルビームフォーマと角度推定器とを備え、レーダーシステムは、約−９０°〜約９０°の視野における角度を監視するように構成されている、例１３〜２１の少なくとも１つに記載のシステム。

【0109】

例２３：ディスプレイ、レーダーシステム、およびレーダーベースアプリケーションを含む電子デバイスで実現される方法であって、レーダーシステムが、レーダーフィールドを提供することと、レーダーシステムが、レーダーフィールド内のオブジェクトからの反射を検知することと、レーダーフィールド内のオブジェクトからの反射を分析することと、反射の分析に基づいて、レーダーデータを提供することと、レーダーベースアプリケーションが、タッチ入力コントローラを含みリアルオブジェクトに関連する拡張現実（ＡＲ）要素を、電子デバイスのディスプレイを通して呈示することとを備え、リアルオブジェクトの画像がディスプレイに呈示され、方法はさらに、レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断に応じて、タッチ入力コントローラをディスプレイ上の固定場所に維持することを備える、方法。

【0110】

例２４：レーダーデータに基づく、レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断は、レーダーシステムによって、またはレーダーベースアプリケーションによって行われる、例２３に記載の方法。

【0111】

例２５：電子デバイスはハンドヘルドデバイスであり、レーダーフィールド内のオブジェクトはユーザであり、方法はさらに、リアルオブジェクトの画像がディスプレイ上で不安定に移動している際であっても、タッチ入力コントローラを固定場所に維持し、これによって、タッチ入力コントローラとのユーザのインタラクションの容易さおよび精度が高められることを備える、例２３または２４に記載の方法。

【0112】

例２６：ユーザが電子デバイスを第１の手で保持している間、レーダーベースアプリケーションが、タッチ入力コントローラを含む拡張現実（ＡＲ）要素を呈示することをさら
に備える、例２３〜２５の少なくとも１つに記載の方法。

【0113】

例２７：レーダーフィールド内のオブジェクトがディスプレイに向かって移動しているという判断は、ユーザが第２の手を電子デバイスに向かって伸ばしていると判断することを含み、電子デバイスは、リアルオブジェクトの画像がディスプレイに呈示されなくなるように位置決めされており、方法はさらに、レーダーベースアプリケーションが、リアルオブジェクトの画像がディスプレイに呈示されなくなるように、ユーザが電子デバイスを移動させる前に呈示されている場所とほぼ同じディスプレイ上の場所で、ＡＲ要素とタッチ入力コントローラとを維持することを備える、例２３〜２６の少なくとも１つに記載の方法。

【0114】

例２８：タッチ入力コントローラは、第２の手による以前のタッチ入力を介して起動されており、方法はさらに、タッチ入力コントローラの起動に応じて、レーダーベースアプリケーションが、ディスプレイに２次元（２Ｄ）ユーザインターフェースを表示することを備え、２Ｄユーザインターフェースは、リアルオブジェクトの他の画像と、リアルオブジェクトについての情報をユーザに提供する他のタッチ入力コントローラとを含む、例２３〜２７の少なくとも１つに記載の方法。

【0115】

むすび
レーダーシステムを備えるスマートフォン、システム、および方法のための技術、ならびにこれらを可能にする装置の実現例について、特徴および／または方法に特有の言語で説明したが、添付の請求項の範囲の主題が必ずしも上述の特定の特徴または方法に制限されるわけではない。そうではなく、特定の特徴および方法は、レーダーシステムを備えるスマートフォン、システム、および方法を可能にする実現例として開示されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】