特表 2024-523130 無線周波数検知に基づいてデバイスおよび処理設定を制御すること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-28

(54)【発明の名称】無線周波数検知に基づいてデバイスおよび処理設定を制御すること

(51)【国際特許分類】

   G01S 13/86 20060101AFI20240621BHJP

   H04W 88/02 20090101ALI20240621BHJP

   H04N 23/65 20230101ALI20240621BHJP

   H04N 23/611 20230101ALI20240621BHJP

【ＦＩ】

G01S13/86

H04W88/02 151

H04N23/65

H04N23/611

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023572215

(86)(22)【出願日】2022-05-24

(85)【翻訳文提出日】2023-11-21

(86)【国際出願番号】 US2022030753

(87)【国際公開番号】W WO2022256203

(87)【国際公開日】2022-12-08

(31)【優先権主張番号】17/336,106

(32)【優先日】2021-06-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ジャン、シャオシン

(72)【発明者】

【氏名】シュエ、チー

【テーマコード（参考）】

5C122

5J070

5K067

【Ｆターム（参考）】

5C122DA03

5C122DA04

5C122EA52

5C122FC04

5C122FH11

5C122GA01

5C122HA35

5J070AB15

5J070AC02

5J070AC11

5J070AE09

5J070AK14

5J070BD08

5K067AA43

5K067DD43

5K067EE02

5K067EE10

5K067JJ51

5K067LL11

(57)【要約】

無線周波数（ＲＦ）検知を使用するエクステンデッドリアリティ最適化のためのシステムおよび技法が開示される。例示的な方法は、ＲＦ検知データを取得することと、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の反射経路を決定することと、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信された信号の反射を含む、１つまたは複数の反射経路を、デバイスの画像センサーの視野（ＦＯＶ）と比較することと、比較に基づいて、デバイスおよび／または画像センサーによるアクションをトリガすることとを含むことができる。

【特許請求の範囲】

【請求項1】

少なくとも１つのメモリと、
前記少なくとも１つのメモリに結合された１つまたは複数のプロセッサと
を備える装置であって、前記１つまたは複数のプロセッサは、
無線周波数（ＲＦ）検知データを取得することと、
前記ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、
前記１つまたは複数の反射経路を、前記装置に関連付けられた画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、
前記比較に基づいて、前記装置および前記画像キャプチャデバイスのうちの少なくとも１つによるアクションをトリガすることと
を行うように構成された、装置。

【請求項2】

前記１つまたは複数のプロセッサは、
前記比較に基づいて、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあると決定することと、
前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあると決定したことに基づいて、前記画像キャプチャデバイスの電力設定を、オフ状態、または、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分内にあるときの前記画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することと
を行うように構成された、請求項１に記載の装置。

【請求項3】

前記１つまたは複数のプロセッサは、
前記比較に基づいて、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶのほうへ移動していると決定することと、
前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶのほうへ移動していると決定したことに基づいて、前記画像キャプチャデバイスの前記電力設定を前記異なる電力状態に調整することと
を行うように構成された、請求項２に記載の装置。

【請求項4】

前記１つまたは複数のプロセッサは、
前記１つまたは複数の物体に対する前記画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することと、
前記１つまたは複数の物体に対する前記画像キャプチャデバイスの前記ビューが少なくとも１つの物体によって妨害されると決定したことに基づいて、前記画像キャプチャデバイスの電力設定を、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分内にあるときの前記画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することと、ここにおいて、前記アクションをトリガすることが、前記１つまたは複数の物体に対する前記画像キャプチャデバイスの前記ビューが妨害されると前記決定したことにさらに基づく、
を行うように構成された、請求項１に記載の装置。

【請求項5】

前記１つまたは複数の物体に対する前記画像キャプチャデバイスの前記ビューが少なくとも１つの物体によって妨害されると決定するために、前記１つまたは複数のプロセッサは、
前記比較に基づいて、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応する前記シーンの前記部分内にあると決定することと、
前記１つまたは複数の物体のロケーションに基づいて、前記１つまたは複数の物体に対する前記画像キャプチャデバイスのビューが前記少なくとも１つの物体によって妨害されると決定することと
を行うようにさらに構成された、請求項４に記載の装置。

【請求項6】

前記画像キャプチャデバイスが複数の画像センサーを備え、ここにおいて、前記トリガされたアクションが、前記画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、前記画像キャプチャデバイスの前記電力設定を制御するために、前記１つまたは複数のプロセッサが、前記複数の画像センサーの個々の電力設定を制御するように構成された、請求項１に記載の装置。

【請求項7】

前記複数の画像センサーの個々の電力設定を制御するために、前記１つまたは複数のプロセッサは、手が前記複数の画像センサーのうちの特定の１つのＦＯＶ内にあると決定したことに基づいて、画像処理のために前記装置の複数のプロセッサのうちの少なくとも１つを前記複数の画像センサーのうちの前記特定の１つに専用化するように構成された、請求項６に記載の装置。

【請求項8】

前記１つまたは複数のプロセッサは、
前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあると決定したことに基づいて、前記装置の複数のプロセッサによる前記装置の複数の画像キャプチャデバイスの使用を制御すること、前記複数の画像キャプチャデバイスが前記画像キャプチャデバイスを含む、
を行うように構成された、請求項１に記載の装置。

【請求項9】

前記１つまたは複数のプロセッサは、
前記比較に基づいて、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあり、前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、
前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあり、前記画像キャプチャデバイスの前記ＦＯＶに対応する前記シーンの前記部分のほうへ移動していると決定したことに応答して、アクティブカメラ設定を前記画像キャプチャデバイスから異なる画像キャプチャデバイスに切り替えることと、前記切り替えられたアクティブカメラ設定が、１つまたは複数の画像をキャプチャするために前記異なる画像キャプチャデバイスを使用するように前記装置をトリガする、
を行うように構成された、請求項１に記載の装置。

【請求項10】

前記１つまたは複数の物体のうちの少なくとも１つが、前記装置のユーザに関連付けられた手を備える、請求項１に記載の装置。

【請求項11】

前記１つまたは複数のプロセッサが、
前記送信されたＲＦ信号の直接経路を備えるＲＦ信号の経路を決定することと、
前記ＲＦ信号の前記経路に基づいて、前記装置に対する前記１つまたは複数の物体のロケーションを決定することと
を行うように構成された、請求項１に記載の装置。

【請求項12】

前記１つまたは複数のプロセッサが、
前記比較に基づいて、前記１つまたは複数の反射経路に関連付けられたそれぞれの距離、それぞれの方位角、およびそれぞれの仰角のうちの少なくとも１つを決定することと、
前記装置に対する前記１つまたは複数の物体の前記ロケーションを決定することと
を行うように構成された、請求項１に記載の装置。

【請求項13】

前記トリガされたアクションが、前記画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、前記画像キャプチャデバイスの前記電力設定を制御することは、光源レベルがしきい値を下回ることにさらに基づく、請求項１に記載の装置。

【請求項14】

前記トリガされたアクションが、前記画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、前記画像キャプチャデバイスの前記電力設定を制御することが、プライバシー設定にさらに基づき、ここにおいて、前記プライバシー設定が、グローバルナビゲーション衛星システム（ＧＮＳＳ）データに基づく、請求項１に記載の装置。

【請求項15】

前記１つまたは複数のプロセッサが、
前記ＲＦ検知データおよび前記１つまたは複数の反射経路に基づいて、前記１つまたは複数の物体のサイズおよび形状のうちの少なくとも１つを決定すること
を行うように構成された、請求項１に記載の装置。

【請求項16】

前記１つまたは複数のプロセッサは、
前記ＲＦ検知データおよび前記１つまたは複数の反射経路に基づいて、前記１つまたは複数の物体からの物体の形状を決定することと、
前記物体の前記形状に基づいて、前記物体が前記装置のユーザに関連付けられた手を備えると決定することと、
前記画像キャプチャデバイスによってキャプチャされた画像を使用して、前記手のクロップされた画像を生成することと
を行うように構成された、請求項１に記載の装置。

【請求項17】

前記１つまたは複数のプロセッサが、
前記１つまたは複数の反射経路に基づいて、前記装置に対する前記１つまたは複数の物体のロケーションを決定すること
を行うように構成され、
ここにおいて、前記クロップされた画像が、前記１つまたは複数の物体の前記ロケーションに基づいて生成され、ここにおいて、前記１つまたは複数の物体の前記ロケーションが手ロケーションを備える、請求項１６に記載の装置。

【請求項18】

前記１つまたは複数のプロセッサは、
関連付けられた物体のそれぞれの距離が距離しきい値内にあることに基づいて、前記１つまたは複数の反射経路から、前記１つまたは複数の反射経路のうちの少なくとも１つを選択すること
を行うように構成された、請求項１６に記載の装置。

【請求項19】

前記１つまたは複数のプロセッサが、
前記クロップされた画像を宛先デバイスに送ること
を行うように構成された、請求項１６に記載の装置。

【請求項20】

前記宛先デバイスがサーバおよびモバイルデバイスのうちの少なくとも１つを備え、ここにおいて、前記装置がエクステンデッドリアリティデバイスを備える、請求項１９に記載の装置。

【請求項21】

前記１つまたは複数の物体のうちの少なくとも１つが、前記装置のユーザの手を備え、ここにおいて、前記１つまたは複数のプロセッサが、
前記ＲＦ検知データおよび前記１つまたは複数の反射経路に基づいて、前記物理的空間のマップと前記ユーザの前記手に関連付けられた手ジェスチャーとのうちの少なくとも１つを決定すること
を行うように構成された、請求項１に記載の装置。

【請求項22】

前記トリガされたアクションが、前記１つまたは複数の物体を含んでいる画像の部分を抽出することを備える、請求項１に記載の装置。

【請求項23】

前記トリガされたアクションが、前記１つまたは複数の物体の１つまたは複数の画像をキャプチャすべきかどうかを決定することを備え、前記トリガされたアクションは、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分内にあるという決定にさらに基づく、請求項１に記載の装置。

【請求項24】

前記装置が拡張現実デバイスを備える、請求項１に記載の装置。

【請求項25】

前記拡張現実デバイスがヘッドマウントディスプレイを備える、請求項２４に記載の装置。

【請求項26】

前記１つまたは複数のプロセッサは、
機械学習アルゴリズムを使用して、前記装置のユーザに関連付けられた手と前記手に対する前記画像キャプチャデバイスのビューの妨害とのうちの少なくとも１つを検出すること、ここにおいて、前記手が前記１つまたは複数の物体のうちの少なくとも１つを備える、
を行うように構成された、請求項１に記載の装置。

【請求項27】

少なくとも１つのメモリと、
前記少なくとも１つのメモリに結合された１つまたは複数のプロセッサと
を備える方法であって、前記１つまたは複数のプロセッサは、
無線周波数（ＲＦ）検知データを取得することと、
前記ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、
前記１つまたは複数の反射経路を、モバイルデバイスに関連付けられた画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、
前記比較に基づいて、前記画像キャプチャデバイスおよび前記モバイルデバイスのうちの少なくとも１つによるアクションをトリガすることと
に構成された、方法。

【請求項28】

前記比較に基づいて、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあると決定することと、
前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあると決定したことに基づいて、前記画像キャプチャデバイスの電力設定を、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分内にあるときの前記画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することと
をさらに備える、請求項２７に記載の方法。

【請求項29】

前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応する前記シーンの前記部分のほうへ移動していると決定することと、
前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応する前記シーンの前記部分のほうへ移動していると決定したことに基づいて、前記画像キャプチャデバイスの前記電力設定を前記異なる電力状態に調整することと
をさらに備える、請求項２８に記載の方法。

【請求項30】

前記１つまたは複数の物体に対する前記画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することと、
前記１つまたは複数の物体に対する前記画像キャプチャデバイスの前記ビューが少なくとも１つの物体によって妨害され遮られると決定したことに基づいて、前記画像キャプチャデバイスの電力設定を、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分内にあるときの前記画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することと、ここにおいて、前記アクションをトリガすることが、前記１つまたは複数の物体に対する前記画像キャプチャデバイスの前記ビューが妨害されると前記決定したことにさらに基づく、
をさらに備える、請求項２７に記載の方法。

【請求項31】

前記１つまたは複数の物体に対する前記画像キャプチャデバイスの前記ビューが少なくとも１つの物体によって妨害されると決定することは、
前記比較に基づいて、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応する前記シーンの前記部分内にあると決定することと、
前記１つまたは複数の物体のロケーションに基づいて、前記１つまたは複数の物体に対する前記画像キャプチャデバイスのビューが前記少なくとも１つの物体によって妨害されると決定することと
をさらに備える、請求項３０に記載の方法。

【請求項32】

前記画像キャプチャデバイスが複数の画像センサーを備え、ここにおいて、前記トリガされたアクションが、前記画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、前記画像キャプチャデバイスの前記電力設定を制御することが、前記複数の画像センサーの個々の電力設定を制御することをさらに備える、請求項２７に記載の方法。

【請求項33】

前記複数の画像センサーの個々の電力設定を制御することは、手が前記複数の画像センサーのうちの特定の１つのＦＯＶ内にあると決定したことに基づいて、画像処理のために前記モバイルデバイスの複数のプロセッサのうちの少なくとも１つを前記複数の画像センサーのうちの前記特定の１つに専用化することをさらに備える、請求項３２に記載の方法。

【請求項34】

前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあるという決定に基づいて、前記モバイルデバイスの複数のプロセッサによる前記モバイルデバイスの複数の画像キャプチャデバイスの使用を制御すること、前記複数の画像キャプチャデバイスが前記画像キャプチャデバイスを含む、
をさらに備える、請求項２７に記載の方法。

【請求項35】

前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあり、前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、
前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶの外側にあり、前記画像キャプチャデバイスの前記ＦＯＶに対応する前記シーンの前記部分のほうへ移動していると決定したことに応答して、アクティブカメラ設定を前記画像キャプチャデバイスから異なる画像キャプチャデバイスに切り替えることと、前記切り替えられたアクティブカメラ設定が、１つまたは複数の画像をキャプチャするために前記異なる画像キャプチャデバイスを使用するように前記モバイルデバイスをトリガする、
をさらに備える、請求項２７に記載の方法。

【請求項36】

前記１つまたは複数の物体のうちの少なくとも１つが、前記モバイルデバイスのユーザに関連付けられた手を備える、請求項２７に記載の方法。

【請求項37】

前記送信されたＲＦ信号の直接経路を備えるＲＦ信号の経路を決定することと、
前記ＲＦ信号の前記経路に基づいて、前記モバイルデバイスに対する前記１つまたは複数の物体のロケーションを決定することと
をさらに備える、請求項２７に記載の方法。

【請求項38】

前記１つまたは複数の物体の前記ロケーションを決定することが、前記１つまたは複数の反射経路に関連付けられたそれぞれの距離、それぞれの方位角、およびそれぞれの仰角のうちの少なくとも１つを決定することをさらに備える、請求項３７に記載の方法。

【請求項39】

前記トリガされたアクションが、前記画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、前記画像キャプチャデバイスの前記電力設定を制御することは、光源レベルがしきい値を下回ることにさらに基づく、請求項２７に記載の方法。

【請求項40】

前記トリガされたアクションが、前記画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、前記画像キャプチャデバイスの前記電力設定を制御することが、プライバシー設定にさらに基づき、ここにおいて、前記プライバシー設定が、グローバルナビゲーション衛星システム（ＧＮＳＳ）データに基づく、請求項２７に記載の方法。

【請求項41】

前記ＲＦ検知データおよび前記１つまたは複数の反射経路に基づいて、前記１つまたは複数の物体のサイズおよび形状のうちの少なくとも１つを決定すること
をさらに備える、請求項２７に記載の方法。

【請求項42】

前記ＲＦ検知データおよび前記１つまたは複数の反射経路に基づいて、前記１つまたは複数の物体からの物体の形状を決定することと、
前記物体の前記形状に基づいて、前記物体が前記モバイルデバイスのユーザに関連付けられた手を備えると決定することと、
前記画像キャプチャデバイスによってキャプチャされた画像を使用して、前記手のクロップされた画像を生成することと
をさらに備える、請求項２７に記載の方法。

【請求項43】

前記１つまたは複数の反射経路に基づいて、前記モバイルデバイスに対する前記１つまたは複数の物体のロケーションを決定すること
をさらに備え、
ここにおいて、前記クロップされた画像が、前記１つまたは複数の物体の前記ロケーションに基づいて生成され、ここにおいて、前記１つまたは複数の物体の前記ロケーションが手ロケーションを備える、請求項４２に記載の方法。

【請求項44】

関連付けられた物体のそれぞれの距離が距離しきい値内にあることに基づいて、前記１つまたは複数の反射経路から、前記１つまたは複数の反射経路のうちの少なくとも１つを選択すること
をさらに備える、請求項４２に記載の方法。

【請求項45】

前記クロップされた画像を宛先デバイスに送ること
をさらに備える、請求項４２に記載の方法。

【請求項46】

前記宛先デバイスがサーバおよびモバイルデバイスのうちの少なくとも１つを備え、ここにおいて、前記モバイルデバイスがエクステンデッドリアリティデバイスを備える、請求項４５に記載の方法。

【請求項47】

前記１つまたは複数の物体のうちの少なくとも１つが、前記モバイルデバイスのユーザの手を備え、前記方法が、
前記ＲＦ検知データおよび前記１つまたは複数の反射経路に基づいて、前記物理的空間のマップと前記ユーザの前記手に関連付けられた手ジェスチャーとのうちの少なくとも１つを決定すること
をさらに備える、請求項２７に記載の方法。

【請求項48】

前記トリガされたアクションが、前記１つまたは複数の物体を含んでいる画像の部分を抽出することを備える、請求項２７に記載の方法。

【請求項49】

前記トリガされたアクションが、前記１つまたは複数の物体の１つまたは複数の画像をキャプチャすべきかどうかを決定することを備え、前記トリガされたアクションは、前記１つまたは複数の物体が前記画像キャプチャデバイスの前記ＦＯＶに対応するシーンの部分内にあるという決定にさらに基づく、請求項２７に記載の方法。

【請求項50】

機械学習アルゴリズムを使用して、前記モバイルデバイスのユーザに関連付けられた手と前記手に対する前記画像キャプチャデバイスのビューの妨害とのうちの少なくとも１つを検出すること、ここにおいて、前記手が前記１つまたは複数の物体のうちの少なくとも１つを備える、
をさらに備える、請求項２７に記載の方法。

【請求項51】

命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
無線周波数（ＲＦ）検知データを取得することと、
前記ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、
前記１つまたは複数の反射経路を、画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、
前記比較に基づいて、前記画像キャプチャデバイスおよび前記画像キャプチャデバイスに関連付けられた電子デバイスのうちの少なくとも１つによるアクションをトリガすることと
を行わせる、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、一般に、無線周波数検知に関する。たとえば、本開示の態様は、無線周波数検知に基づいてデバイスおよび／または処理設定を制御することに関する。

【背景技術】

【0002】

[0002] ワイヤレス電子デバイスは、たとえば、特に、ジオロケーション、マッピング、およびルート発見など、様々なワイヤレスサービスを提供することができる。様々なワイヤレス機能を実装するために、ワイヤレス電子デバイスは、無線周波数（ＲＦ）信号を送信および受信するように構成されたハードウェアおよびソフトウェア構成要素を含むことができる。たとえば、ワイヤレス電子デバイスは、特に、Ｗｉ－Ｆｉ（登録商標）、５Ｇ／新無線（ＮＲ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、および／または超広帯域（ＵＷＢ）を介して通信するように構成され得る。

【0003】

[0003] いくつかの場合には、ワイヤレス電子デバイスは、ビデオおよび／または画像をキャプチャするためにデジタルカメラをも実装することができる。たとえば、電話、コネクテッド車両、コンピュータ、ゲーミングシステム、ウェアラブルデバイス、スマートホームアシスタントなどのワイヤレスデバイスは、しばしばカメラを装備している。カメラは、電子デバイスがビデオおよび／または画像をキャプチャすることを可能にする。ビデオおよび／または画像は、適用例の中でも、レクリエーション用途、専門家写真撮影、監視、エクステンデッドリアリティ、および自動化のためにキャプチャされ得る。その上、カメラは、様々な効果および／または適用例のためにビデオおよび／または画像を修正および／または操作するための特定の機能を、ますます装備している。たとえば、多くのカメラは、キャプチャされた画像上の物体（object）を検出すること、異なる画像および／またはビデオ効果を生成することなどを行うためのビデオ／画像処理能力を装備している。

【発明の概要】

【0004】

[0004] 以下は、本明細書で開示される１つまたは複数の態様に関係する簡略化された概要を提示する。したがって、以下の概要は、すべての企図された態様に関係する広範な概観と見なされるべきではなく、また、以下の概要は、すべての企図された態様に関係する重要なまたは重大な要素を識別するか、あるいは特定の態様に関連する範囲を定めるものと見なされるべきではない。したがって、以下の概要は、以下で提示される発明を実施するための形態に先行して、簡略化された形で、本明細書で開示される機構に関係する１つまたは複数の態様に関係するいくつかの概念を提示する唯一の目的を有する。

【0005】

[0005] 無線周波数（ＲＦ）検知に基づいてデバイスおよび／または処理設定を制御するためのシステム、方法、装置、およびコンピュータ可読媒体が開示される。少なくとも１つの例によれば、ＲＦ検知に基づいてデバイスおよび／または処理設定を制御するための方法が提供される。本方法は、無線周波数（ＲＦ：radio frequency）検知データ（sensing data）を取得することと、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号（reflected RF signal）の１つまたは複数の反射経路（reflected path）を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間（physical space）中の１つまたは複数の物体からの送信されたＲＦ信号の反射（reflection）を備える、１つまたは複数の反射経路を、モバイルデバイス（mobile device）に関連付けられた画像キャプチャデバイス（image capturing device）の視野（ＦＯＶ：field-of-view）と比較することと、比較に基づいて、画像キャプチャデバイスおよびモバイルデバイスのうちの少なくとも１つによるアクション（action）をトリガすることとを含むことができる。

【0006】

[0006] 少なくとも１つの例によれば、ＲＦ検知に基づいてデバイスおよび／または処理設定を制御するための非一時的コンピュータ可読媒体（non-transitory computer-readable medium）が提供される。本非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、無線周波数（ＲＦ）検知データを取得することと、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、１つまたは複数の反射経路を、装置に関連付けられた画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、比較に基づいて、画像キャプチャデバイスおよび装置のうちの少なくとも１つによるアクションをトリガすることとを行わせる命令を含むことができる。

【0007】

[0007] 少なくとも１つの例によれば、ＲＦ検知に基づいてデバイスおよび／または処理設定を制御するための装置が提供される。本装置は、メモリと、メモリに結合された１つまたは複数のプロセッサとを含むことができ、１つまたは複数のプロセッサは、無線周波数（ＲＦ）検知データを取得することと、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、１つまたは複数の反射経路を、装置に関連付けられた画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、比較に基づいて、画像キャプチャデバイスおよび装置のうちの少なくとも１つによるアクションをトリガすることとを行うように構成される。

【0008】

[0008] 少なくとも１つの例によれば、ＲＦ検知に基づいてデバイスおよび／または処理設定を制御するための別の装置が提供される。本装置は、無線周波数（ＲＦ）検知データを取得することと、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、１つまたは複数の反射経路を、装置に関連付けられた画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、比較に基づいて、画像キャプチャデバイスおよび装置のうちの少なくとも１つによるアクションをトリガすることとを行うための手段を含むことができる。

【0009】

[0009] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定したことに基づいて、画像キャプチャデバイスの電力設定（power setting）を、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーン（scene）の部分（portion）内にあるときの画像キャプチャデバイスに関連付けられた異なる電力状態（different power state）よりも低い調整された電力状態（adjusted power state）に設定することとを行うことができる。

【0010】

[0010] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに基づいて、画像キャプチャデバイスの電力設定を異なる電力状態に調整することとを行うことができる。

【0011】

[0011] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、１つまたは複数の物体に対する画像キャプチャデバイスのビュー（view）が少なくとも１つの物体によって妨害されると決定することと、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定したことに基づいて、画像キャプチャデバイスの電力設定を、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるときの画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することと、ここにおいて、アクションをトリガすることが、１つまたは複数の物体に対する画像キャプチャデバイスのビューが妨害されると決定したことにさらに基づく、を行うことができる。

【0012】

[0012] いくつかの例では、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することは、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあると決定することと、１つまたは複数の物体のロケーション（location）に基づいて、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することとをさらに備える。

【0013】

[0013] いくつかの例では、画像キャプチャデバイスは複数の画像センサー（image sensor）を備える。いくつかの場合には、トリガされたアクションは、画像キャプチャデバイスの電力設定を制御することを備え、画像キャプチャデバイスの電力設定を制御することは、複数の画像センサーの個々の電力設定を制御することをさらに備える。

【0014】

[0014] いくつかの例では、複数の画像センサーの個々の電力設定を制御することは、手（hand）が複数の画像センサーのうちの特定の１つのＦＯＶ内にあると決定したことに基づいて、画像処理のためにモバイルデバイスの複数のプロセッサのうちの少なくとも１つを複数の画像センサーのうちの特定の１つに専用化することをさらに備える。

【0015】

[0015] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定したことに基づいて、モバイルデバイスの複数のプロセッサによるモバイルデバイスの複数の画像キャプチャデバイスの使用を制御すること、複数の画像キャプチャデバイスが上記画像キャプチャデバイスを含む、を行うことができる。

【0016】

[0016] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに応答して、アクティブカメラ設定（active camera setting）を画像キャプチャデバイスから異なる画像キャプチャデバイスに切り替えることとを行うことができる。いくつかの場合には、切り替えられたアクティブカメラ設定は、１つまたは複数の画像をキャプチャするために異なる画像キャプチャデバイスを使用するようにモバイルデバイスをトリガすることができる。

【0017】

[0017] いくつかの例では、１つまたは複数の物体のうちの少なくとも１つは、モバイルデバイスのユーザ（user）に関連付けられた手を備える。

【0018】

[0018] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、送信されたＲＦ信号の直接経路（direct path）を備えるＲＦ信号の経路（path）を決定することと、ＲＦ信号の経路に基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することとを行うことができる。

【0019】

[0019] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、１つまたは複数の反射経路に基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することができる。いくつかの場合には、１つまたは複数の物体のロケーションを決定することは、１つまたは複数の反射経路に関連付けられたそれぞれの距離（distance）、それぞれの方位角（azimuth angle）、およびそれぞれの仰角（elevation angle）のうちの少なくとも１つを決定することをさらに備える。

【0020】

[0020] いくつかの場合には、トリガされたアクションは、画像キャプチャデバイスの電力設定を制御することを備える。いくつかの例では、画像キャプチャデバイスの電力設定を制御することは、光源レベル（light level）がしきい値（threshold）を下回ることにさらに基づく。いくつかの例では、画像キャプチャデバイスの電力設定を制御することは、プライバシー設定（privacy setting）にさらに基づく。いくつかの例では、プライバシー設定は、ユーザ入力、アプリケーションデータ、および／またはグローバルナビゲーション衛星システム（ＧＮＳＳ：global navigation satellite system）データに基づく。

【0021】

[0021] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、１つまたは複数の物体のサイズ（size）および形状（shape）のうちの少なくとも１つを決定することができる。

【0022】

[0022] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、１つまたは複数の物体からの物体の形状を決定することと、物体の形状に基づいて、物体がモバイルデバイスのユーザに関連付けられた手を備えると決定することと、画像キャプチャデバイスによってキャプチャされた画像を使用して、手のクロップされた画像（cropped image）を生成することとを行うことができる。

【0023】

[0023] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、１つまたは複数の反射経路に基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することができる。いくつかの場合には、クロップされた画像は、１つまたは複数の物体のロケーションに基づいて生成され、１つまたは複数の物体のロケーションは手ロケーション（hand location）を備える。

【0024】

[0024] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、関連付けられた物体のそれぞれの距離が距離しきい値内にあることに基づいて、１つまたは複数の反射経路から、１つまたは複数の反射経路のうちの少なくとも１つを選択することができる。

【0025】

[0025] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、クロップされた画像を宛先デバイス（destination device）に送ることができる。いくつかの例では、宛先デバイスはサーバ（server）およびモバイルデバイスのうちの少なくとも１つを備える。いくつかの場合には、モバイルデバイスはエクステンデッドリアリティデバイス（extended reality device）を備える。

【0026】

[0026] いくつかの例では、１つまたは複数の物体のうちの少なくとも１つは、モバイルデバイスのユーザの手を備える。いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、物理的空間のマップとユーザの手に関連付けられた手ジェスチャー（hand gesture）とのうちの少なくとも１つを決定することができる。

【0027】

[0027] いくつかの場合には、トリガされたアクションは、１つまたは複数の物体を含んでいる画像の部分を抽出することを備える。いくつかの場合には、トリガされたアクションは、１つまたは複数の物体の１つまたは複数の画像をキャプチャすべきかどうかを決定することを備える。いくつかの例では、トリガされたアクションは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるという決定にさらに基づく。

【0028】

[0028] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、機械学習アルゴリズム（machine learning algorithm）を使用して、モバイルデバイスのユーザに関連付けられた手と手に対する画像キャプチャデバイスのビューの妨害（obstruction）とのうちの少なくとも１つを検出することができる。いくつかの例では、手は１つまたは複数の物体のうちの少なくとも１つを備える。

【0029】

[0029] いくつかの態様では、装置は、モバイルデバイス（たとえば、携帯電話または「スマートフォン」または他のモバイルデバイス）、ウェアラブルデバイス（たとえば、ヘッドマウントディスプレイ（head-mounted display））、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、または複合現実（ＭＲ）デバイス）、タブレット、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、ワイヤレスアクセスポイント、またはＲＦインターフェースを有する他の任意の他のデバイスであるか、またはそれらの一部である。いくつかの態様では、上記で説明された装置は、１つまたは複数の画像をキャプチャするための１つまたは複数のカメラを含むことができる。いくつかの態様では、装置は、１つまたは複数の画像、通知、および／または他の表示可能なデータを表示するためのディスプレイをさらに含む。いくつかの態様では、上記で説明された装置は、装置のロケーション、装置の配向を決定するために、および／または任意の他の目的のために使用され得る１つまたは複数のセンサーを含むことができる。

【0030】

[0030] 上記のことは、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照すると、より明らかになろう。

【0031】

[0031] 本出願の例示的な実施形態が、以下の図を参照しながら以下で詳細に説明される。

【図面の簡単な説明】

【0032】

【図1】[0032] 本開示のいくつかの例による、ワイヤレス通信ネットワークの一例を示す図。

【図2】[0033] 本開示のいくつかの例による、ユーザデバイスのコンピューティングシステムの一例を示すブロック図。

【図3】[0034] 本開示のいくつかの例による、環境中の物体および／または物体特性を検出するために無線周波数検知技法を利用するワイヤレスデバイスの一例を示す図。

【図4】[0035] 本開示のいくつかの例による、物体および／または物体特性を検出するためのワイヤレスデバイスを含む環境の一例を示す図。

【図5A】[0036] 本開示のいくつかの例による、無線周波数検知に基づく物体および壁のサイズおよび位置を示すグラフィカル表現の一例の図。

【図5B】[0037] 本開示のいくつかの例による、無線周波数検知によって決定された物体のサイズおよび位置を示すグラフィカル表現の別の例の図。

【図6】[0038] 本開示のいくつかの例による、エクステンデッドリアリティデバイスから宛先デバイスへのアップリンクトラフィックを低減するために無線周波数検知を使用するための例示的な使用事例を示す図。

【図7A】[0039] 本開示のいくつかの例による、例示的なエクステンデッドリアリティレンダリングシナリオを示す図。

【図7B】本開示のいくつかの例による、例示的なエクステンデッドリアリティレンダリングシナリオを示す図。

【図8】[0040] 本開示のいくつかの例による、無線周波数検知を使用するエクステンデッドリアリティ最適化のための例示的なプロセスを示す流れ図。

【図9】[0041] 本開示のいくつかの例による、コンピューティングシステムの一例を示すブロック図。

【発明を実施するための形態】

【0033】

[0042] 本開示のいくつかの態様および実施形態が、例示の目的で以下で提供される。本開示の範囲から逸脱することなく、代替態様が考案され得る。さらに、本開示の関連する詳細を不明瞭にしないように、本開示のよく知られている要素は詳細に説明されないか、または省略される。当業者には明らかであるように、本明細書で説明される態様および実施形態のうちのいくつかは独立して適用され得、それらのうちのいくつかは組み合わせて適用され得る。以下の説明では、説明の目的で、本出願の実施形態の完全な理解を提供するために具体的な詳細が記載される。ただし、様々な実施形態は、これらの具体的な詳細なしに実施され得ることが明らかであろう。図および説明は限定するものではない。

【0034】

[0043] 以下の説明は、例示的な実施形態を提供し、本開示の範囲、適用可能性、または構成を限定するものではない。そうではなく、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるように、本出願の範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。

【0035】

[0044] 前記のように、ワイヤレス電子デバイスは、たとえば、限定はしないが、特に、ジオロケーション、マッピング、エクステンデッドリアリティ、画像処理、およびルート発見など、様々なワイヤレスおよび他のサービスを提供することができる。ワイヤレス電子デバイスの非限定的な例は、モバイルフォン、ウェアラブルデバイス、スマートホームアシスタント、テレビジョン、コネクテッド車両、ゲームシステム、モノのインターネット（ＩｏＴ）デバイス、カメラ、タブレットコンピュータ、ラップトップコンピュータなどを含むことができる。ワイヤレス機能を実装するために、ワイヤレス電子デバイスは、無線周波数（ＲＦ）信号を送信および受信するように構成されたハードウェアおよびソフトウェア構成要素を含むことができる。たとえば、ワイヤレス電子デバイスは、特に、Ｗｉ－Ｆｉ、５Ｇ／新無線（ＮＲ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、および／または超広帯域（ＵＷＢ）を介して通信するように構成され得る。いくつかの場合には、ワイヤレス電子デバイスは、ビデオおよび／または画像をキャプチャするためにデジタルカメラをも実装することができる。

【0036】

[0045] たとえば、ワイヤレスデバイス（たとえば、モバイルフォン、ウェアラブルデバイス、コネクテッド車両、ラップトップコンピュータ、タブレットコンピュータ、ＩｏＴデバイス、ゲームシステム、スマートホームアシスタント、カメラなど）は、しばしばカメラを装備している。カメラは、電子デバイスがビデオおよび／または画像をキャプチャすることを可能にする。ビデオおよび／または画像は、適用例の中でも、レクリエーション用途、専門家写真撮影、監視、エクステンデッドリアリティ、および自動化のためにキャプチャされ得る。その上、カメラデバイスは、様々な効果および／または適用例のためにビデオおよび／または画像を修正および／または操作するための機能を、ますます装備している。たとえば、カメラデバイスは、キャプチャされた画像上の物体を検出すること、画像および／またはビデオ効果を生成すること、ビデオ／画像をレンダリングすることなどを行うためのビデオ／画像処理能力を装備していることがある。

【0037】

[0046] いくつかの例では、カメラは、エクステンデッドリアリティ（ＸＲ）のための電子デバイスにおいて実装され得る。ＸＲ技術は、拡張現実（ＡＲ）、仮想現実（ＶＲ）、複合現実（ＭＲ）などを含むことができる。ＸＲ技術は、ＸＲエクスペリエンスをユーザに提供するために、物理世界（たとえば、現実世界）からの現実環境と仮想環境またはコンテンツとを組み合わせることができる。ＸＲエクスペリエンスは、ユーザが、仮想コンテンツを用いて向上または拡張された現実環境または物理的環境、およびその逆のものと対話することを可能にする。ＸＲ技術は、たとえば、ヘルスケア、小売、教育、ソーシャルメディア、エンターテインメントなど、広範囲のコンテキストにおいて、機能を提供し、および／またはユーザエクスペリエンスを向上させるために実装され得る。

【0038】

[0047] 現実的なＸＲエクスペリエンスを提供するために、ＸＲ技術は、仮想コンテンツを物理世界と統合することができる。いくつかの例では、これは、納得のいく様式で仮想コンテンツを現実世界環境に留めるために、現実世界環境のマップを生成することと、現実世界環境のマップに対するユーザのＸＲデバイスの特定の姿勢を決定または計算することとを伴うことができる。姿勢情報は、仮想コンテンツを、現実世界環境のユーザの知覚される動きおよび空間時間的状態と一致させるために使用され得る。

【0039】

[0048] ＸＲデバイスと、たとえば、特に、スマートフォン、タブレット、ラップトップなど、他の電子デバイスとは、ワイヤレス能力を含むことができ、特に、ジオロケーション、マッピング、および／またはルート発見などの機能をしばしば実施することができる。いくつかの場合には、ＸＲデバイスは、ＸＲデバイスにおいてキャプチャされた追跡フレームおよびセンサー測定値（たとえば、慣性測定ユニット（ＩＭＵ）測定値など）を、モバイルデバイス（たとえば、スマートフォン）、サーバ（たとえば、エッジサーバ、クラウドサーバなど）、および／または他のデバイスなど、ＸＲデバイスに関連付けられた宛先デバイスに送ることができる。ＸＲデバイスは、ユーザによって装着されるように構成されたウェアラブルデバイスであり得る。いくつかの態様では、ＸＲデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラス、ＸＲまたはＡＲグラスなど、ユーザの頭部に装着されるように構成され得る。追跡フレームは、たとえば、ユーザの視覚の概略的な方向に、ＸＲデバイスにおけるカメラを向けること、すなわち、その方向に向くようにＸＲデバイスにおけるカメラを配置することによって、ユーザの視野に関連付けられた、ＸＲデバイスにおけるカメラによってキャプチャされた画像を含むことができる。追跡フレームは、手ジェスチャーを検出すること、手およびコントローラ追跡を実施することなどを行うために、宛先デバイス（たとえば、モバイルデバイスまたはサーバ）によって使用され得る。

【0040】

[0049] しかしながら、追跡フレームをキャプチャし、追跡フレームを宛先デバイスに送信するプロセスは、かなりの量のネットワークおよびデバイスリソースを消費することがある。たとえば、追跡フレームをキャプチャし、送信するプロセスは、ＸＲデバイスにおける電力消費を増加させることがある。その上、ＸＲデバイスからの追跡フレームは、大きいことがあり、宛先デバイス（たとえば、モバイルデバイスまたはサーバ）への（アップリンク（ＵＬ））送信のためのＵＬトラフィック要件／使用量を著しく増加させることがある。

【0041】

[0050] いくつかの場合には、手ジェスチャーを検出し、手および他の物体を追跡するために追跡フレームを使用することは、いくつかの課題および／または制限を有することがある。たとえば、追跡フレームは、手がユーザの身体の後ろにまたはユーザのポケットの中にあるときなど、手がＸＲデバイスにおけるカメラの視野（ＦＯＶ）の外側にあるとき、手追跡を可能にしないことがある。しかしながら、このシナリオでは、手ロケーションの概算推定さえ、将来の手位置を予測するのを、より円滑な手追跡を実施するのを助けることになる。

【0042】

[0051] 追跡フレームのサイズを低減することは、ＵＬエアタイム、ＸＲデバイス電力消費、ダウンリンク（ＤＬ）トラフィックとの競合、および／または他の改善を低減することがある。いくつかの例では、追跡フレームのサイズは、追跡フレームを処理し、追跡フレーム中の手の（粗い）ロケーションを推定するためにコンピュータビジョンを使用して低減され得る。この手法では、ＸＲデバイスは、（１つまたは複数の）手を含んでいる部分フレームのみを送ることによって、宛先デバイスに送られた追跡フレームのサイズを低減することができる。しかしながら、追跡フレーム中の（１つまたは複数の）手の（粗い）ロケーションを推定するためにＸＲデバイスにおいてコンピュータビジョンを実装することは、ＸＲデバイスにおける電力消費を著しく増加させることがある。

【0043】

[0052] その上、（フレームとも呼ばれる）画像をキャプチャするために電子デバイスによって実装されるカメラデバイス構成要素は、電子デバイスにおける電力消費を増加させることがある。多くの場合、モバイルデバイス（たとえば、ＸＲデバイス、インターネットプロトコル（ＩＰ）カメラ、スマートフォン、ウェアラブルデバイス、スマートホームアシスタント、タブレットコンピュータ、ラップトップコンピュータ、ＩｏＴデバイスなど）など、いくつかの電子デバイスは、他のデバイスよりも限られたバッテリー／電力能力を有し得、カメラデバイス構成要素の電力消費によって、より著しく影響を及ぼされ得る。電子デバイスにおける電力消費は、電子デバイスが追加のおよび／またはより算出集約的な動作を実施する場合、しばしば、電子デバイスのバッテリー寿命に一層大きい影響を与えることがある。たとえば、いくつかの場合には、ＸＲデバイスは、前に説明されたいくつかの動作（たとえば、手ジェスチャー検出、物体検出、手追跡、コントローラ追跡など）をオフロードするために、画像データ（たとえば、追跡フレームなど）またはセンサー測定値を宛先デバイスに送らず、むしろ、ＸＲデバイスにおいてそのような動作を実施するために画像データおよびセンサー測定値を使用し得る。そのような場合、（たとえば、そのような動作が宛先デバイスにオフロードされる実装形態に対する）ＸＲデバイスにおいて実施される追加の動作は、ＸＲデバイスにおける電力消費と、したがって、ＸＲデバイスにおけるバッテリー／電力制約／制限の影響とを増加させることがある。

【0044】

[0053] 本明細書でさらに説明されるように、いくつかの例では、電子デバイスは、カメラデバイス構成要素の不要な電力および／またはリソース使用量を低減および／または制限することによって、それの電力消費を低減することができる。電力消費のそのような低減は、電子デバイスのバッテリー寿命を増加させることができ、電子デバイスが、ＸＲデバイスであり、前に説明されたように動作を宛先デバイスにオフロードしない（または、より少ない動作をオフロードする）シナリオにおいてなど、電子デバイスの限られたバッテリー／電力能力を仮定すれば、有利であり得る。たとえば、ＸＲデバイスにおける電力消費を低減するために、ＸＲデバイスは、シーン中の（１つまたは複数の）関心物体（object of interest）がカメラデバイスによって可視であるかどうかに応じて、それらの電力消費レベルを低減し、および／または増加させるために、ＸＲデバイスにおけるカメラデバイス構成要素の設定を制御することができる。

【0045】

[0054] 例示のために、関心物体がＸＲデバイスのカメラデバイスに可視でない（たとえば、カメラデバイスの視野の外側にあり、および／または（１つまたは複数の）別の物体によって遮られるなど）場合、ＸＲデバイスは、カメラデバイスが物体の画像をキャプチャすることができない間のカメラデバイスによる不要な電力消費を回避するために、カメラデバイスをオフにするか、またはカメラデバイスの電力モードを低減することができる。関心物体が、カメラデバイスの視野内にあり（または、しきい値推定時間フレーム、近接度、および／または軌道内でカメラデバイスの視野に近づいており）、（１つまたは複数の）別の物体によって遮られない場合、ＸＲデバイスは、カメラデバイスが物体の画像をキャプチャすることを可能にする（またはより良く可能にする）ために、カメラデバイスをオンにするか、またはカメラデバイスの電力モードを増加させることができる。

【0046】

[0055] たとえば、ＸＲ、自動化、画像／ビデオ処理など、いくつかの適用例において、ＸＲデバイス（たとえば、ヘッドマウントディスプレイ、スマートグラスなど）などのデバイスによって使用されるネットワークおよび／またはデバイスリソースの量を低減するためのシステムおよび技法が、本明細書で説明される。いくつかの例では、本明細書で説明されるシステムおよび技法は、ＸＲデバイスから、モバイルデバイスまたはサーバなど、宛先デバイスへのＵＬトラフィックの量／サイズを低減することができる。たとえば、本明細書で説明されるシステムおよび技法は、ＸＲデバイスからのフル追跡フレームなしの手ジェスチャー検出ならびに／または手および物体追跡を可能にすることができる。

【0047】

[0056] いくつかの例では、ＸＲデバイスは、ユーザの少なくとも１つの手のロケーションを検出するために無線周波数（ＲＦ）検知を使用することができる。ＸＲデバイスは、ユーザの（１つまたは複数の）手の検出されたロケーションを使用して、ユーザの（１つまたは複数の）手を含んでいる部分フレーム、すなわち、キャプチャされた（フル）追跡フレームの一部のみを作成し、フル追跡フレームを送る代わりに部分フレームを宛先デバイスに送ることができる。宛先デバイスは、部分フレームを使用して、手ジェスチャーを検出し、ユーザの（１つまたは複数の）手を追跡し、および／または、ＸＲコントローラなど、シーン中の任意の他の物体を検出することができる。部分フレームは、フル追跡フレームよりも小さいことがある。したがって、フル追跡フレームの代わりに部分フレームを送ることによって、ＸＲデバイスは、宛先デバイスへのＵＬトラフィックのサイズと全体的ネットワーク使用量とを低減することができる。

【0048】

[0057] ＲＦ検知は、シーン中の空間または屋内空間など、空間のマップを生成するためにＲＦデータを使用することができる。いくつかの場合には、モノスタティック構成を使用して、ワイヤレスデバイス（たとえば、ＸＲデバイス、スマートフォンなど）は、送信および受信機能を実施することが可能であるワイヤレスインターフェースを使用してＲＦ検知データを取得することができる。いくつかの例では、ワイヤレスデバイスは、ＲＦ検知データを取得するためのＷｉ－Ｆｉレーダーを実装することができる。Ｗｉ－Ｆｉレーダーは、送信および受信機能を実施することが可能なＲＦインターフェースを実装することができる。Ｗｉ－Ｆｉレーダー（および／またはＷｉ－Ｆｉレーダーを実装するワイヤレスデバイス）は、１つまたは複数の物体のロケーション／位置を決定するために無線送信の信号強度を使用することができる。たとえば、ワイヤレスデバイスは、ＲＦ信号を送信し、周囲環境中の物体から反射する信号をキャプチャするために、（たとえば、Ｗｉ－Ｆｉレーダーの）ワイヤレスインターフェースを利用し得る。ワイヤレスインターフェースはまた、物体から反射することなしに直接送信機のアンテナから受信機のアンテナに結合された漏れ信号を受信することができる。いくつかの例では、ワイヤレスデバイスは、送信された信号の直接経路（漏れ信号）に関係するチャネル状態情報（ＣＳＩ）データと、送信された信号に対応する受信された信号の反射経路に関係するデータとの形態の、ＲＦ検知データを集め得る。いくつかの場合には、送信機能と受信機能とが異なるデバイスによって実施されるバイスタティック構成が使用され得る。たとえば、第１のデバイスは、シーン中の１つまたは複数の物体から反射するワイヤレス信号を送信することができ、第２のデバイスのワイヤレスインターフェースは、反射信号を受信し、および／または第１のデバイスから直接、信号を受信することができる。いくつかの場合には、信号は、全方向性アンテナを使用して送信された全方向性信号であり得、信号は、３６０度放射パターンにおいて送信され得る。

【0049】

[0058] ＣＳＩデータは、ワイヤレス信号が送信機から受信機にどのように伝搬するかを記述することができる。ＣＳＩデータは、距離による、散乱、フェージング、および電力減衰の複合効果を表すことができ、通信リンクのチャネルプロパティを示すことができる。収集されたＣＳＩデータは、移動している物体によってそれの周波数ダイバーシティにより誘起される、変動するマルチパス反射を反映することができる。いくつかの例では、ＣＳＩデータは、帯域幅のための周波数領域中の各トーンについてのＩ／Ｑ数を含むことができる。いくつかのＣＳＩプロパティの変化は、動きを検出すること、ロケーションの変化を推定すること、動きパターンの変化を決定することなどを行うために使用され得る。

【0050】

[0059] いくつかの例では、ＣＳＩデータは、反射信号の距離、ならびに到来角を決定または計算するために使用され得る。いくつかの場合には、ＣＳＩデータは、１つまたは複数の反射信号の１つまたは複数の経路の距離、方位角および／または仰角を決定するために使用され得る。１つまたは複数の反射信号の１つまたは複数の経路の距離、方位角、および／または仰角は、周囲環境中の１つまたは複数の物体のサイズ、形状、および／または位置を識別するために使用され得る。１つまたは複数の物体のサイズ、形状、および／または位置は、デバイスの１つまたは複数のリソース（たとえば、電力リソース、センサーリソース、プロセッサリソースなど）を制御すること、屋内マップを生成すること、１つまたは複数の物体を追跡することなどを行うために使用され得る。一例では、反射信号の距離は、漏れ信号の受信から反射信号の受信までの時間差を測定することによって決定され得る。別の例では、反射角は、反射信号を受信するためにアンテナアレイを使用することと、アンテナアレイの各要素における受信された位相の差を測定することとによって、決定され得る。

【0051】

[0060] いくつかの場合には、ＲＦ検知では、システムは、ＸＲデバイスにおける計算複雑さおよび／または電力消費を低減するために、反射を抽出し、距離が短い（たとえば、手などのいくつかの関心物体は概してＸＲデバイスに近いので、１．５ｍまたは１ｍなどのしきい値距離内にある）および／または直接経路に対して距離がより短い反射経路に焦点を当てるために、信号処理を使用することができる。ＲＦ検知は、反射を生じる物体の寸法を推定するために使用され得る。検出された物体を分類するために物体分類アルゴリズム（object classification algorithm）（たとえば、信号処理、機械学習など）が使用され得る。たとえば、物体分類アルゴリズムは、検出された物体を、手としてまたは手ではないものとして（または手以外の１つまたは複数の分類を有するものとして）分類するために使用され得る。全方向性信号が送信されるとき、ＲＦ検知は、３６０度を追跡することができ、カメラビューによって制限されない。したがって、ＲＦ検知は、カメラビューの外側の物体（たとえば、手など）を追跡するために使用され得る。いくつかの例では、ＲＦ検知は、追跡フレームなしでも物体を追跡することができ、物体のロケーションの推定を提供することができる。ＸＲデバイスは、将来の物体位置を予測するのを、および／または円滑な物体追跡を達成するのを助けるために、宛先デバイス（たとえば、スマートフォンまたはサーバ）にＲＦ検知情報を送ることができる。

【0052】

[0061] いくつかの例では、ＸＲデバイスは、宛先デバイス（たとえば、スマートフォン、サーバなど）またはＷｉ－Ｆｉレーダー信号から、ダウンリンク物理レイヤプロトコルデータユニット（ＤＬ－ＰＰＤＵ）を含むＲＦ検知フレームを受信することができる。ＸＲデバイスは、ＲＦ検知フレームからＣＳＩ情報を推定することができる。ＸＲデバイスは、ＣＳＩ情報を処理し、ＲＦ検知フレームに関連付けられたＲＦ信号の直接経路および反射経路を抽出することができる。直接経路は、見通し線（ＬＯＳ）なしでも抽出され得、物体または壁など、いくつかの障壁を通してでも検出され得る。いくつかの場合には、ＤＬ－ＰＰＤＵの直接経路は、宛先デバイス（たとえば、スマートフォンまたはサーバ）からＸＲデバイスへのものであり得る。いくつかの場合には、Ｗｉ－Ｆｉレーダー信号の直接経路は、ＸＲデバイスにおける（１つまたは複数の）Ｔｘアンテナから（１つまたは複数の）Ｒｘアンテナへのものであり得る（モノスタティック構成）。他の場合には、Ｗｉ－Ｆｉレーダー信号の直接経路は、宛先デバイスまたは別のデバイスの（１つまたは複数の）ＴｘアンテナからＸＲデバイスの（１つまたは複数の）Ｒｘアンテナへのものであり得る（バイスタティック構成）。

【0053】

[0062] いくつかの例では、ＸＲデバイスは、直接経路に対して距離がより短い（たとえば、または、１．５ｍまたは１ｍなど、しきい値距離内にある）反射経路を選択し、ＲＦ検知座標系に関して各選択された反射経路の距離、方位角および仰角を推定することができる。ＸＲデバイスは、各選択された反射経路の距離、方位角および仰角を使用して、物理的空間中の（１つまたは複数の）物体を検出し、各検出された物体の寸法を測定することができる。いくつかの例では、各選択された反射経路の距離、方位角および仰角（および／またはその角度）は、各反射経路に関連付けられた反射信号の推定飛行時間および推定到来角に基づいて決定または計算され得る。

【0054】

[0063] いくつかの態様では、ＸＲデバイスは、検出された物体を分類するために物体分類アルゴリズム（たとえば、信号処理、機械学習）を使用することができる。たとえば、ＸＲデバイスは、（１つまたは複数の）検出された物体を、身体部位（たとえば、手、指、脚、足など）、入力デバイス（たとえば、スタイラス、コントローラ、リング、グローブ、マウス、キーボード、ジョイスティック、ノブ、ボディスーツ、マットまたはトレッドミル、ボールなど）、または任意の他の物体として分類するために、物体分類アルゴリズムを使用することができる。いくつかの場合には、ＸＲデバイスは、入力デバイスなどの物体上の１つまたは複数の視覚マーカー（たとえば、視覚特徴、パターン、コード、プロパティなど）を検出し、１つまたは複数の視覚マーカーを使用して、物体分類アルゴリズムを使用して物体を分類することができる。いくつかの例では、ＸＲデバイスは、検出された物体が手であるか否かを分類するために物体分類アルゴリズムを使用することができる。ＸＲデバイスは、カメラ画像座標系をＲＦ検知座標系と整合させるためにカメラキャリブレーションを実施することができる。カメラ画像座標系は、ＸＲデバイスのカメラロケーションおよび姿勢に基づく、ＸＲデバイスにおけるカメラの視野（ＦＯＶ）からのものであり得る。いくつかの例では、ＸＲデバイスは、ＸＲデバイスの姿勢を計算するために、慣性測定ユニット（ＩＭＵ）からのデータなど、センサーデータを（他のデータを用いてまたは用いずに）使用することができる。いくつかの場合には、ＸＲデバイスは、ＸＲデバイスの姿勢を使用して、ＸＲデバイスのＦＯＶの基準座標を計算し、および／または、ＲＦ検知を使用して計算された物体の位置（たとえば、手位置、入力デバイス位置など）を改良することができる。

【0055】

[0064] ＲＦ検知座標系は、ＸＲデバイスのアンテナロケーションおよび姿勢に基づき得る。（１つまたは複数の）ＲＦ検知構成要素間の、たとえば、ＸＲデバイスにおける（１つまたは複数の）Ｒｘアンテナと、カメラと（概して、両方がＸＲデバイス上に取り付けられる）の間の固定空間関係の場合、ＸＲデバイスの姿勢は、上述の座標系を導出するときに省略され得る。ＸＲデバイスは、手として分類された検出された物体のロケーションを決定し、手のロケーションを使用して、検出された手をキャプチャする／含んでいる部分画像を生成することができる。いくつかの例では、ＸＲデバイスは、手のロケーションを使用して、カメラによってキャプチャされた手の画像をクロップして、部分画像（たとえば、手のクロップされた画像）を生成することができる。ＸＲデバイスは、部分画像をＵＬパケット中で宛先デバイスに送ることができる。宛先デバイスは、部分画像を使用して、手ジェスチャーを検出し、手を追跡し、および／または、１つまたは複数の入力デバイス（たとえば、コントローラ、スタイラス、リング、グローブ、マウス、キーボード、ジョイスティック、ノブ、ボディスーツ、マットまたはトレッドミル、ボールなど）など、他の物体を追跡することができる。

【0056】

[0065] いくつかの例では、ＸＲデバイスは、検出された手が１つまたは複数の物体によって遮られるかどうか、および／または検出された手がＸＲデバイスのカメラのＦＯＶの外側にあるかどうかを決定するために、ＲＦ検知データを使用することができる。たとえば、ＸＲデバイスは、検出された手が、カメラのＦＯＶから手を遮る、テーブルの下にあるかどうかを決定することができる。別の例として、ＸＲデバイスは、手がユーザの背中の後ろおよびカメラのＦＯＶの外側にあるかどうかを決定することができる。いくつかの場合には、手が遮られ、および／またはカメラのＦＯＶの外側にあることが決定されたとき、ＸＲデバイスは、ＸＲデバイスの電力消費を低減するようにカメラの電力設定を制御することができる。たとえば、ＸＲデバイスは、手が遮られるかまたはカメラのＦＯＶの外側にある間、カメラをオフにするかまたはカメラをより低い電力モードにすることができる。ＸＲデバイスは、手がもはや遮られないかまたはカメラのＦＯＶの外側にないと後で決定する場合、カメラを再びオンにするかまたはカメラをより高い電力モードにすることができる。いくつかの場合には、ＸＲデバイスは、ＲＦ検知を使用して（１つまたは複数の）手の移動を検出し、その移動が、（１つまたは複数の）手がカメラのＦＯＶに接近していることを示す場合、手ジェスチャーをキャプチャするために１つまたは複数の画像を撮るようにカメラを準備することができる。いくつかの場合には、手が遮られるかまたはさもなければカメラのＦＯＶの外側にあると決定されたとき、ＸＲデバイスは、ＸＲデバイスに関連付けられた物理的空間のスパースマップを生成するためにＲＦ検知データを使用することができる。

【0057】

[0066] いくつかの場合には、ＸＲデバイスは、デバイス位置データおよびデバイス配向データを決定し、記憶し得る。いくつかの事例では、ＸＲデバイス位置データおよびデバイス配向データは、デバイスが動いている場合、（ＣＳＩデータを使用して決定された）反射信号の距離および反射角のための計算を調整するために使用され得る。たとえば、位置および配向データは、１つまたは複数の反射信号をそれらの対応する送信された信号と相関させるために使用され得る。いくつかの例では、デバイス位置またはロケーションデータは、ラウンドトリップ時間（ＲＴＴ）、受動測位、到来角（ＡｏＡ）、受信信号強度インジケータ（ＲＳＳＩ）を測定する技法を使用して、ＣＳＩデータを使用して、任意の他の好適な技法を使用して、またはそれらの任意の組合せで、集められ得る。デバイス配向データは、１つまたは複数のジャイロスコープ、加速度計、コンパス、任意の他の好適なセンサー、またはそれらの任意の組合せなど、ＸＲデバイス上の電子センサーから取得され得る。

【0058】

[0067] 本明細書で説明される技法の様々な態様が、図に関して以下で説明される。図１は、例示的な通信システム１００のブロック図である。いくつかの態様によれば、通信システム１００は、Ｗｉ－Ｆｉネットワークなど、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）１０８を含むことができる。たとえば、ＷＬＡＮ１０８は、（ＩＥＥＥ８０２．１１－２０１６仕様、または限定はしないが、８０２．１１ａｙ、８０２．１１ａｘ、８０２．１１ａｚ、８０２．１１ｂａおよび８０２．１１ｂｅを含む、それの改訂によって定義されるものなどの）ＩＥＥＥ８０２．１１ワイヤレス通信プロトコル規格ファミリーのうちの少なくとも１つを実装するネットワークであり得る。

【0059】

[0068] ＷＬＡＮ１０８は、アクセスポイント（ＡＰ）１０２およびユーザ機器（ＵＥ）１０４ａ、１０４ｂ、１０４ｃ、および１０４ｄ（まとめて「ＵＥ１０４」）など、多数のワイヤレス通信デバイスを含み得る。１つのＡＰ１０２のみが示されているが、ＷＬＡＮ１０８は、複数のＡＰ１０２をも含むことができる。概して、ＵＥは、ワイヤレス通信ネットワーク上で通信するためにユーザによって使用される任意のワイヤレス通信デバイス（たとえば、モバイルフォン、ルータ、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルデバイス（たとえば、スマートウォッチ、グラス、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセットまたはグラス、あるいは複合現実（ＭＲ）ヘッドセットなどのエクステンデッドリアリティ（ＸＲ）デバイスなど）、車両（たとえば、自動車、オートバイ、自転車など）、モノのインターネット（ＩｏＴ）デバイスなど）であり得る。ＵＥは、モバイルであり得るかまたは（たとえば、いくつかの時間において）固定であり得、無線アクセスネットワーク（ＲＡＮ）と通信し得る。本明細書で使用される「ＵＥ」という用語は、「アクセス端末」または「ＡＴ」、「ユーザデバイス」、「ユーザ端末」またはＵＴ、「クライアントデバイス」、「ワイヤレスデバイス」、「加入者デバイス」、「加入者端末」、「加入者局」、「モバイルデバイス」、「モバイル端末」、「移動局」、あるいはそれらの変形形態と互換的に呼ばれることがある。概して、ＵＥは、ＲＡＮを介してコアネットワークと通信することができ、コアネットワークを通して、ＵＥは、インターネットなどの外部ネットワークおよび他のＵＥと接続され得る。ＵＥはまた、他のＵＥおよび／または本明細書で説明される他のデバイスと通信することができる。

【0060】

[0069] ＡＰ１０２とＵＥ１０４の関連付けられたセットとは、それぞれのＡＰ１０２によって管理される、基本サービスセット（ＢＳＳ）と呼ばれることがある。ＢＳＳは、サービスセット識別子（ＳＳＩＤ）によってユーザに、ならびに、ＡＰ１０２の媒体アクセス制御（ＭＡＣ）アドレスであり得る基本サービスセット識別子（ＢＳＳＩＤ）によって他のデバイスに、識別され得る。ＡＰ１０２は、ＡＰ１０２のワイヤレス範囲内の任意のＵＥ１０４が、ＡＰ１０２とのそれぞれの（以下で「Ｗｉ－Ｆｉリンク」とも呼ばれる）通信リンク１０６を確立するために、またはＡＰ１０２との通信リンク１０６を維持するために、ＡＰ１０２に「関連付ける」または再び関連付けることを可能にするために、ＢＳＳＩＤを含むビーコンフレーム（「ビーコン」）を定期的にブロードキャストする。たとえば、ビーコンは、それぞれのＡＰ１０２によって使用される１次チャネルの識別情報、ならびにＡＰ１０２とのタイミング同期を確立または維持するためのタイミング同期機能を含むことができる。ＡＰ１０２は、それぞれの通信リンク１０６を介してＷＬＡＮにおける様々なＵＥ１０４に外部ネットワークへのアクセスを提供し得る。

【0061】

[0070] ＡＰ１０２との通信リンク１０６を確立するために、ＵＥ１０４の各々は、１つまたは複数の周波数帯域（たとえば、２．４ＧＨｚ、５ＧＨｚ、６ＧＨｚまたは６０ＧＨｚ帯域）における周波数チャネル上でパッシブまたはアクティブスキャニング動作（「スキャン」）を実施するように構成される。パッシブスキャニングを実施するために、ＵＥ１０４はビーコンを聴取し、ビーコンは、（１つの時間単位（ＴＵ）が１０２４マイクロ秒（μｓ）に等しいことがあるＴＵで測定される）ターゲットビーコン送信時間（ＴＢＴＴ）と呼ばれる周期的時間間隔において、それぞれのＡＰ１０２によって送信される。アクティブスキャニングを実施するために、ＵＥ１０４は、プローブ要求を生成し、スキャンされるべき各チャネル上で連続的に送信し、ＡＰ１０２からのプローブ応答を聴取する。各ＵＥ１０４は、パッシブまたはアクティブスキャンを通して取得されたスキャニング情報に基づいて関連付けるべきＡＰ１０２を識別または選択し、選択されたＡＰ１０２との通信リンク１０６を確立するために認証および関連付け動作を実施するように構成され得る。ＡＰ１０２は、関連付け動作の最盛時に関連付け識別子（ＡＩＤ）をＵＥ１０４に割り当て、ＡＰ１０２はＵＥ１０４を追跡するためにＡＩＤを使用する。

【0062】

[0071] ワイヤレスネットワークの遍在性が増加していることを仮定すれば、ＵＥ１０４は、ＵＥの範囲内の多くのＢＳＳのうちの１つを選択するか、または複数の接続されたＢＳＳを含む拡張サービスセット（ＥＳＳ）を一緒に形成する複数のＡＰ１０２の中から選択するための機会を有し得る。ＷＬＡＮ１０８に関連付けられた拡張ネットワーク局は、複数のＡＰ１０２がそのようなＥＳＳにおいて接続されることを可能にし得るワイヤードまたはワイヤレス配信システムに接続され得る。したがって、ＵＥ１０４は、２つ以上のＡＰ１０２によってカバーされ得、異なる送信のために異なる時間に異なるＡＰ１０２に関連付けることができる。さらに、ＡＰ１０２との関連付けの後に、ＵＥ１０４はまた、関連付けるべきより好適なＡＰ１０２を見つけるために、それの周囲を定期的にスキャンするように構成され得る。たとえば、それの関連付けられたＡＰ１０２に対して移動しているＵＥ１０４は、より大きい受信信号強度インジケータ（ＲＳＳＩ）または低減されたトラフィック負荷など、より望ましいネットワーク特性を有する別のＡＰ１０２を見つけるために、「ローミング」スキャンを実施し得る。

【0063】

[0072] いくつかの場合には、ＵＥ１０４は、ＡＰ１０２またはＵＥ１０４自体以外の他の機器なしにネットワークを形成し得る。そのようなネットワークの一例は、アドホックネットワーク（またはワイヤレスアドホックネットワーク）である。アドホックネットワークは、代替として、メッシュネットワークまたはピアツーピア（Ｐ２Ｐ）ネットワークと呼ばれることがある。いくつかの場合には、アドホックネットワークは、ＷＬＡＮ１０８など、より大きいワイヤレスネットワーク内に実装され得る。そのような実装形態では、ＵＥ１０４は、通信リンク１０６を使用してＡＰ１０２を通して互いに通信することが可能であり得るが、ＵＥ１０４はまた、直接ワイヤレスリンク１１０を介して互いに直接通信することができる。さらに、２つのＵＥ１０４は、「サイドリンク」と呼ばれる１つまたは複数のデバイスツーデバイス（Ｄ２Ｄ）ピアツーピア（Ｐ２Ｐ）リンクを介して通信し得る。図１の例では、ＵＥ１０４ｂは、ＵＥ１０４ａとの直接ワイヤレスリンク１１０（たとえば、Ｄ２Ｄ Ｐ２Ｐリンク）を有し、ＵＥ１０４ａは、１つまたは複数の基地局１６０に接続され、ＵＥ１０４ｂがセルラー接続性を間接的に取得することを可能にする。単一の基地局１６０が図１に示されているが、通信システム１００は、ＵＥ１０４と通信している複数の基地局を含むことができる。一例では、直接ワイヤレスリンク１１０は、ＬＴＥ Ｄｉｒｅｃｔ（ＬＴＥ－Ｄ）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ（登録商標）（ＷｉＦｉ－Ｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢなど、任意のよく知られているＤ２Ｄ ＲＡＴを用いてサポートされ得る。

【0064】

[0073] ＡＰ１０２およびＵＥ１０４は、（ＩＥＥＥ８０２．１１－２０１６仕様、または限定はしないが、８０２．１１ａｙ、８０２．１１ａｘ、８０２．１１ａｚ、８０２．１１ｂａおよび８０２．１１ｂｅを含む、それの改訂によって定義されるものなどの）ＩＥＥＥ８０２．１１ワイヤレス通信プロトコル規格ファミリーに従って、機能し、（それぞれの通信リンク１０６を介して）通信し得る。これらの規格は、ＰＨＹレイヤおよび媒体アクセス制御（ＭＡＣ）レイヤのためのＷＬＡＮ無線およびベースバンドプロトコルを定義する。ＡＰ１０２およびＵＥ１０４は、ＰＨＹプロトコルデータユニット（ＰＰＤＵ）（または物理レイヤコンバージェンスプロトコル（ＰＬＣＰ）ＰＤＵ）の形態で、互いとの間でワイヤレス通信（以下「Ｗｉ－Ｆｉ通信」とも呼ばれる）を送信および受信する。ＷＬＡＮ１０８におけるＡＰ１０２およびＵＥ１０４は、無認可スペクトル上でＰＰＤＵを送信し得、無認可スペクトルは、２．４ＧＨｚ帯域、５ＧＨｚ帯域、６０ＧＨｚ帯域、３．６ＧＨｚ帯域、および９００ＭＨｚ帯域など、Ｗｉ－Ｆｉ技術によって従来使用される周波数帯域を含むスペクトルの一部分であり得る。本明細書で説明されるＡＰ１０２およびＵＥ１０４のいくつかの実装形態はまた、認可通信と無認可通信の両方をサポートし得る、６ＧＨｚ帯域など、他の周波数帯域において通信し得る。ＡＰ１０２およびＵＥ１０４はまた、共有認可周波数帯域などの他の周波数帯域上で通信するように構成され得、ここで、複数の事業者が同じまたは重複する１つまたは複数の周波数帯域において動作するための認可を有し得る。

【0065】

[0074] 周波数帯域の各々は、複数のサブバンドまたは周波数チャネルを含み得る。たとえば、ＩＥＥＥ８０２．１１ｎ、８０２．１１ａｃ、８０２．１１ａｘおよび８０２．１１ｂｅ規格改訂に準拠するＰＰＤＵは、その各々が複数の２０ＭＨｚチャネルに分割される２．４、５ＧＨｚまたは６ＧＨｚ帯域上で送信され得る。したがって、これらのＰＰＤＵは、２０ＭＨｚの最小帯域幅を有する物理チャネル上で送信されるが、より大きいチャネルがチャネルボンディングを通して形成され得る。たとえば、ＰＰＤＵは、複数の２０ＭＨｚチャネルを一緒にボンディングすることによって、４０ＭＨｚ、８０ＭＨｚ、１６０ＭＨｚまたは２００ＭＨｚの帯域幅を有する物理チャネル上で送信され得る。

【0066】

[0075] いくつかの例では、通信システム１００は、１つまたは複数の基地局１６０を含むことができる。１つまたは複数の基地局１６０は、マクロセル基地局（高電力セルラー基地局）および／またはスモールセル基地局（低電力セルラー基地局）を含み得る。一態様では、マクロセル基地局は、４Ｇ／ＬＴＥ（登録商標）ネットワークに対応するｅＮＢおよび／またはｎｇ－ｅＮＢ、または５Ｇ／ＮＲネットワークに対応するｇＮＢ、あるいは両方の組合せを含み得、スモールセル基地局は、フェムトセル、ピコセル、マイクロセルなどを含み得る。

【0067】

[0076] １つまたは複数の基地局１６０は、集合的にＲＡＮを形成し、バックホールリンク１２２を通してコアネットワーク１７０（たとえば、発展型パケットコア（ＥＰＣ）または５Ｇコア（５ＧＣ））とインターフェースし、コアネットワーク１７０を通して（コアネットワーク１７０の一部であり得るか、またはコアネットワーク１７０の外部にあり得る）１つまたは複数のサーバ１７２へとインターフェースし得る。他の機能に加えて、１つまたは複数の基地局１６０は、ユーザデータを転送することと、無線チャネル暗号化および解読と、完全性保護と、ヘッダ圧縮と、モビリティ制御機能（たとえば、ハンドオーバ、デュアル接続性）と、セル間干渉協調と、接続セットアップおよび解放と、負荷分散と、非アクセス層（ＮＡＳ）メッセージのための分配と、ＮＡＳノード選択と、同期と、ＲＡＮ共有と、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）と、加入者および機器トレースと、ＲＡＮ情報管理（ＲＩＭ）と、ページングと、測位と、警告メッセージの配信とのうちの１つまたは複数に関係する機能を実施し得る。

【0068】

[0077] １つまたは複数の基地局１６０は、通信リンク１２０を介して、ＵＥ１０４ａなどのＵＥとワイヤレス通信し得る。１つまたは複数の基地局１６０とＵＥ１０４との間の通信リンク１２０は、ＵＥ（たとえば、ＵＥ１０４ａ、１０４ｂ、１０４ｃ、および／または１０４ｄ）から基地局１６０への（逆方向リンクとも呼ばれる）アップリンク送信、および／または基地局１６０からＵＥ１０４のうちの１つまたは複数への（順方向リンクとも呼ばれる）ダウンリンク送信を含み得る。通信リンク１２０は、空間多重化、ビームフォーミング、および／または送信ダイバーシティを含む、ＭＩＭＯアンテナ技術を使用し得る。通信リンク１２０は、１つまたは複数のキャリア周波数を通したものであり得る。

【0069】

[0078] 通信システム１００中のＵＥ１０４の各々は、屋内マップを生成するためのＲＦ検知機能を実施するように構成され得る。ＲＦ検知機能は、ＲＦ信号を同時に送信および受信することが可能であるＵＥ１０４中に存在するＲＦインターフェースのいずれかを使用して実装され得る。ＵＥ１０４は、通信システム１００を利用することによって、屋内マッピングに関係するデータ（たとえば、ＲＦ検知データ、部分マップデータ、ロケーションデータ、配向データなど）を転送することができる。

【0070】

[0079] いくつかの例では、ＵＥ１０４は、１つまたは複数のサービスおよび／または機能の一部として、サーバ１７２など、１つまたは複数のサーバと通信することができる。たとえば、ＵＥ１０４は、ＸＲエクスペリエンスの一部としてサーバ１７２と通信することができる。サーバ１７２は、たとえば、追跡、マッピング、レンダリングなど、１つまたは複数の機能を支援することができる。サーバ１７２との通信は、基地局１６０またはＡＰ１０２との通信リンクを利用することによってＵＥ１０４によってアクセスされ得るコアネットワーク１７０を介して行われ得る。ＡＰ１０２は、通信リンク１１２を介して、サーバ１７２を含むコアネットワークにアクセスすることができる。

【0071】

[0080] 図２は、ユーザデバイス２１０の例示的なコンピューティングシステム２２０を示す図である。いくつかの例では、ユーザデバイス２１０は例示的なＵＥであり得る。たとえば、ユーザデバイス２１０は、ワイヤレス通信ネットワーク上で通信するためにユーザによって使用されるモバイルフォン、ルータ、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルデバイス（たとえば、スマートウォッチ、グラス、ＸＲデバイスなど）、モノのインターネット（ＩｏＴ）デバイス、および／または別のデバイスを含むことができる。

【0072】

[0081] コンピューティングシステム２２０は、バス２３８を介して電気的にまたは通信可能に結合され得る（または、適宜に、他の方法で通信していることがある）ソフトウェアおよびハードウェア構成要素を含む。たとえば、コンピューティングシステム２２０は、１つまたは複数のプロセッサ２３４を含むことができる。１つまたは複数のプロセッサ２３４は、１つまたは複数の中央処理ユニット（ＣＰＵ）、画像信号プロセッサ（ＩＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アプリケーションプロセッサ（ＡＰ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、視覚処理ユニット（ＶＰＵ）、ニューラルネットワーク信号プロセッサ（ＮＳＰ）、マイクロコントローラ、専用ハードウェア、それらの任意の組合せ、および／あるいは他の処理デバイスまたはシステムを含むことができる。バス２３８は、コア間でおよび／または１つまたは複数のメモリデバイス２３６と通信するために１つまたは複数のプロセッサ２３４によって使用され得る。

【0073】

[0082] コンピューティングシステム２２０はまた、１つまたは複数のメモリデバイス２３６、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）２３２、１つまたは複数の加入者識別モジュール（ＳＩＭ）２２４、１つまたは複数のモデム２２６、１つまたは複数のワイヤレストランシーバ２２８、１つまたは複数のアンテナ２４０、１つまたは複数の入力デバイス２２２（たとえば、カメラ、マウス、キーボード、タッチセンシティブスクリーン、タッチパッド、キーパッド、マイクロフォンなど）、および／または１つまたは複数の出力デバイス２３０（たとえば、ディスプレイ、スピーカー、プリンタなど）を含み得る。

【0074】

[0083] １つまたは複数のワイヤレストランシーバ２２８は、他のユーザデバイス、ネットワークデバイス（たとえば、ｅＮＢおよび／またはｇＮＢなどの基地局、ルータなどのＷｉ－Ｆｉアクセスポイント（ＡＰ）、範囲拡張器など）、クラウドネットワークなど、１つまたは複数の他のデバイスから、アンテナ２４０を介してワイヤレス信号（たとえば、信号２４２）を受信することができる。いくつかの例では、コンピューティングシステム２２０は、同時送信および受信機能を容易にすることができる複数のアンテナまたはアンテナアレイを含むことができる。いくつかの場合には、アンテナ２４０は、ＲＦ信号がすべての方向から受信され、すべての方向において送信され得るように、全方向性アンテナであり得る。ワイヤレス信号２４２は、ワイヤレスネットワークを介して送信され得る。ワイヤレスネットワークは、セルラーまたは電気通信ネットワーク（たとえば、３Ｇ、４Ｇ、５Ｇなど）、ワイヤレスローカルエリアネットワーク（たとえば、Ｗｉ－Ｆｉネットワーク）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、および／あるいは他のネットワークなど、任意のワイヤレスネットワークであり得る。

【0075】

[0084] いくつかの例では、１つまたは複数のワイヤレストランシーバ２２８は、構成要素の中でも、増幅器、信号ダウンコンバージョンのための（信号乗算器とも呼ばれる）ミキサ、ミキサに信号を提供する（発振器とも呼ばれる）周波数シンセサイザ、ベースバンドフィルタ、アナログデジタル変換器（ＡＤＣ）、１つまたは複数の電力増幅器など、１つまたは複数の構成要素を含む、ＲＦフロントエンドを含み得る。ＲＦフロントエンドは、概して、ワイヤレス信号２４２の選択およびベースバンドまたは中間周波数への変換を扱うことができ、ＲＦ信号をデジタル領域に変換することができる。

【0076】

[0085] いくつかの場合には、コンピューティングシステム２２０は、１つまたは複数のワイヤレストランシーバ２２８を使用して送信および／または受信されたデータを符号化および／または復号するように構成されたコーディング－復号デバイス（またはコーデック）を含むことができる。いくつかの場合には、コンピューティングシステム２２０は、１つまたは複数のワイヤレストランシーバ２２８によって送信および／または受信されたデータを（たとえば、ＡＥＳおよび／またはＤＥＳ規格に従って）暗号化および／または解読するように構成された暗号化－解読デバイスまたは構成要素を含むことができる。

【0077】

[0086] １つまたは複数のＳＩＭ２２４は、各々、ユーザデバイス２１０のユーザに割り当てられた国際モバイル加入者識別情報（ＩＭＳＩ）番号および関係する鍵をセキュアに記憶することができる。ＩＭＳＩおよび鍵は、１つまたは複数のＳＩＭ２２４に関連付けられたネットワークサービスプロバイダまたは事業者によって提供されるネットワークにアクセスするとき、加入者を識別し、認証するために使用され得る。１つまたは複数のモデム２２６は、１つまたは複数のワイヤレストランシーバ２２８を使用する送信のための情報を符号化するために、１つまたは複数の信号を変調することができる。１つまたは複数のモデム２２６はまた、送信された情報を復号するために、１つまたは複数のワイヤレストランシーバ２２８によって受信された信号を復調することができる。いくつかの例では、１つまたは複数のモデム２２６は、Ｗｉ－Ｆｉモデム、４Ｇ（またはＬＴＥ）モデム、５Ｇ（またはＮＲ）モデム、および／または他のタイプのモデムを含むことができる。１つまたは複数のモデム２２６および１つまたは複数のワイヤレストランシーバ２２８は、１つまたは複数のＳＩＭ２２４のためのデータを通信するために使用され得る。

【0078】

[0087] コンピューティングシステム２２０はまた、限定はしないが、ローカルおよび／またはネットワークアクセス可能記憶域、ディスクドライブ、ドライブアレイ、光記憶デバイス、プログラマブル、フラッシュ更新可能などであり得るＲＡＭおよび／またはＲＯＭなどの固体記憶デバイスを含むことができる、１つまたは複数の非一時的機械可読記憶媒体または記憶デバイス（たとえば、１つまたは複数のメモリデバイス２３６）を含むことができる（および／またはそれらと通信していることがある）。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータ記憶域を実装するように構成され得る。

【0079】

[0088] いくつかの例では、機能は、（１つまたは複数の）メモリデバイス２３６に１つまたは複数のコンピュータプログラム製品（たとえば、命令またはコード）として記憶され、１つまたは複数のプロセッサ２３４および／または１つまたは複数のＤＳＰ２３２によって実行され得る。コンピューティングシステム２２０はまた、たとえば、オペレーティングシステム、デバイスドライバ、実行可能ライブラリ、ならびに／あるいは、様々な実施形態によって提供される機能を実装するコンピュータプログラムを含み得、および／または本明細書で説明されるように方法を実装しおよび／またはシステムを構成するように設計され得る、１つまたは複数のアプリケーションプログラムなど、他のコードを含む、（たとえば、１つまたは複数のメモリデバイス２３６内に位置する）ソフトウェア要素を含むことができる。

【0080】

[0089] 上述のように、無線周波数（ＲＦ）検知を使用するＸＲ最適化のための（たとえば、ＸＲ動作／機能、デバイス／リソース、設定、能力などを最適化するための）システムおよび技法が、本明細書で説明される。図３は、本明細書で説明されるように１つまたは複数のＸＲ最適化を実施するために、物体３０２を検出するためにＲＦ検知技法を利用するワイヤレスデバイス３００の一例を示す図である。いくつかの例では、ワイヤレスデバイス３００は、ＸＲデバイス（たとえば、ＨＭＤ、スマートグラスなど）、モバイルフォン、ワイヤレスアクセスポイント、または少なくとも１つのＲＦインターフェースを含む何らかの他のデバイスであり得る。

【0081】

[0090] いくつかの態様では、ワイヤレスデバイス３００は、ＲＦ信号を送信するための１つまたは複数の構成要素を含むことができる。ワイヤレスデバイス３００は、（たとえば、示されていないマイクロプロセッサから）デジタル信号または波形を受信し、デジタル信号をアナログ波形に変換することが可能であるデジタルアナログ変換器（ＤＡＣ）３０４を含むことができる。ＤＡＣ３０４の出力であるアナログ信号は、ＲＦ送信機３０６に提供され得る。ＲＦ送信機３０６は、Ｗｉ－Ｆｉ送信機、５Ｇ／ＮＲ送信機、Ｂｌｕｅｔｏｏｔｈ（登録商標）送信機、またはＲＦ信号を送信することが可能な任意の他の送信機であり得る。

【0082】

[0091] ＲＦ送信機３０６は、ＴＸアンテナ３１２など、１つまたは複数の送信アンテナに結合され得る。いくつかの例では、ＴＸアンテナ３１２は、すべての方向においてＲＦ信号を送信することが可能である全方向性アンテナであり得る。たとえば、ＴＸアンテナ３１２は、３６０度放射パターンにおいてＷｉ－Ｆｉ信号（たとえば、２．４ＧＨｚ、５ＧＨｚ、６ＧＨｚなど）を放射することができる全方向性Ｗｉ－Ｆｉアンテナであり得る。別の例では、ＴＸアンテナ３１２は、特定の方向においてＲＦ信号を送信する方向性アンテナであり得る。

【0083】

[0092] いくつかの例では、ワイヤレスデバイス３００は、ＲＦ信号を受信するための１つまたは複数の構成要素をも含むことができる。たとえば、ワイヤレスデバイス３００における受信機ラインアップは、ＲＸアンテナ３１４など、１つまたは複数の受信アンテナを含むことができる。いくつかの例では、ＲＸアンテナ３１４は、複数の方向からＲＦ信号を受信することが可能な全方向性アンテナであり得る。他の例では、ＲＸアンテナ３１４は、特定の方向から信号を受信するように構成された方向性アンテナであり得る。さらなる例では、ＴＸアンテナ３１２とＲＸアンテナ３１４の両方が、アンテナアレイとして構成された複数のアンテナ（たとえば、要素）を含むことができる。

【0084】

[0093] ワイヤレスデバイス３００は、ＲＸアンテナ３１４に結合されたＲＦ受信機３１０をも含むことができる。ＲＦ受信機３１０は、Ｗｉ－Ｆｉ信号、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号、５Ｇ／ＮＲ信号、または任意の他のＲＦ信号など、ＲＦ波形を受信するための１つまたは複数のハードウェア構成要素を含むことができる。ＲＦ受信機３１０の出力は、アナログデジタル変換器（ＡＤＣ）３０８に結合され得る。ＡＤＣ３０８は、受信されたアナログＲＦ波形を、（示されていない）デジタル信号プロセッサなどのプロセッサに提供され得るデジタル波形に変換するように構成され得る。

【0085】

[0094] 一例では、ワイヤレスデバイス３００は、ＴＸアンテナ３１２からのＴＸ波形３１６を送信することによってＲＦ検知技法を実装することができる。ＴＸ波形３１６は単一の線として示されているが、いくつかの例では、ＴＸ波形３１６は、ＴＸアンテナ３１２によって（たとえば、ビームフォーミングを介して）すべての方向（たとえば、３６０度）または複数の方向において送信され得る。一例では、ＴＸ波形３１６は、ワイヤレスデバイス３００においてＷｉ－Ｆｉ送信機によって送信されるＷｉ－Ｆｉ波形であり得る。いくつかの例では、ＴＸ波形３１６は、完全な、またはほぼ完全な自己相関特性を有するシーケンスを有するように実装され得る。たとえば、ＴＸ波形３１６は、シングルキャリアＺａｄｏｆｆシーケンスを含むことができるか、または、直交周波数分割多重（ＯＦＤＭ）ロングトレーニングフィールド（ＬＴＦ）シンボルと同様であるシンボルを含むことができる。

【0086】

[0095] いくつかの場合には、ワイヤレスデバイス３００は、送信機能と受信機能とをコンカレントに実施することによってＲＦ検知技法を実装することができる。たとえば、ワイヤレスデバイス３００は、ワイヤレスデバイス３００が、ＲＦ送信機３０６がＴＸ波形３１６を送信することを可能にするのと同じ時間においてまたはその近くで、それのＲＦ受信機３１０が受信することを可能にすることができる。いくつかの例では、ＴＸ波形３１６中に含まれるシーケンスまたはパターンの送信は、シーケンスがある回数またはある持続時間の間送信されるように、連続的に繰り返され得る。いくつかの例では、ＴＸ波形３１６の送信においてパターンを繰り返すことは、ＲＦ送信機３０６の後にＲＦ受信機３１０が可能にされる場合に反射信号の受信を逃すことを回避するために使用され得る。いくつかの例では、ＴＸ波形３１６は、２回またはそれ以上送信されるシーケンス長Ｌを有するシーケンスを含むことができ、これは、情報を逃すことなしにシーケンス全体に対応する反射を受信するために、Ｌよりも小さいかまたはそれに等しい時間においてＲＦ受信機３１０が可能にされることを可能にすることができる。

【0087】

[0096] 同時送信および受信機能を実装することによって、ワイヤレスデバイス３００は、ＴＸ波形３１６に対応する信号を受信することができる。たとえば、ワイヤレスデバイス３００は、物体３０２から反射されたＲＸ波形３１８など、ＴＸ波形３１６の範囲内にある物体から反射された信号を受信することができる。ワイヤレスデバイス３００は、物体から反射することなしに直接ＴＸアンテナ３１２からＲＸアンテナ３１４に結合された漏れ信号（たとえば、ＴＸ漏れ信号３２０）を受信することができる。いくつかの場合には、ＲＸ波形３１８は、ＴＸ波形３１６中に含まれるシーケンスの複数のコピーに対応する複数のシーケンスを含むことができる。いくつかの例では、ワイヤレスデバイス３００は、信号対雑音比（ＳＮＲ）を改善するために、ＲＦ受信機３１０によって受信された複数のシーケンスを組み合わせることができる。

【0088】

[0097] 図３ではモノスタティック構成として示されているが、本開示はモノスタティック構成に限定されない。いくつかの例では、ＴＸ波形３１６は、宛先デバイスなど、空間的に分離された送信デバイスにおいて提供される対応する送信チェーン（ＤＡＣ、ＲＦ ＴＸ、（１つまたは複数の）アンテナ）によって送信され得る。たとえば、ワイヤレスデバイス３００の測位プロセスからの、ワイヤレスデバイス３００および別個の送信デバイスの相対位置および／または配向に関する情報は、本開示によるＲＦ検知技法を実装するために、ワイヤレスデバイス３００において決定され、および／またはワイヤレスデバイス３００に通信され得る。

【0089】

[0098] いくつかの例では、ワイヤレスデバイス３００は、ＴＸ波形３１６に対応する受信された信号の各々に関連付けられたＲＦ検知データを取得することによって、ＲＦ検知技法を実装することができる。いくつかの例では、ＲＦ検知データは、ＴＸ波形３１６の直接経路（たとえば、漏れ信号３２０または見通し線経路）に関係するチャネル状態情報（ＣＳＩ）データと、ＴＸ波形３１６に対応する反射経路（たとえば、ＲＸ波形３１８）に関係するデータとを含むことができる。

【0090】

[0099] いくつかの場合には、ＲＦ検知データ（たとえば、ＣＳＩデータ）は、ＲＦ信号（たとえば、ＴＸ波形３１６）がＲＦ送信機３０６からＲＦ受信機３１０に伝搬する様式を決定するために使用され得る情報を含むことができる。ＲＦ検知データは、距離による、散乱、フェージング、および電力減衰、またはそれらの任意の組合せによる送信されたＲＦ信号に対する効果に対応するデータを含むことができる。いくつかの例では、ＲＦ検知データは、特定の帯域幅上の周波数領域中の各トーンに対応する虚数データおよび実数データ（たとえば、Ｉ／Ｑ成分）を含むことができる。

【0091】

[00100] いくつかの例では、ＲＦ検知データは、ＲＸ波形３１８など、反射波形に対応する距離および到来角を決定（たとえば、計算）するために使用され得る。いくつかの例では、ＲＦ検知データは、動きを検出すること、ロケーションを決定すること、ロケーションまたは動きパターンの変化を検出すること、チャネル推定を取得すること、反射波形の反射経路の特性（たとえば、仰角、方位角、距離など）を決定すること、あるいはそれらの任意の組合せを行うために使用され得る。いくつかの場合には、反射信号の距離および到来角は、周囲環境中の物体（たとえば、物体３０２）のサイズ、形状、および／または位置を識別するために使用され得る。いくつかの場合には、ＲＦ検知座標系に関する反射信号の反射経路の距離、方位角、および／または仰角は、周囲環境中の物体（たとえば、物体３０２）の寸法（たとえば、形状、サイズなど）および／または位置を決定するために使用され得る。いくつかの場合には、ワイヤレスデバイス３００は、（１つまたは複数の）カメラデバイスのカメラ画像座標系をＲＦ検知座標系と整合させるためにカメラキャリブレーションを実施することができる。いくつかの例では、カメラ画像座標系は、ワイヤレスデバイス３００における（１つまたは複数の）カメラデバイスのＦＯＶからのものであり得、（１つまたは複数の）カメラデバイスのロケーションとワイヤレスデバイス３００の姿勢とに基づき得る。いくつかの例では、ワイヤレスデバイス３００は、ワイヤレスデバイス３００の姿勢を計算するために、ＩＭＵデータなどのセンサーデータを（他のデータを用いてまたは用いずに）使用することができる。いくつかの例では、ワイヤレスデバイス３００は、ワイヤレスデバイス３００のＦＯＶの基準座標を計算し、および／または、ＲＦ検知を使用して計算された物体の位置（たとえば、手位置、入力デバイス位置など）を改良するために、ＸＲデバイスの姿勢を使用することができる。

【0092】

[00101] いくつかの例では、物体の寸法および／または位置は、物体がワイヤレスデバイス３００の画像キャプチャデバイス（たとえば、カメラデバイス、画像センサーなど）に可視である（たとえば、ＦＯＶ内にある、遮られないなど）かどうかを決定するために使用され得る。いくつかの場合には、物体が画像キャプチャデバイスに可視でない場合、ワイヤレスデバイス３００は、画像キャプチャデバイスをオフにするかまたは（たとえば、より低い電力モードに）電力ダウンすることができる。ワイヤレスデバイス３００は、物体（または別の関心物体）が画像キャプチャデバイスに可視である／可視になるまで、オフにされたまたは電力ダウンされた画像キャプチャデバイスを維持することができる。このようにして、画像キャプチャデバイスは、画像キャプチャデバイスが（１つまたは複数の）関心物体の画像をキャプチャすることができない（１つまたは複数の）期間中に、追加の電力を消費しない（またはより少ない電力を消費する）。関心物体は、たとえば、ユーザの手、入力デバイス（たとえば、スタイラス、コントローラ、グローブなど）などであり得る。他の例では、ワイヤレスデバイス３００がＩＳＰ（あるいは任意の他のプロセッサまたはデバイスリソース）よりも多くの画像センサーを含み、物体が画像キャプチャデバイスに可視でない場合、ワイヤレスデバイス３００は、どの画像センサーを使用（たとえば、アクティブ化、利用など）すべきか、および／あるいは、どの画像センサーを専用化または特定のＩＳＰ（あるいは任意の他のプロセッサまたはデバイスリソース）と共有すべきかを、インテリジェントに決定することができる。いくつかの場合には、これは、すべての画像センサーを常に使用すること（たとえば、すべての画像センサーを常にオン／アクティブのまままたは電力アップされたままにすること）とは対照的に、画像センサーのあるサブセットをインテリジェントに使用することによって、電力および／または他のコンピューティングリソースを低減することができる。

【0093】

[00102] いくつかの場合には、ワイヤレスデバイス３００は、信号処理、機械学習アルゴリズム、任意の他の好適な技法、またはそれらの任意の組合せを使用して、反射波形に対応する距離および到来角（たとえば、ＲＸ波形３１８に対応する距離および到来角）を決定（たとえば、計算）することができる。他の例では、ワイヤレスデバイス３００は、ＲＸ波形３１８または他の反射波形に対応する距離および到来角を決定する（たとえば、決定するために計算を実施する）ことができる、サーバ（たとえば、サーバ１７２）などの別のコンピューティングデバイスに、ＲＦ検知データを送ることができる。

【0094】

[00103] いくつかの例では、ＲＸ波形３１８の距離は、漏れ信号３２０の受信から反射信号の受信までの時間差を測定することによって決定され得る。たとえば、ワイヤレスデバイス３００は０のベースライン距離を決定することができ、これは、ワイヤレスデバイス３００がＴＸ波形３１６を送信する時間から、それが漏れ信号３２０を受信する時間までの差（たとえば、伝搬遅延）に基づく。ワイヤレスデバイス３００は、次いで、ワイヤレスデバイス３００がＴＸ波形３１６を送信する時間から、それがＲＸ波形３１８を受信する時間までの差に基づいて、ＲＸ波形３１８に関連付けられた距離を決定することができ、この距離は、次いで、漏れ信号３２０に関連付けられた伝搬遅延に従って調整され得る。そうする際に、ワイヤレスデバイス３００は、反射を生じた物体（たとえば、物体３０２）の距離を決定するために使用され得るＲＸ波形３１８が進んだ距離を決定することができる。

【0095】

[00104] いくつかの例では、ＲＸ波形３１８の到来角は、アンテナ３１４など、受信アンテナアレイの個々の要素間のＲＸ波形３１８の到来時間差を測定することによって決定され得る。いくつかの例では、到来時間差は、受信アンテナアレイ中の各要素における受信された位相の差を測定することによって、決定され得る。

【0096】

[00105] いくつかの場合には、ＲＸ波形３１８の距離および到来角は、ワイヤレスデバイス３００と物体３０２との間の距離ならびにワイヤレスデバイス３００に対する物体３０２の位置を決定するために使用され得る。ＲＸ波形３１８の距離および到来角はまた、反射を生じる物体３０２のサイズおよび形状を決定するために使用され得る。たとえば、ワイヤレスデバイス３００は、ＴＸ波形３１６が物体３０２から反射した点を決定するために、ＲＸ波形３１８に対応する決定された距離および到来角を利用することができる。ワイヤレスデバイス３００は、物体３０２のサイズおよび形状を決定するために、様々な反射信号のための反射点をアグリゲートすることができる。

【0097】

[00106] 例示および説明の目的で、物体３０２は、本開示全体にわたって人間の手として説明される。しかしながら、当業者は、物体３０２が任意の他のタイプの物体を含むことができることを本開示から認識されよう。たとえば、物体３０２は、異なる身体部位、人間、動物、デバイス、構造、または１つまたは複数の任意の他の物体を含むことができる。

【0098】

[00107] 上述のように、ワイヤレスデバイス３００は、ヘッドマウントデバイス（たとえば、ＸＲデバイスなど）などのウェアラブルデバイス、スマートフォン、ラップトップ、タブレットなど、モバイルデバイスを含むことができる。いくつかの例では、ワイヤレスデバイス３００は、ＲＦ検知データとともにデバイスロケーションデータおよびデバイス配向データを取得するように構成され得る。いくつかの事例では、デバイスロケーションデータおよびデバイス配向データは、ＲＸ波形３１８などの反射信号の距離および到来角を決定または調整するために使用され得る。たとえば、ユーザは、ＲＦ検知プロセス中に、ワイヤレスデバイス３００を保持し、室内を歩いていることがある。この事例では、ワイヤレスデバイス３００は、それがＴＸ波形３１６を送信するとき、第１のロケーションおよび第１の配向を有することができ、それがＲＸ波形３１８を受信するとき、第２のロケーションおよび第２の配向を有することができる。ワイヤレスデバイス３００は、それが距離および到来角を決定するためにＲＦ検知データを処理するとき、ロケーションの変化および配向の変化を考慮することができる。たとえば、ロケーションデータと配向データとＲＦ検知データとは、データの各要素に関連付けられたタイムスタンプに基づいて相関され得る。いくつかの技法では、ロケーションデータと配向データとＲＦ検知データとの組合せが、物体３０２のサイズおよびロケーションを決定するために使用され得る。

【0099】

[00108] いくつかの例では、デバイス位置データは、ラウンドトリップ時間（ＲＴＴ）測定値、受動測位、到来角、受信信号強度インジケータ（ＲＳＳＩ）、ＣＳＩデータを含む技法を使用して、任意の他の好適な技法を使用して、またはそれらの任意の組合せで、ワイヤレスデバイス３００によって集められ得る。いくつかの例では、デバイス配向データは、ジャイロスコープ、加速度計、コンパス、磁力計、気圧計、任意の他の好適なセンサー、またはそれらの任意の組合せなど、ワイヤレスデバイス３００上の電子センサーから取得され得る。たとえば、ワイヤレスデバイス３００の配向（たとえば、相対配向）の変化を検出または測定するためにワイヤレスデバイス３００上のジャイロスコープが使用され得、ワイヤレスデバイス３００の絶対配向を検出または測定するためにコンパスが使用され得る。

【0100】

[00109] 図４は、ＲＦ検知を実施するように構成された１つまたは複数のワイヤレスデバイスを含むことができる屋内環境４００を示す図である。いくつかの例では、屋内環境４００は、本明細書でさらに説明されるようにＸＲ動作／機能および／またはリソース使用量を最適化するためにＲＦ検知を実施するように構成され得る１つまたは複数のモバイルワイヤレスデバイス（たとえば、モバイルデバイス４０２）を含むことができる。いくつかの場合には、屋内環境４００は、ＲＦ検知を実施するように構成され得る１つまたは複数の固定ワイヤレスデバイス（たとえば、アクセスポイント（ＡＰ）４０４）を含むことができる。

【0101】

[00110] いくつかの態様では、ＡＰ４０４は、屋内環境４００内に静的または固定ロケーションを有するＷｉ－Ｆｉアクセスポイントであり得る。屋内環境４００はアクセスポイント（たとえば、ＡＰ４０４）を有するものとして示されているが、任意のタイプの固定ワイヤレスデバイス（たとえば、デスクトップコンピュータ、ワイヤレスプリンタ、カメラ、スマートテレビジョン、スマートアプライアンスなど）が、本明細書で説明される技法を実施するように構成され得る。いくつかの例では、ＡＰ４０４は、ワイヤレスデバイス３００に関して本明細書で説明された構成要素など、ＲＦ信号を同時に送信および受信するように構成され得るハードウェアおよびソフトウェア構成要素を含むことができる。たとえば、ＡＰ４０４は、ＲＦ信号を送信するように構成され得る１つまたは複数のアンテナ（たとえば、ＴＸアンテナ４０６）と、ＲＦ信号を受信するように構成され得る１つまたは複数のアンテナ（たとえば、ＲＸアンテナ４０８）とを含むことができる。ワイヤレスデバイス３００に関して述べられたように、ＡＰ４０４は、任意の方向からの信号を送信および受信するように構成された全方向性アンテナおよび／またはアンテナアレイを含むことができる。

【0102】

[00111] 一態様では、ＡＰ４０４は、屋内環境４００中に位置する１つまたは複数の物体（たとえば、シーン内に位置する１つまたは複数の物体、壁または他の障壁、デバイス、人間、身体部位、構造、および／あるいは他の物体）から反射することができるＲＦ信号４１０を送信することができる。たとえば、ＲＦ信号４１０は、壁４２２から反射し、反射信号４１２がＲＸアンテナ４０８を介してＡＰ４０４によって受信されることを引き起こすことができる。別の例として、ＲＦ信号は、モバイルデバイス（たとえば、モバイルデバイス４０２）のユーザの手から反射することができ、反射信号がそれぞれのＲＸアンテナを介してＡＰ４０４および／またはモバイルデバイスによって受信されることを引き起こすことができる。ＲＦ信号４１０を送信すると、ＡＰ４０４は、ＴＸアンテナ４０６からＲＸアンテナ４０８への直接経路に対応する漏れ信号４１４をも受信することができる。

【0103】

[00112] いくつかの例では、ＡＰ４０４は、反射信号４１２に関連付けられたＲＦ検知データを取得することができる。たとえば、ＲＦ検知データは、反射信号４１２に対応するＣＳＩデータを含むことができる。さらなる態様では、ＡＰ４０４は、反射信号４１２に対応する距離Ｄ₁および到来角θ₁を決定するためにＲＦ検知データを使用することができる。たとえば、ＡＰ４０４は、漏れ信号４１４と反射信号４１２との間の差に基づいて反射信号４１２についての飛行時間を計算することによって、距離Ｄ₁を決定することができる。さらなる例では、ＡＰ４０４は、反射信号を受信するためにアンテナアレイ（たとえば、アンテナ４０８）を利用することと、アンテナアレイの各要素における受信された位相の差を測定することとによって、到来角θ₁を決定することができる。

【0104】

[00113] いくつかの例では、ＡＰ４０４は、壁４２２を識別するために、反射信号４１２に対応する距離Ｄ₁および到来角θ₁を利用することができる。いくつかの態様では、ＡＰ４０４は、反射信号４１２に対応する距離Ｄ₁および到来角θ₁に基づいて、壁４２２の位置、形状、および／またはサイズを識別することができる。いくつかの態様では、ＡＰ４０４は、壁４２２の位置、形状、および／またはサイズに関するデータを提供するためにサーバ（たとえば、サーバ１７２）と通信することができる。いくつかの例では、ＡＰ４０４は、ＲＦ検知データを集め、ＲＦ検知データを、反射信号についての飛行時間および到来角の計算を処理するためのサーバに提供することができる。

【0105】

[00114] いくつかの例では、屋内環境４００はモバイルデバイス４０２を含むことができる。ヘッドマウントＸＲデバイスとして示されているが、モバイルデバイス４０２は、スマートフォン、タブレット、ラップトップ、スマートウォッチなど、任意のタイプのモバイルデバイスを含むことができる。いくつかの例によれば、モバイルデバイス４０２は、屋内環境４００中の１つまたは複数の物体の位置、形状、および／またはサイズを識別するためにＲＦ検知を実施するように構成され得る。

【0106】

[00115] いくつかの場合には、モバイルデバイス４０２は、ＲＦ波形４１６ａが、ＲＦ送信機３０６など、それのＲＦ送信機のうちの１つを介して送信されることを引き起こすことができる。図示のように、ＲＦ波形４１６ａは時間ｔ＝０において送信される。いくつかの事例では、モバイルデバイス４０２は、それが、この例ではｔ＝０＋Δｔ₁として示されている後の時間において、異なるロケーションにあるように、ＲＦ検知を実施しながら移動していることがある。

【0107】

[00116] いくつかの例では、ＲＦ波形４１６ａは、物体４２０から反射し、反射波形４１８ａが時間ｔ＝０＋Δｔ₁においてモバイルデバイス４０２によって受信されることを引き起こすことができる。いくつかの場合には、ＲＦ波形４１６ａの波長は、ＲＦ波形４１６ａが物体４２０を貫通および／または横断し（物体４２０を貫通した後に、ＲＦ波形４１６ｂとして示されている）、壁４２４から反射することを可能にするように構成され得る。壁４２４からの反射４１８ｂは、物体４２０を横断し、第２の反射波形４１８ｃが、後の時間、たとえば、ｔ＝０＋Δｔ₂においてモバイルデバイス４０２によって受信されることを生じることができる。

【0108】

[00117] いくつかの例では、モバイルデバイス４０２は、反射波形４１８ａおよび４１８ｃに対応するＲＦ検知データを集めることができる。モバイルデバイス４０２はまた、ＲＦ波形４１６ａが送信された時間（たとえば、ｔ＝０）と、また、反射波形４１８ａが受信された時間（たとえば、ｔ＝０＋Δｔ₁）および反射波形４１８ｃが受信された時間（たとえば、ｔ＝０＋Δｔ₂）とに対応する、デバイスロケーションデータおよびデバイス配向データをキャプチャすることができる。

【0109】

[00118] いくつかの態様では、モバイルデバイス４０２は、各反射波形４１８ａおよび４１８ｃについての飛行時間および到来角を決定するために、ＲＦ検知データを利用することができる。いくつかの例では、モバイルデバイス４０２は、ＲＦ検知プロセス中のデバイスの移動を考慮するために、ロケーションデータおよび配向データを利用することができる。たとえば、反射波形４１８ａおよび４１８ｃの飛行時間は、それぞれ、物体４２０および／または壁４２４のほうへのデバイスの移動に基づいて調整され得る。別の例では、反射波形４１８ａおよび４１８ｃの到来角は、モバイルデバイスがＲＦ波形４１６ａを送信した時間対モバイルデバイス４０２が反射波形４１８ａおよび４１８ｃを受信した時間における、モバイルデバイスの移動および配向に基づいて、調整され得る。

【0110】

[00119] いくつかの場合には、モバイルデバイス４０２は、物体４２０および／または壁４２４のサイズ、形状、および／または位置を決定するために、飛行時間、到来角、ロケーションデータ、および／または配向データを利用することができる。図５Ａは、モバイルデバイス４０２によって実施され得るＲＦ検知に基づく物体４２０および壁４２４の幅および距離を示すグラフィカル表現５００の一例である。

【0111】

[00120] 図示のように、グラフィカル表現５００は、ｘ軸上の度単位の方位角と、ｙ軸上のセンチメートル単位の距離とを含むことができる。グラフィカル表現５００は、反射信号の方位角および飛行時間に基づく物体４２０および壁４２４の参照をさらに含むことができる。グラフィカル表現５００は、ＲＦ検知技法が、互いの後ろにある物体または壁からの反射を検出するために使用され得ることを示す。この例では、ＲＦ波形４１６ａは、物体４２０からの第１の反射と壁４２４からの第２の反射とを生成し、これらの反射はモバイルデバイス４０２によって受信された。

【0112】

[00121] モバイルデバイス４０２は、物体４２０および壁４２４の距離および幅を識別するために、距離および方位角データを利用することができる。いくつかの技法では、モバイルデバイス４０２は、物体４２０および壁４２４の参照を含む屋内環境４００のマップを作成するために、距離、方位角、および仰角データを使用することができる。他の技法では、モバイルデバイス４０２は、それがサーバ１７２などのサーバから受信する部分マップを修正するために、ＲＦ検知データを使用することができる。他の態様では、モバイルデバイス４０２は、屋内環境４００の屋内マップの処理および作成のためのサーバにＲＦ検知データを送ることができる。

【0113】

[00122] いくつかの例では、ＡＰ４０４およびモバイルデバイス４０２は、送信機能と受信機能とが異なるデバイスによって実施される、バイスタティック構成を実装するように構成され得る。たとえば、ＡＰ４０４（および／または、静的または固定である屋内環境４００内の他のデバイス）は、信号４１５ａおよび４１５ｂを含むことができる全方向性ＲＦ信号を送信することができる。図示のように、信号４１５ａは、ＡＰ４０４からモバイルデバイス４０２に直接（たとえば、反射なし）進むことができる。信号４１５ｂは、壁４２６に反射し、対応する反射信号４１５ｃがモバイルデバイス４０２によって受信されることを引き起こすことができる。

【0114】

[00123] いくつかの場合には、モバイルデバイス４０２は、反射体（たとえば、壁４２６）のサイズおよび形状を識別するために、直接信号経路（たとえば、信号４１５ａ）および反射信号経路（たとえば、信号４１５ｃ）に関連付けられたＲＦ検知データを利用することができる。たとえば、モバイルデバイス４０２は、ＡＰ４０４に関連付けられたロケーションデータを取得し、取り出し、および／または推定することができる。いくつかの態様では、モバイルデバイス４０２は、ＡＰ４０４によって送信された信号（たとえば、信号４１５ａなどの直接経路信号および信号４１５ｃなどの反射経路信号）に関連付けられた飛行時間、距離、および／または到来角を決定するために、ＡＰ４０４に関連付けられたロケーションデータと、ＲＦ検知データ（たとえば、ＣＳＩデータ）とを使用することができる。いくつかの場合には、モバイルデバイス４０２およびＡＰ４０４は、さらに、ＲＦ信号４１５ａおよび／または反射信号４１５ｃに関連付けられたデータ（たとえば、送信時間、シーケンス／パターン、到来時間、飛行時間（ＴＯＦ：time of flight）、到来角など）を含むことができる通信を送り、および／または受信することができる。

【0115】

[00124] いくつかの例では、モバイルデバイス４０２および／またはＡＰ４０４は、「Ｋ」として表される周波数（たとえば、トーン）の数と、「Ｎ」として表されるアンテナアレイ要素の数とに基づく行列を構築するために使用され得るＣＳＩデータの形態のＲＦ検知データを取得することができる。

【0116】

[00125] ＣＳＩ行列を構築すると、モバイルデバイス４０２および／またはＡＰ４０４は、２次元フーリエ変換を利用することによって、直接信号経路ならびに反射信号経路についての距離、方位角、および／または仰角を計算することができる。

【0117】

[00126] いくつかの例では、モバイルデバイス４０２およびＡＰ４０４は、互いとのまたはＷｉ－Ｆｉネットワークとのそれらの関連付けにかかわらず、ＲＦ検知技法を実施することができる。たとえば、モバイルデバイス４０２は、それがアクセスポイントまたはＷｉ－Ｆｉネットワークに関連付けられないとき、本明細書で説明されるようにＲＦ検知を実施するために、それのＷｉ－Ｆｉ送信機およびＷｉ－Ｆｉ受信機を利用することができる。さらなる例では、ＡＰ４０４は、ＡＰ４０４がそれに関連付けられたワイヤレスデバイスを有するかどうかにかかわらず、ＲＦ検知技法を実施することができる。

【0118】

[00127] 図５Ｂは、本明細書で説明されるようにＲＦ検知によって決定された物体５２２、５２４、および５２６のサイズ（たとえば、幅、高さなど）および位置を示すグラフィカル表現５２０の別の例である。いくつかの例では、物体５２２、５２４、および５２６のサイズおよび位置は、ＲＦ検知を使用してモバイルデバイス４０２によって決定され得る。他の例では、物体５２２、５２４、および５２６のサイズおよび位置は、少なくとも１つのＲＦインターフェースを含む、サーバ１７２または任意の他のデバイスなど、ＲＦ検知を使用する別のデバイスによって決定され得る。

【0119】

[00128] 図示のように、グラフィカル表現５２０は、ｘ軸（およびｙ軸）上の到来角（ＡｏＡ）および仰角と、ｚ軸上のＴＯＦ／範囲（range）とを含むことができる。グラフィカル表現５２０は、信号の方位角、仰角、およびＴＯＦ／範囲に基づく物体５２２、５２４、および５２６の参照を含むことができる。グラフィカル表現５２０は、ＲＦ検知技法が、物体のサイズ、形状、および／または位置を決定するためにそのような物体からの反射を検出するために使用され得ることを示す。この例では、物体は、モバイルデバイス４０２に対する異なるサイズおよび異なる位置を有する。

【0120】

[00129] 物体５２２のサイズ、形状、および／または位置は、送信されたまたは漏れた信号の直接経路５３０について計算された方位角、仰角およびＴＯＦ／範囲に基づいて表され得る。バイスタティック構成のいくつかの例では、物体５２２は、モバイルデバイス４０２および／またはモバイルデバイス４０２の１つまたは複数の構成要素を表すことができる。同様に、物体５２４のサイズ、形状、および／または位置は、１つまたは複数の反射信号に関連付けられた選択された反射経路５３２について計算された方位角、仰角、およびＴＯＦ／範囲に基づいて決定され得る。選択された反射経路５３２は、直接経路５３０に対する１つまたは複数の反射信号経路の距離に基づいて選択された１つまたは複数の反射信号経路を含むことができる。たとえば、選択された経路５３２は、直接経路５３０に関連付けられた距離を超えてしきい値内にある距離を有する反射経路を含むことができる。

【0121】

[00130] いくつかの場合には、選択された経路５３２を選択するために使用される距離および／またはしきい値距離は、関心物体に依存することがある。たとえば、関心物体がＸＲデバイス（たとえば、モバイルデバイス４０２）を装着しているユーザの手である場合、ユーザの手が、１．５ｍまたは１ｍなど、ユーザ（したがって、ユーザによって装着されたＸＲデバイス）のある距離内にあることが予想され得るので、選択された経路５３２の距離は、ユーザに取り付けられていない１つまたは複数の他の物体（たとえば、壁、構造など）から反射された１つまたは複数の信号に対応する１つまたは複数の他の反射経路の距離よりも短いことがあり、１つまたは複数の他の物体は、１．５ｍまたは１ｍなど、ユーザの手とユーザ（および／またはユーザによって装着されたＸＲデバイス、ユーザによって保持されるデバイスなど）との間の一般的な距離を超える距離を含む、ユーザ（したがって、ユーザによって装着されたＸＲデバイス）に対する距離のより大きい範囲内のどこかにあり得る。

【0122】

[00131] その上、物体５２６のサイズ、形状、および／または位置は、物体５２６から反射された１つまたは複数の信号に関連付けられた反射経路５３４について計算された方位角、仰角、およびＴＯＦ／範囲に基づいて決定され得る。この例では、物体５２６は、物体５２２および物体５２４よりも大きい相対距離にある。この例におけるより大きい相対距離は、選択された反射経路５３２を選択するために決定された（１つまたは複数の）しきい値を超える。いくつかの例では、（１つまたは複数の）しきい値は、直接経路についてのＴＯＦとそれぞれの反射経路についてのＴＯＦとの間の差に関して表され得る。

【0123】

[00132] いくつかの例では、物体５２４のサイズ、形状、および／または位置を検出するために、モバイルデバイス４０２（または別のデバイス）は、直接経路５３０に対してしきい値距離内にある１つまたは複数の反射経路（たとえば、反射信号の経路）を選択し、各選択された反射経路の方位角および仰角を推定して、物体５２４の寸法を測定することができる。たとえば、例示的な例では、関心物体が手であり、しきい値距離が１メートルである場合、モバイルデバイス４０２は、直接経路５３０に対する距離が１メートルよりも小さいかまたはそれに等しい１つまたは複数の反射経路を選択することができる。

【0124】

[00133] いくつかの場合には、物体５２４を分類するために物体分類アルゴリズム（たとえば、信号処理、機械学習など）が実装され得る。たとえば、関心物体が手である場合、物体５２４を手または手ではないものとして分類するために物体分類アルゴリズムが実装され得る。

【0125】

[00134] いくつかの例では、ＲＦ検知技法は、ユーザの手、コントローラなど、モバイルデバイス４０２に近い物体を検出するために、計算複雑さを低減するために、および／またはモバイルデバイス４０２における電力消費を低減するために、反射を抽出し、距離がより短い（たとえば、距離しきい値内にある）反射に焦点を当てるために、信号処理を実装することができる。いくつかの場合には、ＲＦ検知は、反射を生じる物体のロケーションおよび／または寸法を推定するために使用され得る。いくつかの例では、物体が特定のタイプの物体であるか否かを示すために物体のバイナリ分類を実施するために、物体分類アルゴリズム（たとえば、信号処理、機械学習など）が使用され得る。たとえば、物体分類アルゴリズムは、物体が手であるか否かを示すためにバイナリ分類を実施することができる。

【0126】

[00135] ＲＦ検知は、３６０度で追跡することができ、カメラビューによって制限されない。いくつかの例では、ＲＦ検知は、カメラビューの外側の物体を追跡することができる。たとえば、ＲＦ検知は、ユーザの手がカメラビューの外側にあるかまたはカメラビューから遮られるときにユーザの手を追跡することができる。いくつかの場合には、ＲＦ検知は、物体のロケーションの推定を提供することができる。モバイルデバイス４０２などの電子デバイスは、物体の将来の位置を予測し、および／または円滑な物体追跡を達成するために推定を使用することができる。いくつかの場合には、モバイルデバイス４０２などの電子デバイスは、物体の将来の位置を予測するのを、および／または円滑な物体追跡を達成するのを助けるために、サーバまたは別の電子デバイスなど、別のデバイスに、推定を提供することができる。いくつかの例では、電子デバイスは、物体がカメラビューの外側にある（またはカメラビューから遮られる）か否かにかかわらず、（たとえば、ＲＦ検知を使用して計算された）物体の位置を宛先デバイス（たとえば、サーバまたは任意の他のデバイス）にシグナリングすることができる。たとえば、前に説明されたように、電子デバイスは、ユーザの（１つまたは複数の）手が電子デバイス上の（１つまたは複数の）カメラデバイスのＦＯＶの外側にある場合でも、ＲＦ検知を使用してユーザの（１つまたは複数の）手の位置を計算することができる。電子デバイスは、ユーザの（１つまたは複数の）手が（１つまたは複数の）カメラデバイスのＦＯＶ中にあるか否かにかかわらず、ユーザの（１つまたは複数の）手の計算された位置を、サーバまたはモバイルフォンなど、宛先デバイスにシグナリングすることができる。

【0127】

[00136] いくつかの例では、物体のサイズ、形状、および／または位置は、そのような物体がモバイルデバイス（たとえば、モバイルデバイス４０２）の画像キャプチャデバイスに可視であるかどうかを決定するために、ＲＦ検知を使用して決定され得る。たとえば、物体のサイズ、形状および／または位置は、物体が画像キャプチャデバイスのＦＯＶ内にあるかどうか、および／または物体が遮られるかどうか（たとえば、物体の画像キャプチャデバイスのビューが妨害されるかどうか）を決定するためにＲＦ検知を使用して決定され得る。いくつかの場合には、関心物体の位置が画像キャプチャデバイスのＦＯＶに対応しない（たとえば、物体が画像キャプチャデバイスのＦＯＶ内にない）場合、または、物体の位置が画像キャプチャデバイスのＦＯＶに対応するが、物体が場合によっては画像キャプチャデバイスのビュー／可視性から遮られ／妨害される場合、画像キャプチャデバイスに関連付けられたモバイルデバイスは、画像キャプチャデバイスをオフにするか、または、画像キャプチャデバイスの電力設定をより低い電力モードに設定することができる。いくつかの例では、モバイルデバイスが画像キャプチャデバイスをオフにする場合、モバイルデバイスは、ＲＦ検知を使用して、手の移動を監視し、手が画像キャプチャデバイスのＦＯＶに近づいている（たとえば、ＦＯＶに、しきい値時間フレーム、距離など内に接近している）とき、前もって画像キャプチャデバイスをオンにすることができ、したがって、画像キャプチャデバイスは、手が画像キャプチャデバイスのＦＯＶ中にあるとき、手の（１つまたは複数の）画像をキャプチャすることができる。モバイルデバイスは、手が画像キャプチャデバイスのＦＯＶ内にあると、手ジェスチャーを決定するために、その（１つまたは複数の）画像を使用することができる。

【0128】

[00137] 画像キャプチャデバイスは、物体が遮られるかまたは画像キャプチャデバイスのＦＯＶの外側にある間、関心物体の画像をキャプチャすることができないので、モバイルデバイスは、電力を温存するために画像キャプチャデバイスをオフにするかまたは電力ダウンすることができる。関心物体がその後画像キャプチャデバイスのＦＯＶ内に入る場合、または、物体がもはや遮られない／妨害されない場合、物体は今や画像キャプチャデバイスに可視であり、したがって画像キャプチャデバイスが物体の画像をキャプチャすることを可能にするので、モバイルデバイスは、画像キャプチャデバイスをオンにするか、あるいは、画像キャプチャデバイスが物体の（１つまたは複数の）画像および／または（１つまたは複数の）より高品質の画像をキャプチャすることを可能にするために、画像キャプチャデバイスの電力設定をより高い電力モードに設定することができる。

【0129】

[00138] いくつかの例では、電力消費を低減し、および／またはモバイルデバイスにおけるリソース使用を最適化するために、関心物体がモバイルデバイスにおける１つまたは複数の画像センサーのＦＯＶ内にないか、または遮られ、それにより、１つまたは複数の画像センサーが物体の画像をキャプチャすることができないとき、モバイルデバイスは、モバイルデバイスにおけるどの画像センサーがモバイルデバイスにおけるどのプロセッサによって使用されるかを制御することができる。たとえば、いくつかの場合には、モバイルデバイスは、複数の画像センサーと、画像センサーからの画像データを処理するための複数のＩＳＰとを含むことができる。いくつかの場合には、画像センサーの数がＩＳＰの数を超える場合、複数の画像センサーは、そのような画像センサーからの画像データを処理する同じＩＳＰを共有することができる。

【0130】

[00139] しかしながら、関心物体が画像センサーのＦＯＶ内にあり、他の方法で画像センサーのビューから遮られない場合、モバイルデバイスは、その画像センサーからの画像データを処理するためのＩＳＰを、その画像センサーに専用化することができる。そうではなく、関心物体が遮られるかまたはいくつかの画像センサーのＦＯＶの外側にある場合、モバイルデバイスは、代わりに、それらの画像センサーが同じＩＳＰを共有することを可能にすることができる。いくつかの場合には、モバイルデバイスは、関心物体が１つまたは複数の画像センサーのＦＯＶ内にあるのか、１つまたは複数の画像センサーのビューから遮られるのかに応じて、いくつかの画像センサーのための（またはいくつかの画像センサーからの画像データのための）画像処理能力を増加または減少させるために、ＩＳＰに画像センサーを（またはその逆）インテリジェントに割り振ることができる。モバイルデバイスは、本明細書で説明されるようにＲＦ検知を使用して、物体がＦＯＶ内にあるかどうか、ＦＯＶの外側にあるかどうか、遮られ、したがって（１つまたは複数の）画像センサーに可視でないかどうかなどを決定することができる。

【0131】

[00140] 他の例では、物体のサイズ、形状、および／または位置は、追跡動作のための、サーバなどの特定のデバイスに送られるアップリンクフレームのサイズを低減するために、ＲＦ検知を使用して決定され得る。たとえば、いくつかの場合には、モバイルデバイス４０２は、シーン中の（１つまたは複数の）物体の画像をキャプチャし、キャプチャされた画像を、シーン中の（１つまたは複数の）物体を追跡するためにそのような画像を使用する宛先デバイスに送ることができる。帯域幅使用量、レイテンシなどを低減するために、モバイルデバイス４０２は、画像中の（１つまたは複数の）物体を含め、画像の他の部分を除外するために画像をクロップすることによって、宛先デバイスに送られる画像のサイズを低減することができる。モバイルデバイス４０２は、（１つまたは複数の）物体を検出し、（１つまたは複数の）物体の位置を決定するために、ＲＦ検知を使用することができる。モバイルデバイス４０２は、（１つまたは複数の）物体の決定された位置を使用して、（１つまたは複数の）物体をキャプチャする画像をどのように／どこでクロップすべきかを決定することができる。クロップされた画像は、より小さく、したがって、モバイルデバイス４０２が、宛先デバイスに送られるクロップされた画像を含むアップリンクトラフィックのサイズを低減することを可能にすることができる。

【0132】

[00141] たとえば、図６は、ＸＲデバイス６２０から宛先デバイス６１０へのアップリンクトラフィックを低減するためにＲＦ検知を使用するための例示的な使用事例６００を示す。アップリンクトラフィックは、ＸＲデバイス６２０上の１つまたは複数の画像センサーを含む画像キャプチャデバイスによってキャプチャされた追跡フレームを含むことができ、宛先デバイス６１０は、それらの追跡フレームを使用して、シーン中の１つまたは複数の物体（たとえば、手、デバイスなど）を追跡することができる。いくつかの場合には、宛先デバイス６１０は、さらにまたは代わりに、たとえば、シーンおよび／またはシーン中の特徴をマッピングすることなど、他の動作のために、追跡フレームを使用することができる。いくつかの場合には、宛先デバイス６１０は、たとえば、クラウドネットワーク上のエッジサーバなど、サーバであり得る。他の場合には、宛先デバイス６１０は、たとえば、スマートフォン、タブレット、ラップトップ、ゲーム機など、ユーザ電子デバイスであり得る。

【0133】

[00142] 図示のように、宛先デバイス６１０は、上記で説明されたようなワイヤレス通信プロトコル規格に従って、ダウンリンク（ＤＬ）フレーム６２２、６２４、および６２６をＸＲデバイス６２０に送ることができる。ＸＲデバイス６２０は、ＲＦ検知を使用して近くの反射体（たとえば、宛先デバイス６１０によって送信された信号の反射を生じる物体）を検出するために、ＤＬフレーム６２２～６２６を使用することができる。ＸＲデバイス６２０は、近くの反射体のロケーション、形状、および／またはサイズを検出するためにＲＦ検知を使用することができる。いくつかの例では、ＸＲデバイス６２０は、反射経路／信号の方位角、仰角、および／または距離など、反射情報を抽出／識別するために、ＤＬフレーム６２２～６２６中でキャプチャされたＣＳＩを使用することができる。

【0134】

[00143] ブロック６３０において、ＸＲデバイス６２０は、反射情報に基づいて近くの反射体のロケーション（および随意に、近くの反射体のサイズおよび／または形状）を推定することができる。たとえば、ＸＲデバイス６２０は、物理的空間中の近くの反射体の３次元（３Ｄ）位置を計算するために、近くの反射体に関連付けられた反射経路の方位角、仰角およびＴＯＦ／範囲を決定することができる。

【0135】

[00144] ブロック６３２において、ＸＲデバイス６２０は、関心反射体（reflector of interest）の決定されたロケーションを使用して、関心反射体をキャプチャする部分画像を抽出することができる。たとえば、ＸＲデバイス６２０は、関心反射体の画像を（たとえば、ＸＲデバイス６２０の画像キャプチャデバイスを介して）キャプチャすることができる。ＸＲデバイス６２０は、反射体の決定されたロケーションを使用して、反射体を含むがキャプチャされた画像の他の部分を除外する、より小さい／部分画像を生成するために画像をどのようにクロップすべきかを決定することができる。ＸＲデバイス６２０は、次いで、画像をクロップして、反射体を含むより小さい／部分画像を生成することができる。

【0136】

[00145] ＸＲデバイス６２０は、反射体を含むより小さい／部分画像を、ＵＬフレーム６４０中で宛先デバイス６１０に送ることができる。反射体を含んでいる画像がクロップ／低減されたので、ＵＬフレーム６４０は、ＸＲデバイス６２０が、代わりに、キャプチャされた画像を、前に説明されたようにその画像を最初にクロップすることなしに送った場合よりも、小さくなり得る。その結果、ＸＲデバイス６２０は、宛先デバイス６１０へのＵＬトラフィックのサイズ、ＵＬトラフィックのレイテンシなどを低減することができる。

【0137】

[00146] いくつかの実装形態では、ＸＲデバイス６２０がマルチリンク動作（ＭＬＯ）をサポートする場合、ＸＲデバイス６２０は、ＣＳＩをキャプチャし、ＲＦ検知を実施するために、Ｗｉ－Ｆｉレーダーを使用することができる。たとえば、ＸＲデバイス６２０は、ＸＲデバイス６２０について余分のオン時間を生じることを回避するために、あるリンクを使用して宛先デバイス６１０にＷｉ－Ｆｉサウンディング信号を送りながら、別のリンクにおいてＤＬ／ＵＬトラフィックを維持することができる。他の場合には、ＸＲデバイス６２０がＭＬＯをサポートしない場合、ＸＲデバイス６２０は、Ｗｉ－ＦｉレーダーエアタイムをカバーするためにＷｉ－Ｆｉオン時間をわずかに増加させることができる。たとえば、ＸＲデバイス６２０は、デバイスデータＴＸ／ＲＸウィンドウの開始または終了時にＷｉ－Ｆｉオン時間を増加させることができる。

【0138】

[00147] いくつかの場合には、ＸＲデバイス６２０は、単一の受信されたフレームを用いてＲＦ検知を実施することができ、その単一の受信されたフレームを使用して周囲環境を学習することができる。他の場合には、ＸＲデバイス６２０は、随意に、（たとえば、利用可能な既存のＤＬデータフレームを使用して）検出精度を改善するために、ＲＦ検知のために複数の受信されたフレームを使用することができる。

【0139】

[00148] 図７Ａおよび図７Ｂは、宛先デバイス７０２とモバイルデバイス７０４とＸＲデバイス７０６との間の通信を伴う、ＸＲのための例示的なレンダリングシナリオを示す図である。図７Ａは、ＸＲアプリケーションに関連付けられた仮想コンテンツがモバイルデバイス７０４によってレンダリングされる、ＸＲのためのレンダリングシナリオ７００を示す。

【0140】

[00149] この例では、宛先デバイス７０２は、モバイルデバイス７０４にＤＬデータ７１０を送ることができ、モバイルデバイス７０４からＵＬデータ７２０を受信することができる。いくつかの場合には、宛先デバイス７０２とモバイルデバイス７０４との間のリンクは、モバイルデバイス７０４とＸＲデバイス７０６との間のリンクから切り離され得る。ＤＬデータ７１０は、たとえば、限定はしないが、ＸＲエクスペリエンス／アプリケーション、追跡情報、マッピング情報、および／または任意の他のＸＲデータに関連付けられた仮想コンテンツを含むことができる。ＵＬデータ７２０は、たとえば、限定はしないが、追跡フレーム、ロケーション情報、データ要求などを含むことができる。

【0141】

[00150] いくつかの場合には、宛先デバイス７０２は、たとえば、クラウドネットワーク上のエッジサーバなど、サーバであり得る。他の場合には、宛先デバイス７０２は、たとえば、ラップトップ、デスクトップコンピュータ、タブレット、ゲーム機など、任意の電子デバイスであり得る。モバイルデバイス７０４は、たとえば、スマートフォン、タブレット、ラップトップ、ＩｏＴデバイス、ゲーム機など、任意の電子デバイスを含むことができる。ＸＲデバイス７０６は、たとえば、ＨＭＤ、スマートグラスなど、ＸＲ（たとえば、ＡＲ、ＶＲなど）ウェアラブルデバイスを含むことができる。

【0142】

[00151] モバイルデバイス７０４は、ＤＬデータ７１０を受信し、ＸＲデバイス７０６にＤＬデータ７１２を送ることができ、ＸＲデバイス７０６は、ＤＬデータ７１２を、ＸＲプレゼンテーション／エクスペリエンスのために使用することができる。いくつかの例では、ＤＬデータ７１２は、レンダリングされた仮想コンテンツを含むことができる。たとえば、モバイルデバイス７０４は、宛先デバイス７０２からの仮想コンテンツをレンダリングし、レンダリングされた仮想コンテンツをＸＲデバイス７０６に送ることができる。いくつかの場合には、ＤＬデータ７１２は、たとえば、深度マップ、アイバッファ（eye buffer）（たとえば、レンダーテクスチャ（render texture）、アイバッファ解像度など）、追跡情報、および／または任意の他のＸＲデータなど、ＸＲ関係データを含むことができる。

【0143】

[00152] ＸＲデバイス７０６は、慣性測定値、画像データなど、センサーデータを取得し、そのようなデータをモバイルデバイス７０４に提供することができる。たとえば、ＸＲデバイス７０６は、１つまたは複数の慣性測定ユニット（ＩＭＵ）からのデータとＸＲデバイス７０６における画像キャプチャデバイスからの追跡フレームとを含むＵＬデータ７２２を、モバイルデバイス７０４に送ることができる。いくつかの場合には、モバイルデバイス７０４は、ＸＲデバイス７０６および／またはシーン中の１つまたは複数の物体の位置に従って仮想コンテンツをレンダリングするために、ＵＬデータ７２２を使用することができる。

【0144】

[00153] 図７Ｂは、仮想コンテンツが宛先デバイス７０２においてレンダリングされる、別の例示的なレンダリングシナリオ７２５を示す。この例では、宛先デバイス７０２は、モバイルデバイス７０４にＤＬデータ７３０を送り、モバイルデバイス７０４からＵＬデータ７４０を受信することができる。モバイルデバイス７０４は、ＸＲデバイス７０６にＤＬデータ７３２を送り、ＸＲデバイス７０６からＵＬデータ７４２を受信することができる。この例では、モバイルデバイス７０４は、宛先デバイス７０２とＸＲデバイス７０６との間のＸＲデータのための最小のまたはより低い処理を伴うパススルーとして使用され得る。

【0145】

[00154] いくつかの場合には、ＸＲデバイス７０６からのＵＬデータ７２２およびＵＬデータ７４２は、図６に関して前に説明されたように生成される部分フレームを含むことができる。たとえば、ＵＬデータ７２２およびＵＬデータ７４２は、関心物体の画像をクロップすることによって生成された追跡フレームを含むことができる。画像は、ＲＦ検知を使用して推定される関心物体のロケーションに基づいてクロップされ得る。たとえば、ＸＲデバイス７０６は、物体の画像をキャプチャし、ＲＦ検知を使用して物体のロケーションを推定し、物体のロケーションを使用して、依然として、関心物体をキャプチャしながらそれのサイズを低減するために物体の画像をクロップすることができる。ＸＲデバイス７０６は、クロップされた画像を、ＵＬデータ７２２またはＵＬデータ７４２中で提供することができる。宛先デバイス７０２は、物体を追跡するのを、および／または物体の将来の位置を予測するのを助けるために、クロップされた画像を使用することができる。

【0146】

[00155] 図８は、ＲＦ検知を使用してＸＲ最適化を実施するための例示的なプロセス８００を示すフローチャートである。ブロック８０２において、プロセス８００は、ＲＦ検知データを取得することを含むことができる。いくつかの例では、検知データは、チャネル状態情報（ＣＳＩ）を含むことができる。いくつかの場合には、ＲＦ検知データは、物体から反射された送信された波形の反射である受信された波形に関連付けられたデータのセットを含むことができる。いくつかの例では、送信された波形は、ＸＲデバイス（たとえば、ＸＲデバイス６２０、ＸＲデバイス７０６）などのワイヤレスデバイスからアンテナによって送信された信号（たとえば、Ｗｉ－Ｆｉ信号）を含むことができる。

【0147】

[00156] いくつかの場合には、ＲＦ検知データは、信号の送信に応答して受信された反射に対応するＣＳＩデータを含むことができる。１つの例示的な例では、ＲＦ検知データは、Ｗｉ－Ｆｉ信号の送信に応答して受信された反射に対応するＷｉ－Ｆｉ ＣＳＩデータを含むことができる。他の例では、ＲＦ検知データは、５Ｇ ＮＲ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ、６０ＧＨｚ ｍｍＷａｖｅ、それらの任意の組合せ、または他のタイプの（１つまたは複数の）信号を使用して取得されたＣＳＩデータを含むことができる。

【0148】

[00157] いくつかの例では、ＲＦ検知データは、送信された波形に対応する受信された漏れ波形に関連付けられた、および／または１つまたは複数の反射ＲＦ信号に対応する１つまたは複数の反射波形に関連付けられたデータを含むことができる。

【0149】

[00158] ブロック８０４において、プロセス８００は、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することを含むことができる。いくつかの例では、各反射ＲＦ信号は、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を含むことができる。いくつかの場合には、１つまたは複数の物体のうちの少なくとも１つは、ＸＲデバイス、スマートフォンなど、モバイルデバイスのユーザに関連付けられた手を含むことができる。

【0150】

[00159] いくつかの例では、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することは、送信されたＲＦ信号の直接経路を含むＲＦ信号の経路を決定することと、ＲＦ信号の経路に基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することとを含むことができる。

【0151】

[00160] ブロック８０６において、プロセス８００は、１つまたは複数の反射経路を、モバイルデバイスに関連付けられた画像キャプチャデバイスのＦＯＶと比較することを含むことができる。いくつかの場合には、１つまたは複数の反射経路を画像キャプチャデバイスのＦＯＶと比較することは、１つまたは複数の反射経路に基づいて、１つまたは複数の物体が、モバイルデバイスに関連付けられた画像キャプチャデバイスのＦＯＶに対応するシーンの一部分内にあるかどうかを決定することを含むことができる。いくつかの態様では、プロセス８００は、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することを含むことができる。いくつかの場合には、１つまたは複数の物体のロケーションは、送信されたＲＦ信号の直接経路および／または１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を含む、ＲＦ信号の決定された経路に基づいて、決定され得る。

【0152】

[00161] いくつかの例では、１つまたは複数の物体のロケーションを決定することは、１つまたは複数の反射経路に関連付けられたそれぞれの距離、それぞれの反射角、および／またはそれぞれの仰角を決定することを含むことができる。いくつかの場合には、１つまたは複数の物体のロケーションは、それぞれの距離、それぞれの反射角、および／またはそれぞれの仰角に基づいて決定され得る。

【0153】

[00162] いくつかの場合には、１つまたは複数の物体のロケーションを決定することは、モバイルデバイスと１つまたは複数の物体の各々との間の経路のそれぞれの距離、方位角、および／または仰角を決定することを含むことができる。いくつかの場合には、１つまたは複数の物体のロケーションは、それぞれの距離、方位角、および／または仰角に基づいて決定され得る。

【0154】

[00163] ブロック８０８において、プロセス８００は、比較に基づいて、モバイルデバイスおよび／またはモバイルデバイスに関連付けられた画像キャプチャデバイスによるアクションをトリガすることを含むことができる。いくつかの場合には、アクションをトリガすることは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるかどうかの決定に基づき得る。いくつかの例では、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるかどうかの決定は、比較に基づき得る。

【0155】

[00164] いくつかの例では、トリガされたアクションは、画像キャプチャデバイスの電力設定を制御することを含むことができる。いくつかの場合には、画像キャプチャデバイスの電力設定を制御することは、光源レベルがしきい値を下回ること、および／またはプライバシー設定にさらに基づき得る。いくつかの例では、プライバシー設定は、ユーザ入力、アプリケーションデータ、および／またはグローバルナビゲーション衛星システム（ＧＮＳＳ）データに基づき得る。

【0156】

[00165] いくつかの例では、トリガされたアクションは、１つまたは複数の物体を含んでいる画像の部分を抽出することを含むことができる。いくつかの場合には、トリガされたアクションは、１つまたは複数の物体の１つまたは複数の画像をキャプチャすべきかどうかを決定することを含むことができる。いくつかの例では、トリガされたアクションは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるという決定にさらに基づき得る。いくつかの例では、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるという決定は、比較に基づき得る。

【0157】

[00166] いくつかの場合には、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるかどうかを決定することは、１つまたは複数の反射経路および／または１つまたは複数の反射ＲＦ信号に関連付けられたそれぞれの距離、それぞれの方位角、および／またはそれぞれの仰角に基づき得る。

【0158】

[00167] いくつかの例では、手が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるかどうかを決定することは、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定することを含むことができる。いくつかの場合には、プロセス８００は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあるという決定に基づいて、画像キャプチャデバイスの電力設定を、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるときの画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することを含むことができる。いくつかの場合には、調整された電力状態は、オフ状態（off state）であり得る。他の場合には、調整された電力状態は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるときの画像キャプチャデバイスの電力モードよりも低い電力モードに関連付けられたオン状態であり得る。

【0159】

[00168] いくつかの例では、プロセス８００は、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるかどうかを決定することを含むことができる。いくつかの場合には、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるかどうかを決定することは、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害される（たとえば、画像キャプチャデバイスのビューから遮られる）と決定することを含むことができる。

【0160】

[00169] いくつかの態様では、プロセス８００は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに基づいて、画像キャプチャデバイスの電力設定を異なる電力状態に調整することとを含むことができる。

【0161】

[00170] いくつかの態様では、プロセス８００は、１つまたは複数の反射経路に基づいて、１つまたは複数の物体のサイズおよび／または形状を決定することを含むことができる。

【0162】

[00171] いくつかの態様では、プロセス８００は、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することを含むことができる。いくつかの場合には、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあると決定することと、１つまたは複数の物体のロケーションに基づいて、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することとを含む。

【0163】

[00172] いくつかの場合には、画像キャプチャデバイスは複数の画像センサーを含むことができる。いくつかの例では、トリガされたアクションは、画像キャプチャデバイスの電力設定を制御することを含むことができる。いくつかの場合には、画像キャプチャデバイスの電力設定を制御することは、複数の画像センサーの個々の電力設定を制御することを含むことができる。いくつかの場合には、複数の画像センサーの個々の電力設定を制御することは、手が複数の画像センサーのうちの特定の１つのＦＯＶ内にあると決定したことに基づいて、画像処理のために装置の複数のプロセッサのうちの少なくとも１つを複数の画像センサーのうちの特定の１つに専用化することを含むことができる。

【0164】

[00173] いくつかの態様では、プロセス８００は、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあると決定することと、１つまたは複数の物体のロケーションに基づいて、手に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することとを含むことができる。いくつかの態様では、プロセス８００は、手が画像キャプチャデバイスのＦＯＶの外側にあると決定したことに基づいて、モバイルデバイスの複数のプロセッサ（たとえば、ＩＳＰなど）によるモバイルデバイスの複数の画像キャプチャデバイスの使用を制御することを含むことができる。いくつかの場合には、複数のプロセッサによる複数の画像キャプチャデバイスの使用を制御することは、複数のプロセッサのうちの１つに、複数のプロセッサのうちの２つまたはそれ以上によって前に共有された複数の画像キャプチャデバイスのうちの特定の１つを専用化することを含むことができる。

【0165】

[00174] いくつかの態様では、プロセス８００は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定したことに基づいて、モバイルデバイスの複数のプロセッサによるモバイルデバイスの複数の画像キャプチャデバイスの使用を制御することを含むことができる。いくつかの例では、複数の画像キャプチャデバイスは、上記画像キャプチャデバイスを含むことができる。いくつかの場合には、複数のプロセッサによる複数の画像キャプチャデバイスの使用を制御することは、複数のプロセッサのうちの１つに、複数のプロセッサのうちの２つまたはそれ以上によって前に共有された複数の画像キャプチャデバイスのうちの特定の１つを専用化することを含むことができる。いくつかの例では、複数のプロセッサの各々は画像信号プロセッサを含むことができ、複数の画像キャプチャデバイスの各々は画像センサーを含むことができる。

【0166】

[00175] いくつかの態様では、プロセス８００は、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに応答して、アクティブカメラ設定を画像キャプチャデバイスから異なる画像キャプチャデバイスに切り替えることと、切り替えられたアクティブカメラ設定が、１つまたは複数の画像をキャプチャするために異なる画像キャプチャデバイスを使用するように装置をトリガする、を含むことができる。

【0167】

[00176] いくつかの態様では、プロセス８００は、１つまたは複数の反射経路に基づいて、１つまたは複数の物体からの物体の形状を決定することと、物体の形状に基づいて、物体がユーザに関連付けられた手であると決定することとを含むことができる。いくつかの態様では、プロセス８００は、画像キャプチャデバイスによってキャプチャされた画像を使用して、手のクロップされた画像を生成することと、クロップされた画像を宛先デバイス（たとえば、宛先デバイス７０２、モバイルデバイス７０４）に送ることとを含むことができる。いくつかの場合には、プロセス８００は、宛先デバイスに、クロップされた画像と、物理的空間のマップ内の手の追跡された姿勢および／または手のジェスチャーについての要求とを送ることを含むことができる。いくつかの例では、クロップされた画像は、１つまたは複数の物体のロケーションに基づいて生成され得る。いくつかの例では、１つまたは複数の物体のロケーションは手ロケーションを含む。いくつかの場合には、宛先デバイスは、サーバ（たとえば、サーバ１７２）および／またはモバイルデバイス（たとえば、ＵＥ１０４、ユーザデバイス２１０、ワイヤレスデバイス３００、モバイルデバイス４０２、モバイルデバイス７０４）を含むことができる。

【0168】

[00177] いくつかの態様では、プロセス８００は、１つまたは複数の反射経路に基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することを含むことができる。いくつかの場合には、クロップされた画像は、１つまたは複数の物体のロケーションに基づいて生成される。いくつかの例では、１つまたは複数の物体のロケーションは手ロケーションを含むことができる。いくつかの態様では、プロセス８００は、関連付けられた物体のそれぞれの距離が距離しきい値内にあることに基づいて、１つまたは複数の反射経路のうちの少なくとも１つを選択することを含むことができる。

【0169】

[00178] いくつかの例では、モバイルデバイスは、ＸＲデバイス（たとえば、ＸＲデバイス６２０、ＸＲデバイス７０６）であり得る。いくつかの場合には、モバイルデバイスは、ヘッドマウントディスプレイを含むことができる。

【0170】

[00179] いくつかの態様では、プロセス８００は、機械学習アルゴリズムを使用して、モバイルデバイスのユーザに関連付けられた手、および／または手に対する画像キャプチャデバイスのビューの妨害を検出することを含むことができる。いくつかの場合には、手は１つまたは複数の物体のうちの少なくとも１つを含むことができる。

【0171】

[00180] いくつかの態様では、プロセス８００は、１つまたは複数の反射経路に基づいて、物理的空間のマップ、および／またはユーザの手に関連付けられた手ジェスチャーを決定することを含むことができる。

【0172】

[00181] いくつかの例では、本明細書で説明されるプロセス（たとえば、プロセス８００および／または本明細書で説明される他のプロセス）は、コンピューティングデバイスまたは装置（たとえば、ＵＥ、ＸＲデバイスなど）によって実施され得る。一例では、プロセス８００は、図２のユーザデバイス２１０によって実施され得る。別の例では、プロセス８００は、図９に示されているコンピューティングシステム９００をもつコンピューティングデバイスによって実施され得る。たとえば、図９に示されているコンピューティングアーキテクチャをもつコンピューティングデバイスは、図２のユーザデバイス２１０の構成要素を含むことができ、図８の動作を実装することができる。

【0173】

[00182] いくつかの場合には、コンピューティングデバイスまたは装置は、１つまたは複数の入力デバイス、１つまたは複数の出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、１つまたは複数のカメラ、１つまたは複数のセンサー、および／あるいは本明細書で説明されるプロセスのステップを行うように構成された（１つまたは複数の）他の構成要素など、様々な構成要素を含み得る。いくつかの例では、コンピューティングデバイスは、ディスプレイ、データを通信および／または受信するように構成された１つまたは複数のネットワークインターフェース、それらの任意の組合せ、ならびに／あるいは（１つまたは複数の）他の構成要素を含み得る。１つまたは複数のネットワークインターフェースは、３Ｇ、４Ｇ、５Ｇ、および／または他のセルラー規格に従うデータ、Ｗｉ－Ｆｉ（８０２．１１ｘ）規格に従うデータ、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に従うデータ、インターネットプロトコル（ＩＰ）規格に従うデータ、ならびに／あるいは他のタイプのデータを含む、ワイヤードおよび／またはワイヤレスデータを通信および／または受信するように構成され得る。

【0174】

[00183] コンピューティングデバイスの構成要素は、回路において実装され得る。たとえば、構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／または他の好適な電子回路）を含むことができる、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはそれらを使用して実装され得、ならびに／あるいは、コンピュータソフトウェア、ファームウェア、もしくはそれらの任意の組合せを含むことができ、および／またはそれらを使用して実装され得る。

【0175】

[00184] プロセス８００は、論理フロー図として示され、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せで実装され得る動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されたとき、具陳された動作を実施する、１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されるものではなく、任意の数の説明される動作は、プロセスを実装するために任意の順序でおよび／または並行して組み合わせられ得る。

【0176】

[00185] さらに、本明細書で説明されるプロセス８００および／または他のプロセスは、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで実行するコード（たとえば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は非一時的であり得る。

【0177】

[00186] 図９は、本技術のいくつかの態様を実装するためのシステムの一例を示す図である。特に、図９は、コンピューティングシステム９００の一例を示し、これは、たとえば、システムの構成要素が接続９０５を使用して互いに通信している、内部コンピューティングシステム、リモートコンピューティングシステム、カメラ、またはそれらの任意の構成要素を構成する任意のコンピューティングデバイスであり得る。接続９０５は、バスを使用したプロセッサ９１０への物理接続、または、チップセットアーキテクチャなどにおける、プロセッサ９１０への直接接続であり得る。接続９０５はまた、仮想接続、ネットワーク化された接続、または論理接続であり得る。

【0178】

[00187] いくつかの実施形態では、コンピューティングシステム９００は、本開示で説明される機能がデータセンター、複数のデータセンター、ピアネットワーク内などに分散され得る分散システムである。いくつかの実施形態では、説明されるシステム構成要素のうちの１つまたは複数は、構成要素がそれについて説明される機能の一部または全部を各々実施する多くのそのような構成要素を表す。いくつかの実施形態では、構成要素は、物理デバイスまたは仮想デバイスであり得る。

【0179】

[00188] 例示的なシステム９００は、少なくとも１つの処理ユニット（ＣＰＵまたはプロセッサ）９１０と接続９０５とを含み、接続９０５は、読取り専用メモリ（ＲＯＭ）９２０およびランダムアクセスメモリ（ＲＡＭ）９２５など、システムメモリ９１５を含む様々なシステム構成要素を、プロセッサ９１０に通信可能に結合する。コンピューティングシステム９００は、プロセッサ９１０と直接接続された、プロセッサ９１０に極めて近接した、またはプロセッサ９１０の一部として統合された、高速メモリのキャッシュ９１２を含むことができる。

【0180】

[00189] プロセッサ９１０は、任意の汎用プロセッサと、プロセッサ９１０ならびに専用プロセッサを制御するように構成された、記憶デバイス９３０に記憶されたサービス９３２、９３４、および９３６など、ハードウェアサービスまたはソフトウェアサービスとを含むことができ、ここで、ソフトウェア命令が実際のプロセッサ設計に組み込まれる。プロセッサ９１０は、本質的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含んでいる、完全自己完結型コンピューティングシステムであり得る。マルチコアプロセッサは、対称的または非対称的であり得る。

【0181】

[00190] ユーザ対話を可能にするために、コンピューティングシステム９００は入力デバイス９４５を含み、入力デバイス９４５は、音声のためのマイクロフォン、ジェスチャーまたはグラフィカル入力のためのタッチセンシティブスクリーン、キーボード、マウス、動き入力、音声など、任意の数の入力機構を表すことができる。コンピューティングシステム９００は、いくつかの出力機構のうちの１つまたは複数であり得る、出力デバイス９３５をも含むことができる。いくつかの事例では、マルチモーダルシステムは、ユーザがコンピューティングシステム９００と通信するために複数のタイプの入出力を提供することを可能にすることができる。

【0182】

[00191] コンピューティングシステム９００は、概してユーザ入力とシステム出力とを統制および管理することができる、通信インターフェース９４０を含むことができる。通信インターフェースは、オーディオジャック／プラグ、マイクロフォンジャック／プラグ、ユニバーサルシリアルバス（ＵＳＢ）ポート／プラグ、Ａｐｐｌｅ（登録商標）Ｌｉｇｈｔｎｉｎｇ（登録商標）ポート／プラグ、イーサネット（登録商標）ポート／プラグ、光ファイバーポート／プラグ、プロプライエタリワイヤードポート／プラグ、３Ｇ、４Ｇ、５Ｇおよび／または他のセルラーデータネットワークワイヤレス信号転送、Ｂｌｕｅｔｏｏｔｈ（登録商標）ワイヤレス信号転送、Ｂｌｕｅｔｏｏｔｈ（登録商標）低エネルギー（ＢＬＥ）ワイヤレス信号転送、ＩＢＥＡＣＯＮ（登録商標）ワイヤレス信号転送、無線周波数識別（ＲＦＩＤ）ワイヤレス信号転送、ニアフィールド通信（ＮＦＣ）ワイヤレス信号転送、専用短距離通信（ＤＳＲＣ）ワイヤレス信号転送、９０２．１１Ｗｉ－Ｆｉワイヤレス信号転送、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）信号転送、可視光通信（ＶＬＣ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ（登録商標））、赤外線（ＩＲ）通信ワイヤレス信号転送、公衆交換電話網（ＰＳＴＮ）信号転送、統合サービスデジタルネットワーク（ＩＳＤＮ）信号転送、アドホックネットワーク信号転送、電波信号転送、マイクロ波信号転送、赤外線信号転送、可視光信号転送、紫外光信号転送、電磁スペクトルに沿ったワイヤレス信号転送、またはそれらの何らかの組合せを利用するものを含む、ワイヤードトランシーバおよび／またはワイヤレストランシーバを使用して、ワイヤード通信またはワイヤレス通信の受信および／または送信を実施するか、または容易にし得る。

【0183】

[00192] 通信インターフェース９４０はまた、１つまたは複数のグローバルナビゲーション衛星システム（ＧＮＳＳ）システムに関連付けられた１つまたは複数の衛星からの１つまたは複数の信号の受信に基づいてコンピューティングシステム９００のロケーションを決定するために使用される１つまたは複数のＧＮＳＳ受信機またはトランシーバを含み得る。ＧＮＳＳシステムは、限定はしないが、米国ベースの全地球測位システム（ＧＰＳ）と、ロシアベースの全地球航法衛星システム（ＧＬＯＮＡＳＳ）と、中国ベースの北斗航法衛星システム（ＢＤＳ）と、欧州ベースのＧａｌｉｌｅｏ ＧＮＳＳとを含む。任意の特定のハードウェア構成上で動作することに対する制限はなく、したがって、ここでの基本的特徴は、改善されたハードウェア構成またはファームウェア構成が開発されるにつれて、それらで容易に代用され得る。

【0184】

[00193] 記憶デバイス９３０は、不揮発性および／または非一時的および／またはコンピュータ可読メモリデバイスであり得、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、磁気ストリップ／ストライプ、任意の他の磁気記憶媒体、フラッシュメモリ、メモリスタメモリ、任意の他の固体メモリ、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）光ディスク、書換え可能コンパクトディスク（ＣＤ）光ディスク、デジタルビデオディスク（ＤＶＤ）光ディスク、ｂｌｕ－ｒａｙ（登録商標）ディスク（ＢＤＤ）光ディスク、ホログラフィック光ディスク、別の光媒体、セキュアデジタル（ＳＤ）カード、マイクロセキュアデジタル（ｍｉｃｒｏＳＤ）カード、Ｍｅｍｏｒｙ Ｓｔｉｃｋ（登録商標）カード、スマートカードチップ、ＥＭＶチップ、加入者識別モジュール（ＳＩＭ）カード、ミニ／マイクロ／ナノ／ピコＳＩＭカード、別の集積回路（ＩＣ）チップ／カード、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュＥＰＲＯＭ（ＦＬＡＳＨＥＰＲＯＭ）、キャッシュメモリ（たとえば、レベル１（Ｌ１）キャッシュ、レベル２（Ｌ２）キャッシュ、レベル３（Ｌ３）キャッシュ、レベル４（Ｌ４）キャッシュ、レベル５（Ｌ５）キャッシュ、または他の（Ｌ＃）キャッシュ）、抵抗性ランダムアクセスメモリ（ＲＲＡＭ（登録商標）／ＲｅＲＡＭ）、相変化メモリ（ＰＣＭ）、スピン転送トルクＲＡＭ（ＳＴＴ－ＲＡＭ）、別のメモリチップまたはカートリッジ、および／あるいはそれらの組合せなど、コンピュータによってアクセス可能であるデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。

【0185】

[00194] 記憶デバイス９３０は、ソフトウェアサービス、サーバ、サービスなどを含むことができ、それらは、そのようなソフトウェアを定義するコードがプロセッサ９１０によって実行されるとき、システムに機能を実施させる。いくつかの実施形態では、特定の機能を実施するハードウェアサービスは、その機能を行うために、プロセッサ９１０、接続９０５、出力デバイス９３５など、必要なハードウェア構成要素に関して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブル記憶デバイス、光記憶デバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または搬送することが可能な様々な他の媒体を含む。

【0186】

[00195] コンピュータ可読媒体は、データがそこに記憶され得る非一時的媒体を含み得、それは、ワイヤレスにまたはワイヤード接続を介して伝搬する搬送波および／または一時的電子信号を含まない。非一時的媒体の例は、限定はしないが、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組合せを表し得る、コードおよび／または機械実行可能命令をその上に記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリコンテンツをパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介してパス、フォワーディング、または送信され得る。

【0187】

[00196] 本明細書で提供される実施形態および例の完全な理解を提供するために、具体的な詳細が上記の説明で提供されるが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明概念が、場合によっては様々に具現および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書で説明された環境および適用例以外に、任意の数の環境および適用例において利用され得る。したがって、本明細書および図面は、限定的ではなく例示的と見なされるべきである。例示の目的で、方法は、特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。

【0188】

[00197] 説明の明快のために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアで具現される方法におけるステップまたはルーチン、あるいはハードウェアとソフトウェアとの組合せを備える個々の機能ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不要な詳細で不明瞭にしないためにブロック図の形態で構成要素として示され得る。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示され得る。

【0189】

[00198] さらに、本明細書で開示される態様に関して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明された。そのような機能がハードウェアとして実装されるのかソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。

【0190】

[00199] 個々の実施形態は、フローチャート、流れ図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として、上記で説明され得る。フローチャートは、動作を逐次的なプロセスとして説明し得るが、動作の多くは、並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。それの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応することができる。

【0191】

[00200] 上記で説明された例によるプロセスおよび方法は、記憶されるかまたはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、または処理デバイスが、ある機能または機能のグループを実施することを引き起こすか、あるいはさもなければそれらを実施するように構成する、命令とデータとを含むことができる。使用されるコンピュータリソースの部分が、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードであり得る。命令、使用される情報、および／または説明される例による方法中に作成される情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク化された記憶デバイスなどを含む。

【0192】

[00201] いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含んでいるケーブル信号またはワイヤレス信号を含むことができる。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。

【0193】

[00202] 情報および信号は、様々な異なる技術および技法のいずれかを使用して表され得ることを当業者は諒解されよう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、いくつかの場合には、部分的に特定の適用例、部分的に所望の設計、部分的に対応する技術などに応じて、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。

【0194】

[00203] 本明細書で開示される態様に関して説明された様々な例示的な論理ブロック、モジュール、および回路は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを使用して実装または実施され得、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読または機械可読媒体に記憶され得る。（１つまたは複数の）プロセッサが、必要なタスクを実施し得る。フォームファクタの例は、ラップトップ、スマートフォン、モバイルフォン、タブレットデバイスまたは他のスモールフォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明される機能はまた、周辺機器またはアドインカードで具現され得る。そのような機能はまた、さらなる例として、単一のデバイスにおいて実行する異なるチップまたは異なるプロセスの間で回路板上に実装され得る。

【0195】

[00204] 命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための例示的な手段である。

【0196】

[00205] 本明細書で説明された技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明された特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法、アルゴリズム、および／または動作のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。

【0197】

[00206] プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明された技法のいずれかを実施するように構成され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、あるいは本明細書で説明された技法の実装に好適な任意の他の構造または装置のいずれかを指し得る。

【0198】

[00207] 本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本説明の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。

【0199】

[00208] 構成要素がいくつかの動作を実施する「ように構成される」ものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、あるいはそれらの任意の組合せで達成され得る。

【0200】

[00209] 「に結合された」または「に通信可能に結合された」という句は、直接的にまたは間接的にのいずれかで別の構成要素に物理的に接続された任意の構成要素、および／あるいは直接的にまたは間接的にのいずれかで別の構成要素と通信している（たとえば、ワイヤードまたはワイヤレス接続および／あるいは他の好適な通信インターフェースを介して別の構成要素に接続された）任意の構成要素を指す。

【0201】

[00210] セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つまたは複数」を具陳するクレームの文言または他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーがクレームを満足することを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」または「ＡまたはＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」または「Ａ、Ｂ、またはＣのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、Ｃ、またはＡおよびＢ、またはＡおよびＣ、またはＢおよびＣ、またはＡおよびＢおよびＣを意味する。セット「のうちの少なくとも１つ」および／またはセットのうちの「１つまたは複数」という文言は、セットを、セットに記載されている項目に限定しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」または「ＡまたはＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットに記載されていない項目を含むことができる。

【0202】

[00211] 本開示の例示的な例は、以下を含む。

【0203】

[00212] 態様１：少なくとも１つのメモリと、少なくとも１つのメモリに結合された１つまたは複数のプロセッサとを備える装置であって、１つまたは複数のプロセッサは、無線周波数（ＲＦ）検知データを取得することと、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、１つまたは複数の反射経路を、装置に関連付けられた画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、比較に基づいて、装置および画像キャプチャデバイスのうちの少なくとも１つによるアクションをトリガすることとを行うように構成された、装置。

【0204】

[00213] 態様２：１つまたは複数のプロセッサは、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定したことに基づいて、画像キャプチャデバイスの電力設定を、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるときの画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することとを行うように構成された、態様１に記載の装置。

【0205】

[00214] 態様３：１つまたは複数のプロセッサは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに基づいて、画像キャプチャデバイスの電力設定を異なる電力状態に調整することとを行うように構成された、態様２に記載の装置。

【0206】

[00215] 態様４：１つまたは複数のプロセッサは、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することと、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定したことに基づいて、画像キャプチャデバイスの電力設定を、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるときの画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することと、ここにおいて、アクションをトリガすることが、１つまたは複数の物体に対する画像キャプチャデバイスのビューが妨害されると決定したことにさらに基づく、を行うように構成された、態様１から３のいずれかに記載の装置。

【0207】

[00216] 態様５：１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定するために、１つまたは複数のプロセッサは、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあると決定することと、１つまたは複数の物体のロケーションに基づいて、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することとを行うようにさらに構成された、態様４に記載の装置。

【0208】

[00217] 態様６：画像キャプチャデバイスが複数の画像センサーを備え、ここにおいて、トリガされたアクションが、画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、画像キャプチャデバイスの電力設定を制御するために、１つまたは複数のプロセッサが、複数の画像センサーの個々の電力設定を制御するように構成された、態様１から５のいずれかに記載の装置。

【0209】

[00218] 態様７：複数の画像センサーの個々の電力設定を制御するために、１つまたは複数のプロセッサは、手が複数の画像センサーのうちの特定の１つのＦＯＶ内にあると決定したことに基づいて、画像処理のために装置の複数のプロセッサのうちの少なくとも１つを複数の画像センサーのうちの特定の１つに専用化するように構成された、態様６に記載の装置。

【0210】

[00219] 態様８：１つまたは複数のプロセッサは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定したことに基づいて、装置の複数のプロセッサによる装置の複数の画像キャプチャデバイスの使用を制御すること、複数の画像キャプチャデバイスが上記画像キャプチャデバイスを含む、を行うように構成された、態様１から７のいずれかに記載の装置。

【0211】

[00220] 態様９：複数のプロセッサによる複数の画像キャプチャデバイスの使用を制御するために、１つまたは複数のプロセッサが、複数のプロセッサのうちの１つに、複数のプロセッサのうちの２つまたはそれ以上によって前に共有された複数の画像キャプチャデバイスのうちの特定の１つを専用化するように構成された、態様７に記載の装置。

【0212】

[00221] 態様１０：複数のプロセッサの各々が画像信号プロセッサを備え、複数の画像キャプチャデバイスの各々が画像センサーを備える、態様７に記載の装置。

【0213】

[00222] 態様１１：１つまたは複数のプロセッサは、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに応答して、アクティブカメラ設定を画像キャプチャデバイスから異なる画像キャプチャデバイスに切り替えることと、切り替えられたアクティブカメラ設定が、１つまたは複数の画像をキャプチャするために異なる画像キャプチャデバイスを使用するように装置をトリガする、を行うように構成された、態様１から１０のいずれかに記載の装置。

【0214】

[00223] 態様１２：１つまたは複数の物体のうちの少なくとも１つが、装置のユーザに関連付けられた手を備える、態様１から１１のいずれかに記載の装置。

【0215】

[00224] 態様１３：１つまたは複数のプロセッサが、送信されたＲＦ信号の直接経路を備えるＲＦ信号の経路を決定することと、ＲＦ信号の経路に基づいて、装置に対する１つまたは複数の物体のロケーションを決定することとを行うように構成された、態様１から１２のいずれかに記載の装置。

【0216】

[00225] 態様１４：１つまたは複数のプロセッサが、１つまたは複数の反射経路に関連付けられたそれぞれの距離、それぞれの方位角、およびそれぞれの仰角のうちの少なくとも１つを決定することと、それぞれの距離、それぞれの方位角、およびそれぞれの仰角のうちの少なくとも１つに基づいて、装置に対する１つまたは複数の物体のロケーションを決定することとを行うように構成された、態様１から１３のいずれかに記載の装置。

【0217】

[00226] 態様１５：トリガされたアクションが、画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、画像キャプチャデバイスの電力設定を制御することは、光源レベルがしきい値を下回ることにさらに基づく、態様１から１４のいずれかに記載の装置。

【0218】

[00227] 態様１６：トリガされたアクションが、画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、画像キャプチャデバイスの電力設定を制御することが、プライバシー設定にさらに基づき、ここにおいて、プライバシー設定が、ユーザ入力、アプリケーションデータ、およびグローバルナビゲーション衛星システム（ＧＮＳＳ）データのうちの少なくとも１つに基づく、態様１から１４のいずれかに記載の装置。

【0219】

[00228] 態様１７：１つまたは複数のプロセッサが、ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、１つまたは複数の物体のサイズおよび形状のうちの少なくとも１つを決定することを行うように構成された、態様１から１６のいずれかに記載の装置。

【0220】

[00229] 態様１８：１つまたは複数のプロセッサは、ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、１つまたは複数の物体からの物体の形状を決定することと、物体の形状に基づいて、物体が装置のユーザに関連付けられた手を備えると決定することと、画像キャプチャデバイスによってキャプチャされた画像を使用して、手のクロップされた画像を生成することとを行うように構成された、態様１から１７のいずれかに記載の装置。

【0221】

[00230] 態様１９：１つまたは複数のプロセッサが、１つまたは複数の反射経路に基づいて、装置に対する１つまたは複数の物体のロケーションを決定することを行うように構成され、ここにおいて、クロップされた画像が、１つまたは複数の物体のロケーションに基づいて生成され、ここにおいて、１つまたは複数の物体のロケーションが手ロケーションを備える、態様１８に記載の装置。

【0222】

[00231] 態様２０：１つまたは複数のプロセッサは、関連付けられた物体のそれぞれの距離が距離しきい値内にあることに基づいて、１つまたは複数の反射経路から、１つまたは複数の反射経路のうちの少なくとも１つを選択することを行うように構成された、態様１８に記載の装置。

【0223】

[00232] 態様２１：１つまたは複数のプロセッサが、クロップされた画像を宛先デバイスに送ることを行うように構成された、態様１８に記載の装置。

【0224】

[00233] 態様２２：宛先デバイスがサーバおよびモバイルデバイスのうちの少なくとも１つを備え、ここにおいて、装置がエクステンデッドリアリティデバイスを備える、態様２１に記載の装置。

【0225】

[00234] 態様２３：１つまたは複数の物体のうちの少なくとも１つが、装置のユーザの手を備え、ここにおいて、１つまたは複数のプロセッサが、ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、物理的空間のマップとユーザの手に関連付けられた手ジェスチャーとのうちの少なくとも１つを決定することを行うように構成された、態様１から２２のいずれかに記載の装置。

【0226】

[00235] 態様２４：トリガされたアクションが、１つまたは複数の物体を含んでいる画像の部分を抽出することを備える、態様１から２３のいずれかに記載の装置。

【0227】

[00236] 態様２５：トリガされたアクションが、１つまたは複数の物体の１つまたは複数の画像をキャプチャすべきかどうかを決定することを備え、トリガされたアクションは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるという決定にさらに基づく、態様１から２４のいずれかに記載の装置。

【0228】

[00237] 態様２６：装置が拡張現実デバイス（augmented reality device）を備える、態様１から２５のいずれかに記載の装置。

【0229】

[00238] 態様２７：拡張現実デバイスがヘッドマウントディスプレイを備える、態様２６に記載の装置。

【0230】

[00239] 態様２８：１つまたは複数のプロセッサは、機械学習アルゴリズムを使用して、装置のユーザに関連付けられた手と手に対する画像キャプチャデバイスのビューの妨害とのうちの少なくとも１つを検出すること、ここにおいて、手が１つまたは複数の物体のうちの少なくとも１つを備える、を行うように構成された、態様１から２７のいずれかに記載の装置。

【0231】

[00240] 態様２９：ＲＦ検知データがチャネル状態情報（ＣＳＩ）データを備える、態様１から２８のいずれかに記載の装置。

【0232】

[00241] 態様３０：装置がモバイルデバイスを備える、態様１から２９のいずれかに記載の装置。

【0233】

[00242] 態様３１：モバイルデバイスがウェアラブルデバイスを備える、態様１から３０のいずれかに記載の装置。

【0234】

[00243] 態様３２：送信されたＲＦ信号が、宛先デバイスからのダウンリンク物理レイヤプロトコルデータユニット（ＤＬ－ＰＰＤＵ）を備える、態様１から３１のいずれかに記載の装置。

【0235】

[00244] 態様３３：送信されたＲＦ信号がＷｉ－Ｆｉレーダー信号を備える、態様１から３２のいずれかに記載の装置。

【0236】

[00245] 態様３４：無線周波数（ＲＦ）検知データを取得することと、ＲＦ検知データに基づいて、１つまたは複数の反射ＲＦ信号の１つまたは複数の反射経路を決定することと、ここにおいて、各反射ＲＦ信号が、物理的空間中の１つまたは複数の物体からの送信されたＲＦ信号の反射を備える、１つまたは複数の反射経路を、モバイルデバイスに関連付けられた画像キャプチャデバイスの視野（ＦＯＶ）と比較することと、比較に基づいて、画像キャプチャデバイスおよびモバイルデバイスのうちの少なくとも１つによるアクションをトリガすることとを備える、方法。

【0237】

[00246] 態様３５：比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあると決定したことに基づいて、画像キャプチャデバイスの電力設定を、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるときの画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することとをさらに備える、態様３４に記載の方法。

【0238】

[00247] 態様３６：１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに基づいて、画像キャプチャデバイスの電力設定を異なる電力状態に調整することとをさらに備える、態様３５に記載の方法。

【0239】

[00248] 態様３７：１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することと、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定したことに基づいて、画像キャプチャデバイスの電力設定を、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるときの画像キャプチャデバイスに関連付けられた異なる電力状態よりも低い調整された電力状態に設定することと、ここにおいて、アクションをトリガすることが、１つまたは複数の物体に対する画像キャプチャデバイスのビューが妨害されると決定したことにさらに基づく、をさらに備える、態様３４から３６のいずれかに記載の方法。

【0240】

[00249] 態様３８：１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することは、比較に基づいて、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあると決定することと、１つまたは複数の物体のロケーションに基づいて、１つまたは複数の物体に対する画像キャプチャデバイスのビューが少なくとも１つの物体によって妨害されると決定することとをさらに備える、態様３７に記載の方法。

【0241】

[00250] 態様３９：画像キャプチャデバイスが複数の画像センサーを備え、ここにおいて、トリガされたアクションが、画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、画像キャプチャデバイスの電力設定を制御することが、複数の画像センサーの個々の電力設定を制御することをさらに備える、態様３４から３８のいずれかに記載の方法。

【0242】

[00251] 態様４０：複数の画像センサーの個々の電力設定を制御することは、手が複数の画像センサーのうちの特定の１つのＦＯＶ内にあると決定したことに基づいて、画像処理のためにモバイルデバイスの複数のプロセッサのうちの少なくとも１つを複数の画像センサーのうちの特定の１つに専用化することをさらに備える、態様３４から３９のいずれかに記載の方法。

【0243】

[00252] 態様４１：１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあるという決定に基づいて、モバイルデバイスの複数のプロセッサによるモバイルデバイスの複数の画像キャプチャデバイスの使用を制御すること、複数の画像キャプチャデバイスが画像キャプチャデバイスを含む、をさらに備える、態様３４から４０のいずれかに記載の方法。

【0244】

[00253] 態様４２：複数のプロセッサによる複数の画像キャプチャデバイスの使用を制御するために、１つまたは複数のプロセッサが、複数のプロセッサのうちの１つに、複数のプロセッサのうちの２つまたはそれ以上によって前に共有された複数の画像キャプチャデバイスのうちの特定の１つを専用化するように構成された、態様４１に記載の装置。

【0245】

[00254] 態様４３：複数のプロセッサの各々が画像信号プロセッサを備え、複数の画像キャプチャデバイスの各々が画像センサーを備える、態様４１に記載の装置。

【0246】

[00255] 態様４４：１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定することと、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶの外側にあり、画像キャプチャデバイスのＦＯＶに対応するシーンの部分のほうへ移動していると決定したことに応答して、アクティブカメラ設定を画像キャプチャデバイスから異なる画像キャプチャデバイスに切り替えることと、切り替えられたアクティブカメラ設定が、１つまたは複数の画像をキャプチャするために異なる画像キャプチャデバイスを使用するようにモバイルデバイスをトリガする、をさらに備える、態様３４から４３のいずれかに記載の方法。

【0247】

[00256] 態様４５：１つまたは複数の物体のうちの少なくとも１つが、モバイルデバイスのユーザに関連付けられた手を備える、態様３４から４４のいずれかに記載の方法。

【0248】

[00257] 態様４６：送信されたＲＦ信号の直接経路を備えるＲＦ信号の経路を決定することと、ＲＦ信号の経路に基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することとをさらに備える、態様３４から４５のいずれかに記載の方法。

【0249】

[00258] 態様４７：１つまたは複数の反射経路に関連付けられたそれぞれの距離、それぞれの方位角、およびそれぞれの仰角のうちの少なくとも１つを決定することと、それぞれの距離、それぞれの方位角、およびそれぞれの仰角のうちの少なくとも１つに基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することとをさらに備える、態様３４から４６のいずれかに記載の方法。

【0250】

[00259] 態様４８：トリガされたアクションが、画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、画像キャプチャデバイスの電力設定を制御することは、光源レベルがしきい値を下回ることにさらに基づく、態様３４から４７のいずれかに記載の方法。

【0251】

[00260] 態様４９：トリガされたアクションが、画像キャプチャデバイスの電力設定を制御することを備え、ここにおいて、画像キャプチャデバイスの電力設定を制御することが、プライバシー設定にさらに基づき、ここにおいて、プライバシー設定が、ユーザ入力、アプリケーションデータ、およびグローバルナビゲーション衛星システム（ＧＮＳＳ）データのうちの少なくとも１つに基づく、態様３４から４７のいずれかに記載の方法。

【0252】

[00261] 態様５０：ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、１つまたは複数の物体のサイズおよび形状のうちの少なくとも１つを決定することをさらに備える、態様３４から４９のいずれかに記載の方法。

【0253】

[00262] 態様５１：ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、１つまたは複数の物体からの物体の形状を決定することと、物体の形状に基づいて、物体がモバイルデバイスのユーザに関連付けられた手を備えると決定することと、画像キャプチャデバイスによってキャプチャされた画像を使用して、手のクロップされた画像を生成することとをさらに備える、態様３４から５０のいずれかに記載の方法。

【0254】

[00263] 態様５２：１つまたは複数の反射経路に基づいて、モバイルデバイスに対する１つまたは複数の物体のロケーションを決定することをさらに備え、ここにおいて、クロップされた画像が、１つまたは複数の物体のロケーションに基づいて生成され、ここにおいて、１つまたは複数の物体のロケーションが手ロケーションを備える、態様５１に記載の方法。

【0255】

[00264] 態様５３：関連付けられた物体のそれぞれの距離が距離しきい値内にあることに基づいて、１つまたは複数の反射経路から、１つまたは複数の反射経路のうちの少なくとも１つを選択することをさらに備える、態様５１に記載の方法。

【0256】

[00265] 態様５４：クロップされた画像を宛先デバイスに送ることをさらに備える、態様５１に記載の方法。

【0257】

[00266] 態様５５：宛先デバイスがサーバおよびモバイルデバイスのうちの少なくとも１つを備え、ここにおいて、モバイルデバイスがエクステンデッドリアリティデバイスを備える、態様５４に記載の方法。

【0258】

[00267] 態様５６：１つまたは複数の物体のうちの少なくとも１つが、モバイルデバイスのユーザの手を備え、方法が、ＲＦ検知データおよび１つまたは複数の反射経路に基づいて、物理的空間のマップとユーザの手に関連付けられた手ジェスチャーとのうちの少なくとも１つを決定することをさらに備える、態様３４から５５のいずれかに記載の方法。

【0259】

[00268] 態様５７：トリガされたアクションが、１つまたは複数の物体を含んでいる画像の部分を抽出することを備える、態様３４から５５のいずれかに記載の方法。

【0260】

[00269] 態様５８：トリガされたアクションが、１つまたは複数の物体の１つまたは複数の画像をキャプチャすべきかどうかを決定することを備え、トリガされたアクションは、１つまたは複数の物体が画像キャプチャデバイスのＦＯＶに対応するシーンの部分内にあるという決定にさらに基づく、態様３４から５７のいずれかに記載の方法。

【0261】

[00270] 態様５９：機械学習アルゴリズムを使用して、モバイルデバイスのユーザに関連付けられた手と手に対する画像キャプチャデバイスのビューの妨害とのうちの少なくとも１つを検出すること、ここにおいて、手が１つまたは複数の物体のうちの少なくとも１つを備える、をさらに備える、態様３４から５８のいずれかに記載の方法。

【0262】

[00271] 態様６０：１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様３４から５８のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0263】

[00272] 態様６１：態様３４から５８のいずれかに記載の方法を実施するための手段を備える装置。

【0264】

[00273] 態様６２：装置が拡張現実デバイスを備える、態様６１に記載の装置。

【0265】

[00274] 態様６３：拡張現実デバイスがヘッドマウントディスプレイを備える、態様６２に記載の装置。

【0266】

[00275] 態様６４：装置がモバイルデバイスを備える、態様６１に記載の装置。

【0267】

[00276] 態様６５：装置がウェアラブルデバイスを備える、態様６１に記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【国際調査報告】