IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アップル インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-07
(45)【発行日】2025-03-17
(54)【発明の名称】デバイスロケーション検出
(51)【国際特許分類】
   G01S 11/06 20060101AFI20250310BHJP
   G01S 3/02 20060101ALI20250310BHJP
   H04M 1/72409 20210101ALI20250310BHJP
   H04W 4/029 20180101ALI20250310BHJP
【FI】
G01S11/06
G01S3/02
H04M1/72409
H04W4/029
【請求項の数】 20
(21)【出願番号】P 2023574729
(86)(22)【出願日】2022-06-01
(65)【公表番号】
(43)【公表日】2024-06-04
(86)【国際出願番号】 US2022031819
(87)【国際公開番号】W WO2022256438
(87)【国際公開日】2022-12-08
【審査請求日】2023-12-04
(31)【優先権主張番号】63/197,228
(32)【優先日】2021-06-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/543,421
(32)【優先日】2021-12-06
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Apple Inc.
【住所又は居所原語表記】One Apple Park Way,Cupertino, California 95014, U.S.A.
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】ワーナー, ベンジャミン エー.
(72)【発明者】
【氏名】ルドヴィーナ, ブレント エム.
(72)【発明者】
【氏名】エルタン, タンク
【審査官】山下 雅人
(56)【参考文献】
【文献】国際公開第2020/214708(WO,A1)
【文献】特開2018-191522(JP,A)
【文献】特開2021-025798(JP,A)
【文献】特開2018-124258(JP,A)
【文献】中国特許出願公開第111436040(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 1/00-G01S 3/86
G01S 11/00-G01S 11/16
H04B 7/24-H04B 7/26
H04W 4/00-H04W 99/00
(57)【特許請求の範囲】
【請求項1】
電子デバイスであって、
通信無線機と、
慣性センサと、
カメラセンサと、
ディスプレイデバイスと、
命令を記憶するメモリと、
前記命令を実行する1つ以上のプロセッサと、を備え、前記命令が、前記1つ以上のプロセッサに、
受信された慣性センサデータ及び受信されたカメラセンサデータを使用して、1つ以上の慣性変位測定値を決定させ、
前記1つ以上の慣性変位測定値に基づいて電子デバイスの軌道を決定させ、
ターゲット無線デバイスからビーコン信号を受信させ、前記ビーコン信号から少なくとも1つの信号強度値を決定させ、
前記軌道に沿った少なくとも1つのポジションに対応する前記少なくとも1つの信号強度値に基づいて、前記ターゲット無線デバイスへの少なくとも1つの近接度値を推定させ、
少なくとも前記軌道の一部、及び前記軌道に沿った前記少なくとも1つのポジションで前記ターゲット無線デバイスへの前記少なくとも1つの近接度値の推定値のインジケータをユーザインタフェースに提示させ、前記軌道が、前記電子デバイスが取った経路を表す、電子デバイス。
【請求項2】
前記1つ以上のプロセッサが前記命令を実行し、前記命令が、前記1つ以上のプロセッサに、更に、
信号強度値について複数のカテゴリからカテゴリを決定させ、
前記決定されたカテゴリに従って前記近接度値の前記インジケータを提示させる、請求項1に記載の電子デバイス。
【請求項3】
前記1つ以上のプロセッサが前記命令を実行し、前記命令が、前記1つ以上のプロセッサに、更に、
前記ユーザインタフェース内の前記軌道に沿った2次元ヒートマップ上に前記近接度値の前記インジケータを提示させる、請求項1に記載の電子デバイス。
【請求項4】
前記1つ以上のプロセッサが前記命令を実行し、前記命令が、前記1つ以上のプロセッサに、更に、
前記近接度値の前記インジケータを六角形グリッド上に提示させる、請求項1に記載の電子デバイス。
【請求項5】
測距センサを含む無線コントローラと、
前記命令を実行する前記1つ以上のプロセッサと、を更に備え、前記命令が、前記1つ以上のプロセッサに、更に、
測距ビュー、信号強度近接度ビュー、又は測距及び信号強度近接度ビューのうちの少なくとも1つを前記ユーザインタフェース内に選択的に提示させ、前記測距ビューを提示することが、
双方向測距動作中に、前記無線コントローラの前記測距センサを介して、前記ターゲット無線デバイスまでの範囲及び方向を決定することと、
前記ターゲット無線デバイスまでの前記範囲及び方向に基づいて、前記電子デバイスに対する前記ターゲット無線デバイスのターゲットポジション推定値を決定することと、を含み、
前記測距ビューを提示することが、前記ターゲット無線デバイスについての前記ターゲットポジション推定値と前記ターゲット無線デバイスへの前記方向についてのインジケータとのうちの少なくとも1つを表示すること、
を含む、請求項1に記載の電子デバイス。
【請求項6】
前記測距ビューを提示することを選択することが、前記ターゲット無線デバイスとの無線接続を確立することに応じて実行される、請求項5に記載の電子デバイス。
【請求項7】
前記1つ以上のプロセッサが前記命令を実行し、前記命令が、前記1つ以上のプロセッサに、更に、
前記ターゲット無線デバイスに、ビーコンレートを増加するように要求させる、請求項1に記載の電子デバイス。
【請求項8】
つ以上の無線測距動作が、超広帯域無線機を介して実行される測距動作を含む、請求項5に記載の電子デバイス。
【請求項9】
前記信号強度近接度ビュー及び前記測距ビューを提示することが、前記ターゲット無線デバイスへの前記近接度値の少なくとも1つのインジケータと、前記軌道に沿った前記ターゲット無線デバイスへの前記方向についての前記インジケータと、を前記ユーザインタフェースにおいて提示することを含む、請求項5に記載の電子デバイス。
【請求項10】
デバイスの1つ以上のプロセッサに動作を実行させるための命令を含むプログラムであって、前記動作が、
受信された慣性センサデータ及び受信されたカメラセンサデータを使用して、1つ以上の慣性変位測定値を決定することと、
前記1つ以上の慣性変位測定値に基づいて電子デバイスの軌道を決定することと、
ターゲット無線デバイスからビーコン信号を受信、前記ビーコン信号から少なくとも1つの信号強度値を決定することと、
前記軌道に沿った少なくとも1つのポジションに対応する前記少なくとも1つの信号強度値に基づいて、前記ターゲット無線デバイスへの少なくとも1つの近接度値を推定することと、
少なくとも前記軌道の一部、及び前記軌道に沿った前記少なくとも1つのポジションで前記ターゲット無線デバイスへの前記少なくとも1つの近接度値の推定値のインジケータをユーザインタフェースに提示することと、を含み、前記軌道が、前記電子デバイスが取った経路を表す、プログラム。
【請求項11】
前記動作が、
信号強度値について複数のカテゴリからカテゴリを決定することと、
前記決定されたカテゴリに従って前記近接度値の前記インジケータを提示することと、を更に含む、請求項10に記載のプログラム。
【請求項12】
前記動作が、
前記ユーザインタフェース内の前記軌道に沿った2次元ヒートマップ上に前記近接度値の前記インジケータを提示することを更に含む、請求項10に記載のプログラム。
【請求項13】
前記動作が、
前記近接度値の前記インジケータを六角形グリッド上に提示することを更に含む、請求項10に記載のプログラム。
【請求項14】
前記動作が、
測距ビュー、信号強度近接度ビュー、又は測距及び信号強度近接度ビューのうちの少なくとも1つを前記ユーザインタフェース内に選択的に提示することを更に含み、前記測距ビューを提示することが、
双方向測距動作中に、無線コントローラの測距センサを介して、前記ターゲット無線デバイスまでの範囲及び方向を決定することと、
前記ターゲット無線デバイスまでの前記範囲及び方向に基づいて、前記電子デバイスに対する前記ターゲット無線デバイスのターゲットポジション推定値を決定することと、を含み、
前記測距ビューを提示することが、前記ターゲット無線デバイスについての前記ターゲットポジション推定値と前記ターゲット無線デバイスへの前記方向についてのインジケータとのうちの少なくとも1つを表示することを含む、請求項10に記載のプログラム。
【請求項15】
前記測距ビューを提示することを選択することが、前記ターゲット無線デバイスとの無線接続を確立することに応じて実行される、請求項14に記載のプログラム。
【請求項16】
前記動作が、
前記ターゲット無線デバイスに、ビーコンレートを増加させるように要求することを更に含む、請求項10に記載のプログラム。
【請求項17】
つ以上の無線測距動作が、超広帯域無線機を介して実行される測距動作を含む、請求項14に記載のプログラム。
【請求項18】
前記信号強度近接度ビュー及び前記測距ビューを提示することが、前記ターゲット無線デバイスへの前記近接度値の少なくとも1つのインジケータと、前記軌道に沿った前記ターゲット無線デバイスへの前記方向についての前記インジケータと、を前記ユーザインタフェースにおいて提示することを含む、請求項14に記載のプログラム。
【請求項19】
方法であって、
受信された慣性センサデータ及び受信されたカメラセンサデータを使用して、1つ以上の慣性変位測定値を決定することと、
前記1つ以上の慣性変位測定値に基づいて電子デバイスの軌道を決定することと、
ターゲット無線デバイスからビーコン信号を受信、前記ビーコン信号から少なくとも1つの信号強度値を決定することと、
前記軌道に沿った少なくとも1つのポジションに対応する前記少なくとも1つの信号強度値に基づいて、前記ターゲット無線デバイスへの少なくとも1つの近接度値を推定することと、
少なくとも前記軌道の一部、及び前記軌道に沿った前記少なくとも1つのポジションで前記ターゲット無線デバイスへの前記少なくとも1つの近接度値の推定値のインジケータをユーザインタフェースに提示することと、を含み、前記軌道が、前記電子デバイスが取った経路を表す、方法。
【請求項20】
測距ビュー、信号強度近接度ビュー、又は測距及び信号強度近接度ビューのうちの少なくとも1つを前記ユーザインタフェース内に選択的に提示することを更に含み、前記測距ビューを提示することが、
双方向測距動作中に、無線コントローラの測距センサを介して、前記ターゲット無線デバイスまでの範囲及び方向を決定することと、
前記ターゲット無線デバイスまでの前記範囲及び方向に基づいて、前記電子デバイスに対する前記ターゲット無線デバイスのターゲットポジション推定値を決定することと、を更に含み、
前記測距ビューを提示することが、前記ターゲット無線デバイスについての前記ターゲットポジション推定値と前記ターゲット無線デバイスへの前記方向についてのインジケータとのうちの少なくとも1つを表示すること、
を含む、請求項19に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
関連出願の相互参照本出願は、2021年6月4日に出願された「Device Location Finding」と題された米国仮出願第63/197,228号、及び2021年12月6日に出願された「Device Location Finding」と題された米国特許出願第17/543,421号の優先権の利益を主張し、これらの各々は、参照により本明細書に組み込まれる。
【技術分野】
【0002】
本明細書で説明される実施形態は、デバイスロケータサービスを使用してデバイスを位置特定することに関する。
【背景技術】
【0003】
以前のデバイスロケータサービスは、デバイス間の接続が確立されていない場合、デバイスの位置を特定する際に意味のある支援を提供しない。特に、ユーザはしばしば、以前のアプローチを用いてデバイスの位置を特定しようとして同じ経路上を移動し、行方不明のデバイスにユーザを誘導するのを助けるためにより多くの情報を必要とする場合がある。したがって、改良されたロケータサービスを提供する必要がある。
【発明の概要】
【0004】
実施形態は、電子デバイス、非一時的機械可読媒体、及び方法を含む。いくつかの実施形態では、電子デバイスは、通信無線機、慣性センサ、カメラセンサ、ディスプレイデバイス、命令を記憶するためのメモリ、及び命令を実行するための1つ以上のプロセッサを含む。実施形態は、1つ以上のプロセッサに、慣性センサ及び受信されたカメラセンサデータを使用して1つ以上の慣性変位測定値を受信させ、1つ以上の慣性変位測定値に基づいて軌道を決定させ、ターゲット無線デバイスからビーコン信号を受信させ、ビーコン信号から少なくとも1つの信号強度値を決定させ、軌道に沿った少なくとも1つのポジションに対応する少なくとも1つの信号強度値に基づいて、ターゲット無線デバイスへの少なくとも1つの近接度値を推定させ、軌道に沿ったターゲット無線デバイスへの少なくとも1つの近接度値のインジケータをユーザインタフェースに提示させる命令を有し得る。
【0005】
1つ以上の実施形態では、1つ以上のプロセッサは命令を実行し、命令は更に、1つ以上のプロセッサに、信号強度値について複数のカテゴリからカテゴリを決定させ、決定されたカテゴリに従って近接度値のインジケータを提示させる。
【0006】
1つ以上の実施形態では、1つ以上のプロセッサは命令を実行し、命令は更に、1つ以上のプロセッサに、ユーザインタフェース内の軌道に沿った2次元ヒートマップ上に近接度値のインジケータを提示させる。
【0007】
1つ以上の実施形態では、1つ以上のプロセッサは命令を実行し、命令は更に、1つ以上のプロセッサに、近接度値のインジケータを六角形グリッド上に提示させる。
【0008】
1つ以上の実施形態では、測距センサを含む無線コントローラと、命令を実行する1つ以上のプロセッサであり、命令は更に、1つ以上のプロセッサに、測距ビュー、信号強度近接度ビュー、又は測距及び信号強度近接度ビューのうちの少なくとも1つをユーザインタフェース内に選択的に提示させ、測距ビューを提示することが、双方向測距動作中に、無線コントローラの測距センサを介して、ターゲット無線デバイスまでの範囲及び方向を決定することと、ターゲット無線デバイスまでの範囲及び方向に基づいて、電子デバイスに対するターゲット無線デバイスのターゲットポジション推定値を決定することと、を含み、測距ビューを提示することが、ターゲット無線デバイスについてのターゲットポジション推定値とターゲット無線デバイスへの方向についてのインジケータとのうちの少なくとも1つを表示することを含む。1つ以上の実施形態では、測距ビューを提示することを選択することは、ターゲット無線デバイスとの無線接続を確立することに応じて実行される。1つ以上の実施形態では、1つ以上のプロセッサは命令を実行し、命令は更に、1つ以上のプロセッサに、ターゲット無線デバイスに、ビーコンレートを増加するように要求させる。1つ以上の実施形態では、1つ以上の無線測距動作は、超広帯域無線機を介して実行される測距動作を含む。1つ以上の実施形態では、信号強度近接度ビュー及び測距ビューを提示することは、ターゲット無線デバイスへの近接度値の少なくとも1つのインジケータと、軌道に沿ったターゲット無線デバイスへの方向についてのインジケータと、をユーザインタフェースにおいて提示することを含む。
【図面の簡単な説明】
【0009】
図1A】本明細書に説明される実施形態による、デバイスロケータユーザインタフェースを図示する。
図1B】本明細書に説明される実施形態による、デバイスロケータユーザインタフェースを図示する。
【0010】
図1C】一実施形態による、モバイルデバイスのためのネットワーク動作環境100のブロック図である。
【0011】
図2】一実施形態による、無線アクセサリを位置特定するシステムを示す。
【0012】
図3】本明細書で説明される実施形態による、無線アクセサリをペアリング及び位置特定するためのシステムを示す。
【0013】
図4】本明細書で説明されるデバイスロケータシステムと共に使用するための方法を示すフロー図である。
【0014】
図5】本明細書で説明されるデバイスロケータシステムと共に使用するためのデバイスロケータユーザインタフェースを提示する方法を示すシーケンス図である。
【0015】
図6】一実施形態による、測距及び姿勢推定値がターゲットデバイスのターゲットポジション推定値を生成することを可能にするシステムを示す。
【0016】
図7】近接度強化がデバイスロケータアプリケーションのために有効化され得るシステムを示す。
【0017】
図8】一実施形態におけるデバイスロケータユーザインタフェースのための方法を示すフローチャートである。
【0018】
図9】デバイスロケータアプリケーションのための近接度強化されたユーザインタフェースを可能にする方法を示す。
【0019】
図10】デバイスロケータサーバを介して無線アクセサリのロケーションを決定する方法を示す。
【0020】
図11】デバイスロケータサーバを介して無線アクセサリのロケーションを決定する追加の方法を示す。
【0021】
図12】一実施形態による、無線アクセサリにおいて信号ビーコンをブロードキャストする方法を示すフロー図である。
【0022】
図13】本明細書に説明される実施形態による、ファインダデバイスによって実行され得る方法の動作を図示する。
図14】本明細書に説明される実施形態による、ファインダデバイスによって実行され得る方法の動作を図示する。
【0023】
図15】ある実施形態による、ファインダデバイスによる信号及び測距データの収集を図示する。
【0024】
図16】1つ以上の実施形態による、デバイスロケータユーザインタフェースを図示する。
図17】1つ以上の実施形態による、デバイスロケータユーザインタフェースを図示する。
図18】1つ以上の実施形態による、デバイスロケータユーザインタフェースを図示する。
図19】1つ以上の実施形態による、デバイスロケータユーザインタフェースを図示する。
図20】1つ以上の実施形態による、デバイスロケータユーザインタフェースを図示する。
図21】1つ以上の実施形態による、デバイスロケータユーザインタフェースを図示する。
【0025】
図22】いくつかの実施形態において使用され得る、例示的なAPIアーキテクチャを示すブロック図である。
【0026】
図23】一実施形態による、モバイルデバイス又は組み込みデバイス用のデバイスアーキテクチャのブロック図である。
【0027】
図24】一実施形態による、コンピューティングシステムのブロック図である。
【発明を実施するための形態】
【0028】
本明細書で説明される実施形態は、概して、ターゲットデバイスの位置特定に能動的に関与するユーザを案内又は支援するために、モバイルデバイス上に情報を提示するための技法を提供する。モバイルデバイスは、様々なデータソース及び/又は信号を使用して、ターゲットデバイス自体から受信された信号を含むターゲットデバイスの位置を特定するのを支援するための情報を提示することができる。ターゲットデバイスから受信される信号のタイプのアクセス可能性は、モバイルデバイスがターゲットデバイスのロケーション環境内であちこち移動されているときに変化し得る。データソース/信号がモバイルデバイスにアクセス可能であるときに情報を表すために、様々なユーザインタフェースビューがモバイルデバイスのユーザインタフェース内に提示され得る。
【0029】
一実施形態では、モバイルデバイスにおいて受信された信号からの信号強度測定値は、モバイルデバイスがターゲットデバイスに近接しているときを示すために、ユーザインタフェース内のターゲットデバイスへの近接度を表すために使用され得る。図1A及び図1Bは、本明細書で説明される実施形態による、モバイルデバイス2100上のデバイスロケータユーザインタフェース204を示す。図1Aに示されるような「近接度ビュー」2104は、視覚化技法を使用して近接情報を提示して、ターゲット無線アクセサリデバイスに関連する近接情報を提示することができる。一実施形態では、近接度ビュー2104は、ユーザインタフェース204内に提示された軌道2118に沿って位置決めされたユーザインタフェース要素などの視覚インジケータを有し、ユーザが探索において取った経路を表す。いくつかの実施形態では、視覚インジケータは、勾配、色、色勾配、サイズ、形状、及び/又は信号強度値及びターゲットデバイスに対する対応する定義された近接度カテゴリ(例えば、遠い、近い、間近など)を表すための任意の他の視覚化技法を用いて表示されるユーザインタフェース要素であり得る。「トミーのAirPods」を見つけるための近接度ビュー2104は、ユーザインタフェース204内の軌道2118に沿った様々なポジションにインジケータ2102、2106、2110、2112、及び2114を有する。近接度ビュー2104内の各インジケータは、ユーザインタフェース204内のサイズ及び色勾配によってターゲット無線アクセサリデバイスへの近接度を表すユーザインタフェース要素であってもよい。近接度ビュー2104において、例えば、インジケータ2106は、他のインジケータ(例えば、2102、2110、2112、及び2114)と比較してより暗い色及び/又はより大きいサイズによって表されるように、ターゲット無線アクセサリデバイスを見つけるためにユーザが取った軌道2118に沿ってターゲット無線アクセサリデバイスに最も近い。実施形態は、視覚慣性オドメトリ(VIO)測定値を使用して、ユーザがユーザインタフェース204内の探索において取った軌道2118を決定することができる。VIOは、任意の初期座標系においてモバイルデバイスの移動を追跡する能力を提供する。VIO技法は、画像のシーケンスにわたるカメラの動きを推定するために、モバイルデバイスを用いて収集された画像のシーケンスの分析を含む。
【0030】
いくつかの実施形態では、モバイルデバイスは、モバイルデバイスとターゲットデバイスとの間の通信を使用して、ターゲットデバイスからの範囲及びターゲットデバイスへの方向を決定する測距プロセスを可能にするターゲットデバイスの閾値範囲内に移動することができる。図1Bに示されるように、ユーザインタフェース204の「測距ビュー」2120は、選択的に表示され得るターゲットデバイスへの方向2108に加えて、距離測定値2116を提供し得る。ターゲットデバイスを見つけるための近接度ビュー2104は、いくつかの実施形態では、ターゲットデバイスがモバイルデバイスの閾値範囲内にないこと、ターゲットデバイス送信機がモバイルデバイスにおける受信機の視野内にないこと、及び/又はモバイルデバイスがターゲットデバイスへのほぼ遮られないビューを有さないことに起因して、測距ビュー2120のための測距データが利用可能でないときに使用され得る。ターゲットデバイスは、モバイルデバイスにおける受信機がターゲットデバイス送信機のビューを有するとき、モバイルデバイスの視野内にあり得る。
【0031】
いくつかの実施形態では、超広帯域(UWB)無線技術を使用する測距は、比較的正確なロケーション又は距離データをターゲットデバイスに提供することができるが、Bluetooth技術と比較して比較的短い範囲の無線周波数(RF)技術無線通信である。いくつかの実施形態では、モバイルデバイスUWB受信機が、最適な測距ロケーションデータを取得するために、ターゲットデバイス送信機への見通し線を有すること、又はターゲットデバイスのほぼ遮られないビューを有することが望ましい場合がある。信号強度情報の形態の近接情報は、UWBと比較して相対的に精度が低い可能性があるが、より長い範囲を提供するより広いエリアをカバーする可能性があり、無線接続が確立される前にアドバタイズメントから取得することができる。いくつかの実施形態では、双方向通信は、モバイルデバイスとターゲットデバイスとの間の接続を用いて確立されないことがあるが、モバイルデバイスにおいて受信されたアドバタイズメントは、接続を確立する前にターゲットデバイスにユーザを導くのを助けるために信号強度情報を提供することができる。技術の組み合わせは、ユーザがターゲット無線アクセサリデバイスの位置を特定するのを支援することができる。
【0032】
様々な実施形態では、図を参照して説明する。しかしながら、ある実施形態はこれらの特定の詳細うちの1つ以上を用いることなく、また、他の既知の方法及び構成と組み合わせることで実施することができる。以下の説明では、実施形態の徹底的な理解を提供するために、特定の構成、寸法、及びプロセスなど、多数の特定の詳細について述べる。他の場合、実施形態を不必要に曖昧にしないように、よく知られている半導体プロセス及び製造技法について特に詳細には説明しない。本明細書全体にわたって、「一実施形態」への参照は、その実施形態に関連して記載する特定の特徴、構造体、構成、又は特性が、少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体にわたって様々な場所における「一実施形態では」という語句への言及は、必ずしも同じ実施形態を参照しているとは限らない。更に、特定の特徴、構造、構成又は特性は、1つ以上の実施形態において任意に好適に組み合わせてもよい。
【0033】
以下の説明では、タッチ感知ディスプレイを含むコンピューティングデバイスについて説明する。しかしながら、コンピューティングデバイスは、1つ以上の他の物理ユーザインタフェースデバイスを含んでもよいことを理解されたい。デバイス上で実行することができる様々なアプリケーションは、タッチ感知面などの少なくとも1つの共通の物理ユーザインタフェースデバイスを使用することができる。タッチ感知面のうちの1つ以上の機能及びデバイス上に表示される対応する情報は、1つのアプリケーションから次のへと、及び/若しくはそれぞれのアプリケーション内で調整されてもよく、並びに/又は変更されてもよい。このように、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、直観的で透過的なユーザインタフェースを有する様々なアプリケーションをサポートし得る。
【0034】
いくつかのプロセスは、いくつかの順次動作に関して以下で説明される。しかしながら、記載された動作のいくつかは、異なる順序で実行されてもよいことを理解されたい。更には、一部の動作は、逐次的にではなく、並列して実行することができる。
【0035】
図1Cは、一実施形態による、モバイルデバイスのためのネットワーク動作環境100のブロック図である。ネットワーク動作環境100は、アクセサリデバイス101及びモバイルデバイス102などの複数のモバイルデバイスを含む。アクセサリデバイス101は、モバイルデバイス102とペアリングされ得る。一実施形態において、モバイルデバイス101は、デバイスグループとしてペアリングされ得るアクセサリデバイスのペアであり得る。任意選択で、アクセサリデバイス101を有するデバイスグループは、アクセサリデバイス101を保持するケースなど、有線接続を有するモバイルデバイス内に格納されてもよい。ケースはまた、いくつかの実施形態では、モバイルデバイス102とペアリングされ得るアクセサリデバイスであってもよい。例として、アクセサリデバイス101は、集合的に、Apple AirPods(登録商標)又はEarPods(登録商標)などのデバイスであってもよい。いくつかの実施形態において、アクセサリデバイス101は、ワイドエリアネットワークを介して通信することができない場合がある。多の実施形態では、モバイルデバイス101及び102は各々、無線ネットワーク及び無線アクセサリデバイスと通信することができる任意の電子デバイスとすることができる。いくつかの例示的なモバイルデバイスは、限定はしないが、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、ウェアラブルコンピュータ(例えば、スマートウォッチ又は他のウェアラブルコンピューティングアクセサリ)、モバイルメディアプレーヤ、携帯情報端末、AirPods(登録商標)、EarPods(登録商標)、ロケータタグ、ヘッドホン、ヘッドマウントディスプレイ、健康機器、及び他の同様のデバイスを含む。モバイルデバイス101及びモバイルデバイス102の各々は、任意選択で、モバイルデバイス102のユーザインタフェース104などのユーザインタフェースを含むことができる。他の実施形態では、モバイルデバイス101は、アクセサリデバイスとして、ユーザインタフェースを有していなくてもよい。モバイルデバイス101及び102は、デバイスロケータサービスにアクセスするためにアプリケーションプログラミングインタフェースを利用するサードパーティデバイスであり得る。サードパーティデバイスは、異なるデバイス製造業者によって提供され得るか、又はモバイルデバイス101及び102とは異なるエコシステム(例えば、オペレーティングシステム)の一部であり得る。モバイルデバイス101及び102は、データ通信を実行するために、1つ以上の有線及び/又は無線ネットワーク110を介して通信することができる。例えば、無線ネットワーク112(例えば、セルラーネットワーク、Wi-Fiネットワーク)は、ゲートウェイ116を使用することによって、インターネットなどのワイドエリアネットワーク114と通信することができる。同様に、モバイルホットスポット無線アクセスデバイスなどのアクセスデバイス118は、ワイドエリアネットワーク114への通信アクセスを提供することができる。次いで、ゲートウェイ116及びアクセスデバイス118は、有線及び/又は無線ネットワークの組み合わせを介してワイドエリアネットワーク114と通信することができる。
【0036】
いくつかの実装形態では、音声通信とデータ通信の両方が、無線ネットワーク112及び/又はアクセスデバイス118を介して確立され得る。例えば、モバイルデバイス102は、無線ネットワーク112、ゲートウェイ116、及びワイドエリアネットワーク114を介して(例えば、TCP/IP又はUDPプロトコルを使用して)、(例えば、VoIPプロトコルを使用して)電話呼び出しを発信及び受信し、(例えば、POP3プロトコルを使用して)電子メールメッセージを送受信し、ウェブページ、写真、及びビデオなどの電子文書及び/又はストリームを取り出すことができる。いくつかの実装形態では、モバイルデバイス102は、アクセスデバイス118及びワイドエリアネットワーク114を介して、電話呼び出しを発信及び受信し、電子メールメッセージを送受信し、電子文書を取り出すことができる。いくつかの実装形態では、モバイルデバイス101及び/又はモバイルデバイス102は、例えば、アクセスデバイス118がパーソナルコンピュータである場合、1つ以上のケーブルを使用してアクセスデバイス118に物理的に接続され得る。この構成では、モバイルデバイス101又はモバイルデバイス102は、「テザー」デバイスと呼ばれることがある。一実施形態では、モバイルデバイス101は、無線ピアツーピア接続120を介してモバイルデバイス102と通信することができる。無線ピアツーピア接続120は、デバイス間でデータを同期させるために使用され得る。
【0037】
モバイルデバイス101又はモバイルデバイス102は、1つ以上の有線及び/又は無線ネットワーク110を介して、電話サービス130、メッセージングサービス140、メディアサービス150、ストレージサービス160、及びデバイスロケータサービス170などの1つ以上のサービスと通信することができる。例えば、電話サービス130は、モバイルデバイス間、又はモバイルデバイスと有線電話デバイスとの間の電話通信を可能にすることができる。電話サービス130は、ワイドエリアネットワーク114を介してボイスオーバーIP(VoIP)呼び出しをルーティングすることができ、又はセルラー音声ネットワーク(例えば、無線ネットワーク112)にアクセスすることができる。メッセージングサービス140は、例えば、電子メール及び/又は他のメッセージングサービスを提供することができる。メディアサービス150は、例えば、歌ファイル、オーディオブック、映画ファイル、ビデオクリップ、及び他のメディアデータなどのメディアファイルへのアクセスを提供することができる。ストレージサービス160は、モバイルデバイス101及びモバイルデバイス102にネットワークストレージ能力を提供して、文書及びメディアファイルを記憶することができる。デバイスロケータサービス170は、ユーザが、少なくともある時点で、1つ以上の有線及び/又は無線ネットワーク110に接続されていた紛失又は置き忘れられたデバイスを位置特定することを可能にすることができる。モバイルデバイス上のオペレーティングシステムソフトウェア又はクライアントソフトウェアを更新するためのソフトウェア更新サービスを含む、他のサービスも提供され得る。一実施形態では、メッセージングサービス140、メディアサービス150、ストレージサービス160、及びデバイスロケータサービス170は各々、クラウドサービスプロバイダに関連付けることができ、様々なサービスは、モバイルデバイス101及び102に関連付けられたクラウドサービスアカウントを介して容易にされる。
【0038】
いくつかの実施形態において、アクセサリデバイス101及びモバイルデバイス102、並びに/又はデバイスグループは、認証局106に登録されてもよい。いくつかの実施形態では、認証局106は、デジタル証明書を発行するエンティティであり、サービスは、デバイス製造業者、サービスプロバイダ、又は登録サービスによって管理されるサーバのセットを使用して実装され得る。認証局106によって提供される証明書は、デバイスの特定の製造業者、シリアル番号、デバイスグループの識別子若しくは他の識別子、デバイスがデバイスグループの一部であることのインジケータ、及び/又は任意の他の検証可能な情報など、デバイスに関する受信された検証可能な情報の有効性を証明し得る。いくつかの実施形態では、デバイス製造業者は、デバイスグループ内のアクセサリデバイスのシリアル番号をグループ化することによって、デバイスグループを確立することができる。更なる実施形態では、証明書は、第三者に送信される前にデバイス101及び102によって暗号化することができ、第三者がアクセサリデバイス101、モバイルデバイス102、及び/又はデバイスグループ内のデバイスによって提供される情報の検証を要求するときに、認証サービス(例えば、認証局又は別の認証サービス)において復号化されてもよい。いくつかの実施形態では、セキュアトークンは、アクセサリデバイス101によるペアリング要求において提供され得る。ロケーションサービスを使用するペアリングされたデバイスの更なる例は、2021年3月21日に出願された「Secure Pairing and Pairing Lock for Accessory Devices」と題する米国特許出願第17/219,595号に見出され得、その全体が参照することによって本明細書に組み込まれる。
【0039】
モバイルデバイス101及び102は、ロケーションサービス180を含むデバイス上でローカルにアクセス可能なアプリケーション、サービス、及び機能を有し得る。特に、モバイルデバイス101及び/又は102は、デバイスロケータサービス170及びロケーションサービス180を利用するために、デバイスロケータアプリケーション(例えば、「Find my」アプリケーション)190を有し得る。ローカルにアクセス可能なデータは、既知のロケーション182及び安全な又は信頼できるロケーション184に記憶され得る。場合によっては、機械学習アルゴリズム186を使用して、既知のロケーション182及び/又は信頼できるロケーション184を識別し得る。クラスタ分析は、使用され得る機械学習アルゴリズムの例として提供されるが、当業者は、潜在的な既知の又は信頼できるロケーションを識別するために他のアルゴリズムが使用され得ることを認識するであろう。例として、クラスタデータ分析を使用して、ユーザが頻繁に訪れるロケーションなどのロケーションのセマンティックラベルを識別し、分類し、提供し得る。安全又は信頼できるロケーション184は、明示的に指定されるか、又はデータ分析後にデバイス102A~Bのユーザによってそのように確認されてもよい。他の例では、既知のロケーション182又は信頼できるロケーション184は、オフラインで分類され、デバイスロケータサービス170又はサードパーティ(例えば、マップ情報を有するデータベース)によって提供され得る。
【0040】
オンデバイスヒューリスティックス及び/又は機械学習モデルは、ユーザによって頻繁に訪問されるロケーション、既知のロケーション、及び/又は任意の他のロケーションを含む、頻繁に訪問されるロケーションでのローカルに記憶されたデータの分析に基づいて、ユーザとロケーションとの間の関係を推論するために使用され得る。例えば、自宅、車両、職場、モバイルデバイス(例えば、アクセサリデバイス101及びモバイルデバイス102)を有するユーザが頻繁に訪問する任意のロケーション、及び/又はユーザによって信頼できるロケーション184として指定された任意の他のロケーションなどの頻繁に訪れるロケーション。既知のロケーション182は、ビジネスロケーション、公共スペース、公園、博物館、及び/又はユーザが頻繁に訪れる可能性がある任意の他のロケーションであり得る。それぞれの記憶されたロケーションについての境界情報は、ロケーションについての分類タイプ及びロケーションに割り当てられた任意のセマンティックラベルと共に記憶され得る。記憶された情報は、ロケーションに対するジオフェンスの作成を可能にするために、境界の定義されたセット又はポイントロケーションの周りの半径距離を含み得る。ジオフェンスは、現実世界の地理的エリアの仮想的境界である。全地球測位システム(GPS)は、ロケーションの周りに仮想フェンスを作成し、ジオフェンス境界内のモバイルデバイス101及び102の物理的ロケーション並びに有界エリアへの進入及び退出を追跡するために使用され得る。
【0041】
機械学習アルゴリズム186は、オンデバイスヒューリスティックス、機械学習アルゴリズム、又はそれらの組み合わせを含み、デバイスの動き又は移動に関するラベルを分析及び割り当てて、ある期間にわたって特定のロケーションにおいて「移動中」状態又は「安定」状態であると指定されるようにし得る。分析は、センサデータ、測位データ、カレンダデータ、交通カード使用データ、アプリケーションデータ、移動のパターン/ルーチンに関する履歴データ、及び/又はモバイルデバイス102にアクセス可能な任意の他のデータを含むがこれらに限定されない、モバイルデバイス102に利用可能なデータソースからの様々な信号を使用して実行することができる。いくつかの実施形態では、モバイルデバイス102は、定義された期間にわたってロケーション(例えば、信頼できるロケーション184)を定義する地理的境界内にとどまった後、「安定」セマンティックラベルで分類され得る。最も単純なケースでは、モバイルデバイス102のための測位データは、ある持続時間(例えば、5分)の間、特定のロケーションのためのジオフェンスの境界内にとどまり得る。加速度計データなどのセンサデータは、モバイルデバイス102が静止していることを示して、安定しているという推論をサポートし得る。アプリケーションデータは、モバイルデバイスがカレンダ予約ロケーションに位置しているなど、モバイルデバイス102が安定状態であるという推論をサポートすることができる。使用中のアプリケーションのタイプを示すアプリケーションデータはまた、メディアアプリケーションを使用するなど、デバイスが安定状態であるという推論を提供し得る。移動中のルーチン又はパターンに関するユーザの履歴データは、自宅又はホテルのロケーションでの就寝時ルーチンなど、モバイルデバイス102が安定状態であるかどうかを判定するために使用され得る。モバイルデバイス102は、ユーザについての以前の挙動、パターン、又はルーチンに基づいて「移動中」ラベルを有するものとして分類され、モバイルデバイス102上で分析され得る。例えば、ユーザは、毎日同じ時間に仕事をするルーチンを有してもよく、パターンが繰り返されていることをデバイス上のデータがサポートする場合、「移動中」状態が割り当てられてもよい。最も単純な場合、モバイルデバイスが移動している、又は(例えば、ジオフェンスを使用して)知られている地理的エリアに出入りする速度は、モバイルデバイス102が移動中であると推論することを可能にし得る。モバイルデバイス102が既知のトランジットエリア(例えば、道路、高速道路、鉄道路線など)において加速していると検出された場合、モバイルデバイス102には「移動中」のステータスが与えられ得る。同様に、トランジットアプリケーション/カードが使用される/使用中である場合、モバイルデバイス102は、「移動中」として指定され得る。
【0042】
図2は、一実施形態による、無線アクセサリ201を位置特定するシステム200を示す。一実施形態において、無線アクセサリ201は、デバイスグループの一部としてペアリングされ得るアクセサリデバイス101(及び任意選択的にケース)の別の実施形態である。他の実施形態では、アクセサリデバイス201は、デバイスグループの一部ではない別個のアクセサリデバイスであり、各々がモバイルデバイス102と別個にペアリングされる。各アクセサリデバイス201は、1つ以上の無線トランシーバを含み、無線ネットワーク又はピアツーピア通信リンクを介してコンパニオンデバイス(例えば、モバイルデバイス102)と直接又は間接的のいずれかで(例えば、別のデバイス又はコンピュータを通じて)通信することができる。アクセサリデバイス201は、ケース及びケース内の任意のアクセサリにビーコン信号を提供することができる。アクセサリデバイス201は、ケースから分離されており、ビーコン信号を提供することによって独立して別個に見つけることができる。無線アクセサリデバイス201のいくつかの例は、無線イヤホン、EarPod、AirPods、入力デバイス、充電デバイス、アクセサリ用ケース、ヘッドホン、ヘッドセット、フィットネス機器、健康機器、ディスプレイデバイス、外部ハードドライブ、他のウェアラブルデバイス(例えば、スマートウォッチ、フィットネスバンド、光学ヘッドマウントディスプレイ)アダプタ、スピーカ、及び/又は他のデバイスを含むが、これらに限定されない。アクセサリのペアリングされたグループは、同じタイプのデバイス(例えば、スピーカ、AirPods、フィットネスウェイトなど)又は異なるタイプのデバイス(例えば、スマートフォン及びクレジットカードリーダなど)であってもよい。無線アクセサリ201は、クレジットカード読み取りデバイス、スタイラスデバイス、マウス、キーボード、ゲームコントローラ、又はリモートコントロールを含むがこれらに限定されない入力デバイスなどの他の無線デバイスを含むこともできる。無線アクセサリ201は、一実施形態では、インターネットなどのワイドエリアネットワーク(例えば、図1のワイドエリアネットワーク114)に少なくとも一時的にアクセスすることができないスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、スマートスピーカデバイス、テレビ、又はテレビセットトップボックスも含む。無線アクセサリ201は、他のデバイスの追跡又は位置特定を可能にするために他のデバイスに取り付けることができるビーコン又はロケータタグを含む、任意の他の無線デバイスであってもよい。一実施形態では、無線アクセサリ201は、Bluetooth(登録商標)などであるがこれに限定されない無線技術規格を使用して、モバイルデバイス102とペアリングされるアクセサリデバイスのデバイスグループからのものであり得る。無線アクセサリ201は、Wi-Fiダイレクト、Zigbee(登録商標)、又はエアプレイなどの、任意の無線規格及びプロトコルの実装を含む無線技術を介してモバイルデバイス102と通信することもできる。無線アクセサリ201がペアリングされるコンパニオンデバイスは、一般的にモバイルデバイス102と呼ばれるが、コンパニオンデバイスはモバイルデバイスに限定されない。コンパニオンデバイスはまた、いくつかの実施形態では、ラップトップ又はデスクトップデバイスを含むことができ、加えて、限定ではないが、スマートウォッチデバイス又はウェアラブルディスプレイなどのいくつかのウェアラブルアクセサリを含むことができる。
【0043】
一実施形態において、無線アクセサリ201は、無線ビーコン信号を周期的に送信することができる。無線アクセサリ201は、本明細書で説明する様々な無線技術(例えば、Bluetooth(登録商標)、Wi-Fiなど)のうちの1つを使用してビーコン信号を送信することができ、一実施形態では、超広帯域(UWB)無線技術を使用してビーコンを送信することもできる。ビーコン信号は、単一の無線技術、複数の選択可能な無線技術のうちの1つ、又は複数の同時無線技術を使用して送信することができる。ビーコン信号は、個々の無線アクセサリ201、及び/又はデバイスグループを具体的に識別するための情報を含むビーコン識別子を送信することができる。一実施形態では、ビーコン識別子は、デバイスに関連付けられた公開暗号鍵である。
【0044】
ビーコン信号はまた、デバイスステータス情報及び/又は検証可能な情報など、無線アクセサリ201に関する情報を伝達することができる。ビーコン信号内のデバイスステータス情報は、ビーコンタイプ、デバイス分類、バッテリレベル、任意の事前定義されたデバイスステータス、デバイス状態、紛失ステータス、アラームステータス、所有者から離れているステータス、所有者に近いステータス、デバイスグループステータス内の1つ以上のアクセサリデバイスに近接しているステータス、有線又は無線接続ステータス、デバイスグループステータス内の1つ以上のアクセサリデバイスに物理的に接続されているステータス、アクセサリデバイスがペアリングされているかペアリングされていないかを示すペアリングステータス、ペアリング保留ステータス、バッテリ寿命状態、充電ステータス、及び/又は任意の他のステータス情報を含み得るが、これらに限定されない。紛失ステータス又は「所有者から離れている」ステータスは、無線アクセサリ201がそれ自体を紛失したと判定したこと、又はデバイスの所有者によって紛失状態にされたことを示すことができる。アラームステータスは、無線アクセサリ201が、デバイスが現在のロケーションから移動した場合にアラームをトリガすべきステータスにされたことを示すことができる。所有者に近いステータスは、無線アクセサリ201が、アクセサリの所有者に関連付けられたモバイルデバイス102の近くの存在を検出したことを示すことができる。
【0045】
いくつかの実施形態では、検証可能な情報は、ペアリングプロセス及び/又は発見プロセスが検証可能な情報を提示するデバイスと共に進行し得るという信頼又は権限を確立するために必要とされ得る任意の情報を含んでもよい。例として、検証可能な情報は、デバイスグループ内のシリアル番号又はシリアル番号のセットなど、デバイス製造業者によって確立された情報を含み得る。いくつかの実施形態では、検証可能な情報は、デバイスのステータス又は状態情報を含んでもよい。検証可能な情報は、デバイスタイプ、デバイスグループのメンバー、シリアル番号、デバイスグループ、デバイスグループ内の他のデバイスのシリアル番号、状態又はステータス情報、ソフトウェアバージョン、及び/又は任意の他の検証可能な情報を含んでもよいが、これらに限定されない。検証可能な情報は、デバイスによって別のデバイスに提示された受信情報を検証するために、認証局106又は他の証明サービスに送信されてもよい。検証可能な情報は、デバイスの更なる検証を可能にするために、暗号化され、及び/又はトークンと共に送信され得る。
【0046】
いくつかの実施形態では、ビーコン信号は、紛失した無線アクセサリ201を位置特定するためにクラウドソーシングを使用するために、無線アクセサリ201に局所的に近接しているファインダデバイス202によって検出することができる。ファインダデバイス202は、モバイルデバイス102と同様のデバイスとすることができ、ワイドエリアネットワーク114を介してデータを送受信することができ、無線アクセサリ201と同様の無線技術(例えば、Bluetoothなど)を使用して送受信することができる。特に、ファインダデバイス202は、ビーコン信号が送信される無線プロトコルを使用してデータを受信することができる。ファインダデバイス202は、限定はしないが、Wi-Fiアクセスポイント又はセルラー電話ネットワークのセルタワー送信機などの無線基地局205から受信されたRF信号を使用する衛星測位サービス206又は地上測位システムを含む、1つ以上のロケーション及び/又は測位サービスを使用してロケーションを判定することができる。一実施形態では、ファインダデバイス202は、1つ以上のロケーション及び/又は測位サービスに基づいて判定されたそのロケーションを周期的に記憶する。記憶されたロケーションは、ロケーションが判定されたタイムスタンプに関連付けられ得る。ファインダデバイス202が無線アクセサリ201からビーコン信号を受信すると、ファインダデバイス202は、ファインダデバイス202のロケーションをワイドエリアネットワーク114を介してデバイスロケータサーバ203に送信することができる。ファインダデバイス202の決定されたロケーションのタイムスタンプは、地理的ロケーションを受信されたビーコン信号に関連付けるために、ビーコン信号が受信されたタイムスタンプと相関させることができる。
【0047】
無線アクセサリ201がビーコン信号内に公開鍵を提供する場合、ファインダデバイス202は、決定されたロケーションデータを暗号化し、暗号化されたロケーションデータをワイドエリアネットワーク114を介してデバイスロケータサーバ203に送信することができる。一実施形態では、追加のデータを暗号化してロケーションデータと共に送信するか、又は暗号化せずにデバイスロケータサーバ203に送信することができる。例えば、ビーコン信号の受信信号強度インジケータ(RSSI)をロケーションデータと共に送信することができる。次いで、RSSIデータを使用して、無線アクセサリ201のファインダデバイス202からの距離を判定し、所有者デバイス上での三角測量を支援することができる。RSSIデータが暗号化されていない状態で送信される場合、一実施形態では、サーバは、他のより強い信号が存在する場合に非常に弱い信号を破棄することによってノイズを低減するためにRSSI情報を使用することができる。一実施形態では、UWB測距データも提供することができ、そのようなデータが利用可能である。
【0048】
一実施形態では、ファインダデバイス202は、無線アクセサリ201からビーコン信号を受信すると、無線アクセサリ201によって伝達されるデバイスステータスに応じて異なる挙動をすることができる。標準的なビーコン信号の場合、ファインダデバイス202は、暗号化されたロケーションデータをキューに入れ、周期的な送信ウィンドウの間にロケーションデータをデバイスロケータサーバ203に送信することができる。しかしながら、無線アクセサリ201がアラーム状態を示している場合、ファインダデバイス202は、ロケーションデータをデバイスロケータサーバ203に直ちに送信することができる。加えて、無線アクセサリ201のビーコン信号が、アクセサリがアクセサリの所有者の近くにあることを示す場合、ファインダデバイス202は、ロケーションデータをデバイスロケータサーバ203に送信しなくてもよい。代替的に、ファインダデバイス202は、暗号化されたロケーションデータの送信を遅延させ得る。
【0049】
無線アクセサリ201の所有者が無線アクセサリの位置を位置特定したい場合、所有者は、モバイルデバイス102上のデバイスロケータユーザインタフェース204にアクセスすることができる。デバイスロケータユーザインタフェース204は、クラウドサービスアカウント又は別のタイプのオンラインアカウントなど、ユーザのオンラインアカウントに登録された電子デバイス及びアクセサリを位置特定するために使用されるデバイスロケータアプリケーションに関連付けられ得る。デバイス所有者は、デバイスロケータUI204を使用して、無線アクセサリ201のファインダデバイス202によってデバイスロケータサーバに送信された可能性があるロケーションデータについてデバイスロケータサーバ203にクエリを行うことができる。一実施形態では、モバイルデバイス102は、無線アクセサリ201に関連付けられた公開暗号鍵をデバイスロケータサーバ203に送信することができる。次いで、デバイスロケータサーバ203は、公開暗号鍵に対応する任意の記憶されたロケーションデータを返すことができる。モバイルデバイス102に返されるロケーションデータは、公開暗号鍵を使用してファインダデバイス202によって暗号化された暗号化データであり得る。モバイルデバイス102は、関連付けられた秘密鍵を使用して、暗号化されたロケーションデータを復号することができる。次いで、復号されたロケーションデータは、モバイルデバイス102によって処理されて、無線アクセサリ201の最も可能性の高いロケーションを判定することができる。様々な実施形態において、無線アクセサリ201の最も可能性の高いロケーションは、複数の受信されたロケーションから三角測量によって、並びに各ロケーションに関連付けられたビーコン信号RSSI及びロケーションデータ内に含まれるタイムスタンプ又はUWB測距データなどの他のデータを使用して判定することができる。
【0050】
図3は、本明細書で説明される実施形態による、無線アクセサリをペアリング及び位置特定するためのシステム300を示す。一実施形態では、無線アクセサリ201のユーザのモバイルデバイス102(例えば、デバイス101の例)は、ユーザがモバイルデバイス102を無線アクセサリ201とペアリングすることができるアクセサリペアリングUI302を提示することができる。モバイルデバイス102と無線アクセサリ201との間の初期ペアリング(305)中に、モバイルデバイスと無線アクセサリ201との間で公開鍵交換(310)を実行することができる。一実施形態では、公開鍵交換(310)中に、モバイルデバイス102及びアクセサリ201は、デバイス及び無線アクセサリ201によって生成された公開鍵ペアの公開鍵を交換する。一実施形態では、公開鍵交換(310)は、モバイルデバイス102が公開鍵/秘密鍵ペアの公開鍵を無線アクセサリ201に送信する一方向転送である。代替的に又は追加的に、公開鍵交換(310)は、デバイス及びアクセサリが2つの当事者間で共有秘密を確立するDiffie-Hellman鍵交換であってもよい。一実施形態では、公開鍵交換(310)は更に、楕円曲線暗号法を使用して共有秘密を確立する。例えば、楕円曲線Diffie-Hellman(ECDH)を使用して、公開鍵ペア及び1つ以上の共有秘密の確立を可能にすることができる。一実施形態では、1つ以上の共有秘密は、無線アクセサリ201が追加の公開鍵を周期的に導出することができるトラッキング防止秘密を含む。
【0051】
無線アクセサリ201がモバイルデバイス102とペアリングされた後、無線アクセサリ201は、デバイスステータス情報及びビーコン識別子を含むビーコン信号301を周期的にブロードキャストすることができる。一実施形態では、ビーコン識別子は、公開鍵交換(310)中に確立される共有秘密から導出される公開鍵である。更に、無線アクセサリ201は、周期的に公開鍵導出を実行して(315)、新しい公開鍵を生成し、ビーコン識別子として新しい公開鍵のブロードキャストを開始することができる。公開鍵はKバイト鍵であり、新しいKバイト鍵がM分毎に生成される。値K及びMは、実施形態間で変化し得る。一実施形態では、28バイトのK値が使用される。一実施形態では、27バイトのK値が使用される。値Kは、ビーコン信号301を送信するために使用される無線プロトコルに関連付けられたビーコン長に少なくとも部分的に基づいて判定され得る。一実施形態では、ビーコン信号は、Bluetooth(登録商標)Low Energyなどの低エネルギー無線プロトコルに関連付けられたビーコンアドバタイズメントパケットの変形を送信することができる。
【0052】
一実施形態では、値Mは15分であり、15分毎に新しいKバイト鍵が生成される。公開鍵は、タイムスタンプ及び公開鍵交換310中に生成されたトラッキング防止秘密に基づいて決定論的に導出することができる。公開鍵導出(315)プロセスは、無線アクセサリ201が経時的に異なる鍵を使用することを可能にし、特定の鍵と特定のデバイスとの長期関連付けを防止する。鍵は、モバイルデバイス102及び無線アクセサリ201のみに知られているトラッキング防止秘密に基づいて導出することができ、モバイルデバイス102及びモバイルデバイスのみが、どの公開鍵が任意の所与のタイムスタンプにおいて無線アクセサリ201によってブロードキャストされるかを判定することを可能にする。トラッキング防止秘密は、ECDH公開鍵と共に生成され、無線アクセサリ201に転送され得る。次いで、トラッキング防止秘密を使用して、無線アクセサリ201が公開鍵のシーケンスPiを生成することを可能にすることができる。一実施形態では、公開鍵のシーケンスPj=λi・Pは、スカラ値又は指数値λiと、例えば楕円曲線点Pなどのグループ要素との間のグループ演算を定義する。スカラ値又は指数値λ=KDF(AT,i)であり、KDFは鍵導出関数であり、ATはトラッキング防止秘密であり、iは、カウンタ又はタイムスタンプである。
【0053】
一実施形態では、無線アクセサリ201が損なわれた場合にトラッキング防止秘密を保護するために、バックトラッキング抵抗を有効にすることができる。バックトラッキング抵抗が有効にされると、トラッキング防止秘密は無線アクセサリ201に転送されるが、無線アクセサリによって保持されない。代わりに、アクセサリは、値λi+1=H(λi||time)を計算し、λ0=AT及びHは暗号化ハッシュ関数である。無線アクセサリ201は、次いで、所与の期間iにわたってλiを記憶する。無線アクセサリ201が損なわれた場合、iの現在及び将来の値のλiのみが露出され、トラッキング防止秘密ATは露出されない。一実施形態では、バックトラッキング抵抗は、λiを無線アクセサリ201の不揮発性メモリに周期的に書き込むことによって実行される。
【0054】
一実施形態では、無線アクセサリ201は、2秒毎にビーコン信号301を送信することができるが、他のビーコンレートを使用することもでき、ビーコンレートは、特定の状況下で変化することができる。例えば、無線アクセサリ201は、所有者に近い状態にあるときにビーコンレートを減少させることができる。ビーコンレートはまた、加速度計によってトリガされるイベントに基づいて変化し得る。例えば、無線アクセサリ201は、アラーム状態にあるときにビーコンレートを増加させることができ、これは無線アクセサリ201上の加速度計によってトリガすることができる。
【0055】
無線アクセサリ201は、ビーコン信号301を送信した後に、無線アクセサリ201がアクセサリのユーザに関連付けられたモバイルデバイス102から、モバイルデバイス102が無線アクセサリの範囲内にあることを示す応答を受信した場合に、所有者に近い状態に入ることができる。更に、無線アクセサリが所有者に近い状態にある間、ビーコン信号301によって送信されるデータの量を低減し得る。一実施形態では、無線アクセサリが所有者に近い状態にある間、新しい公開鍵が生成されるレートも低減することができる。
【0056】
無線アクセサリ201は、無線アクセサリ201がアラーム状態に入るべきであることを示すメッセージをモバイルデバイス102から受信すると、アラーム状態に入ることができる。アラーム状態にあるとき、無線アクセサリは、最初に、無線アクセサリ201がロケータビーコン信号の送信を低減又は停止することができる作動可能状態に入ることができるが、他のタイプの無線シグナリングが持続することができる。無線アクセサリ201は、状態がモバイルデバイス102によって非アクティブ化されるか、又はアラームがトリガされるまで、作動可能状態のままであり得る。アラームは、一実施形態では、例えば、無線アクセサリ201内の加速度計を介して移動が検出されるとトリガされ得る。アラームはまた、一実施形態では、無線アクセサリがモバイルデバイスの範囲外に移動し、もはや所有者に近い状態にないことを検出すると、トリガされ得る。アラームがトリガされると、ビーコン信号301のレートを増加させて、無線アクセサリ201を位置特定することができる速度を増加させることができる。
【0057】
無線アクセサリ201によって送信されたビーコン信号301は、無線アクセサリによって送信されたビーコン信号を受信することができ、ビーコン信号301に関連付けられたロケーション及び他のデータをワイドエリアネットワーク114を介してデバイスロケータサーバ203に送信する他の電子デバイスであるファインダデバイス303(ファインダデバイスはファインダデバイス202であり得る)及び/又はモバイルデバイス102のセットによって検出することができる。一実施形態では、ファインダデバイス303のセットは、モバイルデバイス102の変形形態を含むか、又は他のタイプの電子デバイスであり得る。例えば、ファインダデバイス303のセットは、無線アクセサリ201から受信したビーコン信号301をファインダデバイス303に関連付けられたデバイスロケーションと相関させる動作(320)を実行することができる。図2に関して説明したように、デバイスロケーションは、無線基地局(例えば、Wi-Fiアクセスポイント又はセルタワー送信機)から受信されたRF信号を使用する衛星測位サービス又は地上測位システムを介して判定され得る。一実施形態では、ファインダデバイス303のセットはまた、ビーコン信号301を受信することができるスマートスピーカデバイス、テレビ、又はテレビセットトップボックスなどの固定デバイスを含むことができる。
【0058】
ファインダデバイス303のセットは、ビーコン信号301内で受信されたビーコン識別子(例えば、公開鍵)を用いてロケーションデータを暗号化し、ロケーションデータ(325)をデバイスロケータサーバ203に送信することができる。ファインダデバイス303のセットによって送信されるデータは匿名で送信され、ファインダデバイスの識別情報は、ファインダデバイスによって送信されるデータと共に記憶されない。
【0059】
デバイスロケータサーバ203は、暗号化されたロケーションデータをデータストア304に記憶することができ、一実施形態では、データストア304は、複数のノードを有する分散データベースとすることができる。アクセサリのビーコン識別子/公開鍵のハッシュは、暗号化されたロケーションデータと共に送信することができる。暗号化されたロケーションデータは、ビーコン識別子のハッシュに基づいてデータベースノードに記憶され得る。暗号化されたロケーションデータは、ビーコン識別子のハッシュを使用してデバイスロケータサーバ203によってインデックス付けされ得る。完全なビーコン識別子の代わりにビーコン識別子のハッシュを送信することは、サーバへの完全なビーコン識別子の記憶を防止する。他の情報もまた、暗号化された状態又は暗号化されていない状態のいずれかで、送信され、ロケーションデータと共に記憶され得る。他の情報は、ビーコン信号301が受信されたときのタイムスタンプ、受信されたビーコンのRSSI情報、及び/又は、例えばUWB測距を介して判定された測距情報を含むことができる。
【0060】
無線アクセサリ201のユーザ又は所有者がアクセサリを位置特定することを望む場合、ユーザ又は所有者は、モバイルデバイス102上のデバイスロケータUI204にアクセスすることができる。デバイスロケータUI204は、ロケータアプリケーション190又はモバイルデバイス102の機能に関連付けられ得る。デバイスロケータUI204はまた、モバイルデバイス102又はラップトップ若しくはデスクトップデバイスなどの別のタイプの電子デバイスからアクセスされ得るウェブベースのインタフェースを有し得る。モバイルデバイス102は、デバイスロケータUI204をロードすると、ロケーションデータの要求(330)をデバイスロケータサーバ203に送信することができる。要求330は、ビーコンデータのためのビーコン識別子として働くことができる公開鍵又は公開鍵ハッシュのセットを含むことができる。モバイルデバイス102は、モバイルデバイス102及び無線アクセサリ201によって保持される秘密情報と、モバイルデバイス102がロケーションデータを受信することを望むタイムスタンプとに基づいて、公開鍵のセットを生成することができる。一実施形態では、公開鍵のセットは、トラッキング防止秘密に基づいて生成された公開鍵のシーケンスPiである。公開鍵Piのシーケンスは、秘密鍵djの一致するシーケンスに対応する。モバイルデバイス102は、公開鍵のシーケンス及び対応する公開鍵のシーケンスdjを生成することができ、iはカウンタ又はタイムスタンプである。一実施形態では、モバイルデバイス102は、以前の24時間の公開鍵(又は24時間の公開鍵のハッシュ)を生成し、要求330内で送信することができる。24時間の公開鍵についてデータが見つからない場合、モバイルデバイス102は、より早い期間について生成鍵を送信し、所定のロケーションデータ保持限度に戻すことができる。
【0061】
一実施形態では、暗号化されたロケーションデータは、ロケーションサービスデータのプロバイダが、暗号化されたロケーションデータを特定のデバイス、したがって特定のユーザ又はユーザアカウントに結び付けるために使用され得るデータを記憶することを防止するために、公開鍵の代わりに公開鍵のハッシュに基づいて記憶され、インデックス付けされる。ファインダデバイスは、観測ロケーションに関連付けられたビーコン信号301内でブロードキャストされる公開鍵のハッシュを送信することができる。デバイスの所有者は、クエリ期間について判定された公開鍵のハッシュを使用して、デバイスロケータサーバ203にクエリを行うことができる。
【0062】
いくつかの実施形態では、ロケーションクエリが、ラップトップ又はデスクトップデバイスなどの電子デバイスからウェブベースのインタフェースを介して実行される場合、ロケーションデータの復号を可能にするための鍵が、電子デバイスに送信されることが必要とされ得る。一実施形態では、少なくともロケーションデータがウェブベースのインタフェースを介して見られている間に、サーバがロケーションデータを復号することを可能にするために、ウェブベースのインタフェースを提供するサーバにロケーションデータの復号鍵を送信し得る。ロケーションデータがウェブベースのインタフェースを介して表示される前に、ロケーションデータが復号されて提示されることを可能にするためにロケーション復号鍵がウェブベースのインタフェースサーバと一時的に共有されていることをユーザに知らせるために、通知が提示され得る。一実施形態では、ロケーション復号鍵の共有は、ウェブベースのインタフェースに関連付けられたプロキシアカウントによるロケーションクエリ権の自動的かつ一時的な委任を介して実行することができる。
【0063】
一実施形態では、無線アクセサリ201は、簡易紛失モードにすることができる。簡易紛失モードでは、将来の公開鍵のセットを無線アクセサリに対して生成し、デバイスロケータサーバ203に送信することができる。次いで、デバイスロケータサーバ203は、将来の公開鍵のセット内の鍵に対応する任意のロケーションデータが受信されたかどうかをモバイルデバイス102に通知することができる。一実施形態では、簡易紛失モードにある無線アクセサリのロケーションを送信するファインダデバイスは、デバイスロケータサーバ203によって、無線アクセサリに簡易紛失モードにあることを通知するメッセージを無線アクセサリ201に中継するように指示することができる。同様の機構を使用して、アクセサリを明示的紛失モードにするメッセージを無線アクセサリ201に中継することができる。明示的紛失モードは、デバイスロケータUI 204を介してユーザによって有効にされ得る。明示的紛失モードでは、無線アクセサリ201は、所有者によってロック解除されない限り、別のデバイスとペアリングすることができない。ロケーションサービスを使用するペアリングされたデバイスの更なる例は、2019年8月16日に出願された「A System and Method for Locating Wireless Accessories」と題する米国特許出願第16/543,227号に見出され得、その全体が参照することによって本明細書に組み込まれる。
【0064】
図4は、本明細書で説明されるデバイスロケータシステムと共に使用するための方法を示すフロー図である。図4は、モバイルデバイスを無線アクセサリとペアリングする方法400を示す。方法400の態様は、上述したように、図2及び図3にも示されている。例えば、以下の動作の説明は、モバイルデバイス102、無線アクセサリ201、及びデバイスロケータサーバ203に言及する。
【0065】
図4に示すように、方法400は、無線アクセサリとの初期ペアリングを実行する動作(402)を含む。初期ペアリングは、Bluetooth(登録商標)ペアリング、又は他の無線技術を使用する別のタイプのペアリングであり得る。初期ペアリング中に、モバイルデバイス及び無線アクセサリは、モバイル又は別の電子デバイスと無線アクセサリとの間で無線データ交換が実行されることを可能にする識別子、パスキー、又は他の認証情報を交換することができる。一実施形態では、無線アクセサリとの初期ペアリングは、ペアリングが実行される無線プロトコルに関連付けられた認証情報の交換を含むことができ、無線で交換されるすべてのデータが少なくとも第1の暗号化層を有することを可能にする。
【0066】
次いで、モバイルデバイスは、公開鍵/秘密鍵ペア及び1つ以上の追加の共有秘密を生成することができる(404)。次いで、デバイスは、公開鍵及び1つ以上の追加の共有秘密を無線アクセサリに送信することができる(406)。様々な鍵生成技法を使用することができる。一実施形態では、ECDHの変形が、暗号化のための公開鍵ペアを生成するために使用される。一実施形態では、1つ以上の追加の共有秘密は、無線アクセサリが既存の公開鍵に基づいて新しい公開鍵を導出することを可能にするトラッキング防止秘密を含むことができる。
【0067】
公開/秘密鍵ペア及び1つ以上の追加の共有秘密を生成した後、モバイルデバイスは、公開/秘密鍵ペアをキーストアに記憶することができる(408)。一実施形態では、キーストアは、モバイルデバイス及び無線アクセサリが関連付けられている同じクラウドサービスアカウント又はクラウドサービスアカウントのファミリーに関連付けられた他のデバイスと同期され得るクラウドベースのキーストアである。クラウドベースのキーストアは、無線アクセサリが他の同期されたデバイスによって位置特定されることを可能にする。次いで、モバイルデバイスは、無線アクセサリをデバイス管理サーバに登録することができる(410)。無線アクセサリをデバイス管理サーバに登録することは、無線アクセサリと、モバイルデバイスが関連付けられるクラウドサービスアカウントとの間の関連付けを形成することができる。いくつかの実施形態では、モバイルデバイスは、無線アクセサリ及びデバイスグループ104を登録することができる。デバイスグループのためのデバイスグループプロファイルに記憶された情報はまた、クラウドサービスアカウント(例えば、ユーザアカウント)に結び付けられたデバイス間で同期され得る。デバイス管理サーバは、図2及び図3のデバイスロケータサーバ203など、モバイルデバイスにアクセス可能なクラウドベースのサービスを容易にするために使用される他のクラウドベースのサーバに関連付けられ得る。
【0068】
図5は、本明細書で説明されるデバイスロケータシステムと共に使用するためのデバイスロケータユーザインタフェースを提示する方法を示すシーケンス図500である。モバイルデバイス102は、デバイスロケータアプリケーション204を起動することができる(506)。モバイルデバイス102は、アドバタイズメントを含むビーコン信号をアクセサリデバイス201から受信することができる(508)。アドバタイズメントは、アプリケーション(506)を起動する前に、及び/又はデバイスロケータアプリケーション204の起動後に送信されてもよい。いくつかの実施形態では、BLEアドバタイズメントは、モバイルデバイス102への無線接続を確立する前に送信され得る。一実施形態では、BLEアドバタイズメントは、2秒毎に受信され得る。信号強度測定値は、ビーコン信号から決定され得、プロセスは、ユーザインタフェース204のための近接度ビューを用いて、モバイルデバイス102(510)にペアリングされた少なくとも1つのアクセサリデバイス201(510)を見つけるために開始し得る。デバイスロケータアプリケーション204のユーザインタフェースのための近接度ビューは、ターゲットアクセサリデバイス201の近接度を表す視覚インジケータと共に提示されてもよい。視覚インジケータは、モバイルデバイス102において受信されたアドバタイズメントからの信号強度測定値(512)に対応し得る。任意選択で、いくつかの実施形態では、ターゲットアクセサリデバイス201とモバイルデバイス102との間に無線接続を形成することができ(514)、モバイルデバイス102が、ターゲットアクセサリデバイス201が音を再生することを要求することを可能にする。いくつかの実施形態では、無線接続が、ターゲットアクセサリデバイス201とモバイルデバイス102との間に形成されてもよく、モバイルデバイスは、測距プロセスが実行されることを要求してもよい。モバイルデバイス102がターゲットアクセサリデバイスの閾値範囲内にあるとき(515)、測距プロセスを実行して、ターゲット無線アクセサリデバイス201からの距離及びターゲット無線アクセサリデバイス201への方向を決定することができる。デバイスロケータアプリケーション204のユーザインタフェースの測距ビューが提示されてもよい(516)。測距ビューは、アクセサリデバイス201を見つけるのを助けるために、無線ターゲットまでの方向及び計算された距離を提供することができる(518)。測距ビューは、近接度ビューと共に選択的に、及び/又はユーザインタフェース204内で独立して提示され得る。アクセサリデバイス201が見つかったかどうかに関してユーザに問い合わせるデバイスロケータアプリケーション204のユーザインタフェースが提示されてもよい(520)。
【0069】
図6は、一実施形態による、測距及び姿勢推定値がターゲットデバイスのターゲットポジション推定値を生成することを可能にするシステム600を示す。一実施形態では、システム600は、無線コントローラ630と、IMU 612と、本明細書で説明するようなモバイルデバイス102のアプリケーションプロセッサ上で実行するフレームワークのセットとを含む。フレームワークのセットは、拡張現実(AR)フレームワーク610及びセンサ融合フレームワーク611を含むことができる。無線コントローラ630は、センサフレームワーク611内の範囲測定値601、補間器ロジック604を送信することができる。ARフレームワーク610は、IMU 612からセンサ測定値603を受信し、モバイルデバイス102の姿勢推定値602を生成することができる。姿勢推定値602は、センサフレームワーク611内の補間器ロジック604に送信され得る。補間器ロジック604は、範囲測定値601及び姿勢推定値602を処理して、位置合わせされた姿勢605での測定値を生成することができる。補間器ロジック604は、測定値及び推定値が決定された時間に基づいて、範囲測定値601及び姿勢推定値602を補間及び位置合わせすることによって、位置合わせされた姿勢605での測定値を生成することができる。位置合わせされた姿勢605での測定値は、推定器ロジック606に提供され得る。次いで、推定器ロジック606は、モバイルデバイスによって使用するための3次元ターゲットポジション推定値607を生成することができる。このターゲットポジション推定値は、ロケーション環境のビューを生成するためにモバイルデバイス102によって使用され得る。
【0070】
補間器ロジック604及び推定器ロジック606は、異常なデータ及びセンサ干渉を克服して3次元ターゲットポジション推定値607の精度を高めるための様々なアルゴリズム技法を含むことができる。一実施形態では、システム600は、視覚慣性オドメトリ(VIO)を実行するために、IMU612から収集された慣性データを1つ以上のカメラを介してキャプチャされた画像と融合することができる。VIO技法は、画像のシーケンスにわたるカメラ動きを推定するための画像のシーケンスの分析を含む。同じ期間にわたってキャプチャされた画像ベースのカメラ動き推定及び慣性測定値を使用して、座標系を通るモバイルデバイスの動きを推定することができ、モバイルデバイス102(又は任意のファインダデバイス)のポジションと3次元座標空間内に位置するターゲットデバイスとの両方を推定する能力をシステム600のソフトウェアに与える。
【0071】
一実施形態では、ターゲットロケーション推定値は、非線形最小二乗(NLLS)バッチフィルタを使用して解くことができる非線形最小二乗問題の形態をとることができる。例えば、時間tiにおける範囲測定値としてri、及び同時にVIO座標系の中心に対する姿勢推定値としてp(ti)が与えられると、コスト関数を最小化するターゲットロケーションx=[x y z]Tが決定され得る。
【数1】
使用される特定の姿勢推定値は、モバイルデバイス上の無線測距無線アンテナのポジションに基づくか、又はそれに対するものであり得る。代替的に、カルマンフィルタ又は空間占有グリッドベースの手法が適用され得る。
【0072】
一実施形態では、無線デバイスのための初期ターゲットポジションが3次元座標空間内で決定されると、無線デバイスの相対ターゲットポジションは、無線デバイス102とアクセサリデバイス201との間の更新された範囲測定値がない場合であっても、ARデータを使用して更新され得る。そのようなシナリオでは、無線測距動作の周波数は、ターゲットデバイス201及びモバイルデバイス102による電力消費を低減するために抑制され得る。
【0073】
図7は、近接度強化がデバイスロケータアプリケーション204のために有効化され得るシステム700を示す。一実施形態は、位置特定されるアイテム又はターゲットデバイス201に近接するロケーション環境708にあるときに、デバイスロケータアプリケーション204の機能を強化するシステム700を提供する。ロケーション環境708は、モバイルデバイス102(例えば、スマートフォン、ウェアラブル、タブレットなど)を含むことができる。モバイルデバイス102は、無線機719を含む無線デバイス101と無線通信することができる。モバイルデバイス102はまた、無線デバイス102内に無線機719の変形形態を含むことができる。無線デバイス201はまた、モバイルデバイスであり得るか、又は本明細書で説明するような無線アクセサリ201であり得る。
【0074】
デバイスは、無線チャネルを走査することによって互いを検出し、無線チャネル上でビーコン若しくはビーコンフレームを送信及び受信し、(例えば、接続要求を送信することによって)接続を確立し、並びに/又は(要求及び/又はデータなどの追加の情報をペイロードとして含んでもよい)パケット又はフレームを送信及び受信することによって、無線通信信号705を介して無線で通信することができる。無線通信信号705は、限定はしないが、Wi-Fi又はBluetooth(登録商標)などの無線通信技術に準拠するキャリア信号とすることができる。無線通信に加えて、モバイルデバイス102及び無線デバイス201は、無線測距信号706を使用して無線測距動作を実行する。無線測距信号は、例えば、本明細書で説明する技法を使用して無線デバイス201とモバイルデバイス102との間の距離及び/又は角度を決定するために使用され得る超広帯域信号であり得る。一実施形態では、無線測距信号706によって提供されるデータは、無線通信信号705のRSSIなどの他のメトリックと相関させることができる。一実施形態では、モバイルデバイス102及び無線デバイス201の通信プロセッサは、複数のタイプの無線データに基づいて統一された距離及び/又は角度推定値を提供するために、複数のタイプの測距を融合することができる。
【0075】
モバイルデバイス102は、ロケーション環境708のマップ及び/又はビューを提示するデバイスロケータUI204を提供することができる。マップ及び/又はビューは、無線デバイス201の仮想表現を提示することができる。仮想表現は、モバイルデバイス102のユーザによる無線デバイス201の位置を特定するプロセスを合理化することができる。例えば、無線デバイス201の検出されたロケーションを指す方向インジケータを使用することは、無線デバイス201のおおよそのロケーションを見つけるプロセスを簡略化することができる。方向インジケータは、ロケーション環境708のマップとペアリングされることができ、マップは、無線デバイス201の仮想表現を含むことができる。ビーコン信号が無線通信信号705及び/又は測距信号706を含むように、モバイルデバイス102が無線デバイス201に近接しているとき、ロケーション環境708の近接度ビュー及び/又は測距ビューを提示することができ、これにより、ユーザは、無線が視界から隠されているときに無線デバイス201を識別することができる。
【0076】
1つのシナリオでは、無線デバイス201は、アイテムによって隠され得る。アイテムは、例えば、ジャケット又は別の衣料品であり得、無線デバイス201は、アイテムのポケットの中にあるスマートフォン又はタブレットデバイスであり得る。アイテム及び無線デバイス201は、各々、バックパック、収納箱、手荷物などの容器内、又はユーザが聞くことができる音を再生するために無線デバイス201に依存するオーディオベースのロケーション技法の効率を低下させる別のアイテム内にあり得る。
【0077】
別のシナリオでは、無線デバイス201は、アイテムに取り付けられたビーコン周辺機器又はロケータタグであり得る。アイテムを見つけるために、ユーザは、モバイルデバイス102上のデバイスロケータUI204を使用して、無線デバイス201を見つけることができ、ユーザが、無線デバイス201が取り付けられているアイテムを見つけることを可能にする。本明細書で説明される近接度強化は、デバイスロケータUI204を拡張するために使用され得、アイテムが容器又は別の物理的アイテムによって隠され得るシナリオにおいて、ユーザが無線デバイス201を介してアイテムのロケーションを迅速に決定することを可能にする。
【0078】
一実施形態では、モバイルデバイス102は、(例えば、無線通信信号705を介して)無線デバイス201とのセキュアな無線通信接続(例えば、Bluetooth接続)を確立し、例えば、UWB信号であり得る無線測距信号706を使用して、無線測距プロセスを開始するように無線デバイス201に命令することができる。無線測距信号706は、モバイルデバイス102が、無線デバイス201への範囲及び角度の測定値を受信することを可能にする。いくつかの実施形態では、モバイルデバイス102は、ターゲット無線デバイス201が、無線デバイス201を見つけるのを助けるために、アドバタイズメントを送るレートを(例えば、2秒毎から30ms毎に)増加させることを要求し得る。
【0079】
一実施形態では、セキュアな無線通信接続を確立する前に、及び/又は確立された無線接続を用いて、信号強度測定値が、受信されたアドバタイズメントから決定され得、ユーザを無線デバイス201に向けるのを助け得る。
【0080】
本明細書に記載の実施形態では、無線測距は、任意の標準又は専用の測距技術、あるいは標準及び/又は専用の測距技術の任意の組み合わせを使用して実行され得る。無線測距動作を実行して、デバイス間(例えば、イニシエータとレスポンダの間)の距離、又はデバイス間の方向、あるいはその両方を決定することができる。例えば、デバイス間の1つ以上のメッセージに関して、経過時間/到着時間(Time of Flight/Time of Arrival、ToF/ToA)を決定することができ、それらの値を使用して、距離の測定を確立することができる。1つ以上のメッセージは、任意のフォーマットを有することができ、任意の無線プロトコルを使用して送信することができる。いくつかの実施形態では、ToF/ToAは、2つ以上のメッセージの双方向交換を使用して決定され得る。いくつかの実施形態では、測距を実行するために使用される1つ以上のメッセージは、例えば、コンテンツの少なくとも一部を暗号化するか、又は他の方法で保護することによって、セキュリティ保護され得る。更にいくつかの実施形態では、1つ以上の無線信号のソースの方向は、到着角(Angle of Arrival、AoA)などの技術を使用して決定され得る。例えば、AoA推定は、複数の受信要素(例えば、アンテナアレイの要素)を使用して実行され、信号の到着の異なる時間(TDOA)及び/又は異なる位相(PDOA)を測定することができる。追加的又は代替的に、いくつかの実施形態では、指向性は、ドップラーシフトを測定して到着周波数差(frequency difference of arrival、FDOA)を確立することによって決定され得る。無線測距技術を個別に、又は組み合わせて適用して、単一の測距動作を行うことができる。更に、無線測距技術を個別に、又は組み合わせて適用して、連続的又は間欠的な測距などの、進行中の測距動作を実行することができ、測定の履歴をキャプチャして、範囲及び/又は方向に基づいた動作の実行において使用することができる。
【0081】
到来する測定値を処理して、測定ノイズを低減し、紛失アイテムの推定ロケーションを安定させることができる。一実施形態では、モバイルデバイス102は、デバイスロケーションの最良推定値に到達するために、測定値の複数のストリームに依拠するセンサ融合技法を使用することができる。例えば、着信範囲及び/又は角度測定値は、モバイルデバイス102のポジション及び向きの測定値と融合され得る。ポジション及び向きの測定値は、視覚慣性オドメトリ(VIO)を使用して収集することができ、VIOは、IMUを使用してデバイスのロケーション及び向きを決定し、カメラデータを使用してコンピュータビジョンを決定する。VIOデータは、モバイルデバイス102上のソフトウェアがデバイスの動き及び向きを認識することを可能にする。VIOデータを、無線測距信号706を介して決定された範囲測定値及び/又は角度測定値と組み合わせることは、無線デバイスの最も可能性の高いポジションの推定を可能にし、ユーザを無線デバイス201に向けることを可能にする。更に、無線通信信号705を介してVIOデータを信号強度測定値と組み合わせることは、近接度ビューを用いて、及び/又は測距ビューと組み合わせて、ユーザを無線デバイス201に向けることを支援し得る。VIOデータは、範囲測定値又は角度測定値のうちの1つ以上がマルチパス信号伝搬効果に起因して不正確であり得るシナリオにおいて特に有用であり得る。
【0082】
紛失アイテムのポジションを決定するためのアルゴリズムは、デバイスロケータUI204を介してアクセスすることができる。ユーザがアイテムの位置を特定しようとするとき、ユーザは、登録されたデバイスのリストからアイテムを選択し、デバイスロケータUI204を介して提示される「find」ボタンを選択することができる。様々な実施形態では、複数のユーザインタフェースが提示され得る。いくつかのインタフェースは、ユーザを発見されるべきターゲットアイテム又はデバイスに案内する2次元矢印を有する2次元コンパス様ビューに似ている。デバイスロケータUI204の近接度ビュー及び/又は近接度ビューと測距ビューとの組み合わせは、ユーザが探索において取った軌道を、取られた経路に沿って提示された近接インジケータと共に提示することに加えて、ユーザを案内する矢印を提供することができる。
【0083】
図8は、一実施形態におけるデバイスロケータユーザインタフェース204のための方法を示すフローチャート800である。1つ以上の慣性変位測定値は、受信された慣性センサデータ及び受信されたカメラセンサデータを使用して決定され得る(802)。1つ以上の慣性変位測定値は、VIOを使用して任意の2D又は3D座標系内の原点から決定される。一実施形態では、原点(例えば、([0,0,0]x、y、及びz軸))は、ユーザがターゲット無線デバイス201を見つけるためのプロセスを開始することを選択したときに確立される。ターゲット無線デバイスは、図1図3に示される無線アクセサリデバイス201及び/又は無線アクセサリデバイス101であってもよい。軌道は、収集された1つ以上の慣性変位測定値(804)に基づいて決定され得る。ユーザがロケーション環境内で移動するときに収集された原点からの変位測定値及び変位測定値は、ロケーション環境内でユーザによって取られた経路を表すためにユーザインタフェース204内に軌道をプロットするために使用され得る。軌道は、ユーザがすでに取った経路をユーザに警告するためにユーザインタフェース内に提示されてもよく、したがって、ユーザは、情報を使用して、デバイスを見つけるために他の経路を試みるか、又は経路を維持することができる。
【0084】
ビーコン信号は、ターゲット無線デバイス201から受信され得る(806)。モバイルデバイス102は、無線接続を確立する前に、及び/又はターゲット無線デバイス201がモバイルデバイス102への無線接続を確立している間に、1つ以上のアドバタイズメントと共にターゲット無線デバイス201からビーコン信号を受信し得る。モバイルデバイス102とターゲット無線デバイス201との間で双方向通信が確立されないことがあるが、モバイルデバイス102によって受信されたアドバタイズメントは、ターゲット無線デバイス201への近接度を決定するために使用され得る。信号強度値は、受信されたビーコン信号から決定され得る(806)。信号強度値は、ユーザが軌道上のエリア内に位置している間に受信されたビーコン信号内のアドバタイズメントから決定された信号強度測定値の平均であり得る。いくつかの実施形態では、エリアにわたって取られた信号強度値の平均(例えば、経時的に取られたものとは対照的に)は、フェージングの影響を低減することができる。フェージングは、モバイルデバイス102上の無線受信機において受信されたビーコン信号が同時に信号強度値の低下を引き起こすときに発生する。代替実施形態は、経時的に取られた信号強度値の平均を使用してもよい。ターゲット無線デバイス201への近接度値は、信号強度値が受信されたエリア内の軌道(808)に沿ったポジションに対応する信号強度値に基づいて推定され得る。
【0085】
ターゲット無線デバイスへの近接度値のインジケータは、軌道に沿って表示され得る(810)。信号強度値の定義されたカテゴリは、軌道に沿ったエリアについて平均化される1つ以上の信号強度値の各セットについて決定されてもよく、近接度値のインジケータは、定義されたカテゴリに従って提示されてもよい。例えば、値の範囲は、間近、近い、及び遠いカテゴリ、及び/又は無線アクセサリデバイス201への近接度についてユーザに情報を提供する任意の他のカテゴリを指定するために、バケットのセットの各々について定義されてもよい。視覚インジケータは、任意のタイプのユーザインタフェース要素であってもよく、マーカ、特定の色若しくは勾配、形状、又は任意の他の視覚的インジケーションがユーザインタフェース上に表示されてもよいが、それらに限定されない。
【0086】
測距ビュー、信号強度近接度ビュー、及び/又は測距ビューと信号強度近接度ビューとの組み合わせ(図21に示されるような)が、ユーザインタフェース(812)内に選択的に提示され得る。例として、測距ビューは、無線接続が確立されたときにのみ示され得る。
測距ビュー
【0087】
距離、方位、及び範囲の計算の性能及び精度は、様々なアルゴリズム手法を使用して向上させることができる。1つのシナリオでは、デバイスがターゲットに向かって空間を通る軌道をたどるとき、デバイスは、ターゲットに測距するときにマルチパス信号伝搬効果に遭遇することがある。マルチパス伝搬は、無線信号が2つ以上の経路によって受信アンテナに到達する現象である。マルチパス伝搬は、ターゲットへの視線が環境内の障害物によって遮られた場合、アンテナパターンが見通し線信号を大幅に減衰させた場合、又はユーザ自身が信号を遮断した場合に発生する可能性がある。モバイルデバイスがターゲットに向かって空間を通る軌道を追跡するとき、ターゲットまでの測定された範囲は、軌道にわたって移動した距離と共に、経時的に進展し得る。この進展の間に、異常及び干渉が生じ得る。
【0088】
時々、センサデータから決定された測定範囲は、空間を移動した距離よりも大きくジャンプするように見えることがある。ある期間にわたって移動した距離とは異なる測定範囲の突然の増加は、マルチパス条件がいつ変化したかを決定するために使用され得る。範囲の変化が正であり、移動した距離よりも大きい場合、マルチパスによる測定のバイアスが増加している可能性がある。同様に、範囲の変化が負であり、移動した距離よりも大きさが大きい場合、マルチパス成分は以前に存在していた可能性が高く、効果が減少している。マルチパス伝搬が減少したことが検出されると、潜在的なマルチ干渉を説明するために、以前の測定値の不確実性を増加させることができる。一実施形態では、マルチパス測定値と見なされた以前の測定値は、それらの測定値に関連付けられた重みをゼロに設定することによって、測定履歴から除去され得る。マルチパス干渉が増加したことが検出されたとき、検出された増加の後に受信された測定値は、同様に、重み付けが減らされ得るか、又はそれらの測定値は拒絶され得る。
【0089】
一実施形態では、範囲測定値は、時間の経過に起因して重み付けを減らすことができる。範囲測定値がデバイスの軌道にわたって収集されるので、ターゲットのポジションの解は過剰に決定されるようになる。範囲測定値は、測定値が古くなるにつれて、及び/又はVIO誤差が累積するにつれて、重み付けが減らされ得る。移動するターゲットの場合、時間の関数としての範囲測定値の分析は、範囲測定値の時系列が、いずれか1つの測距動作に関連付けられた角度測定値に依存することなくデバイスに対する角度測定値を決定するために使用され得るので、特に重要であり得る。したがって、より古い測定値に関連付けられた重みは、時間関数に基づいて減衰され得る。
【0090】
一実施形態では、範囲測定値は、ターゲットまでの測定された距離及び/又は推定された距離に起因して重み付けが減らされ得る。測定値が更なる範囲を示すにつれて、マルチパス干渉の可能性が増大し、測定値はあまり有用でなくなる。解が形成されると、測定値が形成された各までの推定距離を計算することができる。その距離に基づいて、測定値を再び重み付けされることができる。更に、測定値自体が範囲であり、測定値の不確実性を推測するために使用することができる。
【0091】
一実施形態では、到達角度測定は、範囲のみの解が、ターゲットがデバイスの視野内にあることを示すとき、ターゲットポジションを更に精緻化するために使用されることができる。デバイスのポジション解は、測距測定値のみを使用して(例えば、角度測定値なしに)形成され得る。ポジション解が与えられると、ターゲットがモバイルデバイスの視野内にあったときにモバイルデバイスから角度測定の各々が行われた確率を計算することができる。確率が閾値を満たす場合、角度測定値を使用して新しいポジション解を形成することができる。角度測定の使用は、主に単一平面(例えば、xy平面)内にあるデバイス軌道に起因して、特にz軸に沿って、範囲の解に存在し得る曖昧さを解決することができる。
【0092】
測定値を使用してポジション解を形成した後、個々の寄与する測定値の測定誤差を計算することができる。過剰決定された解では、測定誤差は非ゼロであり、ポジション決定の品質の何らかのインジケーションを与える。大きな誤差が見られる場合、ポジション決定の信頼度は低下する可能性がある。信頼度に関する閾値は、ポジションがユーザに示されるべきかどうかを決定するために使用され得る。すべての測定値が少量だけ不一致であると見られる場合、誤差を使用してポジションの不確実性を増大させることができる。
【0093】
図9は、デバイスロケータアプリケーションのための近接度拡張ユーザインタフェースを可能にする方法900を示す。方法900は、無線コントローラによって決定された範囲測定値を、IMUからのセンサデータに基づいて決定された姿勢推定値と融合して、姿勢整列測定値及び3次元又は2次元ターゲットポジション推定値を生成することができる動作を含む。いくつかの実施形態では、3次元ターゲットポジション推定値は、ターゲットデバイス又はアイテムを含むロケーション環境のARビューが位置特定されることを可能にするために使用され得る。無線コントローラによって決定された範囲測定値、及びIMUからのセンサデータに基づいて決定された推定値はまた、2次元ターゲットポジション推定値を決定するために使用され得る。方法900は、本明細書に記載のターゲット無線アクセサリデバイス(例えば、無線デバイス101)若しくはターゲット無線アクセサリデバイス(例えば、無線アクセサリデバイス201)、又はビーコン若しくはロケータタグでタグ付けされたアイテムなどの無線アクセサリデバイス201に関連付けられたアイテムを位置特定するために、本明細書に記載のモバイルデバイス(例えば、モバイルデバイス102)によって実行することができる。
【0094】
一実施形態において、方法900は、モバイルデバイス102において、ターゲット無線アクセサリデバイスの地理的ロケーションを任意選択的に受信する動作を含む(901)。ターゲット無線アクセサリデバイス201の地理的ロケーションは、モバイルデバイス102のユーザアカウントにアクセスすることができるモバイルデバイス102によって決定されたロケーション、又はデバイスロケータサーバ203から受信したロケーションとすることができる。
【0095】
モバイルデバイス102は、次いで、モバイルデバイス102によって実行されるデバイスロケータアプリケーション204のインタフェース上にターゲット無線アクセサリデバイス201のインジケータを提示することができる(902)。インジケータは、近くの環境のマップ上にターゲット無線アクセサリデバイスのロケーションを示すマップインジケータとすることができる。例えば、図17図20に示すように、マップインジケータを有するマップを提示することができる。ターゲット無線アクセサリデバイス201までの距離及び範囲測定値を、ターゲット無線アクセサリデバイスのロケーションを示すマップインジケータと共にマップ上に提示することができる。次いで、モバイルデバイス102のユーザは、ターゲット無線アクセサリデバイス201のロケーションに向かって移動することができる。
【0096】
モバイルデバイス102がターゲット無線アクセサリデバイス201の閾値範囲内にある場合、無線アクセサリデバイス201は、1つ以上の無線測距動作を使用して、ターゲット無線アクセサリデバイス201までの範囲及び/又は方向を決定することができる(903)。1つ以上の測距動作は、連続的又は周期的な超広帯域測距動作を含むことができる。超広帯域測距動作は、RSSIベースの範囲決定など、他の範囲決定技法と共に実行され得る。一実施形態では、超広帯域測距動作は、交換される測距パケットが暗号化されるセキュアな測距動作である。一実施形態では、範囲決定と方向決定の両方が、1つ以上の測距動作に基づいて行われ得る。一実施形態では、範囲のみの決定を行うことができ、方向は、複数の範囲測定値の分析に基づいて決定することができる。範囲測定値と角度測定値の両方が瞬時無線測距信号分析に基づいて決定され得る場合、範囲測定値の履歴を使用して、決定された角度測定値の精度を高めることができる。
【0097】
モバイルデバイス102は、次いで、モバイルデバイス102内の慣性測定ユニットから受信されたセンサデータを介してモバイルデバイス102の姿勢を決定することができる(904)。慣性測定ユニットデータは、モバイルデバイス102の姿勢を決定するためにシステムによって処理され得る。姿勢データは、無線測距センサに基づいてターゲット無線アクセサリデバイス201に対して行われる方向決定を更に向上させるために使用することができる。
【0098】
次いで、モバイルデバイス102は、範囲、方向、及び姿勢に基づいて、ターゲット無線アクセサリデバイス201のポジション推定値を決定することができる(905)。一実施形態では、ターゲット無線アクセサリデバイス201及びモバイルデバイス102に対して決定される特定の範囲、方向、及び姿勢は、無線測距システム及びモバイルデバイス102のシステムからのセンサデータの融合に基づいて決定される。ポジション推定値は、モバイルデバイス102に対するポジション、又は3D及び/若しくは2D座標空間内の絶対ポジションであり得る。次いで、モバイルデバイス102は、無線アクセサリデバイス201のポジション推定値を含むデバイスロケータUI204を生成して表示することができる(906)。デバイスロケータUIは、例えば、図21に示すように、無線アクセサリデバイス201までの距離2116及び方向情報2108を有する測距ビューとすることができる。図21にも示される近接度ビューは、信号強度測定値によって決定されるようなターゲット無線アクセサリデバイス201への近接度に関する視覚インジケータを有する2D座標空間内の軌道を提供する。
【0099】
図10は、デバイスロケータサーバを介して無線アクセサリのロケーションを決定する方法1000を示す。図11は、デバイスロケータサーバを介して無線アクセサリのロケーションを決定する追加の方法1100を示す。図10に示すように、方法1000は、電子デバイスがデバイスロケータUIを起動する動作を含む(1001)。デバイスロケータUIの起動に応じて、本明細書で説明されるモバイルデバイス、又はモバイル電子デバイスと同じクラウドサービスアカウントに関連付けられた別の電子デバイスであり得る電子デバイスは、第1の期間中に無線アクセサリによってブロードキャストされたビーコン信号内に含まれていた公開鍵のセットを生成するための動作を実行することができる(1002)。第1の期間は、例えば、過去24時間とすることができる。電子デバイスは、無線アクセサリが新しい公開鍵を生成する周波数を認識しており、無線アクセサリで生成された共有秘密鍵を使用して、第1の期間にわたって無線アクセサリによって生成された鍵に対応する公開鍵のセットを生成することができる。次いで、電子デバイスは、デバイスロケータサーバが公開鍵のセットに対応するロケーションデータを送信するための要求内で公開鍵のセットを送信することができる(1003)。一実施形態では、要求に応じてサーバによって送信されるロケーションデータは、無線アクセサリのビーコン識別子として送信される公開鍵を使用して暗号化される。電子デバイスは、無線アクセサリとの初期ペアリング中に生成された秘密鍵を使用して、サーバによって受信された暗号化されたロケーションデータを復号することができる(1004)。次に、電子デバイスは、ロケーションデータを処理して、無線アクセサリの最高確率のロケーションを決定することができる(1005)。一実施形態では、ロケーションデータは、デバイスグループ内のアクセサリデバイス201に関するデータを含むことができる。
【0100】
ロケーションデータの処理は、様々な異なる動作を含むことができる。一実施形態において、ロケーションデータは、位置が決定されたタイムスタンプと共に緯度及び経度情報を含む。電子デバイスは、タイムスタンプに基づいて三角測量し、ノイズ又は外れ値ロケーションを除去することができる。一実施形態では、ロケーションデータは、ビーコンを検出したファインダデバイスのロケーションを指定する。ロケーションデータは、ファインダデバイスによって検出されたビーコンについてのUWB測距情報及び/又はRSSI情報を更に含むことができる。電子デバイスは、デバイスロケーションとの関連でUWB測距情報及び/又はRSSI情報を分析して、無線アクセサリのより正確なロケーションを明らかにすることができる。ファインダデバイスによって送信され、ロケーション処理に使用され得るデータは、図12に示され、以下に説明される。
【0101】
図11に示すように、方法11は、デバイスロケータサーバが、要求に応じて電子デバイスに提供するロケーションデータを有していない場合に実行することができる動作を含む。デバイスグループの場合、電子デバイス(例えば、モバイルデバイス102)は、デバイスグループ内のデバイスに関するロケーションデータを提供することができる。電子デバイスは、第1の期間中に無線アクセサリによってブロードキャストされたビーコン信号内に含まれていた公開鍵の第1のセットを生成することができる(1101)。第1の期間は、例えば24時間とすることができるが、他の初期探索期間を使用することもできる。電子デバイスは、公開鍵の第1のセットに対応するロケーションデータを送信するようにデバイスロケータサーバに要求する後続の動作を実行することができる(1102)。データがサーバによって返される場合(1103、「はい」)、電子デバイスは、公開鍵のセットに対応する秘密鍵を使用して、サーバから受信されたロケーションデータを復号することができる(ブロック1109)。
【0102】
データがサーバによって返されない場合(1103、「いいえ」)、電子デバイスは、第2の期間中に無線アクセサリによってブロードキャストされたビーコン信号内に含まれていた公開鍵の第2のセットを生成することができる(1104)。第2の期間は、第1の期間の24時間前、48時間前、又は別の時間前とすることができる。次いで、電子デバイスは、デバイスロケータサーバに、公開鍵の第2のセットに対応するデータを送信するように要求することができる(1105)。要求に応じて、データがサーバによって返される場合(1106、「はい」)、方法1100は、ブロック1109に進むことができ、電子デバイスは、受信されたデータを復号する。データがサーバによって返されない場合(1106、「いいえ」)、又はサーバが、データが利用可能でないことを示す応答を送信する場合、方法1100は、電子デバイスが、最大期間に達するまで連続してより古い期間を要求することによって探索時間を拡大することができる(1107)ことを含む。
【0103】
図12は、一実施形態による、無線アクセサリにおいて信号ビーコンをブロードキャストする方法1200を示すフロー図である。方法1200の態様は、図2及び図3にも示されている。方法1200は、無線アクセサリが公開鍵を導出すること(ブロック1202)を含む。公開鍵は、共有秘密と、無線アクセサリのクロック又は計時デバイスに基づいて決定されるタイムスタンプとに基づいて導出することができる。任意選択的に、無線アクセサリがデバイスグループの一部であるかどうかに関する判定が行われる(1204)。無線アクセサリがデバイスグループの一部である場合、デバイスグループ内の他のアクセサリデバイス201に関するステータス情報及び/又は検証可能な情報は、ビーコン信号において提供される(1206)。無線アクセサリは、デバイスグループ内の任意の他の無線アクセサリが近接しているか、(物理的に又は無線で)接続されているかなどのステータス情報及び/又は検証可能な情報、及び/又はデバイスグループ105内の他の無線アクセサリに関する任意の他の情報を示すことができる。一実施形態では、ビーコン信号に含まれるビットのセットは、デバイスグループ内の各アクセサリを表すことができ、ブール値(例えば、真(1)又は偽(0))を設定することは、個別のアクセサリがビーコン信号を送信しているアクセサリデバイスに近接している及び/又は接続されているかどうかを示すことができる。あるいは、無線アクセサリがデバイスグループの一部ではない場合、デバイスグループに関する情報は提供されない(1204)。次いで、無線アクセサリは、第1の周波数でビーコン信号を送信することができ、ビーコン信号は公開鍵を含む(1208)。第1の周波数は変えることができ、一実施形態では、2秒毎に1つのビーコンである。
【0104】
ビーコン信号を送信した後、無線アクセサリは、所有者デバイスからの応答をリッスンすることができる(1210)。無線信号が所有者デバイスから応答を受信する場合(1210、「はい」)、無線アクセサリは、所有者に近い状態に入り(1212)、第2のより低い周波数でビーコン信号を送信し始めることができる(1216)。無線アクセサリが所有者デバイスから応答を受信しない場合(1210、「いいえ」)、無線アクセサリは、第1の周波数でのビーコン送信を継続することができる(1214)。
【0105】
方法1200は、加えて、無線デバイスについて、ビーコン送信中に、M分毎に公開鍵を回転させることを含み、ここで、Mの値は、実施形態にわたって、及び/又はデバイス状態に基づいて変動し得る。タイマ満了、カウンタ、又は別の機構に基づいて、無線アクセサリは、アクセサリが新しい鍵期間に入ったかどうかを判定することができる(1218)。無線アクセサリが新しい鍵期間に入っていない間(1218、「いいえ」)、アクセサリは、現在の公開鍵を使用してビーコン送信を継続することができる(1222)。無線アクセサリが新しい鍵期間に入ったことを検出すると(1218、「はい」)、アクセサリは、現在のタイムスタンプを使用して新しい公開鍵を導出することができる(1220)。一実施形態では、新しい公開鍵は、既存の公開鍵、タイムスタンプ、及びトラッキング防止秘密を使用して導出することができる。
【0106】
図13図14は、本明細書で説明される実施形態による、ファインダデバイスによって実行され得る方法1300の動作を示す。方法1300の態様は、図2及び図3にも示されている。
【0107】
図13に示されるように、方法1300は、ファインダデバイスが、ファインダデバイスのアプリケーションプロセッサが低電力モードにある間に無線ベースバンドプロセッサを使用して周期的ビーコンスキャンを実行することを含む(1301)。ビーコンスキャンはまた、アプリケーションプロセッサがアクティブであるときに実行され得るが、ビーコンスキャンは、ファインダデバイスがアイドル、非アクティブ、又は別様に低電力状態である間に、低電力動作として無線プロセッサ及び無線受信機によって実行され得る。ファインダデバイスは、ファインダデバイスによって受信された任意のビーコンデータについて、タイムスタンプ及びビーコン識別子をビーコンスキャンバッファに記憶することができる(1302)。一実施形態におけるビーコン識別子は、タイムスタンプと所有者のモバイルデバイスで生成された共有秘密とに基づいて無線デバイスによって生成される公開鍵である。
【0108】
方法1300は更に、ファインダデバイスが、アプリケーションプロセッサが低電力モードにある間に無線プロセッサを使用して周期的なWi-Fiスキャンを実行することを含む(1303)。Wi-Fiスキャンはまた、アプリケーションプロセッサがアクティブであるときに実行され得るが、Wi-Fiスキャンは、ファインダデバイスがアイドル、非アクティブ、又は別様に低電力状態である間に、低電力動作として無線プロセッサ及び無線受信機によって実行され得る。次に、デバイスは、Wi-Fiサービスセット識別子(SSID)及びスキャンタイムスタンプをファインダデバイス上のWi-Fiスキャンバッファに記憶することができる(1304)。
【0109】
一実施形態では、Wi-Fiスキャンバッファは、最も最近検出されたSSIDを記憶する一方で、より古い検出されたSSIDを上書きするローリングバッファである。一実施形態では、ビーコンスキャンバッファは、所定数のエントリのための空間を有する固定サイズのバッファであり得る。ファインダデバイスは、ビーコンスキャンバッファが一杯になったときにアプリケーションプロセッサを起動させ(1305)、それらのビーコンスキャンをWi-Fiスキャンバッファ内の直近に検出されたSSIDと相関させることができる。ビーコン信号がデバイスグループから受信されたことをビーコンが示す場合(1306)、Wi-Fiスキャンバッファデータに基づいて受信ビーコンに対応するデバイスロケーションのセットが、デバイスグループからのビーコン信号に対して実行され得る(1310)。例えば、ビーコン信号がデバイスグループ105の第1のアクセサリデバイスから受信され、第1のアクセサリデバイスに物理的に又は無線で接続された近接デバイスのセットに関する情報を含む場合、第1のアクセサリデバイスの最後の既知のロケーションは、第1のアクセサリデバイス及びデバイスグループ105内の近接デバイスの各々に帰属/記憶されてもよい。代替的に、その相関は、ファインダデバイスが、Wi-Fiスキャンバッファデータに基づいて、受信されたビーコンに対応するデバイスロケーションのセットを決定することを可能にすることができる(1308)。
【0110】
方法1300は、図14に続き、ファインダデバイスが、他のロケーションデータが利用可能である場合、Wi-Fiスキャンバッファデータからのデバイスロケーションを他のロケーションデータと相関させて(1407)、精緻化されたデバイスロケーションを生成することを含む。精緻化されたデバイスロケーションが生成される場合、ファインダデバイスは、随意に、ビーコンデータを精緻化されたデバイスロケーションと組み合わせることができる(1408)。ファインダデバイスは、信号強度(RSSI)及び/又は測距データをロケーションデータに追加することもできる(1409)。信号強度及び測距データ(例えば、UWB測距データ)は、ビーコン信号がファインダデバイスによって受信されるときに収集することができる。次に、ファインダデバイスは、ビーコンデータ内で受信された1つ以上の公開鍵を用いてロケーションデータを暗号化することができる(1410)。信号及び測距データは、ロケーションデータと共に暗号化されてもよく、又は暗号化されたロケーションデータと共に暗号化されずに送信されてもよい。ファインダデバイスは、デバイスロケータサーバへの送信のために暗号化されたロケーションデータをエンキューすることができる(1411)。デバイスロケータサーバは、複数のクラウドサービスサーバのうちの1つであってもよく、これらのクラウドサービスサーバに対して、通信は、一般に、バッチ方式及び抑制方式で実行される。暗号化されたデータのバッチは、送信間隔が到来するまで、集められて送信キューに配置されることができ、送信間隔の間に、ファインダデバイスは、クラウドサービスサーバにデータを送信することができる(1412)。
【0111】
図15は、一実施形態による、ファインダデバイスによる信号及び測距データの収集を図示する。一実施形態では、ファインダデバイス202は、複数のロケーション1502A~1502Nにわたって無線アクセサリ201から受信したビーコン信号301の信号強度情報(例えば、RSSI 1504A~1504N)を収集することができる。ファインダデバイス202は、図3のファインダデバイス303のセットのような複数のファインダデバイスを表すこともでき、各ファインダデバイスは、異なるロケーションでビーコン信号を検出する。各ファインダデバイス202は、異なるロケーション及び信号強度を送信することができ、複数のファインダデバイスから受信されたロケーション及び信号強度データは、デバイスロケータサーバによって集約される。ファインダデバイス及び無線デバイスが各々UWB無線機を含む一実施形態では、ファインダデバイス及び無線デバイスがUWB送信の範囲内にある場合、UWB測距1506を実行することができる。UWB測距及び信号強度データは、ファインダデバイスのロケーションデータと共にデバイスロケータサーバに送信されることができる。
【0112】
所有者デバイスは、デバイスロケータサーバからRSSI及び/又はUWB情報をロケーションデータと共に取り出すことができ、ロケーションデータは、一実施形態では、ロケーションが決定されたタイムスタンプと共に緯度及び経度情報の形態で提供される。次いで、所有者デバイスは、ロケーションデータ、タイムスタンプ、及び信号情報を使用して、無線アクセサリ201の最も可能性の高いロケーションを三角測量することができる。
【0113】
図16図21は、一実施形態による、デバイスロケータUI204を示す。図16は、一実施形態による、デバイスロケータUI204の第1のグラフィカルユーザインタフェースを示し、ユーザの様々な無線アクセサリのための通知を示す。デバイスロケータUI204は、電子デバイス1600のホーム画面1601上に分離通知1602を提示させることができる。図17は、一実施形態による、デバイスロケータUI204の第2のグラフィカルユーザインタフェースを示し、これは、置き去りにされたアクセサリデバイスがマップ上で見られること、信頼できるロケーションを追加すること、又はアイテムに対する通知を停止することを要求することを可能にする。
【0114】
図18は、デバイスグループ内のデバイスを含むアクセサリデバイス201をマップ内で見つけることを可能にする、一実施形態による、デバイスロケータUI 204の第3のグラフィカルユーザインタフェースを示す。図19は、一実施形態による、デバイスロケータUI204の第4のグラフィカルユーザインタフェースを示し、これは、無線アクセサリが紛失モードに設定されること、又は発見されたときに通知することを可能にする。デバイスロケータUI204は、モバイルデバイス102、又は本明細書で説明される任意の他のタイプの電子デバイスであり得る電子デバイス上に表示することができる。図20は、無線アクセサリが信頼できるロケーションを追加することを可能にする、一実施形態によるデバイスロケータUI204の第5のグラフィカルユーザインタフェースを示す。図21は、信号強度測定値を使用して近接度ビューを可能にする、一実施形態による、デバイスロケータUI203の第6のグラフィカルユーザインタフェースを示す。
【0115】
図17に示されるように、デバイスロケータUI204は、電子デバイス1700上に統一されたグラフィカルインタフェースを提示することができ、それを通して、ネットワーク又はセルラーアクセスを伴う無線デバイス及びネイティブネットワークアクセスを伴わない無線アクセサリを含む、複数の異なるタイプのデバイス及びアクセサリを位置特定することができる。デバイスロケータUI204は、無線アクセサリデバイス201の現在又は最後の既知のロケーションを示すマーカ1705を有するマップ1704を含むことができる。マーカ1705は、アクセサリを識別し、アクセサリのロケーションを伝達するアイコン、画像、グラフィック、又は任意の他のユーザインタフェース要素とすることができる。デバイスロケータUI204内の選択可能要素1707は、特定のアイテムについて通知されないように要求するオプションを提示することができる。デバイスロケータUI204内の選択可能要素1706は、無線デバイス又はアクセサリの説明又は名前を提示することができ、図18に示すように、無線デバイス又はアクセサリと電子デバイス1800の現在のロケーションとの間の推定距離を示すことができる。
【0116】
図18に示すように、デバイスロケータUI 204は、無線アクセサリがアイテム1803及び1805並びに電子デバイス1800からの距離を見ることを可能にするユーザインタフェースを提示することができる。一実施形態では、図17に示す選択可能要素1706の選択に応じて、第3のユーザインタフェースを表示することができる。第3のユーザインタフェースは、問題の無線アクセサリを表す及び/又は記述するユーザインタフェース要素1802、並びに無線アクセサリの現在又は最後の既知のロケーションを示すマップ1801及びマーカ1802を提示することができる。
【0117】
図19に示すように、デバイスロケータUI204は、無線アクセサリを紛失モードに設定することを可能にする第4のグラフィカルユーザインタフェースを提示することができる。一実施形態では、デバイスロケータUI204を介して無線アクセサリを位置特定することができない場合、マップ1901は、アクセサリのロケーションを示すマーカを表示しない。デバイスロケータUI204は、問題の無線アクセサリ及び選択可能なユーザインタフェース要素のセットを表す及び/又は記述するユーザインタフェース要素1904を提示することができる。1つの選択可能なユーザインタフェース要素1906は、アクセサリが発見されたときにユーザに通知するオプションを提示することができる。発見時通知が有効にされると、一実施形態では、無線アクセサリを簡易紛失モードにすることができる。デバイスロケータUI204に関連付けられた電子デバイスは、無線アクセサリが将来の期間(例えば、次の24時間、次の48時間など)中にビーコン信号と共にブロードキャストする公開鍵のセットを生成することができる。将来の鍵のうちの1つを使用してファインダデバイスによって信号が検出された場合、デバイスロケータサーバは、ユーザに関連付けられた1つ以上の電子デバイスに通知することができる。
【0118】
別の選択可能なユーザインタフェース要素1907は、無線アクセサリを明示的紛失モードにすることができる。紛失モードに明示的にされた場合、無線アクセサリは、デバイスを紛失モードに入れるユーザ又は所有者によってアクセサリがロック解除されるまで、他のデバイスとペアリングすることができない。無線アクセサリを紛失モードにする要求を送信するとき、要求元ユーザは、紛失したアクセサリ上で紛失モードが開始されることを要求する権限が要求元ユーザに与えられていることを保証するために、認証情報を入力するよう要求され得る。認証情報は、ユーザ、電子デバイス、及び無線アクセサリが関連付けられたクラウドサービスアカウントなどのユーザのアカウントに関連付けられたユーザ名又はパスワードを含むことができる。認証情報は、指紋認証データ又は顔認証データなどのバイオメトリック情報も含むことができる。
【0119】
一実施形態では、要求側ユーザによって提供されるメッセージ及び連絡先情報をユーザデバイス上に表示して、紛失した無線アクセサリを発見した人に、要求元ユーザにどのように連絡するかについて警告することができる。一実施形態では、メッセージ及び連絡先情報は、別のユーザが別の電子デバイスを紛失したアクセサリとペアリングしようとしたときに表示することができる。
【0120】
図20に示すように、デバイスロケータUI204は、電子デバイス2000内に第5のグラフィカルユーザインタフェースを提示することができ、選択可能要素2003の選択により、2004を有するマップ上に示された既知のロケーション2006の指定が信頼できるロケーションになることを可能にする。一実施形態では、図17に示す選択可能要素1703の選択に応じて、第5のユーザインタフェースを表示することができる。デバイスロケータUI204は、問題の無線アクセサリを表す及び/又は記述するユーザインタフェース要素2005を提示することができる。
【0121】
図21に示すように、デバイスロケータUI204は、信号強度測定値を使用して、電子デバイス2100内に近接度ビューを有する第6のグラフィカルユーザインタフェースを提示することができる。「トミーのAirPods」を見つけるための近接度ビュー2124は、ユーザインタフェース204内の軌道2138に沿った様々なポジションにインジケータ2122、2126、2130、2132、2134、及び2128を有する。各インジケータは、サイズ、色、形状、色勾配、陰影、パターン、及び/又はユーザインタフェース内の視覚インジケータのための任意の他の技法によって、ターゲット無線アクセサリデバイス201への近接度を表すユーザインタフェース要素であってもよい。インジケータは、ユーザがロケーション環境を通って移動するときに軌道2138に沿って表示され得る。近接度ビュー2104において、例えば、インジケータ2106は、他のインジケータと比較してより暗い色及び/又はより大きいサイズによって表されるように、ターゲット無線アクセサリデバイス201を見つけるためにユーザが取った軌道2138に沿ってターゲット無線アクセサリデバイス201に最も近い。いくつかの実施形態では、ユーザインタフェース204近接度ビューは、測距測定値を使用して測距情報を提示し、ターゲット無線アクセサリデバイス201の方向及びターゲット無線アクセサリデバイス201までの距離2136を示す矢印2128を提示することができる。他の実施形態では、測距情報は、図1Bに示されるように、近接インジケータ2122、2126、2130、2132、及び2134なしで別個のユーザインタフェース内に提示され得る。他の実施形態では、軌道は、色、勾配、陰影、及び/又はグリッド上にプロットされた軌道に沿った任意の他のマーキングで指定されたグリッドのエリアからなる視覚インジケータを有する六角形グリッドなどのグリッド内に示されて、それぞれのエリア内で観察された信号強度の近接度値を表すことができる。
【0122】
図22は、本発明のいくつかの実施形態において使用され得る、例示的なAPIアーキテクチャを示すブロック図である。図22に示すように、APIアーキテクチャ2200は、API 2220を実装するAPI実装構成要素2210(例えば、オペレーティングシステム、ライブラリ、デバイスドライバ、API、アプリケーションプログラム、ソフトウェア、又は他のモジュール)を含む。API 2220は、API呼び出し構成要素2230によって使用され得るAPI実装構成要素の1つ以上の関数、方法、クラス、オブジェクト、プロトコル、データ構造、フォーマット、及び/又は他の機能を指定する。API2220は、API実装構成要素の関数がAPI呼び出し構成要素からパラメータをどのように受け取るか、及び関数がAPI呼び出し構成要素に結果をどのように返すかを指定する少なくとも1つの呼び出し規約を指定することができる。API呼び出し構成要素2230(例えば、オペレーティングシステム、ライブラリ、デバイスドライバ、API、アプリケーションプログラム、ソフトウェア、又は他のモジュール)は、API 2220を通じてAPI呼び出しを実行して、API 2220によって指定されているAPI実装構成要素2210の機能にアクセスし、使用する。API実装構成要素2210は、API呼び出しに応じて、API呼び出し構成要素2230にAPI 2220を通じて値を返し得る。
【0123】
API実装構成要素2210は、追加の関数、方法、クラス、データ構造、及び/又はAPI 2220を通じて指定されておらず、かつ、API呼び出し構成要素2230に利用可能ではない他の機能を含む得ることが理解されるであろう。API呼び出し構成要素2230は、API実装構成要素2210と同じシステム上にあるか、又はリモートに特定することができ、ネットワークを経由してAPI2220を使用してAPI実装構成要素2210にアクセスすることができることを理解されたい。図22は、API 2220と相互に作用する単一のAPI呼び出し構成要素2230を示しているが、API呼び出し構成要素2230と異なる言語(又は同じ言語)で書くことが可能な他のAPI呼び出し構成要素がAPI 2220を用いることができることを理解されたい。
【0124】
API実装構成要素2210、API2220、及びAPI呼び出し構成要素2230は、機械可読媒体に記憶することができ、これは機械(例えば、コンピュータ又は他のデータ処理システム)によって読み取ることができる形式で情報を記憶するための任意のメカニズムを含む。例えば、機械可読媒体には、磁気ディスク、光ディスク、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリデバイスなどが挙げられる。
【0125】
図23は、一実施形態による、モバイルデバイス又は組み込みデバイス用のデバイスアーキテクチャ2000のブロック図である。デバイスアーキテクチャ2300は、メモリインタフェース2302と、1つ以上のデータプロセッサ、画像プロセッサ、及び/又はグラフィックス処理ユニットを含む処理システム2304と、周辺機器インタフェース2306とを含む。様々な構成要素は、1つ以上の通信バス又は信号線によって結合することができる。様々な構成要素は、別個のロジック構成要素若しくはデバイスであってもよく、又はチップ集積回路上のシステムなどの1つ以上の集積回路に統合することができる。
【0126】
メモリインタフェース2302は、スタティックランダムアクセスメモリ(SRAM)若しくはダイナミックランダムアクセスメモリ(DRAM)などの高速ランダムアクセスメモリ、及び/又はフラッシュメモリ(例えば、NANDフラッシュ、NORフラッシュなど)などであるがこれに限定されない不揮発性メモリ、を含むことができるメモリ2350に結合することができる。
【0127】
センサ、デバイス、及びサブシステムは、周辺機器インタフェース2306と結合することにより、複数の機能を容易にすることができる。例えば、動きセンサ2310、光センサ2312、及び近接センサ2314を周辺機器インタフェース2306に結合して、モバイルデバイス機能を容易にすることができる。指紋認証用の指紋スキャナ又は顔認証用の画像センサなど、1つ以上のバイオメトリックセンサ(単数又は複数)2315も存在してもよい。他のセンサ2316はまた、測位システム(例えば、GPS受信機)、温度センサ、又は他の検出デバイスなどの周辺機器インタフェース2306に接続して、関連する機能を容易にすることができる。カメラサブシステム2320及び光学センサ2322(例えば、電荷結合素子(CCD)又は相捕型金属酸化膜半導体(CMOS)光学センサを利用して、写真及びビデオクリップの記録などのカメラ機能を容易にすることができる。
【0128】
1つ以上の無線通信サブシステム2324を介して、通信機能を容易にすることができ、それらのサブシステムとしては、無線周波数受信機及び送信機並びに/又は光(例えば、赤外線)受信機及び送信機を挙げることができる。無線通信サブシステム2324の具体的な設計及び実装は、このモバイルデバイスが動作することを目的とする、通信ネットワーク(単数又は複数)次第であり得る。例えば、図示されたデバイスアーキテクチャ2300を含むモバイルデバイスは、GSMネットワーク、CDMAネットワーク、LTEネットワーク、Wi-Fiネットワーク、Bluetoothネットワーク、又は任意の他の無線ネットワーク上で動作するように設計された無線通信サブシステム2324を含むことができる。特に、無線通信サブシステム2324は、メディア再生アプリケーションが、リモートメディアサーバからリソースを、又はリモートカレンダ若しくはイベントサーバからスケジュールされたイベントを取り出せる、通信機構を提供することができる。
【0129】
オーディオサブシステム2326をスピーカ2328及びマイクロフォン2330に結合することにより、ボイス認識機能、ボイス複製機能、デジタル録音機能、及び電話機能などの音声を使用可能な機能を容易にすることができる。本明細書に記載されるスマートメディアデバイスでは、オーディオサブシステム2326は、仮想サラウンドサウンド用のサポートを含む高品質オーディオシステムであり得る。
【0130】
I/Oサブシステム2340は、タッチスクリーンコントローラ2342及び/又は他の入力コントローラ(単数又は複数)2345を含むことができる。ディスプレイデバイスを含むコンピューティングデバイスの場合、タッチスクリーンコントローラ2342は、タッチ感知ディスプレイシステム2346(例えば、タッチスクリーン)に結合することができる。タッチ感知ディスプレイシステム2346及びタッチスクリーンコントローラ2342は、例えば、容量性、抵抗性、赤外線、及び表面弾性波技術、並びに他の近接センサアレイ、又はタッチ感知ディスプレイシステム2346との1つ以上の接触点を判定するための他の要素を含むがこれらに限定されない、複数のタッチ及び圧力感知技術のうちのいずれかを使用して、接触及び移動並びに/又は圧力を検出することができる。タッチ感知ディスプレイシステム2346用の表示出力は、ディスプレイコントローラ2343によって生成することができる。一実施形態では、ディスプレイコントローラ2343は、フレームデータをタッチ感知ディスプレイシステム2346に可変フレームレートで提供することができる。
【0131】
一実施形態では、センサコントローラ2344は、動きセンサ2310、光センサ2312、近接センサ2314、又は他のセンサ2316のうちの1つ以上から受信したデータを、監視、制御、及び/又は処理するために含まれる。センサコントローラ2344は、センサデータを解釈して、センサからのセンサデータの分析によって、より多くの動きイベント又は活動のうちの1つの発生を判定するためのロジックを含むことができる。
【0132】
一実施形態では、I/Oサブシステム2340は、1つ以上のボタン、ロッカスイッチ、サムホイール、赤外線ポート、USBポート、及び/若しくはスタイラスなどのポインタデバイス、又はスピーカ2328及び/若しくはマイクロフォン2330の音量制御用のアップ/ダウンボタンなどの制御デバイス、などの他の入力/制御デバイス2348に結合できる他の入力コントローラ(単数又は複数)2345を含む。
【0133】
一実施形態では、メモリインタフェース2302に結合されたメモリ2350は、ポータブルオペレーティングシステムインタフェース(POSIX)適合及び非適合オペレーティングシステム又は組み込みオペレーティングシステムを含む、オペレーティングシステム2352用の命令を記憶することができる。オペレーティングシステム2352は、基本システムサービスを処理するし、及びハードウェア依存タスクを実行する命令を含み得る。いくつかの実装形態では、オペレーティングシステム2352は、カーネルとすることができる。
【0134】
メモリ2350はまた、例えば、リモートウェブサーバからウェブリソースを取り出すために、通信命令2354を記憶して、1つ以上の追加デバイス、1つ以上のコンピュータ、及び/又は1つ以上のサーバとの通信を容易にすることができる。メモリ2350はまた、グラフィックユーザインタフェースの処理を容易にするグラフィカルユーザインタフェース命令を含むユーザインタフェース命令2356を含むことができる。
【0135】
加えて、メモリ2350は、センサ関連の処理及び機能を容易にするためのセンサ処理命令2358、電話関連の処理及び機能を容易にするための電話命令2360、電子メッセージング関連の処理及び機能を容易にするためのメッセージング命令2362、ウェブブラウジング関連の処理及び機能を容易にするためのウェブブラウザ命令2364、メディア処理関連の処理及び機能を容易にするためのメディア処理命令2366、GPS及び/又はナビゲーション命令2368を含むロケーションサービス命令、並びにロケーションベースの機能を容易にするためのWi-Fiベースのロケーション命令、カメラ関連の処理及び機能を容易にするためのカメラ命令2370、並びに/あるいは他の処理及び機能、例えばセキュリティ処理及び機能、並びにシステムに関連する処理及び機能を容易にするための他のソフトウェア命令2372を記憶することができる。メモリ2350はまた、ウェブビデオ関連の処理及び機能を容易にするためのウェブビデオ命令などの他のソフトウェア命令、及び/又はウェブショッピング関連の処理及び機能を容易にするためのウェブショッピング命令、を記憶し得る。いくつかの実装形態では、メディア処理命令2366は、オーディオ処理関連の処理及び機能を容易にするオーディオ処理命令と、ビデオ処理関連の処理及び機能を容易にするビデオ処理命令とにそれぞれ分割される。国際移動体装置識別番号(IMEI)2374又は同様のハードウェア識別子などの移動体装置識別子もまた、メモリ2350に記憶することができる。
【0136】
上記で特定された命令及びアプリケーションのそれぞれは、上記1つ以上の機能を実行する命令セットに対応し得る。これらの命令は、別個のソフトウェアプログラム、手順、又はモジュールとして実装する必要がない。メモリ2350は、追加の命令を含んでもよく、又はより少ない命令を含み得る。更にまた、様々な機能は、1つ以上の信号処理及び/又は特定用途向け集積回路を含むハードウェア及び/又はソフトウェアに実装できる。
【0137】
図24は、一実施形態による、コンピューティングシステム2400のブロック図である。図に示されるコンピューティングシステム2400は、例えば、デスクトップコンピュータシステム、ラップトップコンピュータシステム、タブレットコンピュータシステム、セルラー電話、セルラー対応PDAを含む携帯情報端末(PDA)、セットトップボックス、娯楽システム若しくは他の消費者向け電子デバイス、スマート家電デバイス、又はスマートメディア再生デバイスの1つ以上の実装を含む、様々なコンピューティングシステム(有線又は無線)を表すことを目的としている。代替的なコンピューティングシステムは、より多く、より少ない、及び/又は異なる構成要素を含み得る。コンピューティングシステム2400は、コンピューティングデバイス、及び/又はコンピューティングデバイスが接続し得るサーバデバイスを提供するために使用されてもよい。
【0138】
コンピューティングシステム2400は、情報を通信するためのバス2435又は他の通信デバイス、及び情報を処理し得るバス2435に結合されたプロセッサ(単数又は複数)2410を含む。コンピューティングシステム2400は単一のプロセッサで例示されているが、コンピューティングシステム2400は、複数のプロセッサ及び/又はコプロセッサを含んでもよい。コンピューティングシステム2400は、バス2435に結合されたランダムアクセスメモリ(RAM)又は他のダイナミックストレージデバイスなどのメモリ2420を更に含んでもよい。メモリ2420は、プロセッサ(単数又は複数)2410によって実行され得る情報及び命令を記憶してもよい。メモリ2420はまた、プロセッサ(単数又は複数)2410による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されてもよい。
【0139】
コンピューティングシステム2400はまた、プロセッサ(単数又は複数)2410に対する情報及び命令を記憶し得るバス2435に結合された読み出し専用メモリ(ROM)2430及び/又は別のデータストレージデバイス2440を含んでもよい。データストレージデバイス2440は、フラッシュメモリデバイス、磁気ディスク、又は光ディスクなどの様々なストレージデバイスであってもよく、又はそれを含むことができ、バス2435を介して、又はリモート周辺機器インタフェースを介して、コンピューティングシステム2400に結合されてもよい。
【0140】
コンピューティングシステム2400はまた、バス2435を介してディスプレイデバイス2450に結合されて、ユーザに情報を表示し得る。コンピューティングシステム2400はまた、情報及びコマンド選択をプロセッサ(単数又は複数)2410に通信するためにバス2435に結合され得る、英数字及び他のキーを含む英数字入力デバイス2460を含み得る。別のタイプのユーザ入力デバイスには、タッチパッド、マウス、トラックボール、又はカーソル方向キーなどのカーソル制御デバイス2470が含まれ、方向情報及びコマンド選択をプロセッサ(単数又は複数)2410に通信し、ディスプレイデバイス2450上のカーソル移動を制御する。コンピューティングシステム2400はまた、1つ以上のネットワークインタフェース(単数又は複数)2480を介して通信可能に結合されたリモートデバイスからのユーザ入力を受信し得る。
【0141】
コンピューティングシステム2400は、ローカルエリアネットワークなどのネットワークへのアクセスを提供するために、1つ以上のネットワークインタフェース(単数又は複数)2480を更に含んでもよい。ネットワークインタフェース(単数又は複数)2480は、例えば、1つ以上のアンテナ(e)を表し得るアンテナ(単数又は複数)2485を有する無線ネットワークインタフェースを含んでもよい。コンピューティングシステム2400は、Wi-Fi、Bluetooth(登録商標)、近距離通信(NFC)、及び/又はセルラー電話インタフェースの組み合わせなどの、複数の無線ネットワークインタフェースを含むことができる。例えば、ネットワークインタフェース(単数又は複数)2480はまた、例えば、イーサネットケーブル、同軸ケーブル、光ファイバケーブル、シリアルケーブル、又はパラレルケーブルであり得るネットワークケーブル2487を介してリモートデバイスと通信するための有線ネットワークインタフェースを含んでもよい。
【0142】
一実施形態では、ネットワークインタフェース(単数又は複数)2480は、例えばIEEE802.11無線規格に準拠することによってローカルエリアネットワークへのアクセスを提供することができ、及び/又は無線ネットワークインタフェースは、例えばBluetooth規格に準拠することによって個人エリアネットワークへのアクセスを提供することができる。他の無線ネットワークインタフェース及び/又はプロトコルもサポートすることができる。無線LAN規格を介した通信に加えて、又はその代わりに、ネットワークインタフェース(単数又は複数)2480は、例えば、時分割多重アクセス(TDMA)プロトコル、移動通信用グローバルシステム(GSM)プロトコル、符号分割多重アクセス(CDMA)プロトコル、ロングタームエボリューション(LTE)プロトコル、及び/又は任意の他のタイプの無線通信プロトコルを使用して、無線通信を提供し得る。
【0143】
コンピューティングシステム2400は、1つ以上のエネルギー源2405及び1つ以上のエネルギー測定システム2445を更に含むことができる。エネルギー源2405は、外部電源、1つ以上のバッテリ、1つ以上の充電貯蔵デバイス、USB充電器、又は他のエネルギー源に結合されたAC/DCアダプタを含むことができる。エネルギー測定システムは、所定の期間中にコンピューティングシステム2400によって消費されるエネルギーを測定できる、少なくとも1つの電圧又はアンペア数測定デバイスを含む。更に、例えば、ディスプレイデバイス、冷却サブシステム、Wi-Fiサブシステム、又は他の頻繁に使用される若しくは高エネルギーの消費サブシステムによって消費されるエネルギーを測定する1つ以上のエネルギー測定システムを含み得る。
【0144】
実施形態について、構造上の特徴及び/又は方法論的な作業に特定の言語で説明したが、添付の特許請求の範囲は、必ずしも上述した特定の特徴又は作業に限定されないことを理解されたい。開示した特定の特徴及び行為は、むしろ、説明上有用な特許請求の範囲の実施形態として理解されたい。
図1A
図1B
図1C
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24