(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-05
(54)【発明の名称】IMUおよびレーダーに基づいて状態を下げること
(51)【国際特許分類】
G06F 21/45 20130101AFI20220928BHJP
G06F 3/01 20060101ALI20220928BHJP
【FI】
G06F21/45
G06F3/01 570
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021572929
(86)(22)【出願日】2019-08-30
(85)【翻訳文提出日】2022-02-07
(86)【国際出願番号】 US2019049212
(87)【国際公開番号】W WO2021021219
(87)【国際公開日】2021-02-04
(32)【優先日】2019-07-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】チャンデル,アロク
(72)【発明者】
【氏名】ジュスティ,レオナルド
(72)【発明者】
【氏名】ツルカン,アルトゥール
(72)【発明者】
【氏名】シネック,セリム・フラビオ
(72)【発明者】
【氏名】プラグ,ヨハン
(72)【発明者】
【氏名】クグラー,タイラー・リード
(72)【発明者】
【氏名】モレイラ・コスタ,ルーカス・デュパン
(72)【発明者】
【氏名】サチダナンダム,ビグネッシュ
(72)【発明者】
【氏名】バーベッロ,ブランドン
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA63
5E555AA77
5E555BA04
5E555BB04
5E555BC07
5E555CA10
5E555CA12
5E555CA41
5E555CA44
5E555CA47
5E555CB12
5E555CB64
5E555CB66
5E555CB81
5E555DB18
5E555DC13
5E555DD06
5E555DD08
5E555EA09
5E555EA11
5E555FA00
(57)【要約】
本明細書は、IMU(慣性計測装置)およびレーダーからのセンサーデータに基づいて状態を下げるための技術およびシステムについて説明する。本技術およびシステムは、IMUからの慣性センサーデータおよびレーダーデータを用いて、電力状態、アクセス状態、および情報状態など、ユーザ機器の状態を下げる。これらの状態は、使用電力や、許可されたアクセスの量や、ユーザ機器が提供する情報の量を表す。本技術は、ユーザのユーザ機器の使用に対応するようにユーザ機器の状態を管理する。これにより、節電でき、保証のないアクセスを減らすことができ、ユーザがユーザ機器を使用していないときに提供される情報量を減らすことができる。これによりユーザのプライバシーが保護される。
【特許請求の範囲】
【請求項1】
方法であって、
ユーザがユーザ機器とやり取りしているまたは最近までやり取りしていた状態である高レベル状態に前記ユーザ機器がある間に、前記ユーザ機器に動きがあると判断するステップを含み、前記動きがあるとは、前記ユーザ機器が動かされているまたは動かされたことを示し、前記判断は、前記ユーザ機器と一体化された慣性計測装置を通じて受信した慣性データに基づき、前記方法は、さらに、
レーダーデータに基づいて、前記ユーザ機器によって、使用をやめるという意図があると判断するステップを含み、前記使用をやめるという意図があることは、前記ユーザに前記ユーザ機器の使用をやめるという意図があることを示し、前記方法は、さらに、
前記動きがあるとの前記判断および前記使用をやめるという意図があるとの前記判断に応答して、前記高レベル状態の前記ユーザ機器を、前記高レベル状態から中間レベル状態または低レベル状態に下げるステップ含み、前記高レベル状態は、高アクセス状態、高電力状態、または高情報状態であり、前記中間レベル状態は、中間アクセス状態、中間電力状態、または中間情報状態であり、前記低レベル状態は、低アクセス状態、低電力状態、または低情報状態である、方法。
【請求項2】
前記高レベル状態は、前記高電力状態であり、前記高レベル状態を下げるステップは、前記高電力状態を前記中間電力状態または前記低電力状態に下げ、前記中間電力状態で使用される電力は、前記高電力状態で使用される電力よりも低く、前記低電力状態で使用される電力は、前記中間電力状態で使用される電力よりも低い、請求項1に記載の方法。
【請求項3】
前記高電力状態を前記中間電力状態または前記低電力状態に下げるステップは、認証システムの電力消費部品の電力状態を下げ、前記中間電力状態または前記低電力状態は、前記ユーザ機器に対応付けられた認証システムが前記ユーザを認証することを前記電力消費部品が可能にするには不十分な電力状態である、請求項2に記載の方法。
【請求項4】
前記高レベル状態は、前記高アクセス状態であり、前記高レベル状態を下げるステップは、前記高アクセス状態を前記中間アクセス状態または前記低アクセス状態に下げ、前記中間アクセス状態は、前記ユーザ機器の機能、構成要素、またはアカウントに対して、前記高アクセス状態が許可するアクセスよりも少ないアクセスを許可し、前記低アクセス状態は、前記ユーザ機器の機能、構成要素、またはアカウントに対して、前記中間アクセス状態が許可するアクセスよりも少ないアクセスを許可する、請求項1に記載の方法。
【請求項5】
前記高アクセス状態は、前記ユーザが前記ユーザ機器によって認証されているアンロック状態であり、前記低レベル状態は、前記ユーザが前記ユーザ機器によって認証されていないロック状態である、請求項4に記載の方法。
【請求項6】
前記高レベル状態は、前記高情報状態であり、前記高レベル状態を下げるステップは、前記高情報状態を前記中間情報状態または前記低情報状態に下げ、前記中間情報状態は、前記ユーザ機器に対応付けられたディスプレイ上に、前記高情報状態で提示される情報よりも少ない情報を提示し、前記低情報状態は、前記ディスプレイ上に、前記中間情報状態で提示される情報よりも少ない情報を提示する、請求項1に記載の方法。
【請求項7】
前記高情報状態は、前記ユーザに個人的に関連する情報を提示するように構成され、前記低情報状態は、前記ユーザに個人的に関連する情報を提示しないように構成される、請求項6に記載の方法。
【請求項8】
前記低情報状態は、現在時刻、日付、現在の天候、またはバッテリー電力状況を提示するように構成される、請求項7に記載の方法。
【請求項9】
前記方法は、前記動きがあると判断するステップの前に、前記ユーザ機器と前記ユーザがやり取りしているまたは最近までやり取りしていたと判断するステップをさらに含み、前記ユーザがやり取りしているまたは最近までやり取りしていたと判断するステップは、前記ユーザに使用するという意図があることを示す、以前のレーダーデータ、マイクロフォンを通じて前記ユーザから受信したコマンドもしくは入力を示す音声データ、または、タッチセンサー式ディスプレイもしくはその他のセンサーを通した前記ユーザによる入力またはやり取りを示すタッチデータに基づく、先行する請求項のいずれか1項に記載の方法。
【請求項10】
前記動きがあるとは、前記ユーザ機器の直前の動きを基準とした動きの変化である、先行する請求項のいずれか1項に記載の方法。
【請求項11】
前記レーダーデータに基づいて前記使用をやめるという意図があると判断するステップは、前記ユーザ機器に前記動きがあるとの前記判断を動きマネージャから受信したことに応答したステップである、先行する請求項のいずれか1項に記載の方法。
【請求項12】
前記高レベル状態は、前記高レベルアクセス状態、前記高レベル電力状態、または前記高レベル情報状態のうち2つ以上を含み、前記ユーザ機器の前記高レベル状態を下げるステップは、前記高レベル状態のうち前記2つ以上を、それぞれ中間レベル状態または低レベル状態に下げる、先行する請求項のいずれか1項に記載の方法。
【請求項13】
前記方法は、前記慣性計測装置からの前記慣性データに基づいて前記ユーザ機器に前記動きがあると判断するステップの前、および前記レーダーシステムからの前記レーダーデータに基づいて前記使用をやめるという意図があると判断するステップの前に、休止期間が満了したと判断するステップをさらに含み、前記休止期間は、最後のタッチ入力、最後の音声入力、または最後のジェスチャ入力が前記ユーザ機器によって受信された時に開始する、先行する請求項のいずれか1項に記載の方法。
【請求項14】
前記ユーザが前記ユーザ機器から離れるように腕または手を引っ込めている、前記ユーザ機器から目を逸らしている、前記ユーザの体を前記ユーザ機器とは別の方向に向けている、または、前記ユーザ機器から立ち去っていると示す前記レーダーデータに基づいて、前記使用をやめるという意図があると判断される、先行する請求項のいずれか1項に記載の方法。
【請求項15】
前記ユーザに別のオブジェクト、人、別のデバイス、または別のユーザ機器を使用するという意図があると示す前記レーダーデータに基づいて、前記使用をやめるという意図があると判断される、先行する請求項のいずれか1項に記載の方法。
【請求項16】
請求項1~15のいずれか1項に記載の方法を実行するように構成される、装置。
【発明の詳細な説明】
【背景技術】
【0001】
背景
スマートフォン、ウェアラブルコンピュータ、およびタブレット端末など、ユーザ機器は、そのデバイスのユーザがデバイスを使用するのをやめるときにデバイスの状態を正確に下げられない場合が多い。たとえば、ユーザは、ユーザ機器とのやり取りをやめるであろうが、認証を解除する(たとえば、ロックする)またはデバイスの電源を切ることを明示的に選択しない限り、デバイス自体がロックするまたは電力を下げるまでに5分はかかるであろう。
【発明の概要】
【発明が解決しようとする課題】
【0002】
しかしながら、よく使われるこのタイマーの長さの短縮は、それに伴うデバイスおよびユーザへの犠牲なしで単純に行うことはできない。その一端として、2つの要因がある。これらの要因のいずれも、短い期間を使用させてくれない。まず、ユーザを認証するプロセスは、ユーザにとって手間がかかるプロセスであり、デバイスからの大量の電力を必要とする。これらの犠牲のせいで、多くの従来の認証技術は、ユーザの認証を素早く解除したがらないので、3分、5分、または10分など、タイマーを長い期間に設定する。2つ目に、ユーザは、これまで以上に頻繁にデバイスとやり取りするようになっており、1日に数十回、または数百回もデバイスに自身を認証するユーザもいる。このせいで、多くのユーザは頻繁にあまり間をあけずに自分のデバイスを再び使用する可能性が高いことに気づいている従来の技術は、ユーザエクスペリエンスを損なってしまうので、素早く認証を解除したり、デバイスの電源を切ったりしたがらない。
【課題を解決するための手段】
【0003】
概要
本明細書は、IMUおよびレーダーに基づいて状態を下げるための技術およびシステムについて説明する。本技術およびシステムは、IMU(慣性計測装置)からの慣性センサーデータおよびレーダーデータを用いてコンピューティングデバイスの状態を下げる。こうすることによって、本技術は、節電したり、ユーザの時間の無駄をなくしたり、ユーザのプライバシーをより適切に保護する。
【0004】
たとえば、方法について説明する。この方法は、ユーザがユーザ機器とやり取りしているまたは最近までやり取りしていた状態である高レベル状態にユーザ機器がある間に、ユーザ機器に動きがあると判断するステップを含み、動きがあるとは、ユーザ機器が動かされているまたは動かされたことを示し、判断は、ユーザ機器と一体化された慣性計測装置を通じて受信した慣性データに基づく。また、方法は、レーダーデータに基づいて、ユーザ機器によって、使用をやめるという意図があると判断するステップを含み、使用をやめるという意図があることは、ユーザにユーザ機器の使用をやめるという意図があることを示す。動きがあるとの判断および使用をやめるという意図があるとの判断に応答して、高レベル状態のユーザ機器を、高レベル状態から中間レベル状態または低レベル状態に下げるステップ含み、高レベル状態は、高アクセス状態、高電力状態、または高情報状態であり、中間レベル状態は、中間アクセス状態、中間電力状態、または中間情報状態であり、低レベル状態は、低アクセス状態、低電力状態、または低情報状態である。
【0005】
また、本明細書は、上記にまとめた方法、および本明細書に記載するその他の方法を実行するための命令を格納したコンピュータ読み取り可能な媒体、ならびにこれらの方法を実行するためのシステムおよび手段について説明する。
【0006】
この概要を設けて、IMUおよびレーダーに基づいて状態を下げるための概念を簡単に紹介する。この概念については、詳細な説明および図面においてさらに後述されている。この概要は、クレームされる主題の要旨を明確にする意図はなく、クレームされる主題の範囲を特定するために用いられる意図もない。
【0007】
本明細書では、IMUおよびレーダーに基づいて状態を下げる1つ以上の態様の詳細について、添付の図面を参照しながら説明する。図面全体を通して、同一の特徴および構成要素には、同一の番号が付されている。
【図面の簡単な説明】
【0008】
【
図1】IMUおよびレーダーに基づいて状態を下げるための技術を実現できる例示的な環境を示す図である。
【
図2】
図1に記載の認証システムの例を示す図である。
【
図3】
図2の認証システムが認証した例示的なユーザを示す図である。
【
図4】ユーザにユーザ機器を使用するという意図があるとの判断に応答する認証システムの電力状態を含む、複数の状態を変更できる
図1のユーザ機器の実施態様を示す図である。
【
図5】ユーザ機器の例示的な情報状態、電力状態、およびアクセス状態を示す図である。
【
図6-1】コンピューティングデバイスの一部としての例示的なレーダーシステムを示す図である。
【
図6-2】例示的なトランシーバおよびプロセッサを示す図である。
【
図6-3】消費電力と、ジェスチャフレーム更新速度と、応答遅延との例示的な関係を示す図である。
【
図7】
図6-1のレーダーシステムの受信アンテナ素子の例示的な配置を示す図である。
【
図8】
図6-1のレーダーシステムの例示的な実施態様のさらなる詳細を示す図である。
【
図9】
図6-1のレーダーシステムが実装できる例示的な仕組みを示す図である。
【
図10】IMUおよび/またはレーダーによる認証管理の例示的な方法を示す図である。
【
図11】認証管理の例示的なシナリオを示す図である。
【
図12】ユーザ機器の状態を下げるための例示的な方法を示す図である。
【
図13】ユーザ機器の状態を下げるための例示的なシナリオを示す図である。
【
図14】認証状態を維持するための例示的な方法を示す図である。
【
図15】認証状態を維持するための例示的なシナリオを示す図である。
【
図16】認証状態を維持するための別の例示的なシナリオを示す図である。
【発明を実施するための形態】
【0009】
詳細な説明
概要
本明細書は、IMU(慣性計測装置)およびレーダーからのセンサーデータに基づいて状態を下げるための技術およびシステムについて説明する。本技術およびシステムは、IMUからの慣性センサーデータおよびレーダーデータを用いて、電力状態、アクセス状態、および情報状態など、ユーザ機器の状態を下げる。これらの状態は、使用電力や、許可されたアクセスの量や、ユーザ機器が提供する情報の量を表す。本技術は、ユーザのユーザ機器の使用に対応するようにユーザ機器の状態を管理する。これにより、節電でき、保証のないアクセスを減らすことができ、ユーザがユーザ機器を使用していないときに提供される情報量を減らすことができる。これによりユーザのプライバシーが保護される。
【0010】
開示する技術とは対照的に、従来のユーザ機器では、ユーザがUE(ユーザ機器)を使用していると正確に判断できない場合が多い。これらのUEは、そのように判断できないにも関わらず、UEのセキュリティを確保するために認証を解除する必要があるため、現在の技術では、期間が満了するとUEがロックされる。多くの従来の技術にとって、この期間は、ユーザがいずれのボタンも押していない、またはタッチセンサー式ディスプレイにタッチするなどモバイル機器上のセンサーにタッチしていない期間である。よって、従来の技術では、ユーザからの明らかな入力を受信しなかった場合にタイマーを開始し、その後、明らかな入力がないままタイマーが満了した場合にUEの認証を解除することが多い。
【0011】
しかしながら、この解決策は、良くても不正確であり、最悪の場合、ユーザが実際に使用をやめる時とタイマーが満了する時との間に、部外者がデバイスを手に取って完全アクセスを有することを許してしまう。さらには、この期間の間、タイマーが満了する前にユーザが使用をやめる場合、電力が浪費され、情報が晒されてしまう。たとえば、ディスプレイは、たとえユーザがいなくなってしまっても、デバイスのディスプレイを見ることができる人であれば誰にでも情報を提供し続けてしまう。
【0012】
一例として、ユーザがスマートフォンをデスク上に置いて立ち去ると想定する。従来の技術では、タイマーを開始し、その後ユーザからの明らかな入力がないままタイマーが満了した後、認証を解除し、そうでない場合、デバイスの状態を変更することが多い。一般的であるように、期間が5分であった場合、5分間、ユーザのデバイスは認証されたまま、たとえば、ロックが解除されたままである。この5分の間に、悪意のある第三者がデバイスを手に取ってデバイスならびにユーザの個人アカウントおよびデータに完全にアクセスできるようになってしまう可能性がある。さらには、この5分の間に、ディスプレイに電力を供給し続けて、ディスプレイ上に自動的に表示される電子メールおよびテキストメッセージの内容など、個人的な通知を提示し続ける従来の技術もある。非ユーザは、悪意がある者であろうと悪意がない者であろうと、単に通り過ぎてユーザのみに宛てられた情報を見ることができてしまう。しかしながら、対照的に、本明細書において説明する技術は、ユーザがデバイスをデスクにおいて立ち去ってから数秒以内、それどころかほんの一瞬でデバイスのアクセス、電力、および情報を減らすことができる。
【0013】
しかしながら、これは、記載の本技術およびデバイスをどのように用いてIMUおよびレーダーに基づいて状態を減らすのかについての一例である。その他の例および実施態様も本明細書を通して説明する。ここで、本明細書は、例示的な動作環境について説明し、その後、例示的なデバイス、方法、およびシステムについて説明する。
【0014】
動作環境
図1は、IMUおよびレーダーに基づいて状態を下げるための技術を実現できる例示的な環境100を示す図である。例示的な環境100は、レーダーシステム104と、レーダーマネージャ106と、IMU(慣性計測装置)108と、動きマネージャ110と、状態マネージャ112と、認証システム114と、ディスプレイ116とを備える、またはこれらに対応付けられたUE(ユーザ機器)102(たとえば、スマートフォン)を含む。
【0015】
例示的な環境100では、レーダーシステム104は、
図7~
図9を参照して後述するような1つ以上のレーダー信号または波形を送信することによってレーダーフィールド118を提供する。レーダーフィールド118とは、レーダーシステム104がレーダー信号および波形の反射を検出できる空間体積である(たとえば、空間体積にあるオブジェクトを反射したレーダー信号および波形。本明細書では、一般的に、レーダーデータとも称す)。また、レーダーシステム104により、このレーダーフィールド118内の反射からのレーダーデータを、UE102または別の電子装置が検知および分析することが可能になる。レーダーフィールド118は、任意の様々な形状および形態をとってもよい。たとえば、レーダーフィールド118は、
図1および
図7を参照して説明するような形状を有してもよい。その他の場合、レーダーフィールド118は、レーダーシステム104から延在する半径形状、レーダーシステム104を囲んだ体積(たとえば、球形状、半球形状、部分的な球形状、ビーム形状、もしくは円錐形状)、または非均一な形状(たとえば、レーダーフィールド118にある障害物からの干渉に対応するために)をとってもよい。レーダーフィールド118は、数インチ~12フィート(1/3メートル未満~4メートル)など、レーダーシステム104から任意の様々な距離だけ延在してもよい。レーダーフィールド118は、定義済みであってもよく、ユーザ選択可能であってもよく、別の方法で(たとえば、電力要件、残りのバッテリー寿命、または別の要因に基づいて)決定されてもよい。
【0016】
レーダーフィールド118にいるユーザ120からの反射により、レーダーシステム104は、ユーザ120の体の位置および姿勢など、様々な言葉によらないボディランゲージによる合図、体の位置、または体の姿勢を示すユーザ120についての様々な情報を判断することが可能になる。これらの合図、位置、および姿勢は、UE102を基準とするユーザ120の絶対位置または絶対距離UE102を基準とするユーザ120の位置もしくは距離の変化(たとえば、ユーザ120またはユーザの手もしくはユーザ120が把持しているオブジェクトがUE102に近づくかUE102から遠ざかるか)、UE102に向かって動くまたはUE102から離れるように動くときのユーザ120の速度(たとえば、手もしくは非ユーザオブジェクト)、ユーザ120がUE102の方に向くかUE102とは別の方向に向くか、ユーザ120がUE102に向かって体をかがめるか、UE102に向かって手を振るか、UE102に手を伸ばすか、UE102を指さすかなどを含んでもよい。また、レーダーデータ(たとえば、ユーザの顔の散乱中心)の分析による人間の身元など、認証を判断したり、認証に信頼性を加えたりするためにもこれらの反射が分析される。
【0017】
レーダーマネージャ106は、レーダーシステム104からのレーダーデータに基づいて、ユーザにUE102を使用する、UE102の使用をやめる、またはUE102の使用を続けるという意図があると判断するように構成される。UE102に向かって手もしくは腕を伸ばす動き、UE102を見るための目の動き、またはUE102の方向に向くための頭もしくは顔の動きなどに基づく上記した様々な合図、位置、姿勢、および距離/速度から、ユーザの意図を推定できる。手もしくは腕を伸ばした場合、レーダーマネージャ106は、ユーザは、UE102にタッチするまたは手に取る可能性があるという意図があることを示すように、手を伸ばしているまたは腕を特定の方向に向けていると判断する。例として、ユーザがワイヤレスに接続されたスピーカー上の音量ボタンに向けて手を伸ばしている、タブレットコンピュータに対応付けられた無線もしくは有線マウスに向けて手を伸ばしている、または、UE102自体に向けて手を伸ばしているなどが挙げられる。この手を伸ばす動きは、手の動き単体、腕もしくは手の動き、または手がUE102をタッチできるもしくは把持できるように曲げるもしくは真っ直ぐに伸ばす腕に基づいて判断できる。以下の
図14~
図16に記すように、使用するという意図があるとの判断は、認証されている認証されていないに関係なく、非ユーザまたはユーザについて行われる。
【0018】
また、ユーザに使用するという意図があることは、UE102を見るまたは顔をUE102に向けるためのユーザの頭もしくは目の動き、場合によっては、関連するUE102の周辺機器に基づいて推定できる。UE102に向けるというユーザの目の動きの場合、レーダーマネージャ106は、ユーザの目を追跡することなどによって、ユーザの目がUE102の方向を見ていると判断する。顔をUE102に向けるというユーザの頭(たとえば、顔の向き)の動きの場合、レーダーマネージャ106は、ユーザの顔がUE102を指すように様々な点(たとえば、以下に記す散乱中心)が現在特定の方向を指していると判断する。よって、ユーザは、ユーザがUE102を使用する(もしくは使用をやめるもしくは使用を続ける)という意図があるとレーダーマネージャ106が判断できるようにUE102上のボタンを起動する(押す)、またはタッチ依存のジェスチャ(たとえば、タッチパッドもしくは画面上の)もしくはタッチとは無関係のジェスチャ(たとえば、レーダーシステム104を使用すること)など、UE102の制御もしくは起動を指示するための動作を行う必要がない。
【0019】
また、上記したように、レーダーマネージャ106は、ユーザにUE102の使用をやめるという意図があると判断するように構成される。レーダーマネージャ106は、ユーザの手もしくは腕がUE102から離れるように動く(たとえば、引っ込める)、UE102から目を逸らすという目の動き、またはUE102から離れる頭もしくは顔の動き(たとえば、UE102を見ることをやめるようにする顔の向きの変化)を示すレーダーデータから推定できるが、使用するというユーザの意図と同様に、ユーザに使用をやめるという意図があると判断する。ユーザに使用をやめるという意図があると判断できる別の方法は、上記した使用をやめることや、使用することとは反対の行動だけでなく、ユーザが立ち去った、離れるように体を動かした、または、対応付けられていない異なるオブジェクトもしくはデバイスを使用していることを示しているレーダーデータである。よって、レーダーマネージャ106は、ユーザに他のオブジェクト、デバイス、またはユーザ機器を使用するという意図があると判断することに基づいて、UE102の使用をやめるという意図があると判断してもよい。たとえば、ユーザがスマートフォンを見てやり取りしていると想定する。スマートフォンの使用をやめるという意図があることを示す例として、ユーザが、スマートフォンではなくテレビ画面を見る、近くの物理的に存在している人に話し始める、または、電子書籍もしくはメディアプレーヤなど、スマートフォンの使用に取って代わって使用する可能性が高い別のデバイスに手を伸ばしているなどが挙げられる。
【0020】
また、レーダーマネージャ106は、ユーザにUE102の使用を維持するという意図があると判断するように構成される。使用を維持することは、能動的であってもよく、受動的であってもよい。能動的な使用の場合、レーダーマネージャ106は、レーダーデータに基づいて、ユーザがタッチとは無関係のジェスチャによってやり取りしていると判断するなどしてもよい。また、代わりに、レーダーマネージャ106は、非レーダーデータによって、能動的な使用であると判断してもよい(たとえば、UE102のその他の構成要素からの支援を受けて行われる)。非レーダーデータは、ユーザがUE102もしくは周辺機器にデータを入力していることの表示、または、UE102もしくは周辺機器を制御していることの表示を含む。よって、タッチ、タイピング、もしくは音声データによって、ユーザは、ディスプレイ116のタッチスクリーン入力を通してタッチしている(たとえば、ソフトキーボードをタップしているもしくはジェスチャを行っている)、周辺キーボードにタイピングしていると判断される、または、音声入力の書き取りをしていると判断される。受動的な使用を維持する場合、レーダーマネージャ106は、独立して、またはUE102のその他の構成要素の支援を通して、ユーザがコンテンツを消費している、もしくは顔をUE102に向ける、ディスプレイ116を見る、または、ユーザもしくは第三者が見られるようにUE102のディスプレイを向けるようにUE102を把持しているなど、他者にUE102を提供してコンテンツを消費していると判断する。受動的使用の継続のその他の例として、レーダーマネージャ106がUE102(から2メートル、1.5メートル、1メートル、または0.5メートルなど)の届く範囲にユーザ120がいると判断することなどによる、ユーザが存在していることなどが挙げられる。ユーザに使用するという意図がある、使用をやめるという意図がある、または使用を続けるという意図がある(受動的および能動的の両方)とレーダーマネージャ106が判断する例示的な方法の詳細については、後述する。
【0021】
さらには、レーダーマネージャ106、レーダーシステム104からのレーダーデータを使用して、ユーザが行ったジェスチャも判断してもよい。ジェスチャは、テーブル、ディスプレイ116、もしくは自身のシャツの袖など、何かの表面にユーザが触れること、またはタッチとは無関係のジェスチャを含んでもよい。タッチとは無関係のジェスチャは、空中で行われてもよく、3次元で行われてもよく、および/または手もしくは指が入力装置に触れる必要なしに行われてもよいが、何かのオブジェクトに触れることを排除しない。これらのジェスチャは、レーダーデータに基づいて判断された後、UE102への入力として使用されてもよく、または、UE102の使用を示す入力として使用されてもよい。ジェスチャとして、手話(たとえば、ASLもしくはアメリカ手話)に類似したジェスチャなどが挙げられ、これらのジェスチャは、左、右、上、もしくは下にスワイプするジェスチャ、手のひらを挙げるもしくは下ろすジェスチャ(たとえば、UE102もしくはUE102によって制御されているテレビもしくはステレオの音楽の音量を上げるもしくは下げるために)、または音楽もしくは映像トラックを変更する、アラームをスヌーズする、電話を切る、もしくはゲームをするなどのために前方もしくは後方に(たとえば、左から右へ、もしくは右から左へ)スワイプするジェスチャなど、様々な複雑な1つの手を使ったジェスチャもしくは複数の手を使ったジェスチャ、または簡単な複数の手を使ったジェスチャもしくは1つの手を使ったジェスチャである。これらは、多くの例示的なジェスチャおよび当該ジェスチャによって制御可能な機能の一部であり、レーダーシステム104およびレーダーマネージャ106を通して可能になる。よって、本明細書は、使用および状態の管理を対象としているが、本明細書の記載内容がレーダーシステム104およびレーダーマネージャ106がジェスチャ認識用に構成できないことを示している、と誤解されてはならない。
【0022】
IMU108は、動きを測定するように構成された様々なデバイスであってもよい。当該動きは、本明細書では、3つの軸(たとえば、X、Y、およびZ)の各々についてのピッチ、ロールを含む特定の力、角速度、向き、振動、加速、速度、ならびに位置を含むと定義される。IMU108は、加速度計、ジャイロスコープ、および/もしくは磁力計など、UE102内の1つまたは複数のデバイスであってもよい。
【0023】
動きマネージャ110は、IMU108からの慣性データに基づいて、UE102に動きがあると判断するように構成される。動きがあることとして、UE102が持ち上げられること(たとえば、手に取られること)、ユーザ120の方向に向くまたはユーザ120とは反対方向に向くこと、および振動などが挙げられる。例示的な動きは、UE102のユーザ120による物理的接触をやめること、無生物オブジェクト(たとえば、テーブル、車のコンソール、ソファのアーム、枕、床、ドッキングステーション)上にUE102を置くこと、密封型の入れ物、たとえば、ポケット、バッグ、またはハンドバッグ内にUE102を入れることを含んでもよい。
【0024】
動きがあることは、ユーザがUE102を使用する可能性があること、UE102の使用をやめる可能性があること、またはUE102の使用を継続する可能性があることを示してもよい。たとえば、UE102に動きがあることとは、ユーザ機器がユーザ120に向かって動いているもしくはユーザ120の方向に向いている、もしくはユーザ機器がユーザ120から離れるように動かされている/ユーザ120とは別の方向に向けられていることを示してもよく、ユーザ機器が高速で動いているもしくは動きを高速で変化させていて多くの似た種類のユーザーエンゲージメントのためのやり取りができないことを示してもよく、(自然な人間の動き、呼吸、心臓の鼓動を介して)ユーザ機器がユーザ120に把持されていることを示してもよく、または、(車両の振動、UE102を揺らす周囲の音、UE102を振動させる音楽など)機械的もしくは非ユーザソースが原因でユーザ機器が振動していることを示してもよい。よって、UE102の使用をやめる可能性があることを示し得る別の方向に向くことは、ユーザ120がディスプレイ116を見ていた可能性が高いUE102の以前の向きが今ではディスプレイ116を見ている可能性が低くなるようにUE102の向きが変わることを含んでもよい。ユーザ120がある向きで何かをタイピングまたは読んでいた後に、電話を裏返す、横に置く、またはポケットに入れるなどをすることは、別の方向に向くことを示す動きの一例である。よって、使用をやめる可能性があることの一例である。使用の継続を示すであろう動きとして、ユーザがUE102を把持するもしくはUE102を置いていることを維持していることを示す振動、またはUE102に対する自身の向きを維持していることを示す振動であり、この向きが以前に示された向きである場合またはUE102の使用と一致していた向きである場合などが挙げられる。
【0025】
ディスプレイ116は、タッチスクリーン、LCD(液晶ディスプレイ)、TFT(薄膜トランジスタ)LCD、IPS(In-Place Switching)LCD、静電容量型タッチスクリーンディスプレイ、有機OLED(発光ダイオード)ディスプレイ、AMOLED(アクティブマトリックス有機発光ダイオード)ディスプレイ、スーパーAMOLEDディスプレイなど、任意の適した表示装置を含み得る。述べたように、ディスプレイ116には様々なレベルの電力が供給されてもよく、全彩度であり、タッチ入力に電力が供給された状態、少ない彩度であり、タッチ入力に電力が供給されていない状態、および低彩度であり、電力が少ない(たとえば、グレーの時計)または無電力の状態である、などがある。
【0026】
状態マネージャ112は、電力状態、アクセス状態、および情報状態など、UE102の状態を管理する。UE102およびその構成要素の管理は、レーダーマネージャ106および動きマネージャ110によって行われる判断に基づいて行われる。たとえば、状態マネージャ112は、ユーザ120からパスワードを入力するためのタッチ入力を受けること、コンピュータプロセッサが認証に使用される計算を行うこと、または画像ベースの顔認証、レーダー(たとえば、レーダーシステム104)、もしくはその他の構成要素をメージングシステムが実行することを想定してUE102のディスプレイ116の電力を変更することなどによって、認証システム114の構成要素への電力供給を管理できる。
【0027】
述べたように、UE102の管理は、UE102を使用する意図がある、UE102の使用をやめる意図がある、またはUE102の使用を続ける意図があるとのレーダーマネージャ106による判断、およびUE102に動きがあるとの動きマネージャ110による判断に基づく。状態マネージャ112は、これらの判断のみに基づいてUE102の状態を管理してもよく、または現在の状態、現在の使用しようしている状態、動作中のアプリケーションおよびこれらのアプリケーションが表示しているコンテンツなど、その他の情報にも基づいてUE102の状態を管理してもよい。さらには、レーダーマネージャ106がユーザに意図があると判断し、動きマネージャ110が動きがあると判断してもよいが(動きのうちいくつかは、ユーザにUE102を使用するという意図があると示すために判断される)、状態マネージャ112は、これらの判断の両方を利用することによって、ユーザの意図がUE102を使用することである、使用をやめることである、もしくは使用を続けることであるとの判断の全体的な精度、ロバスト性、および/または速度を向上させてもよい。
【0028】
レーダーマネージャ106の判断および動きマネージャ110の判断の両方の利用は、一緒に行われてもよく、UE102の状態を管理することの一部として少しずつ行われてもよく、これらの判断のうち一方が単体で利用されてもよい。たとえば、UE102の認証するための構成要素が低電力状態であると想定する。レーダーマネージャ106は、UE102に向かう動きまたはUE102に手を伸ばすことに基づいて、ユーザ120にUE102との認証を行う意図があると判断してもよい。場合によっては、状態マネージャ112は、状態マネージャ112がUE102を高電力状態に変更させるにはこれだけでは不十分であると考える。よって、状態マネージャ112は、認証用部品の一部に電力を供給して、高電力状態(たとえば、
図5の高電力状態504-1)ではなく、中間状態にしてもよい。たとえば、顔認識を行うために認証システム114が赤外線センサーを使用する場合、状態マネージャ112は、ユーザを認証することを想定して、これらのセンサーおよびディスプレイ116に電力を供給してより高電力にしてもよい。ディスプレイ116の場合、ユーザに、UE102が「起動中」であることを示す。したがって、次第に応答性を有するようになる。追加ステップとして、認証用部品(ここでは、赤外線センサー)に完全に電源を投入する前にユーザがUE102を動かした、手に取った、持ち上げたなどと動きマネージャ110が判断するまで、状態マネージャ112は待機してもよい。必須ではないが、状態マネージャ112は、ユーザからのさらなる入力なしで当該部品に認証を試みさせてもよく、認証がユーザ120にとってシームレスな認証になる。
【0029】
しかしながら、場合によっては、状態マネージャ112は、電力を増やす判断する、または、慣性データおよびレーダーデータの両方、たとえば、ユーザに使用するという意図があるというレーダーマネージャ106の判断と、ユーザがUE102を手に取っているという動きマネージャ110の判断とに応答して、UE102の状態に備える。
【0030】
よって、ユーザがUE102にちょうど触れ始めたという動きマネージャ110による表示など、ユーザがUE102を手に取ることによってユーザにUE102を使用するという意図があるという信頼度が高くなるまで、状態マネージャ112は待機してもよい。このような場合、ディスプレイまたは認証システム114もしくはその部品に完全に電源を投入するために動きマネージャ110がユーザによるタッチを示すまで待つ代わりに、状態マネージャ112は、レーダーマネージャ106の判断のみに基づいてこれらの部品の電力を中間電力レベルまで増やしてもよい。しかしながら、述べたように、状態マネージャ112は、レーダーデータに基づいた使用するという意図があるとの判断のみに基づいて、状態をより高い電力レベルに変更してもよく、レーダーデータに基づいた使用をやめるという意図があるとの判断のみに基づいて、これらのレベルを下げてもよい。
【0031】
状態マネージャ112がUE102の状態を管理できる多くの例示的な方法のうち1つを
図1の例示的な環境100-1、100-2、および100-3に示す。
【0032】
環境100-1では、ユーザ120が認証済みであり、UE102の電力、アクセス、および情報が高レベル状態であると想定する。この認証は、(環境100-1の122に示されている)高彩度かつ高光度の星のシンボルを表示したディスプレイ116を通してユーザ120に示される。環境100-1では、ユーザ120は、UE102をテーブルの上に置く。UE102をテーブルの上に置いた結果、IMU108がこれを検知し、その後、動きマネージャ110に慣性データを提供することになる。動きマネージャ110は、慣性データに基づいて、UE102が動いたと判断する。この時点で、動きマネージャ110は、動いているとの判断をレーダーマネージャ106または状態マネージャ112に渡してもよいが、いずれの場合にしても、これは、高レベルから中間レベルまたは低レベルに状態を下げるかどうかを判断するためのデータ点である。述べたように、これらの状態を下げることで、節電でき、情報を非公開のままにし、アクセスのセキュリティを保護しつつ、ユーザ120にシームレスなユーザエクスペリエンスを提供できる。
【0033】
この例を用いて説明を続けると、ユーザ120がUE102から手を引っ込める環境100-2を考える。手を引っ込める動きは、レーダーシステム104およびレーダーマネージャ106によってそれぞれ検知および分析される。こうすることによって、レーダーマネージャ106は、ユーザ120にUE102の使用をやめるという意図があると判断する。レーダーマネージャ106からのこの判断および動きマネージャ110からの動いているとの判断に基づいて、状態マネージャ112は、UE102の状態のうち1つ以上の状態を下げる。ここで、下げることは、ユーザ120のUE102の使用程度に一致させる意図がある。この、状態マネージャ112によって下げることは、ディスプレイ116の彩度および光度を下げることによって電力を中間レベルに下げることであり、(124に示されている)低光度かつ低彩度の星のシンボルで表示される。なお、状態マネージャ112は、電力、アクセス、および/または情報の状態を低レベルに下げてもよい。しかしながら、レーダーマネージャ106から得られる使用をやめるという意図が、ユーザ120が腕を引っ込めているが体はUE102の方向に向いたままであり依然としてUE102を見ていることを示しているので、ここでは、状態マネージャ112は、状態を中間レベルに下げる。これは、ユーザによる使用に合わせて状態を調整する一例である。なぜならば、腕を引っ込めるという動きは、使用をある程度やめることを示しているが、この動き自体は、継続して使用すること、またはレーダーマネージャ106による使用をやめるとの判断がある程度不確実な判断であることを示しているためである。
【0034】
この例を用いた説明の終わりに、環境100-3を考える。ここでは、ユーザ120は、UE102をテーブルの上に置いた状態で本を読んでいる。ユーザ120の体は、ある程度の角度をつけてUE102から離れて本の方に向いており、UE102ではなく本を見ている。ユーザ120の向きに関する追加情報に基づいて、レーダーマネージャ106は、ユーザ120にUE102の使用をやめるという意図がある(または使用をやめた)と判断する。この時点で、レーダーマネージャ106は、使用をやめるという意図がある、というさらなる判断を状態マネージャ112に提供する。その後、状態マネージャ112は、UE102の状態を低レベルに下げる。これは、ディスプレイ116において電力使用量を下げることで示される(126において低光度かつ低彩度で時間のみを表示している)。図示していないが、状態マネージャ112は、ユーザ120の認証も解除(たとえば、UE102もロック)してもよい。
【0035】
この例に示すように、本明細書に記載の本技術は、ユーザ機器の状態を管理して、シームレスなユーザエクスペリエンスを提供し、消費電力を低減し、さらに優れたプライバシーおよびセキュリティを提供できる。また、この管理は、電力、アクセス、および情報のレベルを維持または上げることを含んでもよい。認証システムの電力状態を上げる例については、そのシステムについて後述した後、説明する。
【0036】
より詳細に、
図2に示す認証システム114の一例を考える。しかしながら、これは一例であり、いくつか例を挙げると、タッチセンサー式ディスプレイを通したパスワード入力、レーダーシステム104を用いたレーダー認証、または指紋リーダーなど、状態マネージャ112が制御可能なその他の認証システムが考えられる。
【0037】
この認証システム114の例は、(スマートフォンとして図示されている)UE102の内部200を示した状態で図示されている。図示した構成では、UE102は、レーダーシステム104のレーダー集積回路202と、スピーカー204と、正面カメラ206と、近接センサー208と、周辺光センサー210とを備える。また、UE102は、フェイスアンロックセンサー212も備える。フェイスアンロックセンサー212は、NIR(近赤外線)投光イルミネーター214と、NIR(近赤外線)ドットプロジェクター216とを備え、これらは、赤外光または近赤外光をユーザに投影する。また、フェイスアンロックセンサー212は、UE102の両側に位置する2つのNIRカメラ218-1および218-2を備える。NIRカメラ218-1および218-2は、ユーザが反射した赤外光および近赤外光を検知する。反射された近赤外光を利用して顔の特徴が判断でき、これらの特徴を用いて、予め格納された顔の特徴についての情報との比較に基づいてユーザが本物であるかどうかが判断できる。NIR投光イルミネーター214は、たとえば、環境にNIR光を「投光」し、ユーザ(およびその他のオブジェクト)からの反射を受けて、画像を提供する。画像は、周辺光が少ないまたは無い場合であっても、ユーザの顔を含んでいる。よって、顔の特徴を判断するために利用できる。NIRドットプロジェクター216は、オブジェクトの深度を分析するために利用できるNIR光反射(ユーザの顔の特徴を含む)を提供する。よって、ユーザの深度マップ(たとえば、スペクトル深度マップ)は、(たとえば、顔認証をセットアップする際に予め)作成されてもよく、現在の深度マップを決定して格納されている予め作成された深度マップと比較してもよい。深度マップは、(人の実際の顔ではなく)ユーザの顔の写真またはその他の2次元の描画が認証されるのを防ぐのを助ける。
【0038】
このユーザの顔の特徴のマッピングは、セキュリティ上安全にUE102上に格納でき、ユーザ設定に基づいて、UE102上で安全であり、かつ、外部のエンティティが利用できないようになっている。
【0039】
認証システム114は、フェイスアンロックセンサー212を備えるが、正面カメラ206、近接センサー208、および周辺光センサー210、ならびにデータを分析するためのプロセッサ、センサーデータを格納、キャッシュ、またはバッファするためのメモリ(これにも複数の電力状態がある)など、その他の構成要素も備え得る。
【0040】
フェイスアンロックセンサー212は、IR(赤外線)データおよびNIR(近赤外線)データを検知して顔認識を行う。顔認識は、本技術がユーザを認証する1つの方法である。したがって、後述する方法において述べるようにアクセス状態を変更する(たとえば、UE102のロックを解除する)方法である。電力を節約するために、フェイスアンロックセンサー212は、使用時以外は低電力状態で動作する(単に、オフにされてもよい)。特に、NIR投光イルミネーター214およびNIRドットプロジェクター216は、オフ状態では光を放射しない。しかしながら、低電力状態または無電力状態から中間電力状態および/または高電力状態への遷移に関連するウォームアップシーケンスを、NIR投光イルミネーター214およびNIRドットプロジェクター216に用いてもよい。これらの構成要素のうち一方または両方の電力レベルを上げることによって、ユーザを認証する際の待ち時間を、時として、0.5秒以上減らすことができる。多くのユーザが一日に数十回、または数百回もデバイスを認証することを考慮すると、これにより、ユーザの時間を費やさずに済み、ユーザのエクスペリエンスを向上させることができる。本明細書において述べたように、この時間の遅れは、レーダーシステム104が提供するレーダーデータに基づいてユーザに自身のデバイスを使用するという意図があるとレーダーマネージャ106が判断することによって、短縮される。これは、状態マネージャ112によって管理される。事実上、本技術は、ユーザに使用するという意図があることを積極的に検出して、ウォームアップシーケンスを開始する。本技術は、必須ではないが、ユーザがUE102に触れる前にそのようにしてもよい。よって、本技術は、ユーザを認証する際にNIR投光イルミネーター214およびNIRドットプロジェクター216に十分な電力を投入することを可能にし、これにより、ユーザが顔認識の完了を待つのにかかる時間を減らすことができる。
【0041】
UE102に含まれるその他の構成要素の説明に進む前に、フェイスアンロックセンサー212の態様について考える。認証システム114の例示的な構成要素は、ディスプレイ116の面に対してわずか10度の角度で顔認識を用いてユーザを認証できる。よって、ユーザは、電話を手に取って、70度~110度または80度~100度の角度などでセンサーを顔に向ける必要がなく、代わりに、認証システム114は、フェイスアンロックセンサー212を利用して、ユーザがUE102を手に取る前にユーザを認証するように構成される。これが
図3に示されている。
図3は、角度302での顔認識に使われる顔の一部(たとえば、顎、鼻、頬骨)とともにユーザ120を示した図である。角度302は、ディスプレイ116の面304に対してわずか10度であってもよい。図示するように、ユーザ120は、顔がフェイスアンロックセンサー212から1メートルよりも長い距離(顔の距離306で示されている)があっても認証される。こうすることによって、本技術は、UE102が上下逆さまに向けられていたり、変な角度であったりしても、ほぼシームレスな即時認証を可能にする。
【0042】
具体的には、
図4を考える。
図4は、IMU、レーダー、およびその他の技術に基づいて状態を下げるための技術を実現できる、(レーダーマネージャ106、動きマネージャ110、および状態マネージャ112を備える)UE102の例示的な実施態様400を示す図である。
図4のUE102は、UE102-1、タブレット端末102-2、ラップトップ102-3、デスクトップコンピュータ102-4、コンピュータウォッチ102-5、コンピューティング眼鏡102-6、ゲームシステム102-7、ホームオートメーション/制御システム102-8、およびマイクロ波102-9を含む、様々なデバイス例とともに示されている。また、UE102は、テレビ、エンターテインメントシステム、オーディオシステム、自動車、ドローン、トラックパッド、ドローイングパッド、ネットブック、電子ブック、ホームセキュリティシステム、およびその他の家庭用電子装置など、その他のデバイスを含み得る。なお、UE102はウェアラブル、非ウェアラブルであり得るがモバイルではない、どちらかというと固定型(たとえば、デスクトップおよび電気器具)であり得る。
【0043】
UE102の例示的な全体の側面の寸法は、たとえば、約8センチメートル×約15センチメートルであり得る。レーダーシステム104の例示的な占有面積は、アンテナを含んで約4ミリメートル×6ミリメートルなど、さらに限定されてもよい。このように空間が限定されたパッケージの中にUE102の多くの好ましい機能を電力限界および処理限界と調和して収容する必要があるレーダーシステム104のこのように限定された占有面積の要件によって、レーダージェスチャ検出の精度および有効性において妥協しなければならなくなる可能性があるが、少なくとも一部は本明細書の教示に照らして克服できる。
【0044】
また、UE102は、1つ以上のコンピュータプロセッサ402と、メモリ媒体および記憶媒体を含む1つ以上のコンピュータ読み取り可能な媒体404とを備える。コンピュータ読み取り可能な媒体404上のコンピュータ読み取り可能な命令として実装されるアプリケーションおよび/またはオペレーティングシステム(図示せず)をコンピュータプロセッサ402によって実行して、レーダーマネージャ106、動きマネージャ110、および状態マネージャ112(コンピュータ読み取り可能な媒体404内に示されているが、これは必須ではない)の機能の一部もしくはすべてなど、本明細書に記載の機能の一部またはすべてを提供できる。
【0045】
また、UE102は、ネットワークインターフェース406を備えてもよい。UE102は有線ネットワーク、無線ネットワーク、または光ネットワークを介してデータを通信するためのネットワークインターフェース406を利用することができる。一例として、ネットワークインターフェース406は、LAN(ローカルエリアネットワーク)、WLAN(ワイヤレスローカルエリアネットワーク)、PAN(パーソナルエリアネットワーク)、WAN(ワイドエリアネットワーク)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを介してデータを通信してもよいが、これらに限定されない。
【0046】
複数の態様で、レーダーシステム104は、少なくとも一部がハードウェアで実装される。レーダーシステム104の様々な実施態様は、SoC(System-on-Chip)、1つ以上の集積回路(IC:Integrated Circuit)、プロセッサ命令が組み込まれたプロセッサもしくはメモリに格納されたプロセッサ命令にアクセスするように構成されたプロセッサ、ファームウェアが組み込まれたハードウェア、様々なハードウェアコンポーネントを有するプリント回路基板、または任意のそれらの組合せを備え得る。レーダーシステム104は、レーダーシステム104自体のレーダー信号を送受信することにより、モノスタティックレーダーとして動作する。また、いくつかの実施態様では、レーダーシステム104は、外部環境内のその他のレーダーシステム104と協働してバイスタティックレーダー、マルチスタティックレーダー、またはネットワークレーダーを実現してもよい。しかしながら、UE102の制約または限定は、レーダーシステム104の設計に影響を与え得る。UE102は、たとえば、レーダーを操作するために利用可能な電力が限られている、計算能力が限られている、サイズに制約がある、レイアウトに制限がある、レーダー信号を減衰または歪ませる外部筐体を有している可能性がある。さらに後述するが、レーダーシステム104は、これらの制約が存在するなかで高度なレーダー機能および高パフォーマンスを実現することを可能にするいくつかの特徴を含む。
【0047】
状態マネージャ112が機能できる追加の例示的な方法について説明する前に、
図5を考える。
図5は、UE102が動作し、状態マネージャ112によって管理される多くの情報状態、電力状態、およびアクセス状態を示す図である。
【0048】
図5は、UE102が動作し得るアクセス状態、情報状態、および電力状態を示す図である。これらの状態の各々は、記載の本技術によって管理できる。アクセス状態502、電力状態504、および情報状態506の各デバイス状態500について多くのレベルが考えられるが、これらの例示的なレベルおよび種類のデバイス状態500は、視覚的に分かり易くするために3つの粒度で図示されている。アクセス状態502は、3つの例示的な粒度、高アクセス状態502-1、中間アクセス状態502-2、および低アクセス状態502-3を用いて図示されている。同様に、電力状態504は、3つの例示的な粒度、高電力状態504-1、中間電力状態504-2、および低電力状態504-3を用いて図示されている。同様に、情報状態506は、3つの例示的な粒度、高情報状態506-1、中間情報状態506-2、および低情報状態506-3を用いて図示されている。
【0049】
具体的には、アクセス状態502は、デバイスのユーザが利用可能なUE102のデータ、アプリケーション、機能、アカウント、または構成要素へのアクセス権に関連する状態である。アクセスは、高レベルであり得、UE102について、「アンロック状態」と称す場合もある。高アクセスレベルは、単にデバイスのアプリケーションおよび機能を含み得、または、UE102を通してアクセス可能な銀行口座、ソーシャルメディアアカウントなどの様々なアカウントへのアクセスも含み得る。UE102など、多くのコンピューティングデバイスは、高アクセス状態502-1など、高アクセスを提供するための認証を求める。
【0050】
様々な中間レベルのアクセス(たとえば、502-2)は、(たとえば、ユーザ設定またはオペレーティングシステムのデフォルト設定によっては)UE102による認証があってもなくても許可され得る。この中間アクセス状態502-2は、ユーザに、UE102のアカウント、サービス、または構成要素のすべてではないが、一部へのアクセスを許可する。例として、ユーザに写真を撮影することを許可するが、以前に撮影した写真へのアクセスは禁止する、などが挙げられる。その他の例として、ユーザに、電話通話に出ることは許可するが、電話通話をかける際に連絡先一覧にアクセスすることは禁止する、などが挙げられる。これらは、中間アクセス状態502-2を用いて示される、UE102が許可できる多くの中間の権限のうちの一部に過ぎない。
【0051】
最後に、低アクセス状態502-3として示されているように、アクセス状態502は、アクセスを許可することを控えることができる。この場合、デバイスは、オンであってもよく、ユーザを起こすアラームなどの通知を送信するなどしてもよいが、UE102の機能へのアクセスは禁止する(または、UE102は、単にオフであってもよい。よって、アクセスを禁止する)。
【0052】
電力状態504は、3つの例示的な粒度、高電力状態504-1、中間電力状態504-2、および低電力状態504-3を用いて図示されている。電力状態504は、レーダーシステム104、ディスプレイ116など、UE102の1つ以上の構成要素、または、プロセッサ、カメラ、マイクロフォン、音声アシスタント、タッチスクリーン、センサー、レーダー、および認証システム114の一部である構成要素(先に列挙した構成要素も含んでもよい)など、電力消費部品への電力量に関する状態である。構成要素を起動すること、および一般の電力状態504の背景では、電源を投入する、起動する、電力を増やす、電力を減らすなどの用語は、PMIC(電源管理集積回路)の制御;PMICから延びる電源線の管理;電源線と、PMICと、1つ以上の回路部品(たとえば、言及したNIRコンポーネント、カメラ、ディスプレイ、およびレーダー)との間のスイッチの開閉;正確かつ安全に構成要素を操作するための電源電圧提供(印加電圧をランピングもしくは供給すること、または電流の流れ込みの管理を含んでもよい)を含み得る。
【0053】
レーダーシステム104に関して、それぞれ異なるデューティーサイクルでレーダーデータを収集する(たとえば、低周波数が、少ない電力を使用してもよく、高周波数が、多くの電力を使用してもよい)、アクティブ状態でない場合に様々な構成要素をオフにする、または、電力増幅レベルを調整することによって、電力状態504を下げることができる。こうすることによって、レーダーシステム104は、高電力状態504-1で約90mWの電力を使用し、中間電力状態504-2で30mW~60mWの電力を使用し、低電力状態504-3で30mW未満の電力を使用してもよい(たとえば、レーダーシステム104は、ユーザの存在など、何らかの使用可能なレーダーデータを提供しながら2mW~20mWで動作できる)。これらのレベルの電力使用量の各々は、それぞれ異なる解像度および距離を可能にする。レーダーシステム104(およびUE102)の電源管理に関するさらなる詳細については、
図6-1で説明する。
【0054】
上記した状態を変更するという背景では、状態マネージャ112は、レーダーマネージャ106および動きマネージャ110による判断に基づいて、UE102の様々な構成要素への電力を増減させてもよい。
【0055】
たとえば、状態マネージャ112は、認証システム114またはディスプレイ116の電力を低電力状態から(たとえば、低電力状態504-3から中間電力状態504-2に、もしくはこれらの状態のうちいずれかを高電力状態504-1に)変更できる。こうすることによって、より素早くまたはより容易にユーザがUE102を使用できる、またはUE102がユーザを認証できるであろう。よって、状態マネージャ112は、UE102のそのシステム、または特定の電力を消費するUE102に関連するエンティティの電力状態504を、現在よりも高い電力に変更してもよく、低い電力に変更してもよい。フェイスアンロックセンサー212および構成要素、NIR投光イルミネーター214およびNIRドットプロジェクター216、ならびにNIRカメラ218-1および218-2の電力を入れるまたは切ること、これらの構成要素、ディスプレイ、マイクロフォン、タッチ入力センサーなどへの電力を下げることを含む、例示的な構成要素の詳細については、
図2の一部として上述されている。
【0056】
UE102の3つ目の例示的な状態は、情報状態506である。情報状態506は、高情報状態506-1、中間情報状態506-2、および低情報状態506-3で示されている。具体的には、情報状態506は、ユーザ、たとえば、
図1のユーザ120に提供される情報量に関連する状態である。通知という背景では、高情報状態506-1は最高レベルの情報を提供し、UE102はアンロック状態もしくは認証されている状態である、または、認証がなくても高レベルの情報を提供するためのユーザ設定が行われていると一般的に想定する。高情報状態506-1の場合、電話を受信したときに発信者の名前、番号、さらには関連画像を表示することなどが挙げられる。同様に、テキストメッセージもしくは電子メール、またはその他の種類のメッセージを受信した場合、その内容がディスプレイ116またはオーディオスピーカー、周辺機器などによって自動的に提示される。どのような使用が求められているかをユーザ設定で決定できるが、これは高レベルの使用であると想定する。ここでは、ユーザによる使用と、提供される情報の量との間には、相関関係があると想定する。したがって、本技術は、使用があると判断することによって、提示する情報をその判断に合わせて調整できる。情報を減らすこと、たとえば、中間情報状態506-2の例として、電話を受信したときに呼び出し音を出すが、発信者の名前/身元は提示しない、テキストメッセージもしくは電子メールを受信したことを示すが、主題のみ、またはアドレスのみ、または本文の内容のすべてではなく一部のみを示すことなどが挙げられる。ディスプレイ116が現在の日付、時刻、現在の天候、バッテリー電力状況を表示するもしくはUE102がオンであることを表示するなど、低情報状態506-3は、ユーザ120に個人的に関連する情報をほとんどまたはまったく提示しないが、一般常識もしくは常識であると広く認められている情報、または機密情報でない情報を含んでもよい。低情報状態506-3のその他の例として、テキストメッセージを受信したときに、空白画面もしくは黒い画面で、メッセージを受信したことのみを示す「ビーン」という音、または電話の呼び出し音を出すが、発信者についての名前、番号もしくはその他の情報を提示しないことなどが挙げられる。
【0057】
図6-1は、レーダーシステム104の例示的な実施態様600を示す図である。実装例600では、レーダーシステム104は、次の構成の各々のうちの少なくとも1つを備える。通信インターフェース602、アンテナアレイ604、トランシーバ606、プロセッサ608、およびシステム媒体610(たとえば、1つ以上のコンピュータ読み取り可能な記憶媒体)。プロセッサ608は、デジタル信号プロセッサ、コントローラ、アプリケーションプロセッサ、別のプロセッサ(たとえば、UE102のコンピュータプロセッサ402)またはそれらの何らかの組合せとして実装され得る。システム媒体610は、UE102のコンピュータ読み取り可能な媒体404内に含まれてもよく、コンピュータ読み取り可能な媒体404とは別であってもよい。システム媒体610は、次のモジュールのうちの1つ以上を含む:減衰軽減器614;デジタルビームフォーマ616;角度推定器618;または電源管理モジュール620。これらのモジュールは、UE102内にレーダーシステム104を内蔵することの影響を補償または抑えることができ、レーダーシステム104が小さいジェスチャもしくは複雑なジェスチャを認識する、UE102のそれぞれ異なるユーザの向き(たとえば、「手を伸ばす向き」)を区別する、外部環境を常時監視する、または目標誤警報率を実現することが可能になる。これらの特徴によって、レーダーシステム104を
図4に例示するデバイスなど、様々な異なるデバイス内に実装することができる。
【0058】
通信インターフェース602を利用して、レーダーシステム104は、シグネチャマネージャ106にレーダーデータを提供することができる。通信インターフェース602は、レーダーシステム104がUE102とは別に実装されているまたはUE102に内蔵されていることに基づいた無線インターフェースであってもよく、有線インターフェースであってもよい。アプリケーションによっては、レーダーデータは、RAWデータまたは最低限の加工が施されたデータ、I/Q(同相および直角位相)データ、レンジドップラーデータ、目標位置情報(たとえば、距離、方位、高度)を含む加工データ、クラッタマップデータなどを含んでもよい。一般に、レーダーデータには、ユーザに使用するという意図、使用をやめるという意図、または使用を続けるという意図があることを状態マネージャ112に提供するためにレーダーマネージャ106が使用可能な情報が含まれている。
【0059】
アンテナアレイ604は、少なくとも1つの送信アンテナ素子(図示せず)と少なくとも2つの受信アンテナ素子とを含む(
図7に示す)。場合によっては、アンテナアレイ604は、複数の送信アンテナ素子を含み、一度に複数の別個の波形(たとえば、送信アンテナ素子ごとに異なる波形)を送信可能なMIMO(Multiple-Input Multiple-Output)レーダーを実装してもよい。複数の波形を利用することによってレーダーシステム104の測定精度を上げることができる。受信アンテナ素子は、1次元形状(たとえば、線)または3つ以上の受信アンテナ素子を含んだ実施態様用に2次元形状で配置され得る。1次元形状では、レーダーシステム104は1つの角度次元(たとえば、方位または高度)を測定でき、2次元形状では、2つの角度次元(たとえば、方位および高度)を測定できる。受信アンテナ素子の2次元配置例については、
図7でさらに説明する。
【0060】
図6-2は、例示的なトランシーバ606およびプロセッサ608を示す図である。トランシーバ606は、レーダーシステム104の動作状態に従って、電源管理モジュール620を介して個々にオンオフできる複数の構成要素を備える。なお、状態マネージャ112がユーザを認証するために用いられる構成要素(たとえば、認証システム114)の電源をオンオフするなどの場合、電源管理モジュール620は、状態マネージャ112とは別個の構成要素であってもよく、状態マネージャ112と一体化されてもよく、または、状態マネージャ112の制御下にあってもよい。トランシーバ606は、次の構成要素の各々の少なくとも1つを備えると図示されている:能動部品622、VCO(電圧制御発振器)および電圧制御バッファ624、マルチプレクサ626、ADC(ADコンバータ)628、PLL(位相ロックループ)630、ならびに水晶発振器632。電源がオンになると、レーダーシステム104がレーダー信号を送信または受信するためにこれらの構成要素を積極的に使用していなくても、構成要素の各々は電力を消費する。能動部品622は、たとえば、電源電圧に結合される増幅器またはフィルタを含んでもよい。VCO624は、PLL630が提供する制御電圧に基づいて、周波数変調レーダー信号を生成する。水晶発振器632は、信号生成、周波数変換(たとえば、アップコンバージョンもしくはダウンコンバージョン)、またはレーダーシステム104内のタイミング制御用の基準信号を生成する。これらの構成要素をオンオフすることによって、電源管理モジュール620は、レーダーシステム104がアクティブ動作状態と非アクティブ動作状態との間を素早く切り替わることを可能にし、様々な非アクティブ期間中の電力の節約を可能にする。これらの非アクティブ期間は、数マイクロ秒(μs)、数ミリ秒(ms)、または数秒(s)程度であってもよい。
【0061】
プロセッサ608は、ローパワープロセッサ608-1およびハイパワープロセッサ608-2など、それぞれ異なる量の電力を消費する複数のプロセッサを備えると図示されている。例として、ローパワープロセッサ608-1は、レーダーシステム104内に埋め込まれたプロセッサを含んでもよく、ハイパワープロセッサは、コンピュータプロセッサ402、またはレーダーシステム104の外部にあるその他のプロセッサを含んでもよい。消費電力が異なるのは、それぞれ異なる利用可能なメモリ量および計算能力が原因であろう。たとえば、ローパワープロセッサ608-1は、ハイパワープロセッサ608-2よりも少ないメモリを利用し、少ない演算を行い、簡単なアルゴリズムを利用し得る。これらの限定にもかかわらず、ローパワープロセッサ608-1は、近接検出またはモーション検出(慣性データではなくレーダーデータに基づいて)など、あまり複雑でないレーダーベースアプリケーションについてのデータを処理できる。対照的に、ハイパワープロセッサ608-2は、大量のメモリを使用し、大量の演算を行い、複雑な信号処理、トラッキング、または機械学習アルゴリズムを実行し得る。ハイパワープロセッサ608-2は、角度曖昧性を解消するまたはその複数のユーザおよびその特徴を区別することによって、ジェスチャ認識、(認証システム114用の)顔認識など、目立ったレーダーベースアプリケーションについてのデータを処理し、正確かつ分解能が高いデータを提供し得る。
【0062】
電力を節約するために、電源管理モジュール620は、レーダーデータを処理するためにローパワープロセッサ608-1を使用するかハイパワープロセッサ608-2を使用するかを制御し得る。場合によっては、ローパワープロセッサ608-1が分析の一部を行って、データをハイパワープロセッサ608-2に渡し得る。データとして、クラッターマップ、RAW処理もしくは最小限に処理されたレーダーデータ(たとえば、同相および直角位相データもしくはレンジドップラーデータ)、またはデジタルビームフォーミングデータなどが挙げられる。また、ローパワープロセッサ608-1は、なんらかの低レベル分析を行って、ハイパワープロセッサ608-2の分析対象となるものがその環境に存在するかどうかを判断してもよい。このように、レーダーベースアプリケーションによって忠誠度が高くかつ正確なレーダーデータが要求される状況に対してハイパワープロセッサ608-2を利用しつつ、ハイパワープロセッサ608-2の動作を限定することによって電力を節約できる。レーダーシステム104内の消費電力に影響を与えるその他の要因については、
図6-1でさらに説明する。
【0063】
これらのおよびその他の能力および構成、ならびに
図1、
図2、
図4、および
図6~
図9のエンティティが動作および相互に作用する方法について、以下にさらに詳細に説明する。これらのエンティティをさらに分割したり、組み合わせたりしてもよい。
図1の環境100および
図2~
図9の詳細な例示は、記載の本技術を使用可能な多くの想定される環境およびデバイスのうちの一部を示す。
図6~
図9は、レーダーシステム104のさらなる詳細および特徴を説明する。
図6~
図9では、レーダーシステム104は、UE102を背景に説明されているが、上述したように、記載のシステムおよび技術の特徴および利点の利用可能性をそれらに限定する必要はなく、その他の種類の電子デバイスを含むその他の実施形態も本教示の範囲に含まれる。
【0064】
図7は、受信アンテナ素子702の例示的な配置700を示す図である。アンテナアレイ604が少なくとも4つの受信アンテナ素子702を含む場合、たとえば、
図7の中央に示すように、受信アンテナ素子702を矩形配置704-1に配置することができる。或いは、アンテナアレイ604が少なくとも3つの受信アンテナ素子702を含む場合、三角配置704-2またはL字配置704-3を用いてもよい。
【0065】
UE102のサイズまたはレイアウトの制約によって、受信アンテナ素子702間の要素間隔または受信アンテナ素子702の量が、レーダーシステム104が監視する角度にとって理想的でない場合がある。特に、素子同士の間隔によって角度が曖昧になってしまい、従来のレーダーでは目標の角度位置を推定することが困難になる。そのため、従来のレーダーでは、視野(例えば、監視する角度)を限定して角度が曖昧な曖昧ゾーンを回避することによって、誤検出を減らす場合がある。たとえば、従来のレーダーは、視野を約-45度~45度の角度に限定して8mm(ミリメートル)の波長および6.5mmの素子同士の間隔(たとえば、波長の90%の素子同士の間隔)を用いた場合に生じる、角度が曖昧になることを回避する。その結果、従来のレーダーでは、45度という視野の限界を超えた目標を検出できない可能性がある。一方、レーダーシステム104は、デジタルビームフォーマ616および角度推定器618を備える。デジタルビームフォーマ616および角度推定器618は、角度が曖昧になることを解消し、約-90度~90度の間の角度など、45度という限界を超えた角度から、最大で約-180度~180度の間の角度までレーダーシステム104が監視することを可能にする。これらの角度範囲は、1つ以上の方向(たとえば、方位および/または高度)にわたって適用され得る。したがって、レーダーシステム104は、レーダー信号の中心波長よりも狭い、広い、またはその半分に等しい素子同士の間隔を含む様々な異なるアンテナアレイ設計に対して低い誤警報率を実現できる。
【0066】
アンテナアレイ604を利用して、レーダーシステム104は、向きを操作されたビームもしくは操作されていないビーム、ワイドビームもしくはナロービーム、または成形された(たとえば、半円形、立方形、扇形、円錐形、もしくは円柱形)ビームを形成することができる。一例として、1つ以上の送信アンテナ素子(図示せず)は、向きを操作されていない全方位照射パターンを有してもよく、ワイド送信ビーム706など、ワイドビームを生成できてもよい。これらの技術のいずれも、レーダーシステム104が大きな空間容積を照射することを可能にする。しかしながら、目標角精度および角度分解能を実現するために、受信アンテナ素子702およびデジタルビームフォーマ616を用いて、ナロー受信ビーム708など、向きを操作された何千ものナロービーム(たとえば、3000個のビーム、7000個のビーム、または9000個のビーム)を生成することができる。このように、レーダーシステム104は、外部環境を効率的に監視して外部環境内の反射の到来角を精度よく判断できる。
【0067】
図6-1に戻ると、トランシーバ606は、アンテナアレイ604を介してレーダー信号を送受信するための回路およびロジックを含む。トランシーバ606の構成要素は、レーダー信号を調整するための増幅器、混合器、スイッチ、AD変換器、フィルタなどを含み得る。また、トランシーバ606は、変調および復調などI/Q(In-phase/Quadrature)動作を実行するためのロジックも含み得る。トランシーバ606は、連続波レーダーオペレーションまたはパルスレーダーオペレーションのために構成され得る。線形周波数変調、三角周波数変調、ステップ周波数変調、または位相変調を含む、様々な変調を利用してレーダー信号を生成することができる。
【0068】
トランシーバ606は、1ギガヘルツ(GHz)~400GHzの間、4GHz~100GHzの間、または57GHz~63GHzの間など、周波数範囲(たとえば、周波数スペクトル)内のレーダー信号を生成し得る。周波数スペクトルは、同様の帯域幅または異なる帯域幅を有する複数のサブスペクトルに分割され得る。帯域幅は、500メガヘルツ(MHz)、1GHz、2GHz程度などであり得る。一例として、それぞれ異なる周波数サブスペクトルが約57GHz~59GHzの間、59GHz~61GHzの間、または61GHz~63GHzの間の周波数を含んでもよい。また、同じ帯域幅を有し、かつ、隣接するまたは隣接しない複数の周波数サブスペクトルをコヒーレンスに選んでもよい。複数の周波数サブスペクトルは、1つのレーダー信号または複数のレーダー信号を用いて同時にまたは別々のタイミングで送信され得る。隣接した周波数サブスペクトルによってレーダー信号がより広い帯域幅を有することが可能になり、隣接しない周波数サブスペクトルによって、角度が曖昧になることを角度推定器618が解決できるようにする振幅差および位相差をさらに強調することができる。減衰軽減器314または角度推定器618は、トランシーバ606に、
図8および
図9で説明するように、1つ以上の周波数サブスペクトルを利用してレーダーシステム104のパフォーマンスを向上させてもよい。本技術のいくつかの実施の形態は、UE102が携帯可能なスマートフォンである場合などで特に有利であり、レーダー信号は57GHz~64Ghz帯域であり、ピークEIRP(実効輻射電力)は10dBm~20dBm(10mW~100mW)の範囲であり、平均パワースペクトル密度は約13dBm/MHzである。これは、放射線の健康問題および共生問題に適切に対処できることが分かっており、また、IMUおよびレーダーによる認証管理のための記載の本方法が、電力を節約しつつ、特に良好な時間節約という利便性をもたらすスマートフォンおよびユーザ付近で、よい大きさのレーダー検出の「バブル」(たとえば、少なくとも1メートルであり、最大で2メートルまたは2メートルを超える場合が多い)をもたらす。
【0069】
電源管理モジュール620は、電力使用量を管理して、パフォーマンスと消費電力とのバランスを取る。たとえば、電源管理モジュール620は、レーダーマネージャ106と通信して、レーダーシステム104に既定のレーダー電力状態を用いてデータを収集させる。各既定のレーダー電力状態は、特定のフレーム構造、特定の送信電力レベル、または特定のハードウェア(たとえば、
図6-2のローパワープロセッサ608-1およびハイパワープロセッサ608-2)に対応付けられてもよい。これらのうち1つ以上を調整することによって、レーダーシステム104の消費電力に影響が及ぶ。しかしながら、消費電力を減らすことは、後述するジェスチャフレーム更新速度および応答遅延など、パフォーマンスに影響が及んでしまう。
【0070】
図6-3は、消費電力と、ジェスチャフレーム更新速度634と、応答遅延との例示的な関係を示す図である。グラフ636では、レーダー電力状態638-1、638-2、および638-3は、それぞれ異なるレベルの消費電力およびそれぞれ異なるジェスチャフレーム更新速度634に対応付けられている。ジェスチャフレーム更新速度634は、レーダーシステム104が1つ以上のレーダー信号を送受信することによってどれだけ頻繁にかつ積極的に外部環境を監視するかを表す。一般的に、消費電力は、ジェスチャフレーム更新速度634に比例する。したがって、ジェスチャフレーム更新速度634が速いと、レーダーシステム104によって消費される電力が増大する。
【0071】
グラフ636では、レーダー電力状態638-1が使用する電力量は最も少なく、レーダー電力状態638-3が消費する電力量が最も多い。例として、レーダー電力状態638-1は、数ミリワット(mW)程度(たとえば、約2mWと4mWとの間)の電力を消費し、レーダー電力状態638-3は、ある程度のミリワット(たとえば、約6mWと20mWとの間)の電力を消費する。ジェスチャフレーム更新速度634に換算すると、レーダー電力状態638-1は、数ヘルツ程度(たとえば、約1Hz~5Hz未満)の更新速度を用いるのに対し、レーダー電力状態638-3は、数十ヘルツ程度(たとえば、約20Hzまたは10Hzを超える)のジェスチャフレーム更新速度634を用いる。
【0072】
グラフ640は、それぞれ異なるレーダー電力状態638-1~638-3の応答遅延とジェスチャフレーム更新速度634との関係を示している。一般的に、応答遅延は、ジェスチャフレーム更新速度634および消費電力の両方に対して反比例する。特に、ジェスチャフレーム更新速度634が上がると、応答遅延は急激に減少する。レーダー電力状態638-1に関連する応答遅延は、数百ミリ秒(ms)(たとえば、1000msまたは、200msを超える)程度であり、レーダー電力状態638-3に関連する応答遅延は、ある程度のミリ秒(たとえば、50ms~100ms未満)であり得る。レーダー電力状態638-2の場合、消費電力、ジェスチャフレーム更新速度634、および応答遅延は、レーダー電力状態638-1の消費電力、ジェスチャフレーム更新速度634、および応答遅延とレーダー電力状態638-3の消費電力、ジェスチャフレーム更新速度634、および応答遅延との間である。たとえば、レーダー電力状態638-2の消費電力は、約5mWであり、ジェスチャフレーム更新速度は、約8Hzであり、応答遅延は、約100msと200msとの間である。
【0073】
レーダー電力状態638-1またはレーダー電力状態638-3のいずれかで動作する代わりに、環境内の動作に基づいて応答遅延および消費電力が一緒に管理されるように、電源管理モジュール620は、レーダー電力状態638-1、638-2、および638-3(これらのレーダー電力状態638の各々の間の下位状態)との間を動的に切り替わる。例として、電源管理モジュール620は、レーダー電力状態638-1を有効にして外部環境を監視するまたは近づいてきているユーザを検出する。その後、ユーザは、使用するという意図があることを示しているもしくは使用始めている、またはジェスチャを行い始めているとレーダーシステム104が判断した場合、電源管理モジュール620は、レーダー電力状態638-3を有効にする。それぞれ異なるトリガによって、電源管理モジュール620をそれぞれ異なるレーダー電力状態638-1~638-3の間で切り替えさせてもよい。トリガの例として、動きがあるもしくは動きがなくなること、ユーザが見えることもしくは見えなくなること、ユーザが指定領域(たとえば、距離、方位、もしくは高度によって規定される領域)に移動するもしくは当該指定領域から出てくること、ユーザに関連する動きの速度に変化が生じること、レーダーマネージャ106が判断した使用するという意図があること(たとえば、「手を伸ばす」。しかしながら、顔の特徴のトラッキングなど、使用するという意図によってはさらなる電力が必要である)、または(たとえば、レーダー反射断面積の変化によって)反射信号の強度に変化が生じることなどがある。一般に、ユーザがUE102とやり取りしている可能性が低いことを示すトリガ、または、より長い応答遅延を用いたデータ収集を優先することを示すトリガによって、レーダー電力状態638-1を有効にして電力を節約してもよい。
【0074】
一般に、電源管理モジュール620は、いつ、どのように電力が節約され得るかを判断し、漸進的に消費電力を調整してレーダーシステム104がUE102の電力の限界内で動作できるようにする。場合によっては、電源管理モジュール620は、利用可能な電力残量を監視し、それに従って(たとえば、バッテリー残量が少ないため)レーダーシステム104の動作を調整してもよい。たとえば、電力残量が低い場合、電源管理モジュール620は、レーダー電力状態638-2または638-3のいずれかに切り替わる代わりに、レーダー電力状態638-1で動作を継続し得る。
【0075】
各電力状態638-1~638-3を特定のフレーム構造に対応付けてもよい。フレーム構造は、構成、スケジューリング、およびレーダー信号の送信および受信に関連する信号特性を既定する。一般に、フレーム構造は、外部環境に基づいて適切なレーダーデータを収集できるように組み立てられる。フレーム構造は、それぞれ異なる用途(たとえば、近接検出、特徴量認識、またはジェスチャ認識)に対する異なる種類のレーダーデータの収集を容易にするようにカスタマイズされてもよい。フレーム構造の各レベル全体を通した非アクティブ時間の間、電源管理モジュール620は
図6-2のトランシーバ606内の構成要素の電源をオフにして節電してもよい。例示的なフレーム構造については、
図6-4でさらに説明する。
【0076】
図6-4は、例示的なフレーム構造642を示す図である。図示した構成では、フレーム構造642は、3つの異なる種類のフレームを含む。最上位レベルでは、フレーム構造642は、一連のジェスチャフレーム644を含む。ジェスチャフレーム644は、アクティブな状態であってもよく、非アクティブ状態であってもよい。一般的に、アクティブな状態では、非アクティブ状態よりも多くの電力量を消費する。中間レベルでは、フレーム構造642は、一連のFF(特徴フレーム)646を含む。特徴フレーム648も、同様に、アクティブな状態であってもよく、非アクティブ状態であってもよい。それぞれ異なる種類の特徴フレームは、パルスモード特徴フレーム648(
図6-4の左下に示す)と、バーストモード特徴フレーム650(
図6-4の右下に示す)とを含む。低レベルでは、フレーム構造642は、一連のRF(レーダーフレーム)652を含む。RF(レーダーフレーム)652もアクティブな状態であってもよく、非アクティブ状態であってもよい。
【0077】
レーダーシステム104は、アクティブなRF(レーダーフレーム)652の間にレーダー信号を送受信する。状況によっては、探索追尾、クラッターマップ生成、ユーザ位置特定など、基本的なレーダー動作についてレーダーフレーム652を個々に分析する。各アクティブなレーダーフレーム652の間に収集されたレーダーデータは、レーダーフレーム652の完了後、バッファに保存されてもよく、または
図6-1のプロセッサ608に直接提供されてもよい。
【0078】
レーダーシステム104は、複数のレーダーフレーム652にまたがる(たとえば、アクティブな特徴フレーム646に関連するレーダーフレーム652の群にまたがる)レーダーデータを分析して、1つ以上のジェスチャに対応付けられた1つの特定の特徴を特定する。例示的な種類の特徴として、特定の種類の動き、特定の付属肢(たとえば、手または個々の指)に関連する動き、およびジェスチャのそれぞれ異なる一部に関連する特徴などが挙げられる。アクティブなジェスチャフレーム644の間にユーザ120が行ったジェスチャを認識するために、レーダーシステム104は、1つ以上のアクティブな特徴フレーム646に関連するレーダーデータを分析する。
【0079】
ジェスチャの種類によって、ジェスチャフレーム644の期間は、数ミリ秒程度または数秒程度(たとえば、約10msと10sとの間)であってもよい。非アクティブ状態にあるジェスチャフレーム644-3および644-4によって示されているように、アクティブなジェスチャフレーム644が生じた後、レーダーシステム104は、非アクティブ状態になる。非アクティブ状態にあるジェスチャフレーム644の期間は、ディープスリープ時間654によって特徴付けられる。ディープスリープ時間654は、数十ミリ秒程度以上(たとえば、50msよりも長い)であってもよい。例示的な実施態様では、レーダーシステム104は、トランシーバ606内の構成要素のすべての電源をオフにして、ディープスリープ時間654中の電力を節約できる。
【0080】
図示したフレーム構造642では、各ジェスチャフレーム644は、K個の特徴フレーム646を含む。ここで、Kは、正の整数である。ジェスチャフレーム644が非アクティブ状態になると、ジェスチャフレーム644に関連する特徴フレーム646のすべても非アクティブ状態になる。対照的に、アクティブなジェスチャフレーム644は、J個のアクティブな特徴フレーム646と、K-J個の非アクティブ状態にある特徴フレーム646とを含む。ここで、Jは、K以下の正の整数である。特徴フレーム646の量は、ジェスチャの複雑さに基づいてもよく、数個~数百個の特徴フレーム646を含んでもよい(たとえば、Kは、2、10、30、60、または100と等しくてもよい)。各特徴フレーム646の期間は、数ミリ秒程度(たとえば、約1msと50msとの間)であってもよい。
【0081】
電力を節約するために、アクティブな特徴フレーム646-1~646-Jは、非アクティブ状態にある特徴フレーム646-(J+1)~646-Kよりも前に生じる。非アクティブ状態にある特徴フレーム646-(J+1)~646-Kの期間は、スリープ時間656によって特徴付けられる。このように、レーダーシステム104が、アクティブな特徴フレーム646-1~646-Jを用いて非アクティブ状態にある特徴フレーム646-(J+1)~646-Kをインターリーブするその他の技術よりも長い期間電源が切られた状態になるように、非アクティブ状態にある特徴フレーム646-(J+1)~646-Kは、連続して実行される。一般的に、スリープ時間656の期間を長くすることによって、レーダーシステム104が、長い起動時間を必要とするトランシーバ606内の構成要素の電源をオフにすることが可能になる。
【0082】
各特徴フレーム646は、L個のレーダーフレーム652を含む。ここで、Lは、正の整数であり、JまたはKと等しくてもよいし、等しくなくてもよい。いくつかの実施態様では、レーダーフレーム652の量は、それぞれ異なる特徴フレーム646間で異なってもよく、数フレームまたは数百フレームから構成されてもよい(たとえば、Lは、5、15、30、100、もしくは500と等しくてもよい)。レーダーフレーム652の期間は、数マイクロ秒程度または数千マイクロ秒程度(たとえば、約30μsと5msとの間)であってもよい。特定の特徴フレーム646内のレーダーフレーム652を、所定の検出範囲、所定の距離分解能、または所定のドップラー感度に合わせてカスタマイズしてもよく、これにより、特定の特徴およびジェスチャの検出が容易になる。たとえば、レーダーフレーム652は、特定の種類の変調、特定の種類の帯域幅、特定の種類の周波数、特定の種類の送信電力、または特定の種類のタイミングを利用してもよい。特徴フレーム646が非アクティブ状態になると、特徴フレーム646に関連するレーダーフレーム652のすべても非アクティブ状態になる。
【0083】
パルスモード特徴フレーム648およびバーストモード特徴フレーム650は、それぞれ異なる一連のレーダーフレーム652を含む。一般的に、アクティブなパルスモード特徴フレーム648内のレーダーフレーム652は、所定時間で互いに隔てられたパルスを送信する。対照的に、アクティブなバーストモード特徴フレーム650内のレーダーフレーム652は、バーストモード特徴フレーム650の一部にまたがって連続してパルスを送信する(たとえば、これらのパルスは、所定時間によって隔てられていない)。
【0084】
各アクティブなパルスモード特徴フレーム648内で、一連のレーダーフレーム652は、アクティブな状態と非アクティブ状態との間を交互に変化する。各アクティブなレーダーフレーム652は、三角形で図示されているレーダー信号(たとえば、チャープ)を送信する。レーダー信号の期間は、起動時間658によって特徴付けられる。起動時間658の間、トランシーバ606内の構成要素の電源はオンである。短アイドル時間660の(アクティブなレーダーフレーム652内の残りの時間および後続の非アクティブ状態にあるレーダーフレーム652の期間を含む)の間、レーダーシステム104は、起動時間が短アイドル時間660の期間内であるトランシーバ606内の構成要素の電源をオフにすることによって電力を節約する。
【0085】
アクティブなバーストモード特徴フレーム650は、M個のアクティブなレーダーフレーム652と、L-M個の非アクティブ状態にあるレーダーフレーム652とを含む。ここで、Mは、L以下の正の整数である。電力を節約するために、アクティブなレーダーフレーム652-1~652-Mは、非アクティブ状態にあるレーダーフレーム652-(M+1)~652-Lよりも前に生じる。非アクティブ状態にあるレーダーフレーム652-(M+1)~652-Lの期間は、長アイドル時間662によって特徴付けられる。非アクティブ状態にあるレーダーフレーム652(M+1)~652-Lをまとめてグループ化することによって、レーダーシステム104は、パルスモード特徴フレーム648の間に生じる短アイドル時間660よりも長い期間、電源が切られた状態になることができる。これに加えて、電源管理モジュール620は、起動時間が短アイドル時間660よりも長く、長アイドル時間662よりも短いトランシーバ606内のさらなるの構成要素の電源をオフにできるようになる。
【0086】
アクティブなバーストモード特徴フレーム650内の各アクティブなレーダーフレーム652は、1つのレーダー信号の一部を送信する。この例では、アクティブなレーダーフレーム652-1~652-Mは、周波数が高くなるレーダー信号部分と、周波数が低くなるレーダー信号部分とを交互に送信する。
【0087】
フレーム構造642により、各フレーム種別内の複数の調整可能なデューティーサイクルを通した電力の節約が可能になる。第1デューティーサイクル664は、特徴フレーム646(K)の総量に対するアクティブな特徴フレーム646(J)の量に基づく。第2デューティーサイクル665は、レーダーフレーム652(L)の総量に対するアクティブなレーダーフレーム652(たとえば、L/2またはM)の量に基づく。第3デューティーサイクル668は、レーダーフレーム652の期間に対するレーダー信号の期間に基づく。
【0088】
約2mWの電力を消費し、ジェスチャフレーム更新速度634が約1Hzと4Hzとの間である電力状態638-1の例示的なフレーム構造642を考える。この例では、フレーム構造642は、約250msと1秒との間の期間を有するジェスチャフレーム644を含む。ジェスチャフレーム644は、31個のパルスモード特徴フレーム648(たとえば、Lは、31に等しい)を含む。31個のパルスモード特徴フレーム648のうち1つはアクティブな状態である。これにより、デューティーサイクル664が3.2%にほぼ等しくなる。各パルスモード特徴フレーム648の期間は、約8msと32msとの間である。各パルスモード特徴フレーム648は、8個のレーダーフレーム652から構成される。アクティブなパルスモード特徴フレーム648内の8個すべてのレーダーフレーム652は、アクティブな状態である。これにより、デューティーサイクル665は、100%に等しくなる。各レーダーフレーム652の期間は、約1msと4msとの間である。各アクティブなレーダーフレーム652内の起動時間658は、約32μsと128μsとの間である。したがって、結果として得られるデューティーサイクル668は、約3.2%である。例示的なフレーム構造642によって良好なパフォーマンスが得られることが分かっている。これらの良好なパフォーマンスが得られるとは、良好なジェスチャ認識および良好な存在検出が得られるという意味であり、低電力状態(たとえば、低電力状態504-3)の携帯可能なスマートフォンに適用した場合、良好な電力効率がもたらされる。
【0089】
フレーム構造642に基づいて、電源管理モジュール620は、レーダーシステム104が積極的にレーダーデータを収集しない時間を判断できる。この非アクティブ期間に基づいて、電源管理モジュール620は、詳細は後述するが、レーダーシステム104の動作状態を調整し、トランシーバ606の1つ以上の構成要素の電源をオフにすることによって電力を節約できる。
【0090】
また、述べたように、電源管理モジュール620は、非アクティブ期間中に、トランシーバ606内の1つ以上の構成要素(たとえば、電圧制御発振器、分波器、A/D変換器、位相ロックループ、または水晶発振器)をオフにすることによって電力を節約できる。これらの非アクティブ期間は、レーダーシステム104が積極的にレーダー信号を送信または受信していない場合に発生する。非アクティブ期間は、数マイクロ秒(μs)、数ミリ秒(ms)、数秒(s)程度であり得る。さらに、電源管理モジュール620は、信号増幅器が提供する増幅量を調整することによってレーダー信号の送信電力を変更することができる。これに加えて、電源管理モジュール620は、レーダーシステム104内の異なるハードウェアコンポーネントの使用を制御して電力を節約できる。プロセッサ608がローパワープロセッサおよびハイパワープロセッサ(たとえば、異なるメモリ量および計算能力を有するプロセッサ)を備える場合、たとえば、電源管理モジュール620は、低レベル分析(たとえば、動きの検出、ユーザの場所の特定、または環境の監視)の場合にローパワープロセッサを利用することと、(たとえば、レーダーデータを用いてユーザを認証するための認証システム114の高電力状態504-1を実装するために)レーダーマネージャ106によって忠実度または精度が高いレーダーデータが要求される状況の場合にハイパワープロセッサを利用することとを切り替えることができる。
【0091】
また、上述した内部電力節電技術に加えて、電源管理モジュール620は、単独で、または認証システム114の指令で、その他の外部コンポーネントもしくはUE102内のセンサーを起動もしくは停止することによって、UE102内の電力を節約できる。また、上述した内部電力節電技術に加えて、電源管理モジュール620は、その他の外部コンポーネントまたはUE102内のセンサーを起動または停止することによってUE102内の電力を節約できる。これらの外部コンポーネントは、スピーカー、カメラセンサ、GPS(Global Positioning System)、ワイヤレス通信トランシーバ、ディスプレイ、ジャイロスコープ、または加速度計を含んでもよい。レーダーシステム104が少量の電力を用いて環境を監視することができるので、電源管理モジュール620は、ユーザがどこにいるのかまたはユーザが何をしているのかに基づいてこれらの外部コンポーネントを適切にオンオフできる。このように、UE102は、自動シャットオフタイマーを使うことなく、またはユーザが物理的にUE102に触れるもしくはUE102を音声制御することなく、シームレスにユーザに応答して、電力を節約できる。
【0092】
図8は、UE102内のレーダーシステム104の実施態様800のさらなる詳細を示す図である。例500では、アンテナアレイ604は、ガラスカバーまたは外装ケースなど、UE102の外部筐体の下方に位置している。その材質によっては、外部筐体は、レーダーシステム104によって送受信されるレーダー信号を減衰または歪ませる減衰器802として動作し得る。減衰器802は、異なる種類のガラスまたはプラスチックを含んでもよく、そのうちのいくつかは、ディスプレイ画面、外部筐体、またはUE102のその他の構成要素内にあってもよく、約4~10の間の誘電率(たとえば、比誘電率)を有してもよい。したがって、減衰器802は、レーダー信号806を通さないまたは部分的に通すものであり、(反射部分804によって示すように)送信または受信レーダー信号806の一部を反射させる場合がある。従来のレーダーでは、減衰器802は、監視できる有効距離を狭めてしまい、小さい目標が検出されず、全体的な精度を下げてしまう可能性がある。
【0093】
レーダーシステム104の送信電力が限定されており、外部筐体を再設計することが望ましくないと想定すると、レーダー信号806の1つ以上の減衰依存性質(たとえば、周波数サブスペクトル808もしくは舵角810)または減衰器802の減衰依存特性(たとえば、減衰器802とレーダーシステム104との距離812もしくは減衰器802の厚さ814)を調整して減衰器802の影響を抑える。これらの特性のうちのいくつかは、製造時に設定またはレーダーシステム104の動作中に減衰軽減器614によって調整できる。減衰軽減器614、たとえば、選択された周波数サブスペクトル808または舵角810を用いてトランシーバ606にレーダー信号806を送信させることができ、プラットフォームにレーダーシステム104を減衰器802に近づけたり遠ざけたりして距離812を変更することができ、または、別の減衰器を適用するようユーザを促して減衰器802の厚さ814を増やすことができる。
【0094】
適切な調整は、減衰軽減器614によって、予め決められた減衰器802の特性(たとえば、UE102のコンピュータ読み取り可能な媒体404もしくはシステム媒体610内に格納された特性)に基づいて、または、レーダー信号806の反射を処理して減衰器802の1つ以上の特性を測定することによって行うことができる。減衰依存特性のうちのいくつかが固定または制約される場合であっても、減衰軽減器614は、これらの限定を考慮して各パラメータのバランスをとり、目標のレーダーパフォーマンスを実現できる。その結果、減衰軽減器614によって、レーダーシステム104が精度の向上および減衰器802の反対側に位置するユーザを検出して追跡するための有効距離の拡大を実現することが可能になる。これらの技術は、送信電力を増加すること(レーダーシステム104の消費電力を増加させてしまう)、または、減衰器802の材料を変更すること(いったんデバイスが生産されてしまうと行うことが難しくかつ費用がかかってしまう)に代わるものである。
【0095】
図9は、レーダーシステム104によって実施されるスキーム例900を示す図である。スキーム900の一部は、プロセッサ608、コンピュータプロセッサ402、またはその他のハードウェア回路によって実行されてもよい。スキーム900は、異なる種類の電子デバイスおよびレーダーベースのアプリケーション(たとえば、レーダーマネージャ106)をサポートするようにカスタマイズでき、また、レーダーシステム104が設計上の制約にもかかわらず目標角精度を実現することを可能にする。
【0096】
トランシーバ606は、受信レーダー信号に対する受信アンテナ素子702の個々の反応に基づいて、RAWデータ902を生成する。角度推定器618によって選択された1つ以上の周波数サブスペクトル904と受信レーダー信号を関連付けて、角度曖昧さを容易に解消し得る。周波数サブスペクトル904は、たとえば、サイドローブの量を減らすまたはサイドローブの振幅を下げるために選択されて得る(たとえば、振幅を0.5dB、1dB、もしくはそれ以上小さくする)。レーダーシステム104の目標角精度または計算限界に基づいて、周波数サブスペクトル量を決定できる。
【0097】
RAWデータ902は、一定期間分のデジタル情報(たとえば、同相および直角位相データ)と、異なる波数と、受信アンテナ素子702にそれぞれ関連付けられた複数のチャンネルとを含んでいる。RAWデータ902に対してFFT(高速フーリエ変換)906を実行して処理前データ908を生成する。処理前データ908は、異なるレンジ(たとえば、レンジビン)について、および複数のチャンネルについての一定期間にわたるデジタル情報を含む。処理前データ908に対してドップラーフィルタ処理910を実行してレンジドップラーデータ912を生成する。ドップラーフィルタ処理910は、複数のレンジビン、複数のドップラー周波数についての振幅/位相情報、および複数のチャンネルについての振幅/位相情報を生成する別のFFTを含んでもよい。デジタルビームフォーマ616は、レンジドップラーデータ912に基づいてビームフォーミングデータ914を生成する。ビームフォーミングデータ914は、方位および/または高度のセットについてのデジタル情報を含んでおり、当該デジタル情報は、デジタルビームフォーマ616によって形成されるそれぞれ異なる舵角またはビームの視野を表す。図示していないが、デジタルビームフォーマ616は、これに代えて、処理前データ908に基づいてビームフォーミングデータ914を生成してもよく、ドップラーフィルタ処理910は、ビームフォーミングデータ914に基づいてレンジドップラーデータ912を生成してもよい。計算量を減らすために、デジタルビームフォーマ616は、目的とする距離、時間、またはドップラー周波数間隔に基づいてレンジドップラーデータ912または処理前データ908の一部を処理してもよい。
【0098】
デジタルビームフォーマ616は、シングルルックビームフォーマ916、マルチルック干渉計918、またはマルチルックビームフォーマ920を用いて実装され得る。一般に、シングルルックビームフォーマ916は、決定論的オブジェクト(たとえば、1つの位相中心を有する点光源目標)に対して用いられ得る。非決定論的目標(たとえば、複数の位相中心を有する目標)については、シングルルックビームフォーマ916よりも精度を上げるために、マルチルック干渉計918またはマルチルックビームフォーマ920が使用される。人間は、非決定論的目標の一例であり、924-1および924-2において示すように、それぞれ異なるアスペクト角に基づいて変化し得る複数の位相中心922を有する。複数の位相中心922によって生じる建設的または相殺的干渉の変動によって、従来のレーダーが角度位置を精度よく判断することが困難になり得る。しかしながら、マルチルック干渉計918またはマルチルックビームフォーマ920は、コヒーレント平均化を行ってビームフォーミングデータ914の精度を上げる。マルチルック干渉計918は、2つのチャンネルをコヒーレントに平均化して位相情報を生成する。位相情報は、角度情報を精度よく判断するために利用され得る。一方で、マルチルックビームフォーマ920は、Fourier、Capon、MUSIC(Multiple Signal Classification:多重信号分類)、またはMVDR(Minimum Variance Distortionless Response)など、線形または非線形ビームフォーマを用いて2つ以上のチャンネルをコヒーレントに平均化することができる。マルチルックビームフォーマ920またはマルチルック干渉計918を介してもたらされる精度の向上によって、レーダーシステム104が小さいジェスチャを認識することや、ユーザの複数の部分(たとえば、顔の特徴)を区別することが可能になる。
【0099】
角度推定器618は、ビームフォーミングデータ914を分析して1つ以上の角度位置を推定する。角度推定器618は、信号処理技術、パターンマッチング技術、または機械学習を利用し得る。また、角度推定器618は、レーダーシステム104の設計またはレーダーシステム104が監視する視野によって生じ得る角度曖昧性を解決する。角度曖昧性の例が、振幅グラフ926内に図示されている(たとえば、振幅応答)。
【0100】
振幅グラフ926は、目標のそれぞれ異なる角度位置について、およびそれぞれ異なる舵角810について生じ得る振幅差を示す。第1の角度位置930-1に位置する目標の第1の振幅応答928-1(実線で図示)が図示されている。同様に、第2の角度位置930-2に位置する目標の第2の振幅応答928-2(点線で図示)が図示されている。この例では、-180度~180度の間の角度にわたる差を考える。
【0101】
振幅グラフ926に示すように、2つの角度位置930-1および930-2について曖昧なゾーンが存在する。第1の振幅応答928-1は、第1の角度位置930-1の山が最も高く、第2の角度位置930-2の位置の山がそれよりも低い。最も高い山が目標の実際の位置に対応するが、当該低い山によって、第1の角度位置930-1が曖昧になってしまっている。なぜならば、目標が第1の角度位置930-1に存在するのか第2の角度位置930-2に存在するのかを従来のレーダーでは確信をもって判断できないしきい値内に第1の角度位置930-1が存在するためである。一方、第2の振幅応答928-2は、第2の角度位置930-2の山が低く、第1の角度位置930-1の山がそれよりも高い。この場合、当該低い山が目標の場所に対応する。
【0102】
従来のレーダーは、最高ピーク振幅を用いて角度位置を判断することに限定され得るが、角度推定器618は、その代わりに、振幅応答928-1および928-2の形状のわずかな違いを分析する。これらの形状の特徴は、たとえば、ロールオフ、ピークもしくはヌル幅、ピークもしくはヌルの角位置、ピークおよびヌルの高さもしくは深さ、サイドローブの形状、振幅応答928-1もしくは928-2内の対称性、または振幅応答928-1もしくは928-2内の対称性の欠如を含み得る。同様の形状特性は、位相応答において分析され得る。位相応答は、角度曖昧性を解決するための追加情報を提供し得る。そのため、角度推定器618は、固有の角度シグネチャまたはパターンを角度位置にマッピングする。
【0103】
角度推定器618は、UE102の種類(たとえば、計算能力もしくは電力の制約)またはレーダーマネージャ106の目標角度分解能に応じて選択され得るアルゴリズムまたはツールの一式を含み得る。いくつかの実施態様では、角度推定器618は、ニューラルネットワーク932、CNN(畳み込みニューラルネットワーク)934、またはLSTM(Long Short-Term Memory)ネットワーク936を含み得る。ニューラルネットワーク932は、様々な深さまたは量の隠れ層(たとえば、3つの隠れ層、5つの隠れ層、または10個の隠れ層)を有し得、それぞれ異なる量の結合も含み得る(たとえば、ニューラルネットワーク932は、全結合ニューラルネットワークまたは部分結合ニューラルネットワークを含み得る)。場合によっては、CNN934を利用して角度推定器618の演算速度を上げることができる。LSTMネットワーク936を利用して角度推定器618が目標を追跡可能にすることができる。機械学習技術を利用して、角度推定器618は、非線形関数を採用して振幅応答928-1または928-2の形状を分析し、角度確率データ938を生成する。角度確率データ938は、ユーザまたはユーザの一部分がアングルビン内にある見込みを示す。角度推定器618目標がUE102の左または右に存在する確率を提供するための2つのアングルビンなど、いくつかのアングルビンについて、または、(たとえば、連続角度測定についての角度確率データ938を提供するための)何千ものアングルビンについて角度確率データ938を提供してもよい。
【0104】
角度確率データ938に基づいて、トラッカーモジュール940は、角度位置データ942を生成する。角度位置データ942は、目標の角位置を識別する。トラッカーモジュール940は、角度確率データ938のなかで最も確率が高いアングルビンに基づいて、または、予測情報(たとえば、予め測定された角度位置の情報)に基づいて目標の角位置を判断してもよい。また、トラッカーモジュール940は、1つ以上の移動する目標を追跡して、レーダーシステム104が確信をもって目標を区別または特定することを可能にしてもよい。また、その他のデータを用いて、距離、ドップラー、速度、または加速度を含む角度位置を判断することもできる。場合によっては、トラッカーモジュール940は、α-βトラッカー、カルマンフィルタ、MHT(Multiple Hypothesis Tracker)などを備え得る。
【0105】
量子化器モジュール944は、角度位置データ942を取得し、当該データを量子化し、量子化された角度位置データ946を生成する。この量子化は、レーダーマネージャ106の目標角度分解能に基づいて行うことができる。状況によっては、目標がUE102の右にあるのか左にあるのかを量子化された角度位置データ946が示すまたは目標が位置する90度の象限を量子化された角度位置データ946が識別するよう、より少ない量子化レベルを用いることができる。ユーザの近接検出など、いくつかのレーダーベースのアプリケーションについてはこれで十分であろう。その他の状況では、量子化された角度位置データ946が数分の1度、1度、5度などの精度内で目標の角度位置を示すよう、より大きな量子化レベルを用いることができる。この分解能は、ジェスチャ認識など、より高い分解能レーダーベースのアプリケーション用に利用したり、本明細書において説明したアテンション状態またはやり取りしている状態を実現する際に利用したりすることができる。いくつかの実施態様では、デジタルビームフォーマ616、角度推定器618、トラッカーモジュール940、および量子化器モジュール944をまとめて1つの機械学習モジュールで実現する。
【0106】
ユーザに使用するという意図がある、使用をやめるという意図がある、または使用を続けるという意図があるとレーダーを利用して判断する実施態様、さらには、ユーザに電子装置を使用するという意図またはやり取りするという意図があることを示すとして分類されるユーザアクションをレーダーを利用して検出する実施態様(これらの実施態様のいずれも、最新のスマートフォンで提供されるデバイスに搭載されたカメラを用いて代替的に実現可能である)を含む実施態様の利点を説明したが、特に、レーダーシステムの電力使用量がカメラシステムの電力使用量よりもかなり少ない一方で、得られる結果の正しさはカメラシステムよりもレーダーシステムのほうが良好である場合が多いことが利点である。たとえば、本明細書において上述したレーダーシステム104を利用して、一桁のミリワット~わずか数十ミリワット(たとえば、10mW、20mW、30mW、または40mW)までの範囲の平均的な電力で、所望のユーザ意図検出を実現でき、これには、判断を行うためにレーダーベクトルデータを処理するための処理能力も含まれる。これらの低レベルの電力では、レーダーシステム104を常時有効にしておくことを容認できる。したがって、たとえば、スマートフォンレーダーシステムが常時有効な状態で、スマートフォンが部屋の反対側にある状態で長い時間座っているユーザにも、今回説明した所望の愉しくてシームレスなエクスペリエンスを提供できる。
【0107】
対照的に、今日のほとんどのスマートフォンで提供されている光学カメラは、通常、数百ミリワットの電力(たとえば、400mWという、40mWよりも1桁高い大きさ)で動作する。このようなパワーレートでは、光学カメラは、不利である。なぜならば、これでは今日のほとんどのスマートフォンのバッテリー寿命が大幅に短くなってしまい、光学カメラを常時オンの状態にする(コストの心配がいらないのであれば)ことが極めて不可能になってしまうためである。レーダーシステムのさらなる利点は、視野がかなり大きいことであり、(自撮り用カメラと同じような方向にレーダーチップが外側に向いている多くの通常の実装の場合)テーブルの上に横にして置いたり上に向けていたりしても、ユーザがいずれの方向から歩いてきた場合も容易に検出でき、さらには、レーダーシステムのドップラー処理能力のおかげで、様々な方向から体を動かすほんのわずかな動きを検出する際に非常に有効である(特に、60GHzに近い動作周波数において)。
【0108】
これに加えて、レーダーシステム104は、カメラシステムの実行が抑えられたまたは制限された環境で動作できる。たとえば、明かりが少ない環境では、カメラシステムは、形状や動きを検出する機能は低いであろう。対照的に、レーダーシステム104は、明かりが少ない場合でも、明るい場合と同様に動作できる。また、レーダーシステム104は、何らかの障害物を通して存在またはジェスチャを検出できる。たとえば、スマートフォンがジャケットまたはズボンのポケットの中にある場合、カメラシステムは、ユーザやジェスチャを検出できない。しかしながら、レーダーシステム104は、カメラシステムを遮るであろう布地を通してもその視界にあるオブジェクトを検出できる。スマートフォンに搭載されているビデオカメラシステムを利用するよりもレーダーシステム104を利用する方がさらに有利である点は、プライバシーである。なぜならば、ユーザは、本明細書に記載の愉しくてシームレスなエクスペリエンスの利点を得ることができると同時に、ビデオカメラがプライバシー目的でユーザの動画を撮影していると心配する必要がないためである。
【0109】
図1、
図2、
図4、および
図6~
図9の要素を分割したり、組み合わせたり、その他のセンサーまたは構成要素とともに使用したりするなどしてもよい。このように、IMUおよびレーダーに基づいて状態を下げることを実現するために異なる構成のレーダーシステム104およびIMU108とともに異なる実施態様のUE102を使用できる。
図1の動作環境例100および
図2~
図9の詳細な例示は、記載の本技術を採用できる多くの環境およびデバイスの一部を示しているにすぎない。
【0110】
例示的な方法
このセクションでは、例示的な方法を示す。これらの例示的な方法は、すべてまたは一部が別個で動作してもよく、一緒に動作してもよい。様々な方法について説明する。読み易くするために、例示的な方法の各々をサブセクションに記載する。サブセクションのタイトルは、これらの方法の相互運用性を限定しない。
【0111】
認証管理
図10は、IMUおよびレーダーによって認証を管理するための例示的な方法1000であって、ユーザ機器の電力状態を管理することの一例を示す図である。方法1000は、実行される動作を詳細に記したブロックのセットとして示されているが、それぞれのブロックによる動作の実行は、図示した順序または組合せに必ずしも限定されない。さらに、動作のうちの1つ以上の動作のいずれも、繰り返したり、組み合わせたり、再編成したり、または関連付けたりして、数多くのさらなる方法および/または別の方法(たとえば、方法1200および1400)を提供してもよい。以下の説明部分において、
図1の動作環境例100、もしくはその他の図面で詳細を説明した要素または処理を参照してもよいが、この参照は例示に過ぎない。技術は、1つのデバイス上で動作する1つの要素または複数の要素による動作に限定されない。
【0112】
1002では、ユーザ機器が、レーダーデータに基づいて、ユーザに使用するという意図があると判断する。使用するという意図は、ユーザにユーザ機器を使用するという意図があることを示す。上記したように、わずか3つの例であるが、ユーザ120がUE102に向けて手を伸ばしている、UE102を見ている、または体をUE102の方向に傾けているもしくは向けていると判断することによって、使用するという意図があることが示されてもよい。
【0113】
1004では、使用するという意図があるとレーダーデータが判断することの代わりに、またはこれに加えて、慣性データに基づいて、ユーザ機器に動きがあると判断する。この動きは、ユーザ120がUE102を手に取る動き、UE102に触れる動き、および上記したようなその他の動きを示してもよい。
【0114】
1006では、使用するという意図があるとの判断に応答して(および、場合によっては、ユーザ機器に動きがあるとの判断に応答して)、認証システムの電力消費部品の電力状態を変更する。電力消費部品の電力状態は、第1電力状態から第2電力状態に変更される。第2電力状態は、第1電力状態が消費する電力よりも多くの電力を消費する。この変更は、単に、レーダーデータを用いて判断された使用するという意図に基づく変更であってもよく、慣性データを通して判断された動きにも基づいた変更であってもよい。動きがあるとの判断に基づいて、電力消費部品の電力状態をさらに上げてもよく、その他の構成要素に電力を供給してもよい。上記したように、この動きがあるとの判断は、使用するというユーザ120の意図を確認する判断であってもよく、さらに、使用するという意図があることを認証システムに提供してもよく、または電力、リソースなどを認証システムに追加するという判断に対して速度および/またはロバスト性を高めてもよい。なお、場合によっては、ユーザに使用する意図があるとまだ判断されていない場合であっても、認証システムの構成要素の電源は入ったままである。このような場合、使用するという意図があると判断されたことに応答して、本技術は、認証プロセスを実行するよう作用する。このような場合、当該プロセスのために電力を節約していなくても待ち時間が減る。しかしながら、本技術では、認証システムとは関係のないリソースを使用することを控えることにより、その他の方法で電力を節約できる。
【0115】
認証システムの電力消費部品の変更後の電力状態は、認証システムがユーザに認証プロセスを実行することを可能にするのに十分な電力状態であってもよく、十分な電力状態でなくてもよい。場合によっては、電力消費部品の第2電力状態は、高電力状態504-1ではない。このような場合、第2電力状態は、上記した中間電力状態504-2である。中間電力状態504-2は、場合によっては、完全に起動(たとえば、暗闇ではなく明るい場所でのユーザの写真の撮影など)していなくても認証用のセンサーデータを提供できる中間電力状態を含むカメラなど、電力消費部品の実行には十分な電力状態である。別の例は、ディスプレイ116である。ディスプレイ116には、ディスプレイの光度に電力を供給してフルパワーにすることなく、パスワードを求めるタッチ入力を受け付けるための電力が供給されてもよい。別の場合として、ユーザの顔からレーダーシステム104までの距離がかなり近く、十分に正確な顔の特徴を認証システム114に提供するためにフルパワーが必要ではないレーダーシステム104などが挙げられる。
【0116】
場合によっては、構成要素を起動することは、ウォームアップシーケンスなど、構成要素を準備する、または、構成要素にさらに時間を与えることによって単純に待ち時間を減らすことができる中間ステップである。このような場合、構成要素が認証できる状態になる前に、使用をやめるという意図があると判断された場合、ユーザ120がUE102を(たとえば、ポケットに)移動することによって認証を避ける場合などでは、状態マネージャ112は、ハイパワーにしないと判断してもよい。場合によっては、電力を供給することは、中間ステップであり、その後、1004に示すように、ユーザ120がUE102を動かしたと判断したことに応答して電力が完全に投入されるため、認証プロセスを実行するのに十分な電力になる。このウォームアップシーケンスは、構成要素に電力を供給して中間電力状態504-2にする。その後、短期間の後、構成要素には、認証プロセスで使用するのに十分な電力が供給される(たとえば、高電力状態504-1にされる)。このような場合、構成要素は、ウォームアップシーケンスに続くポストウォームアップシーケンスの間、ハイパワー(またはそれに近い)状態である。赤外線または近赤外線(IR、NIR)センサーなど、必要ないときにオンにされたままだと大きな電力を消費するが、完全に機能するために十分なレベルまで電力を増やすのにかなりの時間を必要とする構成要素の場合、ウォームアップシーケンスが実行される中間電力状態によって、大きな電力を節約できる、またはユーザエクスペリエンスにダメージを与える顕著な待ち時間を減らすことができる。
【0117】
図1の認証システム114のフェイスアンロックセンサー212、ディスプレイ116のタッチスクリーン、レーダーシステム104、およびプロセッサ608(たとえば、ハイパワープロセッサ608-2)など、例示的な認証システムの電力消費部品について上述した。認証のための顔認識システムの電力消費部品の多く候補についての詳細は、
図2およびその説明を参照されたい。
【0118】
1008では、認証システムが、認証プロセスを行う。そのようにすることで、認証システム114は、第2電力状態またはより高い第3の電力状態など、変更後の電力状態にある電力消費部品を使用する。認証プロセスは、ユーザを認証すること、またはユーザが認証されていないと判断することに効果的であり、UE102へのアクセスを許可すべきではないと示す。述べたように、顔認識、指紋の読み出し、パスワード、または、タッチもしくはオーディオインターフェース(たとえば、ディスプレイ116のタッチスクリーンデータ入力コンポーネント)を通したその他の認証情報の入力などによって認証プロセスを行ってもよい。認証プロセスは、ユーザの識別する特徴または認証情報を、安全なストレージに格納された比較対象である特徴または認証情報と比較して、ユーザの身元が本物であると判断し、このように、UE102へのアクセスを許可する。これは、ディスプレイのタッチスクリーンを通して入力された6桁のパスワードを比較することくらい単純であってもよく、または、電力消費部品から受信したセンサーデータに基づいて顔の特徴を判断し、判断した顔の特徴をライブラリにある顔の特徴と比較するなど、より多くの演算およびシステム複雑性を必要としてもよい。必須ではないが、当該顔の特徴のライブラリは、UE102のローカルに格納されて、顔の特徴を初期化する間に、認証システム114とともにUE102によって作成されてもよい。さらには、UE102と一体化されたセキュリティ保護されたチップ上に埋め込む形態などで、当該ライブラリをセキュリティ上安全にUE102に格納してもよい。これは、ユーザ120のプライバシーを維持できる1つの方法である。
【0119】
本明細書の全体を通して、先ほど述べた動作1008における顔の特徴など、ユーザに関連する情報(たとえば、レーダーセンサーデータ、慣性センサーデータ、および顔認識センサーデータ)をコンピューティングシステム(たとえば、UE102、クライアントデバイス、サーバ装置、コンピュータ、またはその他の種類のコンピューティングシステム)が分析する例を説明している。しかしながら、コンピューティングシステムのユーザからデータを使用してもよいという明確な許可を受信した後にのみ情報を利用できるようコンピューティングシステムを構成してもよい。たとえば、UE102がユーザ120を認証するために顔の特徴のセンサーデータを分析する状況では、UE102のプログラムまたは機能がこのデータを収集して利用するかどうかを管理するための入力を行う機会が個々のユーザに与えられてもよい。センサーデータをどのプログラムが処理できるか、処理できないかについて、個々のユーザが常に管理できてもよい。これに加えて、収集された情報は、個人を特定できる情報が取り除かれるように、転送、格納、または利用される前に1つ以上の方法で前処理されてもよい。たとえば、UE102が(たとえば、別のデバイスで動作するモデルを訓練するために)センサーデータを別のデバイスと共有する前に、UE102は、データに埋め込まれているユーザを特定する情報またはデバイスを特定する情報のいずれも確実に取り除かれるようにこのセンサーデータを前処理してもよい。よって、ユーザまたはユーザのデバイスについての情報を収集するかどうか、ならびにコンピューティングデバイスおよび/またはリモートコンピューティングシステムがこのような情報を(収集された場合)どのように利用してもよいかをユーザが管理できてもよい。
【0120】
方法1000に戻ると、1010において、これに代えて、またはこれに加えて、ユーザ機器が移動されたまたは移動中であると判断したことに応答して、ディスプレイの電力状態を変更する。この変更は、ディスプレイのタッチ入力を受信する機能を可能にするのに十分な程度に電力を増やすことであってもよく、または、単にディスプレイの見た目を変更することであってもよい。一例として、ユーザがUE102に触れたとき、UE102がユーザの意図を意識しており、そのため、(推定してみるに)ユーザ120に使用されることに備えていることがユーザに分かるように、ディスプレイ116に光度を足すことなどが挙げられる。同様に、UE102は、1002において意図があると判断されたことに応答してそのようにしてもよい。
【0121】
場合によっては、認証プロセスは、成功することなく特定の期間または特定のイテレーション回数(たとえば、予め設定された特定の回数もしくは期間)実行される。このような場合、1012に示すように、方法1000は、認証プロセスを再実行することによって継続してもよく、または1004での動きがあるとの判断に応答してこの処理を継続してもよい。当該別の方法は、
図10において破線矢印で示されている。
【0122】
1014では、1008におけるユーザの認証プロセス(または、1012における再実行)が成功したことに応答して、ユーザを認証し、UE102のアクセス状態を変更する。この変更によって、UE102のアクセスが低アクセス状態、アクセス状態無し、または中間アクセス状態から高アクセス状態に上げられてもよく、このような場合、UE102は、「アンロック状態」になる。しかしながら、高アクセス状態(たとえば、
図5の高アクセス状態502-1)は、必須ではない。特定のレベルの認証では、続く認証のために、アクセス、電力、または情報が確保されてもよい。例として、すべてではないが一部のアプリケーションおよび/またはUE102のアカウント(たとえば、音楽を購入するためのアカウント、銀行口座など)を利用できるようにユーザを認証すること、確保されたアクセスアカウントおよびアプリケーションについてはさらなる認証を要求することなどが挙げられる。たとえば、高アクセス状態502-1に加えて、状態マネージャ112は、UE102を高情報状態506-1にしてもよい。当該情報状態に対する変更として、最後に使用したアプリケーションもしくはウェブページ(ウェブページ上の10ページの記事の4ページ目など、最後に使用した箇所を含む)、または、ユーザ120が最後にUE102を使用したもしくはUE102で認証された箇所を再生する楽曲や映像の途中を提示することなどが挙げられる。状態マネージャ112は、ユーザ120の認証に応答して、これらの状態を素早くシームレスに変更できる。
【0123】
一例として、方法1000のアプリケーションを
図11に示すシナリオ1100に適用する一実施態様を考える。シナリオ1100は、5つの部分を含み、各部は、時系列で前の部分に続く。シナリオ部分1100-1で図示されているシナリオ1100の第1部分では、ユーザ1102は、スマートフォン1104を見たり、触れたり、使用したりしていない。ここで、スマートフォン1104は、低アクセス状態502-3、低電力状態504-3、および低情報状態506-3である(たとえば、スマートフォン1104は電源がオフになっているように見えるが、使用するという意図があると判断するには十分の電力を有している)と想定する。シナリオ部分1100-1は、
図10の1002における方法の動作よりも前の状況であると想定する。1100-2に第2部分が図示されている。この間、ユーザ1102は、スマートフォン1104の方に向いてスマートフォン1104を見ているが、スマートフォン1104には触れていない。この時点で、本技術は、動作1002において、レーダーデータに基づいて、ユーザ1102にスマートフォン1104を使用するという意図があると判断する。判断された使用するという意図は、手を伸ばすという動きがないが、代わりに、ユーザ1102がスマートフォン1104の方を向いて体をスマートフォン1104に向けていることに基づいて行われる。本技術は、この判断を、動作1002においてレーダーマネージャ106を通して行う。レーダーマネージャ106は、この判断を、状態マネージャ112に渡す。これに続いて、状態マネージャ112は、動作1006において、認証システム114の電力消費部品(フェイスアンロックセンサー212)の電力状態を変更する。なお、これは、ユーザがスマートフォン1104に手を伸ばしたり、スマートフォン1104を手に取ったりする前に処理され、認証システム114がユーザを認証できる状態になるまでにかかる待ち時間を減らすことができる。
【0124】
また、次の0.5秒の間に、電力消費部品の起動中、ユーザ1102がスマートフォン1104に近づくように移動してスマートフォン1104に向けて手を伸ばすと想定する(手を伸ばす動作は、手1106を用いて図示されている)。これは、第3部分1100-3に図示されている。この時点で認証システム114は認証プロセス(動作1008)を実行するが、特定のイテレーション回数および/または期間、認証プロセスが成功しなかったと想定する。本技術は、ユーザ1102を認証する試みを止めることによって節電してもよい。しかしながら、ここでは、部分1100-4に図示するように、ユーザ1102は、スマートフォン1104に触れる。これは、動作1004において、
図1のIMU108が検知した慣性データを通して、スマートフォン1104に動きがあると判断される。動きがあるというこの判断は、状態マネージャ112に渡される。動きに基づいて、状態マネージャ112は、方法1000の動作1012に示すように、認証システム114にユーザ1102を認証する試みを継続させる。さらには、動作1010において、動きにも基づいて、状態マネージャ112は、スマートフォン1104のディスプレイ1108を明るくする。明るくすることまたはディスプレイ1108の電力レベルを上げることは、シナリオ部分1100-2、1100-3、または11004において行われてもよいが、ここでは、ユーザ1102がスマートフォン1104に触れたと判断したことに応答して(1110の時間および通知情報とともに)表示されると図示されている。こうすることによって、ユーザ1102に使用するという意図があることをスマートフォン1104が意識しているというフィードバックが、ユーザ1102に与えられる。
【0125】
述べたように、状態マネージャ112は、認証システム114に認証プロセスを継続させ、試みを継続することによって、ユーザ1102を認証する。これは、部分1100-5に図示されており、スマートフォン1104は、アンロックアイコン1112を提示しているディスプレイ1108で図示されている高アクセス状態502-1で、異なる高アクセス状態501-1、高電力状態504-1、および高情報状態506-1になる。状態マネージャ112によってこれらの状態レベルを自動的に上げて、ユーザ1102がシームレスなユーザエクスペリエンスを体験できるようにしてもよい。
【0126】
この例示的なシナリオ1100では、IMU108が提供する慣性データによって、状態マネージャ112は、強い自信を持って(その結果、電力を追加する必要があると思って)、ユーザ1102にスマートフォン1104を使用するという意図があるので認証されたがっていると確信できるようになる。これは、ユーザを速やかに、容易に、かつ消費電力を抑えて認証するためにIMUからの慣性データおよびレーダーシステムからのレーダーデータがどのように利用されるかを示すシナリオの一例に過ぎない。
【0127】
高レベル状態を下げる
図12は、IMUおよびレーダーによって高レベル状態を下げるための例示的な方法1200を示す図である。方法1200は、実行される動作を詳細に記したブロックのセットとして示されているが、それぞれのブロックによって動作を実行するための図示した組合せの順に必ずしも限定されない。さらに、動作のうちの1つ以上のいずれかを繰り返したり、組み合わせたり、再編成したり、または関連付けたりして、本明細書に記載のその他の方法(たとえば、方法1000および1400)を含む、様々な追加の方法および/または別の方法を提供してもよい。以下の説明の一部では、
図1の動作環境例100、もしくはその他の図面で詳細を説明したエンティティまたは処理を参照してもよいが、この参照は例示に過ぎない。本技術は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる動作に限定されない。
【0128】
オプションとして、1202において、および動作1204または1206の前に、休止期間が満了したと判断する。一定の期間が満了することだけを頼りにするその他の従来の技術とは対照的に、方法1200は、ユーザ機器の高レベル状態を下げるために休止期間を利用してもよく、利用するのを控えてもよい。この休止タイマーは、必須ではないが、タイマーを利用することで(たとえ短いタイマーであっても)、場合によっては節電できる。具体的には、休止タイマーは、最後のタッチスクリーンもしくはボタンへの入力、最後の音声コマンド、または最後のジェスチャ入力がユーザ機器によって受け付けられたときなど、ユーザ機器を用いた最後のユーザアクションが受信されると開始する。なお、タイマーを使うだけの従来の技術もあるが、従来のタイマーは、数分間にわたって続く場合が多いので(たとえば、1分、3分、5分、または10分)、方法1200は、0.5秒、1秒、3秒、5秒、10秒、または20秒など、比較的短い期間を使用し得る。こうすることによって、ユーザ機器が情報を公開していて不正なアクセスを利用可能にしてしまっているなどの可能性が非常に小さくなる一方で、短い非アクティブ期間を使用することは、非アクティブ期間の間に1204および/または1206の動作を実行することを控えることによって、節電するように作用し得る。
【0129】
1204では、ユーザがユーザ機器とやり取りしているまたは最近やり取りしていた、ユーザ機器が高レベル状態である間に、動きがあると判断する。動きマネージャ110は、UE102と一体化されたIMU108から受信する慣性データに基づいて、動きがあると判断する。破線矢印で図示されているように、この動作は、オプションとして、動作1206および/または1202(図示せず)に応答した動作であってもよい。判断された動きは、ユーザ120がUE102を手に取っていることを示す動き、UE102を持って歩いていることを示す動き、UE102を置いていることを示す動き、UE102をポケットもしくは入れ物に入れていることを示す動き、または、単にUE102の近くに触れているもしくはUE102に触れていることを示す動きなど、上述した様々な動きのうちの1つ以上であってもよい。場合によっては、動きマネージャ110は、動きがUE102の状態を変更するのに十分であるまたは十分でないと判断して、状態マネージャ112に渡す。例として、しきい値動きを超えない動き、環境振動によって引き起こされた動き、および動いている間に現行の動きに対して十分な変化を与えない動きなど、上記した動きが挙げられる。よって、動きマネージャ110は、ユーザ120がUE102を持って歩いているのでUE102が動いていると判断し得るが、この動きは、ユーザ120がUE102の使用をやめる可能性があることを示すのに十分な変化ではないと判断され得る。動きは、単にUE102が現在の動いていることに基づくのではなく、変化に基づき得る、という別の見方もある。変化の例として、ユーザがUE102を持ちながら歩いた後にテーブルの上に置くなど、動いた後に動かなくなることなどが挙げられる。IMU108からの慣性データでは、ユーザ120がUE102をテーブルの上に置くことを捕らえられないかもしれないが、動きがある(ユーザ120がUE102を持って歩いていること)直前に慣性データが動きをほとんどまたはまったく示さないという判断は、当該直前の動きに基づいて、動きがあると動作1204において判断され得る。
【0130】
具体的には、本技術は、ユーザによる使用に合わせてユーザ機器の状態を調整できる。よって、場合によっては、ユーザがユーザ機器をとても使用していることを理由に、ユーザ機器は、1つの(または複数の)高レベル状態になる。たとえば、方法1200は、動作1204または1206の前に、ユーザがユーザ機器を使用していると判断し得る。ユーザが使用しているという判断は、ユーザに使用するという意図があることを示す、以前のレーダーデータに基づいてもよく、ユーザからの音声入力またはタッチ入力に基づいてもよく、オーディオセンサもしくはタッチセンサーを通してユーザから受信したコマンドまたは入力、認証プロセスが成功したことなどに基づいてもよい。
【0131】
1206では、ユーザ機器が、レーダーデータに基づいて、使用をやめるという意図があると判断する。レーダーマネージャ106は、レーダーシステム104からレーダーデータを受信し、このレーダーデータを使用して、ユーザにUE102の使用をやめるという意図があるかどうかを判断する。ユーザ120の手をUE102から引っ込めること、UE102に対して顔の向きを変えること、ユーザ120がUE102とは別の方向に向くまたはUE102に背を向けるなど、上述した様々な種類の使用をやめるという意図がある。
【0132】
破線矢印で図示されているように、動作1206は、オプションで、動作1204(および/または図示しない1202)に応答した動作であってもよい。これらの場合、状態マネージャ112またはレーダーマネージャ106は、動きがあると判断されるまで、ユーザ120に使用をやめるという意図があると判断することを控えることによって電力を節約するように作用し、1204における動きがあるとの判断の場合は、動きがないと判断されるまで、ユーザ120に使用するという意図があると判断することを控えることによって電力を節約するように作用する。こうすることによって、電力を節約できる。よって、電源管理モジュール620は、1204において動きがあると判断されるまでレーダーシステム104の電力を抑えたままにするための技術を対象としてもよい。動きがある判断されると、使用をやめるという意図があることを示すようにユーザ120が振る舞っているかどうかを判断することに備えて、状態マネージャ112は、電源管理モジュール620にレーダーシステム104への電力を増やさせる。
【0133】
1208では、動きがあるとの判断および/または使用をやめるという意図があるとの判断に応答して、高レベル状態のユーザ機器を中間レベル状態または低レベル状態に下げる。具体的には、例示的な高レベル状態1208-1を参照されたい。高レベル状態1208-1は、
図5に示すようなアクセス、電力、または情報(高アクセス状態502-1、高電力504-1、もしくは高情報状態506-1)など、アクセス、電力、または情報に関連する1つもしくは複数の状態であってもよい。動きがあるとの判断または使用をやめるという意図があるとの判断に応答して、状態マネージャ112は、UE102の状態のうち1つ以上を下げると判断する。これは、高レベル1208-1から中間レベル1208-2または低レベル1208-3に下げることを示す矢印で
図12に示されている。しかしながら、これらは、様々な粒度の電力、アクセス、および情報のうち、2つの粒度に過ぎない。
図5に示したように、中間レベル1208-2および低レベル1208-3とは、上述した中間アクセス状態502-2と、中間電力状態504-2と、中間情報状態506-2とを含む。低レベル1208-3は、3つの低状態である低アクセス状態502-3と、低電力状態504-3と、低情報状態506-3(詳細については上述されている)とを用いて図示されている。なお、これらの状態のうち1つの状態、2つの状態、または3つの状態すべてが、動作1208において状態マネージャ112によって同じレベルまたはそれぞれ異なるレベルに下げられてもよい。よって、状態マネージャ112は、高アクセス状態502-1を中間状態または低状態に下げて、電力状態および情報状態を高状態または様々な状態に維持してもよい。同様に、状態マネージャ112は、UE102を高アクセス状態502-1(たとえば、「アンロック状態」)に維持したまま、電力状態504を低電力状態504-3に下げてもよい。
【0134】
一例として、
図13に示すシナリオ1300に方法1200を適用した場合を考える。シナリオ1300は、3つの部分を含み、各部は、時系列で前の部分に続く。シナリオ1300の第1部分の前に、ユーザ1302がスマートフォン1304を能動的に使用しており、スマートフォン1304が高レベルの状態、すなわち、高レベルの電力状態、高レベルのアクセス状態、および高レベルの情報状態であると想定する。シナリオ部分1300-1に図示されている第1部分では、ユーザ1302がテーブルまで歩いてスマートフォン1304をテーブルの上に置く。動作1204では、IMU108は、スマートフォン1304がテーブルに触れたことを理由に、慣性データを受信する、または、テーブルの上に置かれる前に(ユーザ1302がスマートフォン1304を持って歩いていることに基づいて)動きがあると慣性データが示した場合、慣性データがないという慣性データを受信する。これらの慣性データのうちいずれかまたはその両方に基づいて、動きマネージャ110は、スマートフォン1304に関して動きがあると判断し、この判断をレーダーマネージャ106および/または状態マネージャ112に渡す。
【0135】
動きデータに直ぐに応答して、レーダーマネージャ106がレーダーフィールド118(視覚的に分かり易くするために、図示せず。たとえば、
図1を参照されたい)を提供するか、すでにレーダーフィールド118を提供したかのいずれかであるため、ユーザ1302の体の位置を示すレーダーデータなどを受信すると想定する。レーダーデータに基づいて、レーダーマネージャ106は、第1イテレーション(複数のその他のイテレーションがある可能性が高い)で、動作1206において、体の位置、腕の位置、および手の位置を理由に、シナリオ部分1300-1ではユーザ1302に使用をやめるという意図がないと判断する。これは、ユーザ1302の体の向きがスマートフォン1304を向いており、ユーザの手または腕がスマートフォン1304の方向に向いているからである。このため、高情報状態1306-1は、変更されない。
【0136】
しかしながら、シナリオ部分1300-2では、おおよそ2秒後に、ユーザ1302が体をスマートフォン1304とは別の方向に向けたまま、コーヒーカップを手に取って立ち去り始めたと想定する。この時点で、ユーザ1302の体の一部の向きがスマートフォン1304とは別の方向に向いていること、および、ユーザ1302の腕および手がスマートフォン1304ではなくコーヒーカップの方向に向いていることに基づいて、レーダーマネージャ106は、ユーザ1302にスマートフォン1304の使用をやめるという意図があると判断する。レーダーマネージャ106は、この判断を状態マネージャ112に渡す。
【0137】
動作1208では、動きがあるとの判断および使用をやめるという意図があるとの判断を受けたことに応答して、状態マネージャ112は、スマートフォン1304の情報状態を、シナリオ部分1300-1に図示されている高情報状態1306-1から中間情報状態1306-2に下げる。これらの例示的な情報状態は、シナリオ部分1300-1で示されている情報とともに表示され、2つのテキストメッセージの内容および時刻が表示される。ユーザ1302が体をコーヒーカップの方に向けて手に取った直後、情報状態は、中間情報状態1306-2に下がり、テキストメッセージについての少なくなった情報(送信者の名前は表示しているが、内容は表示していない)および時刻が表示される。中間の量の情報は、使用することについての考えを変える情報であったり、スマートフォン1304を再び見て別の人からのテキストメッセージなど新しい通知が届いたかどうかを確認したくなるような情報であったりするので、ユーザ1302にとって有用である。
【0138】
中間情報状態1306-2を表示することに加えて、または中間情報状態1306-2を表示する代わりに、動作1208の一部として、状態マネージャ112は、最初に中間状態になった後または直後に低レベルに移行してもよい。ここで、現在時刻のみを提示しているシナリオ部分1300-3として図示するように、ユーザ1302に使用をやめるという意図があることを示すレーダーマネージャ106によるさらなる判断、またはそれについて高い信頼度があること(たとえば、ここでは、ユーザ1302が現在スマートフォン1304から数メートル離れており、完全に背中をスマートフォン1304に向けていることを理由に、高い信頼度があると示される)に応答して、状態マネージャ112が情報状態を低情報状態1306-3にさらに下げると想定する。
【0139】
この例では、情報状態に対する変更を示しているが、アクセス状態および電力状態も変更され得、情報状態の代わりにアクセス状態および電力状態が変更され得る。この一部については、シナリオ部分1300-1において図示されているアンロックアイコン1310で図示されており、高レベルのアクセス(たとえば、
図5の高レベルのアクセス502-1)を示している。シナリオ部分1300-2では、状態マネージャ112が動きデータおよび使用をやめるという意図があることを受けた後、状態マネージャ112は、アクセスを低レベルに下げる。これは、ロックアイコン1312でユーザに示される。さらには、シナリオ部分1300-2および/または1300-3においてスマートフォン1304のディスプレイ(図示せず)の光度を下げるなどすることによって、電力状態を変更してもよい。
【0140】
認証状態の維持
図14は、認証状態を維持するための例示的な方法1400を示す図である。方法1400は、実行される動作を詳細に記したブロックのセットとして示されているが、それぞれのブロックによって動作を実行するための図示した組合せの順に必ずしも限定されない。さらに、動作のうちの1つ以上のいずれかを繰り返したり、組み合わせたり、再編成したり、または関連付けたりして、本明細書で説明したその他の方法(たとえば、方法1000および1200)を含む、様々な追加の方法および/または別の方法を提供してもよい。以下の説明部分において、
図1の動作環境例100、もしくはその他の図面で詳細を説明したエンティティまたは処理を参照してもよいが、この参照は例示に過ぎない。本技術は、1つのデバイス上で動作する1つの要素または複数の要素による動作に限定されない。
【0141】
方法1400について説明する前に、上述したいずれの方法も、すべてまたは一部を方法1400と組み合わせてもよいことを留意されたい。たとえば、
図10の方法1000の実行を考える。方法1000は、ユーザ機器のユーザを認証する認証管理の一例について記述している。この認証に応答して、ユーザ機器は、認証状態になる。この状態の詳細については、上述されている。よって、方法1000(または、他のユーザ認証方法)は、方法1400の前に実行される。
【0142】
1402では、ユーザ機器が認証状態である間、ユーザがユーザ機器の使用をやめる可能性があると判断する。ユーザが使用をやめる可能性があるとの判断は、上記したような、ユーザに使用をやめるという意図があるとの判断、および後述するその他の判断を含んでもよい。また、上記したように、認証状態では、ユーザによる、ユーザ機器のデータ、アプリケーション、機能、アカウント、または構成要素のうち1つ以上のアクセスが許可される。認証状態の例として、上記
図5において記した高アクセス状態502-1および中間アクセス状態502-2などが挙げられる。これらのアクセス状態のいずれも、UE102によって認証状態のときに許可されてもよいが(ユーザ設定またはオペレーティングシステムのデフォルト設定に基づく場合が多い)、認証状態は、ユーザの前の認証を想定する。しかしながら、ユーザが選択した基本設定または設定で、UE102の高アクセスまたは中間アクセスを認証なしで許可してもよい。よって、認証状態は、上記した高アクセス状態および中間アクセス状態によって許可されるアクセスを含むが、高アクセスおよび中間アクセスは、必ずしも認証状態でなくてもよい。
【0143】
図14に示すように、使用をやめる可能性があるとの判断は、オプションとして、動作1404または動作1406に応答して(もしくは実行することによって)行われてもよく、方法1200の動作1206において使用をやめるという意図があると判断することによってなど、本明細書に記載したその他の方法で行われてもよい。1404では、休止期間が満了したと判断する。上記したように、最後のユーザアクションが受信されたとき、能動的なユーザ機器の使用が終わった時(もしくは最後に受信したとき)、または、使用するという意図があると最後に判断された時にこの休止期間が開始してもよい。たとえば、ユーザが最後にタッチセンサー式ディスプレイもしくはボタンに触れた時、最後に受信した音声コマンドが発話された時、または、最後に判断されたタッチとは無関係のジェスチャ(たとえば、上記した、レーダーシステム104を用いて判断されたジェスチャ)が実行された時に休止タイマー(たとえば、期間)が開始する。
【0144】
1406では、ユーザ機器と一体化されたIMU(慣性計測装置)の慣性データに基づいて、ユーザ機器に動きがあると判断する。
図1のIMU108から受信した慣性データなど、動きデータおよび慣性データの例については上述されている。よって、動きがあるとの判断は、ユーザがUE102をロッカー、バッグ、またはポケットに入れる(しかしながら、後述するが、バッグまたはポケットに入れることは、その後、受動的な使用であると判断され得る)ことなどによって使用をやめつつある可能性があると方法が判断する1つの方法である。
【0145】
1408では、レーダーデータに基づいて、ユーザが受動的にユーザ機器を使用していると判断する。受動的な使用の判断は、1402における使用をやめる可能性(破線矢印で図示されている)があるとの判断に応答してもよく、または、当該判断とは独立した判断もしくは一致する判断であってもよい。使用をやめる可能性があるとの判断に応答して動作1408を実行することで、場合によっては、節電できたり、待ち時間を減らすことができたりする。たとえば、方法1400は、使用をやめる可能性があるとの判断に応答して、レーダーシステム104の構成要素への電力を増やしてもよい(
図6-1および
図6-2を参照)。これにより、上記したように、電力を節約できたり、ユーザが受動的にレーダーシステム104を使用しているかどうかを判断することにレーダーシステム104が備えるためのさらなる時間を与えたりできるようになる。
【0146】
図1を背景とした場合、レーダーマネージャ106は、ユーザ120が受動的にUE102を使用していると判断する。受動的な使用は、レーダーマネージャ106によって複数の方法で判断できる。これらの方法は、互いに混在していなくてもよく、重複していてもよい。たとえば、ユーザ120の手が、ユーザ機器102のディスプレイ116が特定の状態に維持される向きでユーザ機器102を把持していることを示すレーダーデータに基づいて、レーダーマネージャ106は、ユーザが受動的に使用していると判断してもよい。よって、ユーザ120がUE102をしっかりと(または、内容を見られる程度にしっかりと、もしくは別の人が内容を見られる程度にしっかりと)把持している場合、ユーザ120は、受動的に使用していることになる。ユーザ120がUE102を見ている、または体をUE102の方に向けているなど、受動的な使用であると判断するその他の例については上述されている。
【0147】
さらには、レーダーマネージャ106は、UE102の2メートル以内にいるなど、ユーザ120が存在していることを示すレーダーデータに基づいて、受動的な使用であると判断してもよい。1.5メートル、1メートル、さらには0.5メートルなど、その他の距離も用いられてもよい、または代わりに用いられてもよい。事実上、レーダーマネージャ106は、UE102がほぼ手に届く範囲内にユーザ120がいることでユーザ120が受動的に使用していると判断してもよい。レーダーマネージャ106は、ユーザ120が受動的に使用していると明示的に示すことによって、または、単にUE102からの距離を示す情報を状態マネージャ112に渡すことによって、ユーザ120が受動的に使用していると判断してもよい。その後、ユーザ120が近いこと、場合によっては、他の人がいる(または他の人がいない)こと、ユーザ120が車両(車、バス、電車)内にいるかどうか、デスクにいるかどうかなどの状況に基づいて、状態マネージャ112は、受動的に使用していると判断する。たとえば、家で座っているユーザが許可される距離は、満員のコーヒーショップまたは電車で座っているユーザが許可される距離よりも大きくてもよい。
【0148】
1410では、ユーザが受動的にユーザ機器を使用しているとの判断に応答して、認証状態を維持する。使用をやめる可能性との別の判断がなされるまで、または特定の期間、認証状態の維持が継続されてもよい。その後、方法1400が再び実行されてもよい。認証状態の一例は、
図5の高アクセス状態502-1である。多くの状況では、認証状態は、UE102のアンロック状態であるが、その他の場合では、認証状態では、上述した中間アクセス状態502-2など、UE102のすべてではないが一部のアクセスが許可される。
【0149】
UE102の認証状態の維持では、その他の状態が維持されている必要はない。たとえば、ユーザ120がUE102から2メートル内にいるが、UE102の方向を見たりUE102の方向に向いている、または、UE102の方向を見ていなかったりUE102の方向に向いていない場合、状態マネージャ112は、高電力状態504-1および高情報状態506-1から
図5に示す中間電力状態もしくは低電力状態、または中間情報状態もしくは低情報状態に下げるなど、UE102の情報状態または電力状態を下げてもよい。しかしながら、ユーザがUE102を見ていることが受動的な使用に含まれている場合、ディスプレイ116を通してユーザ120に内容を提示し続けるために、電力状態または情報状態も維持されてもよい。
【0150】
オプションとして、方法1400は、動作1412に進んでもよい。動作1412では、レーダーデータに基づいて、非ユーザが存在しているまたは非ユーザに使用するという意図があると判断する。レーダーデータは、同じであってもよく、受動的な使用であるとの判断のベースとなったレーダーデータの何秒か後または何分か後にレーダーシステム104から受信したレーダーデータなど、後に受信するレーダーデータであってもよい。よって、1412では、レーダーマネージャ106は、非ユーザが存在している、または非ユーザにUE102を使用するという意図があると判断する。そのため、非ユーザがUE102を手に取るために手を伸ばす、または、UE102のディスプレイ116を見た場合、レーダーマネージャ106は、この存在または意図があると判断して、状態マネージャ112に渡してもよい。
【0151】
1414では、非ユーザが存在するまたは非ユーザにユーザ機器を使用するという意図があるとの判断に応答して、認証状態の維持をやめる。よって、非ユーザがUE102のディスプレイ116の方向に歩いて行く、UE102のディスプレイ116に手を伸ばす、または、UE102のディスプレイ116を見た場合、状態マネージャ112は、UE102の認証状態を維持することを止める(または、積極的に認証を解除する)。この中止に伴って、状態マネージャ112は、非ユーザに提示される情報を減らすまたはなくすのに有効な情報状態など、その他の状態も下げてもよい。たとえば、認証済みのユーザが地下鉄の電車で個人的な電子メールを読んでいると想定する。ユーザの後部に座っている人が、おそらく個人的な電子メールを読むために、ディスプレイを見た場合、状態マネージャ112は、UE102をロックして、個人的な電子メールの表示を止めてもよい。これは、素早くシームレスに行われてもよく、ユーザのプライバシーがさらに向上する。
【0152】
1416では、オプションで、認証状態の維持を終了した後、非ユーザがいなくなったまたは非ユーザに使用するという意図がなくなったと判断したことに応答して、方法を認証状態に戻してもよい。上記実施例で引き続き説明すると、地下鉄の電車にいる非ユーザがUE102のディスプレイ116から目を逸らした場合、状態マネージャ112は、認証プロセスによって、または単に認証に再認証しないで切り替わることによって、ユーザ120を再認証してもよい。よって、ユーザ120は、認証を解除させてしまう状況がなくなると直ちに以前の状態に簡単に戻ることができる。本明細書に記載のシステムおよびプロセスなど、いくつかの認証プロセスは高速かつ電力効率に優れているが、認証プロセスを実行しない方が高速かつ電力効率が優れていてもよい。認証状態に戻る際、状態マネージャ112は、情報状態を以前のレベルに戻して、コンテンツをユーザ120に最後に提示したコンテンツと一致させてもよい。この例では、非ユーザが目を逸らした場合、ディスプレイ116は、UE102がユーザ120に最後に提示した場所と同じ場所に個人的な電子メールを提示する。こうすることによって、認証のシームレスな管理および向上した情報プライバシーをユーザに提供できる。なお、認証を解除するというユーザ選択など、ユーザ120による選択が本技術の動作よりも優先されてもよい。場合によっては、ユーザ120は、単にUE102の電源をオフにする(これは、本明細書に記載の方法で認められている)。
【0153】
シナリオ1500を通じて
図15に示す別の実施例を考える。シナリオ1500は、4つの部分を含む。第1部分1500-1では、認証情報または顔の特徴の分析などによってユーザ1502がスマートフォン1504に対して認証済みであるため、スマートフォン1504が認証状態1506であると想定する。認証状態1506によって、ユーザ1502は、スマートフォン1504にアクセスできる。これは、ユーザ1502が火山噴火についてのテレビ番組を視聴することによってスマートフォン1504のコンテンツにアクセスしていることによって図示されている。
【0154】
シナリオ1500は、2つのパスに分岐すると図示されている。1つ目のパスでは、ユーザ120がスマートフォン1504に触れることまたはスマートフォン1504に入力することをやめた時に休止タイマーが開始する。ここでは、リラックスしてテレビ番組を視聴している時である。別の場合、休止タイマーは開始しても開始しなくてもよいが、満了しなくても、使用をやめる可能性があると判断されることになる。よって、シナリオ部分1500-2では、3分間の休止の後、休止タイマーが満了する。
図14に戻ると、動作1404において休止期間が満了したので、動作1402は、ユーザが使用をやめる可能性が生じたと判断する。シナリオ部分1500-3に図示されている2つ目のパスの場合、動作1402は、動作1406を実行することによりスマートフォン1504に動きが生じたと慣性データに基づいて判断することによって、ユーザが使用をやめる可能性が生じたと判断する。この動きは、スマートフォン1504が置かれているテーブルの縁にユーザ1502が足をかけることによって引き起こされた動きである。
【0155】
使用をやめる可能性があるというこれらの判断のうちいずれかに応答して、レーダーマネージャ106は、レーダーデータに基づいて、ユーザ1502が受動的にスマートフォン1504を使用していると判断する。この動作は、1408で実行される。ここで、ユーザ1502が存在している、またはユーザ1502がスマートフォン1504を見ていると判断されたと想定する(いずれも、ユーザ1502が受動的に使用していることを示している)。
【0156】
これに応答して、動作1410では、状態マネージャ112は、認証状態を維持する。このすべては、ユーザ1502に気づかれることなくシームレスに行うことができる。シナリオ部分1500-4に図示するように、スマートフォン1504は、いずれのパスであっても、単純にテレビ番組を提示し続ける。
【0157】
図16の別のシナリオ1600を考える。シナリオ1600、は、シナリオ1500に続くシナリオであってもよく、シナリオ1500の代わりとなるシナリオであってもよく、独立したシナリオであってもよい。シナリオ1600は、シナリオの3つの部分を含み、第1シナリオ部分1600-1では、
図15に示されているのと同様に、ユーザ1502は、火山についてのテレビ番組を視聴しており、ここでは、スマートフォン1504のコンテンツ1602で記されている。スマートフォン1504は、プログラムが提示されている間、
図15において述べた認証状態1506など、認証状態である。
【0158】
しかしながら、シナリオ部分1600-2では、ユーザ1502とともに非ユーザ1604がソファに座っている。非ユーザ1604は、ユーザ1502の同僚であるので、ユーザ1502は、非ユーザ1604の方に頭を向けて話し始める。上記したように、頭を向けるもしくは話しかけることのいずれかまたはその両方のユーザ1502のアクションは、使用をやめる可能性があると考えられてもよい。ユーザ1502が使用をやめる可能性があると考えた場合、
図5および
図12(たとえば、方法1200の動作1206および1208)で記したように、状態マネージャ112は、アクセス状態または情報状態を下げるなどのためにスマートフォン1504の状態を下げる。
【0159】
しかしながら、レーダーマネージャ106が、方法1400の動作1412によって、レーダーデータに基づいて、非ユーザ1604が存在すると判断すると想定する。状態マネージャ112が(たとえば、
図15に示す動作1410によって)スマートフォン1504の認証状態を維持するように作用した後、状態マネージャ112は、非ユーザ1604の存在に基づいて、認証状態1506を維持することを止める。よって、シナリオ部分1600-2の拡大図に示されているように、状態マネージャ112は、スマートフォン1504を非認証状態1604に下げることができる。この変化は、ロックアイコン1606を通して、およびコンテンツ1602の提示を止めることによってユーザ1502に示される。
【0160】
シナリオ部分1600-3では、非ユーザ1604が立ち去り、ユーザ1502が再びスマートフォン1504を見ている。レーダーマネージャ106は、非ユーザ1604がもう存在しないと判断し、この判断を状態マネージャ112に示す。その後、状態マネージャ112は、スマートフォン1504を認証状態1506に戻す。なお、状態マネージャ112は、ユーザ1502にスマートフォン1504を使用する意図があるとの判断も要求してもよいし、単純に、スマートフォン1504がある場所から非ユーザ1604が去ったことに基づいて認証状態に戻してもよい。なお、本明細書に記載の本技術では、ユーザを以前離れた場所にシームレスに戻すことができるので、優れたユーザエクスペリエンスを提供できる。これは、状態マネージャ112が同じテレビ番組の、最後にユーザ1502に提示した場所と同じまたはほぼ同じ場所にスマートフォン1504を戻すとして
図16に示されている。いくつかの実施の形態の場合、本技術によって、ステップ1416において、非ユーザがもう存在しないとの判断または使用するという意図があるとの判断に応答してスマートフォン1504が認証状態に戻すか、対照的に、認証システムの電力消費部品を用いたより厳格な認証プロセス(たとえば、上記ステップ1006を参照)が実行されるまでスマートフォン1504が非認証状態に留まるかをユーザがセットアップ画面または同様のデバイス設定画面で決定できるようになる。言い換えると、本技術は、非ユーザの影響を受けると、たとえその影響がなくなった後でも、スマートフォン1504の認証を解除したままにするというユーザが選択した設定を、セットアップまたは同様のデバイス構成を通して提供できる。
【0161】
実施例
次のセクションでは、実施例を提供する。
【0162】
実施例1:方法であって、ユーザがユーザ機器とやり取りしているまたは最近までやり取りしていた状態である高レベル状態にユーザ機器がある間に、ユーザ機器に動きがあると判断するステップを含み、動きがあるとは、ユーザ機器が動かされているまたは動かされたことを示し、判断は、ユーザ機器と一体化された慣性計測装置を通じて受信した慣性データに基づき、方法は、さらに、レーダーデータに基づいて、ユーザ機器によって、使用をやめるという意図があると判断するステップを含み、使用をやめるという意図があることは、ユーザにユーザ機器の使用をやめるという意図があることを示し、方法は、さらに、動きがあるとの判断および使用をやめるという意図があるとの判断に応答して、高レベル状態のユーザ機器を、高レベル状態から中間レベル状態または低レベル状態に下げるステップ含み、高レベル状態は、高アクセス状態、高電力状態、または高情報状態であり、中間レベル状態は、中間アクセス状態、中間電力状態、または中間情報状態であり、低レベル状態は、低アクセス状態、低電力状態、または低情報状態である、方法。
【0163】
実施例2:高レベル状態は、高電力状態であり、高レベル状態を下げるステップは、高電力状態を中間電力状態または低電力状態に下げ、中間電力状態で使用される電力は、高電力状態で使用される電力よりも低く、低電力状態で使用される電力は、中間電力状態で使用される電力よりも低い、実施例1に記載の方法。
【0164】
実施例3:高電力状態を中間電力状態または低電力状態に下げるステップは、認証システムの電力消費部品の電力状態を下げ、中間電力状態または低電力状態は、ユーザ機器に対応付けられた認証システムがユーザを認証することを電力消費部品が可能にするには不十分な電力状態である、実施例2に記載の方法。
【0165】
実施例4:高レベル状態は、高アクセス状態であり、高レベル状態を下げるステップは、高アクセス状態を中間アクセス状態または低アクセス状態に下げ、中間アクセス状態は、ユーザ機器の機能、構成要素、またはアカウントに対して、高アクセス状態が許可するアクセスよりも少ないアクセスを許可し、低アクセス状態は、ユーザ機器の機能、構成要素、またはアカウントに対して、中間アクセス状態が許可するアクセスよりも少ないアクセスを許可する、実施例1に記載の方法。
【0166】
実施例5:高アクセス状態は、ユーザがユーザ機器によって認証されているアンロック状態であり、低レベル状態は、ユーザがユーザ機器によって認証されていないロック状態である、実施例4に記載の方法。
【0167】
実施例6:高レベル状態は、高情報状態であり、高レベル状態を下げるステップは、高情報状態を中間情報状態または低情報状態に下げ、中間情報状態は、ユーザ機器に対応付けられたディスプレイ上に、高情報状態で提示される情報よりも少ない情報を提示し、低情報状態は、ディスプレイ上に、中間情報状態で提示される情報よりも少ない情報を提示する、実施例1に記載の方法。
【0168】
実施例7:高情報状態は、ユーザに個人的に関連する情報を提示するように構成され、低情報状態は、ユーザに個人的に関連する情報を提示しないように構成される、実施例6に記載の方法。
【0169】
実施例8:低情報状態は、現在時刻、日付、現在の天候、またはバッテリー電力状況を提示するように構成される、実施例7に記載の方法。
【0170】
実施例9:方法は、動きがあると判断するステップの前に、ユーザ機器とユーザがやり取りしているまたは最近までやり取りしていたと判断するステップをさらに含み、ユーザがやり取りしているまたは最近までやり取りしていたと判断するステップは、ユーザに使用するという意図があることを示す、以前のレーダーデータ、マイクロフォンを通じてユーザから受信したコマンドもしくは入力を示す音声データ、または、タッチセンサー式ディスプレイもしくはその他のセンサーを通したユーザによる入力またはやり取りを示すタッチデータに基づく、先行する実施例のいずれか1つに記載の方法。
【0171】
実施例10:動きがあるとは、ユーザ機器の直前の動きを基準とした動きの変化である、先行する実施例のいずれか1つに記載の方法。
【0172】
実施例11:レーダーデータに基づいて使用をやめるという意図があると判断するステップは、ユーザ機器に動きがあるとの判断を動きマネージャから受信したことに応答したステップである、先行する実施例のいずれか1つに記載の方法。
【0173】
実施例12:高レベル状態は、高レベルアクセス状態、高レベル電力状態、または高レベル情報状態のうち2つ以上を含み、ユーザ機器の高レベル状態を下げるステップは、高レベル状態のうち2つ以上を、それぞれ中間レベル状態または低レベル状態に下げる、先行する実施例のいずれか1つに記載の方法。
【0174】
実施例13:方法は、慣性計測装置からの慣性データに基づいてユーザ機器に動きがあると判断するステップの前、およびレーダーシステムからのレーダーデータに基づいて使用をやめるという意図があると判断するステップの前に、休止期間が満了したと判断するステップをさらに含み、休止期間は、最後のタッチ入力、最後の音声入力、または最後のジェスチャ入力がユーザ機器によって受信された時に開始する、先行する実施例のいずれか1つに記載の方法。
【0175】
実施例14:ユーザがユーザ機器から離れるように腕または手を引っ込めている、ユーザ機器から目を逸らしている、ユーザの体をユーザ機器とは別の方向に向けている、または、ユーザ機器から立ち去っていると示すレーダーデータに基づいて、使用をやめるという意図があると判断される、先行する実施例のいずれか1つに記載の方法。
【0176】
実施例15:ユーザに別のオブジェクト、人、別のデバイス、または別のユーザ機器を使用するという意図があると示すレーダーデータに基づいて、使用をやめるという意図があると判断される、先行する実施例のいずれか1つに記載の方法。
【0177】
実施例16:実施例1~15のいずれか1項に記載の方法を実行するように構成される、装置。
【0178】
まとめ
IMUおよびレーダーに基づいて状態を下げることを可能にするための技術および装置の実施態様について、特徴および/または方法に特有の言葉で説明したが、当然ながら、請求の範囲の主題は、上述の具体的な特徴または方法によって必ずしも限定されるわけではない。むしろ、具体的な特徴および方法は、IMUおよびレーダーに基づいて状態を下げることを可能にする実施例として開示されている。
【手続補正書】
【提出日】2022-02-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、
ユーザがユーザ機器とやり取りしているまたは最近までやり取りしていた状態である高レベル状態に前記ユーザ機器がある間に、前記ユーザ機器に動きがあると判断するステップを含み、前記動きがあるとは、前記ユーザ機器が動かされているまたは動かされたことを示し、前記判断は、前記ユーザ機器と一体化された慣性計測装置を通じて受信した慣性データに基づき、前記方法は、さらに、
レーダーデータに基づいて、前記ユーザ機器によって、使用をやめるという意図があると判断するステップを含み、前記使用をやめるという意図があることは、前記ユーザに前記ユーザ機器の使用をやめるという意図があることを示し、前記方法は、さらに、
前記動きがあるとの前記判断および前記使用をやめるという意図があるとの前記判断に応答して、前記高レベル状態の前記ユーザ機器を、前記高レベル状態から中間レベル状態または低レベル状態に下げるステップ含み、前記高レベル状態は、高アクセス状態、高電力状態、または高情報状態であり、前記中間レベル状態は、中間アクセス状態、中間電力状態、または中間情報状態であり、前記低レベル状態は、低アクセス状態、低電力状態、または低情報状態である、方法。
【請求項2】
前記高レベル状態は、前記高電力状態であり、
前記高レベル状態を下げるステップは、
前記高電力状態を認証システムの電力消費部品の電力状態の前記中間電力状態または前記低電力状態に下げ、前記中間電力状態で使用される電力は、前記高電力状態で使用される電力よりも低く、前記低電力状態で使用される電力は、前記中間電力状態で使用される電力よりも
低く、前記中間電力状態または前記低電力状態は、前記ユーザ機器に対応付けられた認証システムが前記ユーザを認証することを前記電力消費部品が可能にするには不十分な電力状態である、請求項1に記載の方法。
【請求項3】
前記高レベル状態は、前記高アクセス状態であり、前記
高アクセス状態は、前記ユーザが前記ユーザ機器によって認証済みであるロック状態であり、
前記高レベル状態を下げるステップは、前記高アクセス状態を前記中間アクセス状態または前記低アクセス状態に下げ、前記中間アクセス状態は、前記ユーザ機器の
データ、アプリケーション、機能、構成要素、またはアカウントに対して、前記高アクセス状態が許可するアクセスよりも少ないアクセスを許可し、前記低アクセス状態は、前記ユーザ機器の
データ、アプリケーション、機能、構成要素、またはアカウントに対して、前記中間アクセス状態が許可するアクセスよりも少ないアクセスを許可
し、前記低レベル状態は、前記ユーザが前記ユーザ機器によって認証されていないロック状態である、請求項1に記載の方法。
【請求項4】
前記高アクセスである間に、前記ユーザ機器の前記ユーザが使用をやめる可能性があると判断するステップと、
前記レーダーデータに基づいて、前記ユーザ機器によって、前記ユーザが受動的に前記ユーザ機器を使用していると判断するステップと、
前記ユーザが受動的に前記ユーザ機器を使用しているとの前記判断に応答して、前記高アクセス状態を維持するステップとをさらに含む、請求項3に記載の方法。
【請求項5】
休止期間が満了したと判断するステップをさらに含み、
前記使用をやめる可能性があるとの前記判断は、前記休止期間が満了したとの前記判断または前記動きがあると前記判断に基づく、請求項3または4に記載の方法。
【請求項6】
前記ユーザが受動的に前記ユーザ機器を使用していると判断するステップは、
前記レーダーデータに基づいて、前記ユーザの手が、前記ユーザ機器のディスプレイが維持される向きで前記ユーザ機器を把持していると判断するステップ、
前記レーダーデータに基づいて、前記ユーザが前記ユーザ機器の方向に向いているまたは前記ユーザ機器の方向を見ていると判断するステップ、または、
前記レーダーデータに基づいて、前記ユーザが前記ユーザ機器の2メートル以内にいると判断するステップ、
のうち、少なくとも1つを含む、請求項3~5のいずれか1項に記載の方法。
【請求項7】
前記レーダーデータまたは後に受信するレーダーデータに基づいて、非ユーザに使用するという意図があると判断するまたは前記非ユーザの存在があると判断するステップと、
前記非ユーザに使用するという意図があるとの前記判断または前記非ユーザの存在があるとの前記判断に応答して、前記高アクセス状態を維持することを止めるステップと
前記非ユーザがいなくなったと判断したことに応答して、前記高アクセス状態に戻るステップとをさらに含む、請求項3~6のいずれか1項に記載の方法。
【請求項8】
前記高レベル状態は、前記高情報状態であり、
前記高情報状態は、前記ユーザに個人的に関連する情報を提示するように構成され、
前記高レベル状態を下げるステップは、前記高情報状態を前記中間情報状態または前記低情報状態に下げ、前記中間情報状態は、前記ユーザ機器に対応付けられたディスプレイ上に、前記高情報状態で提示される情報よりも少ない情報を提示し、前記低情報状態は、前記ディスプレイ上に、前記中間情報状態で提示される情報よりも少ない情報を提示
し、前記低情報状態は、前記ユーザに個人的に関連する情報を提示しないように構成される、請求項1に記載の方法。
【請求項9】
前記低情報状態は、現在時刻、日付、現在の天候、またはバッテリー電力状況を提示するように構成される、請求項
8に記載の方法。
【請求項10】
前記方法は、前記動きがあると判断するステップの前に、前記ユーザ機器と前記ユーザがやり取りしているまたは最近までやり取りしていたと判断するステップをさらに含み、前記ユーザがやり取りしているまたは最近までやり取りしていたと判断するステップは、前記ユーザに使用するという意図があることを示す、以前のレーダーデータ、マイクロフォンを通じて前記ユーザから受信したコマンドもしくは入力を示す音声データ、または、タッチセンサー式ディスプレイもしくはその他のセンサーを通した前記ユーザによる入力またはやり取りを示すタッチデータに基づく
、請求項
1~9のいずれか1項に記載の方法。
【請求項11】
前記動きがあるとは、前記ユーザ機器の直前の動きを基準とした動きの変化である
、請求項
1~10のいずれか1項に記載の方法。
【請求項12】
前記レーダーデータに基づいて前記使用をやめるという意図があると判断するステップは、前記ユーザ機器に前記動きがあるとの前記判断を動きマネージャから受信したことに応答したステップである
、請求項
1~11のいずれか1項に記載の方法。
【請求項13】
前記方法は、前記慣性計測装置からの前記慣性データに基づいて前記ユーザ機器に前記動きがあると判断するステップの前、およびレーダーシステムからの前記レーダーデータに基づいて前記使用をやめるという意図があると判断するステップの前に、休止期間が満了したと判断するステップをさらに含み、前記休止期間は、最後のタッチ入力、最後の音声入力、または最後のジェスチャ入力が前記ユーザ機器によって受信された時に開始する
、請求項
1~12のいずれか1項に記載の方法。
【請求項14】
前記ユーザが前記ユーザ機器から離れるように腕または手を引っ込めている、前記ユーザ機器から目を逸らしている、前記ユーザの体を前記ユーザ機器とは別の方向に向けている、または、前記ユーザ機器から立ち去っていると示す前記レーダーデータに基づいて、前記使用をやめるという意図があると判断される
、請求項
1~13のいずれか1項に記載の方法。
【請求項15】
前記ユーザに別のオブジェクト、人、別のデバイス、または別のユーザ機器を使用するという意図があると示す前記レーダーデータに基づいて、前記使用をやめるという意図があると判断される
、請求項
1~14のいずれか1項に記載の方法。
【請求項16】
請求項1~15のいずれか1項に記載の方法を実行するように構成される、装置。
【国際調査報告】