特許 7481434 空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステム

(51)【国際特許分類】

   G06N 3/049 20230101AFI20240501BHJP

   G01S 7/02 20060101ALI20240501BHJP

   G01S 13/536 20060101ALI20240501BHJP

【ＦＩ】

G06N3/049

G01S7/02 210

G01S13/536

【請求項の数】 18

(21)【出願番号】P 2022515765

(86)(22)【出願日】2020-10-20

(65)【公表番号】

(43)【公表日】2022-12-26

(86)【国際出願番号】 US2020056505

(87)【国際公開番号】W WO2021086688

(87)【国際公開日】2021-05-06

【審査請求日】2022-04-25

(31)【優先権主張番号】62/928,029

(32)【優先日】2019-10-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】マトゥザック，ミハル

(72)【発明者】

【氏名】メンギスツ，アベル・セレシ

(72)【発明者】

【氏名】ジリアン，ニコラス・エドワード

(72)【発明者】

【氏名】シャー，アビジット・アルーン

【審査官】漆原 孝治

(56)【参考文献】

【文献】特開２０１８－１７０００３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０４２２８（ＷＯ，Ａ１）

【文献】YONG WANG，TS-I3D Based Hand Gesture Recognition Method With Radar Sensor，IEEE ACCESS，2019年03月04日，第７巻，pp.22902-22913

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４９

Ｇ０１Ｓ ７／０２

Ｇ０１Ｓ １３／５３６

(57)【特許請求の範囲】

【請求項1】

レーダシステムによって実行される方法であって、
前記レーダシステムのアンテナアレイを使用してレーダ送信信号を送信することと、
前記アンテナアレイを使用してレーダ受信信号を受信することとを含み、前記レーダ受信信号は、少なくとも１人のユーザによって反射される前記レーダ送信信号のバージョンを含み、
前記方法はさらに、
前記レーダ受信信号に基づいて複合レーダデータを生成することと、
前記複合レーダデータを前記レーダシステムの空間時間ニューラルネットワークに提供することとを含み、前記空間時間ニューラルネットワークは、空間再帰ネットワークと時間再帰ネットワークとを含み、
前記方法はさらに、
前記少なくとも１人のユーザによって実行されるジェスチャを認識するよう、前記空間時間ニューラルネットワークを使用して前記複合レーダデータを分析することを含み、
前記複合レーダデータを分析することは、
前記複合レーダデータに関連付けられる空間ドメインにわたって前記複合レーダデータを分析することによって、前記空間再帰ネットワークを使用して、前記ジェスチャに関連付けられる特徴データを生成することと、
時間ドメインにわたって前記特徴データの時間的セットを分析することによって、前記時間再帰ネットワークを使用して、前記ジェスチャを認識することとを含む、方法。

【請求項2】

前記複合レーダデータを分析することは、前記ジェスチャを認識するよう、マシンラーニング技術を使用して、前記複合レーダデータの大きさ情報および位相情報の両方を分析することを含む、請求項１に記載の方法。

【請求項3】

前記特徴データをサーキュラーバッファ内に格納することと、
前記時間再帰ネットワークが、前記サーキュラーバッファ内に格納された前記特徴データにアクセスすることとをさらに含む、請求項１または２に記載の方法。

【請求項4】

前記空間ドメインにわたって前記複合レーダデータを分析することは、
各レンジビンについてチャネルドップラーデータを生成するよう、非線形活性化関数を使用して、異なるレンジビンに関連付けられる前記複合レーダデータの部分を別々に処理することと、
前記特徴データを生成するよう、前記異なるレンジビンにわたって前記チャネルドップラーデータを分析することとを含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記時間ドメインにわたって前記特徴データを分析することは、少なくとも２つの異なる時間フレームに関連付けられる前記特徴データを分析することによって、前記ジェスチャに関する予測を形成することを含む、請求項１～４のいずれかに記載の方法。

【請求項6】

前記複合レーダデータは、
複合レンジ－ドップラーマップ、
複合干渉測定データ、
前記レーダ受信信号に関連付けられる複数のデジタルビート信号、または
前記複数のデジタルビート信号の周波数ドメイン表現
のうちの少なくとも１つを含む、請求項１～５のいずれかに記載の方法。

【請求項7】

前記ジェスチャは、
スワイプジェスチャ、
リーチジェスチャ、
ノブ回転ジェスチャ、または
スピンドルねじりジェスチャ
のうちの少なくとも１つを含む、請求項１～６のいずれかに記載の方法。

【請求項8】

前記レーダ受信信号を受信することは、前記レーダシステムの異なるアンテナ要素を使用して前記レーダ受信信号の複数のバージョンを受信することを含み、
前記複合レーダデータを生成することは、前記レーダシステムのそれぞれの受信チャネルを使用してデジタルビート信号を生成することを含み、前記それぞれの受信チャネルは、それぞれ異なる前記アンテナ要素に接続される、請求項１～７のいずれかに記載の方法。

【請求項9】

レーダシステムを含み、
前記レーダシステムは、
アンテナアレイと、
トランシーバと、
請求項１～８のいずれかに記載の方法を実行するように構成されるプロセッサおよびコンピュータ可読記憶媒体とを含む、装置。

【請求項10】

前記装置は、スマートデバイスを含み、
前記スマートデバイスは、
スマートフォン、
スマートウォッチ、
スマートスピーカ、
スマートサーモスタット、
セキュリティカメラ、
車両、または
家庭用電化製品
のうちの１つを含む、請求項９に記載の装置。

【請求項11】

プロセッサによる実行に応答して、空間再帰ネットワークと時間再帰ネットワークとを含む空間時間ニューラルネットワークを実現するコンピュータ実行可能命令を含むコンピュータプログラムであって、
前記空間時間ニューラルネットワークは、
少なくとも１つの対象によって反射されるレーダ受信信号に関連付けられる複合レーダデータを受け付けることと、
前記複合レーダデータに関連付けられる空間ドメインにわたって前記複合レーダデータを分析することによって、前記空間再帰ネットワークを使用して、特徴データを生成することと、
時間ドメインにわたって前記特徴データの時間的セットを分析することによって、前記時間再帰ネットワークを使用して、レーダアプリケーションデータを生成することと、
前記レーダアプリケーションデータをレーダベースアプリケーションに渡すこととを行うように構成される、コンピュータプログラム。

【請求項12】

前記空間時間ニューラルネットワークはさらに、前記レーダアプリケーションデータを生成するよう、前記複合レーダデータの大きさ情報および位相情報の両方を分析するように構成される、請求項１１に記載のコンピュータプログラム。

【請求項13】

前記少なくとも１つの対象はユーザを含み、
前記レーダアプリケーションデータは、前記ユーザによって実行されるジェスチャを識別し、
前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、前記レーダベースアプリケーションを実現し、
前記レーダベースアプリケーションは、
前記レーダアプリケーションデータを受け付けることと、
識別された前記ジェスチャに基づいて、前記ユーザにコンテンツを表示することとを行うように構成される、請求項１１または１２に記載のコンピュータプログラム。

【請求項14】

前記空間時間ニューラルネットワークはさらに、
前記ユーザに前記ジェスチャを実行するように促すことと、
前記ユーザが前記ジェスチャを実行している間に、前記複合レーダデータを学習データとして記録することと、
前記ユーザによって実行される将来のジェスチャを認識するよう、学習手順を実行することとを行うように構成される、請求項１３に記載のコンピュータプログラム。

【請求項15】

前記少なくとも１つの対象はスタイラスを含み、
前記レーダアプリケーションデータは、前記スタイラスを使用してユーザによって実行されるジェスチャを識別する、請求項１１または１２に記載のコンピュータプログラム。

【請求項16】

前記少なくとも１つの対象は、無生物対象とユーザとを含み、
前記レーダアプリケーションデータは、前記無生物対象と前記ユーザとの間の潜在的な衝突を識別し、
前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、レーダベースアプリケーションを実現し、
前記レーダベースアプリケーションは、
前記レーダアプリケーションデータを受け付けることと、
前記潜在的な衝突について前記ユーザに警告することとを行うように構成される、請求項１１または１２に記載のコンピュータプログラム。

【請求項17】

前記少なくとも１つの対象はユーザを含み、
前記レーダアプリケーションデータは、前記ユーザの測定されたバイタルサインを含み、
前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、レーダベースアプリケーションを実現し、
前記レーダベースアプリケーションは、
前記レーダアプリケーションデータを受け付けることと、
前記測定されたバイタルサインを前記ユーザに知らせることとを行うように構成される、請求項１１または１２に記載のコンピュータプログラム。

【請求項18】

前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、ハードウェア抽象化モジュールを実現し、
前記ハードウェア抽象化モジュールは、
前記複合レーダデータに基づいて、ハードウェア非依存の複合レーダデータを生成することと、
前記ハードウェア非依存の複合レーダデータを前記複合レーダデータとして前記空間時間ニューラルネットワークに提供することとを行うように構成される、請求項１１～１７のいずれかに記載のコンピュータプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
レーダは、対象を検出し得る有用なデバイスである。カメラのような他のタイプのセンサに対して、レーダは、薄暗い光および霧などの異なる環境条件の存在下で、または、移動している対象もしくは重なっている対象を伴う異なる環境条件の存在下で性能の改善を提供し得る。レーダはさらに、バッグまたはポケットなどの１つ以上の遮蔽物（occlusion）を通過して対象を検出し得る。レーダは利点を有し得るが、電子デバイスにレーダを統合することに関連付けられる多くの困難が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0002】

１つの困難は、小型電子デバイスまたはモバイル電子デバイス内の電力制約を伴う。いくつかのレーダの動作は、電子デバイスのバッテリを著しく消耗させ、ユーザが電子デバイスを頻繁に再充電することを引き起こす。その結果、利用可能な電力の制限によりレーダの効果的な動作が低減または無効にされ、レーダを利用する利点が実現され得ない。

【0003】

別の困難は、小型のコンシューマデバイスがレーダの設計または動作に課し得る制約を伴う。サイズまたはレイアウト制約を満たすために、たとえば、より少ないアンテナ要素およびさまざまなアンテナ要素間隔が使用され得る。他の制約は、レーダ信号の帯域幅、送信パワー、または、更新レートを制限し得る。その結果、レーダの設計は、信号対雑音比性能の劣化をもたらし得、これにより、いくつかの用途について十分な精度を達成することが困難になり得る。したがって、電子デバイス内に統合されるレーダの性能は、著しく低減され得る。これは、レーダがサポートし得るアプリケーションのタイプ、または、レーダを組み込み得る電子デバイスのタイプを制限し得る。

【0004】

概要
空間時間ニューラルネットワークを使用してジェスチャ認識を実行することが可能なスマートデバイスベースのレーダシステムを実現する技術および装置が記載される。空間時間ニューラルネットワークは、ジェスチャ認識のために複合レーダデータ（たとえば、大きさ情報および位相情報の両方）を分析するよう、マシンラーニングを使用する。大きさ情報および位相情報の両方を分析することによって、空間時間ニューラルネットワークは、大きさ情報を処理する他の信号処理技術、ヒューリスティック技術、または、マシンラーニング技術と比較して、分散した対象を検出し、かつ、ジェスチャを認識するための改善された精度を実現し得る。

【0005】

空間時間ニューラルネットワークは、マルチステージマシンラーニングアーキテクチャを使用して実現される。第１のステージにおいて、特徴データを生成するよう、空間再帰ネットワークが、空間ドメインにわたって複合レーダデータを分析する。特徴データは、ユーザによって実行されるジェスチャの１つ以上の特徴（たとえば特性）を識別する。特徴データは、少なくとも時間のある部分の間、サーキュラーバッファのメモリ要素に格納される。時間が進むと、他の特徴データが当該サーキュラーバッファの他のメモリ要素に格納される。第２のステージでは、ジェスチャを認識するよう、時間再帰ネットワークが、時間ドメインにわたって特徴データを分析する。

【0006】

このマルチステージ設計は、レーダシステムが、電力を節約し、かつ、（たとえば、ジェスチャが実行されると）リアルタイムでジェスチャを認識することを可能にする。サーキュラーバッファの使用は、たとえば、特徴データを再生成する必要性、または、複合レーダデータを格納する必要性を軽減することによって、レーダシステムが電力およびメモリを節約することを可能にする。さらに、複合レーダデータの代わりに特徴データを格納することにより、ジェスチャを認識するための計算時間が低減される。空間時間ニューラルネットワークはさらに、適応可能であり、かつ、サイズ、計算要件、またはレイテンシーを有意に増加させることなく、スワイプジェスチャおよびリーチジェスチャなどの複数のタイプのジェスチャを認識するように拡張され得る。

【課題を解決するための手段】

【0007】

以下に記載される局面は、ジェスチャ認識のためのレーダシステムによって実行される方法を含む。当該方法は、レーダシステムのアンテナアレイを使用してレーダ送信信号を送信することを含む。当該方法はさらに、アンテナアレイを使用してレーダ受信信号を受信することを含む。レーダ受信信号は、少なくとも１人のユーザによって反射されるレーダ送信信号のバージョンを含む。当該方法はさらに、レーダ受信信号に基づいて複合レーダデータを生成することと、複合レーダデータをレーダシステムの空間時間ニューラルネットワークに提供することとを含む。空間時間ニューラルネットワークは、マルチステージマシンラーニングアーキテクチャを含む。当該方法はさらに、少なくとも１人のユーザによって実行されるジェスチャを認識するよう、空間時間ニューラルネットワークを使用して複合レーダデータを分析することを含む。

【0008】

以下に記載される局面はさらに、レーダシステムを含む装置を含む。レーダシステムは、アンテナアレイと、トランシーバとを含む。レーダシステムはさらに、記載される方法のいずれかを実行するように構成されるプロセッサおよびコンピュータ可読記憶媒体を含む。

【0009】

以下に記載される局面は、プロセッサによる実行に応答して、空間時間ニューラルネットワークを実現するコンピュータ実行可能命令を含むコンピュータ可読記憶媒体を含み、空間時間ニューラルネットワークは、少なくとも１つの対象によって反射されるレーダ受信信号に関連付けられる複合レーダデータを受け付けることを行うように構成される。空間時間ニューラルネットワークはさらに、特徴データを生成するよう、マシンラーニングを使用して空間ドメインにわたって複合レーダデータを分析することを行うように構成される。さらに、空間時間ニューラルネットワークは、レーダアプリケーションデータを生成するよう、マシンラーニングを使用して時間ドメインにわたって特徴データを分析することを行うように構成される。空間時間ニューラルネットワークは、レーダアプリケーションデータをレーダベースアプリケーションに渡すことを行うように構成される。

【0010】

以下に記載される局面はさらに、複合レーダデータに基づいてジェスチャ認識を実行するための空間時間ニューラルネットワーク手段を有するシステムを含む。

【0011】

空間時間ニューラルネットワークを使用してジェスチャ認識を実行することが可能なスマートデバイスベースのレーダシステムを実現するための装置および技術が以下の図面を参照して記載される。図面全体を通じて、同様の特徴および構成要素を参照するために同じ番号が使用される。

【図面の簡単な説明】

【0012】

【図1】空間時間ニューラルネットワークを使用してジェスチャ認識を実行することが可能なスマートデバイスベースのレーダシステムが実現され得る例示的な環境を示す図である。

【図2】スマートデバイスの部分としてのレーダシステムの例示的な実現例を示す図である。

【図3-1】例示的なレーダシステムの動作を示す図である。

【図3-2】ジェスチャ認識のための例示的なレーダフレーミング構造を示す図である。

【図4】レーダシステムの例示的なアンテナアレイおよび例示的なトランシーバを示す図である。

【図5】空間時間ニューラルネットワークを使用してジェスチャ認識を実行するためのレーダシステムによって実現される例示的なスキームを示す図である。

【図6-1】ジェスチャ認識のための例示的なハードウェア抽象化モジュールを示す図である。

【図6-2】ジェスチャ認識のためのハードウェア抽象化モジュールによって生成される例示的なハードウェア非依存の複合レーダデータを示す図である。

【図7-1】ジェスチャ認識を実行するための例示的な空間時間ニューラルネットワークを示す図である。

【図7-2】空間時間ニューラルネットワークの例示的なチャープレベル分析モジュールを示す図である。

【図7-3】空間時間ニューラルネットワークの例示的な特徴レベル分析モジュールを示す図である。

【図7-4】空間時間ニューラルネットワークの例示的なアプリケーションレベル分析モジュールを示す図である。

【図8】空間時間ニューラルネットワークを使用してジェスチャ認識を実行することが可能なスマートデバイスベースのレーダシステムの動作を実行するための例示的な方法を示す図である。

【図9】空間時間ニューラルネットワークを使用してジェスチャ認識を実行することが可能なレーダシステムを具現化する例示的なコンピューティングシステム、または、当該レーダシステムの使用を可能にする技術が実現され得る例示的なコンピューティングシステムを示す図である。

【発明を実施するための形態】

【0013】

詳細な説明
概要
レーダシステムを電子デバイス内に統合することは困難であり得る。電子デバイスは、たとえば、限られた量の利用可能な電力を有し得る。したがって、レーダシステムは、送信パワーを増加させること、または、より高い更新レートを利用できないことがあり得る。いくつかの場合において、電子デバイスのサイズまたはレイアウト制約は、アンテナ要素の量を制限し得るか、または、角度分解能を制限し得る準最適なアンテナ要素間隔をもたらし得る。他のハードウェア制限または周波数制限は、レーダ信号の帯域幅を制限し得、これは、パルス圧縮技術を使用するレーダについてレンジ分解能を制限し得る。これらの制限により、いくつかのレーダが目標精度を達成することは困難であり得る。

【0014】

目標精度はさらに、非決定論的なレーダシグネチャを有する分散された対象を検出するために実現することが困難であり得る。分散された対象の例示的なタイプは、人体部分（たとえば、指、手、顔もしくは付属肢）または人体を含む。レーダの観点から、分散された対象は、分散された対象のレーダシグネチャを異なる観察角度にわたって変化させる複数の位相中心（たとえば、散乱点）を有する。分散された対象を観察している間、観察角度は、分散された対象のモーションまたはレーダのモーションによって変化し得る。観察角度が変化すると、レーダシグネチャの振幅または位相が変動し得、これにより、分散されていない対象（たとえば、決定論的なレーダシグネチャを有する対象）について適切なレーダ処理技術を使用して生成される位置データにおける誤差または不確実性が増加される。

【0015】

これらの問題に対処するために、本文献は、空間時間ニューラルネットワークを使用してジェスチャ認識を実行することが可能なスマートデバイスベースのレーダシステムを実現する技術およびデバイスを記載する。空間時間ニューラルネットワークは、ジェスチャ認識のために複合レーダデータ（たとえば、大きさ情報および位相情報の両方）を分析するようマシンラーニングを使用する。大きさ情報および位相情報の両方を分析することによって、空間時間ニューラルネットワークは、大きさ情報を処理する他の信号処理技術、ヒューリスティック技術またはマシンラーニング技術に対して、分散された対象を検出することおよびジェスチャを認識することについての精度の改善を実現し得る。本明細書における特定の文脈によって別段示されない限り、精度の向上は、改善の度合いの向上、正解（truth)への適合の向上、または、改善の度合いの向上および正解への適合の向上の両方を指す。

【0016】

空間時間ニューラルネットワークは、マルチステージマシンラーニングアーキテクチャを使用して実現される。第１のステージでは、空間再帰ネットワークが、特徴データを生成するよう、空間ドメインにわたって複合レーダデータを分析する。特徴データは、ユーザによって実行されるジェスチャの１つ以上の特徴（たとえば、特性）を識別する。特徴データは、少なくとも時間のある部分の間、サーキュラーバッファのメモリ要素に格納される。時間が進むと、他の特徴データがサーキュラーバッファの他のメモリ要素に格納される。第２のステージでは、時間再帰ネットワークが、ジェスチャを認識するよう、時間ドメインにわたって特徴データを分析する。

【0017】

このマルチステージ設計は、レーダシステムが、電力を節約し、かつ、（たとえば、ジェスチャが実行されると）リアルタイムでジェスチャを認識することを可能にする。サーキュラーバッファの使用は、たとえば、特徴データを再生成する必要性または複合レーダデータを格納する必要性を軽減することによって、レーダシステムが電力およびメモリを節約することを可能にする。さらに、複合レーダデータの代わりに特徴データを格納することにより、ジェスチャを認識するための計算時間が低減される。空間時間ニューラルネットワークはさらに、適応可能であり得、サイズ、計算要件またはレイテンシーを有意に増加させることなく、スワイプジェスチャおよびリーチジェスチャなどの複数のタイプのジェスチャを認識するように拡張され得る。

【0018】

例示的な環境
図１は、空間時間ニューラルネットワークを使用してジェスチャ認識を実行することが可能なスマートデバイスベースのレーダシステムを使用する技術および当該スマートデバイスベースのレーダシステムを含む装置が具現化され得る例示的な環境１００－１～１００－６の図である。示される環境１００－１～１００－６では、スマートデバイス１０４は、（図２の）空間時間ニューラルネットワークを使用して、１つ以上の対象（たとえば、ユーザ）を検出することが可能なレーダシステム１０２を含む。スマートデバイス１０４は、環境１００－１～１００－５ではスマートフォンであり、環境１００－６ではスマート車両であることが示されている。

【0019】

環境１００－１～１００－４において、ユーザは、レーダシステム１０２によって検出される異なるタイプのジェスチャを実行する。いくつかの場合では、ユーザは、付属肢または身体部分を使用してジェスチャを行う。代替的には、ユーザはさらに、スタイラス、手で把持される物体、リング、または、レーダ信号を反射し得る任意のタイプの材料を使用して、ジェスチャを行い得る。

【0020】

環境１００－１において、ユーザは、（たとえば、スマートデバイス１０４の左側からスマートデバイス１０４の右側へ）水平方向に沿ってスマートデバイス１０４の上で手を動かすことによってスクロールジェスチャを行う。環境１００－２において、ユーザは、スマートデバイス１０４とユーザの手との間の距離を減少させるリーチジェスチャを行う。環境１００－３におけるユーザは、スマートデバイス１０４上でゲームをプレイするためにハンドジェスチャを行う。１つの場合において、ユーザは、（たとえば、スマートデバイス１０４の底部側からスマートデバイス１０４の頂部側への）鉛直方向の次元に沿ってスマートデバイス１０４の上で手を動かすことによってプッシュジェスチャを行う。環境１００－４において、スマートデバイス１０４は、バッグ内に格納され、レーダシステム１０２は、バッグによって遮られたジェスチャを検出することによって、遮られたジェスチャの認識を提供する。

【0021】

レーダシステム１０２はさらに、図１に示されていない他のタイプのジェスチャまたはモーションを認識し得る。例示的なタイプのジェスチャは、ユーザが指を曲げて、想像上のドアノブを握り、想像上のドアノブを回す動作を模倣するよう時計回りまたは反時計回りに指および手を回転するノブ回転ジェスチャを含む。別の例示的なタイプのジェスチャは、ユーザが親指および少なくとも１本の他の指を一緒に擦ることによって行うスピンドルねじりジェスチャ（spindle-twisting gesture）を含む。当該ジェスチャは、タッチセンシティブディスプレイで使用されるジェスチャ（たとえば、２本指でのピンチ、２本指でのスプレッド、または、タップ）のように、２次元であり得る。ジェスチャはさらに、たとえば、米国手話言語（ＡＳＬ: American Sign Language）および世界中の他の手話言語のジェスチャといった多くの手話言語ジェスチャのように、３次元であり得る。これらのジェスチャの各々を検出すると、スマートデバイス１０４は、新しいコンテンツを表示するアクション、カーソルを移動するアクション、１つ以上のセンサをアクティベートするアクション、および、アプリケーションを開くアクションなどのアクションを実行し得る。これにより、レーダシステム１０２は、スマートデバイス１０４のタッチフリー制御を提供する。

【0022】

環境１００－５において、レーダシステム１０２は、文脈的な知覚のための周囲環境の３次元マップを生成する。レーダシステム１０２はさらに、複数のユーザを検出およびトラッキングし、両方のユーザがスマートデバイス１０４とインタラクションすることを可能にする。レーダシステム１０２はさらに、バイタルサイン検出を実行し得る。環境１００－６において、レーダシステム１０２は、車両を運転するユーザのバイタルサインを監視する。例示的なバイタルサインは、心拍数および呼吸数を含む。レーダシステム１０２は、たとえば、運転者が眠っていると判定すると、スマートデバイス１０４にユーザに対して警告を発させ得る。代替的には、レーダシステム１０２は、心臓発作のような生命を脅かす緊急事態を検出すると、スマートデバイス１０４に医療専門家または救急サービスに対して警告を発させ得る。

【0023】

レーダシステム１０２のいくつかの実現例は、問題の収束が存在するスマートデバイス１０４の文脈において適用される際に特に有利である。これは、レーダシステム１０２の間隔およびレイアウトの制限ならびに低電力についての必要性を含み得る。スマートデバイス１０４の例示的な全体的な横方向寸法は、たとえば、約８センチメートル×約１５センチメートルであり得る。レーダシステム１０２の例示的な占有面積は、アンテナが含まれた状態で約４ミリメートル×６ミリメートルといったように、さらに限定され得る。レーダシステム１０２の例示的な電力消費は、数ミリワット～数十ミリワットのオーダ（たとえば、約２ミリワットと２０ミリワットとの間）であり得る。レーダシステム１０２についてのそのような限定された占有面積および電力消費の要件によって、スマートデバイス１０４が、空間が制限されたパッケージ内に他の望ましい特徴（たとえば、カメラセンサ、指紋センサおよびディスプレイなど）を含むことが可能になる。スマートデバイス１０４およびレーダシステム１０２は、図２に関してさらに記載される。

【0024】

図２は、レーダシステム１０２をスマートデバイス１０４の部分として示す。スマートデバイス１０４は、デスクトップコンピュータ１０４－１、タブレット１０４－２、ラップトップ１０４－３、テレビ１０４－４、コンピューティングウォッチ１０４－５、コンピューティンググラス１０４－６、ゲームシステム１０４－７、電子レンジ１０４－８、および、車両１０４－９を含むさまざまな非限定的な例示的デバイスとともに示される。ホームサービスデバイス、スマートスピーカ、スマートサーモスタット、セキュリティカメラ、ベビーモニタ、Ｗｉ－Ｆｉ（登録商標）ルータ、ドローン、トラックパッド、描画パッド、ネットブック、電子リーダ、ホームオートメーションおよび制御システム、ウォールディスプレイ、ならびに、他の家庭用電化製品など、他のデバイスも使用されてもよい。なお、スマートデバイス１０４は、ウェアラブル、非ウェアラブルであるがモバイル、または、相対的にモバイルではない（たとえば、デスクトップおよび電化製品）であり得る。レーダシステム１０２は、スタンドアロンレーダシステムとして使用され得るか、多くの異なるスマートデバイス１０４もしくは周辺機器とともに使用されるか、または、当該多くの異なるスマートデバイス１０４もしくは周辺機器に埋め込まれ得、多くの異なるスマートデバイス１０４もしくは周辺機器の例としては、家庭用電化製品およびシステムを制御する制御パネル内におけるもの、内部機能（たとえば、音量、クルーズコントロール、もしくは、さらには車の運転）を制御する自動車におけるもの、または、ラップトップ上のコンピューティングアプリケーションを制御するラップトップコンピュータへの付加物が存在する。

【0025】

スマートデバイス１０４は、１つ以上のコンピュータプロセッサ２０２と、メモリ媒体および記憶媒体を含む１つ以上のコンピュータ可読媒体２０４とを含む。コンピュータ可読媒体２０４上のコンピュータ可読命令として具現化されるアプリケーションおよび／またはオペレーティングシステム（図示せず）は、本明細書において記載される機能のいくつかを提供するよう、コンピュータプロセッサ２０２によって実行され得る。コンピュータ可読媒体２０４はさらに、レーダベースアプリケーション２０６を含み、レーダベースアプリケーション２０６は、レーダシステム１０２によって生成されるレーダデータを使用して、存在検出、ジェスチャベースのタッチフリー制御、自律運転のための衝突回避、および、人間のバイタルサイン通知などの機能を実行する。

【0026】

スマートデバイス１０４はさらに、有線ネットワーク、無線ネットワークまたは光ネットワークを介してデータを通信するためのネットワークインターフェイス２０８を含み得る。たとえば、ネットワークインターフェイス２０８は、ローカルエリアネットワーク（ＬＡＮ: local-area-network）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ: wireless local-area-network）、パーソナルエリアネットワーク（ＰＡＮ: personal-area-network）、ワイヤーエリアネットワーク（ＷＡＮ: wire-area-network）、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、および、メッシュネットワークなどを介してデータを通信し得る。スマートデバイス１０４はさらに、ディスプレイ（図示せず）を含み得る。

【0027】

レーダシステム１０２は、レーダデータをリモートデバイスに送信するために通信インターフェイス２１０を含むが、これは、レーダシステム１０２がスマートデバイス１０４内に統合される場合には使用される必要はない。一般に、通信インターフェイス２１０によって提供されるレーダデータは、レーダベースアプリケーション２０６によって使用可能なフォーマットにある。

【0028】

レーダシステム１０２はさらに、レーダ信号を送信および受信するよう、少なくとも１つのアンテナアレイ２１２および少なくとも１つのトランシーバ２１４を含む。アンテナアレイ２１２は、少なくとも１つの送信アンテナ要素と、少なくとも２つの受信アンテナ要素とを含む。いくつかの状況では、アンテナアレイ２１２は、所与の時間において複数の別個の波形（たとえば、送信アンテナ要素ごとに異なる波形）を送信することが可能なマルチプルインプットマルチプルアウトプット（ＭＩＭＯ: multiple-input multiple-output）レーダを実現するよう、複数の送信アンテナ要素を含む。アンテナ要素は、円形に分極され得るか、水平に分極され得るか、垂直に分極され得るか、または、これらの組み合わせであり得る。

【0029】

アンテナアレイ２１２の受信アンテナ要素は、３つ以上の受信アンテナ要素を含む実現例の場合、１次元形状（たとえば、線）に位置決めされ得るか、または、２次元形状（たとえば、長方形配列、三角形配列、もしくは、「Ｌ」字型配列）に位置決めされ得る。１次元形状によって、レーダシステム１０２が１つの角度次元（たとえば、方位角または仰角）を測定することが可能になり、その一方、２次元形状によって、レーダシステム１０２が２つの角度次元を測定すること（たとえば、対象の方位角および仰角の両方を決定すること）が可能になる。受信アンテナ要素に関連付けられる要素間隔は、レーダ信号の中心波長の半分未満、半分超、または、半分に等しくあり得る。

【0030】

アンテナアレイ２１２を使用して、レーダシステム１０２は、ステアリングされたかもしくはステアリングされていないか、広いかもしくは狭いか、または、成形された（たとえば、半球、立方体、扇形、円錐形、円筒形）ビームを形成し得る。ステアリングおよび成形は、アナログビームフォーミングまたはデジタルビームフォーミングを通じて達成され得る。１つ以上の送信アンテナ要素は、たとえば、ステアリングされていない全方向性放射パターンを有し得るか、または、広い体積の空間を照射するよう広いステアリング可能なビームを作り出し得る。目標角度精度および角度分解能を達成するために、受信アンテナ要素は、デジタルビームフォーミングにより数百または数千の狭いステアリングされたビームを生成するよう使用され得る。これにより、レーダシステム１０２は、外部環境を効率的に監視し、１人以上のユーザを検出し得る。

【0031】

トランシーバ２１４は、アンテナアレイ２１２を介してレーダ信号を送信および受信するための回路およびロジックを含む。トランシーバ２１４の構成要素は、増幅器、ミキサ、スイッチ、アナログ－デジタルコンバータ、または、レーダ信号を調節するためのフィルタを含み得る。トランシーバ２１４はさらに、変調または復調などの同相／直交（Ｉ／Ｑ: in phase/quadrature）動作を実行するためのロジックを含む。線形周波数変調、三角周波数変調、段階的周波数変調（stepped frequency modulation）、または、位相変調を含む、さまざまな変調が使用され得る。代替的に、トランシーバ２１４は、相対的に一定の周波数または単一のトーンを有するレーダ信号を生成し得る。トランシーバ２１４は、連続波またはパルスレーダ動作をサポートするように構成され得る。

【0032】

レーダ信号を生成するようトランシーバ２１４が使用する周波数スペクトル（たとえば、周波数範囲）は、１ギガヘルツ（ＧＨｚ）と４００ギガヘルツ（ＧＨｚ）との間の周波数、４ＧＨｚと１００ＧＨｚとの間の周波数、１ＧＨｚと２４ＧＨｚとの間の周波数、２ＧＨｚと４ＧＨｚとの間の周波数、５７ＧＨｚと６４ＧＨｚとの間の周波数、または、約２．４ＧＨｚの周波数を包含し得る。いくつかの場合では、周波数スペクトルは、同様または異なる帯域幅を有する複数のサブスペクトルに分割され得る。帯域幅は、５００メガヘルツ（ＭＨｚ）、１ＧＨｚおよび２ＧＨｚなどのオーダにあり得る。異なる周波数サブスペクトルは、たとえば、約５７ＧＨｚと５９ＧＨｚとの間の周波数、５９ＧＨｚと６１ＧＨｚとの間の周波数、または、６１ＧＨｚと６３ＧＨｚとの間の周波数を含み得る。上で記載された例示的な周波数サブスペクトルは連続的であるが、他の周波数サブスペクトルは連続的でなくてもよい。コヒーレンスを達成するために、同じ帯域幅を有する複数の周波数サブスペクトル（連続的またはそうでない）が、同時に送信されるかまたは時間的に分離される複数のレーダ信号を生成するようトランシーバ２１４によって使用され得る。いくつかの状況では、複数の連続する周波数サブスペクトルが、単一のレーダ信号を送信するよう使用され得、これにより、レーダ信号が広い帯域幅を有することが可能になる。

【0033】

レーダシステム１０２はさらに、１つ以上のシステムプロセッサ２１６および１つ以上のシステム媒体２１８（たとえば、１つ以上のコンピュータ可読記憶媒体）を含む。システム媒体２１８は、ハードウェア抽象化モジュール２２０を随意に含む。システム媒体２１８はさらに、少なくとも１つの空間時間ニューラルネットワーク２２２と、少なくとも１つのサーキュラーバッファ２２４とを含む。ハードウェア抽象化モジュール２２０、空間時間ニューラルネットワーク２２２、および、サーキュラーバッファ２２４は、ハードウェア、ソフトウェア、ファームウェア、または、それらの組み合わせを使用して実現され得る。この例では、システムプロセッサ２１６は、ハードウェア抽象化モジュール２２０および空間時間ニューラルネットワーク２２２を実現する。システムプロセッサ２１６またはメモリコントローラは、サーキュラーバッファ２２４を実現および管理し得る。ハードウェア抽象化モジュール２２０、空間時間ニューラルネットワーク２２２、および、サーキュラーバッファ２２４はともに、システムプロセッサ２１６が、アンテナアレイ２１２における受信アンテナ要素からの応答を処理してユーザを検出し、対象の位置を決定し、および／または、ユーザ３０２によって行われるジェスチャを認識することを可能にする。

【0034】

代替的な実現例（図示せず）では、ハードウェア抽象化モジュール２２０、空間時間ニューラルネットワーク２２２、または、サーキュラーバッファ２２４は、コンピュータ可読媒体２０４内に含まれ、かつ、コンピュータプロセッサ２０２によって実現される。これにより、レーダシステム１０２は、コンピュータプロセッサ２０２がレーダベースアプリケーション２０６のために生データを処理し得るように、通信インターフェイス２１０を介してスマートデバイス１０４に生データを提供することが可能になる。

【0035】

ハードウェア抽象化モジュール２２０は、トランシーバ２１４によって提供される生データを、空間時間ニューラルネットワーク２２２によって処理され得るハードウェア非依存の複合レーダデータに変換する。特に、ハードウェア抽象化モジュール２２０は、さまざまな異なるタイプのレーダ信号からの複合レーダデータを、空間時間ニューラルネットワーク２２２の予想される入力に準拠させる。これにより、空間時間ニューラルネットワーク２２２が、周波数変調された連続波レーダ、位相変調された拡散スペクトルレーダ、または、インパルスレーダのための異なる変調スキームを利用するレーダ信号を含む、レーダシステム１０２によって受信された異なるタイプのレーダ信号を処理することが可能になる。ハードウェア抽象化モジュール２２０はさらに、異なる中心周波数、帯域幅、送信パワーレベル、または、パルス幅を有するレーダ信号からの複合レーダデータを正規化し得る。

【0036】

さらに、ハードウェア抽象化モジュール２２０は、異なるハードウェアアーキテクチャを使用して生成される複合レーダデータに準拠する。異なるハードウェアアーキテクチャは、スマートデバイス１０４の異なる表面上に位置決めされる異なるアンテナアレイ２１２を含み得るか、または、アンテナアレイ２１２内のアンテナ要素の異なるセットを含み得る。ハードウェア抽象化モジュール２２０を使用することによって、空間時間ニューラルネットワーク２２２は、異なるゲインを有するアンテナ要素の異なるセット、さまざまな量のアンテナ要素の異なるセット、または異なるアンテナ要素間隔を有するアンテナ要素の異なるセットによって生成される複合レーダデータを処理し得る。

【0037】

ハードウェア抽象化モジュール２２０を使用することによって、空間時間ニューラルネットワーク２２２は、利用可能なレーダ変調スキーム、送信パラメータ、または、ハードウェアアーキテクチャのタイプに影響を及ぼす異なる制限を有するレーダシステム１０２において動作し得る。ハードウェア抽象化モジュール２２０は、図６－１～図６－２に関してさらに記載される。

【0038】

空間時間ニューラルネットワーク２２２は、マシンラーニングを使用して、ハードウェア非依存の複合レーダデータを分析し、レーダベースアプリケーション２０６のためのレーダアプリケーションデータを生成する。例示的なタイプのレーダアプリケーションデータは、ユーザの位置、ユーザの動き、ユーザによって実行されるジェスチャのタイプ、ユーザの測定されたバイタルサイン、または、対象の特性を含む。空間時間ニューラルネットワーク２２２は、大きさ情報を処理する他の信号処理技術、ヒューリスティック技術、または、マシンラーニング技術に対して、分散された対象を検出するための精度を改善するよう、複合レーダデータの大きさ情報および位相情報の両方を分析する。

【0039】

ジェスチャ認識について、空間時間ニューラルネットワーク２２２は、図１に関して上で記載したもののように、特定のジェスチャまたは複数のジェスチャを認識するように設計され得る。いくつかの場合では、空間時間ニューラルネットワーク２２２は、スマートデバイス１０４またはレーダベースアプリケーション２０６のタイプに従って個々に選択され得るマシンラーニングアーキテクチャのスイートを含む。マシンラーニングアーキテクチャの設計は、異なる量の利用可能なメモリ、異なる量の利用可能な電力、または、異なる計算能力を有するスマートデバイス１０４をサポートするように調整され得る。たとえば、低パワーの非計算集約的な空間時間ニューラルネットワーク２２２は、より少ない量の受信チャネル（たとえば、２～４つの受信チャネル）からの情報を処理するか、より少ない隠れ層を有するか、または、圧縮されている入力データに対して動作し得る。対照的に、高パワーの計算集約的な空間時間ニューラルネットワーク２２２は、より多い量の受信チャネル（たとえば、４つを超える受信チャネル）からの情報を処理するか、実行するか、より多い量の隠れ層を有するか、または、圧縮されていない入力データに対して動作し得る。

【0040】

サーキュラーバッファ２２４は、システム媒体２１８内のメモリの割り当てられた部分を使用して実現される固定サイズのメモリバッファである。サーキュラーバッファ２２４は、複数のメモリ要素を含み、データがメモリ要素を使用して順次格納されアクセスされる先入先出キュー（first-in-first-out queue）を提供する。ひとたびメモリ要素のすべてがデータを格納すると、サーキュラーバッファ２２４内に格納された最も古いデータが上書きされる。サーキュラーバッファ２２４は、空間時間ニューラルネットワーク２２２の２つのステージ間で実現される。したがって、サーキュラーバッファ２２４は、空間時間ニューラルネットワーク２２２の第１のステージによって生成されるデータを格納し、空間時間ニューラルネットワーク２２２の第２のステージが当該格納されたデータにアクセスすることを可能にする。サーキュラーバッファ２２４は、図７－３に関してさらに記載される。

【0041】

空間時間ニューラルネットワーク２２２は、マルチステージマシンラーニングアーキテクチャを使用して実現される。第１のステージでは、空間再帰ネットワークが、特徴データを生成するよう、空間ドメインにわたって複合レーダデータを分析する。特徴データは、ユーザによって実行されるジェスチャの１つ以上の特徴（たとえば、特性）を識別する。言い換えれば、特徴データは、複合レーダデータの凝縮された表現である。特徴データのより小さい構成要素を使用して複合レーダデータを表すことによって、空間時間ニューラルネットワーク２２２内の後のステージの複雑さが著しく低減され得る。これによって、空間時間ニューラルネットワーク２２２が、メモリが制約されたまたは計算が制約されたデバイス内で実現されることが可能になり得る。

【0042】

特徴データは、少なくともある時間の部分の間、サーキュラーバッファ２２４のメモリ要素に格納される。時間が進むと、他の特徴データがサーキュラーバッファ２２４の他のメモリ要素に格納される。第２ステージでは、時間再帰ネットワークが、ジェスチャを認識するよう、サーキュラーバッファ２２４内の複数のメモリ要素にわたる特徴データを分析する。サーキュラーバッファ２２４および第２のステージはともに、サーキュラーバッファ２２４に格納されている特徴データ内に含まれるローカル情報からグローバルまたは時間的情報を抽出する。空間時間ニューラルネットワーク２２２は、図７－１～図７－４に関してさらに記載される。

【0043】

図３－１は、レーダシステム１０２の例示的な動作を示す。示される構成では、レーダシステム１０２は、周波数変調された連続波レーダとして実現される。しかしながら、図２に関して上述したように、他のタイプのレーダアーキテクチャが実現され得る。環境３００において、ユーザ３０２はレーダシステム１０２から特定の傾斜範囲３０４に位置する。ユーザ３０２は、複数の位相中心３０５（たとえば、複数の散乱点）を有する分散された対象を表す。例として、ユーザ３０２の手は、特定の観察角度において５つの位相中心３０５を有する。観察角度は、レーダシステム１０２が対象（たとえば、ユーザ３０２の手）を「見る」視線に対する入射角である。観察角度はさらに、対象の速度ベクトルの向きが観察角度を識別すると考えられる場合、アスペクト角と考えられ得る。

【0044】

位相中心３０５の量およびそれぞれの位置は、異なる観察角度において変動し得る。たとえば、ユーザ３０２がジェスチャを実行する間のように、観察角度が変化すると、レーダシグネチャの振幅または位相は変動し得る。スペックルとしても既知であるこの変動により、大きさ情報を処理する他の信号処理技術、ヒューリスティック技術またはマシンラーニング技術を使用してジェスチャを認識することが困難になり得る。

【0045】

ユーザ３０２を検出するために、レーダシステム１０２はレーダ送信信号３０６を送信する。レーダ送信信号３０６の少なくとも部分は、ユーザ３０２によって反射される。この反射された部分はレーダ受信信号３０８を表す。レーダシステム１０２は、レーダ受信信号３０８を受信し、レーダ受信信号３０８を処理してレーダベースアプリケーション２０６のためのデータを抽出する。示されるように、レーダ受信信号３０８の振幅は、伝搬および反射の間に被る損失により、レーダ送信信号３０６の振幅より小さい。

【0046】

レーダ送信信号３０６は、チャープ３１０－１～３１０－Ｎのシーケンスを含み、Ｎは１より大きい正の整数を表す。レーダシステム１０２は、図３－２に関してさらに記載されるように、チャープ３１０－１～３１０－Ｎを連続的なバースト（continuous burst）で送信するか、または、チャープ３１０－１～３１０－Ｎを時間分離されたパルスとして送信し得る。各チャープ３１０－１～３１０－Ｎの持続時間は、たとえば、数十または数千マイクロ秒（たとえば、約３０マイクロ秒（μｓ）と５ミリ秒（ｍｓ）との間）のオーダであり得る。

【0047】

チャープ３１０－１～３１０－Ｎの個々の周波数は、時間にわたって増加または減少し得る。示される例では、レーダシステム１０２は、時間にわたってチャープ３１０－１～３１０－Ｎの周波数を線形に増加および線形に減少するように、２スロープサイクル（たとえば、三角周波数変調）を採用する。２スロープサイクルによって、レーダシステム１０２はユーザ３０２のモーションによって引き起こされるドップラー周波数シフトを測定することが可能になる。一般に、チャープ３１０－１～３１０－Ｎ（たとえば、帯域幅、中心周波数、持続時間および送信パワー）の送信特性は、ユーザ３０２の１つ以上の特性またはユーザ３０２によって行われる１つ以上のアクションを検出するための特定の検出範囲、範囲分解能、または、ドップラー感度を達成するように調整され得る。

【0048】

レーダシステム１０２において、レーダ受信信号３０８は、レーダ送信信号３０６の遅延バージョンを表す。遅延量は、レーダシステム１０２のアンテナアレイ２１２からユーザ３０２までの傾斜範囲３０４（たとえば、距離）に比例する。特に、この遅延は、レーダ送信信号３０６がレーダシステム１０２からユーザ３０２に伝搬するのにかかる時間と、レーダ受信信号３０８がユーザ３０２からレーダシステム１０２に伝搬するのにかかる時間との合計を表す。ユーザ３０２が移動している場合、レーダ受信信号３０８は、ドップラー効果によりレーダ送信信号３０６に対して周波数がシフトされる。レーダ送信信号３０６と同様に、レーダ受信信号３０８は、チャープ３１０－１～３１０－Ｎのうちの１つ以上から構成される。

【0049】

複数のチャープ３１０－１～３１０－Ｎによって、レーダシステム１０２は所定の期間にわたってユーザ３０２の複数の観察を行うことが可能になる。レーダフレーミング構造は、図３－２に関してさらに記載されるように、チャープ３１０－１～３１０－Ｎのタイミングを決定する。

【0050】

図３－２は、ジェスチャ認識のための例示的なレーダフレーミング構造３１２を示す。示される構成では、レーダフレーミング構造３１２は、３つの異なるタイプのフレームを含む。トップレベルでは、レーダフレーミング構造３１２は、アクティブ状態または非アクティブ状態にあり得るメインフレーム３１４のシーケンスを含む。一般的に言うと、アクティブ状態は、非アクティブ状態に対してより多くの量の電力を消費する。中間レベルでは、レーダフレーミング構造３１２は、同様にアクティブ状態または非アクティブ状態にあり得る特徴フレーム３１６のシーケンスを含む。異なるタイプの特徴フレーム３１６は、パルスモード特徴フレーム３１８（図３－２の左下に示される）およびバーストモード特徴フレーム３２０（図３－２の右下に示される）を含む。低レベルでは、レーダフレーミング構造３１２は、同様にアクティブ状態または非アクティブ状態にあり得るレーダフレーム（ＲＦ）３２２のシーケンスを含む。

【0051】

レーダシステム１０２は、アクティブなレーダフレーム３２２の間にレーダ信号を送信および受信する。いくつかの状況では、レーダフレーム３２２は、サーチおよびトラッキング、クラッタマップ生成、ならびに、ユーザ位置決定などの基本的なレーダ動作のために個々に分析される。各アクティブなレーダフレーム３２２の間に収集されるレーダデータは、レーダフレーム３２２の完了後にバッファに保存され得るか、または、図２のシステムプロセッサ２１６に直接提供され得る。

【0052】

レーダシステム１０２は、複数のレーダフレーム３２２にわたって（たとえば、アクティブな特徴フレーム３１６に関連付けられるレーダフレーム３２２のグループにわたって）レーダデータを分析して、１つ以上のレーダ機能（たとえば、ジェスチャ認識、存在検出、衝突回避、または、人間のバイタルサイン検出）に関連付けられる特定の特徴を識別する。例示的なタイプの特徴は、特定のタイプのモーション、特定の付属肢またはジェスチャ装置（たとえば、手、個々の指、または、スタイラス）に関連付けられるモーション、ジェスチャの異なる部分に関連付けられる特徴、および、ユーザまたは別の対象の少なくとも部分の位置を含む。アクティブなメインフレーム３１４の間にユーザ３０２によって実行されるジェスチャを認識するために、たとえば、レーダシステム１０２は、１つ以上のアクティブな特徴フレーム３１６に関連付けられるレーダデータを分析する。

【0053】

レーダ機能のタイプに依存して、メインフレーム３１４の持続時間は、ミリ秒または秒のオーダ（たとえば、約１０ｍｓと１０秒（ｓ）との間）であり得る。アクティブなメインフレーム３１４－１および３１４－２が発生した後、レーダシステム１０２は、非アクティブなメインフレーム３１４－３および３１４－４によって示されるように非アクティブである。非アクティブなメインフレーム３１４－３および３１４－４の持続時間は、数十ミリ秒以上（たとえば、５０ｍｓ超）のオーダであり得るディープスリープ時間３２４によって特徴付けられる。例示的な実現例では、レーダシステム１０２は、ディープスリープ時間３２４中に電力を節約するために、トランシーバ２１４内のアクティブな構成要素（たとえば、増幅器、アクティブフィルタ、電圧制御発振器（ＶＣＯ: voltage-controlled oscillator）、電圧制御バッファ、マルチプレクサ、アナログデジタルコンバータ、位相ロックループ（ＰＬＬ: phase-lock loop）または水晶発振器）のすべてをオフにする。

【0054】

示されるレーダフレーミング構造３１２では、各メインフレーム３１４はＫ個の特徴フレーム３１６を含み、Ｋは正の整数である。メインフレーム３１４が非アクティブ状態にある場合、そのメインフレーム３１４に関連付けられる特徴フレーム３１６のすべても非アクティブ状態にある。対照的に、アクティブなメインフレーム３１４は、Ｊ個のアクティブな特徴フレーム３１６と、Ｋ－Ｊ個の非アクティブな特徴フレーム３１６とを含み、ＪはＫ以下の正の整数である。フレーム３１６の量は、ジェスチャの複雑性に基づき得、かつ、数個から１００個の特徴フレーム３１６を含み得る（たとえば、Ｋは２、１０、３０、６０または１００に等しくあり得る）。各特徴フレーム３１６の持続時間は、ミリ秒のオーダ（たとえば、約１ｍｓと５０ｍｓとの間）であり得る。

【0055】

電力を節約するために、アクティブな特徴フレーム３１６－１～３１６－Ｊは、非アクティブな特徴フレーム３１６－（Ｊ＋１）～３１６－Ｋの前に生じる。非アクティブな特徴フレーム３１６－（Ｊ＋１）～３１６－Ｋの持続時間は、スリープ時間３２６によって特徴付けられる。これにより、非アクティブな特徴フレーム３１６－（Ｊ＋１）～３１６－Ｋは、レーダシステム１０２が、非アクティブな特徴フレーム３１６－（Ｊ＋１）～３１６－Ｋをアクティブな特徴フレーム３１６－１～３１６－Ｊとインターリーブし得る他の技術に対して、より長い持続時間にわたってパワーダウン状態にあり得るように連続的に実行される。一般的に言うと、スリープ時間３２６の持続時間を増加させることによって、レーダシステム１０２が、より長い起動時間を必要とするトランシーバ２１４内の構成要素をオフにすることが可能になる。

【0056】

各特徴フレーム３１６はＬ個のレーダフレーム３２２を含み、ＬはＪまたはＫに等しくても等しくなくてもよい正の整数である。いくつかの実現例では、レーダフレーム３２２の量は、異なる特徴フレーム３１６にわたって変動し得、数フレームまたは数百フレームを含み得る（たとえば、Ｌは５、１５、３０、１００または５００に等しくあり得る）。レーダフレーム３２２の持続時間は、数十または数千マイクロ秒（たとえば、約３０μｓと５ｍｓとの間）のオーダであり得る。特定の特徴フレーム３１６内のレーダフレーム３２２は、特定の特徴またはジェスチャの検出を促進する所定の検出範囲、範囲分解能、またはドップラー感度のためにカスタマイズされ得る。たとえば、レーダフレーム３２２は、特定のタイプの変調、帯域幅、周波数、送信パワー、または、タイミングを利用し得る。特徴フレーム３１６が非アクティブ状態にある場合、その特徴フレーム３１６に関連付けられるレーダフレーム３２２のすべても非アクティブ状態にある。

【0057】

パルスモード特徴フレーム３１８およびバーストモード特徴フレーム３２０は、レーダフレーム３２２の異なるシーケンスを含む。一般的に言うと、アクティブなパルスモード特徴フレーム３１８内のレーダフレーム３２２は、所定の量だけ時間が分離されたパルスを送信する。これは、時間にわたって観察を分散させることになり、これにより、バーストモード特徴フレーム３２０に対してパルスモード特徴フレーム３１８内の観察されたチャープ３１０－１～３１０－Ｎにおけるより大きい変化により、レーダシステム１０２がジェスチャを認識することがより容易になり得る。対照的に、アクティブなバーストモード特徴フレーム３２０内のレーダフレーム３２２は、バーストモード特徴フレーム３２０の部分にわたって連続的にパルスを送信する（たとえば、パルスは所定の量の時間だけ分離されない）。これにより、以下にさらに記載されるように、より長い起動時間を有する構成要素を含むより大きな量の構成要素をオフにすることによって、アクティブなバーストモード特徴フレーム３２０が、パルスモード特徴フレーム３１８よりも少ない電力を消費することが可能になる。

【0058】

各アクティブなパルスモード特徴フレーム３１８内では、レーダフレーム３２２のシーケンスは、アクティブ状態と非アクティブ状態との間で交番する。各アクティブなレーダフレーム３２２は、三角形によって示されるチャープ３１０（たとえば、パルス）を送信する。チャープ３１０の持続時間は、アクティブ時間３２８によって特徴付けられる。アクティブ時間３２８の間、トランシーバ２１４内の構成要素は電源オンされる。アクティブなレーダフレーム３２２内の残り時間およびその後の非アクティブなレーダフレーム３２２の持続時間を含む短いアイドル時間３３０の間、レーダシステム１０２は、短いアイドル時間３３０の持続時間内に起動時間を有するトランシーバ２１４内の１つ以上のアクティブな構成要素をオフにすることによって電力を節約する。

【0059】

アクティブなバーストモード特徴フレーム３２０は、Ｐ個のアクティブなレーダフレーム３２２と、Ｌ－Ｐ個の非アクティブなレーダフレーム３２２とを含み、ＰはＬ以下の正の整数である。電力を節約するために、アクティブなレーダフレーム３２２－１～３２２－Ｐは、非アクティブなレーダフレーム３２２－（Ｐ＋１）～３２２－Ｌの前に生じる。非アクティブなレーダフレーム３２２－（Ｐ＋１）～３２２－Ｌの持続時間は、長いアイドル時間３３２によって特徴付けられる。非アクティブなレーダフレーム３２２（Ｐ＋１）～３２２－Ｌを一緒にグループ化することによって、レーダシステム１０２は、パルスモード特徴フレーム３１８の間に生じる短いアイドル時間３３０に対してより長い持続時間の間、パワーダウン状態にあり得る。さらに、レーダシステム１０２は、短いアイドル時間３３０よりも長く、長いアイドル時間３３２よりも短い起動時間を有するトランシーバ２１４内の付加的な構成要素をオフにし得る。

【0060】

アクティブなバーストモード特徴フレーム３２０内の各アクティブなレーダフレーム３２２は、チャープ３１０の部分を送信する。この例では、アクティブなレーダフレーム３２２－１～３２２－Ｐは、周波数が増加するチャープ３１０の部分を送信することと周波数が減少するチャープ３１０の部分を送信することとの間で交番する。

【0061】

レーダフレーミング構造３１２によって、各フレームタイプ内の調整可能なデューティサイクルを通じて電力が節約されることが可能になる。第１のデューティサイクル３３４は、特徴フレーム３１６の総量（Ｋ）に対するアクティブな特徴フレーム３１６の量（Ｊ）に基づく。第２のデューティサイクル３３６は、レーダフレーム３２２の総量（Ｌ）に対するアクティブなレーダフレーム３２２の量（たとえば、Ｌ／２またはＰ）に基づく。第３のデューティサイクル３３８は、レーダフレーム３２２の持続時間に対するチャープ３１０の持続時間に基づく。

【0062】

約２ミリワット（ｍＷ）の電力を消費し、かつ、約１ヘルツ（Ｈｚ）と４ヘルツ（Ｈｚ）との間のメインフレーム更新レートを有する電力状態のための例示的なレーダフレーミング構造３１２を考える。この例では、レーダフレーミング構造３１２は、約２５０ｍｓと１秒との間の持続時間を有するメインフレーム３１４を含む。メインフレーム３１４は、３１個のパルスモード特徴フレーム３１８（たとえば、Ｋは３１に等しい）を含む。３１個のパルスモード特徴フレーム３１８のうちの１つは、アクティブ状態にある。この結果、デューティサイクル３３４は３．２％にほぼ等しい。各パルスモード特徴フレーム３１８の持続時間は、約８ｍｓと３２ｍｓとの間である。各パルスモード特徴フレーム３１８は、８つのレーダフレーム３２２（たとえば、Ｌは８に等しい）から構成される。アクティブなパルスモード特徴フレーム３１８内では、８つすべてのレーダフレーム３２２がアクティブ状態にある。この結果、デューティサイクル３３６は１００％に等しい。各レーダフレーム３２２の持続時間は、約１ｍｓと４ｍｓとの間である。各アクティブなレーダフレーム３２２内のアクティブ時間３２８は、約３２μｓと１２８μｓとの間である。したがって、結果として生じるデューティサイクル３３８は、約３．２％である。この例示的なレーダフレーミング構造３１２は、良好なパフォーマンス結果をもたらすことが分かった。これらの良好なパフォーマンス結果は、良好なジェスチャ認識および存在検出に関するものである一方、低電力状態にあるハンドヘルドスマートフォンの用途の文脈においても良好な電力効率結果をもたらす。（図３－１の）レーダ送信信号３０６の生成および（図３－１の）レーダ受信信号３０８の処理が図４に関してさらに記載される。

【0063】

図４は、レーダシステム１０２の例示的なアンテナアレイ２１２および例示的なトランシーバ２１４を示す。示される構成では、トランシーバ２１４は、送信機４０２および受信機４０４を含む。送信機４０２は、少なくとも１つの電圧制御発振器４０６（ＶＣＯ４０６）および少なくとも１つの電力増幅器４０８（ＰＡ４０８）を含む。受信機４０４は、少なくとも２つの受信チャネル４１０－１～４１０－Ｍを含み、Ｍは１より大きい正の整数である。各受信チャネル４１０－１～４１０－Ｍは、少なくとも１つの低雑音増幅器４１２（ＬＮＡ４１２）と、少なくとも１つのミキサ４１４と、少なくとも１つのフィルタ４１６と、少なくとも１つのアナログデジタルコンバータ４１８（ＡＤＣ４１８）とを含む。

【0064】

アンテナアレイ２１２は、少なくとも１つの送信アンテナ要素４２０と、少なくとも２つの受信アンテナ要素４２２－１～４２２－Ｍとを含む。送信アンテナ要素４２０は送信機４０２に結合される。受信アンテナ要素４２２－１～４２２－Ｍは、それぞれ受信チャネル４１０－１～４１０－Ｍに結合される。

【0065】

送信中において、電圧制御発振器４０６は、無線周波数で周波数変調レーダ信号４２４を生成する。電力増幅器４０８は、送信アンテナ要素４２０を介した送信のために、周波数変調されたレーダ信号４２４を増幅する。送信された周波数変調レーダ信号４２４は、図３－２のレーダフレーミング構造３１２に基づく複数のチャープ３１０－１～３１０－Ｎを含み得るレーダ送信信号３０６によって表される。例として、レーダ送信信号３０６は、図３－２のバーストモード特徴フレーム３２０に従って生成され、１６個のチャープ３１０を含む（たとえば、Ｎは１６に等しい）。

【0066】

受信中において、各受信アンテナ要素４２２－１～４２２－Ｍは、レーダ受信信号３０８－１～３０８－Ｍのバージョンを受信する。一般に、レーダ受信信号３０８－１～３０８－Ｍのこれらのバージョン間の相対的な位相差は、受信アンテナ要素４２２－１～４２２－Ｍの位置の違いによる。各受信チャネル４１０－１～４１０－Ｍ内において、低雑音増幅器４１２はレーダ受信信号３０８を増幅し、ミキサ４１４は当該増幅されたレーダ受信信号３０８を周波数変調されたレーダ信号４２４と混合する。特に、ミキサは、ビート信号４２６を生成するためにレーダ受信信号３０８をダウンコンバートおよび復調するビーティング動作（beating operation）を実行する。

【0067】

ビート信号４２６の周波数は、周波数変調されたレーダ信号４２４とレーダ受信信号３０８との間の周波数差を表し、これは図３－１の傾斜範囲３０４に比例する。示されていないが、ビート信号４２６は、ユーザ３０２の異なる部分（たとえば、異なる指、手の異なる部分、もしくは、異なる身体部分）からの反射、または、異なる対象からの反射を表す複数の周波数を含み得る。いくつかの場合では、これらの異なる部分は、異なる速度で移動するか、異なる方向に移動するか、または、レーダシステム１０２に対して異なる傾斜範囲に位置決めされる。

【0068】

フィルタ４１６は、ビート信号４２６をフィルタリングし、アナログデジタルコンバータ４１８は、フィルタリングされたビート信号４２６をデジタル化する。受信チャネル４１０－１～４１０－Ｍは、処理のためにシステムプロセッサ２１６に提供されるデジタルビート信号４２８－１～４２８－Ｍをそれぞれ生成する。トランシーバ２１４の受信チャネル４１０－１～４１０－Ｍは、図５に示されるように、システムプロセッサ２１６に結合される。

【0069】

図５は、空間時間ニューラルネットワーク２２２を使用してジェスチャ認識を実行するためにレーダシステム１０２によって実現される例示的なスキームを示す。示される構成では、システムプロセッサ２１６は、ハードウェア抽象化モジュール２２０および空間時間ニューラルネットワーク２２２を実現する。システムプロセッサ２１６は、受信チャネル４１０－１～４１０－Ｍに接続される。システムプロセッサ２１６はさらに、コンピュータプロセッサ２０２と通信し得る。示されていないが、ハードウェア抽象化モジュール２２０および／または空間時間ニューラルネットワーク２２２は、コンピュータプロセッサ２０２によって実現され得る。

【0070】

この例では、ハードウェア抽象化モジュール２２０は、受信チャネル４１０－１～４１０－Ｍからデジタルビート信号４２８－１～４２８－Ｍを受け付ける。デジタルビート信号４２８－１～４２８－Ｍは、生または未処理の複合レーダデータを表す。ハードウェア抽象化モジュール２２０は、デジタルビート信号４２８－１～４２８－Ｍに基づいてハードウェア非依存の複合レーダデータ５０２－１～５０２Ｍを生成するために１つ以上の動作を実行する。ハードウェア抽象化モジュール２２０は、デジタルビート信号４２８－１～４２８－Ｍによって提供される複合レーダデータを、空間時間ニューラルネットワーク２２２によって予想される形態に変換する。いくつかの場合では、ハードウェア抽象化モジュール２２０は、異なる送信パワーレベルに関連付けられる振幅を正規化するか、または、複合レーダデータを周波数ドメイン表現に変換する。

【0071】

ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍは、大きさ情報および位相情報（たとえば、同相成分および直交成分）の両方を含む。いくつかの実現例では、ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍは、各受信チャネル４１０－１～４１０－Ｍについてのレンジドップラーマップおよび特定のアクティブな特徴フレーム３１６についてのレンジドップラーマップを含む。他の実現例では、ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍは、レンジドップラーマップの直交表現である複合干渉測定データを含む。別の例として、ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍは、アクティブな特徴フレーム３１６についてのデジタルビート信号４２８－１～４２８－Ｍの周波数ドメイン表現を含む。示されていないが、レーダシステム１０２の他の実現例は、デジタルビート信号４２８－１～４２８－Ｍを空間時間ニューラルネットワーク２２２に直接提供し得る。

【0072】

空間時間ニューラルネットワーク２２２は、学習された回帰または分類モデルを使用して、ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍを分析し、レーダアプリケーションデータ５０４を生成する。ジェスチャベースのアプリケーションの場合、レーダアプリケーションデータ５０４は、ユーザ３０２によって実行されるジェスチャに関する情報を提供する。たとえば、レーダアプリケーションデータ５０４は、ユーザ３０２によって実行されるジェスチャが左スワイプジェスチャであるかまたは右スワイプジェスチャであるかを示す。他の実現例では、レーダアプリケーションデータ５０４は、スワイプジェスチャの確率およびリーチジェスチャの確率といった、異なるタイプのジェスチャに関連付けられる異なる確率を示す。ジェスチャ認識に関して記載されているが、空間時間ニューラルネットワーク２２２および空間時間ニューラルネットワーク２２２のマシンラーニングアーキテクチャによって実行される学習手順は、存在検出、衝突回避、および、人間のバイタルサイン検出を含む他のタイプのアプリケーションをサポートするように適合され得る。

【0073】

いくつかの実現例では、空間時間ニューラルネットワーク２２２は、教師あり学習に依拠し、マシンラーニング学習目的のために測定された（たとえば、実際）データを記録する。学習によって、空間時間ニューラルネットワーク２２２が、ハードウェア非依存の複合レーダデータ５０２－１～５０２Ｍに基づいてレーダアプリケーションデータ５０４を生成するための非線形マッピング関数をラーニングすることが可能になる。他の実現例では、空間時間ニューラルネットワーク２２２は、非線形マッピング関数を決定するために教師なし学習に依拠する。

【0074】

例示的な学習手順は、リーチジェスチャまたはスワイプジェスチャなどの特定のジェスチャを選択および実行するようにユーザ３０２に促す。当該ジェスチャが実行される間、空間時間ニューラルネットワーク２２２は、入力（たとえば、ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍまたはデジタルビート信号４２８－１～４２８－Ｍである）として提供される複合レーダデータを記録する。空間時間ニューラルネットワーク２２２は、記録された入力データに基づいてジェスチャを認識するよう、マシンラーニングパラメータ（たとえば、係数、重み、または、バイアス）を調整する。決定されたマシンラーニングパラメータは、将来のジェスチャが認識されることを可能にするよう、システム媒体２１８によって格納されるか、または、空間時間ニューラルネットワーク２２２に事前にプログラムされる。いくつかの場合では、このプロセスは、ユーザ３０２がどのようにジェスチャを実行するかにおけるわずかな変動を空間時間ニューラルネットワーク２２２が考慮することを可能にするよう、複数回繰り返され得る。

【0075】

例示的なオフライン学習手順は、空間時間ニューラルネットワーク２２２を学習させるための正解データを生成するよう、モーションキャプチャシステムを使用する。モーションキャプチャシステムは、腕、手、胴または頭などの人の身体の異なる部分に配置される複数のマーカの位置を測定するよう、赤外線センサまたはカメラなどの複数の光学センサを含み得る。人がレーダシステム１０２に対して異なる位置に移動するかまたは異なるジェスチャを実行する間、入力データは、モーションキャプチャシステムからの位置データとともに記録される。モーションキャプチャシステムから記録された位置データは、レーダシステム１０２に対する位置測定に変換され、正解データを表す。付加的または代替的には、正解データは、行われるジェスチャのタイプを含む。空間時間ニューラルネットワーク２２２は、学習データと正解データとを一緒に分析し、誤差を最小限にするようマシンラーニングパラメータを調整する。いくつかの場合では、オフライン学習手順は、空間時間ニューラルネットワーク２２２を学習させるための相対的にノイズのない環境および高分解能正解データを提供し得る。

【0076】

付加的または代替的には、リアルタイム学習手順は、スマートデバイス１０４内の利用可能なセンサを使用して、空間時間ニューラルネットワーク２２２を学習させるための正解データを生成し得る。この場合、学習手順は、スマートデバイス１０４のユーザ３０２によって開始され得る。ユーザ３０２がスマートデバイス１０４の周りを動くかまたはジェスチャを実行する間、スマートデバイス１０４およびレーダシステム１０２の光センサ（たとえば、カメラまたは赤外線センサ）からのデータが収集され、正解データとして空間時間ニューラルネットワーク２２２に提供される。リアルタイム学習手順は、空間時間ニューラルネットワーク２２２が、ユーザ３０２について調整され、現在の環境条件を考慮し、かつ、スマートデバイス１０４の現在の位置または向きを考慮することを可能にする。

【0077】

空間時間ニューラルネットワーク２２２は、２つ以上の人工ニューラルネットワーク（たとえば、ニューラルネットワーク）を含む。ニューラルネットワークは、１つ以上の層に組織化された接続されたノード（たとえば、ニューロンまたはパーセプトロン）のグループを含む。例として、空間時間ニューラルネットワーク２２２は、入力層と、出力層と、入力層と出力層との間に位置決めされる１つ以上の隠れ層とを含むディープニューラルネットワークを含む。ディープニューラルネットワークのノードは、層間で部分的に接続または完全に接続され得る。

【0078】

いくつかの場合において、ディープニューラルネットワークは、再帰ディープニューラルネットワーク（たとえば、ロングショートタームメモリ（ＬＳＴＭ：long short-term memory）再帰ディープニューラルネットワーク）であり、ノード間の接続が、入力データシーケンスのその後の部分について入力データシーケンスの前の部分からの情報を保持するためのサイクルを形成する。他の場合には、ディープニューラルネットワークは、ノード間の接続がサイクルを形成しないフィードフォワードディープニューラルネットワークである。付加的または代替的には、空間時間ニューラルネットワーク２２２は、畳み込みニューラルネットワークなどの別のタイプのニューラルネットワークを含み得る。空間時間ニューラルネットワーク２２２の例示的な実現例が、図７－１に関してさらに記載される。

【0079】

図６－１は、ジェスチャ認識のための例示的なハードウェア抽象化モジュール２２０を示す。示される構成では、ハードウェア抽象化モジュール２２０は、前処理ステージ６０２および信号変換ステージ６０４を含む。前処理ステージ６０２は、デジタルビート信号４２８－１～４２８－Ｍ内において各チャープ３１０－１～３１０－Ｎに対して動作する。言い換えれば、前処理ステージ６０２は、各アクティブなレーダフレーム３２２について動作を実行する。この例では、前処理ステージ６０２は、デジタルビート信号４２８－１～４２８－Ｍをそれぞれ処理する１次元（１Ｄ）高速フーリエ変換（ＦＦＴ: Fast-Fourier Transform）モジュール６０６－１～６０６－Ｍを含む。フーリエ変換モジュールなど、同様の動作を実行する他のタイプのモジュールも可能である。

【0080】

信号変換ステージ６０４は、デジタルビート信号４２８－１～４２８－Ｍの各々内においてチャープ３１０－１～３１０－Ｍのシーケンスに対して動作する。言い換えると、信号変換ステージ６０４は、各アクティブな特徴フレーム３１６について動作を実行する。この例では、信号変換ステージ６０４は、バッファ６０８－１～６０８－Ｍと、２次元（２Ｄ）ＦＦＴモジュール６１０－１～６１０－Ｍとを含む。

【0081】

受信中において、１次元ＦＦＴモジュール６０６－１～６０６－Ｍは、デジタルビート信号４２８－１～４２８－Ｍ内においてチャープ３１０－１～３１０－Ｍに対して個別のＦＦＴ動作を行う。レーダ受信信号３０８－１～３０８－Ｍが１６個のチャープ３１０－１～３１０－Ｎ（たとえば、Ｎは１６に等しい）を含むと仮定すると、各１次元ＦＦＴモジュール６０６－１～６０６－Ｍは、１６個のＦＦＴ動作を実行して、チャープ６１２－１～６１２－Ｍごとの前処理された複合レーダデータを生成する。個々の動作が実行されると、バッファ６０８－１～６０８－Ｍは結果を格納する。ひとたびアクティブな特徴フレーム３１６に関連付けられるチャープ３１０－１～３１０－Ｍのすべてが前処理ステージ６０２によって処理されると、バッファ６０８－１～６０８－Ｍによって格納される情報は、対応する受信チャネル４１０－１～４１０－Ｍについての特徴フレーム６１４－１～６１４－Ｍごとの前処理された複合レーダデータを表す。

【0082】

２次元ＦＦＴモジュール６１０－１～６１０－Ｍはそれぞれ、前処理された複合レーダデータを特徴フレーム６１４－１～６１４－Ｍごとに処理して、ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍを生成する。この場合、ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍは、図６－２に関してさらに記載されるように、複合レンジドップラーマップを含む。

【0083】

図６－２は、ジェスチャ認識のためにハードウェア抽象化モジュール２２０によって生成される例示的なハードウェア非依存の複合レーダデータ５０２－１を示す。ハードウェア抽象化モジュール２２０は、受信チャネル４１０－１に関連付けられるデジタルビート信号４２８－１を処理するように示される。デジタルビート信号４２８－１は、時間ドメイン信号であるチャープ３１０－１～３１０－Ｍを含む。チャープ３１０－１～３１０－Ｍは、トランシーバ２１４によって受信され処理される順序で１次元ＦＦＴモジュール６０６－１に渡される。

【0084】

上述したように、１次元ＦＦＴモジュール６０６－１は、第１の時間にデジタルビート信号４２８－１の第１のチャープ３１０－１に対してＦＦＴ動作を実行する。バッファ６０８－１は、第１のチャープ３１０－１に関連付けられる前処理された複合レーダデータ６１２－１の第１の部分を格納する。１次元ＦＦＴモジュール６０６－１は、その後のチャープ３１０－２～３１０－Ｎを処理し続け、バッファ６０８－１は、前処理された複合レーダデータ６１２－１の対応する部分を格納し続ける。この処理は、チャープ３１０Ｍに関連付けられる前処理された複合レーダデータ６１２－Ｍの最後の部分をバッファ６０８－１が格納するまで継続する。

【0085】

この時点において、バッファ６０８－１は、特定の特徴フレーム６１４－１に関連付けられる前処理された複合レーダデータを格納する。特徴フレーム６１４－１ごとの前処理された複合レーダデータは、異なるチャープ３１０－１～３１０－Ｎと、異なるレンジビン６１６－１～６１６－Ａとにわたる大きさ情報（図示せず）および位相情報（図示せず）を表し、Ａは正の整数を表す。

【0086】

２次元ＦＦＴ６１０－１は、特徴フレーム６１４－１ごとの前処理された複合レーダデータを受け取り、レンジドップラーマップを表すハードウェア非依存の複合レーダデータ５０２－１を形成するよう２次元ＦＦＴ動作を実行する。レンジドップラーマップは、レンジビン６１６－１～６１６－Ａおよびドップラービン６１８－１～６１８－Ｂについての複合レーダデータを含み、Ｂは正の整数を表す。言い換えれば、各レンジビン６１６－１～６１６－Ａおよびドップラービン６１８－１～６１８－Ｂは、ともに大きさ情報および位相情報を表す実部および虚部を有する複素数を含む。レンジビン６１６－１～６１６－Ａの量は、６４または１２８のような、数十または数百のオーダであり得る（たとえば、Ａは６４または１２８に等しい）。ドップラービンの量は、３２、６４または１２４のような、数十または数百のオーダであり得る（たとえば、Ｂは３２、６４、または１２４に等しい）。ハードウェア非依存の複合レーダデータ５０２－１は、（図６－１の）ハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍとともに、図７－１に示されるように、空間時間ニューラルネットワーク２２２に提供される。

【0087】

図７－１は、ジェスチャ認識を実行するための例示的な空間時間ニューラルネットワーク２２２を示す。示される構成では、空間時間ニューラルネットワーク２２２は、空間再帰ネットワーク７０２および時間再帰ネットワーク７０４によってそれぞれ実現される２つのステージを含む。空間再帰ネットワーク７０２は、チャープレベル分析モジュール７０６および特徴レベル分析モジュール７０８を含む。一般に、空間再帰ネットワーク７０２は、各アクティブな特徴フレーム３１６について空間ドメインにわたってハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍを分析する。結果として生じるデータは、サーキュラーバッファ２２４によって格納される。時間再帰ネットワーク７０４は、２つ以上のアクティブな特徴フレーム３１６についてサーキュラーバッファ２２４内に格納されたデータを分析するアプリケーションレベル分析モジュール７１０を含む。これにより、時間再帰ネットワーク７０４は、アクティブなメインフレーム３１４の少なくとも部分について時間ドメインにわたってデータを分析する。いくつかの実現例では、サーキュラーバッファ２２４のサイズは、アクティブなメインフレーム３１４のアクティブな特徴フレーム３１６のすべてを格納することを可能にするために、アクティブなメインフレーム３１４の持続時間にカスタマイズされる。ジェスチャ認識の場合、アクティブなメインフレーム３１４の持続時間は、１つ以上のジェスチャの持続時間に関連付けられ得る。一般に、アプリケーションレベル分析モジュール７１０は、ジェスチャ認識、存在検出、衝突回避、および、人間のバイタルサイン検出を含む１つ以上のレーダベースアプリケーションをサポートするように設計される。

【0088】

受信中において、チャープレベル分析モジュール７０６は、各レンジビン６１６－１～６１６－Ａにわたる複合レーダデータを処理して、チャネルドップラーデータ７１２を生成する。特徴レベル分析モジュール７０８は、チャネルドップラーデータ７１２を分析して、アプリケーションレベル分析モジュール７１０に関連する１つ以上の特徴を特徴付ける特徴データ７１４を生成する。たとえば、特徴データ７１４は、ジェスチャ認識のために、ユーザ３０２によって実行されるジェスチャの特徴を特徴付け得る。サーキュラーバッファ２２４は、特徴データ７１４を格納する。

【0089】

時間にわたって、サーキュラーバッファ２２４は、異なるアクティブな特徴フレーム３１６に関連付けられる特徴データ７１４を格納する。２つ以上のアクティブな特徴フレーム３１６に関連付けられる特徴データ７１４は、特徴データの時間的セット７１６と呼ばれる。特徴データの時間的セット７１６は、アプリケーションレベル分析モジュール７１０に提供されるか、または、アプリケーションレベル分析モジュール７１０によってアクセスされる。アプリケーションレベル分析モジュール７１０は、特徴データの時間的セット７１６を分析してレーダアプリケーションデータ５０４を生成する。例として、レーダアプリケーションデータ５０４は、ユーザ３０２によって実行されるジェスチャのタイプに関する予測を含む。より大量のアクティブな特徴フレーム３１６に関連付けられる特徴データ７１４がサーキュラーバッファ２２４によって格納されるので、予測の精度が向上する。いくつかの場合では、アプリケーションレベル分析モジュール７１０は、メインフレーム３１４に関連付けられるその後の特徴フレーム３１６が空間再帰ネットワーク７０２によって処理されると、レーダアプリケーションデータ５０４を継続的に生成または更新する。代替的には、アプリケーションレベル分析モジュール７１０は、メインフレーム３１４に関連付けられる特徴フレーム３１６のすべて（または少なくとも部分）が空間再帰ネットワーク７０２によって処理されるまでレーダアプリケーションデータ５０４の生成を遅延させる。チャープレベル分析モジュール７０６、特徴レベル分析モジュール７０８およびアプリケーションレベル分析モジュール７１０の実現例が、図７－２～図７－４に関してさらに記載される。

【0090】

図７－２は、空間時間ニューラルネットワーク２２２の例示的なチャープレベル分析モジュール７０６を示す。示される構成では、チャープレベル分析モジュール７０６は、チャネルドップラー処理モジュール７１８－１～７１８－Ａを含む。各チャネルドップラー処理モジュール７１８－１～７１８－Ａは、１つ以上の層７２０－１～７２０－Ｑを有するニューラルネットワークを含み、Ｑは正の整数である。Ｑの値は、実現例に依存して変動し得る。例として、Ｑは、２、４または１０に等しくあり得る。層７２０－１～７２０－Ｑは、完全に接続され得るか、部分的に接続され得るか、フィードフォワードの態様で接続され得るか、および／または、再帰的な態様で接続され得る。層７２０－１～７２０－Ｑ内のノードは、たとえば、非線形正規化活性化関数を実行し得る。チャネルドップラー処理モジュール７１８－１～７１８－Ａはさらに、加算および乗算を実行し得る。

【0091】

チャネルドップラー処理モジュール７１８－１～７１８－Ａは、レンジビン６１６－１～６１６－Ａに従ってハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍのそれぞれの部分を受け付ける。特に、チャネルドップラー処理モジュール７１８－１は、受信チャネル４１０－１から４１０－Ｍのすべてにわたって、および、ドップラービン６１８－１から６１８－Ｂのすべてにわたって、第１のレンジビン６１６－１に関連付けられる複合レーダデータを受け付ける。各複素数は、層７２０－１の個々のノードへの入力として提供される。層７２０－１～７２０－Ｑは、非線形正規化活性化関数を使用してデータを分析して、チャネルドップラーデータ７１２－１を生成する。同様の動作が、チャネルドップラー処理モジュール７１８－２～７１８－Ａによっても実行される。組み合わされたチャネルドップラーデータ７１２－１～７１２－Ａはベクトルを表す。たとえば、３つの受信チャネル４１０－１～４１０－Ｍ（たとえば、Ｍは３に等しい）が存在し、３２個のドップラービン６１８－１～６１８－Ｂ（たとえば、Ｂは３２に等しい）が存在し、かつ、１６個のレンジビン６１６－１～６１６－Ａ（たとえば、Ａは１６に等しい）が存在しと仮定すると、チャネルドップラーデータ７１２－１～７１２－Ａは、特徴レベル分析モジュール７０８がジェスチャの１つ以上の特徴を識別することを可能にするよう、ドップラードメインにおける受信チャネルにわたる関係を表す値の１×１６ベクトルを形成する。

【0092】

図７－３は、空間時間ニューラルネットワーク２２２の例示的な特徴レベル分析モジュール７０８を示す。示される構成では、特徴レベル分析モジュール７０８は、１つ以上の再帰層７２２－１～７２２－Ｖを使用して実現され、Ｖは正の整数を表す。再帰層７２２－１～７２２－Ｖ内において、ノード間の接続は、その後のアクティブな特徴フレーム３１６について以前のアクティブな特徴フレーム３１６からの情報を保持するサイクルを形成する。再帰層７２２－１～７２２－Ｖを使用して、特徴レベル分析モジュール７０８は、ロングショートタームメモリ（ＬＳＴＭ）ネットワークまたは何らかの他の時間畳み込みネットワークを実現し得る。

【0093】

上に記載されるように、特徴レベル分析モジュール７０８は、レンジビン６１６－１～６１６－Ａにわたってチャネルドップラーデータ７１２－１～７１２－Ａを処理して特徴データ７１４を生成する。示されていないが、空間再帰ネットワーク７０２のいくつかの実現例は、再帰層７２２－Ｖの出力に接続される付加的な全結合層７２０を含み得る。チャープレベル分析モジュール７０６の層７２０と同様に、これらの層７２０も非線形変換を実行し得る。

【0094】

時間にわたって、アクティブな特徴フレーム３１６－１～３１６－Ｊに関連付けられる特徴データ７１４－１～７１４－Ｊは、サーキュラーバッファ２２４によって異なるメモリ要素に順次格納される。特徴データ７１４－１～７１４－Ｊは、図７－４に関してさらに記載されるように、アプリケーションレベル分析モジュール７０８によって処理される特徴データの時間的セット７１６を表す。

【0095】

図７－４は、空間時間ニューラルネットワーク２２２の例示的なアプリケーションレベル分析モジュール７１０を示す。示される構成では、アプリケーションレベル分析モジュール７０８は、１つ以上の再帰層７２４－１～７２４－Ｗを使用して実現され、Ｗは、Ｖに等しくても等しくなくてもよい正の整数を表す。再帰層７２４－１～７２４－Ｗを使用して、アプリケーションレベル分析モジュール７１０は、ロングショートタームメモリ（ＬＳＴＭ）ネットワークまたは時間畳み込みネットワークを実現し得る。アプリケーションレベル分析モジュール７１０は、随意に、アプリケーションレベル分析モジュール７１０の１つ以上の層を表す分類器モジュール７２６を含み得る。ジェスチャ認識の場合、分類器モジュール７２６は、左スワイプジェスチャ、右スワイプジェスチャ、または、リーチジェスチャなどの異なるタイプのジェスチャを区別し得る。いくつかの実現例では、分類器モジュール７２６は、異なるレーダベースアプリケーションをサポートし得る複数のヘッド（たとえば、複数のサブモジュール）を有する。たとえば、第１のヘッドは、存在検出をサポートするようユーザ３０２の存在を検出し得、第２のヘッドは、ジェスチャ認識をサポートするようユーザ３０２によって実行されるジェスチャを検出する。

【0096】

アプリケーションレベル分析モジュール７１０は、サーキュラーバッファ２２４内に格納される２つ以上の特徴データ７１４－１～７１４－Ｊを処理する。ジェスチャ認識の場合、アプリケーションレベル分析モジュール７１０は、特徴データ７１４－１～７１４－Ｊのうちの２つ以上に基づいて実行されるジェスチャのタイプに関する予測を形成する。いくつかの場合では、アプリケーションレベル分析モジュール７１０は、１５といったような特定された量の特徴データ７１４－１～７１４Ｊが利用可能になるまで予測を形成するのを待ち得る。アクティブなメインフレーム３１４が１５を超えるアクティブな特徴フレーム３１６を含む（たとえば、Ｊが１５を超える）場合、アプリケーションレベル分析モジュール７１０は、最後の１５個のアクティブな特徴フレーム３１６に基づいてその予測を更新し続け得る。一般に、予測の精度は、時間にわたって、または、より多くの量の特徴データ７１４－１～７１４－Ｊが分析される場合、増加する。

【0097】

分類器モジュール７２６は随意に、再帰層７２４－１～７２４－Ｗを使用して行われる予測をさらに改良し得る。たとえば、異なる方向性スワイプはスマートデバイス１０４の向きに関連付けられるので、分類器モジュール７２６は、当該異なる方向性スワイプ同士を区別し得る。特に、分類器モジュール７２６は、スワイプジェスチャがポートレートモードでのスワイプアップジェスチャであるか、または、ランドスケープモードでの左スワイプジェスチャであるかを決定し得る。このロジックを実現するために、分類器モジュール７２６は、分類器モジュール７２６によって検出されるジェスチャのタイプに従ってアクティベートするクラスノードを有する少なくとも１つの全結合層を含み得る。

【0098】

レーダシステムに関して記載されているが、空間時間ニューラルネットワーク２２２は、他のタイプのセンサまたは電磁システムによって提供されるデータにより動作するように修正され得る。一般に、これらのセンサまたは電磁システムは、信号の振幅、位相または周波数といった、空間を通って伝搬する信号の１つ以上の特性を符号化する能力を有する。例としては、ブルートゥース（登録商標）システム、ＷｉＧｉｇ（登録商標）システム、超音波センサ、および、ライダーセンサなどが挙げられる。

【0099】

例示的な方法
図８は、空間時間ニューラルネットワーク２２２を使用してジェスチャ認識を実行することが可能なスマートデバイスベースのレーダシステムの動作を実行するための例示的な方法８００を示す。方法８００は、実行される動作（または処置）のセットとして示されるが、必ずしも、当該動作が本明細書において示される順序または組み合わせに限定されない。さらに、当該動作の１つ以上のいずれかが、幅広いさまざまな付加的および／または代替的な方法を提供するよう、繰り返し、組み合わせ、再編成、リンクされてもよい。以下の議論の部分において、図１の環境１００－１～１００－６および図４または図５に詳述されるエンティティに対して参照がなされ得、それらへの参照は、例示のためにのみ行われる。当該技術は、１つのエンティティまたは１つのデバイス上で動作する複数のエンティティによる実行に限定されない。

【0100】

８０２において、レーダ送信信号は、レーダシステムのアンテナアレイを使用して送信される。たとえば、レーダシステム１０２は、図４に示すように、レーダ送信信号３０６を送信するよう少なくとも１つの送信アンテナ要素４２０を使用する。いくつかの実現例では、レーダ送信信号３０６は、図３に示すように、周波数が変調される複数のチャープ３１０－１～３１０－Ｎを含む。

【0101】

８０４において、アンテナアレイを使用してレーダ受信信号が受信される。レーダ受信信号は、少なくとも１人のユーザによって反射されるレーダ送信信号のバージョンを含む。たとえば、レーダシステム１０２は、図４に示すように、ユーザ３０２によって反射されたレーダ受信信号３０８のバージョンを受信するよう、少なくとも１つの受信アンテナ要素４２２を使用する。

【0102】

８０６において、レーダ受信信号に基づいて複合レーダデータが生成される。たとえば、レーダシステム１０２の受信チャネル４１０は、レーダ受信信号３０８に基づいてデジタルビート信号４２８を生成する。デジタルビート信号は、複合レーダデータを表し、大きさ情報および位相情報（たとえば、同相および直交情報）の両方を含む。

【0103】

８０８において、複合レーダデータは、レーダシステムの空間時間ニューラルネットワークに提供される。空間時間ニューラルネットワークは、マルチステージマシンラーニングアーキテクチャを含む。たとえば、受信チャネル４１０－１～４１０－Ｍは、図５に示すように、デジタルビート信号４２８－１～４２８－Ｍを空間時間ニューラルネットワーク２２２に提供する（たとえば、直接的に提供するか、または、ハードウェア抽象化モジュール２２０を介して間接的に提供する）。空間時間ニューラルネットワーク２２２は、図７－１の空間再帰ネットワーク７０２および時間再帰ネットワーク７０４を含むマルチステージマシンラーニングアーキテクチャを含む。空間再帰ネットワーク７０２は、空間時間ニューラルネットワーク２２２の第１のステージを表し、空間ドメインにわたって複合レーダデータを分析する。時間再帰ネットワーク７０４は、空間時間ニューラルネットワーク２２２の第２のステージを表し、時間ドメインにわたって空間時間ネットワーク７０２によって提供されるデータを分析する。

【0104】

８１０において、複合レーダデータは、少なくとも１人のユーザによって行われるジェスチャを認識するよう、空間時間ニューラルネットワークを使用して分析される。たとえば、空間時間ニューラルネットワーク２２２は、デジタルビート信号４２８－１～４２８－Ｍまたはハードウェア非依存の複合レーダデータ５０２－１～５０２－Ｍを分析して、ユーザ３０２によって実行されるジェスチャを識別するレーダアプリケーションデータ５０４を生成する。ジェスチャ認識について記載されているが、同様の動作が、存在検出、衝突回避およびバイタルサイン検出などを含む他のアプリケーションについても実行され得る。

【0105】

例示的なコンピューティングシステム
図９は、空間時間ニューラルネットワーク２２２を使用してジェスチャ認識を実現するよう、前述の図２を参照して記載されたような任意のタイプのクライアント、サーバおよび／またはコンピューティングデバイスとして実現され得る例示的なコンピューティングシステム９００のさまざまな構成要素を示す。

【0106】

コンピューティングシステム９００は、デバイスデータ９０４（たとえば、受信されたデータ、受信されているデータ、ブロードキャスト送信のためにスケジューリングされているデータ、または、データのデータパケット）の有線通信および／または無線通信を可能にする通信デバイス９０２を含む。示されていないが、通信デバイス９０２またはコンピューティングシステム９００は、１つ以上のレーダシステム１０２を含み得る。デバイスデータ９０４または他のデバイスコンテンツは、デバイスの構成設定、デバイスに格納されたメディアコンテンツ、および／または、デバイスのユーザ３０２に関連付けられる情報を含み得る。コンピューティングシステム９００上に格納されるメディアコンテンツは、任意のタイプのオーディオ、ビデオおよび／または画像データを含み得る。コンピューティングシステム９００は、１つ以上のデータ入力９０６を含み、当該１つ以上のデータ入力９０６を介して、任意のコンテンツソースおよび／またはデータソースから受信される人間の発話、レーダベースアプリケーション２０６、ユーザが選択可能な入力（明示的または暗黙的）、メッセージ、音楽、テレビメディアコンテンツ、記録されたビデオコンテンツ、ならびに、任意の他のタイプのオーディオ、ビデオおよび／または画像データといった任意のタイプのデータ、メディアコンテンツおよび／または入力が受信され得る。

【0107】

コンピューティングシステム９００はさらに、シリアルおよび／またはパラレルインターフェイス、無線インターフェイス、任意のタイプのネットワークインターフェイス、モデム、ならびに、任意の他のタイプの通信インターフェイスのうちのいずれか１つ以上として実現され得る通信インターフェイス９０８を含む。通信インターフェイス９０８は、コンピューティングシステム９００と、他の電子デバイス、コンピューティングデバイス、および、通信デバイスがコンピューティングシステム９００とデータを通信する通信ネットワークとの間の接続および／または通信リンクを提供する。

【0108】

コンピューティングシステム９００は、１つ以上のプロセッサ９１０（たとえば、マイクロプロセッサおよびコントローラなどのいずれか）を含み、当該１つ以上のプロセッサ９１０は、コンピューティングシステム９００の動作を制御し、かつ、飽和の存在下でのジェスチャ認識のための技術、または、飽和の存在下でジェスチャ認識が具現化され得る技術を可能にするよう、さまざまなコンピュータ実行可能命令を処理する。代替的または付加的には、コンピューティングシステム９００は、一般に９１２において識別される処理および制御回路に関連して実現されるハードウェア、ファームウェアまたは固定ロジック回路のうちのいずれか１つまたは組み合わせを使用して実現され得る。示されていないが、コンピューティングシステム９００は、デバイス内のさまざまな構成要素を結合するシステムバスまたはデータ転送システムを含み得る。システムバスは、メモリバスもしくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および／または、さまざまなバスアーキテクチャのいずれかを利用するプロセッサもしくはローカルバスといった異なるバス構造のうちのいずれか１つまたは組み合わせを含み得る。

【0109】

コンピューティングシステム９００はさらに、永続的および／または非一時的なデータ記憶（すなわち、単なる信号伝送とは対照的である）を可能にする１つ以上のメモリデバイスのようなコンピュータ可読媒体９１４を含み、その例は、ランダムアクセスメモリ（ＲＡＭ: random access memory）、不揮発性メモリ（たとえば、リードオンリメモリ（ＲＯＭ: read-only memory）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどのうちのいずれか１つ以上）、および、ディスク記憶デバイスを含む。ディスク記憶デバイスは、ハードディスクドライブ、記録可能および／または書換可能コンパクトディスク（ＣＤ: compact disc）、ならびに、任意のタイプのデジタルバーサタイルディスク（ＤＶＤ: digital versatile disc）などの任意のタイプの磁気または光学記憶デバイスとして実現されてもよい。コンピューティングシステム９００はさらに、大容量記憶媒体デバイス（記憶媒体）９１６を含み得る。

【0110】

コンピュータ可読媒体９１４は、デバイスデータ９０４と、さまざまなデバイスアプリケーション９１８と、コンピューティングシステム９００の動作的な局面に関係付けられる任意の他のタイプの情報および／またはデータとを格納するよう、データ記憶機構を提供する。たとえば、オペレーティングシステム９２０は、コンピュータ可読媒体９１４によりコンピュータアプリケーションとして維持され、プロセッサ９１０上で実行され得る。デバイスアプリケーション９１８は、任意の形態の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに対してネイティブであるコード、および、特定のデバイスのためのハードウェア抽象化層などといったデバイスマネージャを含み得る。

【0111】

デバイスアプリケーション９１８はさらに、マシンラーニングを使用して角度推定を実現するよう、任意のシステム構成要素、エンジン、または、マネージャを含む。この例では、デバイスアプリケーション９１８は、図２のレーダベースアプリケーション２０６および空間時間ニューラルネットワーク２２２を含む。

【0112】

結論
空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステムを使用する技術および当該スマートデバイスベースのレーダシステムを含む装置が、特徴および／または方法に特有の言語で記載されているが、添付の請求の範囲の主題は、必ずしも、記載される特定の特徴または方法に限定されないことが理解されるべきである。むしろ、特定の特徴および方法は、空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステムの例示的な実現例として開示される。

【0113】

いくつかの例を以下に説明する。
例１：レーダシステムによって実行される方法であって、
前記レーダシステムのアンテナアレイを使用してレーダ送信信号を送信することと、
前記アンテナアレイを使用してレーダ受信信号を受信することとを含み、前記レーダ受信信号は、少なくとも１人のユーザによって反射される前記レーダ送信信号のバージョンを含み、
前記方法はさらに、
前記レーダ受信信号に基づいて複合レーダデータを生成することと、
前記複合レーダデータを前記レーダシステムの空間時間ニューラルネットワークに提供することとを含み、前記空間時間ニューラルネットワークは、マルチステージマシンラーニングアーキテクチャを含み、
前記方法はさらに、
前記少なくとも１人のユーザによって実行されるジェスチャを認識するよう、前記空間時間ニューラルネットワークを使用して前記複合レーダデータを分析することを含む、方法。

【0114】

例２：前記複合レーダデータを分析することは、前記ジェスチャを認識するよう、マシンラーニング技術を使用して、前記複合レーダデータの大きさ情報および位相情報の両方を分析することを含む、例１に記載の方法。

【0115】

例３：前記マルチステージマシンラーニングアーキテクチャは、空間再帰ネットワークと時間再帰ネットワークとを含み、
前記複合レーダデータを分析することは、
前記ジェスチャに関連付けられる特徴データを生成するよう、前記空間再帰ネットワークを使用して、空間ドメインにわたって前記複合レーダデータを分析することと、
前記ジェスチャを認識するよう、前記時間再帰ネットワークを使用して、時間ドメインにわたって特徴データを分析することとを含む、例１または２に記載の方法。

【0116】

例４：前記特徴データをサーキュラーバッファ内に格納することと、
前記時間再帰ネットワークが、前記サーキュラーバッファ内に格納された前記特徴データにアクセスすることとをさらに含む、例３に記載の方法。

【0117】

例５：前記空間ドメインにわたって前記複合レーダデータを分析することは、
各レンジビンについてチャネルドップラーデータを生成するよう、非線形活性化関数を使用して、異なるレンジビンに関連付けられる前記複合レーダデータの部分を別々に処理することと、
前記特徴データを生成するよう、前記異なるレンジビンにわたって前記チャネルドップラーデータを分析することとを含む、例３または４に記載の方法。

【0118】

例６：前記時間ドメインにわたって前記特徴データを分析することは、少なくとも２つの異なる時間フレームに関連付けられる前記特徴データを分析することによって、前記ジェスチャに関する予測を形成することを含む、例３～５のいずれかに記載の方法。

【0119】

例７：前記空間再帰ネットワークは、チャープレベル分析モジュールおよび特徴レベル分析モジュールを含む、例３～６のいずれかに記載の方法。

【0120】

例８：前記時間再帰ネットワークは、アプリケーションレベル分析モジュールを含む、例３～７のいずれかに記載の方法。

【0121】

例９：前記複合レーダデータは、
複合レンジ－ドップラーマップ、
複合干渉測定データ、
前記レーダ受信信号に関連付けられる複数のデジタルビート信号、または
前記複数のデジタルビート信号の周波数ドメイン表現
のうちの少なくとも１つを含む、先行する例のいずれかに記載の方法。

【0122】

例１０：前記ジェスチャは、
スワイプジェスチャ、
リーチジェスチャ、
ノブ回転ジェスチャ、または
スピンドルねじりジェスチャ
のうちの少なくとも１つを含む、先行する例のいずれかに記載の方法。

【0123】

例１１：前記レーダ受信信号を受信することは、前記レーダシステムの異なるアンテナ要素を使用して前記レーダ受信信号の複数のバージョンを受信することを含み、
前記複合レーダデータを生成することは、前記レーダシステムのそれぞれの受信チャネルを使用してデジタルビート信号を生成することを含み、前記それぞれの受信チャネルは、それぞれ異なる前記アンテナ要素に接続される、先行する例のいずれかに記載の方法。

【0124】

例１２：前記空間再帰ネットワークによって処理される前記特徴データは、前記サーキュラーバッファによって格納され、前記特徴データの時間セットは、前記時間再帰ネットワークによってアクセスされる、例４～１１のいずれかに記載の方法。

【0125】

例１３：
レーダシステムを含み、
前記レーダシステムは、
アンテナアレイと、
トランシーバと、
例１～１２に記載の方法のいずれかを実行するように構成されるプロセッサおよびコンピュータ可読記憶媒体とを含む、装置。

【0126】

例１４：前記装置は、スマートデバイスを含み、
前記スマートデバイスは、
スマートフォン、
スマートウォッチ、
スマートスピーカ、
スマートサーモスタット、
セキュリティカメラ、
車両、または
家庭用電化製品
のうちの１つを含む、例１３に記載の装置。

【0127】

例１５：プロセッサによる実行に応答して、空間時間ニューラルネットワークを実現するコンピュータ実行可能命令を含むコンピュータ可読記憶媒体であって、
前記空間時間ニューラルネットワークは、
少なくとも１つの対象によって反射されるレーダ受信信号に関連付けられる複合レーダデータを受け付けることと、
特徴データを生成するよう、空間ドメインにわたって前記複合レーダデータを分析することと、
レーダアプリケーションデータを生成するよう、時間ドメインにわたって前記特徴データを分析することと、
前記レーダアプリケーションデータをレーダベースアプリケーションに渡すこととを行うように構成される、コンピュータ可読記憶媒体。

【0128】

例１６：前記空間時間ニューラルネットワークはさらに、前記レーダアプリケーションデータを生成するよう、前記複合レーダデータの大きさ情報および位相情報の両方を分析するように構成される、例１５に記載のコンピュータ可読記憶媒体。

【0129】

例１７：前記少なくとも１つの対象はユーザを含み、
前記レーダアプリケーションデータは、前記ユーザによって実行されるジェスチャを識別し、
前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、前記レーダベースアプリケーションを実現し、
前記レーダベースアプリケーションは、
前記レーダアプリケーションデータを受け付けることと、
識別された前記ジェスチャに基づいて、前記ユーザにコンテンツを表示することとを行うように構成される、例１５または１６に記載のコンピュータ可読記憶媒体。

【0130】

例１８：前記空間時間ニューラルネットワークはさらに、
前記ユーザに前記ジェスチャを実行するように促すことと、
前記ユーザが前記ジェスチャを実行している間に、前記複合レーダデータを学習データとして記録することと、
前記ユーザによって実行される将来のジェスチャを認識するよう、学習手順を実行することとを行うように構成される、例１７に記載のコンピュータ可読記憶媒体。

【0131】

例１９：前記少なくとも１つの対象はスタイラスを含み、
前記レーダアプリケーションデータは、前記スタイラスを使用してユーザによって実行されるジェスチャを識別する、例１５または１６に記載のコンピュータ可読記憶媒体。

【0132】

例２０：前記少なくとも１つの対象は、無生物対象とユーザとを含み、
前記レーダアプリケーションデータは、前記無生物対象と前記ユーザとの間の潜在的な衝突を識別し、
前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、レーダベースアプリケーションを実現し、
前記レーダベースアプリケーションは、
前記レーダアプリケーションデータを受け付けることと、
前記潜在的な衝突について前記ユーザに警告することとを行うように構成される、例１５または１６に記載のコンピュータ可読記憶媒体。

【0133】

例２１：前記少なくとも１つの対象はユーザを含み、
前記レーダアプリケーションデータは、前記ユーザの測定されたバイタルサインを含み、
前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、レーダベースアプリケーションを実現し、
前記レーダベースアプリケーションは、
前記レーダアプリケーションデータを受け付けることと、
前記測定されたバイタルサインを前記ユーザに知らせることとを行うように構成される、例１５または１６に記載のコンピュータ可読記憶媒体。

【0134】

例２２：前記コンピュータ実行可能命令は、前記プロセッサによる実行に応答して、ハードウェア抽象化モジュールを実現し、
前記ハードウェア抽象化モジュールは、
前記複合レーダデータに基づいて、ハードウェア非依存の複合レーダデータを生成することと、
前記ハードウェア非依存の複合レーダデータを前記複合レーダデータとして前記空間時間ニューラルネットワークに提供することとを行うように構成される、例１５～２１のいずれかに記載のコンピュータ可読記憶媒体。

【0135】

例２３：コンピュータ実行可能命令を含むコンピュータ可読記憶媒体であって、
前記コンピュータ実行可能命令は、プロセッサによる実行に応答して、マルチステージマシンラーニングアーキテクチャを含む空間時間ニューラルネットワークを実現し、
前記空間時間ニューラルネットワークは、
少なくとも１つの対象によって反射されるレーダ受信信号に関連付けられる複合レーダデータを受け付けることと、
前記少なくとも１人のユーザによって行われるジェスチャを認識するよう、前記複合レーダデータを分析することと
を行うように構成される、コンピュータ可読記憶媒体。

【0136】

例２４：前記空間時間ニューラルネットワークはさらに、
特徴データを生成するよう、空間ドメインにわたって前記複合レーダデータを分析することと、
レーダアプリケーションデータを生成するよう、時間ドメインにわたって前記特徴データを分析することと、
前記レーダアプリケーションデータをレーダベースアプリケーションに渡すことと
を行うように構成される、例２３に記載のコンピュータ可読記憶媒体。

【図1】

【図2】

【図3-1】

【図3-2】

【図4】

【図5】

【図6-1】

【図6-2】

【図7-1】

【図7-2】

【図7-3】

【図7-4】

【図8】

【図9】