特表2024-539493シーンのレーダ画像を生成するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】シーンのレーダ画像を生成するためのシステムおよび方法
(51)【国際特許分類】
G01S 13/90 20060101AFI20241018BHJP
G01S 13/931 20200101ALI20241018BHJP
【ＦＩ】
G01S13/90 191
G01S13/931
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024546685
(86)(22)【出願日】2022-09-29
(85)【翻訳文提出日】2024-04-17
(86)【国際出願番号】 JP2022037357
(87)【国際公開番号】W WO2023074299
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】63/263,120
(32)【優先日】2021-10-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/649,814
(32)【優先日】2022-02-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】マンスール，ハッサン
(72)【発明者】
【氏名】ロフィット，スハス
(72)【発明者】
【氏名】ボウフォウノス，ペトロス
【テーマコード（参考）】
5J070
【Ｆターム（参考）】
5J070AB01
5J070AD06
5J070AE01
5J070AF04
5J070BB04
5J070BB06
5J070BF11
(57)【要約】
本開示は、シーンのレーダ画像を生成するためのシステムおよび方法を提供する。本方法は、アンテナのセットから収集されたシーンのレーダ測定値を受信することを含み、アンテナのセットは、アンテナの各々の位置の曖昧さおよびクロックの曖昧さの１つまたは組合せによって引き起こされる不確実性の下にある。本方法はさらに、疎復元問題を解くことによってシーンのレーダ画像を生成するステップを含む。疎復元問題は、終了条件が満たされるまで、アンテナの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断し、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新する。疎復元問題は、レーダ画像の推定値のフィルタリングのノイズを除去するニューラルネットワークノイズ除去器で解決される。
【特許請求の範囲】
【請求項1】
シーンのレーダ画像を生成するためのシステムであって、少なくとも１つのプロセッサと、命令が記憶されるメモリとを備え、前記命令は前記少なくとも１つのプロセッサによって実行されると、前記システムに、アンテナのセットから収集された前記シーンのレーダ測定値を受信させ、前記レーダ測定値は、前記シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、前記命令は、さらに、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
疎復元問題を解くことによって前記シーンの前記レーダ画像を生成させ、前記疎復元問題は、
前記アンテナのセットの異なる不確実性に対応する前記レーダ画像の画像シフトのセットを判断し、
終了条件が満たされるまで、前記判断されたレーダ画像の画像シフトのセットに基づいて、前記レーダ画像の推定値を更新するよう構成され、前記アンテナの各々について、前記レーダ画像の対応するシフトによってシフトされた前記レーダ画像の前記推定値は、前記アンテナの前記レーダ測定値に適合し、
前記疎復元問題は、前記レーダ画像の前記推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、前記命令は、さらに、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
前記終了条件が満たされる場合に前記レーダ画像をレンダリングさせる、システム。
【請求項2】
前記レーダ画像の前記推定値の前記フィルタリングは、前進レーダ演算子および随伴レーダ演算子を前記レーダ画像の前記推定値に適用することによって実行される、請求項１に記載のシステム。
【請求項3】
前記ニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む、請求項１に記載のシステム。
【請求項4】
前記ニューラルネットワークノイズ除去器は、入力画像および出力画像を含むトレーニングデータセットに基づいてトレーニングされ、前記入力画像は、逆射影画像を含み、前記出力画像は、グラウンドトゥルース物体レーダ画像を含む、請求項１に記載のシステム。
【請求項5】
前記シーンは、少なくとも１つの移動物体を含む、請求項１に記載のシステム。
【請求項6】
トラッカをさらに備え、前記トラッカは、少なくとも前記レーダ画像に基づいて、前記少なくとも１つの移動物体の状態を判断するよう構成される、請求項５に記載のシステム。
【請求項7】
前記少なくとも１つの移動物体の前記状態は、前記少なくとも１つの移動物体のサイズ、向き、および位置のうちの１つまたは組合せを含む、請求項６に記載のシステム。
【請求項8】
前記アンテナのセットは、前記アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性下にある、請求項１に記載のシステム。
【請求項9】
シーンのレーダ画像を生成する方法であって、アンテナのセットから収集された前記シーンのレーダ測定値を受信することを含み、前記レーダ測定値は、前記シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、前記方法はさらに、
疎復元問題を解くことによって前記シーンの前記レーダ画像を生成することを含み、前記疎復元問題は、
前記アンテナのセットの異なる不確実性に対応する前記レーダ画像の画像シフトのセットを判断し、
終了条件が満たされるまで、前記判断されたレーダ画像の画像シフトのセットに基づいて、前記レーダ画像の推定値を更新するよう構成され、前記アンテナの各々について、前記レーダ画像の対応するシフトによってシフトされた前記レーダ画像の前記推定値は、前記アンテナの前記レーダ測定値に適合し、
前記疎復元問題は、前記レーダ画像の前記推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、前記方法はさらに、
前記終了条件が満たされる場合に前記レーダ画像をレンダリングすることを含む、方法。
【請求項10】
前記レーダ画像の前記推定値の前記フィルタリングは、前進レーダ演算子および随伴レーダ演算子を前記レーダ画像の前記推定値に適用することによって実行される、請求項９に記載の方法。
【請求項11】
前記ニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む、請求項９に記載の方法。
【請求項12】
前記ニューラルネットワークノイズ除去器は、入力画像および出力画像を含むトレーニングデータセットに基づいてトレーニングされ、前記入力画像は、逆射影画像を含み、前記出力画像は、グラウンドトゥルース物体レーダ画像を含む、請求項９に記載の方法。
【請求項13】
前記シーンは移動物体を含む、請求項９に記載の方法。
【請求項14】
前記アンテナのセットは、前記アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性下にある、請求項９に記載の方法。
【請求項15】
シーンのレーダ画像を生成する方法を実行するためにプロセッサによって実行可能なプログラムが具現化された非一時的なコンピュータ可読記憶媒体であって、前記方法は、アンテナのセットから収集された前記シーンのレーダ測定値を受信することを含み、前記レーダ測定値は、前記シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、前記方法はさらに、
疎復元問題を解くことによって前記シーンの前記レーダ画像を生成することを含み、前記疎復元問題は、
前記アンテナのセットの異なる不確実性に対応する前記レーダ画像の画像シフトのセットを判断し、
終了条件が満たされるまで、前記判断されたレーダ画像の画像シフトのセットに基づいて、前記レーダ画像の推定値を更新するよう構成され、前記アンテナの各々について、前記レーダ画像の対応するシフトによってシフトされた前記レーダ画像の前記推定値は、前記アンテナの前記レーダ測定値に適合し、
前記疎復元問題は、前記レーダ画像の前記推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、前記方法はさらに、
前記終了条件が満たされる場合に前記レーダ画像をレンダリングすることを含む、非一時的なコンピュータ可読記憶媒体。
【請求項16】
前記レーダ画像の前記推定値の前記フィルタリングは、前進レーダ演算子および随伴レーダ演算子を前記レーダ画像の前記推定値に適用することによって実行される、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【請求項17】
前記ニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【請求項18】
前記ニューラルネットワークノイズ除去器は、入力画像および出力画像を含むトレーニングデータセットに基づいてトレーニングされ、前記入力画像は、逆射影画像を含み、前記出力画像は、グラウンドトゥルース物体レーダ画像を含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【請求項19】
前記シーンは移動物体を含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【請求項20】
前記アンテナのセットは、前記アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性下にある、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概してレーダシステムに関し、より詳細には、シーンのレーダ画像を生成するためのシステムおよび方法に関する。
【背景技術】
【0002】
高分解能レーダ撮像は、合成開口レーダ（ＳＡＲ）および壁貫通レーダ撮像（ＴＷＩ）を含む、種々の遠隔感知用途で使用される。レーダのダウンレンジ分解能は送信パルスの帯域幅によって制御され、クロスレンジ（方位）分解能はレーダアレイの開口に依存する。大きな物理的開口を生成することは、実際には、各々が比較的小さな開口を有するいくつかの分散アンテナまたはアレイを展開することによって達成される。アンテナの分散セットアップは、レーダプラットフォーム配置の柔軟性を可能にし、運用および保守コストを低減し、センサ故障に対するロバスト性を追加する。スパース性、アンテナ位置の正確な知識、および受信信号の完全な同期などの、シーンの事前の知識を活用することは、レーダ撮像分解能を著しく改善することが示されている。
【0003】
分散セットアップを使用するレーダ撮像における主な課題は、不正確な較正または様々な位置摂動に起因するアンテナの位置を識別することができることである。全地球測位システム（ＧＰＳ）などの現代のナビゲーションシステムは位置を測定することができるが、位置摂動による位置誤差の可能性は、高分解能分散レーダ撮像の範囲を超えている。例えば、車両搭載レーダシステムの場合、車両が予め設計された軌道に沿って移動しているとき、平滑でない路面または変動する運転速度および方向に起因して位置摂動が導入される。これらの位置摂動は、レーダ中心周波数のいくつかの波長と同じ大きさであり得る。その結果、位置摂動を考慮せずに標準的な再構築技術を適用すると、焦点が合っていないレーダ画像が生成される。
【0004】
アンテナ位置誤差を補償するツールを開発することによって、特にＳＡＲ設定におけるレーダオートフォーカス問題に対処した多数の解決策がある。しかしながら、この問題は設定不良であり、この問題を解決することは、解を見つけることが困難な計算上厳しいプロセスである。そのために、いくつかの方法は、レーダオートフォーカス問題に追加の制約を課して、この問題を扱いやすくする。しかしながら、これらの追加の制約は常に望ましいとは限らない。
【0005】
したがって、未知の位置摂動を有するアンテナの自動焦点合わせのためのレーダ撮像システムおよび方法が必要とされている。
【発明の概要】
【0006】
いくつかの実施形態の目的は、未知の位置摂動を有する様々なアンテナの測定値を融合することによってシーンのレーダ画像を生成するためのレーダシステムおよび方法を提供することである。具体的には、いくつかの実施形態の目的は、シーンのレーダ画像を生成するためのニューラルネットワークノイズ除去器ベースのレーダオートフォーカス問題を定式化することである。
【0007】
いくつかの実施形態は、分散アレイ撮像（すなわち、分散アンテナセットアップ）において生じる基本的な課題が、アンテナのセットの各アンテナの位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性に由来する、という理解に基づく。いくつかの実施形態は、位置の曖昧さを伴う分散アンテナのレーダオートフォーカス問題が、膨大な数の未知数を有する不良設定問題であり得る、という認識に基づく。具体的には、レーダオートフォーカス問題が、位置の曖昧さを符号化する誤ったレーダ演算子によって引き起こされる誤った測定から正しいレーダ画像を復元することとして定式化されるとき、関心領域（ＲＯＩ）の各測定は、位置の曖昧さによって引き起こされる誤差を含む。さらに、アンテナの位置における測定値と誤差との間の関係の非線形性により、同じアンテナからの測定値の各サンプルは異なる誤差を有し得、それによってレーダオートフォーカス問題のモデルにおける未知数の数を増加させる。
【0008】
【数1】
ｘは、レーダ画像ｘについて合計Ｎ個の未知値をもたらすサイズｓｑｒｔ（Ｎ）×ｓｑｒｔ（Ｎ）の未知レーダ画像である。あらゆる新たな測定ｙｍはＦ個の方程式を追加するが、Ｆ＋Ｎ個の未知数ももたらす。したがって、Ｍ個の測定値について、結果として生じる方程式の系は、ＭＦ＋Ｎ個の未知数を有するＭＦ個の方程式を含む。これは、測定の数にかかわらず、未知数の数が、方程式の数よりも常に大きくなることになるので、問題である。
【0009】
いくつかの実施形態は、レーダオートフォーカス問題が、正しい測定値および正しいレーダ演算子から不正確なレーダ画像を復元するものとして再定式化され得る、という認識に基づく。一方では、そのような再定式化は意味をなさない。しかしながら、いくつかの実施形態は、レーダオートフォーカス問題のそのような定式化を介して判断される誤ったレーダ画像が、線形シフトを通して正しいレーダ画像に関係し得る、という認識に基づく。この線形性により、同じアンテナからの測定の各サンプルは、同じ線形シフトを有する正しいレーダ画像を表す。
【0010】
そのために、位置の曖昧さは、レーダ画像ｘの領域において空間シフトカーネルとしてモデル化され得る。具体的には、新たな測定モデルは、以下によって与えられ、
ここで、＊は空間畳み込み演算子であり、ｈｍは位置の曖昧さを捉えるｓｑｒｔ（Ｐ）×ｓｑｒｔ（Ｐ）シフトカーネルである。ここで、ＰはＮよりはるかに小さく、Ｆより小さい。その結果、Ｍ個の測定値を収集することは、ＭＦ個の方程式およびＭＰ＋Ｎ個の未知数を有する方程式の系をもたらす。したがって、ＭＦがＭＰ＋Ｎよりも大きいように、適切な数の測定値Ｍが存在する。具体的には、Ｍ＞Ｎ／（Ｆ－Ｐ）であるとき、レーダオートフォーカス問題が解決されてもよい。
【数2】
ここで、＊は空間畳み込み演算子であり、ｈｍは位置の曖昧さを捉えるｓｑｒｔ（Ｐ）×ｓｑｒｔ（Ｐ）シフトカーネルである。ここで、ＰはＮよりはるかに小さく、Ｆより小さい。その結果、Ｍ個の測定値を収集することは、ＭＦ個の方程式およびＭＰ＋Ｎ個の未知数を有する方程式の系をもたらす。したがって、ＭＦがＭＰ＋Ｎよりも大きいように、適切な数の測定値Ｍが存在する。具体的には、Ｍ＞Ｎ／（Ｆ－Ｐ）であるとき、レーダオートフォーカス問題が解決されてもよい。
【0011】
したがって、各アンテナの測定値は、レーダ演算子とレーダ画像とシフトカーネルとの積としてモデル化される。
【0012】
いくつかの実施形態は、レーダ画像ｘおよびシフトカーネルｈｍの両方に正則化器を利用して必要な測定数Ｍを減らすことができる、というさらなる認識に基づいている。レーダ画像ｘに対する正則化器の一例は、融合ラッソ正則化器である。実施形態によれば、レーダ画像ｘ内の真の物体は、疎なレーダシグネチャを有し、すなわち、レーダ画像ｘの大部分はゼロ値であり、非ゼロエントリの位置は共にクラスタ化する傾向がある。融合ラッソ正則化器は、疎であり、かつ非ゼロエントリの位置が共にクラスタ化するときのレーダ画像に、小さいコストを割り当てる。その結果、Ｋ個の非ゼロエントリをその空間勾配領域内に有するレーダ画像ｘについて、レーダ画像ｘの真の未知数の数は、Ｋｌｏｇ（Ｎ）個の未知数によって表され得る。同様に、シフトカーネルｈｍは、１スパースであり、ｌｏｇ（Ｐ）で表される真の未知数の数を有する。したがって、結果として生じる方程式の系は、融合ラッソ正則化器が使用されるとき、Ｍｌｏｇ（Ｐ）＋Ｋｌｏｇ（Ｎ）個の未知数を有するＭＦ個の方程式を含む。したがって、レーダオートフォーカス問題を解決できるためには、Ｍがｌｏｇ（Ｎ）／（Ｆ－ｌｏｇ（Ｐ））より大きければ充分である。
【0013】
一例として、Ｆ＝１００、Ｎ＝１００ｘ１００＝１００００、Ｐ＝１０ｘ１０＝１００、およびＫ＝３であるレーダオートフォーカス問題を考える。Ｍ＝５個の測定ベクトルｙｍの場合、測定モデル（１）は、約５００＋３×ｌｏｇ（１００００）＝５２８個の未知数を有する５００個の方程式を有する系をもたらす。他方、新たな測定モデル（２）は、５００の方程式および約５×ｌｏｇ（１００）＋３×ｌｏｇ（１００００）＝５１個の未知数を有する系をもたらす。このレーダオートフォーカス問題の未知数の低減は、レーダオートフォーカス問題を効率的に解決することを可能にする。
【0014】
いくつかの実施形態は、画像シフト（すなわち、シフトカーネル）およびレーダ画像が交互最適化を使用して判断され得る、という認識に基づく。例えば、ある実施形態では、レーダ画像は、画像シフトを固定しながら更新され、画像シフトは、レーダ画像を固定しながら更新される。
【0015】
交互最適化では、まず、レーダ画像の推定値が生成される。次に、アンテナの異なる不確実性に対応する画像シフトのセットが推定される。次いで、レーダ画像の推定値は、判断された画像シフトのセットに基づいて更新され、アンテナの各々について、対応する画像シフトによってシフトされたレーダ画像の推定値は、アンテナの測定値に適合する。画像シフトのセットを推定するステップに続いてレーダ画像の推定値を更新するステップは、最終条件が満たされるまで反復して行われる。終了条件が満たされると、合焦レーダ画像が出力される。
【0016】
実施形態によれば、レーダ画像の推定値は、レーダ反射と、送信パルスおよび誤ったアンテナ位置に基づいて合成されたモデル化された測定値との間の差を最小限にすることによって生成される。さらに、正則化器が推定レーダ画像に適用され、推定レーダ画像からノイズをフィルタリングする。ある実施形態では、正則化器は、１ノルム正則化器と全変動（ＴＶ）正則化器とを含む融合ラッソ正則化器であり得る。１ノルム正則化器は推定レーダ画像にスパース性を課し、ＴＶ正則化器は推定レーダ画像内のノイズを低減してフィルタリングされたレーダ画像を生成する。レーダ反射とモデル化された測定値との間の差を最小化し、正則化器を適用するステップは、収束まで反復して行われる。収束すると、レーダ像の推定値が出力される。
【0017】
いくつかの実施形態は、推定レーダ画像をフィルタリングするために交互最適化において使用される正則化器（例えば、融合ラッソ正則化器）は、推定レーダ画像内のノイズが大きい場合、ノイズが画像領域アーチファクトを導入し得、画像領域アーチファクトもまた、共にクラスタ化し、したがって、真の標的の形状に類似する傾向があるため、好適ではない場合がある、という観察に基づく。その結果、交互最適化は、誤った物体に焦点を合わせ、その結果、不正確なアンテナ位置補正をもたらし得る。
【0018】
いくつかの実施形態は、そのような問題を軽減するために、正規化器の代わりにニューラルネットワークノイズ除去器を使用することができる、という認識に基づく。ニューラルネットワークノイズ除去器は、推定レーダ画像をノイズ除去するようにトレーニングされたニューラルネットワークを含む。言い換えれば、ニューラルネットワークノイズ除去器は、推定レーダ画像からノイズをフィルタリングする。ニューラルネットワークノイズ除去器は、ニューラルネットワークの高いモデル化力と、画像領域における明示的なスパース性およびその勾配を超える信号構造を表すその能力とのために、正則化器よりも有利である。
【0019】
そのために、レーダ画像を推定するために、推定されたレーダ画像に正則化器を適用する代わりに、ニューラルネットワークノイズ除去器が適用される。
【0020】
いくつかの実施形態は、推定レーダ画像におけるアーチファクト／ノイズが、レーダ反射とモデル化された測定値との間の差の最小化中に生じる反復更新ステップによるものである、という認識にある。反復更新ステップに起因するアーチファクト／ノイズは、未知であり、予測不可能であり、ニューラルネットワークがトレーニングされるノイズと同じではないことがある。したがって、推定レーダ画像は、ニューラルネットワークノイズ除去器がトレーニングされていないノイズを含み得る。そのようなレーダ画像がニューラルネットワークノイズ除去器に適用されると、ニューラルネットワークノイズ除去器は、出力レーダ画像に誤差を注入し得る。したがって、単に正規化器をニューラルネットワークノイズ除去器で置き換えるだけでは充分ではなく、問題を引き起こす可能性がある。
【0021】
いくつかの実施形態は、ニューラルネットワークノイズ除去器がトレーニングされていないノイズを管理するために、推定レーダ画像をニューラルネットワークノイズ除去器に適用する前に、前進（forward）レーダ演算子および随伴レーダ演算子を推定レーダ画像に適用することによって、推定レーダ画像をフィルタリングすることができる、という認識に基づく。前進および随伴演算子は、推定レーダ画像から、ニューラルネットワークがトレーニングされていないノイズをフィルタリングして、フィルタリングされたレーダ画像を生成する。さらに、フィルタリングされたレーダ画像は、ニューラルネットワークノイズ除去器に適用される。その結果、ニューラルネットワークノイズ除去器は、出力レーダ画像に誤差を注入せず、レーダ画像の再構築は安定したままである。
【0022】
実施形態によれば、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む。残差Ｕｎｅｔアーキテクチャは対称であり、２つの部分、すなわち左部分および右部分を含む。左の部分は収縮経路と呼ばれ、一般的な畳み込み処理で構成される。右部分は拡張経路であり、転置された２ｄ畳み込み層によって構成される。追加または代替として、いくつかの実施形態では、ニューラルネットワークノイズ除去器は、ノイズ除去畳み込みニューラルネットワークアーキテクチャを含む。
【0023】
いくつかの実施形態は、前進および随伴レーダ演算子が、推定レーダ画像から、ニューラルネットワークノイズ除去器がトレーニングされないノイズをフィルタリングするので、ニューラルネットワークノイズ除去器は、代替最適化において観察され得るすべての可能なノイズを含む大きなトレーニングデータセットでトレーニングされる必要がない、という認識に基づく。したがって、ニューラルネットワークノイズ除去器は、より単純なトレーニングデータセットでトレーニングされ得る。一実施形態では、より単純なトレーニングデータセットは、入出力対（ｚｍ，ｘｍ）を含み、トレーニング入力画像ｚｍは、逆（back）射影演算子Ａｍ
Ｈを例示的なレーダ測定ｙｍ＝Ａｍｘｍ＋ｎに適用することによって形成される逆射影画像であり、ｚｍ＝Ａｍ
Ｈｙｍであり；出力画像ｘｍはグラウンドトゥルース物体レーダ画像であり、ｎは付加ノイズを表す。ニューラルネットワークノイズ除去器は、単純なトレーニングデータセットを用いてトレーニングすることができるので、ニューラルネットワークノイズ除去器のトレーニングは、より容易かつより高速になる。
【0024】
加えて、いくつかの実施形態は、本開示のニューラルネットワークノイズ除去器ベースのレーダオートフォーカス問題が、より少ない測定値を用いて物体を再構築することが可能である、という認識に基づく。この特徴は、物体のレーダ特性が物体の運動よりも速い速度で判断される物体追跡システムにおいて、本発明の実施形態を展開することを可能にする。このような処理により、継続的に物体を検出し、検出による物体追跡を行うことができる。
【0025】
さらに、レーダ反射から受信される移動物体の検出は、物体がレーダのビーム幅に対して大きい延在を有するとき、物体の部分的ビューを提供する場合がある。そのようなシナリオでは、ニューラルネットワークノイズ除去器は、物体の強い反射体の点物体を再構築する代わりに、追跡されることが意図される物体の部分的形状を再構築するようにトレーニングされることができる。次いで、再構築された部分的形状を使用して、物体の現在の状態を判断する追加のモジュールを容易にすることができ、物体の状態は、移動する物体のサイズ、向き、および方向に関する情報を含む。
【0026】
したがって、一実施形態は、シーンのレーダ画像を生成するためのシステムを開示する。システムは、少なくとも１つのプロセッサと、命令が記憶されるメモリとを備え、命令は少なくとも１つのプロセッサによって実行されると、システムに、アンテナのセットから収集されたシーンのレーダ測定値を受信させ、レーダ測定値は、シーンに送信されるレーダパルスに関連付けられる反射の測定値であり、命令は、さらに、少なくとも１つのプロセッサによって実行されると、システムに、疎復元問題を解くことによってシーンのレーダ画像を生成させ、疎復元問題は、終了条件が満たされるまで、アンテナの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断し、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新するよう構成され、アンテナの各々について、レーダ画像の対応するシフトによってシフトされたレーダ画像の推定値は、アンテナのレーダ測定値に適合し、疎復元問題は、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、命令は、さらに、少なくとも１つのプロセッサによって実行されると、システムに、終了条件が満たされる場合にレーダ画像をレンダリングさせる。
【0027】
したがって、別の実施形態は、シーンのレーダ画像を生成するための方法を開示する。本方法は、アンテナのセットから収集されたシーンのレーダ測定値を受信することを含み、レーダ測定値は、シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、本方法はさらに、疎復元問題を解くことによってシーンのレーダ画像を生成することを含み、疎復元問題は、終了条件が満たされるまで、アンテナの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断し、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新するよう構成され、アンテナの各々について、レーダ画像の対応するシフトによってシフトされたレーダ画像の推定値は、アンテナのレーダ測定値に適合し、疎復元問題は、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、本方法はさらに、終了条件が満たされる場合にレーダ画像をレンダリングすることを含む。
【0028】
したがって、さらに別の実施形態は、シーンのレーダ画像を生成するための方法を実行するためにプロセッサによって実行可能なプログラムを具現化したコンピュータ可読記憶媒体を開示する。この方法は、アンテナのセットから収集されたシーンのレーダ測定値を受信することを含み、レーダ測定値は、シーンに送信されるレーダパルスに関連付けられる反射の測定値であり、この方法はさらに、疎復元問題を解くことによってシーンのレーダ画像を生成することを含み、疎復元問題は、終了条件が満たされるまで、アンテナの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断し、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新するよう構成され、アンテナの各々について、レーダ画像の対応するシフトによってシフトされたレーダ画像の推定値は、アンテナのレーダ測定値に適合し、疎復元問題は、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、この方法はさらに、終了条件が満たされる場合にレーダ画像をレンダリングすることを含む。
【0029】
以下、添付図面を参照して本発明を詳細に説明する。示される図面は必ずしも縮尺通りではなく、代わりに、概して、本開示の実施形態の原理を説明することに重点が置かれる。
【図面の簡単な説明】
【0030】
【図1A】本開示の一実施形態による、シーンのレーダ画像を生成するためのレーダシステムのブロック図である。
【図1B】本開示の実施形態によるレーダシステムを示す概略図である。
【図1C】本開示の実施形態による、単一の物体の反射を測定するときに、ともに見て、アンテナ位置の不確実性に起因して各アンテナの測定された時間領域信号に影響を及ぼす歪みを示す概略図である。
【図1D】本開示の実施形態による、単一の物体の反射を測定するときに、ともに見て、アンテナ位置の不確実性に起因して各アンテナの測定された時間領域信号に影響を及ぼす歪みを示す概略図である。
【図1E】本開示の実施形態による、摂動位置を有し、単一の物体の反射を測定するアンテナのセットと、均一な線形位置を有し、同じ物体のシフトされたバージョンを測定するアンテナのセットとの間のマッピングを示す概略図である。
【図1F】本開示の実施形態による、シフトされた物体画像とシフトカーネルのセットを用いて畳み込まれる真の物体画像との間の関係を示す概略図である。
【図2A】本開示の一実施形態による、レーダ画像および画像シフトのセットを推定するための交互最適化のブロック図である。
【図2B】本開示の一実施形態による送信パルスを示すグラフである。
【図2C】本開示の一実施形態によるレーダ反射を示すグラフである。
【図3A】本開示の一実施形態による、レーダ画像を推定するための方法のブロック図である。
【図3B】本開示の一実施形態による、ニューラルネットワークノイズ除去器を使用してレーダ画像を推定するための方法のブロック図である。
【図3C】本開示の一実施形態による、前進および随伴レーダ演算子、ならびにニューラルネットワークノイズ除去器を使用して、レーダ画像を推定するための方法のブロック図である。
【図3D】本開示の一実施形態による例示的なレーダ画像である。
【図4A】本開示の一実施形態による、画像シフトのセットを推定するための方法のブロック図である。
【図4B】本開示の一実施形態による、アンテナの平均想定位置による推定された画像シフトのセットの整列を示す概略図である。
【図5A】本開示の一実施形態による、推定レーダ画像を更新するための方法のブロック図である。
【図5B】本開示の一実施形態による、例示的な更新されたレーダ画像である。
【図5C】本開示の一実施形態による、例示的な合焦レーダ画像である。
【図6】本開示の一実施形態による、ニューラルネットワークノイズ除去器の残差Ｕｎｅｔアーキテクチャである。
【図7A】本開示の一実施形態による、移動物体の状態を判断するためのトラッカを含む車両の概略図である。
【図7B】本開示の一実施形態による、移動物体の状態に基づく車両の制御を示す概略図である。
【図8】本開示の一実施形態による、シーンのレーダ画像を判断するための方法のブロック図である。
【図9A】本開示のいくつかの実施形態によるブロック座標降下アルゴリズムである。
【図9B】本開示のいくつかの実施形態による、シフトカーネルｈｍを更新するための高速反復収縮／閾値化アルゴリズム（ＦＩＳＴＡ）サブルーチンのアルゴリズムである。
【図9C】本開示のいくつかの実施形態による、レーダ画像ｘのためのＦＩＳＴＡサブルーチンのアルゴリズムである。
【図10】本開示の一実施形態による、シーンのレーダ画像を生成するためのコンピュータシステムのブロック図である。
【発明を実施するための形態】
【0031】
以下の説明では、説明の目的で、本開示の完全な理解のために、多数の具体的な詳細が述べられる。しかしながら、本開示はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。他の例では、本開示を不明瞭にすることを回避するために、装置および方法がブロック図の形式でのみ示される。
【0032】
本明細書および特許請求の範囲で用いられる場合、「例えば」、「例として」、「等」、ならびに動詞「備える」、「有する」、「含む」という文言、およびそれらの他の動詞形は、１つ以上の構成要素または他の項目のリストとともに用いられる場合、各々オープンエンドと解釈されるべきであり、リストは、他の追加の構成要素または項目を排除するものと見なすべきではないことを意味する。「～に基づく」という文言は、少なくとも部分的に基づくことを意味する。さらに、本明細書で使用される表現および用語は、説明の目的のためであり、限定と見なされるべきではないことを理解されたい。この記載内で利用されるいかなる見出しも、便宜上のものにすぎず、法的または限定的な効果を有さない。
【0033】
図１Ａは、本開示の一実施形態によるレーダシステム１００のブロック図を示す。レーダシステム１００は、アンテナのセット１０１と、シーンのレーダ画像を生成するためのシステム１０３とを含む。シーンは、１つ以上の物体を含む関心領域であり得る。１つ以上の物体は、静止物体および／または移動物体を含み得る。アンテナのセット１０１は、互いに通信することができるＭ個の分散アンテナ１０１ａ、１０１ｂ、．．．、１０１ｍを含む。システム１０３は、メモリ１０５と、プロセッサ１０７と、ユーザインターフェース１０９とを含む。アンテナのセット１０１は、レーダパルスをシーンに送信し、対応する反射を受信するよう構成される。シーンに送信されるレーダパルスの反射は、レーダ測定値（以下、「測定値」）と呼ばれる。測定値は、メモリ１０５内に記憶され得る。プロセッサ１０７は、疎復元問題を解き、シーンのオートフォーカスされた高解像度２次元（２Ｄ）レーダ画像を生成するよう構成される。ユーザインターフェース１０９は、生成されたレーダ画像をレンダリングするよう構成される。
【0034】
図１Ｂは、本開示の実施形態によるレーダシステム１００を示す概略図である。レーダシステム１００は、少なくとも１つの移動アンテナと、Ｍ個の分散移動受信機プラットフォームもしくは受信機のセットとを含む、空中プラットフォームまたは車両搭載プラットフォームであり得る。例えば、アンテナのセット１０１は、事前規定された軌道に沿って空間内で移動してもよい。そのために、アンテナのセットは、アンテナ１０１ａ、アンテナ１０１ｂ、アンテナ１０１ｃ、およびアンテナ１０１ｄなどの少なくとも１つのアンテナを含む。４つのアンテナ（１０１ａ～１０１ｄ）が例示の目的で図１Ｂに示されていることが当業者には理解されよう。実際には、任意の数のアンテナが、本開示の範囲から逸脱することなく、本明細書で説明されるレーダシステム１００の機能性を達成するために使用され得る。
【0035】
レーダパルス１１１は、少なくとも１つのアンテナ１０１ａから送信されて、関心領域（ＲＯＩ）１１５内に位置する物体１１３を照射し、物体１１３によって反射された対応する反射１１７は、分散アンテナ１０１ａ、１０１ｂ、１０１ｃ、および１０１ｄによって記録される。反射１１７は、遅延パルスの重み付けされた組み合わせとして特徴付けられ、複素重みは、特定の物体反射率およびアンテナパターンに依存する。送信パルス１１１および反射１１７が与えられると、レーダ画像は、対応する重みおよび遅延に従って距離－方位平面において生成され得る。レーダ画像の方位分解能はアレイ開口のサイズに依存し、距離分解能は送信パルス１１１の帯域幅に依存する。
【0036】
分散アレイ撮像（すなわち、分散アンテナセットアップ）において生じる基本的な課題は、アンテナのセット１０１の各アンテナの位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性から生じる。本明細書で使用される場合、位置の曖昧さは、アンテナのセット１０１の位置における誤差または不確実性に対応する。本明細書で使用される場合、クロックの曖昧さは、アンテナのセット１０１のクロックが同期されてもされなくてもよいことを示し、アンテナのセット１０１は同期または非同期のいずれかであり得る。全地球航法衛星システム（ＧＰＳ／ＧＮＳＳ）および慣性航法システム（ＩＮＳ）などの、高度な測位およびナビゲーションシステムは、いくらか正確な位置情報を提供するが、アンテナ位置の残りの不確実性は、複数の波長に及ぶ可能性がある。その結果、測定値は、不正確なアンテナ位置が基準として使用されるとき、利得および位相の曖昧さを含む。その結果、アンテナ位置の不確実性を考慮することなく標準的な再構築技術を適用することは、焦点が合っていないレーダ画像を生成する。
【0037】
図１Ｃおよび図１Ｄは、まとめて見た場合に、本開示の実施形態による、物体１１３の反射を測定するときのアンテナ位置の不確実性（または誤差）に起因して各アンテナの測定された時間領域信号に影響を及ぼす歪みを概略図である。さらに、図１Ｃおよび図１Ｄは、反射の時間における整列に対する、異なるアンテナの位置摂動の影響を示す概略図である。
【0038】
さらに、いくつかの実施形態は、位置の曖昧さを伴う分散アンテナのレーダオートフォーカス問題が、膨大な数の未知数を有する不良設定問題であり得る、という認識に基づく。具体的には、レーダオートフォーカス問題が、位置の曖昧さを符号化する誤ったレーダ演算子によって引き起こされる誤った測定から正しいレーダ画像を復元することとして定式化されるとき、ＲＯＩ１１５の各測定値は、位置の曖昧さによって引き起こされる誤差を含む。さらに、測定値とアンテナ（アンテナ１０１ａ～１０１ｄなど）の位置における誤差との間の関係の非線形性により、同じアンテナからの測定値の各サンプルは異なる誤差を有する可能性があり、それによってレーダオートフォーカス問題のモデルにおける未知数の数が増加する。
【0039】
【数3】
Ｎは概してＦよりもはるかに大きい。あらゆる新たな測定ｙｍはＦ個の方程式を追加するが、Ｆ＋Ｎ個の未知数ももたらす。したがって、Ｍ個の測定値について、結果として生じる方程式の系は、ＭＦ＋Ｎ個の未知数を有するＭＦ個の方程式を含む。これは、測定の数にかかわらず、未知数の数が、方程式の数よりも常に大きくなることになるので、問題である。
【0040】
いくつかの実施形態は、レーダオートフォーカス問題が、正しい測定値および正しいレーダ演算子から不正確なレーダ画像を復元するものとして再定式化され得る、という認識に基づく。一方では、そのような再定式化は意味をなさない。しかしながら、いくつかの実施形態は、レーダオートフォーカス問題のそのような定式化を介して判断される誤ったレーダ画像が、線形シフトを通して正しいレーダ画像に関係し得る、という認識に基づく。この線形性により、同じアンテナからの測定の各サンプルは、同じ線形シフトを有する正しいレーダ画像を表す。
【0041】
そのために、位置の曖昧さは、レーダ画像ｘのドメインにおけるシフトカーネルとしてモデル化され得る。具体的には、新たな測定モデルは、以下によって与えられ、
ここで、＊は空間畳み込み演算子であり、ｈｍは位置の曖昧さを捕捉するｓｑｒｔ（Ｐ）×ｓｑｒｔ（Ｐ）シフトカーネルである。ここで、ＰはＮよりはるかに小さく、Ｆより小さい。その結果、Ｍ個の測定値を収集することは、ＭＦ個の方程式およびＭＰ＋Ｎ個の未知数を有する方程式の系をもたらす。したがって、ＭＦがＭＰ＋Ｎよりも大きいように、適切な数の測定値Ｍが存在する。具体的には、Ｍ＞Ｎ／（Ｆ－Ｐ）であるとき、レーダオートフォーカス問題が解決されてもよい。
【数4】
ここで、＊は空間畳み込み演算子であり、ｈｍは位置の曖昧さを捕捉するｓｑｒｔ（Ｐ）×ｓｑｒｔ（Ｐ）シフトカーネルである。ここで、ＰはＮよりはるかに小さく、Ｆより小さい。その結果、Ｍ個の測定値を収集することは、ＭＦ個の方程式およびＭＰ＋Ｎ個の未知数を有する方程式の系をもたらす。したがって、ＭＦがＭＰ＋Ｎよりも大きいように、適切な数の測定値Ｍが存在する。具体的には、Ｍ＞Ｎ／（Ｆ－Ｐ）であるとき、レーダオートフォーカス問題が解決されてもよい。
【0042】
したがって、各アンテナの測定値は、レーダ演算子とレーダ画像とシフトカーネルとの積としてモデル化される。
【0043】
図１Ｅは、本開示の実施形態による、図１Ｃおよび図１Ｄからの、摂動位置を有し、単一の物体の反射を測定するアンテナのセット１０１と、均一な線形位置を有し、同じ物体のシフトされたバージョンを測定するアンテナのセット１０１との間のマッピングを示す概略図である。さらに、図１Ｅは、摂動されたアンテナ位置における単一の物体の測定された反射が、アンテナのセット１０１の誤った位置における同じ物体のシフトされたバージョンの測定と等価である信号モデルの概略図である。
【0044】
図１Ｆは、本開示の一実施形態による、シフトされた物体画像１１９ａ、１２１ａ、１２３ａ、１２５ａと、シフトカーネル１１９ｂ、１２１ｂ、１２３ｂ、１２５ｂのセットで畳み込まれた真の物体画像１２７との間の関係を示す概略図である。図１Ｄの測定された反射１０１ａｘ、１０１ｂｘ、１０１ｃｘ、１０１ｄｘは、図１Ｃの摂動位置に位置するアンテナのセット１０１による真の物体１１３の測定に対応する。これらの同じ測定された反射はまた、図１Ｅの誤ったアンテナ位置に位置するアンテナのセット１０１によるシフトされた物体１１９ａ、１２１ａ、１２３ａ、１２５ａのレーダ反射に対応し、これは、図１Ｆのシフトカーネル１１９ｂ、１２１ｂ、１２３ｂ、１２５ｂのセットで畳み込まれる真の物体１１３の反射と等価であることが示されている。
【0045】
いくつかの実施形態は、レーダ画像ｘおよびシフトカーネルｈｍの両方に正則化器を利用して必要な測定数Ｍを減らすことができる、というさらなる認識に基づいている。レーダ画像ｘに対する正則化器の一例は、融合ラッソ正則化器である。実施形態によれば、レーダ画像ｘ内の真の物体は、疎なレーダシグネチャを有し、すなわち、レーダ画像ｘの大部分はゼロ値であり、非ゼロエントリの位置は共にクラスタ化する傾向がある。融合ラッソ正則化器は、疎であり、かつ非ゼロエントリの位置が共にクラスタ化するときのレーダ画像に、小さいコストを割り当てる。その結果、Ｋ個の非ゼロエントリをその空間勾配領域内に有するレーダ画像ｘについて、レーダ画像ｘの真の未知数の数は、Ｋｌｏｇ（Ｎ）個の未知数によって表され得る。同様に、シフトカーネルｈｍは、１スパースであり、ｌｏｇ（Ｐ）で表される真の未知数の数を有する。したがって、結果として生じる方程式の系は、融合ラッソ正則化器が使用されるとき、Ｍｌｏｇ（Ｐ）＋Ｋｌｏｇ（Ｎ）個の未知数を有するＭＦ個の方程式を含む。したがって、レーダオートフォーカス問題を解決できるためには、Ｍがｌｏｇ（Ｎ）／（Ｆ－ｌｏｇ（Ｐ））より大きければ充分である。
【0046】
一例として、Ｆ＝１００、Ｎ＝１００ｘ１００＝１００００、Ｐ＝１０ｘ１０＝１００、およびＫ＝３であるレーダオートフォーカス問題を考える。Ｍ＝５個の測定ベクトルｙｍの場合、測定モデル（１）は、約５００＋３×ｌｏｇ（１００００）＝５２８個の未知数を有する５００個の方程式を有する系をもたらす。他方、新たな測定モデル（２）は、５００の方程式および約５×ｌｏｇ（１００）＋３×ｌｏｇ（１００００）＝５１個の未知数を有する系をもたらす。このレーダオートフォーカス問題の未知数の低減は、レーダオートフォーカス問題を効率的に解決することを可能にする。
【0047】
さらに、いくつかの実施形態は、シフトカーネルのセット（以下、「画像シフトのセット」）およびレーダ画像は、交互最適化を使用して判断され得る、という認識に基づく。例えば、ある実施形態では、レーダ画像は、画像シフトのセットを固定しながら更新され、画像シフトのセットは、レーダ画像を固定しながら更新される。
【0048】
図２Ａは、本開示の一実施形態による、レーダ画像および画像シフトのセットを推定するための交互最適化のブロック図を示す。交互最適化は、プロセッサ１０７によって実行される。ブロック２０５において、送信パルス２０１およびレーダ反射２０３に基づいてレーダ画像が推定される。図２Ｂは、本開示の一実施形態による、送信パルス２０１を示すグラフを示す。図２Ｃは、本開示のある実施形態による、レーダ反射２０３を示すグラフを示す。レーダ画像の推定については、図３Ａ～図３Ｄを参照して以下で詳細に説明する。
【0049】
ブロック２０７において、アンテナのセット１０１の異なる不確実性に対応する画像シフトのセットが推定される。画像シフトのセットの推定は、図４Ａおよび図４Ｂを参照して以下で詳細に説明される。さらに、ブロック２０９において、推定レーダ画像は、画像シフトのセットに基づいて更新される。推定レーダ画像３０９の更新については、図５Ａを用いて後述する。
【0050】
画像シフトのセットを推定し、続いてレーダ画像を更新するステップは、終了条件が満たされるまで繰り返し実行される（２１１）。終了条件が満たされると、合焦レーダ画像２１３が出力される。
【0051】
図３Ａは、本開示の一実施形態による、レーダ画像を推定するための方法のブロック図を示す。ある実施形態では、各アンテナの測定値は、送信パルス２０１および誤ったアンテナ位置に基づいてモデル化される。ブロック３０１において、レーダ反射２０３とモデル化された測定値との間の差が、レーダ画像３０３の推定値を生成するために最小化される。さらに、ブロック３０５において、推定レーダ画像３０３に正則化器を適用して、推定レーダ画像３０３からノイズをフィルタリングする。ある実施形態では、正則化器は、１ノルム正則化器と全変動（ＴＶ）正則化器とを含む融合ラッソ正則化器であり得る。１ノルム正則化器は推定レーダ画像３０３にスパース性を課し、ＴＶ正則化器は推定レーダ画像３０３のノイズを低減してフィルタリングされたレーダ画像を生成する。
【0052】
さらに、測定値は、フィルタリングされたレーダ画像、送信パルス２０１、および誤ったアンテナ位置を使用してモデル化される。さらに、レーダ反射２０３とモデル化された測定値との間の差は、レーダ画像の推定を生成するために最小化され、その後、フィルタリングされたレーダ画像を生成するために、推定されたレーダ画像に正則化器が適用される。レーダ反射とモデル化された測定値との間の差を最小化し、正則化器を適用するステップは、収束まで反復して行われる（３０７）。収束すると、レーダ画像３０９の推定値が出力される。
【0053】
いくつかの実施形態は、推定レーダ画像（例えば、推定レーダ画像１２１）をフィルタリングするために交互最適化において使用される正則化器（例えば、融合ラッソ正則化器）は、推定レーダ画像内のノイズが大きい場合、ノイズが画像領域アーチファクトを導入する可能性があり、画像領域アーチファクトも共にクラスタ化する傾向があり、したがって真の物体の形状に似ている可能性があるため、適していない可能性がある、という観察に基づく。その結果、交互最適化は、誤った物体に焦点を合わせ、その結果、不正確なアンテナ位置補正をもたらし得る。
【0054】
いくつかの実施形態は、そのような問題を軽減するために、正規化器の代わりにニューラルネットワークノイズ除去器を使用することができる、という認識に基づく。ニューラルネットワークノイズ除去器は、推定レーダ画像３０３をノイズ除去するようにトレーニングされたニューラルネットワークを含む。言い換えれば、ニューラルネットワークノイズ除去器は、推定レーダ画像３０３からノイズをフィルタリングする。ニューラルネットワークノイズ除去器は、ニューラルネットワークの高いモデル化力と、画像領域における明示的なスパース性およびその勾配を超える信号構造を表すその能力とのために、正則化器よりも有利である。
【0055】
そのために、レーダ画像を推定するために、推定レーダ画像３０３に正則化器を適用する代わりに、図３Ｂに示されるように、ニューラルネットワークノイズ除去器が適用される（３１１）。
【0056】
いくつかの実施形態は、推定レーダ画像３０３におけるアーチファクト／ノイズが、レーダ反射とモデル化された測定値との間の差の最小化中に生じる反復更新ステップに起因する、という認識に基づく。反復更新ステップに起因するアーチファクト／ノイズは、未知であり、予測不可能であり、ニューラルネットワークがトレーニングされるノイズと同じではないことがある。したがって、推定レーダ画像３０３は、ニューラルネットワークノイズ除去器がトレーニングされていないノイズを含み得る。そのようなレーダ画像がニューラルネットワークノイズ除去器に適用されると、ニューラルネットワークノイズ除去器は、出力レーダ画像３０９に誤差を注入し得る。したがって、単に正規化器をニューラルネットワークノイズ除去器で置き換えるだけでは充分ではなく、問題を引き起こす可能性がある。
【0057】
いくつかの実施形態は、ニューラルネットワークノイズ除去器がトレーニングされていないノイズを管理するために、推定レーダ画像３０３は、ニューラルネットワークノイズ除去器を適用する（３１１）前に、図３Ｃに示すように、推定レーダ画像３０３に前進レーダ演算子および随伴レーダ演算子を適用すること（３１３）によってフィルタリングされ得る、という認識に基づく。前進および随伴レーダ演算子は、ニューラルネットワークノイズ除去器がトレーニングされていないノイズを推定レーダ画像３０３からフィルタリングして、フィルタリングされたレーダ画像３１５を生成する。さらに、ニューラルネットワークノイズ除去器が、フィルタリングされたレーダ画像３１５に適用される（３１１）。その結果、ニューラルネットワークノイズ除去器は、出力レーダ画像３０９に誤差を注入せず、レーダ画像の再構築は安定したままである。
【0058】
レーダ反射とモデル化された測定値との間の差を最小化するステップ３０１、前進および随伴レーダ演算子を適用するステップ３１３、ならびにニューラルネットワークノイズ除去器を適用するステップ３１１は、収束するまで繰り返し行われる（３０７）。収束すると、レーダ画像３０９の推定値が出力される。
【0059】
図３Ｄは、本開示の一実施形態による、レーダ画像３０９の例示的な推定を示す。
【0060】
【0061】
図４Ａは、本開示の一実施形態による、画像シフトのセットを推定するための方法のブロック図を示す。ある実施形態では、測定値は、送信パルス２０１、初期画像シフト、およびレーダ画像３０９に基づいてモデル化される。ブロック４０１において、レーダ反射２０３とモデル化された測定値との間の差が最小化される。ブロック４０３において、１ノルム正則化を適用して、画像シフトのセット内で単一の非ゼロエントリを実施する。レーダ反射とモデル化された測定値との間の差を最小化するステップ４０１、および１ノルム正則化を適用するステップ４０３は、収束するまで反復的に行われる（４０５）。収束すると、画像シフトのセットの推定値４０７が出力される。
【0062】
さらに、ブロック４０９において、推定された画像シフトのセット４０７は、アンテナのセット１０１の真の位置の平均に従って整列されて、画像シフトのセットの新たな推定値４１１を生成する。図４Ｂは、本開示の一実施形態による、アンテナのセット１０１の真の位置の平均４１３に従う、推定された画像シフトのセット４０７の整列を示す概略図である。アンテナのセット１０１の真の位置の平均４１３は既知である。推定された画像シフトのセット４０７は、推定された画像シフトのセットの平均４１５がアンテナのセット１０１の真の位置の平均４１３に等しくなるように、整列される。
【0063】
さらに、推定レーダ画像３０９は、アンテナのセット１０１の各々について、対応する画像シフトによってシフトされたレーダ画像の推定値がアンテナの測定値に適合するように、画像シフトのセットの新たな推定値４１１に基づいて更新される。推定レーダ画像３０９の更新については、図５Ａを用いて後述する。
【0064】
図５Ａは、本開示の一実施形態による、推定レーダ画像３０９を更新するための方法のブロック図を示す。ある実施形態では、測定値は、送信パルス２０１、画像シフトのセットの新たな推定値４１１、およびレーダ画像３０９に基づいてモデル化される。ブロック５０１において、レーダ反射２０３とモデル化された測定値との間の差が、レーダ画像の推定値を生成するために最小化される。ブロック５０３において、前進および随伴レーダ演算子が、推定レーダ画像に適用されて、フィルタリングされたレーダ画像が生成される。さらに、ブロック５０５において、ニューラルネットワークノイズ除去器が、フィルタリングされたレーダ画像に適用されて、フィルタリングされたレーダ画像がノイズ除去される。
【0065】
レーダ反射とモデル化された測定値との間の差を最小化するステップ５０１、前進および随伴レーダ演算子を適用するステップ５０３、ならびにニューラルネットワークノイズ除去器を適用するステップ５０５は、収束するまで反復して行われる（５０７）。収束すると、更新されたレーダ画像５０９が出力される。
【0066】
図５Ｂは、本開示の一実施形態による、更新されたレーダ画像５０９の例を示す。
【0067】
画像シフトのセットを推定し、続いてレーダ画像を更新するステップは、終了条件が満たされるまで繰り返し実行される。終了条件が満たされると、合焦レーダ画像２１３が出力される。終了条件は、ある反復回数、または２つの連続する反復の更新されたレーダ画像が変更されないままである条件であってもよい。
【0068】
図５Ｃは、本開示の一実施形態による、例示的な合焦レーダ画像２１３を示す。交互最適化を用いて合焦レーダ画像２１３を生成する上述の問題は、疎復元問題と呼ばれる。
【0069】
ある実施形態では、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む。加えて、または代替として、代替実施形態では、ニューラルネットワークノイズ除去器は、ノイズ除去畳み込みニューラルネットワークアーキテクチャを含む。
【0070】
図６は、本開示の一実施形態による、残差Ｕｎｅｔアーキテクチャ６００を示す。残差Ｕｎｅｔアーキテクチャ６００は対称であり、２つの部分、すなわち左部分６０１および右部分６０３を含む。左部分６０１は収縮経路と呼ばれ、一般的な畳み込み処理で構成される。右部分６０３は拡張経路であり、転置された２ｄ畳み込み層で構成される。
【0071】
いくつかの実施形態は、前進および随伴レーダ演算子が、推定レーダ画像から、ニューラルネットワークノイズ除去器がトレーニングされないノイズをフィルタリングし、したがって、ニューラルネットワークノイズ除去器は、代替最適化において観察され得るすべての可能なノイズを含む大きなトレーニングデータセットでトレーニングされる必要がない、という認識に基づく。したがって、ニューラルネットワークノイズ除去器は、より単純なトレーニングデータセットでトレーニングされ得る。一実施形態では、より単純なトレーニングデータセットは、入出力対（ｚｍ，ｘｍ）を含み、トレーニング入力画像ｚｍは、逆射影演算子Ａｍ
Ｈを例示的なレーダ測定値ｙｍ＝Ａｍｘｍ＋ｎに適用することによって形成される逆射影画像であり、ｚｍ＝Ａｍ
Ｈｙｍであり；出力画像ｘｍはグラウンドトゥルース物体レーダ画像であり、ｎは付加ノイズを表す。ニューラルネットワークノイズ除去器は、単純なトレーニングデータセットを用いてトレーニングすることができるので、ニューラルネットワークノイズ除去器のトレーニングは、より容易かつより高速になる。
【0072】
加えて、いくつかの実施形態は、（図２Ａ～図５Ｃで説明される）本開示のニューラルネットワークノイズ除去器ベースのレーダオートフォーカス問題が、より少ない測定値を用いて物体を再構築することが可能である、という認識に基づく。この特徴は、物体のレーダ特性が物体の運動よりも速い速度で判断される物体追跡システムにおいて、本発明の実施形態を展開することを可能にする。このような処理により、継続的に物体を検出し、検出による物体追跡を行うことができる。
【0073】
さらに、レーダ反射から受信される移動物体の検出は、物体がレーダのビーム幅に対して大きい延在を有するとき、物体の部分的ビューを提供する場合がある。そのようなシナリオでは、ニューラルネットワークノイズ除去器は、物体の強い反射体の点物体を再構築する代わりに、追跡されることが意図される物体の部分的形状を再構築するようにトレーニングされることができる。次いで、再構築された部分的形状を使用して、物体の現在の状態を判断する追加のモジュールを容易にすることができ、物体の状態は、物体のサイズ、向き、および／または位置に関する情報を含む。
【0074】
図７Ａは、本開示の一実施形態による、移動物体の状態を判断するためのトラッカ７０３を含む車両７０１の概略図を示す。トラッカ７０３は、システム１０３に関連付けられる。車両７０１は、乗用車、バス、またはローバーなどの任意のタイプの車輪付き車両であり得る。また、車両７０１は、自律車両または半自律車両であり得る。一実施形態では、車両７０１の操舵システム７０５は、トラッカ７０３によって制御される。追加的または代替的に、操舵システム７０５は、車両７０１の運転者によって制御されてもよい。
【0075】
いくつかの実施形態では、車両７０１は、トラッカ７０３または車両７０１の他の構成要素によって制御され得るエンジン７１１を含む。いくつかの実施形態では、車両７０１は、トラッカ７０３または車両７０１の他の構成要素によって制御されるエンジン７１１の代わりに電気モータを含む。車両７０１はまた、周囲環境を検知するための１つ以上のセンサ７０７を含むことができる。センサ７０７の例は、レーダなどの距離レンジファインダを含む。いくつかの実施形態では、車両７０１は、その現在の運動パラメータおよび内部ステータスを感知するための１つ以上の他のセンサ７０９を含む。１つ以上の他のセンサ７０９の例は、全地球測位システム（ＧＰＳ）、加速度計、慣性測定ユニット、ジャイロスコープ、シャフト回転センサ、トルクセンサ、偏向センサ、圧力センサ、および流量センサを含む。１つ以上のセンサ７０７および１つ以上の他のセンサ７０９などのセンサは、トラッカ７０３に情報を提供する。車両７０１は、システム１０３との有線または無線通信チャネルを介してトラッカ７０３の通信能力を可能にするトランシーバ７１３を装備することができる。トラッカ７０３は、プロセッサと、プロセッサによって実行可能な命令を記憶するメモリとを含む。プロセッサは、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であり得る。メモリは、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の好適なメモリシステムを含むことができる。
【0076】
図７Ｂは、本開示の一実施形態による、車両７１５などの移動物体の状態に基づく車両７０１の制御を示す概略図である。車両７０１および７１５は道路７１７に沿って移動しており、車両７０１は車両７１５の後方にある。車両７０１に関連付けられたシステム１０３は、図１Ａに示されるアンテナのセット１０１に通信可能に結合される。アンテナのセット１０１は、道路７１７を含む関心領域をカバーし得る。アンテナのセット１０１は、関心領域にパルスを送信し、対応する反射を受信し得る。さらに、システム１０３は、アンテナのセット１０１から反射を受信し、先の実施形態で説明した疎復元問題を解くことによってレーダ画像を生成する。レーダ画像は、車両７０１の空間における点検出の位置を示す。例えば、レーダ画像は、車両７１５の点検出のセットを提供する。レーダ画像は、アーチファクトを有さず、ノイズがより少なく、前の実施形態で説明した計算的に有効な技法によって生成され、車両７１５の可能な検出の分布の、より良好なサンプリングである。レーダ画像はトラッカ７０３に入力される。ある実施形態では、トラッカ７０３は、受信されたレーダ画像と、車両７１５の運動モデルおよび複合測定モデルとに基づいて、車両７１５の状態を判断する。運動モデルおよび複合測定モデルは、トラッカ７０３のメモリに記憶されてもよい。実施形態によれば、複合測定モデルは、車両７１５の中心に対する所定の相対幾何学的マッピングを伴う、車両７１５の輪郭上にあるように制約された複数の確率分布を含む。
【0077】
加えて、いくつかの実施形態では、トラッカ７０３は、車両７０１を制御するために車両７１５の状態に基づいて制御入力を生成する。制御入力は、例えば、車両７０１の車輪の操舵角、車輪の回転速度、および車両７０１の加速度のいずれかまたは組み合わせの値を指定するコマンドを含む。制御入力は、車両７０１を道路７１７の特定の境界内に維持することを目的とし、車両７１５を回避することを目的としている。例えば、制御入力は、車両７０１に、車両７１５を安全に通過するように軌道７１９に沿ってナビゲートさせる。
【0078】
図８は、本開示の一実施形態による、シーンのレーダ画像を生成するための方法８００のブロック図を示す。ブロック８０１において、方法８００は、アンテナのセット（アンテナのセット１０１など）から収集されたレーダ測定値を受信することを含む。レーダ測定値は、例えば、図１Ｂで説明した反射１１７に対応する。
【0079】
ブロック８０３において、方法８００は、レーダ画像の推定値を取得することを含む。レーダ画像の推定値は、図３Ｃで説明したように得られる。
【0080】
ブロック８０５において、方法８００は、アンテナのセットの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断することを含む。画像シフトのセットは、図４Ａおよび図４Ｂにおいて詳細に説明されるように判断される。
【0081】
ブロック８０７において、方法８００は、各アンテナについて、レーダ画像の対応するシフトによってシフトされたレーダ画像の推定値がアンテナの測定値に適合するように、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新することを含む。レーダ画像の推定値は、図５Ａで詳細に説明したように更新される。
【0082】
ブロック８０９において、方法８００は、終了条件が満たされるかどうかを判定することを含む。終了条件が満たされない場合、画像シフトの新たなセットがさらに判断される。画像シフトのセットを判断し、続いてレーダ画像の推定値を更新するステップは、終了条件が満たされるまで反復して実行される。終了条件は、ある反復回数であってもよいし、連続する２回の反復のレーダ画像が変わらないままである条件であってもよい。
【0083】
終了条件が満たされる場合、ブロック８１１において、方法８００はレーダ画像を出力することを含む。
【0084】
ニューラルネットワークノイズ除去器ベースのレーダオートフォーカス問題の定式化は、以下で数学的に説明される。
数学的計算
数学的計算
【0085】
【数5】
【0086】
この特定のモデルの下では、シフトカーネルは、未知のサポート位置を有する１スパースベクトルであり、それによって、未知の自由度をＭｌｏｇ（Ｆ）＋Ｎに低減する。
信号モデル
信号モデル
【0087】
本開示は、Ｍ個の分散アンテナがＫ個の物体を検出するために使用される２次元レーダ撮像シナリオを考慮することを含む。物体は、格子Ω⊂Ｒ２，｜Ω｜＝Ｎ上で離散化された関心空間領域内に位置し、Ｎ＝Ｎｘ×Ｎｙであり、ＮｘおよびＮｙは、水平方向および垂直方向の格子点の数を指定する。ｌ∈Ωによって、Ωにおける格子点の空間位置を示す。
【0088】
Γ⊂Ｒ２，｜Γ｜＝Ｍを、Ｍ個のアンテナのすべての空間位置のセットとする。一般性を失うことなく、アンテナのサブセットが送信機／受信機として機能し、残りのアンテナは受信機のみであると仮定する。位置ｒ∈Γにおける送信アンテナが、周波数スペクトルＰ（ω）を有する時間領域パルスｐ（ｔ）を放出し、ω＝２πｆは角周波数であり、ｆ∈Ｂは信号帯域幅Ｂ，｜Ｂ｜＝Ｆにおける通常周波数である。
【0089】
【数6】
【0090】
【数7】
測定領域における畳み込み
【0091】
【数8】
【0092】
【数9】
画像領域における畳み込み
【0093】
本開示はまた、畳み込みを画像領域に切り替えることによって、測定領域におけるシフトカーネルを用いた畳み込みの代替モデルを考慮する。
を、サイズＮｈ×Ｎｈのベクトル化された２次元シフトカーネルとする。新たなモデルの下で、ｍによってインデックス付けされたアンテナ対の受信信号は、（２）のように記述される。
【数10】
を、サイズＮｈ×Ｎｈのベクトル化された２次元シフトカーネルとする。新たなモデルの下で、ｍによってインデックス付けされたアンテナ対の受信信号は、（２）のように記述される。
【0094】
本開示は、空間フーリエ領域において以下のように表すことができる画像領域畳み込みモデルを考慮し、
【数11】
【0095】
まず、第１に、レーダ画像ｘは疎であり、トレーニングデータから学習可能な形状であり、カーネルｈｍは２次元シフト演算子である、という事前情報を、（４）のモデルに組み込む。
【0096】
したがって、ニューラルネットワークノイズ除去演算子が、レーダ画像ｘの推定を精緻化するために使用され、正則化器Ｒｘ（・）がｘに対して追加され、ｌ１ノルム正則化器Ｒｘ（・）がｈｍに追加される。全体的な最適化問題は、以下のように記述することができ、
パラメータμおよびλは、信号事前確率分布とデータミスマッチコストとの間のトレードオフを制御する正則化パラメータである。
【数12】
パラメータμおよびλは、信号事前確率分布とデータミスマッチコストとの間のトレードオフを制御する正則化パラメータである。
【0097】
ニューラルネットワークベースの正則化器Ｒｘ（ｘ）は、入力－出力対（ｚｍ，ｘｍ）から構成されるトレーニングデータ例を使用して学習されるニューラルネットワークノイズ除去器
の動作を介して暗黙的に課されることができ、トレーニング入力画像ｚｍは、逆射影演算子Ａｍ Ｈを例示的なレーダ測定値ｙｍ＝Ａｍｘｍ＋ｎに適用することによって形成される逆射影画像であり、ｚｍ＝Ａｍ Ｈｙｍであり；出力画像ｘｍは、グラウンドトゥルース物体レーダ画像であり、ｎは付加されたノイズを表す。
【数13】
の動作を介して暗黙的に課されることができ、トレーニング入力画像ｚｍは、逆射影演算子Ａｍ Ｈを例示的なレーダ測定値ｙｍ＝Ａｍｘｍ＋ｎに適用することによって形成される逆射影画像であり、ｚｍ＝Ａｍ Ｈｙｍであり；出力画像ｘｍは、グラウンドトゥルース物体レーダ画像であり、ｎは付加されたノイズを表す。
【0098】
【数14】
【0099】
他方、シフトカーネルのある特性は、すべてのｈｍが、非ゼロエントリが１に等しい１つのスパースであることを要求する。ｈｍは、そのエントリの合計が１に等しい非負であるので、必要とされる正則化は、ｌ１ノルムペナルティのみである：
【数15】
【0100】
図９Ａは、本開示のいくつかの実施形態による、（５）を解くためのブロック座標降下アルゴリズム９００ａを示す。問題（５）は非凸であり、この文脈に関する本開示の少なくとも１つの目的は、問題（５）に対する静止点を見つけることである。したがって、ブロック座標降下アルゴリズム９００ａは、すべてのｍについて、ｘおよびｈｍの各々について降下ステップ間で交互する。図２Ａは、図９Ａに示すアルゴリズムに含まれるステップのブロック図を示す。ステップ９０１において、シフトカーネルｈｍはすべて、中央の成分が１に設定されたＮｈ×Ｎｈのゼロ値行列である、シフトなしカーネルｈ０に初期化される。
【0101】
【数16】
【0102】
図９Ｂは、本開示のいくつかの実施形態による、ｈｍを更新するためのＦＩＳＴＡサブルーチンのアルゴリズム９００ｂを示す。図９Ｃは、本開示のいくつかの実施形態による、ｘに対するＦＩＳＴＡサブルーチンのアルゴリズム９００ｃを示す。一般に、ＦＩＳＴＡは、以下の形式の凸最適化問題を解くために使用することができ、
【数17】
【0103】
同様に、反復ｔにおける画像ｘｔの推定値を所与としてｈｍに関する前進演算子は、以下のように定義される。
【数18】
【0104】
なお、（８）におけるＤについての式は、すべてのｍについてｈｍで分離可能である。したがって、すべてのｍについてｈｍを更新するためのＦＩＳＴＡサブルーチンは、図９Ａに記述される。関数Ｔ＋（ｚ；τ）は、τ未満のｚのすべての値をゼロに設定する非負の軟閾値化演算子である。図９Ｂでは、更新手順は、１ノルムペナルティまたは融合ラッソペナルティ等の明示的正則化関数を使用することに対して特有である。使用されるペナルティ関数に明示的である非線形閾値化関数は、Ｔ＋（ｚ；αμ）によって表される。図９Ｃでは、更新手順は、ニューラルネットワークノイズ除去器を使用することに対して特有であり、ニューラルネットワークノイズ除去器は、Ｔ（ｖｔ）によって表される。フィルタリングステップが、アルゴリズム９００ｃのステップ４において実行されて、ニューラルネットワークノイズ除去器がそのトレーニング中にトレーニングされなかったノイズを除去する。
【0105】
図１０は、本開示のいくつかの実施形態による、本開示によって企図されるレーダシステムのコンピュータシステム１０００のブロック図である。コンピュータシステム１０００は、レーダプラットフォームまたはアンテナのセット１０１と通信し、コンピュータシステム１０００のプロセッサ１００３によって処理される収集されたデータをメモリ１００１に記憶することができる。コンピュータシステム１０００は、コンピュータシステム１０００をキーボード１００７および表示装置１００９に接続することができるヒューマンマシンインターフェースまたはユーザインターフェース１００５を含むことができる。コンピュータシステム１０００は、バス１０１１を通して、コンピュータシステム１０００を表示装置１０１５に接続するように適合されるディスプレイインターフェース１０１３に連結されることができ、表示装置１０１５は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスを含むことができる。
【0106】
コンピュータシステム１０００は、用途に応じて電源１０１７を含むことができ、電源１０１７は、任意選択でコンピュータシステム１０００の外部に位置してもよい。プロセッサ１００３は、記憶された命令を実行するよう構成され得るとともに、プロセッサ１００３によって実行可能な命令を記憶するメモリ１００１と通信し得る１つ以上のプロセッサであり得る。プロセッサ１００３は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であり得る。プロセッサ１００３は、バス１０１１を介して１つ以上の入出力装置に接続される。メモリ１００１は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の好適なメモリシステムを含むことができる。
【0107】
依然として図１０を参照すると、コンピュータシステム１０００はまた、プロセッサ１００３によって使用される補足データおよび／またはソフトウェアモジュールを記憶するように適合される記憶装置１０１９を含むことができる。例えば、記憶装置１０１９は、とりわけ、予め設計されたレーダプラットフォーム軌道、レーダ動作周波数帯域幅、送信波形、推定信号対ノイズ比、物体認識に関する画像データ、位置誤差に対処する異なる方法でシミュレートされたノイズデータを使用する撮像結果に関する履歴データを記憶することができる。記憶装置１０１９は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、またはそれらの任意の組み合わせを含むことができる。
【0108】
依然として図１０を参照すると、プリンタインターフェース１０２１もまた、バス１０１１を通してコンピュータシステム１０００に接続され、コンピュータシステム１０００を印刷装置１０２３に接続するように適合されることができ、印刷装置１０２３は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、サーマルプリンタ、ＵＶプリンタ、または染料昇華プリンタを含むことができる。ネットワークインターフェースコントローラ（ＮＩＣ）１０２５は、コンピュータシステム１０００を、バス１０１１を介してネットワーク１０２７に接続するように適合される。画像データまたは関連画像データは、とりわけ、ネットワーク１０２７を介して、表示装置、撮像装置、および／または印刷装置上にレンダリングすることができる。
【0109】
依然として図１０を参照すると、画像データまたは関連画像データは、とりわけ、ネットワーク１０２７の通信チャネルを介して伝送され、ならびに／または記憶および／もしくはさらなる処理のためにコンピュータの記憶装置１０１９内に記憶されることができる。さらに、画像データまたは関連画像データは、受信機１０２９から無線もしくは有線で受信されてもよく、または送信機１０３１を介して無線もしくは有線で送信されてもよく、受信機１０２９および送信機１０３１は両方とも、バス１０１１を介してコンピュータシステム１０００に接続される。
【0110】
コンピュータシステム１０００は、外部センサ１０３３、１つ以上の入力デバイス１０３５、他のコンピュータ１０３７、および他のデバイス１０３９に接続されてもよい。外部センサ１０３３は、運動センサ、慣性センサ、あるタイプの測定センサなどを含み得る。外部センサ１０３３は、速度、方向、空気流、物体または場所までの距離、気象条件などのためのセンサを含み得る。入力デバイス１０３５は、例えば、キーボード、スキャナ、マイクロフォン、スタイラス、タッチセンサ式パッドまたはディスプレイを含むことができる。
【0111】
以下の説明は、例示的な実施形態のみを提供するものであり、本開示の範囲、適用性、または構成を限定することを意図するものではない。むしろ、例示的な実施形態の以下の説明は、１つ以上の例示的な実施形態を実現するための実施可能な説明を当業者に提供する。企図されるのは、特許請求の範囲に記載されるように開示される主題の精神および範囲から逸脱することなく、要素の機能および構成において行われ得るさまざまな変更である。
【0112】
以下の説明では、実施形態の完全な理解のために、具体的な詳細が与えられる。しかしながら、当業者は、実施形態がこれらの具体的な詳細なしに実施され得ることを理解することができる。たとえば、開示される主題におけるシステム、プロセス、および他の要素は、不必要な詳細で実施形態を不明瞭にしないように、ブロック図の形態の構成要素として示される場合がある。他の事例では、周知のプロセス、構造、および技法は、実施形態を不明瞭にすることを回避するために、不必要な詳細を伴わずに示される場合がある。さらに、様々な図面における同様の参照番号および名称は、同様の要素を示す。
【0113】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明され得る。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは、並列または同時に実行することができる。加えて、動作の順序は並べ替えられてもよい。プロセスは、その動作が完了したときに終了されてもよいが、論じられていない、または図に含まれていない追加のステップを有してもよい。さらに、特に説明される任意のプロセスにおけるすべての動作が、すべての実施形態において生じ得るわけではない。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応するとき、関数の終了は、当該関数の呼び出し関数またはメイン関数への復帰に対応することができる。
【0114】
さらに、開示される主題の実施形態は、少なくとも部分的に、手動または自動のいずれかで実現されてもよい。手動または自動実現例は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、もしくはそれらの任意の組合せの使用を通じて実行されてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に記憶されてもよい。必要なタスクはプロセッサが実行してもよい。
【0115】
本開示の実施形態は、位置の曖昧さを可能にすることによるコヒーレント分散レーダ撮像と、複数のセンサを用いた分散感知による単一のセンサアレイのオートフォーカスとを含む。特に、１つの送信／受信レーダプラットフォームおよび複数の受信レーダプラットフォームが、位置摂動を伴って関心領域（ＲＯＩ）に向かって移動している、マルチスタティックレーダ撮像アプローチである。本開示の実施形態は、ＲＯＩ内の物体を検出する。不正確な測位および運動誤差に起因して、実際のアレイ位置は、中心レーダ波長の数倍まで摂動される。各センサアレイの画像解像度は、その小さい開口サイズに起因して低い場合があるが、すべての分散アレイの出力を、充分に補償された位置誤差とともにあわせて処理することによって、高解像度画像を形成することができる。本開示の実施形態は、疎な場面を仮定し、位置により誘導される位相誤差を補償し、物体シグネチャを活用し、アンテナ位置を推定するために一連の最適化問題を解くことによって反復的に実現される。
【0116】
本開示の実施形態はまた、単一の移動送信レーダプラットフォームまたは組み合わせ送信器／受信器を、複数の空間的に分散された移動レーダ受信プラットフォームまたは受信器とともに使用して、関心領域内に位置する物体のレーダ画像を生成するためのオートフォーカスレーダ撮像を提供する。移動するレーダ受信機は、いくつかのレーダ波長までの未知の位置誤差で摂動される。
【0117】
本明細書で概説される様々な方法またはプロセスは、様々なオペレーティングシステムまたはプラットフォームのいずれか１つを使用する１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングもしくはスクリプトツールのうちのいずれかを使用して書かれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。典型的には、プログラムモジュールの機能は、様々な実施形態において所望に応じて組み合わせられるかまたは分散されてもよい。
【0118】
本開示の実施形態は、一例が提供された方法として具現化されてもよい。方法の一部として実行される行為は、任意の好適な方法で順序付けされてもよい。したがって、例示的な実施形態において連続的な行為として示されているいくつかの行為を同時に実行することを含むことができる、例示とは異なる順序で行為が実行される実施形態を構築してもよい。
【0119】
本開示は、ある好ましい実施形態を参照して説明されたが、種々の他の適応および修正が、本開示の精神および範囲内で行われ得ることを理解されたい。したがって、添付の特許請求の範囲の態様は、本開示の真の趣旨および範囲内に入るすべてのそのような変形形態および修正形態を包含するものである。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【手続補正書】
【提出日】2024-04-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
シーンのレーダ画像を生成するためのシステムであって、アンテナのセットと、少なくとも１つのプロセッサと、命令が記憶されるメモリとを備え、前記命令は前記少なくとも１つのプロセッサによって実行されると、前記システムに、前記アンテナのセットから収集された前記シーンのレーダ測定値を受信させ、前記レーダ測定値は、前記シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、前記命令は、さらに、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
疎復元問題を解くことによって前記シーンの前記レーダ画像を生成させ、前記疎復元問題は、
前記アンテナのセットの異なる不確実性に対応する前記レーダ画像の画像シフトのセットを判断するよう構成され、前記アンテナのセットは、前記アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性下にあり、前記疎復元問題は、
終了条件が満たされるまで、前記判断されたレーダ画像の画像シフトのセットに基づいて、前記レーダ画像の推定値を更新するよう構成され、前記アンテナの各々について、前記レーダ画像の対応するシフトによってシフトされた前記レーダ画像の前記推定値は、前記アンテナの前記レーダ測定値に適合し、
前記疎復元問題は、前記レーダ画像の前記推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、前記命令は、さらに、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
前記終了条件が満たされる場合に前記レーダ画像をレンダリングさせ、
前記レーダ画像の前記推定値の前記フィルタリングは、前進レーダ演算子および随伴レーダ演算子を前記レーダ画像の前記推定値に適用することによって実行されることにおいて特徴付けられる、システム。
【請求項2】
前記ニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む、請求項１に記載のシステム。
【請求項3】
前記ニューラルネットワークノイズ除去器は、入力画像および出力画像を含むトレーニングデータセットに基づいてトレーニングされ、前記入力画像は、逆射影画像を含み、前記出力画像は、グラウンドトゥルース物体レーダ画像を含む、請求項１に記載のシステム。
【請求項4】
前記シーンは、少なくとも１つの移動物体を含む、請求項１に記載のシステム。
【請求項5】
トラッカをさらに備え、前記トラッカは、少なくとも前記レーダ画像に基づいて、前記少なくとも１つの移動物体の状態を判断するよう構成される、請求項４に記載のシステム。
【請求項6】
前記少なくとも１つの移動物体の前記状態は、前記少なくとも１つの移動物体のサイズ、向き、および位置のうちの１つまたは組合せを含む、請求項５に記載のシステム。
【請求項7】
シーンのレーダ画像を生成する方法であって、アンテナのセットから収集された前記シーンのレーダ測定値を受信することを含み、前記レーダ測定値は、前記シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、前記方法はさらに、
疎復元問題を解くことによって前記シーンの前記レーダ画像を生成することを含み、前記疎復元問題は、
前記アンテナのセットの異なる不確実性に対応する前記レーダ画像の画像シフトのセットを判断するよう構成され、前記アンテナのセットは、前記アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性下にあり、前記疎復元問題は、
終了条件が満たされるまで、前記判断されたレーダ画像の画像シフトのセットに基づいて、前記レーダ画像の推定値を更新するよう構成され、前記アンテナの各々について、前記レーダ画像の対応するシフトによってシフトされた前記レーダ画像の前記推定値は、前記アンテナの前記レーダ測定値に適合し、
前記疎復元問題は、前記レーダ画像の前記推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、前記方法はさらに、
前記終了条件が満たされる場合に前記レーダ画像をレンダリングすることを含み、
前記レーダ画像の前記推定値の前記フィルタリングは、前進レーダ演算子および随伴レーダ演算子を前記レーダ画像の前記推定値に適用することによって実行されることにおいて特徴付けられる、方法。
【請求項8】
前記ニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む、請求項７に記載の方法。
【請求項9】
前記ニューラルネットワークノイズ除去器は、入力画像および出力画像を含むトレーニングデータセットに基づいてトレーニングされ、前記入力画像は、逆射影画像を含み、前記出力画像は、グラウンドトゥルース物体レーダ画像を含む、請求項７に記載の方法。
【請求項10】
前記シーンは移動物体を含む、請求項７に記載の方法。
【請求項11】
シーンのレーダ画像を生成する方法を実行するためにプロセッサによって実行可能なプログラムが具現化された非一時的なコンピュータ可読記憶媒体であって、前記方法は、アンテナのセットから収集された前記シーンのレーダ測定値を受信することを含み、前記レーダ測定値は、前記シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、前記方法はさらに、
疎復元問題を解くことによって前記シーンの前記レーダ画像を生成することを含み、前記疎復元問題は、
前記アンテナのセットの異なる不確実性に対応する前記レーダ画像の画像シフトのセットを判断するよう構成され、前記アンテナのセットは、前記アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合せによって引き起こされる不確実性下にあり、前記疎復元問題は、
終了条件が満たされるまで、前記判断されたレーダ画像の画像シフトのセットに基づいて、前記レーダ画像の推定値を更新するよう構成され、前記アンテナの各々について、前記レーダ画像の対応するシフトによってシフトされた前記レーダ画像の前記推定値は、前記アンテナの前記レーダ測定値に適合し、
前記疎復元問題は、前記レーダ画像の前記推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、前記方法はさらに、
前記終了条件が満たされる場合に前記レーダ画像をレンダリングすることを含み、
前記レーダ画像の前記推定値の前記フィルタリングは、前進レーダ演算子および随伴レーダ演算子を前記レーダ画像の前記推定値に適用することによって実行されることにおいて特徴付けられる、非一時的なコンピュータ可読記憶媒体。
【請求項12】
前記ニューラルネットワークノイズ除去器は、残差Ｕｎｅｔアーキテクチャを含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【請求項13】
前記ニューラルネットワークノイズ除去器は、入力画像および出力画像を含むトレーニングデータセットに基づいてトレーニングされ、前記入力画像は、逆射影画像を含み、前記出力画像は、グラウンドトゥルース物体レーダ画像を含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【請求項14】
前記シーンは移動物体を含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【0026】
したがって、一実施形態は、シーンのレーダ画像を生成するためのシステムを開示する。システムは、アンテナのセットと、少なくとも１つのプロセッサと、命令が記憶されるメモリとを備え、命令は少なくとも１つのプロセッサによって実行されると、システムに、アンテナのセットから収集されたシーンのレーダ測定値を受信させ、レーダ測定値は、シーンに送信されるレーダパルスに関連付けられる反射の測定値であり、命令は、さらに、少なくとも１つのプロセッサによって実行されると、システムに、疎復元問題を解くことによってシーンのレーダ画像を生成させ、疎復元問題は、終了条件が満たされるまで、アンテナの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断するよう構成され、アンテナのセットは、アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合わせによって引き起こされる不確実性下にあり、疎復元問題は、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新するよう構成され、アンテナの各々について、レーダ画像の対応するシフトによってシフトされたレーダ画像の推定値は、アンテナのレーダ測定値に適合し、疎復元問題は、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、命令は、さらに、少なくとも１つのプロセッサによって実行されると、システムに、終了条件が満たされる場合にレーダ画像をレンダリングさせる。さらに、レーダ画像の推定値のフィルタリングは、前進レーダ演算子および随伴レーダ演算子をレーダ画像の推定値に適用することによって実行される。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【0027】
したがって、別の実施形態は、シーンのレーダ画像を生成するための方法を開示する。本方法は、アンテナのセットから収集されたシーンのレーダ測定値を受信することを含み、レーダ測定値は、シーンに送信されるレーダパルスの反射に関連付けられる測定値であり、本方法はさらに、疎復元問題を解くことによってシーンのレーダ画像を生成することを含み、疎復元問題は、終了条件が満たされるまで、アンテナの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断するよう構成され、アンテナのセットは、アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合わせによって引き起こされる不確実性下にあり、疎復元問題は、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新するよう構成され、アンテナの各々について、レーダ画像の対応するシフトによってシフトされたレーダ画像の推定値は、アンテナのレーダ測定値に適合し、疎復元問題は、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、本方法はさらに、終了条件が満たされる場合にレーダ画像をレンダリングすることを含む。さらに、レーダ画像の推定値のフィルタリングは、前進レーダ演算子および随伴レーダ演算子をレーダ画像の推定値に適用することによって実行される。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【0028】
したがって、さらに別の実施形態は、シーンのレーダ画像を生成するための方法を実行するためにプロセッサによって実行可能なプログラムを具現化したコンピュータ可読記憶媒体を開示する。この方法は、アンテナのセットから収集されたシーンのレーダ測定値を受信することを含み、レーダ測定値は、シーンに送信されるレーダパルスに関連付けられる反射の測定値であり、この方法はさらに、疎復元問題を解くことによってシーンのレーダ画像を生成することを含み、疎復元問題は、終了条件が満たされるまで、アンテナの異なる不確実性に対応するレーダ画像の画像シフトのセットを判断するよう構成され、アンテナのセットは、アンテナの各々の位置の曖昧さおよびクロックの曖昧さのうちの１つまたは組合わせによって引き起こされる不確実性下にあり、疎復元問題は、判断されたレーダ画像の画像シフトのセットに基づいて、レーダ画像の推定値を更新するよう構成され、アンテナの各々について、レーダ画像の対応するシフトによってシフトされたレーダ画像の推定値は、アンテナのレーダ測定値に適合し、疎復元問題は、レーダ画像の推定値のフィルタリングをノイズ除去するニューラルネットワークノイズ除去器で解決され、この方法はさらに、終了条件が満たされる場合にレーダ画像をレンダリングすることを含む。さらに、レーダ画像の推定値のフィルタリングは、前進レーダ演算子および随伴レーダ演算子をレーダ画像の推定値に適用することによって実行される。
【国際調査報告】