(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163164
(43)【公開日】2023-11-09
(54)【発明の名称】レーダーシステムおよびレーダーシステムにおいてデータを送信するための方法
(51)【国際特許分類】
G01S 7/35 20060101AFI20231101BHJP
G01S 13/34 20060101ALI20231101BHJP
G01S 13/931 20200101ALI20231101BHJP
【FI】
G01S7/35
G01S13/34
G01S13/931
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023072137
(22)【出願日】2023-04-26
(31)【優先権主張番号】17/730,229
(32)【優先日】2022-04-27
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】599158797
【氏名又は名称】インフィニオン テクノロジーズ アクチエンゲゼルシャフト
【氏名又は名称原語表記】Infineon Technologies AG
【住所又は居所原語表記】Am Campeon 1-15, 85579 Neubiberg, Germany
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ジーモン アハッツ
(72)【発明者】
【氏名】マクシミリアン エッシュバウマー
【テーマコード(参考)】
5J070
【Fターム(参考)】
5J070AA05
5J070AB18
5J070AC02
5J070AC06
5J070AC13
5J070AD05
5J070AD08
5J070AF03
5J070AH12
5J070AH19
5J070AH31
5J070AH35
5J070BA01
(57)【要約】
【課題】本発明はレーダーシステムおよびレーダーシステムにおいてデータを送信するための方法を提供する。
【解決手段】さまざまな実施形態によれば、第1のレーダー処理装置と第2のレーダー処理装置とを含むレーダーシステムであって、第1のレーダー処理装置が、レーダーデータを生成し、そのレーダーデータをさらに処理するために第2のレーダー処理装置に部分的に送信するように構成され、第1のレーダー処理装置が、送信からレーダーデータの部分を割愛するように構成され、第2のレーダー処理装置が、レーダーデータを追加のレーダーデータで補完するように訓練された機械学習モデルを使用して割愛された部分を再構成するように構成され、レーダーデータの送信された部分を追加のレーダーデータと組み合わせてさらに処理するように構成される、レーダーシステムが説明される。
【選択図】
図4
【特許請求の範囲】
【請求項1】
第1のレーダー処理装置と第2のレーダー処理装置とを備えるレーダーシステムであって、
前記第1のレーダー処理装置は、レーダーデータを生成し、前記レーダーデータをさらに処理するために前記第2のレーダー処理装置に部分的に送信するように構成され、前記第1のレーダー処理装置は、前記送信から前記レーダーデータの部分を割愛するように構成され、
前記第2のレーダー処理装置は、レーダーデータを追加のレーダーデータで補完するように訓練された機械学習モデルを使用して前記割愛された部分を再構成するように構成され、前記レーダーデータの前記送信された部分を前記追加のレーダーデータと組み合わせてさらに処理するように構成される、
レーダーシステム。
【請求項2】
前記レーダーデータは、レーダーサンプルであり、前記第1のレーダー処理装置は、特定のサンプリング時間のレーダーサンプルを割愛するように構成され、前記第2のレーダー処理装置は、前記割愛されたレーダーサンプルを再構成し、前記再構成されたレーダーサンプルを使用して距離フーリエ変換を行うように構成される、
請求項1に記載のレーダーシステム。
【請求項3】
前記第1のレーダー処理装置は、サンプリング時間とレーダーチャネルとチャープとの特定の組み合わせに対するレーダーサンプルを割愛するように構成される、
請求項2に記載のレーダーシステム。
【請求項4】
前記第2のレーダー処理装置は、前記第1のレーダー処理装置から前記第2のレーダー処理装置に送信された他のサンプリング時間、レーダーチャネルおよび/またはチャープに対する送信されたレーダーサンプルを外挿および/または内挿することによって前記割愛されたレーダーサンプルを再構成するように構成される、
請求項2に記載のレーダーシステム。
【請求項5】
前記レーダーデータは、距離フーリエ変換結果であり、前記第1のレーダー処理装置は、特定のチャープに対する距離フーリエ変換結果を割愛するように構成され、前記第2のレーダー処理装置は、前記割愛された距離フーリエ変換結果を再構成して、前記再構成された距離フーリエ変換結果を使用してドップラーフーリエ変換を行うように構成される、
請求項1に記載のレーダーシステム。
【請求項6】
前記第1のレーダー処理装置は、距離ビンとレーダーチャネルとチャープとの特定の組み合わせに対する距離フーリエ変換結果を割愛するように構成される、
請求項5に記載のレーダーシステム。
【請求項7】
前記第2のレーダー処理装置は、前記第1のレーダー処理装置から前記第2のレーダー処理装置への他の距離ビン、レーダーチャネルおよび/またはチャープに対する距離フーリエ変換結果を外挿および/または内挿することによって前記割愛された距離フーリエ変換結果を再構成するように構成される、
請求項5に記載のレーダーシステム。
【請求項8】
前記レーダーデータは、ドップラーフーリエ変換結果であり、前記第1のレーダー処理装置は、特定のレーダーチャネルに対するドップラーフーリエ変換結果を割愛するように構成され、前記第2のレーダー処理装置は、前記割愛されたドップラーフーリエ変換結果を再構成して、前記再構成されたドップラーフーリエ変換結果を使用して到来方向判定を行うように構成される、
請求項1に記載のレーダーシステム。
【請求項9】
前記第1のレーダー処理装置は、距離ビンとレーダーチャネルとドップラービンとの特定の組み合わせに対するドップラーフーリエ変換結果を割愛するように構成される、
請求項8に記載のレーダーシステム。
【請求項10】
前記第2のレーダー処理装置は、前記第1のレーダー処理装置から前記第2のレーダー処理装置への他の距離ビン、レーダーチャネルおよび/またはドップラービンに対するドップラーフーリエ変換結果を外挿および/または内挿することによって前記割愛されたドップラーフーリエ変換結果を再構成するように構成される、
請求項8に記載のレーダーシステム。
【請求項11】
前記第1のレーダー処理装置は、前記レーダーデータの前記部分を破棄するように構成される、
請求項1に記載のレーダーシステム。
【請求項12】
前記第1のレーダー処理装置は、マスクに従って前記レーダーデータの前記部分を破棄するように構成され、前記マスクを前記第2のレーダー処理装置にシグナリングするように構成される、
請求項1に記載のレーダーシステム。
【請求項13】
前記第1のレーダー処理装置は、圧縮率を決定し、前記決定された圧縮率に従って前記マスクを決定するように構成される、
請求項12に記載のレーダーシステム。
【請求項14】
前記第1のレーダー処理装置は、モノリシックマイクロ波集積回路であり、
前記第2のレーダー処理装置は、マイクロコントローラである、
請求項1に記載のレーダーシステム。
【請求項15】
前記第1のレーダー処理装置は、車両のレーダーセンサ装置であり、
前記第2のレーダー処理装置は、前記車両の先進運転者支援システムの処理装置である、
請求項1に記載のレーダーシステム。
【請求項16】
前記レーダーシステムは、前記機械学習モデルを訓練するように構成された訓練装置を備える、
請求項1に記載のレーダーシステム。
【請求項17】
前記機械学習モデルは、ニューラルネットワークである、
請求項1に記載のレーダーシステム。
【請求項18】
前記機械学習モデルは、多層パーセプトロン、オートエンコーダおよびUNetのうちの少なくとも1つを含む、
請求項1に記載のレーダーシステム。
【請求項19】
レーダーシステムにおいてデータを送信するための方法であって、前記方法は、
第1のレーダー処理装置によってレーダーデータを生成するステップと、
前記レーダーデータを、さらなる処理のために前記第1のレーダー処理装置から第2のレーダー処理装置に部分的に送信するステップであって、前記第1のレーダー処理装置が前記送信から前記レーダーデータの部分を割愛するステップと、
前記第2のレーダー処理装置によって、レーダーデータを追加のレーダーデータで補完するように訓練された機械学習モデルを使用して前記割愛された部分を再構成するステップと、
前記第2のレーダー処理装置によって、前記レーダーデータの前記送信された部分を前記追加のレーダーデータと組み合わせてさらに処理するステップと、
を含む方法。
【請求項20】
前記方法は、前記機械学習モデルを訓練するステップをさらに含む、
請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載する例示的な実施態様は、一般に、レーダーシステムおよびレーダーシステムにおいてデータを送信するための方法に関する。
【背景技術】
【0002】
(距離および方向を含む)対象物体の位置と速度との正確な推定を可能にするレーダーシステムは、大量のレーダーデータを処理する。したがって、そのようなレーダーシステムが複数の装置を含む場合、すなわち、分散処理の場合、装置間で大量のデータが送信される必要がある。一例が車両内のレーダーシステムであり、このシステムでは、処理の一部がレーダーセンサ装置によって行われ、さらなる処理がレーダーセンサ装置とは別の制御装置、例えば、先進運転者支援システムのマイクロコントローラなどの制御装置によって行われる。レーダーデータの送信は、装置間のインターフェース(伝送線路など)に高い負荷をかけ、よって余分な高帯域幅接続の提供を必要とする場合があるので、レーダーシステム内のレーダー処理装置間のデータの効率的な送信を可能にする手法が望ましい。
【発明の概要】
【課題を解決するための手段】
【0003】
さまざまな実施形態によれば、第1のレーダー処理装置と第2のレーダー処理装置とを含むレーダーシステムであって、第1のレーダー処理装置が、レーダーデータを生成し、レーダーデータをさらに処理するために第2のレーダー処理装置に部分的に送信するように構成され、第1のレーダー処理装置が、送信からレーダーデータの部分を割愛するように構成され、第2のレーダー処理装置が、レーダーデータを追加のレーダーデータで補完するように訓練された機械学習モデルを使用して割愛された部分を再構成するように構成され、レーダーデータの送信された部分を追加のレーダーデータと組み合わせてさらに処理するように構成される、レーダーシステムが提供される。
【0004】
さらなる実施形態によれば、上記レーダーシステムによるレーダーシステムにおいてデータを送信するための方法が提供される。
【0005】
図面において、同様の参照符号は、一般に、異なる図を通して同じ部分を指す。図面は必ずしも縮尺通りではなく、代わりに、本発明の原理を説明することに全体として重点が置かれている。以下の説明では、以下の図面を参照してさまざまな態様を説明する。
【図面の簡単な説明】
【0006】
【
図2】FMCW(Frequency Modulated Continuous Wave(周波数変調連続波))レーダーシステムを例示する図である。
【
図3】複数の送信アンテナおよび受信アンテナを有するレーダー装置を示す図である。
【
図6】
図4の処理のさまざまな段における圧縮(C)および展開(AIによる再構成)の包含を示す図である。
【
図8】サンプルの復元のための内挿および外挿を例示する図である。
【
図9】MLP構造を有するニューラルネットワークの一例を示す図である。
【
図10】オートエンコーダ構造を有するニューラルネットワークの一例を示す図である。
【
図11】距離FFT(Fast Fourier Transform(高速フーリエ変換))係数の復元のための外挿および内挿を例示する図である。
【
図12】8つのアンテナを有する仮想受信アンテナアレイのドップラーFFT係数の復元のための外挿および内挿を例示する図である。
【
図13】一実施形態によるレーダーシステムを示す図である。
【
図14】レーダーシステムにおいてデータを送信するための方法を例示する流れ図である。
【発明を実施するための形態】
【0007】
以下の詳細な説明では、本発明が実施されうる本開示の特定の具体的な詳細および態様を例示として示す添付の図面を参照する。本発明の範囲から逸脱することなく、他の態様が利用されてもよく、構造的、論理的および電気的な変更がなされてもよい。本開示のさまざまな態様は必ずしも相互排他的ではなく、本開示のいくつかの態様を本開示の1つまたは複数の他の態様と組み合わせて新しい態様を形成することができる。
【0008】
【0009】
レーダー設備100は、アンテナ配列102とレーダー制御装置103とを含む(レーダーシステムを実施する)レーダー装置101を含む。レーダーシステムは、この例ではレーダー装置101によって実施されているが、レーダーシステムはまた、例えば、電子制御ユニット(ECU)や車両コントローラおよび/または先進運転者支援システム(ADAS)を実施する装置(もしくは設備)を含む、装置の配置によって実施されてもよいことに留意されたい。
【0010】
レーダー制御装置103は、1つまたは複数の(レーダー)送信機104と、デュプレクサ105(すなわち、送信信号を受信信号から分離する回路)と、(レーダー)受信機106と、コントローラ107と、を含む。レーダー設備は、送信アンテナアレイの形態の複数の送信アンテナと、受信アンテナアレイの形態の複数の受信アンテナと、を含んでもよい。
【0011】
物体108を検出するために、コントローラ107は、1つまたは複数の送信機104、デュプレクサ105および受信機106を以下のように制御する。
1.1つまたは複数の送信機104は、アンテナ配列102を介して送信信号109を送信する。
2.送信信号109は、対象(物体)108によって反射される。
3.レーダー装置101は、送信信号のエコー110を受信信号として受信する。
【0012】
レーダー制御装置103(例えば、レーダー信号処理回路111)は、受信信号から、物体108の位置および速度に関する情報を計算する。
【0013】
例えば、レーダー装置101は、近くの物体を検出するため、特に自律運転のために車両に設置されうる。
【0014】
送信信号109は、複数のパルスを含んでもよい。パルス送信は、レーダー装置101がエコー110をリッスンする時間と組み合わせた短い高出力バーストの送信を含む。これは通常、自動車シナリオのような高度に動的な状況には最適ではない。
【0015】
したがって、連続波(CW)が送信信号として代わりに使用されうる。連続波は速度判定のみを可能にし、距離情報を提供しない(距離計算を可能にすることができるタイムマークがないため)ので、手法は周波数変調連続波(FMCW)レーダーまたは位相変調連続波(PMCW)レーダーである。
【0016】
図2に、FMCWレーダーシステム200を例示する。
【0017】
FMCWレーダーシステムでは、送信信号を一定の周波数で送信するのではなく、送信信号の周波数は、鋸歯状(あるいは三角形)波形201に従って周期的にランプアップされ、リセットされる。鋸歯状波形201は、例えば、ランピング回路(または「ランパ」)によって生成されてもよい。鋸歯状波形201は、発振器202を周波数変調し、結果として得られる送信信号は、(無線周波数(RF)フロントエンドによって)送信アンテナ203に供給される。
【0018】
受信アンテナ204は、(ノイズなどに加えて)送信信号のエコーを受信信号として受信する。混合器205は、送信信号を受信信号と混合する。混合の結果は、ローパスフィルタ206によってフィルタリングされ、スペクトラムアナライザ207によって処理される。
【0019】
送信信号はチャープ(または「ランプ」)シーケンスの形態を有し、これらは鋸歯状波形201を有する正弦波の変調の結果である。単一のチャープ208は、最小周波数から最大周波数までの鋸歯状波形201の1つの「歯」によって周波数変調された発振器信号の正弦波に対応する。
【0020】
以下でさらに詳細に説明するように、スペクトラムアナライザ207(例えば、レーダー信号処理回路111によって実施される)は、2つのFFT(高速フーリエ変換)段を行って、受信信号から距離情報(距離FFTとも呼ばれる第1段FFTによる)と、速度情報(ドップラーFFTとも呼ばれる第2段FFTによって)と、を抽出する。スペクトラムアナライザ207はデジタルサンプルに対して動作するため、受信アンテナ204からスペクトラムアナライザ207への経路にA/D(analog-to-digital(アナログ・デジタル))変換が含まれることに留意されたい。例えば、フィルタ206はアナログフィルタであり、フィルタ206とスペクトラムアナライザ207との間にアナログ・デジタル変換器(ADC)が配置される。したがって、受信経路のさまざまな構成部品の少なくとも一部は、デジタルフロントエンドまたはアナログフロントエンドの一部でありうる。
【0021】
レーダー装置101に対する物体108の方向の判定をさらに可能にするために、アンテナ配列102は、複数の受信アンテナ、すなわち受信アンテナのアレイを含んでもよい。その場合、物体108の方向は、受信アンテナが物体からエコー110を受信する位相差から、例えば第3段FFT(角度FFTとも呼ばれる)によって判定されうる。したがって、レーダー受信機は、受信アンテナごとに混合器205、アナログフィルタ206およびADCを含んでもよい。
【0022】
複数のアンテナによって受信された信号は、MMIC(Monolithic Microwave Integrated Circuit(モノリシックマイクロ波集積回路))によって処理されうる。
【0023】
図3に、複数の送信アンテナおよび受信アンテナを有するレーダー装置300を示す。
【0024】
レーダー装置300は、
図2を参照して説明したように、送信増幅器302(送信アンテナごとに1つ)および混合器303に送信信号を供給する(電圧制御される)ランパ付き発振器301を含むMMIC310を含む。
【0025】
図3の例では、送信増幅器302のうちの2つは、送信信号が送信信号インターフェース312を介して提供される電力増幅器311によって提供される。しかしながら、送信増幅器はまた、すべてMMIC310内に設けられてもよい。
【0026】
MMIC310内には、受信アンテナごとに1つの混合器303が存在する。アナログフィルタ304(フィルタ206に対応する)は、混合信号をフィルタリングし、アナログ・デジタル変換器(ADC)305は、フィルタリングされたアナログ信号からデジタル信号を生成する。MMIC310は、それらの出力を、デジタルインターフェース306を介してレーダー信号プロセッサ307に転送する。
【0027】
レーダー信号プロセッサ307は、(例えばレーダー信号処理回路111に対応する)レーダー信号処理回路308を有し、
図4を参照して以下で説明するように、スペクトラムアナライザを実施し、物体検出および到来方向の判定を行う。
【0028】
図4に、MMIC401を使用して受信されたレーダー信号の処理を例示する。
【0029】
MMIC401は、例えば、受信機106の一部である。MMIC401は、複数のアンテナと結合されており、複数のアンテナのそれぞれから受信信号を供給される。
【0030】
MMICが並列に処理しうる受信信号の数は制限されており(よって、1つのMMICは限られた数の受信アンテナのために機能することしかできず)、より多数の受信アンテナの使用を可能にするために複数のMMICが使用されうることに留意されたい。その場合、単一のMMIC401の代わりに複数のMMICが存在するが、処理は同様である。
【0031】
MMIC401は、増幅、周波数ダウンコンバージョン(すなわち、例えば、混合器205およびフィルタ206の機能)、A/D変換のような受信信号の処理を行う。MMICはまた、デュプレクサ105を実施してもよく、すなわち、送信信号を受信信号から分離するように構成されてもよい。MMIC401は、結果として得られるデジタル化受信信号をレーダー信号処理チェーン402(例えば、レーダー信号プロセッサ307によって実施される)に供給する。
【0032】
レーダー信号処理チェーン402は、デジタル化受信信号に対して干渉の検出および緩和403を行い、その後に、距離FFTとも呼ばれる第1のFFT(高速フーリエ変換)404およびドップラーFFTとも呼ばれる第2のFFT405が続く。FFT404、FFT405の出力に基づいて、レーダー信号処理チェーン402は、407において、1つまたは複数の物体の距離情報および速度情報を(例えば、R/D(range-Doppler(距離・ドップラー))マップの形態で)判定する。
【0033】
第2のFFT405の出力は、アンテナごとの(すなわち、この特定のアンテナによって受信された受信信号のサンプルの処理に基づく)2次元FFT結果(一方の次元は距離に対応し、他方の次元は速度に対応する)であることに留意されたい。第1のFFT404の結果は、受信アンテナごとの、距離ビンの複素数値を含む。
【0034】
第2のFFT405は、距離ビンごとに、複数のチャープにわたる第1のFFT404の結果を調べて、距離ビンごとに、ドップラービンごとの複素数値を生成する。よって、第2のFFT段405の結果は、受信アンテナごとに、ドップラービンと距離ビンとの組み合わせごとの(すなわち、ドップラー/距離ビンごとの)の複素数値を含む。これは、アンテナ固有のR/Dマップを与えるとみなすことができる。
【0035】
406において、レーダー信号処理チェーン402は、集約R/Dマップを生成するために、MMIC固有のR/Dマップを、例えばコヒーレント積分または非コヒーレント積分によって、例えばそれらを合計することによって結合する。次いで、407において、レーダー処理チェーン402は、例えばCFAR(Constant False Alarm Rate(一定誤警報率))アルゴリズムによって、集約R/Dマップ内のピークを識別することによって特定の物体の速度および距離を推定する。FFT出力は一般に複素数値からなるので、FFT出力(集約R/Dマップなど)におけるピーク選択は、絶対値(すなわち、複素出力の複素振幅)または累乗(すなわち、絶対値の二乗)に基づく選択として理解されうることに留意されたい。
【0036】
408において、レーダー信号プロセッサ307は、1つまたは複数の物体の方向をさらに判定しうる。これは、異なる受信アンテナ間の第2段FFTの出力値の位相差に基づいて行うことができ、第3段FFT(角度FFT)を含んでもよい。
【0037】
この処理の結果に基づいて、例えばある時点でのセンサフュージョンを含む、物体の分類、追跡、物体リストの生成などのさらなる処理および意思決定(例えば、自律運転における運動計画)が、409、410および411において行われうる。これは、車両コントローラなどのさらなる構成部品によって少なくとも部分的に行われてもよい。このために、レーダー信号プロセッサ307は、出力インターフェース309を介して処理結果を出力してもよい。
【0038】
MMIC401によって提供されたデジタル化受信信号は、通常、データキューブに配置される。
【0039】
【0040】
データキューブ500は、受信アンテナアレイ503を形成するM個のアンテナからの受信信号のデジタル化サンプルを含む。MMIC401は、アナログ/デジタル変換を行って、デジタル化サンプルを生成する。
【0041】
例えば、チャープごとに、受信信号はL個のサンプル(例えばL=512)を有するようにサンプリングされる。
【0042】
チャープごとに収集されたL個のサンプルは、第1のFFT404によって処理される。
【0043】
第1のFFT404はチャープごとアンテナごとに行われ、そのため、第1のFFT404によるデータキューブ500の処理の結果は、やはり3つの次元を有し、データキューブ500のサイズを有しうるが、もはやL個のサンプリング時間の値を有さず、代わりにL/2個の距離ビンの値を有する(というのは、通常、距離ビンの後半は、FFTが実入力値に適用されるために前半の繰り返しであるので割愛されるため)。
【0044】
次いで、第1のFFT404によるデータキューブ500の処理の結果は、(アンテナごと距離ビンごとに)チャープに沿って第2のFFT405によって処理される。
【0045】
第1のFFT404の方向は高速時間と呼ばれ、第2のFFT405の方向は低速時間と呼ばれる。
【0046】
第2のFFT405の結果は、(406において)アンテナ全体にわたって集約されると、距離・ドップラー(R/D)マップ501を与え、R/Dマップ501は、レーダー信号プロセッサ307が(特定の距離および速度の)検出された物体108に対応すると予想する特定の距離/速度の組み合わせの(すなわち特定の距離・ドップラービンの)FFTピーク502(すなわち、(絶対値での)FFT出力値のピーク)を有する。
【0047】
レーダー信号処理のさまざまな段(サンプルの生成を含む)は、異なる(レーダー処理)装置上で実行されてもよい。例えば、
図3の例示では、サンプルの生成はMMIC401によって実行され、さらなる処理はレーダー信号プロセッサ307によって実行される。しかしながら、分離は異なっていてもよいし、さらなる分離があってもよい。例えば、以下のケースが生じうる。
ケース1)サンプルの生成が第1の(レーダー処理)装置上で行われ、距離FFT404が第2の(レーダー処理)装置上で行われる。このケースは
図3で例示されている。干渉の特定および緩和もまた、どちらかの装置上で行われうる。
ケース2)距離FFT404が第1の装置(サンプリングを行う場合も行わない場合もある)によって行われ、ドップラーFFT405が第2の装置によって行われる。
ケース3)ドップラーFFT405が第1の装置によって行われ、ドップラーFFT結果の処理(DoA判定408)が第2の装置によって行われる。NCI406およびピーク検出407はどちらの装置上で行われてもよいが、いずれの場合も、装置間でドップラーFFT結果が送信される必要がある。NCI406がどこで行われるかに応じて、ドップラーFFT結果はチャネル固有でありうるか、または集約されうる。本明細書では両方とも、ドップラーFFT結果(またはドップラーFFT係数)と呼ぶ。
【0048】
これらのケースによれば、サンプル、距離FFT係数、またはドップラーFFT係数は、それぞれ、第1の装置から第2の装置に送信される必要がある。これらのデータの量は非常に多い可能性があるため、装置によって必要とされる帯域幅は非常に高く、車両レーダーシステムのような用途で提供することは容易ではない可能性があり、追加のデータ回線の設置を必要とする可能性がある。
【0049】
したがって、さまざまな実施形態によれば、2つの装置間で転送される必要があるデータ量を低減するための機構が設けられる。これは、第1の装置でデータの一部を破棄し、機械学習モデルを使用して第2の装置で破棄されたデータを再構成することによって達成される。
【0050】
図6に、
図4の処理のさまざまな段における圧縮(C)および展開(AIによる再構成)の包含を示す。
【0051】
上記のケース1)によれば、データ圧縮(サンプルの破棄601)はサンプリングの後に行われてもよく、展開(サンプルの再構成602)は距離FFTの前に行われてもよい。
【0052】
上記のケース2)によれば、データ圧縮(距離FFT係数の破棄603)は距離FFTの後に行われてもよく、展開(距離FFT係数の再構成604)はドップラーFFTの前に行われてもよい。
【0053】
上記のケース3)によれば、データ圧縮(ドップラーFFT係数の破棄605)はドップラーFFTの後に行われてもよく、展開(ドップラーFFT係数の再構成606)はNCIの前に行われてもよい(または圧縮はNCIもしくはピーク検出の後、展開はDoA判定の後)。
【0054】
破棄601、603、605とその後の展開(再構成または復元)602、604、606と各対の間で、例えば、車両内のバス、イーサネット、無線接続などを介した別個の装置間の送信が、サンプル、距離FFT係数およびドップラー係数のケースに応じて(データ量がその都度圧縮によって低減されて)行われてもよい。処理が2つ以上の別個の装置にわたってどのように分散されるかに応じて、破棄とその後の展開の対のうちの1つまたは複数がレーダーシステムにおいて実施されてもよい。
【0055】
第1の装置は、例えばレーダーセンサ装置であってもよく、第2の装置は、例えばADASの装置(例えば、マイクロコントローラ)などの制御装置であってもよい。
【0056】
3つのケースの各々で、破棄601、603、605において、レーダーデータとも略称される、レーダー受信結果データの部分が破棄される。3つのケース1)、2)、3)について、これらのレーダーデータは、
ケース1)サンプル
ケース2)距離FFT係数
ケース3)ドップラーFFT係数
である。
【0057】
【0058】
レーダーデータは、(レーダーデータの)キューブ701、702として表されている。
【0059】
ケース1)では、これは、
図5にも示されている、サンプルを保持するデータキューブ500である。ケース2)では、キューブは距離FFT係数を保持し、ケース3)ではドップラーFFT係数を保持する。したがって、3軸は以下に対応する。
ケース1)x軸:低速時間、y軸:高速時間、z軸:アンテナインデックス
ケース2)x軸:低速時間、y軸:距離ビン、z軸:アンテナインデックス
ケース3)x軸:ドップラービン、y軸:距離ビン、z軸:アンテナインデックス
【0060】
破棄するとき、固定位置またはランダムな位置で1つまたは複数の次元においてスパース性が付加される。
【0061】
第1のレーダーデータのキューブ701では、ランダムな破棄が例示されている。これは、レーダーデータのキューブ701内のランダムな位置において、対応するサンプル/距離FFT係数/ドップラーFFT係数が破棄されることを意味する。それらの位置は、ランダムに(または、疑似ランダムに)選択されてもよいが、第2の装置が第1の装置によって通知される必要なくそれらの位置を知るようにその後固定されうることに留意されたい。あるいは、第1の装置は、それらの位置(または予め設定された位置の一部分)を適応的に選択し、レーダーデータ要素(すなわち、サンプル/距離FFT係数/ドップラーFFT係数)が破棄された位置に関して第2の装置に知らせてもよい。破棄の結果は、より低い必要メモリ量で記憶することができ、より低い帯域幅要件で送信されうる、より小さいレーダーデータのキューブ703である。
【0062】
破棄は、例えば、破棄されるべきレーダーデータのキューブの位置を指示するビットマップまたはビットマスクに沿って行われてもよい。ビットマスクは、例えば2次元であり、一方向にレーダーデータキューブの層ごとに適用されてもよい。例えば、ビットマスクはxy平面のビットマスクであり、アンテナごとに適用されてもよく、例えば、ケース3)では、ドップラーFFT係数を破棄するためのR/Dマップビットマスクであってもよい。このビットマスクは、第1の装置によって設定され、どのレーダーデータ要素が破棄されたかを第2の装置が知るように第2の装置に転送されてもよい。ビットマスクに1および0の数を設定することにより、第1の装置は圧縮率を設定することができる。
【0063】
第2のレーダーデータのキューブ702では、レーダーデータのキューブの全層が破棄される破棄が例示されている。
【0064】
破棄される層はxz層705全体であってもよく、これは、
ケース1)では、すべてのアンテナおよびすべてのチャープの特定のサンプリング時間のサンプル
ケース2)では、すべてのアンテナおよびすべてのチャープの特定の距離ビンの距離FFT係数
ケース3)では、すべてのアンテナおよびすべてのドップラービンの特定の距離ビンのドップラー係数
である。
【0065】
破棄される層は、yz層706全体であってもよく、これは、
ケース1)では、すべてのサンプリング時間およびすべてのアンテナの特定のチャープのサンプル
ケース2)では、すべての距離ビンおよびすべてのアンテナの特定のチャープの距離FFT係数
ケース3)では、すべての距離ビンおよびすべてのアンテナの特定のドップラービンのドップラー係数
である。
【0066】
破棄される層は、xy層707全体であってもよく、これは、
ケース1)では、すべてのサンプリング時間およびすべてのチャープの特定のアンテナのサンプル
ケース2)では、すべての距離ビンおよびすべてのチャープの特定のアンテナの距離FFT係数
ケース3)では、すべての距離ビンおよびすべてのドップラービンの特定のアンテナのドップラー係数(すなわち、特定のアンテナのR/Dマップ)
である。
【0067】
この場合もやはり、結果はより小さいレーダーデータのキューブ704である。さらに、上述したように、第1の装置は、破棄されるべき層の数を設定することによって圧縮率を選択してもよい。
【0068】
アンテナ、サンプリング時間およびチャープの数に関する制限はなく、例えば、1つまたは複数のMMICおよびレーダープロセッサ(例えば、マイクロコントローラ)が、さまざまな実施形態に従って任意の数のアンテナ、サンプリング時間およびチャープを扱うために設けられてもよいことに留意されたい。
【0069】
上記の説明ではアンテナに言及しているが、これは、特にMIMO(multiple-input,multiple-output(多入力多出力))レーダーシステムの場合には、チャネルであってもよく、各チャネルは複数の送信アンテナのうちの1つと複数の受信アンテナのうちの1つとの対によって形成されることにさらに留意されたい。これらのチャネル(各々が送信アンテナと受信アンテナとの組み合わせによって形成される)は、仮想チャネルとも呼ばれる。
【0070】
レーダーデータ要素のそれぞれの再構成において、破棄されたレーダーデータは第2の装置によって復元される必要があり、すなわち、第2の装置は、第1の装置から受信した(それぞれの)小さいデータのキューブ703、704から完全なデータのキューブ701、702を再構成する必要がある。
【0071】
以下では、上記3つのケースにおけるデータを再構成するための技術、すなわち、サンプルを再構成するための技術、距離FFT係数を再構成するための技術、および、ドップラー係数を再構成するための技術について説明する。これらは機械学習モデルを使用しており、したがって、それぞれの展開602、604、606を、それぞれの機械学習モデルを使用したAI展開と呼ぶ。
【0072】
ケース1)、すなわちサンプルの復元の場合、機械学習モデルは、破棄されたサンプルを計算するために使用される。この例では、説明を簡単にするために、個々のサンプリング時間(すべてのサンプリング時間ではない)のサンプルが、それらをサンプリング時間全体にわたる内挿および/または外挿によって再構成することができるように破棄されたと仮定する。破棄されたサンプルのこれらのサンプリング時間を、以下では、(サンプルが破棄されていないサンプリング時間に対して)追加のサンプリング時間と呼ぶ。(特定のチャープおよび/またはチャネルに対して)すべてのサンプリング時間のサンプルが破棄された場合には、サンプルは、(サンプリング時間ではなく)チャネルまたはチャープ全体にわたる内挿および/または外挿によって類似の方法で再構成されうる。
【0073】
そのため、この例では、第2の装置は、距離FFTを行う前に、内挿および/または外挿によって追加のサンプリング時間のサンプルを生成する機械学習モデル(例えば、ニューラルネットワーク)を使用して、(第1の装置によって提供された)特定のサンプリング時間の距離FFTの入力サンプルを処理する。
【0074】
図8に、サンプルの復元のためのこの内挿および外挿を例示する。
【0075】
第1の
図801で例示する例では、AI展開602には、均一なチャープシーケンス(#1から#8)のサンプリング時間#1、#4、#5、#7および#8のサンプル802、803、804、805、806のみが提供されると仮定されている。
【0076】
機械学習モデルは、内挿によってサンプルを埋めて距離FFT704の「完全な」距離FFT入力データ807にする、すなわち、サンプリング時間#2、#3および#6のサンプル808、809、810を生成する。これは、サンプルの復元と(一般には欠落しているサンプルの計算と)みなされてもよい。
【0077】
第2の
図811で例示する例では、第1の装置がサンプリング周波数f
0に対応するサンプリング時間のサンプルを提供し、AI展開602が、より高いサンプリング周波数、例えばf
s=2×f
0に従ったサンプリング時間のサンプルが存在するように追加のサンプルを計算すると仮定されている。そのため、この例では、AI展開602には4つのサンプル812、813、814、815のみが提供される。
【0078】
機械学習モデルは、内挿および外挿によってこれらのデータを埋めてサンプリング時間#1から#8の各々のサンプルに、すなわち、サンプル817、818、819、820を生成することによって「完全な」距離FFT入力データ816にする。AI展開602の入力のために、受信されたサンプルシーケンスは、例えば、AI展開602がサンプルシーケンスに挿入すべきサンプルのためのギャップが存在するように(マイクロコントローラなどのAI展開602を行う信号処理ユニットによって)ゼロにされてもよい。
【0079】
AI展開602はまた、サンプリング時間に対して、すなわちサンプルが提供されたサンプリング時間よりも早いか、または遅いサンプリング時間に対して外挿してもよいことに留意されたい。
【0080】
機械学習モデル(例えば、ニューラルネットワーク)のための訓練データは、シミュレーションによって(あらゆるコーナーケースおよびあらゆる可能な組み合わせを生成することができる)、または実際の測定または両方の組み合わせによって取得されてもよい。第1の選択肢は、特定のシーン(すなわち、1つまたは複数の対象物体を有する)のADCデータ(すなわち、デジタル化レーダー信号サンプル)をシミュレートし、シミュレートされたADCデータを(処理のどの段でA/D変換が行われるかに応じて)処理して、対応する距離FFT入力を生成することである。第2の選択肢は、シーンに対して直接距離FFT入力をシミュレートすることである。
【0081】
例えば、訓練データは、ランダムで均一な分布から引き出された以下のパラメータを用いたシミュレーション実行によって生成される。
対象物の数 x0=[1...n]
対象物の距離 x1=[1m,300m]
対象物のRCS(radar cross section(レーダー断面積)) x2=[-5dbsm,20dbsm]
対象物のSNR x3=[5dB,20dB]
【0082】
ニューラルネットワークは、特定のチャープのサンプルのベクトルを処理しうる(すなわち、各チャープのサンプルを個別に生成しうる)。
【0083】
ニューラルネットワークへの入力においては、複素数値のベクトル、例えば、4つのサンプリング時間の場合の[c0,c1,c2,c3](ciはサンプリング時間iのサンプルである)は、実部と虚部との間の関係を維持するために、実数値ベクトル、例えば[r0,r1,r2,r3,i0,i1,i2,i3](riはサンプルciの実数値を含み、iiは虚数値を含む)に並べ替えられうる。IQサンプリングが使用される場合、複素サンプルが発生しうる。
【0084】
ニューラルネットワークは、例えば、オートエンコーダまたはMLP(multi-layer perceptron(多層パーセプトロン))または例えばLSTM(long short-term memory(長・短期記憶))を有するリカレントニューラルネットワーク(RNN)であってもよい(またはこれらを含んでもよい)。
【0085】
入力層のノードの数は、入力ベクトルの成分の数(複素数値が連結されている場合は2倍)に等しい。入力ベクトルは、サンプルのベクトルを含む。入力ベクトルは、ニューラルネットワークがサンプルを生成すると想定されるサンプリング時間のためのプレースホルダ(よって、例えば、
図8の例では、距離FFT入力データが8つのサンプリング時間すべてに対して完全に埋められると想定されているので、8つの成分)を有しうる。
【0086】
ニューラルネットワークの隠れ層は、さまざまなサイズおよび任意の活性化関数、例えばReLUを有する全結合層でありうる。
【0087】
出力層は、ノードの数が出力ベクトルの成分の数(複素数値が2つの実数値に分割される場合は2倍)に等しい回帰層である。入力ベクトルと同様に、出力ベクトルは、すべてのサンプリング時間の成分か、またはAI展開602がサンプルを生成すべきサンプリングの(すなわち、サンプルが提供されているものについてではない)成分のみを有しうる。
【0088】
図9に、MLP構造を有するニューラルネットワーク900の一例を示す。
【0089】
ニューラルネットワーク900を訓練するために、データDは、完全なサンプリング時間のシーケンス(この例では、
図8の例と同様に8つのサンプリング時間)についてシミュレートまたは記録される。D
iはサンプリング時間iのサンプルである。次いで、外挿係数または内挿係数が設定され、いくつかのサンプリング時間(図示の例では#2、#5、#6)のデータが0に設定される(すなわち、これらのサンプリング時間のサンプルがゼロにされる)。
【0090】
次いで、ニューラルネットワーク900は、以下で訓練される。
入力:ゼロにされたサンプルおよびランダムチャネル誤差を有するデータ
グラウンドトゥルース出力:元のデータ(すなわち、チャネル誤差の有無にかかわらず完全なシミュレートされたサンプルのベクトルであり、そのため、ニューラルネットワーク900は誤り訂正のためにさらに訓練されうる)
【0091】
よって、ニューラルネットワークは、ゼロにされたサンプルと元のサンプルとの間の関係を学習するように訓練される。
【0092】
推論のために、この例では、AI展開602の入力は、5つのサンプリング時間のサンプル901(すなわち、5つのサンプリング時間の各々のサンプルを含むベクトル)である。この例では、受信したデータをゼロパディングしてニューラルネットワーク900の入力ベクトル902にする(ただし、ニューラルネットワークは、ゼロパディングなしの入力ベクトルとしてサンプル901のみを受信するように構成されてもよい)。
【0093】
ニューラルネットワークは入力ベクトル902に対して適用(実行)されて、出力ベクトル903(8つのサンプリング時間のサンプルを有する、すなわち要素の+60%の増加)を生成する。次いで、出力ベクトル903は距離FFTに供給される。
【0094】
推論において、ニューラルネットワークは(サンプリング時間のシーケンス全体のサンプルを出力するので)、既存のサンプル(すなわち、AI展開602が(ゼロにされていない)サンプルを提供されているサンプリング時間のサンプル)を修正(更新)しうることに留意されたい。
【0095】
あるいは、ニューラルネットワーク900は、欠落している(すなわち、サンプルが提供されていない)サンプリング時間のデータのみを提供してもよい。その場合、(入力ノードおよび出力ノードがより少ないために)ネットワークサイズをより小さくすることができるが、(AI展開602がサンプルを提供されたサンプリング時間の)既存のデータは更新されない(ユースケースに応じて望ましい場合もあり、望ましくない場合もある)。
【0096】
図10に、オートエンコーダ構造を有するニューラルネットワーク1000の一例を示す。
【0097】
訓練のために、データDは、完全なサンプリング時間のシーケンス(この例では8つのサンプリング時間)を使用してシミュレートまたは記録される。次いで、外挿係数または内挿係数が設定され、いくつかのサンプリング時間(図示の例では#2、#5、#6)のデータが除去される。次いで、ニューラルネットワーク1000は、以下で訓練される。
入力:選択されたサンプリング時間のデータ(すなわち、除去されたデータなし)
グラウンドトゥルース出力:除去されたデータ
よって、ニューラルネットワークは、選択されたデータと除去されたデータとの間の関係を学習するように訓練される。
【0098】
推論のために、この例では、AI展開の入力は、5つのサンプリング時間のデータ1001(すなわち、5つのサンプリング時間の各々のサンプルを含むベクトル)である。この入力データ1001はまた、ニューラルネットワーク1000に対する入力ベクトルでもある。
【0099】
ニューラルネットワークは、この入力ベクトル1001に対して適用(実行)されて、さらに3つのサンプリング時間のデータを有する出力ベクトル1002を生成する。出力ベクトル1002は、入力ベクトル1001と一緒に、それぞれのチャープ(およびチャネル)の距離FFTの入力ベクトル1003にまとめられる。
【0100】
訓練は外部装置によって行われてもよいことに留意されたい。例えば、機械学習モデルは、コンピュータによって訓練され、AI展開を実施する装置に後で記憶されてもよい。とは言え、訓練装置は、外部にあっても、レーダーシステムの一部とみなされうる。
【0101】
ケース2)、すなわち距離FFT係数の復元の場合、機械学習モデルは、破棄された距離FFT係数を算出するために使用される。
【0102】
この例では、説明を簡単にするために、個々のチャープのすべての距離FFT係数(すなわち、すべてのチャネルおよび距離ビンのそのチャープの距離FFT係数)(すべてのチャープの距離FFT係数ではない)が、それらをチャープ全体にわたる内挿および/または外挿によって再構成することができるように破棄されたと仮定する。これらのチャープを、以下では、(距離FFT係数が破棄されていないチャープに対して)追加チャープと呼ぶ。特定の距離FFT係数が(特定の距離ビンおよび/またはチャネルの)すべてのチャープに対して破棄された場合には、距離FFT係数は、(チャープではなく)チャネルまたは距離ビン全体にわたる内挿および/または外挿によって類似の方法で再構成されうる。個々のチャープのすべての距離FFT係数が破棄されているわけではない(すなわち、すべてのチャネルおよび距離ビンに対して破棄されているわけではない)場合、破棄されていない距離FFT係数を再構成する必要はないが、以下では、すべてを再構成する方法について説明する。いずれかの距離FFT係数を再構成する必要がない場合、それらを固定することができ、または機械学習モデルはそれらの出力を提供しないように構成されてもよい。
【0103】
そのため、この例では、第2の装置は、ドップラーFFTを行う前に、第1の装置から提供される距離FFT係数を、外挿および内挿によって増加した数のチャープに対応する処理された入力を生成する機械学習モデル(例えば、ニューラルネットワーク)を使用して処理する。
【0104】
図11に、距離FFT係数の復元のためのこの外挿および内挿を例示する。
【0105】
第1の
図1101で例示する例では、第2の装置には、均一なチャープシーケンス(#1から#8)のチャープ#3、#4、#5および#6の距離FFT係数のそれぞれのベクトル1102、1103、1104、1105を含む距離FFT出力のみが提供されると仮定されている。
【0106】
機械学習モデルは、外挿によってこのデータを埋めてドップラーFFTの「完全な」ドップラーFFT入力データ1106にする、すなわち、チャープ#1、#2、#7および#8の距離FFT係数ベクトル1107、1108、1109、1110を生成する。
【0107】
第2の
図1111で例示する例では、第2の装置には、均一なチャープシーケンスのチャープ#1、#2、#5、#6および#8の距離FFT係数のそれぞれのベクトル1112、1113、1114、1115、1116を含む距離FFT出力のみが提供されると仮定される。
【0108】
機械学習モデルは、内挿によってこのデータを埋めてドップラーFFTの「完全な」ドップラーFFT入力データ1117にする、すなわち、チャープ#3、#4および#7の距離FFT係数ベクトル1118、1119、1120を生成する。
【0109】
機械学習モデル(例えば、ニューラルネットワーク)のための訓練データは、シミュレーションによって(あらゆるコーナーケースおよびあらゆる可能な組み合わせを生成することができる)、または実際の測定または両方の組み合わせによって取得されてもよい。第1の選択肢は、特定のシーン(すなわち、1つまたは複数の対象物体を有する)のADCデータ(すなわち、デジタル化レーダー信号サンプル)をシミュレートし、シミュレートされたADCデータを処理して、対応するドップラーFFT入力を生成することである。第2の選択肢は、シーンに対して直接ドップラーFFT入力をシミュレートすることである。
【0110】
例えば、訓練データは、ランダムで均一な分布から引き出された以下のパラメータを用いたシミュレーション実行によって生成される。
対象物の数 x0=[1...n]
対象物の速度 x1=[-50m/s,50m/s]
対象物のRCS(レーダー断面積) x2=[-5dbsm,20dbsm]
対象物のSNR x3=[5dB,20dB]
【0111】
ニューラルネットワークへの入力においては、複素数値行列、例えば、4つのチャープの場合の[C0,C1,C2,C3](Ciはチャープiの距離FFTのフーリエ係数のベクトルである)は、実部と虚部との間の関係を維持するために、実数値ベクトル、例えば、[R0,R1,R2,R3,I0,I1,I2,I3]に並べ替えられうる(Riは、Ciの成分の実数値を含み、Iiは虚数値を含む)。
【0112】
ニューラルネットワークは、例えば、オートエンコーダまたはMLP(多層パーセプトロン)または例えばLSTM(長・短期記憶)を有するリカレントニューラルネットワーク(RNN)であってもよい(またはこれらを含んでもよい)。
【0113】
入力層のノードの数は、入力行列の成分の数の2倍(連結された複素数値)に等しい。入力行列は、(第2の装置が距離FFT係数を受信する)チャープごとに、距離FFT係数のベクトルを含んでもよい。入力行列は、ニューラルネットワークが距離FFT係数を生成すると想定されるチャープのためのプレースホルダ(よって、例えば、
図11の例では、入力データが8つのチャープすべてに対して完全に埋められると想定されているので、8つの複素係数ベクトル、すなわち16個の実数ベクトル)を有しうる。
【0114】
ニューラルネットワークの隠れ層は、さまざまなサイズおよび任意の活性化関数、例えばReLUを有する全結合層でありうる。
【0115】
出力層は、(この場合もやはり、複素数値は2つの実数値に分割されるため)出力行列の成分の数の2倍に等しい数のノードを有する回帰層である。入力行列と同様に、出力行列は、(ニューラルネットワークはまた、第2の装置がFFT係数を受信するチャープのデータを更新しうるため)すべてのチャープのベクトル(例えば行)か、または第2の装置がFFT係数を受信せず、距離FFT係数がAI展開604によって生成されるべきであるチャープのベクトルのみを有しうる。
【0116】
ニューラルネットワークは、例えば、
図9に示すような構造を有してもよい。
【0117】
その場合、訓練のために、データDは、チャープの全パターン(この例では、
図8の例と同様に8つのチャープ)についてシミュレートまたは記録される。このケースに適用する場合、D
iはチャープiの距離FFTフーリエ係数のベクトルである。次いで、外挿係数または内挿係数が設定され、いくつかのチャープ(図示の例では#2、#5、#6)のデータが0に設定される(すなわち、これらのチャープの距離FFT結果データがゼロにされる)。
【0118】
次いで、ニューラルネットワーク900は、以下で訓練される。
入力:ゼロにされた距離FFT出力データおよびランダムチャネル誤差を有するデータ
グラウンドトゥルース出力:元のデータ(チャネル誤差の有無にかかわらず、そのため、ニューラルネットワーク900は誤り訂正のためにさらに訓練されうる)
【0119】
よって、ニューラルネットワークは、ゼロにされた距離FFT結果データと元の距離FFT結果データとの間の関係を学習するように訓練される。
【0120】
推論のために、このケースでは、
図9に例示する例において、AI処理604入力は、5つのチャープの距離FFT出力データ901(すなわち、5つのチャープの各々の距離FFT係数のベクトルを含む行列)である。AI処理では、受信したデータをゼロパディングしてニューラルネットワーク900の入力行列902にする。
【0121】
ニューラルネットワークは、この入力行列902に対して適用(実行)されて、出力行列903(8つのチャープの距離FFT出力データを有する、すなわち要素の+60%の増加)を生成する。次いで、出力行列903はドップラーFFTに供給される。
【0122】
推論において、ニューラルネットワークは(チャープシーケンス全体の距離FFT係数を出力するので)、既存の測定値(すなわち、第1の装置がFFT係数を提供するチャープのために導出された値)を修正(更新)しうることに留意されたい。
【0123】
あるいは、ニューラルネットワークは、欠落している(すなわち、第1の装置がFFT係数を提供しない)チャープのデータのみを提供してもよい。その場合、(入力ノードおよび出力ノードがより少ないために)ネットワークサイズをより小さくすることができるが、(第1の装置がFFT係数を提供したチャープの)既存のデータは更新されず、これは望ましい場合もあり、望ましくない場合もある。
【0124】
距離FFT係数を再構成するためのニューラルネットワークはまた、
図10に例示するようなオートエンコーダ構造を有してもよい。
【0125】
その場合、訓練のために、データDは、完全なチャープシーケンス(この例では8つのチャープ)を使用してシミュレートまたは記録される。次いで、外挿係数または内挿係数が設定され、いくつかのチャープ(図示の例では#2、#5、#6)のデータが除去される。次いで、ニューラルネットワーク1000は、以下で訓練される。
入力:選択されたチャープのデータ(すなわち、除去されたデータなし)
グラウンドトゥルース出力:除去されたデータ
よって、ニューラルネットワークは、選択されたデータと除去されたデータとの間の関係を学習するように訓練される。
【0126】
推論のために、このケースのこの例では、AI処理入力は、5つのチャープのデータ1001(すなわち、5つのチャープの各々の距離FFT係数のベクトルを含む行列)である。この入力データ1001は、ニューラルネットワーク1000の入力行列でもある。
【0127】
ニューラルネットワークは、この入力行列1001に対して適用(実行)されて、さらに3つのチャープのデータを有する出力行列1002を生成する。出力行列1002は、入力行列1001と一緒にドップラーFFTの入力行列1003にまとめられる。
【0128】
訓練は外部装置によって行われてもよいことに留意されたい。例えば、機械学習モデルは、コンピュータによって訓練され、AI処理を実施する装置に後で記憶されてもよい。とは言え、訓練装置は、外部にあっても、レーダーシステムの一部とみなされうる。
【0129】
ケース3)、すなわちドップラーFFT係数の復元の場合、機械学習モデルは、破棄されたドップラーFFT係数を算出するために使用される。
【0130】
この例では、説明を簡単にするために、個々のアンテナのドップラーFFT係数(一般的にはチャネル、すなわち、すべての距離ビンおよびドップラービンのそのアンテナのドップラーFFT係数)が、それらをチャネル全体にわたる内挿および/または外挿によって再構成することができるように破棄されたと仮定する。これらのチャネルを、以下では、(ドップラーFFT係数が破棄されていないチャネルに対して)追加チャネルと呼ぶ。特定のドップラーFFT係数が(特定の距離ビンおよび/またはドップラービンの)すべてのチャネルに対して破棄された場合には、ドップラーFFT係数は、(チャネルではなく)距離ビンまたはドップラービン全体にわたる内挿および/または外挿によって類似の方法で再構成されうる。個々のチャネルのすべてのドップラーFFT係数が破棄されているわけではない場合、破棄されていないドップラーFFT係数を再構成する必要はないが、以下では、すべてを再構成する方法について説明する(特定のピークについて、すなわち、展開は、ここでは、ピーク検出後であると仮定されるが、ドップラーFFT係数は、すべての距離・ドップラービンに対して類似の方法で再構成されてもよい)。いずれかのドップラーFFT係数を再構成する必要がない場合、それらを固定することができ、または機械学習モデルはそれらの出力を提供しないように構成されてもよい。
【0131】
そのため、この例では、集約R/Dマップ内のピークのDoA判定(推定)を行う前に、DoAの入力(識別されたピークごとの第2のFFT結果のベクトル)が、外挿および内挿によって増加した数のアンテナ素子(またはチャネル)に対応する処理された入力を生成するニューラルネットワークによって処理される。
【0132】
図12に、8つのアンテナを有する仮想受信アンテナアレイのドップラーFFT係数を復元するためのこの外挿および内挿を例示する。
【0133】
第1の
図1201では、第1の装置は、(均一なサブアレイを形成する)仮想受信アンテナアレイの第3のから第6の(仮想)アンテナのドップラーFFT係数のみを提供すると仮定されている。ニューラルネットワークは、均一なアレイの外挿によって第1、第2、第7および第8のアンテナの(検出されたピークに対する)第2の(すなわちドップラー)FFT結果データを生成する。
【0134】
第2の
図1202では、第1の装置は、(スパースアレイ、すなわち、すべての位置が占有されているわけではない(例えば、位置の多くても半分が占有されている)を形成する)仮想受信アンテナアレイの第2、第3、第5および第6の(仮想)アンテナのドップラーFFT係数のみを提供すると仮定されている。ニューラルネットワークは、スパースアレイの外挿によって第1および第8のアンテナの(検出されたピークに対する)第2のFFT結果データを生成する。
【0135】
第3の
図1203では、第1の装置は、(スパースアレイを形成する)仮想受信アンテナアレイの第2、第5、第6および第8の(仮想)アンテナのドップラーFFT係数のみを提供すると仮定されている。ニューラルネットワークは、スパースアレイの内挿によって第3、第4および第7のアンテナの(検出されたピークに対する)第2のFFT結果データを生成する。
【0136】
第4の
図1204では、第1の装置は、(スパースアレイを形成する)仮想受信アンテナアレイの第2、第5、第6および第8の(仮想)アンテナのデジタル化受信サンプルのみを提供すると仮定されている。ニューラルネットワークは、スパースアレイの外挿および内挿によって第1、第3、第4および第7のアンテナの(検出されたピークに対する)第2のFFT結果データを生成する。
【0137】
ニューラルネットワークのための訓練データは、シミュレーションによって(あらゆるコーナーケースおよびあらゆる可能な組み合わせを生成することができる)または実際の測定または両方の組み合わせによって取得されてもよい。第1の選択肢は、特定のシーン(すなわち、1つまたは複数の対象物体を有する)のADCデータ(すなわち、デジタル化レーダー信号サンプル)をシミュレートし、シミュレートされたADCデータを処理して、対応するDoA判定入力ベクトルを生成することである。第2の選択肢は、シーンに対して直接DoA判定入力ベクトルをシミュレートすることである。
【0138】
例えば、訓練データは、ランダムで均一な分布から引き出された以下のパラメータを用いたシミュレーション実行によって生成される。
対象物の数 x0=[1...n]
対象物の角度 x1=[-90°,90°]
対象物のRCS(レーダー断面積) x2=[-5dbsm,20dbsm]
チャネル位相誤差 x3=[-10°,10°]
対象物のSNR x4=[5dB,20dB]
【0139】
ニューラルネットワークへの入力においては、複素数値ベクトル、例えば、4つのチャネルの場合の[c0,c1,c2,c3](ciは、それぞれのピークのチャネルiのR/Dマップエントリである)は、実部と虚部との間の関係を維持するために、実数値ベクトル、例えば、[r0,r1,r2,r3,i0,i1,i2,i3]に並べ替えられうる。
【0140】
ニューラルネットワークは、例えば、オートエンコーダまたはMLP(多層パーセプトロン)または例えばLSTM(長・短期記憶)を有するリカレントニューラルネットワーク(RNN)であってもよい(またはこれらを含んでもよい)。
【0141】
入力層のノードの数は、入力ベクトルの長さの2倍(連結された複素数値)に等しい。入力ベクトルは、(第1の装置がデータを提供する)仮想チャネルごとに、そのアンテナのR/Dマップが距離・ドップラービンに対して有するエントリを含んでもよく、そのピークは集約R/Dマップ内に位置する(よって、
図12の例では4つの複素数値、すなわち8つの実数値)。あるいは、入力ベクトルは、ニューラルネットワークがDoA判定入力データを生成すると想定される仮想チャネルのためのプレースホルダ(よって、例えば、
図1204の例では、仮想受信アンテナアレイが完全に埋められると想定されているので、8つの複素数値、すなわち16個の実数値)を有してもよい。
【0142】
ニューラルネットワークの隠れ層は、さまざまなサイズおよび任意の活性化関数、例えばReLUを有する全結合層でありうる。
【0143】
出力層は、(この場合もやはり、複素数値は2つの実数値に分割されるため)出力ベクトルの長さの2倍に等しい数のノードを有する回帰層である。入力ベクトルと同様に、出力ベクトルは、(ニューラルネットワークはまた、第1の装置がデータを提供する仮想受信アンテナのデータを更新しうるため)すべての仮想受信アンテナの成分か、または第1の装置が入力データを提供せず、DoA判定入力データがAI展開606によって生成されるべきである仮想受信アンテナの成分のみを有しうる。
【0144】
ニューラルネットワークは、例えば、
図9に示すような構造を有してもよい。
【0145】
その場合、訓練のために、データDは、完全な仮想受信アンテナアレイ(この例では8つの仮想チャネル)を使用してシミュレートまたは記録される。次いで、外挿係数または内挿係数が設定され、いくつかのチャネル(図示の例では2、5、6)のデータが0に設定される(すなわち、これらのチャネルのチャネルデータがゼロにされる)。次いで、ニューラルネットワーク900は、以下で訓練される。
入力:ゼロにされたチャネルデータおよびランダムチャネル誤差を有するデータ
グラウンドトゥルース出力:元のデータ(チャネル誤差の有無にかかわらず、そのため、ニューラルネットワーク900は誤り訂正のためにさらに訓練されうる)
【0146】
よって、ニューラルネットワークは、ゼロにされたチャネルデータと元のチャネルデータとの間の関係を学習するように訓練される。
【0147】
推論のために、このケースでは、
図9に例示する例において、AI処理入力は、5つの仮想チャネルのデータ901(すなわち、5つの(仮想)受信アンテナのエントリを有するDoA判定入力ベクトル)である。AI処理では、受信したデータをゼロパディングしてニューラルネットワーク900の入力ベクトル902にする。
【0148】
ニューラルネットワークは、この入力ベクトル902に対して適用(実行)されて、出力ベクトル903(サイズ=8、すなわち要素の+60%の増加)を生成する。次いで、出力ベクトル903は、(選択のアルゴリズム(例えば第3段FFTや、重信号分類(MUSIC))を使用する)DoA判定に供給される。
【0149】
推論において、ニューラルネットワークは(仮想チャネルアレイ全体のDoA判定入力データを出力するので)、既存の測定値(すなわち、第1の装置がサンプルを提供するチャネルのために導出された値)を修正(更新)しうることに留意されたい。
【0150】
あるいは、ニューラルネットワークは、欠落している(すなわち、第1の装置がデータを提供しない)チャネルのデータのみを提供してもよい。その場合、(入力ノードおよび出力ノードがより少ないために)ネットワークサイズをより小さくすることができるが、(第1の装置がサンプルを提供したチャネルの)既存のデータは更新されず、これは望ましい場合もあり、望ましくない場合もある。
【0151】
距離FFT係数を再構成するためのニューラルネットワークはまた、
図10に例示するようなオートエンコーダ構造を有してもよい。
【0152】
その場合、訓練のために、データDは、完全な仮想受信アンテナアレイ(この例では8つの仮想チャネル)を使用してシミュレートまたは記録される。次いで、外挿係数または内挿係数が設定され、いくつかのチャネル(図示の例では2、5、6)のデータが除去される。次いで、ニューラルネットワーク1000は、以下で訓練される。
入力:選択されたチャネルのデータ(すなわち、除去されたデータなし)
グラウンドトゥルース出力:除去されたデータ
【0153】
よって、ニューラルネットワークは、選択されたデータと除去されたデータとの間の関係を学習するように訓練される。
【0154】
推論のために、このケースのこの例では、AI処理入力は、5つの仮想チャネルのデータ1001(すなわち、5つの(仮想)受信アンテナのエントリを有するDoA判定入力ベクトル)である。この入力データ1001はまた、ニューラルネットワーク1000に対する入力ベクトルでもある。
【0155】
ニューラルネットワークは、この入力ベクトル1001に対して適用(実行)されて、追さらに3つのチャネルのデータを有する出力ベクトル1002を生成する。出力ベクトル1002は、入力ベクトル1001と一緒に、DoA判定(選択のアルゴリズム(例えば、第3段FFTや、多重信号分類(MUSIC))を使用する)のための入力ベクトル1003にまとめられる。
【0156】
訓練は外部装置によって行われてもよいことに留意されたい。例えば、機械学習モデルは、コンピュータによって訓練され、AI処理を実施する装置に後で記憶されてもよい。とは言え、訓練装置は、外部にあっても、レーダーシステムの一部とみなされうる。
【0157】
ニューラルネットワークはまた、レーダーデータのキューブの全層を一度に再構成する(すなわち、その出力層は、レーダーデータのキューブの全層の(少なくとも)破棄された値の値を与える、例えば、全R/Dマップの破棄されたドップラーFFT値を再構成する)ように構成されてもよいことにさらに留意されたい。
【0158】
さらに、第1の装置は、送信からレーダーデータの一部のみを割愛してもよい(必ずしも破棄しなくてもよい)ことに留意されたい。そのため、本明細書で破棄されたデータと呼ぶデータは、第1の装置から第2の装置への送信から割愛されるデータとみなされてもよい。
【0159】
要約すると、さまざまな実施形態によれば、
図13に例示するようなレーダーシステムが提供される。
【0160】
図13に、一実施形態によるレーダーシステム1300を示す。
【0161】
レーダーシステム1300は、第1のレーダー処理装置1301と第2のレーダー処理装置1302とを含む。
【0162】
第1のレーダー処理装置1301は、レーダーデータを生成し、そのレーダーデータをさらに処理するために第2のレーダー処理装置1302に部分的に送信するように構成され、第1のレーダー処理装置は、送信からレーダーデータの部分を割愛するように構成される。
【0163】
第2のレーダー処理装置1302は、レーダーデータを追加のレーダーデータで補完するように訓練された機械学習モデル1303を使用して割愛された部分を再構成するように構成され、レーダーデータの送信された部分を追加のレーダーデータと組み合わせてさらに処理するように構成される。
【0164】
さまざまな例によれば、言い換えれば、レーダーデータは、レーダーデータの部分を破棄することによって圧縮され、圧縮されたレーダーデータを送信した後、破棄された部分は、その目的のために訓練された機械学習モデルを使用して受信機側で再構成される。
【0165】
例えば、第1のレーダー処理装置は、MMICと、サンプリングおよび距離FFTを行う統合処理と、を含むレーダーセンサ装置であり、第2のレーダー処理装置は、さらなるレーダー処理(すなわち、ここでは距離FFT後の処理、すなわちドップラーFFTなど)を行うADASの装置である。
【0166】
あるいは、例えば、第1のレーダー処理は、距離FFTおよびドップラーFFTを行い(例えば、FFTを行うマイクロコントローラであり)、第2のレーダー処理装置は、ADASの装置であり、さらなるレーダー処理(すなわち、DoA判定などである)を行う。第1のレーダー処理装置は、さらなるレーダー処理装置、例えばMMICからサンプルを受信してもよい。マイクロコントローラおよびMMICは、例えば、レーダーセンサの一部であってもよい。
【0167】
さまざまな例によれば、
図14に例示するような方法が行われる。
【0168】
図14に、レーダーシステムにおいてデータを送信するための方法を例示する流れ
図1400を示す。
【0169】
1401において、第1のレーダー処理装置がレーダーデータを生成する。
【0170】
1402において、レーダーデータは、さらなる処理のために第1のレーダー処理装置から第2のレーダー処理装置に部分的に送信され、第1のレーダー処理装置は、送信からレーダーデータの部分を割愛する。
【0171】
1403において、第2のレーダー処理装置は、レーダーデータを追加のレーダーデータで補完するように訓練された機械学習モデルを使用して割愛された部分を再構成する。
【0172】
1404において、第2のレーダー処理装置は、レーダーデータの送信された部分を追加のレーダーデータと組み合わせてさらに処理する。
【0173】
方法は1つまたは複数のプロセッサによって行われてもよく、レーダーシステムの構成部品は1つまたは複数のプロセッサによって実施されてもよい。「プロセッサ」は、任意の種類の論理実装エンティティとして理解されてもよく、このエンティティは、専用回路であってもよいし、メモリに記憶されたソフトウェアを実行するプロセッサ、ファームウェア、またはそれらの任意の組み合わせであってもよい。よって、「プロセッサ」は、ハードワイヤードロジックプロセッサであっても、プログラマブルプロセッサなどのプログラマブルロジックプロセッサ、例えばマイクロプロセッサであってもよい。「プロセッサ」はまた、ソフトウェア、例えば任意の種類のコンピュータプログラムを実行するプロセッサであってもよい。本明細書でより詳細に説明されているそれぞれの機能の任意の他の種類の実施態様もまた、「プロセッサ」として理解されうる。特に、第1のレーダー処理装置および第2のレーダー処理装置は、1つまたは複数の回路を各々含んでもよい。例えば、レーダー処理装置の一方がレーダー信号処理回路111に相当してもよい。第1のレーダー処理装置は、MMICであってもよい。これらは、バスなどの1つまたは複数の通信回線によって接続された電子装置であってもよい。
【0174】
以下の例は、さらなる例示的な実施態様に関する。
【0175】
例1は、
図13に例示されるようなレーダーシステムである。
【0176】
例2は、例1のレーダーシステムであって、レーダーデータがレーダーサンプルであり、第1のレーダー処理装置が、特定のサンプリング時間のレーダーサンプルを割愛するように構成され、第2のレーダー処理装置が、割愛されたレーダーサンプルを再構成し、再構成されたレーダーサンプルを使用して距離フーリエ変換を行うように構成される、レーダーシステムである。
【0177】
例3は、例2のレーダーシステムであって、第1のレーダー処理装置が、サンプリング時間とレーダーチャネルとチャープとの特定の組み合わせに対するレーダーサンプルを割愛するように構成される、レーダーシステムである。
【0178】
例4は、例2または例3のレーダーシステムであって、第2のレーダー処理装置が、第1のレーダー処理装置から第2のレーダー処理装置に送信された他のサンプリング時間、レーダーチャネルおよび/またはチャープに対する送信されたレーダーサンプルを外挿および/または内挿することによって割愛されたレーダーサンプルを再構成するように構成される、レーダーシステムである。
【0179】
例5は、例1のレーダーシステムであって、レーダーデータが距離フーリエ変換結果であり、第1のレーダー処理装置が、特定のチャープに対する距離フーリエ変換結果を割愛するように構成され、第2のレーダー処理装置が、割愛された距離フーリエ変換結果を再構成して、再構成された距離フーリエ変換結果を使用してドップラーフーリエ変換を行うように構成される、レーダーシステムである。
【0180】
例6は、例5のレーダーシステムであって、第1のレーダー処理装置が、距離ビンとレーダーチャネルとチャープとの特定の組み合わせに対する距離フーリエ変換結果を割愛するように構成される、レーダーシステムである。
【0181】
例7は、例5または例6のレーダーシステムであって、第2のレーダー処理装置が、第1のレーダー処理装置から第2のレーダー処理装置への他の距離ビン、レーダーチャネルおよび/またはチャープに対する距離フーリエ変換結果を外挿および/または内挿することによって割愛された距離フーリエ変換結果を再構成するように構成される、レーダーシステムである。
【0182】
例8は、例1のレーダーシステムであって、レーダーデータがドップラーフーリエ変換結果であり、第1のレーダー処理装置が、特定のレーダーチャネルに対するドップラーフーリエ変換結果を割愛するように構成され、第2のレーダー処理装置が、割愛されたドップラーフーリエ変換結果を再構成して、再構成されたドップラーフーリエ変換結果を使用して到来方向判定を行うように構成される、レーダーシステムである。
【0183】
例9は、例8のレーダーシステムであって、第1のレーダー処理装置が、距離ビンとレーダーチャネルとドップラービンとの特定の組み合わせに対するドップラーフーリエ変換結果を割愛するように構成される、レーダーシステムである。
【0184】
例10は、例8または例9のレーダーシステムであって、第2のレーダー処理装置が、第1のレーダー処理装置から第2のレーダー処理装置への他の距離ビン、レーダーチャネルおよび/またはドップラービンに対するドップラーフーリエ変換結果を外挿および/または内挿することによって割愛されたドップラーフーリエ変換結果を再構成するように構成される、レーダーシステムである。
【0185】
例11は、例1から例10のいずれか1つのレーダーシステムであって、第1のレーダー処理装置が、レーダーデータの部分を破棄するように構成される、レーダーシステムである。
【0186】
例12は、例1から例10のいずれか1つのレーダーシステムであって、第1のレーダー処理装置が、マスクに従ってレーダーデータの部分を破棄するように構成され、マスクを第2のレーダー処理装置にシグナリングするように構成される、レーダーシステムである。
【0187】
例13は、例12のレーダーシステムであって、第1のレーダー処理装置が、圧縮率を決定し、決定された圧縮率に従ってマスクを決定するように構成される、レーダーシステムである。
【0188】
例14は、例1から例13のいずれか1つのレーダーシステムであって、第1のレーダー処理装置がモノリシックマイクロ波集積回路であり、第2のレーダー処理装置がマイクロコントローラである、レーダーシステムである。
【0189】
例15は、例1から例14のいずれか1つのレーダーシステムであって第1のレーダー処理装置が、車両のレーダーセンサ装置であり、第2のレーダー処理装置が、車両の先進運転者支援システムの処理装置である、レーダーシステムである。
【0190】
例16は、機械学習モデルを訓練するように構成された訓練装置を含む、例1から15のいずれか1つのレーダーシステムである。
【0191】
例17は、例1から例16のいずれか1つのレーダーシステムであって、機械学習モデルがニューラルネットワークである、レーダーシステムである。
【0192】
例18は、例1から例17のいずれか1つのレーダーシステムであって、機械学習モデルが、多層パーセプトロン、オートエンコーダおよびUNetのうちの少なくとも1つを含む、レーダーシステムである。
【0193】
例19は、
図14に例示されるようなレーダーシステムにおいてデータを送信するための方法である。
【0194】
例20は、機械学習モデルを訓練するステップをさらに含む、例19の方法である。
【0195】
上記の例のいずれかの特徴のうちの1つまたは複数が、その他の例のいずれか1つと組み合わされてもよいことに留意されたい。
【0196】
特定の態様を説明したが、添付の特許請求の範囲によって規定される本開示の態様の趣旨および範囲から逸脱することなく、形態および詳細のさまざまな変更がなされうることが当業者によって理解されるはずである。よって、その範囲は添付の特許請求の範囲によって示され、したがって、特許請求の範囲と均等の意味および範囲内にあるすべての変更が包含されることが意図されている。
【符号の説明】
【0197】
100 レーダー設備
101 レーダー装置
102 アンテナ配列
103 レーダー制御装置
104 送信機
105 デュプレクサ
106 受信機
107 コントローラ
108 物体
109 送信信号
110 エコー
111 レーダー信号処理回路
200 FMCWレーダーシステム
201 鋸歯状波形
202 発振器
203 送信アンテナ
204 受信アンテナ
205 混合器
206 ローパスフィルタ
207 スペクトラムアナライザ
208 チャープ
300 レーダー装置
301 ランパ付き発振器
302 送信増幅器
303 混合器
304 アナログフィルタ
305 ADC
306 デジタルインターフェース
307 レーダー信号プロセッサ
308 レーダー信号処理回路
309 出力インターフェース
310 MMIC
311 電力増幅器
312 送信信号インターフェース
401 MMIC
402 レーダー信号処理チェーン
403~411 レーダー処理
500 データキューブ
501 集約距離・ドップラーマップ
502 FFTピーク
503 受信アンテナ
601、603、605 圧縮
602、604、606 展開
701、702 完全なレーダーデータのキューブ
703、704 圧縮されたレーダーデータのキューブ
801 図
802~806 サンプル
807 距離FFT入力データ
808~810 サンプル
811 図
812~815 サンプル
816 距離FFT入力データ
817~820 サンプル
900 ニューラルネットワーク
901 入力データ
902 入力ベクトル
903 出力ベクトル
1000 ニューラルネットワーク
1001 入力データ
1002 ニューラルネットワーク出力ベクトル
1003 距離FFT/ドップラーFFT/DoA入力ベクトル/行列
1101 図
1102~1105 距離FFT係数ベクトル
1106 ドップラーFFT入力データ
1107~1110 距離FFT係数ベクトル
1111 図
1112~1116 距離FFT係数ベクトル
1117 ドップラーFFT入力データ
118~1120 距離FFT係数ベクトル
1201~1204 図
1300 レーダーシステム
1301 第1のレーダー処理装置
1302 第2のレーダー処理装置
1303 MLモデル
1400 流れ図
1401~1404 処理動作
【外国語明細書】