特表 2024-508909 自動車グレードのレーダ信号においてオブジェクトを分類するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-28

(54)【発明の名称】自動車グレードのレーダ信号においてオブジェクトを分類するための方法

(51)【国際特許分類】

   G01S 13/89 20060101AFI20240220BHJP

   G01S 13/34 20060101ALI20240220BHJP

【ＦＩ】

G01S13/89

G01S13/34

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023553509

(86)(22)【出願日】2022-03-01

(85)【翻訳文提出日】2023-10-27

(86)【国際出願番号】 US2022018304

(87)【国際公開番号】W WO2022187220

(87)【国際公開日】2022-09-09

(31)【優先権主張番号】63/155,508

(32)【優先日】2021-03-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523334187

【氏名又は名称】インディー・セミコンダクター・インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】タオ・ユ

(72)【発明者】

【氏名】アチュイラ・イェッレペディ

(72)【発明者】

【氏名】マイケル・プライス

【テーマコード（参考）】

5J070

【Ｆターム（参考）】

5J070AB17

5J070AB24

5J070AC01

5J070AC02

5J070AC06

5J070AC11

5J070AD06

5J070AE01

5J070AH12

5J070AK15

5J070BE03

(57)【要約】

方法は、視野内のオブジェクトから反射されたレーダ信号を収集する動作を含む。レーダ信号から3次元の範囲-角度-速度のキューブが形成される。3次元の範囲-角度-速度キューブは、特定の速度についての角度と範囲を特徴付けるレーダ強度値を有する個別のビンを含む。点-ピラーサブキューブは、3次元の範囲-角度-速度キューブから選択される。各-点ピラーサブキューブは、範囲-角度次元における高エネルギーピークを囲むあらかじめ定義された範囲と、速度ベクトルにおける範囲全体を含む。点-ピラーサブキューブは、視野内のオブジェクトを圧縮、解凍、検出、分類、または追跡するために処理される。

【特許請求の範囲】

【請求項1】

視野内のオブジェクトから反射されたレーダ信号を収集し、
前記レーダ信号から3次元の範囲-角度-速度キューブを形成し、前記3次元の範囲-角度-速度キューブが、特定の速度についての角度と範囲を特徴付けるレーダ強度値を有する個別のビンを含み、
前記3次元の範囲-角度-速度キューブから点-ピラーサブキューブを選択し、各点-ピラーサブキューブが、範囲-角度次元における高エネルギーピークを囲むあらかじめ定義された範囲と、速度ベクトルにおける範囲全体を含み、
前記視野内のオブジェクトを圧縮、解凍、検出、分類、または追跡するために、前記点-ピラーサブキューブを処理すること
を含む、方法。

【請求項2】

前記あらかじめ定義された範囲が、前記高エネルギーピークのパーセンテージである請求項1に記載の方法。

【請求項3】

前記あらかじめ定義された範囲が、前記高エネルギーピークのしきい値距離内にある請求項1に記載の方法。

【請求項4】

点別の演算子を用いて速度データを低減する動作をさらに含む請求項1に記載の方法。

【請求項5】

ニューラルネットワークを用いて速度データを低減する動作をさらに含む請求項1に記載の方法。

【請求項6】

点-ピラーサブキューブを再構築する動作をさらに含む請求項1に記載の方法。

【請求項7】

ニューラルネットワークが、前記視野内のオブジェクトを検出、分類、または追跡するために使用される請求項1に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2021年3月2日に出願された米国仮特許出願第63/155,508号に対する優先権を主張し、その内容は参照により組み込まれる。本出願はまた、2020年12月9日に出願された「METHOD, APPARATUS AND RADAR SYSTEMS FOR TRACKING OBJECTS」と題する米国仮特許出願第63/123,403号、および2021年1月29日に出願された「METHOD FOR DETECTING OBJECTS IN AUTOMOTIVE-GRADE RADAR SIGNALS」と題する米国仮特許出願第63/143,154号にも関連し、両方とも参照により本明細書に組み込まれる。

【0002】

本開示は、自動車グレードのレーダ信号においてオブジェクトを分類するための技法に関する。より具体的には、本開示は、レーダシーン内のオブジェクトをよりよく分類するために点ピラーを使用することについて説明する。

【背景技術】

【0003】

自律走行車(AV: autonomous vehicle)は、AVのセンサによって出力されるセンサ信号に基づいて道路を運行するように構成された車両であり、AVは人間からの入力なしに道路を運行する。AVは、AVのセンサによって出力されたセンサ信号に基づいてオブジェクト(車両、歩行者、自転車、静止オブジェクトなど)を識別および追跡することと、識別および追跡されたオブジェクトに基づいて運転操作(加速、減速、方向転換、停止など)を実行することとを行うように構成されている。

【0004】

センシング技術(たとえば、オブジェクト検出および位置追跡)、制御アルゴリズム、およびデータ構造の進歩により、乗用車およびトラックなどの道路車両の運転における自動化の使用が増加している。アダプティブクルーズコントロール(ACC: adaptive cruise control)、車線維持支援(LKA: lane keeping assistance)、電子パワーアシストステアリング(EPAS: electronic power assist steering)、アダプティブフロントステアリング、駐車支援、アンチロックブレーキ(ABS: antilock braking)、トラクションコントロール、エレクトロニックスタビリティコントロール(ESC: electronic stability control)、死角検出、GPSおよび地図データベース、車両間通信およびその他の技術のような様々な実現技術を組み合わせることによって、車両を自律的に(すなわち、ドライバーによる介入がほとんどまたはまったくなく)動作することが可能になる。

【0005】

航空機、船舶、陸上車両などの車両、特に有人または無人の車両の自律的または準自律的操作の分野では、車両の周囲を感知すること、ならびに車両の周囲にあるオブジェクトを追跡することが、高度な機能にとって重要であると考えられ得る。これらの機能は、自律性の様々な段階におけるドライバー支援システムから車両の完全な自律運転まで及んでよい。

【0006】

特定の環境では、単眼カメラまたは立体カメラ、光検出および測距(LiDAR: light detection and ranging)センサ、ならびに無線検出および測距(レーダ)センサなど、車両の周囲を感知するための複数の異なるタイプのセンサが使用される。異なるセンサタイプは、異なるタスクに利用され得る異なる特性を備えている。

【0007】

本開示の実施形態は、レーダシステムの測定データを処理する態様に関するものであり、これにより、計算量の多いセンサデータ(たとえば、範囲、角度、および速度)の融合を軽減することができる。これは、あるパラメータ配列が、範囲や速度などの別のパラメータ配列を処理する前に埋められる必要がある場合に特に便利である。

【0008】

レーダシステムは通常、測定データ、特に範囲、ドップラー、および/または角度測定(方位角および/または仰角)を動径方向に高精度で提供する。これにより、レーダシステムの視野内で、異なる反射点とレーダシステムの(それぞれの)アンテナとの間の(動径)距離および(動径)速度を正確に測定することができるようになる。

【0009】

レーダシステムは、レーダシステムの視野内にレーダ信号を送信(放射)し、レーダシステムの視野内に存在するオブジェクトでレーダ信号が反射され、レーダシステムによって受信される。送信信号は、たとえば、周波数変調連続波(FMCW: frequency modulated continuous wave)信号である。動径距離はレーダ信号の移動時間を利用することによって測定され、動径速度はドップラー効果によって生じる周波数シフトを利用して測定される。

【0010】

レーダ信号の送信と受信を繰り返すことによって、レーダシステムは、複数の、連続したレーダフレームを備える測定データを提供することによって、レーダシステムの視野を経時的に観察することができる。

【0011】

個々のレーダフレームは、たとえば、範囲方位角フレームであってもよく、範囲ドップラー方位角フレームであってもよい。仰角方向のデータが利用可能な場合は、範囲ドップラー方位角仰角フレームが処理される。

【0012】

複数のレーダフレームの各々において、反射点の雲を形成する複数の反射点が検出され得る。しかしながら、レーダフレーム内の反射点または点群は、それ自体には意味論的な意味を含まない。したがって、車両の周囲の状況を評価(「理解」)するために、レーダフレームのセマンティックセグメンテーションが必要である。

【0013】

レーダフレームのセグメンテーションは、個々のレーダフレーム内の単一の反射点に意味が割り当てられることを意味する。たとえば、反射点は、シーンのバックグラウンド、シーンのフォアグラウンド、建物、壁、駐車車両または道路の一部などの静止オブジェクト、および/または他の車両、自転車、および/またはシーンにおける歩行者などの移動オブジェクトに割り当てられ得る。

【0014】

一般に、レーダシステムは、レーダシステムから放射される送信信号の鏡面反射を観察し、これは、感知されるオブジェクトが、送信信号の(変調された)波長よりも滑らかな反射特性を備える傾向があるためである。したがって、取得されたレーダフレームは、単一のオブジェクトを表す連続領域を含まず、レーダフレームの領域全体に分散された単一の顕著な反射点(バンパーの端など)を含む。

【0015】

レーダデータは、方位角(角度)、動径速度(ドップラー)、および動径距離(範囲)に対応する次元を有する3次元の複素数値配列(別名、レーダキューブ)を形成する。各角度ドップラー範囲ビンの大きさは、レーダセンサがその動径速度に対して空間内のその点(角度および範囲)から来ると認識するエネルギーの量を特徴付ける。

【0016】

当技術分野の問題は、キューブを埋める膨大な量のエネルギーデータから生じる。このため、リアルタイム環境におけるデータの処理は不可能になる。当技術分野で現在見出される解決策は、一度に1次元(すなわち、パラメータ)を処理することを含む。しかしながら、これは3Dキューブ処理などの特定のアプリケーションには役に立たない。さらに、これまでの取組みでは、オブジェクトの分類中に役立つ可能性のあるデータが廃棄される傾向があった。

【0017】

オブジェクトの分類は通常、ドップラー情報が失われたオブジェクトリストにおいて行われる。複数の検出を「オブジェクト」としてクラスタリングすることによって、より豊富な情報が取得される。オブジェクトリストから「特徴」を抽出し、抽出された特徴に対して分類が行われる。レーダユニットと中央コンピュータとの間の帯域幅が限られているため、分類タスクに全速度情報を活用することは現実的ではなかった。

【0018】

したがって、当技術分野では、オブジェクトの分類中にデータを保持するための改良された技法が必要とされている。

【発明の概要】

【課題を解決するための手段】

【0019】

方法は、視野内のオブジェクトから反射されたレーダ信号を収集する動作を含む。レーダ信号から3次元の範囲-角度-速度のキューブが形成される。3次元の範囲-角度-速度キューブは、特定の速度についての角度と範囲を特徴付けるレーダ強度値を有する個別のビンを含む。点-ピラーサブキューブは、3次元の範囲-角度-速度キューブから選択される。各点-ピラーサブキューブは、範囲-角度次元における高エネルギーピークを囲むあらかじめ定義された範囲と、速度ベクトルにおける範囲全体を含む。点-ピラーサブキューブは、視野内のオブジェクトを圧縮、解凍、検出、分類、および追跡するために処理される。

【0020】

本開示は、添付の図面とともに以下の詳細な説明を読むことにより最も良く理解される。業界の標準的な慣行に従って、様々な機能は必ずしも一定の縮尺で描かれているわけではなく、説明の目的でのみ使用されていることが強調される。明示的または黙示的に縮尺が示されている場合、それは1つの例示的な例のみを提供する。他の実施形態では、議論を明確にするために、様々な特徴の寸法が任意に拡大または縮小され得る。同様に、明瞭さと簡潔さのために、すべての図面においてすべての構成要素に符号が付けられているわけではない。

【0021】

本発明の性質および利点をより完全に理解するために、添付の図面と併せて、以下の好ましい実施形態の詳細な説明を参照されたい。

【図面の簡単な説明】

【0022】

【図1A】当技術分野で知られている、時間の関数としての例示的なレーダチャープを示す図である。

【図1B】当技術分野で知られている、時間の関数としての例示的なレーダチャープを示す図である。

【図2】いくつかの実施形態による、例示的なオートグレードレーダシステムを示す図である。

【図3】いくつかの実施形態による、例示的な送信および受信レーダチャープにおける周波数差を示す図である。

【図4】いくつかの実施形態による、埋め込まれている例示的な2次元範囲配列を示す図である。

【図5A】いくつかの実施形態による、チャープインデックス範囲配列からの速度範囲配列の作成を示す図である。

【図5B】いくつかの実施形態による、チャープインデックス範囲配列からの速度範囲配列の作成を示す図である。

【図6】いくつかの実施形態による、角度を計算するために使用される例示的なアンテナアレイを示す図である。

【図7】例示的な従来技術のレーダシステムにおける処理方法チェーンを示す図である。

【図8】本発明の一実施形態による、例示的なレーダシステムにおける処理方法チェーンを示す図である。

【図9】いくつかの実施形態による、範囲-角度-速度レーダキューブにおける例示的なサブキューブを示す図である。

【図10】いくつかの実施形態による、範囲-角度-速度レーダキューブにおけるサブしきい値を使用して点-ピラーを選択することを示す図である。

【図11】いくつかの実施形態による、自動車グレードのレーダにおける点-ピラーベースの分類のための例示的な方法を示す図である。

【図12】いくつかの実施形態による、自動車グレードのレーダにおける点-ピラーベースの自動エンコーディングのための例示的な方法を示す図である。

【図13】いくつかの実施形態による、例示的なレーダシステムの概略図である。

【発明を実施するための形態】

【0023】

本開示は、自動車グレードのレーダ信号におけるデータ圧縮のための技法に関する。より具体的には、本開示は、オブジェクト、グループ、およびクラスタの周囲の範囲-角度空間に関連付けられる速度ベクトルを保存しながら、レーダキューブデータを圧縮するために、点-ピラーを使用することについて説明する。結果は、レーダシステムおよび環境における自動エンコーディングまたは分類に使用することができる。

【0024】

以下の説明および図面は、本開示の特定の例示的な実装形態を詳細に記載しており、本開示の様々な原理が実行され得るいくつかの例示的な方法を示している。しかしながら、例示的な実施例は、本開示の多くの可能な実施形態を網羅するものではない。本開示の他の目的、利点、および新規な特徴は、図面を参照しながら以降に説明される。

【0025】

本開示は一般にミリ波センシングに関するが、他の波長および応用も本発明の範囲を超えるものではない。具体的には、本方法は、自動車および産業分野で非常に普及している周波数変調連続波(FMCW)レーダと呼ばれるセンシング技術に関する。

【0026】

FMCWレーダは、前方にあるオブジェクトの範囲、速度、到達角度を測定する。FMCWレーダの中心となるのは、チャープと呼ばれる信号である。図1Aおよび図1Bは、当技術分野で知られている、時間の関数としての例示的なレーダチャープを示している。

【0027】

チャープは、周波数が時間とともに線形に増加する正弦曲線または正弦波である。図1Aは、これを振幅対時間、すなわちA-tプロットとして示している。図1Bに示すように、チャープは、周波数fcの正弦波として始まり、徐々に周波数が増加し、最終的に周波数fcにBを加えた値となり、ここで、Bはチャープの帯域幅である。チャープの周波数は時間とともに線形に増加する。したがって、f-tプロットには、傾きSを有する直線がある。

【0028】

したがって、チャープは周波数が線形に変調される連続波である。したがって、周波数変調連続波、または略してFMCWという用語が使われる。

【0029】

図2は、いくつかの実施形態による、例示的なオートグレードレーダシステムを示している。これは、単一のTXアンテナと単一のRXアンテナを備えたFMCWレーダの簡略化されたブロック図として表される。1つまたは複数の実施形態では、レーダは次のように動作する。シンセサイザはチャープを生成する。このチャープはTXアンテナによって送信される。次いで、チャープは車などのオブジェクトから反射される。反射されたチャープはRXアンテナにおいて受信される。RX信号とTX信号はミキサーにおいて混合される。

【0030】

結果として得られる信号は中間(IF)信号と呼ばれる。IF信号は、ローパス(LP: low-pass)フィルタ処理による信号処理のために準備され、アナログ-デジタルコンバータ(ADC: analog to digital converter)を使用してサンプリングされる。次に、ミキサーの重要性について、さらに詳しく説明する。

【0031】

図3は、いくつかの実施形態による、例示的な送信および受信レーダチャープにおける周波数差を示している。1つまたは複数の実施形態では、この差はミキサーを使用して推定される。当技術分野で知られているように、ミキサーは2つの入力と1つの出力を有する。ミキサーの2つの入力ポートに2つの正弦曲線が入力されると、ミキサーの出力も正弦曲線になる。

【0032】

出力の瞬時周波数は、2つの入力正弦曲線の瞬時周波数の差に等しい。したがって、任意の時点での出力の周波数は、その時点における2つの時間変化正弦曲線の入力周波数の差に等しい。タウ、τは、レーダからオブジェクトへ、そして戻るまでの時間的な往復遅延を表す。それは、オブジェクトまでの距離の2倍を光速で割った値としても表すことができる。レーダの前にある単一のオブジェクトは、S2d/cによって与えられる一定周波数を有するIF信号を生成する。

【0033】

図4は、いくつかの実施形態による、レーダフレームによって埋め込まれる例示的な2つの範囲行列を示している。レーダフレーム(左)は時間TFを有し、それぞれがTcだけ時間的に隔てられた複数のチャープ1～Nを備える。

【0034】

各行は1つのチャープに対応する。すなわち、チャープごとに、チャープインデックスに1つの行が存在し、すなわち、N個のチャープに対してN行になる。特定の行の各ボックスは1つのADCサンプルを表す。したがって、各チャープがM回サンプリングされる場合、行列にはM個の列が存在する。次に、範囲行列および速度行列におけるデータ行列の変換について説明する。高速時間軸に対応する範囲測定と低速時間軸に対するドップラーを使用した説明のケースは、同じ開始周波数と長さのチャープを備えたチャープシーケンスに適用される。開始周波数を増加させるなどの他のチャープシーケンスは、粗い範囲に対応する高速時間軸と、細かい範囲の分解能およびドップラーに対応する低速時間軸を提供する。開示された技法は、異なるチャープシーケンス、および結果として得られる高速時間図および低速時間図に適用することができる。簡単にするために、以下の説明において、高速時間軸に範囲を使用し、低速時間軸にドップラーを使用するが、開示された技法は、あらゆる高速時間表現および低速時間表現に適用することができる。

【0035】

図5Aは、いくつかの実施形態による、以前のデータ行列からのチャープ範囲行列の作成を示している。前述したように、各行は特定のチャープからのサンプルに対応する。範囲を決定するために、各行に対して範囲FFT(range-FFT)が実行される。高速フーリエ変換(FFT: fast Fourier transform)は、シーケンスの離散フーリエ変換(DFT: discrete Fourier transform)またはその逆変換(IDFT)を計算するアルゴリズムである。フーリエ解析は、信号を元の領域(多くの場合、時間または空間)から周波数領域における表現に変換し、またその逆も行う。

【0036】

範囲FFTを適用すると、オブジェクトが範囲において分解される。x軸は範囲FFTビンに対応する周波数である。しかし、範囲はIF周波数に比例するため、これを範囲軸として直接プロットすることができる。したがって、図5Aは、各チャープが周波数ビンのアレイを有するチャープの行列である。上記の説明に従って、これらのビンはIFを介して範囲に直接対応する。

【0037】

図5Bは、いくつかの実施形態による、以前のチャープインデックス範囲行列からの速度範囲行列の作成を示している。ドップラーFFT(Doppler-FFT)は、図5Aに示されるこれらの範囲FFTの結果の列に沿って実行される。これにより、オブジェクトが速度次元において分解される。

【0038】

図5Bは、第3の範囲ビン内の2つの異なる速度で移動する2つのオブジェクトを示している。同様に、第8の範囲ビン内に3つの異なる速度で移動する3つのオブジェクトがある。これらは固定範囲角度に対して正確である点に留意されたい。次に、角度決定についてさらに詳しく説明する。

【0039】

図6は、いくつかの実施形態による、角度を計算するために使用される例示的なアンテナアレイを示している。角度推定には、少なくとも2つの受信器(RX)アンテナが必要である。距離を推定するために、これらのアンテナの各々までのオブジェクトの距離の差が利用される。送信(TX)アンテナはチャープである信号を送信する。それはオブジェクトから反射されて、1つの光線はオブジェクトから第1のRXアンテナに向かい、もう1つの光線はオブジェクトから第2のRXアンテナに向かう。

【0040】

図6に示されるこの例では、第2のRXアンテナへの光線はやや長く伝わる必要がある。すなわち、デルタdの追加距離である。この追加距離により、ラムダによる2piデルタdに等しいオメガの追加位相が生じる。したがって、これは、このアンテナにおける信号とこのアンテナにおける信号との間の位相差である。

【0041】

図7は、いくつかの実施形態による、例示的なレーダシステムにおける処理方法チェーンを示している。レーダ処理700は、レーダデータをサンプリングすることから始まる。これは通常、送信されたチャープに応答する。1つまたは複数の実施形態では、アナログ-デジタル変換(ADC)サンプルは1.6Gb/秒で到達する。

【0042】

サンプルが整理されると、範囲、角度、および速度に対して3次元FFTが実行される。結果は3Dレーダキューブである。レーダキューブは、範囲、角度、および速度の関数としてレーダ強度を備える。いくつかの実施形態では、レーダ強度は、その時空間の位置に関連付けられるエネルギーである。別の実施形態では、レーダ強度は、振幅情報に加えて、または振幅情報とは別に、位相情報を備えることもできる。キューブはビンに分割される。したがって、各ビンはレーダ強度値を含む。

【0043】

検出ステップ702中に、点のセットまたは点群が生成される(704)。これらから、しきい値を決定することができる。他の実施形態では、しきい値はすでにあらかじめ定められている。いずれの場合も、最新技術では、この値を下回る強度が無視されるようにしきい値が適用される。これは当技術分野ではバックグラウンドとして知られている。しかしながら、本開示の発明者らは、このバックグラウンドの一部は、オブジェクトの識別および分類に使用される有用な情報を含む可能性があることを認識している。

【0044】

開示された技法の1つの利点は、オブジェクト分類を有効に実行するために十分なだけのバックグラウンドデータをキャプチャしながら、同時に大量のデータを処理しないことである。1つまたは複数の実施形態では、高強度領域を取り囲む低強度領域の一部が保存される。これは、本実施形態の点クラスタリングステップによって構成されており、これについてはこれからより詳細に説明する。

【0045】

図8は、いくつかの実施形態による、例示的なレーダシステムにおける処理方法チェーンを示している。本実施形態では、何らかのタイプのしきい値処理によるバックグラウンド減算は、前の実施形態と同様に依然として実行される。残った強度から点が抽出される。しかしながら、レーダキューブは保存される。より具体的には、ADCサンプルは、レーダキューブ800を生成するために範囲-ドップラー-角度FFTの対象となる。

【0046】

次いで、点-ピラーを抽出することができ(802)、抽出プロセスにおいて知覚に関連するすべての特徴を維持しながら、関連する検出を抽出するためにそれらを使用することができる。点-ピラーは、クラスタリング(点が共通のオブジェクトにクラスタ化される)、追跡(オブジェクトの軌跡)、および分類(オブジェクトにセマンティックラベルを適用する)の対象となる。

【0047】

図9は、いくつかの実施形態による、例示的な範囲-角度-速度レーダキューブを示している。当業者であれば理解できるように、行列を組み立てると、範囲-角度-速度の軸を有する3Dレーダキューブが得られる。本明細書に開示される方法は、移動車両に搭載された1つ(または複数)の77-GHz DigiMMIC(FMCW)レーダセンサから抽出されたレーダデータを処理および解釈するための技法について説明するが、他の周波数および用途も本開示の範囲を超えるものではない。

【0048】

レーダキューブデータは、方位角(角度)、動径速度(ドップラー)、および動径距離(範囲)に対応する次元を有する3次元の複素数値配列の形式である。各角度-ドップラー-範囲ビンにおける大きさは、レーダセンサがその動径速度に対して空間内のその点(角度および範囲)から来るとみなすエネルギーの量を表すために取得される。実証の目的で、地面に平行な方向を向いた線形アンテナアレイが仮定される。

【0049】

レーダキューブは、通常は数メガバイト(MB)単位の大量の生データを備える。これは、分類器にとって計算上の課題となる。何らかのタイプの検出とフォアグラウンド抽出がレーダキューブに対してすでに実行されていると仮定される。

【0050】

フォアグラウンド抽出は、ノイズおよびアーティファクトを抑制し、レーダキューブの顕著な領域を抽出するための様々な方法によって実行することができる。すべてではないにしても、ほとんどの場合、バックグラウンドモデルを推定して何らかの方法でそれを削除するか、要素ごとの乗算を通じて所望のビンを強調し他のビンを抑制するマスクを作成する必要がある。

【0051】

CFAR一定誤警報率(CFAR: Constant False Alarm Rate)しきい値処理は、おそらく最もよく知られ、よく研究されている技法であり、ローカル平均によるバックグラウンドモデルの推定を含む。一定誤警報率(CFAR)検出は、ノイズ、クラッタ、および干渉のバックグラウンドに対するターゲットの反射を検出するためにレーダシステムにおいて使用される適応アルゴリズムの一般的な形式を指す。

【0052】

根本的な考え方は、ノイズ統計がアレイ全体で不均一になる可能性があるということである。CA-CFAR(セル平均)は、バックグラウンド推定に所望のオブジェクトが含まれることを避けるために、平均ウィンドウの中心における領域(ガードセル)を除外しながら移動平均を計算する。OS-CFAR(順序統計)も同じ計算を実行するが、平均の代わりにパーセンタイル演算を使用する。バックグラウンドモデル(各ビンにおけるバックグラウンド値の推定値)b_ijkを考慮すると、フォアグラウンドは、バックグラウンド抑制の量を制御する何らかの要因αについて、次のように推定することができる。

【0053】

【数1】

【0054】

いくつかの実施形態では、CFARが検出に使用される。しかしながら、セル平均化(CA-CFAR)、最大CFAR (GO-CFAR)および最小CFAR (LO-CFAR)、または他の適切な手段などの他のスキームが利用されてもよい。

【0055】

1つまたは他の実施形態では、分類にマイクロドップラーが使用される。しかしながら、従来のピーク検出では、周囲の低エネルギー領域の一部がバックグラウンドマスキングによって失われる。代わりに、本開示の発明者らは、分類に役立つため、ピークに隣接する領域を保持することを提案する。具体的には、ピーク(および、その近傍)を含む任意の範囲-角度ビンに対して、ほとんどまたはすべての速度(範囲全体)が選択される。

【0056】

速度シグネチャは、オブジェクトの特徴的なパターンである。たとえば、レーダアレイに対して直角に移動するタイヤは、決定的な速度シグネチャを有する。中心は接線方向に移動するため、ドップラー速度はほとんどないが、それでも、環状部は独特な速度の配列を示す。速度シグネチャは、これらの速度をあらかじめ定められた速度とパターンマッチングすることによってオブジェクトを識別するために使用することもでき、速度シグネチャはニューラルネットワークによって学習することもできる。

【0057】

図9に戻ると、点-ピラーはサブキューブとして選択される。サブキューブは、速度ベクトルにおける範囲全体を選択しながら、範囲-角度次元において高エネルギーピークを十分に囲むように選択される。結果は、サブキューブ、つまり直方体の点-ピラーである。本実施形態は平行六面体の点-ピラーであるが、任意の3D形状が使用され得る。さらに、これと同じ方法を4次元以上のレーダキューブに適用することができる。同様に、オブジェクトの正確な分類を提供するために、速度アレイ全体が利用され得る。

【0058】

図10は、いくつかの実施形態による、範囲-角度-速度レーダキューブにおけるサブしきい値を使用して点-ピラーを選択することを示している。前の実施形態と同様に、何らかのタイプの検出およびフォアグラウンド抽出がレーダキューブに対してすでに実行されていると仮定した。本実施形態では、ピラーを選択するためにサブしきい値点-ピラーが使用される。

【0059】

サブしきい値処理は次の方法で決定され、実行される。最も強い強度のピークが特定される。これらは、前述の抽出方法または任意の他の適切な検出技法のいずれかを使用して識別することができる。範囲-角度の空間内で、あらかじめ定められた近傍内で他の極大値を識別することができる。いくつかの実施形態では、近傍は最も強いピークから一定の距離にあってもよい。一方、他の実施形態では、極大値が最も強いピークの近傍の一部であるかどうかを決定するために、より複雑な関数、たとえばガウス関数を使用することができる。

【0060】

1つまたは複数の実施形態では、サブしきい値は、最も強いピークの強度のパーセンテージ、たとえば50%である。他の実施形態では、サブしきい値は、最も強いピークおよび/またはあらかじめ定められたパラメータからの距離の関数である。たとえば、サブしきい値は、境界条件を伴う乗法逆関数またはe^-xであってもよい。サブしきい値が適用されると、ピークが一緒にクラスタ化され、サブしきい値点ピラーが形成される。

【0061】

図10を見ると、サブしきい値点ピラーは、連続極大値を有する最も強いピークの範囲-角度と、サブしきい値を超える強度を示す異種の近傍との結合を備えることが理解され得る。点-ピラーに関連付けられる速度ベクトル全体が保存され、後で分類において使用される。

【0062】

サブしきい値とサブキューブの点-ピラーの選択は相互に排他的ではない。それらは組み合わせることができる。それらは、任意の他の適切なピラーセクション方法を用いて補完することもできる。さらに、対応する速度を有する任意の2D形状は本開示の範囲を超えるものではないため、範囲-角度の形状はある程度任意であり得る。

【0063】

図11は、いくつかの実施形態による、自動車グレードのレーダにおける点-ピラーベースの分類のための例示的なパイプラインを示している。レーダキューブから点-ピラーを抽出することでデータが大幅に削減されたにもかかわらず、残りのデータは通常、点-ピラーごとの速度ベクトル全体を含んでいるため、依然として扱いにくい可能性がある。扱いにくい点-ピラーの第1の用途は、オブジェクトを直接分類するためのアプリケーションである。

【0064】

このアプリケーションは、速度ベクトルがまばらに存在する傾向があることを認識している。したがって、速度データは、点別の演算子の適用によって削減することができる。点別は、各値f(x)が何らかの関数fの影響を受けることを示すために使用される。点別の演算は、関数値に演算を点ごとに個別に適用する。

【0065】

本実施形態では、これは点別特徴量化と呼ばれる。他の実施形態では、たとえばニューラルネットワークのように、畳み込み的に削減を達成することができる。ディープラーニングでは、畳み込みニューラルネットワーク(CNN、またはConvNet)はディープニューラルネットワークのクラスであり、視覚画像の分析に最も一般的に適用される。それらは、共有重みアーキテクチャと変換不変特性に基づいて、シフト不変または空間不変の人工ニューラルネットワーク(SIANN)としても知られている。

【0066】

CNNは、多層パーセプトロンの正規化バージョンである。多層パーセプトロンは通常、完全に接続されたネットワークを意味し、すなわち、ある層における各ニューロンが次の層のすべてのニューロンに接続されている。これらのネットワークは「完全に接続されている」ため、データが過剰適合する傾向がある。正則化の一般的な方法は、何らかの形式の重みの大きさ測定を損失関数に追加することを含む。CNNは、正則化に対して異なる手法を採用しており、データにおける階層パターンをうまく利用して、より小さく単純なパターンを使用してより複雑なパターンを組み立てる。したがって、接続性と複雑さのスケールでは、CNNは下限にある。

【0067】

その結果、点-ピラーのサイズが大幅に縮小される。本実施形態では、2つの圧縮層が適用される。もちろん、任意の数の層が使用され得る。分類器に入力される大域的特徴量化を適用することによって、さらなる削減を達成することができる。これにより、分類器は、車、歩行者、自転車、または単なるクラッタなど、レーダが注目しているオブジェクトのタイプをより簡単に識別できるようになる。

【0068】

いくつかの実施形態では、点別の演算子を各範囲-角度ビンに適用することができる。一方、他の実施形態では、それは、複数の範囲、角度、およびドップラービンにわたって適用される畳み込みカーネルである畳み込み特徴量化であり得る。次元削減の重要性は、意味のあるデータが分類のために保存されることである。

【0069】

本開示の発明者らは、データの解釈可能性の一部が分類状態において失われる可能性があることを発見した。その結果、パイプラインは特徴を回復し、それによって非圧縮の点-ピラーサブキューブの再構築が生じる。図12は、いくつかの実施形態による、自動車グレードのレーダにおける点-ピラーベースの自動エンコーディングのための例示的なパイプラインである。

【0070】

本実施形態では、全速度ベクトル圧縮は、点別特徴量化の2つの層を適用することによってドップラー次元削減を備える。パイプラインの後半部分では、特徴回復の2つの層を適用することによってドップラー次元を回復する。この点-ピラーベースの自動エンコーディングは、解釈可能性が最大化されるように忠実度を維持しながら、中央の分類器に送信するために圧縮するために役立つ。

【0071】

いくつかの実施形態では、点-ピラー内のデータは圧縮され、バスを介して実際の分類を実行する別の計算構造に送信される。

【0072】

図13は、いくつかの実施形態による、例示的なレーダシステムの概略図である。レーダシステムは、送信器、デュプレクサ、低ノイズ増幅器、ミキサー、ローカル発振器、整合フィルタ、IFフィルタ、第2の検出器、ビデオ増幅器、およびディスプレイを備える。

【0073】

このように、本出願の技術のいくつかの態様および実施形態を説明してきたが、当業者であれば、様々な変更、修正、および改良を容易に思いつくであろうことが理解されるであろう。そのような変更、修正、および改良は、本出願に記載されている技術の趣旨および範囲内にあることが意図されている。たとえば、当業者であれば、本明細書に記載される機能を実行し、ならびに/あるいは結果および/または利点のうちの1つまたは複数を得るための様々な他の手段および/または構造を容易に想定するであろう。そのような変形および/または修正の各々は、本明細書に記載される実施形態の範囲内にあるものとみなされる。

【0074】

当業者は、日常的な実験のみを使用して、本明細書に記載される特定の実施形態と多くの同等物を認識するか、確認することができるであろう。したがって、前述の実施形態は例としてのみ提示されており、添付の特許請求の範囲およびその均等物の範囲内で、本発明の実施形態は、具体的に説明した以外の方法で実施され得ることを理解されたい。さらに、本明細書に記載される2つ以上の特徴、システム、物品、材料、キット、および/または方法の任意の組合せは、そのような特徴、システム、物品、材料、キット、および/または方法が相互に矛盾しない場合、本開示の範囲に含まれる。

【0075】

この点において、様々な発明概念は、1つまたは複数のプログラムでエンコードされたコンピュータ可読ストレージ媒体(または、複数のコンピュータ可読ストレージ媒体)(たとえば、コンピュータメモリ、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイスにおける回路構成、あるいは他の有形のコンピュータストレージ媒体)として具現化され得、1つまたは複数のコンピュータあるいは他のプロセッサ上で遂行されると、上述の様々な実施形態のうちの1つまたは複数を実装する方法を実行する。

【符号の説明】

【0076】

700 レーダ処理
800 レーダキューブ

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2023-11-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

視野内のオブジェクトから反射されたレーダ信号を収集するステップと、
前記レーダ信号から3次元の範囲-角度-速度キューブを形成するステップであって、前記3次元の範囲-角度-速度キューブが、特定の速度についての角度と範囲を特徴付けるレーダ強度値を有する個別のビンを含む、ステップと、
前記3次元の範囲-角度-速度キューブから点-ピラーサブキューブを選択するステップであって、各点-ピラーサブキューブが、範囲-角度次元における高エネルギーピークを囲むあらかじめ定義された範囲と、速度ベクトルにおける範囲全体を含む、ステップと、
前記視野内のオブジェクトを圧縮、解凍、検出、分類、または追跡するために、前記点-ピラーサブキューブを処理するステップと
を含む、方法。

【請求項2】

前記あらかじめ定義された範囲が、前記高エネルギーピークのパーセンテージである、請求項1に記載の方法。

【請求項3】

前記あらかじめ定義された範囲が、前記高エネルギーピークのしきい値距離内にある、請求項1に記載の方法。

【請求項4】

点別の演算子を用いて速度データを低減する動作をさらに含む、請求項1に記載の方法。

【請求項5】

ニューラルネットワークを用いて速度データを低減する動作をさらに含む、請求項1に記載の方法。

【請求項6】

点-ピラーサブキューブを再構築する動作をさらに含む、請求項1に記載の方法。

【請求項7】

ニューラルネットワークが、前記視野内のオブジェクトを検出、分類、または追跡するために使用される、請求項1に記載の方法。

【請求項8】

レーダ信号を送信するように構成された送信器と、
視野内のオブジェクトから反射されたレーダ信号を受信するように構成された受信器と、
請求項1から7のいずれか一項に記載の方法を実行するように構成された信号プロセッサと
を含む、レーダシステム。

【国際調査報告】