特表 2024-505237 自動車グレードのレーダ信号においてオブジェクトを検出するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-05

(54)【発明の名称】自動車グレードのレーダ信号においてオブジェクトを検出するための方法

(51)【国際特許分類】

   G01S 13/89 20060101AFI20240129BHJP

   G01S 13/34 20060101ALI20240129BHJP

   G06T 7/136 20170101ALI20240129BHJP

   G06V 10/30 20220101ALI20240129BHJP

【ＦＩ】

G01S13/89

G01S13/34

G06T7/136

G06V10/30

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023546121

(86)(22)【出願日】2022-01-28

(85)【翻訳文提出日】2023-09-27

(86)【国際出願番号】 US2022014360

(87)【国際公開番号】W WO2022165211

(87)【国際公開日】2022-08-04

(31)【優先権主張番号】63/143,154

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516287933

【氏名又は名称】シメオ ゲゼルシャフト ミット ベシュレンクテル ハフツング

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ヨハンネス・トラー

(72)【発明者】

【氏名】アンドリュー・エム・シュヴァイツァー

(72)【発明者】

【氏名】アトゥルヤ・イェレペッディ

【テーマコード（参考）】

5J070

5L096

【Ｆターム（参考）】

5J070AB17

5J070AB24

5J070AC02

5J070AC06

5J070AC11

5J070AD06

5J070AF03

5J070AH12

5J070AH14

5J070AH35

5J070BE01

5L096AA06

5L096AA09

5L096BA04

5L096EA05

5L096EA43

5L096FA14

5L096FA23

5L096FA32

5L096FA66

5L096FA67

5L096FA69

5L096GA10

5L096GA51

5L096GA55

5L096HA04

5L096MA07

(57)【要約】

方法は、視野内のオブジェクトから反射されたレーダ信号を収集する動作を含む。視野内の3次元オブジェクトを表す範囲-角度-ドップラビンが形成される。範囲-角度-ドップラビンの選択された次元にわたるローカル中央値演算を使用して、範囲-角度-ドップラビン内のバックグラウンドノイズが除去される。選択された次元における動径速度値を削除することによって低エネルギーピーク領域がマスキングされて、まばらな範囲-角度の2次元グリッドが形成される。視野内のオブジェクトから反射されたレーダ信号が処理されて、反射点検出が抽出される。反射点検出が短期フィルタルールに従ってトラッキングされて、トラッキングされた反射点検出が形成される。トラッキングされた反射点検出はクラスタに形成される。クラスタは長期フィルタルールを用いて処理される。

【特許請求の範囲】

【請求項1】

視野内のオブジェクトから反射されたレーダ信号を収集するステップと、
前記視野内の3次元オブジェクトを表す範囲-角度-ドップラビンを形成するステップと、
前記範囲-角度-ドップラビンの選択された次元にわたるローカル中央値演算を使用して、前記範囲-角度-ドップラビン内のバックグラウンドノイズを除去するステップと、
前記選択された次元における動径速度値を削除することによって低エネルギーピーク領域をマスキングして、まばらな範囲-角度の2次元グリッドを形成するステップと
を含む、方法。

【請求項2】

前記範囲-角度-ドップラビンのピーク領域検証を利用する動作をさらに含む、請求項1に記載の方法。

【請求項3】

残りのまばらな範囲-角度の2次元グリッド値を、双線形補間を用いてアップサンプリングするステップをさらに含む、請求項1に記載の方法。

【請求項4】

前記選択された次元がドップラ次元である、請求項1に記載の方法。

【請求項5】

しきい値マスキングをさらに含む、請求項1に記載の方法。

【請求項6】

バックグラウンド推定をさらに含む、請求項1に記載の方法。

【請求項7】

反射点検出を抽出するために、前記視野内のオブジェクトから反射された前記レーダ信号が処理される、請求項1に記載の方法。

【請求項8】

前記反射点検出に短期トラッキングルールを適用して、トラックレットを形成するステップであって、各トラックレットがいくつかのフレームにわたってトラッキングされる反射点検出に対応する、ステップをさらに含む、請求項7に記載の方法。

【請求項9】

トラックレットのクラスタに長期トラッキングルールを適用して、いくつかの反射点検出を有するオブジェクトをトラッキングするステップをさらに含む、請求項8に記載の方法。

【請求項10】

前記トラックレットにルールを適用して、前記トラックレットの誕生を確立するステップをさらに含む、請求項9に記載の方法。

【請求項11】

前記トラックレットにルールを適用して、前記トラックレットの消滅を確立するステップをさらに含む、請求項9に記載の方法。

【請求項12】

グループにルールを適用して、前記グループの誕生を確立するステップをさらに含む、請求項9に記載の方法。

【請求項13】

グループにルールを適用して、前記グループの消滅を確立するステップをさらに含む、請求項9に記載の方法。

【請求項14】

前記トラックレットにカルマンフィルタを適用するステップをさらに含む、請求項9に記載の方法。

【請求項15】

グループにカルマンフィルタを適用するステップをさらに含む、請求項9に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2021年1月29日に出願された米国仮特許出願第63/143,154号に対する優先権を主張し、その内容は参照により本明細書に組み込まれる。本出願は、2020年12月9日に出願された「METHOD, APPARATUS AND RADAR SYSTEMS FOR TRACKING OBJECTS」と題する米国仮特許出願第63/123,403号に関連しており、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、自動車グレードのレーダ信号においてアップサンプリングされたオブジェクトを検出するための技法に関する。より具体的には、本開示は、レーダ環境におけるバックグラウンド推定およびピーク領域検証、ならびにその後のフィルタリング技法について説明する。

【背景技術】

【0003】

自律走行車(AV: autonomous vehicle)は、AVのセンサによって出力されるセンサ信号に基づいて道路をナビゲートするように構成された車両であり、AVは人間からの入力なしに道路をナビゲートする。AVは、AVのセンサによって出力されたセンサ信号に基づいてオブジェクト(車両、歩行者、自転車、静止オブジェクトなど)を識別およびトラッキングすることと、識別およびトラッキングされたオブジェクトに基づいて運転操作(加速、減速、方向転換、停止など)を実行することとを行うように構成されている。

【0004】

センシング技術(たとえば、オブジェクト検出および位置トラッキング)、制御アルゴリズム、およびデータインフラストラクチャの進歩の結果として、乗用車およびトラックなどの道路車両の運転における自動化の使用が増加している。アダプティブクルーズコントロール(ACC: adaptive cruise control)、車線維持支援(LKA: lane keeping assistance)、電子パワーアシストステアリング(EPAS: electronic power assist steering)、アダプティブフロントステアリング、駐車支援、アンチロックブレーキ(ABS: antilock braking)、トラクションコントロール、エレクトロニックスタビリティコントロール(ESC: electronic stability control)、死角検出、GPSおよび地図データベース、車両間通信およびその他の様々な実現技術を組み合わせることによって、車両を自律的に(すなわち、ドライバによる介入がほとんどまたはまったくなく)動作することが可能になる。

【0005】

航空機、船舶、陸上車両などの車両、特に有人または無人の車両の自律的または準自律的操作の分野では、車両の周囲を感知すること、ならびに車両の周囲にあるオブジェクトをトラッキングすることが、高度な機能にとって重要であると考えられ得る。これらの機能は、自律性の様々な段階におけるドライバ支援システムから車両の完全な自律運転まで及んでよい。

【0006】

特定の環境では、単眼カメラまたは立体カメラ、光検出および測距(LiDAR: light detection and ranging)センサ、ならびに無線検出および測距(レーダ)センサなど、車両の周囲を感知するための複数の異なるタイプのセンサが使用される。異なるセンサタイプは、異なるタスクに利用され得る異なる特性を備えている。

【0007】

本開示の実施形態は、レーダシステムの測定データを処理する態様に関するものであり、これにより、計算量の多いセンサデータ(たとえば、範囲、角度、および速度)の融合を軽減することができる。これは、あるパラメータ配列が、範囲や速度などの別のパラメータ配列を処理する前に埋め込まれる必要がある場合に特に便利である。

【0008】

レーダシステムは通常、測定データ、特に範囲、ドップラ、および/または角度測定(方位角および/または仰角)を動径方向に高精度で提供する。これにより、レーダシステムの視野内で、異なる反射点とレーダシステムの(それぞれの)アンテナとの間の(動径)距離および(動径)速度を正確に測定することができるようになる。

【0009】

レーダシステムは、レーダシステムの視野内にレーダ信号を送信(放射)し、レーダシステムの視野内に存在するオブジェクトでレーダ信号が反射され、レーダシステムによって受信される。送信信号は、たとえば、周波数変調連続波(FMCW: frequency modulated continuous wave)信号である。動径距離はレーダ信号の移動時間を利用することによって測定することができ、動径速度はドップラ効果によって生じる周波数シフトを利用して測定される。

【0010】

レーダ信号の送信と受信を繰り返すことによって、レーダシステムは、複数の、特に連続したレーダフレームを備える測定データを提供することによって、レーダシステムの視野を経時的に観察することができる。

【0011】

個々のレーダフレームは、たとえば、範囲方位角フレームであってもよく、範囲ドップラ方位角フレームであってもよい。仰角方向のデータが利用可能な場合は、範囲ドップラ方位角仰角フレームも考えられる。

【0012】

さらに、チャープ間の周波数オフセットおよび/または時間オフセットを有するチャープシーケンスを備えたレーダシステムを使用することができる。その場合、結果として得られるレーダフレームは、高速時間軸、低速時間軸、および方位角/仰角を有する。チャープごとの開始周波数が同じである等間隔のチャープシーケンスの場合、範囲軸は高速時間軸に対応し、ドップラ軸は低速時間軸に対応する。続いて、範囲/ドップラ表記が使用されるが、この技法は高速時間表記および低速時間表記にも同様に機能する。

【0013】

複数のレーダフレームの各々において、反射点の雲を形成し得る複数の反射点が検出され得る。しかしながら、レーダフレーム内の反射点または点群それぞれは、それ自体には意味論的な意味を含まない。したがって、車両の周囲の状況を評価(「理解」)するために、レーダフレームのセマンティックセグメンテーションが必要である。

【0014】

レーダフレームのセグメンテーションは、個々のレーダフレーム内の単一の反射点に意味が割り当てられることを意味する。たとえば、反射点は、シーンのバックグラウンド、シーンのフォアグラウンド、建物、壁、駐車車両または道路の一部などの静止オブジェクト、および/または他の車両、自転車、および/またはシーンにおける歩行者などの移動オブジェクトに割り当てられ得る。

【0015】

一般に、レーダシステムは、レーダシステムから放射される送信信号の鏡面反射を観察し、これは、感知されるオブジェクトが、送信信号の(変調された)波長よりも滑らかな反射特性を備える傾向があるためである。したがって、取得されたレーダフレームは、単一のオブジェクトを表す連続領域を含まず、レーダフレームの領域全体に分散された単一の顕著な反射点(バンパの端など)を含む。

【0016】

レーダデータは、方位角(角度)、動径速度(ドップラ)、および動径距離(範囲)に対応する次元を有する3次元の複素数値配列(別名、レーダキューブ)を形成する。各角度ドップラ範囲ビンの大きさを取得すると、レーダセンサがその動径速度に対して空間内のその点(角度および範囲)から来ると認識するエネルギーの量がわかる。

【0017】

当技術分野の問題は、キューブに埋め込まれる膨大な量のエネルギーデータから生じる。このため、リアルタイム環境におけるデータの処理は不可能になる。当技術分野で現在見出される1つの解決策は、一度に1次元(すなわち、パラメータ)を処理することを含む。しかしながら、これは3Dキューブ処理などの特定のアプリケーションには役に立たない。

【発明の概要】

【発明が解決しようとする課題】

【0018】

当該技術分野においては、3次元レーダキューブを実質的に保存しながらバックグラウンド推定およびピーク推定を行う、実証された必要性がある。

【課題を解決するための手段】

【0019】

顕著な情報を保存しながらレーダキューブ内のデータを圧縮するための方法が開示される。ピーク検証およびピーク領域マスキングは、シーン内のオブジェクトに対応する範囲-角度-ドップラビンを強化および分離するために使用される。ノイズバックグラウンドは、効率的な(近似的な)ローカル中央値演算を使用して推定され、これはシーン内のオブジェクトに属さないビンをマスキングするために使用される。次いで、しきい値付きキューブ内に位置するピークに対してピーク領域の検証を実行することができる。低エネルギーのピーク領域はマスキングされる。これは、3Dにおいて高費用なバックグラウンド統計を計算する必要性を避けるために、中央値演算を用いてキューブの1次元(好ましくは、動径速度)を削除することによって遂行される。その結果、効率2Dローカル中央値がまばらな範囲-角度グリッドに適用され、次いで、双線形補間でアップサンプリングされる。

【0020】

一態様によれば、本開示は、レーダキューブの1次元に第1の中央値演算子を適用し、それによってさらなる計算処理を軽減する。

【0021】

別の態様によれば、第2の中央値演算子が残りの2つ以上の次元に適用される。

【0022】

1つまたは複数の態様によれば、結果がアップサンプリングされる。

【0023】

1つまたは複数の態様によれば、アップサンプリングは双線形補間を使用して実行される。

【0024】

いくつかの態様によれば、第1の中央値演算子は動径速度に適用される。

【0025】

いくつかの態様によれば、第2の中央値演算子は、まばらな範囲角度グリッドに適用される。

【0026】

一態様によれば、本方法は、ピーク領域検証を含むか、あるいはピーク領域検証のために、またはピーク領域検証とともに使用することができる。

【0027】

一態様によれば、本方法は、しきい値マスキングを含むか、あるいはしきい値マスキングのために、またはしきい値マスキングとともに使用することができる。

【0028】

一態様によれば、本方法は、バックグラウンド推定を含むか、あるいはバックグラウンド推定のために、またはバックグラウンド推定とともに使用することができる。

【0029】

本開示は、添付の図面とともに以下の詳細な説明を読むことにより最も良く理解される。業界の標準的な慣行に従って、様々な機能は必ずしも一定の縮尺で描かれているわけではなく、説明の目的でのみ使用されていることが強調される。明示的または黙示的に縮尺が示されている場合、それは1つの例示的な例のみを提供する。他の実施形態では、議論を明確にするために、様々な特徴の寸法が任意に拡大または縮小され得る。同様に、明瞭さと簡潔さのために、すべての図面においてすべての構成要素に符号が付けられているわけではない。

【0030】

本発明の性質および利点をより完全に理解するために、添付の図面と併せて、以下の好ましい実施形態の詳細な説明を参照されたい。

【図面の簡単な説明】

【0031】

【図1A】当技術分野で知られている、時間の関数としての例示的なレーダチャープを示す図である。

【図1B】当技術分野で知られている、時間の関数としての例示的なレーダチャープを示す図である。

【図2】いくつかの実施形態による、例示的なオートグレードレーダシステムを示す図である。

【図3A】いくつかの実施形態による、例示的な送信および受信レーダチャープにおける周波数差を示す図である。

【図3B】いくつかの実施形態による、例示的な送信および受信レーダチャープにおける周波数差を示す図である。

【図4】いくつかの実施形態による、埋め込まれている例示的な2次元範囲配列を示す図である。

【図5A】いくつかの実施形態による、チャープインデックス範囲配列からの速度範囲配列の作成を示す図である。

【図5B】いくつかの実施形態による、チャープインデックス範囲配列からの速度範囲配列の作成を示す図である。

【図6】いくつかの実施形態による、角度を計算するために使用される例示的なアンテナアレイを示す図である。

【図7】いくつかの実施形態による、例示的な範囲-角度-速度レーダキューブを示す図である。

【図8A】いくつかの実施形態による、画像処理の前後のシーンを示す図である。

【図8B】いくつかの実施形態による、画像処理の前後のシーンを示す図である。

【図9】いくつかの実施形態による、自動車グレードのレーダにおいてオブジェクトを検出するための例示的な方法を示す図である。

【図10】いくつかの実施形態による、まばらな範囲角度グリッド上の例示的な中央値バックグラウンド推定を示す図である。

【図11】いくつかの実施形態による、例示的なレーダシステムの概略図である。

【発明を実施するための形態】

【0032】

本開示は、自動車グレードのレーダ信号においてオブジェクトを2次元で検出するための技法に関する。より具体的には、本開示は、レーダ環境におけるバックグラウンド推定およびピーク領域の検証について説明する。レーダ信号処理中、バックグラウンドの減算は過度に積極的に行われる傾向があり、計算量が多くなる。本明細書で開示される1つの方法は、レーダキューブの1次元に対して中央値演算を実行する。

【0033】

これにより、多次元処理において使用され得るような、たとえば3Dから2D、または4Dから3Dへの、バックグラウンド統計を計算する際の計算から1次元が削除される。3Dから2Dへの例では、中央値演算を使用してドップラ速度を除去することができる。その後、ローカル中央値2Dをまばらな範囲-角度グリッドに適用することができる。次いで、結果は、双線形補間を用いてアップサンプリングすることができる。さらに、偽のピークを検証ステップによって除去することができる。

【0034】

以下の説明および図面は、本開示の特定の例示的な実装形態を詳細に記載しており、本開示の様々な原理が実行され得るいくつかの例示的な方法を示している。しかしながら、例示的な実施例は、本開示の多くの可能な実施形態を網羅するものではない。本開示の他の目的、利点、および新規な特徴は、該当する場合には図面を参照しながら以降に説明される。

【0035】

本開示は一般にミリ波センシングに関するが、他の波長および応用も本発明の範囲を超えるものではない。具体的には、本方法は、自動車および産業分野で非常に普及している周波数変調連続波(FMCW)レーダと呼ばれるセンシング技術に関する。

【0036】

FMCWレーダは、前方にあるオブジェクトの範囲、速度、到達角度を測定する。FMCWレーダの中心となるのは、チャープと呼ばれる信号である。図1Aおよび図1Bは、当技術分野で知られている、時間の関数としての例示的なレーダチャープを示している。

【0037】

チャープは、周波数が時間とともに線形に増加する正弦曲線または正弦波である。図1Aは、これを振幅対時間、すなわちA-tプロットとして示している。図1Bを参照すると、チャープは、周波数fcの正弦波として始まり、徐々に周波数が増加し、最終的に周波数fcにBを加えた値となり、ここで、Bはチャープの帯域幅である。チャープの周波数は時間とともに線形に増加し、線形という言葉は重要語である。したがって、f-tプロットでは、チップは傾きSを有する直線になる。

【0038】

したがって、チャープは周波数が線形に変調される連続波である。したがって、周波数変調連続波、または略してFMCWという用語が使われる。

【0039】

図2は、いくつかの実施形態による、例示的なオートグレードレーダシステムを示している。これは、単一のTXアンテナと単一のRXアンテナを備えたFMCWレーダの簡略化されたブロック図として表される。1つまたは複数の実施形態では、レーダは次のように動作する。シンセサイザはチャープを生成する。このチャープはTXアンテナによって送信される。次いで、チャープは車などのオブジェクトに反射される。反射されたチャープはRXアンテナにおいて受信される。RX信号とTX信号はミキサにおいて混合される。

【0040】

結果として得られる信号は中間(IF)信号と呼ばれる。IF信号は、ローパス(LP: low-pass)フィルタ処理による信号処理のために準備され、アナログ-デジタルコンバータ(ADC: analog to digital converter)を使用してサンプリングされる。次に、ミキサの重要性について、さらに詳しく説明する。

【0041】

図3Aおよび図3Bは、いくつかの実施形態による、例示的な送信および受信レーダチャープにおける周波数差を示している。1つまたは複数の実施形態では、この差はミキサを使用して推定される。当技術分野で知られているように、ミキサは2つの入力と1つの出力を有する。ミキサの2つの入力ポートに2つの正弦曲線が入力されると、以下に示すようにミキサの出力も正弦曲線になる。

【0042】

出力の瞬時周波数は、2つの入力正弦曲線の瞬時周波数の差に等しい。したがって、任意の時点での出力の周波数は、その時点における2つの時変正弦曲線の入力周波数の差に等しくなる。タウτは、レーダからオブジェクトへ、そして戻るまでの時間的な往復遅延を表す。それは、オブジェクトまでの距離の2倍を光速で割った値としても表すことができる。レーダの前にある単一のオブジェクトは、S2d/cによって与えられる一定周波数を有するIF信号を生成する。

【0043】

図4は、いくつかの実施形態による、レーダフレームによって埋め込まれる例示的な2つの範囲行列を示している。レーダフレーム(左)は時間TFを有し、それぞれがTcだけ時間的に隔てられた複数のチャープ1～Nを備える。

【0044】

各行は1つのチャープに対応する。すなわち、チャープごとに、チャープインデックスに1つの行が存在し、すなわち、N個のチャープに対してN行になる。特定の行の各ボックスは1つのADCサンプルを表す。したがって、各チャープがM回サンプリングされる場合、行列にはM個の列が存在する。次に、範囲行列および速度行列におけるデータ行列の変換について説明する。

【0045】

図5Aは、いくつかの実施形態による、以前のデータ行列からのチャープ範囲行列の作成を示している。前述したように、各行は特定のチャープからのサンプルに対応する。範囲を決定するために、各行に対して範囲FFTが実行される。高速フーリエ変換(FFT: fast Fourier transform)は、シーケンスの離散フーリエ変換(DFT: discrete Fourier transform)またはその逆変換(IDFT)を計算するアルゴリズムである。フーリエ解析は、信号を元の領域(多くの場合、時間または空間)から周波数領域における表現に変換し、またその逆も行う。

【0046】

range-FFTを適用すると、オブジェクトが範囲において分解される。当業者であれば理解できるように、x軸は実際には範囲FFTビンに対応する周波数である。しかし、範囲はIF周波数に比例するため、これを範囲軸として直接プロットすることができる。したがって、図5Aは、各チャープが周波数ビンのアレイを有するチャープの行列である。上記の説明に従って、これらのビンはIFを介して範囲に直接対応する。

【0047】

図5Bは、いくつかの実施形態による、以前のチャープインデックス範囲行列からの速度範囲行列の作成を示している。ドップラ-FFTは、図5Aに示されるこれらの範囲-FFT結果の列に沿って実行される。これにより、オブジェクトが速度次元において分解される。

【0048】

理解できるように、図5Bは、第3の範囲ビン内の2つの異なる速度で移動する2つのオブジェクトを示している。同様に、第8の範囲ビン内に3つの異なる速度で移動する3つのオブジェクトがある。これらは固定範囲角度に対して正確である点に留意されたい。次に、角度決定についてさらに詳しく説明する。

【0049】

図6は、いくつかの実施形態による、角度を計算するために使用される例示的なアンテナアレイを示している。角度推定には、少なくとも2つのレシーバ(RX)アンテナが必要である。距離を推定するために、これらのアンテナの各々までのオブジェクトの距離の差が利用される。したがって、送信(TX)アンテナはチャープである信号を送信する。それはオブジェクトから反射されて、1つの光線はオブジェクトから第1のRXアンテナに向かい、もう1つの光線はオブジェクトから第2のRXアンテナに向かう。

【0050】

図6に示されるこの例では、第2のRXアンテナへの光線はやや長く伝わる必要がある。すなわち、デルタdの追加距離である。この追加距離により、ラムダによる2piデルタdに等しいオメガの追加位相が生じる。したがって、これは、このアンテナにおける信号とこのアンテナにおける信号との間の位相差である。

【0051】

図7は、いくつかの実施形態による、例示的な範囲-角度-速度レーダキューブを示している。当業者であれば理解できるように、行列を組み立てると、範囲-角度-速度の軸を有する3Dレーダキューブが得られる。本明細書に開示される方法は、移動車両に搭載された1つ(または複数)の77-GHz DigiMMIC(FMCW)レーダセンサから抽出されたレーダデータを処理および解釈するための技法について説明するが、他の周波数および用途も本開示の範囲を超えるものではない。

【0052】

レーダキューブデータは、方位角(角度)、動径速度(ドップラ)、および動径距離(範囲)に対応する次元を有する3次元の複素数値配列の形式である。各角度-ドップラ-範囲ビンにおける大きさは、レーダセンサがその動径速度に対して空間内のその点(角度および範囲)から来るとみなすエネルギーの量を表すために取得される。実証の目的で、地面に平行な方向を向いた線形アンテナアレイが仮定される。ピークエネルギーを有するピラーは、ピーク検証のために選択することができるが、これについては本開示で後述する。

【0053】

図8Aおよび図8Bは、いくつかの実施形態による、画像処理の前後のシーンを示している。本開示の目的は、フォアグラウンド抽出/バックグラウンド減算である。図8Aは、レーダキューブ内の自動車の生の画像である。図8Aに示される比較的ノイズの多い画像から、明確なピークエネルギー領域を抽出することができる。高水準のアイデアは、バックグラウンドノイズの推定とピーク領域のマスキングを組み合わせることによって、自動車シーン内のオブジェクトからの反射を分離することである。前者はレーダ信号内でバックグラウンドから目立つ領域を見つけ、後者はさらなる処理のためにそれらを検証して分離する。

【0054】

結果が図8Bに示されている。図8Bは、検出されたピーク(ドット)およびピーク領域(黒でないピクセル)を有するレーダキューブ内の自動車の処理された画像である。次に、そのプロセスについてさらに詳しく説明する。

【0055】

フォアグラウンド抽出は、ノイズおよびアーティファクトを抑制し、レーダキューブの顕著な領域を抽出するための様々な方法によって実行することができる。すべてではないにしても、ほとんどの場合、バックグラウンドモデルを推定して何らかの方法でそれを削除するか、要素ごとの乗算を通じて所望のビンを強調し他のビンを抑制するマスクを作成する必要がある。

【0056】

CFAR一定誤警報率(CFAR: Constant False Alarm Rate)しきい値処理は、おそらく最もよく知られ、よく研究されている技法であり、ローカル平均によるバックグラウンドモデルの推定を含む。一定誤警報率(CFAR)検出は、ノイズ、クラッタ、および干渉のバックグラウンドに対するターゲットの反射を検出するためにレーダシステムにおいて使用される適応アルゴリズムの一般的な形式を指す。

【0057】

根本的な考え方は、ノイズ統計がアレイ全体で不均一になる可能性があるということである。CA-CFAR(セル平均)は、バックグラウンド推定に所望のオブジェクトが含まれることを避けるために、平均ウィンドウの中心における領域(ガードセル)を除外しながら移動平均を計算する。OS-CFAR(順序統計)も同じ計算を実行するが、平均の代わりにパーセンタイル演算を使用する。バックグラウンドモデル(各ビンにおけるバックグラウンド値の推定値)b_ijkを考慮すると、フォアグラウンドは、バックグラウンド抑制の量を制御する何らかの要因αについて、次のように推定することができる。

【0058】

【数1】

【0059】

本開示の1つまたは複数の目的は、自動車シーン内のオブジェクトをノイズから効率的に分離することである。その動機は、自動車レーダ信号がオブジェクト(たとえば、車、自転車、建物)からの反射で構成されており、従来の手法では機械学習パイプラインにおける精度、効率、可用性を同時に達成できない可能性があることである。

【0060】

これまでの解決策では、2Dのみ、または完全な3Dバックグラウンド推定が試みられてきた。他の解決策は、ピークの検証またはピーク領域の保持を含まない。

【0061】

関連分野および他の分野における同様の問題に対する解決策は、3Dレーダデータキューブへの適用において保持することができない。また、計算効率に対する障壁も生じる。

【0062】

図9は、いくつかの実施形態による、自動車グレードのレーダにおいてオブジェクトを検出するための例示的な方法を示している。本方法は、medmedバックグラウンドモデリングを含む。medmedは中央値-中央値(median-median)を指すが、他の平均化技法は本開示の範囲を超えるものではない。中央値は、値の数が等しい上下の値の順序付きセット内の値、または中央の数値が1つもない場合は中央の2つの値の算術平均である。

【0063】

上で説明したOS-CFARは高費用であり、レーダキューブ全体で動作するため、少し柔軟性に欠ける。この実装形態は、次のように結果に大きな影響を与えることなく改善することができる。説明の目的で、バックグラウンドモデルはドップラではなく範囲-角度のみの関数であると仮定する。そうすることによって、完全な3D移動中央値を、ドップラ上の中央値と、それに続く範囲-角度上の2D移動中央値によって近似することができる。

【0064】

これにより、(2D)ウィンドウサイズとオーバーラップの選択に関して、より柔軟な対応が可能になる。まばらなグリッド上の移動中央値を計算し、広く使用され最適化された画像リサンプリング技法を使用して、元の範囲-角度グリッドにすばやくアップサンプリングできる。2つの中央値演算がこの手法の名前の由来である。

【0065】

図9を参照すると、レーダキューブは、バックグラウンドクラスタとエネルギークラスタの両方を含む大量のデータを含む。これらのエネルギークラスタまたはクラウドは、ピーク検出中に確認される対象領域であり得る。しかしながら、それが可能となる前に、より効率的に処理できる扱いやすいデータキューブを得るために、大容量のバックグラウンドの一部を削除(減算)する必要がある。

【0066】

通常、当技術分野では、積極的なしきい値処理がレーダキューブに適用され、大量の情報、すなわちしきい値未満のデータを効果的に破棄することによってデータを圧縮する。画像のしきい値処理は、画像をフォアグラウンドとバックグラウンドに分割する簡単かつ効果的な方法である。この画像解析技法は、グレースケール画像をバイナリ画像に変換することによってオブジェクトを分離する画像セグメンテーションの一種である。画像のしきい値処理は、コントラストの高い画像において最も効果的である。

【0067】

あまり積極的にしきい値処理を行わないことによって、周囲の領域のより広い面積を維持することができる。これは、インテリジェントな知覚分析に役立つ。構成的知覚またはインテリジェントな知覚は、刺激の認知的理解を構築するために、知覚者が感覚情報および他の情報源を使用する知覚理論である。このトップダウンの手法とは対照的に、直接認識するボトムアップの手法がある。知覚はどちらかというと仮説であり、これをサポートする証拠は、「知覚によって、感覚されていないオブジェクトの特性に対して一般に適切な行動が可能になる」ということであり、私たちは、「長く、細い長方形をドアが半開きであるとして」見ているだけであるにもかかわらず、たとえばドアのような明白なものに反応することを意味する。

【0068】

本実施形態では、インテリジェントな知覚により、レーダシステムは、オブジェクト(たとえば、車)の位置、速度、および方向を識別できるだけでなく、それを以前に識別された車に断定的に(dispositively)関連付けることができる。すなわち、レーダシステムはシーン間のオブジェクトをより容易に時間的に関連付けることができ、それによって予期せぬ事態を軽減する。

【0069】

1つまたは複数の実施形態では、第4の次元は接線速度を含む。最先端のレーダシステムでは、ドップラは観測者により近い速度のみを分解することができる。すなわち、レーダアンテナに近づいたり、そこから遠ざかったりする。いくつかの実施形態では、接線速度は、観察者の平面に対して実質的に垂直な速度を分解することができる。より分かりやすく言えば、これは左右または上下の動きおよび速度(ベクトルであるため、実際には速度)を含む。4Dレーダキューブはテッセラクト(tesseract)と呼ばれる。

【0070】

図9に戻ると、レーダキューブに対して絶対値演算が実行される。知られているように、絶対値は複素数の大きさを返し、これは単に複素平面内の原点からの距離である。1つまたは複数の実施形態では、何らかのしきい値基準を達成するために中央値が実行される。移動中央値は、重みが大きいオブジェクトによって平均値が失われる可能性があるため、平均化のより堅牢な統計として望ましい。すなわち、中央値はシーン内の高エネルギーオブジェクトを無視することができる。これはバックグラウンド減算ステップにおいて重要である。

【0071】

しかしながら、中央値は並べ替えが必要なため、計算量が多くなる。バックグラウンドが動径速度方向に依存しないと仮定すると、レーダキューブの1次元は次のように切り捨てられる。動径速度方向の移動中央値が実行される。次いで、3次元における速度中央値を置き換えることによって、3Dレーダキューブを単なる範囲-角度に縮小するために、この中央値が使用される。その重要性については、図10の説明においてさらに詳しく説明する。

【0072】

バックグラウンドの推定が完了すると、マスキングを実行することができる。マスキングにより、バックグラウンドノイズが除去されるが、対象となるピーク領域はそのまま残る。その結果、計算的にはるかに保持しやすいしきい値キューブが得られる。これで、ピーク検出およびフィルタリングを実行できるようになり、これについても本開示で後述する。

【0073】

レーダキューブ処理の態様は、検出をモデル化するための短期トラック仮説(「トラックレット(tracklet)」と呼ばれる)を使用することを含む。トラックレットは、長期トラック仮説(「グループ(group)」と呼ばれる)を形成するためにグループにクラスタ化される。トラックレットとグループは、以下で説明するように、誕生-消滅ルールと様々なフィルタの対象となる。

【0074】

次いで、ピークリストは、様々な最先端のフィルタリングおよび検出方法を用いて処理することができる。これらの方法は、測定ごとの反射点の小さい変動を考慮していない。たとえば、車のボンネットなどのオブジェクトの曲面上の反射点は、車の向きおよび位置に応じてその位置が変化することがある。次いで、この反射点の移動により、オブジェクトの実際の動きには対応しない人工的な動きが加えられる。このオフセットにより、すべての反射点を同じオブジェクトに関連付けることが困難になる。さらに、オブジェクトが移動すると、オブジェクト上に新しい反射点が現れ、他の反射点は消える。この問題を軽減するために、次の新規な技法が使用される。

【0075】

第1のステップとして、フレームからフレームへの各検出の動的/短期の動きをモデル化するために短期仮説が使用される。トラック/フィルタリングされた検出は、以前に参照されたトラックレットである。次のステップとして、いくつかのトラックレット(最小で1つであるが、1より大きい数が望ましい)がクラスタ化される。次いで、このクラスタは、オブジェクトの根底にある動きをモデル化するために長期仮説によってトラッキングされる。個々のトラックレットおよびグループは、アルファ/ベータカルマンフィルタルールを用いて、および誕生ルールと消滅ルールを用いてモデル化されることが好ましい。カルマンフィルタは、未知の変数の推定値を生成するために、長期間にわたって観察された一連の測定値を使用し、この推定値は、単一の測定値のみに基づく推定値よりも正確になる傾向がある。精度は、時間枠ごとの変数にわたる同時確率分布に起因する。誕生ルールの例としては、トラックレットとしてトラッキングされるために、反射がいくつかの、たとえば3つのフレームに存在する必要があるというものがある。同様に、消滅ルールの実施形態は、トラックレットが消滅するには、連続する3つのフレームにおいてトラックレットの対応する検出が失敗しなければならないというものである。この方法の技術的な利点は、新しい反射点および/または消滅する反射点が正確にモデル化され、さらに小さい変動が補償されることである。同様の技法が、オブジェクト(グループ化またはクラスタ化されたトラックレット)がシーンに存在する/シーンに入る/シーンから出るために使用される。

【0076】

短期仮説フィルタリングの動きに制約のないフィルタを使用すると、たとえば短期仮説フィルタにフーバクラフトオブジェクトモーションフィルタを使用すると有利である。長期仮説フィルタの場合、より限定された動きモデル、たとえば車両運動モデルを備えたフィルタを使用することが好ましい。

【0077】

図10は、いくつかの実施形態による、まばらな範囲角度グリッド上の例示的な中央値バックグラウンド推定を示している。前述の説明に従って、バックグラウンド推定は、速度(ドップラ)中央値を使用して範囲-角度に対して実行することができる。まばらな範囲-角度グリッド上の中央値バックグラウンド推定は、2Dグリッド上の移動中央値を含む。

【0078】

いくつかの実施形態では、まばらな範囲-角度に関する中央値バックグラウンド推定は、問題の正方形の原点を囲む8つの点にわたって中央値をソートすることを含む。他の実施形態では、任意の数の2次元点を使用することができる。さらに他の実施形態では、過剰平均メトリクスを利用することができ、これも本開示の範囲内に含まれる。

【0079】

ピークの検出、しきい値処理、および検証は次のように開示される。しきい値処理は、レーダキューブにおけるフォアグラウンド領域を抽出する作業のほとんどを行うが、完全ではない。一部のスプリアスピークがしきい値を超えている。これらは、すべての関心領域が3次元ブロブ形状として適切に記述されていると仮定することによって除去することができる。これは、次の方法ですべての極大値を見つけることで構成される。

【0080】

【数2】

【0081】

図11は、各ビンを中心とする5×5×5近傍内のマグニチュードの合計としてこれらのピークをスコアリングし、次いでスコアが最小値を下回るピーク領域をマスキングする例示的なレーダシステムの概略図である。これにより、極大値の数を100～1,000から30～100に減らすことができる。

【0082】

前述の利点は、検証ステップによって偽のピークが除去されるという堅牢性である。さらに、パイプラインの後半において機械学習エンジンによって使用することができるピーク領域(ピークだけではなく)によって使いやすさが向上する。

【0083】

前述の実施形態のうちの1つまたは複数は、速度自由度に対して中央値演算を実行することを必要とするが、さらなる分析のためにデータを単純にする(圧縮する)ために、任意のパラメータに対して演算子を実行することができる。たとえば、データ行列を減衰させるために、範囲、角度、および/または接線速度に関して中央値または他の平均値(移動平均、またはその他)を使用することができる。

【0084】

図11は、いくつかの実施形態による、例示的なレーダシステムの概略図である。レーダシステムは、トランスミッタ、デュプレクサ、低ノイズ増幅器、ミキサ、ローカル発振器、整合フィルタ、IFフィルタ、第2の検出器、ビデオ増幅器、およびディスプレイを備える。

【0085】

このように、本出願の技術のいくつかの態様および実施形態を説明してきたが、当業者であれば、様々な変更、修正、および改良を容易に思いつくであろうことが理解されるであろう。そのような変更、修正、および改良は、本出願に記載されている技術の趣旨および範囲内にあることが意図されている。たとえば、当業者であれば、本明細書に記載される機能を実行し、ならびに/あるいは結果および/または利点のうちの1つまたは複数を得るための様々な他の手段および/または構造を容易に想定するであろう。そのような変形および/または修正の各々は、本明細書に記載される実施形態の範囲内にあるものとみなされる。

【0086】

上述の実施形態は、数多くの方法のうちの任意の方法で実装され得る。プロセスまたは方法の実行に関わる本出願の1つまたは複数の態様および実施形態は、プロセスまたは方法を実行またはその実行を制御するために、デバイス(たとえば、コンピュータ、プロセッサ、または他のデバイス)によって遂行可能なプログラム命令を利用し得る。

【0087】

この点において、様々な発明概念は、1つまたは複数のプログラムでエンコードされたコンピュータ可読ストレージ媒体(または、複数のコンピュータ可読ストレージ媒体)(たとえば、コンピュータメモリ、1つまたは複数のコンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイスにおける回路構成、あるいは他の有形のコンピュータストレージ媒体)として具現化され得、1つまたは複数のコンピュータあるいは他のプロセッサ上で遂行されると、上述の様々な実施形態のうちの1つまたは複数を実装する方法を実行する。

【0088】

1つまたは複数のコンピュータ可読媒体は、上述の態様のうちの様々なものを実装するために、そこに記憶された1つまたは複数のプログラムを1つまたは複数の異なるコンピュータあるいは他のプロセッサにロードできるように可搬性であってもよい。いくつかの実施形態では、コンピュータ可読媒体は非一時的媒体であってもよい。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【国際調査報告】