IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧

特開2022-40099機械学習によるレーダデータの増加及び処理
<>
  • 特開-機械学習によるレーダデータの増加及び処理 図1
  • 特開-機械学習によるレーダデータの増加及び処理 図2
  • 特開-機械学習によるレーダデータの増加及び処理 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022040099
(43)【公開日】2022-03-10
(54)【発明の名称】機械学習によるレーダデータの増加及び処理
(51)【国際特許分類】
   G01S 13/931 20200101AFI20220303BHJP
   G01S 7/40 20060101ALI20220303BHJP
【FI】
G01S13/931
G01S7/40 191
【審査請求】未請求
【請求項の数】16
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2021139023
(22)【出願日】2021-08-27
(31)【優先権主張番号】10 2020 210 887.0
(32)【優先日】2020-08-28
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
【住所又は居所原語表記】Stuttgart, Germany
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アンドレイ ユンギンガー
(72)【発明者】
【氏名】ミヒャエル ヨハネス エクスレ
(72)【発明者】
【氏名】ティロ シュトラウス
【テーマコード(参考)】
5J070
【Fターム(参考)】
5J070AC02
5J070AC06
5J070AF03
5J070AK04
5J070AK14
(57)【要約】      (修正有)
【課題】ソースコンフィギュレーションのレーダデータをターゲットコンフィギュレーションのレーダデータに変換するための方法
【解決手段】グリッドセル32aのソースアレイ32をソース反射位置31の座標に対して提供するステップ110と、総てのソース反射位置31からグリッドセル32a内にソース反射位置31が位置する確率/頻度32bを割り当てるステップ120と、ソースアレイ32を含むソーステンソル33を形成するステップ130と、ソーステンソル33をターゲットテンソル53に変換するステップ140であって、ターゲットアレイ52は、各グリッドセル52aに対してシーンの観察時に得られるターゲット反射位置51が位置する確率/頻度52bを示すステップ140と、ターゲットアレイ52における確率/頻度52bに基づきターゲット反射位置51の座標をサンプリングしてターゲットレーダデータ5が発生するステップ150とを含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
ソースレーダデータ(3)をターゲットレーダデータ(5)に変換するための方法(100)であって、前記ソースレーダデータ(3)は、レーダシステムのソースコンフィギュレーション(2)によるシーン(1)の観察によって得られたレーダデータであり、前記ターゲットレーダデータ(5)は、レーダシステムのターゲットコンフィギュレーション(4)による同様の前記シーン(1)の観察時に予期されるレーダデータであり、前記ソースレーダデータ(3)又は前記ターゲットレーダデータ(5)は、少なくとも、ソース反射位置(31)又はターゲット反射位置(51)の位置座標を含み、前記ソース反射位置(31)又は前記ターゲット反射位置(51)から、反射されたレーダビームが前記レーダシステムに入射する、方法(100)において、
・グリッドセル(32a)の2次元以上の次元のソースアレイ(32)を前記ソース反射位置(31)の前記位置座標に対して提供するステップ(110)と、
・総てのソース反射位置(31)の前記位置座標から、各グリッドセル(32a)に対して、前記グリッドセル(32a)内に1つ又は複数のソース反射位置(31)が位置する確率及び/又は頻度(32b)を求め、前記各グリッドセル(32a)に割り当てるステップ(120)と、
・少なくとも、確率及び/又は頻度(32b)によって占有された前記ソースアレイ(32)を含むソーステンソル(33)を形成するステップ(130)と、
・前記ソーステンソル(33)を、前記ターゲット反射位置(51)の前記位置座標に対してグリッドセル(52a)の少なくとも1つのターゲットアレイ(52)を含むターゲットテンソル(53)に変換するステップ(140)であって、前記ターゲットアレイ(52)は、各グリッドセル(52a)に対して、前記各グリッドセル(52a)内に、前記ターゲットコンフィギュレーション(4)による前記シーン(1)の観察時に得られるターゲット反射位置(51)が位置する確率及び/又は頻度(52b)を示す、ステップ(140)と、
・前記ターゲットアレイ(52)における前記確率及び/又は頻度(52b)に基づいて、ターゲット反射位置(51)の位置座標をサンプリングするステップ(150)であって、これによって前記ターゲットレーダデータ(5)が発生する、ステップ(150)と、
を含む方法(100)。
【請求項2】
前記ソースコンフィギュレーション(2)は、前記ターゲットコンフィギュレーション(4)と同一であり、前記ソーステンソル(33)を前記ターゲットテンソル(53)と同一のものとして引き継ぐ(141)、請求項1に記載の方法(100)。
【請求項3】
前記ソースコンフィギュレーション(2)は、前記ターゲットコンフィギュレーション(4)と異なり、前記ソーステンソル(33)を、トレーニング済みの機械学習モデル(6)によって、前記ターゲットテンソル(53)に変換する(142)、請求項1に記載の方法(100)。
【請求項4】
前記ソースコンフィギュレーション(2)と前記ターゲットコンフィギュレーション(4)とは、少なくとも、以下の点に関して異なる、即ち、
・2つのコンフィギュレーション(2,4)は、異なるレーダセンサを含む、及び/又は、
・前記レーダセンサは、2つのコンフィギュレーション(2,4)において、空間的に異なるように配置される、及び/又は、
・2つのコンフィギュレーション(2,4)において、前記レーダビームは、少なくとも1つのレーダセンサと観察される前記シーン(1)との間に配置される材料によって異なる態様で影響される、
請求項3に記載の方法(100)。
【請求項5】
前記機械学習モデル(6)は、エンコーダとデコーダとを備えるエンコーダ・デコーダ装置を含み、前記エンコーダは、前記ソーステンソル(33)を、次元が低減された表現に写し取り、前記デコーダは、前記表現を前記ターゲットテンソル(53)に写し取る、請求項3又は4に記載の方法(100)。
【請求項6】
前記機械学習モデルは、敵対的生成ネットワークGANのジェネレータを含む、請求項3乃至5のいずれか一項に記載の方法(100)。
【請求項7】
ソースレーダデータ(3)をニューラルネットワーク(7)によって処理するための方法(200)であって、前記ソースレーダデータ(3)は、レーダシステムのソースコンフィギュレーション(2)によるシーン(1)の観察によって得られたレーダデータであり、前記ソースレーダデータ(3)は、少なくとも、ソース反射位置(31)の位置座標を含み、前記ソース反射位置(31)から、反射されたレーダビームが前記レーダシステムに入射する、方法(200)において、
・グリッドセル(32a)の2次元以上の次元のソースアレイ(32)を前記ソース反射位置(31)の前記位置座標に対して提供するステップ(210)と、
・総てのソース反射位置(31)の前記位置座標から、各グリッドセル(32a)に対して、前記グリッドセル(32a)内に1つ又は複数のソース反射位置(31)が位置する確率及び/又は頻度(32b)を求め、前記各グリッドセル(32a)に割り当てるステップ(220)と、
・少なくとも、確率及び/又は頻度(32b)によって占有された前記ソースアレイ(32)を含むソーステンソル(33)を形成するステップ(230)と、
・前記ソーステンソル(33)を、前記ニューラルネットワーク(7)に供給するステップ(240)と、
を含む方法(200)。
【請求項8】
前記ソーステンソル(33)を、前記ニューラルネットワーク(7)によって、所定のクラス分けの1つ又は複数のクラスに写し取る(241)、請求項7に記載の方法(200)。
【請求項9】
前記ニューラルネットワーク(7)によって供給されたアウトプット(240a)から、車両(50)用の駆動制御信号(250a)を形成し(250)、前記車両(50)を前記駆動制御信号(250a)によって駆動制御する(260)、請求項7又は8に記載の方法(200)。
【請求項10】
前記ソーステンソル(33)及び場合により前記ターゲットテンソル(53)は、それぞれ割当てを含み、前記割当ては、前記ソースレーダデータ(3)又は前記ターゲットレーダデータ(5)から導出可能な少なくとも1つの他の付加的なパラメータ(8)の、前記ソースアレイ(32)又は前記ターゲットアレイ(52)の前記グリッドセル(32a,52a)への割当てである、請求項1乃至9のいずれか一項に記載の方法(100,200)。
【請求項11】
具体的なターゲット反射位置(51)のサンプリングに寄与した、前記ターゲットアレイ(52)の1つ又は複数のグリッドセル(52a)に対する前記付加的なパラメータ(8)の1つ又は複数の値から、前記付加的なパラメータ(8)の新たな値(8’)を形成し(151)、前記ターゲットレーダデータ(5)において前記ターゲット反射位置(51)に割り当てる(152)、請求項10に記載の方法(200)。
【請求項12】
前記付加的なパラメータ(8)は、
・前記ソースレーダシステムと前記ソース反射位置(31)との間若しくは前記ターゲットレーダシステムと前記ターゲット反射位置(51)との間の間隔、及び/又は、
・前記レーダビームが前記ソースレーダシステム若しくは前記ターゲットレーダシステムに入射する角度、及び/又は、
・前記レーダビームが反射された対象物の速度、及び/又は、
・前記レーダビームが反射された対象物の、所定のクラス分けの1つ又は複数のクラスへの属性、及び/又は、
・反射された前記レーダビームの信号強度
を含む、請求項10又は11に記載の方法(100,200)。
【請求項13】
前記ソース反射位置(31)を中心に所定の半径を有する円又は球に、1の占有確率を割り当て(121,221)、前記円の面積又は前記球の体積が分配される前記ソースアレイ(32)の総てのグリッドセル(32a)に、面積の比率又は体積の比率に応じて、前記占有確率を分配する(122,222)、請求項1乃至12のいずれか一項に記載の方法(100,200)。
【請求項14】
機械可読命令を含むコンピュータプログラムであって、
前記機械可読命令が1つ又は複数のコンピュータ上において実行されるときに、前記機械可読命令は、前記1つ又は複数のコンピュータに、請求項1乃至13のいずれか一項に記載の方法(100,200)を実施させる、コンピュータプログラム。
【請求項15】
請求項13に記載のコンピュータプログラムを備える機械可読データ担体及び/又はダウンロード製品。
【請求項16】
請求項14に記載のコンピュータプログラム及び/又は請求項15に記載の機械可読データ担体及び/又はダウンロード製品が装備されるコンピュータ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、既に存在するレーダデータから実際のレーダデータを生成すること、及び、概して、機械学習によるレーダデータの処理に関する。
【背景技術】
【0002】
従来技術
車両を、少なくとも部分的に自動的に、道路交通において走行させることを可能にするために、車両の周辺環境において対象物と衝突する危険がある場合、車両の周辺環境を検出して、対抗措置を講じることが必要である。周辺環境の描写及び位置特定も、安全な自動走行にとって必要である。
【0003】
レーダによる対象物の検出は、光の状況とは無関係に、例えば夜間に、比較的離隔していても行うことが可能であり、この際に、対向交通がハイビームによって幻惑されることがない。さらに、レーダデータから直接的に、対象物までの距離及び対象物の速度が明らかになる。このような情報は、対象物との衝突が発生し得るか否かを判断するために重要である。しかし、対象物がどのようなタイプのものであるのかは、レーダ信号から直接的には識別されない。このような識別は、今日、デジタル信号処理による属性の算出によって行われる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】独国特許発明第102018204494号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
トレーニング済みの機械学習モデル、例えばニューラルネットワークは、ここで、特に対象物識別にとって重要な役割を果たす。このようなモデルをトレーニングするために、トレーニングデータが必要である。多くの場合、トレーニングデータは、テスト走行において記録され、その後、トレーニングデータによって、観察された各シーンに実際に含まれる対象物に注釈が付けられる(「ラベル付けがされる」)。このラベル付けは、多くの手作業を必要とし、相応の費用がかかる。独国特許発明第102018204494号明細書は、ジェネレータを開示しており、ジェネレータによって、トレーニングデータの所与のストックを拡張して、合成レーダデータを含めることができる。
【課題を解決するための手段】
【0006】
発明の開示
本発明の範囲において、ソースレーダデータをターゲットレーダデータに変換するための方法が開発された。ソースレーダデータは、レーダシステムのソースコンフィギュレーションによるシーンの観察によって得られたレーダデータである。ターゲットレーダデータは、レーダシステムのターゲットコンフィギュレーションによる同様のシーンの観察時に予期されるレーダデータである。レーダシステムのソースコンフィギュレーションも、ターゲットコンフィギュレーションも、それぞれ、レーダビームの少なくとも1つの送信側と受信側とを含み、付加的に、さらなるパラメータによって、例えば、送信側及び/又は受信側の設定によって、特徴付けられ得る。
【0007】
この際に、ソースコンフィギュレーションは、ターゲットコンフィギュレーションと同一であるものとしてよい。このような場合には、レーダシステムのコンフィギュレーションに対するレーダデータの所与のストックを拡張して、実際の合成レーダデータを含めることができ、これは、例えば、冒頭において述べたジェネレータによって実行することが可能である。
【0008】
しかし、本発明に係る方法においては、レーダシステムのソースコンフィギュレーションによって記録されたソースレーダデータを起点として、ターゲットレーダデータを得ることもできる。ターゲットレーダデータは、同等の又は相違するレーダシステムの全く異なるターゲットコンフィギュレーションによる同様のシーンの観察時に実際に予期されるものである。このようにして、既にラベル付けもされている可能性のあるレーダデータの同一の所与のストックが、例えば、対象物識別のためのトレーニングデータとして、レーダシステムの任意の新たなターゲットコンフィギュレーションによって再使用される。これによって、さらなるレーダデータの物理的な記録にかかる多大なコストが節約される。レーダシステムが車両に積載されている場合には、特に、例えば、さらなるテスト走行を実行するための付加的なコストを格段に低減することができる。
【0009】
例えば、既に極めて多くのテスト走行が、車両の特定の箇所に取り付けられたレーダセンサによって実行される時点においては、このレーダセンサが将来的に車両の他の箇所に取り付けられるべきかを判断することができる。これによって、レーダセンサの記録特徴が変化する。特に、観察可能な視野及び視点が変化する。これまでのところ、先行するテスト走行において記録されたレーダデータを、センサの新たな位置から記録されたレーダデータに基づいて対象物識別又は他の評価をトレーニングするために使用することはできず、トレーニングデータの記録を再び最初から開始しなければならない。
【0010】
これまでのところ、他の製造業者の車両内にレーダセンサを組み込むことも、事前にトレーニング目的で記録されてきたレーダデータが利用不可能になるという結果をもたらしてしまう。レーダセンサは、総てのエンドカスタマに視覚的に良い印象を与えるわけではないので、多くの場合、車両製造業者のエンブレムの後ろに構築される。このようなエンブレムを通過する際に、レーダビームは影響を受け、製造業者のエンブレムが他の製造業者のエンブレムと交換される場合には、このような影響が変化する。従って、第1のエンブレムの後方において記録されたレーダデータは、第2のエンブレムの後方において記録されたレーダデータと、限定的にしか比較することができなかった。本発明に係る方法によって、このような信号変化を人工的に生成することができ、第1のエンブレムの後方において記録されたトレーニングデータのストックを、第1のエンブレムが第2のエンブレムと交換された後においても再使用することができる。
【0011】
全般的に、ソースレーダデータ又はターゲットレーダデータは、少なくとも、ソース反射位置又はターゲット反射位置の位置座標を含む。ソース反射位置又はターゲット反射位置から、反射されたレーダビームがレーダシステムに入射する。この方法の範囲においては、最初に、グリッドセルの2次元以上の次元のソースアレイがソース反射位置の位置座標に対して提供される。総てのソース反射位置の位置座標から、各グリッドセルに対して、このグリッドセル内に1つ又は複数のソース反射位置が位置する確率及び/又は頻度が求められ、各グリッドセルに割り当てられる。少なくとも、この確率及び/又は頻度によって占有されたソースアレイを含むソーステンソルが形成される。
【0012】
このために、例えば、ソース反射位置を中心に所定の半径を有する円又は球に、1の占有確率を割り当てることができる。次に、円の面積又は球の体積が分配されるソースアレイの総てのグリッドセルに、面積の比率又は体積の比率に応じて、このような占有確率を分配することができる。
【0013】
レーダビームによる観察の特別な物性が、レーダデータの不確実性をもたらすことが判明している。例えば、カメラ又はライダーによる光学的な観察は、結像されるべき構造体と比較して極めて短波のビームを使用するので、極めて鮮明な画像を提供する。これと比較して、レーダビームは、格段に長波であるので、ビームの波動特性が顕著に現れ、測定された反射は、主に確率論的性質を有する。
【0014】
具体的には、これは、レーダ反射が、
・時間の経過と共に変動する、即ち、連続する個々の測定において現れ、その後、再び消滅し、
・空間的に変動する、即ち、そこからレーダビームが発生するように見える位置の位置座標が変動し、変化する。
【0015】
従って、周辺環境の実際の画像は、レーダ測定から、ひいては典型的には、多数のレーダ測定を介してのみ、個々の測定の平均値及び/又は重畳として得ることができる。
【0016】
このような不確実性は、ソーステンソルにおいて大部分が抑制される。なぜなら、このようなソーステンソルは、レーダデータの確率分布を特徴付けるパラメータを含むからである。従って、ソーステンソルは、実質的に、同様に空間的にのみ変化する、時間に関連しない伝達関数による、観察されたシーンからの空間的な情報の処理の結果を含む。
【0017】
ソーステンソルは、ここで、ターゲット反射位置の位置座標に対して、グリッドセルの少なくとも1つのターゲットアレイを含むターゲットテンソルに変換される。このようなターゲットアレイは、各グリッドセルに対して、この各グリッドセル内に、ターゲットコンフィギュレーションによるシーンの観察時に得られるターゲット反射位置が位置する確率及び/又は頻度を示す。ターゲットアレイにおけるこの確率及び/又は頻度に基づいて、ターゲット反射位置の位置座標がサンプリングされ、ターゲットレーダデータが発生する。
【0018】
コンフィギュレーションが1つだけ使用され、このコンフィギュレーションに対して存在するレーダデータのストックが拡張される、冒頭に挙げた簡単なケースにおいては、ソースコンフィギュレーションは、ターゲットコンフィギュレーションと同一であり、ソーステンソルは、ターゲットテンソルと同一のものとして引き継がれる。この場合には、厳密に、元来のレーダデータに基づいて求められた確率分布から、新たなサンプルが得られる。
【0019】
これに対して、ソースコンフィギュレーションとターゲットコンフィギュレーションとが同一でない場合には、求められるターゲット反射位置は、同様に、空間的であり、時間に関連しない伝達関数を介してターゲットテンソルと関連する。ソーステンソルとターゲットテンソルとの間の関係は、この場合には、ソースコンフィギュレーションとターゲットコンフィギュレーションとの間の差によって理由付けされ、同様に時間に関連する。それにもかかわらず、通常、このような関係には、統一された定義付けは、存在しない。しかし、ソーステンソルからターゲットテンソルへの経路は、機械学習に公開される。即ち、ソーステンソルを、トレーニング済みの機械学習モデルによって、ターゲットテンソルへと変換することができる。機械学習モデルは、同様に、ソースコンフィギュレーションに関連するレーダデータ及びターゲットコンフィギュレーションに関連するレーダデータによってトレーニングされる。
【0020】
ここで、このようなトレーニングに必要なトレーニングデータの量は、特定のアプリケーションにおいて、通常、ターゲットレーダデータに変換すべきソースレーダデータの量に比較して少ない。即ち、このような量のソースレーダデータが提供され、少なくとも同等の量のターゲットレーダデータが必要とされる場合には、トレーニングデータを調達し、かつ、ソーステンソルをターゲットテンソルに変換し、従って、最終的にソースレーダデータからターゲットレーダデータへ導く、その後の機械学習モデルのトレーニングにかかるコストは、求められるターゲットレーダデータの直接的な測定技術による調達にかかるコストよりも格段に少ない。さらに、ソースコンフィギュレーションからターゲットコンフィギュレーションへのさらなるレーダデータの変換にも、機械学習モデルを、何度も使用することができる。
【0021】
上述したように、ソースコンフィギュレーションとターゲットコンフィギュレーションとは、特に、例えば、少なくとも以下の点に関して異なるものとしてよい。即ち、
・2つのコンフィギュレーションは、異なるレーダセンサを含む、及び/又は、
・これらのレーダセンサは、2つのコンフィギュレーションにおいて、空間的に異なって配置される、及び/又は、
・2つのコンフィギュレーションにおいて、レーダビームは、少なくとも1つのレーダセンサと観察されるシーンとの間に配置される材料によって異なる態様で影響される。
【0022】
従って、ここで提示された方法は、コンフィギュレーションのこのような交換が、この交換の前に既に取得されていたレーダデータのストックを「無効」にしないという作用を有する。その代わりに、このような交換に対して特別にトレーニングされた機械学習モデルが調達されるものとするとよく、又は、このようなモデルがトレーニングされるものとするとよい。
【0023】
これは逆に、事前に取得されていたレーダデータの「無効化」が、コンフィギュレーションの目指される交換に対する重要な論拠ではなくなったことを意味する。例えば、車両用の新たなレーダセンサが、これまで使用されていたレーダセンサと比較して格段に良い質のレーダデータを提供することが明らかな場合に、それにもかかわらず、古いレーダセンサを用いて、これまで実行されてきた総てのテスト走行を繰り返すことは、このような切り替えに対する高い代償になる可能性があり、総てを考慮に入れると、切り替えは経済的ではなくなる。このような代償が著しく低減される場合には、これは、切り替えを阻害するものではない。
【0024】
特に有利な構成においては、機械学習モデルは、エンコーダとデコーダとを備えるエンコーダ・デコーダ装置を含み、エンコーダは、ソーステンソルを、次元が低減された表現に写し取り、デコーダは、このような表現をターゲットテンソルに写し取る。このような装置は、次のようにトレーニングされる。即ち、エンコーダが、この表現へのソーステンソルの圧縮時に、実質的に、ソースコンフィギュレーションの詳細を省略し、明示的に定式化された条件では捉え難い、観察されたシーンに関する極めて重要な情報を得るようにトレーニングされる。デコーダは逆に、圧縮された表現にターゲットコンフィギュレーションの詳細を付加し、このようにしてターゲットテンソルを生成する。
【0025】
他の特に有利な構成においては、機械学習モデルは、敵対的生成ネットワークGANのジェネレータを含む。このようなジェネレータは、ソースコンフィギュレーションに関するソーステンソルからターゲットテンソルを生成するようにトレーニングされる。このターゲットテンソルは、実際に測定されたターゲットレーダデータから、ソースレーダデータからソーステンソルが生成されるのと同様に生成されたターゲットテンソルとは区別されず又は区別することが困難である。このようなトレーニングは、弁別器と連携して実行可能であり、この弁別器は、ソーステンソルから生成されたターゲットテンソルを、実際に測定されたターゲットレーダデータから生成されたターゲットテンソルと区別するようにトレーニングされる。ジェネレータと弁別器とは、共にGANを形成する。これがCycleGANである場合には、次のような場合にも、トレーニングが行われる。即ち、ソースコンフィギュレーションによって測定された多くのソースレーダデータ及びターゲットコンフィギュレーションによって測定された多くのターゲットレーダデータが提供されるが、同様のシーンに関するソースレーダデータとターゲットレーダデータとの対が提供されない場合においても、トレーニングが行われる。
【0026】
上述した、ソースレーダデータからのソーステンソルの形成は、レーダシステムのソースコンフィギュレーション又はターゲットレコンフィギュレーションによって実際に測定されたレーダデータと同様に使用可能な新たなレーダデータを生成するために適するだけではない。むしろ、ソースレーダデータをソーステンソルにおける確率及び/又は頻度の分布として表すことは、一般的に、ソースレーダデータの評価、例えば、対象物識別又はクラスへの他の割当てを、レーダ反射の確率論的変動からシールドするために有利である。
【0027】
従って、本発明は、レーダシステムのソースコンフィギュレーションによるシーンの観察によって得られたソースレーダデータをニューラルネットワークによって処理するための方法にも関する。ソースレーダデータは、少なくとも、ソース反射位置の位置座標を含み、反射されたレーダビームは、ソース反射位置からレーダシステムへ入射する。
【0028】
この方法においては、ソース反射位置の位置座標に対するグリッドセルの2次元以上の次元のソースアレイが提供される。総てのソース反射位置の位置座標から、各グリッドセルに対して、このグリッドセル内に1つ又は複数のソース反射位置が位置する確率及び/又は頻度が求められ、各グリッドセルに割り当てられる。少なくとも、この確率及び/又は頻度によって占有されたソースアレイを含むソーステンソルが形成される。このようなソーステンソルが、ニューラルネットワークに供給される。
【0029】
このようにして、ソースレーダデータに伴う不確実性が、ニューラルネットワークによって提供される結果に影響を与えることがなくなる。従って、全体的なシステムがより確実になる。この全体的なシステムは、最初にソースレーダデータを記録し、このソースレーダデータを処理して結果にし、この結果に基づいて、例えば、車両を駆動制御する。
【0030】
例えば、ソーステンソルを、ニューラルネットワークによって、所定のクラス分けの1つ又は複数のクラスに写し取ることができる。このようなクラスは、例えば、その存在がソースレーダデータを示す対象物を表す。しかし、これらのクラスが、例えば、交通状況を表すものとしてもよく、このような交通状況には、車両が存在しており、この車両から、ソースレーダデータが検出される。
【0031】
これによって、特に、例えば、ニューラルネットワークによって供給されたアウトプットから、車両用の駆動制御信号を形成することができ、車両をこのような駆動制御信号によって駆動制御することができる。
【0032】
ソーステンソルから最終的に、新たな実際のターゲットレーダデータ又は他の処理結果が生成されるか否かに拘わらず、ソーステンソル及び場合によりターゲットテンソルは、それぞれ割当てを含み得、この割当ては、ソースレーダデータ又はターゲットレーダデータから導出可能な少なくとも1つの他の付加的なパラメータの、ソースアレイ又はターゲットアレイのグリッドセルへの割当てである。
【0033】
これらの付加的なパラメータは、特に、例えば、
・ソースレーダシステムとソース反射位置との間若しくはターゲットレーダシステムとターゲット反射位置との間の間隔、及び/又は、
・レーダビームがソースレーダシステム若しくはターゲットレーダシステムに入射する角度、及び/又は、
・レーダビームが反射された対象物の速度、及び/又は、
・レーダビームが反射された対象物の、所定のクラス分けの1つ又は複数のクラスへの属性、及び/又は、
・反射されたレーダビームの信号強度
を含み得る。
【0034】
ソーステンソルから直接的に、ニューラルネットワークによって、処理結果が求められる場合には、付加的なパラメータの値を、例えば、対象物の識別時の曖昧さを解消するために使用することができる。例えば、付加的なパラメータの1つが、特定のソースレーダ反射が属する対象物が、自主的に、特定の速度において移動していることを示す場合、このような対象物は、交通標識又は同様の固定的に取り付けられている対象物ではあり得ない。
【0035】
ソーステンソルからターゲットテンソルが求められ、ターゲットテンソルから同様にターゲットレーダデータが求められる場合には、ターゲットアレイへのソースアレイの変換と共に、グリッドセルへの付加的なパラメータの値の割当てが、ソースコンフィギュレーションからターゲットコンフィギュレーションへの変化時にどのように変化するかも学習され得る。
【0036】
例えば、ターゲットコンフィギュレーションにおけるレーダセンサが、ソースコンフィギュレーションにおけるのとは異なる視点からシーンを観察する場合、ターゲットレーダデータは、ソースレーダデータとは異なる、対象物の速度成分に対する情報を供給する。例えば、ターゲットコンフィギュレーションにおけるレーダセンサがターゲット反射位置を見る角度も、ソースコンフィギュレーションにおけるレーダセンサがソース反射位置を見る角度に対して変更される。
【0037】
これは、特に、例えば、次のことによって写し取られる。即ち、特に有利な構成において、具体的なターゲット反射位置のサンプリングに寄与した、ターゲットアレイの1つ又は複数のグリッドセルに対する付加的なパラメータの1つ又は複数の値から、付加的なパラメータの新たな値が形成されて、ターゲットレーダデータにおいてターゲット反射位置に割り当てることによって写し取られる。
【0038】
全般的に、ソーステンソルにおける付加的なパラメータとのソースアレイの一括化は、もともと画像を処理するために設計された機械学習モデルの再使用を容易にする。いくつかのカラーチャネルを有する画像は、同様に、ソーステンソルに対して極めて類似の設計を有するテンソルとして表される。
【0039】
この方法は、特に、完全に又は部分的にコンピュータ実装されるものとしてよい。従って、本発明は、機械可読命令を備えるコンピュータプログラムにも関しており、機械可読命令が1つ又は複数のコンピュータ上において実行されるときに、機械可読命令は、1つ又は複数のコンピュータに、記載された方法の1つを実施させる。このような意味においては、同様に機械可読命令を実行し得る車両用の制御装置及び技術的な装置用の組込みシステムも、コンピュータとしてみなされる。
【0040】
同様に、本発明は、このようなコンピュータプログラムを備える機械可読データ担体及び/又はダウンロード製品にも関する。ダウンロード製品は、データネットワークを介して伝送可能な、即ち、データネットワークのユーザがダウンロードし得るデジタル製品であり、これは、例えば、オンラインショップにおいて直ちにダウンロード可能であるように販売され得るものである。
【0041】
さらに、コンピュータに、コンピュータプログラム、機械可読データ担体又はダウンロード製品が装備されるものとしてよい。
【0042】
本発明を改良するための他の措置を、以下において、本発明の有利な実施例の説明と共に、図面に基づいて詳細に示す。
【図面の簡単な説明】
【0043】
図1】ターゲットレーダデータ5へソースレーダデータ3を変換するための方法100の実施例である。
図2】車両50が、レーダシステムの異なるコンフィギュレーション2、4によって観察される例示的な状況である。
図3】ニューラルネットワーク7によってソースレーダデータ3を処理するための方法200の実施例である。
【発明を実施するための形態】
【0044】
実施例
図1は、ソースレーダデータ3からターゲットレーダデータ5へ変換するための方法100の実施例の概略的なフローチャートである。ソースレーダデータ3は、レーダシステムのソースコンフィギュレーション2によるシーン1の観察によって得られたものである。ターゲットレーダデータ5は、レーダシステムのターゲットコンフィギュレーション4による同様のシーン1の観察時に予期されるレーダデータである。
【0045】
ソースレーダデータ3は、少なくとも、反射されたレーダビームが、そこからレーダシステムに入射するソース反射位置31の位置座標を含む。ステップ110において、このような位置座標に対するグリッドセル32aの2次元以上の次元のソースアレイ32が提供される。ステップ120において、総てのソース反射位置31の位置座標から、各グリッドセル32aに対して、このグリッドセル32a内に1つ又は複数のソース反射位置31が位置する確率及び/又は頻度32bが求められ、各グリッドセル32aに割り当てられる。
【0046】
このために、例えば、ブロック121においては、ソース反射位置31を中心に所定の半径を有する円又は球に、1の占有確率を割り当てることができる。次に、ブロック122においては、円の面積又は球の体積が分配されるソースアレイ32の総てのグリッドセル32aに、面積の比率又は体積の比率に応じて、このような占有確率を分配することができる。
【0047】
ステップ130において、少なくとも、確率及び/又は頻度32bによって占有されたソースアレイ32を含むソーステンソル33が形成される。ソーステンソル33は、その他に、例えば、さらに、ソースアレイ32のグリッドセル32aにそれぞれ割り当てられる付加的なパラメータ8の値を含み得る。
【0048】
ソーステンソル33は、ステップ140において、ターゲットテンソル53に変換される。ターゲットテンソル53は、少なくとも、ターゲット反射位置51の位置座標に対するグリッドセル52aのターゲットアレイ52を含む。このようなターゲットアレイ52は、各グリッドセル52aに対して、この各グリッドセル52a内に、ターゲットコンフィギュレーション4によるシーン1の観察時に得られるターゲット反射位置51が位置する確率及び/又は頻度52bを示す。
【0049】
ソースコンフィギュレーション2がターゲットコンフィギュレーション4と同一である場合には、このために、例えば、ブロック141において、ソーステンソル33を、ターゲットテンソル53と同一のものとして引き継ぐことができる。
【0050】
これに対して、ターゲットコンフィギュレーション4がソースコンフィギュレーション2と異なる場合には、ソーステンソル33を、例えば、ブロック142において、トレーニング済みの機械学習モデル6によって、ターゲットテンソル53に変換することができる。
【0051】
ステップ150において、ターゲットアレイ52における確率及び/又は頻度52bに基づいて、ターゲット反射位置51の位置座標がサンプリングされ、ターゲットレーダデータ5が発生する。この際に、特に、ブロック151において、具体的なターゲット反射位置51のサンプリングに奇与したターゲットアレイ52の1つ又は複数のグリッドセル52aに対する付加的なパラメータ8の1つ又は複数の値から、付加的なパラメータ8の新たな値8’が形成される。このような新たな値8’は、次に、ブロック152において、ターゲット反射位置51に割り当てられるものとしてよい。
【0052】
図2は、レーダシステムのソースコンフィギュレーション2によって得られたシーン1のソースレーダデータ3が、同一の又は他のレーダシステムのターゲットコンフィギュレーション4によって同様のシーン1により得られたターゲットレーダデータ5と区別される方法及び理由を概略的に示している。
【0053】
図2に示された例において、シーン1は、車両50を示している。送信側2a及び受信側2bを含むソースコンフィギュレーション2によって、レーダ反射がソース反射位置31において記録される。見易くするために、これらのうちの3つのみが図2に示されている。これに対して、送信側4a及び受信側4bを他の空間的な位置に含むターゲットコンフィギュレーション4によって、レーダ反射がターゲット反射位置51において記録される。見易くするために、これらのうちの3つのみが図2に示されている。
【0054】
図3は、ソースレーダデータ3を処理するための方法200の実施例の概略的なフローチャートである。この方法は、最初は、上述した方法100と同様に開始する。
【0055】
上述した方法100におけるように、ソースレーダデータ3は、少なくとも、反射されたレーダビームがそこからレーダシステムに入射するソース反射位置31の位置座標を含む。ステップ210において、このような位置座標に対するグリッドセル32aの2次元以上の次元のソースアレイ32が提供される。ステップ220において、総てのソース反射位置31の位置座標から、各グリッドセル32aに対して、このグリッドセル32a内に1つ又は複数のソース反射位置31が位置する確率及び/又は頻度32bが求められ、各グリッドセル32aに割り当てられる。
【0056】
このために、例えば、ブロック221においては、ソース反射位置31を中心に所定の半径を有する円又は球に、1の占有確率を割り当てることができる。次に、ブロック222においては、円の面積又は球の体積が分配されるソースアレイ32の総てのグリッドセル32aに、面積の比率又は体積の比率に応じて、このような占有確率を分配することができる。
【0057】
ステップ230において、少なくとも、確率及び/又は頻度32bによって占有されたソースアレイ32を含むソーステンソル33が形成される。ソーステンソル33は、その他に、例えば、さらに、ソースアレイ32のグリッドセル32aにそれぞれ割り当てられる付加的なパラメータ8の値を含み得る。
【0058】
ソーステンソル33は、ステップ240において、ニューラルネットワーク7に供給され、このニューラルネットワーク7によってアウトプット240aへと処理される。この際に、ソーステンソル33を、特に、例えば、所定のクラス分けの1つ又は複数のクラスへ写し取ることができる。
【0059】
図3に示された例においては、ステップ250において、アウトプット240aから、車両50用の駆動制御信号250aが形成され、ステップ260において、車両50は、この駆動制御信号250aによって駆動制御される。
図1
図2
図3
【手続補正書】
【提出日】2021-09-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ソースレーダデータ(3)をターゲットレーダデータ(5)に変換するための方法(100)であって、前記ソースレーダデータ(3)は、レーダシステムのソースコンフィギュレーション(2)によるシーン(1)の観察によって得られたレーダデータであり、前記ターゲットレーダデータ(5)は、レーダシステムのターゲットコンフィギュレーション(4)による同様の前記シーン(1)の観察時に予期されるレーダデータであり、前記ソースレーダデータ(3)又は前記ターゲットレーダデータ(5)は、少なくとも、ソース反射位置(31)又はターゲット反射位置(51)の位置座標を含み、前記ソース反射位置(31)又は前記ターゲット反射位置(51)から、反射されたレーダビームが前記レーダシステムに入射する、方法(100)において、
・グリッドセル(32a)の2次元以上の次元のソースアレイ(32)を前記ソース反射位置(31)の前記位置座標に対して提供するステップ(110)と、
・総てのソース反射位置(31)の前記位置座標から、各グリッドセル(32a)に対して、前記グリッドセル(32a)内に1つ又は複数のソース反射位置(31)が位置する確率及び/又は頻度(32b)を求め、前記各グリッドセル(32a)に割り当てるステップ(120)と、
・少なくとも、確率及び/又は頻度(32b)によって占有された前記ソースアレイ(32)を含むソーステンソル(33)を形成するステップ(130)と、
・前記ソーステンソル(33)を、前記ターゲット反射位置(51)の前記位置座標に対してグリッドセル(52a)の少なくとも1つのターゲットアレイ(52)を含むターゲットテンソル(53)に変換するステップ(140)であって、前記ターゲットアレイ(52)は、各グリッドセル(52a)に対して、前記各グリッドセル(52a)内に、前記ターゲットコンフィギュレーション(4)による前記シーン(1)の観察時に得られるターゲット反射位置(51)が位置する確率及び/又は頻度(52b)を示す、ステップ(140)と、
・前記ターゲットアレイ(52)における前記確率及び/又は頻度(52b)に基づいて、ターゲット反射位置(51)の位置座標をサンプリングするステップ(150)であって、これによって前記ターゲットレーダデータ(5)が発生する、ステップ(150)と、
を含む方法(100)。
【請求項2】
前記ソースコンフィギュレーション(2)は、前記ターゲットコンフィギュレーション(4)と同一であり、前記ソーステンソル(33)を前記ターゲットテンソル(53)と同一のものとして引き継ぐ(141)、請求項1に記載の方法(100)。
【請求項3】
前記ソースコンフィギュレーション(2)は、前記ターゲットコンフィギュレーション(4)と異なり、前記ソーステンソル(33)を、トレーニング済みの機械学習モデル(6)によって、前記ターゲットテンソル(53)に変換する(142)、請求項1に記載の方法(100)。
【請求項4】
前記ソースコンフィギュレーション(2)と前記ターゲットコンフィギュレーション(4)とは、少なくとも、以下の点に関して異なる、即ち、
・2つのコンフィギュレーション(2,4)は、異なるレーダセンサを含む、及び/又は、
・前記レーダセンサは、2つのコンフィギュレーション(2,4)において、空間的に異なるように配置される、及び/又は、
・2つのコンフィギュレーション(2,4)において、前記レーダビームは、少なくとも1つのレーダセンサと観察される前記シーン(1)との間に配置される材料によって異なる態様で影響される、
請求項3に記載の方法(100)。
【請求項5】
前記機械学習モデル(6)は、エンコーダとデコーダとを備えるエンコーダ・デコーダ装置を含み、前記エンコーダは、前記ソーステンソル(33)を、次元が低減された表現に写し取り、前記デコーダは、前記表現を前記ターゲットテンソル(53)に写し取る、請求項3又は4に記載の方法(100)。
【請求項6】
前記機械学習モデルは、敵対的生成ネットワークGANのジェネレータを含む、請求項3乃至5のいずれか一項に記載の方法(100)。
【請求項7】
ソースレーダデータ(3)をニューラルネットワーク(7)によって処理するための方法(200)であって、前記ソースレーダデータ(3)は、レーダシステムのソースコンフィギュレーション(2)によるシーン(1)の観察によって得られたレーダデータであり、前記ソースレーダデータ(3)は、少なくとも、ソース反射位置(31)の位置座標を含み、前記ソース反射位置(31)から、反射されたレーダビームが前記レーダシステムに入射する、方法(200)において、
・グリッドセル(32a)の2次元以上の次元のソースアレイ(32)を前記ソース反射位置(31)の前記位置座標に対して提供するステップ(210)と、
・総てのソース反射位置(31)の前記位置座標から、各グリッドセル(32a)に対して、前記グリッドセル(32a)内に1つ又は複数のソース反射位置(31)が位置する確率及び/又は頻度(32b)を求め、前記各グリッドセル(32a)に割り当てるステップ(220)と、
・少なくとも、確率及び/又は頻度(32b)によって占有された前記ソースアレイ(32)を含むソーステンソル(33)を形成するステップ(230)と、
・前記ソーステンソル(33)を、前記ニューラルネットワーク(7)に供給するステップ(240)と、
を含む方法(200)。
【請求項8】
前記ソーステンソル(33)を、前記ニューラルネットワーク(7)によって、所定のクラス分けの1つ又は複数のクラスに写し取る(241)、請求項7に記載の方法(200)。
【請求項9】
前記ニューラルネットワーク(7)によって供給されたアウトプット(240a)から、車両(50)用の駆動制御信号(250a)を形成し(250)、前記車両(50)を前記駆動制御信号(250a)によって駆動制御する(260)、請求項7又は8に記載の方法(200)。
【請求項10】
前記ソーステンソル(33)及び場合により前記ターゲットテンソル(53)は、それぞれ割当てを含み、前記割当ては、前記ソースレーダデータ(3)又は前記ターゲットレーダデータ(5)から導出可能な少なくとも1つの他の付加的なパラメータ(8)の、前記ソースアレイ(32)又は前記ターゲットアレイ(52)の前記グリッドセル(32a,52a)への割当てである、請求項1乃至9のいずれか一項に記載の方法(100,200)。
【請求項11】
具体的なターゲット反射位置(51)のサンプリングに寄与した、前記ターゲットアレイ(52)の1つ又は複数のグリッドセル(52a)に対する前記付加的なパラメータ(8)の1つ又は複数の値から、前記付加的なパラメータ(8)の新たな値(8’)を形成し(151)、前記ターゲットレーダデータ(5)において前記ターゲット反射位置(51)に割り当てる(152)、請求項10に記載の方法(200)。
【請求項12】
前記付加的なパラメータ(8)は、
・前記ソースレーダシステムと前記ソース反射位置(31)との間若しくは前記ターゲットレーダシステムと前記ターゲット反射位置(51)との間の間隔、及び/又は、
・前記レーダビームが前記ソースレーダシステム若しくは前記ターゲットレーダシステムに入射する角度、及び/又は、
・前記レーダビームが反射された対象物の速度、及び/又は、
・前記レーダビームが反射された対象物の、所定のクラス分けの1つ又は複数のクラスへの属性、及び/又は、
・反射された前記レーダビームの信号強度
を含む、請求項10又は11に記載の方法(100,200)。
【請求項13】
前記ソース反射位置(31)を中心に所定の半径を有する円又は球に、1の占有確率を割り当て(121,221)、前記円の面積又は前記球の体積が分配される前記ソースアレイ(32)の総てのグリッドセル(32a)に、面積の比率又は体積の比率に応じて、前記占有確率を分配する(122,222)、請求項1乃至12のいずれか一項に記載の方法(100,200)。
【請求項14】
機械可読命令を含むコンピュータプログラムであって、
前記機械可読命令が1つ又は複数のコンピュータ上において実行されるときに、前記機械可読命令は、前記1つ又は複数のコンピュータに、請求項1乃至13のいずれか一項に記載の方法(100,200)を実施させる、コンピュータプログラム。
【請求項15】
請求項14に記載のコンピュータプログラムを備える機械可読データ担体
【請求項16】
請求項14に記載のコンピュータプログラム及び/又は請求項15に記載の機械可読データ担体装備されるコンピュータ。
【外国語明細書】