特開 2022-8239 測定モード間での測定データの変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022008239

(43)【公開日】2022-01-13

(54)【発明の名称】測定モード間での測定データの変換

(51)【国際特許分類】

   G01S 17/931 20200101AFI20220105BHJP

   G06T 19/00 20110101ALI20220105BHJP

   G06T 7/521 20170101ALI20220105BHJP

   G06T 7/00 20170101ALI20220105BHJP

   G01S 17/89 20200101ALI20220105BHJP

【ＦＩ】

G01S17/931

G06T19/00 A

G06T7/521

G06T7/00 350C

G06T7/00 650Z

G01S17/89

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021104516

(22)【出願日】2021-06-24

(31)【優先権主張番号】10 2020 207 887.4

(32)【優先日】2020-06-25

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(74)【代理人】

【識別番号】100201743

【弁理士】

【氏名又は名称】井上 和真

(72)【発明者】

【氏名】アンドレイ・ユンギンガー

【テーマコード（参考）】

5B050

5J084

5L096

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA01

5B050DA10

5B050EA07

5B050EA12

5B050EA18

5B050EA27

5B050EA28

5B050GA02

5B050GA08

5J084AA04

5J084AA14

5J084AC02

5J084AD05

5J084CA22

5J084CA65

5J084EA22

5L096AA09

5L096BA04

5L096GA19

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】測定モード間での測定データの変換を提供する。
【解決手段】少なくとも１つのソース測定モード（Ｑ）の測定データ（１）を少なくとも１つのターゲット測定モード（Ｚ）の現実的な測定データ（２）に変換するための方法（１００）であって、ソース測定モード（Ｑ）の測定データ（１）が、訓練されたエンコーダ－デコーダ構成（５）のエンコーダ（３）によって、潜在空間内の表現（６）にマッピングされるステップ（１１０）と、表現（６）が、エンコーダ－デコーダ構成（５）のデコーダ（４）によって、ターゲット測定モード（Ｚ）の現実的な測定データ（２）にマッピングされるステップ（１２０）とを含み、潜在空間内の測定データ（１）の表現（６）の情報量が、測定データ（１）の情報量よりも小さい、方法である。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つのソース測定モード（Ｑ）の測定データ（１）を少なくとも１つのターゲット測定モード（Ｚ）の現実的な測定データ（２）に変換するための方法（１００）であって、
訓練されたエンコーダ－デコーダ構成（５）のエンコーダ（３）が、前記ソース測定モード（Ｑ）の前記測定データ（１）を潜在空間内の表現（６）にマッピングするステップ（１１０）と、
前記エンコーダ－デコーダ構成（５）のデコーダ（４）が、前記表現（６）を、前記ターゲット測定モード（Ｚ）の前記現実的な測定データ（２）にマッピングするステップ（１２０）と
を含み、
前記潜在空間内における前記測定データ（１）の前記表現（６）の情報量が、前記測定データ（１）の情報量よりも小さい、方法（１００）。

【請求項2】

前記潜在空間の次元は、前記エンコーダ（３）が前記ソース測定モード（Ｑ）の前記測定データ（１）を取得する空間の次元よりも小さく、かつ、前記デコーダ（４）が前記ターゲット測定モード（Ｚ）の前記測定データ（２）をマッピングする空間の次元よりも小さい、請求項１に記載の方法（１００）。

【請求項3】

前記ソース測定モード（Ｑ）の前記測定データ（１）は、単数または複数の物体（１１～１３）を含むシーン（１０）の記述（１０ａ）を含み、
前記ターゲット測定モード（Ｚ）の前記測定データ（２）は、前記シーンの物理的な観測時に前記シーン内の前記物体（１１～１３）に実際のセンサがそれぞれ割り当てられた空間内の場所を含む、請求項１または２に記載の方法（１００）。

【請求項4】

前記ターゲット測定モード（Ｚ）の前記測定データ（２）は、前記シーンの物理的な観測時に実際のレーダセンサまたは実際のライダセンサがレーダ反射またはライダ反射を記録する空間内の場所を含む、請求項３に記載の方法（１００）。

【請求項5】

前記シーン（１０）の前記記述（１０ａ）は、それぞれ物体（１１～１３）によって占有されているとみなされる平面または空間における複数の幾何学的形状（１１ａ～１３ａ）の明確な記述を含む、請求項３または４に記載の方法（１００）。

【請求項6】

前記ソース測定モード（Ｑ）の前記測定データ（１）を入力画像（１ａ）または入力点群（１ｂ）に変換するステップ（１１１）と、
前記エンコーダ（３）が、前記入力画像（１ａ）または前記入力点群（１ｂ）を前記潜在空間内の前記表現（６）にマッピングするステップ（１１２）と、
前記デコーダ（４）が、前記表現（６）を出力画像（２ａ）または出力点群（２ｂ）にマッピングするステップ（１２１）と、
前記出力画像（２ａ）または前記出力点群（２ｂ）を前記ターゲット測定モード（Ｚ）の前記測定データ（２）に変換するステップ（１２２）と
を含む、請求項１から５のいずれか一項に記載の方法（１００）。

【請求項7】

前記シーン（１０）を２次元または３次元のグリッドで離散化し（１１１ａ）、各グリッド点について、前記記述（１０ａ）で定められた幾何学的形状の１つに当該グリッド点が属しているかどうかを検査する（１１１ｂ）ことによって、前記シーン（１０）の前記記述（１０ａ）が入力画像（１ａ）に変換される（１１１）、請求項５または６に記載の方法（１００）。

【請求項8】

分布から点の座標を導出し（１１１ｃ）、前記幾何学的形状の１つに属する各点を入力点群（１ｂ）に追加する（１１１ｄ）ことによって、前記シーン（１０）の前記記述（１０ａ）が入力点群（１ｂ）に変換される、請求項５または６に記載の方法（１００）。

【請求項9】

入力画像（１ａ）の前記グリッド点、または入力点群（１ｂ）の前記点に対して、前記シーン（１０）の前記記述（１０ａ）からの前記物体（１１～１３）の材料、クラス、および／または移動状態に関する情報が割り当てられる（１１１ｅ）、請求項７または８に記載の方法（１００）。

【請求項10】

複数のソース測定モード（Ｑ）の測定データ（１）は、それぞれのエンコーダ（３）によって前記潜在空間内の表現（６）にマッピングされ（１１３）、前記表現（６）は、同一のデコーダ（４）によって前記ターゲット測定モード（Ｚ）の測定データ（２）にマッピングされる（１２３）、請求項１から９のいずれか一項に記載の方法（１００）。

【請求項11】

前記潜在空間内の少なくとも１つの表現（６）は、少なくとも２つの異なるデコーダ（４）によって少なくとも２つのターゲット測定モード（Ｚ）の測定データ（２）にマッピングされる（１２４）、請求項１から１０のいずれか一項に記載の方法（１００）。

【請求項12】

運転支援システムまたは車両の少なくとも部分自動運転のためのシステム用の制御ロジック（２０）を検査するための方法（２００）であって、
ソース測定モード（Ｑ）の測定データ（１）として物体（１１～１３）の所定の配置を含むシーン（１０）の記述（１０ａ）を用意するステップ（２１０）と、
前記ソース測定モード（Ｑ）の前記測定データ（１）を、請求項３から１１のいずれか一項に記載の方法（１００）を用いてターゲット測定モード（Ｚ）の測定データ（２）に変換するステップ（２２０）と、
前記ターゲット測定モード（Ｚ）の前記測定データ（２）を、検査対象の制御ロジック（２０）への入力として供給するステップ（２３０）と、
前記入力に基づいて前記制御ロジック（２０）によって提示された反応（２０ａ）を、前記シーン（１０）に関する所定の目標反応（２０ａ*）と比較するステップ（２４０）と、
前記比較（２４０）の結果（２４０ａ）から、前記制御ロジック（２０）が前記シーン（１０）に対処できる程度（２５０ａ）を評価するステップ（２５０）と
を含む方法（２００）。

【請求項13】

請求項１から１２のいずれか一項に記載の方法（１００、２００）で使用するためのエンコーダ－デコーダ構成（５）を訓練するための方法（３００）であって、
少なくとも１つのソース測定モード（Ｑ）の学習ソース測定データ（１*）を用意するステップであって、前記学習ソース測定データ（１*）が所定の物理的シーン（１０）を表す、ステップ（３１０）と、
少なくとも１つのターゲット測定モード（Ｚ）の学習ターゲット測定データ（２*）を同じ物理的シーン（１０）について用意するステップ（３２０）と、
前記エンコーダ－デコーダ構成（５）が前記学習ソース測定データ（１*）を最初に前記潜在空間内の表現（６）にマッピングし、さらに前記ターゲット測定モード（Ｚ）の前記測定データ（２）にマッピングするステップ（３３０）と、
所定のコスト関数（７）に基づいて、前記ターゲット測定モード（Ｚ）の前記測定データ（２）が前記学習ターゲット測定データ（２*）とどれだけよく一致するかを評価するステップ（３４０）と、
前記エンコーダ－デコーダ構成（５）による学習ソース測定データ（１*）のさらなる処理時に、後で生じる前記ターゲット測定モード（Ｚ）の前記測定データ（２）の評価（３４０ａ）が向上することを期待する目的で、前記エンコーダ（３）の挙動を特徴付けるパラメータ（３ａ）および／または前記デコーダ（４）の挙動を特徴付けるパラメータ（４ａ）を最適化するステップ（３５０）と
を含む方法（３００）。

【請求項14】

前記学習ターゲット測定データ（２*）を学習ターゲット画像（２**）または学習ターゲット点群（２***）に変換するステップ（３４１）と、前記デコーダ（４）によって生成された出力画像（２ａ）または前記デコーダ（４）によって生成された点群（２ｂ）と前記学習ターゲット画像（２**）または前記学習ターゲット点群（２***）との一致度を、前記ターゲット測定モードの測定データと前記学習ターゲット測定データとの一致として評価するステップ（３４２）とを含む、請求項１３に記載の方法（３００）。

【請求項15】

単数または複数のコンピュータで実行されると、前記コンピュータに請求項１から１４のいずれか一項に記載の方法（１００、２００）を実行させる機械可読命令を含むコンピュータプログラム。

【請求項16】

請求項１５に記載のコンピュータプログラムを含む機械可読データ記録媒体および／またはダウンロード製品。

【請求項17】

請求項１５に記載のコンピュータプログラム、および／または請求項１６に記載の機械可読データ記録媒体および／またはダウンロード製品を含むコンピュータ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ソース測定モードの測定データからターゲット測定モードの測定データへの変換に関し、それにより、例えば運転支援システムまたは車両の少なくとも部分自動運転のためのシステム用の制御ロジックを検査することができるというものである。

【背景技術】

【0002】

運転支援システムおよび車両の少なくとも部分自動運転のためのシステムは、センサによる車両周辺の観測に基づいて運転操縦についての決定を下す。観測結果は、例えば、カメラ画像、ビデオ画像、熱画像、超音波画像、レーダデータ、およびライダ（ＬＩＤＡＲ）データの形で記録される。これらの生の信号は、様々な抽象化レベルでさらに処理され、部分的に調整される。

【0003】

例えば、生の信号は、最初に「位置」、すなわち対応するセンサに基づいて物体が認識された場所の形で処理することができる。複数のセンサの測定データから生成された「位置」を融合することができ、それにより、最終的に、車両の周辺状況の全体像を、そこに存在するすべての物体のリストの形で作成することができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

この処理チェーンの個々の構成部分を個別にテストおよび最適化することができるように、それぞれの中間段階の現実的な信号が必要とされる。したがって、所定のテストシーンからこれらの現実的な信号を生成できることが望ましい。

【課題を解決するための手段】

【0005】

本発明の枠組みにおいて、少なくとも１つのソース測定モードの測定データを、少なくとも１つのターゲット測定モードの現実的な測定データに変換するための方法が開発された。

【0006】

ここで、「測定モード」という概念は、測定データを取得できる物理的なコントラストメカニズムに限定されない。例えば、特定のコントラストメカニズムを表す測定データの様々な処理段階または抽象化段階も、様々な測定モードとみなすことができる。

【0007】

また、「測定データ」という概念も、物理的なデータの記録が実際に行われることには関係しない。物理的な測定プロセスのシミュレーションによって得られたデータ、およびそのような測定プロセスで観測することができる現実的なシーンの詳述も、測定データとみなすことができる。

【0008】

ソース測定モードの測定データは、訓練されたエンコーダ－デコーダ構成のエンコーダによって潜在空間内の表現にマッピングされる。表現は、エンコーダ－デコーダ構成のデコーダによって、ターゲット測定モードの現実的な測定データにマッピングされる。

【0009】

ここで、潜在空間内の測定データの表現の情報量は、上記測定データの情報量よりも小さい。したがって、測定データは、より少ない情報量に圧縮される。情報量の概念は、シャノンの情報理論の意味合いで、測定データまたはその表現を伝送するために必要な最小ビット数などのパラメータとして理解することができる。

【0010】

例えば、潜在空間の次元を、
・エンコーダがソース測定モードの測定データを取得する空間の次元よりも小さくし、かつ
・デコーダがターゲット測定モードの測定データをマッピングする空間の次元よりも小さくする
ことによって、測定データをより少ない情報量に圧縮することができる。

【0011】

潜在空間は、例えば、エンコーダがソース測定モードの測定データを取得する空間と形式的に同じ大きさの次元またはそれよりも大きい次元を有することができるが、それにもかかわらず、潜在空間内の表現は、ソース測定モードの測定データよりも小さい次元を有することがある。例えば、潜在空間内の表現を特徴付けるパラメータの多くは、二次条件、境界条件、および／または最適化基準によって相互に関連付けるといった形式で制限することができる。

【0012】

潜在空間内の表現の情報量が測定データに比べて小さいと、エンコーダに元々供給されていたデータをデコーダが再構成する既知の自動エンコーダと同様に、情報がエンコーダからデコーダまで進む途中で通過しなければならない「ボトルネック」が形成される。ここではデコーダは元のデータをもはや再構築せず、ターゲット測定モードの測定データを提供することにより、エンコーダ－デコーダ構成の訓練時に、意外にも、エンコーダとデコーダとの間で有利な分業が発生する。すなわち、エンコーダは、当該表現内のソース測定モードの測定データを、これらの測定データが関連するシーンに関する重要な情報コンテンツに圧縮し、ソース測定モードに関する、すなわちこのシーンが測定データ内で見られる「フィルタ（Ｂｒｉｌｌｅ）」に関する仕様は排除される。デコーダは、圧縮表現に、ターゲット測定モードに関する仕様を追加する。したがって、デコーダによって提供されるターゲット測定モードの現実的な測定データは、圧縮表現によって特徴付けられてソース測定モードの仕様を解除されたシーンが、ターゲット測定モードの「フィルタ」を通してどのように見えるかを示す。

【0013】

そのようにして得られたターゲット測定モードの測定データは、様々な形式で使用することができる。例えば、画像分類機能などのニューラルネットワークの訓練にターゲット測定モードのラベル付き測定データが必要とされる場合、これらは、ソース測定モードのラベル付き測定データから、ラベルを保持しながら生成できる。ここで、ターゲット測定モードの測定データに直接ラベル付けする必要はない。特に、例えばソース測定モードの同一の量のラベル付き測定データから、複数の異なるターゲット測定モードの測定データを得ることができる。

【0014】

例えば、交通状況の画像に、どの位置にどのタイプの物体があるかについて手動でラベル付けすることができる。次いで、これらの画像を例えばレーダデータまたはライダデータに変換することができ、これらもすぐに適切にラベル付けされる。手動ラベル付けの作業は何度も行う必要はない。また、画像のラベル付けは、レーダデータまたはライダデータのラベル付けよりもはるかに高速に、より少ない専門知識で実施することができる。

【0015】

しかしまた、ターゲット測定モードの測定データは、例えば、運転支援システムまたは車両の完全自動運転または部分自動運転のためのシステムで、上述した処理チェーンの特定の部品または構成要素をターゲットとして検査するためにも使用することができる。したがって、特に有利な実施形態では、ソース測定モードの測定データは、単数または複数の物体を含むシーンの記述を含む。ターゲット測定モードの測定データは、シーンの物理的な観測時に実際のセンサがシーン内の物体にそれぞれ割り当てられた空間内の場所を含む。これらの場所は、冒頭で述べた「位置」に対応する。特定の物体を含むシーンの現実的な記述を作成するのは比較的容易である。一方、そのような記述に基づいて「位置」を予測することは、それほど直感的でない。しかし、シーンの記述と「位置」との関係は、機械学習に利用できる。

【0016】

ターゲット測定モードの測定データは、特に、例えば、シーンの物理的な観測時に実際のレーダセンサまたは実際のライダセンサがレーダ反射またはライダ反射を記録する空間内の場所を含むことができる。これは、これらのセンサがシーンに関する情報を出力する主要な形式である。

【0017】

シーンの記述は、特に、例えば、それぞれ物体によって占有されているとみなされる平面または空間における複数の幾何学的形状の明確な記述を含むことができる。これらの幾何学的形状は、特に例えば長方形または直方体、いわゆる「有界ボックス（バウンディングボックス）」でよい。そのような「有界ボックス」への場所の帰属は、計算上、特に迅速かつ容易に検査することができる。

【0018】

特に有利な形態では、ソース測定モードの測定データは、入力画像または入力点群に変換される。入力画像または入力点群は、エンコーダによって潜在空間内の表現にマッピングされる。当該表現は、デコーダによって出力画像または出力点群にマッピングされる。出力画像または出力点群は、最終的にターゲット測定モードの測定データに変換される。

【0019】

これは、エンコーダ－デコーダ構成が画像または点群に基づいて機能することを意味する。特に、画像または点群に基づいて機能する既存の構成を引き続き使用することができ、または変形することができる。

【0020】

さらに、このようにして、出力画像または出力点群をターゲット測定モードの測定データに変換することにより、例えば、ターゲット測定モードのこれらの測定データを提示する最終的に決定される場所（「位置」）の数を設定可能である。この数は、ダウンストリームのアルゴリズムによってターゲット測定モードの測定データが現実的であると認識される程度について決定する重要な基準である。デコーダが出力画像を提供するとき、例えばこの出力画像から可変数の点をサンプリングすることもできる。また、出力点群は、最大数の点から開始して、これらの点から特定数の点をランダムに差し引くことによって、後から間引くこともできる。

【0021】

「有界ボックス」などの幾何学的形状に基づくシーンの記述は、例えば、２次元または３次元グリッドでシーンが離散化され、各グリッド点について、当該記述に定められた幾何学的形状にそのグリッド点が属するかどうかが検査されることによって、入力画像に変換することができる。

【0022】

ここで、グリッドにおいては、例えば各グリッド点に関して、数値０で、このグリッド点が空であることを表すことができ、数値１で、このグリッド点が占有されていることを表すことができる。特定のクラスへの物体の帰属を数値で符号化することもできる。さらに、物体の材料および／または移動状態など追加情報に関するさらなる数値をグリッド点に割り当てることができる。

【0023】

「有界ボックス」などの幾何学的形状に基づくシーンの記述は、例えば、分布から点の座標が導出され、幾何学的形状の１つに属する各点が入力点群に追加されることによって、入力点群に変換することができる。当該点は、例えば幾何学的形状の縁および／または表面にあってよく、および／またはこれらの幾何学的形状を完全に埋めることができる。上記のグリッド点と同様に、物体のクラス、材料（例えば表面材料）、および／または移動状態に関する数値的な追加情報を、数値としてこれらの点に追加して符号化することができる。例えば、これらの追加情報は、点の追加の座標に符号化することができ、したがって、これらの点は４以上の空間次元を有する空間内にある。

【0024】

さらに特に有利な形態では、いくつかのソース測定モードの測定データは、それぞれのエンコーダによって潜在空間内の表現にマッピングされる。これらの表現は、同一のデコーダによってターゲット測定モードの測定データにマッピングされる。したがって、デコーダは、様々なソース測定モードの測定データを処理できるようにするために、一度だけ訓練すればよい。

【0025】

同様に、さらに特に有利な形態では、潜在空間内の少なくとも１つの表現が、少なくとも２つの異なるデコーダによって少なくとも２つのターゲット測定モードの測定データにマッピングされる。すなわち、例えば、新たなセンサが同じシーンに関して提供する現実的な測定データが生成されるとき、エンコーダをそのままに保つことができ、新たなセンサに特有の新たなデコーダのみを訓練することができる。

【0026】

上で説明したように、上述した方法の重要な用途は、走行動的システムを検査するためにターゲット測定モードの現実的な測定データを生成することである。したがって、本発明はまた、運転支援システムまたは車両の少なくとも部分自動運転のためのシステムに関する制御ロジックを検査するための方法に関する。

【0027】

この方法の枠組みでは、物体の所定の配置を含むシーンの記述が、ソース測定モードの測定データとして提供される。ソース測定モードのこれらの測定データは、上述した方法を使用して、ターゲット測定モードの測定データに変換される。

【0028】

このようにして得られたターゲット測定モードの測定データは、検査対象の制御ロジックへの入力として供給される。この入力に基づいて制御ロジックによって提示された反応が、シーンに関する所定の目標反応と比較される。この比較の結果から、シーンに制御ロジックが対処することができる程度が評価される。

【0029】

例えば、車両の少なくとも部分自動運転では、制御ロジックが習得する必要がある多くの抽象的な状況があり、詳細にまたは現実にそれらの状況がどのように見えるかは重要ではない。例えば、制御ロジックによって制御される車両が別の車両との衝突コース上にある場合、重要なのは緊急制動および／または衝突回避操作が開始されることだけである。一方、他車両の正確な乗用車型式、この車両の色もしくは表面素材、または現在の天気は全く重要でない。したがって、制御ロジックは、カメラ画像などの生の信号によって機能するのではなく、センサに基づいて他車両に属する場所（「位置」）によって機能する。

【0030】

ここで述べる検査手順の利点は、制御ロジックを別個に検査することができることにある。車両のセンサが自然にシーンを捕捉する走行動作中のテストでは、最終的に提示される反応は、センサによるシーンの捕捉および処理と、制御ロジックによるさらなる処理との両方に依存する。提示された反応が目標反応に相当しないとき、制御ロジックでの最適でない処理に加えて、センサによって捕捉された生の信号の低い品質、およびセンサでの最適でない処理もエラー原因として考慮される。

【0031】

シーンの記述が、センサの物理的または現象論的モデルによって制御ロジックのための入力に変換される場合、物理的なデータ取得に関する不確実性が排除される。さらに、シーンが自然発生する必要がないため、はるかに大きなクラスのシーンを調べることができる。これに関し、センサの物理的または現象論的モデルで生成された入力が実際に現実的であることは、モデリングの精度に依存するので、保証することは難しい。一方、上述した方法によって、ターゲット測定モードの測定データが制御ロジックのための入力として生成される場合、エンコーダ－デコーダ構成の事前の訓練によって、この入力が現実的であることが保証される。唯一未知なのは、制御ロジックの挙動のみである。

【0032】

本発明はまた、上述した方法のうちの１つで使用するためのエンコーダ－デコーダ構成を訓練するための方法に関する。

【0033】

この方法では、少なくとも１つのソース測定モードの学習ソース測定データが用意され、これらの学習ソース測定データは、所定の物理的シーンを表す。さらに、同じ物理的シーンについての少なくとも１つのターゲット測定モードの学習ターゲット測定データが用意される。

【0034】

学習ソース測定データは、最初にエンコーダ－デコーダ構成によって潜在空間内の表現にマッピングされ、そこからターゲット測定モードの測定データにマッピングされる。所定のコスト関数に基づいて、ターゲット測定モードの測定データが学習ターゲット測定データとどれだけよく一致するかが評価される。

【0035】

エンコーダの挙動を特徴付けるパラメータおよび／またはデコーダの挙動を特徴付けるパラメータは、エンコーダ－デコーダ構成による学習ソース測定データのさらなる処理時に、後で生じるターゲット測定モードの測定データの評価が向上することを期待する目的で、最適化される。

【0036】

上で説明したように、このタイプの訓練では、エンコーダは、シーンを理解するために必要な重要な情報を圧縮形式で表現に引き継ぎ、その際に測定データからソース測定モードの仕様を解除することを学習する。一方、デコーダは、潜在空間内の全般的な表現にターゲット測定モードの仕様を追加することを学習し、それによりデコーダによって提供される測定データは、このターゲット測定モードで捕捉または処理されたかのように見える。この望ましい挙動がどれほど強く特徴付けられるかは、例えば、潜在空間の次元と、エンコーダが第１の測定モードの測定データを取得する空間の次元、およびデコーダがマッピングする空間の次元とがどのような関係にあるかに依存することがある。したがって、例えば、潜在空間の次元および／または潜在空間内の表現の情報量を定める別のパラメータは、訓練中にも最適化されるハイパーパラメータとして使用することができる。

【0037】

特に有利な実施形態では、学習ターゲット測定データは、学習ターゲット画像または学習ターゲット点群に変換される。デコーダによって生成された出力画像またはデコーダによって生成された出力点群と学習ターゲット画像または学習ターゲット点群との一致度は、ターゲット測定モードの測定データと学習ターゲット測定データとの一致度として評価される。ここで、エンコーダ－デコーダ構成の訓練に使用されるコスト関数は、ターゲット測定モードの測定データの空間への変換の影響を考慮せずに、デコーダによって生成された画像またはデコーダによって生成された点群を直接評価することができる。

【0038】

特に、この形態では、学習ソース測定データを学習ソース画像または学習ソース点群にさらに変換することができ、エンコーダ－デコーダ構成は、この学習ソース画像またはこの学習ソース点群を、画像または点群に変換することができる。ここで、例えば、画像または点群のための既存のエンコーダ－デコーダ構成を、変更せずに引き続き使用することができる。

【0039】

学習ソース測定データおよび学習ターゲット測定データは、特に、例えば少なくとも１つのセンサを搭載した車両によるテスト走行の枠組みで導入することができる。このために、例えばセンサによって提供される測定データに加えて、さらに車両のＧＰＳ位置および移動状態も記録して、「有界ボックス」のサイズおよび位置を決定することができる。

【0040】

上記方法は、特に完全にまたは部分的にコンピュータ実装することができる。したがって、本発明はまた、単数または複数のコンピュータで実行されるときに、コンピュータに上述した方法の１つを実施させる機械可読命令を備えたコンピュータプログラムに関する。この意味合いで、機械可読命令も実行することができる車両用の制御装置および技術装置用の組み込みシステムもコンピュータとみなすことができる。

【0041】

本発明はまた、機械可読データ記録媒体、および／またはコンピュータプログラムを備えたダウンロード製品に関する。ダウンロード製品は、データネットワークを介して伝送可能な、すなわちデータネットワークのユーザがダウンロード可能なデジタル製品であり、例えばオンラインショップですぐにダウンロードできるように提供することができる。

【0042】

さらに、コンピュータには、コンピュータプログラム、機械可読データ記録媒体、またはダウンロード製品を搭載することができる。

【0043】

図面に基づく本発明の好ましい例示的実施形態の説明と共に、本発明を改良するさらなる手段を以下により詳細に示す。

【図面の簡単な説明】

【0044】

【図1】ソース測定モードＱの測定データ１をターゲット測定モードＺの現実的な測定データに変換するための方法１００の例示的実施形態を示す図である。

【図2】入力画像１ａおよび出力画像２ａに関する方法１００の例示的な手順を示す図である。

【図3】入力点群１ｂおよび出力点群２ｂに関する方法１００の例示的な手順を示す図である。

【図4】制御ロジック２０を検査するための方法２００の例示的実施形態を示す図である。

【図5】エンコーダ－デコーダ構成５を訓練するための方法３００の例示的実施形態を示す図である。

【発明を実施するための形態】

【0045】

図１は、ソース測定モードＱの測定データ１をターゲット測定モードＺの現実的な測定データに変換するための方法１００の例示的実施形態の概略流れ図である。

【0046】

測定データ１は、ソース測定モードＱの仕様に従う。ステップ１１０で、これらの測定データ１は、訓練されたエンコーダ－デコーダ構成５のエンコーダ３によって潜在空間内の表現６にマッピングされる。これらの表現６は、元の測定データ１に関して圧縮され、同時に、ソース測定モードＱの仕様を解除される。

【0047】

ステップ１２０において、表現６は、エンコーダ－デコーダ構成５のデコーダ４によって、ターゲット測定モードＺの現実的な測定データ２にマッピングされる。したがって、測定データ２は、いわば表現６から「復元」され、ターゲット測定モードＺの仕様が追加される。

【0048】

ブロック１１１に従って、ソース測定モードＱの測定データ１を、入力画像１ａまたは入力点群１ｂに変換することができる。ブロック１１２に従って、入力画像１ａまたは入力点群１ｂを、エンコーダ３によって潜在空間内の表現６にマッピングすることができる。

【0049】

ブロック１２１に従って、この表現６を、デコーダ４によって出力画像２ａまたは出力点群２ｂにマッピングすることができる。ここで、例えば、表現６がエンコーダ３によって入力画像１ａから生成され、デコーダ４によって出力点群２ｂにマッピングされることも可能である。エンコーダ３は、デコーダ４に適したフォーマットでのみ表現６を提供しなければならない。次いで、ブロック１２２に従って、出力画像２ａまたは出力点群２ｂを、ターゲット測定モードＺの測定データ２に変換することができる。

【0050】

特に、例えば、ブロック１１１ａに従って２次元または３次元のグリッドでシーン１０が離散化され、ブロック１１１ｂに従って、各グリッド点について、物体１１～１３によって占有されているとみなされる記述１０ａで定められた幾何学的形状にそのグリッド点が属するかどうかが検査されることによって、シーン１０の記述１０ａを入力画像１ａに変換することができる。

【0051】

例えば、ブロック１１１ｃに従って分布から点の座標が導出され、ブロック１１１ｄに従って幾何学的形状の１つに属する各点が入力点群１ｂに追加されることによって、シーン１０の記述１０ａを入力点群１ｂに変換することができる。

【0052】

ブロック１１１ｅに従って、入力画像１ａのグリッド点、または入力点群１ｂの点には、シーン１０の記述１０ａからの物体１１～１３の材料、クラス、および／または移動状態に関連する追加情報を割り当てることができる。

【0053】

ブロック１１３に従って、複数のソース測定モードＱの測定データ１を、それぞれのエンコーダ３によって潜在空間内の表現６にマッピングすることができる。ブロック１２３に従って、これらの表現６を、同一のデコーダ４によって、ターゲット測定モードＺの測定データ２にマッピングすることができる。

【0054】

ブロック１２４に従って、潜在空間内の少なくとも１つの表現６を、少なくとも２つの異なるデコーダ４によって、少なくとも２つのターゲット測定モードＺの測定データ２にマッピングすることができる。

【0055】

図２は、方法１００の第１の例示的な手順を示す。ソース測定モードＱの測定データ１は、３つの物体１１～１３を含むシーン１０の記述１０ａを含む。物体１１～１３は、この記述では、例えば物体の４つのコーナー点の形で示すことができる有界ボックスによって表される。

【0056】

ブロック１１１に従って、これらの測定データ１は、例えば有界ボックスを塗り潰して示された入力画像１ａに変換される。ブロック１２１および１２２によるエンコーダ－デコーダ構成５による処理は、ターゲット測定モードＺの測定データ２がすでに画像形式で符号化されている出力画像２ａをもたらす。ブロック１２２に従って、ターゲット測定モードＺのこれらの測定データ２が出力画像２ａから抽出される。図２に示される例では、これらの測定データ２は、所定のセンサが物体１１～１３を認識する場所を含む。これらは、例えばレーダ反射またはライダ反射の場所でよい。

【0057】

破線の矢印によって示されるように、図５でより詳細に説明されるエンコーダ－デコーダ構成５の訓練時には、図５に示される方法３００のブロック３４１に従って、学習測定データ２*が学習ターゲット画像２**に変換され、出力画像２ａを学習ターゲット画像２**と直接比較することができる。

【0058】

図３は、方法１００の第２の例示的な手順を示す。図２と同様に、ソース測定モードＱの測定データ１は、有界ボックスの形態での３つの物体１１～１３を含むシーン１０の記述１０ａを含む。しかし、図２とは対照的に、ブロック１１１に従って、これらの測定データ１は入力点群１１ｂに変換される。それに対応して、ブロック１１２および１２１に従ったエンコーダ－デコーダ構成５による処理は、出力点群２ｂを提供する。ブロック１２２に従って、この出力点群２ｂは、ターゲット測定モードＺの所望の測定データ２に変換される。図３に示される例では、この変換は、出力点群２ｂの点から、ターゲット測定モードＺに対応して測定データ２が依然として現実的に見えるのに十分に多くの点を選択することを含む。

【0059】

破線の矢印によって示されるように、図５でより詳細に説明するエンコーダ－デコーダ構成５の訓練時、図５に示される方法３００のブロック３４１に従って、学習測定データ２*が学習ターゲット点群２**に変換され、出力画像２ａを学習ターゲット点群２**と直接比較することができる。

【0060】

図４は、運転支援システムまたは車両の少なくとも部分自動運転用のシステムのための制御ロジックを検査するための方法２００の例示的な実施形態の概略流れ図である。

【0061】

ステップ２１０で、図２および３に例として示したように、物体１１～１３の所定の配置を含むシーン１０の記述１０ａが、ソース測定モードＱの測定データ１として用意される。ステップ２２０で、ソース測定モードＱのこれらの測定データ１は、上述した方法１００を使用して、ターゲット測定モードＺの測定データ２に変換される。ステップ２３０で、ターゲット測定モードＺのこれらの測定データ２は、検査対象の制御ロジック２０に入力として供給される。ステップ２４０で、この入力に基づいて制御ロジック２０によって提示された反応２０ａが、シーン１０に関する所定の目標反応２０ａ*と比較される。ステップ２５０で、この比較２４０の結果２４０ａから、実際の交通状況などのシーン１０に制御ロジック２０が対処することができる程度２５０ａが評価される。

【0062】

図５は、上述した方法１００、２００のうちの１つで使用するためのエンコーダ－デコーダ構成５を訓練するための方法３００の例示的実施形態の概略流れ図である。

【0063】

ステップ３１０で、少なくとも１つのソース測定モードＱの学習ソース測定データ１*が用意される。これらの学習ソース測定データ１*は、所定の物理的シーン１０を表す。並行して、ステップ３２０で、同じ物理的シーン１０についての少なくとも１つのターゲット測定モードＺの学習ターゲット測定データ２*が用意される。

【0064】

ステップ３３０で、学習ソース測定データ１*は、最初にエンコーダ－デコーダ構成５によって潜在空間内の表現６にマッピングされ、さらにターゲット測定モードＺの測定データ２にマッピングされる。

【0065】

ステップ３４０で、所定のコスト関数７に基づいて、ターゲット測定モードＺの測定データ２が学習ターゲット測定データ２*とどれだけよく一致するかに関して評価３４０ａが決定される。

【0066】

このために、特に例えばブロック３４１に従って、学習ターゲット測定データ２*を学習ターゲット画像２**または学習ターゲット点群２***に変換することができる。次いで、ブロック３４２に従って、デコーダ４によって生成された出力画像２ａまたはデコーダ４によって生成された点群２ｂと、学習ターゲット画像２**または学習ターゲット点群２***との一致度を、ターゲット測定モードの測定データと学習ターゲット測定データとの一致度として評価することができる。

【0067】

ステップ３５０で、エンコーダ３の挙動を特徴付けるパラメータ３ａおよび／またはデコーダ４の挙動を特徴付けるパラメータ４ａが最適化される。この最適化の目的は、エンコーダ－デコーダ構成５による学習ソース測定データ１*のさらなる処理時に、後で生じるターゲット測定モードＺの測定データ２の評価３４０ａが向上することを期待するようにすることである。

【0068】

任意の終了基準が満たされると、訓練を終了することができる。ここで達成されたパラメータ３ａ、４ａの状態３ａ*、４ａ*は、完全に訓練された状態である。

【符号の説明】

【0069】

３ エンコーダ
４ デコーダ
５ エンコーダ－デコーダ構成
７ コスト関数
１０ シーン
１１～１３ 物体
Ｑ ソース測定モード
Ｚ ターゲット測定モード

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】