特表 2024-525553 データに基づくモデルコピーをセンサで生成するためのコンピュータ実装方法、コンピュータプログラム、および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-12

(54)【発明の名称】データに基づくモデルコピーをセンサで生成するためのコンピュータ実装方法、コンピュータプログラム、および装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240705BHJP

   G05B 23/02 20060101ALI20240705BHJP

【ＦＩ】

G06N20/00 130

G05B23/02 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024500192

(86)(22)【出願日】2022-06-14

(85)【翻訳文提出日】2024-02-20

(86)【国際出願番号】 EP2022066158

(87)【国際公開番号】W WO2023280531

(87)【国際公開日】2023-01-12

(31)【優先権主張番号】102021207094.9

(32)【優先日】2021-07-06

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】ルンゲ，アルミン

(72)【発明者】

【氏名】ヴァイス，クリスティアン

(72)【発明者】

【氏名】ハコビアン，ゴル

(72)【発明者】

【氏名】ライディッヒ，シュテファン

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223BA03

3C223CC02

3C223DD03

3C223EA01

3C223EA04

3C223EB07

3C223FF02

3C223FF12

3C223FF22

3C223FF24

3C223FF26

3C223GG01

(57)【要約】

データに基づくモデルコピーを第１のセンサで生成するための装置、コンピュータプログラム、コンピュータ実装方法において、上記方法が、第１のセンサからの所定の生データ（２０４）を、第２のセンサの生データを表すデータ（２０６）に変換するステップ（２０２）と、所定の生データと、第１のセンサからの生データに基づいて結果を予測するように設計されている第１のモデルとを用いて、第１の結果（２１０）を決定するステップ（２０８）と、第２のセンサの生データを表すデータ（２０６）と、第２のセンサからの生データに基づいて結果を予測するように設計されている所定の第２のモデルとを用いて、第２の結果（２１４）を決定するステップ（２１２）と、第１の結果（２１０）が第２の結果（２１４）と異なるか否かを判定するステップ（２１６）とを含み、方法が、第１の結果が第２の結果と異なる場合、所定の生データ（２０４）および第２の結果（２１４）を含むトレーニングデータポイントを決定するステップ（２１８）と、トレーニングデータポイントを含むトレーニングデータを用いて第１のモデルをトレーニングするステップ（２２０）とを含む、装置、コンピュータプログラム、コンピュータ実装方法。

【特許請求の範囲】

【請求項1】

データに基づくモデルコピーを第１のセンサ（１０６）で生成するためのコンピュータ実装方法において、
第１のセンサ（１０６）からの所定の生データ（２０４）を、第２のセンサの生データを表すデータ（２０６）に変換するステップ（２０２）と、
前記所定の生データと、前記第１のセンサ（１０６）からの生データに基づいて結果を予測するように設計されている第１のモデル（１０８）とを用いて、第１の結果（２１０）を決定するステップ（２０８）と、
前記第２のセンサの前記生データを表す前記データ（２０６）と、前記第２のセンサからの生データに基づいて結果を予測するように設計されている所定の第２のモデル（１１０）とを用いて、第２の結果（２１４）を決定するステップ（２１２）と、
前記第１の結果（２１０）が前記第２の結果（２１４）と異なるか否かを判定するステップ（２１６）とを含み、前記第１の結果が前記第２の結果と異なる場合、
前記所定の生データ（２０４）および前記第２の結果（２１４）を含むトレーニングデータポイントを決定するステップ（２１８）と、
前記トレーニングデータポイントを含むトレーニングデータを用いて前記第１のモデル（１０８）をトレーニングするステップ（２２０）と、
を含むことを特徴とする方法。

【請求項2】

前記生データ（２０４）が、特に少なくとも１つの時間領域信号、特にレーダ、ＬｉＤＡＲ、超音波、赤外線、もしくは音響センサの少なくとも１つのスペクトル、もしくは少なくとも１つの位置、またはそのフィルタリングされたデータもしくはその変換を表すことを特徴とする請求項１に記載の方法。

【請求項3】

前記第１の結果（２１０）および／もしくは前記第２の結果（２１４）が、物体タイプ、もしくは物体の寸法に関する推定値を特徴付けること、または前記第１の結果（２１０）および／もしくは前記第２の結果（２１４）が、ブラインドセンサ、クラスタリング、もしくは物体が認識されたか否かを示すことを特徴とする請求項１または２に記載の方法。

【請求項4】

前記第１のモデル（１０８）の前記トレーニング（２２０）が複数回の反復で行われ、第１のモデル（１０８）を定義するパラメータ（２２２）の値が、第１の反復の前にランダム値で初期化されることを特徴とする請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記トレーニング（２２０）が複数回の反復で行われ、前記第１のモデル（１０８）を定義するパラメータ（２２２）の値が、前記第１のセンサ（１０６）で測定された生データを用いたトレーニングによって、第１の反復の前に決定される、または決定されていることを特徴とする請求項１～３のいずれか一項に記載の方法。

【請求項6】

前記トレーニング（２２０）が、トレーニングステップを実行することなく複数回の反復で多数のトレーニングデータポイントが決定され、次いで、特に前記第１のセンサ（１０６）または前記第１のセンサ（１０６）の外部のコンピューティングデバイス（１１４）でトレーニングステップが実行され、前記トレーニングステップにおいて、前記第１のモデル（１０８）を定義するパラメータ（２２２）が、前記多数のトレーニングデータポイントからの一部のトレーニングデータポイントを用いて、または前記多数のトレーニングデータポイントからの前記トレーニングデータポイントを用いて決定されるように成されることを特徴とする請求項４または５に記載の方法。

【請求項7】

前記第２のモデル（１１０）の所定の構造に応じて前記第１のモデル（１０８）の構造を決定するステップ（２２４）を含むことを特徴とする請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記第１のモデル（１０８）の前記構造の前記決定（２２４）が、機械学習システムを用いたアーキテクチャサーチを含み、前記アーキテクチャサーチにおいて、前記第１のモデル（１０８）の前記構造が、前記第２のモデル（１１０）の所定の構造に応じて決定されることを特徴とする請求項７に記載の方法。

【請求項9】

前記第１のモデル（１０８）の前記構造の前記決定（２２４）が、前記第２のモデル（１１０）の所定の構造の少なくとも一部を、前記第１のモデル（１０８）の前記構造にコピーすることを含む、および／または前記第２のモデル（１１０）の所定のパラメータの少なくとも一部の値を、前記第１のモデル（１０８）のパラメータ（２２２）に関する値にコピーすることを含むことを特徴とする請求項７に記載の方法。

【請求項10】

前記第１のモデル（１０８）が、前記第１のモデル（１０８）を定義する前記パラメータ（２２２）が決定される少なくとも１つのトレーニングステップの後に、前記第１のセンサ（１０６）の計算ユニット（１０２、１０４）に伝送され、前記計算ユニット（１０２、１０４）が、前記第１のセンサ（１０６）で測定された生データに関して、前記第１のモデル（１０８）を用いて結果を予測するように設計されているように成されることを特徴とする請求項１～９のいずれか一項に記載の方法。

【請求項11】

特に指定可能な時点または指定されている時点で、好ましくは一定の時間間隔で、前記第１のモデル（１０８）が前記計算ユニット（１０２、１０４）から前記第１のセンサ（１０６）の外部のコンピューティングデバイス（１１４）に伝送され（３０２）、前記第１のモデル（１０８）および少なくとも１つの別のモデルに応じて第３のモデルが決定され（３０４）、前記第１のセンサ（１０６）での前記第１のモデル（１０８）が前記第３のモデルによって置き換えられる（３０６）ように成されることを特徴とする請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記第１の結果（２１０）が前記第２の結果（２１４）と異なる場合（４０２）、
前記トレーニングデータポイント（２１８）を前記第１のセンサ（１０６）の外部のコンピューティングデバイス（１１４）に伝送するステップ（４０６）と、
特に前記トレーニングデータポイント（２１８）に関して第３の結果を予測するように設計されている別のモデルを用いて、前記トレーニングデータポイント（２１８）に関する前記第３の結果を決定するステップ（４０８）と、
前記トレーニングデータポイント（２１８）での前記第２の結果を前記第３の結果で置き換えることによって、変更されたトレーニングデータポイントを決定するステップ（４１０）と、
前記変更されたトレーニングデータポイントを前記第１のセンサ（１０６）に伝送するステップ（４１２）と、
前記変更されたトレーニングデータポイントを用いて前記第１のモデル（１０８）をトレーニングするステップ（４１４）と、
を含むことを特徴とする請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記トレーニングデータポイント（２１８）に関する前記第２の結果（２１４）が正しいか誤っているかがチェックされ（４０４）、前記第２の結果（２１４）が誤りである場合、前記変更されたトレーニングデータポイントが決定され（４１２）、前記第１のモデル（１０８）の前記トレーニング（２２０）のために使用され（４１４）、そうでない場合、前記変更されたトレーニングデータポイントが決定されない、および／または前記第１のモデルの前記トレーニング（２２０）に使用されないように成されることを特徴とする請求項１２に記載の方法。

【請求項14】

データに基づくモデルコピーを第１のセンサで生成するための装置（１００）において、請求項１～１３のいずれか一項に記載の方法を実行するように設計されていることを特徴とする装置（１００）。

【請求項15】

コンピュータ可読命令を含み、前記コンピュータ可読命令がコンピュータによって実行されるときに、請求項１～１３のいずれか一項に記載の方法を行うことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データに基づくモデルコピーをセンサで生成するためのコンピュータ実装方法、コンピュータプログラム、および装置に関する。

【背景技術】

【0002】

モデルは、センサにおいて、特にセンサデータの処理のために使用される。データに基づくモデルのトレーニングは非常に複雑であり、大量のトレーニングデータおよびトレーニングの反復を必要とする。特定のセンサのためにトレーニングされたモデルが、別のセンサでも使用できるとは必ずしも限らない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、あるセンサからのモデルのデータに基づくモデルコピーを自動生成し、トレーニング済みのモデルがすでに存在する別のセンサで使用することが望ましい。

【課題を解決するための手段】

【0004】

独立形式請求項に記載のコンピュータ実装方法、コンピュータプログラム、および装置がこれを可能にする。
データに基づくモデルコピーを生成するためのコンピュータ実装方法が、第１のセンサからの所定の生データを、第２のセンサの生データを表すデータに変換するステップと、所定の生データと、第１のセンサからの生データに基づいて結果を予測するように設計されている第１のモデルとを用いて、第１の結果を決定するステップと、第２のセンサの生データを表すデータと、第２のセンサからの生データに基づいて結果を予測するように設計されている所定の第２のモデルとを用いて、第２の結果を決定するステップと、第１の結果が第２の結果と異なるか否かを判定するステップとを含み、方法が、第１の結果が第２の結果と異なる場合、所定の生データおよび第２の結果を含むトレーニングデータポイントを決定するステップと、トレーニングデータポイントを含むトレーニングデータを用いて第１のモデルをトレーニングするステップとを含む。本方法では、第１の新しいモデルと古い第２のモデルとの間の結果の不一致に基づいて、操作自体において関連データを認識し、それらの関連データを、データに基づくモデルコピーで使用することが可能である。

【0005】

生データは、好ましくは、少なくとも１つの時間領域信号、特にレーダ、ＬｉＤＡＲ、超音波、赤外線、もしくは音響センサの少なくとも１つのスペクトル、もしくは少なくとも１つの位置、またはそのフィルタリングされたデータもしくは変換を表す。

【0006】

第１の結果および／または第２の結果は、好ましくは、物体タイプ、もしくは物体の寸法に関する推定値を特徴付ける、またはブラインドセンサ、クラスタリング、もしくは物体が認識されたか否かを示す。

【0007】

第１のモデルのトレーニングが複数回の反復で行われ、第１のモデルを定義するパラメータの値が、第１の反復の前にランダム値で初期化されることが企図されていてもよい。これにより、リソース消費が少ないトレーニングのための開始点が提供される。

【0008】

トレーニングが複数回の反復で行われ、第１のモデルを定義するパラメータの値が、第１のセンサで測定された生データを用いたトレーニングによって、第１の反復の前に決定される、または決定されていることが企図されていてもよい。これにより、トレーニングによってさらに洗練された、事前トレーニングされた第１のモデルが提供される。

【0009】

トレーニングは、トレーニングステップを実行することなく複数回の反復で多数のトレーニングデータポイントが決定され、次いで、特に第１のセンサまたは第１のセンサの外部のコンピューティングデバイスでトレーニングステップが実行され、トレーニングステップにおいて、第１のモデルを定義するパラメータが、多数のトレーニングデータポイントからの一部のトレーニングデータポイントを用いて、または多数のトレーニングデータポイントからのトレーニングデータポイントを用いて決定されるように成されることが企図されていてもよい。トレーニングデータポイントは、例えばメモリ内に収集される。これにより、トレーニングは、使用可能なメモリの観点から特に良好にスケーリングされる。

【0010】

初期化のために、本方法は、第２のモデルの所定の構造に応じて第１のモデルの構造を決定するステップを含む。
第１のモデルの構造の決定が、機械学習システムを用いたアーキテクチャサーチを含み、アーキテクチャサーチにおいて、第１のモデルの構造が、第２のモデルの所定の構造に応じて決定されることが企図されていてもよい。これは、第１のモデルをそれぞれの第１のセンサおよび／または第２のセンサに自動的に適合させることを可能にする。

【0011】

第１のモデルの構造の決定が、第２のモデルの所定の構造の少なくとも一部を、第１のモデルの構造にコピーすることを含む、および／または第２のモデルの所定のパラメータの少なくとも一部の値を、第１のモデルのパラメータに関する値にコピーすることを含むことが企図されていてもよい。これにより、これらのセンサがわずかな相違しか有さない場合、第１のセンサに関する第１のモデルが、第２のセンサに関する第２のモデルに特に良好に適合される。

【0012】

好ましくは、第１のモデルが、第１のモデルを定義するパラメータが決定される少なくとも１つのトレーニングステップの後に、第１のセンサの計算ユニットに伝送され、計算ユニットが、第１のセンサで測定された生データに関して、第１のモデルを用いて結果を予測するように設計されている。これにより、トレーニング後に、第１のセンサで第１のモデルが提供される。

【0013】

本方法は、特に指定可能な時点または指定されている時点で、好ましくは一定の時間間隔で、第１のモデルが計算ユニットから第１のセンサの外部のコンピューティングデバイスに伝送され、第１のモデルおよび少なくとも１つの別のモデルに応じて第３のモデルが決定され、第１のセンサでの第１のモデルが第３のモデルによって置き換えられるように成されることを企図し得る。例えば、第１のセンサのローカルな第１のモデルが、様々なセンサのローカルなモデルとグローバルレベルで融合されて分散される。この手法の利点は、それぞれのローカルモデルがトレーニングデータの合計よりも大幅に小さいため、通信要件が大幅に低減されることである。

【0014】

第１の結果が第２の結果と異なる場合、方法が、トレーニングデータポイントを第１のセンサの外部のコンピューティングデバイスに伝送するステップと、特にトレーニングデータポイントに関して第３の結果を予測するように設計されている別のモデルを用いて、トレーニングデータポイントに関する第３の結果を決定するステップと、トレーニングデータポイントでの第２の結果を第３の結果で置き換えることによって、変更されたトレーニングデータポイントを決定するステップと、変更されたトレーニングデータポイントを第１のセンサに伝送するステップと、変更されたトレーニングデータポイントを用いて第１のモデルをトレーニングするステップとを含むことが企図されていてもよい。これにより、第１のモデルは、第１のセンサの外部で決定された変更されたトレーニングデータポイントを用いてさらにトレーニングされる。

【0015】

本方法は、トレーニングデータポイントに関する第２の結果が正しいか誤っているかがチェックされ、第２の結果が誤りである場合、変更されたトレーニングデータポイントが決定され、第１のモデルのトレーニングのために使用され、そうでない場合、変更されたトレーニングデータポイントが決定されない、および／または第１のモデルのトレーニングに使用されないように成されることがある。これにより、第２のモデルの誤判定を認識して修正することができる。したがって、第１のモデルのトレーニングは、誤判定の結果ではなく、正しい結果を用いて行われる。

【0016】

さらなる有利な実施形態は、以下の説明および図面から明らかになる。

【図面の簡単な説明】

【0017】

【図1】データに基づくモデルコピーを生成するための装置の一部の概略図である。

【図2】データに基づくモデルコピーを生成するための方法でのステップを示す図である。

【図3】データに基づくモデルコピーを生成するための方法でのさらなるステップを示す図である。

【図4】データに基づくモデルコピーを生成するための方法でのさらなるステップを示す図である。

【発明を実施するための形態】

【0018】

図１に、データに基づくモデルコピーを生成するための装置１００が概略的に示されている。装置１００は、少なくとも１つのプロセッサ１０２および少なくとも１つのメモリ１０４を含む。これらを以下では計算ユニットと呼ぶ。

【0019】

図１には、第１のセンサ１０６が示されている。第１のセンサ１０６は、本例では計算ユニットを含む。
少なくとも１つのメモリ１０４には、第１のモデル１０８および所定の第２のモデル１１０が記憶されている。第１のモデル１０８は、第１のセンサ１０６からの生データに基づいて結果を予測するように設計されている。第２のモデル１１０は、第２のセンサからの生データに基づいて結果を予測するように設計されている。第２のモデル１１０は、本例では既知であり、この目的のために特に事前トレーニングにより設計されている。第２のモデル１１０は、本例では第２のセンサに適合される。第２のモデル１１０は、本例では、第１のセンサ１０６の生データを直接処理するのには適しておらず、すなわち特に適切なデータ型または適切なフォーマットに変換することなく処理するのには適していない。第１のモデル１０８は、本例では、まだトレーニングされていない、またはまだ完全にはトレーニングされていない。第１のモデル１０８は、第１のセンサ１０６の生データを処理するように設計されている。

【0020】

第１のモデル１０８は、本例では第１の分類器を含む。第２のモデル１１０は、本例では第２の分類器を含む。第１の分類器は、本例では、畳み込みニューラルネットワーク（ＣＮＮ）である。第２の分類器は、本例では畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮの代わりに、別の構造を有する人工ニューラルネットワークを提供することもできる。通常の分類問題を別の方法で解決する分類器を提供することもできる。

【0021】

計算ユニットは、本例では、第１のセンサ１０６で測定された生データについては第１のモデル１０８を用いて結果を予測し、特にデータ型やフォーマットが第２のセンサの生データに対応する生データについては第２のモデル１１０を用いて結果を予測するように設計されている。

【0022】

任意選択で、第１のセンサ１０６は、センサ１０６の外部に配置されたコンピューティングデバイス１１４へのインターフェース１１２を含む。コンピューティングデバイス１１４は、車両の中央制御装置、またはインターネットインフラストラクチャ内の１つもしくは複数のサーバでよい。

【0023】

計算ユニットにはコンピュータ可読命令が提供され、そのコンピュータ可読命令が計算ユニットによって実行されるとき、以下に述べる方法でのステップが行われる。計算ユニットおよびコンピューティングデバイス１１４が、ステップの一部をそれぞれ実行し、そのために必要なデータをインターフェース１１２を介して相互に交換するように設計されていることが企図されていてもよい。

【0024】

図２に、データに基づくモデルコピーを生成するための方法でのステップが概略的に示されている。
第１のモデル１０８のネットワークアーキテクチャの定義が、１つの技術的な課題である。ネットワークアーキテクチャが既知であると仮定すると、残りのタスクは、ネットワークをトレーニングすることである。教師あり分類問題を使用して第１のモデル１０８をトレーニングするには、大量のラベル付きデータが必要である。この高負荷の操作は、本例では、ネットワークアーキテクチャおよび第２のモデル１１０のトレーニングに関して行われた。この高負荷の操作は、本例では、データに基づくモデルコピーにより、第１のモデル１０８に関しては回避される、または最小限に抑えられる。

【0025】

本方法は、例えば、前世代のレーダセンサと比較して技術的性能が拡張された次世代のレーダセンサに使用される。これらは、例えばレーダセンサの到達距離、解像度、開口角度の増加といった特性に影響を及ぼすことができる。本方法は、レーダ変調および信号評価の根本的な変更にも使用可能である。

【0026】

本方法では、次世代でのデータに基づくモデルを使用するとき、知見が転用される。古典的なモデルからの知見を、データに基づくモデルに転用することができる。前世代のデータに基づくモデルを引き継ぐことができる。古典的なモデルでは、課題は、データに基づくモデルにドメインの知識を統合することにある。データに基づくモデルでは、異なる世代からのセンサ信号が大幅に異なって第２のモデル１１０の一般化を行える範囲を超えるときに問題が発生する。

【0027】

本方法により、次世代とは異なるフォーマットでの入力データに基づいて前世代のレーダセンサで使用されている既存のアルゴリズムのアルゴリズムコピーを生成することが企図されていてもよい。これにより、例えば、特に既存のアルゴリズムに基づく新しいアルゴリズムのためのグラウンドトゥルースの生成または関連のトレーニングデータの識別のために、次世代のレーダセンサでの既存のアルゴリズムの適用が可能になる。アルゴリズムが実行されるとき、モデルがセンサデータの処理に使用される。

【0028】

レーダセンサの代わりに、別のセンサ、特にＬｉＤＡＲ、超音波、赤外線、または音響センサを使用することもできる。
ステップ２０２で、所定の生データ２０４が、第２のセンサの生データを表すデータ２０６に変換される。データ２０６は、例えば生データ２０４をデータ２０６に変換する変換ユニットによって生成される。

【0029】

変換ユニットは、変換規則、またはデータに基づくモデルを含むことができる。
本例では、第１のセンサ１０６の生データ２０４が、変換規則を用いてデータ２０６に変換される。変換規則は、例えば数学的に記述される、またはデータに基づいてトレーニングされる。

【0030】

代わりに、第１のセンサ１０６の生データ２０４を、データに基づくモデルを用いて変換することも企図されていてもよい。データに基づくモデルの教師ありトレーニングのためのデータは、例えば、第１のセンサ１０６および第２のセンサが試験車両に搭載され、代表的な試験範囲について両方のセンサの生データのデータストリームを記録することによって提供される。サーチされるデータに基づくモデルは、第１のセンサ１０６の生データ２０４を第２のセンサの生データに移行する。例えば、これは、ニューラルネットワークまたは他のモデルの教師ありトレーニングによって実現される。例えば自動アーキテクチャサーチによって、データに基づくモデルをトレーニング中に適応的に改善することが企図されていてもよい。

【0031】

変換として、生データのサンプリングを提供することもできる。
この変換の使用により、第１のセンサ１０６に基づいてコピーが可能にされる。本例では、両方のモデルおよび変換のためのアルゴリズムが、第１のセンサ１０６で例えば並行して、または選択的に実行される。第２のセンサは、第１のモデル１０８をトレーニングするためには必要ない。

【0032】

本方法は、例えば、第１のセンサ１０６の生データ２０４が提供されたときに始まる。生データ２０４は、第１のセンサ１０６によって測定することも、例えば計算ユニットのメモリから読み出すこともできる。

【0033】

第１のセンサ１０６の生データ２０４、および第２のセンサの生データは、時間領域信号を特徴付けることができる。
第１のセンサ１０６の生データ２０４、およびデータ２０６は、特にレーダ、ＬｉＤＡＲ、超音波、赤外線、または音響センサのスペクトルを特徴付けることができる。

【0034】

第１のセンサ１０６の生データ２０４、およびデータ２０６は、位置を特徴付けることができる。
第１のセンサ１０６の生データ２０４、およびデータ２０６は、時間領域信号、スペクトル、または位置を特徴付けるフィルタリングされたデータまたはデータの変換でもよい。

【0035】

ステップ２０８で、所定の生データ２０４および第１のモデル１０８を用いて第１の結果２１０が決定される。
本例ではステップ２０２と２０８とが順次に実行されるが、時間的に少なくとも一部並行して行うこともできる。

【0036】

ステップ２１２で、第２のセンサの生データを表すデータ２０６および所定の第２のモデル１１０を用いて、第２の結果２１４が決定される。ステップ２１２は、本例では、ステップ２０２に続いて行われる。

【0037】

第１の結果２１０および／または第２の結果２１４が物体タイプを特徴付けることが企図されていてもよい。
第１の結果２１０および／または第２の結果２１４は、物体の寸法に関する推定値を特徴付けることが企図されていてもよい。

【0038】

第１の結果２１０および／または第２の結果２１４が、ブラインドセンサ、クラスタリング、または物体が認識されたか否かを示すことが企図されていてもよい。
次いで、ステップ２１６が実行される。

【0039】

ステップ２１６で、第１の結果２１０が第２の結果２１４と異なるか否かが判定される。
第１の結果２１０が第２の結果２１４と異なる場合、ステップ２１８が実行される。そうでない場合、本例では他の生データ２０４が指定され、ステップ２０２が実行される。

【0040】

ステップ２１８で、所定の生データ２０４および第２の結果２１４を含むトレーニングデータポイントが決定される。
次いで、ステップ２２０が実行される。

【0041】

ステップ２２０で、第１のモデル１０８は、トレーニングデータポイントを含むトレーニングデータを用いてトレーニングされる。
第１のモデル１０８のトレーニングが複数回の反復で行われることが企図されていてもよい。

【0042】

第１のモデル１０８を定義するパラメータ２２２の値が、第１の反復の前にランダム値で初期化されることが企図されていてもよい。
第１のモデル１０８を定義するパラメータ２２２の値が、第１のセンサ１０６で測定された生データを用いたトレーニングによって、第１の反復の前に決定される、または決定されていることも企図されていてもよい。

【0043】

トレーニングは、トレーニングステップを実行せずに多数の反復で多数のトレーニングデータポイントが決定されるように成されることが企図されていてもよい。次いで、第１のモデル１０８を定義するパラメータ２２２が決定されるトレーニングステップが実行されることが企図されていてもよい。

【0044】

パラメータ２２２が、多数のトレーニングデータポイントからの一部のトレーニングデータポイントを用いて決定されることが企図されていてもよい。
パラメータ２２２が、多数のトレーニングデータポイントからの特にすべてのトレーニングデータポイントを用いて決定されることも企図されていてもよい。

【0045】

例えば、メモリ１０４が十分な数のエントリを含むときにトレーニングが行われる。これは、トレーニングデータポイントの一部で、またはすべてのトレーニングデータポイントを含むバッチ全体で、最初から増分的に行われる。インクリメンタルトレーニングでは、メモリ１０４をかなり小さく構成することができる。新しいトレーニングデータポイントの十分な量は、典型的には、１つの新しいトレーニングデータポイントから数千の新しいトレーニングデータポイントまでの範囲でよい。トレーニングステップなしの反復の回数が少ないほど、トレーニングステップ間で収集される冗長なトレーニングデータポイントが少なくなり、それに対応して、メモリサイズとデータセットのバランスとに関する利点が得られる。

【0046】

ステップ２２０は、本例では第１のセンサ１０６で実行される。代わりに、ステップ２２０が第１のセンサ１０６の外部のコンピューティングデバイス１１４で実行されることも企図されていてもよい。

【0047】

第１のモデル１０８は、コンピューティングデバイス１１４でトレーニングされるとき、少なくとも１つのトレーニングステップの後に第１のセンサ１０６の計算ユニットに伝送される。第１のモデル１０８は、例えば、ファームウェア・オーバー・ザ・エア（Ｆｉｒｍｗａｒｅ－Ｏｖｅｒ－Ｔｈｅ－Ａｉｒ、ＦＯＴＡ）または有線ファームウェアアップデートを介して第１のセンサ１０６に伝送される。

【0048】

新たにトレーニングされる第１のモデル１０８は、例えば、第１のセンサ１０６の計算ユニットでの係数の更新によって更新される。定期的な時間間隔は、例えば、１回／日や１回／月などであり得る。

【0049】

任意選択で、本方法はステップ２２４を含む。ステップ２２４で、第１のモデル１０８の構造は、第２のモデル１１０の所定の構造に応じて決定される。ステップ２２４は、好ましくは第１の反復の前に行われる。

【0050】

ステップ２２４は、本例では、機械学習システムを用いたアーキテクチャサーチを含み、アーキテクチャサーチにおいて、第１のモデル１０８の構造は、第２のモデル１１０の所定の構造に応じて決定される。

【0051】

代わりに、ステップ２２４が、第２のモデル１１０の所定の構造の少なくとも一部を第１のモデル１０８の構造にコピーすることを含むことも企図されていてもよい。
代替または追加として、ステップ２２４が、第２のモデル１１０の所定のパラメータの少なくとも一部の値を、第１のモデル１０８のパラメータ２２２に関する値にコピーすることを含むことも企図されていてもよい。

【0052】

第１のモデル１０８のモデルタイプは、例えば、第１のセンサ１０６に適合された入力を有する第２のモデル１１０のモデルタイプに対応し得る。第１のモデル１０８は、第２のモデル１１０とは異なる任意に選択された構造を備えることもできる。第１のモデル１０８は、ニューラルアーキテクチャサーチ、例えばＡｕｔｏＭＬを用いて、それぞれのデータ状況に適応させることもできる。

【0053】

本方法は、図３に概略的に示す以下のステップをさらに提供することもできる。
本例では、一定の時間間隔でステップ３０２が実行される。
そのための時点が指定可能であり、またはその時点が指定されていることが企図されていてもよい。

【0054】

ステップ３０２で、第１のモデル１０８が、計算ユニットから第１のセンサ１０６の外部のコンピューティングデバイス１１４に伝送される。
次いで、ステップ３０２が実行される。

【0055】

ステップ３０４で、第１のモデル１０８および少なくとも１つの他のモデルに応じて第３のモデルが決定される。このために、連合学習などの方法を使用することができる。
次いで、ステップ３０６が実行される。

【0056】

ステップ３０６で、第１のセンサ１０６での第１のモデル１０８が、第３のモデルに置き換えられる。第３のモデルは、本例では、グローバルに融合されたモデルである。第３のモデルは、例えば、ファームウェア・オーバー・ザ・エアまたは有線ファームウェアアップデートを介して第１のセンサ１０６に伝送される。

【0057】

本方法は、図４に概略的に示す以下のステップをさらに提供することもできる。
ステップ４０２で、第１の結果２１０が第２の結果２１４と異なるかどうかがチェックされる。第１の結果２１０が第２の結果と異なる場合、ステップ４０４が実行される。そうでない場合、本例ではステップ４０４は実行されない。ステップ４０２は、ステップ２１６の一部として実装することもできる。

【0058】

ステップ４０４で、トレーニングデータポイント２１８に関する第２の結果２１４が正しいか誤っているかがチェックされる。
第２の結果２１０が誤っている場合、ステップ４０６が実行される。そうでない場合、本例ではステップ４０６は実行されない。

【0059】

ステップ４０６で、トレーニングデータポイント２１８が、第１のセンサ１０６の外部のコンピューティングデバイス１１４に伝送される。
次いで、ステップ４０８が実行される。

【0060】

ステップ４０８で、トレーニングデータポイント２１８に関して第３の結果が決定される。第３の結果は、本例では、トレーニングデータポイント２１８に関して第３の結果を予測するように設計されている別のモデルを用いて決定される。本例では、そのような別のモデルは、トレーニング済みのモデルである。

【0061】

次いで、ステップ４１０が実行される。
ステップ４１０で、トレーニングデータポイント２１８での第２の結果を第３の結果で置き換えることによって、変更されたトレーニングデータポイントが決定される。

【0062】

次いで、ステップ４１２が実行される。
ステップ４１２で、変更されたトレーニングデータポイントが第１のセンサ１０６に伝送される。

【0063】

次いで、ステップ４１４が実行される。
ステップ４１４で、第１のモデル１０８が、変更されたトレーニングデータポイントを用いてトレーニングされる。

【0064】

本発明を使用して、同世代のセンサに関する既存のモデルを異なる取付け位置で使用可能にすることもできる。
このために、試験車両には、２つ以上のセンサが異なる取付け位置に取り付けられる。いくつかのセンサでの代表的な試験範囲に関して、対応するデータストリームが上述したように処理される。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-02-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

データに基づくモデルコピーを第１のセンサ（１０６）で生成するためのコンピュータ実装方法において、
第１のセンサ（１０６）からの所定の生データ（２０４）を、第２のセンサの生データを表すデータ（２０６）に変換するステップ（２０２）と、
前記所定の生データと、前記第１のセンサ（１０６）からの生データに基づいて結果を予測するように設計されている第１のモデル（１０８）とを用いて、第１の結果（２１０）を決定するステップ（２０８）と、
前記第２のセンサの前記生データを表す前記データ（２０６）と、前記第２のセンサからの生データに基づいて結果を予測するように設計されている所定の第２のモデル（１１０）とを用いて、第２の結果（２１４）を決定するステップ（２１２）と、
前記第１の結果（２１０）が前記第２の結果（２１４）と異なるか否かを判定するステップ（２１６）とを含み、前記第１の結果が前記第２の結果と異なる場合、
前記所定の生データ（２０４）および前記第２の結果（２１４）を含むトレーニングデータポイントを決定するステップ（２１８）と、
前記トレーニングデータポイントを含むトレーニングデータを用いて前記第１のモデル（１０８）をトレーニングするステップ（２２０）と、
を含むことを特徴とする方法。

【請求項2】

前記生データ（２０４）が、特に少なくとも１つの時間領域信号、特にレーダ、ＬｉＤＡＲ、超音波、赤外線、もしくは音響センサの少なくとも１つのスペクトル、もしくは少なくとも１つの位置、またはそのフィルタリングされたデータもしくはその変換を表すことを特徴とする請求項１に記載の方法。

【請求項3】

前記第１の結果（２１０）および／もしくは前記第２の結果（２１４）が、物体タイプ、もしくは物体の寸法に関する推定値を特徴付けること、または前記第１の結果（２１０）および／もしくは前記第２の結果（２１４）が、ブラインドセンサ、クラスタリング、もしくは物体が認識されたか否かを示すことを特徴とする請求項１に記載の方法。

【請求項4】

前記第１のモデル（１０８）の前記トレーニング（２２０）が複数回の反復で行われ、第１のモデル（１０８）を定義するパラメータ（２２２）の値が、第１の反復の前にランダム値で初期化されることを特徴とする請求項１に記載の方法。

【請求項5】

前記トレーニング（２２０）が複数回の反復で行われ、前記第１のモデル（１０８）を定義するパラメータ（２２２）の値が、前記第１のセンサ（１０６）で測定された生データを用いたトレーニングによって、第１の反復の前に決定される、または決定されていることを特徴とする請求項１に記載の方法。

【請求項6】

前記トレーニング（２２０）が、トレーニングステップを実行することなく複数回の反復で多数のトレーニングデータポイントが決定され、次いで、特に前記第１のセンサ（１０６）または前記第１のセンサ（１０６）の外部のコンピューティングデバイス（１１４）でトレーニングステップが実行され、前記トレーニングステップにおいて、前記第１のモデル（１０８）を定義するパラメータ（２２２）が、前記多数のトレーニングデータポイントからの一部のトレーニングデータポイントを用いて、または前記多数のトレーニングデータポイントからの前記トレーニングデータポイントを用いて決定されるように成されることを特徴とする請求項４または５に記載の方法。

【請求項7】

前記第２のモデル（１１０）の所定の構造に応じて前記第１のモデル（１０８）の構造を決定するステップ（２２４）を含むことを特徴とする請求項１に記載の方法。

【請求項8】

前記第１のモデル（１０８）の前記構造の前記決定（２２４）が、機械学習システムを用いたアーキテクチャサーチを含み、前記アーキテクチャサーチにおいて、前記第１のモデル（１０８）の前記構造が、前記第２のモデル（１１０）の所定の構造に応じて決定されることを特徴とする請求項７に記載の方法。

【請求項9】

前記第１のモデル（１０８）の前記構造の前記決定（２２４）が、前記第２のモデル（１１０）の所定の構造の少なくとも一部を、前記第１のモデル（１０８）の前記構造にコピーすることを含む、および／または前記第２のモデル（１１０）の所定のパラメータの少なくとも一部の値を、前記第１のモデル（１０８）のパラメータ（２２２）に関する値にコピーすることを含むことを特徴とする請求項７に記載の方法。

【請求項10】

前記第１のモデル（１０８）が、前記第１のモデル（１０８）を定義する前記パラメータ（２２２）が決定される少なくとも１つのトレーニングステップの後に、前記第１のセンサ（１０６）の計算ユニット（１０２、１０４）に伝送され、前記計算ユニット（１０２、１０４）が、前記第１のセンサ（１０６）で測定された生データに関して、前記第１のモデル（１０８）を用いて結果を予測するように設計されているように成されることを特徴とする請求項１に記載の方法。

【請求項11】

特に指定可能な時点または指定されている時点で、好ましくは一定の時間間隔で、前記第１のモデル（１０８）が前記計算ユニット（１０２、１０４）から前記第１のセンサ（１０６）の外部のコンピューティングデバイス（１１４）に伝送され（３０２）、前記第１のモデル（１０８）および少なくとも１つの別のモデルに応じて第３のモデルが決定され（３０４）、前記第１のセンサ（１０６）での前記第１のモデル（１０８）が前記第３のモデルによって置き換えられる（３０６）ように成されることを特徴とする請求項１に記載の方法。

【請求項12】

前記第１の結果（２１０）が前記第２の結果（２１４）と異なる場合（４０２）、
前記トレーニングデータポイント（２１８）を前記第１のセンサ（１０６）の外部のコンピューティングデバイス（１１４）に伝送するステップ（４０６）と、
特に前記トレーニングデータポイント（２１８）に関して第３の結果を予測するように設計されている別のモデルを用いて、前記トレーニングデータポイント（２１８）に関する前記第３の結果を決定するステップ（４０８）と、
前記トレーニングデータポイント（２１８）での前記第２の結果を前記第３の結果で置き換えることによって、変更されたトレーニングデータポイントを決定するステップ（４１０）と、
前記変更されたトレーニングデータポイントを前記第１のセンサ（１０６）に伝送するステップ（４１２）と、
前記変更されたトレーニングデータポイントを用いて前記第１のモデル（１０８）をトレーニングするステップ（４１４）と、
を含むことを特徴とする請求項１に記載の方法。

【請求項13】

前記トレーニングデータポイント（２１８）に関する前記第２の結果（２１４）が正しいか誤っているかがチェックされ（４０４）、前記第２の結果（２１４）が誤りである場合、前記変更されたトレーニングデータポイントが決定され（４１２）、前記第１のモデル（１０８）の前記トレーニング（２２０）のために使用され（４１４）、そうでない場合、前記変更されたトレーニングデータポイントが決定されない、および／または前記第１のモデルの前記トレーニング（２２０）に使用されないように成されることを特徴とする請求項１２に記載の方法。

【請求項14】

データに基づくモデルコピーを第１のセンサで生成するための装置（１００）において、請求項１に記載の方法を実行するように設計されていることを特徴とする装置（１００）。

【請求項15】

コンピュータ可読命令を含み、前記コンピュータ可読命令がコンピュータによって実行されるときに、請求項１に記載の方法を行うことを特徴とするコンピュータプログラム。

【国際調査報告】