特表 2024-512563 車両の制御装置用のソフトウェアを評価する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-19

(54)【発明の名称】車両の制御装置用のソフトウェアを評価する方法

(51)【国際特許分類】

   G06F 11/36 20060101AFI20240312BHJP

   G01M 17/007 20060101ALN20240312BHJP

【ＦＩ】

G06F11/36 180

G01M17/007 B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023558412

(86)(22)【出願日】2022-02-03

(85)【翻訳文提出日】2023-09-22

(86)【国際出願番号】 EP2022052522

(87)【国際公開番号】W WO2022199916

(87)【国際公開日】2022-09-29

(31)【優先権主張番号】102021202903.5

(32)【優先日】2021-03-24

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】ビルメス，ドーラ

(72)【発明者】

【氏名】ウルマン，マリーナ

(72)【発明者】

【氏名】ビルク，マティアス

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042GB08

5B042HH12

5B042HH49

5B042JJ30

5B042MA08

5B042MA14

(57)【要約】

本発明は、車両（１００）の制御装置（１０２）用のソフトウェア（１１１）を評価する方法であって、制御装置（１０２）が、ソフトウェア（１１１）の第１のバージョン（１１１ａ）および第２のバージョン（１１１ｂ）が記憶されているメモリ（１１０）と、第１のバージョン（１１１ａ）および第２のバージョン（１１１ｂ）を実行するためのプロセッサ（１１２）とを含む、方法に関する。この方法は、制御装置（１０２）内で、車両（１００）の環境を検知するためにセンサシステム（１０４）によって生成されたセンサデータ（１０８）を受信するステップと、第１のバージョン（１１１ａ）および第２のバージョン（１１１ｂ）にセンサデータ（１０８）を入力するステップと、第１のバージョン（１１１ａ）によってセンサデータ（１０８）から第１の物体データ（２０６、２０６’）を生成するステップであり、第１の物体データ（２０６、２０６’）が、第１のバージョン（１１１ａ）によって認識された、車両（１００）の環境内の第１の物体（１１６、１１６’）の位置および／または向きを含む、ステップと、第２のバージョン（１１１ｂ）によってセンサデータ（１０８）から第２の物体データ（２０８、２０８’）を生成するステップであり、第２の物体データ（２０８、２０８’）が、第２のバージョン（１１１ｂ）によって認識された、車両（１００）の環境内の第２の物体（１１８、１１８’）の位置および／または向きを含む、ステップと、第１の物体データ（２０６、２０６’）と第２の物体データ（２０８、２０８’）との比較によって、認識品質に関して第２のバージョン（１１１ｂ）を評価するステップであり、評価結果（２１２）が生成される、ステップと、評価結果（２１２）を制御装置（１０２）から中央データ処理装置（２１４）に送信するステップとを含む。

【特許請求の範囲】

【請求項1】

車両（１００）の制御装置（１０２）用のソフトウェア（１１１）を評価する方法であって、
前記制御装置（１０２）が、前記ソフトウェア（１１１）の第１のバージョン（１１１ａ）および第２のバージョン（１１１ｂ）が記憶されているメモリ（１１０）と、前記第１のバージョン（１１１ａ）および前記第２のバージョン（１１１ｂ）を実行するためのプロセッサ（１１２）とを含み、
前記制御装置（１０２）内で、前記車両（１００）の環境を検知するためにセンサシステム（１０４）によって生成されたセンサデータ（１０８）を受信するステップと、
前記第１のバージョン（１１１ａ）および前記第２のバージョン（１１１ｂ）に前記センサデータ（１０８）を入力するステップと、
前記第１のバージョン（１１１ａ）によって前記センサデータ（１０８）から第１の物体データ（２０６、２０６’）を生成するステップであり、前記第１の物体データ（２０６、２０６’）が、前記第１のバージョン（１１１ａ）によって認識された、前記車両（１００）の前記環境内の第１の物体（１１６、１１６’）の位置および／または向きを含む、ステップと、
前記第２のバージョン（１１１ｂ）によって前記センサデータ（１０８）から第２の物体データ（２０８、２０８’）を生成するステップであり、前記第２の物体データ（２０８、２０８’）が、前記第２のバージョン（１１１ｂ）によって認識された、前記車両（１００）の前記環境内の第２の物体（１１８、１１８’）の位置および／または向きを含む、ステップと、
前記第１の物体データ（２０６、２０６’）と前記第２の物体データ（２０８、２０８’）との比較によって、認識品質に関して前記第２のバージョン（１１１ｂ）を評価するステップであり、評価結果（２１２）が生成される、ステップと、
前記評価結果（２１２）を前記制御装置（１０２）から中央データ処理装置（２１４）に送信するステップと
を含む、方法。

【請求項2】

各第１の物体（１１６、１１６’）について、前記第１の物体（１１６、１１６’）が前記第１のバージョン（１１１ａ）によってどれほど良く認識されたかを示す、少なくとも１つの第１の評価パラメータが決定され、
各第２の物体（１１８、１１８’）について、前記第２の物体（１１８、１１８’）が前記第２のバージョン（１１１ｂ）によってどれほど良く認識されたかを示す、少なくとも１つの第２の評価パラメータが決定され、
前記第２のバージョン（１１１ｂ）が、前記第１の評価パラメータと前記第２の評価パラメータとの比較によって評価される、
請求項１に記載の方法。

【請求項3】

前記第１の評価パラメータが、前記第１の物体（１１６、１１６’）が前記第１のバージョン（１１１ａ）によって認識された認識時点である、および／または
前記第２の評価パラメータが、前記第２の物体（１１８、１１８’）が前記第２のバージョン（１１１ｂ）によって認識された認識時点である、
請求項２に記載の方法。

【請求項4】

前記第１の評価パラメータが、前記第１の物体（１１６、１１６’）の前記位置および／もしくは向きに関する確率である、ならびに／または
前記第２の評価パラメータが、前記第２の物体（１１８、１１８’）の前記位置および／もしくは向きに関する確率である、
請求項２または３に記載の方法。

【請求項5】

前記第１のバージョン（１１１ａ）によって、前記第１の物体（１１６）の中から、前記車両（１００）に関連性のある第１の物体（１１６’）が選択され、
互いに一致する物体（１１６’、１１８、１１８’）が、前記関連性のある第１の物体（１１６’）と前記第２の物体（１１８、１１８’）との比較によって決定され、
前記互いに一致する物体（１１６’、１１８、１１８’）の前記評価パラメータが互いに比較される、
請求項２から４のいずれか一項に記載の方法。

【請求項6】

前記第２のバージョン（１１１ｂ）によって、前記第２の物体（１１８）の中から、関連性のある第１の物体（１１６’）のいずれとも一致しない、前記車両（１００）に関連性のある第２の物体（１１８’）が選択され、
各関連性のある第２の物体（１１８’）について個別評価が生成され、前記個別評価が、前記第２のバージョン（１１１ｂ）による前記関連性のある第２の物体（１１８’）の前記認識が、前記第１のバージョン（１１１ａ）に対する前記第２のバージョン（１１１ｂ）の前記認識品質の向上に対応するかまたは悪化に対応するかを示し、
前記第２のバージョン（１１１ｂ）が、前記個別評価に基づいてさらに評価される、
請求項５に記載の方法。

【請求項7】

前記センサデータ（１０８）、および／または前記車両（１００）の少なくとも１つの運転ダイナミクスセンサによって生成された運転ダイナミクスデータに基づいて、前記車両（１００）の運転状態の変化が決定され、前記変化が、前記第２のバージョン（１１１ｂ）によって前記関連性のある第２の物体（１１８’）が認識された認識時点と時間的に相関し、
前記それぞれの関連性のある第２の物体（１１８’）と時間的に相関する前記運転状態の前記変化の分析によって、各個別評価が生成される、
請求項６に記載の方法。

【請求項8】

前記第２の物体データ（２０８、２０８’）が、複数の連続する時間ステップにおいて生成され、
前記第２の物体（１１８、１１８’）が、異なる時間ステップからの前記第２の物体データ（２０８、２０８’）どうしを比較することによって妥当性をチェックされ、
前記第２のバージョン（１１１ｂ）が、前記第２の物体（１１８、１１８’）の前記妥当性に応じてさらに評価される、
請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記評価結果（２１２）が、前記センサデータ（１０８）、前記第１の物体データ（２０６、２０６’）、および／または前記第２の物体データ（２０８、２０８’）からのデータシーケンスを含む、
請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記認識品質に関して前記第２のバージョン（１１１ｂ）が前記第１のバージョン（１１１ａ）よりも悪いと評価されたときにのみ、前記データシーケンスが送信される、
請求項９に記載の方法。

【請求項11】

請求項１から１０のいずれか一項に記載の方法を実行するように構成されているプロセッサ（１１２）を含む制御装置（１０２）。

【請求項12】

前記プロセッサ（１１２）による前記コンピュータプログラムの実行時に、プロセッサ（１１２）に請求項１から１０のいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムが記憶されているコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の制御装置用のソフトウェアを評価する方法に関する。さらに、本発明は、前述した方法を実行するための制御装置、コンピュータプログラム、およびコンピュータ可読媒体に関する。

【背景技術】

【0002】

例えば乗用車またはトラックなどの車両には、車両の部分的または完全な自動制御を可能にする運転支援システムが装備されていてもよい。このために、運転支援システムは、例えば適切なセンサシステムを使用して、車両の環境内にある物体の位置、向き、および／または物体タイプを認識し、これらの物体を考慮して車両を操舵、制動、および／または加速することができる。

【0003】

そのような運転支援システムは、一般に厳しいセキュリティ要件が課される。例えば運転支援システムを改良または拡張するための運転支援システムの更新は、個々のコンポーネントが更新されるたびにシステム全体のリリースを行わなければならないので、非常にコストがかかることがある。

【発明の概要】

【0004】

上記の背景を踏まえて、本明細書で提示される手法によって、独立請求項による、車両の制御装置、対応する制御装置、対応するコンピュータプログラム、および対応するコンピュータ可読媒体用のソフトウェアを評価する方法が提示される。本明細書で提示される手法の有利な発展形態および改良形態は、本明細書から明らかになり、従属請求項に記載されている。

【0005】

本発明の実施形態は、車両の制御装置用の物体認識ソフトウェアのまだリリースされていないバージョンを、制御装置上で、物体認識ソフトウェアの既にリリースされているバージョンと並列で実行して、２つのバージョンの認識結果の比較によって、まだリリースされていないバージョンをその認識品質に関して評価し、さらなる分析のために、対応する評価結果を中央データ処理装置に送信することを可能にする。

【0006】

したがって、対応する多数の量産車両の評価結果、すなわち実際のデータを考慮に入れて、まだリリースされていないバージョン、例えば物体認識またはセンサデータ融合モジュールの新しいバージョンの非常に迅速であり費用対効果の高い検証を保証することができる。

【0007】

本発明の第１の態様は、車両の制御装置用のソフトウェアを評価するためのコンピュータ実装方法に関する。ここで、制御装置は、ソフトウェアの第１のバージョンおよび第２のバージョンが記憶されているメモリと、第１のバージョンおよび第２のバージョンを実行するためのプロセッサとを含む。この方法は、制御装置内で、車両の環境を検知するためにセンサシステムによって生成されたセンサデータを受信するステップと、第１のバージョンおよび第２のバージョンにセンサデータを入力するステップと、第１のバージョンによってセンサデータから第１の物体データを生成するステップであって、第１の物体データが、第１のバージョンによって認識された、車両の環境内の第１の物体の位置および／または向きを含む、ステップと、第２のバージョンによってセンサデータから第２の物体データを生成するステップであって、第２の物体データが、第２のバージョンによって認識された、車両の環境内の第２の物体の位置および／または向きを含む、ステップと、第１の物体データと第２の物体データとの比較によって、認識品質に関して第２のバージョンを評価するステップであって、評価結果が生成される、ステップと、評価結果を制御装置から中央データ処理装置に送信するステップとを少なくとも含む。

【0008】

この方法は、例えば、制御装置のプロセッサによって自動的に実行され得る。例えば、方法を実行するために中央データ処理装置によって生成された命令が制御装置で受信されたときに、方法を実行することができる。

【0009】

車両は、例えば乗用車、トラック、バス、またはバイクの形態での自動車であり得る。より広い意味では、車両は、自律可動ロボットとして理解することもできる。
センサシステムは、少なくとも１つの環境センサ、例えば、カメラ、レーダセンサ、ライダセンサ、または超音波センサを含むことができる。さらに、センサシステムは、ＧＰＳまたはＧＬＯＮＡＳＳなどの全地球航法衛星システムを使用して車両の地理的座標を決定するための位置センサを含むことができる。追加として、車両の運転状態を検知するためのセンサシステムは、例えば加速度センサ、車輪速センサ、操舵角センサ、操舵トルクセンサ、制動圧センサ、またはブレーキペダル移動量センサなどの少なくとも１つの運転ダイナミクスセンサを含むことができる。

【0010】

制御装置でのセンサデータの処理により、例えば他の交通参加者、車線標示、交通標識、信号機、建物、または植物など車両の環境内にある物体を認識することができる。この際、車両に対する物体の位置および／または向きは、複数の連続する時間ステップにおいて決定され、物体リストの形式で環境モデルに記憶することができる。各現在の時間ステップにおいて、物体の将来の位置および／または向きが、１つまたは複数の以前の時間ステップでのそれらの位置および／または向きから推定されることが可能である。

【0011】

センサデータは、複数の連続する時間ステップにおいて受信することができ、各時間ステップにおいて、センサデータを第１のバージョンと第２のバージョンとの両方に入力することができる。

【0012】

制御装置のソフトウェアは、センサデータに基づいて車両を操舵、加速、および／または制動するように構成されることが可能である。このために、車両は、例えば操舵アクチュエータ、制動アクチュエータ、エンジン制御装置、電気駆動モータ、または上述した例のうちの少なくとも２つの組合せの形態での対応するアクチュエータシステムを含むことができる。制御装置のソフトウェアは、運転支援システムの１つまたは複数のコンポーネントを含むことができる。

【0013】

中央データ処理装置は、例えば、サーバ、ＰＣ、ラップトップ、タブレット、またはスマートフォンであり得る。
制御装置と中央データ処理装置とは、ワイヤレスデータ通信接続、例えばＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、および／または移動無線を介して互いに接続することができる。しかし、制御装置と中央データ処理装置との間の有線データ通信接続も可能である。

【0014】

この方法は、追加として、制御装置で第２のバージョンを受信するステップと、制御装置のメモリに第２のバージョンを記憶するステップとを含むことができる。ここで、第２のバージョンは、中央データ処理装置によって生成された、および／または中央データ処理装置から制御装置に送信されたものであり得る。第２のバージョンは、例えばプロセッサによって実行可能なデータの形式で、制御装置で受信され、そこに記憶することができる。

【0015】

第１のバージョンは、より古い、既にリリースされているソフトウェアのバージョンであり得る。第２のバージョンは、より新しい、まだリリースされていないソフトウェアのバージョンであり得る。

【0016】

例えば、第２のバージョンは、例えばセンサデータ中の物体を認識するための認識もしくはセンサデータ融合モジュール、または車両に対するそれらの関連性に関して物体を解釈するための解釈モジュールなど、第１のバージョンの１つまたは複数のソフトウェアモジュールの更新されたバージョンを含むことができる。

【0017】

第１のバージョンは、センサデータを第１の物体データに変換するための第１の認識モジュール、ならびに／または第１の物体データおよび／もしくはセンサデータに基づいて車両に関連性のある物体を決定するための第１の解釈モジュールを含むことが可能である。第１の認識モジュールまたは第１の解釈モジュールは、既にリリースされているソフトウェアのソフトウェアモジュールであり得る。

【0018】

同様に、第２のバージョンは、センサデータを第２の物体データに変換するための第２の認識モジュール、ならびに／または第２の物体データおよび／もしくはセンサデータに基づいて車両に関連性のある物体を決定するための第２の解釈モジュールを含むことが可能である。第２の認識モジュールまたは第２の解釈モジュールは、まだリリースされていないソフトウェアのソフトウェアモジュールであり得る。

【0019】

第１のバージョンと第２のバージョンとは、例えば制御装置のプロセッサによって並列処理において実行することができる。
ここで、第２のバージョンは、隔離された領域で実行することができ、この領域内で、車両の第１のバージョンまたはアクチュエータシステムなど、この領域の外部にある車両のハードウェアおよびソフトウェアコンポーネントにセキュリティに関わる影響を与えることなく、第２のバージョンを実行することができる。そのような隔離された領域で実行されるソフトウェアは、シャドーモードソフトウェアと呼ばれることもある。

【0020】

言い換えると、第１のバージョンと第２のバージョンとは、異なる動作環境で実行することができる。ここで、第２のバージョンは、第１のバージョンの動作環境に比べて制限された動作環境で実行することができる。

【0021】

例えば、第１の物体データは、第１の物体の位置および／または向きに加えて、第１の物体の物体クラスを含むことができる。代替または追加として、第２の物体データは、第２の物体の位置および／または向きに加えて、第２の物体の物体クラスを含むことができる。物体クラスは、例えば「対向車」、「先行車両」、「車線区分線」、「歩行者」などの物体タイプであり得る。物体クラスは、１つまたは複数の分類子を使用したセンサデータの分析によって、第１または第２の物体に割り当てることができる。同一の物体に複数の物体クラスを割り当てることもできる。

【0022】

認識品質に関して第２のバージョンを評価するために、第１の物体データと第２の物体データとは、例えば、第１の物体の位置および／もしくは向きが第２の物体の位置および／もしくは向きと比較される、ならびに／または第１の物体が認識された認識時点が第２の物体が認識された認識時点と比較されることによって互いに比較することができる。しかし、他の比較方法も可能である。

【0023】

このために、それぞれ１つの第１の物体と１つの第２の物体とのリンクを決定することができる。ここで、互いにリンクされた物体の位置および／もしくは向きならびに／または認識時点を互いに比較することができる。互いにリンクされている物体は、車両の環境内にある同一の実際の物体を表す物体モデルであり得る。

【0024】

第２のバージョンの評価により、その認識品質、すなわち第２のバージョンによって物体が認識される認識精度および信頼性が、第１のバージョンの認識品質よりも悪いか、または少なくとも同様に良いかを決定することができる。

【0025】

評価結果は、例えば、絶対的に、および／または第１のバージョンに対して相対的に見て、第２のバージョンの認識精度および信頼性に関する統計的推定値を含むことがある。追加または代替として、認識品質についての第２のバージョンの評価に関する評価結果は、第１および／もしくは第２の物体データならびに／またはセンサデータからの関連性のあるデータシーケンスを含むことができる。例えばワイヤレスデータ通信接続を介してデータシーケンスを中央データ処理装置に送信することにより、車両の現在地に関係なく、データシーケンスを中央位置で分析することができる。

【0026】

そのようなデータシーケンスは、例えば、認識品質についての第２のバージョンの評価に関して関連性のある物体を含む物体リスト、および／またはこれらの物体の基礎になっている（生の）センサデータを含むことができる。

【0027】

例えば、第１のバージョンによって認識された物体が第２のバージョンによっては認識されなかったと判定されるとき、第２のバージョンが、認識品質に関して第１のバージョンよりも悪いと評価されることがある。

【0028】

逆に、第２のバージョンによって認識された物体が第１のバージョンによっては認識されなかったと判定されるとき、第２のバージョンが、認識品質に関して第１のバージョンよりも良いと評価されることが可能である。

【0029】

ここで、車両に関連性のある物体と車両に関連性のない物体とが区別されると好適である。例えば、物体は、車両に対するその距離および／もしくはその相対速度に応じて、ならびに／またはその物体クラスに応じて、車両に関連性のあるものまたは関連性のないものとして認識されることがある。

【0030】

ここで述べるおよび以下で述べる手法は、運転支援システムの開発における支援のために、ソフトウェアを量産車両でいわゆるシャドーモードで実行することができることに基づく。ここで、ソフトウェアまたは個々のソフトウェアモジュールは、車両内のアクティブなコンポーネントに対して逆作用することなく、隔離された領域で受動的に実行される。この領域では、例えば新しく開発されたソフトウェアバージョンを、迅速な反復で実行して評価することができる。このために、例えば、評価フレームワークを利用することができ、評価フレームワークは、所定のトリガロジックに基づいてデータシーケンスの記録をトリガし、クラウドへのワイヤレスデータ伝送を保証する。したがって、新たに開発されたソフトウェアバージョンを、現実の現場での事象に対応する大量のデータを使用して、非常に迅速に比較して評価することができる。

【0031】

ここで、本発明の第１の態様の一実施形態による方法では、そのようなシャドーモードを利用して、車両の制御装置用のソフトウェアの更新されたバージョンが、車両でアクティブになっているこのソフトウェアの既にリリースされているバージョンと同様に良くまたはそれよりも良く特定の目標パラメータを達成するかどうかを判定することができる。このために、車両においてシャドーモードで実行されている更新されたバージョンの結果を、既にリリースされているバージョンの結果と直接比較することができる。これは、例えば運転支援システムのソフトウェアモジュールの更新を、従来のリリース方法と比較して大幅に少ないコストでリリースし、したがってはるかに頻繁に提供することができるという利点がある。

【0032】

前述および後述の方法を実行するために、ソフトウェアの第１のバージョンと第２のバージョンとを同じ制御装置で実行する必要は必ずしもないことに留意されたい。代わりに、以下で記載するように、２つのバージョンを、場合によっては互いにネットワーク接続された異なる制御装置で実行することもできる。

【0033】

第１のバージョンが第１の制御装置によって実行され、第２のバージョンが第２の制御装置によって実行されることが可能である。第２の制御装置は、第２のバージョンに加えて、ソフトウェアの（リリースされている）第１のバージョンまたは別のリリースされるバージョンを実行することもできる。

【0034】

第１の制御装置は、例えば第１の車両の制御装置であってもよい。第２の制御装置は、例えば第２の車両の制御装置であってもよい。第１の制御装置と第２の制御装置とは、データ通信のために、例えばワイヤレスデータ通信接続を介して互いに接続することができる。

【0035】

第１の物体データは、例えば第１のセンサデータから第１の制御装置によって生成することができ、第１のセンサデータは、第１の車両の環境を検知するための第１のセンサシステムによって生成されたものであり得る。

【0036】

第２の物体データは、例えば第２のセンサデータから第２の制御装置によって生成することができ、第２のセンサデータは、第２の車両の環境を検知するための第２のセンサシステムによって生成されたものであり得る。

【0037】

第１の制御装置が、第２の制御装置から第２の物体データを受信することが可能である。
したがって、例えば、第１の物体データと、第２の制御装置から受信された第２の物体データとの比較によって、第１の制御装置によって評価結果を生成することができる。ここで、評価結果は、第１の制御装置から中央データ処理装置に、および追加として、第２の制御装置にも送信することができる。

【0038】

本発明の第２の態様は、本発明の第１の態様の一実施形態による方法を実行するように構成されているプロセッサを含む制御装置に関する。本発明の第１の態様の一実施形態による方法の特徴は、制御装置の特徴でもあり得て、逆も同様である。

【0039】

制御装置は、ハードウェアおよび／またはソフトウェアモジュールを含むことができる。プロセッサに加えて、制御装置は、メモリと、周辺機器とのデータ通信のためのデータ通信インターフェースとを含むことができる。

【0040】

本発明の第３の態様は、コンピュータプログラムに関する。コンピュータプログラムは、コンピュータプログラムがプロセッサによって実行されるとき、プロセッサに本発明の第１の態様の一実施形態による方法を実行させる命令を含む。

【0041】

本発明の第４の態様は、本発明の第３の態様の一実施形態によるコンピュータプログラムが記憶されているコンピュータ可読媒体に関する。コンピュータ可読媒体は、揮発性または不揮発性のデータストレージであってもよい。例えば、コンピュータ可読媒体は、ハードドライブ、ＵＳＢメモリ装置、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、またはフラッシュメモリであってもよい。コンピュータ可読媒体は、また、プログラムコードのダウンロードを可能にするデータ通信ネットワーク、例えばインターネットまたはデータクラウド（クラウド）であってもよい。

【0042】

本発明の第１の態様の一実施形態による方法の特徴は、コンピュータプログラムおよび／またはコンピュータ可読媒体の特徴でもあり得て、逆も同様である。
本発明の実施形態に関する着想は、とりわけ以下に記載する考えおよび知見に基づいているとみなすことができる。

【0043】

一実施形態によれば、各第１の物体について、第１の物体が第１のバージョンによってどれほど良く認識されたかを示す少なくとも１つの第１の評価パラメータが決定される。ここで、各第２の物体について、第２の物体が第２のバージョンによってどれほど良く認識されたかを示す、少なくとも１つの第２の評価パラメータが決定される。次いで、第２のバージョンは、第１の評価パラメータと第２の評価パラメータとの比較によって評価される。第１または第２の評価パラメータは、例えば、認識時点、または統計値、例えば認識された位置および／もしくは向きに関する信頼度であり得る。第２のバージョンは、同一の物体の第１の評価パラメータと第２の評価パラメータとの比較によって評価することができる。言い換えると、第１の物体、および第１の物体に一致する第２の物体を、第１の物体に割り当てられた第１の評価パラメータと第２の物体に割り当てられた第２の評価パラメータとの比較によって評価することができる。例えば、第１のバージョンと第２のバージョンとの比較のために、第１の評価パラメータと対応する第２の評価パラメータとから差分を生成することができ、その差分に基づいて第２のバージョンを評価することができる。これにより、個々の認識された物体に基づいてソフトウェアの評価が可能にされる。

【0044】

一実施形態によれば、第１の評価パラメータは、第１の物体が第１のバージョンによって認識された認識時点である。追加または代替として、第２の評価パラメータは、第２の物体が第２のバージョンによって認識された認識時点であってもよい。例えば、物体が第２のバージョンによって認識された認識時点が、同じ物体が第１のバージョンによって認識された認識時点よりも早い時点であるとき、第２のバージョンは、認識品質の面で第１のバージョンよりも良いと評価することができ、逆も同様である。そのような認識時点の比較は容易に実行することができ、十分に正確な評価結果を提供する。

【0045】

一実施形態によれば、第１の評価パラメータは、第１の物体の位置および／または向きに関する確率である。追加または代替として、第２の評価パラメータは、第２の物体の位置および／または向きに関する確率であってもよい。確率によって、例えば位置および／または向きの精度、より正確には、位置および／または向きの確率分布に関する位置パラメータの精度を示すことができる。第１または第２の評価パラメータは、例えば、確率分布の位置パラメータおよび／または分散パラメータであってもよい。第１または第２の評価パラメータが信頼区間を示すことも可能である。したがって、方法の精度および信頼性を高めることができる。

【0046】

一実施形態によれば、第１のバージョンによって、第１の物体の中から、車両に関連性のある第１の物体が選択される。ここで、互いに一致する物体は、関連性のある第１の物体と第２の物体との比較によって決定される。次いで、互いに一致する物体の評価パラメータが互いに比較される。既にさらに上で述べたように、第１の物体の中から、例えば車両に対するその距離および／もしくはその相対速度に応じて、ならびに／またはその物体クラスに応じて、関連性のある第１の物体を選択することができる。これは、第１のバージョンの第１の解釈モジュールを使用して行うことができ、第１の解釈モジュールは、例えば第１の物体を様々な関連性カテゴリ、最も単純な場合には例えば関連性カテゴリ「関連性あり」と「関連性なし」とに分けることによって、第１の物体の関連性を状況および／または機能に応じて決定するように構成されていてもよい。これにより、（検証またはリリースされている）第１のバージョンによって関連性ありと認識された物体を第２のバージョンがそもそも認識するかどうかを判定することができる。これが判定される場合、これは、第２のバージョンの認識品質が少なくとも第１のバージョンの認識品質よりも悪くないことを示す強力な指摘として評価することができる。

【0047】

一実施形態によれば、第２のバージョンによって、第２の物体の中から、関連性のある第１の物体のいずれとも一致しない、車両に関連性のある第２の物体が選択される。ここで、各関連性のある第２の物体について個別評価が生成され、個別評価は、第２のバージョンによる関連性のある第２の物体の認識が、第１のバージョンに対する第２のバージョンの認識品質の向上に対応するかまたは悪化に対応するかを示す。次いで、第２のバージョンは、個別評価に基づいてさらに評価される。このために、まず、第２の物体データが、関連性のある第１の物体のいずれにも一致しない、すなわち第１のバージョンでは認識されなかった、または少なくとも関連性ありと認識されなかった第２の物体を含むかどうかを判定することができる。関連性のある第１の物体のいずれにも一致しない第２の物体が車両に関連性があるか否かをさらに判定することもできる。既にさらに上で述べたように、これは、第２のバージョンの第２の解釈モジュールを使用して行うことができ、第２の解釈モジュールは、第１の解釈モジュールと同様に、例えば第２の物体を様々な関連性カテゴリ、最も単純な場合には例えば関連性カテゴリ「関連性あり」と「関連性なし」とに分けることによって、第２の物体の関連性を状況および／または機能に応じて決定するように構成されていてもよい。

【0048】

個別評価は、例えば評価結果の一部として中央データ処理装置に送信することができる。追加または代替として、評価結果は、それぞれの個別評価の基礎となる物体データおよび／またはセンサデータを含むことができる。物体データおよび／またはセンサデータは、それらが基づいている個別評価が第１のバージョンに対する第２のバージョンの認識品質の悪化を示しているときにのみ、評価結果の一部として送信されることが可能である。

【0049】

この実施形態により、第１のバージョンによって既に認識されていない関連性のある物体を第２のバージョンが認識するか否かに応じて、第２のバージョンを評価することができる。第２のバージョンの評価は、例えば各個別評価で再計算することができる。

【0050】

一実施形態によれば、センサデータ、および／または車両の少なくとも１つの運転ダイナミクスセンサによって生成された運転ダイナミクスデータに基づいて、車両の運転状態の変化が決定され、これらの変化は、第２のバージョンによって関連性のある第２の物体が認識された認識時点と時間的に相関する。ここで、それぞれの関連性のある第２の物体と時間的に相関する運転状態の変化の分析によって、各個別評価が生成される。第１のバージョンによって（関連性ありと）認識されなかった、関連性のある第２の物体の認識が、第１のバージョンに対する第２のバージョンの認識品質の向上に実際に対応するかどうかを判定するために、センサデータおよび／または運転ダイナミクスデータを例えば分析して、当該の物体の認識時点での車両の運転者の反応を決定し、これを解釈することができる。例えば、運転者の反応、または少なくとも関連性のある反応を判定できない場合、これは、当該の物体の認識によって認識品質がそれほど向上されなかったことの強力な指摘として評価することができ、逆も同様である。

【0051】

一実施形態によれば、第２の物体データは、複数の連続する時間ステップにおいて生成される。ここで、第２の物体は、異なる時間ステップからの第２の物体データどうしを比較することによって妥当性をチェックされる。次いで、第２のバージョンは、第２の物体の妥当性に応じてさらに評価される。例えば、異なる時間ステップからの同一の物体の位置および／または向きを互いに比較して、不整合性、すなわち物体の位置および／または向きの妥当性のない変化を確定することができる。これにより、第２のバージョンが時間的に一貫した妥当性のある物体データを提供するかどうかを判定することができる。複数の連続した時間ステップにわたるそれらの位置および／または向きなど、個々の妥当性のない物体に関する物体データが、評価結果の一部として中央データ処理装置に送信されることが可能である。

【0052】

一実施形態によれば、評価結果は、センサデータ、第１の物体データ、および／または第２の物体データからのデータシーケンスを含む。第２のバージョンの評価は、データシーケンスに基づくことができる。言い換えると、データシーケンスは、第１のバージョンに対する第２のバージョンの認識品質の向上または悪化を示すことができる。これらのデータシーケンスの送信により、その認識品質に関して第２のバージョンの所期の外部分析が可能にされる。

【0053】

一実施形態によれば、認識品質に関して第２のバージョンが第１のバージョンよりも悪いと評価されたときにのみ、データシーケンスが送信される。それにより、制御装置と中央データ処理装置との間のデータ通信の効率を向上させることができる。

【0054】

以下、添付図面を参照しながら本発明の実施形態を記載するが、図面も本明細書も、本発明を限定するものと解釈すべきではない。

【図面の簡単な説明】

【0055】

【図1】本発明の一例示的実施形態による制御装置を備えた車両を示す図である。

【図2】図１からの制御装置上で実行されるソフトウェアの様々なモジュールを示す図である。

【発明を実施するための形態】

【0056】

図は、概略にすぎず、一律の縮尺では描かれていない。各図において、同一の参照符号は、同一の特徴または同一機能を有する特徴を示す。
図１は、制御装置１０２と、車両１００の環境を検知するためのセンサシステム１０４と、アクチュエータシステム１０６とを装備された車両１００を示す。

【0057】

センサシステム１０４は、例えば、カメラ、レーダセンサ、ライダセンサ、および／または超音波センサを含むことができる。追加として、センサシステム１０４は、少なくとも１つの運転ダイナミクスセンサ、例えば加速度センサまたはヨーレートセンサを含むことができる。センサシステム１０４は、複数の連続する時間ステップにおいてセンサデータ１０８を生成し、センサデータ１０８は、制御装置１０２で受信され、そこで物体認識の枠組で分析される。制御装置１０２は、対応するソフトウェア１１１が記憶されているメモリ１１０と、ソフトウェア１１１を実行するためのプロセッサ１１２とを含む。

【0058】

制御装置１０２は、センサデータ１０８に基づいて、すなわちそれによって実行された物体認識の結果に基づいて、アクチュエータシステム１０６の自動制御のための制御信号１１４を生成することが可能である。アクチュエータシステム１０６は、例えば、車両１００を操舵または制動するための１つまたは複数の操舵および／または制動アクチュエータを含むことができる。

【0059】

制御装置１０２では、ソフトウェア１１１の２つの異なるバージョン１１１ａ、１１１ｂが同時に実行され、バージョン１１１ａ、１１１ｂに、それぞれセンサデータ１０８が入力される。ここで、ソフトウェア１１１の第１のバージョン１１１ａによるセンサデータ１０８の分析により、車両１００の環境内の第１の物体１１６が認識され、ソフトウェア１１１の第２のバージョン１１１ｂによるセンサデータ１０８の分析により、車両１００の環境内の第２の物体１１８が認識される。第１の物体１１６および第２の物体１１８、ここでは例えば先行車両は、同一の物体であっても異なる物体であってもよい。第１の物体１１６と第２の物体１１８との比較により、制御装置１０２は、第１のバージョン１１１ａに対する第２のバージョン１１１ｂの認識品質を評価することができる。これについて、図２に基づいて以下でより詳細に記載する。

【0060】

図２は、制御装置１０２上で実行されるソフトウェア１１１のブロック図を示す。この例では、第１のバージョン１１１ａは、既に検証またはリリースされている、すなわちソフトウェア１１１のアクティブなバージョンであり、第２のバージョン１１１ｂは、ソフトウェア１１１のまだ検証またはまだリリースされていないバージョンであり、第１のバージョン１１１ａとは異なり、制御装置１０２の制限された動作環境２００内で実行され得る、すなわち、制限された動作環境２００の外部のコンポーネントから遮蔽された試験領域内で受動的に第１のバージョン１１１ａと共に実行され得る。第２のバージョン１１１ｂは、第１のバージョン１１１ａの更新、例えば、ソフトウェア１１１の第１のバージョン１１１ａに対して改良および／または拡張されたバージョンであり得る。第２のバージョン１１１ｂは、シャドーソフトウェアとも呼ばれる。

【0061】

代替として、第２のバージョン１１１ｂを、同様に別個の制御装置に割り当てることもできる。
この例では、センサデータ１０８は、第１のバージョン１１１ａの第１の認識モジュール２０２と第２のバージョン１１１ｂの第２の認識モジュール２０４との両方に入る。ここで、第１の認識モジュール２０２は、センサデータ１０８から第１の物体データ２０６を生成し、第１の物体データ２０６は、車両１００に対する第１の物体１１６の位置および／または向きを含む。ここで、第２の認識モジュール２０４は、センサデータ１０８から第２の物体データ２０８を生成し、第２の物体データ２０８は、車両１００に対する第２の物体１１８の位置および／または向きを含む。

【0062】

認識された物体１１６、１１８は、それらのそれぞれの位置および／または方向と共に、例えば物体リストの形式で、車両１００の環境の環境モデルに記憶し、そこでセンサデータ１０８に基づいて継続的に更新することができる。これに関連して、第１の物体１１６および第２の物体１１８は、環境モデルに記憶された、車両１００の環境内に実際に存在する物体の物体モデルと理解することができる。

【0063】

それぞれの位置および／または向きに加えて、第１の物体データ２０６および／または第２の物体データ２０８は、認識された各物体１１６または１１８について、例えば「車両」、「歩行者」、または「車線標示」など１つまたは複数の物体タイプを指定することができる。

【0064】

第１の物体データ２０６および第２の物体データ２０８は、ソフトウェア１１１の評価モジュール２１０に入力され、評価モジュール２１０は、この例では、第２のバージョン１１１ｂと同様に、セキュリティ上の理由から、制限された動作環境２００内で実行される。評価モジュール２１０は、第１の物体データ２０６を第２の物体データ２０８と適切に比較することによって、第１のバージョン１１１ａに対する第２のバージョン１１１ｂの認識品質を評価する。ここで、評価モジュール２１０は、対応する評価結果２１２を生成し、さらなる分析のために、評価結果２１２を、例えばＷＬＡＮ接続、Ｂｌｕｅｔｏｏｔｈ接続、および／または移動無線接続を介して車両１００の外部の中央データ処理装置２１４に送信する。

【0065】

この評価の枠組で、第１の物体１１６は、１つまたは複数の適切な評価パラメータに基づいて、例えばそれぞれの認識時点に基づいて、またはそれぞれの位置および／もしくは向きの精度および／もしくは信頼性に関する１つもしくは複数の推定値に基づいて、対応する第２の物体１１８と互いに比較することができる。

【0066】

第１の物体データ２０６は、第１のバージョン１１１ａの第１の解釈モジュール２１６によって解釈される、すなわち車両１００に関するそれらの関連性に関して分析されることが可能である。ここで、第１の解釈モジュール２１６は、車両１００の現在の状況に応じて、第１の物体１１６の中から１つまたは複数の関連性のある第１の物体１１６’（図１では例えば車両１００の左側の先行車両）を選択し、それに対応してフィルタリングされた第１の物体データ２０６’を評価モジュール２１０に送信することができる。

【0067】

次いで、評価モジュール２１０は、例えばそれぞれの位置および／もしくは向きならびに／またはそれぞれの認識時点に基づいて、関連性のある第１の物体１１６’を対応する第２の物体１１８にリンクすることができる。引き続いて、互いにリンクされた物体の評価パラメータを互いに比較して、第２のバージョン１１１ｂを評価することができる。互いにリンクされている物体は、車両１００の環境内に実際に存在する同一の物体の物体モデルである限りにおいて、互いに一致する物体であり得る。

【0068】

さらに、第２の物体データ２０８は、第２のバージョン１１１ｂの第２の解釈モジュール２１８によって解釈される、すなわち車両１００に関するそれらの関連性に関して分析されることが可能である。ここで、第２の解釈モジュール２１８は、車両１００の現在の状況に応じて、第２の物体１１８の中から１つまたは複数の関連性のある第２の物体１１８’（図１では例えば車両１００の右側の先行車両）を選択し、それに対応してフィルタリングされた第２の物体データ２０８’を評価モジュール２１０に送信することができる。

【0069】

この場合、評価モジュール２１０は、関連性のある第１の物体２０６’と関連性のある第２の物体２０８’との中に一意に互いに一致する物体があるかどうかを決定することができる。関連性のある第２の物体２０８’の１つが関連性のある第１の物体２０６’の１つと一致しない場合、評価モジュール２１０は、この第２の物体に関して、この第２の物体の認識が第１のバージョン１１１ａに対する第２のバージョン１１１ｂの認識品質の向上を表すか悪化を表すかを示す個別評価を生成することができる。次いで、個別評価に基づいて、評価結果２１２を生成することができる。

【0070】

個人評価の生成は、センサデータ１０８に基づいて行うことができる。ここで、センサデータ１０８は、車両１００の１つまたは複数の環境センサによって生成された環境データに加えて、車両１００の１つまたは複数の運転ダイナミクスセンサによって生成された運転ダイナミクスデータを含むことができる。

【0071】

評価モジュール２１０によるセンサデータ１０８の分析時、例えば車両１００の運転者の対応する反応によって引き起こされる、関連性のある第２の物体１１８’の認識と時間的に相関する車両１００の運転ダイナミクス状態の変化を決定することができる。この変化に基づいて、当該の物体の認識が第２のバージョン１１１ｂの認識品質の向上に相当するか悪化に相当するかを最終的に判定することができる。

【0072】

代替として、第２の解釈モジュール２１８は、まず、関連性のある第１の物体１１６’のいずれとも一意に一致しない第２の物体１１８を決定し、引き続いて、そこから関連性のある第２の物体１１８’を選択するように構成していてもよい。

【0073】

追加として、評価モジュール２１０は、第２の物体１１８の妥当性をチェックするように構成していてもよい。このために、評価モジュール２１０は、複数の連続する時間ステップの第２の物体データ２０８に基づいて第２の物体１１８を分析することができる。ここで、評価結果２１２は、第２の物体１１８の妥当性を考慮してさらに決定することができる。妥当性のないまたは一貫性のない第２の物体１１８に関する例が図１に破線の枠で示唆されている。

【0074】

第２の認識モジュール２０４および／または第２の解釈モジュール２１８を使用して解決されるべき認識タスクの検証の意味での第２のバージョン１１１ｂの評価は、例えば以下のステップを含むことができる。

【0075】

第１に、第１のバージョン１１１ａによって認識された関連性のある第１の物体１１６’が、シャドーモードで実行される第２のバージョン１１１ｂによっても同様に、またはより良い様式で認識されたかどうかがチェックされる。ここで、第１の物体１１６の関連性は、第１の認識モジュール２０２自体によって確定されるのではなく、第１の解釈モジュール２１６によって、すなわち１つまたは複数の後続の解釈ソフトウェア要素によって、一種の状況分析において確定される。第２の物体１１８のどれが関連性のある第１の物体１１６’に対応するかを判定するために、評価モジュール２１０においてリンク付けが実行される。次いで、例えばそれぞれの認識時点、またはそれぞれの位置および／もしくは向きに関する信頼度を含むことができる所定の測定基準に基づいて、２つのバージョン１１１ａ、１１１ｂの認識品質が互いに比較される。第２のバージョン１１１ｂの認識品質の悪化が判定される場合、対応するデータシーケンスを中央データ処理装置２１４に直接送信することができる。ここで、データシーケンスは、対応するセンサデータ１０８および／または対応する物体データ１１６もしくは１１８から生成することができる。逆に、認識品質の向上は、そのようなデータシーケンスが中央データ処理装置２１４に到着しないことによって確認することができる。追加または代替として、制御装置１０２が、まとめられた統計を中央データ処理装置２１４に定期的に送信することによって、認識品質の向上または悪化を検知することができる。

【0076】

第２に、第２のバージョン１１１ｂによって認識されたが、関連性のある第１の物体１１６’の１つとリンクさせることができない各第２の物体１１８について、車両１００に関するその関連性が判定され、この第２の物体の認識によって認識品質が悪化したかまたは向上したかを示す評価が実行される。第２の解釈モジュール２１８が、一種の状況分析において、関連性のある第１の物体１１６’のいずれにもリンクさせることができない第２の関連性のある物体１１８’を確定した場合、まず、所定のロジックを用いて、例えばこの物体に対する運転者の反応に基づいて、この物体の認識が認識品質の向上を表すかまたは悪化を表すかが確定される。ロジックに応じて、統計でのプロセスを検知することができる。追加または代替として、中央データ処理装置２１４での外部分析のために、対応するデータシーケンスの直接送信をトリガすることができる。

【0077】

第３に、第２の物体１１８および／または関連性のある第２の物体１１８’が時間と共に一貫性があり妥当性があるかどうかがチェックされる。このために、評価モジュール２１０は、センサデータ１０８および／または第２の物体データ２０８もしくは２０８’からの時間プロファイルに基づいて、車両１００のすぐ近くの環境内で第２の物体１１８が突然出現するまたは突然消えるなどの非整合性を検出する。これらの物体に関する情報は、対応するデータシーケンスの形式で直接、または統計の形式でまとめて、制御装置１０２からデータ処理装置２１４に送信することができる。

【0078】

分類タスクの検証も同様に実行することができる。
最後に、「備える」および「含む」などの用語は、他の要素またはステップを排除するものではなく、「１つ（ｅｉｎｅ）」または「１つ（ｅｉｎ）」などの用語は、多数を排除するものではないことに留意されたい。特許請求の範囲における参照符号は、限定として解釈されるべきではない。

【図1】

【図2】

【国際調査報告】