特開 2024-169320 運転者支援システムの連続的な統合アプローチのための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169320

(43)【公開日】2024-12-05

(54)【発明の名称】運転者支援システムの連続的な統合アプローチのための方法

(51)【国際特許分類】

   G06F 11/07 20060101AFI20241128BHJP

【ＦＩ】

G06F11/07 140R

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024069229

(22)【出願日】2024-04-22

(31)【優先権主張番号】10 2023 113 400.0

(32)【優先日】2023-05-23

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】510238096

【氏名又は名称】ドクター エンジニール ハー ツェー エフ ポルシェ アクチエンゲゼルシャフト

【氏名又は名称原語表記】Ｄｒ． Ｉｎｇ． ｈ．ｃ． Ｆ． Ｐｏｒｓｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ

【住所又は居所原語表記】Ｐｏｒｓｃｈｅｐｌａｔｚ １， Ｄ－７０４３５ Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100202647

【弁理士】

【氏名又は名称】寺町 健司

(72)【発明者】

【氏名】モリッツ マルコフスキー

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042HH11

5B042JJ29

(57)【要約】      （修正有）

【課題】データ駆動型検証に基づく運転者支援システムに連続的な統合アプローチのための方法及びテストシステムを提供する。
【解決手段】方法は、ソフトウェア全体の現在のバージョンをサーバにロードするステップ、コンピュータプログラムをハードウェアインザループテストベンチに転送するステップ、テストデータセットをハードウェアインザループテストベンチにロードするステップ、前記プログラムを実行するステップ、現在のソフトウェアバージョンとテストデータセットの出力データとの間の出力における夫々の差をロギングするステップ、現在のソフトウェアバージョンの出力をグラウンドトゥルースデータと一致させ、現在のソフトウェアバージョンの性能評価をもたらすステップ、全ての差及びそれらの性能スコアについて性能統計を形成するステップ及びソフトウェア全体の変更を評価するステップを含むデータ駆動型検証を所定の時間間隔で反復実行する。
【選択図】なし

【特許請求の範囲】

【請求項1】

運転者支援システムの連続的な統合アプローチの方法であって、実際の交通で車両の運転中に、測定データが車両センサによって測定され、車両アクチュエータの設定が決定され、前記測定データ及び設定が、テストデータセット（１１）に記憶され、前記テストデータセット（１１）が、前記運転者支援システムの入力データ及び出力データの時系列を含み、テスト対象システム（１２）が、前記テストデータセット（１１）を用いてテストされ、運転者支援システム（ＡＤＡＳ）又は自動運転システム（ＡＤＳ）が、前記テスト対象システム（１２）として選択され、前記テスト対象システム（１２）が、ソフトウェア全体によって形成され、前記ソフトウェア全体が、連続的に変更され、以下のステップを含むデータ駆動型検証であって、
前記テスト対象システム（１２）を形成する前記ソフトウェア全体の現在のソフトウェアバージョンをサーバにロードするステップと、
前記サーバ上の前記現在のソフトウェアバージョンを実行可能なコンピュータプログラムにコンパイルするステップと、
前記コンピュータプログラムを、ハードウェアインザループテストベンチに転送するステップと、
前記テストデータセット（１１）を前記ハードウェアインザループテストベンチにロードするステップと、
前記入力データを前記テストデータセットに供給している間、前記ハードウェアインザループテストベンチ上で前記コンピュータプログラムを起動するステップと、
前記現在のソフトウェアバージョンと前記テストデータセットの前記出力データとの間の出力のそれぞれの差をロギングするステップと、
前記現在のソフトウェアバージョンの前記出力をグラウンドトゥルースデータ（１３）と同時に一致させ（１４）、それによって、前記現在のソフトウェアバージョンの性能の改又は劣化を推測し、性能スコアを前記それぞれの差に割り当てるステップと、
全ての差及びそれらの性能スコアについて性能統計を形成するステップと、
前記性能統計に基づいて、前記ソフトウェア全体の変更を評価するステップと、
レポートを出力するステップと、を含むデータ駆動型検証が所定の時間間隔で反復的に実施されており、
変更された前記ソフトウェア全体が、実際の車両の制御中に実行される、方法。

【請求項2】

前記テストデータセット（１１）が、通常の道路交通に関与する顧客車両、および通常の道路交通における前記テスト対象システムのテストに関与する車両のソースのうちの少なくとも１つから生成される、請求項１に記載の方法。

【請求項3】

前記テストデータセット（１１）が、センサデータ、地図材料、交通条件、前記運転者支援システムの出力のデータカテゴリーに対する少なくとも１つの時系列によって形成される、請求項１に記載の方法。

【請求項4】

前記レポートが、検証反復中に発生した任意の新しいテスト対象システム（１２）エラーを列挙する、請求項１に記載の方法。

【請求項5】

開ループＡＤＡＳ／ＡＤＳが、テスト対象システム（１２）としてテストされる、請求項１に記載の方法。

【請求項6】

前記テスト対象システム（１２）が、交通標識認識、暗視、自己運動ロケーターの開ループ運転者支援システムのうちの１つによって形成される、請求項５に記載の方法。

【請求項7】

機能分解概念を使用して、閉ループシステムの少なくとも１つのサブコンポーネントがテストされ、前記閉ループシステムが、少なくとも１つの閉ループサブコンポーネント及び少なくとも１つの開ループサブコンポーネントを備え、前記少なくとも１つの開ループサブコンポーネントが、テストされる前記少なくとも１つのサブコンポーネントとして選択される、請求項１に記載の方法。

【請求項8】

複数のテストベンチが、前記テストデータセット（１１）を複数の期間に分割することと、それぞれの前記期間でそれぞれの前記テストベンチにテストデータセット（１１）を供給することとによって、並列に使用される、請求項１に記載の方法。

【請求項9】

前記評価に従って、前記ソフトウェアバージョンにおけるそれぞれの変更が破棄され、新しい反復起動が開始される、請求項１に記載の方法。

【請求項10】

運転者支援システムの連続的な統合アプローチのためのテストシステムであって、前記テストシステムが、サーバと、コンピューティングユニットを有するハードウェアインザループテストベンチと、を備え、前記コンピューティングユニットが、請求項１～９のいずれか一項に記載の方法に従ってアルゴリズムを実行するように構成されている、テストシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ駆動型検証に基づく運転者支援システムの連続的な統合アプローチのための方法に関する。更に、運転者支援システムの連続的な統合アプローチのためのテストシステムを特許請求している。

【背景技術】

【0002】

いわゆる連続的な統合アプローチは、ソフトウェアプロジェクトの現在の状態がコンパイルされ、短い間隔（例えば、毎日）で自動的にテストされる、ソフトウェア開発からの方法を説明する。これにより、連続的に進化するソフトウェアプロジェクトへの影響が依然として小さい段階で、エラーを非常に早期に検出及び修正することが可能になる。この連続的な統合アプローチの必要条件は、ソフトウェアプロジェクトのコンパイル可能かつテスト可能なソフトウェア全体の連続的な可用性である。

【0003】

運転者支援システム（ＡＤＡＳ）及び自動運転システム（ＡＤＳ）では、連続的な統合アプローチは、単純なサブコンポーネント検証テストに今では限定される。ここでは、特に単純なテストケース、ＨＭＩ（ヒューマンマシンインターフェース）テスト、及びパートナー制御デバイスとの通信に関するテストがテストされる。しかしながら、多くの関連するテストケース又は交通シナリオはテストされない。これは、これらのテストケースは、再現が非常に複雑であり、通常、全く知られていないか、又は説明を欠くためである。

【0004】

加えて、ＡＤＡＳ／ＡＤＳは、機能不備の特性を有する。これは、原則として、交通で発生する全てのシナリオが、運転者支援システムによって正しく処理されなければならないことを意味する。しかしながら、これらのシナリオの多くは非常に大きいので、一方では全てが既知ではなく、他方では、仕様書では記載できない。結果として、連続的な統合アプローチの仕様書由来の検証テストも不完全である。

【0005】

独国特許出願公開第１０２０１６２２０９１３号明細書は、自律車両のためのテストケースを生成するための方法を開示しており、テストケースは、公道交通に関与している車両からのデータに基づいて自動的に生成される。

【0006】

自律自動車をシミュレートするためのシミュレーションシステムは、米国特許出願公開第２０２１／０１０３２８３号明細書から既知であり、シミュレーションシステムは、交通シナリオからのセンサデータを処理し、エラー及び問題は、連続的な統合アプローチを使用して自動的に見出される。

【0007】

独国特許出願公開第１０２０１９１３４０５３号明細書は、運転支援システムの適用のための適用方法を記載しており、新しい適用状態は、連続的な統合環境によってそれらの性能に関してテストされる。

【発明の概要】

【発明が解決しようとする課題】

【0008】

これを考慮して、本発明の目的は、運転者支援システムに連続的な統合アプローチのための方法を提供することであり、運転者支援システムのソフトウェア全体は、日常の交通状況でテストされる。考慮すべきテストケースは、単純に構造化されたテストケースにとどまらず、顧客固有のシナリオも網羅できる。更に、方法が行われるテストシステムが提供される。

【課題を解決するための手段】

【0009】

上述のタスクを解決するために、運転者支援システムの連続的な統合アプローチのための方法が提供され、実際の交通における車両の運転中に、測定データが車両センサによって測定され、車両アクチュエータ設定が決定され、測定データ及び設定がテストデータセットに記憶され、テストデータセットが、運転者支援システムの入力データ及び出力データの時系列を含む。テストデータセットは、テスト対象システムをテストするために使用され、運転者支援システム（ＡＤＡＳ）又は自動運転システム（ＡＤＳ）が、テスト対象システムとして選択される。テスト対象システムは、ソフトウェア全体によって形成又は表され、ソフトウェア全体は連続的に変更される。所定の時間間隔で、データ駆動型検証の以下のステップ：
テスト対象システムを形成するソフトウェア全体の現在のソフトウェアバージョンをサーバにロードするステップ、
サーバ上の現在のソフトウェアバージョンを実行可能なコンピュータプログラムにコンパイルする（したがって、同時に可読性をテストする）ステップ、
コンピュータプログラムを、ハードウェアインザループテストベンチに転送する（それゆえ、例えば、フラッシングによって、転送動作を同時にテストする）ステップ、
テストデータセットをハードウェアインザループテストベンチにロードするステップ、
入力データをテストデータセットに供給している間、ハードウェアインザループテストベンチ上でコンピュータプログラムを起動するステップ、
現在のソフトウェアバージョンとテストデータセットの出力データとの間の出力のそれぞれの差をロギングするステップ、
現在のソフトウェアバージョンの出力をグラウンドトゥルースデータと同時に一致させ、それによって、現在のソフトウェアバージョンの性能の改善又は劣化を推測し、性能スコアをそれぞれの差に割り当てるステップ、
全ての差及びそれらの性能スコアについて性能統計を形成するステップ、
性能統計に基づいて、ソフトウェア全体の変更を評価するステップ、
レポートを出力するステップが反復的に実施される。
変更されたソフトウェア全体が、実際の車両の制御中に実行される。

【0010】

本発明による方法によって、有利には、顧客固有の操作下で運転者支援システムを自動的に検証することが可能である。これらの自動テストは、ヒトのテストエンジニアを必要としないため、絶え間なく起動され得る。

【0011】

本発明による方法の一実施形態では、テストデータセットは、以下のソース：通常の道路交通に関与する顧客車両、通常の道路交通におけるテスト対象システムのテストに参加する車両のうちの少なくとも１つから生成される。

【0012】

本発明による方法の更なる実施形態では、テストデータセットは、以下のデータカテゴリー：センサデータ、地図材料、交通条件、運転者支援システムの出力に属する少なくとも１つの時系列から形成される。

【0013】

本発明による方法の連続的な更なる実施形態では、新たに発生するテスト対象システムエラーが、検証反復中にレポートによって列挙される。

【0014】

本発明による方法のなお更なる実施形態では、開ループＡＤＡＳ／ＡＤＳは、テスト対象システムとしてテストされる。

【0015】

本発明による方法のなお更に連続的な実施形態では、テスト対象システムは、以下の開ループ運転者支援システム：交通標識認識、暗視、自己運動ロケーターのうちの１つによって形成される。

【0016】

本発明による方法の別の実施形態では、閉ループシステムの少なくとも１つのサブコンポーネントが、機能分解概念を使用してテストされる。この場合、閉ループシステムは、少なくとも１つの閉ループサブコンポーネント及び少なくとも１つの開ループサブコンポーネントを備え、少なくとも１つの開ループサブコンポーネントは、テストされる少なくとも１つのサブコンポーネントとして選択される。したがって、例えば、距離制御巡航制御では、全ての知覚構成要素又は横方向制御を開ループサブ構成要素としてテストすることができる。これは、閉ループシステムの任意の出力が次に入力データに影響を与えることになるため、概して閉ループシステムを、記録されたデータ、したがって、変更不可能なデータに基づいてテストすることができないため、本発明による方法の特に有利な実施形態を表す。

【0017】

本発明による方法の更に別の実施形態では、複数のテストベンチは、テストデータセットを複数の期間に分割し、それぞれの期間でそれぞれのテストベンチにテストデータセットを供給することによって、並列に使用される。ハードウェアインザループテストベンチを使用する場合、リアルタイムテスト手順を実行する必要がある。本発明によるテストデータセットの区分化によって、有利なことに、より速い起動を達成することができる。

【0018】

本発明による方法の連続的な他の実施形態では、ソフトウェアバージョンにおけるそれぞれの変更は、評価に従って破棄される。その後、新しい反復起動が開始される。

【0019】

更に、運転者支援システムの連続統合アプローチのためのテストシステムが特許請求され、テストシステムは、サーバと、コンピューティングユニットを有するハードウェアインザループテストベンチと、を備える。コンピューティングユニットは、本発明による方法に従ってアルゴリズムを実行するように構成される。

【0020】

本発明の更なる利点及び実施形態は、説明及び添付の図面から明らかになる。

【0021】

上述した特徴及び以下でこれから説明される特徴は、それぞれ指定された組み合わせ内で使用されるだけでなく、本発明の範囲を離れることなく、他の組み合わせ内で、又は単独で使用され得ることが理解される。

【0022】

本発明による方法の例示的な実施形態では、機能不備を伴うシステムのための連続的な統合アプローチが以下に提示される。実施例として、テスト対象システムは、交通標識認識ソフトウェアによって形成される。ビデオデータ及びバス信号は、顧客データ又は実施されたテストから入手可能である。一日を通して開発された交通標識認識ソフトウェアに対する変更は、毎夕サーバにロードされる。これらの変更には、例えば、認識アルゴリズム、地図データ、立法データセット、及び融合アルゴリズムが含まれ得る。サーバ上の現在のソフトウェアバージョンは、コンパイルされ、ハードウェアインザループテストベンチのコンピューティングユニット上で自動的に起動される。ここで、ソフトウェアの完全性及びフラッシュ性に関する第１のテストケースが既に実施されている。記録されたデータは、ここでは、ハードウェアインザループテストベンチに供給され、その結果、新しいソフトウェアでテストが再び「仮想的に」起動される。同時に、ソフトウェアの出力、すなわち、顧客に表示される交通標識は、グラウンドトゥルースデータと一致する。統計は、ソフトウェア変更がＡＤＡＳ／ＡＤＳの性能の改善又は劣化をもたらしたかどうかに関して、このことから導出される。最終レポートには、例えば、新しいソフトウェアにエラーをもたらす頻度の低いシナリオなど、データ駆動型検証中に新たに生じるエラーに関するこの統計及び追加情報が含まれ得る。

【図面の簡単な説明】

【0023】

【図1】本発明によるシステムの一実施形態における連続的な統合アプローチのフローチャートを示す。

【発明を実施するための形態】

【0024】

図１では、フローチャート１０は、本発明によるシステムの一実施形態における連続的な統合アプローチで示されている。車両センサによって実際の交通で測定及び記録された測定データ１１は、ハードウェアインザループテストベンチ上で実施され、したがって様々な運転シナリオを通過する、テスト対象システム１２のテストデータセットの基礎を形成する。テスト対象システム１２の現在のソフトウェアバージョンの性能の改善又は劣化が、比較１４から推測される場合、それぞれの出力データは、関連するグラウンドトゥルースデータ１３と比較１４で一致する。

【符号の説明】

【0025】

１０ 連続的な統合アプローチフローチャート
１１ 記録されたデータ
１２ テスト対象システム（ＳＵＴ）
１３ 関連するグラウンドトゥルースデータ
１４ 出力データをグラウンドトゥルースデータと一致

【図1】