特許 6548708 画像処理システムのための低レイテンシの試験機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6548708

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】画像処理システムのための低レイテンシの試験機

(51)【国際特許分類】

   G06T 1/00 20060101AFI20190711BHJP

   G06T 1/20 20060101ALI20190711BHJP

【ＦＩ】

   G06T1/00 330Z

   G06T1/20 B

【請求項の数】15

【外国語出願】

【全頁数】15

(21)【出願番号】特願2017-223886(P2017-223886)

(22)【出願日】2017年11月21日

(65)【公開番号】特開2019-96000(P2019-96000A)

(43)【公開日】2019年6月20日

【審査請求日】2018年1月18日

(73)【特許権者】

【識別番号】506012213

【氏名又は名称】ディスペース デジタル シグナル プロセッシング アンド コントロール エンジニアリング ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】ｄｓｐａｃｅ ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｃｏｎｔｒｏｌ ｅｎｇｉｎｅｅｒｉｎｇ ＧｍｂＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】フランク シュッテ

(72)【発明者】

【氏名】ハーゲン ハウプト

(72)【発明者】

【氏名】カーステン グラッシャー

【審査官】 笠田 和宏

(56)【参考文献】

【文献】 特開２０１０−１３４３０２（ＪＰ，Ａ）

【文献】 国際公開第２００６／０５７１８５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ｇ０６Ｔ １／００− １／６０

(57)【特許請求の範囲】

【請求項1】

画像処理システム（ＵＵＴ）のための試験機であって、
前記試験機内に第１の演算ユニット（ＣＰＵ）が配置されており、
前記第１の演算ユニット（ＣＰＵ）は、周囲モデル（ＭＯＤ）に関するシミュレーションソフトウェアによってプログラミングされており、
前記シミュレーションソフトウェアは、第１の位置ｘ（ｔ）および第１の速度ベクトルｖ（ｔ）を計算し、前記第１の位置ｘ（ｔ）および前記第１の速度ベクトルｖ（ｔ）を、前記周囲モデル（ＭＯＤ）における第１の仮想的なオブジェクト（ＶＥＨ１）に対応付けるように構成されており、
前記試験機内に第２の演算ユニット（ＧＰＵ）が配置されており、
前記第２の演算ユニット（ＧＰＵ）は、前記周囲モデルにおける前記第１の仮想的なオブジェクト（ＶＥＨ１）の位置を周期的に読み込み、少なくとも読み込まれた前記位置に基づいて、前記周囲モデル（ＭＯＤ）の２次元の第１の投影図を表す第１の画像データを計算するように構成されており、
前記試験機内にアダプタモジュール（ＡＤ）が配置されており、
前記アダプタモジュール（ＡＤ）は、前記第１の画像データを読み込み、前記画像処理システム（ＵＵＴ）の第１のイメージングセンサのエミュレーションによって前記第１の画像データを処理し、処理された前記第１の画像データを前記画像処理システム（ＵＵＴ）に供給するように構成されており、
前記第１の演算ユニット（ＣＰＵ）は、前記処理された第１の画像データに基づいて、前記画像処理システム（ＵＵＴ）によってアクチュエータのために計算された制御データを読み込み、前記制御データを考慮して、前記第１の仮想的なオブジェクト（ＶＥＨ１）に新しい第１の速度ベクトルを対応付けるように構成されている、
試験機において、
前記試験機は、前記第２の演算ユニット（ＧＰＵ）による前記第１の画像データの前記計算の開始から、前記アダプタモジュール（ＡＤ）による前記第１の画像データの前記処理の完了までに経過する時間間隔の長さΔｔを測定するように構成されており、
前記第１の演算ユニット（ＣＰＵ）は、前記時間間隔の長さΔｔを読み込み、前記時間間隔の長さΔｔに基づいて前記第１の画像データのレイテンシＬを推定するように構成されており、
前記第１の演算ユニット（ＣＰＵ）は、前記第１の位置ｘ（ｔ）と前記第１の速度ベクトルｖ（ｔ）と推定された前記レイテンシＬとを考慮して前記第１の仮想的なオブジェクトの第１の外挿位置ｘ（ｔ＋Ｌ）を求めるように構成されており、したがって前記第１の外挿位置ｘ（ｔ＋Ｌ）が、時点ｔ＋Ｌにおける前記第１の仮想的なオブジェクト（ＶＥＨ１）の前記第１の位置の推定値となり、
前記第２の演算ユニット（ＧＰＵ）は、前記第１の外挿位置ｘ（ｔ＋Ｌ）を読み込み、少なくとも前記第１の外挿位置ｘ（ｔ＋Ｌ）に基づいて前記第１の画像データを計算するように構成されている、
ことを特徴とする試験機。

【請求項2】

前記試験機は、前記第１の位置ｘ（ｔ）および前記第１の速度ベクトルｖ（ｔ）をハードリアルタイムで周期的に計算するように構成されている、
請求項１記載の試験機。

【請求項3】

前記第１の仮想的なオブジェクト（ＶＥＨ１）は、仮想的な輸送手段であり、
前記画像処理システム（ＵＵＴ）は、輸送手段のための自動制御または支援システムである、
請求項１または２記載の試験機。

【請求項4】

前記第１の投影図は、前記第１のイメージングセンサの視野を模倣したものである、
請求項１から３までのいずれか１項記載の試験機。

【請求項5】

前記試験機は、前記第１の画像データの前記計算の開始時における前記試験機の第１のシステム時間が記憶されているタイムスタンプを前記第１の画像データに付与するように構成されており、
前記アダプタモジュール（ＡＤ）は、前記タイムスタンプに記憶されている前記第１のシステム時間を読み出し、前記第１の画像データの前記処理を完了した後、現在のシステム時間と比較して前記時間間隔の長さΔｔを求め、当該長さΔｔをメモリアドレスに記憶するように構成されている、
請求項１から４までのいずれか１項記載の試験機。

【請求項6】

前記試験機は、前記第１の画像データの前記計算の前に、前記第１の画像データのためのデジタルＩＤを作成し、前記デジタルＩＤを前記アダプタモジュールに送信し、前記デジタルＩＤの送信時点における前記試験機の第１のシステム時間を前記アダプタモジュール（ＡＤ）に送信するように構成されており、
前記試験機は、前記第１の画像データに前記デジタルＩＤを付与するように構成されており、
前記アダプタモジュール（ＡＤ）は、前記デジタルＩＤに基づいて前記第１の画像データを前記第１のシステム時間に対応付け、前記第１の画像データの前記処理を完了した後、前記試験機の現在のシステム時間を前記第１のシステム時間と比較して前記時間間隔の長さΔｔを求め、当該長さΔｔをメモリアドレスに記憶するように構成されている、
請求項１から４までのいずれか１項記載の試験機。

【請求項7】

前記第１の演算ユニット（ＣＰＵ）と前記第２の演算ユニット（ＧＰＵ）との間にリアルタイム能力のある第１のデータコネクション（ＢＳ）が形成されており、
前記第２の演算ユニット（ＧＰＵ）と前記アダプタモジュール（ＡＤ）との間にリアルタイム能力のある第２のデータコネクション（ＨＤＭＩ）が形成されており、
前記アダプタモジュール（ＡＤ）と前記第１の演算ユニットとの間にリアルタイム能力のある第３のデータコネクション（ＥＴＨ）が形成されている、
請求項１から６までのいずれか１項記載の試験機。

【請求項8】

前記第１のデータコネクションは、前記試験機のバス（ＢＳ）によって提供されている、
請求項７記載の試験機。

【請求項9】

前記第２の演算ユニット（ＧＰＵ）は、
前記第１の画像データの前記計算と並行して、または前記第１の画像データの前記計算後に、少なくとも、前記画像処理システム（ＵＵＴ）の第２のイメージングセンサのための前記周囲モデルの２次元の第２の投影図を表す第２の画像データを計算し、少なくとも前記第１の画像データおよび前記第２の画像データを含むデータパケットを作成するように構成されており、
前記アダプタモジュール（ＡＤ）は、前記データパケットを読み込み、前記画像処理システム（ＵＵＴ）の前記第２のイメージングセンサのエミュレーションによって前記第２の画像データを処理し、処理された前記第２の画像データを前記画像処理システム（ＵＵＴ）に供給するように構成されている、
請求項１から８までのいずれか１項記載の試験機。

【請求項10】

前記試験機は、前記時間間隔の長さΔｔを周期的に求めるように構成されており、
前記第１の演算ユニット（ＣＰＵ）は、前記時間間隔の長さΔｔを周期的に読み込むように構成されている、
請求項１から９までのいずれか１項記載の試験機。

【請求項11】

前記第１の演算ユニット（ＣＰＵ）は、Ｌ＝Δｔに周期的に設定することによって、前記推定されたレイテンシＬを前記時間間隔の長さΔｔに動的に適合させるように構成されている、
請求項１０記載の試験機。

【請求項12】

前記第１の演算ユニット（ＣＰＵ）は、過去に測定された複数のΔｔの値から前記レイテンシＬの値を計算することによって、前記推定されたレイテンシＬを動的に適合させるように構成されている、
請求項１０記載の試験機。

【請求項13】

前記第２の演算ユニット（ＧＰＵ）は、少なくとも２つのそれぞれ異なるイメージングセンサのための第１の画像データを選択的に計算するように構成されている、
請求項１から１２までのいずれか１項記載の試験機。

【請求項14】

前記シミュレーションソフトウェアは、第２の位置ｘ’（ｔ）および第２の速度ベクトルｖ’（ｔ）を計算し、前記第２の位置ｘ’（ｔ）および前記第２の速度ベクトルｖ’（ｔ）を、前記周囲モデルにおける第２の仮想的なオブジェクト（ＶＥＨ２）に対応付けるように構成されており、
前記第１の演算ユニットは、前記第２の位置ｘ’（ｔ）と前記第２の速度ベクトルｖ’（ｔ）と推定された前記レイテンシＬとを考慮して、前記第２の仮想的なオブジェクト（ＶＥＨ２）の第２の外挿位置ｘ’（ｔ＋Ｌ）を求めるように構成されており、
前記第２の演算ユニット（ＧＰＵ）は、前記第２の外挿位置ｘ’（ｔ＋Ｌ）を読み込み、少なくとも前記第１の外挿位置ｘ（ｔ＋Ｌ）および前記第２の外挿位置ｘ’（ｔ＋Ｌ）に基づいて前記第１の画像データを計算するように構成されている、
請求項１から１３までのいずれか１項記載の試験機。

【請求項15】

請求項１から１４までのいずれか１項記載の試験機を用いて、画像処理システム（ＵＵＴ）を試験するための方法であって、
試験機の第１の演算ユニット（ＣＰＵ）を、周囲モデルに関するシミュレーションソフトウェアによってプログラミングし、前記シミュレーションソフトウェアによって第１の位置ｘ（ｔ）および第１の速度ベクトルｖ（ｔ）をハードリアルタイムで周期的に計算し、前記周囲モデルにおける第１の仮想的なオブジェクト（ＶＥＨ１）に対応付け、
前記試験機の第２の演算ユニット（ＧＰＵ）によって、前記周囲モデルにおける前記第１の仮想的なオブジェクト（ＶＥＨ１）の位置を周期的に読み込み、前記第２の演算ユニット（ＧＰＵ）によって、読み込まれた前記第１の位置ｘ（ｔ）に基づいて、前記周囲モデルの２次元の第１の投影図を表す第１の画像データを計算し、
アダプタモジュール（ＡＤ）によって、前記第１の画像データを読み込み、前記画像処理システム（ＵＵＴ）の第１のイメージングセンサのエミュレーションによって処理し、
前記アダプタモジュール（ＡＤ）によって、処理された前記画像データを前記画像処理システム（ＵＵＴ）に供給し、
前記第１の演算ユニット（ＣＰＵ）によって、前記処理された第１の画像データに基づいて、前記画像処理システム（ＵＵＴ）によってアクチュエータのために計算された制御データを読み込み、前記制御データを考慮して、前記第１の仮想的なオブジェクト（ＶＥＨ１）に新しい第１の速度ベクトルを対応付ける、
方法において、
前記第２の演算ユニット（ＧＰＵ）による前記第１の画像データの前記計算の開始から、前記アダプタモジュール（ＡＤ）による前記第１の画像データの前記処理の完了までに経過する時間間隔の長さΔｔを測定し、
前記時間間隔の長さΔｔに基づいて前記第１の画像データのレイテンシＬを推定し、
前記第１の位置ｘ（ｔ）と前記第１の速度ベクトルｖ（ｔ）と推定された前記レイテンシＬとを考慮して、第１の外挿位置ｘ（ｔ＋Ｌ）を求め、したがって前記第１の外挿位置ｘ（ｔ＋Ｌ）が、時点ｔ＋Ｌにおける前記第１の仮想的なオブジェクト（ＶＥＨ１）の前記第１の位置の推定値となり、
前記第２の演算ユニット（ＧＰＵ）によって、前記第１の外挿位置ｘ（ｔ＋Ｌ）に基づいて前記第１の画像データを計算する、
ことを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システムのための試験機、とりわけ輸送手段の、画像処理を実施する支援システムまたは自動制御のための試験機に関する。輸送手段とは、自力で移動するように構成された任意の装置、例えば陸上車両、航空機、ボート、または潜水艦として理解されるべきである。

【0002】

長年にわたり、セーフティクリティカルな電子制御装置の一連の開発および評価の一部として、ハードウェア・イン・ザ・ループ・シミュレーションが確立されている。この場合、制御装置のプロトタイプがシミュレータに接続され、シミュレータは、制御装置の環境をソフトウェアに基づいてシミュレートし、この際には、例えばセンサのシミュレーションによって制御装置のデータエントリのためのデータを作成して、データ入力部に供給する。逆に、シミュレータは、制御装置のデータ出力部からデータを読み出し、例えばアクチュエータのシミュレーションによるシミュレーションの次の時間ステップの計算時に、これらのデータを考慮する。このようなシミュレータは、試験機として構成することもでき、その場合には、制御装置に加えてさらに、この制御装置と協働する、シミュレーションに同様に組み込まれる他の物理的なコンポーネント、自動車の制御装置の場合には例えばステアリングシステム、モータ、またはイメージングセンサを含むことができる。したがって制御装置は、十分に仮想的な環境において動作し、この仮想的な環境で、複数の異なる状況において危険なく再現可能に試験することができる。

【0003】

制御装置は、物理的なシステムを制御、調整、または監視するために設けられているので、ハードリアルタイムで動作する。したがって、シミュレータもまたハードリアルタイムで動作する必要があり、すなわち、規定された時間間隔、例えば１ｍｓ以内に、制御装置によって要求される全てのデータの計算が完了することが保証されなければならない。

【0004】

近年、自動車業界は、多数の運転支援システムを開発しており、これらの運転支援システムは、種々異なる技術を用いたイメージングセンサを使用して車両の周囲の画像、例えばレーダ画像、ライダ画像、またはレンズベースの光学画像を作成し、これらの画像を制御装置によって読み込んで評価および解釈し、読み込まれた画像に基づいて運転挙動に介入するか、または実験的な自律的な車両の場合には、それどころか人間の運転者とは独立して車両を自立して制御する。例としては、レーダベースのアダプティブクルーズコントロール、歩行者認識、または交通標識認識がある。

【0005】

したがって、このような支援システムのための試験機は、制御装置によって期待される画像を計算して、制御装置に供給するように構成されなければならない。この場合には、画像を計算するための計算量が非常に多く、これに応じて時間がかかるという問題が生じる。シミュレーションソフトウェアに記憶されているような３次元の周囲モデルから、イメージングセンサによって検出されるような２次元の投影図を計算するためには、現在の技術水準によれば優に５０〜１００ｍｓはかかる可能性がある。このような高レイテンシは、試験機のリアルタイム性に対する上記の要件とは両立せず、シミュレーション結果の説得力を損ねることとなる。

【0006】

独国実用新案第２０２０１５１０４３４５号明細書（DE 20 2015 104 345 U1）は、画像処理を実施する制御装置のための試験機を記載しており、同試験機は、アダプタモジュールによって制御装置のための画像データのレイテンシを短縮し、アダプタモジュールは、イメージングセンサを迂回して直接的に制御装置に画像データを供給して、画像データのための短縮されたデータ経路を提供している。しかしながら、画像データの計算によって発生するレイテンシをこのようにするだけで補償することはできない。

【0007】

上記の背景を前にして、本発明の課題は、試験機における画像処理システムのための画像データの計算に起因して発生するレイテンシによる不正確さを低減することである。上記の課題は、請求項１に記載の特徴を有する試験機、または請求項１５に記載の特徴を有する方法によって解決される。有利な実施形態は、従属請求項の対象である。

【0008】

本発明は、核心部分において、レイテンシの測定に基づいてシミュレータに記憶されている周囲モデルの時間外挿によって、レイテンシを少なくとも部分的に補償するための方法を記載するものである。本発明は、詳細には、周囲モデルに関するシミュレーションソフトウェアによってプログラミングされている第１の演算ユニット、とりわけプロセッサ（ＣＰＵ）を有する試験機である。シミュレーションソフトウェアは、周囲モデルにおける第１の仮想的なオブジェクトのため、例えば仮想的な車両のために、第１の位置および第１の速度ベクトルを好ましくはハードリアルタイムで周期的に計算し、第１の仮想的なオブジェクトに対応付けるように少なくとも構成されている。好ましくはグラフィックスプロセッサ（ＧＰＵ）を少なくとも含む、試験機の第２の演算ユニットは、周囲モデルの２次元の第１の投影図を表す第１の画像データ、とりわけ第１の仮想的なオブジェクトのイメージングセンサの画像を再現する第１の画像データを計算するように構成されている。このために第２の演算ユニットは、第１の仮想的なオブジェクトの第１の位置を周期的に読み込み、この位置に基づいて第１の画像データを計算するように構成されている。

【0009】

試験機はさらに、画像処理システムを試験機またはシミュレーションに組み込むためのアダプタモジュールを含む。アダプタモジュールは、第１の画像データを読み込み、画像処理システムの第１のイメージングセンサをエミュレートして第１の画像データを処理し、処理された第１の画像データを画像処理システムに供給するように構成されている。

【0010】

したがってつまり、画像処理システムが一例として光学的なレンズベースのカメラの画像を処理する場合には、アダプタモジュールは、第１の画像データを記録および処理し、この場合、処理された第１の画像データは、シミュレーションソフトウェアによって再現された状況においてカメラの光学センサが画像処理システムに供給するであろうデータに相当する。すなわちアダプタモジュールは、シミュレーションの間、画像処理システムのイメージングセンサのいわゆる代替として機能し、イメージングセンサをエミュレートし、イメージングセンサの代わりに、期待される画像データをイメージングシステムに供給する。

【0011】

さらに、第１の演算ユニットは、処理された第１の画像データに基づいて、画像処理システムによってアクチュエータのために計算された制御データを読み込み、制御データを考慮して、第１の仮想的なオブジェクトに新しい速度ベクトルを対応付けるように構成されている。すなわち、例えば画像処理システムが運転支援システムであって、識別された危険状況に基づいて自動的な制動操縦を開始するための制御データを出力する場合には、第１の演算ユニットは、周囲モデルにおける第１の仮想的なオブジェクト、この場合には仮想的な車両を、模倣するように構成されている。

【0012】

第１の画像データの計算によって発生するレイテンシを補償するために、試験機は、第２の演算ユニットによる第１の画像データの計算の開始から、アダプタモジュールによる第１の画像データの処理の完了までに経過する時間間隔の長さΔｔを求めるように構成されている。測定された長さΔｔは、メモリアドレスに記憶され、第１の演算ユニットによって読み出され、第１の画像データのレイテンシＬを推定するために利用される。推定されたレイテンシＬは、第１の仮想的なオブジェクトの第１の位置ｘ（ｔ）と第１の仮想的なオブジェクトの第１の速度ベクトルｖ（ｔ）と推定されたレイテンシＬとを考慮して第１の外挿位置ｘ（ｔ＋Ｌ）を求めるために、第１の演算ユニットまたは第１の演算ユニット上で実行中のシミュレーションソフトウェアによって利用される。

【0013】

したがって、第１の外挿位置ｘ（ｔ＋Ｌ）は、時点ｔ＋Ｌにおける第１の仮想的なオブジェクトの未来の位置の推定値であり、ただし、ｔは、システム時間またはシミュレーションにおける目下の時点である。（シミュレーションはハードリアルタイムで実行されるので、これは同義である。）ここで、第２の演算ユニットは、第１の画像データを計算するために現在の第１の位置ｘ（ｔ）を読み込むのではなく、第１の外挿位置ｘ（ｔ＋Ｌ）を読み込むように構成されている。すなわち第２の演算ユニットが、第１の画像データの計算時に最初から、シミュレートされた周囲モデルの未来の状態を前提とすることによって、第１の画像データのレイテンシが少なくとも部分的に補償される。このようにして計算された第１の画像データが最終的に画像処理システムに供給されると、理想的な場合には、第１の演算ユニット上の周囲モデルもこの未来の状態に到達し、これによって画像処理システムにおける第１の画像データが周囲モデルの現在の状態に一致し、試験機が現実のデータを供給することとなる。

【0014】

基本的には、第１の外挿位置を求めるために任意の数値積分法、例えば一次またはより高次のルンゲ・クッタ法を使用することができる。本発明は、第１の画像データのレイテンシによって発生する不正確さが完全に補償されることを保証するものではない。第１の外挿位置を推定するために、好ましくは推定されたレイテンシＬ全体にわたって積分され、Ｌの長さは、通常の場合には周囲モデルのシミュレーションにおける時間ステップよりも格段に長いので、第１の外挿位置ｘ（ｔ＋Ｌ）が、時点ｔ＋Ｌにおける仮想的なオブジェクトに対応付けられることとなる実際の位置に一致することを期待することはできない。さらには、例えば第１の画像データを計算するための計算量は、周囲モデルの状態に応じて変化し得るので、推定されたレイテンシＬは、第１の画像データの実際のレイテンシからわずかに相違する可能性がある。しかしながら、上述した作用によって発生する不正確さは、補償されていない第１の画像データのレイテンシが引き起こすであろう不正確さよりも小さいので、本発明によれば、少なくともシミュレーション結果の改善を達成することが可能である。

【0015】

とりわけ、第１の仮想的なオブジェクトを、仮想的な輸送手段として構成することができ、画像処理システムを、輸送手段のための自動制御または支援システムとして構成することができる。

【0016】

好ましくは、第２の演算ユニットは、第１の投影図が第１のイメージングセンサの視野を模倣したものとなるように、第１の画像データを計算するように構成されている。このために、第２の演算ユニットによる第１の画像データの計算は、画像処理システムが第１の仮想的なオブジェクトの画像処理システムであり、かつ第１のイメージングセンサが第１の仮想的なオブジェクトの明確に規定された位置に取り付けられているとの仮定に基づいて実施される。計算量を節約し、これによって第１の画像データのレイテンシを最初からできるだけ低く維持するために、第２の演算ユニットは、第１の画像データを計算するために、上記の仮定に基づいた場合に第１のイメージングセンサの視野の内部に位置しているような周囲モデルの仮想的なオブジェクトだけを考慮するように構成されている。考えられる１つの実施形態では、画像処理システムは、例えば自動車用のレーダベースのアダプティブクルーズコントロールであり、したがって、第１のイメージングセンサは、周囲モデルにおいて第１の仮想的なオブジェクトの、この場合には仮想的な自動車のフロント側に配置されているレーダシステムの一部であると仮定される。レーダシステムが、技術的に例えば２００ｍの射程内のオブジェクトを識別するようにしか構成されていない場合には、第１の画像データを計算するために、周囲モデルにおける２００ｍの射程内かつレーダシステムの視野円錐内に位置する仮想的なオブジェクトだけを考慮すべきである。

【0017】

一般的に言えば、イメージングセンサの視野とは、イメージングセンサによって認識される形式での、イメージングセンサによって所与の時点に視認可能な全てのオブジェクトの全体として理解すべきであり、第２の演算ユニットは、好ましくは、第１の画像データを計算するために最初から、上記の定義に即した第１のイメージングセンサの視野から得られる情報のみを考慮するように構成されている。

【0018】

上述した例の場合、このことは例えばさらに、レーダシステムのための第１の画像データが、第１の投影図において視認可能な仮想的なオブジェクトの色に関する情報を含むべきではないこと、また、たとえ上記の色に関する情報が周囲モデルに存在していたとしても、この情報が、第１の画像データの計算時に最初から考慮されないことを意味している。

【0019】

１つの実施形態では、時間間隔の長さΔｔの測定は、試験機、とりわけ第２の演算ユニットが、第１の画像データの計算の開始時に試験機のシステム時間を読み出し、読み出されたシステム時間が記憶されているタイムスタンプを第１の画像データに付与するようにして実施される。アダプタモジュールが第１の画像データを処理した後、アダプタモジュールが第１の画像データを画像処理システムに供給する前に、アダプタモジュールは、タイムスタンプを読み出し、タイムスタンプに記憶されているシステム時間を現在のシステム時間と比較し、これら２つのシステム時間の差分形成によって時間間隔の長さΔｔを求め、求められた時間間隔の長さΔを、第１の演算モジュールによってアクセス可能なメモリアドレスに記憶する。第１の演算ユニットは、メモリアドレスにおける求められた時間間隔の長さΔｔを読み出すように構成されている。

【0020】

別の実施形態では、時間測定は、試験機、とりわけ第１の演算ユニットまたは第２の演算ユニットが第１の画像データのために作成するデジタルＩＤに基づいて実施される。デジタルＩＤは、第１の画像データの計算の前に作成され、試験機の第１のシステム時間と一緒にアダプタモジュールに送信される。この場合、第１のシステム時間は、デジタルＩＤの送信時点におけるシステム時間である。第２の演算ユニットは、第１の画像データを計算した後、第２の画像データにデジタルＩＤを付与して、第２の画像データをデジタルＩＤと一緒にアダプタモジュールに送信する。アダプタモジュールは、第１の画像データからデジタルＩＤを読み出し、第１のシステム時間のデジタルＩＤに基づいて第１の画像データを対応付けるように構成されている。アダプタモジュールは、第１の画像データの処理を完了した後、試験機の現在のシステム時間を第１のシステム時間と比較して時間間隔の長さΔｔを求め、この長さΔｔをメモリアドレスに記憶する。

【0021】

両方の形式の測定のための前提条件は、試験機が、当該試験機のコンポーネント間におけるシステム時間の十分に高速な同期を有することである。

【0022】

有利には、試験機の、本発明にとって本質的なコンポーネント同士は、それぞれリアルタイム能力のあるデータコネクションを介して接続されており、このデータコネクションは、データのストリーミングのために構成されており、すなわち大量のデータの連続的なストリームをリアルタイムで送信するために構成されている。したがって具体的には、第１の演算ユニットと第２の演算ユニットとの間にリアルタイム能力のある第１のデータコネクションが形成されており、第２の演算ユニットとアダプタモジュールとの間にリアルタイム能力のある第２のデータコネクション、好ましくはＨＤＭＩコネクションが形成されており、アダプタモジュールと第１の演算ユニットの間にリアルタイム能力のある第３のデータコネクション、好ましくはイーサネットコネクションが形成されている。

【0023】

特に好ましくは、第１のデータコネクションは、試験機のリアルタイム能力のあるバスによって提供されている。この実施形態は、第２の演算ユニットを試験機の一体的な構成部分として構成することが可能となり、これによってレイテンシに対して好ましい効果がもたらされるという点で有利である。なぜなら、典型的なハードウェア・イン・ザ・ループ・シミュレータの内部バスは、リアルタイム性能、すなわち低レイテンシと低ジッタのために最適化されているからである。

【0024】

さらに有利には、第２の演算ユニットは、第１のイメージングセンサに加えてオプションとして、少なくとも第２のイメージングセンサも操作するように構成されている。例えば画像処理システムは、ステレオカメラを含むことができるが、これによって第２の演算ユニットは、２つの光学画像を計算しなければならなくなり、これに応じてアダプタモジュールは、２つの光学画像を画像処理システムに供給しなければならなくなる。別の例では、画像処理システムは、複数のイメージングセンサを有する複数の制御装置を含むことができる。したがって、有利な実施形態では、第２の演算ユニットは、第１の画像データの計算と並行して、または第１の画像データの計算後に、少なくとも、画像処理システムの第２のイメージングセンサのための周囲モデルの２次元の第２の投影図を表す第２の画像データを計算するように構成されている。その後、画像データの全体が、好ましくはバンドリングされて送信される。このために第２の演算ユニットは、第１の画像データおよび第２の画像データおよび存在する場合にはさらなる画像データを含むデータパケットを作成するように構成されている。時間間隔Δｔの測定がタイムスタンプを用いて実施される場合には、データパケットにタイムスタンプが付与される。アダプタモジュールは、データパケットを読み込み、既に説明した第１の画像データの処理に加えて、第２のイメージングセンサのエミュレーションによって第２の画像データも処理し、処理された第２の画像データを画像処理システムに供給するように構成されている。

【0025】

好ましくは、推定されたレイテンシＬは、１回だけ測定された静的なパラメータではなく、第１の演算ユニットは、実行中のシミュレーションの間に、推定されたレイテンシＬの値を動的に適合させるように構成されている。すなわち試験機は、時間間隔の長さΔｔを周期的に求め、第１の演算ユニットによって周期的に読み込んで、シミュレーションの間にＬの値を第１の画像データの現在のレイテンシに動的に適合させるように構成されている。

【0026】

簡単な実施形態では、このことは、第１の演算ユニットが、推定されたレイテンシＬを、時間間隔の長さΔｔの現在の値と等しくなるように、すなわちＬ＝Δｔに周期的に設定するようにして実施される。別の実施形態では、第１の演算ユニットは、過去に測定された複数のΔｔの値を記憶し、レイテンシＬを、これらの複数のΔｔの値から、とりわけこれらの複数のΔｔの値の平均値、加重平均値、または中央値として計算するように構成されている。

【0027】

以下では本発明を、図面に基づいてより詳細に説明する。

【図面の簡単な説明】

【0028】

【図1】画像処理システムのための従来技術から公知の試験機の極めて簡略的な概略図である。

【図2】好ましい実施形態における本発明による試験機の概略図である。

【0029】

図１は、本発明の基礎となる着想と、本発明によって解決される問題とを視覚化するために使用される。本図は、シミュレーションコンピュータＳＩＭによって代表的に表される試験機を用い、かつ被験体として画像処理システムＵＵＴを用いる１つの試験シナリオを概説している。画像処理システムＵＵＴは、一例として、車両における危険状況を識別して自動的な制動操縦を開始するように構成されたカメラベースの事故支援システムであるとする。

【0030】

シミュレータＳＩＭには、周囲モデルＭＯＤが記憶されている。周囲モデルＭＯＤは、シミュレータＳＩＭの第１のプロセッサＣ１によって実行可能なソフトウェアであって、画像処理システムＵＵＴの周囲と、画像処理システムＵＵＴのための試験シナリオとをシミュレートするように構成されたソフトウェアである。周囲モデルＭＯＤは、複数の仮想的なオブジェクトを含み、仮想的なオブジェクトの部分集合は、移動可能である。移動可能な仮想的なオブジェクトは、これらの仮想的なオブジェクトに、周囲モデルにおいて位置（ベクトル値）に加えてそれぞれ１つの速度ベクトルも対応付けられているという点と、周囲モデルＭＯＤにおける仮想的なオブジェクトの位置を、シミュレーションの各時間ステップで変更可能であるという点とを特徴としている。図示された周囲モデルＭＯＤは、一例として、第１の仮想的なオブジェクトとして第１の仮想的な車両ＶＥＨ１を含み、第２の仮想的なオブジェクトとして第２の仮想的な車両ＶＥＨ２を含む。図示された試験シナリオは、交差点における事故状況である。２つの車両は、移動可能な仮想的なオブジェクトである。したがって、第１の仮想的な車両ＶＥＨ１には、時間依存性の第１の位置ｘ（ｔ）および時間依存性の第１の速度ベクトルｖ（ｔ）が対応付けられており、第２の仮想的な車両ＶＥＨ２には、時間依存性の第２の位置ｘ’（ｔ）および時間依存性の第２の速度ベクトルｖ’（ｔ）が対応付けられている。

【0031】

このように、時点ｔにおける周囲モデルＭＯＤの状態は、全ての仮想的なオブジェクトの位置の座標と、全ての移動可能な仮想的なオブジェクトの速度ベクトルのエントリとをエントリとして含んでいる状態ベクトルＭ（ｔ）によって記述することができる。

【0032】

シミュレータＳＩＭおよび画像処理システムＵＵＴは、シミュレートされる制御ループを一緒に構築する。シミュレータＳＩＭは、エミュレートされた画像データＳＥを画像処理システムＵＵＴに連続的に供給し、画像処理システムＵＵＴは、このエミュレートされた画像データＳＥを本物の画像データとして、すなわち物理的なイメージングセンサによって供給された画像データとして解釈する。これらの画像データに基づいて画像処理システムＵＵＴは、制御データＡＣをシミュレータにフィードバックし、ひいては、シミュレータが第１の仮想的な車両ＶＥＨ１における制御データＡＣに対する物理的な車両の反応を模倣することによって、周囲モデルＭＯＤの状態Ｍに影響を与える。

【0033】

画像データＳＥの計算が開始されてから画像データＳＥが画像処理システムＵＵＴに供給されるまでに、実質的に画像データＳＥの計算および処理によって発生する、長さΔｔの時間間隔が経過する。したがって、この長さΔｔは、画像データのレイテンシに相当する。レイテンシがΔｔ＝５０ｍｓであると仮定すると、このことは、シミュレーションにおいて一例としての事故支援システムが、５０ｍｓの遅延を伴ってようやく危険状況を認識し、これに応じて反応するということを意味する。このような値は、図示された試験シナリオにとっては許容できないものであろうし、シミュレーションの結果は、限定的にしか使用することができなくなるであろう。

【0034】

画像データＳＥは、第１の仮想的な車両ＶＥＨ１の所定の位置に取り付けられた第１のイメージングセンサの視野、すなわち周囲モデルＭＯＤの２次元の投影図を表す。この限りにおいて画像データＳＥは、状態ベクトルＭ（ｔ）の関数Ｄ［Ｍ（ｔ）］として理解されるべきである。したがって、最終的に画像処理システムＵＵＴに供給された処理された画像データは、関数Ｄ［Ｍ（ｔ−Δｔ）］によって定義されている。ｔ→ｔ＋Δｔの代入により、関数Ｄ［Ｍ（ｔ＋Δｔ）］によって記述される未来の画像データＳＥをシミュレータＳＩＭから画像処理システムＵＵＴに供給することによって、基本的にレイテンシを補償することが可能であることが直接的に認識できる。その場合、画像処理システムに供給された画像データは、関数Ｄ［Ｍ（ｔ＋Δｔ−Δｔ）］＝Ｄ［Ｍ（ｔ）］によって記述されており、すなわち、周囲モデルＭＯＤの現在の状態Ｍ（ｔ）と一致する。

【0035】

基本的に、周囲モデルＭＯＤの未来の状態Ｍ（ｔ＋Δｔ）は未知である。しかしながら、例えば測定によってレイテンシΔｔが学習されると、この未来の状態Ｍ（ｔ＋Δｔ）を、長さΔｔにわたる現在の状態Ｍ（ｔ）の外挿によって少なくとも推定することが可能となり、シミュレーションの精度を改善することが可能となる。

【0036】

図２は、このために構成された試験機の概略図を示している。試験機は、ホストコンピュータＨＳＴと、シミュレータＳＩＭと、アダプタモジュールＡＤとを含み、画像処理システムＵＵＴは、レーダシステムのための第１の制御装置ＥＣＵ１と、ステレオカメラのための第２の制御装置ＥＣＵ２とを含む。

【0037】

シミュレータＳＩＭは、第１のプロセッサＣ１を有する第１の演算ユニットＣＰＵを含み、シミュレータＳＩＭは、第２のプロセッサＣ２とグラフィックスプロセッサ（グラフィックス処理ユニット）Ｃ３とを有する第２の演算ユニットＧＰＵを含む。ホストコンピュータＨＳＴは、第５のデータコネクションＤＬを介して周囲モデルＭＯＤを第１の演算ユニットＣＰＵに記憶するように構成されており、第１のプロセッサＣ１は、周囲モデルを実行するように構成されている。（図１および図２に図示された周囲モデルＭＯＤは、以下では同一であると仮定する。）第１の演算ユニットＣＰＵおよび第２の演算ユニットＧＰＵは、試験機のリアルタイム能力のある第１のバスＢＳに一緒に接続されており、したがって、この第１のバスＢＳは、第１の演算ユニットＣＰＵと第２の演算ユニットＧＰＵとの間における第１のデータコネクションを提供する。第１のバスＢＳは、リアルタイム性能のために技術的に最適化されており、したがって低レイテンシの第１のデータコネクションを保証する。

【0038】

第１の演算ユニットＣＰＵは、周囲モデルにおける仮想的なオブジェクトの位置を、第１のデータコネクションＢＳを介して第２の演算ユニットＧＰＵに周期的に送信するように構成されている。第２の演算ユニットＧＰＵは、送信された位置を読み出し、第２の演算ユニットＧＰＵに記憶されているレンダリングソフトウェアＲＥＮを用いて第１の画像データと第２の画像データと第３の画像データとを、少なくとも送信された位置の関数として、とりわけ第１の位置ｘ（ｔ）および第２の位置ｘ’（ｔ）の関数として計算するように構成されている。

【0039】

このためにレンダリングソフトウェアには多数のシェーダが実装されている。第１のシェーダは、第１の画像データを計算する。第１の画像データは、第１の仮想的な車両ＶＥＨ１に取り付けられたレーダセンサの視野を模倣したものである周囲モデルＭＯＤの第１の投影図を表す。第２のシェーダは、第２の画像データおよび第３の画像データを計算する。第２の画像データは、周囲モデルの第２の投影図を表し、第３の画像データは、周囲モデルの第３の投影図を表す。第２および第３の投影図はそれぞれ、仮想的な車両ＶＥＨ１に取り付けられたカメラ光学系の第１および第２のフォトセンサの視野を模倣したものである。このために第２のシェーダは、とりわけステレオカメラのレンズシステムの光学系をシミュレートするようにも構成されている。

【0040】

第１の演算ユニットＣＰＵは、第１の位置ｘ（ｔ）および第２の位置ｘ’（ｔ）の送信と同時に、イーサネットコネクションとして構成されたリアルタイム能力のある第３のデータコネクションＥＴＨを介して試験機のデジタルＩＤおよび第１のシステム時間を送信し、さらにデジタルＩＤを、第１のデータコネクションＢＳを介して第２の演算ユニットＧＰＵに送信する。第２の演算ユニットＧＰＵは、第１の画像データと第２の画像データと第３の画像データとデジタルＩＤとを含むデータパケットを作成する。グラフィックスプロセッサＣ３は、ＨＤＭＩコネクションとして構成された第２のリアルタイム能力のあるデータコネクションＨＤＭＩを介してアダプタモジュールＡＤにデータパケットを送信する。

【0041】

アダプタモジュールＡＤは、ＦＰＧＡ Ｆを含む。ＦＰＧＡ Ｆ上には３つの並列のエミュレーションロジックが実装されている。第１のエミュレーションロジックＥＭ１は、レーダシステムの第１のイメージングセンサをエミュレートするように構成されており、すなわち第１の画像データを記録し、この第１の画像データを処理して、処理後の第１の画像データが、第１の制御装置ＥＣＵ１によって期待される画像データに対応するようにするように構成されている。相応にして、第２のエミュレーションロジックＥＭ２および第３のエミュレーションロジックＥＭ３は、第２の画像データまたは第３の画像データを記録し、レンズベースの光学的なステレオカメラの第２のイメージングセンサまたは第３のイメージングセンサをエミュレートするように構成されている。

【0042】

処理された第１の画像データは、この第１の画像データが第１の制御装置ＥＣＵ１によって物理的なイメージングセンサの本物の画像データとして解釈されるように、アダプタモジュールＡＤから第１の制御装置ＥＣＵ１に供給される。このために必要な技術的手段は、当該技術分野において既知であり、当業者には容易に理解することができる。特別な開発用制御装置は、しばしばこのために専用のインターフェースを提供する。

【0043】

第１の制御装置ＥＣＵ１および第２の制御装置ＥＣＵ２は、処理された第１の画像データまたは処理された第２の画像データに基づいて、輸送手段、具体的には車両のアクチュエータのための制御信号を計算する。制御信号は、ゲートウェイＧを介して第１のバスＢＳに接続された、シミュレータＳＩＭの外部に敷設されている第２のバスＸＢ、例えばＣＡＮバスを介して第１の演算ユニットＣＰＵに供給され、第１のプロセッサＣ１によって読み出され、シミュレーションの次の時間ステップの計算時に、第１の仮想的な車両ＶＥＨ１における制御信号に対する物理的な車両の反応が再現されるように考慮される。

【0044】

アダプタモジュールＡＤはさらに、デジタルＩＤに基づいて、第１の演算ユニットから取得した第１のシステム時間にデータパケットを対応付けるように構成されている。具体的にはこのことは、アダプタモジュールＡＤが、第１の演算ユニットＣＰＵから第３のデータコネクションＥＴＨを介して送信されたデジタルＩＤを、第１のシステム時間と一緒に読み出し、アダプタモジュールがさらに、データパケットに格納されているデジタルＩＤを読み出し、読み出された２つのデジタルＩＤを比較して同一であると識別し、この比較に基づいて第１のシステム時間をデータパケットに対応付けるということを意味する。アダプタモジュールＡＤは、少なくとも第１の画像データを処理した直後に、第１のシステム時間を試験機の現在のシステム時間と比較し、差分形成によって時間間隔の長さΔｔを求め、このΔｔの値を、第３のデータコネクションＥＴＨを介して第１の演算ユニットＣＰＵに送信する。好ましくは、このことが１回だけ実施されるわけではなく、アダプタモジュールＡＤは、Δｔの現在の値を周期的かつ連続的に計算して、Δｔのその時々の現在の値を第１の演算ユニットＣＰＵに連続的に送信する。

【0045】

測定を実施できるようにするために、アダプタモジュールは、試験機のシステム時間にアクセスする必要がある。図示された実施例では、アダプタモジュールは、試験機の第１のバスＢＳに接続されていないので、例えばシステム時間を、第３のデータコネクションＥＴＨを介してアダプタモジュールＡＤに連続的に送信することができ、アダプタモジュールＡＤは、ローカルクロックをシステム時間と同期させるか、または必要に応じて、第３のデータコネクションＥＴＨを介して送信されたシステム時間を直接的に読み出す。

【0046】

基本的には、デジタルＩＤを省略することができる。これに代わる実施形態では、長さΔｔの測定が、タイムスタンプに基づいて実施される。第２の演算ユニットＧＰＵは、このタイムスタンプをデータパケットに付与し、第２の演算ユニットＧＰＵは、第１の画像データが計算される前の時点における試験機の第１のシステム時間をこのタイムスタンプに記憶し、アダプタモジュールは、このタイムスタンプから第１のシステム時間を読み出す。

【0047】

第１の演算ユニットＣＰＵは、Δｔの値を読み出し、このΔｔの値に基づいて第１の画像データのレイテンシＬを推定するように構成されている。簡単な実施形態ではこのことは、第１の演算ユニットＣＰＵが、推定されたレイテンシＬのために、単純にその時々のΔｔの現在の値を使用するようにして実施される。しかしながら、画像データのレイテンシに短期的な変動が発生する場合には、この実施形態は問題となり得る。有利には、第１の演算ユニットＣＰＵは、過去に測定された複数のΔｔの値に基づいて、推定されたレイテンシＬの値を計算する。例えば、第１の演算ユニットＣＰＵは、例えばその時々の直近の１００個のΔｔの値を記憶し、Ｌの値を、記憶されたこれらのΔｔの値の平均値、加重平均値、または中央値として計算するように構成することができる。

【0048】

ここで、第１の演算ユニットが、周囲モデルにおける全ての移動可能な仮想的なオブジェクトのために、または少なくとも関連する移動可能な仮想的なオブジェクトを選択するために、すなわち図示された実施例では、具体的に第１の仮想的な車両ＶＥＨ１および第２の仮想的な車両ＶＥＨ２のために、推定されたレイテンシＬを使用して外挿位置を計算するようにして、レイテンシの補償が実施される。したがって、第１の演算ユニットＣＰＵは、第１の仮想的な車両ＶＥＨ１のために、第１の位置ｘ（ｔ）および第１の速度ベクトルｖ（ｔ）に基づいて第１の外挿位置ｘ（ｔ＋Ｌ）を計算し、第１の演算ユニットＣＰＵはさらに、第２の仮想的な車両ＶＥＨ２のために、第２の位置ｘ’（ｔ）および第２の速度ベクトルｖ’（ｔ）を使用して第２の外挿位置ｘ’（ｔ＋Ｌ）を計算する。外挿位置の算出は、例えばルンゲ・クッタ法、好ましくはオイラー法に基づいて、好ましくは推定されたレイテンシＬ全体にわたるただ１つの積分ステップに基づいて実施される。外挿位置が時点ｔ＋Ｌでの実際の位置から相違し過ぎている場合には、比較的高い計算量を対価として、基本的に任意のより精度の高い積分法、例えばより高次の積分法、またはレイテンシＬの部分間隔にわたる複数回の積分を使用することもできる。

【0049】

第１の演算ユニットＣＰＵは、実際の現在の第１の位置ｘ（ｔ）および第２の位置ｘ’（ｔ）の代わりに、第１の外挿位置ｘ（ｔ＋Ｌ）および第２の外挿位置ｘ’（ｔ＋Ｌ）を第２の演算ユニットＧＰＵに送信する。同様にして、場合によって存在する別の移動可能な仮想的なオブジェクトの代わりに、すなわち少なくとも、周囲モデル中でモデル化されたシナリオに関して関連性を有すると識別された仮想的なオブジェクトの位置の代わりに、常にその時々の仮想的なオブジェクトの外挿位置が送信される。したがって、第２の演算ユニットＧＰＵは、画像データの計算時に、時間期間Δｔが経過した後の周囲モデルＭＯＤの推定された未来の状態を前提とする。このようにして計算された画像データが最終的に画像処理システムＵＵＴに供給されると、第１の演算ユニットＣＰＵ上でのシミュレーションは、画像データのこのタイムアドバンテージをほぼ挽回している。これによって、画像処理システムＵＵＴからの制御データは、周囲モデルＭＯＤの現在の状態Ｍ（ｔ）により良好に一致し、これによってシミュレーション結果の精度は、従来技術から公知の同様の試験機に比べて改善される。

【図1】

【図2】