特許 7069425 第１の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-09

(45)【発行日】2022-05-17

(54)【発明の名称】第１の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法

(51)【国際特許分類】

   G01S 15/86 20200101AFI20220510BHJP

   G01S 15/931 20200101ALI20220510BHJP

   G01S 7/539 20060101ALI20220510BHJP

   G08G 1/16 20060101ALI20220510BHJP

【ＦＩ】

G01S15/86

G01S15/931

G01S7/539

G08G1/16 C

【請求項の数】 11

(21)【出願番号】P 2021547885

(86)(22)【出願日】2019-09-16

(65)【公表番号】

(43)【公表日】2022-01-20

(86)【国際出願番号】 EP2019074653

(87)【国際公開番号】W WO2020088829

(87)【国際公開日】2020-05-07

【審査請求日】2021-04-28

(31)【優先権主張番号】102018218733.9

(32)【優先日】2018-10-31

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100195408

【弁理士】

【氏名又は名称】武藤 陽子

(72)【発明者】

【氏名】ルーナウ，パウル

(72)【発明者】

【氏名】バイセンマイヤー，ジーモン

【審査官】藤田 都志行

(56)【参考文献】

【文献】特開２０１８－０７２２３６（ＪＰ，Ａ）

【文献】特開２０１７－０７８９１２（ＪＰ，Ａ）

【文献】特開２０１８－０６６７２６（ＪＰ，Ａ）

【文献】特開平０６－２４９９５５（ＪＰ，Ａ）

【文献】特開２００７－３２２２３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３５７１８７（ＵＳ，Ａ１）

【文献】独国特許出願公開第１０２０１６００９０２２（ＤＥ，Ａ１）

【文献】米国特許出願公開第２０１６／０００１７８０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／５２－ ７／６４

Ｇ０１Ｓ １５／００－１５／９６

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／０１３４

(57)【特許請求の範囲】

【請求項1】

第１の超音波センサ（３０）の路面濡れ情報を使って移動手段（８０）のカメラベースの周辺環境認識を補助するための方法であって、
前記移動手段（８０）の前記第１の超音波センサ（３０）を使って、前記移動手段（８０）の周辺環境（６０）を表す第１の信号を捕捉するステップ（１００）と、
前記移動手段（８０）のカメラ（４０）を使って、前記移動手段（８０）の前記周辺環境（６０）を表す第２の信号を捕捉するステップ（２００）と、
前記第１の信号に基づいて前記路面濡れ情報を確定するステップ（３００）と、
前記路面濡れ情報に依存して、複数の所定のパラメータセットから１つの所定のパラメータセットを選択するステップ（４００）と、
前記所定のパラメータセットと関連して、前記第２の信号に基づき周辺環境認識を実行するステップ（５００）と
を含む方法。

【請求項2】

前記第１の信号と前記第２の信号が実質的に同じ時点で捕捉される、請求項１に記載の方法。

【請求項3】

前記路面濡れ情報が、前記第１の信号のノイズレベル（７０）とノイズレベル（７０）に関する所定の閾値（７５）との比較によって、とりわけ前記ノイズレベル（７０）と速度依存の所定の閾値（７５）との比較によって確定される、請求項１または２に記載の方法。

【請求項4】

前記路面濡れ情報の前記確定（３００）が、追加的に前記移動手段（８０）の
速度および／または
加速度および／または
エンジン回転数
に依存して行われる、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記所定のパラメータセットが、トレーニングされた自己学習システムの設定を表す、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記所定のパラメータセットの選択（４００）が、代替的にまたは追加的に
前記ノイズレベル（７０）の変化および／または
その時々の外気温度および／または
前記移動手段（８０）の前記周辺環境（６０）内に存在する水分量
に依存して行われる、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記路面濡れ情報の確定（３００）が、前記第１の信号への干渉がないことに依存して行われる、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記第１の超音波センサ（３０）は、前記第１の超音波センサ（３０）の捕捉領域が前記移動手段（８０）の走行方向にまたは前記走行方向とは逆方向に存在するように、前記移動手段（８０）に配置される、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記周辺環境（６０）がこれに加えて第２の超音波センサ（３５）に基づいて捕捉され、前記第２の超音波センサ（３５）は、前記第２の超音波センサ（３５）の捕捉領域が前記移動手段（８０）の走行方向にまたは前記走行方向とは逆方向に存在するように前記移動手段（８０）に配置されている、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記第１の信号から確定された前記路面濡れ情報が、前記第２の信号から確定された路面濡れ情報によって尤度確認される、請求項１から９のいずれか一項に記載の方法。

【請求項11】

第１の超音波センサ（３０）の路面濡れ情報を使って移動手段（８０）のカメラベースの周辺環境認識を補助するための装置であって、
評価ユニット（１０）および
データ入力部（１２）を含んでおり、
前記評価ユニット（１０）が、
前記データ入力部（１２）と関連して、
前記移動手段（８０）の前記第１の超音波センサ（３０）を使って確定された、前記移動手段（８０）の周辺環境（６０）を表す第１の信号を捕捉するよう、
前記移動手段（８０）のカメラ（４０）を使って確定された、前記移動手段（８０）の前記周辺環境（６０）を表す第２の信号を捕捉するよう、
前記第１の信号に基づいて路面濡れ情報を確定するよう、
前記路面濡れ情報に依存して、複数の所定のパラメータセットから１つの所定のパラメータセットを選択するよう、および
前記所定のパラメータセットと関連して、前記第２の信号に基づき周辺環境認識を実行するように構成されている装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、第１の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法に関する。

【背景技術】

【0002】

現況技術からは、移動手段の周辺環境内のオブジェクトについての情報を得るために、カメラベースの周辺環境認識を実施する移動手段が知られている。この情報は、例えば移動手段の運転者支援システムおよび／または自律制御システムによって受信および使用される。このような周辺環境認識の基盤は、画像解析およびオブジェクト分類のための、現況技術から知られたアルゴリズムであり、これらのアルゴリズムは一般的に、特定のオブジェクトのための１つまたは複数の分類器を用いる。

【0003】

現況技術からはさらに、降水の存在を認識するための移動手段用の雨センサが知られている。これらの雨センサはたいてい、移動手段のフロントガラスの上側領域に配置されており、かつフロントガラス上に存在している降水を認識するよう適応されている。このような雨センサによって確定された濡れ情報は、周辺環境認識の適切な分類器を選択するために使用され得る。

【0004】

現況技術からはさらに、移動手段との関連で、しばしば駐車支援システムまたは類似の運転者支援システムのために用いられる超音波センサが知られている。このために、このような超音波センサはたいてい、移動手段の周辺環境内のオブジェクトの移動手段に対する間隔を超音波信号の信号伝播時間に基づいて確定し得るため、超音波センサの放射方向および捕捉方向が移動手段に対して実質的に水平であるように、移動手段に配置されている。

【発明の概要】

【課題を解決するための手段】

【0005】

本発明の第１の態様によれば、第１の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法が提案される。移動手段は、例えば路上走行車（例えばオートバイ、乗用車、輸送トラック、トラック）または鉄道車両または航空機／飛行機または船舶であり得る。さらに、以下に説明するプロセスステップは、移動手段の本発明による装置によって完全にまたは部分的に実行され得る。この装置は、好ましくはデータ入力部を備えた評価ユニットを含み得る。評価ユニットは、例えばＡＳＩＣ、ＦＰＧＡ、プロセッサ、デジタル信号プロセッサ、マイクロコントローラなどとして構成することができ、かつ内部および／または外部のメモリユニットに情報通信技術により接続され得る。評価ユニットはそれだけでなく、本発明による方法を、評価ユニットによって実行されるコンピュータプログラムと関連させて実行するよう適応され得る。

【0006】

本発明による方法の第１のステップでは、移動手段の第１の超音波センサを使って、移動手段の周辺環境を表す第１の信号が捕捉される。この超音波センサは、そのほかの目的にも使用される／使用可能な、移動手段の超音波センサであり得る。代替的にまたはそれに加えて、本発明による方法のための、専用の超音波センサを用いてもよい。移動手段の超音波センサは、例えば移動手段の駐車支援システムまたは別の運転者支援システムの超音波センサであり得る。超音波センサは、例えば移動手段のフロントエプロン内もしくはリア領域内に、または移動手段のさらなる位置にも配置でき、したがってタイヤ騒音も、前方または後方にある車道およびその周辺環境も捕捉され得る。超音波センサはそれだけでなく、本発明による評価ユニットのデータ入力部と直接的にまたは間接的に（つまり、例えば移動手段の別の制御機器を介して）、情報通信技術により接続され得る。この接続は、例えば移動手段のオンボードネットワークのバスシステム（例えばＣＡＮ、ＬＩＮ、ＭＯＳＴ、イーサネットなど）を使って確立され得る。評価ユニットによって受信された第１の超音波センサの第１の信号は、評価ユニットによるその後の処理のために先ずは、評価ユニットに接続されたメモリユニットに格納され得る。

【0007】

本発明による方法の第２のステップでは、移動手段のカメラを使って、移動手段の周辺環境を表す第２の信号が捕捉される。第２の信号は、第１の信号と実質的に同じ時点で捕捉され得ることが好ましく、したがって両方の信号のそれぞれが、時間的に相互に対応する周辺環境情報を内包していることが保証され得る。異なるセンサタイプならびに異なる信号処理チェーンおよび信号伝送チェーンに基づいて、両方の信号間の時間ずれが生じ得る。より好ましいが、本発明による方法にとって必ずしも保証されなくてもよい両方の信号間の時間ずれの範囲は、例えば数ミリ秒～数百ミリ秒の間であり、または秒範囲であってもよい。カメラは、例えば標準、ＨＤ、もしくはＵｌｔｒａ－ＨＤの画像解像度を有する２Ｄもしくは３Ｄカメラまたは赤外線カメラであり得る。カメラは、移動手段の前方にある周辺環境を捕捉するように、移動手段に配置および方向づけされることが好ましい。ただしカメラのそのような配置および／または方向づけは、この例には制限されていない。第１の超音波センサに倣って、カメラは移動手段のオンボードネットワークを介し、本発明による評価ユニットと直接的にまたは間接的に、情報通信技術により接続され得る。本発明の好ましい一実施形態では、カメラを移動手段の画像処理ユニットと情報通信技術により接続することができ、この画像処理ユニットは、カメラの画像信号を受信および処理するよう適応されている。このような画像処理ユニットは、なかでも、移動手段の運転者支援システムまたは自律走行動作システムの構成要素であり得る。画像処理ユニットはさらに、この好ましい実施形態では本発明による評価ユニットと情報通信技術により接続することができ、したがって評価ユニットは、以下でより詳しく説明する路面濡れ情報を画像処理ユニットに伝送し得る。この実施形態の代わりにまたはそれに加えて、画像処理ユニットは評価ユニット自体の構成要素とすることができ（またはその逆もある）、したがってこの両方のコンポーネント間の通信は直接的に、かつ移動手段のオンボードネットワークを介さずに行われ得る。これは、例えば本発明による評価ユニットによって実行されるべきである、コンピュータプログラムの形態での本発明によるプロセスステップの実行論理が画像処理ユニットによって実行されるように実現され得る。

【0008】

本発明による方法の第３のステップでは、第１の信号に基づいて路面濡れ情報が確定される。このために評価ユニットは、第１の信号のノイズレベルを、ノイズレベルに関する所定の閾値と比較することができ、この閾値は、評価ユニットに接続されたメモリユニットに格納され得る。ノイズレベルに関する所定の閾値は、ノイズレベルがこの所定の閾値を上回る場合に、その時々の路面濡れの存在が推測され得るように選択されるのが好ましい。逆に、ノイズレベルがこの所定の閾値を下回る場合には、乾いた車道表面が推測され得る。路面濡れ情報の確定結果もまたメモリユニットに格納され得る。評価ユニットは、濡れた車道表面かまたは乾いた車道表面かの単なる区別の代わりにまたはそれに加えて、第１の信号のノイズレベルが所定の閾値を上回る場合には、第１の信号のノイズレベルが所定の閾値を上回る程度を考慮することにより、濡れ度の推定も行い得る。それだけでなく、ノイズレベルに関する複数の所定の閾値を使用することも考えられ、この場合、それぞれの所定の閾値は、移動手段の異なる速度および／または速度範囲と対応し得る。言い換えれば、より高い速度は一般的に、第１の信号におけるより高いノイズレベルを伴うので、移動手段のオンボードネットワークを介して提供される、移動手段のその時々の速度についての情報を評価ユニットによって受信し、これにより評価ユニットが、その時々の速度の値に依存して、複数の所定の閾値からそれぞれ対応する所定の閾値を選択し得ることが有利であり得る。こうすることで、移動手段の比較的高い速度の場合に、車道表面が実際には乾いた状態にあるにもかかわらず、評価ユニットによって誤って路面濡れが認識されるのを防ぐことができる。

【0009】

本発明による方法の第４のステップでは、路面濡れ情報に依存して、複数の所定のパラメータセットから１つの所定のパラメータセットが選択される。複数の所定のパラメータセットは、例えば分類器に関する異なる設定を表すことができ、この分類器は、第２の信号に基づいて移動手段の周辺環境を分析し、かつこの周辺環境内のオブジェクトを認識するよう適応されている。このような分類器は、画像処理ユニットおよび／または評価ユニットによって実行されるコンピュータプログラムの一部であり得ることが好ましい。本発明による評価ユニットと画像処理ユニットが別々のコンポーネントとして実装されている場合には、所定のパラメータセットの選択は画像処理ユニットにより、路面濡れ情報および場合によってはさらなる情報（例えば移動手段の速度についての）に依存して行うことができ、これらの情報は、移動手段のオンボードネットワークを介して評価ユニットから提供され得る。異なる所定のパラメータセットを使用する目的は、周辺環境認識のために、その時々の周辺環境（つまり濡れているまたは乾いている）に適合した所定のパラメータセットを使用することである。その背景には、乾いた周辺環境のためにトレーニングされた分類器は、濡れた周辺環境では周辺環境認識の過程で、例えば前方を走行する移動手段の巻き上げた水（しぶき）に基づき、一般的に不十分なまたは信頼できない結果しか保証できないということがある。逆に、濡れた周辺環境のためにトレーニングされた分類器もまた、乾いた周辺環境ではしばしば最適な認識結果を供給できない。評価ユニットによって提供される濡れ情報が、単なる濡れ／乾燥の区別だけでなく、濡れ度についての情報を内包する場合には、追加的に濡れ度に依存して、それぞれの測定度に合った所定のパラメータセットが選択され得る。

【0010】

本発明による方法の第５のステップでは、この所定のパラメータセットと関連させて、第２の信号に基づいて周辺環境認識が実行される。周辺環境認識のための濡れ情報に基づいてそれぞれ適合された所定のパラメータセットが使用され得るので、周辺環境認識の認識性能が相応に最適化され得る。その結果として生じる周辺環境認識の信頼性の向上は他方ではまた、移動手段を使用する際のより高い安全性をもたらし得る。 従属請求項は本発明の好ましい変形形態を示している。

【0011】

本発明の有利な一形態では、路面濡れ情報の確定が、追加的に移動手段の速度および／または加速度および／またはエンジン回転数に依存して行われ得る。その時々の路面濡れ情報を確定する際の、その時々の速度の有利な考慮は上記で既に詳細に説明した。それに倣って、移動手段のオンボードネットワークを介して受信された、移動手段のその時々の加速度および／またはその時々のエンジン回転数についての値が、類似のやり方で有利に考慮され得る。

【0012】

本発明のさらなる有利な一形態では、所定のパラメータセットが、トレーニングされた自己学習システムの設定を表し得る。つまり上述の分類器は、例えばニューラルネットワーク（例えばディープラーニング構造を有する）のような自己学習システムに基づいて実現され得る。それだけでなく、さらなる種類の自己学習システムも用いられ得る。こうすることで、そのような自己学習システムを使って、異なる濡れ状況での移動手段のトレーニング走行が実施でき、かつ自己学習システムのそれぞれのトレーニングされた設定が、異なる所定のパラメータセットの形態で保存され得る。

【0013】

本発明のさらなる有利な一形態では、所定のパラメータセットの選択が、代替的にまたは追加的にノイズレベルの変化および／またはその時々の温度および／または移動手段の周辺環境内に存在する水分量に依存して行われ得る。ノイズレベルの変化は、上述のように車道表面の水分量の違いに基づいて引き起こされ得る。しかしそれだけでなくノイズレベルの変化は、前方を走行する車両に対する間隔の変化によっても引き起こされ得る。両方の場合には、それに伴って変化する視覚条件に基づいて、周辺環境認識のための相応の適合されたパラメータセットを使用することが有意義であり得る。ノイズレベルの変化が、変化した水分量によって引き起こされているのかまたは前方を走行する車両の間隔変化によって引き起こされているのかの区別は、第２の信号の追加的な分析により、例えば直前を走行している車両のサイズ変化が確定されることによって行われ得る。その代わりにまたはそれに加えて移動手段のさらなる周辺環境センサの信号も、その時々の状況を評価するために参照され得る。ここでは、移動手段のＬＩＤＡＲシステムおよび／またはレーダシステムによる、前方を走行する車両に対する間隔情報を考慮することがとりわけ有利であり得る。上で挙げた場合のために生成および使用される所定のパラメータセットは、水けむりによって部分的に覆い隠された移動手段を、たとえ前方を走行する移動手段の輪郭がカメラによって曖昧にしか捕捉されないとしても、より良好におよび／またはより速く認識することをもたらす。

【0014】

さらに、４℃未満、とりわけ０℃未満の外気温度は、車道端でおよび／または車道上にすら雪が存在する可能性を逆推論させることができるので、その時々の外気温度を、所定のパラメータセットを選択する際に考慮することが有意義である。少なくとも車道端に雪が存在している確率は、とりわけ０℃以下の外気温度と同時に路面濡れの認識が存在している場合に高い可能性がある。これらの情報に基づいて、さらなる適切な所定のパラメータセットが選択でき、かつ周辺環境認識の過程で使用でき、したがって例えば雪が存在している際にも車道境界線が高い信頼性をもって認識される。

【0015】

本発明のさらなる有利な一形態では、路面濡れ情報の確定が、第１の信号への干渉がないことに依存して行われ得る。干渉がないとは、ここでは、非常に様々な干渉の影響の不在ということであり、これらの干渉の影響は、例えば道路端での建設および／または移動手段のすぐ近くのさらなる移動手段のように、信頼できる路面濡れ認識を困難にし、またはそれどころか不可能にする。このような干渉の影響は、例えば第２の信号に基づいて、またはＬＩＤＡＲセンサおよび／もしくはレーダセンサのようなさらなる周辺環境センサの信号に基づいて確定され得る。干渉の影響が存在する場合には、評価ユニットが、干渉の影響の発生前の、路面の濡れ状態を表す路面濡れ情報を画像処理ユニットに伝送し得る。この値は、１つまたは複数の干渉の影響が移動手段の周辺環境から消滅するまでの間、システム全体における路面濡れ情報として継続して使用され得ることが好ましい。こうすることで、干渉の影響の短期的な出現および消滅が、路面濡れ情報の望ましくなく頻繁な変更を生じさせないので、とりわけ時間的に限定された干渉の影響が回避され、有利である。これにより、所定のパラメータセットの望まれない頻繁な取り替えもまた回避される。

【0016】

既に上で述べたように第１の超音波センサは、第１の超音波センサの捕捉領域が移動手段の走行方向にまたは移動手段の走行方向とは逆に存在しているように、移動手段に配置され得る。それだけでなく、移動手段の周辺環境をこれに加えて第２の超音波センサに基づいて捕捉することができ、とりわけ、第２の超音波センサの捕捉領域が移動手段の走行方向にまたは移動手段の走行方向とは逆に存在しているように移動手段に配置された第２の超音波センサによって捕捉することができる。好ましい一形態では、例えば第１の超音波センサが移動手段の走行方向に、および第２の超音波センサが移動手段の走行方向とは逆に方向づけられる。こうすることで両方の超音波センサに基づいて路面濡れ情報が確定でき、これにより、それぞれの第１の信号から得られた路面濡れ情報の追加的な尤度確認が可能である。その代わりに、その時々の時点で干渉の影響の割合が最小の超音波センサの第１の信号がそれぞれ、路面濡れに関して評価されることにより、交代で第１の超音波センサまたは第２の超音波センサに基づいて路面濡れ情報が確定される。これに関連して、第１および第２の超音波センサだけでなく、さらなる超音波センサが本発明による方法のために用いられ得ることを指摘しておく。つまり、例えば第３、第４、およびそれ以上の超音波センサを用いることができ、これらの超音波センサは、上述の形態に倣って組み合わされおよび使用され得る。第１、第２、第３、第４、および場合によっては、さらなる超音波センサの配置は、移動手段のフロント領域および／またはリア領域には明示的に制限されていない。

【0017】

本発明のさらなる有利な一形態では、第１の信号から確定された路面濡れ情報が、第２の信号から確定された路面濡れ情報によって尤度確認され得る。これは、カメラ画像内での光源の反射の分析に基づいて、例えばこれらの光源が車道面の上にあるのかまたは見た目には下にあるのかがチェックされることによって行われ得る。それだけでなく、路面濡れ情報は移動手段のさらなるセンサおよび／または制御機器によっても尤度確認され得る。ここでは、例えば移動手段のフロントガラスに配置された雨センサが、または移動手段のさらなるセンサも考慮される。

【0018】

周辺環境認識によって確定された、移動手段の周辺環境内のオブジェクトについての情報は、続いてなかでも移動手段の運転者支援システムおよび／または自律制御システムに送られて、そこで使用され得る。

【0019】

本発明の第２の態様によれば、第１の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための装置が提案される。この装置は、評価ユニットおよびデータ入力部を含んでいる。評価ユニットは、例えばＡＳＩＣ、ＦＰＧＡ、プロセッサ、デジタル信号プロセッサ、マイクロコントローラなどとして形成することができ、かつ内部および／または外部のメモリユニットに情報通信技術により接続され得る。評価ユニットはそれだけでなく、本発明による方法を、評価ユニットによって実行されるコンピュータプログラムと関連させて実施するよう適応され得る。評価ユニットはさらに、データ入力部と関連して、移動手段の第１の超音波センサを使って確定された、移動手段の周辺環境を表す第１の信号を捕捉するよう、および移動手段のカメラを使って確定された、移動手段の周辺環境を表す第２の信号を捕捉するよう適応されている。超音波センサは、移動手段の既存の超音波センサであり得ることが好ましい。超音波センサはさらに、例えば移動手段のフロントエプロン内もしくはリア領域内に、または移動手段のさらなる位置にも配置でき、したがって前方または後方にある車道およびその周辺環境が捕捉され得る。カメラは、例えば標準、ＨＤ、もしくはＵｌｔｒａ－ＨＤの画像解像度を有する２Ｄもしくは３Ｄカメラまたは赤外線カメラである。カメラは、カメラが移動手段の前方にある周辺環境を捕捉し得るように、移動手段に配置および方向づけされることが好ましい。評価ユニットは、移動手段のオンボードネットワークにより、超音波センサおよびカメラと直接的におよび／または間接的に、情報通信技術により接続され得る。それだけでなく評価ユニットは、第１の信号に基づいて路面濡れ情報を確定し、この路面濡れ情報に依存して、複数の所定のパラメータセットから１つの所定のパラメータセットを選択し、かつこの所定のパラメータセットと関連させて、第２の信号に基づいて周辺環境認識を実施するよう適応されている。

【0020】

以下に本発明の例示的実施形態を、添付の図面を参照しながら詳細に説明する。

【図面の簡単な説明】

【0021】

【図1】本発明による方法の１つの例示的な実施形態のステップを示すフロー図である。

【図2】移動手段と関連した本発明による装置のブロック図である。

【図3】第１の超音波センサの速度依存のノイズレベルに係るグラフである。

【発明を実施するための形態】

【0022】

図１は、第１の超音波センサ３０の路面濡れ情報を使って移動手段８０のカメラベースの周辺環境認識を補助するための本発明による方法の１つの例示的実施形態のステップを図解するフロー図を示している。第１のステップ１００では、マイクロコントローラである本発明による評価ユニット１０により、移動手段８０の第１の超音波センサ３０を使って、移動手段８０の周辺環境６０を表す第１の信号が捕捉される。第１の超音波センサ３０は、移動手段８０のフロントエプロン内に配置されており、かつ移動手段８０の走行方向に方向づけられている。評価ユニット１０は、評価ユニット１０のデータ入力部１２を使って第１の信号を受信し、かつ第１の信号によって表された周辺環境情報を、マイクロコントローラの内部のメモリユニット２０に保存する。ステップ２００では、移動手段８０のカメラ４０を使って、移動手段８０の周辺環境６０を表す第２の信号が捕捉される。カメラ４０は、移動手段８０の室内で、移動手段８０のフロントガラスの上側領域に配置されており、かつカメラ４０が移動手段８０の前方にある周辺環境６０を捕捉し得るように方向づけられている。カメラ４０の第２の信号は、移動手段８０の画像処理ユニットによって受信され、この画像処理ユニットはカメラ４０と情報通信技術により接続されている。超音波センサ３０の第１の信号およびカメラ４０の第２の信号は、実質的に同一の時点で捕捉される。ステップ３００では、評価ユニット１０によって実行されるコンピュータプログラムを使って、第１の信号に基づいて路面濡れ情報が確定される。このために評価ユニット１０は、第１の信号のノイズレベル７０を、ノイズレベル７０に関する所定の閾値７５と比較する。ノイズレベル７０による所定の閾値７５の上回りは、移動手段８０の周辺環境６０内の路面濡れの存在を類推させる。この場合には所定の閾値７５に基づいて路面濡れの存在が認識されるので、評価ユニット１０は、その時々の路面濡れ情報を含む相応の信号を、移動手段８０のオンボードネットワークの車両用バスを使って画像処理ユニットに送信する。画像処理ユニットは本発明による方法のステップ４００で、受信された路面濡れ情報に依存して、複数の所定のパラメータセットから１つの所定のパラメータセットを選択する。この場合に画像処理ユニットによって選択されたパラメータセットは、ニューラルネットワークをベースとする分類器の設定を表しており、この分類器は、事前に（例えば移動手段８０の開発段階で）、類似の路面濡れ条件下でトレーニングされている。続いてステップ５００では画像処理ユニットにより、所定のパラメータセットと関連させて、第２の信号に基づいて周辺環境認識が実施される。その後、周辺環境認識によって確定された、移動手段８０の周辺環境６０内のオブジェクトについての情報が、オンボードネットワークにより移動手段８０の自律制御システムに伝送され、かつ自律制御システムにより移動手段８０の自律制御の過程で使用される。

【0023】

図２は、移動手段８０と関連した本発明による装置のブロック図を示している。この装置は評価ユニット１０を含んでおり、評価ユニット１０は、ここではマイクロコントローラであり、かつデータ入力部１２を備えている。評価ユニット１０はデータ入力部１２により、移動手段８０のオンボードネットワークを介し、移動手段８０の走行方向に方向づけられた第１の超音波センサ３０および走行方向とは逆に方向づけられた第２の超音波センサ３５と情報通信技術により接続されている。同様にデータ入力部１２を介して評価ユニット１０は移動手段８０の走行方向に方向づけられたカメラ４０と、移動手段８０のオンボードネットワークを介して情報通信技術により接続されている。評価ユニット１０はさらに、外部のメモリユニット２０と情報通信技術により接続されており、外部のメモリユニット２０は、評価ユニット１０によって受信された、評価ユニット１０によるその後の処理のための情報を保存するよう適応されている。評価ユニット１０は、第１の超音波センサ３０、第２の超音波センサ３５、およびカメラ４０を使って実質的に同一の時点で移動手段８０の周辺環境６０を捕捉することができる。この例では、本発明による方法のすべてのステップが評価ユニット１０自体で実行され、つまり評価ユニット１０は、第１の超音波センサ３０および第２の超音波センサ３５の第１の信号に基づいて路面濡れ情報を確定するよう適応されているだけでなく、さらに、路面濡れ情報と対応する所定のパラメータセットを選択するよう、およびその所定のパラメータセットを使い、カメラ４０の第２の信号に基づいて周辺環境認識を実行するよう適応されている。

【0024】

図３は、第１の超音波センサ３０の速度依存のノイズレベル７０のグラフを示している。グラフの第１の段階Ｐ１では、第１の超音波センサ３０を本発明に係る方法の意味において用いる移動手段８０が、第１の段階Ｐ１の所定の閾値７５と対応する速度ｖで走行している。言い換えれば、移動手段８０の最初は相対的に低い速度ｖに基づいて、第１の段階Ｐ１では、第１の信号のノイズレベル７０と比較するための複数の所定の閾値７５のうち、この速度範囲のために事前に定められた所定の閾値７５が使用されている。ノイズレベル７０が第１の段階Ｐ１では全体的に、第１の段階Ｐ１の所定の閾値７５より上にあるので、本発明による評価ユニット１０により、路面濡れの存在が確認される。速度ｖの推移に関しては、移動手段８０の速度ｖがここでは時間の経過と共にさらに増大することが認識され得る。速度値ｖ１に達すると評価ユニット１０により、このときの比較的高い速度ｖに基づいて、第１の段階Ｐ１の所定の閾値７５とは相違する第２の段階Ｐ２のための所定の閾値７５が選択される。これにより第２の段階Ｐ２の所定の閾値７５の、比較的高い速度ｖによって生成されるノイズレベル７０への適合が行われる。ノイズレベル７０は、第２の段階Ｐ２の始めは第２の段階Ｐ２の所定の閾値７５より上にあるので、既に第１の段階Ｐ１でそうであったように、最初はここでもまた路面濡れの存在が認識される。第２の段階Ｐ２内の時点ｔ１では、ノイズレベル７０の曲線が第２の段階Ｐ２の所定の閾値７５を下回るほど下がっている。それに反応して評価ユニット１０により、乾いた車道表面が確認される。

【図1】

【図2】

【図3】