▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
特開2024-132949クリーニング情報を決定する方法、ニューラルネットワークアルゴリズムを訓練する方法、制御装置、カメラセンサシステム、車両、コンピュータプログラムおよび記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132949
(43)【公開日】2024-10-01
(54)【発明の名称】クリーニング情報を決定する方法、ニューラルネットワークアルゴリズムを訓練する方法、制御装置、カメラセンサシステム、車両、コンピュータプログラムおよび記録媒体
(51)【国際特許分類】
G06V 10/82 20220101AFI20240920BHJP
G06T 7/00 20170101ALI20240920BHJP
B60R 1/24 20220101ALI20240920BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
B60R1/24
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024035504
(22)【出願日】2024-03-08
(31)【優先権主張番号】23161926
(32)【優先日】2023-03-14
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【弁理士】
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】サビン・ハメド・サリム
(72)【発明者】
【氏名】ヴィクトル・デーリング
(72)【発明者】
【氏名】トーマス・ボップ
(72)【発明者】
【氏名】レーネ・シュースター
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096DA03
5L096DA04
5L096FA19
5L096FA59
5L096GA10
5L096GA30
5L096GA51
5L096HA09
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】カメラセンサの光路における透明なカメラセンサコンポーネント上の妨害を含む、少なくとも部分的な妨害を受けているカメラセンサのクリーニング情報を決定する方法等を提供する。
【解決手段】方法は、少なくとも１つのカメラ画像をキャプチャするようにカメラセンサを制御するステップと、ニューラルネットワークアルゴリズムを用いて少なくとも１つのカメラ画像を計算装置によって処理するステップと、カメラセンサ妨害度合とカメラセンサ妨害のクラスとに応じてクリーニング情報を決定するステップと、クリーニング情報に従ってカメラセンサをクリーニングするために、カメラセンサと関連付けられているクリーニング装置にクリーニング情報を送信するステップと、を含む。カメラセンサは、例えば、車両のカメラセンサ、特に、車両周辺環境の少なくとも一部をキャプチャするために運転支援システムの一部として用いられる。
【選択図】図２
【解決手段】方法は、少なくとも１つのカメラ画像をキャプチャするようにカメラセンサを制御するステップと、ニューラルネットワークアルゴリズムを用いて少なくとも１つのカメラ画像を計算装置によって処理するステップと、カメラセンサ妨害度合とカメラセンサ妨害のクラスとに応じてクリーニング情報を決定するステップと、クリーニング情報に従ってカメラセンサをクリーニングするために、カメラセンサと関連付けられているクリーニング装置にクリーニング情報を送信するステップと、を含む。カメラセンサは、例えば、車両のカメラセンサ、特に、車両周辺環境の少なくとも一部をキャプチャするために運転支援システムの一部として用いられる。
【選択図】図２
【特許請求の範囲】
【請求項1】
カメラセンサ（３）の光路における透明なカメラセンサコンポーネント（６）上の妨害を含む、少なくとも部分的な妨害を受けている前記カメラセンサ（３）のクリーニング情報を決定する方法において、
－ 少なくとも１つのカメラ画像をキャプチャするように前記カメラセンサ（３）を制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて前記少なくとも１つのカメラ画像（３）を計算装置によって処理するステップであって、前記ニューラルネットワークアルゴリズムが、前記カメラ画像または各前記カメラ画像から、前記カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、前記カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ 前記カメラセンサ妨害度合と前記カメラセンサ妨害の前記クラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準が前記カメラセンサ妨害の前記決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が前記決定されたカメラセンサ妨害度合により超過される場合、前記クリーニング情報は前記カメラセンサ（３）のクリーニングが必要であることを示す、ステップと、
－ 前記クリーニング情報に従って前記カメラセンサ（３）をクリーニングするために、前記カメラセンサ（３）と関連付けられているクリーニング装置（５）に前記クリーニング情報を送信するステップとを備える方法。
－ 少なくとも１つのカメラ画像をキャプチャするように前記カメラセンサ（３）を制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて前記少なくとも１つのカメラ画像（３）を計算装置によって処理するステップであって、前記ニューラルネットワークアルゴリズムが、前記カメラ画像または各前記カメラ画像から、前記カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、前記カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ 前記カメラセンサ妨害度合と前記カメラセンサ妨害の前記クラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準が前記カメラセンサ妨害の前記決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が前記決定されたカメラセンサ妨害度合により超過される場合、前記クリーニング情報は前記カメラセンサ（３）のクリーニングが必要であることを示す、ステップと、
－ 前記クリーニング情報に従って前記カメラセンサ（３）をクリーニングするために、前記カメラセンサ（３）と関連付けられているクリーニング装置（５）に前記クリーニング情報を送信するステップとを備える方法。
【請求項2】
前記ニューラルネットワークアルゴリズムは、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムであるか、または、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムを備えることを特徴とする、請求項１に記載の方法。
【請求項3】
前記複数の妨害クラスはクリーニング基準が割り当てられていない少なくとも１つの非妨害クラスを含むことを特徴とする、請求項１または２に記載の方法。
【請求項4】
前記複数の妨害クラスは、少なくとも、クリーニング基準が各々割り当てられる、汚れクラス、滴クラスおよび／または曇りクラスを含むことを特徴とする、請求項１～３の何れか１項に記載の方法。
【請求項5】
前記クリーニング情報はさらなるアルゴリズムにより、特に、ニューラルネットワークにより決定され、前記クリーニング情報は前記カメラセンサをクリーニングするためのクリーニング戦略を示し、前記クリーニング戦略は、複数のクリーニング戦略の中から、前記決定された妨害クラスに応じて、および／または、各クリーニング戦略に割り当てられている２つまたは３つ以上の異なる度合閾値と前記決定されたカメラセンサ妨害度合とを比較することにより決定されることを特徴とする、請求項１～４の何れか１項に記載の方法。
【請求項6】
前記クリーニング戦略は、追加的に、前記クリーニング装置の現在の状態を示す少なくとも１つのクリーニング装置状態情報に応じて決定されることを特徴とする、請求項１～５の何れか１項に記載の方法。
【請求項7】
前記クリーニング情報は、液体に基づくクリーニング、空気に基づくクリーニングおよび／またはアクチュエータに基づくクリーニングについてのクリーニング命令を含むことを特徴とする、請求項１～６の何れか１項に記載の方法。
【請求項8】
特に、請求項１～７の何れか１項に記載の方法において使用するために、ニューラルネットワークアルゴリズムを訓練する方法において、
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像（７）を供給するステップと、
－ 少なくともいくつかの前記カメラ画像（７）を、各前記カメラ画像（７）に妨害マスク（８）を重畳することにより拡張するステップであって、前記妨害マスク（８）は複数の妨害クラスの中から妨害クラスに割り当てられ、前記妨害マスク（８）は前記妨害マスクの妨害化度合に従って前記カメラ画像（７）の一部を妨害し、前記妨害化度合は各前記カメラ画像（７）について確率論的に決定される、ステップと、
－ 各前記カメラ画像（７）にラベルを関連付けるステップであって、前記ラベルは、前記カメラ画像を拡張する前記妨害マスク（８）の前記妨害クラスおよび前記妨害化度合を示す、ステップと、
－ 前記ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、前記１つまたは複数のネットワーク層と関連付けられているパラメータに従って、前記拡張されたカメラ画像（１０）を処理することにより、各前記拡張されたカメラ画像（７）に関して前記ニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各前記拡張されたカメラ画像（１０）に関して前記生成された出力を、前記拡張されたカメラ画像（１０）と関連付けられている前記ラベルと、目的関数を用いて比較するステップと、
－ 前記比較に基づいて前記パラメータを更新するステップとを備える方法。
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像（７）を供給するステップと、
－ 少なくともいくつかの前記カメラ画像（７）を、各前記カメラ画像（７）に妨害マスク（８）を重畳することにより拡張するステップであって、前記妨害マスク（８）は複数の妨害クラスの中から妨害クラスに割り当てられ、前記妨害マスク（８）は前記妨害マスクの妨害化度合に従って前記カメラ画像（７）の一部を妨害し、前記妨害化度合は各前記カメラ画像（７）について確率論的に決定される、ステップと、
－ 各前記カメラ画像（７）にラベルを関連付けるステップであって、前記ラベルは、前記カメラ画像を拡張する前記妨害マスク（８）の前記妨害クラスおよび前記妨害化度合を示す、ステップと、
－ 前記ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、前記１つまたは複数のネットワーク層と関連付けられているパラメータに従って、前記拡張されたカメラ画像（１０）を処理することにより、各前記拡張されたカメラ画像（７）に関して前記ニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各前記拡張されたカメラ画像（１０）に関して前記生成された出力を、前記拡張されたカメラ画像（１０）と関連付けられている前記ラベルと、目的関数を用いて比較するステップと、
－ 前記比較に基づいて前記パラメータを更新するステップとを備える方法。
【請求項9】
追加的に、前記妨害マスク（８）の外観に関する少なくとも１つのさらなるパラメータを確率論的に変化させ、前記少なくとも１つのさらなるパラメータは、特に、色、色分布、透明度、透明度分布、マスキングセグメントの数、マスキングセグメントの分布、マスキングセグメントのサイズであり、および／または、前記妨害マスクのマスキングセグメントの輪郭を確率論的に変化させることを特徴とする、請求項８に記載の方法。
【請求項10】
前記少なくとも１つのさらなるパラメータを、前記妨害マスク（８）に割り当てられている前記妨害クラスと関連付けられている１つまたは複数の区間内で変化させることを特徴とする、請求項９に記載の方法。
【請求項11】
計算装置を備える制御装置であって、前記制御装置（４）は請求項１～７の何れか１項に記載の方法を実行するように構成されている、制御装置。
【請求項12】
少なくとも１つのカメラセンサ（３）と、前記カメラセンサ（３）と関連付けられている少なくとも１つのクリーニング装置（５）と、請求項１１に記載の制御装置（４）とを備えるカメラセンサシステム。
【請求項13】
請求項１２に記載のカメラセンサシステム（２）を備える車両。
【請求項14】
請求項１～７の何れか１項に記載の方法を実行するようにコンピュータを制御する命令を備えるコンピュータプログラム。
【請求項15】
請求項１４に記載のコンピュータプログラムを備える非一時的な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラセンサの光路における透明なカメラセンサコンポーネント上の妨害を含む、少なくとも部分的な妨害を受けているカメラセンサのクリーニング情報を決定する方法に関する。また、本発明は、ニューラルネットワークアルゴリズムを訓練する方法、制御装置、カメラセンサシステム、車両、コンピュータプログラムおよび記録媒体に関する。
【背景技術】
【0002】
最近の車両においては、特に、先進運転支援システムの機能を車両の運転者に供給するために、車両の周辺環境をキャプチャするためにカメラセンサが用いられる。従って、カメラセンサは車両の周辺環境に向けられ、これにより、カメラセンサの少なくとも一部は車両の外部環境に位置することが必要とされる。通常の場合、これは透明なパーツ、例えば、カメラレンズまたは透明なカメラカバーである。車両の周辺環境の気象条件に応じておよび／または車両の走行条件に応じて、カメラセンサのこれらのパーツは妨害を受ける場合がある。妨害されている状態では、カメラセンサは、例えば、汚れによりまたは雨、雪等の降水により、少なくとも部分的に遮られる。
【0003】
カメラセンサのそのような妨害により、車両の周辺環境における特徴点を検出するその能力が低下または妨げられることから、カメラセンサが妨害されている状態を検知して、妨害を除去するためにカメラセンサのクリーニングを開始することが知られている。
【0004】
特許文献１において、センサ画像データのセグメンテーションに基づいて車両センサ光路における面上のオクルージョンを検知するように構成されているプロセッサが記載されている。検知されたオクルージョンに応じておよびマップデータと車両ルートデータに応じて、この面のクリーニング計画が選択される。
【0005】
特許文献２は、画像キャプチャセンサを覆う視野妨害を検知するコンピュータ実装方法を開示している。この方法は第１データセットのキャプチャされたシーンを、第２データセットに記述されるシーンの基準トポロジと比較する。第１データセットの分類されたシーン要素と第２データセットの分類されたシーン要素との差分が閾値を超える場合、妨害が検知される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第１０８２９０９１号明細書
【特許文献2】独国特許出願公開第１０２０２１２０１２５５号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
カメラセンサの推定される妨害を各々検知すると、カメラセンサをクリーニングすることになる可能性があるため、カメラセンサに割り当てられるクリーニング装置によるどのような不要なクリーニングも回避するために、妨害の検知は可能な限り高精度であるべきである。
【0008】
従って、本発明は、クリーニング情報を供給するための改善された方法を提供するという客観的課題に基づいており、これにより、特に、カメラセンサの妨害の検知と、カメラセンサに割り当てられる、クリーニング装置による妨害されているカメラセンサのクリーニングとが改善される。
【課題を解決するための手段】
【0009】
本発明によると、上記客観的課題は冒頭部に記載の方法により解決され、本方法は、
－ 少なくとも１つのカメラ画像をキャプチャするようにカメラセンサを制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて少なくとも１つのカメラ画像を計算装置によって処理するステップであって、ニューラルネットワークアルゴリズムが、カメラ画像または各カメラ画像から、カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ カメラセンサ妨害度合とカメラセンサ妨害のクラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準がカメラセンサ妨害の決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が決定されたカメラセンサ妨害度合により超過される場合、クリーニング情報はカメラセンサのクリーニングが必要であることを示す、ステップと、
－ クリーニング情報に従ってカメラセンサをクリーニングするために、カメラセンサと関連付けられているクリーニング装置にクリーニング情報を送信するステップとを備える。
－ 少なくとも１つのカメラ画像をキャプチャするようにカメラセンサを制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて少なくとも１つのカメラ画像を計算装置によって処理するステップであって、ニューラルネットワークアルゴリズムが、カメラ画像または各カメラ画像から、カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ カメラセンサ妨害度合とカメラセンサ妨害のクラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準がカメラセンサ妨害の決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が決定されたカメラセンサ妨害度合により超過される場合、クリーニング情報はカメラセンサのクリーニングが必要であることを示す、ステップと、
－ クリーニング情報に従ってカメラセンサをクリーニングするために、カメラセンサと関連付けられているクリーニング装置にクリーニング情報を送信するステップとを備える。
【0010】
カメラセンサは、例えば、車両のカメラセンサ、特に、車両周辺環境の少なくとも一部をキャプチャするために運転支援システムの一部として用いられるカメラセンサであってよい。透明なカメラセンサコンポーネントは、特に、可視スペクトルの光について少なくとも部分的に透明であり、カメラの光路内に設けられるコンポーネント、例えば、レンズ、保護レンズカバー、光フィルタリング要素等であってよい。透明なカメラセンサコンポーネントは、車両の外表面、例えば、フロントまたはリアバンパ、ドアミラーまたは車体の任意の他のパーツに設けられてよい。
【0011】
クリーニング情報を決定する方法の第１ステップにおいて、少なくとも１つのカメラ画像をキャプチャするようにカメラセンサを制御する。透明なカメラセンサコンポーネントが妨害されている場合、画像において妨害が可視であるのは、透明なカメラコンポーネントの少なくとも一部が妨害により覆われている結果、カメラセンサの視野の一部が妨害により遮られているからである。
【0012】
その際、少なくとも１つのカメラ画像は計算装置により処理される。カメラ画像は、キャプチャされたカメラ画像を処理するニューラルネットワークアルゴリズムの入力データである。ニューラルネットワークアルゴリズムは計算装置に実装されている。ニューラルネットワークアルゴリズムは、処理されたカメラ画像各々について、カメラセンサ妨害度合と複数の妨害クラスの中から妨害クラスとを出力として決定するように構成されている。
【0013】
以下、妨害度合としても記載されるカメラセンサ妨害度合は、カメラ画像の少なくとも一部のセグメンテーションに基づいて決定される。妨害度合は、妨害物により妨害されているかまたは妨害物により遮られているカメラセンサの視野の一部についての基準である。妨害度合は、例えば、妨害されていないカメラセンサの０％と完全に妨害されているカメラセンサの１００％との間で変化してよい。
【0014】
妨害度合に加えて、ニューラルネットワークアルゴリズムはカメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の妨害クラスを決定する。以下、カメラセンサ妨害の妨害クラスは妨害クラスとしても記載される。
【0015】
妨害クラスは複数の所定の妨害クラスの中から選択されてよく、複数の所定の妨害クラスは動作中に透明なカメラセンサコンポーネントを覆う可能性がある様々なタイプの降水を包含してよい。妨害クラスは、妨害されていないセンサ、つまり、妨害が存在しない場合を示す、少なくとも１つのクラスを含んでよい。少なくともいくつかの妨害クラスにクリーニング基準は割り当てられてよく、つまり、少なくともいくつかのクラスは、クリーニング処置により除去してよいタイプの妨害としてラベル付けされてよい。妨害クラスの決定は、例えば、ニューラルネットワークアルゴリズムにおける妨害度合の決定と並行的または系列的に生じる。
【0016】
妨害度合および妨害クラスをニューラルネットワークアルゴリズムの出力として決定した後、クリーニング情報をこれらの出力に応じて決定する。クリーニング情報は、カメラセンサのクリーニングが必要であること、つまり、カメラセンサの妨害が検知され、この妨害をクリーニング処置により除去すべきであることを示してよい。従って、クリーニング情報を決定するために、クリーニング基準が割り当てられている妨害クラスが検知されたか否かをチェックする。また、クリーニング情報の決定中には、ニューラルネットワークアルゴリズムにより決定された妨害度合が所定の閾値を超過するか否かチェックされる。言い換えれば、クリーニング情報は、クリーニング対象の妨害タイプが検知され、かつ、相当の度合のカメラセンサの視野が妨害により遮られている場合に、カメラセンサのクリーニングが必要であることを示してよい。
【0017】
カメラセンサのクリーニングが必要である場合、クリーニング情報はカメラセンサと関連付けられているクリーニング装置に送信される。クリーニング装置は、カメラセンサをクリーニング可能であるかまたは検知された妨害を透明なカメラセンサコンポーネントから除去可能な、任意の装置であってよい。クリーニング情報は、特に、検知された妨害タイプおよび／または検知された妨害度合に好適なクリーニングプロセスに関する情報を含んでよい。
【0018】
妨害度合および妨害クラスの両方を検知することは、クリーニング情報を妨害量および妨害タイプの両方に応じて決定することができるという有利な点を有する。特に、妨害の媒体タイプおよび／または妨害の深刻度に従ってカメラセンサをクリーニングすることができる。また、センサのクリーニングを、最適な量のクリーニング媒体および／またはエネルギを用いて行うことができるため、クリーニングプロセスの効率を向上させることができる。有利には、不要なクリーニング処置、または不要なクリーニング処置継続期間および／またはクリーニング媒体の無駄を防止することができる。
【0019】
また、妨害度合と妨害タイプの両方を決定することにより、または、セグメンテーションと分類の両方を用いることにより、妨害の存在の決定において冗長性が作成される。この冗長性により、クリーニングが必要とされる状態の検知を改善することができ、クリーニングに関して誤った決定を生じさせる可能性がある誤検知の量を減少させることができる。
【0020】
また、この冗長性により、クリーニングを必要とするカメラセンサの妨害されている状態を検知するために必要な時間を削減することが可能になる。妨害決定のための時間が削減されることにより、さらなるアルゴリズム、例えば、カメラ画像の妨害されている部分を復元する画像復元アルゴリズムにおける、カメラ画像の処理を高速化することも可能になる。有利には、これにより、カメラセンサにより供給されたカメラ画像を利用して運転支援機能の応答時間が短縮化されることになる。
【0021】
クリーニング対象のカメラセンサの妨害されている状態を検知するためにニューラルネットワークアルゴリズムを用いることは、ユーザインタラクションを必要とすることなく、検知された妨害に適合した自動化されたクリーニングが可能であるという、有利な点を有する。また、これにより、例えば、車両周辺環境の一部をキャプチャするカメラセンサを用いる際に原則的に生じる、初見の画像における妨害も信頼性高く決定することが可能になる。有利には、妨害を単一のカメラ画像から検知することができるため、妨害を検知するために複数のカメラ画像のカメラ画像ストリームについて追加的にリアルタイムでフレーム演算する必要性が除去される。
【0022】
単一のセンサのみを備えるシステムにおいて本発明に係る方法を用いることができることが有利であるのは、妨害を検知するためにセンサ冗長性が必要とされないからである。その一方、本発明に係る方法を複数のカメラセンサのマルチセンサシステムにも、各々の視野が重複していない場合でも適用することができるのは、妨害決定は、カメラセンサの各々について、特定のカメラセンサにより供給されたカメラ画像のみに基づいて生じてよいからである。
【0023】
妨害検知および最適化されたクリーニングは、例えば、車両における先進運転支援システム（ＡＤＡＳ）機能の安全性に関連する観点から重要な場合があるのは、クリーンなカメラレンズが、他の機能、例えば、道路等のセマンティックセグメンテーションの前提条件であるためである。特に、自律走行シナリオにおいて、本発明に係る方法は、妨害を決定するための基準画像は不要であるという有利な点を有する。カメラセンサによりキャプチャされた画像を基準画像と比較することは実世界の走行環境においては困難性が高いのは、これらの画像においてキャプチャされたシーンは、車両の移動に起因する変更から多少なりとも影響を受ける可能性があるからである。車両に加えて、本発明に係る方法は、動作前と動作中に、クリーニング可能な妨害物により妨害される傾向がある少なくとも１つのカメラセンサにより供給されるカメラ画像に基づく任意のタイプの装置においても用いることができる。
【0024】
本発明の好ましい実施形態において、ニューラルネットワークアルゴリズムは、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムであるか、または、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムを備える。ニューラルネットワークアルゴリズムは、例えば、妨害度合および各々の妨害クラスを決定することができるマルチクラスセグメンテーションが可能なセマンティックセグメンテーションアルゴリズム（ＳｅｍＳｅｇアルゴリズム）であってよい。追加的または代替的に、ニューラルネットワークアルゴリズムは、例えば、カメラ画像において妨害されているセグメント、つまり、妨害セグメントと、妨害されていない領域との両方をセグメンテーションに基づいて決定し、妨害クラスを妨害セグメントに割り当てる、組み合わされたバイナリセグメンテーションおよび分類アルゴリズム（ＢｉｎＣｌａアルゴリズム）であってよい。
【0025】
好ましくは、複数の妨害クラスはクリーニング基準が割り当てられていない少なくとも１つの非妨害クラスを含む。これにより、カメラセンサの妨害が存在しない状態も包含することが可能になる。そのような場合、クリーニング情報を決定しなくてよいか、または、クリーニング情報は、クリーニングが不要であるという情報を含んでよい。
【0026】
好ましい実施形態において、複数の妨害クラスは、少なくとも、クリーニング基準が各々割り当てられる、汚れクラス、滴クラスおよび／または曇りクラスを含む。従って、ニューラルネットワークアルゴリズムは、汚れによる妨害、滴による妨害および／または曇りによる妨害間を区別することができてよい。クリーニング基準が各々割り当てられるさらなるクラスが存在することが考えられ、さらなるクラスは、カメラセンサの特定の環境において発生するさらなるタイプの降水および／または他の妨害タイプを含んでよい。さらなるクラスとして、例えば、雪クラス、氷クラスまたは粉塵クラスを用いてよく、これらの妨害クラスは雪、氷または粉塵による透明なカメラセンサコンポーネントの妨害をそれぞれ示す。
【0027】
好ましくは、クリーニング情報はさらなるアルゴリズムにより決定され、クリーニング情報はカメラセンサをクリーニングするためのクリーニング戦略を示し、クリーニング戦略は、複数のクリーニング戦略の中から、決定された妨害クラスに応じて、および／または、各クリーニング戦略に割り当てられている２つまたは３つ以上の異なる度合閾値と決定されたカメラセンサ妨害度合とを比較することにより決定される。これにより、異なるタイプの妨害および／または異なる妨害度合について、異なるクリーニング戦略を定義することが可能になり、つまり、１つの妨害クラスについて、２つまたは３つ以上のクリーニング戦略を妨害度合に応じて定義してよい。例えば、汚れが妨害クラスとして決定される場合、異なるクリーニング戦略を、１０％～６７％の妨害度合と６７％超の妨害度合については選択することができ、１０％未満の妨害度合についてはクリーニング情報は決定されない。
【0028】
さらなるアルゴリズムは、ニューラルネットワークの出力、つまり、妨害度合および妨害クラスを入力として受信してよい。１つの実施形態において、決定木をさらなるアルゴリズムとして用いる。決定木により、様々なクリーニング戦略を様々な妨害クラスおよび様々な妨害閾値に割り当ててよい。決定木を用いることにより、クリーニング情報により示されるクリーニング戦略を迅速に決定することが可能になる。クリーニング情報により示されるクリーニング戦略は、検知される妨害クラスと検知される妨害度合に適合されていることが有利である。
【0029】
クリーニング戦略はクリーニング装置に対する１つまたは複数の命令を含んでよく、命令はクリーニング媒体放出、クリーニング媒体放出の継続期間および／または量、クリーニング媒体放出の温度および／または組成、クリーニングアクチュエータ動作の継続期間および／または強度等を含んでよい。
【0030】
好ましい実施形態において、クリーニング戦略は、追加的に、クリーニング装置の現在の状態を示す少なくとも１つのクリーニング装置状態情報に応じて決定される。クリーニング装置状態情報は、例えば、容器におけるクリーニング流体の水位であってよい。追加的または代替的に、他のタイプのクリーニング装置状態情報を用いてよい。クリーニング装置の現在の状態も考慮に入れることにより、その現在の状態におけるクリーニング装置のクリーニング能力に、カメラセンサをクリーニングするクリーニング戦略を適合させることが可能になり、その結果、不要または実現不可能な命令を防止することができる。
【0031】
本発明によると、クリーニング情報は、液体に基づくクリーニング、空気に基づくクリーニングおよび／またはアクチュエータに基づくクリーニングについてのクリーニング命令を含んでよい。クリーニング装置は、カメラセンサをクリーニングするために、特に、透明なカメラセンサコンポーネントをクリーニングするために、クリーニング流体、例えば、水および／または洗剤および／または空気を放出するように構成されてよい。追加的または代替的に、クリーニング装置は、例えば、可動ワイパブレード、超音波アクチュエータ等をクリーニングするためのアクチュエータを備えてよく、これにより、妨害を透明なカメラセンサコンポーネントから機械的に除去することが可能になる。
【0032】
さらに、本発明は、ニューラルネットワークアルゴリズムを訓練する方法に関し、本方法は、
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像を供給するステップと、
－ 少なくともいくつかのカメラ画像を、各カメラ画像に妨害マスクを重畳することにより拡張するステップであって、妨害マスクは複数の妨害クラスの中から妨害クラスに割り当てられ、妨害マスクは妨害マスクの妨害化度合に従ってカメラ画像の一部を妨害し、妨害化度合は各カメラ画像について確率論的に決定される、ステップと、
－ 各カメラ画像にラベルを関連付けるステップであって、ラベルは、カメラ画像を拡張する妨害マスクの妨害クラスおよび妨害化度合を示す、ステップと、
－ ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、１つまたは複数のネットワーク層と関連付けられているパラメータに従って、拡張されたカメラ画像を処理することにより、各拡張されたカメラ画像に関してニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各拡張されたカメラ画像に関して生成された出力を、拡張されたカメラ画像と関連付けられているラベルと、目的関数を用いて比較するステップと、
－ 比較に基づいてパラメータを更新するステップとを備える。
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像を供給するステップと、
－ 少なくともいくつかのカメラ画像を、各カメラ画像に妨害マスクを重畳することにより拡張するステップであって、妨害マスクは複数の妨害クラスの中から妨害クラスに割り当てられ、妨害マスクは妨害マスクの妨害化度合に従ってカメラ画像の一部を妨害し、妨害化度合は各カメラ画像について確率論的に決定される、ステップと、
－ 各カメラ画像にラベルを関連付けるステップであって、ラベルは、カメラ画像を拡張する妨害マスクの妨害クラスおよび妨害化度合を示す、ステップと、
－ ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、１つまたは複数のネットワーク層と関連付けられているパラメータに従って、拡張されたカメラ画像を処理することにより、各拡張されたカメラ画像に関してニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各拡張されたカメラ画像に関して生成された出力を、拡張されたカメラ画像と関連付けられているラベルと、目的関数を用いて比較するステップと、
－ 比較に基づいてパラメータを更新するステップとを備える。
【0033】
特に、本発明に係るニューラルネットワークアルゴリズムを訓練する方法は、本発明に係る少なくとも部分的な妨害を受けているカメラセンサのクリーニング情報を決定する方法のニューラルネットワークアルゴリズムを訓練するために用いられてよい。従って、本発明に係る少なくとも部分的な妨害を受けているカメラセンサのクリーニング情報を決定する方法のニューラルネットワークアルゴリズムを、本発明に係るニューラルネットワークアルゴリズムを訓練する方法により訓練してよい。
【0034】
ニューラルネットワークアルゴリズムを訓練する方法は、妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像を用いる。これらの画像は、特に、カメラセンサの通常の使用時に発生することが予想される、カメラセンサの様々な周辺環境を示してよい。例えば、車両の周辺環境をキャプチャするために用いられるカメラセンサのためのニューラルネットワークを訓練する場合、車両の動作中に生じる可能性がある様々なシーンを、供給されるカメラ画像に示してよい。
【0035】
供給されるカメラ画像は妨害されていないカメラセンサによりキャプチャされるため、初めはこれらの画像には妨害は存在しない。妨害セグメントまたは妨害度合と様々な妨害クラスを決定するニューラルネットワークアルゴリズムを訓練するために、少なくともいくつかの妨害されていないカメラ画像を、妨害マスクを重畳することにより、拡張する。妨害マスクは、カメラセンサの視野の一定の度合を仮想的に覆う一定のタイプの妨害を示す。カメラ画像を仮想的に拡張する妨害は、複数の妨害クラスの中から選択される妨害クラスに割り当てられる。妨害マスクは、一定のタイプの妨害に対応する、例えば、汚れ、滴または曇りに対応する、カメラ画像の１つまたは複数の部分を覆うことにより、一定のタイプの妨害を仮想的に再現してよい。
【0036】
可能な限り多くの異なって拡張された画像を取得するために、各妨害マスクは、カメラ画像の確率論的に決定されたかまたはランダムに決定された部分を覆う。従って、各マスクの妨害化度合は確率論的に決定され、妨害マスクの妨害化度合は妨害マスクを重畳したカメラ画像の妨害度合に対応する。妨害化度合を確率論的に決定することにより、多数の異なって妨害されている拡張されたカメラ画像を作成することが可能になり、従って、様々な妨害度合と様々な妨害クラスに基づいてニューラルネットワークを精密かつ広範に訓練することが可能になる。従って、本発明に係るニューラルネットワークを訓練する方法は、特に、本発明に係るクリーニング情報を決定する方法に好適であるのは、仮想的に妨害されている画像を自動化作成することにより、多様な異なって妨害されている画像に基づいてニューラルネットワークを訓練することが可能になるからである。
【0037】
各拡張されたカメラ画像には、特定のカメラ画像を拡張するために用いられる妨害マスクの妨害クラスおよび妨害化度合を示すラベルが割り当てられる。ラベルは、特に、妨害マスクを用いてカメラ画像を拡張するために用いられるのと同じ計算装置により作成される。これにより、訓練データを作成する労力が大幅に削減されるのは、訓練データまたは拡張されたカメラ画像の手動によるラベル付けが不要であるためである。
【0038】
ここで、拡張およびラベル付けされたカメラ画像は訓練対象のニューラルネットワークアルゴリズムに供給され、その結果、それに対応するニューラルネットワークアルゴリズムの出力が生成される。従って、ニューラルネットワークアルゴリズムは、１つまたは複数のネットワーク層を通して、各層と関連付けられているパラメータに従って、拡張およびラベル付けされたカメラ画像を処理する。
【0039】
その後、各拡張されたカメラ画像についてのニューラルネットワークアルゴリズムの出力、特に、決定された妨害度合および決定された妨害クラスは、入力として用いられた、各々の拡張およびラベル付けされたカメラ画像に割り当てられているラベルと比較される。比較を行うために、各々の拡張されたカメラ画像に割り当てられたラベルとニューラルネットワークアルゴリズムの出力との一致を定量化および／または定性化する操作関数を用いてよい。目的関数を用いた比較の結果に基づいて、ニューラルネットワークアルゴリズムの１つまたは複数の層と関連付けられているパラメータを更新して、ラベルとニューラルネットワークアルゴリズムの出力との一致を増大させる。
【0040】
カメラセンサの妨害されていない状態の場合も包含するために、ニューラルネットワークアルゴリズムを訓練するために用いられるいくつかのカメラ画像は妨害マスクにより拡張されないことが考えられる。これにより、例えば、０％の妨害度合および／または妨害されていないカメラセンサを示す妨害クラスの決定に基づいてニューラルネットワークを訓練することが可能になる。
【0041】
好ましい実施形態において、追加的に、妨害マスクの外観に関する少なくとも１つのさらなるパラメータを確率論的に変化させ、少なくとも１つのさらなるパラメータは、特に、色、色分布、透明度、透明度分布、マスキングセグメントの数、マスキングセグメントの分布、マスキングセグメントのサイズであり、および／または、妨害マスクのマスキングセグメントの輪郭を確率論的に変化させる。これにより、妨害マスクにより作成された仮想的妨害を現実に発生する可能性がある妨害タイプにさらに適合させることが可能になる。パラメータ、例えば、色、透明度またはそれらの分布等を変化させることにより、様々なタイプの汚れを表現してよい。また、マスキングセグメントの数、サイズ、輪郭および／または分布も変化させて、可能な限り多くの妨害の外観を包含してよい。
【0042】
好ましくは、少なくとも１つのさらなるパラメータを、妨害マスクに割り当てられている妨害クラスと関連付けられている１つまたは複数の区間内で変化させる。これにより、妨害マスクを様々な妨害クラスの特定の外観に適合させることが可能になる。例えば、雨滴により妨害されているカメラセンサコンポーネントをシミュレーションするために、比較的高い透明度を有する、円形状または楕円形状を備えた多数のセグメントを用いてよく、汚れによる妨害については、高い不透明度および不定な形状を備えた少数の大きいセグメントを用いてよい。
【0043】
本発明に係る制御装置は計算装置を備え、本制御装置は本発明に係るクリーニング情報を決定する方法を実行するように構成されている。
【0044】
本発明に係るカメラセンサシステムは、少なくとも１つのカメラセンサと、カメラセンサと関連付けられている少なくとも１つのクリーニング装置と、本発明に係る制御装置とを備える。
【0045】
本発明に係る車両は、本発明に係るカメラセンサシステムを備える。
【0046】
本発明に係るコンピュータプログラムは、本発明に係るクリーニング情報を決定する方法を実行するようにコンピュータを制御する命令を備える。
【0047】
本発明に係る非一時的な記録媒体は、本発明に係るコンピュータプログラムを備える。
【0048】
本発明に係る方法のうちの１つに関して記載される詳細な点と有利な点の全ては、本発明に係るそれ以外の方法に対応して適用される。また、これらの詳細な点と有利な点は、制御装置、カメラセンサシステム、車両、コンピュータプログラム、記録媒体に対応して適用され、その逆も然りである。
【0049】
本発明のさらなる特徴および詳細な点について、図に関連して論じる。図は概略的な図面である。
【図面の簡単な説明】
【0050】
【発明を実施するための形態】
【0051】
図１に車両１の実施形態を示す。車両１は電動または非電動の車両、例えば、乗用車、トラック、列車、トレーラ等であってよい。車両１はカメラセンサシステム２を備え、カメラセンサシステム２はカメラセンサ３、制御装置４およびクリーニング装置５を備える。カメラセンサ３およびクリーニング装置５は制御装置４と通信リンクを介して、例えば、バスシステム、例えば、ＣＡＮ－Ｂｕｓを介しておよび／または１つまたは複数のポイントツーポイント接続を介して通信する。
【0052】
カメラセンサ３は車両１の車体に、例えば、車両１のバンパ、サイドミラーまたはラジエータグリルに設けられる。カメラセンサ３は、カメラ画像、特に、複数の続いてキャプチャされたカメラ画像からなるビデオストリームをキャプチャするように構成されている。カメラセンサ３により車両１の周辺環境の一部がキャプチャされる。
【0053】
カメラセンサシステム２は車両１の運転支援システムの一部であってよい。運転支援システムは、カメラセンサ３により供給されるカメラ画像に応じて、特に、カメラセンサ３により供給されるカメラ画像の内容の解釈に応じて、少なくとも１つの制御信号を車両１のアクチュエータにならびに／または少なくとも１つの光学および／もしくは音響信号を車両１の運転者に供給するように構成されてよい。
【0054】
クリーニング装置５はカメラセンサ３に割り当てられており、カメラセンサ３をクリーニングするように、特に、カメラセンサ３の光路に設けられている透明なカメラセンサコンポーネント６、例えば、カメラセンサ３のレンズ、光学フィラおよび／または透明なカバーをクリーニングするように構成されている。クリーニング装置５は、透明なカメラセンサコンポーネント６をクリーニングするために、クリーニング流体、例えば、水、洗剤および／または空気を放出するように構成されてよい。追加的または代替的に、クリーニング装置５は、例えば、可動ワイパブレード、超音波アクチュエータ等をクリーニングするためのアクチュエータ（不図示）を備えてよく、これにより、例えば、滴、汚れ、曇り等の妨害を透明なカメラセンサコンポーネント６から機械的に除去することが可能になる。
【0055】
制御装置４は、計算装置であるかまたは計算装置を備える。制御装置４は少なくとも部分的に妨害されると、つまり、透明なカメラセンサコンポーネント６がカメラセンサ３の視野を遮る妨害により少なくとも部分的に覆われると、制御装置４はカメラセンサ３のクリーニング情報を決定する方法を実行するように構成される。
【0056】
図２に、少なくとも部分的に妨害されているカメラセンサ３のクリーニング情報を決定する方法の実施形態のブロック図を示す。
【0057】
ステップＳ１において、カメラセンサ３は、例えば、画像取得のトリガを制御装置４からカメラセンサ３に送信することにより、少なくとも１つのカメラ画像をキャプチャするように制御される。また、１つまたは複数のカメラ画像をキャプチャするように車両１のさらなる制御装置を用いてカメラセンサ３を制御することも考えられる。カメラセンサ３は少なくとも１つのカメラ画像をキャプチャし、制御装置４に送信する。複数の続いてキャプチャされたカメラ画像からなるビデオストリームをカメラセンサ３によりキャプチャし、妨害を検知するためおよび／またはクリーニング情報を決定するために単一のカメラ画像を制御装置４に連続的に送信することが考えられる。
【0058】
ステップＳ２において、制御装置４に送信されたカメラ画像を、制御装置４により、制御装置４に実装されているニューラルネットワークアルゴリズムを用いて処理する。ニューラルネットワークアルゴリズムは、ニューラルネットワークアルゴリズムにより処理されたカメラ画像または各カメラ画像から、カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスから妨害クラスとの両方を、ニューラルネットワークアルゴリズムの出力として決定するように構成されている。例えば、セマンティックセグメンテーションアルゴリズムおよび／またはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムをニューラルネットワークアルゴリズムとして、または、ニューラルネットワークアルゴリズムの一部として用いてよい。
【0059】
カメラセンサ妨害度合は、透明なカメラセンサコンポーネント６の妨害により覆われている、カメラセンサ３の視野の部分を示す。カメラセンサ妨害度合は０％～１００％で変化してよく、０％はカメラセンサ３の視野が妨害されていない状態を示し、１００％はカメラセンサ３の視野が完全に妨害されている状態を示し、これらの間の値はカメラセンサ３の視野が部分的に妨害されていることを示す。
【0060】
妨害度合はカメラ画像のセグメンテーションに基づいて決定され、妨害を示すカメラ画像の１つまたは複数の部分と車両周辺環境の部分を示すカメラ画像の１つまたは複数の部分が決定される。妨害度合は、例えば、周辺環境を示す妨害されていないセグメントの面積に対する、妨害を示すセグメントの面積の割合として決定されてよい。
【0061】
妨害度合に加えて、ニューラルネットワークアルゴリズムは複数の妨害クラスから妨害クラスを決定する。妨害クラスはカメラ画像の少なくとも一部の分類に基づいて決定される。少なくともいくつかの妨害クラスにクリーニング基準は割り当てられ、クリーニング基準は、この特定のタイプの妨害からカメラセンサのクリーニングが必要とされる可能性があること、または、このタイプの妨害からカメラセンサのクリーニングが考えられることを示す。有利には、セグメンテーションおよび分類の両方は互いに独立して行われてよく、その結果、組み合わされた予測が得られ、２つのモデルからの予測を融合することによりシステムの信頼性が改善される。
【0062】
複数の妨害クラスは、好ましくは、少なくとも汚れクラス、滴クラスおよび曇りクラスを含み、これらにクリーニング基準は各々割り当てられる。氷、雪等のその他の降水、および／または特定のタイプの汚れ、例えば、粉塵、泥、砂、昆虫等による汚れを示す追加の妨害クラスを用いることも考えられる。複数の妨害クラスは、特に、クリーニング基準が割り当てられていない少なくとも１つの非妨害クラスを含んでもよい。非妨害クラスは、カメラセンサ３またはその透明なカメラセンサコンポーネント６が妨害に覆われていない状態を示す。様々な妨害クラスと妨害クラスに割り当てられたクリーニング基準に関する情報は、例えば、制御装置４に保存されてよい。
【0063】
ステップＳ３において、ニューラルネットワークアルゴリズムにより決定されたカメラセンサ妨害度合とカメラセンサ妨害のクラスとに応じてクリーニング情報を決定する。クリーニング基準がカメラセンサ妨害の決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が決定されたカメラセンサ妨害度合により超過される場合、クリーニング情報はカメラセンサ３のクリーニングが必要であることを示す。
【0064】
好ましくは、クリーニング情報は制御装置４に実装されているさらなるアルゴリズムにより決定される。さらなるアルゴリズムは、例えば、決定木であってよく、この決定木は、決定された妨害クラスに応じて、および／または、各クリーニング戦略に割り当てられている２つまたは３つ以上の異なる度合閾値と決定されたカメラセンサ妨害度合とを比較して、複数のクリーニング戦略からクリーニング戦略を決定するために用いられる。決定されたクリーニング情報は、カメラセンサ３をクリーニングするためのクリーニング戦略を示す。クリーニング戦略は、例えば、クリーニング装置５のタイプに応じて、液体に基づくクリーニング、空気に基づくクリーニングおよび／またはアクチュエータに基づくクリーニングについてのクリーニング命令を含んでよい。
【0065】
ステップＳ４において、決定されたクリーニング戦略に従ってカメラセンサ３をクリーニングするために、クリーニング装置５にクリーニング情報を送信する。カメラセンサ３のクリーニングが必要ではないことをクリーニング情報が示す場合、クリーニング装置５への送信は省略されてよい。この場合、カメラセンサ３を制御して、カメラセンサ３により供給される複数のカメラ画像の次の画像をキャプチャする（ステップＳ１）ことにより、または、次のカメラ画像を処理する（ステップＳ２）ことにより、本方法を継続させることができる。
【0066】
図３に、クリーニング情報を決定するためのさらなるアルゴリズムとして用いられる決定木の実施形態を示す。Ｄとして示されている妨害度合について、１０％以下、６６.６％以下および１００％以下の３つの閾値が用いられている。対応する区間の各妨害度合Ｄについて、ニューラルネットワークアルゴリズムにより区別される４つの異なる妨害クラスＣ１～Ｃ４が例示的に示されている。
【0067】
例えば、非妨害クラスを示す妨害クラスＣ１にはクリーニング基準は割り当てられない。クリーニング基準は、例えば、汚れ妨害クラスである妨害クラスＣ２、例えば、曇り妨害クラスである妨害クラスＣ３、例えば、滴妨害クラスである妨害クラスＣ４に割り当てられる。図３において、クリーニング基準が割り当てられている妨害クラスは、区別のため太字で示されている。
【0068】
妨害クラスＣ１にはクリーニング基準が割り当てられていないため、妨害度合Ｄについての閾値とは関係なく、妨害クラスＣ１にはクリーニング戦略も割り当てられない。言い換えれば、非妨害クラスが分類に基づいて妨害クラスとして決定される場合、分類に基づく妨害度合Ｄの決定結果とは関係なく、クリーニング戦略は実行されない。そのような場合、クリーニング情報は、例えば、クリーニングは不要であることを示してよく、または、クリーニング情報は決定されなくてもよい。
【0069】
妨害度合Ｄが０％～１０％である場合、妨害を妨害クラスＣ２、Ｃ３またはＣ４のうちの１つとして分類しても、クリーニング基準はこれらの妨害クラスの各々に割り当てられているものの、カメラセンサ３のクリーニングは発生しない。これにより、カメラセンサ３の機能が妨害により影響を受けていない場合のエネルギおよび／またはクリーニング装置５のクリーニング洗剤の使用が削減される。
【0070】
妨害度合が１０％～６６.６％である場合、第１クリーニング戦略ＣＳ１は妨害クラスＣ３およびＣ４の各々に割り当てられる。妨害クラスＣ２には、第２クリーニング戦略ＣＳ２が割り当てられる。妨害度合Ｄが６６.６％～１００％である場合、その代わりに、第３クリーニング戦略ＣＳ３が妨害クラスＣ２と関連付けられ、第２クリーニング戦略ＣＳ２が妨害クラスＣ３およびＣ４と関連付けられる。
【0071】
図３に示されている決定木は一例に過ぎず、別の個数の妨害クラス、別の個数のクリーニング戦略、別の個数の度合閾値および／または異なる度合閾値が用いられることが考えられる。
【0072】
クリーニング戦略は、追加的に、クリーニング装置の現在の状態を示す少なくとも１つのクリーニング装置状態情報に応じて決定されることが考えられる。クリーニング装置状態情報は、例えば、クリーニング装置５から制御装置４に送信されてよい。クリーニング装置状態情報は、例えば、クリーニング装置５の流体容器におけるクリーニング流体の流体水位であってよい。追加的または代替的に、他のタイプのクリーニング装置状態情報を用いてよい。クリーニング装置の現在の状態も考慮に入れることにより、その現在の状態におけるクリーニング装置５のクリーニング能力に、カメラセンサ３をクリーニングするクリーニング戦略を適合させることが可能になり、その結果、クリーニング装置５に対する不要または実現不可能な命令を防止することができる。
【0073】
例えば、クリーニング装置５の流体容器におけるクリーニング流体の流体水位が１０％以上である場合、クリーニング情報として、または、クリーニング情報の一部として一定のクリーニング戦略を決定する一方、１０％未満の流体水位の場合には別のクリーニング戦略を選択することが考えられる。追加的または代替的に、流体水位が低い場合には、例えば、車両１の運転者に対して光学および／または音響信号として、警告および／または補充要求が発せられてもよい。
【0074】
図４に、特に、制御装置４におけるニューラルネットワークアルゴリズムについて、ニューラルネットワークアルゴリズムを訓練する方法の実施形態のブロック図を示す。本方法は、カメラセンサの視野の少なくとも一部を遮る妨害についてカメラセンサの妨害度合と妨害クラスとの両方を決定するニューラルネットワークアルゴリズムを効率的に訓練することを可能にする。
【0075】
ステップＴ１において、少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像を供給する。これらの画像は、特に、カメラセンサの通常の使用時に発生することが予想される、カメラセンサの様々な周辺環境を示してよい。例えば、制御装置４のニューラルネットワークアルゴリズムの訓練は、車両周辺環境の様々なシーン、特に、様々な交通状況および／または交通環境を示すカメラ画像を用いて行われてよい。カメラ画像は、例えば、カメラセンサ３により、または、車両１の同様のカメラセンサ３により、および／または、別の車両の同様のカメラセンサ３により記録されてよい。
【0076】
ステップＴ２において、少なくともいくつかのカメラ画像を、これらカメラ画像の各々に妨害マスクを重畳することにより拡張し、妨害マスクは複数の妨害クラスの中から妨害クラスに割り当てられ、妨害マスクは妨害マスクの妨害化度合に従ってカメラ画像の一部を妨害し、妨害化度合は各カメラ画像について確率論的に決定される。また、各カメラ画像にラベルを関連付け、ラベルは、カメラ画像を拡張する妨害マスクの妨害クラスおよび妨害化度合を示す。カメラ画像を拡張しラベル付けするプロセスについては、図５を参照して、より詳細に以下説明する。
【0077】
ステップＴ３において、ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、１つまたは複数のネットワーク層と関連付けられているパラメータに従って、拡張されたカメラ画像を処理することにより、各拡張されたカメラ画像に関してニューラルネットワークアルゴリズムの出力を生成する。
【0078】
ステップＴ４において、各拡張されたカメラ画像に関して生成された出力を、拡張されたカメラ画像と関連付けられているラベルと、目的関数を用いて比較し、比較に基づいて、ニューラルネットワークアルゴリズムの層と関連付けられているニューラルネットワークアルゴリズムのパラメータを更新する。
【0079】
図５において、ニューラルネットワークアルゴリズムを訓練するためにカメラ画像を拡張およびラベル付けするプロセスが詳細に説明されている。本プロセスは、特に、自動化されたパイプラインとしてコンピュータにより行うことができる。拡張対象のカメラ画像は、例えば、妨害されていない状態のカメラセンサ３を用いて供給される。妨害されていないカメラ画像７が図５に概略的に示されている。
【0080】
妨害されていないカメラ画像７を拡張するために、つまり、カメラ画像７をキャプチャするために用いられるカメラセンサが妨害物により妨害されていたかのように見えるようにカメラ画像７に仮想的な妨害を追加するために、妨害マスク８は用いられる。拡張対象の各カメラ画像７について、関連する妨害マスク８が作成される。妨害マスクは一定の妨害クラスの仮想的な妨害を生成する。
【0081】
各妨害マスク８について、妨害クラスを、複数の所定の妨害クラスから決定論的または確率論的に選択することができる。また、各妨害マスクは、確率論的に決定された妨害化度合に従ってカメラ画像７の一部を覆う仮想的な妨害オーバーレイをカメラ画像７に供給する。妨害マスクにより供給される妨害化度合は、例えば、マスキングセグメント９の数、および、妨害マスク８または拡張対象のカメラ画像７のサイズとの比較による各マスキングセグメント９のサイズに応じてよい。妨害化度合は、妨害マスク８による拡張後のカメラ画像７の妨害度合を決定する。
【0082】
追加的に、妨害マスク８の外観に関する１つまたは複数のさらなるパラメータを確率論的に変化させてよい。さらなるパラメータとして、例えば、個々のマスキングセグメント９の色、個々のマスキングセグメント９の色分布、個々のマスキングセグメント９の透明度、個々のマスキングセグメント９の透明度分布、マスキングセグメント９の数、妨害マスク８におけるマスキングセグメント９の分布、個々のマスキングセグメント９のサイズおよび／または個々のマスキングセグメント９の輪郭を用いてよい。
【0083】
特に、１つまたは複数のさらなるパラメータを、妨害マスク８に割り当てられている妨害クラスと関連付けられている１つまたは複数の区間内で変化させてよい。例えば、妨害マスクの妨害クラスが汚れによる妨害を示す場合、色を様々なブラウン系の色間で変化させてよく、透明度をゼロ透明度と３０％透明度との間で変化させる。妨害マスク８の妨害クラスが、例えば、雨滴である場合、これよりもはるかに高い透明度値および異なる色を用いることができる。また、透明なカメラコンポーネント６上の雨滴の外観を再現するために、妨害セグメント９の数および形状を様々に変化させることができる。
【0084】
ここで、妨害マスク８はカメラ画像７を拡張するために用いられる。従って、妨害マスク８をカメラ画像７に重畳して、拡張されたカメラ画像１０を作成する。また、ラベルは拡張されたカメラ画像１０と関連付けられ、ラベルはカメラ画像７に重畳された妨害マスクの妨害クラスおよび妨害化度合を示す。ラベルは妨害マスクにより作成された妨害度合の値を備えることが考えられ、または、例えば、妨害マスクに対応するバイナリ画像ラベルが供給され、このバイナリ画像ラベルはセグメント９により妨害されている面積および妨害されていない面積の両方を示すことが考えられる。ラベルは、特に、カメラ画像７の拡張中に自動的に作成される。このことは、その後の手動によるラベル付けが不要であるという有利な点を有する。
【0085】
その後、拡張されたカメラ画像１０は、訓練のために、特に、制御装置４のニューラルネットワークアルゴリズムを訓練するために用いられる。拡張されたカメラ画像１０に加えて、妨害されていないカメラ画像も用いられてよい。これら妨害されていないカメラ画像は、妨害されていない妨害クラスと関連付けられてよく、従って、妨害されていない妨害クラスを示すラベルを含んでよい。
【0086】
拡張されたカメラ画像１０を自動的に生成することは、幅広く多様な異なる妨害条件を包含する多数の訓練画像を作成することができるという有利な点を有する。これにより、特に、車両１の動作中に、妨害されているカメラセンサ３から供給されるカメラ画像７の妨害度合および妨害クラスの決定に基づいてニューラルネットワークアルゴリズムを効率的に訓練することが可能になる。
【0087】
この場合、拡張されたカメラ画像１０に基づいて訓練されたニューラルネットワークアルゴリズムを用いて、カメラ画像の現実の妨害について評価および予測してよい。従って、拡張されたデータセットを用いる訓練中に学習したニューラルネットワークアルゴリズムの重み、つまり、更新されたパラメータをニューラルネットワークアルゴリズムにおいて用い、妨害に関して実世界データセット部分について予測を行う。現実の車両走行シナリオに関しては取得が難しい場合がある、現実の妨害を受けている画像を供給する必要なく、訓練されたニューラルネットワークアルゴリズムをこのようにして提供できることは有利である。その一方、拡張されたデータセットに基づいて予め訓練されたニューラルネットワークアルゴリズムを用いて、同じ妨害度合と複数の妨害クラスから選択される同じ妨害クラスとを有する現実の妨害を受けているカメラ画像を備える実データセットに基づいてこのニューラルネットワークアルゴリズムをさらにファインチューニングすることも考えられ、これにより、ニューラルネットワークアルゴリズムの性能のさらなる改善が達成される。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2024-03-08
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【0087】
この場合、拡張されたカメラ画像１０に基づいて訓練されたニューラルネットワークアルゴリズムを用いて、カメラ画像の現実の妨害について評価および予測してよい。従って、拡張されたデータセットを用いる訓練中に学習したニューラルネットワークアルゴリズムの重み、つまり、更新されたパラメータをニューラルネットワークアルゴリズムにおいて用い、妨害に関して実世界データセット部分について予測を行う。現実の車両走行シナリオに関しては取得が難しい場合がある、現実の妨害を受けている画像を供給する必要なく、訓練されたニューラルネットワークアルゴリズムをこのようにして提供できることは有利である。その一方、拡張されたデータセットに基づいて予め訓練されたニューラルネットワークアルゴリズムを用いて、同じ妨害度合と複数の妨害クラスから選択される同じ妨害クラスとを有する現実の妨害を受けているカメラ画像を備える実データセットに基づいてこのニューラルネットワークアルゴリズムをさらにファインチューニングすることも考えられ、これにより、ニューラルネットワークアルゴリズムの性能のさらなる改善が達成される。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
カメラセンサ（３）の光路における透明なカメラセンサコンポーネント（６）上の妨害を含む、少なくとも部分的な妨害を受けている前記カメラセンサ（３）のクリーニング情報を決定する方法において、
－ 少なくとも１つのカメラ画像をキャプチャするように前記カメラセンサ（３）を制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて前記少なくとも１つのカメラ画像（３）を計算装置によって処理するステップであって、前記ニューラルネットワークアルゴリズムが、前記カメラ画像または各前記カメラ画像から、前記カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、前記カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ 前記カメラセンサ妨害度合と前記カメラセンサ妨害の前記クラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準が前記カメラセンサ妨害の前記決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が前記決定されたカメラセンサ妨害度合により超過される場合、前記クリーニング情報は前記カメラセンサ（３）のクリーニングが必要であることを示す、ステップと、
－ 前記クリーニング情報に従って前記カメラセンサ（３）をクリーニングするために、前記カメラセンサ（３）と関連付けられているクリーニング装置（５）に前記クリーニング情報を送信するステップとを備える方法。
２．
前記ニューラルネットワークアルゴリズムは、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムであるか、または、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムを備えることを特徴とする、上記１に記載の方法。
３．
前記複数の妨害クラスはクリーニング基準が割り当てられていない少なくとも１つの非妨害クラスを含むことを特徴とする、上記１または２に記載の方法。
４．
前記複数の妨害クラスは、少なくとも、クリーニング基準が各々割り当てられる、汚れクラス、滴クラスおよび／または曇りクラスを含むことを特徴とする、上記１～３の何れか１つに記載の方法。
５．
前記クリーニング情報はさらなるアルゴリズムにより、特に、ニューラルネットワークにより決定され、前記クリーニング情報は前記カメラセンサをクリーニングするためのクリーニング戦略を示し、前記クリーニング戦略は、複数のクリーニング戦略の中から、前記決定された妨害クラスに応じて、および／または、各クリーニング戦略に割り当てられている２つまたは３つ以上の異なる度合閾値と前記決定されたカメラセンサ妨害度合とを比較することにより決定されることを特徴とする、上記１～４の何れか１つに記載の方法。
６．
前記クリーニング戦略は、追加的に、前記クリーニング装置の現在の状態を示す少なくとも１つのクリーニング装置状態情報に応じて決定されることを特徴とする、上記１～５の何れか１つに記載の方法。
７．
前記クリーニング情報は、液体に基づくクリーニング、空気に基づくクリーニングおよび／またはアクチュエータに基づくクリーニングについてのクリーニング命令を含むことを特徴とする、上記１～６の何れか１つに記載の方法。
８．
特に、上記１～７の何れか１つに記載の方法において使用するために、ニューラルネットワークアルゴリズムを訓練する方法において、
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像（７）を供給するステップと、
－ 少なくともいくつかの前記カメラ画像（７）を、各前記カメラ画像（７）に妨害マスク（８）を重畳することにより拡張するステップであって、前記妨害マスク（８）は複数の妨害クラスの中から妨害クラスに割り当てられ、前記妨害マスク（８）は前記妨害マスクの妨害化度合に従って前記カメラ画像（７）の一部を妨害し、前記妨害化度合は各前記カメラ画像（７）について確率論的に決定される、ステップと、
－ 各前記カメラ画像（７）にラベルを関連付けるステップであって、前記ラベルは、前記カメラ画像を拡張する前記妨害マスク（８）の前記妨害クラスおよび前記妨害化度合を示す、ステップと、
－ 前記ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、前記１つまたは複数のネットワーク層と関連付けられているパラメータに従って、前記拡張されたカメラ画像（１０）を処理することにより、各前記拡張されたカメラ画像（７）に関して前記ニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各前記拡張されたカメラ画像（１０）に関して前記生成された出力を、前記拡張されたカメラ画像（１０）と関連付けられている前記ラベルと、目的関数を用いて比較するステップと、
－ 前記比較に基づいて前記パラメータを更新するステップとを備える方法。
９．
追加的に、前記妨害マスク（８）の外観に関する少なくとも１つのさらなるパラメータを確率論的に変化させ、前記少なくとも１つのさらなるパラメータは、特に、色、色分布、透明度、透明度分布、マスキングセグメントの数、マスキングセグメントの分布、マスキングセグメントのサイズであり、および／または、前記妨害マスクのマスキングセグメントの輪郭を確率論的に変化させることを特徴とする、上記８に記載の方法。
１０．
前記少なくとも１つのさらなるパラメータを、前記妨害マスク（８）に割り当てられている前記妨害クラスと関連付けられている１つまたは複数の区間内で変化させることを特徴とする、上記９に記載の方法。
１１．
計算装置を備える制御装置であって、前記制御装置（４）は上記１～７の何れか１つに記載の方法を実行するように構成されている、制御装置。
１２．
少なくとも１つのカメラセンサ（３）と、前記カメラセンサ（３）と関連付けられている少なくとも１つのクリーニング装置（５）と、上記１１に記載の制御装置（４）とを備えるカメラセンサシステム。
１３．
上記１２に記載のカメラセンサシステム（２）を備える車両。
１４．
上記１～７の何れか１つに記載の方法を実行するようにコンピュータを制御する命令を備えるコンピュータプログラム。
１５．
上記１４に記載のコンピュータプログラムを備える非一時的な記録媒体。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
カメラセンサ（３）の光路における透明なカメラセンサコンポーネント（６）上の妨害を含む、少なくとも部分的な妨害を受けている前記カメラセンサ（３）のクリーニング情報を決定する方法において、
－ 少なくとも１つのカメラ画像をキャプチャするように前記カメラセンサ（３）を制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて前記少なくとも１つのカメラ画像（３）を計算装置によって処理するステップであって、前記ニューラルネットワークアルゴリズムが、前記カメラ画像または各前記カメラ画像から、前記カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、前記カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ 前記カメラセンサ妨害度合と前記カメラセンサ妨害の前記クラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準が前記カメラセンサ妨害の前記決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が前記決定されたカメラセンサ妨害度合により超過される場合、前記クリーニング情報は前記カメラセンサ（３）のクリーニングが必要であることを示す、ステップと、
－ 前記クリーニング情報に従って前記カメラセンサ（３）をクリーニングするために、前記カメラセンサ（３）と関連付けられているクリーニング装置（５）に前記クリーニング情報を送信するステップとを備える方法。
２．
前記ニューラルネットワークアルゴリズムは、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムであるか、または、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムを備えることを特徴とする、上記１に記載の方法。
３．
前記複数の妨害クラスはクリーニング基準が割り当てられていない少なくとも１つの非妨害クラスを含むことを特徴とする、上記１または２に記載の方法。
４．
前記複数の妨害クラスは、少なくとも、クリーニング基準が各々割り当てられる、汚れクラス、滴クラスおよび／または曇りクラスを含むことを特徴とする、上記１～３の何れか１つに記載の方法。
５．
前記クリーニング情報はさらなるアルゴリズムにより、特に、ニューラルネットワークにより決定され、前記クリーニング情報は前記カメラセンサをクリーニングするためのクリーニング戦略を示し、前記クリーニング戦略は、複数のクリーニング戦略の中から、前記決定された妨害クラスに応じて、および／または、各クリーニング戦略に割り当てられている２つまたは３つ以上の異なる度合閾値と前記決定されたカメラセンサ妨害度合とを比較することにより決定されることを特徴とする、上記１～４の何れか１つに記載の方法。
６．
前記クリーニング戦略は、追加的に、前記クリーニング装置の現在の状態を示す少なくとも１つのクリーニング装置状態情報に応じて決定されることを特徴とする、上記１～５の何れか１つに記載の方法。
７．
前記クリーニング情報は、液体に基づくクリーニング、空気に基づくクリーニングおよび／またはアクチュエータに基づくクリーニングについてのクリーニング命令を含むことを特徴とする、上記１～６の何れか１つに記載の方法。
８．
特に、上記１～７の何れか１つに記載の方法において使用するために、ニューラルネットワークアルゴリズムを訓練する方法において、
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像（７）を供給するステップと、
－ 少なくともいくつかの前記カメラ画像（７）を、各前記カメラ画像（７）に妨害マスク（８）を重畳することにより拡張するステップであって、前記妨害マスク（８）は複数の妨害クラスの中から妨害クラスに割り当てられ、前記妨害マスク（８）は前記妨害マスクの妨害化度合に従って前記カメラ画像（７）の一部を妨害し、前記妨害化度合は各前記カメラ画像（７）について確率論的に決定される、ステップと、
－ 各前記カメラ画像（７）にラベルを関連付けるステップであって、前記ラベルは、前記カメラ画像を拡張する前記妨害マスク（８）の前記妨害クラスおよび前記妨害化度合を示す、ステップと、
－ 前記ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、前記１つまたは複数のネットワーク層と関連付けられているパラメータに従って、前記拡張されたカメラ画像（１０）を処理することにより、各前記拡張されたカメラ画像（７）に関して前記ニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各前記拡張されたカメラ画像（１０）に関して前記生成された出力を、前記拡張されたカメラ画像（１０）と関連付けられている前記ラベルと、目的関数を用いて比較するステップと、
－ 前記比較に基づいて前記パラメータを更新するステップとを備える方法。
９．
追加的に、前記妨害マスク（８）の外観に関する少なくとも１つのさらなるパラメータを確率論的に変化させ、前記少なくとも１つのさらなるパラメータは、特に、色、色分布、透明度、透明度分布、マスキングセグメントの数、マスキングセグメントの分布、マスキングセグメントのサイズであり、および／または、前記妨害マスクのマスキングセグメントの輪郭を確率論的に変化させることを特徴とする、上記８に記載の方法。
１０．
前記少なくとも１つのさらなるパラメータを、前記妨害マスク（８）に割り当てられている前記妨害クラスと関連付けられている１つまたは複数の区間内で変化させることを特徴とする、上記９に記載の方法。
１１．
計算装置を備える制御装置であって、前記制御装置（４）は上記１～７の何れか１つに記載の方法を実行するように構成されている、制御装置。
１２．
少なくとも１つのカメラセンサ（３）と、前記カメラセンサ（３）と関連付けられている少なくとも１つのクリーニング装置（５）と、上記１１に記載の制御装置（４）とを備えるカメラセンサシステム。
１３．
上記１２に記載のカメラセンサシステム（２）を備える車両。
１４．
上記１～７の何れか１つに記載の方法を実行するようにコンピュータを制御する命令を備えるコンピュータプログラム。
１５．
上記１４に記載のコンピュータプログラムを備える非一時的な記録媒体。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
カメラセンサ（３）の光路における透明なカメラセンサコンポーネント（６）上の妨害を含む、少なくとも部分的な妨害を受けている前記カメラセンサ（３）のクリーニング情報を決定する方法において、
－ 少なくとも１つのカメラ画像をキャプチャするように前記カメラセンサ（３）を制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて前記少なくとも１つのカメラ画像（３）を計算装置によって処理するステップであって、前記ニューラルネットワークアルゴリズムが、前記カメラ画像または各前記カメラ画像から、前記カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、前記カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ 前記カメラセンサ妨害度合と前記カメラセンサ妨害の前記クラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準が前記カメラセンサ妨害の前記決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が前記決定されたカメラセンサ妨害度合により超過される場合、前記クリーニング情報は前記カメラセンサ（３）のクリーニングが必要であることを示す、ステップと、
－ 前記クリーニング情報に従って前記カメラセンサ（３）をクリーニングするために、前記カメラセンサ（３）と関連付けられているクリーニング装置（５）に前記クリーニング情報を送信するステップとを備える方法。
－ 少なくとも１つのカメラ画像をキャプチャするように前記カメラセンサ（３）を制御するステップと、
－ ニューラルネットワークアルゴリズムを用いて前記少なくとも１つのカメラ画像（３）を計算装置によって処理するステップであって、前記ニューラルネットワークアルゴリズムが、前記カメラ画像または各前記カメラ画像から、前記カメラ画像の少なくとも一部のセグメンテーションに基づいてカメラセンサ妨害度合と、前記カメラ画像の少なくとも一部の分類に基づいてカメラセンサ妨害の複数の妨害クラスの中から妨害クラスとを、出力として決定するように構成されている、ステップと、
－ 前記カメラセンサ妨害度合と前記カメラセンサ妨害の前記クラスとに応じてクリーニング情報を決定するステップであって、クリーニング基準が前記カメラセンサ妨害の前記決定されたクラスに割り当てられている場合、および、少なくとも１つの度合閾値が前記決定されたカメラセンサ妨害度合により超過される場合、前記クリーニング情報は前記カメラセンサ（３）のクリーニングが必要であることを示す、ステップと、
－ 前記クリーニング情報に従って前記カメラセンサ（３）をクリーニングするために、前記カメラセンサ（３）と関連付けられているクリーニング装置（５）に前記クリーニング情報を送信するステップとを備える方法。
【請求項2】
前記ニューラルネットワークアルゴリズムは、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムであるか、または、セマンティックセグメンテーションアルゴリズムおよび／もしくはバイナリセグメンテーションと分類子モデルとの両方を備えるアルゴリズムを備えることを特徴とする、請求項１に記載の方法。
【請求項3】
前記複数の妨害クラスはクリーニング基準が割り当てられていない少なくとも１つの非妨害クラスを含むことを特徴とする、請求項１に記載の方法。
【請求項4】
前記複数の妨害クラスは、少なくとも、クリーニング基準が各々割り当てられる、汚れクラス、滴クラスおよび／または曇りクラスを含むことを特徴とする、請求項１に記載の方法。
【請求項5】
前記クリーニング情報はさらなるアルゴリズムにより、特に、ニューラルネットワークにより決定され、前記クリーニング情報は前記カメラセンサをクリーニングするためのクリーニング戦略を示し、前記クリーニング戦略は、複数のクリーニング戦略の中から、前記決定された妨害クラスに応じて、および／または、各クリーニング戦略に割り当てられている２つまたは３つ以上の異なる度合閾値と前記決定されたカメラセンサ妨害度合とを比較することにより決定されることを特徴とする、請求項１に記載の方法。
【請求項6】
前記クリーニング戦略は、追加的に、前記クリーニング装置の現在の状態を示す少なくとも１つのクリーニング装置状態情報に応じて決定されることを特徴とする、請求項１に記載の方法。
【請求項7】
前記クリーニング情報は、液体に基づくクリーニング、空気に基づくクリーニングおよび／またはアクチュエータに基づくクリーニングについてのクリーニング命令を含むことを特徴とする、請求項１に記載の方法。
【請求項8】
特に、請求項１～７の何れか１項に記載の方法において使用するために、ニューラルネットワークアルゴリズムを訓練する方法において、
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像（７）を供給するステップと、
－ 少なくともいくつかの前記カメラ画像（７）を、各前記カメラ画像（７）に妨害マスク（８）を重畳することにより拡張するステップであって、前記妨害マスク（８）は複数の妨害クラスの中から妨害クラスに割り当てられ、前記妨害マスク（８）は前記妨害マスクの妨害化度合に従って前記カメラ画像（７）の一部を妨害し、前記妨害化度合は各前記カメラ画像（７）について確率論的に決定される、ステップと、
－ 各前記カメラ画像（７）にラベルを関連付けるステップであって、前記ラベルは、前記カメラ画像を拡張する前記妨害マスク（８）の前記妨害クラスおよび前記妨害化度合を示す、ステップと、
－ 前記ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、前記１つまたは複数のネットワーク層と関連付けられているパラメータに従って、前記拡張されたカメラ画像（１０）を処理することにより、各前記拡張されたカメラ画像（７）に関して前記ニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各前記拡張されたカメラ画像（１０）に関して前記生成された出力を、前記拡張されたカメラ画像（１０）と関連付けられている前記ラベルと、目的関数を用いて比較するステップと、
－ 前記比較に基づいて前記パラメータを更新するステップとを備える方法。
－ 少なくとも１つの妨害されていないカメラセンサによりキャプチャされた複数のカメラ画像（７）を供給するステップと、
－ 少なくともいくつかの前記カメラ画像（７）を、各前記カメラ画像（７）に妨害マスク（８）を重畳することにより拡張するステップであって、前記妨害マスク（８）は複数の妨害クラスの中から妨害クラスに割り当てられ、前記妨害マスク（８）は前記妨害マスクの妨害化度合に従って前記カメラ画像（７）の一部を妨害し、前記妨害化度合は各前記カメラ画像（７）について確率論的に決定される、ステップと、
－ 各前記カメラ画像（７）にラベルを関連付けるステップであって、前記ラベルは、前記カメラ画像を拡張する前記妨害マスク（８）の前記妨害クラスおよび前記妨害化度合を示す、ステップと、
－ 前記ニューラルネットワークアルゴリズムの１つまたは複数のネットワーク層を通して、前記１つまたは複数のネットワーク層と関連付けられているパラメータに従って、前記拡張されたカメラ画像（１０）を処理することにより、各前記拡張されたカメラ画像（７）に関して前記ニューラルネットワークアルゴリズムの出力を生成するステップと、
－ 各前記拡張されたカメラ画像（１０）に関して前記生成された出力を、前記拡張されたカメラ画像（１０）と関連付けられている前記ラベルと、目的関数を用いて比較するステップと、
－ 前記比較に基づいて前記パラメータを更新するステップとを備える方法。
【請求項9】
追加的に、前記妨害マスク（８）の外観に関する少なくとも１つのさらなるパラメータを確率論的に変化させ、前記少なくとも１つのさらなるパラメータは、特に、色、色分布、透明度、透明度分布、マスキングセグメントの数、マスキングセグメントの分布、マスキングセグメントのサイズであり、および／または、前記妨害マスクのマスキングセグメントの輪郭を確率論的に変化させることを特徴とする、請求項８に記載の方法。
【請求項10】
前記少なくとも１つのさらなるパラメータを、前記妨害マスク（８）に割り当てられている前記妨害クラスと関連付けられている１つまたは複数の区間内で変化させることを特徴とする、請求項９に記載の方法。
【請求項11】
計算装置を備える制御装置であって、前記制御装置（４）は請求項１～７の何れか１項に記載の方法を実行するように構成されている、制御装置。
【請求項12】
少なくとも１つのカメラセンサ（３）と、前記カメラセンサ（３）と関連付けられている少なくとも１つのクリーニング装置（５）と、請求項１１に記載の制御装置（４）とを備えるカメラセンサシステム。
【請求項13】
請求項１２に記載のカメラセンサシステム（２）を備える車両。
【請求項14】
請求項１～７の何れか１項に記載の方法を実行するようにコンピュータを制御する命令を備えるコンピュータプログラム。
【請求項15】
請求項１４に記載のコンピュータプログラムを備える非一時的な記録媒体。
【外国語明細書】