特表 2023-549914 雨天、逆光、汚れ時におけるサラウンドビューカメラシステムの画像の修正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-29

(54)【発明の名称】雨天、逆光、汚れ時におけるサラウンドビューカメラシステムの画像の修正

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231121BHJP

   G06V 10/82 20220101ALI20231121BHJP

   H04N 23/45 20230101ALI20231121BHJP

   H04N 7/18 20060101ALI20231121BHJP

   G06T 7/00 20170101ALI20231121BHJP

【ＦＩ】

H04N23/60 500

G06V10/82

H04N23/45

H04N7/18 J

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023530226

(86)(22)【出願日】2021-12-03

(85)【翻訳文提出日】2023-05-18

(86)【国際出願番号】 DE2021200236

(87)【国際公開番号】W WO2022128014

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】102020215860.6

(32)【優先日】2020-12-15

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】シャルフェンベルガー・クリスティアン

(72)【発明者】

【氏名】カルク・ミシェール

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EJ05

5C054HA30

5C122DA14

5C122EA12

5C122EA67

5C122FA18

5C122FH11

5C122GA01

5C122HA13

5C122HA35

5L096BA04

5L096CA02

5L096FA17

5L096HA11

5L096KA04

(57)【要約】

本発明は、機械学習法、サラウンドビューシステムの複数のカメラ（２－ｉ）の、例えば、車両に搭載されている周辺捕捉カメラの雨、逆光及び／或いは汚れによって減損している入力・画像データ（Ｉｎｉ）を修正するための方法及び装置に関する。
該サラウンドビューシステムの複数のカメラ（２－ｉ）の雨、逆光及び／或いは汚れによって減損している入力・画像データを修正するための方法は、以下のステップを包含している：
ａ）カメラ（２－ｉ）によって捕捉された雨、逆光及び／或いは汚れによって減損している入力・画像データ（Ｉｎｉ）を、トレーニング済みの人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）に提供する、
ｂ）該トレーニング済み人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、雨、逆光及び／或いは汚れによる影響を有する入力・画像データ（Ｉｎｉ）を、減損の無い出力・画像データ（Ｏｐｔｉ）に変換し、且つ、入力・画像データの画像用の水による覆われ、逆光及び／或いは汚れ具合に依存し、該ネットワークの安全性を特徴付け、該ネットワークの画像修正に対応する安全尺度ｃを割り出す様に構成されている、又、
ｃ）該トレーニング済み人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）は、出力・画像データ（Ｏｐｔｉ）と割り出された安全尺度ｃを出力する様に構成されている。
本件の方法は、カメラが曇っている場合のオブジェクト認識、最適化された対応検索のためのネットワークから、ヒューマンビジョンおよびコンピューター・ビジョン用の画像データ・ストリームの生成を可能にする長所を有している。

【特許請求の範囲】

【請求項1】

少なくとも部分的に雨、光の差し込み（逆光）及び／或いは汚れによって減損している入力・画像データを、人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）を用いて修正された出力・画像データに変換し、
該学習が、多数の画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；…）を用いて、人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０）の入力に、それぞれ雨、逆光及び／或いは汚れの影響を受けた第一画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，…）と、同じシーンの理想出力画像としての第二画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，…）が提供されることによって実施され、
該人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、入力画像の水による覆われ、逆光及び／或いは汚れの度合いに依存する安全尺度ｃを割り出すことができるように設計されており、そして、
該人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、機械学習の終了後、新しい入力・画像用の安全尺度ｃを割出し、出力できる
ことを特徴とするサラウンドビューシステムの複数のカメラ（２－ｉ）の入力・画像データを画像修正することを機械学習するための方法。

【請求項2】

トレーニング用画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；…）が、雨、逆光及び／或いは汚れの影響を受けた第一画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，…）と、影響を受けていない第二画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，…）が、同時、或いは、間髪なく次々に捕捉されることによって作成されることを特徴とする請求項１に記載の方法。

【請求項3】

一つの人工ニューラルネットワーク（ＣＮＮ１；ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、全てのカメラ（２－ｉ）共同でトレーニングされることを特徴とする請求項１或いは２に記載の方法。

【請求項4】

トレーニング用画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；…）が、一連の入力画像と出力画像の少なくとも一つのシーケンスであることを特徴とする先行請求項のうち何れか一項に記載の方法。

【請求項5】

以下のステップを包含していることを特徴とするサラウンドビューシステムの複数のカメラ（２－ｉ）の雨、逆光及び／或いは汚れによって減損している入力・画像データを修正するための方法：
ａ）カメラ（２－ｉ）によって捕捉された雨、逆光及び／或いは汚れによって減損している入力・画像データ（Ｉｎｉ）を、トレーニング済みの人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）に提供する、
ｂ）該トレーニング済み人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、雨、逆光及び／或いは汚れによる影響を有する入力・画像データ（Ｉｎｉ）を、減損の無い出力・画像データ（Ｏｐｔｉ）に変換し、且つ、入力・画像データの画像用の水による覆われ、逆光及び／或いは汚れ具合に依存し、該ネットワークの安全性を特徴付け、該ネットワークの画像修正に対応する安全尺度ｃを割り出す様に構成されている、又、
ｃ）該トレーニング済み人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）は、出力・画像データ（Ｏｐｔｉ）と割り出された安全尺度ｃを出力する様に構成されている。

【請求項6】

入力・画像データ（Ｉｎｉ）が、一連の捕捉された入力画像の少なくとも一つのシーケンスを入力・画像データ（Ｉｎｉ）として包含していることを特徴とする請求項５に記載の方法。

【請求項7】

カメラ（２－ｉ）が、車両に搭載されている周辺捕捉カメラであることを特徴とする請求項５又は６のいずれか一項に記載の方法。

【請求項8】

変換された画像データ（Ｏｐｔｉ）と割り出された安全尺度ｃの出力が、該変換された画像データを基にして、ＡＤＡＳにとって重要な検出を割出し、出力するための少なくとも一つのＡＤＡＳ検出機能に対して実施されることを特徴とする請求項７に記載の方法。

【請求項9】

以下を包含することを特徴とする、雨、逆光及び／或いは汚れによって減損されたサラウンドビューシステムの複数のカメラ（２－ｉ）の入力・画像データ（Ｉｎｉ）を、修正された出力・画像データ（Ｏｐｔｉ）に修正するために構成されている少なくとも一つのデータ処理ユニットを備えた装置：
－ 雨、逆光及び／或いは汚れによって減損されたカメラ（２－ｉ）の入力・画像データ（Ｉｎｉ）を受信する様に構成された入力インターフェース、
－ 入力・画像データ（Ｉｎｉ）を、減損の無い出力・画像データ（Ｏｐｔｉ）に変換し、且つ、入力・画像データの画像用の水による覆われ、逆光及び／或いは汚れ具合に依存し、該ネットワークの安全性を特徴付け、該ネットワークの画像修正に対応する安全尺度ｃを割り出す様に構成されたトレーニング済み人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）、
－ 変換された出力・画像データ（Ｏｐｔｉ）と割り出された安全尺度ｃを出力する様に構成された出力インターフェース（ＣＮＮ１１）、

【請求項10】

該データ処理ユニットが、ハードウェアベースの画像前処理段階内に実装されていることを特徴とする請求項９に記載の装置。

【請求項11】

該カメラ（２－ｉ）が、車両に搭載されている周辺捕捉カメラであり、且つ、画像修正用のトレーニング済み人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１）が、共通の入力インターフェースと二つの独立した出力インターフェースを備えた車両側のＡＤＡＳ検出用ニューラルネットワーク（ＣＮＮ２，ＣＮＮ１２）の構成要素である、但し、第一出力インターフェース（ＣＮＮ１１）が、修正された画像データ（Ｏｐｔｉ）を出力する様に、そして、第二出力インターフェース（ＣＮＮ１２）が、ＡＤＡＳにとって重要な検出を出力する様に構成されていることを特徴とする請求項９又は１０のいずれか一項に記載の装置。

【請求項12】

該入力画像データが、少なくとも一つの一連の捕捉された入力画像のシーケンスを、入力・画像データ（Ｉｎｉ）として包含しており、該人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、少なくとも一つの一連の入力画像と出力画像のシーケンスを画像データとして用いてトレーニングされることを特徴とする請求項９から１１のうち何れか一項に記載の装置。

【請求項13】

これによってあるデータ処理ユニットがプログラミングされた場合、該データ処理ユニットに、これが、請求項５から８のうち何れか一項に記載の方法を実行する様に命令することを特徴とするコンピュータプログラムエレメント。

【請求項14】

請求項１３に記載のプログラム・エレメントが、保存されていることを特徴とするコンピュータによって読み取り可能な保存媒体。

【請求項15】

請求項１から４のうち何れか一項に記載の方法を、請求項９から１２のうち何れか一項に記載の装置の人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）のトレーニングに用いること。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、雨天、光の差し込み（逆光）、汚れ時におけるサラウンドビューシステムの複数の車載カメラの、例えば、車両に接続されたサラウンドビューカメラシステムの画像データを修正するための機械学習法、方法、並びに、装置に関する。

【背景技術】

【0002】

今日の及び将来的な車両には、衝突を回避するためにオブジェクトを認識し、車両をレーン内に維持するために道路の境界を認識する役割を担うカメラベースアシスタントシステムが装備されている。そのためには、例えば、前方に向けられたカメラ（複数可）が使用される。前方に向けられたカメラに加え、任意の配置において車両に搭載され、走行や駐車用の検出機能、或いは、車両の近距離や遠距離の３６０°周辺部（或いは、その一部）の可視化（ヴィジュアライズ）を実現できるサラウンドビュー（全方向視野）カメラやサテライトカメラも使用される。

【0003】

雨を検出するための検出機能も包含する前方に向けられたカメラ用のコンセプトも存在する。

【0004】

車両ヘッドライトを制御するためのカメラベースのデイライト認識とカメラを組み合わせることにより、フロントガラス上の雨を認識し、例えば、ワイパを作動させる、所謂、レイン・ライト検出を実現できる。

【0005】

この様なカメラシステムを基にした認識アルゴリズムでは、その一部において、従来の画像処理からのアプローチと、機械学習、特に、深層学習からのアプローチが組み合わされている。画像処理の分野におけるオブジェクトやストラクチャを認識するための従来のアプローチは、マニュアル選択された特徴（フィーチャ）を基にしているが、深層学習を基にしているアプローチでは、関連する特徴を、該トレーニング法内において自ら割出し、最適化している。

【0006】

上記のカメラシステムは、雨、逆光、汚れによって視界が阻害される状況に陥ると、直ちに、オブジェクトの認識、並びに、周辺部やオブジェクトの描写の両方において性能低下を示す。

【0007】

例えば、バックミラーの取付部に内蔵されているフロントカメラの視界が、フロントガラス上の水滴や汚れによって制限された場合、ワイパを作動させることにより、該視野を再び確保できる。但しこれは、カメラの取付位置が、ワイパの拭き取り領域内にあることを前提としている。

【0008】

車両並びに車両機能の自動化割合が高まってきていることを考慮すれば、前方に向けられているカメラの数を増すことは有利である。しかしこれらをバックミラー取付部に集約することはできないため、サテライトカメラとして、フロントガラス上部の角のＡピラー付近にも設置される。しかし、この領域は、ワイパの拭き取り領域外であるため、検出機能用に用いるには、問題があると言わざるを得ない。雨滴や汚れによって制限された視野は、これらサテライトカメラの検出機能に影響を与える。

【0009】

車両の自動化割合がＳＡＥ Ｌｅｖｅｌ ４／Ｌｅｖｅｌ ５と高まるにつれ、周辺領域を表示するだけでなく、側方のオブジェクトの検出も担う車両の両脇に取付けられるカメラも増加する。これらのカメラは、サイドミラーの領域など、車両外部に設置される場合が多い。カメラの（外部）レンズに、水滴や汚れが付着した場合、表示機能や検出機能が、大きく制限され得る。しかしながら、ワイパなどの清掃手段を有していないため、システムの機能劣化や障害につながる。

【0010】

後者の例としては、ナンバープレートの上方に設けられ、非常に汚れやすいバック走行用カメラを挙げることができる。ここでも、雨や埃が付着し、鮮やかな表示を困難にしている。

【0011】

ＣＮＮ（畳込み神経網）を基にしたオブジェクト認識の方法では、汚れたり、雨滴によって濡れたりしているレンズを、少なくともある程度までは、補整することもできているが、画像特徴（フィーチャ）を基にしている、例えば、光学的流れやストラクチャ・フロム・モーションなどのオブジェクトを認識するための方法では、汚れによる性能低下が著しい。

【0012】

カメラの外部レンズ上の、或いは、車両のフロントガラス上の汚れや降水を、画像処理を用いて、検出するためのアルゴリズム法は、既知である。

【0013】

ＷＯ ２０１３／０８３１２０ Ａ１は、車載カメラの画像データを評価するための方法を開示しているが、ここでは、車載カメラの視野内のガラス上の雨滴を、画像データの評価時に考慮している。ここでは、雨滴に関する情報も、画像データから割り出されている。画像データの評価の例としては、情報を適宜考慮するオブジェクトを認識する方法を挙げることができる。認識された雨の強度からは、例えば、カメラから見たエッジ（明暗や色の移行部）の影響を推測することができる。即ち、エッジを基にした評価方法は、閾値によって適宜、適応させることが可能である。特に、該情報からは、画像データを評価する際に考慮される画像データの品質基準を割り出すことも可能である。

【0014】

Ｈ． Ｐｏｒａｖ等は、２０２０年０７月１３日に、
ｈｔｔｐ：／／ｗｗｗ．ｒｏｂｏｔｓ．ｏｘ．ａｃ．ｕｋ／～ｍｏｂｉｌｅ／Ｐａｐｅｒｓ／ＩＣＲＡ１９＿ｐｏｒａｖ．ｐｄｆ
から入手した文献：「Ｉ Ｃａｎ Ｓｅｅ Ｃｌｅａｒｌｙ Ｎｏｗ： Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ ｖｉａ Ｄｅ－Ｒａｉｎｉｎｇ」， ２０１９ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ （ＩＣＲＡ）， Ｍｏｎｔｒｅａｌ， Ｃａｎａｄａ， ｐ． ７０８７－７０９３において、付着している雨滴やスジなどの影響を受けた画像におけるセグメント化タスクを改善する方法を示している。

【0015】

その方法においては、リアルな雨滴の影響下にあるレンズと、その影響を受けていないクリアなレンズのステレオ・データセットが生成される。そしてこれにより、画像再構築と路面標示セグメント化のコンテクストにおいて水滴の影響を排除するために「Ｄｅｎｏｉｓｉｎｇ－Ｇｅｎｅｒａｔｏｒ（ノイズ除去発生手段）」をトレーニングしている。

【0016】

アルゴリズムを用いて、汚れや逆光、水滴があっても、例えば、それに続くオブジェクト認識を改善するために、画像の価値を高め、付加的に、雨認識や光認識（Ｒａｉｎ＋Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ）を可能にするシステムが望まれている。

【先行技術文献】

【特許文献】

【0017】

【特許文献1】国際公開第２０１３／０８３１２０号（ＷＯ２０１３／０８３１２０Ａ１）

【非特許文献】

【0018】

【非特許文献1】Ｈ． Ｐｏｒａｖ等、「Ｉ Ｃａｎ Ｓｅｅ Ｃｌｅａｒｌｙ Ｎｏｗ： Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ ｖｉａ Ｄｅ－Ｒａｉｎｉｎｇ」， ２０１９ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ （ＩＣＲＡ）， Ｍｏｎｔｒｅａｌ， Ｃａｎａｄａ， ｐ． ７０８７－７０９３、（検索日２０２０年０７月１３日）ｈｔｔｐ：／／ｗｗｗ．ｒｏｂｏｔｓ．ｏｘ．ａｃ．ｕｋ／～ｍｏｂｉｌｅ／Ｐａｐｅｒｓ／ＩＣＲＡ１９＿ｐｏｒａｖ．ｐｄｆ

【発明の概要】

【発明が解決しようとする課題】

【0019】

よって本発明の課題は、そのための解決案を提供することである。

【課題を解決するための手段】

【0020】

本発明によれば、上記課題は、独立請求項に記載されている対象によって達成される。尚、有利な実施形態は、従属請求項、以下の明細書、並びに、図の対象である。

【0021】

本発明に係る機械学習の方法は、サラウンドビューシステムの複数のカメラの、雨、逆光及び／或いは汚れの影響を受けた入力・画像データを、人工神経網（人工ニューラルネットワーク）を用いて、修正された出力・画像データに、画像修正することに関する。複数のトレーニング用画像ペアによる学習は、人工ニューラルネットワークの入力側に、それぞれ、雨、逆光及び／或いは汚れによって影響を受けた第一画像（或いは、第一の同時に捕捉された複数の画像）、並びに、理想出力画像として、同じシーンの該影響を受けていない第二画像（或いは、第二の同時に達成されるべき複数の理想画像）が、提供されることによって実施される。該人工ニューラルネットワークは、水による濡れ具合、逆光及び／或いは汚れの度合いに依存する入力・画像用の安全尺度ｃを割り出すことができる様に構成されている。ネットワークの仕様設定は、例えば、人工ニューラルネットワークの適切なデザイン、乃至、適切なアーキテクチャによって達成される。機械学習後、人工ニューラルネットワークは、新しい入力画像（或いは、複数のカメラによって各々同時に捕捉された入力画像）用の安全尺度ｃを割出し、出力することができる。即ち、安全尺度ｃは、雨や水による濡れ具合、逆光及び／或いは汚れによる減損の程度に依存して、トレーニング済みのネットワークを用いる場合の画像修正に合った安全性を特徴づけるものである。

【0022】

言い換えれば、該安全尺度ｃは、訓練されたニューラルネットワークによって実施される画像修正の「（非）安全性」をある程度特徴付けるものである。安全尺度ｃは、実践的には、計算タスク（要するに、ネットワークによる画像修正）における、該ネットワークの安全性の尺度である。

【0023】

尚、該人工ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（「Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、ＣＮＮ）であることができる。

【0024】

又ここで言う「減損のない出力・画像データへの変換」には、「減損が軽減された出力・画像データへの変換」も含まれるものとする。

【0025】

カメラは、例えば、車両内乃至車体に取付けられた、車両の周辺部を捕捉する（単眼）カメラであることができる。その様な車両に接続されたカメラの一例としては、フロントガラスの後ろの車両内に配置された、車両周辺部のうち車両の前方に在る領域を、フロントガラスを介して捕捉し、描写するカメラを挙げることができる。

【0026】

雨、逆光、或いは、汚れによるカメラ画像への悪影響は、画像内における（局所的な）焦点ぼけとして表れると言う点では類似している。これら全てのケースにおいて、画像内の焦点ぼけを低減乃至排除する画像修正は、望ましいものである。

【0027】

ある実施形態によれば、少なくとも一つのファクタｄが、修正された出力画像と減損している入力画像との差の尺度として割り出され、トレーニングの範囲において、人工ニューラルネットワークに提供される。ファクタｄは、学習中に人工ニューラルネットワークによって、例えば、該ニューラルネットワークが、入力画像、出力画像とファクタｄのつながりをトレーニングすることにより、考慮される。これにより、トレーニング済みのネットワークは、後に、最新の捕捉された減損しているカメラ画像用に、ファクタｄを推定し、或いは、割出し、それに見合った修正が施された出力画像を作成する（乃至、再現する）。トレーニングの終了後は、例えば、トレーニング済みのニューラルネットワークに、ファクタｄを与え、それにより、最新の捕捉されたカメラ画像の修正の度合いを制御することができる。

【0028】

該ファクタｄは、例えば、損傷のない画像と雨や汚れによって減損している画像との局所的な比較によって割り出されることができる。

【0029】

その際、例えば、人工ニューラルネットワークの入力層にマッピングでき得るＤ２フィルタを用いることにより、該ファクタｄを割り出すことができる。

【0030】

単純な実施例では、ファクタｄを、Ｄ２ローパスフィルタの分散として表現することもできる。代案的に、複雑なコントラスト値（構造類似性／Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）、或いは、双方の画像から局所的フィルタを用いて算出できる相関（絶対距離の合計／Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｓｔａｎｃｅｓ － ＳＡＤ、二乗距離の合計／Ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｓｔａｎｃｅｓ － ＳＳＤ、ゼロ平均正規化相互相関／Ｚｅｒｏ－ｍｅａｎｓ ｎｏｒｍａｌｉｚｅｄ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ － ＺＮＣＣ）も、考え得る。

【0031】

例えば、カメラの雨や汚れによって汚れているレンズによって、オブジェクト認識を困難にしかねない減損している画像が作成されたとする。機械学習法の範疇においてファクタｄは、理想出力画像とそれに帰属する減損している入力画像との比較によって割り出されることができる。この割出しは、前もって実施できる、即ち、各トレーニング用画像ペアに対して、ファクタｄが、既に用意されている。代案的には、ファクタｄの割出しを、学習方法の範疇におけるトレーニング用画像ペアにのみ基づいて実施することもできる。

【0032】

ファクタｄにより、修正された画像の実施可能な再現の程度を示し、その後に続く、画像処理機能や画像表示機能に添付して送るための値を準備することができる。例えば、低い値は、高い修正、高い値は、低い修正を、次の処理ステップに対して示し、作成されたオブジェクトデータの品質を割り出す際に－安全尺度ｃと同様に－考慮されることができる。

【0033】

ある実施形態では、それぞれ、複数のカメラによって、雨、逆光及び／或いは汚れによって影響を受けた第一画像（カメラの光学パス内）、並びに、その影響を受けていない第二画像を、同時、或いは、間髪なく次々に異なる露光時間において一斉に撮影する、乃至、該カメラを用いて捕捉するすることによって、トレーニング用画像ペアが作成される。

【0034】

ある実施形態では、全ての車載カメラ用に共同して乃至同時に（ただ）一つの人工ニューラルネットワークがトレーニングされる。

【0035】

各シングルカメラに対してそれぞれ一連の画像のシーケンスが、共同トレーニングに使用されることができる。

【0036】

複数画像の時間的相関関係は、トレーニングの際、及び／或いは、トレーニング済みのネットワークを用いる際に、有利に考慮されることができる。

【0037】

時点ｔにおいて、フロントカメラによって捕捉され、その後の時点において、側方のカメラ乃至リアカメラによって捕捉された画像特徴並びにその理想出力画像データに関する情報を用いることができる。これにより、全てのシングルカメラの出力・画像内の特定の画像特徴を有するオブジェクトが、同じ輝度と彩度を有するようにトレーニングできる。

【0038】

ある実施形態によれば、トレーニング用画像ペアは、少なくとも一連の入力・出力画像（画像データ）のシーケンスを包含している。言い換えれば、画像データとして、画像系列（ビデオシーケンス）を用いることができる。このケースでは、機械学習用に、少なくとも一本の入力ビデオシーケンス、並びに、理想ビデオシーケンスが必要である。

【0039】

画像系列を用いる場合、時間的なアスペクト、乃至、相互関連を、再現（乃至、画像修正）の際に、好ましく考慮できる。例としては、時間と共に動く雨滴や粉塵を挙げることができる。これにより、画像内に、ある時点ｔにおいて、明瞭な視野を有し、時点ｔ＋１においては、雨に阻害された視野を有する領域ができる。画像系列を用いることにより、明瞭な画像領域内の情報を、雨や汚れによって阻害された視野領域の再現に用いることができる。

【0040】

時間的な観点は、特に、汚れによって覆われている領域において、明瞭な画像を再現するのに役立つ。ある例においては、レンズの一領域が汚れによって覆われており、他の領域は、覆われていない。時点ｔにおいては、あるオブジェクトは、完全に見えたが、他の時点ｔ＋１では、汚れによって、該オブジェクト全体を撮影できない。該オブジェクトが動いた、及び／或いは、走行によりカメラが動いたことにより、時点ｔにおいて得られた画像内のオブジェクトに関する情報は、時間ｔ＋１における画像を再現することに役立つ。

【0041】

ある実施形態では、該人工ニューラルネットワークは、二つの独立した出力インターフェース用に共通の入力インターフェースを有している。共通の入力インターフェースは、共同の特徴表現レイヤを有している。第一出力インターフェースには、修正された（即ち、変換された）画像データが出力される。第二出力インターフェースには、少なくとも一つのＡＤＡＳ検出機能のＡＤＡＳに関連する検出が出力される。ＡＤＡＳは、先進的なアシスタント、或いは、自動化された運転を実施するためのシステム（英語：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の頭文字である。よって、ＡＤＡＳに関連する検出とは、ＡＤＡＳ／ＡＤシステムにとって重要な入力値である、例えば、オブジェクト、対象物、交通参加者を表している。該人工ニューラルネットワークは、ＡＤＡＳ検出機能、例えば、レーン認識、オブジェクト認識、深度認識（画像成分の３Ｄ推定）、意味認識やこれらに類するものを包含している。トレーニング範囲において、双方の出力インターフェースの出力が最適化される。

【0042】

サラウンドビューシステムの複数のカメラの雨、逆光及び／或いは汚れによって減損している入力・画像データを修正するための方法は、以下のステップを包含している：
ａ）カメラによって捕捉された雨、逆光及び／或いは汚れによって減損している入力・画像データを、トレーニング済みの人工ニューラルネットワークに提供する、
ｂ）該トレーニング済み人工ニューラルネットワークは、雨、逆光及び／或いは汚れによる影響を有する入力・画像データを、減損の無い出力・画像データに変換し、一枚の画像、乃至、入力画像データの各画像用の水による覆われ、逆光及び／或いは汚れ具合に応じて（トレーニング済みのネットワークを用いる際の）安全性を特徴付ける安全尺度ｃを、割り出す様に構成されている、又、
ｃ）該トレーニング済み人工ニューラルネットワークは、出力・画像データと割り出された安全尺度ｃを出力する様に構成されている。
該修正された出力・画像データは、例えば、従来のレーン認識やオブジェクト認識、或いは、交通標識認識など、出力・画像データ上における機械的オブジェクト認識を改善できる、或いは、ステッチング（複数のカメラによって同時に捕捉された画像の合成）とその合成された画像データ表示を改善できる利点を有している。

【0043】

ある実施形態によれば、該入力・画像データは、複数のカメラによって捕捉された一連の入力画像の少なくとも一つのシーケンス（ビデオシーケンス）を包含している。

【0044】

ある実施形態では、これらのカメラは、車両に搭載されている周辺捕捉カメラである。

【0045】

ある実施形態では、ステップａ）において、付加的にファクタｄをトレーニング済み人工ニューラルネットワークに提供し、ステップｂ）において画像修正乃至変換（の程度乃至割合）をファクタｄに依存して制御する。

【0046】

ある実施形態によれば、ファクタｄは、推定され、且つ、該推定には、最新の捕捉された入力・画像データの減損が、考慮される。累加的乃至代案的には、最新の捕捉された入力・画像データのファクタｄの推定において、以前の捕捉された画像データの（複数の）ファクタｄを、考慮することができる。

【0047】

ある実施形態によれば、ファクタｄの割出し乃至推定においては、ファクタｄの時間的展開も考慮されることができる。ここでは、推定には、ファクタｄの時間的展開、並びに、入力画像のシーケンスが、考慮される。輝度の時間的展開に関する情報は、様々なファクタｄを有する画像領域用にも参照することができる。

【0048】

ある実施形態では、サラウンドビューシステムの各々のカメラ用に、個別のファクタｄが、推定される、乃至、割り出される。これは、個々の（車載）カメラの画像データ用の個別の変換を、特に、各々のカメラの画像の最新の減損に依存させることを可能にする。

【0049】

一台の車両に搭載されている周辺捕捉カメラを有する実施形態では、ファクタｄの割出しの再、最新の車両の周辺状況に関する情報が、考慮される。最新の周辺状況に関する情報は、例えば、雨センサデータ、外部（Ｖ２Ｘデータやナビゲーション・システムのデータ、例えば、デジタルカメラを有するＧＰＳ受信手段）のロケーション割出しされた天候及び／或いは太陽の位置（方向と高さ）に関する情報、走行状況（街道、都市、高速道路、トンネル、地下道）に関する情報を包含していることもできる。これらの情報（少なくとも一部）は、カメラ画像から画像処理によって得ることも可能である。

【0050】

例えば、最新のファクタｄは、周辺状況情報や画像の時間的な順番のみならずファクタｄの履歴からも推定可能である。

【0051】

これにより、ファクタｄの推定は、トレーニング済みの人工ニューラルネットワークを用いる場合、動的に実施されることができる。

【0052】

ある実施形態では、車両に搭載されている周辺捕捉カメラの修正された画像データ及び割り出された安全尺度（乃至、複数の割り出された安全尺度）ｃ、並びに、オプションとして、ファクタｄの出力は、ＡＤＡＳに関連する検出を割出し、出力するためのＡＤＡＳ検出機能に対して実施される。ＡＤＡＳ検出機能は、既知のエッジ認識方法乃至パターン認識方法、並びに、人工ニューラルネットワークに関連する画像オブジェクトを認識し、オプション的には、それを分級することもできる認識システムを包含していることができる。

【0053】

代案的な実施形態では、アプローチを拡張し、画像データを修正するための人工ニューラルネットワークは、ＡＤＡＳ検出機能、例えば、レーン認識、オブジェクト認識、深度認識、意味認識用のニューラルネットワークと組み合わせることもできる。これによって、計算時間に関して、付加的な負荷は、略発生しない。トレーニング後、変換された（修正された）画像データの出力用の（第一）出力インターフェースは、排除できるため、車両内において用いる場合、ＡＤＡＳ検出機能用の（第二）出力インターフェースのみが存在している。

【0054】

ある更に他の実施形態によれば、学習済みの方法が、不明瞭乃至減損された画像の再現の代わりに、学習された再現プロファイルから撮影された画像データに人工的に雨や汚れを、確実性を得るためのシミュレーション用として加えるために、逆に使用される。

【0055】

ある更に他の実施形態によれば、学習した再現プロファイルは、撮影された画像データ内の人工的な雨シミュレーションの質を評価するためにも用いられることができる。

【0056】

更なる実施形態によれば、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の方法は、ドライブレコーダ（Ｄａｓｈ Ｃａｍ）や事故記録（Ａｃｃｉｄｅｎｔ Ｒｅｃｏｒｄｉｎｇ）の範疇において応用できる。

【0057】

本発明は、更に、雨、逆光及び／或いは汚れによって減損されたサラウンドビューシステムの複数のカメラの入力・画像データを、出力・画像データにおいて修正するために構成されている少なくとも一つのデータ処理ユニットを備えた装置にも関する。該装置は、入力インターフェース、トレーニング済みの人工ニューラルネットワーク、及び、（第一）出力インターフェースを包含している。

【0058】

入力インターフェースは、該複数のカメラによって撮影され、雨、逆光及び／或いは汚れによって減損された入力・画像データを受信する様に構成されている。トレーニング済み人工ニューラルネットワークは、減損のある入力・画像データを、減損の無い出力・画像データに変換する、及び、入力画像データの一枚の画像、乃至、各画像用に、水による覆われ、逆光及び／或いは汚れの度合いに依存し、且つ、算出された出力においてネットワークの安全性の尺度である、乃至、該ネットワークの安全性を特徴付け、ネットワークの、乃至、ネットワークによる画像修正の妥当性の尺度である安全尺度ｃを、出力する様に設定されている。

【0059】

該（第一）出力インターフェースは、変換された（修正された）画像データ、並びに、一つの乃至複数の割り出された安全尺度ｃを出力する様に設定されている。

【0060】

ある実施形態によれば、該入力画像データは、少なくとも一つの一連の捕捉された入力画像のシーケンスを、入力・画像データとして、包含しており、該人工ニューラルネットワークは、少なくとも一つの一連の入力画像データと出力画像データのシーケンスを画像データとして用いてトレーニングされる。

【0061】

概装置乃至該データ処理ユニットは、特に好ましくは、マイクロコントローラ乃至プロセッサ、中央処理装置（ＣＰＵ）、画像処理ユニット（ＧＰＵ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ／特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ／フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、関連する方法ステップを実施するためのソフトウェアを包含している。

【0062】

ある実施形態によれば、該データ処理ユニットは、ハードウェアベースの画像前処理段階（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＩＳＰ）に実装されている。

【0063】

ある実施形態では、画像を修正するためのトレーニング済み人工ニューラルネットワークは、車載されているＡＤＡＳ検出用ニューラルネットワークの構成要素、例えば、意味論的セグメント化、走行レーン検出、乃至、オブジェクト検出を実施するための共同の入力インターフェース（入力または特徴表現レイヤ）、および二つの個別の出力インターフェース（出力レイヤ）であるが、第一出力インターフェースは、変換された出力画像データを出力するために、並びに、第二出力インターフェースは、ＡＤＡＳ検出（画像認識データ）を出力するために設定されている。

【0064】

本発明は更に、それによりデータ処理ユニットをプログラミングした場合、該データ処理ユニットに、サラウンドビューシステムの複数のカメラの入力・画像データの画像を出力・画像データにおいて修正するための方法を実施するコンピュータプログラムエレメントにも関する。

【0065】

更に本発明は、コンピュータによって読み取り自在な、それ内に該当するプログラム・エレメントが保存されている記憶媒体も包含している。

【0066】

本発明はまた、サラウンドビューシステムの複数のカメラの入力・画像データを出力・画像データにおいて画像修正することを機械学習するための方法を、少なくとも一つのデータ処理ユニットを備えた装置の人工ニューラルネットワークをトレーニングするために用いることにも関する。

【0067】

よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。

【0068】

主な長所としては以下を挙げることができる：
－ サラウンドビューシステムの個々の、複数の、或いは、全てのカメラに障害がある（例えば、曇っている）際にオブジェクトの認識を可能にする。
－ 水／泥を走行し画像が減損した際に、側方の衛星カメラ・バック走行用カメラにおける画質を、表示目的で改善する。
－ 最適化された対応検索（特徴一致検索）のためのニューラルネットワークから、ヒューマンビジョンおよびコンピューター・ビジョン用の画像データ・ストリームを生成する。

【0069】

車両における使用に加え、多様な応用分野を有している：
－ バス、鉄道、航空機、ロボットシステムにおけるアシスタントシステム、
－ 汚れ／雨／逆光の影響を受けた場合、特徴が失われ、著しく劣化する、例えば、オプティカル・フローやＳｆＭ法（Ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ）を基にした検出方法など、特徴ベースの検出を実施する全てのアプリケーション、
－ 即ち、特に、特徴サーチにオプティカル・フローを用いているアシスタントシステム、
－ ウェッティングした際や汚れた際に機能が失われたりコントラストが低下し、パフォーマンスが大幅に低下したりしているカメラのオンライン・キャリブレーション。

【0070】

以下、実施例と図を詳しく説明する。図の説明：

【図面の簡単な説明】

【0071】

【図1】図１：は、ある実施形態における本発明に係る装置の第一模式描写；

【図2】図２：は、ある実施形態における本発明に係る車載された装置の第二模式描写；

【図3】図３：は、減損したカメラ画像を修正するためのシステム；

【図4】図４：は、画像修正用の第一ニューラルネットワークを備えたシステム；

【図5】図５：は、画像修正と検出機能を組み合わせたシステム；そして、

【図6】図６：は、画像修正が、トレーニングの範囲においてのみ算出され出力される様に変更されたシステムである。

【発明を実施するための形態】

【0072】

図１からも明らかなように、サラウンドビューシステムの複数のカメラの入力・画像データの画像修正を実施するための本発明に係る装置１は、複数のユニット乃至回路構成部品を有していることができる。図１に示されている実施例では、該画像修正装置１は、それぞれカメラ画像乃至ビデオデータを作成する複数の車載カメラ２－ｉを有している。図１に示されている実施例では、該画像修正装置１は、カメラ画像を作成するための四台の車載カメラ２－ｉを有している。車載カメラ２－ｉの台数は、それぞれ異なるアプリケーション毎に異なり得る。本発明に係る装置１は、少なくとも二台のカメラ画像を作成するための車載カメラを有している。隣接する車載カメラ２－ｉのカメラ画像は、典型的に、重なり合う画像領域を有している。

【0073】

該装置１は、車載カメラ２－ｉが作成したカメラ画像を合成された全容画像に組み合わせるデータ処理ユニット３を包含している。図１に示されている如く、該データ処理ユニット３は、画像修正、乃至、画像変換を実施するためのシステム４を有している。該画像変換システム４は、車載カメラ（２－ｉ）の少なくとも部分的に雨、逆光及び／或いは汚れによって減損された入力画像データ（Ｉｎｉ）を、減損の無い修正された出力用画像乃至出力画像データ（Ｏｐｔｉ）を作成する。個々の車載カメラ２－ｉの最適化された出力画像データは、合成された全容画像に組み合わされる（所謂、ステッチング、英語：Ｓｔｉｔｃｈｉｎｇ）。続いて、画像処理ユニット３によって修正された画像データ（Ｏｐｔｉ）から組み合わされた全容画像は、表示ユニット５によって、ユーザのために表示される。ある可能な実施形態においては、該画像修正システム４は、独立した画像修正を実施するためのハードウェア回路によって構成されている。代案的実施形態では、該システムは、画像修正用の方法を実施するプログラム命令を実行する。

【0074】

該データ処理ユニット３は、一つの、或いは、複数の画像処理プロセッサを有しているが、異なる車載カメラ２－ｉから受信されたカメラ画像乃至ビデオデータを変換し、続いて、合成された全容画像を組み合わせる（ステッチング）。ある可能な実施形態においては、画像変換システム４は、画像修正をデータ処理ユニット３の他のプロセッサ（類）と並行して実施する専用のプロセッサから構成されている。並行したデータ処理により、画像データを処理するために必要な時間は、短縮される。

【0075】

図２は、本発明に係る装置１のある一つの形態における更なる模式的な描写を示している。図２に示されている装置１は、車両１０、特に、乗用自動車、乃至、貨物用動力車両のサラウンドビューシステムにおいて採用される。ここでは、それぞれの車載カメラ２－１，２－２，２－３，２－４が、車両１０の異なる側に配置され、それに応じた視野領域（破線）、即ち、車両１０の前方＝Ｖ、後方＝Ｈ、左方＝Ｌ、及び、右方＝Ｒを有している。

【0076】

例えば、第一車載カメラ２－１は、車両１０の前方、第二車載カメラ２－２は、車両１０の後方、第三車載カメラ２－３は、車両１０の左側、そして、第四車載カメラ２－４は、車両１０の右側に配置されている。二つの隣接する車載カメラ２－ｉのカメラ画像は、重複領域ＶＬ，ＶＲ，ＨＬ，ＨＲを有している。これら車載カメラ２－ｉは、ある可能な実施形態においては、少なくとも１８５°の視角を有する所謂フィッシュアイ・カメラであることができる。これら車載カメラ２－ｉは、カメラ画像、乃至、カメラ画像フレーム、乃至、ビデオデータを、ある可能な実施形態においては、イーサネット接続を介してデータ処理ユニット３に伝達できる。該データ処理ユニット３は、車載カメラ２－ｉのカメラ画像から、運転手及び／或いは搭乗者に対して車両１０の表示手段５上に示すための合成されたサラウンドビュー画像を算出する。例えば、後方の車載カメラ２－２のレンズが雨滴で覆われたり、汚れたりしているため、後方の車載カメラ２－２の視界状況は、他のカメラ２－１，２－３，２－４のそれとは異なっているなど、多くのケースにおいて、カメラの視界状況は、それぞれ異なっている。

【0077】

人工ニューラルネットワークを、（例えば、バックカメラ２－２の）減損がある画像と（例えばフロントカメラ２－１の、及び、サイドカメラ２－３，２－４の）減損の無い画像を用いて同時乃至共同でトレーニングすると、ニューラルネットワークは、この状況用の最適なパラメータを学習する。

【0078】

複数の車載カメラ２－ｉ用の共同のトレーニングでは、好ましくは、全てのターゲットカメラ２－１，２－２，２－３，２－４用に用いられる雨、逆光、或いは、汚れの影響を受けていない画像クオリティを有するグラウンドトゥルース（Ｇｒｏｕｎｄ ｔｒｕｔｈ）データが、第一アプリケーションにおいて用いられる。基準としてのグラウンドトゥルース・データとターゲットカメラ２－１，２－２，２－３，２－４の上記のような減損を有し得る入力データにより、ニューラルネットワークＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２が、ネットワーク用に最適なパラメータセットの観点からトレーニングされる。

【0079】

更なるアプリケーションでは、カメラ用の、例えば、サイドカメラ２－３又は２－４用のトレーニング用データとグラウンドトゥルース・データが欠落しているケースでも、ネットワークが、他のカメラ２－１，２－２及び２－４又は２－３のトレーニング用データを基にして、データが欠落しているカメラ２－３又は２－４用のパラメータをトレーニングし、最適化できるように、共通のカメラ２－ｉ用のニューラルネットワークが、トレーニングされることができる。

【0080】

最後の例において、該ニューラルネットワークは、時間的に異なり、個々のカメラ２－ｉに相関するトレーニング用データと異なるカメラ２－ｉによって異なる時点に捕捉された、乃至、撮影されたグラウンドトゥルース・データを使用している。これには、特徴乃至オブジェクトの情報、及び、それらの、例えば、フロントカメラ２－１が、時点ｔにおいて、サイドカメラ２－３，２－４が、時点ｔ＋ｎに撮影した、グラウンドトゥルース・データを用いることができる。これらの特徴乃至オブジェクト及びそれらのグラウンドトゥルース・データは、他のカメラのトレーニング用データやグラウンドトゥルース・データ内の欠落している情報を、それが他のカメラ２－ｉの画像内にあり且つネットワークからトレーニング用データと使用される場合、埋め合わせることができる。この様にすることで、ネットワークは、全てのサイドカメラ２－３，２－４用のパラメータを最適化し、場合によっては、トレーニング用データ内において欠落している情報を補整できる。

【0081】

複数の車載カメラ２－ｉを用いる場合、上記のようにすれば、ネットワーク全体における個別の減損を明示的に割出し、トレーニングすることができるため、全ての車載カメラ２－ｉに対してそれぞれ適合された画像修正が実施される。

【0082】

図３は、雨、逆光及び／或いは汚れにおける、カメラ画像を補正するためのシステムの一般的な概要を模式的に示している。不可欠な要素は、トレーニングフェーズにおいて、トレーニング用入力画像Ｉｎ（Ｉｎ１，Ｉｎ２，Ｉｎ３，…）のセットを、対応する修正されたトレーニング用（理想）出力画像Ｏｕｔ（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，…）に割り当てることを学習する人工ニューラルネットワークＣＮＮ１である。ここで言う「割り当て」とは、ニューラルネットワークＣＮＮ１が、修正された画像を生成することを学習することである。一枚の入力画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，…）は、例えば、人間の目では、ぼんやりとした、乃至、滲んだ大きなオブジェクト、例えば、自転車を表す大きな路面標示と空のみが認識できる雨天の道路のシーンを包含していることができる。対応する修正された画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，…）には、付加的に、交差点、信号機、樹木及び街路灯の輪郭が認識できる。雨滴による減損の有無にかかわらず、カラー画像のリアルな写真画像は、例えば、Ｐｏｒａｖらの図１に示されている。「入力画像」と言う用語は、このケースでは、複数のカメラ２－ｉが存在していることから、複数の乃至全てのシングルカメラ２－ｉによって同時に捕捉された入力画像を意味している。同様に、「出力画像」と言う用語は、複数の乃至全てのシングルカメラ２－ｉの理想・出力画像を包含することができる。

【0083】

オプション的には、ファクタｄを、ニューラルネットワークＣＮＮ１用の付加的な入力値として使うことができる。ファクタｄは、画像の（雨、逆光、汚れの）影響に対する修正度合いを制御するための制御パラメータである。トレーニングの際、トレーニング用画像と修正された画像（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；…）からなる画像ペア用のファクタｄは、前もって、或いは、トレーニングの範疇において、画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；…）から割り出され、ニューラルネットワークＣＮＮ１に提供される。これにより、ファクタｄも一緒に学習されることができる。

【0084】

トレーニング済みのニューラルネットワークＣＮＮ１を使用する際は、ファクタｄの規準値によって、ニューラルネットワークＣＮＮ１をどの程度、最新の捕捉画像を修正するかを制御できる－即ち、ファクタｄを、（任意のグラデーションを有する）外部回帰パラメータとして考えることも可能である。ファクタｄが、＋／－１０％の範囲の変動を有し得るため、これは、トレーニング中、考慮される。ファクタｄは、車両での推論中に約＋／－１０％の範囲でファクタｄの誤推定に対して堅牢となるよう、トレーニング中（ニューラルネットワークのトレーニングの様々なエポックにおいて）、約＋／－１０％のノイズを発生させることができる。言い換えれば、必要なファクタｄの精度は、＋／－１０％の範囲内にある－即ち、ニューラルネットワークＣＮＮ１は、このパラメータの推定の際の偏差に対して堅牢である。

【0085】

代案的乃至補足的に、ファクタｄは、トレーニング済みのニューラルネットワークＣＮＮ１によって実施された画像修正に対して、出力されることができる。これにより、以後に実施される画像認識機能や画像表示機能は、元来捕捉された画像がどの程度修正されたのかに関する情報を得る。

【0086】

該人工ニューラルネットワークＣＮＮ１は、水による濡れ具合、逆光及び／或いは汚れの度合いに依存する入力画像用の安全尺度ｃを割り出すことができる様に構成されている。ネットワークの仕様設定は、例えば、人工ニューラルネットワークＣＮＮ１の適切なアーキテクチャのデザインによって達成される。機械学習終了後、人工ニューラルネットワークＣＮＮ１は、新しい入力画像用に安全尺度ｃを割出し、出力することができる。即ち、安全尺度ｃは、雨や水による濡れ具合、逆光及び／或いは汚れによる減損の程度に依存して、トレーニング済みのネットワークを用いる場合の画像修正に合った安全性を特徴づけるものである。「入力画像」と言う用語が、複数の乃至全てのシングルカメラ２－ｉによって同時に捕捉された入力画像を意味している限り、「安全尺度ｃ」と言う用語においても、同時に捕捉された異なる入力画像それぞれ個別の（異なり得る）安全尺度ｃが、割り出されることを意味し得る。

【0087】

図３には、三つの画像ペアＩｎ１＋Ｏｕｔ１，Ｉｎ２＋Ｏｕｔ２，Ｉｎ３＋Ｏｕｔ３が、模式的に示されている。要するに、ニューラルネットワークＣＮＮ１は、画像ペアの各入力画像に対して一つの安全尺度ｃ１，ｃ２乃至ｃ３が割出され、出力できる様に、トレーニングされる、乃至、デザインされている。

【0088】

画像の雨、逆光又は汚れ補正のクオリティは、数多くのファクタ（例えば、トレーニングデータ内に似通ったケースが存在、修正を実施するために十分な露光、多義的なシナリオを回避、など）に依存しているため、ネットワークは、画像の修正に加え、ネットワークがそれに依存して決断を下す安全性の尺度も出力する。この安全尺度ｃは、以下の実施形態の内の一つ、又は、これらの組み合わせを包含している：
－ 信頼度ｃ＿Ｐｒｏｂ：ここでは、ネットワークの出力が、ネットワークが正しい決定を下す確率として確率的に解釈できる様にキャリブレーションされる。その値は、［０，１］の範囲において正規化され、ネットワークが画像の正しい補正を計算した確率、０％から１００％までのスペクトルに対応している。このキャリブレーションは、トレーニング用画像データセットを使用した実際の機械学習方法の完了後に、検証画像データセットを使用して、該学習の質を確認することによって実施できる。検証画像データセットも、各々、雨、逆光及び／或いは汚れの影響を受けた第一画像と、対応する理想出力画像としての減損の無い同じシーンの第二画像とからなる画像ペアを含んでいる。実践においては、入力画像と理想・出力画像の一部を残しておく、即ち、機械学習法に用いるのではなく、後の検証に用いることもできる。
－ 標準偏差に似た分散の尺度ｃ＿Ｄｅｖ：ここでは、ネットワーク出力値の不確実性が、ネットワーク出力のばらつきを示す値として推定される。これは、様々に実施可能である。即ち、例えば、測定不確実性とモデル不確実性に分割することができる。測定不確実性は、例えば、軽度の乱れなど入力データに起因する不確実性に関する。これらは、更なる出力を介してネットワークに加えられ、エラーファンクションの変更によってトレーニングされる。モデル不確実性は、限定された描写精度とネットワークの汎用性に起因するものである。これは、トレーニング用データの規模とネットワークデザインのアーキテクチャなどのファクタに関している。モデル不確実性は、モンテカルロドロップアウトやネットワーク・アンサンブルによって推定できる。モデル不確実性と測定不確実性は、加算的に統合できる。
－ 信頼性とばらつき尺度の組み合わせ

【0089】

該安全尺度ｃは、画像全体用、画像領域用、乃至、画像の個々のピクセル用に算出できる。

【0090】

安全尺度ｃに基づいて、以下様な判断を下すことができる：
－ ｃ＿Ｐｒｏｂ・低：ネットワークは、その推定において、低い信頼性を有している－頻繁に誤推定が起こり得る。
－ ｃ＿Ｐｒｏｂ・高：ネットワークは、その推定において、高い信頼性を有している－画像修正は、殆どのケースにおいて正しい。
－ ｃ＿Ｄｅｖ・低：ネットワークの画像修正のばらつきが少ない－即ち、ネットワークは、非常に正確な画像修正を予測。
－ ｃ＿Ｄｅｖ・高：標準偏差に類似する画像修正の推定されたばらつきが、高く、ネットワークの出力は、精度が低い／シャープではない－入力データまたはネットワークのモデリングのわずかな変更により、画像補正に偏差が生じる。
－ 組み合わせ：
○ ｃ＿Ｐｒｏｂ・高とｃ＿Ｄｅｖ・低：高い信頼性であるとしてみなされる非常に信頼性が高く正確な画像補正
○ ｃ＿Ｐｒｏｂ・低とｃ＿Ｄｅｖ・高：却下され得る程度に非常に不確実且つ不正確な画像補正
○ ｃ＿Ｐｒｏｂ・高とｃ＿Ｄｅｖ・高、乃至、ｃ＿Ｐｒｏｂ・低とｃ＿Ｄｅｖ・低：これらの組み合わせは、不確定性を有しており、ここでは、注意深い画像修正の使用が推奨される
安全尺度の採用は、特に、セーフティ・クリティカルな機能にとって重要である。

【0091】

トレーニング用データ（トレーニング画像（Ｉｎ１、Ｉｎ２、Ｉｎ３、．．．）及び対応する修正済み画像（Ｏｕｔ１、Ｏｕｔ２、Ｏｕｔ３、．．．））を生成する一つの方法は、Ｐｏｒａｖらの図８に記載されている「ステレオカメラ構成」を用いた画像データの撮影である：即ち、互いに僅かな間隔を有する二つの同一のカメラモジュールを、透明なガラスを有する二分割されたチャンバに配置し、例えば、右側のステレオ・カメラ・モジュールのチャンバには、雨滴を噴霧する一方、左側のステレオ・カメラ・モジュールのチャンバには、いかなる減損も起こらない様に保つ。

【0092】

同様に、逆光による減損をシミュレーションするには、例えば、光源を一方のチャンバに対してのみ向けることができる。又、汚れの場合も、一方のチャンバにのみ付与することができる。

【0093】

代案的には、トレーニング用画像ペアを生成するために、減損の無い画像を用いて、画像内に雨、逆光、或いは、汚れの効果シミュレーションするレンダリング法により画質を落とすことも可能である。

【0094】

ニューラルネットワークＣＮＮ１がトレーニングされた後は、画像修正は、以下のスキーマに従って実施される：
入力画像→ＣＮＮ１
オプション：ファクタｄ→ＣＮＮ１
ＣＮＮ１→修正されたアウトプット画像／出力画像＋安全尺度ｃ。

【0095】

図４は、画像修正用のトレーニング済みのニューラルネットワークＣＮＮ１を備えたシステムを示している。トレーニング済みのニューラルネットワークＣＮＮ１は、入力としての、複数のカメラ２－ｉの基の入力画像データ（Ｉｎｉ）を包含している。オプションとしては、入力画像データを、どの程度修正するかを定める（制御する）ファクタｄを、予め与える、又は、ニューラルネットワークＣＮＮ１によって、入力画像データ（Ｉｎｉ）を基に、割り出すことができる。ニューラルネットワークは、複数のカメラ２－ｉの修正された減損の無い画像データ（Ｏｐｔｉ）と、一つ乃至複数の安全尺度ｃを算出する。該複数のカメラ２－ｉの修正された減損の無い画像データ（Ｏｐｔｉ）と少なくとも一つの安全尺度ｃが出力される。

【0096】

図５と６は、画像修正用の第一ネットワークとドライバーアシストシステム及び／或いは自動化された走行用の（検出）機能のための一つ乃至複数のネットワークとの組み合わせの実施例を示している。

【0097】

図５は、必要に応じて、（入力層乃至下位の層としての）特徴表現層を検出機能用のネットワーク（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）と共有しているファクタｄによって制御される入力画像（Ｉｎｉ）の画像修正用のニューラルネットワークＣＮＮ１０を示している。ここで言う、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）とは、画像データ内においてＡＤＡＳやＡＤ機能に対して重要なオブジェクト、ストラクチャ、特性（一般的：特徴）を検出する画像処理機能のことである。多くのこの様な、機械学習に基づく検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）は、既に開発されている、或いは、最新の開発（例えば、交通標識分類、オブジェクト分級、意味論的セグメント化、深度推定、走行レーン認識、車線ロケーティング）の対象である。修正された画像（Ｏｐｔｉ）に、第二ニューラルネットワークＣＮＮ２の検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）は、元の減損した入力画像データ（Ｉｎｉ）よりも改善された結果を、提供する。ニューラルネットワークＣＮＮ１０の特徴表現層では、画像修正用と検出機能用に共通の特徴を学習する。

【0098】

共通の入力層と二つの独立した出力を有するニューラルネットワークＣＮＮ１０は、修正された出力画像／出力画像データ（Ｏｐｔｉ）を出力するための第一出力ＣＮＮ１１、並びに、検出：オブジェクト、深度、レーン、意味などを出力するための第二出力ＣＮＮ１２を有している。

【0099】

トレーニングにおいて特徴表現層が、画像修正のみならず、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）の観点から最適化されることにより、画像修正の最適化は、同時に、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）の改善にも役立っている。

【0100】

修正された画像（Ｏｐｔｉ）の出力が望まれていない、乃至、必要ない場合、図６の記載の如く、該アプローチには、更なるバリエーションが可能となる。

【0101】

図６は、特徴の最適化による図５のシステムに基づくニューラルネットワーク・ベースの画像を修正するためのアプローチを示している。計算時間を節約するため、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用の特徴は、トレーニング中、画像修正並びに検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）の観点から最適化される。

【0102】

実行時、即ち、トレーニング済みのニューラルネットワーク（ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）を用いる場合、修正された画像（Ｏｐｔｉ）は、計算されない。

【0103】

しかしながら、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）は－上述の如く－画像修正と検出機能の共同のトレーニングによって、そこでは、トレーニング中、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）のみが最適化される検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用の唯一のニューラルネットワーク（ＣＮＮ２）を有するシステムと比較して改善される。

【0104】

トレーニングフェーズでは、付加的な出力インターフェース（ＣＮＮ１１）から、修正された画像（Ｏｐｔｉ）が出力され、グラウンドトゥルース（対応する修正されたトレーニング用画像）と比較される。テストフェーズ中乃至実行時は、この出力（ＣＮＮ１１）を継続的に用いる、乃至、計算時間を節約するために、カットすることも可能である。検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用のウエートは、この付加的な出力（ＣＮＮ１１）を用いたトレーニングでは、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用の画像修正を考慮するように変更されている。この様に、検出機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）のウエートは、内潜的に輝度改善に関する情報を学習する。

【0105】

更なるアスペクト、並びに、雨、逆光、又は、汚れによる影響に関わらず根底にあるカメラシステムの画像データを、アルゴリズムを用いて、減損の無い撮影に相当する描写に換算するアシスタントシステムの実施形態を以下に示す。換算された画像は、純粋な表示目的、或いは、特徴ベースの認識アルゴリズム用の入力として利用されることができる。

【0106】

１）第一実施形態では、計算は、例えば、検出ユニットや表示ユニットの前に設けられ、曇り、汚れ、又は、水滴がありコントラストやカラー情報が少ない入力画像を、浄化された描写に変換するニューラルネットワークなどのシステムをベースにしている。このタスク用に、ニューラルネットワークは、「曇った入力画像」とそれに帰属する「浄化された画像」からなるデータセットを用いてトレーニングされる。

【0107】

２）特に、浄化された画像を用いることにより、ニューラルネットワークは、改善すべき画像ペアに表れる特徴を、曇りや汚れがあるにもかかわらず、後に行われるマッチングやオブジェクト認識用に得、良好なケースでは、それを強化すらできる様にトレーニングされる。

【0108】

３）ネットワークのトレーニングでは、画像修正／改善は、表示やオブジェクト検出を実施するための特徴ベースの方法を考慮して、該方法を、認識されるべき特徴に特化することにより、該特徴を、明示的に、これに続く処理のために強調する。

【0109】

４）ある更に他の実施形態によれば、画像改善乃至修正のための方法は、ハードウェアベースの画像前処理段階、例えば、ＩＳＰ内に、内蔵されていることができる。このＩＳＰには、ハードウェア側において、変換を実施し、前処理された情報をオリジナルデータと共に、検出方法又は表示方法に対して提供するニューラルネットワークが、補足されている。

【0110】

５）ある更に他の実施形態によれば、ニューラルネットワークを備えたシステムは、付加的にサイドカメラなどの曇りの無いカメラの情報を、曇った領域の換算を更に改善するために用いる様に、トレーニングされることができる。ここでは、ネットワークは、各カメラ用の個別画像によって個別にトレーニングされるよりも、複数のカメラシステムから構成された全システムとしてトレーニングされる。

【0111】

６）ある更に他の実施形態によれば、トレーニングのために、ネットワークには、汚れや曇りに関する情報に加え、画質に関する情報も提供される。そのため、該システムと方法は、オブジェクト認識、並びに、ヒューマンビジョン的に最適化された画像データを計算するように最適化されている。

【0112】

７）更なるアプリケーションにおいては、カメラの汚れ具合が異なっている。例えば、車両の側方に設けられているサテライトカメラが、車両の前方に設けられているサテライトカメラよりもより汚れている。この様なケースでは、人工ニューラルネットワークは、例えば、曇りの無いサテライトカメラの画像情報と画像特徴を、曇ったカメラの画像の曇りの無い表示のために用いることができる様に、トレーニングされ、最適化されるように設計されている。この様にして算出された画像は、表示目的に使用できるが、特徴の認識のためにも用いることができる。以下の例では、曇ったカメラの修正された画像は、光学的流れ用の特徴の認識のためのみならず、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）並びに表示目的でも使用される。

【0113】

８）あるアプリケーションでは、該方法は、汚れ具合の異なる画像（例えば、サイドカメラが曇っている）と明瞭な画像（例えば、フロント・リヤ・ビュー・カメラ）を用いた人工ニューラルネットワークの共通のトレーニングにより、全てのサテライトカメラ用に最適なパラメータを同時に学習できる様に設計されている。

【0114】

複数の車載カメラ用の共同のトレーニングでは、好ましくは、全てのターゲットカメラ用に用いられる画像クオリティを有するグラウンドトゥルース（Ｇｒｏｕｎｄ ｔｒｕｔｈ）データが、第一アプリケーションにおいて用いられる。言い換えれば、全てのターゲットカメラ用のグラウンドトゥルース・データは、例えば、サラウンドビューアプリケーションにおいて、そのグラウンドトゥルース内に輝度差を認識できない様にバランス取りされている。このリファレンスとしてのグラウンドトゥルース・データと、異なる曇り具合を有する可能性のあるターゲットカメラの入力データを用いて、ニューラルネットワークを、ネットワーク用の最適なパラメータセットの観点からトレーニングする。同様に、例えば、車両が、街路灯の横にある場合や、側方に付加的な光源がある場合など、異なる照明が当たった側方領域を有するデータも考え得る。

【0115】

９）更なるアプリケーションでは、カメラ用の、例えば、サイドカメラ用のトレーニング用データとグラウンドトゥルース・データが欠落しているケースでも、ネットワークが、他のカメラのトレーニング用データを基にして、データが欠落しているカメラ用のパラメータをトレーニングし、最適化できるように、共通のカメラ用のネットワークが、トレーニングされることができる。これは、例えば、ネットワークのトレーニングにおける条件として、例えば、修正とトレーニングが、サテライトカメラの画質が似通っているために何時も同じであると言った仮定として達成できる。

【0116】

１０）最後の例において、該ネットワークは、時間的に異なり、カメラに相関するトレーニング用データと異なるカメラによって異なる時点に撮影されたグラウンドトゥルース・データを使用している。これには、特徴の情報、及び、それらの、例えば、フロントカメラが、時点ｔにおいて、サイドカメラが、時点ｔ＋ｎに撮影した、グラウンドトゥルース・データを用いることができる。これらの特徴及びそのグラウンドトゥルース・データは、他のカメラのトレーニング用データやグラウンドトゥルース・データ内の欠落している情報を、それが他のカメラの画像内にあり且つネットワークからトレーニング用データと使用される場合、埋め合わせることができる。この様にすることで、ネットワークは、全てのサイドカメラ用のパラメータを最適化し、場合によっては、トレーニング用データ内において欠落している情報を補整できる。

【0117】

複数の車載カメラ２－ｉを用いる場合、上記のようにすれば、ネットワーク全体におけるキャビン外の個別の曇りプロファイルを明示的に割出し、トレーニングすることができるため、全ての車載カメラ２－ｉに対してそれぞれ適合された画質が得られる。

【0118】

１１）曇りや水滴のある際の画像の修正に加え、システムは、水滴や汚れを、例えば、ワイパを作動させる、或いは、サテライトカメラの掃除を促すための表示を実施するために認識する。この様に、輝度検出と組み合わせることで、画像の修正のみならず、レイン・ライト・検出の機能も実現可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】