(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-13
(54)【発明の名称】センサーの劣化検出および改善
(51)【国際特許分類】
G08G 1/16 20060101AFI20230306BHJP
G06T 7/00 20170101ALI20230306BHJP
【ＦＩ】
G08G1/16 C
G06T7/00 350B
G06T7/00 650Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022539166
(86)(22)【出願日】2020-12-21
(85)【翻訳文提出日】2022-08-24
(86)【国際出願番号】 US2020066398
(87)【国際公開番号】W WO2021133727
(87)【国際公開日】2021-07-01
(31)【優先権主張番号】16/728,532
(32)【優先日】2019-12-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】サラ タリク
(72)【発明者】
【氏名】ジェームズ ウィリアム ベイジー フィルビン
(72)【発明者】
【氏名】イー シュー
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181BB18
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181EE13
5H181FF04
5H181FF12
5H181FF27
5H181LL09
5H181MB03
5L096CA05
5L096EA35
5L096FA05
5L096GA08
5L096GA30
5L096GA51
5L096HA01
5L096HA05
5L096JA11
(57)【要約】
センサー劣化検出および修復システムは、環境からの画像データを収集するように構成される１つまたは複数のセンサーを含む。技術の組み合わせは、センサーによってキャプチャされた画像データの領域内の劣化を検出するために用いられてよく、異なるセンサーによってキャプチャされた関連される画像領域間の視覚的な一貫性のレベルを決定すること、画像領域の不透明性のレベルを決定すること、および／または時間期間にわたってセンサーによってキャプチャされた画像領域の時間的な動作を測定することのうちの１つまたは複数を含む。車両または他のシステムの動作は、センサーによってキャプチャされた画像データの劣化の検出に少なくとも部分的に基づいて制御されることができ、センサー表面の自動クリーニング、センサーから受信した画像データへの依存のレベルの低減、および／または車両の進行方向の変更を含む。
【特許請求の範囲】
【請求項1】
システムであって、１つまたは複数のプロセッサと、
１つまたは複数の前記プロセッサによって実行される場合に、前記システムに、
第１の時間で、車両の第１のセンサーによってキャプチャされた第１の画像データを受信することと、
前記第１の画像データ内の第１の画像領域を識別することと、
前記第１のセンサーによってキャプチャされた前記第１の画像データの劣化を検出することであって、前記検出することは、
前記第１の画像領域と第２のセンサーによってキャプチャされた第２の画像データ内の対応する第２の画像領域との間の視覚的な一貫性の決定されたレベル、
前記第１の画像領域に関連付けられる強度、
前記第１の時間とは異なる第２の時間でキャプチャされた第３の画像データに基づいて、前記第１の画像領域に関連付けられる時間的な動作の測定、または
画像データに基づいて劣化を検出するために訓練された機械学習モデルからの出力とのうちの少なくとも２つに基づくことと、
前記劣化の前記検出に少なくとも部分的に基づいて前記車両の動作を制御することとを含む動作を実行させる命令を格納する非一時的なコンピューター可読媒体とを
備えるシステム。
【請求項2】
前記第１の画像データの前記劣化を検出することは、前記第１の画像データの前記劣化の第１の確率を決定することであって、前記第１の確率は、視覚的な一貫性の前記レベルに基づくことと、
前記第１の画像データの前記劣化の第２の確率を決定することであって、前記第２の確率は、前記第１の画像領域に関連付けられる前記強度、前記第１の画像領域に関連付けられる時間的な動作の前記測定、または機械学習モデルからの前記出力のうちの少なくとも１つに基づくことと、
少なくとも前記第１の確率および前記第２の確率に基づいて、前記第１の画像データの前記劣化の第３の確率を算定することと、
前記劣化の前記第３の確率を確率閾値と比較することとを含む、
請求項１に記載のシステム。
【請求項3】
前記第１の画像データの前記劣化を検出することは、前記第１の画像領域と前記第２の画像領域との間の視覚的な一貫性の前記決定されたレベルに少なくとも部分的に基づいており、前記動作は、前記第２のセンサーが前記第１のセンサーと重複する検出フィールドを有すると決定することと、
前記第２のセンサーによってキャプチャされた前記第２の画像データを読み出すことと、
前記第１の画像領域に関連付けられる前記第２の画像データ内の前記第２の画像領域を識別することと、
前記第１の画像領域と前記第２の画像領域との間の視覚的な一貫性の前記レベルを決定することとをさらに含む、
請求項１または２のいずれかに記載のシステム。
【請求項4】
前記第１の画像データの前記劣化を検出することは、前記第１の画像領域に関連付けられる前記強度に少なくとも部分的に基づいており、前記動作は、前記第１の画像データの多様な画像チャネルに関連付けられる強度値に少なくとも部分的に基づいて、前記第１の画像データに関連付けられる暗チャネル値を決定することと、
経時的にキャプチャされた多様な画像フレームの強度値に少なくとも部分的に基づいて平均暗チャネル画像値を生成することと、
前記平均暗チャネル画像値に基づいて閾値を決定することと、
前記第１の画像領域に関連付けられる前記強度を前記閾値と比較することと、
前記第１の画像領域に関連付けられる前記強度が前記閾値よりも大きいと決定することに少なくとも部分的に基づいて、前記第１の画像データの前記劣化を検出することとをさらに含む、
請求項１ないし３のいずれか一項に記載のシステム。
【請求項5】
前記第１の画像データの前記劣化を検出することは、前記第１の画像領域に関連付けられる時間的な動作の前記測定に少なくとも部分的に基づいており、前記動作は、前記第１の時間とは異なる前記第２の時間で、前記第１のセンサーによってキャプチャされた前記第３の画像データを受信することと、
前記第１のセンサーによってキャプチャされた前記第１の画像データおよび前記第３の画像データを用いて、前記第１の画像データにおける前記第１の画像領域を前記第３の画像データにおける前記第１の画像領域と比較することによって、前記第１の画像領域の時間的な動作を決定することとをさらに含む、
請求項１ないし４のいずれか一項に記載のシステム。
【請求項6】
前記第１の画像データの前記劣化を検出することは、少なくとも前記第１の画像データを前記機械学習モデルへと入力することと、
前記機械学習モデルから前記出力を受信することであって、前記出力は、前記第１の画像データに少なくとも部分的に基づいており、前記出力は、前記第１のセンサーによってキャプチャされた前記第１の画像データの前記劣化を示すこととをさらに含む、
請求項１ないし５のいずれか一項に記載のシステム。
【請求項7】
前記第１の画像データの前記劣化を検出することは、前記劣化の発生源またはタイプを識別することを含み、前記劣化の前記識別された発生源またはタイプは、前記第１のセンサーの表面の不透明な物質、
前記第１のセンサーの表面の水滴、
前記第１のセンサーの検出フィールド内の光学的なフレア、または
前記第１のセンサーの視覚的な焦点誤差のうちの少なくとも１つを含む、
請求項１ないし６のいずれか一項に記載のシステム。
【請求項8】
前記第１の画像データの前記劣化の前記検出に少なくとも部分的に基づいて、前記車両の前記動作を制御することは、前記第１のセンサーの表面のクリーニングを開始すること、
前記第１のセンサーから受信したデータへの依存度を低減すること、
前記車両の進行方向を変更すること、または
前記車両の１つまたは複数の動作駆動パラメーターを調整することのうちの少なくとも１つを含む、
請求項１ないし７のいずれか一項に記載のシステム。
【請求項9】
第１の時間で、車両の第１のセンサーによってキャプチャされた第１の画像データを受信するステップと、前記第１の画像データ内の第１の画像領域を識別するステップと、
前記第１のセンサーによってキャプチャされた前記第１の画像データの劣化を検出するステップであって、前記検出するステップは、
前記第１の画像領域と第２のセンサーによってキャプチャされた第２の画像データ内の対応する第２の画像領域との間の視覚的な一貫性の決定されたレベル、
前記第１の画像領域に関連付けられる強度、
前記第１の時間とは異なる第２の時間でキャプチャされた第３の画像データに基づいて、前記第１の画像領域に関連付けられる時間的な動作の測定、または
画像データに基づいて劣化を検出するために訓練された機械学習モデルからの出力のうちの少なくとも２つに基づくステップと、
前記劣化の前記検出に少なくとも部分的に基づいて前記車両の動作を制御するステップとを
備える方法。
【請求項10】
前記第１の画像データの前記劣化を検出するステップは、前記第１の画像データの前記劣化の第１の確率を決定するステップであって、前記第１の確率は、視覚的な一貫性の前記レベルに基づくステップと、
前記第１の画像データの前記劣化の第２の確率を決定するステップであって、前記第２の確率は、前記第１の画像領域に関連付けられる前記強度、前記第１の画像領域に関連付けられる時間的な動作の前記測定、または機械学習モデルからの前記出力のうちの少なくとも１つに基づくステップと、
少なくとも前記第１の確率および前記第２の確率に基づいて、前記第１の画像データの前記劣化の第３の確率を算定するステップと、
前記劣化の前記第３の確率を確率閾値と比較するステップとを含む、
請求項９に記載の方法。
【請求項11】
前記第１の画像データの前記劣化を検出するステップは、前記第１の画像領域と前記第２の画像領域との間の視覚的な一貫性の前記決定されたレベルに少なくとも部分的に基づいており、前記動作は、前記第２のセンサーが前記第１のセンサーと重複する検出フィールドを有すると決定するステップと、
前記第２のセンサーによってキャプチャされた前記第２の画像データを読み出すステップと、
前記第１の画像領域に関連付けられる前記第２の画像データ内の前記第２の画像領域を識別するステップと、
前記第１の画像領域と前記第２の画像領域との間の視覚的な一貫性の前記レベルを決定するステップとをさらに含む、
請求項９または１０のいずれかに記載の方法。
【請求項12】
前記第１の画像データの前記劣化を検出するステップは、前記第１の画像領域に関連付けられる前記強度に少なくとも部分的に基づいており、前記方法は、前記第１の画像データの多様な画像チャネルに関連付けられる強度値に少なくとも部分的に基づいて、前記第１の画像データに関連付けられる暗チャネル値を決定するステップと、
経時的にキャプチャされた多様な画像フレームの強度値に少なくとも部分的に基づいて平均暗チャネル画像値を生成するステップと、
前記平均暗チャネル画像値に基づいて閾値を決定するステップと、
前記第１の画像領域に関連付けられる前記強度を前記閾値と比較するステップと、
前記第１の画像領域に関連付けられる前記強度が前記閾値よりも大きいと決定するステップに少なくとも部分的に基づいて、前記第１の画像データの前記劣化を検出するステップとをさらに備える、
請求項９ないし１１のいずれかに記載の方法。
【請求項13】
前記第１の画像データの前記劣化を検出するステップは、前記第１の画像領域に関連付けられる時間的な動作の前記測定に少なくとも部分的に基づいており、前記方法は、前記第１の時間とは異なる前記第２の時間で、前記第１のセンサーによってキャプチャされた前記第３の画像データを受信するステップと、
前記第１のセンサーによってキャプチャされた前記第１の画像データおよび前記第３の画像データを用いて、前記第１の画像データにおける前記第１の画像領域を前記第３の画像データにおける前記第１の画像領域と比較することによって、前記第１の画像領域の時間的な動作を決定するステップとをさらに備える、
請求項９ないし１２のいずれかに記載の方法。
【請求項14】
前記第１の画像データの前記劣化を検出することは、少なくとも前記第１の画像データを前記機械学習モデルへと入力するステップと、
前記機械学習モデルから前記出力を受信するステップであって、前記出力は、前記第１の画像データに少なくとも部分的に基づいており、前記出力は、前記第１のセンサーによってキャプチャされた前記第１の画像データの前記劣化を示すステップとをさらに含む、
請求項９ないし１３のいずれかに記載の方法。
【請求項15】
１つまたは複数のプロセッサによって実行される場合に、１つまたは複数の前記プロセッサに、請求項９ないし１４のいずれか一項に記載の方法を実行させる命令を含む１つまたは複数の非一時的なコンピューター可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、センサーの劣化検出および改善に関する。
【背景技術】
【0002】
本出願は、「SENSOR DEGRADATION DETECTION AND REMEDIATION」と題された、２０１９年１２月２７日に出願された米国特許出願第１６／７２８，５３２号の優先権を主張し、その内容全体が参照により本明細書に組み込まれる。
【0003】
環境における車両センサーによってキャプチャされたデータは、車両が環境を通して移動するにつれて車両のナビゲーションおよび障害物回避を支援するために用いられることが可能である。例えば、カメラおよび他の車両センサーは、車両がナビゲーション、障害物検出、および車道の障害物の回避のためにリアルタイムで分析して使用し得る画像データを収集することができる。しかしながら、車両センサーによって収集されるデータの品質は、センサー自体の中で発生し得る内部誤差または故障に基づくことと同様に、天候、交通、または道路状況などの環境要因に基づくことを含む、特定の状況において劣化することがある。このような場合において、車両センサーによって収集されるデータは、準最適であるか、または使用に適さないことさえあり、車両ナビゲーション、障害物検出および回避、およびセンサーデータに依存する他の車両機能に潜在的に影響を与えることがある。
【図面の簡単な説明】
【0004】
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に現れる図を識別する。異なる図面における同一の参照番号は、類似するまたは同一の項目を示している。
【0005】
【図1】環境内の画像データを収集および分析して、画像データ内の劣化を検出する例示的な車両システムを示す図である。
【図2】多様な異なる車両センサーからのデータをキャプチャおよび分析することによって、車両センサーによってキャプチャされたデータ内の劣化を検出するための例示的なプロセスを示すフローチャートである。
【図3】車両センサーによってキャプチャされた画像データ内のピクセル強度を分析することによって、車両センサーによってキャプチャされたデータ内の劣化を検出するための例示的なプロセスを示すフローチャートである。
【図4】時間期間にわたって車両センサーからの画像領域の相対的な時間的な動作を分析することによって、車両センサーによってキャプチャされたデータ内の劣化を検出するための例示的なプロセスを示すフローチャートである。
【図5】多様な異なる車両センサーから受信した画像データに対して技術の組み合わせを実行することによって、車両センサーによってキャプチャされたデータ内の劣化を検出するための例示的なプロセスを示すフローチャートである。
【図6】時間期間にわたって多様な異なる車両センサーから受信した画像データに対して技術の組み合わせを実行することによって、車両センサーによってキャプチャされたデータ内の劣化を検出するための別の例示的なプロセスを示すフローチャートである。
【図7A】本明細書で説明される劣化検出技術の間に生成される例示的な画像と共に、車両センサーによってキャプチャされた例示的な画像を示す図である。
【図7B】本明細書で説明される劣化検出技術の間に生成される例示的な画像と共に、車両センサーによってキャプチャされた例示的な画像を示す図である。
【図7C】本明細書で説明される劣化検出技術の間に生成される例示的な画像と共に、車両センサーによってキャプチャされた例示的な画像を示す図である。
【発明を実施するための形態】
【0006】
上記のように、車両センサーによって収集されたデータの品質は、天候、交通、または道路状況などの環境要因に基づくことを含む、特定の状況において劣化することがある。本開示は、センサーによって収集されたセンサーデータの劣化を検出して、劣化の検出に基づいてさまざまなシステムを制御するためのシステムおよび技術に向けられる。例えば、カメラおよび他のセンサーによってキャプチャされた画像データの品質は、センサーの妨害物（例えば、汚れ、泥、雨滴、雪、またはセンサーのレンズにある他の材料）および／または環境条件（例えば、光学的なフレア、霧、雨、雪、排気など）、および／またはセンサー自体内の誤差または故障（例えば、焦点誤差、カメラレンズ、マウント、または他のセンサー部品の損傷、画像キャプチャまたは処理ソフトウェアにおける誤差など）によって劣化することがある。本開示にかかるシステムおよび技術は、センサーによってキャプチャされた画像データの劣化を画像キャプチャおよび分析技術の組み合わせを用いて検出および識別されることを可能とすることができる。ある例示において、１つまたは複数のシステムは、制御されることが可能であり、画像データの劣化を解消または修復する。特定の技術は、自律車両のセンサーの文脈において説明される。しかしながら、本明細書で説明される技術は、他のロボットシステムと同様に、非自律型車両に関連して使用可能であってよい。
【0007】
例えば、本明細書で説明される技術は、製造、位置監視およびセキュリティシステム、拡張現実などに適用されてよい。ある例示において、ステレオマッチング技術は、実装されてよく、ここで、画像データが車両の多様な異なるセンサー（例えば、カメラ）によってキャプチャされてよく、センサーの１つまたは両方から画像データ内の劣化を識別するために視覚的な一貫性のために分析されてもよい。ステレオ画像に対して全体を通して説明されているが、本発明は、少なくとも視界の部分的な重複がある限り、任意の多視点幾何学が企図されるように、それほど限定的であることを意味するものではない。異なる車両センサーからの重複する画像は、画像データ内の対応する領域にマッチングするようにキャプチャ、修復、および分析されてよい。画像領域間の視覚的な一貫性のレベルは、車両センサーのうちの１つの劣化を検出するために比較されてよい。
【0008】
他の技術は、ステレオマッチングの画像分析の代わりに、またはステレオマッチングの画像分析と併せて用いられてよい。例えば、暗チャネル技術が実装されてよく、ここで、一連の画像が車両センサーからキャプチャされてよく、ピクセル強度分析が関連される画像領域に対して実行されてもよい。最小暗チャネル値は、一連の画像内の画像領域からのピクセル強度に基づいて識別されてよく、暗チャネル値は、画像データの劣化を検出するために用いられてよい。例えば、暗チャネル値は、データの異なる画像チャネルに関連付けられる強度値に基づいて画像に対して決定されることができる。平均暗チャネル画像値は、また、経時的にキャプチャされた多様な関連される画像フレームの暗チャネル値に対する強度値に基づいて画像のために生成されることができる。暗チャネル強度閾値は、例えば、平均暗チャネル画像の異なる領域にわたる平均強度に基づいて生成されてよく、特定の画像領域（例えば、ピクセル）は、暗チャネル強度閾値と比較されてよい。暗チャネル強度閾値よりも高い強度を有する画像領域は、光学的なフレア、かすみ、霧、または雨滴などの具体的な閉塞によってより高い劣化する確率を有することがあり、これは、より高い暗チャネル強度を引き起こすことがある。
【0009】
車両センサーによってキャプチャされた画像データの劣化を検出するための追加的または代替的な技術は、他の周囲の画像領域に対する画像領域の時間的な動作を測定することを含んでよい。例えば、一連の画像は、車両が動いている場合の時間期間にわたって車両センサーからキャプチャされてよい。画像領域の時間的な動作は、分析されてよく、隣接する画像領域の時間的な動作と比較してよく、画像データの劣化は、周囲の画像領域の相対的な時間的な動作の差に基づいて検出されてもよい。
【0010】
追加的または代替的に、１つまたは複数の機械学習モデルは、車両センサーによってキャプチャされた画像データの劣化を検出するために用いられてよい。このような場合において、機械学習モデルおよび／または訓練データリポジトリは、車両に対しておよび／または外部コンピューターシステムに対して動作することができ、機械学習モデルを訓練して、さまざまなタイプの劣化（例えば、汚れ、泥、雨滴、光学的なフレア、霧、レンズ焦点誤差など）を正確に識別する。画像分析コンポーネントは、訓練データを分析して分類することができ、機械学習エンジンは、分類された訓練データに基づいて機械学習モデルを生成および訓練することができる。ある例示において、グラウンドトゥルース訓練データは、環境を横断する車両によってキャプチャおよび格納されたログデータから自動的にまたは半自動的に取得されてよい。さまざまな異なる機械学習技術およびアルゴリズムは、用いられてよく、ある場合において、本明細書で説明されるさらなる劣化検出および修復技術と組み合わせて多様な異なる訓練されたモデルが用いられてもよい。ある例示において、車両によって以前に収集されたログデータは、訓練データにラベル付けをするために用いられてよい。例えば、車両乗員またはオペレーターは、制御を用いてよく、現在の天気（例えば、「雨」）を入力して、対応するハッシュタグまたは他のメタデータラベルは、データに追加されてよい。追加的または代替的に、他の車両センサー（例えば、雨センサー）を用いてよく、センサーデータのキャプチャおよびラベル付けを開始して、機械学習モデルに対する訓練データとして用いられる。他の例示において、修復技術が閉塞を除去または修理（例えば、ほこりまたは泥を除去するためのセンサークリーニング）するために用いられる場合に、修復技術が実行された後に閉塞を検出することへの失敗は、閉塞を確認するために用いられることができ、修復技術の前に収集されたセンサーデータは、キャプチャされてラベル付けされることができ、機械学習モデルに対する訓練データとして用いられる。
【0011】
これらおよび本明細書で説明される他の技術を用いて、車両センサーによってキャプチャされた画像データの劣化は、検出されてよく、劣化の発生源またはタイプが識別されてよい。このような劣化は、例えば、車両センサーの表面の物質、光学的なフレア（例えば、ヘッドライト、街路灯、または車両センサーの検出領域内の他の照明現象によって引き起こされる太陽フレアまたはレンズフレア）、視界に影響を与える霧、または車両センサーの焦点誤差または他の故障などの他の環境要因によって引き起こされることがある。他の例示において、劣化は、車両センサーの誤較正に基づいて検出されることがあり、これは、オブジェクト（例えば、歩行者）によってセンサーにぶつかること、または通常の振動モードなどによって引き起こされることがある。
【0012】
車両センサーからの画像データの劣化が検出される場合に、本明細書で説明されるシステムおよび技術は、車両の動作を制御することを含んでよく、劣化の影響を解消、緩和、および／または修復する。例えば、自動クリーニング動作は、センサーの表面をクリーニングするために開始されてよく、検出された劣化を解消する。他の場合において、自律車両のナビゲーションおよびコントロールシステムは、劣化が検出されたセンサーから受信した画像データの信頼レベルを低下させてよく、および／または車両の進行方向は、劣化の影響を修復するために変更されてもよい。それ故に、本明細書で説明される技術および実施形態は、センサーデータに依存する自律車両および他のコンピューターシステムの性能を改善する技術的利点を提供することができ、センサーの妨害物および誤差のより速く且つより正確な検出、センサーの劣化のタイプ（または発生源）および／または重大性に基づく修復などの改善された修復技術、センサーデータの検出された劣化に基づくセンサーデータのより効率的な処理、自律車両の安全性の改善、または／およびセンサーデータに依存するコンピューターシステムの全体的な性能の改善を含む。
【0013】
（例示的なアーキテクチャ）
図１は、車両センサーによってキャプチャされた画像データの劣化を検出して、それに基づいて車両の動作を制御する例示的な自律車両システム１００を図示する。ある例示において、自律車両１０２は、米国国家幹線道路交通安全局によって発行されたレベル５分類に従って動作するように構成される自律車両であってよく、これは、運転者（または乗員）の常時車両制御を期待することなく全行程に対するすべてのセーフティクリティカルな機能を実行することが可能である車両を説明する。しかしながら、他の例示において、自律車両１０２は、任意の他のレベルまたは分類を有する完全または部分的な自律車両であってよい。さらに、ある例示において、車両センサーデータの劣化を検出するための技術、および本明細書で説明される関連される車両コントロール動作は、非自律車両によっても使用可能であってよい。また、車両が陸上車両である例示がある一方で、本明細書で説明される技術は、また、航空機、船舶、および他の車両に適用可能である。本明細書で説明される技術は、自律車両のようなロボット制御を越えるものに適用されてよいことが企図される。例えば、本明細書で説明される技術は、製造、位置監視およびセキュリティシステム、拡張現実などに適用されてよい。
図１は、車両センサーによってキャプチャされた画像データの劣化を検出して、それに基づいて車両の動作を制御する例示的な自律車両システム１００を図示する。ある例示において、自律車両１０２は、米国国家幹線道路交通安全局によって発行されたレベル５分類に従って動作するように構成される自律車両であってよく、これは、運転者（または乗員）の常時車両制御を期待することなく全行程に対するすべてのセーフティクリティカルな機能を実行することが可能である車両を説明する。しかしながら、他の例示において、自律車両１０２は、任意の他のレベルまたは分類を有する完全または部分的な自律車両であってよい。さらに、ある例示において、車両センサーデータの劣化を検出するための技術、および本明細書で説明される関連される車両コントロール動作は、非自律車両によっても使用可能であってよい。また、車両が陸上車両である例示がある一方で、本明細書で説明される技術は、また、航空機、船舶、および他の車両に適用可能である。本明細書で説明される技術は、自律車両のようなロボット制御を越えるものに適用されてよいことが企図される。例えば、本明細書で説明される技術は、製造、位置監視およびセキュリティシステム、拡張現実などに適用されてよい。
【0014】
本明細書で説明される技術によれば、自律車両１０２は、自律車両１０２のセンサー１０４からセンサーデータを受信することができる。例えば、センサー１０４は、車両を取り囲む外部環境の画像データをキャプチャするように構成されるカメラを含んでよい。この例示に示されるように、多様な異なるカメラセンサー１０４は、車両１０２に対して異なる位置で自律車両１０２に取り付けられてよく、および／または自律車両１０２へと統合されてもよい。このようなセンサー１０４は、また、異なるタイプまたは品質であってよく、異なる角度に向けられてよく、且つ自律車両１０２を取り囲む環境のさまざまな異なる画像１０６をキャプチャすべく、異なる画像キャプチャ特性（例えば、異なる焦点距離、キャプチャレート、焦点、視界、色能力など）で構成されてよい。それ故に、センサー１０４は、赤外線カメラ、熱探知カメラ、および暗視カメラと同様に、共通の光学カメラまたは光ベースのカメラを含む自律車両１０２に関連付けられる任意の数のカメラを含んでよく、これらのそれぞれは、自律車両１０２の環境から異なる画像１０６をキャプチャするように構成されてよい。したがって、センサー１０４によってキャプチャされた画像１０６は、例えば、より低い光レベルが増幅され、隣接するオブジェクトを区別することが可能となる暗視画像、または赤外線または熱探知カメラによってキャプチャされたサーモグラフィー画像を含んでよい。
【0015】
自律車両１０２のセンサー１０４は、追加的または代替的に、隣接するオブジェクトまでの距離を測定するためのパルス状レーザーを伝送するように構成される１つまたは複数の光検出および測距（ライダー）システム、電波を用いて隣接するオブジェクトまでの距離を検出して、決定するように構成される無線検出および測距（レーダー）システム、オブジェクトの距離または深度を測定するために音波パルスを用いるように構成されるソーナーセンサー、信号の放出とそれらのセンサーへの戻りとの間の時間差に基づいてオブジェクトの距離を測定するように構成される飛行時間センサー、または環境についての他の情報をキャプチャするように構成される他のセンサーを含んでよい。自律車両１０２のさらなるセンサー１０４は、自律車両１０２の現在位置、動作、および向きを検出するように構成される動作センサー（例えば、速度計、コンパス、加速度計、および／またはジャイロスコープ）と同様に、超音波トランスデューサー、ソーナーセンサー、位置信号（例えば、ＧＰＳ信号）を受信するグローバルポジショニングシステム（ＧＰＳ）を含んでよい。さらなるセンサー１０４は、また、環境および気候センサー（例えば、温度センサー、光センサー、圧力センサー、雨および降水センサー、風センサーなど）と同様に、磁力計、ホイールエンコーダーセンサー、マイク、および他のオーディオセンサーを含んでよい。
【0016】
図１に図示されるように、センサー１０４は、これらまたは他のタイプのセンサーのそれぞれの多様な例示を含んでよい。例えば、ライダーセンサーは、車両１０２の角部、前部、後部、側部、および／または上部に位置する個々の多様なライダーセンサーを含んでよい。別の例示として、カメラセンサーは、車両１０２の外部および／または内部についてのさまざまな位置に配置される多様なカメラを含んでよい。ある例示において、同一のタイプの異なるセンサー１０４（例えば、多様なカメラ）および／または異なるタイプの異なるセンサー（例えば、１つのカメラおよび１つのライダーシステム）は、少なくとも部分的に重複する視界を有してよい。センサー１０４は、車両コンピューティングシステム１０８に入力を提供することができ、および／またはセンサーデータを、１つまたは複数のネットワーク１３０を介して、所定の時間期間の経過後に、ほぼリアルタイムなどで、決定された頻度でさまざまな外部コンピューティングデバイスおよびシステム（例えば、コンピューティングデバイス１４０）に伝送することができる。
【0017】
さまざまなセンサー１０４によってキャプチャされたデータを用いて、自律車両１０２は、第１のセンサー１０４（例えば、カメラセンサー１０４Ａ）から画像１０６Ａ（１）～１０６Ａ（Ｎ）（集合的に「画像１０６Ａ」）、第２のセンサー１０４（例えば、カメラセンサー１０４Ｂ）から画像１０６Ｂ（１）～１０６Ｂ（Ｎ）（集合的に「画像１０６Ｂ」）、第３のセンサー１０４（例えば、カメラセンサー１０４Ｃ）から画像１０６Ｃ（１）～１０６Ｃ（Ｎ）（集合的に「画像１０６Ｃ」）などを受信することができる。この例示において、小さい障害物１０３Ｂ（１）が画像１０６Ｂ（１）に図示され、閉塞（例えば、雨滴）または他の障害物が画像１０６Ｂを生成するセンサー１０４の表面またはレンズに付着されることができることを示す。さらなる画像データのセットは、サーモグラフィーおよび暗視カメラ、またはライダーおよび／またはレーダーシステムなどのセンサー１０４から受信されてよく、これらの画像データは、集合的に画像１０６と称されてよい。さらに、本開示は、ビジュアル画像を参照して主に画像１０６を説明することができるが、本明細書で説明される技術および概念を容易に且つよりよく説明するために、技術および概念は、自律車両１０２の環境内のオブジェクト（例えば、オブジェクトを表現するポイントを含むライダーポイントクラウド）を識別および表現する能力を有する任意のセンサーデータに適用され得ることが企図される。
【0018】
ある例示において、自律車両１０２は、劣化検出エンジン１１０および車両コントロールシステム１２０を含み得る１つまたは複数のコンピューティングシステム１０８を含んでよい。この例示において示されるように、自律車両１０２のコンピューティングシステム１０８に対して実行する劣化検出エンジン１１０は、車両センサー１０４によってキャプチャされた画像データ１０６の劣化を検出するように構成される１つまたは複数のコンポーネントおよび／またはサブシステムを含んでよい。劣化検出エンジン１１０内の異なるサブシステムまたはコンポーネントは、異なる劣化検出技術を実行するために実装されてよく、画像比較コンポーネント１１２、ピクセル強度分析コンポーネント１１４、および画像動作分析コンポーネント１１６を含む。これらの技術で、以下でより詳細に説明されるこれらのうちのそれぞれは、劣化検出エンジン１１０によって個別にまたは組み合わせて用いられることができ、車両センサー１０４によってキャプチャされる画像データ１０６を分析して、画像データ１０６内の劣化を検出および識別する。
【0019】
さらに、ある実施形態において、自律車両１０８のコンピューティングシステム１０８は、センサーデータの劣化を検出するために訓練された機械学習モデルを受信、格納、および実行するように構成される１つまたは複数の機械学習モデル１１８を含んでよい。さまざまな例示において、機械学習モデル１１８（および／または以下で説明される機械学習エンジン１４８）は、ニューラルネットワークおよび／または他の訓練された機械学習モデルとして実装されてよい。例えば、機械学習モデル１１８を用いたニューラルネットワークおよび／または任意の他の機械学習技術は、画像データ１０６および／または自律車両１０２のセンサー１０４によってキャプチャされたさまざまな他のセンサーデータを受信するために訓練されてよく、センサー１０４の表面の不透明な物質または雨滴、光学的なフレアおよび画像データに影響を与える他の視覚現象、および／またはセンサー１０４の焦点誤差またはセンサー１０４の他の故障によって引き起こされるセンサーデータ内の劣化を分析して検出する。
【0020】
上記のように、機械学習モデル１１８は、１つまたは複数の人工ニューラルネットワークを含んでよい。ニューラルネットワークは、生物学的に着想を得た技術であり、これは、入力データが一連の接続された層を通して伝送されることができ、出力を生成する。ニューラルネットワークにおけるそれぞれのレイヤーは、また、別のニューラルネットワークを含んでよく、または（畳み込みか否かには関係なく）任意の数のレイヤーを含んでもよい。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、機械学習を利用してよく、これは、学習したパラメーターに基づいて出力が生成される技術のような広範囲のクラスを参照してよい。
【0021】
他の実施形態において、機械学習モデル１１８（および以下で説明される機械学習エンジン１４８）は、任意の他のタイプの機械学習技術を含んでよく、アルゴリズムは、本開示と一致させて用いられてよい。例えば、機械学習技術は、回帰技術（例えば、通常最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、ＭＡＲＳ（multivariate adaptive regression splines）、ＬＯＥＳＳ（locally estimated scatterplot smoothing））、インスタンスベースの技術（例えば、リッジ回帰、ＬＡＳＳＯ（least absolute shrinkage and selection operator）、Ｅｌａｓｔｉｃ Ｎｅｔ、ＬＡＲＳ（least-angle regression））、決定木技術（例えば、ＣＡＲＴ（classification and regression tree）、ＩＤ３（iterative dichotomiser 3）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定株、条件付き決定木）、ベイジアン技術（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、ＡＯＤＥ（average one-dependence estimators）、ベイジアン信頼度ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリング技術（例えば、ｋ平均法、ｋメジアン法、期待値最大化（ＥＭ）、階層的クラスタリング）、関連規則学習技術（例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、ＲＢＦＮ（Radial Basis Function Network））、深層学習技術（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信頼ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層型オートエンコーダ）、次元削減技術（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡法、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブル技術（例えば、ブースティング、ブートストラップ集約（バギング）、エイダブースト、階層型一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師付き学習、教師なし学習、半教師付き学習などを含んでよいが、これらに限定されない。アーキテクチャのさらなる例示は、ＲｅｓＮｅｔ７０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
【0022】
コンピューティングシステム１０８は、また、劣化検出エンジン１１０によって画像データ１０６で検出された劣化に応答して、自律車両１０２に対する１つまたは複数の修復動作を開始する車両コントロールシステム１２０を含んでよい。車両コントロールシステム１２０は、１つまたは複数のシステムコントローラーを含んでよく、これは、知覚、プラニング、ステアリング、推進、制動、安全システム、エミッター、通信などを含む自律車両１０２のいずれかまたはすべてのシステムを制御するように構成されてよい。以下でより詳細に説明される１つの例示として、車両センサー１０４の表面上の不透明な物質（例えば、汚れ、泥、雨滴）の検出に応答して、車両コントロールシステム１２０は、不透明な物質を表面から除去することを試みるセンサークリーニングのプロセスを開始することができる。他の例示において、車両コントロールシステム１２０は、車両１０２の一端に対して１つまたは複数のセンサー１０４から受信した画像データ１０６の劣化の検出に応答して、自律車両１０２の向きおよび／または進行方向を変更することができる。さらに他の例示において、車両コントロールシステム１２０は、自律車両１０２のナビゲーションおよび／または安全システム内の構成設定を変更することができ、劣化が検出された任意のセンサー１０４に関連付けられる画像データ１０６への依存を低減（例えば、信頼度の重み付けが低下）する。
【0023】
図１に図示されていないが、そこに図示されている他のコンポーネントを不明瞭にしないように、自律車両１０２におけるコンピューティングシステム１０８は、１つまたは複数のプロセッサおよび１つまたは複数のプロセッサと通信可能に結合されるメモリを有する処理ユニットを含んでよい。劣化検出エンジン１１０、車両コントロールシステム１２０、およびコンピューティングシステム１０８内の他のサブシステムおよびコンポーネントは、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアコンポーネントの組み合わせにおいて実装されてよい。ある実施形態において、劣化検出エンジン１１０および／または車両コントロールシステム１２０内のサブシステムまたはコンポーネントは、コンピューティングシステム１０８内の非一時的なコンピューター可読媒体に格納されたコンピューター実行可能命令または他のソフトウェアコードコンポーネントとして実装されてよく、これは、本明細書で説明される機能を実行するためにコンピューティングシステム１０８のプロセッサによって実行されてよい。さらに、例示的な目的のために自律車両１０２の内部コンピューティングシステム１０８に存在するように図１に描写されるが、車両センサー１０４、劣化エンジン１１０、および車両コントロールシステム１２０のうちの１つまたは複数は、車両１０２にアクセス可能であってよく（例えば、リモートコンピューティングデバイス１４０のメモリ１４４のような車両１０２から離れたメモリに、例えば、格納されるか、またはそうでなければ、それによってアクセス可能であってもよい）ということが企図される。
【0024】
また、本明細書で説明されるコンポーネント（例えば、劣化検出エンジン１１０、画像比較コンポーネント１１２、ピクセル強度分析コンポーネント１１４、画像動作分析コンポーネント１１６、機械学習モデル１１８、車両コントロールシステム１２０）は、例示的な目的のために分割されるように説明される一方で、さまざまなコンポーネントによって実行される動作は、車両コンピューティングシステム１０８の任意の他のコンポーネントにおいて組み合わされてよく、または実行されてもよい。
【0025】
自律車両１０２は、また、１つまたは複数の無線トランシーバーおよび／または他のネットワークデバイスを含んでよく、車両１０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間のネットワーク接続および通信を可能にする。例えば、コンピューティングシステム１０８内の１つまたは複数の無線ネットワークインターフェースは、同一の自律車両１０２に対して他のローカルコンピューティングシステム１０８、他の自律車両内の他のコンピューティングシステム、および／またはさまざまなリモートコンピューティングデバイスおよびシステム（例えば、コンピューティングデバイス１４０）との通信を容易にすることができる。このようなネットワークインターフェースおよび関連される通信システムは、また、車両１０２を遠隔操作コンピューティングデバイスまたは他のリモートサービスと通信することを可能にすることができる。
【0026】
自律車両１０２内で、無線トランシーバー、物理的および／または論理的ネットワークインターフェース、および／または他のネットワークコンポーネントは、車両コンピューターシステム１０８をネットワーク１３０のような他のコンピューティングデバイスまたはネットワークにアクセスして、接続することを可能とすることができる。車両１０２の通信システムは、ＩＥＥＥ １４０２．１１規格によって定義される周波数、Ｂｌｕｅｔｏｏｔｈなどの近距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、または車両のそれぞれのコンピューティングシステムが他のコンピューティングデバイスまたはネットワークとインタフェースすることを可能にする任意の好適な有線または無線通信プロトコルなどのＷｉ－Ｆｉベースの通信を可能にすることができる。
【0027】
ある実施形態において、１つまたは複数の自律車両１０２は、ネットワーク１３０を通して、データを受信および／または１つまたは複数のバックエンドコンピューティングデバイス１４０に伝送することができる。コンピューティングデバイス１４０は、１つまたは複数の自律車両１０２のコンピューティングシステム１０８とインタラクトするように構成されるさまざまなコンポーネントを格納するプロセッサ１４２およびメモリ１４４を含んでよい。例えば、コンピューティングデバイス１４０は、１つまたは複数の自律車両１０２の劣化検出エンジン１１０と通信するように構成される劣化検出コンポーネント１４５、１つまたは複数の自律車両１０２の車両コントロールシステム１２０と通信するように構成される車両コントロールコンポーネント１４６などを含んでよい。
【0028】
ある実施形態において、自律車両１０２は、画像データ１０６を含むセンサー１０４を介してキャプチャされた任意のまたはすべてのセンサーデータをコンピューティングデバイス１４０に伝送してよい。センサーデータは、生のセンサーデータおよび／または処理されたセンサーデータおよび／またはセンサーデータの表現を含んでよい。ある例示において、（生または処理された）センサーデータは、１つまたは複数のログファイルとして格納および／または送信されてよい。
【0029】
追加的または代替的に、自律車両１０２は、画像データ１０６の劣化が検出されたことを示すデータ、劣化が検出された具体的なセンサー１０４、劣化のタイプまたは発生源（例えば、汚れ、泥、雨滴、光学的なフレア、またはセンサーの誤差など）、劣化に関連付けられる時間および地理的位置、実行された修復動作（例えば、センサークリーニング、センサーデータへの依存の低減、車両の向きまたは進行方向の変更など）、および／または修復動作が成功したか否かを示すデータなどの検出された劣化に関連付けられるデータをコンピューティングデバイス１４０に伝送してよい。
【0030】
さらに、図１の例示的なシステムは、自律車両１０２のセンサー１０４によって直接キャプチャされた画像データ１０６に基づいて動作することができるが、ある実施形態において、車両１０２は、コンピューティングデバイス１４０および／または他のリモートデータソースからその画像データ１０６の一部またはすべてを受信することができる。例えば、自律車両１０２は、ネットワーク１３０を介して通信することができ、車両１０２の近くに位置する他の自律車両、車両１０２の近くの交通カメラまたは交通センサー、建物または駐車場の防犯カメラ、および／またはコンピューティングデバイス１４０と通信する衛星画像システムから画像データ１０６および／または他のセンサーデータを受信することができる。
【0031】
ある実施形態において、コンピューティングデバイス１４０における劣化検出コンポーネント１４５は、１つまたは複数の自律車両１０２から受信した劣化検出データを分析することができる。車両１０２から受信したデータに基づいて、および／またはシステム管理者から受信した劣化検出ポリシーに基づいて、劣化検出コンポーネント１４５は、自律車両１０２によって用いられる劣化検出技術を生成して更新することができる。例えば、劣化検出コンポーネント１４５は、自律車両１０２によって用いられるために劣化検出技術（例えば、画像比較コンポーネント１１２、ピクセル強度分析コンポーネント１１４、および／または画像動作分析コンポーネント１１６）の異なる組み合わせを選択してよい。劣化検出コンポーネント１４５は、また、さまざまな劣化検出技術によって用いられるアルゴリズム、マッチング閾値、および他の構成設定を選択して変更することができる。これらの更新された劣化検出技術およびアルゴリズムは、劣化検出エンジン１１０内に展開するために自律車両１０２に伝送されてよく、それによってバックエンドコンピューティングデバイス１４０が自律車両１０２および／または自律車両の車両群における他の自律車両の劣化検出の挙動をリモートで且つ動的に修正／最適化することを可能とする。
【0032】
さらに、ある実施形態において、コンピューティングデバイス１４０は、多様な異なる自律車両１０２と通信することができ、異なるセットの劣化検出命令を異なる車両１０２に伝送することができる。例えば、コンピューティングデバイス１４０は、車両の能力（例えば、センサー１０４の数および位置、車両１０２の巡航速度、加速度、および制動力、センサーデータのアドレスの劣化のために車両１０２によってサポートされる修復動作）、車両１０２の現在の走行挙動（例えば、現在の車両速度、路面、交通レベル、乗員の数およびプロファイルなど）、車両１０２が動作している現在の地理的位置（例えば、郡、州、国、または他の法域）、および／または車両の周囲の現在の環境条件（例えば、現在の気象条件、道路条件、時刻、照明条件など）に基づいて、異なる車両のために異なる劣化検出技術およびアルゴリズムを選択してよい。
【0033】
コンピューティングデバイス１４０における車両コントロールコンポーネント１４６は、車両１０２での車両コントロールシステム１２０の動作を制御し得る自律車両１０２からデータを受信し、および／または自律車両１０２に伝送するように構成されてよい。例えば、車両コントロールコンポーネント１４６は、画像データ１０６の劣化が検出される場合に、車両１０２によって実装されることとなる修復挙動を制御する命令を決定して、車両１０２に伝送することができる。このような修復挙動の例示は、どの修復技術（例えば、自動化されたセンサー表面のクリーニング、車両の進行方向または向きの変更、センサーデータへの依存の低減など）が、センサーデータの異なるタイプおよび劣化の重大性に応答して実行されるかを含んでよい。劣化検出コンポーネント１４５と同様に、車両コントロールコンポーネント１４６は、自律車両１０２から受信したフィードバックデータおよび／またはシステム管理者から受信した劣化修復ポリシーに基づいて、好ましいまたは最適化された修復挙動のセットを決定することができる。さらに、車両コントロールコンポーネント１４６は、上記の車両特有の要因（例えば、車両能力、現在の運転挙動、地理的位置、環境など）などのいずれかに基づいて、異なる劣化修復命令のセットを選択して、異なる自律車両１０２に伝送することができる。
【0034】
上記のように、ある実施形態において、コンピューティングデバイス１４０は、画像データ１０６の劣化の検出、および／または検出された劣化に応答して自律車両１０２で実行される修復動作の選択において用いられる機械学習モデルを生成して、訓練するように構成されてよい。このような場合、コンピューティングデバイス１４０は、画像分析コンポーネント１４７、機械学習エンジン１４８、および／または訓練データリポジトリ１５０を含んでよい。訓練データ１５０は、さまざまなタイプの劣化（例えば、汚れ、泥、雨滴、光学的なフレア、レンズ焦点誤差など）を示す車両センサー１０４によってキャプチャされた画像１０６の例示を含む自律車両１０２および／または他の外部データソースから受信した画像データ１０６のセット、およびあらゆる劣化のない他の画像１０６を含んでよい。画像分析コンポーネント１４７は、訓練データ１５０を分析して分類することができ、機械学習エンジン１４８は、分類された訓練データ１５０に基づいて機械学習モデルを生成して訓練することができる。本明細書で説明されるさまざまな機械学習技術およびアルゴリズムのいずれかが用いられてよく、ある場合において、多様な異なる訓練されたモデルは、組み合わされて用いられてよい。ある実施形態において、訓練された機械学習モデルは、コンピューティングデバイス１４０によって生成されることができ、１つまたは複数の自律車両１０２に伝送されることができ、ここで、訓練されたモデルは、リアルタイムで実行されることができ、車両センサー１０４によってキャプチャされた画像データ１０６の劣化の検出を助力する。
【0035】
ある場合において、訓練データ１５０は、自律車両１０２によってキャプチャされた画像データ１０６を含んでよく、または画像データ１０６から導き出されてもよい。例えば、車両１０２でキャプチャされた画像データ１０６は、劣化のタイプまたは発生源、劣化の重大性、画像データ内の劣化のサイズおよび／または位置などと同様に、画像データ１０６が劣化（例えば、視覚の障害または閉塞）を含むか否かを示す対応する劣化データを用いて（例えば、画像メタデータ内、または別個の関連されるデータを用いて）ラベル付けされてよい。ある実施形態において、劣化データは、車両１０２からのさらなるセンサーデータおよび／またはログデータを分析することによって決定されてよい。例えば、自律車両１０２によってキャプチャされて、分析された画像データ１０６が、本明細書で説明される技術（例えば、ステレオマッチング、暗チャネル、オプティカルフローなど）のうちの１つまたは複数を用いて劣化を含むと決定される場合に、その決定は、その次にキャプチャされたセンサーデータの車両ログデータに対して認証されることができ、画像データ１０６の検出された劣化に応答して修復動作（例えば、センサークリーニング、車両の方向または向きの変更など）が実行されたか、そして、もしそうである場合、修復動作が成功したかを確認する。ある場合において、修復動作が実行されて、成功したと決定された場合、画像データ１０６は、劣化が画像データ１０６に存在することを示すためにラベル付けされてよく、機械学習モデルを訓練するためのグラウンドトゥルースとして用いられてよい。例えば、センサークリーニングの後に、同一のセンサー１０４によってキャプチャされたさらなる画像データを分析することは、センサークリーニングの前に、検出された劣化が実際にはセンサー閉塞であったことを確認する（または反論する）ことができる。同様に、車両の方向または向きの変更の後に、キャプチャされたさらなる画像データを分析することは、車両の方向または向きの変更の前に、検出された劣化がオプティカルフレアであったと確認する（または反論する）ことができる。ある例示において、注釈サービスは、ログされた画像データをユーザーに出力して、画像データが劣化しているか否かを示すユーザーからの入力を受信するユーザーインターフェースを含むことを実装されてよい。注釈サービスは、また、画像のどの部分または領域が劣化しているか、および劣化の発生源および／またはタイプを示すユーザーインターフェースを介して、入力を受信することができる。別の例示において、ログされた画像は、非重要なアプリケーションで用いられてよい。このようなアプリケーションの失敗は、セットのうちの劣化した画像によって引き起こされるように仮定されてよく、劣化したものとして注釈が付けられるようにフラグが立てられてよい。さらに、劣化したセンサーデータのため、車両が継続して自律的にナビゲートすることが可能ではない場合、１つまたは複数の修復アクションが取られてよく（例えば、車両の制御は、人間の運転者によって引き継がれてよく、支援の要求は、遠隔操作者に送信されてよく、車両は、安全な停止操作を実行してよいなど）、および対応する画像データは、収集されて、機械学習モデルのための訓練データセットに追加されてよい。
【0036】
ある実施形態において、車両１０２および／またはコンピューティングデバイス１４０は、非劣化画像データ（実物であるか合成物であるか）のライブラリーに基づいて劣化した画像データを含む合成訓練データ１５０（拡張データと同様に、共に純粋に合成物）を生成することができる。例えば、車両１０２からキャプチャされた１つまたは複数の非劣化画像は、変換またはフィルターを用いることによって、修正されてよく、１つまたは複数の合成で生成された画像劣化領域を含む別個の画像レイヤーをオーバーレイする。それ故に、車両１０２からキャプチャされた実際の画像データは、雨滴、汚れまたは泥のスポット、光学的なフレアなどの表現を含む合成劣化データのうちの１つまたは複数のレイヤーとオーバーレイしてよい。
【0037】
コンピューティングデバイス１４０は、異なるタイプまたは劣化の発生源に関連付けられる所定の特徴のセットに基づいて、１つまたは複数のプロセスを実装してよく、合成劣化データを生成する。にわか雨の間に、車両センサー１０４に対して蓄積され得る雨滴のサイズ、密度、および分布は、ランダムではないため、コンピューティングデバイス１４０は、異なるタイプの暴風雨をモデル化するように構成される事前にプログラムされた雨滴のサイズ、形状、および分布パターンを用いてプロセスを実装することができる。例えば、霧雨のための第１のパターン、大雨のための第２のパターン、交通量の多い大雨のための第３のパターン、速度の遅い大雨のための第４のパターン、高速の大雨のための第５のパターンなどが格納されてよい。ある実装において、コンピューティングデバイス１４０は、小滴発生レート、平均サイズ、サイズ変動、死亡サイズ、および／または小滴寿命のために事前に構成された雨滴パラメーターのセットを用いて、具体的な雨滴のタイプ／パターンに対して合成データ生成のプロセスを実行してよい。事前にプログラムされたパラメーターのセットを用いて、ランダム化関数およびパラメーターに適用される分布と共に、他の条件（例えば、照明、交通、車両速度）合成劣化データ生成のプロセスは、暴風雨の特定のタイプおよび／または重大性に対応する雨滴パターンの合成画像を生成することができる。さらに、この例示は、合成雨滴画像の生成に関するが、合成劣化データ生成のプロセスは、また、センサー表面の汚れまたは泥の汚れまたはスパッタリング、太陽または近づきつつあるヘッドライトなどによって引き起こされる光学的なフレアなどの画像データの劣化の他のタイプのサイズ、形状、パターン、および分布のためにパラメーターのセットと共に用いられてよい。
【0038】
コンピューティングシステム１０８のプロセッサおよびコンピューティングデバイス１４０のプロセッサ１４２は、本明細書で説明されるようにデータを処理して、動作を実行するための命令を実行することが可能である任意の適切なプロセッサであってよい。ある例示において、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスは、また、それらが符号化された命令を実装するように構成される限り、プロセッサとみなされてよい。
【0039】
コンピューティングシステム１０８のメモリおよびコンピューティングデバイス１４０のメモリ１４４は、非一時的なコンピューター可読媒体の例示である。メモリは、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納することができ、本明細書で説明される方法およびさまざまなシステムに起因する機能を実装する。さまざまな実装において、メモリは、スタティックＲＡＭ（ＳＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納することが可能である任意の他のタイプのメモリのような任意の適切なメモリ技術を用いて実装されてよい。本明細書で説明されるアーキテクチャ、システム、および個々のエレメントは、多くの他の論理的、プログラム的、および物理的なコンポーネントを含んでよく、それらのうちの添付図面に示されるものは、単に本明細書での説明に関連される例示に過ぎない。
【0040】
ある例示において、コンピューティングシステム１０８のメモリおよびコンピューティングデバイス１４０のメモリ１４４は、少なくともワーキングメモリおよびストレージメモリを含んでよい。例えば、ワーキングメモリは、関連されるプロセッサによって動作されるデータを格納するために用いられる制限された容量の高速メモリ（例えば、キャッシュメモリ）であってよい。ある例示において、コンピューティングシステム１０８および／またはコンピューティングデバイス１４０のメモリは、データの長期ストレージに用いられる比較的大きい容量の低速メモリであり得るストレージメモリを含んでよい。ある場合において、コンピューティングシステム１０８および／またはコンピューティングデバイス１４０のプロセッサは、ストレージメモリに格納されたデータに対して直接動作することが可能ではなく、データは、本明細書で説明されるように、データに基づいて動作を実行するためにワーキングメモリへとロードされる必要があることがある。
【0041】
図１は、分散システムとして図示されている一方で、代替の例示において、車両１０２のコンポーネントは、コンピューティングデバイス１４０に関連付けられてよく、および／またはコンピューティングデバイス１４０のコンポーネントは、車両１０２に関連付けられてよいということに留意されたい。つまり、車両１０２は、コンピューティングデバイス１４０に関連付けられる機能のうちの１つまたは複数を実行することができ、逆もまた同様である。
【0042】
（例示的なプロセス）
図２は、多様な異なる車両センサーからのデータがキャプチャされて、分析されたステレオマッチング技術を用いて、車両センサーによってキャプチャされたデータ内の劣化を検出するための例示的なプロセスを図示する。ある例示において、プロセス２００は、自律車両１０２の画像比較コンポーネント１１２のような車両システム１００のうちの１つまたは複数のコンポーネントによって達成されてよく、これは、車両１０２または外部コンピューティングデバイス１４０内のさまざまな他のコンポーネントと独立して、または協力して動作してよい。図２は、２つの異なる車両カメラによってキャプチャされた画像に基づいて画像データ１０６の劣化を検出する特定のコンテキストで説明される一方で、ある実施形態は、２つより多いカメラからキャプチャされた画像１０６、他のタイプの車両センサー１０４によってキャプチャされた画像１０６、および／または自律車両１０２の外部の他のデータソースから受信した画像１０６に基づいて、同様または同一の動作を実行し得ることを理解されたい。
図２は、多様な異なる車両センサーからのデータがキャプチャされて、分析されたステレオマッチング技術を用いて、車両センサーによってキャプチャされたデータ内の劣化を検出するための例示的なプロセスを図示する。ある例示において、プロセス２００は、自律車両１０２の画像比較コンポーネント１１２のような車両システム１００のうちの１つまたは複数のコンポーネントによって達成されてよく、これは、車両１０２または外部コンピューティングデバイス１４０内のさまざまな他のコンポーネントと独立して、または協力して動作してよい。図２は、２つの異なる車両カメラによってキャプチャされた画像に基づいて画像データ１０６の劣化を検出する特定のコンテキストで説明される一方で、ある実施形態は、２つより多いカメラからキャプチャされた画像１０６、他のタイプの車両センサー１０４によってキャプチャされた画像１０６、および／または自律車両１０２の外部の他のデータソースから受信した画像１０６に基づいて、同様または同一の動作を実行し得ることを理解されたい。
【0043】
２０２で、画像データ１０６は、自律車両１０２の多様なセンサー１０４（例えば、カメラ）によってキャプチャされることができる。ブロック２０２に関連付けられる図２の図示される部分に図示されるように、この説明は、自律車両１０２のカメラによってキャプチャされた２つの視覚画像を参照することができ、第１のカメラセンサー１０６Ａによってキャプチャされた第１の画像１０６Ａ、および第２のカメラセンサー１０４Ａによってキャプチャされた第２の画像１０６Ｂを参照することができる。ある実施形態において、画像比較コンポーネント１１２は、重複する視界または検出を有する２つまたはそれより多くのセンサー１０４（例えば、カメラ）から画像を受信するように構成されてよい。例えば、画像比較コンポーネント１１２は、以前にキャプチャされた画像１０６Ａおよび１０６Ｂを読み出してよく、および／またはセンサー１０４Ａおよび１０４Ｂに新しい画像をキャプチャするために指示してよい。さらに、ある例示において、画像比較コンポーネント１１２は、画像１０６Ａおよび１０６Ｂが同時に、または小さい時間ウィンドウ内のいずれかでキャプチャされたことを要求してよい。この例示において図示されるように、画像１０６Ａおよび１０６Ｂは、時間内で同一のポイント、またはその近くでキャプチャされた重複する視界を含む。さらに、小さい不透明な物質２０３Ａ（例えば、汚れ、泥など）は、センサー１０４Ａの表面またはレンズに付着して、物質２０３Ａを画像１０６Ａにおいて視認可能にさせる。
【0044】
２０４で、画像修正処理は、センサー１０４Ａおよび１０４Ｂによってそれぞれキャプチャされた画像１０６Ａおよび１０６Ｂに対して実行されることができる。画像修正処理は、画像１０６Ａおよび１０６Ｂを共通の画像平面へと変換してよい。ある実施形態において、ステレオ修正プロセスは、実行されることができ、ここで、画像比較コンポーネント１１２は、共通の画像平面内の水平エピポーラ線のステレオ方式を達成する画像変換を識別してよい。上記のように、この例示は、２つの画像１０６Ａおよび１０６Ｂに対する画像修正および領域マッチングを説明するが、２つよりも多い車両センサー１０４からの画像データ１０６（および／または他のソースからの画像データ１０６）は、修正されて、領域マッチングされてよいことが理解される。ある例示において、２０４での修正プロセスは、任意選択であってよく、および／または他の修正技術は、用いられてよい。例えば、（例えば、本来および外部の）他のセンサーに対するそれぞれのセンサーの完全な較正データは、事前に格納された情報に基づいて決定されることができ、画像比較コンポーネント１１２および／またはコンピューティングデバイス１４０は、異なる画像内のどのピクセルが互いにマッピングするかを事前に算定されることができる。それ故に、２０４は、画像修正を要求することと対照的に、比較のためのルックアップまたはルーティンを含んでよい。
【0045】
２０６で、第１のセンサー１０４Ａによってキャプチャされた第１の画像１０６Ａ内の１つまたは複数の領域は、第２のセンサー１０４Ｂによってキャプチャされた第２の画像１０６Ｂ内の関連される（または対応する）画像領域にマッチングされることができる。領域サイズは、画像比較コンポーネント１１２によって決定されることができ、および／またはコンピューティングデバイス１４０によって構成設定として受信されることができる。より大きい領域サイズは、より迅速な画像処理の別個の利点を提供してよいが、特定の実施形態においてより小さい領域サイズが選択されてよく、より高い精度で劣化領域を識別する技術的利点を提供してよい。さらに、センサー１０４Ａおよび１０４Ｂは、異なる角度からそれらのそれぞれ画像をキャプチャすることができるため、画像１０６Ａと１０６Ｂとの間のあるレベルの視覚的な非一貫性が存在することができ、したがって、より大きい領域サイズは、より良い結果をもたらすことができる。
【0046】
ある実施形態において、ナイーブステレオマッチングのプロセスは、画像比較コンポーネント１１２によって実行されてよい。ナイーブステレオマッチングのプロセスの間に、共通のエピポーラ線に沿った特定の範囲内の最小距離は、決定されて、出力されることができ、画像１０６Ａと１０６Ｂとの間の関連されるまたは対応する領域を識別する。最小距離を決定するために、距離の２乗の和（ＳＳＤ）は、用いられることができ、ここで、ある実施形態における画像間の色、明るさ、および露出差をより良く保持することができる。しかしながら、ある実施形態において、他の技術は、最小距離を決定するために用いられることができる。ある場合において、センサー１０４Ａおよび１０４Ｂは、また、同一の露出／ゲインを有するように構成されてよい。
【0047】
さらに、ある例示において、ナイーブステレオマッチングのプロセスは、最小距離の決定に加えて、第２の画像視差を算定することができる。第２の画像視差は、無限遠マッチング視差と称されてよい。２つの画像間の無限遠マッチング視差を算定するために、センサー１０４Ａと１０４Ｂとの間のパッチ距離を同一の場所で直接用いて、エピポーラ線に沿った探索を要求しない。画像１０６Ａおよび１０６Ｂに対する無限遠マッチング視差の算定は、プロセスが自律車両１０２のナビゲーションおよびコントロールシステムに対してより少ないまたは値なしを有し得るスカイピクセルを効率的に除去することを可能とすることができる。ナイーブステレオマッチングのプロセスの結果は、最終後部シグモイドであってよく、これは、２つの距離（例えば、最小距離視差および無限遠マッチング視差）の積として算定されてよい。
【0048】
ある例示において、２０６でのステレオマッチングのプロセスを実行する場合に、指数関数的に増加する探索範囲は、画像１０６Ａおよび１０６Ｂの上部から画像の下部まで用いられてよい。これは、自律車両１０２のセンサー１０４によってキャプチャされた画像１０６に対して、画像１０６Ａおよび１０６Ｂの底部部分が画像の上部部分よりもカメラに近いと仮定され得る事実を補償することによって、他のステレオマッチング技術よりも利点を提供することができる。さらに、ある例示において、画像１０６Ａと１０６Ｂとの間の関連される領域を識別するためのステレオマッチング技術によって用いられる最小距離は、距離の読み取りに存在する任意のノイズを除去すべく、多様な異なる距離の読み取りの移動平均として決定されることができる。
【0049】
２０６で、画像１０６Ａからの第１の画像領域が画像１０６Ｂからの第２の画像領域に関連付けられている（例えば、マッチングする、または対応する）と決定した後で、２０８で、画像１０６Ａからの第１の画像領域および画像１０６Ｂからの第２の画像領域は、視覚的な一貫性のために比較されてよい。上記のように、画像１０６Ａおよび１０６Ｂは、車両に対して異なる位置で異なるセンサー１０４Ａおよび１０４Ｂによってキャプチャされることができるため、任意の劣化の範囲内の関連されるマッチング画像領域でさえも、わずかに異なる視点を有することとなる。しかしながら、画像１０６Ａまたは１０６Ｂのいずれかに影響を与える劣化（例えば、汚れ、雨滴、光学的なフレアなど）がない場合、画像１０６Ａおよび１０６Ｂの関連される領域は、はるかに高いレベルの視覚的な一貫性を有し得る。対照的に、劣化が画像１０６Ａまたは１０６Ｂのいずれかの関連される領域に影響を与えている場合、視覚的な一貫性のレベルは、はるかに低くなり得る。他の例示において、さらなる画像特性は、画像１０６Ａまたは１０６Ｂの関連される領域内で識別されてよく、Scale-Invariant Feature Transform（ＳＩＦＴ）、Speeded-Up Robust Features（ＳＵＲＦ）、Oriented FAST and Rotated Brief（ＯＲＢ）などのさらなる画像マッチング技術は、外部較正に基づいて実行されてよい。さらに、複数の角またはエッジは、ブレの尺度として画像領域内で検出されてよく、他の関連される画像領域からの相対数と比較されてよい。
【0050】
したがって、画像比較コンポーネント１１２によって、画像１０６Ａおよび１０６Ｂにおける関連される領域のそれぞれのセットに対して、視覚的な一貫性の閾値が画定されてよく、２０８で適用されてよい。関連される画像領域のそれぞれのセットに対して、視覚的な一貫性のレベルが閾値を下回る場合（２０８でＹＥＳ）、画像比較コンポーネント１１２は、２１０で、劣化がセンサー１０４Ａおよび１０４Ｂのうちの１つまたは両方によってキャプチャされた画像データに影響を与えると決定することができる。この例示に図示されるように、画像１０６Ａ内の不透明な物質２０３Ａ（例えば、汚れ、泥）の存在、これは、画像１０６Ｂにおいて存在しなく、画像領域１０６Ａと１０６Ｂとの間のより低いレベルの視覚的な一貫性を引き起こすことがある。対照的に、視覚的な一貫性のレベルが関連される画像領域のセットに対して閾値またはそれを上回る場合（２０８でＮＯ）、画像比較コンポーネント１１２は、２１２で、劣化がセンサー１０４Ａまたはセンサー１０４Ｂによってキャプチャされた画像データに影響を与えていないと決定することができる。
【0051】
図３は、車両センサーによってキャプチャされた画像データに対してピクセル強度が分析される暗チャネル技術を用いて、車両センサーによってキャプチャされたデータ内の劣化を検出するための別の例示的なプロセスを図示する。例えば、暗チャネルの先行技術は、画像内のピクセルの強度値を分析することによって、実行されることができ、画像内のかすみおよび他の劣化を検出する。異なる時間で、キャプチャされた具体的な画像または一連の関連される画像フレームに対して、暗チャネルは、最小の強度を有する画像チャネルとして識別されてよい。劣化が画像内に存在する場合（例えば、光学的なフレア、雨滴、霧、またはかすみ）に、劣化した画像領域に対する暗チャネルのピクセル強度は、劣化しない他の画像領域よりも大きくてよい。したがって、以下で説明されるように、特定の画像領域（例えば、ピクセルまたはピクセルのグループ）の暗チャネル強度を測定して比較することは、特定の画像領域での劣化を検出するために用いられてよい。ある例示において、プロセス３００は、自律車両１０２のピクセル強度分析コンポーネント１１４のような車両システム１００のうちの１つまたは複数のコンポーネントによって達成されてよく、これは、車両１０２または外部コンピューティングデバイス１４０内のさまざまな他のコンポーネントと独立して、または協力して動作してよい。図３は、２つの異なる車両カメラによってキャプチャされた画像に基づいて画像データ１０６の劣化を検出する特定のコンテキストで説明される一方で、ある実施形態は、２つより多いカメラからキャプチャされた画像１０６、他のタイプの車両センサー１０４によってキャプチャされた画像１０６、および／または自律車両１０２の外部の他のデータソースから受信した画像１０６に基づいて、同様または同一の動作を実行し得ることを理解されたい。
【0052】
３０２で、１つまたは複数の画像１０６は、自律車両１０２のセンサー１０４（例えば、カメラ）によってキャプチャされることができる。ブロック３０２に関連付けられる図３の図示される部分に示されるように、この説明は、時間ｔ0でキャプチャされた第１の画像１０６Ａ（ｔ0）から開始し、後の時間ｔnでキャプチャされた画像１０６Ａ（ｔn）で終了する多様な異なる時間で自律車両１０２の１つのセンサー１０４Ａによってキャプチャされた一連の多様な視覚画像を参照することができる。しかしながら、他の例示において、プロセス３００のピクセル強度分析は、１つのピクセルだけを用いて実行されてよい。
【0053】
３０４で、ピクセル強度分析コンポーネント１１４は、３０２で受信した画像データ内の１つまたは複数の画像領域を決定することができる。上記のように、領域サイズは、ピクセル強度分析コンポーネント１１４によって決定されることができ、および／またはコンピューティングデバイス１４０によって構成設定として受信されることができる。さらに、より大きい領域サイズは、より迅速な画像処理の別個の利点を提供してよいが、特定の実施形態において、より小さい領域サイズは、選択されてよく、より高い精度で劣化領域を識別する技術的利点を提供してよい。ある例示において、１つのピクセルほど小さい領域サイズは、選択されてよい。
【0054】
３０６で、ピクセル強度分析コンポーネント１１４は、３０４での決定された画像領域のそれぞれに対してピクセル強度分析を実行することができる。ある実施形態において、３０６でのピクセル強度分析は、暗チャネル（または暗チャネル先行）技術であってよく、暗チャネルは、データの異なる画像チャネルに関連付けられる強度値に基づいて、画像または画像領域に対して決定されてよい。暗チャネル技術において、画像領域は、別個の赤緑青色（ＲＧＢ）チャネルへと分割されてよく、３つのチャネルからの最小ピクセル強度は、選択されてよい。画像領域が劣化によって影響を受けない場合、キャプチャされた画像の経験的分析は、チャネル強度のうちの少なくとも１つがゼロであるか、またはゼロに近い場合があり得る（例えば、画像領域に対する暗チャネル）と実証している。しかしながら、雨滴、光学的なフレア、またはカメラの焦点誤差などの特定のタイプまたは劣化の発生源によって画像領域が影響を受ける場合、劣化は、画像領域の暗チャネルにより高いピクセル強度値を有することを引き起こす。
【0055】
上記のように、３０６でのピクセル強度分析は、１つの画像１０６Ａに対して、または車両センサー１０４Ａによって時間期間にわたってキャプチャされる一連の画像（例えば、１０６Ａ（ｔ0）～１０６Ａ（ｔn））に対して実行されてよい。１つの画像に対して、画像領域に対する暗チャネル強度は、その画像領域内の別個のＲＧＢチャネルのうちの最小ピクセル強度に対応してよい。一連の多様な画像１０６Ａ（ｔ0）～１０６Ａ（ｔn）がキャプチャされて、分析される場合に、ピクセル強度分析コンポーネント１１４は、一連の画像のそれぞれに対して同一のピクセル強度分析（例えば、暗チャネル）を実行してよく、一連の画像のうちの画像領域に対する最小暗チャネル値を選択してよい。さらに、色チャネルＲＧＢがこの例示において用いられるが、任意の他の色チャネルモデル、または符号化システム（例えば、ＹＵＶ、ＣＭＹＫ）は、他の例示において用いられ得ると理解される。平均暗チャネル画像値は、経時的にキャプチャされた多様な関連される画像フレームの暗チャネルに対する強度値に基づいて画像データのために生成されることができる。
【0056】
３０６で、画像データ１０６の１つまたは複数の画像領域に対するピクセル強度（例えば、暗チャネル）値を決定した後で、３０８での画像領域に対するピクセル強度値は、強度閾値と比較されてよい。例えば、暗チャネル強度閾値は、平均暗チャネル画像の異なる領域にわたる平均強度に基づいて生成されてよく、特定の画像領域（例えば、ピクセル）は、暗チャネル強度閾値と比較されてよい。暗チャネル強度閾値よりも高い強度を有する画像領域は、光学的なフレア、かすみ、霧、または雨滴などの具体的な閉塞によってより高い劣化する確率を有することがあり、これは、より高い暗チャネル強度を引き起こすことがある。上記のように、暗チャネル技術を用いる場合に、ある特定の劣化によって影響を受ける画像領域は、より高い最小ピクセル強度を有してよい一方で、劣化によって影響を受けない画像領域は、より低い最小ピクセル強度を有してよい。したがって、ピクセル強度閾値（例えば、暗チャネル閾値）は、受信した画像１０６におけるそれぞれの領域に対して、ピクセル強度分析コンポーネント１１４によって３０８で画定されて、適用されてよい。それぞれの画像領域に対して、ピクセル強度値（例えば、暗チャネル値）が閾値よりも大きい場合（３０８でＹＥＳ）、ピクセル強度分析コンポーネント１１４は、３１０で、劣化がセンサー１０４によってキャプチャされた画像１０６の領域に影響を与えると決定することができる。対照的に、ピクセル強度値（例えば、暗チャネル値）が閾値を満たさない場合（３０８でＮＯ）、ピクセル強度分析コンポーネント１１４は、３１２で、センサー１０４Ａによってキャプチャされた画像１０６の領域に影響を与える劣化がないと決定することができる。
【0057】
図４は、車両センサーからの画像領域の時間的な動作が時間期間にわたって分析される光学的なフロー技術を用いて、車両センサーによってキャプチャされたデータ内の劣化を検出するための別の例示的なプロセスを図示する。ある例示において、プロセス４００は、自律車両１０２の画像動作分析コンポーネント１１６のような車両システム１０８のうちの１つまたは複数のコンポーネントによって達成されてよく、これは、車両１０２または外部コンピューティングデバイス１４０内のさまざまな他のコンポーネントと独立して、または協力して動作してよい。図４は、車両センサー１０４Ａ（例えば、カメラ）によってキャプチャされた一連の画像１０６Ａ（例えば、１０６Ａ（ｔ0）～１０６Ａ（ｔn））に基づいて画像データ１０６Ａの劣化を検出する特定のコンテキストにおいて説明されるが、ある実施形態は、他のタイプの車両センサー１０４によってキャプチャされた画像１０６および／または自律車両１０２の外部の他のデータソースから受信した画像１０６に基づいて、同様または同一の動作を実行し得ると理解される。
【0058】
４０２で、一連の画像１０６は、自律車両１０２のセンサー１０４（例えば、カメラ）によってキャプチャされることができる。ブロック４０２に関連付けられる図４の図示される部分に示されるように、この説明は、時間ｔ0でキャプチャされた第１の画像１０６Ａ（ｔ0）から開始し、時間ｔnでキャプチャされた画像１０６Ａ（ｔn）で終了する時間間隔内の区間で自律車両１０２の１つのセンサー１０４Ａによってキャプチャされた一連の多様な視覚画像を参照することができる。
【0059】
４０４で、画像動作分析コンポーネント１１６は、４０２で受信した画像データ内の１つまたは複数の画像領域を決定することができる。上記のように、領域サイズは、画像動作分析コンポーネント１１６によって決定されることができ、および／またはコンピューティングデバイス１４０によって構成設定として受信されることができる。さらに、より大きい領域サイズは、より迅速な画像処理の別個の利点を提供してよいが、特定の実施形態において、より小さい領域サイズは、選択されてよく、より高い精度で劣化領域を識別する技術的利点を提供してよい。
【0060】
４０６で、画像動作分析コンポーネント１１６は、４０４で決定された画像領域のそれぞれの相対的な時間的な動作を決定することができる。画像領域の時間的な動作は、一連の画像１０６Ａ（ｔ0）～１０６Ａ（ｔn）にわたってその画像領域内で発生する視覚的な変化を参照してよい。例えば、自律車両１０２が動作している場合に、車両センサー１０４（例えば、カメラ）によってキャプチャされた画像データ１０６は、車両１０２の周りの視覚環境が変化するにつれて継続して変化することができ、（つまり、車両の位置／視点が経時的に変化するにつれて、センサー１０４によってキャプチャされた視界も同様に変化する）と予想されてよい。時間的な移動の速度は、車両１０２の速度および方向、車両を取り囲む環境のタイプ（例えば、幹線道路対都市）、および他の要因に基づいてよい。したがって、画像領域の相対的な時間的な動作は、同一の一連の画像にわたって隣接する画像領域の時間的な動作と比較して、一連の画像にわたって隣接するその画像領域の時間的な動作を参照してよい。他の例示において、画像領域の時間的な動作の測定は、隣接する画像領域の時間的な動作と比較して相対的である必要はない。例えば、時間的な動作は、４０６で測定されることができ、決定された画像領域内の時間的な動作に基づいて（例えば、同一の一連の画像における他の領域の時間的な動作に依存することなく）４０８で閾値と比較されることができる。このような場合において、画像領域の時間的な動作が閾値よりも低い場合、画像動作分析コンポーネント１１６は、時間的な動作の検出を妨げている画像領域での閉塞のより高い可能性を判定することができる。
【0061】
画像領域の相対的な時間的な動作の高いレベルは、劣化（例えば、汚れ、雨滴、光学的なフレアなど）が、画像領域の位置で、または隣接する画像領域において画像データ１０６に影響を与えると示してよい。対照的に、画像領域の相対的な時間的な動作の低いレベルは、劣化が画像領域の位置で、または隣接する画像領域において画像データ１０６に影響を与えていないと示してよい。したがって、相対的な時間的な動作に対する閾値は、受信した画像１０６におけるそれぞれの領域に対して、画像動作分析コンポーネント１１６によって４０８で画定されて、適用されることができる。それぞれの画像領域に対して、相対的な時間的な動作のレベルが閾値よりも大きい場合（４０８でＹＥＳ）、画像動作分析コンポーネント１１６は、４１０で、劣化がセンサー１０４および／または隣接する画像領域によってキャプチャされた画像１０６の領域に影響を与えると決定することができる。対照的に、相対的な時間的な動作のレベルが閾値を満たさない場合（４０８でＮＯ）、画像動作分析コンポーネント１１６は、４１２で、劣化が画像１０６または隣接する画像領域の領域に影響を与えないと決定することができる。
【0062】
車両センサー１０４によってキャプチャされた画像データ１０６内の劣化を検出するための上記の３つの別個の技術、図２で説明される別個のセンサー１０４によってキャプチャされた重複する画像間の視覚的な一貫性分析、図３で説明されるセンサー１０４によってキャプチャされた画像領域のピクセル強度分析、および図４で説明されるセンサー１０４によってキャプチャされた画像領域の相対的な時間的な動作分析は、さまざまな実施形態において、個々に、または任意の組み合わせで実行されてよい。さらなる例示において、これらの３つの劣化検出技術の任意の組み合わせは、また、車両センサー１０４によってキャプチャされた画像データ１０６を分析するために１つまたは複数の訓練された機械学習モデルを用いるような、他の技術と併せて実行されてよい。それ故に、これらの技術のそれぞれは、個別にまたは組み合わせて、センサーの妨害物および誤差の検出の速度および精度を改善することによって、自律車両または他のセンサーデータ処理コンピューターシステムにおいて技術的利点を提供することができる。
【0063】
【0064】
図５は、劣化が、図２で説明される別個のセンサー１０４によってキャプチャされた重複する画像間の視覚的な一貫性分析を実行することによって、図３で説明されるセンサー１０４によってキャプチャされた画像領域のピクセル強度分析のいずれかと組み合わせて、図４で説明されるセンサー１０４によってキャプチャされた画像領域の相対的な時間的な動作分析、および／または画像データの劣化を識別するために訓練された機械学習モデルにアクセスすることによって検出される第１の例示的なプロセスを図示する。５０２で、第１の画像データ１０６は、車両センサー１０４をキャプチャすることができる。５０４で、第１の画像データ１０６と重複する視界を有する第２の画像データ１０６は、第２の車両センサー１０４をキャプチャすることができる。５０６で、第１の画像データおよび第２の画像データは、修正されて、マッチングされることができ、第１の画像データおよび第２の画像データ内の１つまたは複数の関連される（または対応する）画像領域を決定する。５０８で、第１の画像データおよび第２の画像データ内の関連される画像領域は、画像領域間の視覚的な一貫性のレベルを決定するために比較されることができる。それ故に、図５の５０２～５０８は、２０２～２０８と同様または同一であってよく、劣化検出エンジン１１０内で動作する画像比較コンポーネント１１２によって上記のように実行されてよい。
【0065】
図５に継続して、例示的なプロセスは、５１０で、第１の画像領域および／または第２の画像領域のピクセル強度分析を実行すること、５１２で、第１の画像領域および／または第２の画像領域内の劣化を認識するために訓練された１つまたは複数の機械学習モデルにアクセスすること、または５１４で、第１の画像領域および／または第２の画像領域の相対的な時間的な動作を実行することのうちの１つまたは複数を実行することができる。上記のように、５１４で実行される相対的な時間的な動作分析は、４０２～４０８で、上記の相対的な時間的な動作分析と同様または同一であってよく、相対的な時間的な動作分析コンポーネント１１６によって実行されてよいが、５１０で実行されるピクセル強度分析は、３０２～３０８で、上記のピクセル強度分析と同様または同一であってよく、ピクセル強度分析コンポーネント１１４によって実行されてよい。さらに、画像データ内の劣化を認識するために５１２で機械学習モデルにアクセスすることは、機械学習モデル１１８によって実行される上記のものと同様または同一の技術を含んでよい。さまざまな例示において、５１０、５１２、および５１４における個々の技術の任意の組み合わせは、劣化検出エンジン１１０によって実行されてよい。
【0066】
５１６で、自律車両１０２の劣化検出エンジン１１０は、劣化が１つまたは複数の車両センサー１０４によってキャプチャされた画像データ１０６に影響を与えるか否かを決定することができる。５１６での決定は、５０８で実行される画像領域間の視覚的な一貫性のレベルの決定、５１０で実行されるピクセル強度分析のうちの１つまたは複数、５１２でアクセスされる機械学習モデル、または５１４で実行される時間的な動作分析の組み合わせに基づいて実行されてよい。ある例示において、劣化検出エンジン１１０は、５０８、５１０、５１２、および／または５１４での異なる決定のために異なる閾値を決定して、適用することができることによって、劣化は、個々の技術が劣化を検出する場合にだけ検出される。他の例示において、劣化検出エンジン１１０は、組み合わされた閾値を決定して、適用することができ、ここで、５０８で決定された視覚的な一貫性のレベルを表現する第１のデータメトリックが、５１０で決定されたピクセル強度のレベルを表現する第２のデータメトリック、劣化が検出された５１２での機械学習モデルの信頼度を表現する第３のデータメトリック、および／または５１４で決定された相対的な時間的な動作のレベルを表現する第４のデータメトリックのいずれかと組み合わされる（例えば、合計される、または乗算される）。
【0067】
劣化検出エンジン１１０が、車両センサー１０４のいずれかによってキャプチャされた画像データ１０６の劣化を検出する場合（５１６でＹＥＳ）、５１８で、自律車両１０２の１つまたは複数の動作は、劣化の検出に応答して制御されることができる。対照的に、劣化検出エンジン１１０が、車両センサー１０４によってキャプチャされた画像データ１０６の劣化を検出しない場合（５１６でＮＯ）、この例示において、プロセスは、５０２に戻ることができ、車両センサー１０４からのさらなる画像データ１０６のキャプチャを待つことになる。
【0068】
図６は、劣化が、図２で説明される別個のセンサー１０４によってキャプチャされた重複する画像間の視覚的な一貫性分析を実行することによって、図３で説明されるセンサー１０４によってキャプチャされた画像領域のピクセル強度分析と組み合わせて、および図４で説明されるセンサー１０４によってキャプチャされた画像領域の相対的な時間的な動作分析によって検出される第２の例示的なプロセスを図示する。６０２で、第１の画像データ１０６は、車両センサー１０４をキャプチャすることができる。６０４で、関連される画像データ１０６は、読み出すことができ、第１の画像データ１０６と重複する視界を有する１つまたは複数の異なるセンサー１０４からキャプチャされた画像データ１０６、および／または時間期間にわたって同一、または他の車両センサー１０４によってキャプチャされた一連の画像１０６を含む。６０６で、５０２で受信した第１の画像データおよび５０４で受信した関連される画像データは、画像データのセット間の１つまたは複数の関連される（または対応する）画像領域を決定するために分析（例えば、修正され、および／またはマッチング）されることができる。上記のように、画像データの関連されるセットは、同一、または同様な時点で異なる車両センサー１０４によってキャプチャされた画像１０６を表現することができ、および／または時間期間にわたって同一、または異なる車両センサー１０４によってキャプチャされた一連の画像１０６を表現することができる。６０８で、異なるセンサー１０４によってキャプチャされた画像データ１０６内の関連される画像領域は、画像領域間の視覚的な一貫性のレベルを決定するために比較されることができ、ここで、２０２～２０８と同様または同一であり得て、劣化検出エンジン１１０内で動作する画像比較コンポーネント１１２によって上記のように実行されることができる。６１０で、第１の画像領域および／または第２の画像領域のピクセル強度分析が実行されることができ、これは、３０２～３０８での上記のピクセル強度分析と同様または同一であり得て、ピクセル強度分析コンポーネント１１４によって実行されることができる。６１２で、第１の画像領域および／または第２の画像領域の相対的な時間的な動作分析が実行されることができ、これは４０２～４０８で上記の相対的な時間的な動作分析と同様または同一であり得て、相対的な時間的な動作分析コンポーネント１１６によって実行されることができる。６１４で、劣化検出エンジン１１０は、第１の画像領域および／または第２の画像領域内の劣化を認識するために訓練された１つまたは複数の機械学習モデルにアクセスすることができる。上記のように、機械学習モデルは、画像データ内の劣化を検出し、および／または劣化の具体的なタイプまたは発生源を識別するために訓練されることができる。
【0069】
６１６で、自律車両１０２の劣化検出エンジン１１０は、劣化が１つまたは複数の車両センサー１０４によってキャプチャされた画像データ１０６に影響を与えるか否かを決定することができる。６１６での決定は、６０８で実行される画像領域間の視覚的な一貫性のレベルの決定、６１０で実行されるピクセル強度分析、６１２で実行される時間的な動作分析、および６１４でアクセスされる機械学習モデルの組み合わせに基づいて実行されることができる。上記のように、さまざまな異なる例示において、６１６での決定は、６０８、６１０、６１２、または６１４での個々の技術のうちのいずれかだけに、またはこれらまたは他の技術の任意の組み合わせに基づいてもよい。センサーデータの劣化を識別するために用いられ得る他の技術の例示は、画像データの飽和レベル、露出、コントラスト、または他の画像データの特徴を分析することを含む。さらに、劣化検出エンジン１１０は、６０８、６１０、６１２、および６１４での異なる決定のために異なる閾値を決定して、適用することができることによって、劣化は、所定の閾値レベルの信頼度、劣化サイズ閾値、および／または劣化重大性閾値を用いて、技術のうちの１つまたは複数が劣化を検出する場合にだけ検出される。他の例示において、劣化検出エンジン１１０は、１つまたは複数の組み合わせられた閾値を決定して、適用することができ、ここで、６０８で決定された視覚的な一貫性のレベルを表現する第１のデータメトリックは、６１０で決定されたピクセル強度のレベルを表現する第２のデータメトリック、および／または６１２で決定された相対的な時間的な動作のレベルを表現する第３のデータメトリック、および／または劣化が検出された機械学習モデルの信頼度を表現する第４のデータメトリックと組み合わされる（例えば、合計される、または乗算される）。
【0070】
劣化検出エンジン１１０が、車両センサー１０４のいずれかによってキャプチャされた画像データ１０６の劣化を検出する場合（６１６でＹＥＳ）、６１８で、自律車両１０２の１つまたは複数の動作は、劣化の検出に応答して制御されることができる。対照的に、劣化検出エンジン１１０が、車両センサー１０４によってキャプチャされた画像データ１０６の劣化を検出しない場合（６１６でＮＯ）、この例示において、プロセスは、６０２に戻ることができ、車両センサー１０４からのさらなる画像データ１０６のキャプチャを待つことになる。
【0071】
以下の式は、具体的な画像領域（例えば、画像内のピクセルまたはピクセルのグループ）が光学的なフレアの存在によって劣化する確率を決定するために、上記の劣化検出技術と組み合わせて用いられ得る例示的な実施形態を説明する。この例示において、上記の技術は、用いられることができ、画像領域（ＳＣobと表記される）の観察されたステレオ一貫性、画像領域（ＯＦobと表記される）の観察された光学的なフロー、および画像領域（ＤＣobと表記される）の観察された暗チャネルに対する定量化可能なメトリックを決定する。さらに、ステレオ一貫性（ＳＣthと表記される）、光学的なフロー（ＯＦthと表記される）、および暗チャネル（ＤＣthと表記される）のそれぞれに対して関連される閾値は、光学的なフレア画像領域の複数のサンプル内のそれぞれの技術に対する最小および最大値の分析に基づいて決定されることができる。
【0072】
この例示において、光学的なフレアによって画像領域が劣化する確率は、以下のように定義されてよい。
P (isFlare | SCob, OFob, DCob) =
= P (SCob, OFob, DCob | isFlare) * P (isFlare) /
(P (SCob, OFob, DCob | isFlare) * P (isFlare) + P (SCob, OFob, DCob | NotFlare) * P (NotFlare))
= P (SCob | isFlare) * P (OFob | isFlare) * P (DCob | isFlare) /
(P (SCob | isFlare) * P (OFob | isFlare) * P (DCob | isFlare) +
P (SCob, OFob, DCob | NotFlare) * P (NotFlare) / P (isFlare))
= sigmoid (SCob - SCth) * sigmoid (OFob - OFth) * sigmoid (DCob - DCth) /
(sigmoid (SCob - SCth) * sigmoid (OFob - OFth) * sigmoid (DCob - DCth) + f (vehicle speed) * g (sun angle)))
P (isFlare | SCob, OFob, DCob) =
= P (SCob, OFob, DCob | isFlare) * P (isFlare) /
(P (SCob, OFob, DCob | isFlare) * P (isFlare) + P (SCob, OFob, DCob | NotFlare) * P (NotFlare))
= P (SCob | isFlare) * P (OFob | isFlare) * P (DCob | isFlare) /
(P (SCob | isFlare) * P (OFob | isFlare) * P (DCob | isFlare) +
P (SCob, OFob, DCob | NotFlare) * P (NotFlare) / P (isFlare))
= sigmoid (SCob - SCth) * sigmoid (OFob - OFth) * sigmoid (DCob - DCth) /
(sigmoid (SCob - SCth) * sigmoid (OFob - OFth) * sigmoid (DCob - DCth) + f (vehicle speed) * g (sun angle)))
【0073】
上記の例示において示されるように、シグモイド関数は、光学的なフレアおよび光学フレアなしの条件付き確率、所与の観察されたステレオ一貫性データ、光学的なフローデータ、および画像領域の暗チャネルデータを推定するのに用いられてよい。さらに、Ｐ（ＳＣob， ＯＦob， ＤＣob｜ＮｏｔＦｌａｒｅ）は、車両に対する現在の車両速度および／または太陽角度の関数であってよい。ある例示において、ｆ（車両速度）パラメーターは、平均の観測された光学的なフローが所定の閾値を下回る場合に、検出が停止されるポリシーを実装するように用いられてよい。ｇ（太陽角度）パラメーターは、夜間または曇りの日の運転のような太陽角度データが利用できないまたはそのことに関連性のある場合に用いられる必要はなく、一定の値として表されてよい。
【0074】
上記の式の出力であるＰ(ｉｓＦｌａｒｅ｜ＳＣob， ＯＦob， ＤＣob)が所定の閾値よりも大きい場合、劣化検出エンジン１１０は、光学的なフレアによって、画像領域が劣化していると決定することができる一方で、式の出力が閾値よりも小さい場合、劣化検出エンジン１１０は、光学的なフレアによって、画像領域が劣化していないと決定することができる。さらに、上記の例示的な式は、光学的なフレアの検出に特有であるが、同様の式および技術は、劣化の他のタイプまたは発生源（例えば、汚れ、泥、霧、雨滴、センサー誤差など）を検出するために用いられてよい。
【0075】
再度５１８、および６１８を参照すると、画像データ１０６の劣化の検出に応答して自律車両１０２の動作が制御される場合に、修復動作のうちの１つまたは組み合わせが実行されることができる。ある場合において、自動クリーニングプロセスは、劣化した画像データ１０６がキャプチャされたセンサー１０４（例えば、カメラレンズ）の表面をクリーニングするために開始されてよい。ある場合において、自律車両１０２のナビゲーションシステムおよび／または他の車両コントロールシステムは、劣化した画像データ１０６が受信されたセンサー１０４から受信した画像データに対する依存のレベルを低減するように再構成されてよい。追加的または代替的に、車両１０２の進行方向および／または向きは、検出された劣化の影響を修復するために変更されてよい。５１８および／または６１８で実行され得る修復動作の他の例示は、車両の１つまたは複数の動作駆動パラメーターを調整することを含んでよい。例えば、半自律または完全自律車両は、車両がどの道路／表面を選択し得るか、車両が赤信号で右折するか否か、車両が保護されていないターンを実行するか否かなどの駆動パラメーターと同様に、車両速度（例えば、最高および／または巡航速度）を制御する動作駆動パラメーターで構成されてよい。これらの動作駆動パラメーターのいずれかは、画像データの劣化の検出に応答して、５１８または６１８で調整または無効にされてよい。
【0076】
ある例示において、他の修復動作が多様な画像劣化技術を用いて画像データの劣化に基づいて実行されてよい一方で、ある修復動作は、画像劣化技術のうちのいずれか１つを用いて画像データの劣化の検出に基づいて実行されてよい。例えば、車両は、ステレオマッチング、暗チャネル、光学的なフロー、または機械学習技術のうちのいずれか１つを用いて、画像データの劣化の検出に応答してセンサークリーニングを開始してよく、本明細書で説明される多様な技術を用いて、画像データの劣化の検出に応答して、車両を停止の状態に至らせてよい。ある例示において、本明細書で説明される技術のうちの１つまたは複数の出力は、さまざまな劣化検出技術（例えば、ステレオマッチング、暗チャネル、光学的なフロー、機械学習技術など）の出力に基づいて、潜在的な劣化を決定するために訓練されたさらなる機械学習モデルに入力してよい。
【0077】
ある実施形態において、５１８および６１８で実行される修復動作は、自律車両１０２のコンピューティングシステム１０８によって、リアルタイムで決定され得るさまざまな他の要因と共に、検出された劣化のタイプまたは発生源に依存してよい。例えば、劣化を検出する場合に、劣化検出エンジン１１０は、また、センサー１０４の表面の不透明な物質（例えば、汚れ、泥など）、センサー１０４の表面の半透明または光の歪曲物質（例えば、水滴）、光学的なフレアまたは他の光の現象、またはセンサー１０４の焦点誤差または他の異常などの劣化のタイプまたは発生源を決定することができる。劣化のタイプまたは発生源の決定は、上記のさまざまな劣化検出技術の実行に基づいてよい。例えば、図２を参照して上記の別個のセンサー１０４によってキャプチャされた重複する画像領域間の視覚的な一貫性を分析する劣化検出技術は、センサー１０４の表面の不透明または半透明の物質を識別することに効果的であることがあり、光学的なフレアまたは他の視覚的な現象を識別することに比較的に効果的ではないことがある。対照的に、図３を参照して上記のピクセル強度分析技術は、センサー１０４の表面の半透明物質を識別すること、および光学的なフレアおよび他の視覚現象を識別することに効果的であることがあるが、センサー１０４の表面の不透明物質を識別することに比較的に効果的ではないことがある。最後に、図４を参照して上記の相対的な時間的な動作分析技術は、センサー１０４の表面の不透明な物質を識別すること、光学的なフレアまたは他の視覚的な現象を識別することに効果的であることがあるが、センサー１０４の表面の半透明物質を識別することに比較的に効果的ではないことがある。それ故に、画像データ１０６の劣化を検出するために用いられる技術、およびそれらの技術の結果は、さらなる技術的利点を提供することができ、劣化検出エンジン１１０は、また、劣化の具体的なタイプまたは発生源（例えば、汚れ、泥、雨滴、光学的なフレア、霧、レンズ焦点誤差など）を決定することができることによって、それ故に、劣化のタイプまたは発生源に基づいて適切な修復機能が実行されることを可能とする。
【0078】
追加的または代替的に、他の技術は、用いられてよく、車両センサー１０４によってキャプチャされた画像データ１０６の検出された劣化のタイプまたは発生源を決定する。例えば、上記のように、画像データ１０６の視覚的な分析（例えば、ルールベースの分析および／または訓練された機械学習モデル）は、劣化検出エンジン１１０によって、単独で、または上記の技術のいずれかと組み合わせて、劣化のタイプまたは発生源を決定するために実行されてよい。さらに、本明細書で説明される他のセンサー１０４のいずれかからのデータおよび／または１つまたは複数の外部データソースから受信したデータは、また、用いられてよく、検出された劣化のタイプまたは発生源を識別する。例えば、現在の時刻、車両１０２の向き、車両１０２に対する太陽角度、および現在の気象条件は、劣化検出エンジン１１０によって受信されて、分析されることができ、光学的なフレアが検出された劣化を引き起こし得ると決定する。別の例示として、現在の気象条件、路面および条件、交通条件、および車両速度は、画像データ１０６と併せて分析されることができ、汚れ、泥、および／または水滴が検出された劣化を引き起こし得ると決定する。
【0079】
ある実施形態において、車両コントロールシステム１２０は、劣化の発生源またはタイプに基づいて修復オプションを選択してよい。例えば、劣化検出エンジン１１０が、劣化の原因がセンサー１０４の表面の不透明または半透明の物質（例えば、汚れ、泥、雨滴など）だと決定する場合、車両コントロールシステム１２０は、劣化した表面の自動クリーニングのプロセスを開始してよい。対照的に、劣化検出エンジン１１０が、劣化の原因が光学的なフレアまたは他の光の現象であると決定する場合、センサーの自動クリーニングのプロセスは、劣化を修復し得ることはなく、異なる修復動作（例えば、画像データ１０６への依存を低減する）が開始されてよい。
【0080】
ある例示において、車両コントロールシステム１２０は、さらなるデータ因子およびさらなる分析を用いてよく、どの修復動作が実行されることとなるかと同様に、検出された劣化に応答して修復動作が実行されることとなるか、およびいつ実行されることとなるかを決定する。例えば、劣化検出エンジン１１０および／または車両コントロールシステム１２０は、劣化の重大性（例えば、画像データ１０６のどの部分が劣化しているか）、画像データ１０６内の劣化の位置（例えば、キャプチャされた画像１０６の中心対角）、センサー１０４からの画像データ１０６がどのくらい劣化したか（例えば、修復動作が実行される前に、時間閾値が用いられてよい）、および／または１つまたは複数の他の車両センサー１０４が画像データ１０６の劣化した部分（例えば、重複する視界を有するカメラまたは他のセンサー１０４）をキャプチャするために利用可能であるかを決定して、分析することができる。これらの因子のいずれかに基づいて、単独または組み合わせで、車両コントロールシステム１２０は、検出された劣化が修復動作をトリガーすることとなるか、修復動作がいつ実行されることとなるか、およびどの修復動作が劣化に対処するために実行されることとなるかを決定することができる。
【0081】
図７Ａ～図７Ｃは、本明細書で説明される劣化検出技術の間に生成され得る画像の例示的な修正されたセットと共に、車両センサー１０４によってキャプチャされた３組の例示的な画像データを描写する。具体的には、図７Ａ、図７Ｂ、および図７Ｃに図示されるそれぞれのセットの画像は、車両センサー１０４によってキャプチャされた第１の例示的な画像、本明細書で説明される劣化検出技術のうちの１つまたは複数を図示する第２の画像、および本明細書で説明される劣化検出技術のうちの１つまたは複数からの出力を図示する第３の画像を含む。画像７０１ａ、７０１ｂ、および７０１ｃ（集合的に「画像７０１」）に関して、例示的な画像７０１ｂおよび７０１ｃが光学的なフレアによって部分的に劣化する一方で、画像７０１ａは、車両センサー１０４（例えば、カメラ）によってキャプチャされ、画像がセンサーのレンズ表面の雨滴によって部分的に劣化する例示的な画像である。
【0082】
中間画像７０２ａ、７０２ｂ、および７０２ｃ（集合的に、「画像７０２」）は、潜在的な劣化領域７０４が外形形状によって示される画像データ内の劣化を検出するための上記の技術の例示を図示する。潜在的な劣化領域７０４は、具体的な領域に劣化が存在する確率に関連付けられてよい。確率は、適用される１つまたは複数の劣化検出技術の出力に基づいてよい。確率は、確率分布またはヒートマップとして表現されてよい。図７Ｃの例示において、第１の確率を有する潜在的な劣化７０４ａの第１の領域、第２の確率を有する潜在的な劣化７０４ｂの第２の領域、第３の確率を有する潜在的な劣化７０４ｃの第３の領域、および第４の確率を有する潜在的な劣化７０４ｄの第４の領域を含む潜在的な劣化の４つの領域が図示される。確率は、潜在的な劣化領域が閉塞を表現するか否かを決定することに用いられてよい。例えば、具体的な位置に劣化がある確率が閾値確率またはそれを上回る場合、領域は、劣化していると決定されることができる。確率が閾値を下回る場合、領域は、劣化しないと決定されることとなる。
【0083】
最後に、画像７０３ａ、７０３ｂ、および７０３ｃ（集合的に、「画像７０３」）は、本明細書で説明される劣化検出技術の出力を表現することができる。画像７０３において、それぞれの画像の非劣化部分が黒色で描写される一方で、白色で描写されるそれぞれの画像の部分は、劣化していると決定された領域を表現する。図７Ｃの例示において、潜在的な劣化７０４ａの第１の領域、潜在的な劣化７０４ｂの第２の領域、および潜在的な劣化７０４ｃの第３の領域は、閾値確率を上回る確率を有して、したがって、出力画像７０３ｃに白色で図示される劣化した領域として表現される。この例示における潜在的な劣化した領域７０４ｄは、（例えば、劣化しないように阻止する）閾値を下回る確率を有して、したがって、出力画像７０３ｃにおいて表現されない。
【0084】
上記のように、車両コントロールシステム１２０は、検出された劣化が修復動作をトリガーすることとなるか、修復動作がいつ実行されるか、および／またはどの修復動作が検出された劣化に対処するために実行されることとなるかを決定することができる。ある実施形態において、これらの決定のうちのいくつかまたはすべては、画像７０３に基づいてよい。例えば、画像７０３の劣化した部分および非劣化した部分の表現は、用いられてよく、劣化の重大性（例えば、画像７０３がどの程度が劣化して、どの程度が使用可能であるか）、画像データ７０３内の劣化の位置（例えば、中心対角、下側対上側など）、および／または任意の他のセンサー１０４が、画像７０３の劣化した部分（例えば、劣化した部分をカバーする視界を有するカメラまたは他のセンサー１０４）をキャプチャするために利用可能であるかを決定する。それ故に、劣化検出エンジン１１０および／または車両コントロールシステム１２０は、出力画像７０３を分析することができ、画像７０３によって表現される劣化に応答して、いつ、およびどの修復動作が実行され得るかを決定する。
【0085】
（例示的な条項）
この項における例示的な条項のいずれかは、本明細書で説明される例示的な条項のいずれかまたは他の例示または実施形態のいずれかと共に用いられてよい。
この項における例示的な条項のいずれかは、本明細書で説明される例示的な条項のいずれかまたは他の例示または実施形態のいずれかと共に用いられてよい。
【0086】
Ａ．車両は、１つまたは複数のプロセッサ、車両の環境のセンサーデータをキャプチャする第２のセンサーであって、第２のセンサーは、第１のセンサーの視界と少なくとも部分的に重複する視界を有する第２のセンサー、および１つまたは複数のプロセッサによって実行される場合に、車両に、第１の時間で、第１のセンサーによってキャプチャされた第１の画像データを受信すること、第１の画像データ内の第１の画像領域を識別すること、第２のセンサーによってキャプチャされた第２の画像データを読み出すこと、第１の画像領域に関連付けられる第２の画像データ内の第２の画像領域を識別すること、第１の画像領域と第２の画像領域との間の視覚的な一貫性のレベルを決定すること、決定された視覚的な一貫性のレベルと、第１の画像領域に関連付けられる強度、第１の時間とは異なる第２の時間でキャプチャされた第３の画像データに基づいて、第１の画像領域に関連付けられる時間的な動作の測定、または画像データに基づいて劣化を検出するために訓練された機械学習モデルからの出力とのうちの少なくとも１つとの組み合わせに基づいて、視覚的な一貫性のレベルを決定すること、および劣化の検出に少なくとも部分的に基づいて車両の動作を制御することを含む動作を実行させる命令を格納する非一時的なコンピューター可読媒体を備える。
【0087】
Ｂ．段落Ａに記載の車両であって、第１の画像データの劣化を検出することは、劣化の発生源またはタイプを識別することを含み、識別された劣化の発生源またはタイプは、第１のセンサーの表面の不透明な物質、第１のセンサーの表面の水滴、第１のセンサーの検出フィールド内の光学的なフレア、または第１のセンサーの視覚的な焦点誤差のうちの少なくとも１つを含む。
【0088】
Ｃ．段落ＡまたはＢに記載の車両であって、第１の画像データの劣化の検出に少なくとも部分的に基づいて車両の動作を制御することは、第１のセンサーの表面のクリーニングを開始すること、第１のセンサーから受信したデータへの依存度を低減すること、車両の進行方向を変更すること、または車両の１つまたは複数の動作駆動パラメーターを調整することのうちの少なくとも１つを含む。
【0089】
Ｄ．段落Ａ～Ｃのいずれか１つに記載の車両であって、第１の画像データの劣化を検出することは、第１の画像領域と第２の画像領域との間の視覚的な一貫性の決定されたレベル、第１の画像領域に関連付けられる強度、および第１の画像領域に関連付けられる時間的な動作の測定に基づいている。
【0090】
Ｅ．段落Ａ～Ｄのいずれか１つに記載の車両であって、劣化を検出することは、機械学習モデルへと第１の画像データを入力すること、および機械学習モデルから出力を受信することをさらに含み、出力は、第１の画像データに少なくとも部分的に基づいており、出力は、第１のセンサーによってキャプチャされた第１の画像データの劣化を示す。
【0091】
Ｆ．方法は、第１の時間で、車両の第１のセンサーによってキャプチャされた第１の画像データを受信すること、第１の画像データ内の第１の画像領域を識別すること、第１のセンサーによってキャプチャされた第１の画像データの劣化を検出することであって、検出することは、第１の画像領域と第２のセンサーによってキャプチャされた第２の画像データ内の対応する第２の画像領域との間の視覚的な一貫性の決定されたレベル、第１の画像領域に関連付けられる強度、第１の時間とは異なる第２の時間でキャプチャされた第３の画像データに基づいて、第１の画像領域に関連付けられる時間的な動作の測定、画像データに基づいて劣化を検出するために訓練された機械学習モデルからの出力のうちの少なくとも２つに基づくこと、および劣化の検出に少なくとも部分的に基づいて車両の動作を制御することを備える。
【0092】
Ｇ．段落Ｆに記載の方法であって、第１の画像データの劣化を検出することは、第１の画像データの劣化の第１の確率を決定することであって、第１の確率は、視覚的な一貫性のレベルに基づくこと、第１の画像データの劣化の第２の確率を決定することであって、第２の確率は、第１の画像領域に関連付けられる強度、第１の画像領域に関連付けられる時間的な動作の測定、または機械学習モデルからの出力のうちの少なくとも１つに基づくこと、少なくとも第１の確率および第２の確率に基づいて第１の画像データの劣化の第３の確率を算定すること、および劣化の第３の確率を確率閾値と比較することを含む。
【0093】
Ｈ．段落ＦまたはＧに記載の方法であって、第１の画像データの劣化を検出することは、第１の画像領域と第２の画像領域との間の決定された視覚的な一貫性のレベルに少なくとも部分的に基づいており、方法は、第２のセンサーが第１のセンサーとの重複する検出フィールドを有することを決定すること、第２のセンサーによってキャプチャされた第２の画像データを読み出すこと、第１の画像領域に関連付けられる第２の画像データ内の第２の画像領域を識別すること、および第１の画像領域と第２の画像領域との間の視覚的な一貫性のレベルを決定することをさらに備える。
【0094】
Ｉ．段落Ｆ～Ｈのいずれか１つに記載の方法であって、第１の画像データの劣化を検出することは、第１の画像領域に関連付けられる強度に少なくとも部分的に基づいており、方法は、第１の画像データの多様な画像チャネルに関連付けられる強度値に少なくとも部分的に基づいて、第１の画像データに関連付けられる暗チャネル値を決定すること、経時的にキャプチャされた多様な画像フレームの強度値に少なくとも部分的に基づいて、平均暗チャネル画像値を生成すること、平均暗チャネル画像値に基づいて閾値を決定すること、第１の画像領域に関連付けられる強度を閾値と比較すること、および第１の画像領域に関連付けられる強度が閾値よりも大きいことを決定することに少なくとも部分的に基づいて、第１の画像データの劣化を検出することをさらに備える。
【0095】
Ｊ．段落Ｆ～Ｉのいずれか１つに記載の方法であって、第１の画像データの劣化を検出することは、第１の画像領域に関連付けられる時間的な動作の測定に少なくとも部分的に基づいており、方法は、第１の時間とは異なる第２の時間に第１のセンサーによってキャプチャされた第３の画像データを受信すること、および第１のセンサーによってキャプチャされた第１の画像データおよび第３の画像データを用いて、第１の画像データにおける第１の画像領域を第３の画像データにおける第１の画像領域と比較することによって、第１の画像領域の時間的な動作を決定することをさらに備える。
【0096】
Ｋ．段落Ｆ～Ｊのいずれか１つに記載の方法であって、劣化を検出することは、機械学習モデルへと少なくとも第１の画像データを入力すること、および機械学習モデルから出力を受信することをさらに含み、出力は、第１の画像データに少なくとも部分的に基づいており、出力は、第１のセンサーによってキャプチャされた第１の画像データの劣化を示す。
【0097】
Ｌ．段落Ｆ～Ｋに記載の方法であって、第１の画像データの劣化を検出することは、劣化の発生源またはタイプを識別することを含み、識別された劣化の発生源またはタイプは、第１のセンサーの表面の不透明な物質、第１のセンサーの表面の水滴、第１のセンサーの検出フィールド内の光学的なフレア、または第１のセンサーの視覚的な焦点誤差のうちの少なくとも１つを含む。
【0098】
Ｍ．段落Ｆ～Ｌに記載の方法であって、第１の画像データの劣化の検出に少なくとも部分的に基づいて車両の動作を制御することは、第１のセンサーの表面のクリーニングを開始すること、第１のセンサーから受信したデータへの依存度を低減すること、車両の進行方向を変更すること、または車両の１つまたは複数の動作駆動パラメーターを調整することのうちの少なくとも１つを含む。
【0099】
Ｎ．プロセッサの実行可能な命令を格納する非一時的なコンピューター可読媒体は、１つまたは複数のプロセッサによって実行される場合に、１つまたは複数のプロセッサに、第１の時間で、車両の第１のセンサーによってキャプチャされた第１の画像データを受信すること、第１の画像データ内の第１の画像領域を識別すること、第１のセンサーによってキャプチャされた第１の画像データの劣化を検出することであって、検出することは、第１の画像領域と第２のセンサーによってキャプチャされた第２の画像データ内の関連付けられる第２の画像領域との間の視覚的な一貫性の決定されたレベル、第１の画像領域に関連付けられる強度、第１の時間とは異なる第２の時間でキャプチャされた第３の画像データに基づいて、第１の画像領域に関連付けられる時間的な動作の測定、画像データに基づいて劣化を検出するために訓練された機械学習モデルからの出力とのうちの少なくとも２つに基づくこと、および劣化の検出に少なくとも部分的に基づいて車両の動作を制御することを含む動作を実行させることを備える。
【0100】
Ｏ．段落Ｎに記載の非一時的なコンピューター可読媒体での非一時的なコンピューター可読媒体が、第１の画像データの劣化を検出することは、第１の画像データの劣化の第１の確率を決定することであって、第１の確率は、視覚的な一貫性のレベルに基づくこと、第１の画像データの劣化の第２の確率を決定することであって、第２の確率は、第１の画像領域に関連付けられる強度、第１の画像領域に関連付けられる時間的な動作の測定、または機械学習モデルからの出力のうちの少なくとも１つに基づくこと、少なくとも第１の確率および第２の確率に基づいて第１の画像データの劣化の第３の確率を算定すること、および劣化の第３の確率を確率閾値と比較することを含む。
【0101】
Ｐ．段落ＮまたはＯに記載の非一時的なコンピューター可読媒体での非一時的なコンピューター可読媒体が、第１の画像データの劣化を検出することは、第１の画像領域と第２の画像領域との間の決定された視覚的な一貫性のレベルに少なくとも部分的に基づいており、動作は、第２のセンサーが第１のセンサーとの重複する検出フィールドを有することを決定すること、第２のセンサーによってキャプチャされた第２の画像データを読み出すこと、および第１の画像領域と第２の画像領域との間の視覚的な一貫性のレベルを決定することをさらに含む。
【0102】
Ｑ．段落Ｎ～Ｐのいずれか１つに記載の非一時的なコンピューター可読媒体での非一時的なコンピューター可読媒体が、第１の画像データの劣化を検出することは、第１の画像領域に関連付けられる強度に少なくとも部分的に基づいており、動作は、第１の画像データの多様な画像チャネルに関連付けられる強度値に少なくとも部分的に基づいて、第１の画像データに関連付けられる暗チャネル値を決定すること、経時的にキャプチャされた多様な画像フレームの強度値に少なくとも部分的に基づいて、平均暗チャネル画像値を生成すること、平均暗チャネル画像値に基づいて閾値を決定すること、第１の画像領域に関連付けられる強度を閾値と比較すること、および第１の画像領域に関連付けられる強度が閾値よりも大きいことを決定することに少なくとも部分的に基づいて、第１の画像データの劣化を検出することをさらに含む。
【0103】
Ｒ．段落Ｎ～Ｑのいずれか１つに記載の非一時的なコンピューター可読媒体での非一時的なコンピューター可読媒体が、第１の画像データの劣化を検出することは、第１の画像領域に関連付けられる時間的な動作の測定に少なくとも部分的に基づいており、動作は、第１の時間とは異なる第２の時間に第１のセンサーによってキャプチャされた第３の画像データを受信すること、および第１のセンサーによってキャプチャされた第１の画像データおよび第３の画像データを用いて、第１の画像データにおける第１の画像領域を第３の画像データにおける第１の画像領域と比較することによって、第１の画像領域の時間的な動作を決定することをさらに含む。
【0104】
Ｓ．段落Ｎ～Ｒのいずれか１つに記載の非一時的なコンピューター可読媒体での非一時的なコンピューター可読媒体が、第１のセンサーによってキャプチャされた第１の画像データの劣化を検出することは、機械学習モデルへと少なくとも第１の画像データを入力すること、および機械学習モデルから出力を受信することをさらに含み、出力は、第１の画像データに少なくとも部分的に基づいており、出力は、第１のセンサーによってキャプチャされた第１の画像データの劣化を示す。
【0105】
Ｔ．段落Ｎ～Ｓのいずれか１つに記載の非一時的なコンピューター可読媒体での非一時的なコンピューター可読媒体が、第１の画像データの劣化の検出に少なくとも部分的に基づいて車両の動作を制御することは、第１のセンサーの表面のクリーニングを開始すること、第１のセンサーから受信したデータへの依存度を低減すること、車両の進行方向を変更すること、または車両の１つまたは複数の動作駆動パラメーターを調整することのうちの少なくとも１つを含む。
【0106】
発明の主題は、構造的な特徴および／または方法的な活動に特有の言語で説明されてきたが、添付の特許請求の範囲の中で画定される発明の主題は、必ずしも説明される特定の特徴、または活動に限定されるものではないことを理解されたい。むしろ、特定の特徴および活動は、特許請求の範囲を実装する例示的形態として開示される。
【0107】
本明細書で説明されるコンポーネントは、任意のタイプのコンピューター可読媒体に格納してよく、ソフトウェアおよび／またはハードウェアにおいて実装され得る命令を表現する。上記の方法およびプロセスのすべては、１つまたは複数のコンピューターまたはプロセッサ、ハードウェア、またはそれらのいくつかの組み合わせによって実行されるソフトウェアコードコンポーネントおよび／またはコンピューター実行可能命令を介して具現化されてよく、完全に自動化されてよい。代替的に、方法の一部またはすべてが専門のコンピューターハードウェアで具現化されてよい。
【0108】
そうではないと特に明記されていない限り、特に「可能である」、「得る」、「できる」、または「してよい」などの条件付きの用語は、とりわけ、他の例示が含まないある特徴、要素および／またはステップをある例示が含み、提示することの文脈内で理解される。それ故に、そのような条件付きの用語は、概して、ある特徴、要素および／またはステップが、１つまたは複数の例示に任意の方法で要求されるか、またはその１つまたは複数の例示が、ユーザーのインプット、またはプロンプトを用いて、または用いずに、ある特徴、要素および／またはステップが任意の具体的な例示に含まれるか、または実行されるべきであるかを判断するための論理を必ずしも含むことを暗示することは意図されていない。
【0109】
「Ｘ、Ｙ、またはＺのうちの少なくとも１つ」という句などの接続詞は、そうではないと特に明記されていない限り、項目、用語などがＸ、Ｙ、またはＺのいずれか、またはそれぞれの要素の集合を含む、それらの任意の組み合わせであってよいと理解されるべきである。単数として明示的に説明されていない限り、「ある」は、単数、および複数を意味する。
【0110】
本明細書で説明され、および／または添付の図に示したフロー図における任意のルーティンの説明、要素、またはブロック図は、ルーティンにおける特定の論理機能、または要素を実装するための１つまたは複数のコンピューター実行可能命令を含むコードのモジュール、セグメント、または部分を潜在的に表現するものとして理解されるべきである。代替的な実装は、本明細書に説明される例示の範囲内に含まれ、その中で、要素または機能は、当業者によって理解されるように、関係する機能に応じて、実質的に同時、または逆の順序を含む、図示されたもの、または説明されたものと順不同で、削除され、実行されることが可能である。
【0111】
上記の例示に対して多くの変形例、および修正例を作成することが可能であることを強調すべきであり、それらの要素は、他の容認できる例示の中にあるものとして理解されるべきである。このような変更例、および変形例のすべてが本開示の範囲内で本明細書に含まれ、以下の特許請求の範囲によって保護されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【国際調査報告】