特許 7571479 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム

(51)【国際特許分類】

   H04N 23/52 20230101AFI20241016BHJP

   G06T 7/00 20170101ALI20241016BHJP

   B08B 5/02 20060101ALI20241016BHJP

【ＦＩ】

H04N23/52

G06T7/00 650Z

B08B5/02 Z

【請求項の数】 16

(21)【出願番号】P 2020185919

(22)【出願日】2020-11-06

(65)【公開番号】P2022075247

(43)【公開日】2022-05-18

【審査請求日】2023-06-14

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】上杉 浩

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０２０－１０８０６０（ＪＰ，Ａ）

【文献】特開２０１９－０３２６１９（ＪＰ，Ａ）

【文献】特開２０１４－０１３４５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２５３－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｂ６０Ｒ １／００ － １／０４

Ｂ０１Ｒ １／０８ － １／３１

Ｂ６０Ｗ １０／００ －１０／３０

Ｂ６０Ｗ ３０／００ －６０／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｂ０８Ｂ ５／０２

(57)【特許請求の範囲】

【請求項1】

外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、前記光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における前記入射面に付着した汚れを検出する汚れ検出装置であって、
複数フレームの前記外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成部（１２０）と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定する特定部（１３０）と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定する判定部（１５０）と、
前記変動量が前記付着範囲内であると判定した場合に、前記洗浄系に対して前記洗浄処理の実行を指示する指示部（１６０）と、
を備え、
前記判定部は、前記洗浄処理の実行前における前記特徴量と、前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定する汚れ検出装置。

【請求項2】

外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、前記光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における前記入射面に付着した汚れを検出する汚れ検出装置であって、
複数フレームの前記外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成部（１２０）と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定する特定部（１３０）と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定する判定部（１５０）と、
前記変動量が前記付着範囲内であると判定した場合に、前記外光画像の画像処理を行う画像処理装置（７）に対して、前記外光画像に基づく前記汚れの検出処理を指示する指示部（１６０）と、
を備え、
前記判定部は、前記洗浄処理の実行前における前記特徴量と、前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定する汚れ検出装置。

【請求項3】

前記指示部は、前記差分が前記残留範囲内であると判定すると、洗浄方法を変更した前記洗浄処理の実行を前記洗浄系に指示する請求項１又は請求項２に記載の汚れ検出装置。

【請求項4】

前記指示部は、前記差分が前記残留範囲内であると判定すると、前記洗浄系による前記洗浄処理とは異なる対応処理を情報処理装置（７）に指示する請求項１から請求項３のいずれか１項に記載の汚れ検出装置。

【請求項5】

前記特定部は、前記車両の走行中における複数フレームにわたって前記エッジが抽出されないと判断した領域を、前記候補領域に特定する請求項１から請求項４のいずれか１項に記載の汚れ検出装置。

【請求項6】

前記特定部は、前記車両の走行中における複数フレームにわたって位置が固定であると判断した前記エッジにより囲まれた領域を、前記候補領域に特定する請求項１から請求項５のいずれか１項に記載の汚れ検出装置。

【請求項7】

前記光学センサは、光照射に対して反射光を反射する対象物の点群を検出可能であって、
前記変動量が前記付着範囲内であると判定された場合、前記点群のうち、前記候補領域に対応する対応点群について、他の前記点群よりも信頼度を低く設定する設定部（１１５）をさらに備える請求項１から請求項６のいずれか１項に記載の汚れ検出装置。

【請求項8】

外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、前記光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における前記入射面に付着した汚れを検出するために、プロセッサ（１２，８２）により実行される汚れ検出方法であって、
複数フレームの前記外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定する特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定する判定プロセス（Ｓ７０，Ｓ１１０）と、
前記変動量が前記付着範囲内であると判定した場合に、前記洗浄系に対して前記洗浄処理の実行を指示する指示プロセス（Ｓ８０，Ｓ１２０；Ｓ１２５）と、
を含み、
前記判定プロセスでは、前記洗浄処理の実行前における前記特徴量と前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定する汚れ検出方法。

【請求項9】

外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、前記光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における前記入射面に付着した汚れを検出するために、プロセッサ（１２，８２）により実行される汚れ検出方法であって、
複数フレームの前記外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定する特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定する判定プロセス（Ｓ７０，Ｓ１１０）と、
前記変動量が前記付着範囲内であると判定した場合に、前記外光画像の画像処理を行う画像処理装置（７）に対して、前記外光画像に基づく前記汚れの検出を指示する指示プロセス（Ｓ８５）と、
を含み、
前記判定プロセスでは、前記洗浄処理の実行前における前記特徴量と前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定する汚れ検出方法。

【請求項10】

前記指示プロセスでは、前記差分が前記残留範囲内であると判定すると、洗浄方法を変更した前記洗浄処理の実行を前記洗浄系に指示する請求項８又は請求項９に記載の汚れ検出方法。

【請求項11】

前記指示プロセスでは、前記差分が前記残留範囲内であると判定すると、前記洗浄系による前記洗浄処理とは異なる対応処理を情報処理装置（７）に指示する請求項８から請求項１０のいずれか１項に記載の汚れ検出方法。

【請求項12】

前記特定プロセスでは、前記車両の走行中における複数フレームにわたって前記エッジが抽出されないと判断した領域を、前記候補領域に特定する請求項８から請求項１１のいずれか１項に記載の汚れ検出方法。

【請求項13】

前記特定プロセスでは、前記車両の走行中における複数フレームにわたって前記エッジの位置が固定である判断した領域を、前記候補領域に特定する請求項８から請求項１２のいずれか１項に記載の汚れ検出方法。

【請求項14】

前記光学センサは、光照射に対して反射光を反射する対象物の点群を検出可能であって、
前記変動量が前記付着範囲内であると判定された場合、前記点群のうち、前記候補領域に対応する対応点群について、他の前記点群よりも信頼度を低く設定する設定プロセス（Ｓ７５）をさらに備える請求項８から請求項１３のいずれか１項に記載の汚れ検出方法。

【請求項15】

外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、前記光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における前記入射面に付着した汚れを検出するために、プロセッサ（１２，８２）に実行させる命令を含む汚れ検出プログラムであって、
前記命令は、
複数フレームの前記外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成させるエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定させる特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定させる判定プロセス（Ｓ７０，Ｓ１１０）と、
前記変動量が前記付着範囲内であると判定した場合に、前記洗浄系に対して前記洗浄処理の実行を指示させる指示プロセス（Ｓ８０，Ｓ１２０；Ｓ１２５）と、
を含み、
前記判定プロセスでは、前記洗浄処理の実行前における前記特徴量と前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定させる汚れ検出プログラム。

【請求項16】

外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、前記光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における前記入射面に付着した汚れを検出するために、プロセッサ（１２，８２）に実行させる命令を含む汚れ検出プログラムであって、
前記命令は、
複数フレームの前記外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成させるエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定させる特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定させる判定プロセス（Ｓ７０，Ｓ１１０）と、
前記変動量が前記付着範囲内であると判定した場合に、前記外光画像の画像処理を行う画像処理装置（７）に対して、前記外光画像に基づく前記汚れの検出を指示する指示プロセス（Ｓ８５）と、
を含み、
前記判定プロセスでは、前記洗浄処理の実行前における前記特徴量と前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定させる汚れ検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この明細書における開示は、光学センサにおける外光の入射面に付着した汚れを検出する技術に関する。

【背景技術】

【0002】

特許文献１には、カメラ等の車載センサに付着した汚れを検出する装置が開示されている。特許文献１の装置は、複数フレームの撮像画像において同じ場所に示されるオクルージョンを、汚れとして検出する。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第１０５１８７５４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の技術のようにオクルージョンを検出したとしても、当該オクルージョンが汚れによるものとは限らない。したがって、複数フレームの画像の比較による汚れ検出には、確実性向上の余地が有る。

【0005】

開示される目的は、汚れ検出の確実性を向上可能な汚れ検出装置、汚れ検出方法、及び汚れ検出プログラムを提供することである。

【課題を解決するための手段】

【0006】

この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。

【0007】

開示された汚れ検出装置のひとつは、外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における入射面に付着した汚れを検出する汚れ検出装置であって、
複数フレームの外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成部（１２０）と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定する特定部（１３０）と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定する判定部（１５０）と、
変動量が付着範囲内であると判定した場合に、洗浄系に対して洗浄処理の実行を指示する指示部（１６０）と、
を備え、
判定部は、洗浄処理の実行前における特徴量と、洗浄処理の実行後における特徴量との差分について、汚れの残留判定を下す残留範囲内であるか否かを判定する。
開示された汚れ検出装置のひとつは、外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における入射面に付着した汚れを検出する汚れ検出装置であって、
複数フレームの外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成部（１２０）と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定する特定部（１３０）と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定する判定部（１５０）と、
変動量が付着範囲内であると判定した場合に、外光画像の画像処理を行う画像処理装置（７）に対して、外光画像に基づく汚れの検出処理を指示する指示部（１６０）と、
を備え、
判定部は、洗浄処理の実行前における特徴量と、洗浄処理の実行後における特徴量との差分について、汚れの残留判定を下す残留範囲内であるか否かを判定する。

【0008】

開示された汚れ検出方法のひとつは、外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における入射面に付着した汚れを検出するために、プロセッサ（１２，８２）により実行される汚れ検出方法であって、
複数フレームの外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定する特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定する判定プロセス（Ｓ７０，Ｓ１１０）と、
変動量が付着範囲内であると判定した場合に、洗浄系に対して洗浄処理の実行を指示する指示プロセス（Ｓ８０，Ｓ１２０；Ｓ１２５）と、
を含み、
判定プロセスでは、洗浄処理の実行前における特徴量と洗浄処理の実行後における特徴量との差分について、汚れの残留判定を下す残留範囲内であるか否かを判定する。
開示された汚れ検出方法のひとつは、外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における入射面に付着した汚れを検出するために、プロセッサ（１２，８２）により実行される汚れ検出方法であって、
複数フレームの外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成するエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定する特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定する判定プロセス（Ｓ７０，Ｓ１１０）と、
変動量が付着範囲内であると判定した場合に、外光画像の画像処理を行う画像処理装置（７）に対して、外光画像に基づく汚れの検出を指示する指示プロセス（Ｓ８５）と、
を含み、
判定プロセスでは、洗浄処理の実行前における特徴量と洗浄処理の実行後における特徴量との差分について、汚れの残留判定を下す残留範囲内であるか否かを判定する

【0009】

開示された汚れ検出プログラムのひとつは、外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における入射面に付着した汚れを検出するために、プロセッサ（１２，８２）に実行させる命令を含む汚れ検出プログラムであって、
命令は、
複数フレームの外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成させるエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定させる特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定させる判定プロセス（Ｓ７０，Ｓ１１０）と、
変動量が付着範囲内であると判定した場合に、洗浄系に対して洗浄処理の実行を指示させる指示プロセス（Ｓ８０，Ｓ１２０；Ｓ１２５）と、
を含み、
判定プロセスでは、洗浄処理の実行前における特徴量と洗浄処理の実行後における特徴量との差分について、汚れの残留判定を下す残留範囲内であるか否かを判定させる。
開示された汚れ検出プログラムのひとつは、外光強度に応じた外光画像（Ｉｏ）を取得可能な光学センサ（４，５）と、光学センサにおける外光の入射面（３３）に対する洗浄処理を実行する洗浄系（６）と、を搭載する車両（２）における入射面に付着した汚れを検出するために、プロセッサ（１２，８２）に実行させる命令を含む汚れ検出プログラムであって、
命令は、
複数フレームの外光画像からエッジを抽出したエッジ画像（Ｉｅ）を生成させるエッジ画像生成プロセス（Ｓ２０，Ｓ３０）と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定させる特定プロセス（Ｓ３５，Ｓ４０；Ｓ４５）と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定させる判定プロセス（Ｓ７０，Ｓ１１０）と、
変動量が付着範囲内であると判定した場合に、外光画像の画像処理を行う画像処理装置（７）に対して、外光画像に基づく汚れの検出を指示する指示プロセス（Ｓ８５）と、
を含み、
判定プロセスでは、洗浄処理の実行前における特徴量と洗浄処理の実行後における特徴量との差分について、汚れの残留判定を下す残留範囲内であるか否かを判定させる。

【0010】

これらの開示によれば、まず複数フレームのエッジ画像に基づいて、汚れが付着した候補領域が特定される。さらに、外光画像における当該候補領域内の特徴量について、複数フレームにわたる変動量が汚れの付着判定を下す付着範囲であるか否かが判定される。洗浄の必要性が高い汚れほど外光の透過度合が小さいため、外光画像における特徴量の平均値についての変動量も小さくなる。故に、候補領域に洗浄の必要性が比較的高い汚れが付着していた場合、これを確実に検出し得る。以上により、汚れ検出の確実性を向上可能な汚れ検出装置、汚れ検出方法、及び汚れ検出プログラムが提供され得る。

【図面の簡単な説明】

【0011】

【図1】第１実施形態による自動運転ユニットの車両への搭載状態を示す側面図である。

【図2】第１実施形態による自動運転ユニットの全体構成を示す横断面模式図である。

【図3】汚れ検出装置が有する機能の一例を示すブロック図である。

【図4】外光画像及び当該外光画像から生成されるエッジ画像の一例を示す図である。

【図5】複数フレームにわたるエッジの変化を模式的に示す図である。

【図6】候補領域の特定方法の一例を模式的に示す図である。

【図7】汚れ検出装置が実行する汚れ検出方法の一例を示すフローチャートである。

【図8】図７の処理の続きを示すフローチャートである。

【図9】第２実施形態において汚れ検出装置が有する機能の一例を示すブロック図である。

【図10】第２実施形態において汚れ検出装置が実行する汚れ検出方法の一例を示すフローチャートである。

【図11】第３実施形態において汚れ検出装置が有する機能の一例を示すブロック図である。

【図12】第３実施形態において汚れ検出装置が実行する汚れ検出方法の一例を示すフローチャートである。

【図13】第４実施形態において汚れ検出装置が実行する汚れ検出方法の一例を示すフローチャートである。

【図14】第５実施形態による自動運転ユニットの全体構成を示す横断面模式図である。

【図15】第５実施形態において汚れ検出装置が有する機能の一例を示すブロック図である。

【図16】第５実施形態において汚れ検出装置が実行する汚れ検出方法の一例を示すフローチャートである。

【図17】第６実施形態において汚れ検出装置が有する機能の一例を示すブロック図である。

【図18】第６実施形態において汚れ検出装置が実行する汚れ検出方法の一例を示すフローチャートである。

【図19】第７実施形態において汚れ検出装置が実行する汚れ検出方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

（第１実施形態）
第１実施形態の汚れ検出装置１について、図１～図８を参照しながら説明する。第１実施形態において、汚れ検出装置１は、センシングカメラ４に搭載された電子制御装置である。図１に示すように、センシングカメラ４を備える自動運転ユニットＡＤＵは、車両２に搭載される。車両２は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットＡＤＵは、汚れ検出装置１と共に、ハウジング３、センシングカメラ４、洗浄系６及びデータ処理装置７を含んで構成されている。なお、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両２を基準に定義されている。

【0013】

図１，２に示すようにハウジング３は、例えば金属等により中空状の扁平箱形に形成されている。ハウジング３は、車両２のルーフ２０上に設置される。ハウジング３の壁３０には、センサ窓３１が開口している。センサ窓３１は、板状の透光カバー３２により覆われている。透光カバー３２の外面は、車両２の外界から光の入射する入射面３３を、構成している。なお、自動運転ユニットＡＤＵに複数のセンサが搭載される場合、センサ窓３１、及び入射面３３を構成する透光カバー３２は、複数設けられることになる。

【0014】

図１～３に示す洗浄系６は、センシングカメラ４においてセンシング領域ＡＣから光の入射する入射面３３を洗浄する。なお、洗浄系６は、自動運転ユニットＡＤＵに搭載された、センシングカメラ４以外の光学センサの入射面３３を洗浄可能であってもよい。洗浄系６は、入射面３３毎に洗浄モジュール６０を備えている。すなわち、入射面３３が複数存在する場合には、複数の洗浄モジュール６０が自動運転ユニットＡＤＵに搭載される。各洗浄モジュール６０は、入射面３３を洗浄するための洗浄流体として、洗浄ガスを入射面３３へ噴射する、洗浄ノズルを有していてもよい。ここで、洗浄ガスは圧縮したエアであってもよいし、洗浄剤を含んだガスであってもよい。各洗浄モジュール６０は、入射面３３を洗浄するための洗浄流体として、洗浄液を入射面３３へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール６０は、複数種類の洗浄流体を噴射可能であってもよい。各洗浄モジュール６０は、入射面３３を払拭により洗浄する、洗浄ワイパを有していてもよい。

【0015】

データ処理装置７は、例えばＬＡＮ（Local Area Network）、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して自動運転ユニットＡＤＵの電気的構成要素４，５と接続される。データ処理装置７は、少なくとも一つの専用コンピュータを含んで構成される。なお、データ処理装置７は、車両２において自動運転ユニットＡＤＵ以外の箇所に搭載されていてもよい。

【0016】

データ処理装置７を構成する専用コンピュータは、例えば、車両２内のＥＣＵ（Electronic Control Unit）と共同して自動運転モードを制御する、運転制御ＥＣＵである。又は、データ処理装置７を構成する専用コンピュータは、車両２の走行アクチュエータを個別制御する、アクチュエータＥＣＵであってもよい。データ処理装置７を構成する専用コンピュータは、自己位置を含んだ車両２の状態量を推定する、ロケータＥＣＵであってもよい。データ処理装置７を構成する専用コンピュータは、車両２の走行経路をナビゲートする、ナビゲーションＥＣＵであってもよい。データ処理装置７を構成する専用コンピュータは、車両２の情報提示系の情報提示を制御する、ＨＣＵ（HMI（Human Machine Interface） Control Unit）であってもよい。

【0017】

データ処理装置７は、こうした専用コンピュータを含んで構成されることで、メモリ７１及びプロセッサ７２を少なくとも一つずつ有している。メモリ７１は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ７２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。

【0018】

データ処理装置７は、後述のセンシングカメラ４にて検出された外光画像Ｉｏを取得し、所定の画像処理を行う画像処理装置であり、車両２に搭載された情報処理装置である。所定の画像処理とは、例えば、画像の補正、画像認識等である。データ処理装置７が運転制御ＥＣＵである場合、データ処理装置７は、画像処理の結果に基づいて車両２の周辺環境を認識する。そして、データ処理装置７は、認識結果に応じた車両２の走行制御を実施する。データ処理装置７は、センシングカメラ４以外のセンサから取得した情報を、外光画像Ｉｏと併用して走行制御に利用してもよい。データ処理装置７は、センシングカメラ４に搭載された汚れ検出装置１よりも高い処理性能を有してよい。

【0019】

センシングカメラ４は、光学センサの一例であって、車両２において自動運転モードに活用可能な光学情報を取得する、所謂外界カメラである。センシングカメラ４は、撮像素子４１及び汚れ検出装置１を有している。

【0020】

撮像素子４１は、例えばＣＭＯＳ等の半導体素子である。撮像素子４１の外界側（本実施形態では前側）には、センシングカメラ４専用の入射面３３が、配置されている。外界のうち、撮像素子４１の画角により決まるセンシング領域ＡＣから、入射面３３へ入射する光により、同素子４１が露光される。なお、センシングカメラ４は、自動運転ユニットＡＤＵに複数設置されていてもよい。例えば、車両２の側方及び後方をそれぞれセンシング領域ＡＣとするセンシングカメラ４が設置されていてもよい。

【0021】

図２，３に示す汚れ検出装置１は、例えばＬＡＮ（Local Area Network）、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して自動運転ユニットＡＤＵの電気的構成要素６，７と接続される。汚れ検出装置１は、少なくとも一つの専用コンピュータを含んで構成される。

【0022】

汚れ検出装置１は、こうした専用コンピュータを含んで構成されることで、メモリ１１及びプロセッサ１２を少なくとも一つずつ有している。メモリ１１は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体である。プロセッサ１２は、例えばＣＰＵ、ＧＰＵ及びＲＩＳＣ－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。

【0023】

プロセッサ１２は、メモリ１１に記憶された汚れ検出プログラムに含まれる複数の命令を、実行する。これにより汚れ検出装置１は、洗浄系６を制御するための機能部（即ち、機能ブロック）を、複数構築する。このように汚れ検出装置１では、洗浄系６を制御するためにメモリ１１に記憶された汚れ検出プログラムが複数の命令をプロセッサ１２に実行させることで、複数の機能部が構築される。汚れ検出装置１により構築される複数の機能部には、図３に示すように画像生成部１１０、エッジ検出部１２０、領域特定部１３０、平均値算出部１４０、判定部１５０及び指示部１６０が含まれる。

【0024】

画像生成部１１０は、撮像素子４１における複数画素の露光及び走査を制御すると共に、同素子４１からの信号を処理してデータ化する。画像生成部１１０が撮像素子４１を露光する露光モードでは、センシング領域ＡＣ内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面３３を通して撮像素子４１に入射する。このとき画像生成部１１０は、撮像素子４１の複数画素を走査することで、反射された外光をセンシングする。ここで特に画像生成部１１０は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、外光強度に応じた外光画像Ｉｏを取得する。ここで、入射面３３に汚れが付着していた場合、図４に示すように、当該汚れに対応する汚れ像Ｃが外光画像Ｉｏに写り込むこととなる。このため、汚れ像Ｃが写り込んだ領域では、外光が実質的に遮蔽、又は周囲領域と比較して減衰される。ここで、汚れとは、例えば泥、虫の死骸及び鳥の糞等である。なお、外光画像Ｉｏには、輝度値に加えて色情報が含まれていてもよい。

【0025】

制御サイクル毎にエッジ検出部１２０には、センシングカメラ４から外光画像Ｉｏが入力される。エッジ検出部１２０は、外光画像Ｉｏに対して、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Ｉｃからエッジを検出する。換言すれば、エッジ検出部１２０は、図４に示すように、輝度値を含む外光画像Ｉｏから、エッジ情報を含むエッジ画像Ｉｅを生成する。エッジ検出部１２０は、１フレームごとに外光画像Ｉｏからエッジ画像Ｉｅを生成し、エッジの履歴としてメモリ１１に逐次格納する。エッジ検出部１２０は、「エッジ画像生成部」の一例である。

【0026】

ここで、図４に示すように、汚れ像Ｃが写り込んだ外光画像Ｉｏから生成されたエッジ画像Ｉｅは、外光の実質的な遮蔽又は減衰により、実質的にエッジの抽出されない領域を、汚れ像Ｃに対応する領域として含むことになる。汚れ像Ｃは入射面３３に対して実質的に相対移動しないため、図５に示すように、汚れ像Ｃの写り込んだ領域は、複数フレームにわたって位置が実質変化しない。ここで、図５に示す複数フレーム画像Ｉｅｍは、１０フレーム分のエッジ画像Ｉｅを重ねて示した画像である。なお、センシングカメラ４の焦点距離が比較的長い場合、汚れ像Ｃのエッジは抽出されない。又は、センシングカメラ４の焦点距離が比較的短い場合、汚れ像Ｃのエッジが抽出され得る。この場合、当該エッジの内側にエッジの抽出されない領域が存在することになる。

【0027】

領域特定部１３０は、車両２の走行中における複数フレーム間でのエッジ画像Ｉｅの変化に基づいて、汚れが付着した領域の候補である候補領域ＢＬｃを特定する。例えば、領域特定部１３０は、車両２の走行中における規定数の複数フレームにわたってエッジが抽出されないと判断した領域を、候補領域ＢＬｃとして特定する。詳記すると、領域特定部１３０は、１つのエッジ画像Ｉｅを複数のブロックＢＬに分割する（図６参照）。領域特定部１３０は、ブロックＢＬ毎にエッジの検出有無を判定し、複数フレームにわたってエッジが検出されないと判断したブロックＢＬを、候補領域ＢＬｃとして抽出する。なお、図６では、エッジ画像Ｉｅを１２分割するブロックＢＬが記載されているが、エッジ画像Ｉｅをより細かく分割するブロックＢＬが設定されてもよい。領域特定部１３０は、「特定部」の一例である。

【0028】

平均値算出部１４０は、エッジ画像Ｉｅに対応する外光画像Ｉｏにおける候補領域ＢＬｃ内の輝度値について、フレーム毎の平均値（輝度平均値）を算出する。例えば、平均値算出部１４０は、候補領域ＢＬｃを特定されたエッジ画像Ｉｅの元となる外光画像Ｉｏについて、候補領域ＢＬｃ内のピクセルの輝度値を行毎に積算して各行における平均値（行平均値）を取得する。そして、平均値算出部１４０は、行平均値を積算して候補領域ＢＬｃ全体の輝度平均値を算出する。平均値算出部１４０は、以上の処理を規定数のフレームにわたって実行し、フレーム毎の輝度平均値をメモリ１１に格納する。輝度平均値は、「特徴量」の一例である。

【0029】

また、平均値算出部１４０は、洗浄系６による洗浄処理が終了すると、画像生成部１１０にて生成された洗浄後の外光画像Ｉｏを取得し、洗浄後の候補領域ＢＬｃにおける輝度平均値を算出する。このとき、平均値算出部１４０は、洗浄後に生成された複数フレームのうち特定フレームの外光画像Ｉｏにおける輝度平均値を算出すればよい。又は、平均値算出部１４０は、規定数より少ない所定数のフレームの各外光画像Ｉｏについて輝度平均値を算出し、それらの平均値（フレーム間平均値）を算出してもよい。

【0030】

判定部１５０は、複数フレームにわたる輝度平均値の変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定する。付着範囲は、変動量に関する閾値以下、又は当該閾値未満となる数値範囲に規定される。変動量が付着範囲内であるということは、外光を実質遮蔽する又は減衰させる汚れが入射面３３の候補領域ＢＬｃに対応する部分に付着しており、外光の変化が検出されづらくなっている可能性が高い。一方で、変動量が付着範囲外である場合には、外光の変化を十分に検出できる程度の、洗浄処理の必要性のない付着物が付着している可能性、又は、車両２との相対位置の変化が少ない並走移動体が存在している可能性が高い。判定部１５０は、判定結果を指示部１６０へと提供する。汚れの付着判定が下されるということは、指示部１６０にて汚れの付着に対応するための処理が実行されることを意味する。

【0031】

加えて、判定部１５０は、洗浄前の輝度平均値と、洗浄後の輝度平均値との差分が、汚れの残留判定を下す残留範囲内であるか否かを判定する。残留範囲は、輝度平均値の差分に関する閾値以下、又は当該閾値未満となる数値範囲に規定される。このとき、判定部１５０は、洗浄前における特定フレームの外光画像Ｉｏにおける輝度平均値と、洗浄後における特定フレームの外光画像Ｉｏにおける輝度平均値との差分について判定を実行すればよい。又は、判定部１５０は、洗浄前と洗浄後のフレーム間平均値の差分について判定を実行してもよい。差分が残留範囲内であるということは、汚れが洗浄処理によって除去されず、残留している可能性が高い。特に、虫の死骸及び鳥の糞は、泥に比較して残留し易い。判定部１５０は、判定結果を指示部１６０へと提供する。汚れの残留判定が下されるということは、指示部１６０にて汚れの残留に対応するための処理が実行されることを意味する。

【0032】

指示部１６０は、変動量が付着範囲内であると判定された場合に、自動運転モードの車両２における洗浄系６に対して洗浄制御を指示する。すなわち、指示部１６０では、候補領域ＢＬｃにおける変動量が閾値以下又は未満となる場合に、候補領域ＢＬｃにて洗浄対象となる汚れが付着していると判断されることになる。指令を受けて洗浄系６は、図２の如くセンシングカメラ４の入射面３３に対応する洗浄モジュール６０を駆動制御することで、入射面３３の洗浄処理を実行する。なお、以下において、この洗浄処理を通常洗浄処理と表記する場合が有る。

【0033】

加えて、指示部１６０は、洗浄前後での輝度平均値の差分が残留範囲内であると判定された場合に、自動運転モードの車両２における洗浄系６に対して、洗浄方法を変更した洗浄処理を指示する。例えば、指示部１６０は、通常洗浄処理に対して洗浄能力を高めるように洗浄方法を変更した洗浄処理（特殊洗浄処理）を指示する。指示部１６０は、特殊洗浄処理として、洗浄手段の変更を指示してもよい。ここで、洗浄手段は、洗浄ガスの噴射、洗浄液の噴射、及びワイパによる払拭等が含まれる。又は、指示部１６０は、特殊洗浄処理として、洗浄流体の噴射圧の増大を指示してもよい。又は、指示部１６０は、特殊洗浄処理として、洗浄流体の噴射量の増大を指示してもよい。又は、指示部１６０は、特殊洗浄処理として、洗浄流体の種類の変更を指示してもよい。

【0034】

このような機能部１１０～１６０の共同により、汚れ検出装置１が洗浄系６を制御する汚れ検出方法のフローを、図７及び図８に従って以下に説明する。なお、本フローにおける各「Ｓ」は、汚れ検出プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。

【0035】

まず、図７のＳ１０において画像生成部１１０は、撮像素子４１の露光によりセンシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、外光画像Ｉｏを生成する。次に、Ｓ２０では、エッジ検出部１２０は、外光画像Ｉｏからエッジを検出し、エッジ画像Ｉｅを生成する。続いて、Ｓ３０では、エッジ検出部１２０が、Ｓ２０にて生成したエッジ画像Ｉｅをメモリ１１に格納する。

【0036】

さらに、Ｓ４０では、領域特定部１３０が、格納されたエッジ画像Ｉｅのフレーム数が規定数に到達したか否かを判定する。規定数に到達していないと判定すると、Ｓ１０へと戻る。一方で、規定数に到達したと判定すると、Ｓ４０へと進む。Ｓ４０では、領域特定部１３０が、規定のフレーム数のエッジ画像Ｉｅに基づいて、候補領域ＢＬｃが存在するか否かを判定する。具体的には、領域特定部１３０は、規定数のフレームにわたって、エッジ画像Ｉｅにエッジが検出されないと判断される候補領域ＢＬｃが有るか否かを判定する。候補領域ＢＬｃが存在しないと判定すると、Ｓ１０へと戻る。

【0037】

一方で、候補領域ＢＬｃが存在すると判定すると、本フローがＳ５０へと移行する。Ｓ５０では、平均値算出部１４０が、エッジ画像Ｉｅに対応する外光画像Ｉｏにおける候補領域ＢＬｃ内の輝度値について、フレーム毎に平均値（輝度平均値）を算出する。次に、Ｓ６０では、平均値算出部１４０が、算出した各フレームの輝度平均値をメモリ１１に格納する。

【0038】

続くＳ７０では、判定部１５０が、規定のフレーム数分の輝度平均値の変動量を算出し、当該変動量が付着範囲内であるか否かを判定する。付着範囲外であると判定すると、洗浄が不要であると判断されるため、本フローがＳ１０へと戻る。

【0039】

一方で、変動量が付着範囲内であると判定すると、洗浄が必要であると判断されるため、Ｓ８０へと進む。Ｓ８０では、指示部１６０が、洗浄指示を生成し、洗浄系６へと送信する。

【0040】

図８に移り、Ｓ９０では、平均値算出部１４０が、洗浄系６による洗浄処理が終わったか否かを判定する。終わったと判定すると、Ｓ１００にて、平均値算出部１４０が、洗浄後の候補領域ＢＬｃにおける輝度平均値を算出する。

【0041】

続くＳ１１０では、判定部１５０が、洗浄前の輝度平均値と、洗浄後の輝度平均値との差分が、残留範囲内であるか否かを判定する。残留範囲外であると判定すると、洗浄により汚れの除去が完了したと判断されるので、本フローが終了する。一方で、差分が残留範囲内であると判定すると、本フローがＳ１２０へと移行する。Ｓ１２０では、指示部１６０が、洗浄方法を変更した洗浄指示を送信する。洗浄指示が送信されると、本フローが終了する。

【0042】

なお、上述のＳ２０，Ｓ３０が「エッジ画像生成プロセス」、Ｓ３５，Ｓ４０が「特定プロセス」、Ｓ７０，Ｓ１１０が「判定プロセス」、Ｓ８０，Ｓ１２０が「指示プロセス」の一例である。

【0043】

以上の第１実施形態によれば、まず複数フレームのエッジ画像Ｉｅに基づいて、汚れが付着した候補領域ＢＬｃが特定される。さらに、外光画像Ｉｏにおける当該候補領域ＢＬｃ内の輝度平均値について、複数フレームにわたる変動量が汚れの付着判定を下す付着範囲であるか否かが判定される。洗浄の必要性が高い汚れほど外光の透過度合が小さいため、外光画像Ｉｏにおける輝度平均値についての変動量も小さくなる。故に、候補領域ＢＬｃに洗浄の必要性が比較的高い汚れが付着していた場合、これを確実に検出し得る。具体的には、泥、虫の死骸、糞等の汚れが、確実に検出され得る。以上により、汚れ検出の確実性が向上可能となり得る。

【0044】

また、第１実施形態によれば、輝度平均値の変動量が付着範囲内であると判定した場合に、洗浄系６に対して洗浄処理の実行が指示される。故に、入射面３３に汚れが付着していると判定された場合に、洗浄系６による洗浄処理が当該入射面に対して確実に実行され得る。したがって、付着した汚れに対する適切な対応が可能となる。

【0045】

加えて、第１実施形態によれば、車両２の走行中における複数フレームにわたってエッジが抽出されないと判断した領域が、候補領域ＢＬｃに特定される。入射面３３に付着した汚れに対してはセンシングカメラ４の焦点がずれ易いため、結果として、汚れはエッジの抽出されないぼやけた像として撮像され得る。故に、エッジが抽出されないと判断された領域が候補領域ＢＬｃに特定されることで、汚れの付着した範囲が確実に候補領域ＢＬｃに含まれ得る。したがって、エッジ検出の段階での汚れ検出の確実性が向上され得る。

【0046】

さらに、第１実施形態によれば、洗浄処理の実行前における輝度平均値と洗浄処理の実行後における輝度平均値との差分について、汚れの残留判定を下す残留範囲内であるか否かが判定される。故に、差分が残留範囲内である場合に、汚れが洗浄処理によって除去されずに残量していることが確実に検知され得る。したがって、洗浄処理による除去が難しい汚れに対する対応が可能となり得る。

【0047】

また、第１実施形態によれば、洗浄処理の実行前後での輝度平均値の差分が残留範囲内であると判定されると、洗浄方法を変更した洗浄処理の実行を洗浄系６に指示する。故に、洗浄処理による除去が難しい汚れに対して、異なる洗浄方法による洗浄を試みることが可能となる。したがって、除去が比較的難しい汚れの除去可能性が向上し得る。

【0048】

（第２実施形態）
第２実施形態では、第１実施形態における汚れ検出装置１の変形例について説明する。図９及び図１０において第１実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。

【0049】

第２実施形態における指示部１６０は、洗浄前後で輝度平均値の差分が残留範囲内であると判定されると、汚れに対する対応処理を、データ処理装置７に指示する（Ｓ１２５）。この対応処理は、汚れに対する洗浄処理とは異なる。例えば、指示部１６０は、外光画像Ｉｏにおける候補領域ＢＬｃを、画像処理の対象から除外する指示を送信する。又は、指示部１６０は、候補領域ＢＬｃが存在すると判定されたセンシングカメラ４からのデータ自体の使用を中断する指示を送信してもよい。又は、指示部１６０は、自動運転モード中の車両２を停車させる指示を送信してもよい。

【0050】

以上の第２実施形態によれば、洗浄処理の実行前後での輝度平均値の差分が残留範囲内であると判定されると、洗浄系６による洗浄処理とは異なる対応処理がデータ処理装置７に指示され得る。故に、洗浄処理による除去が難しい汚れが付着している場合に、当該汚れの存在を考慮した情報処理が、データ処理装置７にて実施可能となる。したがって、除去が比較的難しい汚れに対する適切な対応が可能となり得る。

【0051】

（第３実施形態）
第３実施形態では、第１実施形態における汚れ検出装置１の変形例について説明する。図１１及び図１２において第１実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。

【0052】

第３実施形態における指示部１６０は、輝度平均値の変動量が付着範囲内であると判定されると、データ処理装置７に対して、外光画像Ｉｏに基づく汚れの検出処理（詳細検出処理）を指示する（Ｓ８５）。

【0053】

詳細検出処理において、データ処理装置７は、候補領域ＢＬｃを含む外光画像Ｉｏを画像認識することで、候補領域ＢＬｃに実際に汚れが付着しているか否かを判定する。なお、データ処理装置７は、画像認識により、候補領域ＢＬｃに付着している汚れの種別を判別してもよい。汚れが付着していると判定すると、データ処理装置７は、洗浄系６に対して洗浄処理を指示する。又は、データ処理装置７が、洗浄が必要である旨の情報を汚れ検出装置１の指示部１６０へと送信してもよい。この場合、指示部１６０が、洗浄の指示を洗浄系６へと送信する。

【0054】

以上の第３実施形態によれば、輝度平均値の変動量が付着範囲内であると判定された場合に、外光画像Ｉｏの画像処理を行うデータ処理装置７に対して、外光画像Ｉｏに基づく汚れの検出を指示する。故に、汚れ検出装置１からの指示に応じて、データ処理装置７にてより詳細な汚れ検出処理が実行され得る。このため、データ処理装置７にて汚れ検出処理を常時実施することを回避可能となる。したがって、データ処理装置７の処理負荷が低減され得る。

【0055】

（第４実施形態）
第４実施形態では、第１実施形態における汚れ検出装置１の変形例について説明する。図１３において第１実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。

【0056】

第４実施形態における領域特定部１３０は、車両２の走行中における複数フレームにわたって位置が固定であると判断したエッジにより囲まれた領域を、候補領域ＢＬｃに特定する（Ｓ４５）。領域特定部１３０は、例えば、第１実施形態と同様に、エッジ画像Ｉｅを複数のブロックＢＬに分割し、位置が固定であると判断したエッジにより囲まれたブロックＢＬを候補領域ＢＬｃとすればよい。

【0057】

以上の第４実施形態によれば、車両２の走行中における複数フレームにわたって位置が固定であると判断したエッジにより囲まれた領域が、候補領域ＢＬｃに特定される。入射面３３に付着した汚れは、走行中の車両２に対して実質的に相対移動しないため、結果として、汚れはエッジの位置が固定である像として撮像され得る。故に、エッジの位置が固定であると判断された領域が候補領域ＢＬｃに特定されることで、汚れの付着した範囲が確実に候補領域ＢＬｃに含まれ得る。したがって、エッジ検出の段階での汚れ検出の確実性が向上され得る。

【0058】

（第５実施形態）
第５実施形態では、第１実施形態における汚れ検出装置１の変形例について説明する。図１４～図１６において第１実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。

【0059】

第５実施形態において、自動運転ユニットＡＤＵは、光学センサとしてＬｉＤＡＲ（Light Detection and Ranging / Laser Imaging Detection and Ranging）５を備えている。ＬｉＤＡＲ５は、センシングカメラ４と同様に、車両２において自動運転モードに活用可能な光学情報を取得する。ＬｉＤＡＲ５は、発光素子５０、撮像素子５１及び汚れ検出装置８を有している。

【0060】

発光素子５０は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光素子５０は、車両２の外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。撮像素子５１は、例えばＳＰＡＤ（Single Photon Avalanche Diode）等の、光に対して高感度な半導体素子である。撮像素子５１の外界側（本実施形態では前側）には、ＬｉＤＡＲ５専用の入射面３３が、配置されている。以下において、区別のため、センシングカメラ４専用の入射面３３を入射面３３Ｃ、ＬｉＤＡＲ５専用の入射面３３を入射面３３Ｌと表記する。外界のうち、撮像素子５１の画角により決まるセンシング領域ＡＬから、入射面３３Ｌへ入射する光により、同素子５１が露光される。

【0061】

第５実施形態において、汚れ検出装置８は、ＬｉＤＡＲ５に搭載された電子制御装置である。汚れ検出装置８は、第１実施形態と同様に、少なくとも一つの専用コンピュータを含んで構成され、メモリ８１及びプロセッサ８２を少なくとも一つずつ有している。汚れ検出装置８では、洗浄系６を制御するためにメモリ８１に記憶された汚れ検出プログラムが複数の命令をプロセッサ８２に実行させることで、複数の機能部が構築される。汚れ検出装置１により構築される複数の機能部には、図１５に示すように画像生成部１１５、エッジ検出部１２０、領域特定部１３０、平均値算出部１４０、判定部１５０及び指示部１６０が含まれる。なお、第１実施形態における機能部と同符号の機能部については、第１実施形態の説明を援用する。

【0062】

画像生成部１１５は、撮像素子５１における複数画素の露光及び走査を制御すると共に、同素子５１からの信号を処理してデータ化する。画像生成部１１５が発光素子５０からの光照射により撮像素子５１を露光する反射光モードでは、センシング領域ＡＬ内の物点がレーザ光の反射点となる。その結果、反射点での反射されたレーザ光（以下、反射光という）が、入射面３３Ｌを通して撮像素子５１に入射する。このとき画像生成部１１５は、撮像素子５１の複数画素を走査することで、反射光をセンシングする。これにより、画像生成部１１５は、反射物（対象物）の点群データを取得する。

【0063】

一方、画像生成部１１５が発光素子５０からの断続的な光照射の停止中に撮像素子５１を露光する外光モードでは、センシング領域ＡＬ内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面３３Ｌを通して撮像素子５１に入射する。このとき画像生成部１１５は、撮像素子５１の複数画素を走査することで、反射された外光をセンシングする。ここで特に画像生成部１１５は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、センシングカメラ４における画像生成部１１０と同様に、外光画像Ｉｏを取得する。

【0064】

また、画像生成部１１５は、判定部１５０にて候補領域ＢＬｃにおける輝度平均値の変動量が付着範囲内であると判定された場合には、当該候補領域ＢＬｃに対応する点群（対応点群）について、他の点群よりも信頼度を低く設定する。例えば、画像生成部１１５は、点群データの各点、又は所定処理によりグループ分けされた各点群グループに対して、信頼度のタグ付けを行い、対応点群について、他の点群よりも低い信頼度をタグ付けする。

【0065】

画像生成部１１５は、以上により信頼度を設定した点群データを、データ処理装置７へと逐次送信する。データ処理装置７は、点群データのうち信頼度の低い点群、すなわち対応点群を、点群データから棄却する。データ処理装置７は、対応点群の周囲の点群情報、又はセンシング領域が重複する他のセンサの検出データ等に基づいて、棄却部分を補完する。

【0066】

このような機能部１１５～１６０の共同により、汚れ検出装置８が洗浄系６を制御する汚れ検出方法のフローについて、図１６に従って説明する。

【0067】

Ｓ１０～Ｓ７０までの処理は、第１実施形態の図７と同様である。Ｓ７０にて輝度平均値の変動量が付着範囲内であると判定されると、本フローがＳ７５に移行する。Ｓ７５では、画像生成部１１５が、候補領域ＢＬｃに対応する対応点群の信頼度を、他の点群よりも低く設定する。続くＳ８０の処理は図７と同様であり、Ｓ８０に続く処理は図８と同様である。

【0068】

なお、上述の画像生成部１１５が、「設定部」の一例であり、Ｓ７５が、「設定プロセス」の一例である。

【0069】

（第６実施形態）
第６実施形態では、第１実施形態における汚れ検出装置１の変形例について説明する。図１７及び図１８において第１実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。第６実施形態において、汚れ検出装置１は、ＬｉＤＡＲ５にて検出された点群データを、候補領域ＢＬｃにおける汚れの付着判定に利用する。

【0070】

例えば、第６実施形態では、センシングカメラ４の汚れ検出装置１における領域特定部１３０が、該当するエッジ画像Ｉｅと実質同時刻にＬｉＤＡＲ５にて検出された点群データを取得する。なお、このときのセンシングカメラ４とＬｉＤＡＲ５のセンシング領域ＡＣ，ＡＬは、少なくとも一部重複している。領域特定部１３０は、候補領域ＢＬｃに対応する反射物の点群が検出されているか否かを判定する（Ｓ４１）。

【0071】

領域特定部１３０は、対応する反射物の点群が検出されていないと判定されると、候補領域ＢＬｃを棄却する。すなわち、この場合に領域特定部１３０は、候補領域ＢＬｃに汚れが付着していないと判定する。一方で、領域特定部１３０にて反射物の点群が存在すると判定された場合、平均値算出部１４０による平均値の算出が実行される（Ｓ５０）。なお、Ｓ４１の判定処理は、Ｓ７０の後に実行されてもよい。以上の実施形態によれば、入射面３３に付着した汚れ像Ｃと、空に相当する空領域とが、識別され得る。

【0072】

（第７実施形態）
第７実施形態では、第６実施形態における汚れ検出装置１の変形例について説明する。図１９において第１実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。第７実施形態において、汚れ検出装置１は、ＬｉＤＡＲ５等の他の光学センサにおけるエッジ画像Ｉｅに基づく候補領域ＢＬｃの特定結果を、候補領域ＢＬｃにおける汚れの付着判定に利用する。

【0073】

例えば、第７実施形態では、センシングカメラ４の汚れ検出装置１における領域特定部１３０が、ＬｉＤＡＲ５の汚れ検出装置８における候補領域ＢＬｃの特定結果を取得する。領域特定部１３０は、自身が特定した候補領域ＢＬｃと対応する位置において、ＬｉＤＡＲ５でも候補領域ＢＬｃが特定されたか否かを判定する（Ｓ４２）。

【0074】

特定されたと判定すると、領域特定部１３０は、候補領域ＢＬｃを棄却する。すなわち、この場合に領域特定部１３０は、候補領域ＢＬｃに汚れが付着していないと判定する。一方で、領域特定部１３０にてＬｉＤＡＲ５では候補領域ＢＬｃが特定されなかったと判定された場合、平均値算出部１４０による平均値の算出が実行される（Ｓ５０）。なお、Ｓ４２の判定処理は、Ｓ７０の後に実行されてもよい。

【0075】

以上の実施形態によれば、候補領域ＢＬｃにおける汚れの付着判定の精度が向上される。なお、第７実施形態では、センシングカメラ４の汚れ検出装置１においてＬｉＤＡＲ５での特定結果に基づく付着判定が実施される構成とした。これに代えて、センシングカメラ４の汚れ検出装置１において他のセンシングカメラ４での特定結果に基づく付着判定が実施される構成としてもよい。又は、ＬｉＤＡＲ５の汚れ検出装置８においてセンシングカメラ４又は他のＬｉＤＡＲ５での特定結果に基づく付着判定が実施される構成であってもよい。センシング領域の少なくとも一部が重複していれば、あらゆる光学センサの組み合わせにより上述の判定処理が実施可能となる。

【0076】

（他の実施形態）
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品及び／又は要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品及び／又は要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品及び／又は要素の置き換え、又は組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものと解されるべきである。

【0077】

上述の実施形態において、汚れ検出装置１，８を構成する専用コンピュータは、対応する光学センサを制御する電子制御装置であるとした。これに代えて、汚れ検出装置１，８を構成する専用コンピュータは、運転制御ＥＣＵであってもよいし、アクチュエータＥＣＵであってもよい。又は、汚れ検出装置１，８を構成する専用コンピュータは、ロケータＥＣＵであってもよいし、ナビゲーションＥＣＵであってもよい。又は、汚れ検出装置１，８を構成する専用コンピュータは、ＨＣＵであってもよい。なお、汚れ検出装置１，８は、車両２において自動運転ユニットＡＤＵ以外の箇所に搭載されていてもよい。

【0078】

上述の実施形態の変形例として、汚れ検出装置１，８は、空に相当する空領域を識別する機能をさらに有していてもよい。例えば、平均値算出部１４０が、現在の時間帯と、輝度平均値とに基づいて、候補領域ＢＬｃから空領域を判別してもよい。又は、平均値算出部１４０は、現在の天候と、輝度平均値とに基づいて、候補領域ＢＬｃから空領域を識別してもよい。又は、画像生成部１１０，１１５が、周辺の建造物の三次元位置情報を含む地図情報に基づいて、外光画像Ｉｏから空領域を識別してもよい。又は、データ処理装置７にて識別した空領域に関する情報を、汚れ検出装置１，８が取得してもよい。

【0079】

上述の実施形態の変形例として、汚れ検出装置１，８は、地図情報に基づいて汚れを検出する機能をさらに有していてもよい。例えば、汚れ検出装置１，８は、地図情報に基づいて外光画像Ｉｏに写り込むと推定されるオブジェクトが検出されない、又は一部が欠けている領域を、汚れの付着が推定される領域とする。この機能は、領域特定部１３０でのエッジ画像Ｉｅに基づく候補領域ＢＬｃの特定と組み合わされてもよいし、判定部１５０における変動量に基づく汚れの付着判定と組み合わされてもよい。

【0080】

上述の実施形態の変形例として、汚れ検出装置１，８は、車両２がカーブ走行していると判断した場合に、汚れ検出処理を実行する構成であってもよい。例えば、画像生成部１１０，１１５が、カーブ走行しているか否かを判定し、カーブ走行していると判断した場合に、エッジ検出部１２０へと提供する外光画像Ｉｏを生成してもよい。なお、汚れ検出装置１，８は、車両２がカーブ走行しているか否かを、車両２のヨーレート、操舵角及び操舵トルク等に基づいて判断すればよい。又は、汚れ検出装置１，８は、車両２の現在位置と地図情報とに基づいて、車両２がカーブ走行しているか否かを判定してもよい。又は、汚れ検出装置１，８は、他の車載ＥＣＵ等から、車両２がカーブ走行している旨の情報を取得した場合に、車両２がカーブ走行していると判断する構成であってもよい。

【0081】

上述の実施形態において、入射面３３を形成する透光カバー３２は、ハウジング３に設けられているとした。これに代えて、入射面３３は、対応する光学センサに設けられていてもよい。例えば、入射面３３は、対応する光学センサにおけるレンズ等の光学部材により、形成されていてもよい。

【0082】

汚れ検出装置１，８は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサ１２，８２として含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。

【0083】

汚れ検出装置１は、１つのコンピュータ、又はデータ通信装置によってリンクされた一組のコンピュータ資源によって提供され得る。例えば、上述の実施形態における汚れ検出装置１の提供する機能の一部は、他のＥＣＵによって実現されてもよい。

【符号の説明】

【0084】

１，８ 汚れ検出装置、 ２ 車両、 ４ センシングカメラ（光学センサ）、 ５ ＬｉＤＡＲ（光学センサ）、 ６ 洗浄系、 ７ データ処理装置（画像処理装置、情報処理装置）、 １２，８２ プロセッサ、 ３３ 入射面、 １１５ 画像生成部（設定部）、 １２０ エッジ検出部（エッジ画像生成部）、 １３０ 領域特定部（特定部）、 １５０ 判定部、 １６０ 指示部、 Ｉｏ 外光画像、 Ｉｅ エッジ画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】