(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-28
(45)【発行日】2023-03-08
(54)【発明の名称】付着物検出装置および付着物検出方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230301BHJP
【FI】
G06T7/00 650A
(21)【出願番号】P 2019172207
(22)【出願日】2019-09-20
【審査請求日】2021-11-17
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】100106149
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】河野 貴
(72)【発明者】
【氏名】朝山 信徳
(72)【発明者】
【氏名】池田 修久
(72)【発明者】
【氏名】谷 泰司
(72)【発明者】
【氏名】山本 大輔
(72)【発明者】
【氏名】塩田 大輔
(72)【発明者】
【氏名】上林 輝彦
【審査官】千葉 久博
(56)【参考文献】
【文献】特開2018-71994(JP,A)
【文献】特開2017-138736(JP,A)
【文献】特開2006-262101(JP,A)
【文献】特開2005-346651(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出部と、
前記抽出部によって抽出された前記候補領域における所定の内部領域において所定方向に連続する複数画素の輝度変化量を算出する算出部と、
前記算出部によって算出された前記輝度変化量が第1の範囲にある前記輝度変化量の数と、前記第1の範囲よりも前記輝度変化量が大きい第2の範囲にある前記輝度変化量の数とに基づいて前記候補領域が前記付着物領域であるか否かを判定する判定部と
を備え
、
前記判定部は、
前記第1の範囲にある前記輝度変化量の数が所定数以上、かつ、前記第2の範囲にある前記輝度変化量の数が所定数以上である場合、前記候補領域が前記付着物領域ではないと判定することを特徴とする付着物検出装置。
【請求項2】
前記算出部は、
前記所定方向に隣接する2つの画素の輝度差分値を第1差分として算出し、前記所定方向に連続する2つの前記第1差分の差分値である第2差分を前記輝度変化量として算出すること
を特徴とする請求項1に記載の付着物検出装置。
【請求項3】
前記
算出部は、
前記
画像の垂直方向に連続する前記複数画素の輝度変化量を算出すること
を特徴とする請求項1または2に記載の付着物検出装置。
【請求項4】
撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出工程と、
前記抽出工程によって抽出された前記候補領域における所定の内部領域において所定方向に連続する複数画素の輝度変化量を算出する算出工程と、
前記算出工程によって算出された前記輝度変化量が第1の範囲にある前記輝度変化量の数と、前記第1の範囲よりも前記輝度変化量が大きい第2の範囲にある前記輝度変化量の数とに基づいて前記候補領域が前記付着物領域であるか否かを判定し、前記第1の範囲にある前記輝度変化量の数が所定数以上、かつ、前記第2の範囲にある前記輝度変化量の数が所定数以上である場合、前記候補領域が前記付着物領域ではないと判定する判定工程と
を含むことを特徴とす
る付着物検出
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、付着物検出装置および付着物検出方法に関する。
【背景技術】
【0002】
従来、撮像画像の各画素から検出されるエッジに基づき、雨滴等の形状に類似した特徴をもつ候補領域を検出し、候補領域の画素値に基づいて付着物領域を検出する付着物検出装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。例えば、雨滴の形状と、室内照明下における路面反射の形状とが類似しているため、路面反射を付着物領域として誤検出するおそれがあった。
【0005】
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、抽出部と、算出部と、判定部とを備える。抽出部は、撮像装置で撮像された画像の各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。算出部は、抽出部によって抽出された候補領域における所定の内部領域において所定方向に連続する複数画素の輝度変化量を算出する。判定部は、算出部によって算出された輝度変化量が第1の範囲にある輝度変化量の数と、第1の範囲よりも輝度変化量が大きい第2の範囲にある輝度変化量の数とに基づいて候補領域が付着物領域であるか否かを判定する。判定部は、第1の範囲にある輝度変化量の数が所定数以上、かつ、第2の範囲にある輝度変化量の数が所定数以上である場合、候補領域が付着物領域ではないと判定する。
【発明の効果】
【0007】
本発明によれば、付着物を高精度に検出することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る付着物検出方法の概要を示す図である。
【
図2】
図2は、実施形態に係る付着物検出装置の構成を示すブロック図である。
【
図5】
図5は、抽出部による除外処理を示す図である。
【
図7】
図7は、算出部による算出処理を示す図である。
【
図8】
図8は、判定部による判定処理を示す図である。
【
図9】
図9は、判定部による継続性の判定処理を示す図である。
【
図10】
図10は、フラグ出力部による面積計算処理を示す図である。
【
図11】
図11は、実施形態に係る付着物検出装置が実行する付着物の全体処理の処理手順を示すフローチャートである。
【
図12】
図12は、実施形態に係る付着物検出装置が実行する付着物の判定処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【0010】
まず、
図1を用いて、実施形態に係る付着物検出方法の概要について説明する。
図1は、実施形態に係る付着物検出方法の概要を示す図である。なお、
図1には、例えば、車載カメラ(撮像装置の一例)のレンズに雨滴等の水滴が付着した状態で撮像された撮像画像Iを示している。
【0011】
カメラのレンズに、泥や、埃、雨滴、雪片等の付着物が付着すると、撮像画像Iから車両の周囲の情報、例えば、駐車枠や、他車両や、人の情報を取得できず、駐車枠や、他車両や、人などを正確に検出することができなくなるおそれがある。なお、付着物は、泥、埃、雨滴および雪片に限定されるものではなく、付着物の領域がぼやけた領域となる付着物であればよい。
【0012】
しかしながら、従来は、レンズに付着物が付着していないにも関わらず、付着物を誤検出するおそれがあった。そのようなケースとして、室内照明によって照らされた路面反射を誤検出する場合がある。具体的には、撮像画像における路面反射(特に路面が凹凸の少ないつるつるな状態)の輝度の特徴と、雨滴等のぼやけた付着物領域の輝度の特徴とが類似しているため、路面反射の領域を付着物領域として誤検出するおそれがあった。
【0013】
そこで、実施形態に係る付着物検出装置1(
図2参照)は、付着物検出方法を実行することで、路面反射の領域と付着物領域とを高精度に判別する。
【0014】
具体的には、まず、実施形態に係る付着物検出方法では、撮像画像Iの各画素から検出されるエッジに基づき、カメラのレンズに付着した付着物に対応する付着物領域の候補となる候補領域100を抽出する(ステップS1)。
【0015】
実施形態に係る付着物検出方法では、例えば、パターンマッチング等のマッチング処理により、雨滴等の円形状の輪郭を含む矩形状の領域を候補領域100として抽出する。
【0016】
つづいて、実施形態に係る付着物検出方法では、抽出した候補領域100における所定の内部領域200において所定方向に連続する複数画素の輝度変化量を算出する(ステップS2)。
【0017】
図1では、候補領域100において、撮像画像Iの中央領域に内部領域200を設定するとともに、垂直方向に連続する3画素の輝度変化量を算出する。また、輝度変化量は、複数画素における輝度の差分値である。なお、3画素について、2度の差分計算を行った結果を輝度変化量とするが、かかる点については後述する。
【0018】
つづいて、実施形態に係る付着物検出方法では、算出した輝度変化量のヒストグラムを作成し、当該ヒストグラムに基づいて候補領域100が付着物領域であるか否かを判定する(ステップS3)。
【0019】
図1の下段では、横軸である階級を輝度変化量とし、縦軸である度数を領域度数としたヒストグラムを示している。なお、領域度数とは、複数画素の数に対応した数であり、1つの度数が1つの複数画素に対応している。言い換えれば、1つの度数は、1つの複数画素における輝度変化量(すなわち、1つの輝度変化量)に対応している。また、領域度数は、度数総和が所定値となるよう正規化した度数である。
【0020】
実施形態に係る付着物検出方法では、ヒストグラムにおいて、輝度変化量が第1の範囲にある輝度変化量の数と、第1の範囲よりも輝度変化量が大きい第2の範囲にある輝度変化量の数とに基づいて付着物領域の判定を行う。なお、輝度変化量の数は、1つの複数画素を1単位とする複数画素の単位数と言い換えることもできる。
【0021】
例えば、第1の範囲の領域度数(輝度変化量の数)が多いほど、候補領域100は、画像の輝度変化の箇所が少ないのっぺりした状態となり、第2の範囲の領域度数(輝度変化量の数)が多いほど、候補領域100は、画像の輝度変化の箇所が多いざらざらした状態となる。
【0022】
詳細は後述するが、第1の範囲の領域度数が多いほど、雨滴等の付着物領域の特徴に類似し、第2の範囲の領域度数が多いほど、路面反射の特徴に類似する。これは、路面にできた傷や汚れ等により第2の範囲の領域度数が多くなるためであり、雨滴の場合には、このような特徴が見られないため、第2の範囲の領域度数が少なくなる。
【0023】
このように、実施形態に係る付着物検出方法では、第1の範囲の輝度変化量の数と、第2の範囲の輝度変化量の数とに基づいて付着物領域を判定することで、路面反射の領域と、付着物領域とを高精度に判別できる。すなわち、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。
【0024】
次に、
図2を用いて、実施形態に係る付着物検出装置1の構成について説明する。
図2は、実施形態に係る付着物検出装置1の構成を示すブロック図である。
図2に示すように、実施形態に係る付着物検出装置1は、カメラ10と、車速センサ11と、各種機器50とに接続される。なお、
図2では、付着物検出装置1は、カメラ10と、各種機器50とは別体で構成される場合を示したが、これに限らず、カメラ10および各種機器50の少なくとも一方と一体で構成されてもよい。
【0025】
カメラ10は、たとえば、魚眼レンズ等のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子とを備えた車載カメラである。カメラ10は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Iを付着物検出装置1へ出力する。
【0026】
車速センサ11は、車両の速度(車速)を検出するセンサである。車速センサ11は、検出した車速の情報を付着物検出装置1へ出力する。なお、車速センサ11を省略して、例えば、付着物検出装置1は、カメラ10の時系列の画像に基づいて車速の情報を算出してもよい。
【0027】
各種機器50は、付着物検出装置1の検出結果を取得して、車両の各種制御を行う機器である。各種機器50は、例えば、カメラ10のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
【0028】
図2に示すように、実施形態に係る付着物検出装置1は、制御部2と、記憶部3とを備える。制御部2は、画像取得部21と、抽出部22と、算出部23と、判定部24と、フラグ出力部25とを備える。記憶部3は、起伏条件情報31を記憶する。
【0029】
ここで、付着物検出装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
【0030】
コンピュータのCPUは、たとえば、ROMに記憶されたプログラムを読み出して実行することによって、制御部2の画像取得部21、抽出部22、算出部23、判定部24およびフラグ出力部25として機能する。
【0031】
また、制御部2の画像取得部21、抽出部22、算出部23、判定部24およびフラグ出力部25の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
【0032】
また、記憶部3は、たとえば、RAMやデータフラッシュに対応する。RAMやデータフラッシュは、起伏条件情報31や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【0033】
記憶部3に記憶された起伏条件情報31は、後述の抽出部22による処理の基準となる条件を含む情報であり、例えば、輝度分布(輝度平均の分布)の起伏のパターン条件を含む。なお、パターン条件とは、輝度平均の分布の起伏変化の変化パターンや、輝度分布における各画素(単位領域R)がとり得る輝度の閾値範囲である。なお、起伏条件情報31を用いた処理については後述する。
【0034】
制御部2は、カメラ10から取得した撮像画像Iの各画素から検出されるエッジに基づき、付着物領域の候補領域100を抽出し、抽出した候補領域100に設定した内部領域200に含まれる複数画素の輝度変化量に基づいて、候補領域100が付着物領域であるか否かを判定する。
【0035】
画像取得部21は、カメラ10で撮像された画像を取得し、現在の撮像画像Iである現在フレームを生成(取得)する。具体的には、画像取得部21は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。
【0036】
また、画像取得部21は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、画像取得部21は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。
【0037】
このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。
【0038】
なお、画像取得部21は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、画像取得部21は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。また、以下では、現在フレームを撮像画像Iと記載する場合がある。
【0039】
抽出部22は、画像取得部21が取得した撮像画像Iの各画素から検出されるエッジに基づき、撮像画像Iの中から付着物領域の候補領域100を抽出する。具体的には、まず、抽出部22は、撮像画像Iにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、0~255のパラメータで表現される。
【0040】
また、抽出部22は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、X軸方向(撮像画像Iの左右方向)のエッジと、Y軸方向(撮像画像Iの上下方向)のエッジとを検出する。エッジ検出処理には、例えば、Sobelフィルタや、Prewittフィルタ等の任意のエッジ検出フィルタを用いることができる。
【0041】
そして、抽出部22は、X軸方向のエッジと、Y軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。
【0042】
そして、抽出部22は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理(テンプレートマッチング)を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、抽出部22は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域100を抽出する。
【0043】
なお、抽出部22は、マッチング処理により抽出した候補領域100の情報を算出部23へ出力してもよく、以下に示す抽出処理により、さらに絞り込んだ候補領域100の情報を算出部23へ出力してもよい。
【0044】
つづいて、抽出部22は、抽出した候補領域100において連続する複数の画素列に関し、所定画素数を単位とする単位領域Rに分割し、単位領域R毎に輝度の平均値および輝度の標準偏差を算出する。
【0045】
ここで、
図3A~
図4Bを用いて、抽出部22の処理内容について説明する。
図3A~
図4Bは、抽出部22の処理内容を示す図である。
【0046】
図3Aおよび
図3Bに示すように、まず、抽出部22は、候補領域100において連続する複数の画素列を帯領域110として設定する。かかる帯領域110は、後段の単位領域Rの分割処理および輝度情報(平均値および標準偏差)の算出処理の対象となる領域である。
【0047】
具体的には、
図3Aに示すように、まず、抽出部22は、候補領域100における水平方向の3列の画素列H1~H3と、垂直方向の3列の画素列V1~V3とを選択する。そして、抽出部22は、選択した各画素列について、当該画素列を含む複数の画素列を帯領域110として設定する。
【0048】
図3Bでは、水平方向の画素列H1を含む帯領域110を示している。なお、垂直方向の画素列V1~V3を含む帯領域110の設定方法については、以下に説明する水平方向の画素列H1を含む帯領域110の設定方法とほぼ同様(画素列が水平方向か垂直方向かの違いのみ)であるため、記載を省略する。
【0049】
図3Bに示すように、抽出部22は、選択した画素列H1を中心にして、垂直方向に連続する複数の画素列を帯領域110として設定する。換言すれば、抽出部22は、選択した画素列H1と当該画素列H1に平行な画素列であって、互いに隣接する複数の画素列とを帯領域110として設定する。
【0050】
図3Bでは、水平方向の画素列H1に対して垂直方向の上側および下側それぞれに連続する3本の画素列(計6本の画素列)と、1本の画素列H1とを含む計7本の画素列を帯領域110として設定する。
【0051】
なお、帯領域110における画素列H1の位置は、帯領域110の中心でなくてもよく、垂直方向の上側および下側のいずれかに寄った位置であってもよい。また、画素列H1に対して垂直方向の上側および下側それぞれに連続する画素列は、2本以下でも、4本以上でもよい。
【0052】
また、選択する画素列H1~H3、V1~V3は、水平方向の画素列H1~H3、または、垂直方向の画素列V1~V3のいずれか一方の方向の画素列であってもよい。また、各方向において選択する画素列H1~H3、V1~V3の本数は、3本に限らず、2本以下や、4本以上であってもよい。
【0053】
つづいて、
図4Aに示すように、抽出部22は、設定した帯領域110において所定画素数を単位とする単位領域R1~R8に分割し、単位領域R1~R8毎に輝度の平均値および輝度の標準偏差を算出する。
【0054】
なお、
図4Aでは、抽出部22は、帯領域110を等間隔(同じ画素数)で分割した8つの単位領域R1~R8を設定する場合を示しているが、単位領域Rの数は6つ以下でも、9つ以上でもよい。また、各単位領域Rに含まれる画素数は同じであっても、異なってもよい。
【0055】
そして、抽出部22は、算出した輝度の標準偏差が所定値未満である場合、帯領域110における単位領域Rの代表値として輝度の平均値を設定する。
【0056】
一方、
図4Bに示すように、抽出部22は、算出した輝度の標準偏差が所定値以上である場合、帯領域110における輝度平均の分布として、単位領域Rの輝度平均に代えて、所定の異常値を単位領域Rの代表値に設定する。
【0057】
図4Bに示す例では、算出部23は、単位領域R8について、輝度の標準偏差が所定値以上である場合、単位領域R8の輝度の平均値に代えて、所定の異常値(例えば、最低値やゼロ等)を単位領域R8の代表値に設定する。
【0058】
この異常値は、後段処理において付着物領域ではないと判定するための値である。例えば、抽出部22は、後段処理において、輝度平均の分布が所定のパターンに合致するか否かで付着物領域を判定する場合、かかる所定のパターンに合致しないような異常値を設定する。
【0059】
このように、後段処理において付着物領域ではないと判定されるような異常値を設定することで、新たな処理を追加することなく付着物領域でない候補領域100を除くことができるため、処理が複雑化することを抑制できる。
【0060】
なお、抽出部22は、単位領域Rの代表値として、輝度の平均値を用いたが、例えば、単位領域R1~R8毎に輝度のヒストグラムを作成し、ヒストグラムにおける最頻値や中央値、平均値等を代表値として設定してもよい。
【0061】
つづいて、抽出部22は、単位領域R毎に算出した輝度平均の分布に基づいて候補領域100をさらに絞り込む。
【0062】
具体的には、まず、抽出部22は、候補領域100に含まれる画素の輝度分布(輝度平均の分布)の起伏が所定の除外条件を満たす場合、候補領域100を付着物領域の判定処理の対象から除外する。
【0063】
ここで、抽出部22による候補領域100の除外処理について
図5を用いて説明する。
図5は、抽出部22による除外処理を示す図である。
図5では、所定の候補領域100から算出された各帯領域110の輝度平均の分布を示している。
図5では、候補領域100に設定された各画素列H1~H3、V1~V3に対応する帯領域110毎の輝度平均の分布を示している。例えば、
図5において「H1」のグラフは、画素列H1を含む帯領域110における単位領域Rの輝度平均の分布を示す。
【0064】
抽出部22は、各画素列H1~H3、V1~V3に対応する帯領域110毎の輝度平均の分布における起伏が所定の除外条件を満たす場合、候補領域100を付着物領域の判定処理の対象から除外する。
【0065】
例えば、抽出部22は、帯領域110に含まれる単位領域Rの代表値に異常値が含まれる場合、候補領域100を付着物領域の判定処理の対象から除外する。換言すれば、抽出部22は、帯領域110において隣接する2つの単位領域Rの代表値の差分が所定値以上となる場合、候補領域100を付着物領域の判定処理の対象から除外する。
【0066】
さらに言い換えれば、抽出部22は、帯領域110における単位領域Rの中に、代表値の標準偏差が所定値以上の単位領域R(つまり、異常値が設定された単位領域R)が含まれる場合、候補領域100を付着物領域の判定処理の対象から除外する。
【0067】
すなわち、抽出部22は、輝度平均の分布における起伏の一部が、異常値により急激に凹凸した形状である場合、除外条件を満たすとして、当該候補領域100を付着物領域の判定処理の対象から除外する。このように、抽出部22は、異常値に基づいて除外処理を行うこと、付着物でない領域を高精度に除去できる。
【0068】
また、
図5の画素列V1~V3のグラフに示すように、抽出部22は、単位領域Rの輝度平均の分布における起伏が3つのグラフとも平坦、つまり、垂直方向の画素列V1~V3に対応する3つの帯領域110すべてについて、輝度平均の起伏変化が所定の範囲内である場合、候補領域100を付着物領域の判定処理の対象から除外する。具体的には、候補領域100がバックランプの光が壁に反射した場合、単位領域Rの輝度平均の分布が平坦になる傾向にあることが実験により判明した。そこで、輝度平均の起伏変化が所定の範囲内である場合は候補領域100がバックランプの反射で生じたものであると判定し、付着物領域400の判定処理の対象から除外する。
【0069】
なお、
図5では、垂直方向の画素列V1~V3における3つの輝度分布が平坦である場合を示したが、水平方向の画素列H1~H3における3つの輝度分布が平坦である場合や、垂直方向および水平方向の画素列H1~H3、V1~V3における6つの輝度分布が平坦である場合に、候補領域100を付着物領域の判定処理の対象から除外してもよい。つまり、抽出部22は、候補領域100における垂直方向および水平方向の画素列のうち、少なくとも一方の画素列の輝度分布の起伏変化が所定の範囲内である場合、除外条件を満たすとし、候補領域100を付着物領域の判定処理の対象から除外する。
【0070】
このように、抽出部22は、候補領域100における輝度分布の起伏が所定の除外条件を満たす場合に、かかる候補領域100を付着物領域の判定処理の対象から除外することで、付着物領域の誤判定を減らすことができる。すなわち、付着物を高精度に検出することができる。
【0071】
つづいて、抽出部22は、除外条件により除外した候補領域100以外の候補領域100について、さらに絞り込むための処理を行う。ここで、
図6を用いて、抽出部22による処理について説明する。
【0072】
図6は、抽出部22の判定処理を示す図である。まず、
図6に示すように、抽出部22は、まず、各帯領域110について、隣接する単位領域R1~R8の輝度平均の変化量D1~D7を算出する。
【0073】
そして、抽出部22は、候補領域100における複数の帯領域110のうち、単位領域Rの輝度平均の分布における起伏変化のパターンが所定の変化パターンを満たす候補領域100を抽出する。例えば、抽出部22は、変化量D1~D7の各値と、記憶部3に記憶された起伏条件情報31に含まれる変化パターンの各値とを比較して判定処理を行う。なお、起伏条件情報31に含まれる変化パターンとは、変化量D1~D7のとり得る最大値および最小値の閾値範囲である。
【0074】
つまり、抽出部22は、算出した変化量D1~D7の各値が、起伏条件情報31に含まれる変化量D1~D7それぞれの閾値範囲内である候補領域100を抽出する。
【0075】
換言すれば、抽出部22は、隣接する単位領域R1~R8の輝度平均の変化量D1~D7のパターンが、起伏条件情報31で設定された閾値範囲である変化パターンを満たす候補領域100を抽出する。
【0076】
また、起伏条件情報31において変化量D1~D7の最大値および最小値を設定して幅をもたせることで、輝度分布の起伏が多少ばらついても、候補領域100として抽出することができる。
【0077】
なお、
図6では、起伏条件情報31について、すべての変化量D1~D7の閾値範囲を設定した場合を示したが、例えば、小さいサイズの付着物領域を検出する場合には、変化量D1~D7のうち、一部の変化量の閾値範囲のみを設定してもよい。
【0078】
抽出部22は、抽出した候補領域100の情報を算出部23へ出力する。
【0079】
算出部23は、抽出部22によって抽出された候補領域100における所定の内部領域200において所定方向に連続する複数画素の輝度変化量を算出する。
【0080】
ここで、
図7を用いて、算出部23による内部領域200内の輝度変化量の算出処理について説明する。
図7は、算出部23による算出処理を示す図である。
【0081】
図7に示すように、算出部23は、まず、抽出された候補領域100に対して内部領域200を設定する。例えば、算出部23は、候補領域100を垂直方向および水平方向それぞれで所定数に分割する。
図7では、候補領域100を垂直方向および水平方向それぞれで4分割する場合を示すが、3分割以下でも、5分割以上でもよい。
【0082】
そして、算出部23は、所定数に分割した分割領域のうち、中央領域を内部領域200として設定する。
図7では、垂直方向および水平方向それぞれで4分割して生成された16の分割領域のうち、中央領域である4つの分割領域を内部領域200として設定する。
【0083】
そして、算出部23は、内部領域200において複数画素の輝度変化量を算出する。
図7では、算出部23は、垂直方向に連続する3画素の輝度変化量を算出する。これは、路面反射の領域が垂直方向に延びる場合が多いためである。これにより、後段の判定部24により路面反射の領域を高精度に判定することができる。なお、算出部23は、水平方向に連続する複数画素の輝度変化量を算出してもよい。
【0084】
まず、算出部23は、垂直方向に隣接する2つの画素の輝度差分値を第1差分として算出する。
図7の中段には、1つの第1差分を1マスとし、画素の配列に対応させて2次元状に配列している。つまり、
図7の中段において、1つのマスは垂直方向に隣接する2画素の輝度差分値、すなわち第1差分であり、垂直方向に隣接する2つのマスは、3画素から算出された2つの第1差分である。
【0085】
つづいて、算出部23は、垂直方向に連続する2つの第1差分の差分値である第2差分を算出する。
図7の下段には、絶対値に変換した1つの第2差分を1マスとし、画素の配列に対応させて2次元状に配列している。つまり、
図7の下段において、1つのマスは、3画素から算出された1つの第2差分(輝度変化量)である。換言すれば、第2差分は第1差分の変化量である。
【0086】
このように、輝度が急激に上下する場合は路面の小さな傷等に起因して発生するケースが考えられ、路面反射の領域である可能性が高い。そこで、算出部23は、第2差分を複数画素の輝度変化量として算出することで、後段の判定部24において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。具体的には、例えば、路面の小さな傷等に起因して、連続する3画素の輝度が急激に上下する領域(
図7に示す「180」→「160」→「180」)では、第2差分が高くなる。すなわち、第2差分を算出することで、このような輝度が急激に上下する領域を容易に識別できるようになるため、後述の判定部24において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。
【0087】
算出部23は、算出結果である第2差分を複数画素の輝度変化量として判定部24へ出力する。
【0088】
なお、算出部23は、第2差分を複数画素の輝度変化量としたが、第1差分を複数画素の輝度変化量としてもよい。第1差分を複数画素の輝度変化量とする場合、複数画素における画素数が2画素以上であればよい。具体的には、2画素の輝度変化量を算出する場合には、算出した1つの第1差分を輝度変化量としてもよく、3画素以上の輝度変化量を算出する場合には、算出した複数の第1差分の平均値を輝度変化量としてもよい。
【0089】
判定部24は、算出部23によって算出された複数画素の輝度変化量をヒストグラム化することで、候補領域100が付着物領域であるか否かを判定する。ここで、
図8を用いて、判定部24による判定処理について説明する。
【0090】
図8は、判定部24による判定処理を示す図である。
図8では、一の内部領域200に含まれる複数の複数画素毎の輝度変化量のヒストグラムを示している。
図8に示すヒストグラムでは、横軸を輝度変化量とし、縦軸を領域度数として示している。また、
図8では、候補領域100が付着物領域である場合のヒストグラムと、候補領域100が路面反射の領域(付着物以外の領域)である場合のヒストグラムとを示している。
【0091】
なお、領域度数とは、複数画素の数に対応した数であり、1つの度数が1つの複数画素に対応している。言い換えれば、1つの度数は、1つの複数画素における輝度変化量(すなわち、1つの輝度変化量)に対応している。また、領域度数は、度数総和が所定値となるよう正規化した度数である。つまり、
図8に示すヒストグラムの領域度数の総和は、大きさの異なる各内部領域200間で同じとなる。
【0092】
図8に示すように、付着物領域のヒストグラムと、路面反射の領域のヒストグラムとを比較した場合、第1の範囲における領域度数は双方が類似しているものの、第2の範囲において、路面反射の領域の方が、付着物領域に比べて、領域度数の合計がわずかに多い。これは、路面反射の領域では、路面にできた傷や、汚れ等が第2の範囲の領域度数に影響しているためである。
【0093】
かかる点に着目して、判定部24は、輝度変化量が第1の範囲にある輝度変化量の数(領域度数)と、第1の範囲よりも輝度変化量が大きい第2の範囲にある輝度変化量の数とに基づいて候補領域100が付着物領域であるか否かを判定する。
【0094】
具体的には、判定部24は、輝度変化量「0」を最小値とする第1の範囲にある領域度数の和と、第1の範囲の最大値よりも最小値が大きい第2の範囲にある領域度数の和とに基づいて候補領域100が付着物領域であるか否かを判定する。
【0095】
例えば、判定部24は、第1の範囲にある領域度数の和が所定値以上、かつ、第2の範囲にある領域度数の和が所定値未満である場合、候補領域100が付着物領域であると判定する。
【0096】
一方、判定部24は、第1の範囲にある領域度数の和が所定値以上、かつ、第2の範囲にある領域度数の和が所定値以上である場合、候補領域100が付着物領域ではない(路面反射領域である)と判定する。
【0097】
これにより、判定部24は、候補領域100の中から、路面反射の領域に対応する領域を除くことができるため、路面反射の領域を付着物領域として誤検出することを抑制することができる。
【0098】
また、判定部24は、第1の範囲にある領域度数の和が所定値未満である場合には、第2の範囲にある領域度数の和に関わらず、候補領域100が付着物領域ではないと判定する。
【0099】
そして、判定部24は、候補領域100について付着物領域として継続して判定されたか否かの継続性の判定処理を行う。ここで、判定部24による継続性の判定処理について説明する。
【0100】
図9は、判定部24による継続性の判定処理を示す図である。
図9では、各候補領域100の状態を管理するためのステートマシンの図を示しており、候補領域100の付着物に関する状態の遷移を示している。
【0101】
図9に示すように、候補領域100は、「IDLE」、「潜伏」、「付着」および「移動付着」の4つの状態に遷移し得る。
【0102】
「IDLE」は、付着物領域として判定されていない状態を示す。すなわち、「IDLE」は、付着物領域として継続していない候補領域100であることを示す。
【0103】
「潜伏」は、付着物が付着している可能性があることを示す状態である。すなわち、「潜伏」は、付着物領域であると判定されたものの、付着物領域として継続判定されている期間が所定期間未満の候補領域100であることを示す。
【0104】
「付着」は、付着物が付着していることを示す状態である。すなわち、「付着」は、付着物領域として継続判定されている期間が所定期間以上の候補領域100であることを示す。
【0105】
「移動付着」は、車両が移動中(車速が所定値以上)も継続して付着物が付着していることを示す状態である。すなわち、「移動付着」は、車両が移動中も、引き続き付着物領域として所定期間以上継続判定されている候補領域100であることを示す。なお、以下では、「移動付着」の状態の候補領域100(付着物領域)を移動付着物領域と記載する場合がある。
【0106】
以下、各状態間の遷移について説明する。なお、状態の遷移は、判定処理の継続性を示すスコアに基づいて行うことができる。
【0107】
<「IDLE」→「潜伏」>
例えば、判定部24は、初めて付着物領域であると判定した候補領域100について、「IDLE」から「潜伏」へ遷移させる。
【0108】
<「潜伏」→「IDLE」>
例えば、判定部24は、付着物領域として継続判定されている期間が所定期間未満である候補領域100について、現在の撮像画像Iにおいて付着物領域ではないと判定した場合に、「潜伏」から「IDLE」へ遷移させる。
【0109】
<「潜伏」→「付着」>
例えば、判定部24は、付着物領域として継続判定されている期間が所定期間以上となった場合に、「潜伏」から「付着」へ遷移させる。判定部24は、「潜伏」から「付着」へ遷移した場合、「付着」の状態であることを紐付けた付着物領域の情報をフラグ出力部25へ出力する。
【0110】
<「付着」→「IDLE」>
例えば、判定部24は、付着物領域として継続判定されている期間が所定期間以上である候補領域100について、現在の撮像画像Iにおいて付着物領域ではないと判定した場合に、「付着」から「IDLE」へ遷移させる。
【0111】
<「付着」→「移動付着」>
例えば、判定部24は、「付着」状態に遷移した後に、車両が移動中も付着物領域として継続判定されている期間が所定期間以上となった場合に、「付着」から「移動付着」へ遷移させる。判定部24は、「付着」から「移動付着」へ遷移した場合、「移動付着」の状態であることを紐付けた付着物領域(移動付着物領域)の情報をフラグ出力部25へ出力する。
【0112】
<「移動付着」→「IDLE」>
例えば、判定部24は、「移動付着」の状態で、車両の移動中に取得した現在の撮像画像Iにおいて付着物領域ではないと判定した場合に、「移動付着」から「IDLE」へ遷移させる。
【0113】
フラグ出力部25は、判定部24の判定結果に基づいて付着物が付着しているか否かを示す付着物フラグを各種機器50へ出力する。まず、フラグ出力部25は、判定部24によって付着物領域と判定された領域に基づいて、所定の面積計算処理を行う。
【0114】
ここで、
図10を用いて、フラグ出力部25による付着物領域の面積計算処理について説明する。
【0115】
図10は、フラグ出力部25による面積計算処理を示す図である。
図10に示すように、まず、フラグ出力部25は、撮像画像Iの全体領域を所定の小領域500で分割するとともに、小領域500単位で、3つの領域510、520a、520bに区分けする。
【0116】
具体的には、第1の領域510は、路面に対応する領域である。第2の領域520aは、車体に対応する領域(車体領域)である。第3の領域520bは、上空(スカイ)に対応する領域である。
【0117】
例えば、フラグ出力部25は、撮像画像Iにおける水平線を検出し、当該水平線よりも上側の領域を第3の領域520bとして設定する。また、第2の領域520aは、カメラ10の取付位置に応じて予め設定される領域である。また、フラグ出力部25は、撮像画像Iの全体領域のうち、第2の領域520aおよび第3の領域520bを除いた領域を第1の領域510として設定する。
【0118】
そして、フラグ出力部25は、判定部24によって付着物領域であると判定された領域を小領域500の単位に変換し、3つの領域510、520a、520bそれぞれにおける付着物領域(小領域500)の面積比を算出する。例えば、フラグ出力部25は、付着物領域全体を1(100%)として、各領域510、520a、520bに位置する付着物領域の面積比を算出する。
【0119】
例えば、フラグ出力部25は、各領域510、520a、520bにおける面積比が概ね同じ(領域510、520a、520b間での面積比の差分が所定値未満)である場合、3つの領域510、520a、520bそれぞれの付着物領域の合計面積を面積計算処理の計算結果とする。
【0120】
一方、フラグ出力部25は、各領域510、520a、520bのうち、第1の領域510の面積比が他の領域520a、520bよりも所定値以上大きい場合、他の領域520a、520bの付着物領域の合計面積を面積計算処理の計算結果とする。
【0121】
これは、雨滴等の付着物の場合、撮像画像I全体に万遍なく付着する場合が多く、一方で、路面反射の領域は、撮像画像Iの路面領域に集中する場合が多いことに着目している。
【0122】
つまり、フラグ出力部25は、路面領域である第1の領域510に付着物領域が集中している場合、当該付着物領域が路面反射の領域であるとし、付着物領域全体から路面反射の領域を減算した面積を面積計算処理の計算結果とする。
【0123】
なお、フラグ出力部25は、路面領域である第1の領域510に付着物領域が集中している場合であっても、かかる付着物領域が移動付着物領域である場合には、付着物領域全体から第1の領域510の付着物領域を減算しない。
【0124】
これは、判定結果として確度が高い移動付着物領域が少量付着したことを検出するためである。つまり、路面領域である第1の領域510に移動付着物領域が集中していた場合には、路面反射の領域ではなく付着物領域の可能性が高いためである。
【0125】
そして、フラグ出力部25は、面積計算処理の計算結果として算出された面積が所定値以上である場合には、付着物フラグONを各種機器50へ出力し、かかる面積が所定値未満である場合には、付着物フラグOFFを各種機器50へ出力する。
【0126】
具体的には、フラグ出力部25は、移動付着物領域の面積が第1閾値以上である場合、付着物フラグONを出力し、移動付着物領域の面積が第1閾値未満である場合、付着物フラグOFFを出力する。
【0127】
また、フラグ出力部25は、付着物領域(「付着」および「移動付着」)の面積が第1閾値よりも大きい第2閾値以上である場合、付着物フラグONを出力し、第2閾値未満である場合、付着物フラグOFFを出力する。
【0128】
このように、フラグ出力部25は、移動付着物領域の場合、第2閾値よりも小さい第1閾値を設定することで、判定結果の確度が高い移動付着物領域が少量付着した場合でも、高精度に検出することができる。
【0129】
次に、
図11を用いて、実施形態に係る付着物検出装置1が実行する全体処理の処理手順について説明する。
図11は、実施形態に係る付着物検出装置1が実行する付着物の全体処理の処理手順を示すフローチャートである。
【0130】
図11に示すように、まず、画像取得部21は、カメラ10で撮像された撮像画像Iを取得し、取得した撮像画像Iに対してグレースケール化処理および間引き処理した後、縮小した撮像画像Iの画素値に基づいて生成した積分画像を撮像画像Iとして取得する(ステップS101)。
【0131】
つづいて、抽出部22は、画像取得部21が取得した撮像画像Iの各画素から検出されるエッジに基づき、カメラ10に付着した付着物に対応する付着物領域の候補領域100を抽出する(ステップS102)。
【0132】
つづいて、抽出部22は、候補領域100において連続する複数の画素列を含む帯領域110に関し、所定画素数を単位とする単位領域Rに分割する(ステップS103)。
【0133】
つづいて、抽出部22は、単位領域Rの輝度情報を算出する(ステップS104)。輝度情報は、例えば、輝度の平均値および輝度の標準偏差である。
【0134】
つづいて、抽出部22は、算出した輝度の標準偏差が所定値未満であるか否かを判定する(ステップS105)。
【0135】
抽出部22は、輝度の標準偏差が所定値未満である場合(ステップS105:Yes)、単位領域Rの代表値として輝度の平均値(輝度平均)を設定する(ステップS106)。
【0136】
一方、抽出部22は、輝度の標準偏差が所定値以上である場合(ステップS105:No)、単位領域Rの代表値として異常値を設定する(ステップS107)。
【0137】
つづいて、抽出部22は、候補領域100における単位領域Rの輝度平均の分布が所定の除外条件を満たす場合に当該候補領域100を付着物領域の判定処理の対象から除外する除外処理を行う(ステップS108)。
【0138】
つづいて、抽出部22は、候補領域100における単位領域Rの輝度平均の分布における起伏変化が所定の変化パターンに合致する候補領域100を抽出し、判定部24は、算出部23の算出結果に基づいて、当該候補領域100が付着物領域であるか否かを判定する判定処理を行う(ステップS109)。
【0139】
つづいて、フラグ出力部25は、判定部24によって継続して付着物領域と判定された領域の面積に基づいて、所定の面積計算処理を行い、計算結果として算出された面積が所定値以上であるか否かを判定する(ステップS110)。
【0140】
フラグ出力部25は、計算結果である面積が所定値以上の場合に、(ステップS110:Yes)、付着物フラグONを各種機器50へ出力し(ステップS111)、処理を終了する。
【0141】
一方、フラグ出力部25は、計算結果である面積が所定値未満の場合に、(ステップS110:No)、付着物フラグOFFを各種機器50へ出力し(ステップS112)、処理を終了する。
【0142】
次に、
図12を用いて、実施形態に係る付着物検出装置1が実行する付着物の判定処理の処理手順について説明する。
図12は、実施形態に係る付着物検出装置1が実行する付着物の判定処理の処理手順を示すフローチャートである。
【0143】
図12に示すように、算出部23は、まず、候補領域100に内部領域200を設定する(ステップS201)。
【0144】
つづいて、算出部23は、内部領域200内の複数画素において隣接する画素の輝度の差分値である第1差分を算出する(ステップS202)。
【0145】
つづいて、算出部23は、隣接する第1差分の差分値である第2差分を算出する(ステップS203)。
【0146】
つづいて、判定部24は、算出部23によって算出された第2差分である輝度変化量が第1の範囲にある領域度数(輝度変化量の数)が所定数以上であるか否かを判定する(ステップS204)。
【0147】
判定部24は、第1の範囲にある領域度数が所定数以上である場合(ステップS204:Yes)、第2の範囲にある領域度数が所定数未満であるか否かを判定する(ステップS205)。
【0148】
判定部24は、第2の範囲にある領域度数が所定数未満である場合(ステップS205:Yes)、候補領域100を付着物領域であると判定し(ステップS206)、処理を終了する。
【0149】
一方、ステップS204において、判定部24は、第1の範囲にある領域度数が所定数未満である場合(ステップS204:No)、候補領域100を付着物領域ではないと判定し(ステップS207)、処理を終了する。
【0150】
また、ステップS205において、判定部24は、第2の範囲にある領域度数が所定数以上である場合(ステップS205:No)、候補領域100を付着物領域ではない(路面反射の領域)と判定し(ステップS207)、処理を終了する。
【0151】
上述してきたように、実施形態に係る付着物検出装置1は、抽出部22と、算出部23と、判定部24とを備える。抽出部22は、撮像装置(カメラ10)で撮像された撮像画像Iの各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域100を抽出する。算出部23は、抽出部22によって抽出された候補領域100における所定の内部領域200において所定方向に連続する複数画素の輝度変化量を算出する。判定部24は、算出部23によって算出された輝度変化量が第1の範囲にある輝度変化量の数と、第1の範囲よりも輝度変化量が大きい第2の範囲にある輝度変化量の数とに基づいて候補領域100が付着物領域であるか否かを判定する。これにより、付着物を高精度に検出することができる。
【0152】
また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Iを用いたが、撮像画像Iは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Iであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Iであればよい。
【0153】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0154】
1 付着物検出装置
2 制御部
3 記憶部
10 カメラ
11 車速センサ
21 画像取得部
22 抽出部
23 算出部
24 判定部
25 フラグ出力部
31 起伏条件情報
50 各種機器
100 候補領域
200 内部領域
I 撮像画像