特許 6246014 外界認識システム、車両、及びカメラの汚れ検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6246014

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】外界認識システム、車両、及びカメラの汚れ検出方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20171204BHJP

   G08G 1/16 20060101ALI20171204BHJP

   H04N 7/18 20060101ALI20171204BHJP

   B60R 1/00 20060101ALI20171204BHJP

【ＦＩ】

   G06T1/00 330Z

   G08G1/16 C

   H04N7/18 K

   B60R1/00 A

【請求項の数】12

【全頁数】23

(21)【出願番号】特願2014-28414(P2014-28414)

(22)【出願日】2014年2月18日

(65)【公開番号】特開2015-153295(P2015-153295A)

(43)【公開日】2015年8月24日

【審査請求日】2016年9月7日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】特許業務法人藤央特許事務所

(72)【発明者】

【氏名】秋山 靖浩

(72)【発明者】

【氏名】中村 克行

(72)【発明者】

【氏名】入江 耕太

【審査官】 真木 健彦

(56)【参考文献】

【文献】 国際公開第２０１２／１４０９７６（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１３６８７８（ＷＯ，Ａ１）

【文献】 特開２０１０−２７３０１４（ＪＰ，Ａ）

【文献】 特開２００７−３１８３５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、
前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、
前記汚れ検出部は、
前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記カメラの画像から前記基準線に対応する観測線を算出し、
前記観測線の前記基準線からの変位量を算出し、
前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記観測線と前記基準線との間の領域の面積を算出することによって、前記観測線の前記基準線からの変位量を算出することを特徴とする外界認識システム。

【請求項2】

請求項１に記載の外界認識システムであって、
前記基準線は、前記車両のボディの一部の第１基準線及び前記車両のバンパーの一部の第２基準線を含み、
前記汚れ検出部は、
前記カメラの画像から前記第１基準線に対応する第１観測線を算出し、
前記カメラの画像から前記第２基準線に対応する第２観測線を算出し、
前記第１観測線と前記第１基準線との間の領域の第１面積を算出し、
前記第２観測線と前記第２観測線との間の領域の第２面積を算出し、
前記第１面積と所定の第１閾値との大小関係、及び前記第２面積と所定の第２閾値との大小関係、又は前記第１面積と前記第２面積との合計面積と所定の第３閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。

【請求項3】

車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、
前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、
前記汚れ検出部は、
前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記カメラの画像から前記基準線に対応する観測線を算出し、
前記観測線の前記基準線からの変位量を算出し、
前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
第１基準線及び第２基準線を前記基準線として設定し、
前記カメラの画像から前記第１基準線に対応する第１観測線を算出し、
前記カメラの画像から前記第２基準線に対応する第２観測線を算出し、
前記第１観測線と前記第２観測線との間の領域の面積を算出することによって、前記第１観測線の前記第１基準線からの変位量及び前記第２観測線の前記第２基準線からの変位量を算出することを特徴とする外界認識システム。

【請求項4】

請求項３に記載の外界認識システムであって、
前記汚れ検出部は、
前記第１基準線及び前記第２基準線上にそれぞれ複数の観測点を設定する観測点設定部と、
前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
前記変位観測部は、前記第１基準線上に設定された複数の観測点に対応する変位点の変位方向が異なり、前記第２基準線上に設定された複数の観測点に対応する変位点の変位方向が異なる場合、前記第１観測線と前記第２観測線との間の領域の面積が大きくなる方向及び小さくなる方向のいずれか一方向に統一して、前記第１基準線上に設定された複数の観測点に対応する変位点及び前記第２基準線上に設定された複数の観測点に対応する変位点を補正することを特徴とする外界認識システム。

【請求項5】

請求項３に記載の外界認識システムであって、
前記第１基準線は、前記車両のボディの一部の基準線であり、
前記第２基準線は、前記車両のバンパーの一部の基準線であり、
前記第１観測線と前記第２観測線との間の領域の面積と所定の第４閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。

【請求項6】

請求項１又は３に記載の外界認識システムであって、
前記汚れ検出部は、
前記基準線上に複数の観測点を設定する観測点設定部と、
前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
前記変位観測部は、前記観測した複数の変位点を補間することによって、前記観測線を算出することを特徴とする外界認識システム。

【請求項7】

請求項６に記載の外界認識システムであって、
前記変位観測部は、
前記観測点の前記基準線に対して直交する方向の複数の画素の輝度値を取得し、
隣接する画素の輝度値の大きさの勾配が最大となる画素を前記観測点に対応する変位点として算出することを特徴とする外界認識システム。

【請求項8】

請求項１又は３に記載の外界認識システムであって、
前記汚れ検出部は、前記車両の設計情報、前記カメラの搭載位置情報、及び前記カメラのパラメータ情報に基づいて、前記基準線を設定することを特徴とする外界認識システム。

【請求項9】

請求項１又は３に記載の外界認識システムであって、
前記汚れ検出部は、
前記カメラに汚れが付着していることを検出した場合、前記カメラの画面の解析結果に基づいて前記車両の周辺の状態を認識することを停止し、
前記カメラに汚れが付着していることを検出した旨を前記車両の運転者に報知することを特徴とする外界認識システム。

【請求項10】

請求項１から請求項９のいずれか一つに記載の前記外界認識システムを搭載することを特徴とする車両。

【請求項11】

車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムにおける前記カメラの汚れ検出方法であって、
前記方法は、
前記外界認識システムが、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記基準線に対応する観測線を算出し、
前記外界認識システムが、前記観測線の前記基準線からの変位量を算出し、
前記外界認識システムが、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記外界認識システムが、前記観測線と前記基準線との間の領域の面積を算出することによって、前記観測線の前記基準線からの変位量を算出することを特徴とする汚れ検出方法。

【請求項12】

車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムにおける前記カメラの汚れ検出方法であって、
前記方法は、
前記外界認識システムが、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記基準線に対応する観測線を算出し、
前記外界認識システムが、前記観測線の前記基準線からの変位量を算出し、
前記外界認識システムが、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記外界認識システムが、第１基準線及び第２基準線を前記基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記第１基準線に対応する第１観測線を算出し、
前記外界認識システムが、前記カメラの画像から前記第２基準線に対応する第２観測線を算出し、
前記外界認識システムが、前記第１観測線と前記第２観測線との間の領域の面積を算出することによって、前記第１観測線の前記第１基準線からの変位量及び前記第２観測線の前記第２基準線からの変位量を算出することを特徴とする汚れ検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

カメラの画像に基づいて車両の周辺を認識する外界認識システムに関し、特に、カメラの汚れを検出する外界認識システムに関する。

【背景技術】

【0002】

車両同士の衝突及び人と車両との衝突等の事故を未然に避けるため、車両の周辺の状況を車載カメラでモニタし、危険が感知された場合、その旨をドライバーに警報を出力すると共に、車両の挙動を自動で制御する技術が進展している。

【0003】

車載カメラを車両の外部に設置したシステムでは、悪天候、泥、及び粉塵等によって車載カメラのレンズに汚れが付着しやすい。この汚れが原因となり、誤った警報を出力し、安全性の低下を招く可能性がある。

【0004】

そこで、車載カメラのレンズの汚れを自動的に検出し、エアー又は水等を吹きかけて車載カメラのレンズの汚れを除去するシステムも実用化されている。

【0005】

例えば、車載カメラのレンズの汚れを検出する技術として、特開２００７−２２８４４８号公報（特許文献１）がある。

【0006】

特許文献１の公報には、「車両に取り付けられた撮像装置により自車周辺を撮像し、画像認識処理を実行前に撮像装置の視野内に存在する標識や横断歩道などの物体やテクスチャの情報を取得する。そして、視野内に存在する物体やテクスチャを画像認識部で認識し、認識した物体の形状あるいはテクスチャと予め取得した物体やテクスチャの情報に基づき、認識した物体の形状あるいはテクスチャの歪み、ボケ度合いを算出する。認識した物体の形状あるいはテクスチャから算出した歪み・ボケ度合いに基づきレンズについた水滴や汚れ，霧の有無等の撮像環境を認識する。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００７−２２８４４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載された技術では、自車両のリアの車載カメラの画像からバンパーのエッジ変位が点群観測され、各観測値が合計された後に平均値が算出される。エッジ観測点は所定間隔で設定されるため、エッジ観測点でない部分の汚れ等が観測値に反映されない。このため、車載カメラの汚れを正確に検出できない。

【0009】

本発明は、車載カメラの汚れの検出の正確性を向上させた外界認識システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の代表的な一例を示せば、車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、前記汚れ検出部は、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、前記カメラの画像から前記基準線に対応する観測線を算出し、前記観測線の前記基準線からの変位量を算出し、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出することを特徴とする。

【発明の効果】

【0011】

本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、車載カメラの汚れの検出の正確性を向上させた外界認識システムを提供できる。

【0012】

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】実施例１の外界認識システムの説明図である。

【図2】実施例１の車載カメラの画像の説明図である。

【図3】実施例１のフィニッシャー基準線及びバンパー基準線、並びに各基準線に設定される観測点の説明図である。

【図4】実施例１の車載カメラのレンズに雨滴が付着したことによるバンパー観測線の変化の説明図である。

【図5】実施例１のバンパー基準線のある観測点の変位点の算出方法の説明図である。

【図6】実施例１の観測点の画素取得範囲の画素の輝度値の変化の説明図である。

【図7】実施例１の観測線の算出処理の説明図である。

【図8】実施例１の汚れスコア計算部によるスコアの算出処理の説明図である。

【図9】実施例１のエッジ変位観測部による変位点補正処理の説明図である。

【図10】実施例１の汚れスコア計算部に算出されたスコアと閾値との関係の説明図である。

【図11】実施例１の汚れ判定部の判定結果の説明図である。

【図12】実施例１の外界認識システムによる処理のフローチャートである。

【図13】実施例２の外界認識システムが搭載された車両の説明図である。

【発明を実施するための形態】

【実施例1】

【0014】

実施例１について図１〜図１２を用いて説明する。図１は、実施例１の外界認識システム１００の説明図である。

【0015】

外界認識システム１００は、車両に設置された車載カメラ１１１の画像が入力され、入力された画像に所定の画像信号処理を実行し、車両の周辺の状態を認識し、認識結果を車両の自車両制御部１１４及びドライバー（運転手）に報知する。

【0016】

車両の周辺の状態の認識とは、外界認識システム１００が車載カメラ１１１の画像を解析し、自車両の近傍及び遠方の周辺空間において、バイク又は自転車を含む他の車両及び歩行者の有無、自車両の走行又は駐車の妨げになる障害物の有無、並びに自車両が道路を安定して走行できるための走行レーン等を認識することである。車両の周辺の状態の認識は、他にも、自車両の近傍及び遠方のバイク又は自転車を含む他の車両及び歩行者（接近物）の急接近を検知することによって、自車両と接近物との衝突を予測すること、並びに自車両と障害物との衝突を予測することを含む。

【0017】

外界認識システム１００は、信号バスを介して車載カメラ１１１、制御部１１２、メモリ１１３、及び自車両制御部１１４に接続される。

【0018】

車載カメラ１１１は、例えば、車両の後方側に設置され、より詳細には、車両のボディの一部であるフィニッシャーと当該フィニッシャーの下方に存在するバンパーとの間に設置される。車載カメラ１１１は車両の周辺の状態を撮影し、撮影した画像はメモリ１１３に一時的に記憶される。なお、車載カメラ１１１の設置位置は車両の後方側に限定されず、例えば、車両の前方側であってもよいし、左右側方の少なくとも一方側であってもよい。

【0019】

制御部１１２は、制御部１１２に記憶された画像の入出力、及び外界認識システム１００と自車両制御部１１４との間における警報信号の入出力を制御する。メモリ１１３には、車載カメラ１１１が撮影した画像及び制御部１１２が実行する各種プログラムが記憶される。

【0020】

自車両制御部１１４は、車両のエンジン制御及びブレーキ制御等の車両の動作を制御する。

【0021】

外界認識システム１００は、汚れ検出部１０１、周辺状態認識部１０６、警報処理部１１０、及びドライバー通知部１０９を備える。外界認識システム１００は、図示しないプロセッサ及びメモリを備え、メモリには、汚れ検出部１０１、周辺状態認識部１０６、警報処理部１１０、及びドライバー通知部１０９に対応するプログラムが記憶される。プロセッサがこれらのプログラムを実行することによって、汚れ検出部１０１、周辺状態認識部１０６、警報処理部１１０、及びドライバー通知部１０９の機能が外界認識システム１００に実装される。

【0022】

汚れ検出部１０１は、車載カメラ１１１の画像を解析し、車載カメラ１１１のレンズに汚れが付着しているか否かを検出する。より詳細には、汚れ検出部１０１は、車載カメラ１１１から入力された画像上において、車両の移動によって変化しない所定の基準線の変位を算出することによって、車載カメラ１１１のレンズに汚れが付着しているか否かを検出する。これは、車載カメラ１１１のレンズに例えば雨滴等の汚れが付着している場合には、車両の移動によって変化しない車載カメラ１１１の画像上の所定の基準線に対応する車載カメラ１１１の画像上における線に歪みが生じていることに着目したものである。

【0023】

汚れ検出部１０１は、観測点設定部１０２、エッジ変位観測部１０３、汚れスコア計算部１０４、及び汚れ判定部１０５を有する。

【0024】

観測点設定部１０２は、基準線上に複数の観測点を設定する。車載カメラ１１１が撮像する被写体には、フィニッシャー及びバンパーが含まれ、これらは車両の一部であるため、車載カメラ１１１から入力された画像上では車両の移動によっては変化しない。このため、本実施例では、フィニッシャーのエッジ線を上方の基準線（フィニッシャー基準線（第１基準線））とし、バンパーのエッジ線を下方の基準線（バンパー基準線（第２基準線））とする。

【0025】

エッジ変位観測部１０３は、観測点設定部１０２によって設定された観測点の車載カメラ１１１の画像上の変位量（エッジ変位）を算出し、各観測点に対応する変位点を算出し、算出した変位点間を補完して基準線に対応する観測線を算出する。なお、フィニッシャー基準線に対応する観測線をフィニッシャー観測線といい、バンパー基準線に対応する観測線をバンパー観測線という。

【0026】

汚れスコア計算部１０４は、観測線の基準線からの変位量を算出する。汚れスコア計算部１０４は、観測線の基準線からの変位量の算出するために第１方式又は第２方式を用いて所定の領域の面積を算出する。汚れスコア計算部１０４は、第１方式では、観測線と基準線との間の領域の面積を算出し、第２方式では、フィニッシャー観測線とバンパー観測線との間の領域の面積を算出する。

【0027】

汚れ判定部１０５は、観測線の基準線からの変位量と閾値とを比較して、車載カメラ１１１のレンズに汚れが付着しているか否かを判定し、判定結果を周辺状態認識部１０６の汚れ診断部１０８に出力する。

【0028】

周辺状態認識部１０６は、汚れ診断部１０８及び周辺認識部１０７を有する。汚れ診断部１０８は、判定結果に基づいて、車載カメラ１１１のレンズに汚れが付着しているか否かを診断し、車載カメラ１１１のレンズに汚れが付着していると診断した場合、周辺認識部１０７において正確な画像認識処理の実行が困難であり、誤認識が生じやすいため、周辺認識部１０７に車両の周辺の状態の認識を停止させる旨のＦＡＩＬ情報を出力し、汚れにより周辺認識部１０７の認識を停止する旨をドライバーに報知するための汚れ通知情報をドライバー通知部１０９に出力する。

【0029】

周辺認識部１０７は、車載カメラ１１１の画像を解析し、車両の周辺の状態を認識し、認識結果及び警報情報を警報処理部１１０に出力する。なお、周辺認識部１０７は、汚れ診断部１０８からＦＡＩＬ情報が入力された場合、車両の周辺の状態の認識を停止する。

【0030】

警報処理部１１０は、周辺認識部１０７から入力された認識結果及び警報信号を警報信号として自車両制御部１１４に送信する。自車両制御部１１４は、警報信号を受信すると、受信した警報信号に基づいて車両を制御し、ドライバーに警報を出力する。

【0031】

ドライバー通知部１０９は、汚れ診断部１０８から汚れ通知情報が入力された場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をドライバーに報知する。報知の態様としては、外界認識システム１００の外部に設置されたディスプレイにその旨を表示してもよいし、外界認識システム１００の外部に設置されたスピーカからその旨の音声を出力してもよい。

【0032】

なお、本実施例の汚れ検出部１０１は、雨滴のみならず、車載カメラ１１１のレンズの雪、泥、及び白濁等の汚れを検出可能である。

【0033】

図２は、実施例１の車載カメラ１１１の画像の説明図である。

【0034】

図１で説明したように、車載カメラ１１１は、車両の後方側のボディの一部であるフィニッシャーと当該フィニッシャーの下方に存在するバンパーとの間に設置される。

【0035】

車載カメラ１１１の画像の被写体は、遮光板２０１、フィニッシャー２０２、バンパー２０３、ナンバープレート２０４、及び路面２０５を含む。

【0036】

遮光板２０１は、太陽光等の不要な外光を映り込まないようにするために、車載カメラ１１１のレンズの上部に装着される遮光板の画像である。フィニッシャー２０２は、車載カメラ１１１の上方のフィニッシャーの画像である。バンパー２０３は、車載カメラ１１１の下方のバンパーの画像である。ナンバープレート２０４は、車両のナンバープレートの画像である。路面２０５は、他の車両及び後方の風景等を含む自車両の後方の路面の画像である。

【0037】

車載カメラ１１１の画像の路面２０５は、自車両の移動によって時間経過とともに被写体が変化する。一方、遮光板、フィニッシャー、バンパー、及びナンバープレートと車載カメラ１１１との相対的な位置関係は自車両の移動によって変化しないので、車載カメラ１１１の画像の遮光板２０１、フィニッシャー２０２、バンパー２０３、及びナンバープレート２０４は、自車両の移動によって変化せず、常に静止した被写体として映る。

【0038】

本実施例では、静止した被写体のうち、フィニッシャー２０２及びバンパー２０３を基準線として設定する例について説明するが、基準線は、静止した被写体であればこれに限定されず、遮光板２０１であってもよいし、ナンバープレート２０４であってもよい。また、観測線の基準線からの変位量の算出に第１方式を用いる場合には、基準線は、遮光板２０１、フィニッシャー２０２、バンパー２０３、及びナンバープレート２０４の中から少なくとも一つ設定されればよく、観測線の基準線からの変位量の算出に第２方式を用いる場合には、基準線は、遮光板２０１、フィニッシャー２０２、バンパー２０３、及びナンバープレート２０４の中から少なくとも二つ設定されればよい。また、車載カメラ１１１の画像に常に静止している被写体が映り込む場合には、当該被写体を基準線としてもよい。

【0039】

図３（Ａ）は、フィニッシャー基準線及びバンパー基準線の説明図である。

【0040】

観測点設定部１０２は、車載カメラ１１１のレンズに汚れが付着していない場合の車載カメラ１１１の画像上でフィニッシャーが映り込み、当該フィニッシャーの画像のエッジ線をフィニッシャー基準線３０１に設定する。同様に、観測点設定部１０２は、車載カメラ１１１のレンズに汚れが付着していない場合の車載カメラ１１１の画像上でバンパーが映り込み、当該バンパーの画像のエッジ線をバンパー基準線３０２に設定する。

【0041】

具体的には、観測点設定部１０２は、自車両の形状の設計情報、車載カメラ１１１の設置位置情報、及び車載カメラ１１１のパラメータ情報に基づいて、フィニッシャー基準線及びバンパー基準線を設定する。車載カメラ１１１の設置位置情報としては、車載カメラ１１１が設置された位置の高さ及び奥行き等がある。車載カメラ１１１のパラメータ情報は内部パラメータ情報及び外部パラメータ情報を含み、内部パラメータ情報は、車載カメラ１１１の焦点距離、画素中心位置（撮像素子の中心位置）、及びレンズ歪み計数等であり、外部パラメータ情報は、車載カメラ１１１の設置角度である。当該車載カメラ１１１の設置角度は、ピッチ(Ｘ軸)、ヨー(Ｙ軸)、及びロール(Ｚ軸)の三軸の角度値で表わされる。ピッチは上下方向の軸回転、ヨーは左右方向の軸回転、ロールは車載カメラ１１１の撮影方向の軸回転である。

【0042】

図３（Ｂ）は、各基準線上に設定された複数の観測点の説明図である。

【0043】

観測点設定部１０２は、フィニッシャー基準線３０１上に所定の間隔で複数の観測点（フィニッシャー観測点）３０３を設定し、バンパー基準線３０２上に所定の間隔で複数の観測点（バンパー観測点３０４）を設定する。

【0044】

なお、各基準線に設定される観測点の数は任意であるが、観測点に対応する変位点から算出される観測線の精度を向上させるために、観測点は可能な範囲で多く設定されることが望ましい。

【0045】

図４は、実施例１の車載カメラ１１１のレンズに雨滴が付着したことによるバンパー観測線の変化の説明図である。

【0046】

フィニッシャー観測線及びバンパー観測線は、車載カメラ１１１のレンズに雨滴等の汚れが付着すると、汚れの付着前に比べて大きく変化する傾向がある。

【0047】

例えば、図４（Ａ）の車載カメラ１１１の画像のバンパー２０３の一部の領域４００に注目する。図４（Ｂ）では、車載カメラ１１１のレンズに雨滴が付着する前のバンパー観測線４０１を示す。図４（Ｃ）では、車載カメラ１１１のレンズに雨滴が付着した場合のバンパー観測線４０３を示す。雨滴が付着した箇所４０２のバンパー観測線４０３は、水滴（又は水膜）内を光線が通過する場合の光の屈折現象によって、大きく変形している。なお、このように、バンパー観測線４０３等の基準線に対する観測線が大きく変形するのは、雨滴にかぎらず、雪、泥、及び白濁等の汚れであっても同様である。

【0048】

図５は、実施例１のバンパー基準線３０２のある観測点３０４の変位点の算出方法の説明図である。

【0049】

エッジ変位観測部１０３は、バンパー基準線３０２と直交する方向でバンパー基準線３０２に設定された観測点３０４から所定の範囲（画素取得範囲）５０１（Ｈ１〜Ｈ３）に位置する画素の輝度値（例えば、０〜２５５）を取得する。そして、エッジ変位観測部１０３は、隣接する画素の輝度値の大きさの勾配が最大となる画素の位置を変位点として算出する。なお、画素取得範囲５０１は、輝度値の勾配を算出可能な範囲で任意に設定される。また、観測点毎に画素取得範囲５０１が異なった値に設定されてもよい。

【0050】

図５では、変位点が観測点３０４の上下方向のどちらに変位しても観測できるようにするために、画素取得範囲５０１の中心が観測点３０４に設定されるが、画素取得範囲５０１の中心は観測点３０４の上方向又は下方向にずらして設定されてもよい。

【0051】

図５では、バンパー基準線３０２が左右方向に渡る線であり、画素取得範囲５０１はバンパー基準線３０２と直交する方向（上下方向）に設定されているが、例えば、基準線が上下方向に渡る線である場合には、画素取得範囲５０１は左右方向に設定されることになる。

【0052】

図６は、実施例１の観測点３０４の画素取得範囲５０１の画素の輝度値の変化の説明図である。

【0053】

図６に示すグラフの横軸６００は画素取得範囲５０１の画素の画素位置を示し、縦軸６０１は各画素の輝度値を示す。

【0054】

例えば、図５に示すように、バンパー基準線３０２の下方が上方より暗くなっている場合であって、かつ車載カメラ１１１のレンズに汚れが付着していない場合の輝度値の変化は、曲線Ａ６０２のようになる。つまり、曲線Ａ６０２は、画素位置がＨ１方向の画素の輝度値が大きく、画素位置が位置Ｐ１よりＨ２方向になると画素の輝度値が小さくなる。なお、曲線Ａ６０２の輝度値の勾配が最大となる画素位置は位置（最大勾配位置）Ｐ１であり、位置Ｐ１の画素が車載カメラ１１１のレンズに汚れが付着していない場合の観測点３０４に対応する変位点となる。

【0055】

一方、車載カメラ１１１のレンズに汚れが付着している場合、汚れによる光線の屈折現象により画像に歪みが生じるので、エッジ線の形状が変化する。このため、車載カメラ１１１のレンズに汚れが付着している場合の輝度値は、汚れが付着していない場合の輝度値から変化し、曲線Ｂ６０３のようになる。

【0056】

曲線Ｂ６０３の最大勾配位置は位置Ｐ１から変化し位置Ｐ２となる。これは、車載カメラ１１１のレンズに付着した雨滴等の汚れが原因で最大勾配位置が位置Ｐ１から位置Ｐ２に変化したと推定される。

【0057】

図７は、実施例１の観測線の算出処理の説明図である。

【0058】

図７では、バンパー基準線３０２に例えば観測点３０４Ａ〜３０４Ｄが設定されており、エッジ変位観測部１０３は、図６で説明した方法で全ての観測点３０４Ａ〜３０４Ｄに対応する変位点７０１Ａ〜７０１Ｄを算出する。そして、エッジ変位観測部１０３は、算出した変位点７０１Ａ〜７０１Ｄの座標を通る線をバンパー観測線７０２として生成する。

【0059】

汚れスコア計算部１０４は、バンパー観測線７０２のバンパー基準線３０２からの変位量をスコアとして算出する。バンパー観測線７０２のバンパー基準線３０２からの変位は、例えば、バンパー観測線７０２とバンパー基準線３０２との間の面積によって算出される。

【0060】

車載カメラ１１１のレンズに汚れ（例えば雨滴等）が付着していない場合、バンパー観測線７０２はバンパー基準線３０２から変位しないので、バンパー観測線７０２とバンパー基準線３０２との間の面積は０となる。

【0061】

車載カメラ１１１のレンズに汚れが付着していくと、バンパー観測線７０２のバンパー基準線３０２からの変位量は大きくなり、バンパー観測線７０２とバンパー基準線３０２との間の面積は大きくなる。

【0062】

ここで、バンパー観測線７０２の算出方法について説明する。なお、フィニッシャー基準線３０１の図示しないフィニッシャー観測線も同じ方法を用いて算出できる。

【0063】

各観測点３０４Ａ〜３０４Ｄから各変位点７０１Ａ〜７０１Ｄへの変位が変位量Ｄ１〜Ｄ４であるとする。エッジ変位観測部１０３は、これらの変位量Ｄ１〜Ｄ４を入力とする最小二乗法を用いて変位点間の領域を補完して、二次関数曲線として観測線７０２を算出する。

【0064】

最小二乗法とは、推定値（基準線に相当）と測定値（観測線に相当）との差（残差）を用いて、残差の二乗和が最小となるように二次関数曲線の計数を算出する手法である。具体的には、式１によって観測線となる二次関数曲線が算出される。

【0065】

【数1】

【0066】

式１のＷ２、Ｗ１、及びＷ０は二次関数の計数であり、Ｘは各観測点３０４Ａ〜３０４ＤのＸ座標である。

【0067】

最小二乗法では、まず、式２を用いて全ての変位量Ｄ１〜Ｄ４を二乗した値の合計値Ｔが算出される。

【0068】

【数2】

【0069】

式２のＴは、変位量Ｄ１〜Ｄ４の二乗和の合計であり、ｘは各観測点３０４Ａ〜３０４ＤのＸ座標であり、ｆ（ｘ）は変位点７０１Ａ〜７０１Ｄのｙ座標であり、Ｙは、ｘ位置の観測点３０４Ａ〜３０４Ｄのｙ座標である。

【0070】

式１の二次関数を式２に代入すると式３となる。式３のＴは、係数Ｗ２、Ｗ１及びＷ０の関数とみなすことができるので、式３のＴを係数Ｗ２、Ｗ１及びＷ０で微分した式が０となるとき、Ｔが最小となる。

【0071】

【数3】

【0072】

式３において、Ｔが最小となる条件の連立方程式を行列式で表すと式４となる。

【0073】

【数4】

【0074】

式４の行列式を解き、係数Ｗ２、Ｗ１及びＷ０を算出することによって、各変位点７０１Ａ〜７０４Ｄに基づく二次関数曲線が算出される。

【0075】

以上によって、各観測点３０４Ａ〜３０４Ｄの各変位点７０１Ａ〜７０１Ｄを結ぶ二次関数曲線が最小二乗法を用いて算出される。なお、変位点から観測線を算出する方法については、最小二乗法に限定されず他の方法を用いてもよい。

【0076】

次に、図８を用いて汚れスコア計算部１０４によるスコアの算出処理について説明する。

【0077】

汚れスコア計算部１０４によるスコアの算出方式として、第１方式及び第２方式を説明するが、汚れスコア計算部１０４は、第１方式及び第２方式の少なくとも一つを用いてスコアを計算すればよい。

【0078】

図８（Ａ）は、汚れスコア計算部１０４による第１方式を用いたスコアの算出処理の説明図である。

【0079】

第１方式は、観測線の基準線からの変位となるスコアを、観測線と基準線との間の面積を算出することによって算出する。なお、図８（Ａ）では、例として、フィニッシャー観測線７０３とフィニッシャー基準線との間の領域（汚れスコア領域８０１）の面積をスコアとして算出する。同様の方法で、バンパー観測線７０２とバンパー基準線３０２との間の領域の面積を算出可能である。

【0080】

フィニッシャー基準線３０１の二次関数式をｙ＝ｆ（ｘ）とし、フィニッシャー観測線７０３の二次関数式をｙ＝ｇ（ｘ）とした場合のαからβまでの汚れスコア領域８０１の面積Ｓは、式５を用いて算出される。

【0081】

【数5】

【0082】

図８（Ｂ）は、汚れスコア計算部１０４による第２方式を用いたスコアの算出処理の説明図である。

【0083】

第２方式は、観測線の基準線からの変位となるスコアを二つの観測線の間の面積を算出することによって算出する。具体的には、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域（汚れスコア領域８０２）の面積をスコアとして算出する。

【0084】

図８（Ｂ）では、例として、αからβまでの汚れスコア領域８０２の面積が算出される。なお、α及びβは、フィニッシャー観測線７０３とバンパー観測線７０２との交点である。

【0085】

フィニッシャー観測線７０３の二次関数式をｙ＝ａｘ＾２＋ｂｘ＋ｃとし、バンパー観測線７０２の二次関数式をｙ＝ｄｘ＾２＋ｅｘ＋ｆとすると、αからβまでの汚れスコア領域８０２の面積Ｓは、式６を用いて算出される。

【0086】

【数6】

【0087】

なお、第２方式の汚れスコア領域８０２の面積は、第１方式の汚れスコア領域８０１の面積に比べて大きくなるため、車載カメラ１１１のレンズに汚れが付着していると判定するための閾値に対するマージンが大きくなり、汚れ判定部１０５による面積と閾値とを比較しやくなる。これによって、車載カメラ１１１のレンズに汚れが付着したか否かの判定の正確性が向上する。

【0088】

図９は、実施例１のエッジ変位観測部１０３による変位点補正処理の説明図である。

【0089】

変位点補正処理は、汚れスコア計算部１０４が第２方式を用いてスコアを算出する場合に、エッジ変位観測部１０３が変位点を算出した後に実行される。

【0090】

図９（Ａ）では、フィニッシャー基準線３０１より上方に変位点７０１Ｅ及び７０１Ｇが算出され、フィニッシャー基準線３０１より下方に変位点７０１Ｆが算出される。このように、ある基準線の観測点に対応する複数の変位点の変位方向がそれぞれ異なる状態で、二つの観測線の間の領域の面積を算出すると、異なる変位方向の変位によって面積が相殺されてしまい、観測線の基準線からの変位を正確に算出できない。例えば、ある基準線の二つの変位点のうち一の変位点が上方向に変位し、他方の変位点が下方向に変位し、これらの変位量が同じである場合に、二つの観測線の間の領域の面積を算出すると、面積が０になってしまい、観測線は基準線から変化していないことになってしまう。

【0091】

このような事態を防止するために、ある基準線からの変位点の変位方向を、面積が小さくなる方向及び面積が大きくなる方向のいずれか一方側に補正する。

【0092】

例えば、図９（Ｂ）では、変位点７０１Ｅを当該変位点７０１Ｅの変位量の分だけ下方向に変位させ、変位点７０１Ｅを変位点７０１Ｅ'に補正する。また、変位点７０１Ｇを当該変位点７０１Ｇの変位量の分だけ下方向に変位させ、変位点７０１Ｇを変位点７０１Ｇ'に補正する。この場合、バンパー基準線３０２より下方に変位点が算出された場合、当該変位点を変位量の分だけ上方向に変位させる。このように、図９（Ａ）及び（Ｂ）では、フィニッシャー観測線７０３とバンパー観測線７０２との間の面積が小さくなる方向（フィニッシャー基準線３０１より上方向の変位点の補正方向は下方向、及びバンパー基準線３０２より下方向の変位点の補正方向は上方向）に変位点を補正することによって、変位方向の異なる変位点により面積が相殺されることを防止し、観測線の基準線からの変位を正確に算出することが可能となる。

【0093】

なお、図９（Ａ）及び（Ｂ）では、フィニッシャー観測線７０３とバンパー観測線７０２との間の面積が小さくなる方向に変位点を補正することについて説明したが、フィニッシャー観測線７０３とバンパー観測線７０２との間の面積が大きくなる方向に補正してもよい。この場合、フィニッシャー基準線３０１より下方向の変位点は上方向に補正し、バンパー基準線３０２より上方向の変位点の補正方向は下方向に補正する。

【0094】

図１０は、実施例１の汚れスコア計算部１０４に算出されたスコアと閾値との関係の説明図である。

【0095】

汚れ判定部１０５は、汚れスコア計算部１０４に算出されたスコアと閾値との大小関係を比較することによって、車載カメラ１１１のレンズに汚れが付着しているか否かを判定する。

【0096】

図１０（Ａ）は、第１方式によるスコアと閾値との関係の説明図である。

【0097】

第１方式によるスコアの算出では、フィニッシャー観測線７０３とフィニッシャー基準線３０１との間の領域の面積（フィニッシャースコア値ＳＣ１（１０００））及びバンパー観測線７０２とバンパー基準線３０２との間の領域の面積（バンパースコア値ＳＣ２（１００１））の少なくとも一方を算出すればよいが、本実施例では、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）の両方が算出された場合について説明する。

【0098】

フィニッシャースコア値ＳＣ１（１０００）に対して閾値ＴＨ１（１００２）が設定され、バンパースコア値ＳＣ２（１００１）に対して閾値ＴＨ２（１００３）が設定される。

【0099】

これらの閾値ＴＨ１（１００２）及び閾値ＴＨ２（１００３）は、自車両がイグニッションを起動し、外界認識システム１００が起動した場合に所定の値に初期設定される。

【0100】

なお、図１０（Ａ）では、閾値ＴＨ１（１００２）及び閾値ＴＨ２（１００３）には同じ値が設定されているが、異なる値が設定されてもよい。

【0101】

また、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）の両方が算出された場合であっても、例えば、フィニッシャースコア値ＳＣ１（１０００）とバンパースコア値ＳＣ２（１００１）との和を閾値と比較する場合には、閾値は一つ設定されればよい。

【0102】

また、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）のいずれか一方だけ算出される場合、算出されるスコア値に対応する閾値のみ設定されればよい。

【0103】

図１０（Ｂ）は、第２方式によるスコアと閾値との関係の説明図である。

【0104】

第２方式によるスコアの算出では、フィニッシャー観測線７０３とバンパー観測線７０２との間の一つの領域の面積が算出されるため、一つのスコア値ＳＣ（１００４）が算出され、このスコア値ＳＣ（１００４）に対応する閾値ＴＨ（１００５）が設定される。

【0105】

閾値ＴＨ（１００５）は、自車両がイグニッション起動し、外界認識システム１００が起動した場合に所定の値に初期設定される。

【0106】

図１１は、汚れ判定部１０５の判定結果の説明図である。

【0107】

図１１（Ａ）は、第１方式によるフィニッシャースコア値ＳＣ１（１０００）に基づく汚れ判定結果の説明図である。

【0108】

第１方式では、車載カメラ１１１のレンズの汚れの付着が進行すると、観測線の基準線からの変位が大きくなるため、観測線と基準線との間の領域の面積も増加する。このため、汚れ判定部１０５は、第１方式によって算出されたスコア値が閾値以上であるか否かを判定し、スコア値が閾値以上であれば、車載カメラ１１１のレンズに汚れが付着していると判定する。

【0109】

図１１（Ａ）では、縦軸をフィニッシャースコア値ＳＣ１（１０００）とし、横軸を時刻Ｔ１１００としたグラフである。フィニッシャースコア値ＳＣ１（１０００）は時間経過とともに増加していき、時刻Ｔ２で閾値ＴＨ１（１００２）以上となる。このため、汚れ判定部１０５の判定結果は、時刻Ｔ１からＴ２までは汚れなしであり、時刻Ｔ２から時刻Ｔ３までは汚れありとなる。

【0110】

なお、バンパースコア値ＳＣ２（１００１）の判定についても、図１１（Ａ）で説明した方法を用いることができる。

【0111】

図１１（Ｂ）は、第２方式によるスコア値ＳＣ（１００４）に基づく汚れ判定結果の説明図である。

【0112】

ここでは、図９（Ａ）及び（Ｂ）で説明した面積が小さくなる方向に変位点が補正される場合について説明する。面積が小さくなる方向に変位点が補正される場合には、車載カメラ１１１のレンズの汚れの付着が進行すると、フィニッシャー観測線７０３は下方向に変位していき、バンパー観測線７０２は上方向に変位していき、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域の面積が減少する。

【0113】

このため、汚れ判定部１０５は、第２方式によって算出されたスコア値が閾値以下であるか否かを判定し、スコア値が閾値以下であれば、車載カメラ１１１のレンズに汚れが付着していると判定する。

【0114】

図１１（Ｂ）では、縦軸をスコア値ＳＣ（１００４）とし、横軸を時刻Ｔ１１００としたグラフである。スコア値ＳＣ（１００４）は時間経過とともに減少していき、時刻Ｔ２で閾値ＴＨ（１００５）以下となる。このため、汚れ判定部１０５の判定結果は、時刻Ｔ１からＴ２までは汚れなしであり、時刻Ｔ２から時刻Ｔ３までは汚れありとなる。

【0115】

なお、面積が大きくなる方向に変位点が補正される場合には、車載カメラ１１１のレンズの汚れの付着が進行すると、フィニッシャー観測線７０３は上方向に変位していき、バンパー観測線７０２は下方向に変位していき、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域の面積が増加する。この場合、汚れ判定部１０５は、第２方式によって算出されたスコア値が閾値以上であるか否かを判定し、スコア値が閾値以上であれば、車載カメラ１１１のレンズに汚れが付着していると判定する。

【0116】

図１２は、実施例１の外界認識システム１００による処理のフローチャートである。

【0117】

まず、外界認識システム１００は、自車両のイグニッションがオンになったか否かを判定する（Ｓ１）。

【0118】

Ｓ１の処理で、イグニッションがオンになっていないと判定された場合、外界認識システム１００は、イグニッションがオンになったと判定されるまでＳ１の処理を繰り返し実行する。

【0119】

一方、イグニッションがオンになったと判定された場合、観測点設定部１０２は、フィニッシャー観測点３０３及びバンパー観測点３０４を設定する（Ｓ２）。Ｓ２の処理で、観測点設定部１０２は、自車両の形状の設計情報、車載カメラ１１１の設置位置情報、及び車載カメラ１１１のパラメータ情報に基づいて、フィニッシャー基準線及びバンパー基準線を設定してもよい。

【0120】

次に、観測点設定部１０２は、汚れ判定部１０５が用いる閾値を設定する（Ｓ３）。なお、観測点設定部１０２は、現在の天候情報を所定の方法によって取得し、取得した天候情報に基づいて、閾値を設定してもよい。観測点設定部１０２は、例えば、天候情報が雨及び雪等である場合、汚れが付着したと判定されにくい閾値を設定してもよいし、天候情報が晴れである場合、汚れが付着したと判定されやすい閾値を設定してもよい。第１方式によるスコア値に対応する閾値、及び面積が大きくなる方向に補正する第２方式によるスコア値では、汚れが付着したと判定されにくい閾値とは通常の閾値より大きい値であり、汚れが付着したと判定されやすい閾値とは通常の閾値より小さい値である。一方、面積が小さくなる方向に補正する第２方式では、汚れが付着したと判定されにくい閾値とは通常の閾値より小さい値であり、汚れが付着したと判定されやすい閾値とは通常の閾値より大きい値である。

【0121】

また、現在の天候情報は、車載カメラ１１１の画像に基づき判定してもよいし、他のインターネット等を介して現在地の天候情報を取得してもよいし、ドライバーが手入力で入力してもよい。

【0122】

外界認識システム１００に車載カメラ１１１の画像が入力された場合（Ｓ４）、エッジ変位観測部１０３は、入力された画像に基づいてフィニッシャー観測点３０３に対応する変位点７０１を算出する（Ｓ４）。この変位点７０１の算出については図６で詳細に説明した。

【0123】

そして、エッジ変位観測部１０３は、Ｓ４の処理で算出した変位点７０１に基づいて、フィニッシャー観測線７０３を算出する（Ｓ５）。フィニッシャー観測線７０３の算出については、図７で説明した。なお、第２方式を用いてスコアを算出する場合には、エッジ変位観測部１０３は、Ｓ４の処理で算出した変位点７０１に対して図９（Ａ）及び（Ｂ）で説明した変位点補正処理を実行した後で、フィニッシャー観測線７０３を算出する。

【0124】

次に、エッジ変位観測部１０３は、入力された画像に基づいてバンパー観測点３０４に対応する変位点７０１を算出する（Ｓ６）。この変位点の算出についても図６で詳細に説明した。

【0125】

そして、エッジ変位観測部１０３は、Ｓ４の処理で算出した変位点７０１に基づいて、変位点７０１間の領域を補完してバンパー観測線７０２を算出する（Ｓ７）。バンパー観測線７０２の算出については、図７で説明した。なお、第２方式を用いてスコアを算出する場合には、Ｓ５と同じく、エッジ変位観測部１０３は、Ｓ５の処理で算出した変位点７０１に対して図９（Ａ）及び（Ｂ）で説明した変位点補正処理を実行した後で、バンパー観測線７０２を算出する。

【0126】

次に、汚れスコア計算部１０４は、第１方式による場合には、フィニッシャー観測線７０３とフィニッシャー基準線３０１との間の領域の面積をフィニッシャースコア値ＳＣ１（１０００）として算出し、バンパー観測線７０２とフィニッシャー基準線３０１との間の領域の面積をバンパースコア値ＳＣ２（１００１）として算出する（Ｓ８）。また、Ｓ８の処理では、汚れスコア計算部１０４は、第２方式による場合には、フィニッシャー観測線７０３とバンパー観測線７０２との間の領域の面積をスコア値ＳＣ（１００４）として算出する。本実施例では、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）、並びにスコア値ＳＣ（１００４）が算出されるものとする。

【0127】

次に、汚れ判定部１０５は、第１方式によるフィニッシャースコア値ＳＣ１（１０００）が閾値ＴＨ１（１００２）以上であるか否か、及び第１方式によるバンパースコア値ＳＣ２（１００１）が閾値ＴＨ２（１００３）以上であるか否かを判定する（Ｓ９Ａ）。

【0128】

Ｓ９Ａの処理では、フィニッシャースコア値ＳＣ１（１０００）が閾値ＴＨ１（１００２）以上、及びバンパースコア値ＳＣ２（１００１）が閾値ＴＨ２（１００３）以上の少なくとも一方が成立する場合、第１方式によるスコア値が閾値以上であり、車載カメラ１１１のレンズに汚れが付着していると判定してもよいし、フィニッシャースコア値ＳＣ１（１０００）が閾値ＴＨ１（１００２）以上、及びバンパースコア値ＳＣ２（１００１）が閾値ＴＨ２（１００３）以上の両方が成立する場合、第１方式によるスコア値が閾値以上であり、車載カメラ１１１のレンズに汚れが付着していると判定してもよい。

【0129】

また、汚れ判定部１０５は、スコア値ＳＣ（１００４）が閾値ＴＨ（１００５）以下であるか否かを判定することによって車載カメラ１１１のレンズに汚れが付着しているか否かを判定する（Ｓ９Ｂ）。

【0130】

Ｓ９Ａの処理及びＳ９Ｂの処理の少なくも一方で、車載カメラ１１１のレンズに汚れが付着していると判定された場合、汚れ判定部１０５は、車載カメラ１１１のレンズに汚れが付着したと判定し（Ｓ１０）、当該判定結果を汚れ診断部１０８に出力する。

【0131】

汚れ診断部１０８は、車載カメラ１１１のレンズに汚れが付着した旨の判定結果が入力された場合、周辺認識部１０７に動作を停止させる旨のＦＡＩＬ情報を出力し（Ｓ１１）、車載カメラ１１１のレンズに汚れが付着しているため周辺認識部１０７が動作を停止した旨をドライバーに通知するため、汚れ通知情報をドライバー通知部１０９に出力する（Ｓ１２）。なお、ドライバー通知部１０９は、汚れ通知情報が入力された場合、その旨をドライバーに報知する。報知の態様としては、自車両に搭載された表示画面にその旨を表示してもよいし、自車両に搭載されたスピーカからその旨の音声を出力してもよい。

【0132】

次に、外界認識システム１００が、イグニッションがオフとなったか否かを判定することによって処理を終了するか否かを判定する（Ｓ１５）。Ｓ１５の処理で、イグニッションがオフとなったと判定された場合、処理を終了し、イグニッションがオフとなっていないと判定された場合、Ｓ３の処理に戻る。

【0133】

一方、Ｓ９Ａの処理及びＳ９Ｂの処理の両方で、車載カメラ１１１のレンズに汚れが付着していないと判定された場合、汚れ判定部１０５は、車載カメラ１１１のレンズに汚れが付着していないと判定し（Ｓ１３）、当該判定結果を汚れ診断部１０８に出力する。

【0134】

汚れ診断部１０８は、車載カメラ１１１のレンズに汚れが付着していない旨の判定結果が入力された場合、ＦＡＩＬ情報を周辺認識部１０７に出力せず、周辺認識部１０７に動作を継続させ（Ｓ１４）、Ｓ１５の処理に進む。

【0135】

これによって、車載カメラ１１１のレンズに汚れが付着しているか否かを判定することができる。

【0136】

なお、Ｓ９Ａの処理及びＳ９Ｂの処理の少なくも一方で、車載カメラ１１１のレンズに汚れが付着していると判定された場合にＳ１０の処理に進み、汚れ判定部１０５は、車載カメラ１１１のレンズに汚れが付着したと判定するとしたが、Ｓ９Ａの処理及びＳ９Ｂの処理の両方で、車載カメラ１１１のレンズに汚れが付着していると判定された場合にＳ１０の処理に進むようにしてもよい。また、図８で説明したように、第２方式によって算出された面積のほうが第１方式によって算出された面積より大きくなり、閾値とのマージンが大きくなるため、車載カメラ１１１のレンズに汚れが付着したか否かの判定が正確になることを考慮して、少なくともＳ９Ｂの処理で、車載カメラ１１１のレンズに汚れが付着していると判定された場合にＳ１０の処理に進むようにしてもよい。

【0137】

また、Ｓ９Ａの処理では、フィニッシャースコア値ＳＣ１（１０００）とバンパースコア値ＳＣ２（１００１）との合計値が閾値以上であれば、車載カメラ１１１のレンズに汚れが付着したと判定してもよい。

【0138】

さらに、上記した説明では、第１方式によるスコア値及び第２方式によるスコア値の両方を算出したが、どちらか一方のスコア値を算出してもよい。この場合、第１方式によるスコア値を算出する場合には、フィニッシャースコア値ＳＣ１（１０００）及びバンパースコア値ＳＣ２（１００１）の両方を算出する必要はなく、いずれか一方のみを算出してもよい。フィニッシャースコア値ＳＣ１（１０００）のみを算出する場合には、Ｓ２の処理で、バンパー観測点３０４を設定する必要はなく、Ｓ６及びＳ７の処理も実行する必要はない。また、バンパースコア値ＳＣ２（１００１）のみを算出する場合には、Ｓ２の処理で、フィニッシャー観測点３０３を設定する必要はなく、Ｓ４及びＳ５の処理も実行する必要はない。

【0139】

以上のように、本実施例では、外界認識システム１００は、観測線の基準線からの変位量を算出し、算出した変位量に基づいて車載カメラ１１１のレンズに汚れが付着しているか否かを判定する。エッジ観測点でない部分の汚れ等が観測値に反映されない特許文献１よりも車載カメラ１１１のレンズの汚れを正確に検出できる。

【0140】

また、外界認識システム１００は、図８（Ａ）で説明したように、第１方式により、観測線と基準線との間の領域の面積を算出することによって、観測線の基準線からの変位量を算出してもよいし、図８（Ｂ）で説明したように、第２方式により、第１観測線（フィニッシャー観測線７０３）と第２観測線（バンパー観測線７０２）との間の領域の面積を算出することによって、各観測線の各基準線からの変位量を算出してもよい。このように、面積を用いることによって、観測線の基準線からの全体の変位量を算出できるため、車載カメラ１１１のレンズの汚れを正確に検出できる。

【0141】

さらに、外界認識システム１００は、第２方式を用いる場合には、図９（Ａ）及び（Ｂ）で説明したように、第１基準線（フィニッシャー基準線３０１）の観測点に対応する変位点の変位方向と、第２基準線（バンパー基準線３０２）の観測点に対応する変位点の変位方向とを、面積が大きくなる方向又は小さくなる方向のいずれかに統一して変位点を補正するので、変位方向の異なる変位点により面積が相殺され、車載カメラ１１１のレンズに汚れが付着しているにもかかわらず、当該汚れを検出できない事態を防止できる。

【0142】

さらに、外界認識システム１００は、図７で説明したように、例えば、最小二乗法等を用いて、各変位点の間を補間することによって、観測線を算出するので、観測点がない領域の基準線からの変位をより正確に算出できる。

【0143】

さらに、外界認識システム１００は、図６で説明したように、基準線に設定された観測点の画素取得範囲５０１の画素の輝度値を取得し、取得した輝度値の勾配が最大となる画素を変位点として算出する。これによって、車載カメラ１１１の画像のうち観測点に対応する点を変位点として正確に算出できる。

【0144】

さらに、外界認識システム１００は、図３で説明したように、自車両の形状の設計情報、車載カメラ１１１の設置位置情報、及び車載カメラ１１１のパラメータ情報に基づいて、基準線を設定するため、車載カメラ１１１の画像上での基準線の対象となる物の位置を正確に基準線として設定できる。

【実施例2】

【0145】

本実施例について図１３を用いて説明する。本実施例では、実施例１の外界認識システム１００が搭載された車両１０について説明する。

【0146】

図１３は、実施例２の外界認識システム１００が搭載された車両１０の説明図である。図１３に示す構成のうち、実施例１の図１に示す構成と同じ構成は同じ符号を付与し、説明を省略する。

【0147】

車両１０は、外界認識システム１００、車載カメラ１１１、制御部１１２、メモリ１１３、自車両制御部１１４、ＬＥＤ１２００、スピーカ１２０１、ディスプレイ１２０２、及びカーナビ（ナビゲーション装置）１２０３を備える。

【0148】

ドライバー通知部１０９は、汚れ診断部１０８から汚れ通知情報が入力された場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をドライバーに報知するための報知信号を、ＬＥＤ１２００、スピーカ１２０１、ディスプレイ１２０２、及びカーナビ１２０３の少なくとも一つに送信する。

【0149】

ＬＥＤ１２００が報知信号を受信した場合、ＬＥＤ１２００を点灯させ、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をドライバーに報知する。ＬＥＤ１２００は、車両１０の外部に設置されてもよいし、内部に設置されていてもよい。

【0150】

スピーカ１２０１が報知信号を受信した場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨を示す音声情報を出力し、その旨をドライバーに報知する。

【0151】

ディスプレイ１２０２が報知信号を受信した場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨を表示し、その旨をドライバーに報知する。

【0152】

カーナビ１２０３が報知信号を受信した場合、車載カメラ１１１のレンズに汚れが付着し、周辺認識部１０７の認識処理が停止している旨をカーナビ１２０３のディスプレイに表示し、その旨をドライバーに報知する。

【0153】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0154】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0155】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない、実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0156】

１００ 外界認識装置
１０１ 汚れ検出部
１０２ 観測点設定部
１０３ エッジ変移観測部
１０４ 汚れスコア計算部
１０５ 汚れ判定部
１０６ 周辺状態認識部
１０７ 周辺認識部
１０８ 汚れ診断部
１０９ ドライバー通知部
１１０ 警報処理部
１１１ 車載カメラ
１１２ 制御部
１１３ メモリ
１１４ 自車両制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】