特許第6246014号(P6246014)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
特許6246014外界認識システム、車両、及びカメラの汚れ検出方法
<>
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000008
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000009
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000010
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000011
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000012
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000013
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000014
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000015
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000016
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000017
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000018
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000019
  • 特許6246014-外界認識システム、車両、及びカメラの汚れ検出方法 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6246014
(24)【登録日】2017年11月24日
(45)【発行日】2017年12月13日
(54)【発明の名称】外界認識システム、車両、及びカメラの汚れ検出方法
(51)【国際特許分類】
   G06T 1/00 20060101AFI20171204BHJP
   G08G 1/16 20060101ALI20171204BHJP
   H04N 7/18 20060101ALI20171204BHJP
   B60R 1/00 20060101ALI20171204BHJP
【FI】
   G06T1/00 330Z
   G08G1/16 C
   H04N7/18 K
   B60R1/00 A
【請求項の数】12
【全頁数】23
(21)【出願番号】特願2014-28414(P2014-28414)
(22)【出願日】2014年2月18日
(65)【公開番号】特開2015-153295(P2015-153295A)
(43)【公開日】2015年8月24日
【審査請求日】2016年9月7日
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】110001678
【氏名又は名称】特許業務法人藤央特許事務所
(72)【発明者】
【氏名】秋山 靖浩
(72)【発明者】
【氏名】中村 克行
(72)【発明者】
【氏名】入江 耕太
【審査官】 真木 健彦
(56)【参考文献】
【文献】 国際公開第2012/140976(WO,A1)
【文献】 国際公開第2013/136878(WO,A1)
【文献】 特開2010−273014(JP,A)
【文献】 特開2007−318355(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
H04N 7/18
B60R 1/00
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、
前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、
前記汚れ検出部は、
前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記カメラの画像から前記基準線に対応する観測線を算出し、
前記観測線の前記基準線からの変位量を算出し、
前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記観測線と前記基準線との間の領域の面積を算出することによって、前記観測線の前記基準線からの変位量を算出することを特徴とする外界認識システム。
【請求項2】
請求項1に記載の外界認識システムであって、
前記基準線は、前記車両のボディの一部の第1基準線及び前記車両のバンパーの一部の第2基準線を含み、
前記汚れ検出部は、
前記カメラの画像から前記第1基準線に対応する第1観測線を算出し、
前記カメラの画像から前記第2基準線に対応する第2観測線を算出し、
前記第1観測線と前記第1基準線との間の領域の第1面積を算出し、
前記第2観測線と前記第2観測線との間の領域の第2面積を算出し、
前記第1面積と所定の第1閾値との大小関係、及び前記第2面積と所定の第2閾値との大小関係、又は前記第1面積と前記第2面積との合計面積と所定の第3閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。
【請求項3】
車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、
前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、
前記汚れ検出部は、
前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記カメラの画像から前記基準線に対応する観測線を算出し、
前記観測線の前記基準線からの変位量を算出し、
前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
第1基準線及び第2基準線を前記基準線として設定し、
前記カメラの画像から前記第1基準線に対応する第1観測線を算出し、
前記カメラの画像から前記第2基準線に対応する第2観測線を算出し、
前記第1観測線と前記第2観測線との間の領域の面積を算出することによって、前記第1観測線の前記第1基準線からの変位量及び前記第2観測線の前記第2基準線からの変位量を算出することを特徴とする外界認識システム。
【請求項4】
請求項3に記載の外界認識システムであって、
前記汚れ検出部は、
前記第1基準線及び前記第2基準線上にそれぞれ複数の観測点を設定する観測点設定部と、
前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
前記変位観測部は、前記第1基準線上に設定された複数の観測点に対応する変位点の変位方向が異なり、前記第2基準線上に設定された複数の観測点に対応する変位点の変位方向が異なる場合、前記第1観測線と前記第2観測線との間の領域の面積が大きくなる方向及び小さくなる方向のいずれか一方向に統一して、前記第1基準線上に設定された複数の観測点に対応する変位点及び前記第2基準線上に設定された複数の観測点に対応する変位点を補正することを特徴とする外界認識システム。
【請求項5】
請求項3に記載の外界認識システムであって、
前記第1基準線は、前記車両のボディの一部の基準線であり、
前記第2基準線は、前記車両のバンパーの一部の基準線であり、
前記第1観測線と前記第2観測線との間の領域の面積と所定の第4閾値との大小関係に基づいて、前記カメラに汚れが付着しているか否かを検出することを特徴とする外界認識システム。
【請求項6】
請求項1又は3に記載の外界認識システムであって、
前記汚れ検出部は、
前記基準線上に複数の観測点を設定する観測点設定部と、
前記カメラの画像上における前記複数の観測点に対応する複数の変位点を観測する変位観測部と、を有し、
前記変位観測部は、前記観測した複数の変位点を補間することによって、前記観測線を算出することを特徴とする外界認識システム。
【請求項7】
請求項6に記載の外界認識システムであって、
前記変位観測部は、
前記観測点の前記基準線に対して直交する方向の複数の画素の輝度値を取得し、
隣接する画素の輝度値の大きさの勾配が最大となる画素を前記観測点に対応する変位点として算出することを特徴とする外界認識システム。
【請求項8】
請求項1又は3に記載の外界認識システムであって、
前記汚れ検出部は、前記車両の設計情報、前記カメラの搭載位置情報、及び前記カメラのパラメータ情報に基づいて、前記基準線を設定することを特徴とする外界認識システム。
【請求項9】
請求項1又は3に記載の外界認識システムであって、
前記汚れ検出部は、
前記カメラに汚れが付着していることを検出した場合、前記カメラの画面の解析結果に基づいて前記車両の周辺の状態を認識することを停止し、
前記カメラに汚れが付着していることを検出した旨を前記車両の運転者に報知することを特徴とする外界認識システム。
【請求項10】
請求項1から請求項9のいずれか一つに記載の前記外界認識システムを搭載することを特徴とする車両。
【請求項11】
車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムにおける前記カメラの汚れ検出方法であって、
前記方法は、
前記外界認識システムが、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記基準線に対応する観測線を算出し、
前記外界認識システムが、前記観測線の前記基準線からの変位量を算出し、
前記外界認識システムが、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記外界認識システムが、前記観測線と前記基準線との間の領域の面積を算出することによって、前記観測線の前記基準線からの変位量を算出することを特徴とする汚れ検出方法。
【請求項12】
車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムにおける前記カメラの汚れ検出方法であって、
前記方法は、
前記外界認識システムが、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記基準線に対応する観測線を算出し、
前記外界認識システムが、前記観測線の前記基準線からの変位量を算出し、
前記外界認識システムが、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出し、
前記外界認識システムが、第1基準線及び第2基準線を前記基準線として設定し、
前記外界認識システムが、前記カメラの画像から前記第1基準線に対応する第1観測線を算出し、
前記外界認識システムが、前記カメラの画像から前記第2基準線に対応する第2観測線を算出し、
前記外界認識システムが、前記第1観測線と前記第2観測線との間の領域の面積を算出することによって、前記第1観測線の前記第1基準線からの変位量及び前記第2観測線の前記第2基準線からの変位量を算出することを特徴とする汚れ検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
カメラの画像に基づいて車両の周辺を認識する外界認識システムに関し、特に、カメラの汚れを検出する外界認識システムに関する。
【背景技術】
【0002】
車両同士の衝突及び人と車両との衝突等の事故を未然に避けるため、車両の周辺の状況を車載カメラでモニタし、危険が感知された場合、その旨をドライバーに警報を出力すると共に、車両の挙動を自動で制御する技術が進展している。
【0003】
車載カメラを車両の外部に設置したシステムでは、悪天候、泥、及び粉塵等によって車載カメラのレンズに汚れが付着しやすい。この汚れが原因となり、誤った警報を出力し、安全性の低下を招く可能性がある。
【0004】
そこで、車載カメラのレンズの汚れを自動的に検出し、エアー又は水等を吹きかけて車載カメラのレンズの汚れを除去するシステムも実用化されている。
【0005】
例えば、車載カメラのレンズの汚れを検出する技術として、特開2007−228448号公報(特許文献1)がある。
【0006】
特許文献1の公報には、「車両に取り付けられた撮像装置により自車周辺を撮像し、画像認識処理を実行前に撮像装置の視野内に存在する標識や横断歩道などの物体やテクスチャの情報を取得する。そして、視野内に存在する物体やテクスチャを画像認識部で認識し、認識した物体の形状あるいはテクスチャと予め取得した物体やテクスチャの情報に基づき、認識した物体の形状あるいはテクスチャの歪み、ボケ度合いを算出する。認識した物体の形状あるいはテクスチャから算出した歪み・ボケ度合いに基づきレンズについた水滴や汚れ,霧の有無等の撮像環境を認識する。」と記載されている(要約参照)。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007−228448号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1に記載された技術では、自車両のリアの車載カメラの画像からバンパーのエッジ変位が点群観測され、各観測値が合計された後に平均値が算出される。エッジ観測点は所定間隔で設定されるため、エッジ観測点でない部分の汚れ等が観測値に反映されない。このため、車載カメラの汚れを正確に検出できない。
【0009】
本発明は、車載カメラの汚れの検出の正確性を向上させた外界認識システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の代表的な一例を示せば、車両に搭載されたカメラを備え、前記カメラの画像を解析して、前記カメラの画像の解析結果に基づいて前記車両の周辺の状態を認識する外界認識システムであって、前記カメラに汚れが付着しているか否かを検出する汚れ検出部を備え、前記汚れ検出部は、前記車両が移動しても前記カメラの画像上で変化がない物の少なくとも一部の線を少なくとも一つの基準線として設定し、前記カメラの画像から前記基準線に対応する観測線を算出し、前記観測線の前記基準線からの変位量を算出し、前記変位量に基づいて前記カメラに汚れが付着しているか否かを検出することを特徴とする。
【発明の効果】
【0011】
本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、車載カメラの汚れの検出の正確性を向上させた外界認識システムを提供できる。
【0012】
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0013】
図1】実施例1の外界認識システムの説明図である。
図2】実施例1の車載カメラの画像の説明図である。
図3】実施例1のフィニッシャー基準線及びバンパー基準線、並びに各基準線に設定される観測点の説明図である。
図4】実施例1の車載カメラのレンズに雨滴が付着したことによるバンパー観測線の変化の説明図である。
図5】実施例1のバンパー基準線のある観測点の変位点の算出方法の説明図である。
図6】実施例1の観測点の画素取得範囲の画素の輝度値の変化の説明図である。
図7】実施例1の観測線の算出処理の説明図である。
図8】実施例1の汚れスコア計算部によるスコアの算出処理の説明図である。
図9】実施例1のエッジ変位観測部による変位点補正処理の説明図である。
図10】実施例1の汚れスコア計算部に算出されたスコアと閾値との関係の説明図である。
図11】実施例1の汚れ判定部の判定結果の説明図である。
図12】実施例1の外界認識システムによる処理のフローチャートである。
図13】実施例2の外界認識システムが搭載された車両の説明図である。
【発明を実施するための形態】
【実施例1】
【0014】
実施例1について図1図12を用いて説明する。図1は、実施例1の外界認識システム100の説明図である。
【0015】
外界認識システム100は、車両に設置された車載カメラ111の画像が入力され、入力された画像に所定の画像信号処理を実行し、車両の周辺の状態を認識し、認識結果を車両の自車両制御部114及びドライバー(運転手)に報知する。
【0016】
車両の周辺の状態の認識とは、外界認識システム100が車載カメラ111の画像を解析し、自車両の近傍及び遠方の周辺空間において、バイク又は自転車を含む他の車両及び歩行者の有無、自車両の走行又は駐車の妨げになる障害物の有無、並びに自車両が道路を安定して走行できるための走行レーン等を認識することである。車両の周辺の状態の認識は、他にも、自車両の近傍及び遠方のバイク又は自転車を含む他の車両及び歩行者(接近物)の急接近を検知することによって、自車両と接近物との衝突を予測すること、並びに自車両と障害物との衝突を予測することを含む。
【0017】
外界認識システム100は、信号バスを介して車載カメラ111、制御部112、メモリ113、及び自車両制御部114に接続される。
【0018】
車載カメラ111は、例えば、車両の後方側に設置され、より詳細には、車両のボディの一部であるフィニッシャーと当該フィニッシャーの下方に存在するバンパーとの間に設置される。車載カメラ111は車両の周辺の状態を撮影し、撮影した画像はメモリ113に一時的に記憶される。なお、車載カメラ111の設置位置は車両の後方側に限定されず、例えば、車両の前方側であってもよいし、左右側方の少なくとも一方側であってもよい。
【0019】
制御部112は、制御部112に記憶された画像の入出力、及び外界認識システム100と自車両制御部114との間における警報信号の入出力を制御する。メモリ113には、車載カメラ111が撮影した画像及び制御部112が実行する各種プログラムが記憶される。
【0020】
自車両制御部114は、車両のエンジン制御及びブレーキ制御等の車両の動作を制御する。
【0021】
外界認識システム100は、汚れ検出部101、周辺状態認識部106、警報処理部110、及びドライバー通知部109を備える。外界認識システム100は、図示しないプロセッサ及びメモリを備え、メモリには、汚れ検出部101、周辺状態認識部106、警報処理部110、及びドライバー通知部109に対応するプログラムが記憶される。プロセッサがこれらのプログラムを実行することによって、汚れ検出部101、周辺状態認識部106、警報処理部110、及びドライバー通知部109の機能が外界認識システム100に実装される。
【0022】
汚れ検出部101は、車載カメラ111の画像を解析し、車載カメラ111のレンズに汚れが付着しているか否かを検出する。より詳細には、汚れ検出部101は、車載カメラ111から入力された画像上において、車両の移動によって変化しない所定の基準線の変位を算出することによって、車載カメラ111のレンズに汚れが付着しているか否かを検出する。これは、車載カメラ111のレンズに例えば雨滴等の汚れが付着している場合には、車両の移動によって変化しない車載カメラ111の画像上の所定の基準線に対応する車載カメラ111の画像上における線に歪みが生じていることに着目したものである。
【0023】
汚れ検出部101は、観測点設定部102、エッジ変位観測部103、汚れスコア計算部104、及び汚れ判定部105を有する。
【0024】
観測点設定部102は、基準線上に複数の観測点を設定する。車載カメラ111が撮像する被写体には、フィニッシャー及びバンパーが含まれ、これらは車両の一部であるため、車載カメラ111から入力された画像上では車両の移動によっては変化しない。このため、本実施例では、フィニッシャーのエッジ線を上方の基準線(フィニッシャー基準線(第1基準線))とし、バンパーのエッジ線を下方の基準線(バンパー基準線(第2基準線))とする。
【0025】
エッジ変位観測部103は、観測点設定部102によって設定された観測点の車載カメラ111の画像上の変位量(エッジ変位)を算出し、各観測点に対応する変位点を算出し、算出した変位点間を補完して基準線に対応する観測線を算出する。なお、フィニッシャー基準線に対応する観測線をフィニッシャー観測線といい、バンパー基準線に対応する観測線をバンパー観測線という。
【0026】
汚れスコア計算部104は、観測線の基準線からの変位量を算出する。汚れスコア計算部104は、観測線の基準線からの変位量の算出するために第1方式又は第2方式を用いて所定の領域の面積を算出する。汚れスコア計算部104は、第1方式では、観測線と基準線との間の領域の面積を算出し、第2方式では、フィニッシャー観測線とバンパー観測線との間の領域の面積を算出する。
【0027】
汚れ判定部105は、観測線の基準線からの変位量と閾値とを比較して、車載カメラ111のレンズに汚れが付着しているか否かを判定し、判定結果を周辺状態認識部106の汚れ診断部108に出力する。
【0028】
周辺状態認識部106は、汚れ診断部108及び周辺認識部107を有する。汚れ診断部108は、判定結果に基づいて、車載カメラ111のレンズに汚れが付着しているか否かを診断し、車載カメラ111のレンズに汚れが付着していると診断した場合、周辺認識部107において正確な画像認識処理の実行が困難であり、誤認識が生じやすいため、周辺認識部107に車両の周辺の状態の認識を停止させる旨のFAIL情報を出力し、汚れにより周辺認識部107の認識を停止する旨をドライバーに報知するための汚れ通知情報をドライバー通知部109に出力する。
【0029】
周辺認識部107は、車載カメラ111の画像を解析し、車両の周辺の状態を認識し、認識結果及び警報情報を警報処理部110に出力する。なお、周辺認識部107は、汚れ診断部108からFAIL情報が入力された場合、車両の周辺の状態の認識を停止する。
【0030】
警報処理部110は、周辺認識部107から入力された認識結果及び警報信号を警報信号として自車両制御部114に送信する。自車両制御部114は、警報信号を受信すると、受信した警報信号に基づいて車両を制御し、ドライバーに警報を出力する。
【0031】
ドライバー通知部109は、汚れ診断部108から汚れ通知情報が入力された場合、車載カメラ111のレンズに汚れが付着し、周辺認識部107の認識処理が停止している旨をドライバーに報知する。報知の態様としては、外界認識システム100の外部に設置されたディスプレイにその旨を表示してもよいし、外界認識システム100の外部に設置されたスピーカからその旨の音声を出力してもよい。
【0032】
なお、本実施例の汚れ検出部101は、雨滴のみならず、車載カメラ111のレンズの雪、泥、及び白濁等の汚れを検出可能である。
【0033】
図2は、実施例1の車載カメラ111の画像の説明図である。
【0034】
図1で説明したように、車載カメラ111は、車両の後方側のボディの一部であるフィニッシャーと当該フィニッシャーの下方に存在するバンパーとの間に設置される。
【0035】
車載カメラ111の画像の被写体は、遮光板201、フィニッシャー202、バンパー203、ナンバープレート204、及び路面205を含む。
【0036】
遮光板201は、太陽光等の不要な外光を映り込まないようにするために、車載カメラ111のレンズの上部に装着される遮光板の画像である。フィニッシャー202は、車載カメラ111の上方のフィニッシャーの画像である。バンパー203は、車載カメラ111の下方のバンパーの画像である。ナンバープレート204は、車両のナンバープレートの画像である。路面205は、他の車両及び後方の風景等を含む自車両の後方の路面の画像である。
【0037】
車載カメラ111の画像の路面205は、自車両の移動によって時間経過とともに被写体が変化する。一方、遮光板、フィニッシャー、バンパー、及びナンバープレートと車載カメラ111との相対的な位置関係は自車両の移動によって変化しないので、車載カメラ111の画像の遮光板201、フィニッシャー202、バンパー203、及びナンバープレート204は、自車両の移動によって変化せず、常に静止した被写体として映る。
【0038】
本実施例では、静止した被写体のうち、フィニッシャー202及びバンパー203を基準線として設定する例について説明するが、基準線は、静止した被写体であればこれに限定されず、遮光板201であってもよいし、ナンバープレート204であってもよい。また、観測線の基準線からの変位量の算出に第1方式を用いる場合には、基準線は、遮光板201、フィニッシャー202、バンパー203、及びナンバープレート204の中から少なくとも一つ設定されればよく、観測線の基準線からの変位量の算出に第2方式を用いる場合には、基準線は、遮光板201、フィニッシャー202、バンパー203、及びナンバープレート204の中から少なくとも二つ設定されればよい。また、車載カメラ111の画像に常に静止している被写体が映り込む場合には、当該被写体を基準線としてもよい。
【0039】
図3(A)は、フィニッシャー基準線及びバンパー基準線の説明図である。
【0040】
観測点設定部102は、車載カメラ111のレンズに汚れが付着していない場合の車載カメラ111の画像上でフィニッシャーが映り込み、当該フィニッシャーの画像のエッジ線をフィニッシャー基準線301に設定する。同様に、観測点設定部102は、車載カメラ111のレンズに汚れが付着していない場合の車載カメラ111の画像上でバンパーが映り込み、当該バンパーの画像のエッジ線をバンパー基準線302に設定する。
【0041】
具体的には、観測点設定部102は、自車両の形状の設計情報、車載カメラ111の設置位置情報、及び車載カメラ111のパラメータ情報に基づいて、フィニッシャー基準線及びバンパー基準線を設定する。車載カメラ111の設置位置情報としては、車載カメラ111が設置された位置の高さ及び奥行き等がある。車載カメラ111のパラメータ情報は内部パラメータ情報及び外部パラメータ情報を含み、内部パラメータ情報は、車載カメラ111の焦点距離、画素中心位置(撮像素子の中心位置)、及びレンズ歪み計数等であり、外部パラメータ情報は、車載カメラ111の設置角度である。当該車載カメラ111の設置角度は、ピッチ(X軸)、ヨー(Y軸)、及びロール(Z軸)の三軸の角度値で表わされる。ピッチは上下方向の軸回転、ヨーは左右方向の軸回転、ロールは車載カメラ111の撮影方向の軸回転である。
【0042】
図3(B)は、各基準線上に設定された複数の観測点の説明図である。
【0043】
観測点設定部102は、フィニッシャー基準線301上に所定の間隔で複数の観測点(フィニッシャー観測点)303を設定し、バンパー基準線302上に所定の間隔で複数の観測点(バンパー観測点304)を設定する。
【0044】
なお、各基準線に設定される観測点の数は任意であるが、観測点に対応する変位点から算出される観測線の精度を向上させるために、観測点は可能な範囲で多く設定されることが望ましい。
【0045】
図4は、実施例1の車載カメラ111のレンズに雨滴が付着したことによるバンパー観測線の変化の説明図である。
【0046】
フィニッシャー観測線及びバンパー観測線は、車載カメラ111のレンズに雨滴等の汚れが付着すると、汚れの付着前に比べて大きく変化する傾向がある。
【0047】
例えば、図4(A)の車載カメラ111の画像のバンパー203の一部の領域400に注目する。図4(B)では、車載カメラ111のレンズに雨滴が付着する前のバンパー観測線401を示す。図4(C)では、車載カメラ111のレンズに雨滴が付着した場合のバンパー観測線403を示す。雨滴が付着した箇所402のバンパー観測線403は、水滴(又は水膜)内を光線が通過する場合の光の屈折現象によって、大きく変形している。なお、このように、バンパー観測線403等の基準線に対する観測線が大きく変形するのは、雨滴にかぎらず、雪、泥、及び白濁等の汚れであっても同様である。
【0048】
図5は、実施例1のバンパー基準線302のある観測点304の変位点の算出方法の説明図である。
【0049】
エッジ変位観測部103は、バンパー基準線302と直交する方向でバンパー基準線302に設定された観測点304から所定の範囲(画素取得範囲)501(H1〜H3)に位置する画素の輝度値(例えば、0〜255)を取得する。そして、エッジ変位観測部103は、隣接する画素の輝度値の大きさの勾配が最大となる画素の位置を変位点として算出する。なお、画素取得範囲501は、輝度値の勾配を算出可能な範囲で任意に設定される。また、観測点毎に画素取得範囲501が異なった値に設定されてもよい。
【0050】
図5では、変位点が観測点304の上下方向のどちらに変位しても観測できるようにするために、画素取得範囲501の中心が観測点304に設定されるが、画素取得範囲501の中心は観測点304の上方向又は下方向にずらして設定されてもよい。
【0051】
図5では、バンパー基準線302が左右方向に渡る線であり、画素取得範囲501はバンパー基準線302と直交する方向(上下方向)に設定されているが、例えば、基準線が上下方向に渡る線である場合には、画素取得範囲501は左右方向に設定されることになる。
【0052】
図6は、実施例1の観測点304の画素取得範囲501の画素の輝度値の変化の説明図である。
【0053】
図6に示すグラフの横軸600は画素取得範囲501の画素の画素位置を示し、縦軸601は各画素の輝度値を示す。
【0054】
例えば、図5に示すように、バンパー基準線302の下方が上方より暗くなっている場合であって、かつ車載カメラ111のレンズに汚れが付着していない場合の輝度値の変化は、曲線A602のようになる。つまり、曲線A602は、画素位置がH1方向の画素の輝度値が大きく、画素位置が位置P1よりH2方向になると画素の輝度値が小さくなる。なお、曲線A602の輝度値の勾配が最大となる画素位置は位置(最大勾配位置)P1であり、位置P1の画素が車載カメラ111のレンズに汚れが付着していない場合の観測点304に対応する変位点となる。
【0055】
一方、車載カメラ111のレンズに汚れが付着している場合、汚れによる光線の屈折現象により画像に歪みが生じるので、エッジ線の形状が変化する。このため、車載カメラ111のレンズに汚れが付着している場合の輝度値は、汚れが付着していない場合の輝度値から変化し、曲線B603のようになる。
【0056】
曲線B603の最大勾配位置は位置P1から変化し位置P2となる。これは、車載カメラ111のレンズに付着した雨滴等の汚れが原因で最大勾配位置が位置P1から位置P2に変化したと推定される。
【0057】
図7は、実施例1の観測線の算出処理の説明図である。
【0058】
図7では、バンパー基準線302に例えば観測点304A〜304Dが設定されており、エッジ変位観測部103は、図6で説明した方法で全ての観測点304A〜304Dに対応する変位点701A〜701Dを算出する。そして、エッジ変位観測部103は、算出した変位点701A〜701Dの座標を通る線をバンパー観測線702として生成する。
【0059】
汚れスコア計算部104は、バンパー観測線702のバンパー基準線302からの変位量をスコアとして算出する。バンパー観測線702のバンパー基準線302からの変位は、例えば、バンパー観測線702とバンパー基準線302との間の面積によって算出される。
【0060】
車載カメラ111のレンズに汚れ(例えば雨滴等)が付着していない場合、バンパー観測線702はバンパー基準線302から変位しないので、バンパー観測線702とバンパー基準線302との間の面積は0となる。
【0061】
車載カメラ111のレンズに汚れが付着していくと、バンパー観測線702のバンパー基準線302からの変位量は大きくなり、バンパー観測線702とバンパー基準線302との間の面積は大きくなる。
【0062】
ここで、バンパー観測線702の算出方法について説明する。なお、フィニッシャー基準線301の図示しないフィニッシャー観測線も同じ方法を用いて算出できる。
【0063】
各観測点304A〜304Dから各変位点701A〜701Dへの変位が変位量D1〜D4であるとする。エッジ変位観測部103は、これらの変位量D1〜D4を入力とする最小二乗法を用いて変位点間の領域を補完して、二次関数曲線として観測線702を算出する。
【0064】
最小二乗法とは、推定値(基準線に相当)と測定値(観測線に相当)との差(残差)を用いて、残差の二乗和が最小となるように二次関数曲線の計数を算出する手法である。具体的には、式1によって観測線となる二次関数曲線が算出される。
【0065】
【数1】
【0066】
式1のW2、W1、及びW0は二次関数の計数であり、Xは各観測点304A〜304DのX座標である。
【0067】
最小二乗法では、まず、式2を用いて全ての変位量D1〜D4を二乗した値の合計値Tが算出される。
【0068】
【数2】
【0069】
式2のTは、変位量D1〜D4の二乗和の合計であり、xは各観測点304A〜304DのX座標であり、f(x)は変位点701A〜701Dのy座標であり、Yは、x位置の観測点304A〜304Dのy座標である。
【0070】
式1の二次関数を式2に代入すると式3となる。式3のTは、係数W2、W1及びW0の関数とみなすことができるので、式3のTを係数W2、W1及びW0で微分した式が0となるとき、Tが最小となる。
【0071】
【数3】
【0072】
式3において、Tが最小となる条件の連立方程式を行列式で表すと式4となる。
【0073】
【数4】
【0074】
式4の行列式を解き、係数W2、W1及びW0を算出することによって、各変位点701A〜704Dに基づく二次関数曲線が算出される。
【0075】
以上によって、各観測点304A〜304Dの各変位点701A〜701Dを結ぶ二次関数曲線が最小二乗法を用いて算出される。なお、変位点から観測線を算出する方法については、最小二乗法に限定されず他の方法を用いてもよい。
【0076】
次に、図8を用いて汚れスコア計算部104によるスコアの算出処理について説明する。
【0077】
汚れスコア計算部104によるスコアの算出方式として、第1方式及び第2方式を説明するが、汚れスコア計算部104は、第1方式及び第2方式の少なくとも一つを用いてスコアを計算すればよい。
【0078】
図8(A)は、汚れスコア計算部104による第1方式を用いたスコアの算出処理の説明図である。
【0079】
第1方式は、観測線の基準線からの変位となるスコアを、観測線と基準線との間の面積を算出することによって算出する。なお、図8(A)では、例として、フィニッシャー観測線703とフィニッシャー基準線との間の領域(汚れスコア領域801)の面積をスコアとして算出する。同様の方法で、バンパー観測線702とバンパー基準線302との間の領域の面積を算出可能である。
【0080】
フィニッシャー基準線301の二次関数式をy=f(x)とし、フィニッシャー観測線703の二次関数式をy=g(x)とした場合のαからβまでの汚れスコア領域801の面積Sは、式5を用いて算出される。
【0081】
【数5】
【0082】
図8(B)は、汚れスコア計算部104による第2方式を用いたスコアの算出処理の説明図である。
【0083】
第2方式は、観測線の基準線からの変位となるスコアを二つの観測線の間の面積を算出することによって算出する。具体的には、フィニッシャー観測線703とバンパー観測線702との間の領域(汚れスコア領域802)の面積をスコアとして算出する。
【0084】
図8(B)では、例として、αからβまでの汚れスコア領域802の面積が算出される。なお、α及びβは、フィニッシャー観測線703とバンパー観測線702との交点である。
【0085】
フィニッシャー観測線703の二次関数式をy=ax^2+bx+cとし、バンパー観測線702の二次関数式をy=dx^2+ex+fとすると、αからβまでの汚れスコア領域802の面積Sは、式6を用いて算出される。
【0086】
【数6】
【0087】
なお、第2方式の汚れスコア領域802の面積は、第1方式の汚れスコア領域801の面積に比べて大きくなるため、車載カメラ111のレンズに汚れが付着していると判定するための閾値に対するマージンが大きくなり、汚れ判定部105による面積と閾値とを比較しやくなる。これによって、車載カメラ111のレンズに汚れが付着したか否かの判定の正確性が向上する。
【0088】
図9は、実施例1のエッジ変位観測部103による変位点補正処理の説明図である。
【0089】
変位点補正処理は、汚れスコア計算部104が第2方式を用いてスコアを算出する場合に、エッジ変位観測部103が変位点を算出した後に実行される。
【0090】
図9(A)では、フィニッシャー基準線301より上方に変位点701E及び701Gが算出され、フィニッシャー基準線301より下方に変位点701Fが算出される。このように、ある基準線の観測点に対応する複数の変位点の変位方向がそれぞれ異なる状態で、二つの観測線の間の領域の面積を算出すると、異なる変位方向の変位によって面積が相殺されてしまい、観測線の基準線からの変位を正確に算出できない。例えば、ある基準線の二つの変位点のうち一の変位点が上方向に変位し、他方の変位点が下方向に変位し、これらの変位量が同じである場合に、二つの観測線の間の領域の面積を算出すると、面積が0になってしまい、観測線は基準線から変化していないことになってしまう。
【0091】
このような事態を防止するために、ある基準線からの変位点の変位方向を、面積が小さくなる方向及び面積が大きくなる方向のいずれか一方側に補正する。
【0092】
例えば、図9(B)では、変位点701Eを当該変位点701Eの変位量の分だけ下方向に変位させ、変位点701Eを変位点701E'に補正する。また、変位点701Gを当該変位点701Gの変位量の分だけ下方向に変位させ、変位点701Gを変位点701G'に補正する。この場合、バンパー基準線302より下方に変位点が算出された場合、当該変位点を変位量の分だけ上方向に変位させる。このように、図9(A)及び(B)では、フィニッシャー観測線703とバンパー観測線702との間の面積が小さくなる方向(フィニッシャー基準線301より上方向の変位点の補正方向は下方向、及びバンパー基準線302より下方向の変位点の補正方向は上方向)に変位点を補正することによって、変位方向の異なる変位点により面積が相殺されることを防止し、観測線の基準線からの変位を正確に算出することが可能となる。
【0093】
なお、図9(A)及び(B)では、フィニッシャー観測線703とバンパー観測線702との間の面積が小さくなる方向に変位点を補正することについて説明したが、フィニッシャー観測線703とバンパー観測線702との間の面積が大きくなる方向に補正してもよい。この場合、フィニッシャー基準線301より下方向の変位点は上方向に補正し、バンパー基準線302より上方向の変位点の補正方向は下方向に補正する。
【0094】
図10は、実施例1の汚れスコア計算部104に算出されたスコアと閾値との関係の説明図である。
【0095】
汚れ判定部105は、汚れスコア計算部104に算出されたスコアと閾値との大小関係を比較することによって、車載カメラ111のレンズに汚れが付着しているか否かを判定する。
【0096】
図10(A)は、第1方式によるスコアと閾値との関係の説明図である。
【0097】
第1方式によるスコアの算出では、フィニッシャー観測線703とフィニッシャー基準線301との間の領域の面積(フィニッシャースコア値SC1(1000))及びバンパー観測線702とバンパー基準線302との間の領域の面積(バンパースコア値SC2(1001))の少なくとも一方を算出すればよいが、本実施例では、フィニッシャースコア値SC1(1000)及びバンパースコア値SC2(1001)の両方が算出された場合について説明する。
【0098】
フィニッシャースコア値SC1(1000)に対して閾値TH1(1002)が設定され、バンパースコア値SC2(1001)に対して閾値TH2(1003)が設定される。
【0099】
これらの閾値TH1(1002)及び閾値TH2(1003)は、自車両がイグニッションを起動し、外界認識システム100が起動した場合に所定の値に初期設定される。
【0100】
なお、図10(A)では、閾値TH1(1002)及び閾値TH2(1003)には同じ値が設定されているが、異なる値が設定されてもよい。
【0101】
また、フィニッシャースコア値SC1(1000)及びバンパースコア値SC2(1001)の両方が算出された場合であっても、例えば、フィニッシャースコア値SC1(1000)とバンパースコア値SC2(1001)との和を閾値と比較する場合には、閾値は一つ設定されればよい。
【0102】
また、フィニッシャースコア値SC1(1000)及びバンパースコア値SC2(1001)のいずれか一方だけ算出される場合、算出されるスコア値に対応する閾値のみ設定されればよい。
【0103】
図10(B)は、第2方式によるスコアと閾値との関係の説明図である。
【0104】
第2方式によるスコアの算出では、フィニッシャー観測線703とバンパー観測線702との間の一つの領域の面積が算出されるため、一つのスコア値SC(1004)が算出され、このスコア値SC(1004)に対応する閾値TH(1005)が設定される。
【0105】
閾値TH(1005)は、自車両がイグニッション起動し、外界認識システム100が起動した場合に所定の値に初期設定される。
【0106】
図11は、汚れ判定部105の判定結果の説明図である。
【0107】
図11(A)は、第1方式によるフィニッシャースコア値SC1(1000)に基づく汚れ判定結果の説明図である。
【0108】
第1方式では、車載カメラ111のレンズの汚れの付着が進行すると、観測線の基準線からの変位が大きくなるため、観測線と基準線との間の領域の面積も増加する。このため、汚れ判定部105は、第1方式によって算出されたスコア値が閾値以上であるか否かを判定し、スコア値が閾値以上であれば、車載カメラ111のレンズに汚れが付着していると判定する。
【0109】
図11(A)では、縦軸をフィニッシャースコア値SC1(1000)とし、横軸を時刻T1100としたグラフである。フィニッシャースコア値SC1(1000)は時間経過とともに増加していき、時刻T2で閾値TH1(1002)以上となる。このため、汚れ判定部105の判定結果は、時刻T1からT2までは汚れなしであり、時刻T2から時刻T3までは汚れありとなる。
【0110】
なお、バンパースコア値SC2(1001)の判定についても、図11(A)で説明した方法を用いることができる。
【0111】
図11(B)は、第2方式によるスコア値SC(1004)に基づく汚れ判定結果の説明図である。
【0112】
ここでは、図9(A)及び(B)で説明した面積が小さくなる方向に変位点が補正される場合について説明する。面積が小さくなる方向に変位点が補正される場合には、車載カメラ111のレンズの汚れの付着が進行すると、フィニッシャー観測線703は下方向に変位していき、バンパー観測線702は上方向に変位していき、フィニッシャー観測線703とバンパー観測線702との間の領域の面積が減少する。
【0113】
このため、汚れ判定部105は、第2方式によって算出されたスコア値が閾値以下であるか否かを判定し、スコア値が閾値以下であれば、車載カメラ111のレンズに汚れが付着していると判定する。
【0114】
図11(B)では、縦軸をスコア値SC(1004)とし、横軸を時刻T1100としたグラフである。スコア値SC(1004)は時間経過とともに減少していき、時刻T2で閾値TH(1005)以下となる。このため、汚れ判定部105の判定結果は、時刻T1からT2までは汚れなしであり、時刻T2から時刻T3までは汚れありとなる。
【0115】
なお、面積が大きくなる方向に変位点が補正される場合には、車載カメラ111のレンズの汚れの付着が進行すると、フィニッシャー観測線703は上方向に変位していき、バンパー観測線702は下方向に変位していき、フィニッシャー観測線703とバンパー観測線702との間の領域の面積が増加する。この場合、汚れ判定部105は、第2方式によって算出されたスコア値が閾値以上であるか否かを判定し、スコア値が閾値以上であれば、車載カメラ111のレンズに汚れが付着していると判定する。
【0116】
図12は、実施例1の外界認識システム100による処理のフローチャートである。
【0117】
まず、外界認識システム100は、自車両のイグニッションがオンになったか否かを判定する(S1)。
【0118】
S1の処理で、イグニッションがオンになっていないと判定された場合、外界認識システム100は、イグニッションがオンになったと判定されるまでS1の処理を繰り返し実行する。
【0119】
一方、イグニッションがオンになったと判定された場合、観測点設定部102は、フィニッシャー観測点303及びバンパー観測点304を設定する(S2)。S2の処理で、観測点設定部102は、自車両の形状の設計情報、車載カメラ111の設置位置情報、及び車載カメラ111のパラメータ情報に基づいて、フィニッシャー基準線及びバンパー基準線を設定してもよい。
【0120】
次に、観測点設定部102は、汚れ判定部105が用いる閾値を設定する(S3)。なお、観測点設定部102は、現在の天候情報を所定の方法によって取得し、取得した天候情報に基づいて、閾値を設定してもよい。観測点設定部102は、例えば、天候情報が雨及び雪等である場合、汚れが付着したと判定されにくい閾値を設定してもよいし、天候情報が晴れである場合、汚れが付着したと判定されやすい閾値を設定してもよい。第1方式によるスコア値に対応する閾値、及び面積が大きくなる方向に補正する第2方式によるスコア値では、汚れが付着したと判定されにくい閾値とは通常の閾値より大きい値であり、汚れが付着したと判定されやすい閾値とは通常の閾値より小さい値である。一方、面積が小さくなる方向に補正する第2方式では、汚れが付着したと判定されにくい閾値とは通常の閾値より小さい値であり、汚れが付着したと判定されやすい閾値とは通常の閾値より大きい値である。
【0121】
また、現在の天候情報は、車載カメラ111の画像に基づき判定してもよいし、他のインターネット等を介して現在地の天候情報を取得してもよいし、ドライバーが手入力で入力してもよい。
【0122】
外界認識システム100に車載カメラ111の画像が入力された場合(S4)、エッジ変位観測部103は、入力された画像に基づいてフィニッシャー観測点303に対応する変位点701を算出する(S4)。この変位点701の算出については図6で詳細に説明した。
【0123】
そして、エッジ変位観測部103は、S4の処理で算出した変位点701に基づいて、フィニッシャー観測線703を算出する(S5)。フィニッシャー観測線703の算出については、図7で説明した。なお、第2方式を用いてスコアを算出する場合には、エッジ変位観測部103は、S4の処理で算出した変位点701に対して図9(A)及び(B)で説明した変位点補正処理を実行した後で、フィニッシャー観測線703を算出する。
【0124】
次に、エッジ変位観測部103は、入力された画像に基づいてバンパー観測点304に対応する変位点701を算出する(S6)。この変位点の算出についても図6で詳細に説明した。
【0125】
そして、エッジ変位観測部103は、S4の処理で算出した変位点701に基づいて、変位点701間の領域を補完してバンパー観測線702を算出する(S7)。バンパー観測線702の算出については、図7で説明した。なお、第2方式を用いてスコアを算出する場合には、S5と同じく、エッジ変位観測部103は、S5の処理で算出した変位点701に対して図9(A)及び(B)で説明した変位点補正処理を実行した後で、バンパー観測線702を算出する。
【0126】
次に、汚れスコア計算部104は、第1方式による場合には、フィニッシャー観測線703とフィニッシャー基準線301との間の領域の面積をフィニッシャースコア値SC1(1000)として算出し、バンパー観測線702とフィニッシャー基準線301との間の領域の面積をバンパースコア値SC2(1001)として算出する(S8)。また、S8の処理では、汚れスコア計算部104は、第2方式による場合には、フィニッシャー観測線703とバンパー観測線702との間の領域の面積をスコア値SC(1004)として算出する。本実施例では、フィニッシャースコア値SC1(1000)及びバンパースコア値SC2(1001)、並びにスコア値SC(1004)が算出されるものとする。
【0127】
次に、汚れ判定部105は、第1方式によるフィニッシャースコア値SC1(1000)が閾値TH1(1002)以上であるか否か、及び第1方式によるバンパースコア値SC2(1001)が閾値TH2(1003)以上であるか否かを判定する(S9A)。
【0128】
S9Aの処理では、フィニッシャースコア値SC1(1000)が閾値TH1(1002)以上、及びバンパースコア値SC2(1001)が閾値TH2(1003)以上の少なくとも一方が成立する場合、第1方式によるスコア値が閾値以上であり、車載カメラ111のレンズに汚れが付着していると判定してもよいし、フィニッシャースコア値SC1(1000)が閾値TH1(1002)以上、及びバンパースコア値SC2(1001)が閾値TH2(1003)以上の両方が成立する場合、第1方式によるスコア値が閾値以上であり、車載カメラ111のレンズに汚れが付着していると判定してもよい。
【0129】
また、汚れ判定部105は、スコア値SC(1004)が閾値TH(1005)以下であるか否かを判定することによって車載カメラ111のレンズに汚れが付着しているか否かを判定する(S9B)。
【0130】
S9Aの処理及びS9Bの処理の少なくも一方で、車載カメラ111のレンズに汚れが付着していると判定された場合、汚れ判定部105は、車載カメラ111のレンズに汚れが付着したと判定し(S10)、当該判定結果を汚れ診断部108に出力する。
【0131】
汚れ診断部108は、車載カメラ111のレンズに汚れが付着した旨の判定結果が入力された場合、周辺認識部107に動作を停止させる旨のFAIL情報を出力し(S11)、車載カメラ111のレンズに汚れが付着しているため周辺認識部107が動作を停止した旨をドライバーに通知するため、汚れ通知情報をドライバー通知部109に出力する(S12)。なお、ドライバー通知部109は、汚れ通知情報が入力された場合、その旨をドライバーに報知する。報知の態様としては、自車両に搭載された表示画面にその旨を表示してもよいし、自車両に搭載されたスピーカからその旨の音声を出力してもよい。
【0132】
次に、外界認識システム100が、イグニッションがオフとなったか否かを判定することによって処理を終了するか否かを判定する(S15)。S15の処理で、イグニッションがオフとなったと判定された場合、処理を終了し、イグニッションがオフとなっていないと判定された場合、S3の処理に戻る。
【0133】
一方、S9Aの処理及びS9Bの処理の両方で、車載カメラ111のレンズに汚れが付着していないと判定された場合、汚れ判定部105は、車載カメラ111のレンズに汚れが付着していないと判定し(S13)、当該判定結果を汚れ診断部108に出力する。
【0134】
汚れ診断部108は、車載カメラ111のレンズに汚れが付着していない旨の判定結果が入力された場合、FAIL情報を周辺認識部107に出力せず、周辺認識部107に動作を継続させ(S14)、S15の処理に進む。
【0135】
これによって、車載カメラ111のレンズに汚れが付着しているか否かを判定することができる。
【0136】
なお、S9Aの処理及びS9Bの処理の少なくも一方で、車載カメラ111のレンズに汚れが付着していると判定された場合にS10の処理に進み、汚れ判定部105は、車載カメラ111のレンズに汚れが付着したと判定するとしたが、S9Aの処理及びS9Bの処理の両方で、車載カメラ111のレンズに汚れが付着していると判定された場合にS10の処理に進むようにしてもよい。また、図8で説明したように、第2方式によって算出された面積のほうが第1方式によって算出された面積より大きくなり、閾値とのマージンが大きくなるため、車載カメラ111のレンズに汚れが付着したか否かの判定が正確になることを考慮して、少なくともS9Bの処理で、車載カメラ111のレンズに汚れが付着していると判定された場合にS10の処理に進むようにしてもよい。
【0137】
また、S9Aの処理では、フィニッシャースコア値SC1(1000)とバンパースコア値SC2(1001)との合計値が閾値以上であれば、車載カメラ111のレンズに汚れが付着したと判定してもよい。
【0138】
さらに、上記した説明では、第1方式によるスコア値及び第2方式によるスコア値の両方を算出したが、どちらか一方のスコア値を算出してもよい。この場合、第1方式によるスコア値を算出する場合には、フィニッシャースコア値SC1(1000)及びバンパースコア値SC2(1001)の両方を算出する必要はなく、いずれか一方のみを算出してもよい。フィニッシャースコア値SC1(1000)のみを算出する場合には、S2の処理で、バンパー観測点304を設定する必要はなく、S6及びS7の処理も実行する必要はない。また、バンパースコア値SC2(1001)のみを算出する場合には、S2の処理で、フィニッシャー観測点303を設定する必要はなく、S4及びS5の処理も実行する必要はない。
【0139】
以上のように、本実施例では、外界認識システム100は、観測線の基準線からの変位量を算出し、算出した変位量に基づいて車載カメラ111のレンズに汚れが付着しているか否かを判定する。エッジ観測点でない部分の汚れ等が観測値に反映されない特許文献1よりも車載カメラ111のレンズの汚れを正確に検出できる。
【0140】
また、外界認識システム100は、図8(A)で説明したように、第1方式により、観測線と基準線との間の領域の面積を算出することによって、観測線の基準線からの変位量を算出してもよいし、図8(B)で説明したように、第2方式により、第1観測線(フィニッシャー観測線703)と第2観測線(バンパー観測線702)との間の領域の面積を算出することによって、各観測線の各基準線からの変位量を算出してもよい。このように、面積を用いることによって、観測線の基準線からの全体の変位量を算出できるため、車載カメラ111のレンズの汚れを正確に検出できる。
【0141】
さらに、外界認識システム100は、第2方式を用いる場合には、図9(A)及び(B)で説明したように、第1基準線(フィニッシャー基準線301)の観測点に対応する変位点の変位方向と、第2基準線(バンパー基準線302)の観測点に対応する変位点の変位方向とを、面積が大きくなる方向又は小さくなる方向のいずれかに統一して変位点を補正するので、変位方向の異なる変位点により面積が相殺され、車載カメラ111のレンズに汚れが付着しているにもかかわらず、当該汚れを検出できない事態を防止できる。
【0142】
さらに、外界認識システム100は、図7で説明したように、例えば、最小二乗法等を用いて、各変位点の間を補間することによって、観測線を算出するので、観測点がない領域の基準線からの変位をより正確に算出できる。
【0143】
さらに、外界認識システム100は、図6で説明したように、基準線に設定された観測点の画素取得範囲501の画素の輝度値を取得し、取得した輝度値の勾配が最大となる画素を変位点として算出する。これによって、車載カメラ111の画像のうち観測点に対応する点を変位点として正確に算出できる。
【0144】
さらに、外界認識システム100は、図3で説明したように、自車両の形状の設計情報、車載カメラ111の設置位置情報、及び車載カメラ111のパラメータ情報に基づいて、基準線を設定するため、車載カメラ111の画像上での基準線の対象となる物の位置を正確に基準線として設定できる。
【実施例2】
【0145】
本実施例について図13を用いて説明する。本実施例では、実施例1の外界認識システム100が搭載された車両10について説明する。
【0146】
図13は、実施例2の外界認識システム100が搭載された車両10の説明図である。図13に示す構成のうち、実施例1の図1に示す構成と同じ構成は同じ符号を付与し、説明を省略する。
【0147】
車両10は、外界認識システム100、車載カメラ111、制御部112、メモリ113、自車両制御部114、LED1200、スピーカ1201、ディスプレイ1202、及びカーナビ(ナビゲーション装置)1203を備える。
【0148】
ドライバー通知部109は、汚れ診断部108から汚れ通知情報が入力された場合、車載カメラ111のレンズに汚れが付着し、周辺認識部107の認識処理が停止している旨をドライバーに報知するための報知信号を、LED1200、スピーカ1201、ディスプレイ1202、及びカーナビ1203の少なくとも一つに送信する。
【0149】
LED1200が報知信号を受信した場合、LED1200を点灯させ、車載カメラ111のレンズに汚れが付着し、周辺認識部107の認識処理が停止している旨をドライバーに報知する。LED1200は、車両10の外部に設置されてもよいし、内部に設置されていてもよい。
【0150】
スピーカ1201が報知信号を受信した場合、車載カメラ111のレンズに汚れが付着し、周辺認識部107の認識処理が停止している旨を示す音声情報を出力し、その旨をドライバーに報知する。
【0151】
ディスプレイ1202が報知信号を受信した場合、車載カメラ111のレンズに汚れが付着し、周辺認識部107の認識処理が停止している旨を表示し、その旨をドライバーに報知する。
【0152】
カーナビ1203が報知信号を受信した場合、車載カメラ111のレンズに汚れが付着し、周辺認識部107の認識処理が停止している旨をカーナビ1203のディスプレイに表示し、その旨をドライバーに報知する。
【0153】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0154】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0155】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない、実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0156】
100 外界認識装置
101 汚れ検出部
102 観測点設定部
103 エッジ変移観測部
104 汚れスコア計算部
105 汚れ判定部
106 周辺状態認識部
107 周辺認識部
108 汚れ診断部
109 ドライバー通知部
110 警報処理部
111 車載カメラ
112 制御部
113 メモリ
114 自車両制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13