特許 5883732 環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5883732

(24)【登録日】2016年2月12日

(45)【発行日】2016年3月15日

(54)【発明の名称】環境認識装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160301BHJP

   G08G 1/16 20060101ALI20160301BHJP

   H04N 5/225 20060101ALI20160301BHJP

【ＦＩ】

   H04N5/232 Z

   G08G1/16 C

   H04N5/225 E

   H04N5/225 C

【請求項の数】3

【全頁数】14

(21)【出願番号】特願2012-149865(P2012-149865)

(22)【出願日】2012年7月3日

(65)【公開番号】特開2014-13969(P2014-13969A)

(43)【公開日】2014年1月23日

【審査請求日】2015年2月12日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100121360

【弁理士】

【氏名又は名称】粟田 照久

(74)【代理人】

【識別番号】100149157

【弁理士】

【氏名又は名称】関根 創史

(72)【発明者】

【氏名】宇田川 玲

(72)【発明者】

【氏名】竹村 雅幸

(72)【発明者】

【氏名】村松 彰二

(72)【発明者】

【氏名】清原 將裕

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開平０８−１９３８３１（ＪＰ，Ａ）

【文献】 特開２００７−２２８４４８（ＪＰ，Ａ）

【文献】 特開２０１２−２２６５５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０８Ｇ １／００ −９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両後方に設置された撮像部を用いて撮像された画像を取得する画像取得部と、
前記画像から光点の特徴量を抽出する光点特徴量抽出部と、
前記撮像部のレンズ表面に付着した汚れを判定するレンズ汚れ判定部と、
前記レンズ汚れ判定部の判定結果を基に前記光点特徴量抽出部で抽出した前記光点の中からヘッドライトとして判定する検知条件を予め関連づけたパラメータに設定するヘッドライト検知条件設定部と、
前記ヘッドライト検知条件設定部の設定した前記パラメータを基に前記光点の中から前記パラメータに該当する光点を接近ヘッドライトとして判定する接近ヘッドライト判定部と、
前記接近ヘッドライト判定部の検知条件を基に車両報知信号を出力する車両報知信号出力部と、を有することを特徴とする環境認識装置。

【請求項2】

車両後方に設置された撮像部を用いて撮像された画像を取得する画像取得部と、
前記画像から光点の特徴量を抽出する光点特徴量抽出部と、
前記光点特徴量抽出部で抽出された前記光点の特徴量に基づいて、取得した画像状態を取得する高輝度特徴量解析部と、
前記高輝度特徴量解析部で取得した前記画像状態を基に前記光点特徴量抽出部で抽出した前記光点の中からヘッドライトとして判定する検知条件を予め関連づけたパラメータに設定するヘッドライト検知条件設定部と、
前記ヘッドライト検知条件設定部の設定した前記パラメータを基に前記光点の中から前記パラメータに該当する光点を接近ヘッドライトとして判定する接近ヘッドライト判定部と、
前記接近ヘッドライト判定部の検知条件を基に車両報知信号を出力する車両報知信号出力部と、を有することを特徴とする環境認識装置。

【請求項3】

車両後方に設置された撮像部を用いて撮像された画像を取得する画像取得部と、
前記撮像部のレンズ表面に付着した汚れを判定するレンズ汚れ判定部と、
前記レンズ汚れ判定部の判定結果を基に前記画像からヘッドライトとして判定する検知条件を予め関連づけたパラメータに設定するヘッドライト検知条件設定部と、
前記画像から光点の特徴量を抽出する光点特徴量抽出部と、
前記画像内の特徴量の時間変化から他車両の位置と速度を検出するオプティカルフロー部と、
前記光点特徴量抽出部で抽出された光点の特徴量、又は前記オプティカルフロー部の検知条件に基づいて、他車両が接近しているかどうかを判定する接近車両判定部と、
前記接近車両判定部の検知条件を基に車両報知信号を出力する車両報知信号出力部と、を有し、
前記ヘッドライト検知条件設定部は、前記レンズ汚れ判定部の判定結果に基づいて、光点特徴量抽出部の処理を実行するか、オプティカルフロー部の処理を実行するか切り替えることを特徴とする環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、後側方を走行する車両を認識する環境認識装置に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１がある。この公報には、車線検知した結果を元に車線変更の危険性を運転者に警告することが必要な場合に警報を発することができる車両用後側方監視装置を提供することが開示されている。

【0003】

また、特許文献２には、自車両と接近車両との車間距離および自車両と接近車両との相対速度を正確に捉えて，自車両へ接近し過ぎとなる車両を的確に検出し，適切な警報を行えるようにすることが開示されている。

【0004】

また、特許文献３には、認識対象物までの距離の変化に関わらず安定して認識対象物を認識する画像認識方法および装置を提供することが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０００−１１２９８号公報

【特許文献2】特開平８−１９３８３１号公報

【特許文献3】特開２００５−３４６２８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

車線変更の際に移動する車線に危険性の高い車両が存在した場合警報を与える装置において重要なことはできるだけ安定して車両を検知し運転者に警報を与えることである。これを後側方死角警報と呼ぶ。カメラなどの撮像装置で後方を撮像しこの機能を実現するには、カメラにとって死角ができないような位置に設置する必要がある。つまり、左右のサイドミラー部やバンパー部など車室外に設置して自車に視界が妨げられないようにする必要がある。本発明では、バンパー部に設置した車室外のリアカメラを用いて画像認識による後側方死角警報を実現する際の課題に着目する。

【0007】

カメラを用いて画像認識による後側方死角警報を実現する場合、映像によってその認識性能が上下することを留意する必要がある。晴れた昼間に乾いた路面を走行する場合と、雨天の中夜間濡れた路面を走行する場合では、カメラから得られる映像には大きな差があり必要とされる認識性能が大きく異なる。走行する時間帯が夕方から夜の場合、昼間と比較して映像の輝度が異なる以外に自車両および他車両がヘッドライトやテイルランプを点灯して走行する点、街灯の有無による映像上の差異がある点、路面上の反射板やガードレールによる反射がある点、昼間と夜間では映像上大きな差異が存在する。

【0008】

また、カメラを車室外に設置する場合、走行中に路面上の砂ぼこり、泥、水滴などの汚れを巻き上げそれがカメラのレンズ表面に付着する恐れがある。レンズ表面に汚れが付着すると映像が変化するため、そのレンズ表面の汚れを落とさずに走行すると実際の天候とは関係なく汚れに応じて認識性能が変化する。車室外に設置したカメラを用いて画像認識による側後方死角警報を実現するためには、レンズ表面に付着した汚れによる性能劣化をできるだけ抑えた死角警報装置が必要である。

【0009】

特に着目すべき課題は汚れ付着時の夜間の車両検知性能である。画像認識による車両検知を行う以上、映像の輝度やコントラスト、エッジを元にした特徴量から車両の有無を判断することになる。レンズ表面に薄汚れが付着すると、映像全体のコントラストが低下するため、レンズ表面に汚れが付着していない場合と比較して映像は全体的にぼやけた形で表れる。夜間の映像は車体の特徴量が少ないためその特徴量とヘッドライトやテイルランプの情報を組み合わせて車両検知を行う必要がある。さらにレンズに薄汚れが付着している場合、夜間の映像では、車体の特徴量が得られない場合がある。つまり、レンズに薄汚れが付着した場合に夜間車両検知を行うためには、車体が視認できないので高輝度領域から構成される光点群の中からヘッドライトを抽出してヘッドライト検知による車両検知を行う必要がある。

【0010】

特許文献１では、夜間にリアカメラから見える車線は必ずしも明瞭ではないため車線に接近したかどうかの判定が難しい。また、レンズに付着した汚れに対して対策がないため、レンズ汚れによる車両の不検知や車両以外を車両と判定する誤検知が発生する。さらに、夜間の場合、車体の視認性が低下するため検出精度が大きく低下する。

【0011】

また、特許文献２では、カメラのレンズ汚れを考慮していないため、レンズ汚れにより光点の大きさが変化すると、他車両の位置の計算結果が変化するため、適切なタイミングで警報を出すことができない。

【0012】

また、特許文献３では、天候や時間帯にも依存して映像が変化した場合にそれぞれの状況に応じた最適な車両判定パターンを動的に切り替える仕組みが備わっていない。また、レンズ汚れ状態を考慮していないため、車両判定パターンがレンズ汚れ時には最適な車両判定パターンとはならない。

【0013】

以上から本発明の目的は、夜間で、撮像装置のレンズが汚れていた場合であっても、安定して車両検知する環境認識装置を提供するものである。

【課題を解決するための手段】

【0014】

上記課題を解決するために、本発明の環境認識装置は、画像を取得する画像取得部と、画像から光点の特徴量を抽出する光点特徴量抽出部と、撮像部のレンズ表面に付着した汚れを判定するレンズ薄汚れ判定部と、レンズ薄汚れ判定部の判定結果を基に前記光点特徴量抽出部で抽出した光点の中からヘッドライトとして判定する検知条件を予め関連づけたパラメータに設定するヘッドライト検知条件設定部と、ヘッドライト検知条件設定部の設定したパラメータを基に光点の中からパラメータに該当する光点を接近ヘッドライトとして判定する接近ヘッドライト判定部と、接近ヘッドライト判定部の検知結果を基に車両報知信号を出力する車両報知信号出力部と、を有する構成とする。

【0015】

また、画像を取得する画像取得部と、画像から光点の特徴量を抽出する光点特徴量抽出部と、光点特徴量抽出部で抽出された光点の特徴量に基づいて、取得した画像状態を取得する高輝度特徴量解析部と、高輝度特徴量解析部で取得した画像状態を基に光点特徴量抽出部で抽出した光点の中からヘッドライトとして判定する検知条件を予め関連づけたパラメータに設定するヘッドライト検知条件設定部と、ヘッドライト検知条件設定部の設定したパラメータを基に光点の中からパラメータに該当する光点を接近ヘッドライトとして判定する接近ヘッドライト判定部と、接近ヘッドライト判定部の検知結果を基に車両報知信号を出力する車両報知信号出力部と、を有する構成とする。

【0016】

また、画像を取得する画像取得部と、撮像部のレンズ表面に付着した汚れを判定するレンズ汚れ判定部と、レンズ汚れ判定部の判定結果を基に画像からヘッドライトとして判定する検知条件を予め関連づけたパラメータに設定するヘッドライト検知条件設定部と、画像から光点の特徴量を抽出する光点特徴量抽出部と、画像内の特徴量の時間変化から他車両の位置と速度を検出するオプティカルフロー部と、光点特徴量抽出部で抽出された光点の特徴量、又はオプティカルフロー部の検知条件に基づいて、他車両が接近しているかどうかを判定する接近車両判定部と、接近車両判定部の検知条件を基に車両報知信号を出力する車両報知信号出力部と、を有し、ヘッドライト検知条件設定部は、レンズ汚れ判定部の判定結果に基づいて、光点特徴量抽出部の処理を実行するか、オプティカルフロー部の処理を実行するか切り替える構成とする。

【発明の効果】

【0017】

夜間で、撮像装置のレンズが汚れていた場合であっても、安定して車両を検知する環境認識装置を提供できる。

【図面の簡単な説明】

【0018】

【図1】本発明に係る環境認識装置の一構成例を示す図である。

【図2】本発明に係る環境認識装置の他の構成例を示す図である。

【図3】本発明の光点特徴量抽出部の一構成例を示す図である。

【図4】図２のヘッドライト検知条件設定部の一構成例を示す図である。

【図5】本発明に係る環境認識装置の他の構成例を示す図である。

【図6】本発明に係る環境認識装置の他の構成例を示す図である。

【図7】本発明のリアカメラで撮像した画像の一例を示す図である。

【図8】本発明の光点特徴量抽出部の処理を説明する図である。

【図9】本発明のヘッドライト検知条件設定部の処理を説明する図である。

【発明を実施するための形態】

【0019】

以下、図面を用いて実施例を説明する。

【実施例1】

【0020】

図１を用いて本発明の環境認識装置１０について説明する。

【0021】

実施例１の環境認識装置１０は画像（映像）を取得する画像取得部１０１と、取得した画像から輝度情報、時間変化、幾何情報のうち少なくとも一つの光点特徴量を抽出する光点特徴量抽出部１０２と、室外に設置された前記撮像部のレンズ表面に付着した薄汚れを評価および判定するレンズ汚れ判定部１０３と、前記レンズ汚れ判定部１０３の判定結果を元に前記光点特徴量抽出部１０２で抽出した光点の中からヘッドライトとして判定する検知条件を予め関連づけたパラメータに設定するヘッドライト検知条件設定部１０４と、前記ヘッドライト検知条件設定部１０４の設定した前記パラメータを元に前記光点の中から前記パラメータに該当する光点を接近ヘッドライトとして判定する接近ヘッドライト判定部１０５と、前記接近ヘッドライト判定部１０５の検知条件を元に車両報知信号を外部に出力する車両報知信号出力部１０６と、から構成されている。

【0022】

この環境認識装置１０は前記レンズ汚れ判定部１０３の判定結果を元に光点の中からヘッドライトとして検知するパラメータを変更することを特徴としている。レンズに薄汚れが付着した場合、映像のコントラストが低下するため、映像に含まれる車両特徴量を十分得ることができない。夜間の映像を用いる場合レンズに薄汚れが付着していなくてもコントラストが低いため、レンズに薄汚れが付着した場合車両検知がさらに困難になる。本発明を用いることで、レンズ薄汚れ時でもヘッドライト検知条件を調整することで正しく車両検知できる。以下、それぞれの構成要素について説明を行う。

【0023】

前記レンズ汚れ判定部１０３は、撮像部のレンズに堆積した薄汚れの判定を行う。その手法は、いくつかあるため、順に説明する。

【0024】

一つ目は画像取得部１０１から得た画像から、画像処理技術を用いてレンズに薄汚れがついた映像か否かを判定する方法である。レンズに薄汚れが付着している場合の映像上の特徴量を評価することで判定することができる。二つめの方法として、車両の情報や環境から得た情報から薄汚れ状態を推測する方法がある。例えば、走行時間が長くなるとレンズに付着する可能性が高くなるため、その情報を用いたり、オフロード走行状態を取得して、より汚れが付きやすい状態であることを検知する手法がある。これは一つ目の方法と組み合わせると、走行環境に応じてどのような種別の汚れが付きやすいかわかるため薄汚れ評価の精度を高くできる。三つ目に物理的にレンズについた汚れが外部センサを用いて走査する方法が考えられる。以上のような方法でレンズ薄汚れ状態を取得することができる。

【0025】

レンズ汚れ判定部１０３はこの薄汚れ状態を用いて、レンズ汚れの度合いを出力する。前記レンズ汚れ判定部１０３の出力はレンズ薄汚れのあり/なしの二値、またはレンズ薄汚れの度合いをその汚れの濃さに応じて段階的に表す０〜１の正規化されたレンズ汚れ指数である。あり/なしの2値によってヘッドライト検知条件を変更する場合と比較して、段階ごとのレンズ汚れ指数に応じたヘッドライト検知条件を用いるとヘッドライト検知性能を高くすることができる。レンズ薄汚れ度合いはレンズに付着した薄汚れを処理のサイクルごと毎回計算してもよいし、数サイクルおきに計算してもよい。処理のサイクルごと計算する場合、レンズ薄汚れ状態を即座に反映できるため、常に最新のレンズ状態に基づいた処理ができる。つまり雨天時やオフロード走行中などの路面からの巻き上げが多い等の理由でレンズ状態が大きく変動する場合でも常に最適な処理が可能となる。一方、数サイクルおきに計算する場合、遅れが生じるかわりに、負荷低減が可能である。発明で対象にしているレンズ薄汚れは時間をかけて堆積した汚れであるため、常に最新の状態を対象としなくてもよい。また、毎回の処理の結果からその時間平均を求めてその時間平均を判定結果として出力してもよい。長期的なレンズ汚れを評価対象とする場合、瞬間的に現れる極端な値はノイズとなるのでノイズ低減の効果がある。また、汚れ度合い以外に、その薄汚れが付着した位置を出力したり、薄汚れの種類を取得してその情報とともに出力してもよい。例えば、左側のみ薄汚れがついたということがわかれば、左側のみ条件を変更することができるため、右側の誤検知または不検知を低減することができる。

【0026】

光点特徴量抽出部１０２は画像から車両のヘッドライト/テイルランプ、路面の反射光、街灯、ガードレールの反射、路外のネオンや看板類、などの光点として画像に現れる物体を抽出することができる。光点は画像の輝度情報、エッジ強度、周辺ピクセルとの輝度差の少なくとも一つの特徴量を用いて同一の特徴量を持つ画素の集合体として抽出される。抽出された光点は画像上の位置やブロックの形状といった幾何情報、過去フレームから得た光点の移動速度や形状の変化、輝度の変化のうち少なくとも一つの時系列情報が付加され、それらの情報はレンズ汚れ判定部１０３の結果に応じて動的に必要な光点を抽出するために用いられる。

【0027】

前記薄汚れ判定結果に関連づけたヘッドライト検知条件設定部１０４は前記光点の中から前記光点の特徴量を元に予め設定された特徴量条件に合致する光点を抽出しそれをヘッドライトとみなす。ヘッドライトとして判定する条件は例えば、画像中の光点の位置または、面積または、輝度または、輝度分布または、時間方向の位置変化などの少なくともいずれか一つの条件で構成される。

【0028】

前記接近ヘッドライト判定部１０５は前記ヘッドライト検知条件設定部１０４の結果に基づいてヘッドライト判定信号を生成する。

【0029】

前記車両報知信号出力部１０６は前記接近ヘッドライト判定部１０５の判定結果を元に報知信号を出力する。

【実施例2】

【0030】

実施例２の環境認識装置１０を図２に示す。図１と比較したときの違いは前記レンズ汚れ判定部１０３と前記薄汚れ判定に関連づけたヘッドライト検知条件設定部１０４のかわりに、高輝度特徴量解析部２０１と解析部の結果に関連づけたヘッドライト検知条件設定部２０２を備えることである。前記高輝度特徴量解析部２０１は前記画像取得部１０１と前記光点特徴量抽出部１０２のうち少なくとも一方から得た画像情報と光点特徴量とを用いて画像解析によりレンズ薄汚れに相当する画像状態を取得する。この手段をとることによる効果は、実際にレンズに薄汚れが付いていなくても、夜間車両検知が困難な場合を判定して最適なヘッドライト検知条件を用いた車両検知が可能なことである。例えば霧の発生など実際にレンズに薄汚れが付いていない場合でも映像の視認性が低下していることに起因してレンズ薄汚れ付着状態と同等の画像が得られた場合、レンズに薄汚れが付着した場合と同様に車両検知性能が低下する。その場合でも、レンズ薄汚れの場合と同様に視認性の低下を検知することができるため、ヘッドライト検知による最適な車両検知が実施可能である。

【0031】

具体的に処理の内容を説明する。前記光点特徴量抽出部１０２は、例えば、図３のような形態で構成することができる。光点領域抽出部３０１は光点領域を取得した画像中から抽出し、その領域を出力することができる。ラベリング処理部３０２は前記領域情報に対して、領域ごとにラベル番号と呼ばれる各領域固有の番号を割り当てる。光点幾何情報選択部３０３は、重心の位置、領域の大きさを計算し、そのラベル情報を保存すべきか否かを計算した幾何情報（上記重心の位置や領域の大きさ）を元に評価することで不要な光点情報が保存されるのを防ぐことができる。保存した光点情報を用いて、その光点が俯瞰変換した際に実世界でどの位置に存在するかを、計算する。光点重心位置取得部３０４では光点重心位置を実空間上でヘッドライトの高さに光点が存在すると考え計算し、対応するラベル番号とともに保存することができる。

【0032】

この図３の構成で実現できる機能を図８を用いて説明する。まず、前記光点特徴量抽出部１０２は図８aのような画像取得部１０１の出力である、自車後側方の路面や車両、その他を含んだ映像を入力とする。ここで802は他車両701の持つヘッドライト704, 705が路面に反射した際に生じた反射光を示しており、801は街灯や町の看板やガードレール、建物の照明などの路外に存在する発光体や、その発光体が路面に反射して生じた反射光を示している。光点領域抽出部３０１は、この映像のなかから高輝度領域である801, 802などヘッドライト光以外を含めて抽出する。次にラベリング処理部３０２を図８bを用いて説明する。図８bは光点領域抽出部３０１により抽出された光点に対して、それぞれの光点を区別するためのラベル番号が振られた際の様子を示している。この際、ノイズ除去のため、高輝度領域の面積が非常に小さいものを除外しているため、図8aの801中には４つの高輝度領域が存在していたが、図８bでは2つになっている。光点幾何情報選択部３０３を図８cを用いて説明する。不要な光点情報を除外するため、面積と幾何情報を用いた光点の選択を行う。ここでは、ヘッドライトは円形に近く反射光は楕円に近いという仮定を置いた場合の処理を図8ｃで表した。処理では光点の面積と、その光点の外接矩形の面積を比較し、光点の面積が外接矩形の面積のX倍(Xは非負の自然数)以上であったらヘッドライト、それより小さかったら反射光という判定ができる。光点幾何情報選択部３０３はさらに光点重心の俯瞰位置を用いて計算する。図８dにその例を示す。図8d中の番号は図8c中の番号と対応している。図では、803が遠方の光点なので、図８dでも後方に描かれている。また807が路外に存在する光点、805,806は隣接レーンを走行する車両のヘッドライトなので隣接レーンの位置に俯瞰変換された光点として描かれている。

【0033】

前記高輝度特徴量解析部２０１は以下の方法で実現することができる。レンズ薄汚れ状態のとき表れる映像上の特徴を、図７を用いて説明する。図７はリアカメラで撮像した映像を模擬的に表したものである。

【0034】

そのうち、図７aはレンズに汚れが付着していないクリアレンズの時に自車後方の夜間映像を撮像したものを示し、図７bはレンズ薄汚れの時に撮像したものを示している。702は白線である。白線によって路面を自車が走行するレーン、自車の右側の右隣接レーン、自車左側の左隣接レーンが区切られている。701は右隣接レーンを走行する車両であり、その車両のフロント部分および車両の左側面が描かれた様子をボックスを用いて表現している。704は車両フロントの内側ヘッドライトを表し、705は外側ヘッドライトを表す。703は遠方の車両ヘッドライトを表す。図７aはレンズが薄汚れ状態ではない場合、光点 (ここではヘッドライト) の実際の形状と映像上の形状はほぼ一致していることを表している。

【0035】

一方、図７bは、レンズ薄汚れ状態である場合、光点の実際の形状と映像上の形状が異なることを示している。図中の点線はヘッドライトの実際の形状を表しており、この映像中では、レンズ薄汚れが原因で実際よりも図７aの703, 704, 705が図７bの706, 707, 708のように大きくみえる様子を表している。レンズ薄汚れ状態の場合、光点より照射される光はレンズに入射する前に薄汚れに入射する。そして光が薄汚れによって拡散されるためレンズに入射する光は実際の光よりも広がりをもつことになる。この効果により、たとえ車体が画像中に本来写る場合であっても薄汚れによる光の反射によりハレーションを起こすため映像として車体が視認できなくなる。この映像上の特徴を検知できれば検知したい状態を判定することができる。例えば、光点の輝度分布から薄汚れ時の光点条件を設定するために必要な高輝度特徴量を得ることができる。画像取得部１０１より取得した画像全体またはその一部から得た輝度の時空間方向の変化を計算したときの高輝度領域の面積や空間方向の光の広がりをその高輝度特徴量として出力することができる。

【0036】

前記高輝度特徴量解析部２０１の結果に関連づけたヘッドライト検知条件設定部２０２は図４で示された構成で実現することができる。前記高輝度特徴量解析部２０１の結果に関連づけたヘッドライト検知条件設定部２０２は、前記高輝度特徴量解析部２０１より得た結果が薄汚れ状態であった場合は、光点が画面内に占める面積の大きさからヘッドライトとして判定すべき面積の大きさを設定する面積条件設定部４０１と、光点が前フレームと比較して映像上どの程度接近または後退しているときにヘッドライトとして判定すべきかを設定する移動方向条件設定部４０２と、光点のうちどのような形状を持つ光点をヘッドライトとして判定するか設定する形状条件設定部４０３と、光点のうち光点の重心座標または外接矩形の４点の座標がどこに存在した場合ヘッドライトとして判定すべきかを設定する位置条件設定部４０４と、から構成される。

【0037】

前記面積条件設定部４０１は、汚れ時の光点の面積しきい値を汚れ無し時の光点の面積しきい値より小さく設定することで汚れ時の不検知を低減することができる。または汚れ時の光点の面積しきい値を汚れ無し時の光点の面積しきい値より大きく設定することで汚れ時の誤検知を低減することができる。

【0038】

前記移動方向条件設定部４０２は光点の移動方向および移動距離でヘッドライトかどうかの判定を行う。通常、映像上の光点がヘッドライトだった場合どのような方向にも移動しうるため、光点が接近しているか後退しているかどうかでヘッドライトか否かを判定することはできない。レンズ薄汚れ時に最低限の性能を確保するため接近していることを条件に加えることは有用である。後退する光点は路外の静止物である可能性があるが、接近する光点であり、かつ移動方向条件設定部４０２以外の条件で合致した光点は接近する車両のヘッドライトである可能性が極めて高い。よって前記移動方向条件設定部４０２では、レンズ薄汚れ時には所定速度以内で映像上接近することを条件として設定する。レンズに汚れが付着していない場合低速で移動するものをヘッドライトとして判定すると隣接レーンの外側を走行する車両のヘッドライト反射光を誤検知する可能性がある。そのため、移動速しきい値は一定以上と設定して低速なものを除外するとよい。一方、レンズ薄汚れ付着の場合前記反射光を誤検知する可能性が低いため、移動速しきい値はレンズに薄汚れが付着していない場合より低く設定することができる。

【0039】

前記形状条件設定部４０３は、レンズ薄汚れ時にはレンズ表面の薄汚れにより光点が広がる性質に着目し、より円形に近いものをヘッドライト検知条件として定めることができる。ただし、レンズの薄汚れの有無に関わらず円形に近いことを条件として定めてもよい。これは、路面反射光やガードレールの反射が細長い光として表れることを利用して誤検知を低減する効果がある。また、レンズ薄汚れ時には、反射光は汚れにより輝度値が低くなるため、誤検知の可能性が低下する。そのため、円形に近いかどうかを決定するしきい値を低減すると、不検知を低減することができる。

【0040】

図9を用いて前記高輝度特徴量解析部２０１の結果に関連づけたヘッドライト検知条件設定部２０２の中で特に重要な点を説明する。図９のaおよびbを用いて前記移動方向条件設定部４０２の設定を説明する。aは現時刻でのリアカメラ映像、bは次時刻でのリアカメラ映像である。901は現時刻での他車両内側ヘッドライトの重心位置、902は次時刻での他車両内側ヘッドライトの重心位置である。b中に描かれた現時刻での光点重心位置901から次時刻の光点重心位置902は901と比較して自車に接近していることがわかる。この光点の移動の方向を条件として考える。まず、光点が後方、つまり自車から遠ざかる場合、と前方、つまり自車に近付く場合の大きく分けて２種類がある。他車両の移動方向はどちらでもありうるため、一概に遠ざかる光点は車両以外ということはできない。また、自車に近付く光点が隣接レーンに存在しても、それが隣接レーンの外側の他車両ヘッドライトの反射光が隣接レーンに存在していることも考えられるため、光点が接近していることも一概に隣接レーンの車両であるということもできない。ただし、レンズに薄汚れが付着している場合、光点は全体的に膨張する傾向にあり、車両特徴量が得られないため、映像上危険性が高いと判定できる場合は隣接レーンに存在する接近光点を車両であるといっても問題がない。薄汚れにより、多少の反射光は見えづらくなっており光点の接近を車両とみなしても誤検知が多くならないからである。

【0041】

図９cを用いて位置条件設定部４０４の動作を説明する。左側隣接レーン幅905、右側隣接レーン幅906、近傍位置907、は原則、レーン位置に基づいて設定された自車後方左側車両検出枠903と自車後方右側車両検出枠904と、に基づいて予め設定された位置に設定される。レンズ薄汚れ時の車両の不検知を低減するためには、左側隣接レーン幅905、右側隣接レーン幅906をレンズ汚れなしより幅を広く設定し、誤検知抑制の場合は狭く設定するとよい。近傍位置907は報知信号発生タイミングを早めまたは遅めにする場合に設定を行う。

【実施例3】

【0042】

実施例３として薄汚れ判定に関連づけたヘッドライト検知条件に基づいて、オプティカルフローと光点特徴量抽出を切り替える。図５にその構造を示す。

【0043】

薄汚れ判定ではない場合、車両の車体部分の視認性が高いと推測されるため、光点特徴量のかわりに、オプティカルフロー部５０１によりオプティカルフローを用いて画像内の特徴量の時間変化から他車両の位置と速度を検出する車両検知ロジックを用いて車両特徴量を抽出する。薄汚れ判定であった場合、車両の車体部分の視認性が低いと推測されるため、オプティカルフローを用いて特徴量を抽出しようとしても正しく結果を得ることができない。そのかわりに光点特徴量抽出により車両のヘッドライトの特徴量を抽出する。オプティカルフローは夜間の場合特徴量抽出した後パターンマッチングする際レンズ汚れにより正しく検知することが困難であるが、光点抽出は薄汚れにより特徴的な光点が抽出される。つまり、前記光点特徴量抽出部１０２またはオプティカルフロー部５０１を切り替えて使うことで、レンズ汚れ判定されない場合は、接近する車両の車体の視認性が高いとみなすことができるためオプティカルフローを用いた車両検知を行う。レンズ汚れ判定される場合は、車体の視認性が低いためオプティカルフローを用いた特徴量検知の信頼性が低下するので、光源抽出に基づいたヘッドライト検知による車両検知を行い信頼性を確保する。つまり、レンズ汚れ判定に基づいてオプティカルフローと光点抽出機能を切り替えて使用することで、レンズ汚れによらずこの装置単独で車両検知を行うことができる。接近車両判定部５０２は、光点特徴量抽出部１０２で抽出された光点の特徴量、またはオプティカルフロー部５０１の検知条件に基づいて、他車両が接近しているかどうかを判定する。この接近車両判定部５０２の検知条件を基に、車両報知信号出力部１０６は車両報知信号を外部に出力する。

【実施例4】

【0044】

実施例４として薄汚れ判定に関連づけたパターンマッチングによる車両検知が可能な環境認識装置を説明する。図６にその構造を示す。

【0045】

まずパターンマッチングを用いた車両検知について説明する。パターンマッチング判定条件設定部６０１は、セダン、SUV、トラック、バスなど典型的な車種の映像を元に作成した特徴量を車種ごとに車両データとして予め記憶する。車両検知条件設定部６０２は、実際の走行環境中で取得した映像の一部を抽出しその抽出した映像について予め記憶した車両データと同様の特徴量を算出する。そして、車種ごとの車両データと比較しもっとも類似性の高い車両データが見つかった場合、隣接車線にその車種の車両がいる可能性が高いという評価結果を出力する。その結果に基づき、車種ごとに予め設定された車両の高さを元に得た他車両の存在する可能性が最も高い奥行き位置および横位置、車種ごとに設定された車両長に基づいた警報の持続時間、警報強度（例えばトラックは乗用車より危険性が高いので警報強度を高くする、など）、ブレーキランプやウィンカーランプ情報、などを取得する。これらの情報を元に接近車両判定部５０２にて、報知の有無を決定する。他車両の横位置は他車両が隣接レーンにいるか否かを判定する際用いることができる。他車両の奥行位置は、他車両の移動速、ブレーキランプ、ウィンカーランプ情報を組み合わせて用いる。移動速と奥行きからそのまま自車がレーン変更した場合衝突の危険性が高い場合報知する必要がある。ただし、ブレーキランプやウィンカーランプが点灯している場合、その危険性は高くまたは低くすることができる。また、危険強度はブレーキランプ点灯時に危険性の上がるまたは下がる度合いを決定することができる。

【0046】

次に薄汚れ判定に関連づけたパターンマッチングによる車両検知について説明する。もし、車種ごとの特徴量データがレンズ汚れによらず設定されていた場合、画像取得部１０１から得られる画像に含まれる車両の特徴量と、予め保存されている車両の特徴量データがたとえ同じ車種であっても著しく異なる結果となるため、正しく車両検知することができない。そのため、パターンマッチング判定条件設定部６０１は、レンズ薄汚れ度合いに応じて前記車種ごとの車両データを保存して、そのデータを汚れ度合いに応じて切り替えて使用することで、レンズ薄汚れ時に正しく車両検知が可能となる。この発明は、レンズ薄汚れに応じてパターンマッチングに使用する車両の特徴量データを切り替えて使うことができるため、レンズ薄汚れに応じた最適な車両検知を行うことができる。さらに、この発明はヘッドライトに限らず使用することができるため、ヘッドライトを点灯していない場合（昼間など）やレンズ薄汚れの種類によってヘッドライト特徴量だけでは車両検知できない場合でも、安定して車両検知を行うことができる。

【符号の説明】

【0047】

１０ 環境認識装置
１０１ 画像取得部
１０２ 光点特徴量抽出部
１０３ レンズ汚れ判定部
１０４ ヘッドライト検知条件設定部
１０５ 接近ヘッドライト判定部
１０６ 車両報知信号出力部
２０１ 高輝度特徴量解析部
２０２ ヘッドライト検知条件設定部
３０１ 光点領域抽出部
３０２ ラベリング処理部
３０３ 光点幾何情報選択部
３０４ 光点重心位置取得部
４０１ 面積条件設定部
４０２ 移動方向条件設定部
４０３ 形状条件設定部
４０４ 位置条件設定部
５０１ オプティカルフロー部
５０２ 接近車両判定部
６０１ パターンマッチング判定条件設定部
６０２ 車両検知条件設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】