特許 6011935 車載カメラシステムおよびカメラレンズ異常検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6011935

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】車載カメラシステムおよびカメラレンズ異常検知方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20161011BHJP

   G06T 7/60 20060101ALI20161011BHJP

   B60R 1/00 20060101ALI20161011BHJP

【ＦＩ】

   H04N7/18 J

   H04N7/18 K

   G06T7/60 200J

   B60R1/00 A

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2012-269282(P2012-269282)

(22)【出願日】2012年12月10日

(65)【公開番号】特開2014-115814(P2014-115814A)

(43)【公開日】2014年6月26日

【審査請求日】2015年9月11日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100081282

【弁理士】

【氏名又は名称】中尾 俊輔

(74)【代理人】

【識別番号】100085084

【弁理士】

【氏名又は名称】伊藤 高英

(74)【代理人】

【識別番号】100095326

【弁理士】

【氏名又は名称】畑中 芳実

(74)【代理人】

【識別番号】100115314

【弁理士】

【氏名又は名称】大倉 奈緒子

(74)【代理人】

【識別番号】100117190

【弁理士】

【氏名又は名称】前野 房枝

(74)【代理人】

【識別番号】100120385

【弁理士】

【氏名又は名称】鈴木 健之

(72)【発明者】

【氏名】酒井 重之

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００７−２９３６７２（ＪＰ，Ａ）

【文献】 特開平８−２０２９９８（ＪＰ，Ａ）

【文献】 特開２０００−０６９９２１（ＪＰ，Ａ）

【文献】 特開２０１１−２２３０７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００，７／００−７／６０

Ｂ６０Ｒ １／００，２１／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された複数の車載カメラを備えた車載カメラシステムであって、
前記車載カメラの撮影画像に基づいて認識された道路区画線の信頼度の履歴を前記車載カメラ毎に作成する信頼度履歴作成手段と、
この信頼度履歴作成手段によって作成された前記車載カメラ毎の前記信頼度の履歴同士を比較して、相対的に前記信頼度の低下が示された前記車載カメラに、レンズへの異物の付着および／またはレンズの曇りを含むレンズの異常が生じていると判定する異常判定手段と
を備えたことを特徴とする車載カメラシステム。

【請求項2】

前記異常判定手段は、前記信頼度の低下が一定期間分または前記道路区画線の所定認識回数分示された前記車載カメラに、前記異常が生じていると判定すること
を特徴とする請求項１に記載の車載カメラシステム。

【請求項3】

前記異常判定手段は、前記複数の車載カメラのうち、同一の前記道路区画線の同一の部位を同時または前記車両の進行に応じて時間差で撮影可能な前記車載カメラ同士の前記信頼度の履歴を比較すること
を特徴とする請求項１または請求項２に記載の車載カメラシステム。

【請求項4】

前記異常判定手段によって前記信頼度の履歴が比較される前記車載カメラは、前記車両の前方を撮影するフロントカメラ、前記車両の側方を撮影するサイドカメラおよび前記車両の後方を撮影するリアカメラのうちの少なくとも２つであること
を特徴とする請求項３に記載の車載カメラシステム。

【請求項5】

前記異常判定手段は、前記フロントカメラの前記信頼度の履歴と前記リアカメラの前記信頼度の履歴とを、前記フロントカメラが前記道路区画線の所定の部位を撮影してから前記リアカメラが当該部位を撮影するまでに要するとみなされる遅延時間分だけずらして比較すること
を特徴とする請求項４に記載の車載カメラシステム。

【請求項6】

前記異常判定手段は、車速に基づいて前記遅延時間を判断すること
を特徴とする請求項５に記載の車載カメラシステム。

【請求項7】

前記信頼度履歴作成手段は、
前記認識された道路区画線の形状に基づいて算出された前記信頼度の履歴を作成すること
を特徴とする請求項１乃至請求項６のいずれか１項に記載の車載カメラシステム。

【請求項8】

前記異常判定手段によって前記異常が生じていると判定された前記車載カメラに対応する画像認識機能を自動的にオフにする画像認識制御手段を備えたこと
を特徴とする請求項１乃至請求項７のいずれか１項に記載の車載カメラシステム。

【請求項9】

前記異常判定手段によって前記異常が生じていると判定された場合に、該当する前記車載カメラについての前記異常を通知する異常通知手段を備えたこと
を特徴とする請求項１乃至請求項８のいずれか１項に記載の車載カメラシステム。

【請求項10】

車載カメラのレンズへの異物の付着および／またはレンズの曇りを含むレンズの異常を検知するためのカメラレンズ異常検知方法であって、
複数の前記車載カメラの撮影画像に基づいてそれぞれ認識された道路区画線の信頼度の履歴を前記車載カメラ毎に作成する第１のステップと、
この第１のステップにおいて作成された前記車載カメラ毎の前記信頼度の履歴同士を比較して、相対的に前記信頼度の低下が示された前記車載カメラに、レンズの異常が生じていると判定する第２のステップと
を含むこと特徴とするカメラレンズ異常検知方法。

【請求項11】

前記第２のステップは、前記信頼度の低下が一定期間分または前記道路区画線の所定認識回数分示された前記車載カメラに、前記異常が生じていると判定するステップであること
を特徴とする請求項１０に記載のカメラレンズ異常検知方法。

【請求項12】

前記第２のステップは、前記複数の車載カメラのうち、同一の前記道路区画線の同一の部位を同時または前記車両の進行に応じて時間差で撮影可能な前記車載カメラ同士の前記信頼度の履歴を比較するステップであること
を特徴とする請求項１０または請求項１１に記載のカメラレンズ異常検知方法。

【請求項13】

前記第２のステップは、前記車載カメラとしてのフロントカメラの前記信頼度の履歴と前記車載カメラとしてのリアカメラの前記信頼度の履歴とを、前記フロントカメラが前記道路区画線の所定の部位を撮影してから前記リアカメラが当該部位を撮影するまでに要するとみなされる遅延時間分だけずらして比較するステップであること
を特徴とする請求項１２に記載のカメラレンズ異常検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラシステムおよびカメラレンズ異常検知方法に係り、特に、車載カメラのレンズの異常を検知するのに好適な車載カメラシステムおよびカメラレンズ異常検知方法に関する。

【背景技術】

【0002】

従来から、車線逸脱警告(LDW:Lane Departure Warning)システム等の映像を出力しない車載カメラシステムにおいては、ユーザが車載カメラのレンズへの異物（汚れや水滴等）の付着を映像に基づいて発見することができないため、異物付着の自動検知の有用性が高かった。

【0003】

この種のシステムにおいては、これまでにも、例えば、特許文献１に示すように、カメラの一部に写った車両の一部分の実画像と、カメラに異物が付着していないときの基準画像とを比較し、画像の変化の有無を検出することによって、異物付着の有無を判断することが行われていた。

【0004】

しかし、このような技術では、図１４に示すように、基準画像に対して多様なシーン（夜間、車両等の影が映り込んでいる状況、雨天等）の実画像が想定されるため、このことを考慮して、異物付着を誤検知しないための基準画像および判断基準の設定が困難であり、異物付着を検知するための専用処理を追加する必要があるといった問題が生じていた。

【0005】

これに対して、特許文献２においては、車載カメラの撮影画像の白線認識信頼度を判定する技術が提案されており、また、特許文献３においては、広画角の複数の車載カメラによる重複撮影領域の画像同士を比較する技術が提案されているので、これらの技術を組み合わせれば、基準画像を用意せずとも、重複撮影領域における両カメラの白線の認識度の違いによって異物付着を検知することも可能である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００８−２６５７２７号公報

【特許文献2】特開２０１０−６９９２１号公報

【特許文献3】特開２０１１−２２３０７５号公報

【特許文献4】特開２００８−６０８７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献３では、重複撮影領域のみを異物付着の判断領域とし、重複撮影領域において、「所定以上の輝度変化がある（請求項２）」または「白線検出結果が異なる」場合に、異物付着有りと判断していた。

【0008】

このため、重複撮影領域に対応するレンズ部分に異物が付着していなければ異常判断することができなかった。

【0009】

そこで、本発明は、このような点に鑑みなされたものであり、車載カメラのレンズの異常（異物付着や曇り）を検知する際に、異常の発生場所の多様性に簡便かつ柔軟に対応することができ、ひいては、検知精度を低コストで向上させることができる車載カメラシステムおよびカメラレンズ異常検知方法を提供することを目的とするものである。

【課題を解決するための手段】

【0010】

前述した目的を達成するため、本発明に係る車載カメラシステムは、車両に搭載された複数の車載カメラを備えた車載カメラシステムであって、前記車載カメラの撮影画像に基づいて認識された道路区画線の信頼度の履歴を前記車載カメラ毎に作成する信頼度履歴作成手段と、この信頼度履歴作成手段によって作成された前記車載カメラ毎の前記信頼度の履歴同士を比較して、相対的に前記信頼度の低下が示された前記車載カメラに、レンズへの異物の付着および／またはレンズの曇りを含むレンズの異常が生じていると判定する異常判定手段とを備えたことを特徴としている。

【0011】

また、本発明に係るカメラレンズ異常検知方法は、車載カメラのレンズへの異物の付着および／またはレンズの曇りを含むレンズの異常を検知するためのカメラレンズ異常検知方法であって、複数の前記車載カメラの撮影画像に基づいてそれぞれ認識された道路区画線の信頼度の履歴を前記車載カメラ毎に作成する第１のステップと、この第１のステップにおいて作成された前記車載カメラ毎の前記信頼度の履歴同士を比較して、相対的に前記信頼度の低下が示された前記車載カメラに、レンズの異常が生じていると判定する第２のステップとを含むこと特徴としている。

【0012】

そして、このような本発明によれば、車載カメラ毎の道路区画線の認識結果の信頼度の履歴を比較することによって車載カメラのレンズの異常を検知することができるので、車載カメラのレンズの異常の検知を、異常の発生場所を他の車載カメラとの重複撮影領域に対応するレンズ部分に拘束することなく簡便かつ正確に行うことができる。

【0013】

なお、道路区画線とは、車道中央線、車線境界線（レーンマーク）、車道外側線等の道路上に描かれた実線のことをいう（以下、同様）。

【0014】

また、本発明の車載カメラシステムにおいて、前記異常判定手段は、前記信頼度の低下が一定期間分または前記道路区画線の所定認識回数分示された前記車載カメラに、前記異常が生じていると判定してもよい。同様に、本発明のカメラレンズ異常検知方法において、前記第２のステップは、前記信頼度の低下が一定期間分または前記道路区画線の所定認識回数分示された前記車載カメラに、前記異常が生じていると判定するステップであってもよい。

【0015】

そして、このような本発明によれば、一時的な信頼度の低下のみを以て異常であると判定することを回避することができるので、判定精度を向上させることができる。

【0016】

さらに、本発明の車載カメラシステムにおいて、前記異常判定手段は、前記複数の車載カメラのうち、同一の前記道路区画線の同一の部位を同時または前記車両の進行に応じて時間差で撮影可能な前記車載カメラ同士の前記信頼度の履歴を比較してもよい。この場合に、前記異常判定手段によって前記信頼度の履歴が比較される前記車載カメラは、前記車両の前方を撮影するフロントカメラ、前記車両の側方を撮影するサイドカメラおよび前記車両の後方を撮影するリアカメラのうちの少なくとも２つであってもよい。同様に、本発明のカメラレンズ異常検知方法において、前記第２のステップは、前記複数の車載カメラのうち、同一の前記道路区画線の同一の部位を同時または前記車両の進行に応じて時間差で撮影可能な前記車載カメラ同士の前記信頼度の履歴を比較するステップであってもよい。

【0017】

そして、このような本発明によれば、各車載カメラの間で、同一の道路区画線の同一の部位に基づく信頼度の履歴同士を比較することができるので、判定精度をさらに向上させることができる。

【0018】

さらにまた、本発明の車載カメラシステムにおいて、前記異常判定手段は、前記フロントカメラの前記信頼度の履歴と前記リアカメラの前記信頼度の履歴とを、前記フロントカメラが前記道路区画線の所定の部位を撮影してから前記リアカメラが当該部位を撮影するまでに要するとみなされる遅延時間分だけずらして比較してもよい。同様に、本発明のカメラレンズ異常検知方法において、前記第２のステップは、前記車載カメラとしてのフロントカメラの前記信頼度の履歴と前記車載カメラとしてのリアカメラの前記信頼度の履歴とを、前記フロントカメラが前記道路区画線の所定の部位を撮影してから前記リアカメラが当該部位を撮影するまでに要するとみなされる遅延時間分だけずらして比較するステップであってもよい。

【0019】

そして、このような本発明によれば、フロントカメラとリアカメラのように、重複撮影領域を有さずに道路区画線の同じ部位を時間差で撮影するカメラ同士については、遅延時間を考慮した履歴比較を行うことができるので、判定精度を更に向上させることができる。

【0020】

また、本発明の車載カメラシステムにおいて、前記異常判定手段は、車速に基づいて前記遅延時間を判断してもよい。

【0021】

そして、このような構成によれば、遅延時間を、車速に基づいて簡便に把握することができる。

【0022】

さらに、本発明の車載カメラシステムにおいて、前記信頼度履歴作成手段は、前記認識された道路区画線の形状に基づいて算出された前記信頼度の履歴を作成してもよい。

【0023】

そして、このような構成によれば、道路区画線の信頼度の判断基準として、適切な基準を用いることができる。

【0024】

さらにまた、本発明の車載カメラシステムにおいて、前記異常判定手段によって前記異常が生じていると判定された前記車載カメラに対応する画像認識機能を自動的にオフにする画像認識制御手段を備えてもよい。

【0025】

そして、このような構成によれば、異常が検知された車載カメラについて無意味な画像処理を行わないようにすることができる。

【0026】

また、本発明の車載カメラシステムにおいて、前記異常判定手段によって前記異常が生じていると判定された場合に、該当する前記車載カメラについての前記異常を通知する異常通知手段を備えてもよい。

【0027】

そして、このような構成によれば、ユーザが異常を確実に認識することができる。

【発明の効果】

【0028】

本発明によれば、車載カメラのレンズの異常を検知する際に、異常の発生場所の多様性に簡便かつ柔軟に対応することができ、ひいては、検知精度を低コストで向上させることができる。

【図面の簡単な説明】

【0029】

【図1】本発明の第１実施形態において、車載カメラシステムを示すブロック図

【図2】道路区画線の認識処理を説明するための第１の説明図

【図3】道路区画線の認識処理を説明するための第２の説明図

【図4】道路区画線の認識処理を説明するための第３の説明図

【図5】道路区画線の認識結果の信頼度の履歴を示す概念図

【図6】異常有無の判定処理を示す模式図

【図7】異常有無の判定処理を説明するために用いる道路区画線の認識結果の信頼度の変化特性を示すグラフ

【図8】異常有無の判定処理に用いる場合がある遅延時間を説明するための説明図

【図9】遅延時間を考慮した異常有無の判定処理を説明するために用いる道路区画線の認識結果の信頼度の変化特性を示すグラフ

【図10】本発明の第１実施形態において、カメラレンズ異常検知方法を示す第１のフローチャート

【図11】カメラレンズ異常検知方法を示す第２のフローチャート

【図12】本発明の第２実施形態において、車載カメラシステムを示す概略ブロック図

【図13】本発明の第２実施形態において、信頼度の比較評価の態様を示す図

【図14】従来の問題点を説明するための説明図

【発明を実施するための形態】

【0030】

〔第１実施形態〕
（車載カメラシステム）
以下、本発明に係る車載カメラシステムの第１実施形態について、図１乃至図９を参照して説明する。

【0031】

図１に示すように、本実施形態における車載カメラシステム１は、車両に搭載された２つの車載カメラ２ｆ、２ｒを有している。これらのうち、一方の車載カメラ２ｆは、車両の前部（例えば、エンブレム部等）に車両の前方の路面を斜め方向から見下ろすような姿勢で取り付けられた車両の前方を中心とした所定の撮影領域を撮影するフロントカメラ２ｆとされている。また、他方の車載カメラ２ｒは、車両の後部（例えば、リアライセンスガーニッシュ部等）に自車の後方の路面を斜め方向から見下ろすような姿勢で取り付けられた車両の後方を中心とした所定の撮影領域を撮影するリアカメラ２ｒとされている。各車載カメラ２ｆ、２ｒは、ＣＣＤやＣＭＯＳ等の固体撮像素子（撮像面）を備えるとともに、対応する撮影領域を所定のフレームレートで逐次撮影するようになっている。

【0032】

また、図１に示すように、フロントカメラ２ｆにはフロント側撮影画像取得部３ｆが、リアカメラ２ｒにはリア側撮影画像取得部３ｒがそれぞれ接続されており、これら撮影画像取得部３ｆ、３ｒは、対応する車載カメラ２ｆ、２ｒの撮影画像を取得するようになっている。なお、撮影画像取得部３ｆ、３ｒは、バッファ等によって具現化してもよい。

【0033】

さらに、図１に示すように、フロント側撮影画像取得部３ｆには、フロント側道路区画線認識部４ｆが、リア側撮影画像取得部３ｒには、リア側道路区画線認識部４ｒが、それぞれ接続されている。これら道路区画線認識部４ｆ、４ｒには、対応する撮影画像取得部３ｆ、３ｒから、対応する車載カメラ２ｆ、２ｒの撮影画像がそれぞれ入力されるようになっている。

【0034】

そして、各道路区画線認識部４ｆ、４ｒは、入力された撮影画像に基づいて、道路区画線の認識（画像認識）を行うようになっている。

【0035】

ここで、道路区画線の認識方法の一例について説明すると、まず、道路区画線認識部４ｆ、４ｒは、入力された撮影画像から、グレースケールの輝度画像を生成する。そして、道路区画線認識部４ｆ、４ｒは、図２に示すように、生成された輝度画像を水平方向にスキャンして、閾値以上の輝度が一定間隔続く水平部分をラインとして取り出す。このようなラインの取り出しは、輝度画像全体に対して行う。このようにして取り出されたラインの１つ１つは、スライスと称される。

【0036】

次に、道路区画線認識部４ｆ、４ｒは、図３に示すように、取り出された各スライスに対して、垂直方向に隣接するスライス同士で水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。図３に示す例では、撮影画像内からスライスの３つのグループＧ１〜Ｇ３が抽出されている。

【0037】

このようにしてグルーピングを行った後に、道路区画線認識部４ｆ、４ｒは、図４に示すように、各グループＧ１〜Ｇ３のスライスを３次元座標の路面（Ｚ＝０）に投影し、各スライスの中点から、最小２乗法で道路区画線の直線式Ｙ＝ａ_ＧｉＸ＋ｂ_Ｇｉ（Ｚ＝０）を抽出する。但し、ａ_Ｇｉは、グループＧｉ（ｉ＝１〜グループ総数）毎の直線式の傾き、ｂ_Ｇｉは、グループＧｉ毎の直線式のＹ切片である。なお、３次元座標の路面への投影とは、撮影画像を、車両上方の仮想視点からの俯瞰画像に視点変換することをいう。このとき、３次元座標の原点を車両の中心位置とし、Ｘ軸におけるプラス側を車両の前方として、Ｙ軸におけるプラス側を車両の左方としてもよい（図４参照）。

【0038】

このような直線式の抽出の過程で、道路区画線認識部４ｆ、４ｒは、傾きａ_ＧｉおよびＹ切片ｂ_Ｇｉの値が所定の範囲内に入る複数の直線式がある場合には、それらの直線式に該当するグループを１つのグループとしてまとめる。図４の例では、グループＧ２とグループＧ３とを１つのグループＧ４にまとめている。そして、道路区画線認識部４ｆ、４ｒは、このようにして１つにまとめたグループについて、その中に含まれる各スライスの情報から、直線式の再抽出を行う。図４の例では、Ｙ＝ａ_Ｇ４Ｘ＋ｂ_Ｇ４が再抽出された直線である。

【0039】

また、道路区画線認識部４ｆ、４ｒは、前述した各スライスの中点を基準とした直線式の導出と同じ要領で、各スライスの左端点を基準とした直線式、各スライスの右端点を基準とした直線式をそれぞれ抽出する。そして、このようにして抽出されたスライス左端点に基づく直線式とスライス右端点に基づく直線式とを、スライス中点に基づく直線式の左右に引くことによって、スライス幅を算出する。このとき、複数のグループが１つまとめられた場合には、当該１つのグループについてのスライス幅を算出する。

【0040】

以上のようにして、道路区画線の認識が完了する。

【0041】

なお、道路区画線認識部４ｆ、４ｒによる認識処理は、１フレームごとの撮影画像に基づいて行うことが困難であれば、複数フレーム分の撮影画像に基づいて行ってもよい。また、道路区画線認識部４ｆ、４ｒは、これの機能を実現するためのプログラムをＣＰＵ等の演算処理装置が実行することによって具現化してもよい。演算処理装置が実行すべきプログラムについては、ＲＯＭ等のプログラム記憶部に格納しておき、また、演算処理装置の処理には、ＲＡＭ等の作業領域を利用してもよい。

【0042】

図１に戻って、車載カメラシステム１は、フロント側信頼度算出部５ｆおよびリア側信頼度算出部５ｒを有している。フロント側信頼度算出部５ｆは、フロント側道路区画線認識部４ｆの認識結果（認識された道路区画線）を、リア側信頼度算出部５ｒは、リア側道路区画線認識部４ｒの認識結果を、それぞれ取得するようになっている。そして、信頼度算出部５ｆ、５ｒは、対応する認識結果の信頼度を算出するようになっている。このとき、信頼度算出部５ｆ、５ｒは、図４に示したように、撮影画像から複数の道路区間線（同図におけるＧ１、Ｇ４に対応する２つの道路区間線）が認識されている場合には、道路区間線毎に信頼度を算出するようになっている。

【0043】

ここで、信頼度の算出は、例えば、道路区画線の形状を反映した以下の評価値に基づいて行うようにしてもよい。

【0044】

＜直線性評価値＞
直線性評価値は、道路区画線認識部４ｆ、４ｒの認識結果の直線性についての評価値であり、具体的には、図４のようにして求められた直線式Ｙ＝ａ_ＧｉＸ＋ｂ_Ｇｉとスライス中点とのずれの大きさに基づく算出値である。直線性評価値MatchingValueは、例えば、次式のように表すことができる。

【0045】

MatchingValue=1.0-Difference/MaxDifference （１）
但し、（１）式において、Differenceは、直線式と各スライス中点との距離の平均値であり、MaxDifferenceは、距離誤差の閾値である。

【0046】

このようにして算出された直線性評価値MatchingValueは、０．０〜１．０の範囲内の値をとることになる。

【0047】

＜平行性評価値＞
平行性評価値は、道路区画線認識部４ｆ、４ｒによって認識された道路区画線の左右のエッジ同士の平行性に関する評価値であり、具体的には、前述したスライス左端点に基づく直線式とスライス右端点に基づく直線式との２つの直線式同士の平行性を定量化したものである。平行性評価値EdgeMatchigValueは、例えば、次式のように表すことができる。

【0048】

EdgeMatchigValue=EdgeDifference/MaxEdgeDifference （２）
但し、（２）式において、EdgeDifferenceは、２つの直線式の傾きの差であり、MaxEdgeDifferenceは、各スライスの左端点および右端点の差の最大値である。

【0049】

このようにして算出された平行性評価値EdgeMatchigValueも、０．０〜１．０の範囲内の値をとることになる。

【0050】

そして、信頼度は、これらの評価値MatchingValue、EdgeMatchigValueのいずれか一方、両評価値の平均値、両評価値に加えてまたは替えて他の要素（例えば、認識された道路区画線の矩形性、幅の均一性、輝度分布、縦横比等）を考慮した値であってもよい。この他にも、信頼度の算出には、特願２０１２−０５７１５５号に記載の技術を適宜用いてもよい。

【0051】

なお、信頼度算出部５ｆ、５ｒは、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。

【0052】

また、図１に示すように、車載カメラシステム１は、信頼度履歴作成手段としてのフロント側信頼度履歴作成部６ｆおよびリア側信頼度履歴作成部６ｒを有している。フロント側信頼度履歴作成部６ｆは、フロント側信頼度算出部５ｆの算出結果を、リア側信頼度履歴作成部６ｒは、リア側信頼度算出部５ｒの算出結果を、それぞれ取得するようになっている。そして、信頼度履歴作成部６ｆ、６ｒは、対応する信頼度算出部５ｆ、５ｒの算出結果の履歴をそれぞれ作成・保持するようになっている。

【0053】

ここで、信頼度の履歴は、図５（ａ）に示すように、信頼度と時刻との対応関係が記述されたものであってもよく、または、図５（ｂ）に示すように、信頼度と道路区画線の認識回数（何回目の認識か）との対応関係が記述されたものであってもよく、あるいは、時刻および認識回数の双方との対応関係が記述されたものであってもよい。この場合に、時刻については、タイマ等の不図示の計時手段の計測結果から取得し、認識回数については、道路区画線認識部４ｆ、４ｒから取得してもよい。また、図４に示したように、認識結果が複数存在する場合には、履歴についても複数作成すればよい。

【0054】

なお、信頼度履歴作成部６ｆ、６ｒは、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。履歴の保持には、各種の外部記憶装置（ハードディスクドライブ等）やメインメモリ等を用いてもよい。

【0055】

図１に戻って、車載カメラシステム１は、異常判定手段としての異常判定部７を有しており、この異常判定部７は、信頼度履歴作成部６ｆ、６ｒによって作成された車載カメラ２ｆ、２ｒ毎の信頼度の履歴を取得するようになっている。そして、異常判定部７は、取得された車載カメラ２ｆ、２ｒ毎の信頼度の履歴同士を比較して、相対的に信頼度の低下が示された車載カメラに、このカメラのレンズへの異物の付着およびレンズの曇りの少なくとも一方を含むレンズの異常が生じていると判定するようになっている。

【0056】

図６は、このような異常判定部７の動作を示す模式図である。図６においては、リアカメラ２ｒに対応する信頼度が９０％であるのに対して、フロントカメラ２ｆに対応する信頼度が３０％と低下しているので、フロントカメラ２ｆにレンズの異常が生じていると判定している。

【0057】

また、図７（ａ）は、フロントカメラ２ｆに対応する信頼度の履歴を、時間または道路区画線の認識回数（横軸）に応じた信頼度（縦軸）の変化として示したものである。同様に、図７（ｂ）は、リアカメラ２ｒに対応する信頼度の履歴を、時間または道路区画線の認識回数に応じた信頼度の変化として示したものである。ただし、両履歴は、同一の道路区画線の認識結果の信頼度を対象としたものである。

【0058】

ここで、図７（ｂ）に示すように、リアカメラ２ｒに対応する信頼度は、時間／認識回の増加にかかわらず安定している一方で、図７（ａ）に示すように、フロントカメラ２ｆに対応する信頼度は、或る横軸値ｖ（時間／認識回）以降、時間／認識回の増加にともなってリアカメラ２ｒに対応する信頼度に対して相対的に低下している。

【0059】

このような場合に、異常判定部７は、フロントカメラ２ｆのレンズに異常が生じていると判定する。

【0060】

なお、異常判定部７による信頼度の履歴の取得は、異常判定部７による判定周期ごとに行うようにしてもよく、または、履歴の更新タイミングごとに行うようにしてもよい。

【0061】

また、図４に示したように、撮影画像から複数の道路区画線が認識された場合には、両車載カメラ２ｆ、２ｒ同士の間で、互いに同一の道路区画線の履歴同士を比較した判定を行えばよい。同一の道路区画線の履歴であることについては、道路区画線の認識座標範囲および前後のカメラ２ｆ、２ｒの撮影方向の違い等に応じて簡便に把握することができる。このように、両車載カメラ２ｆ、２ｒの間で、複数の道路区画線のそれぞれの信頼度履歴同士を比較した判定を行う場合には、レンズの異常発生の判定範囲が、レンズの部分ごとに細分化されることになる。具体的には、例えば、フロントカメラ２ｆの撮影画像の右側に認識された道路区画線については、リアカメラ２ｒの撮影画像の左側に認識された道路区画線に対して信頼度の低下がみられたため、フロントカメラレンズ右側部分に異常が発生していると判定し、フロントカメラ２ｆの撮影画像の左側に認識された道路区画線については、リアカメラ２ｒの撮影画像の右側に認識された道路区画線に対して信頼度の低下がみられないため、フロントカメラレンズ左側部分に異常が発生していないと判定することができる。

【0062】

さらに、異常判定部７は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。

【0063】

このような構成によれば、車載カメラ２ｆ、２ｒ毎の道路区画線の認識結果の信頼度の履歴を比較することによって車載カメラ２ｆ、２ｒのレンズの異常を検知することができるので、当該異常の検知を、当該異常の発生場所が重複撮影領域に対応するレンズ部分に限定されることなく、簡便かつ正確に行うことができる。

【0064】

上記構成に加えて、更に、本実施形態において、異常判定部７は、一方の車載カメラに対応する信頼度に対する他方の車載カメラに対応する信頼度の相対的な低下が、一定期間分（例えば、１分等）または道路区画線の所定認識回数分継続して示された場合に、当該他方の車載カメラにレンズの異常が生じていると判定するようにしてもよい。

【0065】

このような構成によれば、一時的な信頼度の低下のみを以て異常であると判定することを回避することができるので、判定精度を向上させることができる。

【0066】

上記構成に加えて、更に、本実施形態において、異常判定部７は、フロントカメラ２ｆに対応する信頼度の履歴とリアカメラ２ｒに対応する信頼度の履歴とを、図８に示すように、フロントカメラ２ｆが道路区画線の所定の部位Ｐを撮影してからリアカメラ２ｒが当該部位Ｐを撮影するまでに要するとみなされる遅延時間ＤＴ分だけずらして相対比較するようにしてもよい。

【0067】

ここで、図９は、このような場合の例を示したものである。図９（ａ）は、フロントカメラ２ｆに対応する信頼度の履歴を、時間または道路区画線の認識回数（横軸）に応じた信頼度の変化として示したものであり、図９（ｂ）は、リアカメラ２ｒに対応する信頼度の履歴を、時間または道路区画線の認識回数に応じた信頼度の変化として示したものである。図９（ａ）に示すように、フロントカメラ２ｆに対応する信頼度は、或る横軸値ｖ１以降において低下しているのに対して、同時点ｖ１におけるリアカメラ２ｒに対応する信頼度は安定している。したがって、このような同時点ｖ１の信頼度同士を比較評価した場合には、フロントカメラ２ｆ側のみに信頼度の低下が生じたものと判断されてしまう。しかし、図９（ｂ）に示すように、横軸値ｖ１に対して遅延時間ＤＴ分ずらした横軸値ｖ２においては、リアカメラ２ｒに対応する信頼度についても、フロント側と同様の低下が生じている。このような場合には、道路区画線の実際の形状自体が正規なものからずれている、すなわち、カメラ２ｆに異物は付着されていないと判定する方が寧ろ妥当である。

【0068】

したがって、このような構成によれば、フロントカメラ２ｆとリアカメラ２ｒのように、重複撮影領域を有さずに道路区画線の同じ部位を時間差で撮影するカメラ２ｆ、２ｒ同士については、遅延時間を考慮した履歴比較を行うことができるので、判定精度を更に向上させることができる。なお、遅延時間ＤＴについては、車速センサによって検出された車速、カメラ２ｆ、２ｒの外部パラメータ（取り付け位置、取り付け角度等）および内部パラメータ（焦点距離等）等に基づいて判断してもよい。

【0069】

上記構成に加えて、更に、本実施形態において、車載カメラシステム１は、図１に示すように、画像認識制御手段としてのフロント側画像認識制御部８ｆおよびリア側画像認識制御部８ｒを有している。これらの画像認識制御部８ｆ、８ｒは、異常判定部７による対応する車載カメラ２ｆ、２ｒについての判定結果を取得するようになっている。そして、画像認識制御部８ｆ、８ｒは、取得された判定結果が異常の発生を示すものである場合には、対応する道路区画線認識部４ｆ、４ｒの認識機能を自動的にオフにするようになっている。

【0070】

なお、画像認識制御部８ｆ、８ｒは、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。

【0071】

このような構成によれば、異常が検知された車載カメラについて無意味な画像処理を行わないようにすることができる。

【0072】

上記構成に加えて、更に、本実施形態において、車載カメラシステム１は、図１に示すように、異常通知手段としての異常通知部９を有している。この異常通知部９は、異常判定部７によって異常が生じていると判定された場合に、該当する車載カメラについての異常の発生を、画像および／または音声の出力によってユーザに通知するようになっている。

【0073】

このような構成によれば、ユーザが異常を確実に認識することができる。

【0074】

（カメラレンズ異常検知方法）
次に、本発明に係るカメラレンズ異常検知方法の第１実施形態として、車載カメラシステム１の動作を、図１０および図１１を参照して説明する。

【0075】

本実施形態においては、まず、図１０のステップ１（ＳＴ１）において、画像取得部３ｆ、３ｒにより、車載カメラ２ｆ、２ｒの撮影画像を取得する。

【0076】

次いで、ステップ２（ＳＴ２）において、道路区画線認識部４ｆ、４ｒにより、ステップ１（ＳＴ１）において取得された撮影画像に基づいた道路区画線の認識を行う。

【0077】

次いで、ステップ３（ＳＴ３）において、信頼度算出部５ｆ、５ｒにより、ステップ２（ＳＴ２）における認識結果の信頼度を算出する。

【0078】

次いで、ステップ４（ＳＴ４）において、信頼度履歴作成部６ｆ、６ｒにより、ステップ３（ＳＴ３）において算出された信頼度を履歴に追加する。

【0079】

次いで、ステップ５（ＳＴ５）において、異常判定部７により、ステップ４（ＳＴ４）において作成された信頼度の履歴に基づいて、レンズの異常の有無を判定する。そして、ステップ５（ＳＴ５）において肯定的な判定結果が得られた場合には、ステップ６（ＳＴ６）に進み、否定的な判定結果が得られた場合には、ステップ１（ＳＴ１）に戻る。

【0080】

次いで、ステップ６（ＳＴ６）において、画像認識制御部８ｆ、８ｒにより、対応する道路区画線認識部４ｆ、４ｒの画像認識機能を自動的にオフにする。

【0081】

次いで、ステップ７（ＳＴ７）において、異常通知部９により、レンズの異常をユーザに通知して処理を終了する。

【0082】

次に、ステップ５（ＳＴ５）の詳細な処理を説明すると、まず、図１１のステップ５１（ＳＴ５１）において、車載カメラ２ｆ、２ｒ毎の信頼度の履歴を比較する。

【0083】

次いで、ステップ５２（ＳＴ５２）において、一方のカメラ側の信頼度が他方のカメラ側の信頼度に対して相対的に低くなっているか否かを判定する。この判定に際しては、相対的に低いとみなすための信頼度の差分の閾値を設定してもよい。そして、ステップ５２（ＳＴ５２）において肯定的な判定結果が得られた場合には、ステップ５３（ＳＴ５３）に進み、否定的な判定結果が得られた場合には、ステップ１（ＳＴ１）に進む。

【0084】

次いで、ステップ５３（ＳＴ５３）において、信頼度が低い状態（継続状態）が一定期間または道路区画線の所定認識回数に達したか否かを判定する。そして、ステップ５３（ＳＴ５３）において肯定的な判定結果が得られた場合には、ステップ６（ＳＴ６）に進み、否定的な判定結果が得られた場合には、ステップ１（ＳＴ１）に進む。

【0085】

〔第２実施形態〕
次に、本発明の第２実施形態について、図１２および図１３を参照して説明する。

【0086】

図１２に示すように、本実施形態における車載カメラシステム１は、フロントカメラ２ｆおよびリアカメラ２ｒに加えて、更に、２台のカメラ２ｒｓ、２ｌｓを備えている。これらのうちの１台２ｒｓは、車両の左側部（例えば、左サイドミラー部等）に車両の左側方の路面を斜め方向から見下ろすような姿勢で取り付けられた車両の左側方を中心とした所定の撮影領域を撮影する左サイドカメラ２ｒｓとされている。また、他の１台２ｌｓは、車両の右側部（例えば、右サイドミラー部等）に車両の右側方の路面を斜め方向から見下ろすような姿勢で取り付けられた車両の右側方を中心とした所定の撮影領域を撮影する右サイドカメラ２ｌｓとされている。

【0087】

そして、本実施形態においては、これら２台のサイドカメラ２ｒｓ、２ｌｓの撮影画像に基づいて認識された道路区画線の信頼度の履歴も、異常判定部７による判定に用いるようになっている。そのための構成として、本実施形態の車載カメラシステム１には、サイドカメラ２ｒｓ、２ｌｓについても、フロント／リアカメラ２ｆ、２ｒと同様に、撮影画像取得部３、道路区画線認識部４、信頼度算出部５および信頼度履歴作成部６が備えられている。

【0088】

異常判定部７の判定に際しては、同一の道路区画線の同一の部位を同時または車両の進行に応じて時間差で撮影可能な車載カメラ同士の信頼度の履歴を比較する。

【0089】

このような車載カメラの組み合わせとしては、図１３に示すように、複数通りの組み合わせが考えられる。例えば、フロントカメラ２ｆの履歴とリアカメラ２ｒの履歴とを比較すれば、道路区画線としての左白線および右白線の信頼度を比較評価した上で、異常の有無を判断することができる。このような態様は、第１実施形態において既に説明した。また、フロントカメラ２ｆまたはリアカメラ２ｒの履歴と左サイドカメラ２ｒｓの履歴とを比較すれば、左白線の信頼度を比較評価した上で、異常の有無を判断することができる。さらに、フロントカメラ２ｆまたはリアカメラ２ｒの履歴と右サイドカメラ２ｌｓの履歴とを比較すれば、右白線の信頼度を比較評価した上で、異常の有無を判断することができる。ただし、サイドカメラ２ｒｓ、２ｌｓ同士については、同一の道路区画線の同一の部位を撮影し得ないので、比較対象にはしない。また、フロント、サイドおよびリアの３台のカメラの信頼度の履歴同士を比較評価してもよい。

【0090】

このような構成によれば、同一の道路区画線の同一の部位に基づく信頼度の履歴同士を比較することができるので、異常判定を高精度に行うことができ、また、判定対象となるカメラを増やすことができる。

【0091】

なお、本発明は、前述した実施の形態に限定される必要はなく、本発明の特徴を損なわない限度において種々変更してもよい。

【符号の説明】

【0092】

１ 車載カメラシステム
２ 車載カメラ
６ 信頼度履歴作成部
７ 異常判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図7】

【図9】

【図10】

【図11】

【図12】

【図13】

【図6】

【図8】

【図14】