特許 7183729 撮影異常診断装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】撮影異常診断装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20221129BHJP

   G06T 7/00 20170101ALI20221129BHJP

   G08G 1/16 20060101ALI20221129BHJP

   H04N 17/00 20060101ALI20221129BHJP

   G01C 21/26 20060101ALN20221129BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 650A

G08G1/16 C

H04N17/00 L

G01C21/26 A

【請求項の数】 1

(21)【出願番号】P 2018220646

(22)【出願日】2018-11-26

(65)【公開番号】P2020086956

(43)【公開日】2020-06-04

【審査請求日】2021-06-14

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(72)【発明者】

【氏名】横田 将尭

(72)【発明者】

【氏名】孫 佳

(72)【発明者】

【氏名】曽田 尚宏

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１４－１０４８５３（ＪＰ，Ａ）

【文献】特開２００７－００４６６９（ＪＰ，Ａ）

【文献】特開２０１８－０２２２０６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２６１３２７（ＵＳ，Ａ１）

【文献】特開２００４－３１０５２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ １７／００

Ｇ０１Ｃ ２１／２６

(57)【特許請求の範囲】

【請求項1】

車載カメラによって撮影された車両の前方又は後方の路面の画像内の区画線の形状を検出する区画線形状検出部と、
加速度センサによって検出された前記車両の横方向の加速度、ヨーレートセンサによって検出された前記車両のヨーレート及び操舵角センサによって検出されたステアリングホイールの操舵角のうちの少なくとも何れか一つのみに基づいて車両が走行している道路の形状を推定する道路形状推定部と、
前記道路の形状と前記区画線の形状とが一致しない前記画像内の領域を該画像中に局所的な歪みが生じている歪み領域であるとして検出する歪み領域検出部と、を備える、撮影異常診断装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影異常診断装置に関する。

【背景技術】

【0002】

近年、多くの車両に、車両の周囲を撮影する車載カメラが設けられている。斯かる車載カメラは、例えば、撮影された画像から検出された道路上の区画線の情報に基づいて、車両が車線内を走行できるようにステアリング操作を補助するレーンキープシステムや、車両が車線に近づいた場合にドライバに警告する車線逸脱警報システム等に用いられる（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－１９６３４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、車載カメラの前に設けられたガラス等の車載カメラ用カバーに局所的な傷や汚れが存在する場合、車載カメラで撮影された画像に局所的な歪みが生じている歪み領域ができる可能性がある。斯かる歪み領域は車外の様子を適切に表せていないため、歪み領域を含む画像の情報を信頼して区画線の推定等を行うと、区画線の推定等に誤差が生じる可能性がある。その結果、レーンキープシステムの適切なステアリング操作、車線逸脱警報システムの適切な警報等が行われなくなる。したがって、車載カメラによって撮影された画像内に歪み領域等の異常が存在するか否かを適切に診断することが必要になる。

【0005】

上記課題に鑑みて、本発明の目的は、車載カメラによって撮影された画像内の歪み領域等の異常を適切に診断することができるようにすることにある。

【課題を解決するための手段】

【0006】

本発明の要旨は以下のとおりである。

【0007】

（１）車載カメラによって撮影された車両の前方又は後方の路面の画像内の区画線の形状を検出する区画線形状検出部と、車載カメラ以外の検出器の出力に基づいて車両が走行している道路の形状を推定する道路形状推定部と、前記道路の形状と前記区画線の形状とが一致しない前記画像内の領域を該画像中に局所的な歪みが生じている歪み領域であるとして検出する歪み領域検出部と、を備える。

【発明の効果】

【0008】

本開示によれば、車載カメラによって撮影された画像内の歪み領域等の異常を適切に診断することができるようになる。

【図面の簡単な説明】

【0009】

【図1】図１は、撮影異常診断装置が実装される車両の構成を概略的に示す図である。

【図2】図２は、ＥＣＵのハードウェア構成図である。

【図3】図３は、撮影異常検出処理に関するＥＣＵの機能ブロック図である。

【図4】図４は、車載カメラによって撮影された画像の例を示す図である。

【図5】図５は、車載カメラによって撮影された画像の例を示す、図４と同様な図である。

【図6】図６は、撮影異常診断処理を示すフローチャートである。

【図7】図７は、区画線形状検出処理を示すフローチャートである。

【図8】図８は、歪み領域検出処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して、一つの実施形態に係る撮影異常診断装置ついて詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

【0011】

＜車両の構成＞
図１は、本実施形態に係る撮影異常診断装置が実装される車両の構成を概略的に示す図である。図１に示したように、車両１は、車載カメラ２、加速度センサ３、ヨーレートセンサ４、ステアリングホイール５、操舵角センサ６、ＧＰＳ受信機７及び電子制御ユニット（ＥＣＵ）８を備える。車載カメラ２、加速度センサ３、ヨーレートセンサ４、ステアリングホイール５、操舵角センサ６、ＧＰＳ受信機７及びＥＣＵ８は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク９を介して互いに通信可能に接続される。

【0012】

車載カメラ２は、車両周囲の所定範囲を撮影してその範囲の画像を生成する。車載カメラ２は、レンズ及び撮像素子を含み、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。

【0013】

本実施形態では、車載カメラ２は、車両１に設けられ、車両１の周囲を撮影する。具体的には、車載カメラ２は、車両１のフロントウィンドウの内側に設けられ、車両１の前方領域を撮影する。例えば、車載カメラ２は車両１のフロントウィンドウの中央上部に設けられる。フロントウィンドウは、車載カメラ２のレンズを保護する車載カメラ用カバーとして機能する。

【0014】

車載カメラ２は、車両１のイグニッションスイッチがオンである間、所定の撮影間隔（例えば１／３０秒～１／１０秒）毎に車両１の前方領域を撮影し、前方領域の画像を生成する。車載カメラ２によって生成された画像は、車載カメラ２から車内ネットワーク９を介してＥＣＵ８に送信される。車載カメラ２によって生成される画像はカラー画像であってもよいし、グレー画像であってもよい。なお、車載カメラ２は車両１の後方領域を撮影するように設けられてもよい。

【0015】

加速度センサ３は、車両１に発生する加速度を検出する。本実施形態では、加速度センサ３は、車両１の前後方向、横方向、上下方向の加速度を検出することができる。ヨーレートセンサ４は、車両１が鉛直軸線回りで回転する角加速度（ヨーレート）を検出する。加速度センサ３及びヨーレートセンサ４は、いずれも任意の位置において車両１のボディに取り付けられている。なお、加速度センサ３とヨーレートセンサ４とは別々のセンサではなく、加速度とヨーレートを検出する一体的な一つのセンサであってもよい。

【0016】

ステアリングホイール５は、車両１の運転席に取り付けられ、ドライバによって回動操作されると車両１の前輪の向きが変化するように構成されている。操舵角センサ６は、ステアリングホイール５の回動角度を検出する。操舵角センサ６は、車両１が直進するような前輪の向きに対応するステアリングホイール５の操舵角をゼロ度とし、このゼロ度のときのステアリングホイール５の操舵角に対する現在のステアリングホイール５の角度を出力する。加速度センサ３、ヨーレートセンサ４及び操舵角センサ６は、共に車内ネットワーク９を介してＥＣＵ８に信号を送信する。

【0017】

ＧＰＳ受信機７は、３個以上のＧＰＳ衛星から信号を受信して、車両１の現在位置（例えば、車両１の緯度及び経度）を検出するための装置である。ＧＰＳ受信機７は、検出された車両１の現在位置情報をＥＣＵ８へ送信する。

【0018】

ＥＣＵ８は、車載カメラ２による撮影に異常を診断する撮影異常診断装置として機能する。加えて、ＥＣＵ８は、車載カメラ２によって撮影された画像に基づいて運転支援処理を行う運転支援装置として機能するように構成されてもよい。運転支援処理としては、例えば、車両１が区画線内を走行できるようにステアリング操作を補助することや、車両１が区画線にドライバに警告すること等が考えられる。或いは、ＥＣＵ８は、車載カメラ２によって撮影された画像に基づいて車両１が完全に又は部分的に自律運転されるように車両１を制御してもよい。

【0019】

図２は、ＥＣＵ６のハードウェア構成図である。図２に示したように、ＥＣＵ６は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１及びメモリ２２は信号線を介してプロセッサ２３に接続されている。

【0020】

通信インターフェース２１は、ＥＣＵ６を車内ネットワーク９に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は車内ネットワーク９を介して車載カメラ２、加速度センサ３、ヨーレートセンサ４、操舵角センサ６及びＧＰＳ受信機７に接続される。そして、通信インターフェース２１は、車載カメラ２から画像を受信し、受信した画像をプロセッサ２３に伝送する。同様に、通信インターフェース２１は、加速度センサ３、ヨーレートセンサ４、操舵角センサ６からそれぞれ車両１の加速度情報、ヨーレート情報及び操舵角情報を受信し、受信した情報をプロセッサ２３に伝送する。

【0021】

メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３によって各種処理が実行されるときに使用される各種データ等を記憶する。例えば、メモリ２２は、車載カメラ２から受信した画像、後述する区画線の形状に関する情報、地図情報等を記憶する。また、メモリ２２は、プロセッサ２３によって各種処理を実行するためのコンピュータプログラムを記憶する。

【0022】

プロセッサ２３は、一つ又は複数のＣＰＵ（Central Processing Unit）及びその周辺回路を有する。プロセッサ２３は、更にＧＰＵ（Graphics Processing Unit）を有していてもよい。プロセッサ２３は、車両１のイグニッションスイッチがオンである間、車載カメラ２から画像を受信する毎に、撮影異常診断処理を実行する。なお、プロセッサ２３は、論理演算ユニット又は数値演算ユニットのような他の演算回路を更に有していてもよい。

【0023】

また、プロセッサ２３は、車載カメラ２によって撮影された画像に基づいて、車両１が自律的に運転されるように車両１を制御する車両制御処理を実行するように構成されてもよい。

【0024】

＜撮影異常検出処理＞
図３は、撮影異常検出処理に関するＥＣＵ８の機能ブロック図である。ＥＣＵ８は、区画線形状検出部３１、道路形状推定部３２及び歪み領域検出部３３を有する。ＥＣＵ６のこれら機能ブロックは、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、これら機能ブロックは、プロセッサ２３に設けられた専用の演算回路であってもよい。

【0025】

区画線形状検出部３１は、車載カメラ２によって撮影された車両１の前方の路面の画像内の区画線の形状を検出する。区画線形状検出部３１には、車載カメラ２によって撮影された画像が所定の撮影間隔毎に入力される。区画線形状検出部３１では、後述する区画線形状検出処理により、入力された各画像に表されている区画線が検出される。そして、区画線形状検出部３１からは、区画線１０２が表されている画像の各領域毎に、画像に表されている区画線の形状が出力される。

【0026】

図４は、車載カメラ２によって撮影された画像の例を示す図である。図４に示した例では、内容を理解し易くするために、撮影された画像１００のうち道路１０１及び道路上の車両１１０のみが表されている。

【0027】

図４に示した例では、画像１００には三つの区画線１０２が表されている。特に、図４に示した例では、画像１００に表されている区画線１０２は全て直線状である。したがって、区画線形状検出部３１は、区画線１０２が表されている画像の各領域について、区画線１０２の形状が直線状である旨を出力する。

【0028】

図５は、車載カメラ２によって撮影された画像の例を示す、図４と同様な図である。特に、図５に示した例では、画像２００は、車両１の周囲の状況が図４に示した画像を撮影した時と同じ状況であるときに撮影されている。したがって、画像２００に表されている区画線２０２は基本的に直線状である。

【0029】

しかしながら、図５に示した例は、車載カメラ２の前方に設けられたフロントウィンドウに傷が存在することにより、画像２００の一部の領域２０５に局所的な歪みが生じている場合を示している。また、この歪み領域２０５は、画像２００に表されている一つの区画線２０２上に位置する。この結果、図５に示した例では、歪み領域２０５において、区画線２０２は湾曲しているように画像２００に表されている。したがって、区画線形状検出部３１は、歪み領域２０５については、画像に表されている区画線２０２が湾曲していること及びこのときの曲率を出力する。加えて、区画線形状検出部３１は、歪み領域２０５以外の領域については、区画線２０２の形状が直線状である旨を出力する。

【0030】

道路形状推定部３２は、車載カメラ２以外の検出器の出力に基づいて車両が走行している道路の形状を推定する。車載カメラ２以外の検出器としては、道路の形状を推定するのに用いることができる様々な検出器が用いられる。具体的には、斯かる検出器としては、例えば、加速度センサ３、ヨーレートセンサ４、操舵角センサ６又はＧＰＳ受信機７が用いられる。なお、これらセンサは単なる例示であり、道路の形状を推定するのに用いることができれば他の検出器が用いられてもよい。

【0031】

検出器として加速度センサ３を用いる場合、道路形状推定部３２は、車両１の横方向の加速度に基づいて、車両１が現在走行している道路の形状を推定する。車両１の横方向の加速度がほぼゼロである場合には、道路形状推定部３２は車両１が現在走行している道路の形状は直線であると推定する。一方、車両１の横方向の加速度がゼロではない場合には、道路形状推定部３２は、車両１が現在走行している道路の形状はカーブであると推定すると共に、加速度の大きさに基づいてカーブの曲率を算出する。また、車両１の横方向の加速度の変化量が一定である場合には、道路形状推定部３２は、車両１が現在走行している道路の形状はクロソイド形状であると推定する。

【0032】

検出器としてヨーレートセンサ４を用いる場合、道路形状推定部３２は、車両１のヨーレートに基づいて、車両１が現在走行している道路の形状を推定する。車両１のヨーレートがほぼゼロである場合には、道路形状推定部３２は車両１が現在走行している道路の形状は直線であると推定する。一方、車両１のヨーレートがゼロではない場合には、道路形状推定部３２は、車両１が現在走行している道路の形状はカーブであると推定すると共に、ヨーレートの大きさに基づいてカーブの曲率を算出する。また、ヨーレートの変化量が一定である場合には、道路形状推定部３２は、車両１が現在走行している道路の形状はクロソイド形状であると推定する。

【0033】

検出器として操舵角センサ６を用いる場合、道路形状推定部３２は、ステアリングホイール５の操舵角に基づいて、車両１が現在走行している道路の形状を推定する。ステアリングホイール５の操舵角がほぼゼロである場合（ステアリングホイール５が直進方向を向いている場合）には、道路形状推定部３２は車両１が現在走行している道路の形状は直線であると推定する。一方、ステアリングホイール５の操舵角がゼロではない場合には、道路形状推定部３２は、車両１が現在走行している道路の形状はカーブであると推定すると共に、操舵角の大きさに基づいてカーブの曲率を算出する。また、操舵角の変化量が一定である場合には、道路形状推定部３２は、車両１が現在走行している道路の形状はクロソイド形状であると推定する。

【0034】

検出器としてＧＰＳ受信機７を用いる場合、道路形状推定部３２は、車両１の現在位置と、メモリ２２に記憶されている地図情報とに基づいて、車両１が現在走行している道路の形状を推定する。

【0035】

なお、道路の形状を推定するのにあたっては、これら検出器のうち一つの検出器のみが用いられてもよいし、複数の検出器が用いられてもよい。複数の検出器を用いる場合には、複数の検出器の検出結果から総合的に道路の形状が推定される。このように複数の検出器を用いることにより、道路の形状の推定精度を高めることができる。

【0036】

歪み領域検出部３３は、道路形状推定部３２によって推定された道路の形状と、区画線形状検出部３１によって検出された区画線の形状とが一致しない画像内の領域を画像中に局所的な歪みが生じている歪み領域であるとして検出する。

【0037】

本実施形態では、歪み領域検出部３３は、区画線形状検出部３１によって過去の画像から検出された区画線の形状と、道路形状推定部３２によって推定された現在の道路形状とを比較する。具体的には、過去の画像の部分毎に異なる時期に撮影された過去の画像から検出された区画線の形状と、現在の道路形状とが比較される。

【0038】

例えば、歪み領域検出部３３は、道路形状推定部３２によって推定された現在の道路形状と、１秒前に撮影された画像の最も下方に位置する部分（図４の部分Ｐ１）に表された区画線の形状とを比較する。加えて、歪み領域検出部３３は、現在の道路形状と、２秒前に撮影された画像の下から２番目に位置する部分（図４の部分Ｐ２）に表された区画線の形状とを比較する。同様にして、歪み領域検出部３３は、現在の道路形状と、３秒前及び４秒前に撮影された画像の下から３番目及び４番目に位置する部分（図４の部分Ｐ２）に表された区画線の形状とを比較する。

【0039】

ここで、車載カメラ２によって撮影された画像内の任意の位置は、車両１が現在走行している位置ではなく、車両１が将来走行する予定の位置を表している。したがって、本実施形態では、歪み領域検出部３３は、過去の画像から検出された、車両１が現在走行している道路における区画線の形状と、現在の道路の形状とを比較していることになる。

【0040】

道路形状推定部３２によって推定された道路の形状と区画線形状検出部３１によって検出された区画線の形状とを比較すると、車載カメラ２によって撮影された画像に局所的な歪みが生じていなければ、両者の形状は一致する。したがって、例えば、直線道路の走行中に車載カメラ２によって図４に示したような画像が撮影された場合には、道路の形状と区画線の形状とは共に直線形状となり一致する。ところが、直線道路の走行中に車載カメラ２によって図５に示したような画像が撮影された場合には、歪み領域２０５に表されている区画線の形状は、道路の形状とは異なったものとなる。したがって、歪み領域検出部３３は、道路の形状と区画線の形状とが一致しない画像内の領域（歪み領域２０５）には局所的な歪みが生じていると判断する。

【0041】

歪み領域検出部３３によって歪み領域が検出された場合には、ＥＣＵ８は、車載カメラ２の画像を用いて行う各種処理に歪み領域内の画像を利用しないようにする。例えば、特許文献１に記載されているように画像の近傍領域に表された区画線の形状に基づいて遠方領域に表された区画線の形状を推定するような場合には、歪み領域に表された画像（区画線）は遠方領域に表された区画線の推定には用いられない。また、画像に表された標識や路面表示の認識を行う場合には、歪み領域検出部３３によって歪み領域が検出されたときには、歪み領域内の画像はこれらの認識には用いられない。また、車載カメラ２の画像を用いて運転支援処理や自動運転を行っている場合には、歪み領域検出部３３によって歪み領域が検出されたときには、運転支援処理や自動運転が停止される。加えて、歪み領域検出部３３によって歪み領域が検出された場合には、ＥＣＵ８は、任意のインターフェースを介してドライバに対して警告を発するように構成されてもよい。

【0042】

本実施形態によれば、このように道路形状推定部３２によって推定された道路と区画線形状検出部３１によって検出された区画線の形状とを比較することにより、画像内の歪み領域等の異常を適切に診断することができるようになる。

【0043】

＜具体的な制御＞
次に、図６～図８を参照して、撮影異常診断処理について説明する。図６は、撮影異常診断処理を示すフローチャートである。図６に示した撮影異常診断処理は、ＥＣＵ８のプロセッサ２３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、車載カメラ２からＥＣＵ８に画像情報が送信される間隔である。

【0044】

まず、ステップＳ１１では、ＥＣＵ８が、車載カメラ２から通信インターフェース２１を介して画像を取得する。同様に、ＥＣＵ８は、各種センサから通信インターフェース２１を介してセンサ出力を取得する。センサ出力としては、例えば、加速度センサ３、ヨーレートセンサ４、操舵角センサ６、ＧＰＳ受信機７のうちの少なくともいずれか一つの出力が含まれる。

【0045】

次いで、ステップＳ１２では、区画線形状検出部３１が、画像に表されている区画線の形状を検出する区画線形状検出処理を実行する。区画線形状検出処理により、各画像に表されている各区画線の形状が検出される。本実施形態では、各画像の下方から上方に向かって区切られた部分毎に、その部分に表された区画線の形状が検出される。検出された各画像の区画線の形状の情報は、将来の撮影異常診断処理に用いるために、メモリ２２に保存される。

【0046】

次いで、ステップＳ１３では、道路形状推定部３２が、車両１が現在走行している道路の形状を推定する。道路形状の推定は、上述したように、加速度センサ３、ヨーレートセンサ４、操舵角センサ６、ＧＰＳ受信機７のうちの少なくともいずれか一つの出力に基づいて行われる。

【0047】

次いで、ステップＳ１４では、歪み領域検出部３３が、画像中に局所的な歪みが生じている歪み領域を検出する歪み領域検出処理を実行する。歪み領域検出処理は、過去の区画線形状検出処理において算出されてメモリ２２に保存されていた過去の画像に表された区画線の形状と、道路形状推定部３２によって推定された道路形状とに基づいて行われる。歪み領域検出処理により、歪み領域の検出が行われると、制御ルーチンが終了せしめられる。

【0048】

図７は、図６のステップＳ１２で行われる区画線形状検出処理を示すフローチャートである。図７に示した区画線形状検出処理は、図６のフローチャートがステップＳ１２に到達する毎に実行される。

【0049】

まず、ステップＳ２１では、区画線形状検出部３１は、車載カメラ２から取得した画像の中のエッジ成分を抽出する。特に、本実施形態では、区画線形状検出部３１は、画像に表された道路内におけるエッジ成分を抽出する。エッジの抽出は公知の様々な手法によって行われる。具体的には、例えば、ラプラシアン法、ソーベル法、キャニー法等によって画像内のエッジ成分が抽出される。これにより、区画線と道路との境界がエッジ成分として抽出される。

【0050】

次いで、ステップＳ２２では、区画線形状検出部３１は、ステップＳ２１で抽出されたエッジ成分について一般化ハフ変換により任意の形状の図形（直線、任意の形状の曲線、等）を検出する。具体的には、任意の形状及び位置の図形について、投票数が一定数以上になった図形が画像内に表れている図形として検出される。

【0051】

次いで、ステップＳ２３では、区画線形状検出部３１は、ステップＳ２２において検出された多数の図形から区画線と道路の境界を表す図形を抽出する。具体的には、例えば、ステップＳ２２において抽出された任意の図形の両側におけるコントラストの比率や輝度の比率が所定値以上である場合や、抽出された一つの図形にほぼ平行にもう一つの同様な図形が抽出されている場合に、その図形は区画線の境界を表す図形であるとして抽出される。

【0052】

その後、ステップＳ２４では、区画線形状検出部３１は、ステップＳ２３において区画線の境界を表すとして抽出された図形に基づいて、区画線の形状が検出される。本実施形態では、区画線の形状の検出は、画像の下方から上方に向かって区切られた各部分毎に行われる。このようにして検出された各画像内に表されている区画線の形状は、画像の撮影時刻と共にメモリ２２に保存される。

【0053】

図８は、図６のステップＳ１４で行われる歪み領域検出処理を示すフローチャートである。図８に示した歪み領域検出処理は、図６のフローチャートがステップＳ１４に到達する毎に実行される。

【0054】

まず、ステップＳ３１では、歪み領域検出部３３は、図６のステップＳ１３において道路形状推定部３２によって推定された現在の道路形状を取得する。次いで、ステップＳ３２では、歪み領域検出部３３は、図６のステップＳ１２において実行された区画線形状検出処理によって検出された区画線の形状を取得する。特に、本実施形態では、歪み領域検出部３３は、過去ｎ秒間に撮影された画像に表された区画線の形状を取得する。

【0055】

次いで、ステップＳ３３では、歪み領域検出部３３は、車両１が現在走行している道路に対応する各画像の部分における区画線の形状を抽出する。歪み領域検出部３３は、例えば、１秒前に撮影された画像の最も下方に位置する部分（図４の部分Ｐ１）に表された区画線の形状と、２秒前に撮影された画像の下から２番目に位置する部分（図４の部分Ｐ２）に表された区画線の形状と、を抽出する。同様に、歪み領域検出部３３は、ｎ秒前に撮影された画像の下からｎ番目に位置する部分に表された区画線の形状を抽出する。

【0056】

なお、撮影からの時間と画像内の位置との関係は、車両１の速度や、車両１の走行している道路の傾斜等によって調整される。具体的には、撮影からの時間と画像内の位置との関係は、画像に表された道路の各部分と、車両１が現在走行している道路とが対応するように調整される。したがって、車両１の速度が速い場合には、撮影からの時間が相対的に短くなるように調整される。

【0057】

次いで、ステップＳ３４では、歪み領域検出部３３は、ステップＳ３１で抽出された現在の道路の形状と、ステップＳ３２において抽出された対応する区画線の形状とがほぼ一致するか否かを判定する。具体的には、例えば、現在の道路の形状における曲率と区画線の形状における曲率との比が所定の閾値以下である場合には、両者はほぼ一致すると判定される。

【0058】

ステップＳ３４において、現在の道路の形状と区画線の形状とが全ての画像において一致すると判定された場合には、制御ルーチンが終了せしめられる。一方、ステップＳ３４において、現在の道路の形状と区画線の形状とが一部の画像において一致しないと判定された場合には、ステップＳ３５へと進む。

【0059】

ステップＳ３５では、歪み領域検出部３３は、区画線の形状が現在の道路の形状と一致しない画像において、対象となる区画線が表されていた領域に、局所的な歪みが生じていると判断する。例えば、ステップＳ３４において、２秒前に撮影された画像の下から２番目に位置する部分（図４の部分Ｐ２）に表された区画線の形状と道路の形状とが一致しないと判定された場合には、ステップＳ３５において歪み領域検出部３３は画像の下から２番目に位置する部分において区画線が表された領域に局所的な歪みが生じていると判定する。

【0060】

＜効果＞
上記実施形態によれば、車載カメラ２によって撮影された画像に表された区画線のみならず、車載カメラ２以外の検出器の出力に基づいて推定された車両１が走行している道路の形状に基づいて、歪み領域が検出される。したがって、車載カメラによって撮影された画像内の歪み領域等の異常を適切に診断することができる。

【0061】

＜変形例＞
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。

【0062】

例えば、上記実施形態では、区画線形状検出部３１は、直線のみならず、任意の形状の図形を検出するように構成されている。これに対して、区画線形状検出部３１は、直線のみを検出するように構成されてもよい。この場合、車両１が直線道路を走行している場合にのみ異常診断が行われ、車両１がカーブを走行している場合には異常診断は行われない。また、この場合、区画線形状検出部３１は、一般化ハフ変換ではなく、ハフ変換によりエッジ成分について直線を検出することになるため、区画線形状検出部３１における演算負荷を低く抑えることができる。

【0063】

また、上記実施形態では、区画線形状検出部３１は、車載カメラ２から画像が送信されてくる毎に区画線の形状を検出している。しかしながら、例えば、上述したように区画線形状検出部３１が直線のみを検出するように構成されている場合には、車載カメラ２によって撮影された全ての画像を一時的にメモリ２２に保存すると共に、道路形状推定部３２によって車両１が現在走行している道路の形状が直線である場合にのみ、その直前数秒間の画像について区画線の形状の検出を行うようにしてもよい。この場合、車載カメラ２から送信される全ての画像について区画線形状の検出処理を行う必要がなくなるため、区画線形状検出部３１における演算負荷を低く抑えることができる。

【0064】

加えて、上記実施形態では、歪み領域検出部３３は、道路形状推定部によって推定された現在の道路形状と、過去の画像に表された区画線の形状とを比較している。しかしながら、歪み領域検出部３３は、道路形状推定部によって推定された過去の道路形状と、過去の画像に表された区画線の形状とを比較してもよい。ただし、この場合でも、歪み領域検出部３３は、過去の画像から検出された、車両１が過去の或る時点に走行していた道路における区画線の形状と、上記過去の或る時点に走行していた道路の形状とを比較することが必要である。

【0065】

また、上記実施形態では、車載カメラ２は車両１の前方領域を撮影しており、区画線形状検出部３１は車両１の前方の路面の画像内の区画線の形状を検出する。しかしながら、車載カメラ２は車両１の後方領域を撮影してもよく、この場合、区画線形状検出部３１は車両１の後方の路面の画像内の区画線の形状を検出する。

【0066】

さらに、上記実施形態では、歪み領域検出部３３は、道路形状推定部によって推定された道路形状と、過去の画像に表された区画線の形状とを比較している。しかしながら、歪み領域検出部３３は、道路形状推定部によって推定された道路形状に対応する形状の仮想的な区画線を各画像上に基準線として投影し、この投影された基準線と画像内に表されている区画線との距離が所定の閾値以上離れている場合に、その領域には局所的な歪みが生じていると判断してもよい。

【符号の説明】

【0067】

１ 車両
２ 車載カメラ
３ 加速度センサ
４ ヨーレートセンサ
６ 操舵角センサ
７ ＧＰＳ受信機
８ 電子制御ユニット（ＥＣＵ）
３１ 区画線形状検出部
３２ 道路形状推定部
３３ 歪み領域検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】