特許 5959245 レーンマーク検出装置およびレーンマークの信頼度算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5959245

(24)【登録日】2016年7月1日

(45)【発行日】2016年8月2日

(54)【発明の名称】レーンマーク検出装置およびレーンマークの信頼度算出方法

(51)【国際特許分類】

   G06T 7/60 20060101AFI20160719BHJP

   G08G 1/16 20060101ALI20160719BHJP

【ＦＩ】

   G06T7/60 200J

   G08G1/16 C

【請求項の数】2

【全頁数】14

(21)【出願番号】特願2012-57155(P2012-57155)

(22)【出願日】2012年3月14日

(65)【公開番号】特開2013-191040(P2013-191040A)

(43)【公開日】2013年9月26日

【審査請求日】2014年9月26日

【前置審査】

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】橋本 真也

(72)【発明者】

【氏名】渡辺 隆行

(72)【発明者】

【氏名】棟方 康介

(72)【発明者】

【氏名】酒井 重之

(72)【発明者】

【氏名】大場 裕樹

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２０１１−１８６７２２（ＪＰ，Ａ）

【文献】 特開平０４−２９９７９９（ＪＰ，Ａ）

【文献】 特開平０５−３１４３９６（ＪＰ，Ａ）

【文献】 特開２００３−３３７９５０（ＪＰ，Ａ）

【文献】 特開平１１−０７０８８４（ＪＰ，Ａ）

【文献】 特開平０７−２４４７１７（ＪＰ，Ａ）

【文献】 特開２００７−１７９３８６（ＪＰ，Ａ）

【文献】 特開２０１１−０６５３３８（ＪＰ，Ａ）

【文献】 特開平０８−０８７７００（ＪＰ，Ａ）

【文献】 特開平０８−２１９７８６（ＪＰ，Ａ）

【文献】 特開平０６−２１５２９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

撮像装置より入力される撮影画像に写っている被写体がレーンマークの形状をしているか否かに関する形状の評価値を算出する形状評価値算出部と、
上記撮影画像に写っている被写体が上記撮像装置からどの程度の距離に存在するかに関する距離の評価値を算出する距離評価値算出部と、
上記形状の評価値および上記距離の評価値に基づいて、上記被写体がレーンマークであるか否かの信頼度を算出する信頼度算出部と、
過去に検出されたレーンマークの位置から今回のレーンマークの位置を推定するレーンマーク位置推定部と、
上記信頼度算出部により算出された信頼度に基づいて、上記撮影画像に写っている被写体の中からレーンマーク候補を抽出するレーンマーク候補抽出部と、
上記レーンマーク位置推定部により推定されたレーンマークの位置と、上記レーンマーク候補抽出部により抽出されたレーンマーク候補の位置と、上記信頼度算出部により上記レーンマーク候補について算出された信頼度とに基づいて、上記推定されたレーンマークの位置または上記レーンマーク候補の位置を補正し、当該補正した位置をレーンマークの位置として検出するレーンマーク検出部と、
上記撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる水平部分をスライスとして抽出し、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする線分抽出部とを備え、
上記距離評価値算出部は、上記線分抽出部によってグルーピングされたグループ内での複数のスライスの数に関する評価値を算出するスライス数評価値算出部と、
上記撮影画像をＸ軸方向およびＹ軸方向の２次元平面とし、上記撮像装置から上記被写体のエッジまでのＸ軸方向の距離の評価値を算出するＸ軸方向距離評価値算出部と、
上記撮像装置から上記被写体のエッジまでのＹ軸方向の距離の評価値を算出するＹ軸方向距離評価値算出部と
を備えたことを特徴とするレーンマーク検出装置。

【請求項2】

レーンマーク検出装置の線分抽出部が、撮像装置より入力される撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる水平部分をスライスとして抽出し、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする第１のステップと、
上記レーンマーク検出装置の形状評価値算出部が、上記撮影画像に写っている被写体がレーンマークの形状をしているか否かに関する形状の評価値を算出する第２のステップと、
上記レーンマーク検出装置の距離評価値算出部が、上記撮影画像に写っている被写体が上記撮像装置からどの程度の距離に存在するかに関する距離の評価値を算出する第３のステップと、
上記レーンマーク検出装置の信頼度算出部が、上記形状の評価値および上記距離の評価値に基づいて、上記被写体がレーンマークであるか否かの信頼度を算出する第４のステップとを有し、
上記第３のステップにおいて、上記距離評価値算出部は、上記線分抽出部によってグルーピングされたグループ内での複数のスライスの数に関する評価値を算出し、
上記撮影画像をＸ軸方向およびＹ軸方向の２次元平面とし、上記撮像装置から上記被写体のエッジまでのＸ軸方向の距離の評価値を算出し、
上記撮像装置から上記被写体のエッジまでのＹ軸方向の距離の評価値を算出する
ことを特徴とするレーンマークの信頼度算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レーンマーク検出装置およびレーンマークの信頼度算出方法に関し、特に、カメラにより撮影された画像の処理によって路上のレーンマークを検出する装置に用いて好適なものである。

【背景技術】

【0002】

従来、カメラにより撮影された画像の処理によって路上のレーンマーク（車線境界線）を検出するレーンマーク検出装置およびこれを用いた車線逸脱警報装置が提供されている。この種のレーンマーク検出装置では一般的に、撮影画像の中から画像処理によってレーンマーク候補を抽出し、抽出したレーンマーク候補の中から信頼度が高いものをレーンマークとして検出するようになされている（例えば、特許文献１〜４参照）。

【0003】

特許文献１に記載の技術では、画像から抽出した±エッジ点（レーンの両側に持つ符号の異なるエッジ点）より成る直線が平行で、直線の傾きが所定範囲内である場合に、白線検出成功と判断している。特許文献２に記載の技術では、エッジ画像から抽出した縦エッジの連続長さが破線レーンマークを構成する複数の白線部分の長さに相当する範囲内であって、連続した横エッジと繋がっている場合に、破線レーンマークであると判断している。

【0004】

特許文献３に記載の技術では、白線候補点の数、白線候補点を検出する際に用いたエッジ画像の極大値および極小値の強度、白線候補周囲の輝度のコントラストなどから確信度を算出し、確信度が高いものを白線として検出している。特許文献４に記載の技術では、撮影した画像から認識したレーンマークに基づいて画像を複数のエリアに分割し、分割されたエリア毎にレーンマークの信頼度を算出し、エリア別信頼度情報を出力するようにしている。

【0005】

以上のようなレーンマーク検出装置を用いた車線逸脱警報装置では、レーンマーク検出装置により検出されたレーンマークを跨いで車両が車線から逸脱するおそれがある場合に、警報を発するようになされている。従来、この警報を適切に行うために、レーンマークを確実かつ正確に検出することが求められている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平７−７８２３４号公報

【特許文献2】特開２００４−３２６２１４号公報

【特許文献3】特開２００５−１８１４８号公報

【特許文献4】特開２０１１−７３５２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１〜３に記載の技術では、撮影画像内から抽出した被写体がレーンマークの形状をしているか否か、周囲との輝度のコントラストが大きいか否かを判定しているため、形状やコントラストに関する信頼度は高くなる。これにより、形状やコントラストに関して信頼度が高い部分を画像内からレーンマークとして検出することが可能である。

【0008】

しかしながら、特にカメラからの撮影距離（被写界距離）が長くなる画像エリアでは、画像内に写っているレーンマークの先端が路面のノイズと連結したり、レーンマークの一部がボケて周囲の風景と連結したりして、レーンマークの一部が変形していることがある。この場合、形状やコントラストに関する信頼度が高いためにレーンマークとして検出はされるものの、一部が変形しているために検出位置の精度が低下してしまう。形状等の信頼度は高いが検出位置の精度が低いレーンマークは、誤警報の原因になりやすいという問題があった。

【0009】

なお、上記特許文献４に記載の技術では、撮影画像を複数のエリアに分割し、分割されたエリア毎にレーンマークの信頼度を算出している。そのため、被写界距離が長いエリアと、被写界距離が短いエリアとで、レーンマークの信頼度を変えることが可能である。しかしながら、同じエリア内では同じ信頼度になるため、同じエリア内に写っている画像については被写界距離の影響を考慮することができない。

【0010】

仮に、特許文献４に記載の技術を用いて信頼度の精度を上げるためには、分割するエリアの数を多くしなければならなくなる。しかしながら、エリアの数を多くすると、信頼度の計算が煩雑となり、計算負荷が大きくなってしまうという問題が生じる。また、分割したエリアで信頼度を区分すると、エリアの境界線付近で不具合が生じやすくなる。すなわち、境界線を跨いでレーンマークが写っていると、同じレーンマークであっても、どちらのエリアに写っている部分かによって信頼度が大きく変わってしまうという問題が生じる。

【0011】

本発明は、このような問題を解決するために成されたものであり、計算負荷を大きくすることなく、レーンマークの位置精度も考慮した信頼度を算出し、車線逸脱の誤警報を抑制できるようにすることを目的とする。

【課題を解決するための手段】

【0012】

上記した課題を解決するために、本発明では、撮影画像に写っている被写体がレーンマークの形状をしているか否かに関する形状の評価値を算出するとともに、撮像装置からどの程度の距離に存在するかに関する距離の評価値を算出し、形状の評価値および距離の評価値に基づいて、被写体がレーンマークであるか否かの信頼度を算出するようにしている。距離の評価値を算出するに際して、本発明では、撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる水平部分をスライスとして抽出し、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。そして、グルーピングされたグループ内での複数のスライスの数に関する評価値を算出する。また、撮影画像をＸ軸方向およびＹ軸方向の２次元平面とし、撮像装置から被写体のエッジまでのＸ軸方向の距離の評価値を算出し、撮像装置から被写体のエッジまでのＹ軸方向の距離の評価値を算出するようにしている。

【0013】

さらに、本発明では、上述のようにした算出した信頼度に基づいてレーンマーク候補を抽出し、当該抽出したレーンマーク候補の位置と、過去に検出されたレーンマークの位置から推定された今回のレーンマークの位置と、レーンマーク候補について算出された信頼度とに基づいて、レーンマークの推定位置またはレーンマーク候補の位置を補正し、当該補正位置をレーンマークの位置として検出するようにしている。

【発明の効果】

【0014】

上記のように構成した本発明によれば、レーンマークの形状に関する評価値に加え、撮像装置からレーンマークまでの距離に関する評価値に基づいて信頼度が算出されるので、レーンマークの検出位置精度に影響を与える要因となる被写界距離に応じた信頼度を算出することができる。しかも、本発明では、撮影画像を領域分割して領域毎に信頼度を変える方式ではなく、レーンマークの被写界距離をダイレクトに評価する方式なので、信頼度の計算負荷が小さくて済む。このように、本発明によれば、計算負荷を大きくすることなく、レーンマークの位置精度も考慮した信頼度を算出することができる。

【0015】

また、本発明によれば、上述のようにレーンマークの位置精度を考慮して算出された信頼度に基づいてレーンマーク候補が抽出されるだけでなく、レーンマークの推定位置が、レーンマーク候補の位置およびその信頼度との関係を考慮してより適正な位置に補正されることとなる。あるいは、レーンマーク候補の位置が、レーンマークの推定位置およびレーンマーク候補の信頼度との関係を考慮してより適正な位置に補正されることとなる。そして、補正された位置でレーンマークが検出されることとなるので、より適正な位置でレーンマークを検出することができ、車線逸脱の誤警報を抑制することができる。

【図面の簡単な説明】

【0016】

【図1】本実施形態によるレーンマーク検出装置の機能構成例を示すブロック図である。

【図2】本実施形態によるレーンマーク候補抽出部の機能構成例を示すブロック図である。

【図3】本実施形態によるレーンマーク位置推定部の動作を説明するための図である。

【図4】本実施形態のレーンマーク候補抽出部により行われるスライスの抽出処理を説明するための図である。

【図5】本実施形態のレーンマーク候補抽出部により行われるスライスのグルーピング処理を説明するための図である。

【図6】本実施形態のレーンマーク候補抽出部により行われる線分の抽出処理を説明するための図である。

【図7】本実施形態の縦横比評価値算出部により算出される縦横比評価値を説明するための図である。

【図8】本実施形態のＸ軸方向距離評価値算出部により算出されるＸ軸方向距離評価値を説明するための図である。

【図9】本実施形態のＹ軸方向距離評価値算出部により算出されるＹ軸方向距離評価値を説明するための図である。

【図10】本実施形態のレーンマーク検出装置を適用した場合の効果を示す図である。

【図11】本実施形態の変形例に係るレーンマーク検出装置を適用した場合の効果を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるレーンマーク検出装置１００の機能構成例を示すブロック図である。図１に示すように、本実施形態のレーンマーク検出装置１００は、カメラ等の撮像装置２００に接続されている。撮像装置２００は、例えば、車両の後方に設置されたリアカメラである。

【0018】

レーンマーク検出装置１００は、その機能構成として、レーンマーク候補抽出部１、レーンマーク検出部２およびレーンマーク位置推定部３を備えている。なお、これらの各機能ブロック１〜３は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、上記各機能ブロック１〜３は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。

【0019】

図２は、本実施形態によるレーンマーク候補抽出部１の機能構成例を示すブロック図である。図２に示すように、本実施形態のレーンマーク候補抽出部１は、
その機能構成として、線分抽出部１０、形状評価値算出部１１、距離評価値算出部１２および信頼度算出部１３を備えている。また、形状評価値算出部１１は、その更に具体的な機能構成として、直線性評価値算出部１１１、平行性評価値算出部１１２および縦横比評価値算出部１１３を備えている。また、距離評価値算出部１２は、その更に具体的な機能構成として、スライス数評価値算出部１２１、Ｘ軸方向距離評価値算出部１２２およびＹ軸方向距離評価値算出部１２３を備えている。

【0020】

図１において、レーンマーク候補抽出部１は、撮像装置２００より入力される撮影画像内からレーンマーク候補を抽出する。レーンマーク候補とは、撮影画像内に写っている被写体の輝度の違いや形状等をもとに、レーンマークの可能性がある部分として特定されるものである。なお、レーンマーク候補の抽出処理に関する詳細は後述する。

【0021】

レーンマーク検出部２は、撮影画像内に検索範囲を設定し、設定した検索範囲の中にあるレーンマーク候補からレーンマークを検出する。レーンマークを検出する際に、レーンマーク検出部２は、レーンマーク位置推定部３により推定されたレーンマークの位置と、レーンマーク候補抽出部１により抽出されたレーンマーク候補の位置と、レーンマーク候補抽出部１によりレーンマーク候補について算出された信頼度とに基づいて、レーンマークの推定位置を補正し、当該補正した位置をレーンマークの位置として検出する。なお、このレーンマーク検出部２によるレーンマーク検出処理についても、その詳細は後述する。

【0022】

レーンマーク位置推定部３は、レーンマーク検出部２により過去に検出されたレーンマークの位置から今回のレーンマークの位置を推定する。本実施形態において、レーンマーク位置推定部３は、レーンマーク検出部２による過去のレーンマークの検出結果に基づいて、レーンマークの横方向に対する単位時間当たりの移動量（Ｙ軸方向の移動速度）を算出する。そして、当該算出したレーンマークの単位時間当たりの移動量と、レーンマーク検出部２により検出された過去のレーンマークの位置とに基づいて、次の単位時間後におけるレーンマーク位置を推定する。

【0023】

図３は、本実施形態によるレーンマーク位置推定部３の動作の概略を説明するための図である。図３（ａ）は、ある時間ｔにおいて撮影画像内から検出されたレーンマークの位置を示す。時間ｔにおける車両中心から左レーンマークまでの距離をＤ_Ｌｔ、車両中心から右レーンマークまでの距離をＤ_Ｒｔとする。本実施形態では、レーンマークの位置を、車両中心からの距離で表すものとする。

【0024】

図３（ｂ）は、次の単位時間後における時間ｔ＋ｄ（ｄ：単位時間）において撮影画像内から検出されたレーンマークの位置（車両中心からの距離）を示す。時間ｔ＋ｄにおける車両中心から左レーンマークまでの距離をＤ_Ｌｔ＋ｄ、車両中心から右レーンマークまでの距離をＤ_Ｒｔ＋ｄとする。図３（ｃ）は、更に次の単位時間後における時間ｔ＋２ｄにおいて撮影画像内から検出されるレーンマークの位置を示す。

【0025】

レーンマーク位置推定部３は、時間ｔ＋２ｄにおいてレーンマークを検出する際に、レーンマーク検出部２により時間ｔにおいて検出されたレーンマークの位置Ｄ_Ｌｔ，Ｄ_Ｒｔと、時間ｔ＋ｄにおいて検出されたレーンマークの位置Ｄ_Ｌｔ＋ｄ，Ｄ_Ｒｔ＋ｄとに基づいて、レーンマークの横方向に対する単位時間当たりの移動量を算出する。この場合、左レーンマークの単位時間当たりの移動量は、車両が左レーンマークに近づく方向に（Ｄ_Ｌｔ−Ｄ_Ｌｔ＋ｄ）／｛（ｔ＋ｄ）−ｔ｝である。一方、右レーンマークの単位時間当たりの移動量は、車両が右レーンマークから遠ざかる方向に（Ｄ_Ｒｔ＋ｄ−Ｄ_Ｒｔ）／｛（ｔ＋ｄ）−ｔ｝である。

【0026】

レーンマーク位置推定部３は、レーンマーク検出部２により時間ｔ＋ｄにおいて検出されたレーンマークの位置Ｄ_Ｌｔ＋ｄ，Ｄ_Ｒｔ＋ｄと、時間ｔ＋２ｄにおいて算出されたレーンマークの単位時間当たりの移動量（Ｄ_Ｌｔ−Ｄ_Ｌｔ＋ｄ）／｛（ｔ＋ｄ）−ｔ｝，（Ｄ_Ｒｔ＋ｄ−Ｄ_Ｒｔ）／｛（ｔ＋ｄ）−ｔ｝とに基づいて、時間ｔ＋２ｄにおけるレーンマーク位置を推定する。

【0027】

具体的には、時間ｔ＋ｄにおいて検出された左レーンマークの位置Ｄ_Ｌｔ＋ｄから、左レーンマークの単位時間当たりの移動距離（Ｄ_Ｌｔ−Ｄ_Ｌｔ＋ｄ）／｛（ｔ＋ｄ）−ｔ｝×ｄを減算することにより得られる位置を、時間ｔ＋２ｄにおける左レーンマークの推定位置とする。また、時間ｔ＋ｄにおいて検出された右レーンマークの位置Ｄ_Ｒｔ＋ｄに、右レーンマークの単位時間当たりの移動距離（Ｄ_Ｒｔ＋ｄ−Ｄ_Ｒｔ）／｛（ｔ＋ｄ）−ｔ｝×ｄを加算することにより得られる位置を、時間ｔ＋２ｄにおける右レーンマークの推定位置とする。図３（ｃ）において、２１_Ｌが左レーンマークの推定位置、２１_Ｒが右レーンマークの推定位置である。

【0028】

以下に、図２に示したレーンマーク候補抽出部１の機能構成を具体的に説明していく。まず、線分抽出部１０は、撮像装置２００より入力された撮影画像から、グレースケールの輝度画像を生成する。そして、線分抽出部１０は、図４に示すように、輝度画像を水平方向にスキャンして、閾値以上の輝度が一定間隔続く水平部分をラインとして取り出す。これを撮影画像の全体に対して行う。なお、取り出したラインの１つ１つを「スライス」という。

【0029】

次に、線分抽出部１０は、図５に示すように、取り出した各スライスに対して、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。図５に示す例では、撮影画像内からスライスの３つのグループ１〜３が抽出されている。

【0030】

さらに、線分抽出部１０は、図６に示すように、各グループ１〜３のスライスを３次元座標の路面（Ｚ＝０）に投影した後、各スライスの中点から、最小２乗法でレーンマーク候補となる線分の直線式Ｙ＝ａＸ＋ｂ（Ｚ＝０）を抽出する。ここで、ａは線分の傾き、ｂは線分のＹ切片である。なお、３次元座標の路面への投影とは、撮像装置２００より入力した撮影画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。３次元座標の原点は、車両中心の位置である。また、Ｘ軸において車両の前方がプラス、Ｙ軸において車両の左側がプラスで右側がマイナスである。

【0031】

スライスのグループ１から抽出される線分の直線式はＹ＝ａ１Ｘ＋ｂ１、グループ２から抽出される線分の直線式はＹ＝ａ２Ｘ＋ｂ２、グループ３から抽出される線分の直線式はＹ＝ａ３Ｘ＋ｂ３である。

【0032】

ここで、線分抽出部１０は、以上のように各グループ１〜３について算出した線分の直線式のうち、傾きａおよびＹ切片ｂの値がある範囲内に入る複数の直線式がある場合は、それらの直線式に該当するグループを１つにまとめる。図６の例では、グループ２とグループ３を１つのグループにまとめている。そして、線分抽出部１０は、１つにまとめたグループについて、その中に含まれる各スライスの情報から１本の線分を再度抽出する。その結果、まとめた線分の直線式はＹ＝ａ４Ｘ＋ｂ４となる。

【0033】

線分抽出部１０は、各スライスの中点から線分を抽出したのと同様に、各スライスの左端および右端についても最小２乗法により線分をそれぞれ抽出する。これにより、スライスの中点から抽出した線分と平行な線分を両側に引き、スライスの幅を算出する。図６の例では、グループ１の線分Ｙ＝ａ１Ｘ＋ｂ１についてスライス幅を算出するとともに、グループ２，３をまとめた１つのグループの線分Ｙ＝ａ４Ｘ＋ｂ４についてスライス幅を算出する。

【0034】

形状評価値算出部１１、距離評価値算出部１２および信頼度算出部１３は、以上のようにして線分抽出部１０により抽出された各線分について、レーンマークとしての確からしさを示す信頼度を算出する。信頼度の算出に際して、形状評価値算出部１１は、撮像装置２００より入力される撮影画像に写っている被写体（線分抽出部１０によりレーンマーク候補として抽出された線分）がレーンマークの形状をしているか否かに関する形状評価値を算出する。具体的には、直線性評価値算出部１１１、平行性評価値算出部１１２および縦横比評価値算出部１１３により、３つの観点から形状評価値を算出する。

【0035】

直線性評価値算出部１１１は、線分抽出部１０により抽出された線分の直線性に関する評価値を算出する。具体的には、図６のように求めた線分の直線式Ｙ＝ａＸ＋ｂと各スライスの中点とのずれの大きさから線分の直線性を評価する。その直線性評価値MatchingValueは、例えば以下の算出式で求められ、０．０〜１．０の何れかの値をとる。

【0036】

MatchingValue＝1.0−Diffrence／MaxDiffrence
ただし、
Diffrence：直線式と各スライスの中点との距離の平均値
MaxDiffrence：距離誤差の閾値
平行性評価値算出部１１２は、線分抽出部１０により抽出された線分の両側のエッジの平行性に関する評価値を算出する。具体的には、図６に示したように各スライスの左端および右端から最小２乗法により抽出した２本の線分の平行性を評価する。その平行性評価値EdgeMatchValueは、例えば以下の算出式で求められ、これも０．０〜１．０の何れかの値をとる。

【0037】

EdgeMatchValue＝EdgeDiffrence／MaxEdgeDiffrence
ただし、
EdgeDiffrence：２本の線分の傾きの差
MaxEdgeDiffrence：各スライスの左端および右端の差の最大値
縦横比評価値算出部１１３は、線分抽出部１０により抽出された線分の縦方向の長さと横方向の長さとの比に関する評価値を算出する。具体的には、図７に示すように、抽出された線分の縦方向（Ｘ軸方向）の上端から下端までの長さと、横方向（Ｙ軸方向）の左端から右端までの長さとの比を評価する。その縦横比評価値AspectMatchValueは、例えば以下の算出式で求められ、これも０．０〜１．０の何れかの値をとる。

【0038】

AspectMatchValue＝（AspectRato−MinAspectRatio）／（MaxAspectRatio−MinAspectRatio）−1.0
ただし、
AspectRato：線分の縦横比
MaxAspectRatio：撮影画像内から抽出された各線分に関する縦横比の最大値
MinAspectRatio：撮影画像内から抽出された各線分に関する縦横比の最小値
形状評価値算出部１１は、直線性評価値算出部１１１、平行性評価値算出部１１２および縦横比評価値算出部１１３により算出された３つの観点の評価値を用いて、以下の算出式により形状評価値を算出する。

【0039】

形状評価値＝（直線性評価値＋平行性評価値＋縦横比評価値）／３
距離評価値算出部１２は、撮像装置２００より入力される撮影画像に写っている被写体（線分抽出部１０によりレーンマーク候補として抽出された線分）が撮像装置２００からどの程度の距離に存在するかに関する距離評価値を算出する。具体的には、スライス数評価値算出部１２１、Ｘ軸方向距離評価値算出部１２２およびＹ軸方向距離評価値算出部１２３により、３つの観点から距離評価値を算出する。

【0040】

スライス数評価値算出部１２１は、線分に含まれるスライスの数に関する評価値を算出する。具体的には、スライス数評価値算出部１２１は、例えば以下の算出式でスライス数評価値SliceNumMatchValueを算出する。このスライス数評価値SliceNumMatchValueも、０．０〜１．０の何れかの値をとる。

【0041】

SliceNumMatchValue＝SliceNum／MaxSliceNum×100
ただし、
SliceNum：スライス数
MaxSliceNum：撮影画像内から抽出された各線分に関するスライス数の最大値
Ｘ軸方向距離評価値算出部１２２は、図８に示すように、撮像装置２００から線分のエッジまでのＸ軸方向の距離の評価値を算出する。具体的には、Ｘ軸方向距離評価値算出部１２２は、例えば以下の算出式でＸ軸方向距離評価値DistXMatchValueを算出する。このＸ軸方向距離評価値DistXMatchValueも、０．０〜１．０の何れかの値をとる。

【0042】

DistXMatchValue＝（MaxDistX−DistX）／MaxDistX
ただし、
DistX ：撮像装置２００から線分のエッジまでのＸ軸方向の距離
MaxDistX：撮像装置２００から線分のエッジまでのＸ軸方向の距離の限界値
Ｙ軸方向距離評価値算出部１２３は、図９に示すように、撮像装置２００から線分のエッジまでのＹ軸方向の距離の評価値を算出する。具体的には、Ｙ軸方向距離評価値算出部１２３は、例えば以下の算出式でＹ軸方向距離評価値DistYMatchValueを算出する。このＹ軸方向距離評価値DistYMatchValueも、０．０〜１．０の何れかの値をとる。

【0043】

DistYMatchValue＝（MaxDistY−DistY）／MaxDistY
ただし、
DistY ：撮像装置２００から線分のエッジまでのＹ軸方向の距離
MaxDistY：撮像装置２００から線分のエッジまでのＹ軸方向の距離の限界値
距離評価値算出部１２は、スライス数評価値算出部１２１、Ｘ軸方向距離評価値算出部１２２およびＹ軸方向距離評価値算出部１２３により算出された３つの観点の評価値を用いて、以下の算出式により距離評価値を算出する。

【0044】

距離評価値＝（スライス数評価値＋Ｘ軸方向距離評価値＋Ｙ軸方向距離評価値）／３
信頼度算出部１３は、形状評価値算出部１１により算出された形状評価値と、距離評価値算出部１２により算出された距離評価値とに基づいて、線分抽出部１０により抽出された線分がレーンマークであるか否かの信頼度を算出する。具体的には、信頼度算出部１３は、形状評価値×距離評価値なる算出式によってレーンマークの信頼度を算出する。

【0045】

図２に示すレーンマーク候補抽出部１は、線分抽出部１０によりレーンマーク候補として抽出された各線分と、各線分について信頼度算出部１３により算出された信頼度とをレーンマーク検出部２に出力する。レーンマーク検出部２は、上述したように、レーンマーク位置推定部３により推定されたレーンマークの位置と、レーンマーク候補抽出部１より出力されたレーンマーク候補の位置および信頼度とに基づいて、レーンマークの推定位置を補正し、当該補正した位置をレーンマークの位置として検出する。

【0046】

例えば、レーンマーク候補抽出部１の信頼度算出部１３により算出された信頼度を、以下に示すようなカルマンフィルタの算出式に対してカルマンゲインＫとして与える。

【0047】

[レーンマークの補正推定位置]＝[レーンマークの推定位置]＋Ｋ＊[レーンマーク候補の実測位置]
そして、この算出式によって求められる補正推定位置を、レーンマークの位置として検出する。

【0048】

このようなカルマンフィルタの算出式において、信頼度算出部１３により算出される信頼度をカルマンゲインＫとして用いた場合、信頼度が低くなるほど、レーンマーク候補抽出部１により抽出されるレーンマーク候補の実測位置がレーンマークの検出位置に対して与える影響度は小さくなっていく。その結果、信頼度が低い場合には、レーンマーク候補の実測位置よりもレーンマークの推定位置が優先された状態で、レーンマークの位置が検出される。この場合の信頼度は、レーンマークの検出位置精度に影響を与える被写界距離の評価値を含めて算出されているため、レーンマークの検出位置精度に悪影響を与えるような信頼度の低いレーンマーク候補の実測位置を極力使わない状態で、より的確なレーンマーク位置を検出することができるようになる。

【0049】

以上詳しく説明したように、本実施形態では、撮影画像に写っている被写体がレーンマークの形状をしているか否かに関する形状評価値を形状評価値算出部１１にて算出するとともに、被写界距離に関する距離評価値を距離評価値算出部１２にて算出し、信頼度算出部１３が形状評価値および距離評価値に基づいて信頼度を算出するようにしている。

【0050】

これにより、レーンマークの検出位置精度に影響を与える要因となる被写界距離に応じた信頼度を算出することができる。しかも、本実施形態では、撮影画像を領域分割して領域毎に信頼度を変える方式ではなく、レーンマークの被写界距離をダイレクトに評価する方式なので、信頼度の計算負荷が小さくて済む。したがって、本実施形態によれば、計算負荷を大きくすることなく、レーンマークの位置精度も考慮した信頼度を算出することができる。

【0051】

また、本実施形態では、レーンマーク候補抽出部１により抽出したレーンマーク候補の位置と、当該抽出したレーンマーク候補について上述のようにして算出した信頼度と、レーンマーク位置推定部３により推定されたレーンマークの位置とに基づいて、レーンマーク検出部２がレーンマークの推定位置を補正し、当該補正位置をレーンマークの位置として検出するようにしている。

【0052】

このような構成により、レーンマークの推定位置が、レーンマーク候補の位置と、上述のようにレーンマークの位置精度を考慮して算出した信頼度との関係を考慮してより適正な位置に補正されることとなる。そして、補正されたレーンマークの推定位置でレーンマークが検出されることとなるので、より適正な位置でレーンマークを検出することができる。その結果、レーンマークを跨いで車両が車線から逸脱する恐れがないのに発せられる車線逸脱の誤警報を抑制することができる。

【0053】

図１０は、本実施形態による効果を示す図である。これは、実際に道路を走行して撮影した車両後方の撮影画像を入力して本実施形態のレーンマーク検出装置１００を動作させた場合における誤警報の発生回数を示したものである。図１０（ａ）は、距離評価値を含めて信頼度を算出した場合の結果を示す（本実施形態の適用例）。図１０（ｂ）は、距離評価値を含めずに信頼度を算出した場合の結果を示す（従来例）。

【0054】

図１０（ａ）に示すように、本実施形態の場合は１時間当たりの誤警報の発生回数は２５．１回であった。これに対して、従来例の場合は１時間当たりの誤警報の発生回数は３３．２回であった。これから分かるように、本実施形態のレーンマーク検出装置１００を適用すると、１時間当たりの誤警報の発生回数を従来比で２０％程度も低減できている。

【0055】

なお、上記実施形態では、距離評価値算出部１２は、スライス数評価値、Ｘ軸方向距離評価値およびＹ軸方向距離評価値の３つの観点から距離評価値を算出する例について説明したが、本発明はこれに限定されない。例えば、スライス数評価値の１点のみから距離評価値を算出するようにしてもよい。図１１は、この場合における誤警報発生の低減効果を示す図である。図１１に示すように、スライス数評価値の１点のみから距離評価値を算出した場合、１時間当たりの誤警報の発生回数は３０．６回であった。これを図１０（ｂ）の結果と比較すれば分かるように、１時間当たりの誤警報の発生回数を１０％程度低減できている。

【0056】

また、上記実施形態では、カルマンフィルタのカルマン係数Ｋとして信頼度を用い、レーンマーク位置推定部３により推定されたレーンマークの位置と、線分抽出部１０により抽出されたレーンマーク候補の位置と、信頼度算出部１３によりレーンマーク候補について算出された信頼度とに基づいて、レーンマークの推定位置を補正し、当該補正した推定位置をレーンマークの位置として検出する例について説明したが、本発明はこれに限定されない。

【0057】

例えば、カルマン係数Ｋの逆数として信頼度を用い、レーンマーク位置推定部３により推定されたレーンマークの位置と、線分抽出部１０により抽出されたレーンマーク候補の位置と、信頼度算出部１３によりレーンマーク候補について算出された信頼度とに基づいて、以下の算出式に示すようにしてレーンマーク候補の位置を補正し、当該補正したレーンマーク候補の位置をレーンマークの位置として検出するようにしてもよい。

【0058】

[レーンマーク候補の補正位置]＝[レーンマーク候補の実測位置]＋１／Ｋ＊ [レーンマークの推定位置]
また、上記実施形態では、カルマンフィルタを用いてレーンマーク位置の補正を行う例について説明したが、本発明はこれに限定されない。すなわち、信頼度算出部１３により算出される信頼度が低くなるほど、補正結果に対するレーンマーク候補の位置の影響度が小さくなるような補正方法であれば、カルマンフィルタ以外の方法を適用してもよい。

【0059】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0060】

１ レーンマーク候補抽出部
２ レーンマーク検出部
３ レーンマーク位置推定部
１０ 線分抽出部
１１ 形状評価値算出部
１２ 距離評価値算出部
１３ 信頼度算出部
１２１ スライス数評価値算出部
１２２ Ｘ軸方向距離評価値算出部
１２３ Ｙ軸方向距離評価値算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】