特許 6200780 車線認識判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6200780

(24)【登録日】2017年9月1日

(45)【発行日】2017年9月20日

(54)【発明の名称】車線認識判定装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20170911BHJP

   G06T 7/00 20170101ALI20170911BHJP

   G06T 1/00 20060101ALI20170911BHJP

【ＦＩ】

   G06T7/60 200J

   G06T7/00 650A

   G06T1/00 330A

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2013-230228(P2013-230228)

(22)【出願日】2013年11月6日

(65)【公開番号】特開2015-90584(P2015-90584A)

(43)【公開日】2015年5月11日

【審査請求日】2016年8月4日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】田村 悠一郎

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１３−０１２０４４（ＪＰ，Ａ）

【文献】 特開２０１２−０１４３９８（ＪＰ，Ａ）

【文献】 特開２０１１−２４３１６１（ＪＰ，Ａ）

【文献】 特開２００３−１６８１２３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

自車走行路の前方を撮影した画像上の左右の各白線検出領域内で水平方向に延在する複数の検索ライン毎に輝度差によりエッジ点を抽出するエッジ点抽出手段と、
前記エッジ点抽出手段で抽出したエッジ点の点列に基づきハフ変換によりハフ直線を求め、該ハフ直線に基づいて、自車走行路を区画する区画線を検出する所定幅の白線候補点抽出領域を設定する白線候補点抽出領域設定手段と、
前記白線候補点抽出領域よりも画像上中央側に外れた領域のエッジ点を第０白線候補点として抽出すると共に、該第０白線候補点の数を算出する第０白線候補点数算出手段と、
前記第０白線候補点数算出手段で算出した前記第０白線候補点の数、及び分布に基づき前記区画線よりも画像上中央側に描かれている内側誘導線の認識信頼度を判定する誘導線認識信頼度判定手段と
を備えることを特徴とする車線認識判定装置。

【請求項2】

前記誘導線認識信頼度判定手段は、前記認識信頼度をカウント数に基づいて判定し、該カウント数が設定信頼度判定閾値以下の場合、前記内側誘導線の認識信頼度が低いと判定し、前記第０白線候補点による白線形状の推定は行わない
ことを特徴とする請求項１記載の車線認識判定装置。

【請求項3】

前記誘導線認識信頼度判定手段は、前記第０白線候補点の数が設定閾値以下の場合、前記カウント数をデクリメントする
ことを特徴とする請求項２記載の車線認識判定装置。

【請求項4】

前記誘導線認識信頼度判定手段は、前記第０白線候補点の水平方向の位置の平均値と該第０白線候補点よりも外側のエッジ点の水平方向の位置の平均値との差から求めた幅が所定下限幅と所定上限幅との間から外れている場合、前記カウント数をデクリメントする
ことを特徴とする請求項２或いは３記載の車線認識判定装置。

【請求項5】

前記白線候補点抽出領域設定手段で設定した前記白線候補点抽出領域内のエッジ点を第１白線候補点として抽出する共に、該第１白線候補点の数を算出する第１白線候補点数算出手段を備え、
前記誘導線認識信頼度判定手段は、第０白線候補点の水平方向の位置の平均値に予め設定されている前記内側誘導線幅を加算した値と、前記第１白線候補点数算出手段で求めた前記第１白線候補点の水平方向の位置の平均値との差から求められる隙間が、所定下限隙間と所定上限隙間との間から外れている場合、前記カウント数をデクリメントする
ことを特徴とする請求項２〜４の何れか１項に記載の車線認識判定装置。

【請求項6】

前記誘導線認識信頼度判定手段は、１フレームの画像中で検出した最初の第０白線候補点から最後の第０白線候補点までの距離が設定閾値以下の場合、前記カウント数をデクリメントする
ことを特徴とする請求項２〜５の何れか１項に記載の車線認識判定装置。

【請求項7】

前記誘導線認識信頼度判定手段は、前記第０白線候補点の水平方向の位置の平均値と該第０白線候補点よりも外側のエッジ点の水平方向の位置の平均値との差から求めた幅のヒストグラムを生成し、該幅の所定ピーク幅以上を示す数を求め、該数の第０白線候補点数に対する比率が所定ピーク判定閾値以下の場合、前記カウント数をデクリメントする
ことを特徴とする請求項２〜６の何れか１項に記載の車線認識判定装置。

【請求項8】

前記誘導線認識信頼度判定手段は、前記各第１白線候補点の平均輝度と前記各第０白線候補点の平均輝度との差分を求め、該差分が所定輝度差判定閾値以下の場合、前記カウント数をデクリメントする
ことを特徴とする請求項２〜７の何れか１項に記載の車線認識判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車走行路の前方を撮影した画像データに基づき内側誘導線が認識されているか否かの信頼度を判定する車線認識判定装置に関する。

【背景技術】

【0002】

従来、高速道路等の走行において、自車両前方の走行環境を検出し、検出した走行環境データに基づいて、自車走行レーンの左右を区画する走行車線を検出し、この走行車線に沿って自車両を自動走行させる車線維持制御や、認識した車線位置から自車両が逸脱すると予測される場合には警告を発して、運転者に注意を促す車線逸脱警報等の運転支援装置が知られている。

【0003】

自車両を走行車線に沿って正確に走行させるためには、この走行車線の位置を正確に推定する必要がある。この走行車線位置を推定する手段としては、車両に搭載されているカメラ等のイメージセンサ（以下、「車載カメラ」と称する）で検出した自車両前方の走行環境に基づき、路面と白線との輝度差から白線のエッジを検出し、この白線のエッジから走行車線位置を推定する技術が知られている。

【0004】

ところで、高速道路上の走行車線は、走行レーンを区画する左右の走行車線のみならず、カーブ路等には、走行車線とその内側の誘導線（いわゆるドットライン）とからなる二重白線が描かれている場合がある。白線のエッジを路面との輝度差により検出する技術では、道路内側の白線が外側の白線よりも輝度差が明確に現れるため、二重白線では、内側誘導線の内側エッジに基づいて車線を推定する場合が多い。

【0005】

例えば、特許文献１（特開２０１２−５８９８４号公報）には車線候補点のプロット位置が、二重白線の入口（開始端）では走行車線の内側エッジから誘導線の内側エッジに切換り、切換り後の点列に基づいて車線を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１２−５８９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したように、特許文献１に開示されている技術では、二重白線の入口（開始端）では、車線候補点の検出位置が内側誘導線の内側エッジに切換ってしまうため、この切換わりタイミングが明確ではない。又、同文献では、二重白線の入口を検出した場合、今回の演算時を基準として設定時間幅前におけるパラメータ係数の点列から設定時間進み、後の予測パラメータを設定するに際し、この設定時間幅を長くし、過去のパラメータ係数の点列を多くすることで、安定して車線を推定することができるようにしている。

【0008】

しかし、当該文献に開示されている技術では、二重白線の入口（開始端）を検出した場合、過去のデータを多く取り込む必要があるため、応答遅れが生じ易い。又、二重白線の入口が検出されると、車線候補点が内側車線に自動的に切換わってしまうため、これが、例えば、走行車線に沿って形成された轍に存在する水溜まり、走行車線に沿って存在する残雪、或いは補修跡のエッジを誘導線の内側エッジと誤認識した場合、その後の車線推定が不安定となってしまう不具合がある。

【0009】

本発明は上記事情に鑑み、二重白線の入口（開始端）を検出して車線候補点が内側誘導線の内側エッジに切換わる際のタイミングを明確にし、しかも、内側誘導線とノイズ成分とを明確に区分することのできる車線認識判定装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明による車線認識判定装置は、自車走行路の前方を撮影した画像上の左右の各白線検出領域内で水平方向に延在する複数の検索ライン毎に輝度差によりエッジ点を抽出するエッジ点抽出手段と、前記エッジ点抽出手段で抽出したエッジ点の点列に基づきハフ変換によりハフ直線を求め、該ハフ直線に基づいて、自車走行路を区画する区画線を検出する所定幅の白線候補点抽出領域を設定する白線候補点抽出領域設定手段と、前記白線候補点抽出領域よりも画像上中央側に外れた領域のエッジ点を第０白線候補点として抽出すると共に、該第０白線候補点の数を算出する第０白線候補点数算出手段と、前記第０白線候補点数算出手段で算出した前記第０白線候補点の数、及び分布に基づき前記区画線よりも画像上中央側に描かれている内側誘導線の認識信頼度を判定する誘導線認識信頼度判定手段とを備える。

【発明の効果】

【0011】

本発明によれば、自車走行路の前方を撮影した画像から輝度差により抽出したエッジ点の点列に基づきハフ変換によりハフ直線を求め、このハフ直線に基づいて、自車走行路を区画する区画線を検出する所定幅の白線候補点抽出領域を設定し、この白線候補点抽出領域よりも画像上中央側に外れた領域のエッジ点を第０白線候補点として抽出すると共に、この第０白線候補点の数を算出し、この第０白線候補点の数、及び分布に基づき区画線よりも画像上中央側に描かれている内側誘導線の認識信頼度を判定するようにしたので、認識信頼度が低い場合は、内側誘導線による白線形状の推定が行われず、従って、内側誘導線とノイズ成分とを明確に区分することができると共に、車線候補点が内側誘導線の内側エッジに切換わるタイミングを明確化させることができ、又、過去のパラメータ係数の点列を多く取り入れていないため、二重白線の入口（開始端）を検出して車線候補点が内側誘導線の内側エッジに切換わる際に応答遅れが生じることもない。

【図面の簡単な説明】

【0012】

【図1】車線認識判定装置を備える車両用運転支援装置の概略構成図

【図2】二重白線移行開始判定処理ルーチンを示すフローチャート（その１）

【図3】二重白線移行開始判定処理ルーチンを示すフローチャート（その２）

【図4】白線形状推定処理ルーチンを示すフローチャート

【図5】走行車線を撮影したフレーム画像の説明図

【図6】実空間上に座標変換された走行車線の内側エッジを検出した車線候補点列の説明図

【図7】走行車線の内側に帯状の水溜まりが存在するフレーム画像の説明図

【図8】実空間上に座標変換された走行車線の内側エッジと水溜まりのエッジを検出した車線候補点列の説明図

【図9】二重白線を撮影したフレーム画像の説明図

【図10】実空間上に座標変換された走行車線の内側エッジと内側誘導線の内側エッジを検出した車線候補点列の説明図

【図11】水平検索ラインにおける白線検出領域での輝度及び輝度の微分値の推移を示す説明図

【図12】（ａ）は二重白線に対する候補点列の説明図、（ｂ）は走行車線の内側に水溜まりが存在する場合の候補点列の説明図、（ｃ）は走行車線の内側に帯状の残雪が存在する場合の候補点列の説明図

【図13】前回の代表位置を今回の代表位置に移動させる際の座標変換の説明図

【図14】自車両の移動に伴うエッジ点の推定位置を示す説明図

【図15】実空間上に座標変換された候補点列と後方白線候補点を示す説明図

【図16】ハフ変換の演算方法を示す説明図

【図17】ハフ空間を示す説明図

【図18】（ａ）はハフ直線及び白線候補点抽出領域を示す説明図、（ｂ）は抽出された白線候補点を示す説明図

【図19】（ａ）は二重白線入口と判定される直前の白線候補点抽出領域よりも内側のエッジ点を示す説明図、（ｂ）は二重白線入口と判定されたときの白線候補点を示す説明図

【図20】白線候補点及び後方白線候補点から認識された白線近似曲線及び白線検索領域を示す説明図

【発明を実施するための形態】

【0013】

以下、図面に基づいて本発明の一実施形態を説明する。図１において、符号１は自動車等の車両（自車両）であり、この車両１に、自車両前方の環境情報に基づいて車両を操向（操舵制御、ブレーキ制御等）する運転支援装置２が搭載されている。この運転支援装置２は、例えば、車載イメージセンサとしての車載カメラ３、ステレオ画像認識装置４、運転支援手段としての機能を備える制御ユニット５等で構成されている。

【0014】

又、自車両１には、自車速を検出する車速センサ１１、ヨーレートを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ／ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイール１４に連設するステアリング軸１４ａに対設されて舵角を検出する舵角センサ１５、運転者によるアクセルペダル踏込量（アクセル開度）を検出するアクセル開度センサ１６等が設けられている。更に、このステアリング軸１４ａに運転者のステアリング操作をアシストするパワーステアリングモータ１７が連設されている。

【0015】

又、車載カメラ３は、ステレオ光学系として、ＣＣＤやＣＭＯＳ等の固体撮像素子を備えるメインカメラとサブカメラとからなる左右１組のカラーカメラで構成されている。この各カメラは、それぞれフロントガラス背面の車室内の天井に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮影し、その画像データをステレオ画像認識装置４に送信する。尚、以下の説明において、ステレオ撮影された画像のうちメインカメラで撮影した画像を基準画像、サブカメラで撮影した画像を比較画像と称する。

【0016】

ステレオ画像認識装置４は、先ず、基準画像を４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。更に、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差がしきい値を超えているものをエッジ点として抽出すると共に、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶していた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。

【0017】

ここで、本実施形態において認識対象となる白線とは、例えば、自車走行レーンを区画する左右の白線（区画線）２１Ｌ，２１Ｒや、この区画線２１Ｌ，２１Ｒと、その内側に描かれている内側誘導線２２（図５、図９参照）からなる、いわゆる二重白線等、道路上に延在して自車走行レーンを示すために描かれた線の総称である。各白線の形態としては、実線、破線等を問わず、更に、黄色線等を含む。又、本実施形態の白線の形状認識においては、道路上に実在する白線が二重白線であっても、左右それぞれ単一の近似線で近似して各白線の内側エッジに沿った形状を推定するものとする。

【0018】

この白線形状の推定に際し、ステレオ画像認識装置４は、例えば、図５、図７、図９に示すように、今回撮影した１つのフレームの基準画像データ上に白線検出領域Ａｌ，Ａｒ（以下、Ａｌ，ＡｒをＡと総称して説明する）を設定し、この各白線検出領域Ａ内で、１画素ピッチの水平検索ラインi上を下側（自車両の手前側）から遠方となる上方向（ｊ方向）に１画素ピッチずつオフセットしながら画素を順次車幅方向内側（画像上中央側）から外側に向けて検索し輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａ内の各水平検索ライン上において、輝度が暗から明に所定以上変化するエッジ点が存在する場合には、最初のエッジ点を第１のエッジ点Ｐ１として検出し、次のエッジ点を第２のエッジ点Ｐ２として検出する。

【0019】

又、ステレオ画像認識装置４は、検出した第１，第２のエッジ点Ｐ１，Ｐ２の各点列に基づいて自車走行路を区画する白線が走行車線のみ（以下、単白線と称する）か、二重白線であるかを判定する。

【0020】

そして、白線が単白線であると判定した場合、ステレオ画像認識装置４は、第１のエッジ点Ｐ１の点列に基づいてハフ直線Ｈｌ，Ｈｒ（以下、Ｈｌ，ＨｒをＨと総称して説明する）を演算し、このハフ直線Ｈに基づいて定めた白線候補点抽出領域Ａｄｌ，Ａｄｒ（以下、Ａｄｌ，ＡｄｒをＡｄと総称して説明する）内に存在する第１のエッジ点Ｐ１を白線候補点Ｐｓとして抽出する。尚、詳細については後述するが、図１９（ａ）に示すように、白線候補点抽出領域Ａｄはハフ直線Ｈを挟んで内側に所定幅α１、外側に所定幅α２を有しており、内側の所定幅α１は、図９に示す区画線２１Ｌ，２１Ｒの内側エッジから内側誘導線２２の内側エッジまでの距離よりも短く、且つ区画線２１Ｌ，２１Ｒの線幅よりも長い値に設定されている。

【0021】

一方、白線が二重白線であると判定した場合、ステレオ画像認識装置４は、検出された第２のエッジ点Ｐ２に基づいて演算したハフ直線Ｈを基準として定めた白線候補点抽出領域Ａｄよりも内側に存在する第１のエッジ点Ｐ１を白線候補点Ｐｓとして抽出する。上述したように、白線候補点抽出領域Ａｄの内側の所定幅α１は、区画線２１Ｌ，２１Ｒの内側エッジから内側誘導線２２の内側エッジまでの距離よりも短く設定されているため、二重白線の場合、第１のエッジ点Ｐ１は白線候補点抽出領域Ａｄから外れた内側に存在する。

【0022】

又、ステレオ画像認識装置４は、前フレーム以前に抽出した白線候補点Ｐｓの座標と自車の移動量とに基づいて自車後方の設定距離（例えば、２０〜３０［ｍ］）内における後方白線候補点Ｐｓ_preを推定し、抽出した白線候補点Ｐｓ及び推定した後方白線候補点Ｐｓ_preの点列に基づいて白線の形状を近似する。

【0023】

制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。更に、制御ユニット５には、自車両１の走行情報として、車速センサ１１で検出した車速Ｖ、ヨーレートセンサ１２で検出したヨーレートγ等が入力されると共に、運転者による操作入力情報として、メインスイッチ１３からのＯＮ／ＯＦＦ信号、舵角センサ１５で検出した舵角θｓｔ、アクセル開度センサ１５で検出したアクセル開度θａｃｃ等が入力される。

【0024】

そして、例えば、運転者によるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止制御や、車線維持支援制御等の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した走行車線（白線形状の近似線）に基づいて逸脱判定ラインを設定すると共に、自車走行路を推定する。そして、車線逸脱防止制御では、自車両が逸脱判定ラインから逸脱傾向にあると判断した場合に、自車両を車線中央側へ戻す操向（操舵制御やブレーキ制御）を行い、又、車線維持支援制御は、走行車線内に目標走行位置を設定し、自車両が目標走行位置に沿って走行するように操向（操舵制御やブレーキ制御）を行う。

【0025】

上述したステレオ画像認識装置４で実行される白線形状認識処理は、具体的には、図２、図３に示す二重白線移行開始判定処理ルーチン、及び、図４に示す白線形状推定処理ルーチンに従って行われる。

【0026】

図２、図３に示すフローチャートは、１フレーム毎に実行され、先ず、ステップＳ１で、車載カメラ３で撮影された画像（基準画像）からエッジ点Ｐを検出する。すなわち、ステレオ画像認識装置４は、図５，図７、図９に示すように、画像上に設定された白線検出領域Ａ内の水平検索ライン毎に車幅方向内側（画像の幅方向中央）から外側（図のｉ方向）に向けて輝度の変化を調べ、外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定しきい値以上のエッジ点ＰH（白線開始点）を検索する。続いて、内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定しきい値以下となるエッジ点ＰL（白線終了点）を検索する（図１１参照）。

【0027】

そして、白線検出領域Ａ内にひとつのエッジ点ＰH（白線開始点）が検出された場合、当該エッジ点ＰHを第１のエッジ点Ｐ１として設定する。或いは、白線検出領域Ａ内に２以上のエッジ点ＰHが検出された場合は、例えば、最初のエッジ点ＰHを第１のエッジ点Ｐ１、次のエッジ点ＰHを第２のエッジ点Ｐ２として設定する。更に、ステレオ画像認識装置４は、検出した各エッジ点ＰHに距離画像上の距離情報を付与することにより、各エッジ点ＰHの座標を実空間上の座標に変換する（図６，図８、図１０参照）。尚、このステップＳ１での処理が、本発明のエッジ点抽出手段に対応している。

【0028】

その後、ステップＳ２へ進むと、前フレーム以前に抽出された白線候補点Ｐｓの座標と自車両１の移動量とに基づいて後方白線候補点Ｐｓ_preを推定する。ここで、自車両１の移動量は、例えば、自車速Ｖとヨー角θ（ヨーレート（ｄθ／ｄｔ）から計算される角度）を用いて求めることが可能である。例えば、図１３に示すように、フレームレートをΔｔとすると、自車両１が１フレームで自車両１‘方向、すなわち、Ｘ軸方向及びＺ軸方向に移動する移動量Δｘ，Δｚは、以下の（１），（２）式から求めることができる。

【0029】

Δｘ＝Ｖ・Δｔ・ｓｉｎθ …（１）
Δｚ＝Ｖ・Δｔ・ｃｏｓθ …（２）
従って、例えば、図１４に示すように、前フレームで検出された白線候補点Ｐｓ_oldの座標を（ｘold，ｚold）とし、当該白線候補点Ｐｓ_oldが現フレームの白線候補点（後方白線候補点）Ｐｓ_preに移動したと推定した場合、その座標（ｘpre，ｚpre）は、以下の（３），（４）式から求めることができる。すなわち、座標（ｘpre，ｚpre）は、座標（ｘold，ｚold）に対して車両移動量Δｘ，Δｚを減算した後、現在のフレームにおける車両固定座標系（Ｘ’，Ｚ’）への座標変換を行うことで求めることができる。

【0030】

ｘpre＝（ｘold−Δｘ）・ｃｏｓθ−（ｚold−Δｚ）・ｓｉｎθ …（３）
ｚpre＝（ｘold−Δｘ）・ｓｉｎθ＋（ｚold−Δｚ）・ｃｏｓθ …（４）
これにより、例えば、図１５に示すように、自車両１の後方の設定距離内における後方白線候補点Ｐｓ_preを推定することができる。

【0031】

その後、ステップＳ３へ進むと、第１のエッジ点Ｐ１の点列を用いてハフ変換によりハフ直線Ｈを求める。ここで、ハフ直線Ｈの求め方について例示する。先ず、図１６に示すように、点列を構成する各第１のエッジ点Ｐ１のそれぞれに対し、第１のエッジ点Ｐ１を通る直線ｈの傾きを０°〜１８０°まで所定の角度Δθ毎に変化させ、以下の（５）式に基づいて各角度θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）であるオフセット量ρを求める。

【0032】

ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ …（５）
そして、各エッジ点Ｐ１について求めた各角度θとオフセット量ρとの関係を、図１７に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。その後、ハフ平面（θ，ρ）上の度数が最も大きくなる角度θとオフセット量ρとの組み合わせを抽出し、当該角度θとオフセット量ρとを用いて（５）式で規定される直線（ハフ直線Ｈ）を求める。尚、今回求めたハフ直線Ｈは、次回のルーチン実行時に、ハフ直線Ｈoldとして、後のステップＳ４で読込まれる。

【0033】

次いで、ステップＳ４へ進むと、前回のフレーム画像に基づいて求めたハフ直線Ｈoldを読込み、続く、ステップＳ５で、このハフ直線Ｈoldを基準として所定幅の白線候補点抽出領域Ａｄを設定する。図１８（ａ）、図１９（ａ）に示すように、白線候補点抽出領域Ａｄは、ハフ直線Ｈを挟む内側と外側に、所定幅α１，α２が設定されている。内側の所定幅α１は、上述したように、図９に示す二重白線の区画線２１Ｌ，２１Ｒの内側エッジから内側誘導線２２の内側エッジまでの間の距離よりも短く、且つ、区画線２１Ｌ（或いは２１Ｒ）の線幅よりも長い値に設定されている。尚、二重白線の区画線２１Ｌ，２１Ｒ、内側誘導線２２の幅、及び区画線２１Ｌ，２１Ｒの内側エッジと内側誘導線２２の外側エッジとの間隔は予め規定されている。

【0034】

一方、外側の所定幅α２は、区画線２１Ｌ（或いは２１Ｒ）の線幅よりも長い値に設定されており、本実施形態では、所定幅α１と同じ幅に設定されている。従って、二重白線の場合、図１９（ａ）に示すように、内側誘導線２２の内側エッジを検出する第１のエッジ点Ｐ１は。この白線候補点抽出領域Ａｄから外れた内側に点在する。尚、図１８，図１９Ｉは、左側区画線２１Ｌが記載されているが、右側区画線２１Ｒに対しても同様に白線候補点抽出領域Ａｄが設定される。又、ステップＳ３〜５での処理が、本発明の白線候補点抽出領域設定手段に対応している。

【0035】

その後、ステップＳ６へ進むと、白線候補点抽出領域Ａｄ内に存在する第１，第２のエッジ点Ｐ１，Ｐ２を第１白線候補点Ｐs1として抽出し（図１８（ｂ）参照）、続く、ステップＳ７で、第１白線候補点Ｐs1の数ｎ１（以下、第１白線候補点数ｎ１と称す）を算出する。

【0036】

そして、ステップＳ８へ進み、白線候補点抽出領域Ａｄよりも車幅方向内側に存在するエッジ点Ｐ１を、第０白線候補点Ｐs0として抽出し（図１８（ｂ）参照）、続く、ステップＳ９で、この第０白線候補点Ｐs0の数ｎ０（以下、第０白線候補点数ｎ０と称す）を算出する。尚、このステップＳ８，Ｓ９での処理が、本発明の第０白線候補点数算出手段に対応している。

【0037】

その後、ステップＳ１０へ進み、このステップＳ１０〜ステップＳ３３で、二重白線移行開始タイミング、すなわち、第０白線候補点Ｐs0に基づいて後述する車線モデル式の構築を開始するタイミングを判定する。尚、このステップＳ１０〜Ｓ３３での処理が、本発明の誘導線認識信頼度判定手段に対応している。

【0038】

上述したステップＳ５では、白線候補点抽出領域Ａｄを、前回のフレームに基づいて設定したハフ直線Ｈoldを基準として設定している。こうすることで、例えば、図7に示すように、区画線２１Ｌの内側に、水溜まりや残雪、或いは補修跡等のノイズ成分２５が、区画線２１Ｌに沿って存在していても、白線候補点Ｐs1に基づいて車線モデル式が求められるため、ノイズ成分２５の影響を受け難い。反面、ノイズ成分２５ではない、二重白線の内側誘導線２２が検出された場合であっても、車線モデル式を構築する白線候補点が内側誘導線２２の内側エッジを検出する第０白線候補点Ｐs0へ移行しない不都合がある。

【0039】

又、遠方（フレーム上では画面上部）にカーブ入口が検出されており、そのカーブ入口に二重白線が描かれていても、遠方のカーブ入口では区画線２１Ｌ，２１Ｒと内側誘導線２２とが一本の白線のように映るため、内側誘導線２２が区画線２１Ｌ，２１Ｒと誤認識され易く、その場合、車線モデル式を構築する白線候補点がいつ、内側誘導線２２の内側エッジを検出する第０白線候補点Ｐs0へ移行したかのタイミングを判別することができない不都合が生じる。

【0040】

そのため、ステップＳ１０〜ステップＳ３１において、第０白線候補点Ｐs0が検出された場合、それが内側誘導線２２の内側エッジを検出したものであるか否か、換言すれば、内側誘導線２２が認識されているか否かの信頼度を判別する。そして、内側誘導線２２の内側エッジを検出したものであるとの信頼度が高い場合、車線モデル式を構築する白線候補点を第０白線候補点Ｐs0に切換える。

【0041】

すなわち、先ず、ステップＳ１０では、前回のフレーム画像に基づく演算において、二重白線の入口（開始端）らしき成分（内側誘導線らしきもの）が検出されているか否かを調べる。二重白線の入口（開始端）らしき成分が検出されているか否かは、例えば、前回の演算時に第０白線候補点Ｐs0が検出されているか否かで判定する。

【0042】

そして、二重白線の入口らしき成分が検出されている場合は、ステップＳ１１へ進み、二重白線信頼度判定カウンタのカウント値（以下、単に「カウント値」と称する）Ｃｎをインクリメントして（Ｃｎ←Ｃｎ＋１）、ステップＳ１３へ進む。又、二重白線の入口らしき成分が検出されていない場合、ステップＳ１２へ分岐し、カウント値Ｃｎをデクリメントして（Ｃｎ←Ｃｎ−１）、ステップＳ１３へ進む。二重白線信頼度判定カウンタのカウント値Ｃｎは、内側誘導線らしき成分が、はたして内側誘導線２２か否かを判定する認識信頼度を表す値である。

【0043】

ステップＳ１３では、今回算出した第０白線候補点数ｎ０と所定しきい値ＳＬn0とを比較し、ｎ０＞ＳＬn0の場合、ステップＳ１４へ進み、カウント値Ｃｎをインクリメントして（Ｃｎ←Ｃｎ＋１）、ステップＳ１６へ進む。又、ｎ０≦ＳＬn0の場合、ステップＳ１５へ分岐し、カウント値Ｃｎをデクリメントして（Ｃｎ←Ｃｎ−１）、ステップＳ１６へ進む。このしきい値ＳＬn0は、今回の演算で、内側誘導線２２の内側エッジが検出されているか否か判定する値である。

【0044】

ステップＳ１６へ進むと、１フレームの画像中で検出した最初の第０白線候補点Ｐs0から最後の第０白線候補点Ｐs0までの距離ΔＰs0（図１２参照）と設定閾値ＳＬΔＰs0とを比較して、第０白線候補点Ｐs0の分布が、内側誘導線２２の内側エッジを検出したものであると判別するに充分か否かを調べる。そして、ΔＰs0＞ＳＬΔＰs0の場合、第０白線候補点Ｐs0の分布は充分であると判定し、ステップＳ１７へ進み、カウント値Ｃｎをインクリメントして（Ｃｎ←Ｃｎ＋１）、ステップＳ１９へ進む。又、ΔＰs0≦ＳＬΔＰs0の場合、ステップＳ１８へ分岐し、カウント値Ｃｎをデクリメントして（Ｃｎ←Ｃｎ−１）、ステップＳ１９へ進む。

【0045】

ステップＳ１９へ進むと、第０白線候補点Ｐs0を検出した内側誘導線とみなされる成分の幅ｆ（平均値）を検出し、この幅ｆが所定下限幅ｆSと所定上限幅ｆLとの間に収まっているか否かを調べる。図１２（ａ）に示すように、白線誘導線２２の幅ｆは、１０〜１５[cm]程度に予め規定されている。従って、この規定値を含む値に所定下限幅ｆSと所定上限幅ｆLとを設定することで、幅ｆから、第０白線候補点Ｐs0は内側誘導線２２の内側エッジを検出したものであるか否かを判別することができる。尚、幅ｆは、図１１に示すように、輝度の変化により検出されたエッジ点ＰH（白線開始点）の水平方向の平均値とエッジ点ＰL（白線終了点）の水平方向の平均との差である。

【0046】

そして、ｆS＜ｆ＜ｆLの場合、ステップＳ２０へ進み、カウント値Ｃｎをインクリメントして（Ｃｎ←Ｃｎ＋１）、ステップＳ２２へ進む。又、ｆ≦ｆS、或いはｆ≧ｆLの場合は、ステップＳ２１へ分岐し、カウント値Ｃｎをデクリメントして（Ｃｎ←Ｃｎ−１）、ステップＳ２２へ進む。

【0047】

その結果、同１２（ｂ）に示すような幅ｆが所定上限幅ｆLよりも太い（ｆ≧ｆL）、水溜まりや補修跡、及び、同図（ｃ）に示すような区画線２１Ｌに沿って延在する幅ｆが所定上限幅ｆLよりも細い（ｆ≦ｆS）、帯状の残雪等はノイズ成分２５であると判定し、カウント値Ｃｎがデクリメントされる。尚、図１２には、説明を容易にするために左側区画線２１Ｌのみが示されているが、この左側区画線２１Ｌを右側区画車線２１Ｒと読み換えることで、当該右側区画車線２１Ｒに適用することができる。

【0048】

そして、ステップＳ２２へ進むと、区画線２１Ｌの内側エッジを検出した第１白線候補点Ｐs1の水平方向の平均値と内側誘導線らしき成分の外側エッジを検出したエッジ点ＰLの水平方向の平均値との差から隙間ｍ（平均値）を検出し、この隙間ｍが所定下限隙間ｍSと所定上限隙間ｍLとの間に収まっているか否かを調べる。図１２（ａ）に示すように、区画線２１Ｌの内側エッジと内側誘導線２２の外側エッジとの間の隙間ｍは、予め１０〜１５[cm]程度に規定されている。従って、この規定値を含む値に所定下限隙間ｍSと所定上限隙間ｍLとを設定することで、この隙間ｍから、今回の第０白線候補点Ｐs0は内側誘導線２２の内側エッジを検出したものであるか否かを判定することができる。尚、図１２（ａ）に示すように、隙間ｍは、第０白線候補点Ｐs0の水平方向の位置座標をｘ0、第１白線候補点Ｐs1の水平方向の位置座標をｘ1とした場合、ｍ＝ｘ0−（ｆ＋ｘ1）から求められる。

【0049】

そして、ｍS＜ｍ＜ｍLの場合、ステップＳ２３へ進み、カウント値Ｃｎをインクリメントして（Ｃｎ←Ｃｎ＋１）、ステップＳ２５へ進む。又、ｍ≦ｍS、或いはｍLの場合、ステップＳ２４へ分岐して、カウント値Ｃｎをデクリメントし（Ｃｎ←Ｃｎ−１）、ステップＳ２５へ進む。従って、仮に、図1２（ｂ）に示す水溜まりや補修跡の幅ｆ、及び、同図（ｃ）に示す残雪の幅ｆが、所定下限値ｆSと所定上限値ｆLとの間に収まっているとしても（ｆS＜ｆ＜ｆL）、その隙間ｍが、所定下限隙間ｍSと所定上限隙間ｍLに収まっていなければ、ノイズ成分２５の可能性があると判定し、カウント値Ｃｎがデクリメントされる。

【0050】

その後、ステップＳ２５へ進むと、先ず、内側誘導線らしき成分の各第０白線候補点Ｐs0における幅ｆのヒストグラムを生成し、所定ピーク幅以上を示す幅ｆの数（ピーク数）ｆpekを求め、このピーク数ｆpekの第０白線候補点数ｎ０に対する比率（ピーク比率）を求める（ｆpek／ｎ０）、このピーク比率ｆpek／ｎ０と所定ピーク判定閾値ＳＬfpとを比較する。

【0051】

そして、ｆpek／ｎ０＞ＳＬfpの場合、ステップＳ２６へ進み、カウント値Ｃｎをインクリメントして（Ｃｎ←Ｃｎ＋１）、ステップＳ２８へ進む。又、ｆpek／ｎ０≦ＳＬfpの場合、ステップＳ２７へ分岐し、カウント値Ｃｎをデクリメントして（Ｃｎ←Ｃｎ−１）、ステップＳ２８へ進む。内側誘導線２２は幅ｆがほぼ一定であるため、ピーク比率ｆpek／ｎ０は比較的高い値が示される。これに対し、例えば、図１２（ｃ）に示す帯状の残雪は、幅ｆが一定ではなく、従って、たとえ、上述したステップＳ１９において幅ｆ（平均値）が、所定下限幅ｆSと所定上限幅ｆLとの間に収まっていたとしても、ピーク比率ｆpek／ｎ０がピーク判定閾値ＳＬfpを超えていなければ、ノイズ成分２５の可能性があると判定し、カウント値Ｃｎがデクリメントされる。

【0052】

次いで、ステップＳ２８へ進むと、各第１白線候補点Ｐs1の平均輝度ＡＶps1と各第０白線候補点Ｐs0の平均輝度ＡＶps0との差分（輝度差）ＡＶpsを求め（ＡＶps←ＡＶps1−ＡＶps0）、この輝度差ＡＶpsと所定輝度差判定閾値ＳＬpsとを比較する。内側誘導線２２の内側エッジを検出した第０白線候補点Ｐs0の輝度は、区画線２１Ｌ（２１Ｒ）の内側エッジを検出した第１白線候補点Ｐs1の輝度よりも明るいため、内側誘導線２２が検出されている場合、輝度差ＡＶpsは小さい値となる。又、第０白線候補点Ｐs0の輝度が高い場合、内側誘導線２２が明確に表れていることを示しているため、輝度差ＡＶpsが小さい値を示す場合、車線モデル式は、単白線を検出する第１白線候補点Ｐs1から二重白線の内側誘導線２２を検出する第０白線候補点Ｐs0に切換えて構築した方が好ましい。

【0053】

そして、ＡＶps＜ＳＬpsの場合、ステップＳ２９へ進み、カウント値Ｃｎをインクリメントして（Ｃｎ←Ｃｎ＋１）、ステップＳ３１へ進む。又、ＡＶps≧ＳＬpsの場合、ステップＳ３０へ分岐し、カウント値Ｃｎをデクリメントして（Ｃｎ←Ｃｎ−１）、ステップＳ３１へ進む。

【0054】

ステップＳ３１では、カウント値Ｃｎが信頼度判定閾値Ｃｎｏを超えたか否かを調べ、Ｃｎ＞Ｃｎｏの場合、検出した成分は内側誘導線２２の内側エッジであるとする信頼度が高いと判定し、ステップＳ３２へ進み、二重白線開始フラグＦps0をセットして（Ｆps0←１）、ルーチンを抜ける。一方、Ｃｎ≦Ｃｎｏの場合、検出した成分は内側誘導線２２の内側エッジであるとする信頼度は低いと判定し、ステップＳ３３へ分岐し、二重白線開始フラグＦps0をクリアして（Ｆps0←０）、ルーチンを抜ける。従って、この二重白線信頼度判定閾値Ｃｎｏを所定に設定することで、所望の判定精度を得ることができると共に、二重白線開始タイミングを適宜設定することができる。

【0055】

このように、本実施形態によれば、二重白線の入口（開始端）を検出して車線候補点を内側誘導線の内側エッジに切換える際に、その信頼度を、二重白線信頼度判定カウンタのカウント値Ｃｎに基づいて判定するようにしたので、内側誘導線とノイズ成分とを明確に区別することができ、誤認識を生じることなく二重白線の内側誘導線を高い精度で認識することができる。又、カウント値Ｃｎが信頼度を判定する閾値Ｃｎｏを超過しない限り、二重白線開始フラグＦps0がセットされないため、二重白線開始タイミングを明確にすることができる。

【0056】

この二重白線開始フラグＦps0は、図４に示す白線形状推定処理ルーチンで読込まれる。このルーチンでは、先ず、ステップＳ４１で二重白線開始フラグＦps0の値を読込み、ステップＳ４２で二重白線開始フラグＦps0が０か否かを調べ、Ｆps0＝０の場合、ステップＳ４３へ進み、区画線２１Ｌ，２１Ｒの内側エッジを検出した第１白線候補点Ｐs1と後方白線候補点Ｐｓ_preとに基づいて車線モデル式を設定し、ルーチンを抜ける。又、Ｆps0＝１の場合、ステップＳ４４へ進み、内側誘導線２２の内側エッジを検出した第０白線候補点Ｐs0と後方白線候補点Ｐｓ_preとに基づいて車線モデル式を設定し、ルーチンを抜ける。

【0057】

この車線モデル式は、Ｆps0＝０の場合、すなわち、二重白線が検出されていない場合は、第１白線候補点Ｐs1と後方白線候補点Ｐｓ_preとの点列に基づき、最小二乗法を用いて区画線２１Ｌ，２１Ｒの曲線近似式（Ｘ＝ａＺ^２＋ｂＺ＋ｃ）を算出し、この曲線近似式により白線の形状を推定する。又、Ｆps0＝１の場合、すなわち、二重白線が検出されている場合は、第０白線候補点Ｐs0と後方白線候補点Ｐｓ_preとの点列に基づき、図２０に示すように、最小二乗法を用いて内側誘導線２２の曲線近似式（Ｘ＝ａＺ^２＋ｂＺ＋ｃ）を算出し、この曲線近似式により白線の形状を推定する。ここで、係数ａは車線の曲率に関するパラメータ、係数ｂは自車両１の中央（正確には、メインカメラとサブカメラとの中間）を通る仮想線に対する自車両１の傾き（ヨー角）に関する角度パラメータ、係数ｃは横位置を示すパラメータであり、自車量１の中央（メインカメラとサブカメラとの中間）を原点とするＸ軸方向のオフセット量（原点からの横位置）であり、左側を負値（−）、右側を正値（＋）とした場合、左側の車線モデル式の係数ｃは負値（−）となり、右側の車線モデル式の係数ｃは正値（＋）となる。

【0058】

この車線モデル式に基づいて求めた近似曲線は、運転支援御を実行する際に読込まれ、この近似曲線に基づき左右の逸脱判定ラインを設定して自車走行路を推定する。そして、車線逸脱防止制御では、自車両１が逸脱判定ラインから逸脱傾向にあると判断した場合、自車両１を車線中央側へ戻す操向（操舵制御やブレーキ制御）を行う。又、車線維持支援制御は、近似曲線に基づき走行車線内に目標走行位置を設定し、自車両が目標走行位置に沿って走行するように操向（操舵制御やブレーキ制御）を行う。

【0059】

尚、本発明は、上述した実施形態に限るものではなく、例えば、車載カメラ３はステレオカメラである必要はなく、単眼カメラであっても良い。車載カメラ３として単眼カメラを用いた場合は、例えば周知のモーションステレオ法により三次元情報を得る。更に、車線モデル式は二次式に限らず三次式であっても良い。

【符号の説明】

【0060】

１…自車両、
２…運転支援装置、
３…車載カメラ、
４…ステレオ画像認識装置、
５…制御ユニット、
２１Ｌ…左側区画線、
２１Ｒ…右側区画線、
２２…内側誘導線、
Ａｄｌ，Ａｄｒ…白線候補点抽出領域、
Ａ，Ａｌ，Ａｒ…車線検出領域、
ＡＶps…輝度差、
ＡＶps0，ＡＶps1…平均輝度、
Ｃｎ…カウント値、
Ｃｎｏ…二重白線信頼度判定閾値、
ｆ…幅、
ｆL…上限幅、
ｆpek… ピーク数、
ｆpek／ｎ０…ピーク比率、
Ｆps0…二重白線開始フラグ、
ｆS…下限幅、
Ｈ，Ｈｌ，Ｈｒ，Ｈold…ハフ直線、
I…水平検索ライン、
ｍ…隙間、
ｍL…上限隙間、
ｍS…下限隙間、
ｎ０…第０白線候補点数、
ｎ１…第１白線候補点数、
Ｐ１…第１のエッジ点、
Ｐ２…第２のエッジ点、
ＰH…エッジ点（白線開始点）、
ＰL…エッジ点（白線終了点）、
Ｐｓ…白線候補点、
Ｐs0…第０白線候補点、
Ｐs1…第１白線候補点、
ＳＬfp…ピーク判定閾値、
ＳＬn0，ＳＬΔＰs0…閾値、
ＳＬps…輝度差判定閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】