特許 7007856 車両用白線認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-12

(45)【発行日】2022-01-25

(54)【発明の名称】車両用白線認識装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20220118BHJP

   G06T 7/00 20170101ALI20220118BHJP

   B60R 21/00 20060101ALI20220118BHJP

   G08G 1/16 20060101ALI20220118BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 650A

B60R21/00 991

G08G1/16 C

【請求項の数】 6

(21)【出願番号】P 2017208240

(22)【出願日】2017-10-27

(65)【公開番号】P2019079470

(43)【公開日】2019-05-23

【審査請求日】2020-09-28

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110002907

【氏名又は名称】特許業務法人イトーシン国際特許事務所

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】吉村 礁太

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２００１－０９２９７０（ＪＰ，Ａ）

【文献】特開２０１４－１２７０２７（ＪＰ，Ａ）

【文献】特開２０１７－０９０９５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｂ６０Ｒ ２１／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

自車前方の車外環境を撮像する撮像手段と、
前記撮像手段で撮像した画像の水平方向に延在する検索ライン上において輝度が所定に変化するエッジ点を検出し、輝度が暗から明に変化する前記エッジ点を白線開始点として抽出すると共に、前記輝度が明から暗に変化する前記エッジ点を白線終了点として抽出するエッジ点検出手段と、
前記白線開始点と前記白線終了点とに基づいて推定される白線推定区間と前記白線推定区間以外の路面との輝度差、及び、前記白線推定区間と前記路面との間で輝度が遷移する遷移区間の長さに基づいて前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行うエッジ点検証手段と、を備え、
前記エッジ点検証手段は、自車両から前記白線開始点までの距離が長いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が高いと評価することを特徴とする車両用白線認識装置。

【請求項2】

自車前方の車外環境を撮像する撮像手段と、
前記撮像手段で撮像した画像の水平方向に延在する検索ライン上において輝度が所定に変化するエッジ点を検出し、輝度が暗から明に変化する前記エッジ点を白線開始点として抽出すると共に、前記輝度が明から暗に変化する前記エッジ点を白線終了点として抽出するエッジ点検出手段と、
前記白線開始点と前記白線終了点とに基づいて推定される白線推定区間と前記白線推定区間以外の路面との輝度差に基づいて前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行うエッジ点検証手段と、を備え、
前記エッジ点検証手段は、自車両から前記白線開始点までの距離が長いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が高いと評価することを特徴とする車両用白線認識装置。

【請求項3】

自車前方の車外環境を撮像する撮像手段と、
前記撮像手段で撮像した画像の水平方向に延在する検索ライン上において輝度が所定に変化するエッジ点を検出し、輝度が暗から明に変化する前記エッジ点を白線開始点として抽出すると共に、前記輝度が明から暗に変化する前記エッジ点を白線終了点として抽出するエッジ点検出手段と、
前記白線開始点と前記白線終了点とに基づいて推定される白線推定区間と前記白線推定区間以外の路面との間で輝度が遷移する遷移区間の長さに基づいて前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行うエッジ点検証手段と、を備え、
前記エッジ点検証手段は、自車両から前記白線開始点までの距離が長いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が高いと評価することを特徴とする車両用白線認識装置。

【請求項4】

前記エッジ点検証手段は、前記白線推定区間と前記路面との前記輝度差が小さいほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が低いと評価することを特徴とする請求項１または請求項２に記載の車両用白線認識装置。

【請求項5】

前記エッジ点検証手段は、前記白線推定区間と前記路面との前記遷移区間が長いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が低いと評価することを特徴とする請求項１または請求項３に記載の車両用白線認識装置。

【請求項6】

前記エッジ点検証手段は、前記白線推定区間の輝度値が高いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が高いと評価することを特徴とする請求項１乃至請求項５の何れか１項に記載の車両用白線認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラ等の撮像手段で撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。

【背景技術】

【0002】

近年、車両の安全性向上や利便性向上等を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この種の運転支援装置としては、例えば、車載カメラによって車外環境を撮像し、撮像した画像から、路面に敷設された白線や路面上の先行車等の立体物を認識し、これらの認識情報に基づいて、車速制御や操舵支援制御、さらには、自動運転等の各種運転支援制御を行うものが知られている。

【0003】

このような運転支援装置に用いられる車両用白線認識装置として、例えば、特許文献１には、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べることにより、輝度が暗から明へと所定以上変化するエッジ点を白線候補点として検出し、検出した白線候補点群に対し最小二乗法等を用いて二次曲線等を算出することにより、白線を認識する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】２０１２－２２５７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献１に開示された技術のように、輝度が暗から明へと所定以上変化するエッジ点を白線候補点として検出するだけの処理では、路面に投射された光の像のエッジ点を白線候補点として誤検出する場合がある。

【0006】

例えば、道路脇に沿ってガードレールや柵等の構造物が設けられている場合、当該構造物の隙間から路面に投射された太陽光が高輝度な帯状の像を形成する場合がある。そして、このような光の像が白線に沿って検索領域内に延在した場合、当該像のエッジ点が白線候補点として誤認識される虞がある。

【0007】

本発明は上記事情に鑑みてなされたもので、路面に投射された光の像の影響を排除して適切な白線認識を行うことができる車両用白線認識装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様による車両用白線認識装置は、自車前方の車外環境を撮像する撮像手段と、前記撮像手段で撮像した画像の水平方向に延在する検索ライン上において輝度が所定に変化するエッジ点を検出し、輝度が暗から明に変化する前記エッジ点を白線開始点として抽出すると共に、前記輝度が明から暗に変化する前記エッジ点を白線終了点として抽出するエッジ点検出手段と、前記白線開始点と前記白線終了点とに基づいて推定される白線推定区間と前記白線推定区間以外の路面との輝度差、及び、前記白線推定区間と前記路面との間で輝度が遷移する遷移区間の長さに基づいて前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行うエッジ点検証手段と、を備え、前記エッジ点検証手段は、自車両から前記白線開始点までの距離が長いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が高いと評価するものである。

【0009】

また、本発明の他の態様による車両用白線認識装置は、自車前方の車外環境を撮像する撮像手段と、前記撮像手段で撮像した画像の水平方向に延在する検索ライン上において輝度が所定に変化するエッジ点を検出し、輝度が暗から明に変化する前記エッジ点を白線開始点として抽出すると共に、前記輝度が明から暗に変化する前記エッジ点を白線終了点として抽出するエッジ点検出手段と、前記白線開始点と前記白線終了点とに基づいて推定される白線推定区間と前記白線推定区間以外の路面との輝度差に基づいて前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行うエッジ点検証手段と、を備え、前記エッジ点検証手段は、自車両から前記白線開始点までの距離が長いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が高いと評価するものである。

【0010】

また、本発明の他の態様による車両用白線認識装置は、自車前方の車外環境を撮像する撮像手段と、前記撮像手段で撮像した画像の水平方向に延在する検索ライン上において輝度が所定に変化するエッジ点を検出し、輝度が暗から明に変化する前記エッジ点を白線開始点として抽出すると共に、前記輝度が明から暗に変化する前記エッジ点を白線終了点として抽出するエッジ点検出手段と、前記白線開始点と前記白線終了点とに基づいて推定される白線推定区間と前記白線推定区間以外の路面との間で輝度が遷移する遷移区間の長さに基づいて前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行うエッジ点検証手段と、を備え、前記エッジ点検証手段は、自車両から前記白線開始点までの距離が長いほど、前記白線開始点及び前記白線終了点が実際の白線に対応するエッジ点である可能性が高いと評価するものである。

【発明の効果】

【0011】

本発明の車両用白線認識装置によれば、路面に投射された光の像の影響を排除して適切な白線認識を行うことができる。

【図面の簡単な説明】

【0012】

【図1】車両用運転支援装置の概略構成図

【図2】車外環境を撮像した基準画像の一例を模式的に示す説明図

【図3】図２から検出される白線候補点を示す説明図

【図4】画像検索方向における輝度の分布と輝度の微分値との関係を示す説明図

【図5】自車両の近方及び遠方における白線及び光の像の輝度特性を示す説明図

【図6】実空間に投影される白線候補点を示す説明図

【図7】（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図

【図8】白線候補点を用いて演算された白線近似線及び白線検索領域を示す説明図

【図9】白線認識ルーチンを示すフローチャート

【図10】白線開始点検証サブルーチンを示すフローチャート

【図11】白線候補点までの距離と評価点数との関係を示すマップ

【図12】対象領域と路面との輝度差と評価点数との関係を示すマップ

【図13】内側遷移領域の長さと評価点数との関係を示すマップ

【図14】外側繊維領域の長さと評価点数との関係を示すマップ

【図15】内側遷移領域の最大輝度と最小輝度の輝度差と評価点数との関係を示すマップ

【図16】外側繊維領域の最大輝度と最小器との輝度差と評価点数との関係を示すマップ

【図17】対象領域の輝度値と評価点数との関係を示すマップ

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係り、図１は車両用運転支援装置の概略構成図、図２は車外環境を撮像した基準画像の一例を模式的に示す説明図、図３は図２から検出される白線候補点を示す説明図、図４は画像検索方向における輝度の分布と輝度の微分値との関係を示す説明図、図５は自車両の近方及び遠方における白線及び光の像の輝度特性を示す説明図、図６は実空間に投影される白線候補点を示す説明図、図７（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図、図８は白線候補点を用いて演算された白線近似線及び白線検索領域を示す説明図、図９は白線認識ルーチンを示すフローチャート、図１０は白線開始点検証サブルーチンを示すフローチャート、図１１は白線候補点までの距離と評価点数との関係を示すマップ、図１２は対象領域と路面との輝度差と評価点数との関係を示すマップ、図１３は内側遷移領域の長さと評価点数との関係を示すマップ、図１４は外側繊維領域の長さと評価点数との関係を示すマップ、図１５は内側遷移領域の最大輝度と最小輝度の輝度差と評価点数との関係を示すマップ、図１６は外側繊維領域の最大輝度と最小器との輝度差と評価点数との関係を示すマップ、図１７は対象領域の輝度値と評価点数との関係を示すマップである。

【0014】

図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、撮像手段としてのステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して構成されている。なお、これらの構成のうち、本実施形態においては、主としてステレオカメラ３及びステレオ画像認識装置４により、自車前方の車外環境を認識する車外監視装置が構成されている。

【0015】

また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ－ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。

【0016】

ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称す。

【0017】

ステレオ画像認識装置４は、撮像された基準画像及び比較画像に対し、例えば、以下に示す各種画像処理等を行う。すなわち、ステレオ画像認識装置は、先ず、基準画像から例えば４×４画素の小領域を順次抽出し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して既知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。

【0018】

ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画するレーンマーカを総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の近似式（１次以上の直線或いは曲線近似式）によって近似して認識するものとする。

【0019】

ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪、光の像等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度良く白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述のような距離画像に基づくパターンマッチングを用いた白線認識のみに頼ることなく、各種方式を用いた白線認識を行い、これらの認識結果を総合的に判断して最終的な白線を認識する。

【0020】

このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図２に示す基準画像）上の水平方向の輝度変化に基づいて左右の白線認識を行う。

【0021】

具体的に説明すると、例えば、図３に示すように、ステレオ画像認識装置４は、画像上に左右の白線検索領域Ａｄ（Ａｄｌ，Ａｄｒ）を設定し、各白線検索領域Ａｄ内で水平方向に延在する複数の画素列からなる検索ラインｌ値列ごとに、車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、例えば、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値が＋側の設定閾値（ｄＢｔｈ）以上となるエッジ点と、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示し輝度の微分値が－側の設定閾値（－ｄＢｔｈ）以下となるエッジ点とのペアを、白線開始点及び白線終了点として抽出する（図４（ａ），（ｂ）参照）。

【0022】

そして、ステレオ画像認識装置４は、各白線検索領域Ａｄ内の各検索ラインｌ上において、例えば、車幅方向最も外側に位置する白線開始点を白線候補点Ｐｄ（左側の白線候補点Ｐｄｌ、右側の白線候補点Ｐｄｒ）としてそれぞれ検出し、実空間上に投影する（図６参照）。

【0023】

そして、ステレオ画像認識装置４は、左右の白線候補点Ｐｄｌ，Ｐｄｒの各点列に基づき、左右の白線を表す白線近似線Ｌｌ，Ｌｒを求める（図８参照）。

【0024】

ここで、上述のような白線認識において、路面に投影された光等のエッジ点を白線候補点Ｐｄとして誤検出することを防止するため、ステレオ画像認識装置４は、検出した白線開始点及び白線終了点が実際の白線に対応するものであるか否かの検証を行う。

【0025】

具体的には、ステレオ画像認識装置４は、検索領域Ａｄ内において、検索ラインｌ上の白線開始点と白線終了点とに基づいて推定される白線推定区間と白線推定区間以外の路面との輝度差、及び、白線推定区間と路面との間で輝度が遷移する遷移区間の長さに基づいて白線開始点及び白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行う。

【0026】

より具体的には、ステレオ画像認識装置４は、例えば、自車両１から白線開始点までの距離、白線推定区間の平均輝度と白線推定区間以外の平均輝度との差、白線開始点の前後において輝度が暗から明に遷移する第１遷移区間の長さ、白線終了点の前後において輝度が明から暗に遷移する第２遷移区間の長さ、第１遷移区間における最大輝度と最小輝度との差、第２遷移区間における最大輝度と最小輝度との差、及び、白線推定区間の輝度値をパラメータとする評価値Ｓ１～Ｓ７をそれぞれ算出し、これら評価値Ｓ１～Ｓ７から算出された評価値Ｓ０が設定閾値Ｓｔｈ未満であるとき当該白線開始点及び白線終了点に対応する白線は実在する可能性が高いと判定し、評価値Ｓ０が設定閾値Ｓｔｈ以上であるとき当該白線開始点及び白線終了点に対応する白線は実在しない可能性が高い（光の像等である可能性が高い）と判断する。

【0027】

本実施形態において、評価値Ｓ１～Ｓ７、例えば、以下の（１）式～（７）式により算出される。すなわち、
Ｓ１＝（自車両１から白線開始点までの距離）×ｋ１ …（１）
Ｓ２＝（白線推定区間の平均輝度と白線推定区間以外の平均輝度との差）×ｋ２ …（２）
Ｓ３＝（第１遷移区間の長さ）×ｋ３ …（３）
Ｓ４＝（第２遷移区間の長さ）×ｋ４ …（４）
Ｓ５＝（第１遷移区間における最大輝度と最小輝度との差）×ｋ５ …（５）
Ｓ６＝（第２遷移区間における最大輝度と最小輝度との差）×ｋ６ …（６）
Ｓ７＝（白線推定区間の輝度値）×ｋ７ …（７）

【0028】

また、評価値Ｓ０は、例えば、以下の（８）式により算出される。すなわち、
Ｓ０＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４＋Ｓ５＋Ｓ６＋Ｓ７ …（８）

【0029】

ここで、（１）式～（７）式において、ｋ１～ｋ７は予め設定された係数であり、例えば、「ｔ検定」等の統計学手法を用いて設定されている。これらの係数ｋ１～ｋ８は、各シーンで撮像された白線、及び、光の像の特徴量等に基づく統計によって設定されることにより、白線推定領域が実際の白線に対応しているとき評価値Ｓ０を「０」に収束させ、白線推定領域が光の像等に対応しているとき評価値Ｓ０を「１」に収束させる値に設定されている。

【0030】

すなわち、例えば、図５に示すように、白線と光の像とを比較した場合、白線の方が、白線推定区間の平均輝度と白線推定区間以外の平均輝度との差が大きくなる傾向にある。そこで、例えば、白線推定区間の平均輝度と白線推定区間以外の平均輝度との差が大きくなるほど評価値Ｓ２が小さくなるよう（例えば、図１２参照）、係数ｋ２は設定されている。

【0031】

また、例えば、図５に示すように、白線と光の像とを比較した場合、白線の方が、遷移領域の長さ（第１，第２遷移領域の長さ）が短くなる傾向にある。そこで、例えば、遷移領域の長さが短くなるほど評価値Ｓ３，Ｓ４が小さくなるよう（例えば、図１３，１４参照）、係数ｋ３，ｋ４は設定されている。

【0032】

また、例えば、図５に示すように、白線と光の像とを比較した場合、白線の方が、遷移領域の最大輝度と最小輝度の輝度差が大きくなる傾向にある。そこで、例えば、遷移領域の最大輝度と最小輝度の差が大きくなるほど、評価値Ｓ５，Ｓ６が小さくなるよう（例えば、図１５，１６参照）、係数ｋ５，ｋ６は設定されている。

【0033】

また、例えば、図５に示すように、白線と光の像とを比較した場合、白線の方が、白線推定領域の輝度が大きくなる傾向にある。そこで、例えば、白線推定領域の輝度が大きくなるほど、評価値Ｓ７が小さくなるよう（例えば、図１７参照）、係数ｋ７は設定されている。

【0034】

なお、自車両１の遠方においては、光の像を白線と誤認識しても、走行制御等にさほど影響を与えないとの思想に基づき、自車両１から白線開始点までの距離が大きくなるほど、評価値Ｓ１が小さくなるよう（例えば、図１１参照）、係数ｋ１は設定されている。

【0035】

このように、本実施形態において、ステレオ画像認識装置４は、エッジ点検出手段、及び、エッジ点検証手段としての各機能を実現する。

【0036】

制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。

【0037】

そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。

【0038】

その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。

【0039】

一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。

【0040】

また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０～１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。

【0041】

次に、上述のステレオ画像認識装置４において行われる白線認識処理について、図１０に示す白線認識ルーチンのフローチャートに従って説明する。

【0042】

このルーチンは設定時間毎に繰り返し実行されるものであり、ルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、基準画像上に、左右の白線検索領域Ａｄｌ，Ａｄｒを設定する。これらの白線検索領域Ａｄｌ，Ａｄｒは、例えば、前フレームで認識した左右の白線近似線Ｌｌ，Ｌｒを、実空間上において車幅方向内側及び外側にそれぞれ予め設定されたオフセット量ΔＥずつオフセットさせることにより形成される領域を（図８参照）、基準画像上の座標に変換することにより設定されるものである。

【0043】

続くステップＳ１０２において、ステレオ画像認識装置４は、各白線検索領域Ａｄｌ，Ａｄｒ内の全ての検索ラインｌについて、白線開始点（及び、白線終了点）の検索処置が行われたか否かを調べる。

【0044】

そして、ステップＳ１０２において、全ての検索ラインｌについて白線開始点の検索処理が行われたと判断した場合、ステレオ画像認識装置４は、ステップＳ１０６に進む。

【0045】

一方、ステップＳ１０２において、全ての検索ラインｌについて白線開始点の検索処理が行われていないと判断した場合、ステレオ画像認識装置４は、ステップＳ１０３に進み、白線検索領域Ａｄｌ，Ａｄｒ内における未処理の新たな検索ラインｌを抽出する。

【0046】

そして、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、抽出した検索ラインｌに対し、白線開始点（及び、白線終了点）の検索処理を行う。

【0047】

すなわち、ステレオ画像認識装置４は、検索ラインｌ上の画素について車幅方向内側から外側に向けて順次探索を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値が＋側の設定閾値（ｄＢｔｈ）以上となるエッジ点と、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値が－側の設定閾値（－ｄＢｔｈ）以下となるエッジ点とのペアを、白線開始点及び白線終了点として抽出する。

【0048】

そして、ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、検出した白線開始点（及び、白線終了点）の検証を行う。

【0049】

この白線開始点の検証は、例えば、図１０に示す白線開始点検証サブルーチンのフローチャートに従って実行されるものであり、サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ２０１において、未検証の白線開始点（及び、白線終了点）があるか否かを調べる。

【0050】

そして、ステップＳ２０１において、未検証の白線開始点がないと判断した場合、ステレオ画像認識装置４は、サブルーチンを抜ける。

【0051】

一方、ステップＳ２０１において、未検証の白線開始点があると判断した場合、ステレオ画像認識装置４は、ステップＳ２０２に進み、未検証の新たな白線開始点（より具体的には、白線開始点と白線終了点とのペア）を抽出する。

【0052】

そして、ステップＳ２０２からステップＳ２０３に進むと、ステレオ画像認識装置４は、上述の（１）式～（８）式に基づいて、白線開始点の評価値Ｓ０を算出する。

【0053】

そして、ステップＳ２０４に進むと、ステレオ画像認識装置４は、ステップＳ２０３で算出した評価値Ｓ０が、予め設定された閾値Ｓｔｈ（例えば、Ｓｔｈ＝０．５）未満であるか否かを調べる。

【0054】

そして、ステップＳ２０４において、評価値Ｓ０が閾値Ｓｔｈ未満であると判定した場合、ステレオ画像認識装置４は、そのままステップＳ２０１に戻る。

【0055】

一方、ステップＳ２０４において、評価値Ｓ０が閾値Ｓｔｈ以上であると判定した場合、ステレオ画像認識装置４は、現在選択されている白線開始点（及び、白線終了点）は、光の像等に起因して検出されたものである可能性が高いと判断し、当該白線開始点（及び、白線終了点）を除外した後、ステップＳ２０１に戻る。

【0056】

このような白線開始点検索サブルーチンが終了すると、ステレオ画像認識装置４は、図９のメインルーチンにおいて、ステップＳ１０５からステップＳ１０２に戻る。

【0057】

また、ステップＳ１０２からステップＳ１０６に進むと、ステレオ画像認識装置４は、各検索ラインｌで検出した白線開始点（検証済みの白線開始点）に基づき白線近似線を算出した後、ルーチンを抜ける。

【0058】

この白線近似線の算出処理において、ステレオ画像認識装置４は、先ず、各検索ラインｌ上において検出された所定の白線開始点を白線候補点Ｐｄとして抽出する。すなわち、ステレオ画像認識装置４は、例えば、検索ラインｌ上に１の白線開始点が検出されている場合には当該白線開始点を白線候補点Ｐｄとして抽出し、同一の検索ラインｌ上に２以上の白線開始点が検出されている場合には最も車幅方向外側に位置する白線開始点を白線候補点Ｐｄとして抽出する。

【0059】

また、ステレオ画像認識装置４は、前フレーム以前に検出した白線候補点Ｐoldを用いて自車両１の後方についても白線認識を行うべく、例えば、以下の処理を行う。

【0060】

すなわち、ステレオ画像認識装置４は、例えば、図７（ａ）に示す関係から、自車１の車速Ｖと、ヨーレートγから求まるヨー角θとに基づき、撮像画像の１フレームあたり（撮像画像が１フレーム更新されるまでの間ｔ）の自車１の移動量Δｘ，Δｚを、以下の（９）式及び（１０）式を用いて演算する。
Δｘ＝Ｖ×ｓｉｎθ …（９）
Δｚ＝Ｖ×ｃｏｓθ …（１０）

【0061】

そして、ステレオ画像認識装置４は、以下の（１１）式及び（１２）式に示すように、前フレーム以前に検出した白線候補点Ｐold（Ｘold，Ｙold）に対し、自車移動量Δｘ，Δｚを減算した後、現在のフレームにおける車両固定座標系（Ｘ，Ｚ）への座標変換を行うことにより、自車１の後方所定距離以内に存在する白線候補点Ｐpreの座標を演算する（図７（ｂ）参照）。
Ｘpre＝（Ｘold・Δｘ）×ｃｏｓθ－（Ｚold・Δｚ）×ｓｉｎθ …（１１）
Ｚpre＝（Ｘold・Δｘ）×ｓｉｎθ＋（Ｚold・Δｚ）×ｃｏｓθ …（１２）

【0062】

そして、ステレオ画像認識装置４は、現フレームにおいて検出した白線候補点Ｐｄと、前フレーム以前の白線候補点Ｐoldを座標変換して求めた白線候補点Ｐpreと、からなる点列に基づき、左右の白線近似線Ｌｌ，Ｌｒを、最小二乗法を用いて、以下の（１３）式及び（１４）式に示す近似式で定義する（図８参照）。
Ｘｌ＝Ａｌ・Ｚ^２＋Ｂｌ・Ｚ＋Ｃｌ …（１３）
Ｘｒ＝Ａｒ・Ｚ^２＋Ｂｒ・Ｚ＋Ｃｒ …（１４）

【0063】

なお、（１３）、（１４）式において、２次係数Ａ（Ａｌ，Ａｒ）は白線の曲率成分を示すパラメータであり、１次係数Ｂ（Ｂｌ，Ｂｒ）は車線ヨー角成分（自車１に対する白線の傾き成分）を示すパラメータであり、Ｃ（Ｃｌ，Ｃｒ）は車線位置（自車１に対する白線の横位置）を示すパラメータである。

【0064】

このような実施形態によれば、検索ラインｌ上において輝度が所定に変化するエッジ点を検出し、輝度が暗から明に変化するエッジ点を白線開始点として抽出すると共に、輝度が明から暗に変化するエッジ点を白線終了点として抽出し、白線開始点と白線終了点とに基づいて推定される白線推定区間と白線推定区間以外の路面との輝度差、及び、白線推定区間と路面との間で輝度が遷移する遷移区間の長さに基づいて白線開始点及び白線終了点が実際の白線に対応するエッジ点であるか否かの検証を行うことにより、路面に投射された光の像の影響を排除して適切な白線認識を行うことができる。

【0065】

なお、本発明は、以上説明した各実施形態に限定されることなく、種々の変形や変更が可能であり、それらも本発明の技術的範囲内である。

【0066】

例えば、上述の実施形態では、評価値Ｓ１～Ｓ７の全てを用いて評価値Ｓ０を算出する一例について説明したが、本発明はこれに限定されるものではなく、評価値Ｓ１～Ｓ７のうちの何れか１または２以上を用いて評価値Ｓ０を算出することも可能である。すなわち、例えば、白線推定区間と白線推定区間以外の路面との輝度差に関する評価値Ｓ２，Ｓ５，Ｓ６のみを用いて評価値Ｓ０の算出を行うことも可能であり、或いは、白線推定区間と路面との遷移区間の長さに関する評価値Ｓ３，Ｓ４を用いて評価値Ｓ０の算出を行うことも可能である。さらに、その他の評価値Ｓ１～Ｓ７の組合せをもちいて評価値Ｓ０を算出することも可能である。なお、この場合、各評価値Ｓ１～Ｓ７の係数ｋ１～ｋ７は、採用される評価値に応じ、「ｔ検定」等の統計学手法を用いて設定されることは勿論である。

【符号の説明】

【0067】

１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ（撮像手段）
４ … ステレオ画像認識装置（エッジ点検出手段、エッジ点検証手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】